Dominantou mesta Ilavy je starobylý hrad z 12. storočia postavený údajne tajomným rádomtemplárskych rytierov. Pôvodne pevnosť na obranu významného a široko-ďaleko jediného vážskeho brodu slúžila istý čas ako kláštor, od polovice 19. storočia až do dnešného dňa je obávanou väznicou. Ilavský hrad je zložitým komplexom budov; okrem palácov, kláštornej budovy a obranných veží sa tu nachádza i Kostol Všetkých svätých, v ktorom sa dodnes vysluhujú bohoslužby. Majestátny kostol obklopený prísne stráženým areálom väznice je skutočnou raritou a jeho návšteva patrí zaiste k najnevšednejším zážitkom, aké si možno v meste dopriať.