Гайон известен тем, что в нем расположен первый во Франции замок времен Ренессанса.
Первый замок был призван защитить границы Нормандии от французского короля, и был сооружен в XI столетии. Когда Нормандия после завоеваний Филиппа-Августа в начале XIII веке стала частью Франции, то замок с 1262-го года стал служить резиденцией архиепископов Руанских. Во время Столетней войны строение было частично разрушено. В 1453-м году Гийом д’Эстутвиль начал перестройку замка Гайон. Но подлинное возрождение Гаойн получил в начале XVI столетия благодаря усилиям кардинала Жоржа д’Амбуазского, министра Людовика XII. Он перестроил резиденцию архиепископов в духе итальянского Возрождения (1500-1509-ые года), тратя 50000 ливров. Таким образом, Гайон является первый ренессансным строением во Франции. В 1508-м году Гайон посетили Людовик XII и Анна Бретонская.
В 1510-м году племянник Жоржа д’Амбуазского Шарль I де Бурбон всячески поддерживал замок, в то время он считался самым красивым во всей стране. Во второй половине XVII веке в Гайоне поработали знаменитые Жюль Ардуэн-Мансар и Андре Ленотр. Гайон посетили Генрих III, Генрих IV, Людовик XIV, канцлер Сегье. В XVIII столетии в замке герцог де Ля Рошфуко примет Бенджамина Франклина и Людовика XVI.
В городке сохранилось много фахверковых домов XVI столетия:
С холма, на котором стоит замок, открывается великолепный вид на окрестности:
