Замок Амбуаз был построен над рекой Луарой в месте, где она делится на два рукава, с островом Сен-Жан посередине. Здесь был брод и очень важная переправа на Луаре. Могущественное семейство Амбуаз в 10 веке решило возвести массивную крепость для контроля этой переправы. Она построена как продолжение скального выступа над рекой.
В 1422 году замок Амбуаз перешел по наследству к виконту де Тур, но он был обвинен в заговоре против короля. В 1431 года замок перешел в казну и стал королевским. Короли Карл VII и Людовик XI подолгу жили в Амбуазе, фактически управляя страной отсюда. Сын Людовика XI и Шарлотты Савойской, Карл VII здесь родился, и также управлял страной из Амбуаза.
В этом замке провел свои юные годы Франциск I. В расположенном поблизости замке Кло-Люсе жил Леонардо да Винчи, которого Франциск I пригласил во Францию, но похоронен Леонардо был в замке Амбуаз, в небольшой капелле Сен-Юбер над обрывом.
Замок практически неприступен. С берега реки к нему ведет единственная дорога, пробитая в скале. Замок серьезно пострадал во время Французской революции, но до наших дней сохранились два корпуса. Также сохранились райские сады Пачелло да Меркольяно, а также обширные дворы с оборонительными башнями и винтовыми подъемами.