В 9 в. для защиты от частых набегов норманнов и бретонцев решено было построить крепость. В начале 11 в. Фульк Нерра (987-1040), граф Анжуйский, воздвиг здесь укрепленный замок. В 1230-1239 гг. Людовик IX Святой добавил к замку целый комплекс фортификаций. Ансамбль был расширен при Людовике I, герцоге Анжуйском, и при Людовике II, который приказал здесь построить готическую капеллу. Замок в Анжере с мощными стенами и 17 круглыми крепостными каменными башнями украшен полосами орнамента, созданного чередованием слоев сланца и известняка.

Какое-то время Анжер был резиденцией короля Рене Анжуйского, одновременно короля Сицилии и Иерусалима, который вошел в историю как благодетель своих подданных и блестящий литератор. Он любил праздники, турниры и часто устраивал в замке рыцарские ристалища. Сохранилась старинная рукопись, иллюстрированная миниатюрами, автором которой был Рене. В замке Анжера были устроены также вольеры и зверинцы для экзотических животных.

Наступившая затем долгая пора религиозных войн послужила причиной упадка замка, и в 1585 Генрих III приказал его разрушить. Однако пятиугольная крепость с ее цилиндрическими башнями была настолько мощной, что удалось снести только островерхие кровли башен. С приходом к власти Генриха IV работы по сносу здания были приостановлены. В замке были устроены празднества по случаю обручения Цезаря Вандомского с Франсуазой Лотарингской.

С галло-римских времен сохранились две сильно разрушенные оборонительные башни, одна из которых Тур-Биллебон, возвышающаяся на улице Бодриер. Церковь Сен-Мартен, возведенная в 1020, самое старое сохранившееся здание Анжера. У романско-готического собора Сен-Морис (12-13 вв.) один из самых больших нефов во Франции (свод в стиле Плантагенет).