Ve středověku bylo hlavní město Annecy, Geneva County, a stojí v centru města Annecy, byl hrad sídlem hrabat z Ženevy. Hrad byl postaven ve XII století na místě tvrze, postavený čtyři století dříve. Ve XIII století se stal sídlem příslušníků hraběcí rodiny, později se stěhoval do vévoda Savoye.

Ve středověku hrad několikrát zničena požáry, ale pokaždé byl snížen, stále více a více posílit svou obranu. Nicméně, i přes tloušťku stěn, hrozivý vzhled a s vynikající polohou na vrcholu kopce, v první polovině XVII století byl hrad pořízena francouzskou armádou. V XVII století, v zámku sídlí v kasárnách a sklad, jeden čas dokonce sloužil jako útočiště pro bezdomovce. Pouze v polovině XX století byla budova prohlášena za historickou památku, a teď to sídlí muzeum, kde můžete vidět umělecká díla a předměty z různých epoch.

Jeden z nejznámějších obyvatel hradu byl Robert Ženevy - zplodil tady v 1342, syn hraběte Amadeus III. Robert Ženeva je také známý pod jménem anti-papeže Klementa VII - docela militantní a kruté, přezdívaný řezník a kat pro jeho způsoby jednání s rebely. Ve druhé polovině XIV století v katolickém světě měl dvě tatínky - jeden oficiálně zvolen Urban VI a druhý zvolen kardinálský "opozice" Clement VII, který doufal, že převzít moc a svrhnout Řím Urban VI. Mít neúspěšný, Antipope Clement usadil v Avignonu, která kdysi sídlila papežské rezidence.

Po smrti Klementa VII, v roce 1394 to bylo sloučeno s Annecy a Savoy ztratil jeho status jako hlavní město kraje a kraje Ženevy, také, byl pryč. Vzhledem k Duke of Savoy hrad získal svou nejkrásnější věž Perrer.

Dnes je zámek je obklopen krásnou veřejné zahrady a dalších historických památek. S jeho stěny vidět na město a jezero Annecy.