A középkorban volt a főváros, Annecy, Genf megyében, és áll a középpontjában az Annecy, a vár volt a székhelye a grófok Genfben. A kastély épült a XII században a helyén a vár épült négyszáz évvel korábban. A XIII században székhely lett, a tagok a grófi család, később pedig megindult a herceg Savoyai.

A középkorban a várat többször elpusztult a tűz, de minden alkalommal csökkent, egyre több erősítése a védekezését. Annak ellenére azonban, a falak vastagsága, fenyegető pillantást, és kiváló helyen, egy domb tetején, az első felében a XVII században a vár hozta a francia hadsereg. XVII században a vár házak a laktanya és raktár, egy alkalommal ő is szolgált menedékül a hajléktalanok számára. Csak a közepén a XX század, az épület nyilvánították műemlékké, és most ad otthont a múzeum, ahol láthatjuk a műalkotások és tárgyak különböző korok.

Az egyik a híres lakói a vár Robert Genf - nemze itt 1342-ben, a fia gróf Amadeus III. Robert Genf is ismert a neve az anti-Kelemen pápa VII - elég harcias és kegyetlen, becenevén a hentes és a hóhér az ő módszerei szerint foglalkozik a lázadók. Az év második felében a XIV században a katolikus világ két apukák - egy hivatalosan megválasztott városi VI és a második választott bíboros "ellenzéki" Kelemen VII, aki azt remélte, hogy a hatalmat és megdöntsék Róma városi VI. Miután nem sikerült, Antipope Kelemen telepedett Avignon, amely egykor a pápai rezidencia.

Halála után Kelemen VII 1394-ben összevonták Annecy és Savoy elvesztette státuszát, mint megyeszékhely és megyei Genf is eltűnt. Mivel a herceg Savoyai kastély nyerte el a legszebb torony Perrer.

Ma a vár körül gyönyörű nyilvános kertek és más történelmi látnivalók. A falak látták a városban, és az Annecy-tó.