Historie muzea sahá hluboko do brány vězení na sedm století, to je důvod, proč je zařazena do seznamu 100 nejvýznamnějších historických památek v Nizozemsku.

V roce 1280 se brány do oblasti byli hlavní vchod Bёytenhof k hradu, který je nyní známý jako Binnenhof. 1428 brány byly použity jako místo trestu odnětí svobody pro dlužníky či zločince čekajících na soudní proces.

O sto let později, to byla brána a připojit nové kamery síně. Až do vězení XVII století se nepovažuje za takový trest - trest byly pokuty, vyloučení, tělesný trest nebo trest smrti.

To zahrnuje dobře známé historické osobnosti: Cornelis de Witt, obviněn ze spiknutí proti Viléma Oranžského, a spisovatel, učenec a filozof Dirk Volkertsen Koorngert. Vězení existuje již 400 let, ale 1828 zajatci již nejsou tam. Dvakrát Tam byly návrhy zbourat tuto budovu - v roce 1853 a 1873, naštěstí, nedělal to pro podnikání, a od roku 1882 se stalo muzejním brány vězení. Některé části muzea je možné navštívit pouze s průvodcem.

Ve vedlejší budově je Galerie William V - Galerie výtvarného umění, která byla založena v roce 1774 William V, princ oranžády. Od roku 2010, mohou návštěvníci dostat do galerie na točité schodiště, které spojuje dvě budovy. Kolekce, která je uvedena tam teď - moderní rekonstrukce 1774, který byl také umístěn v horním patře domu. Obrázky úzce Na stěnách visely, jak bylo zvykem v XVIII století. Obrazy byly darovány do muzea Mauritshuis v roce 1822, což je formální vlastník obrazů.