Zahrady Herrenhoyzer byly rozbity, když hraběnka Sophie von der Pfalz, dcera Elizabeth Stuartová a matka krále Jiřího I. V zahradách se skládají z velké zahrady, Berggarten, zahrady a George Welf. Velká zahrada patří k jednomu z nejvýznamnějších barokních zahrad v Evropě a má plán, podle vzoru nizozemského parků XVII-XVIII století. Berggarten se vyvinul ze zahrady pro pěstování zeleniny a rostliny, s fontánami, sochami a jeskyněk. Broken English-stylu zahrady George a Welf pověst oblíbeným místem pro pěší turistiku a rekreaci ve městě.

Z ničení během druhé světové války zámek Herrenhoyzer to přežilo jen jedno křídlo - umělecká galerie. Jeho centrální hala s freskami barokní dílo Tommaso Giusti. V letním festivalu "Hudba a dramatu v Herrenhoyzer" hudební koncerty se zde konají.