Galerie výtvarného umění se nachází v Joubert, jen pár bloků od hlavního vlakového nádraží v Johannesburgu parku. Budova byla navržena architektem sir britský Edwin Lachensom a skládá se z 15 výstavních síní, stejně jako několik výstavních prostor pod širým nebem až po velké sochy. Jeho archiv je sbírka britského a holandského malířství XVIII-XIX století, sbírka evropských maleb XIX století, stejně jako velká sbírka dobových děl Jihoafrické republiky a zahraničních umělců.

Collector Dorothea Sarah Alexander Florence Phillips, manželka důlního magnáta Lionel Phillips tvořili první kolekci galerie na úkor fondů přispěli svým manželem. Po přestěhování do Johannesburgu, začala fotit s cílem vytvořit uměleckou galerii, který později se stal Art Gallery v Johannesburgu. To získal sbírku obrazů od britského umělce a sběratele Sir Hugh Lane, vystavoval v Londýně v roce 1910. Lady Phillips daroval svou sbírku krajky a přesvědčil jejího manžela sdělit sedm galerie obrazů a soch Rodin.

Sbírka galerie zahrnuje díla Auguste Rodin, Dante Gabriel Rossetti, Pablo Picasso, Camille Pissarro, Claude Monet, Edgar Degas, Herbert Ward a Henry Moore, stejně jako díla jihoafrických umělců - Gerard Sekot Walter Battissa, Alexis Preller, Maud Sumner, Sydney Kumalo a další.

Johannesburg Art Gallery byla otevřena pro veřejnost v roce 1910 na kampusu University of Witwatersrand. Architekt, Sir Edwin Lachens pozván Lady Phillips, přišli do Jižní Afriky v roce 1910, aby prozkoumala oblast a zahájit výstavbu budovy galerie. Ale stavba nebyla dokončena podle skic architekta. O pět let později, se zahájením výstavby, budova otevřela své brány veřejnosti bez obřadu, těsně po první světové válce.

Na konci roku 1940, galerie budova byla rozšířena v souladu s návrhem architekta Lachensa - postavený západ a východního křídla budovy. Severní křídlo galerie s moderní fasádou byl postaven v poslední rekonstrukce budovy v roce 1986-1987.