De oorspronkelijke bewoners van dit statige pand behoorden eeuwenlang tot de invloedrijkste families van Den Haag. Opdrachtgever voor de bouw in 1635 was Reynier Pauw, lid van de Hoge Raad. Het huidige aanzien dankt het huis aan een verbouwing en vergroting in 1724 door Johan van Schuylenburgh. Sinds 1914 was het pand in gebruik als Kabinet van de Koningin en sinds 2013 als Kabinet van de Koning.