Pałac należy do zabytkowego zespołu będącego pozostałością po podmiejskiej rezydencji powstałej w XVIII wieku dla Izabeli z Czartoryskich Lubomirskiej i przekształcanej w XIX wieku dla kolejnych właścicieli.
Budowla, przy której pracowało grono wybitnych architektów, reprezentuje kilka stylów architektonicznych. Jest świadectwem zabudowy sentymentalnego założenia krajobrazowego wchłoniętego później w obszar miasta.
Mokotowski pałacyk księżnej marszałkowej Izabelli z Czartoryskich Lubomirskiej powstał w latach 1772-1774 wg projektu Efraima Szregera. Reprezentował, jako jeden z pierwszych na naszych terenach, typ willi podmiejskiej. Posiadłość nosiła nazwę Mon coteau (z franc. „moje zbocze wzgórza”). Zabudowania gospodarcze i ogród nie zachowały się. Ocalała jedynie wieża z gołębnikiem i bramą oraz glorieta flamandzka (tzw. Domek Mauretański), znajdujące się przy ulicy Puławskiej.
Przypuszcza się, że zbudowano go na fundamentach siedziby kupca Jerzego Burbacha z XVII wieku, w której przebywali carowie Szujscy.
Kwadratowy w planie pałacyk ulokowano na skraju skarpy warszawskiej. Budynek był klasycystyczny, dwukondygnacyjny o pięcioosiowych elewacjach z ryzalitami, przykryty dachem namiotowym. Prowadził do niego od północy podwyższony półkolisty podjazd kryjący grotę - łazienkę z iluzjonistycznym wystrojem. Elewację wschodnią urozmaicał taras wsparty na trzech arkadach, ujęty dwoma biegami schodów, z którego otwierała się panorama doliny Wisły.
Od południa do budynku przylegał niewielki taras z pergolą a od zach. schody. Początkowo willa znajdowała się w centrum regularnego ogrodu z folwarkiem, również projektu Szregera.
Od 1773 roku dla fundatorki pracował też Szymon Bogumił Zug przekształcając powiększone założenie ogrodowe i projektując wiele pawilonów parkowych. Przebudował pałac, nadając nowy kształt elewacji wsch. z asymetrycznym wąskim ryzalitem i tarasem opartym tyko na jednej arkadzie. Przy południowo-zachodnim narożniku pałacu dobudował parterowy pawilon tzw. Domek Murgrabiego. Znosił w ten sposób wcześniejszą symetryczność budowli i nadawał jej cech architektury romantycznej.
W 1799 roku posiadłość przeszła na własność córki fundatorki Aleksandry, żony Stanisława Kostki Potockiego, a następnie ich syna Aleksandra. W 1820 roku po rozwodzie z nim właścicielką dóbr stała się Anna z Tyszkiewiczów. Jako zwolenniczka stylu neogotyckiego zleciła w latach 1824-1827 przebudowę posiadłości Henrykowi Marconiemu. Wówczas przekształcono w tej stylistyce elewacje zachodnią i północną pałacu, a także cześć wnętrz.
Od około 1840 roku Anna po drugim mężu Dunin-Wąsowiczowa wynajmowała w rezydencji mieszkania dla letników, a w 1845 roku sprzedała posiadłość znanemu litografowi Franciszkowi Karolowi Szustrowi. Na jego zlecenie Adam Idźkowski po 1852 roku zabudował taras i dostawił od wschodu wieżyczkę, a w 1865 roku od południa wybudował neorenesansową, piętrową oficynkę. W tym samym czasie i stylistyce został też przebudowany Domek Murgrabiego.
Pałac uległ uszkodzeniu w czasie kampanii wrześniowej w 1939 roku, a w 1944 roku podczas powstania warszawskiego spłonął. W latach 1962-1965 został odbudowany z wykorzystaniem zewnętrznych murów wg proj. Jerzego Brabandera z przeznaczeniem na siedzibę Warszawskiego Towarzystwa Muzycznego.