Przed rokiem 1643 w miejscu obecnego pałacu wzniesiono drewniany dwór, który został spalony podczas potopu szwedzkiego, a na jego miejscu ok. 1669 r. wystawiono murowany dwór dla Ernesta Demhoffa.
W 1731 książę August Aleksander Czartoryski poślubił Zofię z Sieniawskich Denhoffową i został współwłaścicielem dworu Denhoffów.
W roku 1760 dwór ten został przekształcony przez rodzinę Czartoryskich w pałac w stylu późnobarokowym i rokokowym. Później właścicielką na drodze spadkowej została Izabela Lubomirska (z Czartoryskich). Na jej zlecenie niektóre wnętrza pałacu przebudowano w stylu klasycystycznym. W roku 1799 pałac przeszedł w ręce córki Lubomirskiej – Aleksandry, żony Stanisława Kostki Potockiego.
Po roku 1824 pałac, zamieszkiwany sporadycznie przez właścicieli, zaczął pełnić funkcje dochodowe. Jego pomieszczenia były wynajmowane przez osoby indywidualne, sklepy, składy i różnego rodzaju firmy.
W latach dwudziestych XIX wieku w bocznej oficynie pałacu mieszkał Julian Ursyn Niemcewicz.
Od roku 1857 w pawilonie na rogu Krakowskiego Przedmieścia i Czystej (obecnie Ossolińskich) mieściła się księgarnia Gebethnera i Wolffa.
W roku 1881 na wydzierżawionym przez Gracjana Ungra dziedzińcu pałacu wzniesiono pawilon wystawienniczy zaprojektowany przez Leandra Marconiego. Był on wykorzystywany na wystawy malarskie, m.in. tam po raz pierwszy wystawiono Hołd pruski oraz (po raz drugi w Warszawie) Bitwę pod Grunwaldem Jana Matejki. Zasłaniającą główny korpus budynku budowlę rozebrano w 1896.
Pałac pozostawał własnością Potockich herbu Pilawa do roku 1945. W okresie międzywojennym w dalszym ciągu był wynajmowany, m.in. swą siedzibę miała w nim Brytyjska Misja Wojskowa (1923), poselstwo Szwecji (1923–1927) i ambasada Stanów Zjednoczonych (1932).
Podczas obrony Warszawy we wrześniu 1939 pałac został tylko nieznacznie uszkodzony. Został spalony przez Niemców w sierpniu roku 1944. Zniszczeniu uległy m.in. elewacja ogrodowa i bogato dekorowane wnętrza. Zniszczenia architektury pałacu przekraczały 60%.
Odbudowany ze zniszczeń wojennych w latach 1948–1949 w formie z końca XVIII wieku, stał się siedzibą Ministerstwa Kultury i Sztuki (obecnie Ministerstwa Kultury i Dziedzictwa Narodowego). W roku 1965 pałac został wpisany do rejestru zabytków.