W 1717 istniejący w tym miejscu murowany budynek został zakupiony przez biskupa kujawskiego Konstantego Felicjana Szaniawskiego, który przebudował go na pałac barokowy. Kolejnym właścicielem został w 1721 Jan Szembek, po jego śmierci wdowa Ewa z Leszczyńskich, a od 1762 Stanisław Mycielski.
W 1786 właścicielem pałacu został generał Filip Raczyński, który w 1787 przekazał go swojemu teściowi – staroście wielkopolskiemu Kazimierzowi Raczyńskiemu. Jeszcze w tym samym roku rozpoczął on przebudowę gmachu w stylu klasycystycznym .
Oś środkową pałacu architekt zaakcentował przyściennym portykiem kolumnowym, umieszczonym na drugiej i trzeciej kondygnacji i zwieńczonym trójkątnym szczytem]. Najbardziej reprezentacyjnym pomieszczeniem stała się Sala Balowa, zajmująca dwa piętra. Była ona uznawana za jedną z najpiękniejszych w mieście. Oprócz licznych płaskorzeźb i sztukaterii ozdobiono ja także kopiami czterech obrazów zamówionych w 1766 przez Stanisława Augusta Poniatowskiego uosabiających Zgodę, Sprawiedliwość, Współzawodnictwo i Wspaniałomyślność. Prace zakończono najprawdopodobniej w 1789, kiedy to m.in. pałac korytarzem na pierwszym piętrze połączono z lożą właścicieli w kościele św. Ducha.
Niepopularnemu Kazimierzowi Raczyńskiemu, uważanemu za osobę przekupną, intryganta i agenta Cesarstwa Rosyjskiego, udało się nad ranem 17 kwietnia 1794 – w dniu wybuchu insurekcji warszawskiej – uciec z miasta.
W czerwcu 1794 w opuszczonym przez Raczyńskich pałacu zainstalowana się Rada Najwyższa Narodowa, najwyższy organ władzy cywilnej podczas insurekcji kościuszkowskiej.
W 1806, po wejściu wojsk francuskich do Warszawy, urządzono w nim kwatery dla francuskich oficerów. Zatrzymali się tutaj m.in. Louis Nicolas Davout, Joachim Murat, i Jean Lannes.
W 1827 spadkobierca Raczyńskiego sprzedał pałac rządowi Królestwa Polskiego. Od 1828 budynek stał się siedzibą Komisji Rządowej Sprawiedliwości. W 1876 w lewym skrzydle pałacu ulokowano biura i sale rozpraw Sądu Handlowego, a na pierwszym piętrze apartamenty członków władz Izby Sądowej.
Podczas I wojny światowej okupujący od 1915 Warszawę Niemcy zarekwirowali wszystkie znajdujące się w gmachu elementy mosiężne, łącznie z klamkami od drzwi.
W 1919 pałac przeznaczono na siedzibę Ministerstwo Sprawiedliwości. Gmach był remontowany etapami w latach 1922, 1927 i 1930–1936. Podczas ostatniego remontu w tympanonie umieszczono jeden z symboli praworządności – głowę Temidy z zawiązanymi przepaską oczami dłuta Mieczysława Lubelskiego.
Podczas okupacji pałac był siedzibą sądu niemieckiego dla okupowanych ziem polskich.
24 stycznia 1944 pod murem pałacu (od strony ulicy Kilińskiego) rozstrzelano 50 mężczyzn przywiezionych z Pawiaka. Była to jedna z egzekucji ulicznych dokonanych w okresie rządów Franza Kutschery.
W pierwszych dniach powstania warszawskiego w gmachu pałacu Raczyńskich formował się Batalion „Wigry II”. Od 4 sierpnia 1944 zaczęto tworzyć tutaj Centralny Powstańczy Szpital Chirurgiczny nr 1. W dniach 12 i 13 sierpnia do gmachu częściowo ewakuowano znajdujący się pod ostrzałem artylerii szpital Św. Jana Bożego, a 14 sierpnia – część rannych z podpalonego szpitala przy ul. Barokowej 5. Placówka na Długiej 7 była największym szpitalem powstańczym w obrębie Starego i Nowego Miasta.
Od 13 do 26 sierpnia w pałacu Raczyńskich mieściła się Komenda Główna AK, która przeniosła się tutaj z gmachu szkoły powszechnej przy ul. Barokowej.
13 sierpnia wszystkie piętra oraz piwnice pałacu wypełniły się rannymi w eksplozji czołgu-pułapki przy ulicy Kilińskiego. Poważnie uszkodziła ona prawą oficynę pałacu. Na skwerze przed budynkiem, od strony Kilińskiego, wykopano ok. 10 grobów, do których złożono ponad 150 ciał zabitych. Zostali oni ekshumowani w kwietniu 1945.
W nocy z 1 na 2 września grupa ok. 60 lżej rannych żołnierzy, a także lekarzy i sanitariuszek ewakuowała się ze Starego Miasta włazem na placu Krasińskich.
W godzinach rannych 2 września 1944, po opuszczeniu Starego Miasta przez siły powstańcze, Niemcy i Ukraińcy zajęli szpital. Kilka godzin później, ok. godz. 14.00, wymordowali większość przebywających w nim rannych.
Zastrzelono wszystkich znajdujących się na parterze oraz na pierwszym i drugim piętrze budynku. Ocalało jedynie kilkudziesięciu rannych znajdujących się w piwnicach, pomimo tego, że Niemcy wrzucili do środka oblane benzyną i podpalone koce. 4 i 5 września 1944 ok. 50 pozostających jeszcze przy życiu Polaków uratowała ekipa PCK z kościoła karmelitów.
Dokładna liczba ofiar zbrodni dokonanej 2 września w pałacu Raczyńskich nie jest znana. Wiadomo, że tego dnia w szpitalu przebywało ok. 450 rannych. Liczba ludzkich szczątków – w celu uniknięcia epidemii ciała pomordowanych zostały później przez Niemców oblane benzyną i spalone – została w kwietniu 1945 oszacowana przez PCK na ok. 200. Ponadto kilkudziesięciu lżej rannych, którzy wraz z personalem medycznym 2 września przed południem otrzymali rozkaz opuszczenia budynku, zostało zamordowanych na ulicy Podwale (większość z nich zastrzelono w międzymurzu staromiejskich murów obronnych).
Mury pałacu w większości przetrwały, chociaż budynek był wypalony. Zawalił się dach, zniszczony został także narożnik gmachu od strony ulic Podwale i Kilińskiego. W całości ocalały piwnice. Zniszczenia budynku szacowano na ok. 65%.
Pałac został odbudowany w latach 1948–1950 w stylu klasycystycznym. Nie wprowadzono żadnych większych zmian w wyglądzie zewnętrznym korpusu głównego, pozostawiono m.in. głowę Temidy w tympanonie. Odbudowaną oficynę od strony ulicy Podwale obniżono o jedno piętro, równając ją z wysokością sąsiadującej zabudowy. Reprezentacyjna Sala Balowa została odrestaurowana w latach 1972–1976.
W pomieszczeniach drugiego piętra już pod koniec 1949 ulokowano biura Ministerstwa Górnictwa, a w kolejnych miesiącach na parterze i pierwszym piętrze – Ministerstwa Oświaty. Pod koniec 1951 do gmachu zaczęto przenosić z pałacu Pod Blachą w Warszawie zbiory Archiwum Główne Akt Dawnych (AGAD). Ta instytucja użytkuje pałac Raczyńskich do dnia dzisiejszego.
W latach 50. na budynku umieszczono dwie tablice. Pierwsza, znajdująca się od strony ul. Kilińskiego, upamiętnia ofiary egzekucji ulicznej ze stycznia 1944, druga − od strony ulicy Długiej − zamordowanych w czasie likwidacji szpitala powstańczego we wrześniu 1944.
Na początku lat 60. na fasadzie pałacu, przy wejściu głównym, umieszczono marmurową tablicę z napisem Metryki Koronne, odnalezioną w ruinach przedwojennej siedziby AGAD przy ul. Długiej 24, a pochodzącą pierwotnie z Zamku Królewskiego. W 2015 po lewej stronie głównego wejścia wmurowano tablicę upamiętniającą Wacława Karłowicza.
Południowa oficyna pałacu posiada oddzielny adres – ul. Podwale 23. Na fasadzie budynku znajdują się dwie tablice upamiętniające: Batalion „Wigry” (odsłonięta w 1995) oraz Orlęta (od strony ulicy Kilińskiego, 1999).
Przy wejściu głównym do pałacu znajduje się para trzykomorowych XVIII-wiecznych gaśników na pochodnie. Zostały one przeniesione tutaj – na swoje pierwotne miejsce – z podwórza podczas remontu gmachu przeprowadzonego w latach 1930–1936.