Zamek jest położony w bezpośrednim sąsiedztwie miejsca, gdzie niegdyś znajdowała się przeprawa przez Narew. Zapewne więc już u zarania Państwa Polskiego mógł tu istnieć strzegący jej gród. Pułtusk pełnił też funkcję kasztelanii. Obecny zamek wznosi się na sztucznie usypanym wzgórzu. Najstarsze ślady osadnictwa, jakie udało się odkryć archeologom, sięgają XIII wieku. Wówczas znajdowała się tu osada, złożona z kilkudziesięciu drewnianych domów rozlokowanych wzdłuż trzech ulic. Zapewne wzniesiono w niej również okazalszą siedzibę dla pana grodu. Mieszkańcy osady trudnili się rolnictwem, polowali, łowili ryby i produkowali proste narzędzia i sprzęty codziennego użytku. Zabudowa grodu podlegała wielu zmianom. Jego pozostałości zachowały się pod powierzchnią obecnego dziedzińca zamkowego.
W XIII wieku gród i ogromny obszar wokół dzisiejszego Pułtuska przekazano biskupom płockim. Od tej pory przez ponad sześćset lat to oni władali zamkiem, tytułując się książętami pułtuskimi.
Pułtusk stopniowo się rozwijał, ale musiał się też zmagać z najazdami litewskimi. Choć znajdował się na wyspie, a sam zamek miał charakter obronny, Litwinom kilkakrotnie udało się niemal doszczętnie zniszczyć i warownię, i miasto. O tych napaściach pisał w swej Kronice Jan Długosz. Najdramatyczniejszy najazd litewski miał miejsce w roku 1368. Wówczas Litwini splądrowali miasto, uprowadzając mnóstwo ludzi. Dzielnie broniącą się załogę zamku spalili.
W XVI stuleciu w wokół zamku powstały odgrodzone od miasta parkanem ogrody z drzewami owocowymi i winoroślą. W roku 1628 kaplica zamkową została ozdobiona polichromiami. W roku 1640 Łubieński zapisem testamentowym przekazał na rzecz zamku w swój cenny księgozbiór. Jednak do naszych czasów już nie dotrwał. Jak w wielu miejscach w Polsce wielkich zniszczeń dokonali tu w czasie potopu Szwedzi. Niemal całkowicie zrujnowali zamek, a z miasta i z okolicznych wiosek w ciągu dwóch lat ściągnęli daniny, jakie zwykle płacono by przez lat 30. Spustoszyli też pułtuskie kościoły, a zwłaszcza kolegiatę i kościół oraz klasztor jezuitów.
Odbudowę zamku podjęto dopiero pod sam koniec XVII wieku. Wnętrza udekorowano sztukaterią i holenderskimi, ręcznie malowanymi płytkami fajansowymi. Płytki te można dziś oglądać w jednej z kaplic kolegiaty. W odnowionych ogrodach powstały pomarańczarnia, figarnia i altana. Nieco później we włoskim ogrodzie wzniesiono domek ogrodnika. Pod sam koniec XVII przebudowano w stylu klasycystycznym budynek przy bramie i dodano ciąg pomieszczeń parterowych od strony rzeki. W ten sposób zamek zyskał obecny kształt.
W wyniku III rozbioru Pułtusk znalazł się pod zaborem pruskim. Wówczas dokonano sekularyzacji, ale choć miasto przestało być własnością biskupów płockich, to sam zamek nadal pozostał w ich rękach.
Rezydencja mocno jednak ucierpiała w czasie wojen napoleońskich. 1806 roku pod Pułtuskiem wojska francuskie stoczyły krwawą bitwę z Rosjanami. Bitwa ta została upamiętniona na Łuku Triumfalnym w Paryżu. Po bitwie do Pułtuska przybył cesarz Napoleon I Bonaparte. Z jednego z okien zamkowych obserwował przez lunetę kolumnę wycofujących się Rosjan.. Na zamku urządzono wówczas funkcjonujący tam aż do roku 1815 wojskowy lazaret, co doprowadziło do znacznej dewastacji pomieszczeń. Ze zniszczeń tych odbudowano zamek w latach 1817-24. Zamek ponownie został uszkodzony przez pożar i odbudowany. Biskupi płoccy mieszkali tu jeszcze do roku 1852. Władztwo nad zamkiem utracili biskupi w 1866 na mocy zarządzenia władz rosyjski. Potem mieścił się w nim ponownie szpital wojskowy. Po odzyskaniu niepodległości w 1918 roku budowla stała się siedzibą władz powiatowych i funkcje te pełniła do 1975 roku.
W okresie okupacji urzędowali tu Niemcy. Dobudowali wówczas piętro nad skrzydłem wschodnim. W czasie działań wojennych związanych z ofensywą styczniową w 1945 zamek spłonął, po wojnie został odbudowany.
W 1974 roku władze postanowiły przekształcić zamek w Dom Polonii. Rozpoczęła się wtedy trwająca 15 lat przebudowa. Przekształcono między innymi wnętrza, które dostosowano do potrzeb hotelarskich. Obecnie bryła zamku ma kształt niesymetrycznej, złożonej z siedmiu segmentów podkowy. Pierwotny, jednotraktowy układ pomieszczeń jest dziś najlepiej widoczny w piwnicach Domu Dużego i budynku bramnego. Z zamku zachowała się kaplica barokowa, most oraz podziemia.
Dom Polonii w Pułtusku obok działalności hotelarskiej prowadzi także Ośrodek Dokumentacji Wychodźstwa Polskiego.
