Warownię wzniesiono na lewym brzegu Liwca, na wschód od miasta lokowanego w 1421 r., w celu kontroli przeprawy przez rzekę oraz stanowił wartownię na wschodniej granicy księstwa mazowieckiego. Na sztucznie usypanym wzniesieniu, zabezpieczonym drewnianymi palami, o powierzchni tysiąca metrów kwadratowych powstała niewielka ceglana warownia.
Pierwotnie zamek został założony na planie kwadratu o boku osiemdziesiąt na osiemdziesiąt metrów, a przed nim znajdował się drewniany, ufortyfikowany przygródek z zabudowaniami gospodarczymi. Na początku zamek składał się z murów obwodowych o wysokości około 6 metrów z blankami, Domu Dużego, w którym urzędował burgrabia i wysuniętej przed mury obwodowe otwartej od strony dziedzińca baszty bramnej z mostem zwodzonym. Zamek z miastem łączyła wąska grobla usypana na mokradłach i rozlewiskach Liwca.
Zamek w Liwie wymienia najwcześniejsze polskie źródło heraldyczne datowane na lata 1464–1480 Insignia seu clenodia Regis et Regni Poloniae polskiego historyka Jana Długosza. Autor od nazwy polskiego rodu szlacheckiego rezydującego na zamku w Liwie wywodzi nazwę polskiego herbu szlacheckiego Doliwa.
Pierwszej przebudowy zamek w Liwie doczekał się pomiędzy latami 1526–1536, kiedy był własnością księżnej Anny Mazowieckiej. W ramach przebudowy dokonano podniesienia murów obronnych do 12 metrów, Dom Duży nadbudowano o jedną kondygnację, przez co mógł pełnić funkcje dworskie. Zmieniono również bramę zamykając ją murem od strony dziedzińca i nadbudowując jedno piętro. Na zamkowym dziedzińcu zbudowano niewielki dom gospodarczy zwany Domem Małym i spichlerz.
Kolejną przebudowę przeprowadzono na polecenie królowej Bony Sforzy. W latach 1549–1570 rozbudowano bramę przekształcając ją w kilkukondygnacyjną wieżę. Zlikwidowano krenelaż i zaopatrzono mury w stanowiska strzelnicze dla broni palnej. W takim stanie zamek istniał do Potopu.
W 1657 wojska szwedzkie ostrzelały z dział zamek, a po zdobyciu spaliły. Po raz kolejny warownia uległa zniszczeniom z rąk wojsk szwedzkich w 1700 i 1703. Po zniszczeniach wojennych gotycko-renesansowej warowni nie odbudowano. Na piwnicach spalonego Domu Dużego wzniesiono drewniany dom kancelarii, który służył starostom liwskim do końca XVIII wieku.
Pod koniec XVIII wieku decyzją starosty Tadeusza Grabianki na miejscu Domu Małego naprzeciwko drewnianej kancelarii wzniesiono murowany barokowy dwór. Parterowy obiekt z dachem mansardowym postawiony w 1782 roku z czasem stał się siedzibą urzędów starostwa i sądu ziemskiego. Po przeniesieniu władz administracyjnych do Siedlec stał pusty. Powoli był dewastowany i rozbierany. Uległ ostatecznemu zniszczeniu w latach 1846–1855. Przez pewien czas w zachowanej wieży mieściła się kuźnia.
Po I wojnie światowej dokonano niewielkich prac badawczych i zabezpieczenia ruin. Nie przystąpiono jednak do większych prac budowlanych. Dopiero podczas II wojny światowej ruinami zainteresowały się niemieckie władze okupacyjne wprowadzone w błąd o krzyżackim pochodzeniu warowni. W latach 1943–1944 cegły z murów zamkowych, które miały zostać pierwotnie wykorzystane jako budulec obozu zagłady w Treblince wróciły na swoje miejsce. Niemcy zabezpieczyli obiekt i rozpoczęli prace przy rekonstrukcji wieży. Przerwali je jednak natychmiast po tym, jak wyszła na jaw prawda historyczna. W 1944 zamek ponownie uległ uszkodzeniu podczas działań wojennych.
Po wojnie dokonano zabezpieczenia w formie trwałej ruiny zachowanych gotyckich murów i dokończono rekonstrukcję wieży bramnej. W latach 1957–1961 staraniem lokalnych społeczników odbudowano dwór kancelarii starościńskiej z przeznaczeniem na siedzibę urzędu gminy i bibliotekę wiejską. W 1963 w budynku powstało Muzeum-Zbrojownia.
Obecnie dla zwiedzających udostępniono sale w odrestaurowanym dworze, a także wieżę bramną. Z dawnego Domu Dużego zachowały się jedynie gotyckie piwnice i część okalających go murów.
W planach była odbudowa drewnianego dworu kancelarii z początku XVIII wieku oraz urządzenie w miejscu dawnego przygródka skansenu budownictwa drewnianego. Nie doszła ona jednak do skutku.
W odbudowanym dworze kancelarii oraz w wieży bramnej gotyckiego zamku swoją siedzibę ma muzeum historyczne. Jego ekspozycja prezentuje historię zamku, fotokopie rysunków, malarstwo oraz broń i uzbrojenie z różnych epok.
W okresie letnim przed zamkiem placówka organizuje różne imprezy plenerowe m.in. inscenizacje turniejów rycerskich.
