Zaczątkiem zespołu zamkowego była rycerska wieża mieszkalna, wzniesiona na początku XV w. na sztucznej wyspie, usypanej pośrodku jednej z odnóg rzeki Słudwi. Później powstały mieszkalne budynki otaczające niewielki brukowy dziedziniec, mury obronne oraz półokrągła baszta z kaplicą na piętrze. Nad zamkiem góruje północno-zachodnia narożna wieża ozdobiona gotyckim sztyletem.
Mimo wielu przebudów dokonanych w XVII, XVIII i XIX w. nastąpiły tylko niewielkie zmiany. Pozostały po nich renesansowe stropy, barokowe otwory okienne na piętrze, klasycystyczne sztukaterie. Z około 1840 pochodzi przybudówka na dziedzińcu, tzw. „kredens” oraz neogotycki portal bramy wjazdowej i taras przed mostem. Zamek otacza krajobrazowy park założony w pierwszej połowie XIX w.
Oporów po raz pierwszy wymieniono w źródłach w 1363 roku. Budowę pierwszego dworu około roku 1350 przypisuję się Stefanowi, pierwszemu znanemu przedstawicielowi rodu, który był chorążym i sędzią łęczyckim.
Dwór powstał prawdopodobnie w połowie XIV wieku Był to drewniany dom mieszkalny. Ostatecznie drewniany dwór spłonął w końcu XIV wieku, nie znane są dokładne przyczyny jego zniszczenia.
Zamek wybudowano w całości za czasów Władysława Oporowskiego, najwybitniejszego przedstawiciela rodu i jednego z najznamienitszych dyplomatów swej epoki. Pełnił on funkcję podkanclerzego koronnego przy dworze Władysława Jagiełły, następnie biskupa włocławskiego, a potem także arcybiskupa gnieźnieńskiego i prymasa Polski, dzięki czemu miał fundusze na stworzenie okazałej budowli w swym rodzinnym mieście (Oporów miał już wtedy prawa miejskie).
Budowa wymienianego w ówczesnych źródłach „castrum” trwała w latach 30. i 40. XV wieku, przez kilkanaście lat. Według historyków sztuki, arcybiskup naśladował prawdopodobnie Zbigniewa Oleśnickiego, biskupa krakowskiego i kardynała, konkurenta Oporowskiego, który wybudował podobny zamek w Pińczowie.
Znana jest też legenda o tak zwanej „Białej Damie”. Miała nią być kasztelanka Barbara Tarnowska, żyjąca na zamku w XVII wieku. Jeden z jej sług miał na łożu śmierci nawrócić się na katolicyzm. Kasztelanka kazała pobić kapłana, zdążającego do umierającego sługi. Ksiądz zmarł, a oo.Paulini przegrali proces z Barbara Tarnowską, lecz i tak spotkała ją kara, a jej duch ponoć nadal błądzi i cierpi męki.
Z kolei późniejszy właściciel oporowskich dóbr, szlachcic litewski Józef Sołłohub, jest związany z inną legendą. Miał on zaprzedać duszę diabłu w zamian za bogactwa. W czasie panowania Sołłohuba odbywały się liczne i huczne bale, polowania i uczty, pełne wytrawnych dań i przepychu. O ich skali opowiadano ponoć przez długie lata, co mogło dać asumpt do stworzenia tej barwnej legendy
Od roku 1949 na zamku mieści się również muzeum, w którym przedstawione są zbiory z różnych epok, gromadzone, przez wiele lat. Niewielka część z nich dotyczy bezpośrednio byłych właścicieli zamku (to głównie obrazy i inne cenne przedmioty). Większość ze zbiorów także udostępniona dla zwiedzających.
Muzeum otwarto 1949. Prace konserwatorskie i remontowe przeprowadzono na szeroką skalę w latach 1962-1965. Odkryto w tym czasie między innymi polichromowane stropy, gotyckie portale, a także różne skrytki, gdzie zachowały się zabytkowe przedmioty, pozostałości po poprzednich właścicielach, w tym schowek z bronią z przełomu XVIII i XIX wieku, którego zawartość eksponowana jest obecnie w zamkowej zbrojowni. W późniejszych latach pozyskiwano także inne przedmioty z różnych epok, które miały ubogacić kolekcje muzealne. Udało się zdobyć wiele cennych obrazów polskich i zagranicznych malarzy, tkanin, wyrobów artystycznych ze srebra, kości słoniowej, ceramiki, szkła oraz cyny, zbiorem broni białej i palnej, uzbrojenia ochronnego. Ponadto cały czas wykonywano prace rewaloryzacyjne w parku.
Koncerty dawnej muzyki i wieczory poetycko-muzyczne odbywają się tu już od lat 60. XX wieku. Oporowskie wnętrza gościły także wiele ekip filmowych, dzięki czemu można podziwiać zamek w różnych polskich produkcjach. Spośród filmów fabularnych i dokumentalnych, programów muzycznych i spektakli telewizyjnych, wymienić można między innymi: „Duch z Canterville” (1967) – ekranizacja powieści Oscara Wilde’a; „Rycerze i rabusie. Przypadki starościca Wolskiego” (1984); „Konwój” (1987); „Ekstradycja” (1994) – zamek był serialową siedzibą mafii, kwitł tutaj handel narkotykami; „Duchy, zamki i upiory” (1994); „Horsztyński” (1995) – spektakl telewizyjny; „Pan Tadeusz” (1998); „Przeprowadzki” (2000).
