Wdowa po Lubomirskim, Joanna, dziesięć lat później zamieniła majątek żelechowski na ziemię na Podolu. Nowym właścicielem majątku został Fabian Sebastian Roman, nie doprowadził on jednak budowy do końca z powodu hulaszczego trybu życia. Dopiero kiedy Ignacy Wyssogota Zakrzewski w 1792 roku przejął majątek, w dwa lata dokończył budowę. W pierwszej ćwierci XIX wieku pałac przeszedł na krótko w ręce rodziny Danglów.
Kolejnym właścicielem został Jan Ordęga, dokonał on przebudowy pałacu w 1838 roku i urządził park w stylu angielskim. Ordęgowie przyczynili się także znacznie do wyposażenia i ozdobienia budynku. Pozostawali oni właścicielami majątku aż do II wojny światowej, jednak w okresie międzywojennym w pałacu mieszkała rodzina Szustrów. W pałacu odbyło się wesele Romualda Traugutta z Anną Pikiel.
Wojska sowieckie po wkroczeniu do Żelechowa zdemolowały i ograbiły pałac, później budynek wraz z całym majątkiem znacjonalizowano. W okresie PRL i latach 90. pałac służył jako szkoła, później internat. Odbywały się tam także zajęcia z wychowania fizycznego. W 1960 roku pałac wraz z parkiem wpisano do rejestru zabytków. Budynek przez kilka lat pozostawał opuszczony, aż w 2006 roku ponownie znalazł się w prywatnych rękach. Rozpoczęto wtedy gruntowny remont i renowację obiektu. Pałac w 2013 został otwarty jako hotel i centrum konferencyjno-wypoczynkowe Pałac Żelechów.
Główne wejście prowadzi do przedsionka, który łączy wszystkie części pałacu: m.in. znajdującą się tuż za nim klatką schodową, dalej salon i ulokowaną z tyłu lewego skrzydła salę balową. Wysokość tych pomieszczeń jest na tyle duża, że w prawym skrzydle zmieściły się dwie kondygnacje pomieszczeń mieszczących pokoje dla służby i kuchnię. Na piętrze znajdują się dwa duże pomieszczenia rozdzielone korytarzem i dwa strychy.
Wydarzenia II wojny światowej przyczyniły się do ogołocenia pałacu, do tej pory pozostało tam kilka pieców kaflowych i część ornamentów wnętrz z motywami sfinksów.
W pałacu znajdowała się także tablica poświęcona pamięci Ignacego Wyssogoty Zakrzewskiego, wmurowana z okazji 700-lecia Warszawy przez Turystyczny Klub Motorowy PTTK z Warszawy. Została skradziona w 2006 roku.
Zespół budynków otoczony jest przez park o powierzchni 7,8 ha, w którym znajduje się kilka pomników przyrody. Na północ od pałacu położone są dwa stawy o różnych poziomach lustra wody, na jednym z nich usypana została wysepka, która pierwotnie połączona była z resztą parku kładką.
Dawniej w skład kompleksu wchodził także sad ulokowany na terenie dzisiejszego boiska, warsztatów i domów mieszkalnych. Za parkiem w głąb pól wychodziła aleja obsadzona grabami, zniszczona przez utworzenie w tym miejscu, przez wojska sowieckie, lotniska. Park otoczony był przez zabudowania folwarczne, w okresie PRL należące do Państwowego Gospodarstwa Rolnego w Żelechowie.
