Pilica stanowiła w XIV w. własność rodu Toporczyków, właścicieli zamku w Smoleniu. Prawdopodobnie to oni wznieśli w Pilicy pierwszy zamek. Ród ten zaczął niebawem, od nazwy miejscowości, zwać się Pileckimi. W 1569 r. tutejsze posiadłości kupili Padniewscy herbu Nowina. Wkrótce też, w okolicach przełomu XVI i XVII wieku przebudowali oni zamek, lub też wznieśli go od początku. Była to rezydencja w stylu włoskiego, późnego renesansu, do której ród Padniewskich przeniósł się ze Smolenia. Niedługo później kolejny właściciel, Jerzy Zbaraski, kontynuował rozbudowę. Budowla często zmieniała właścicieli. Wkrótce panami stali się tu Wiśniowieccy, a potem sławny Stanisław Warszycki, który dokonał kolejnej przebudowy. Pałac, o czterdziestu komnatach, otoczony został fortyfikacjami z sześcioma bastionami. Była to - jak na owe czasy - nowoczesna twierdza.
W 1655 r. Szwedzi zdobyli jednak zamek, ale Warszyckiemu udało się wkrótce go odbić. W 1705, podczas wojny północnej, obiekt znów zajęły wojska szwedzkie. W 1731 kupiła go Maria z Wesslów Sobieska, dokonując przebudowy na modłę francuską - w stylu barokowym. Wiek XIX przyniósł kolejną przebudowę, w stylu neorenesansowym oraz ozdobienie fortyfikacji w modnym wówczas stylu romantycznym.
Od końca 1942 do wiosny 1944 r. na zamku stacjonował pluton zmotoryzowanej żandarmerii - Gandarmerie Mot-Zug 63. Pluton ten pod murami zamku rozstrzelał ok. 80 Polaków i ok. 70 Żydów. W 1945 r. odebrano majątek Arkuszewskim, a pałac przeznaczono na dom dziecka dla dziewcząt, a w latach 80. XX w. zakładu poprawczego dla młodzieży. W latach 1960-1962 konserwowano częściowo pałacowe wnętrza.
W 1985 r. przeprowadzono wykopaliska archeologiczne. W maju 1989 r. zespół pałacowy od Skarbu Państwa kupiła Barbara Piasecka Johnson, która planowała przeznaczyć go na swoją rezydencję z udostępnioną zwiedzającym galerią malarstwa, jednak po rocznym remoncie prac zaprzestano, ponieważ roszczenia do zamku zgłosili potomkowie Kazimierza Arkuszewskiego.
W 1994 r. Sąd Okręgowy w Katowicach uznał, że akt notarialny sprzedaży jest nieważny, ponieważ na sprzedaż nie wyraził zgody Minister Kultury. Postępowanie odwoławcze w tej sprawie nie zakończyło się aż do śmierci Piaseckiej-Johnson w kwietniu 2013 r.
Wokół pałacu znajduje się park o powierzchni 10 hektarów o bogatej roślinności, uznany za pomnik przyrody jako dzieło sztuki ogrodowej. W parku znajduje się klasycystyczna studnia. Kryje też on w sobie 6-metrową w obwodzie lipę, zwaną lipą królowej Elżbiety (pani na pobliskim zamku w Smoleniu, żony Władysława Jagiełły). Także tutejsze fortyfikacje stanowią jeden z bardziej interesujących obiektów tego typu. Obok znajduje się kopiec, poświęcony powstańcom styczniowym.
