Właścicielami nowego pałacu była wówczas można rodzina Firlejów. W XVII w., gdy obiekt był w posiadaniu Zbaraskich, dokonano gruntownej jego przebudowy w celu nadania budynkowi modnych wówczas cech stylowych oraz przekształcenia go w reprezentacyjną rezydencję miejską magnackiego rodu. Pracami budowlanymi kierował architekt flamandzki Henryk van Peene, który został sprowadzony do Polski przez Jerzego Zbaraskiego. Powstał wtedy barokowy, dwukondygnacyjny, arkadowy dziedziniec z krużgankami oraz sień wjazdowa od strony Rynku Głównego.
Kolejna przebudowa rezydencji miała miejsce w latach 1778–1783 i dokonana została z polecenia ówczesnego właściciela, hr. Eliasza Wodzickiego. Architekt Ferdynand Nax nadał wtedy pałacowi cechy stylu wczesnoklasycystycznego. W następnych dziesięcioleciach często zmieniali się jego właściciele. Mieszkali w nim m.in. Potuliccy herbu Grzymała, Rostworowscy herbu Nałęcz, Wiśniowieccy herbu Korybut, Jabłonowscy herbu Prus III i Radziwiłłowie herbu Trąby. W końcu XIX w. budynek stał się własnością Potockich herbu Pilawa. Z ich polecenia w latach 1896–1898 dokonano restauracji rezydencji, przekształcając wnętrza pomieszczeń na parterze oraz częściowo przebudowując dziedziniec wewnętrzny. Autorem tych zmian był architekt Karol Zaremba.
Dalsze prace prowadzono w pałacu jeszcze w latach 1910–1912. Ich projektodawcami byli architekci Ludwik Wojtyczko i Kazimierz Wyczyński. Założono wtedy nowe klatki schodowe i przebudowano wnętrza drugiego, mieszkalnego piętra. Pierwsze piętro zachowało w dalszym ciągu charakter reprezentacyjny, podkreślony elementami dekoracyjnymi salonów. Po II wojnie światowej pałac był odnawiany i zrekonstruowany. Do naszych czasów zachowały się korynckie pilastry w elewacjach, kamienny portal i bogata dekoracja rzeźbiarska wieńcząca szczyt budowli (m.in. kartusze herbowe).
Od 2021 roku KBF – operator programu Kraków Miasto Literatury UNESCO oraz Galeria Sztuki Współczesnej Bunkier Sztuki zaprasza na różnorodny i cykliczny program wydarzeń składają się, m.in., premiery nowości wydawniczych, dyskusje tematyczne, kreatywne warsztaty literackie dzieci czy pokazy filmów fabularnych i dokumentalnych. To przestrzeń łącząca dziedzictwo i kreatywność, dostępna dla wszystkich i otwarta na pomysły krakowian.
Barokowy wystrój, klasycystyczna fasada zdobiona alegorycznymi postaciami i niezwykły, arkadowy dziedziniec, wzorowany na wawelskim, charakteryzują ten jeden z najbardziej reprezentacyjnych budynków w mieście.
Przez ostatnie 25 lat Pałac Potockich był siedzibą Goethe Institut, który październiku 2020 roku przeniósł się na ul. Podgórską. W porozumieniu z miejskimi instytucjami kultury oraz Wydziałem Kultury i Dziedzictwa Narodowego Urzędu Miasta Krakowa powstał pomysł scalenia w tym miejscu działalności kulturalnej kilku podmiotów miejskich i niektórych organizacji pozarządowych.
Pałac Potockich to miejsce spotkań z publicznością i gośćmi ważnych festiwali oraz miejsce wspólne dla środowiska literackiego. Prezentowane są tu dokonania Stypendystów Miasta Krakowa i twórców związanych z miastem.
Na czas modernizacji budynku Galerii Sztuki Współczesnej Bunkier Sztuki, która swoją stałą siedzibę ma na rogu Plant i placu Szczepańskiego, przeniesie działalność wystawienniczą, edukacyjną i wydawniczą do Pałacu Potockich.
W przestrzeniach dawnej Biblioteki Goethe Institut realizowane są programy literackie odbywające się pod szyldem Krakowa Miasta Literatury UNESCO (KMLU), które koordynuje zespół KBF, w tym Dział Literacki.