W kolejnych stuleciach jego losy były zmienne – na skutek zawirowań historycznych pojawiał się i znikał, kurczył i rozszerzał, popadał w zaniedbanie i odzyskiwał swój blask. Prawdopodobnie jednak nigdy nie prezentował się tak okazale jak dziś.
Ogrody zamkowe – tworzą wzajemnie dopełniającą się całość, stylistycznie łączącą ducha modernizmu międzywojennego z elementami sztuki baroku. Elementami, które przetrwały z czasów przedwojennych, są dwa imponujące boskiety z grabów, tworzące zjawiskowy labirynt u stóp skarpy. Usytuowany na zboczu Ogród Górny został zaś pieczołowicie odtworzony na bazie dostępnej ikonografii, m.in. obrazów Canaletta, fotografii z okresu międzywojennego, a także planów rozbudowy ogrodów z końca lat 30., których realizację uniemożliwił wybuch wojny.
Ogrody zamkowe to dziś wymarzone miejsce odpoczynku, dostępne dla wszystkich chętnych. Z jednej strony otoczone majestatyczną bryłą Zamku, z drugiej otwierające się na piękną panoramę doliny Wisły, tworzą czarującą przestrzeń, będącą idealną odskocznią od zgiełku miasta.