Wytyczany i urządzany był w latach 1800–1802 (na obszarze 5,6 ha), a czynny jest od połowy stycznia 1803 r. Powstał na terenie podmiejskiego wówczas folwarku Bosackie we wsi Prądnik Czerwony na pograniczu Olszy. Teren wykupiły od karmelitów bosych z Czernej władze austriackie. Koszt urządzenia cmentarza pokryło miasto Kraków i okoliczne gminy: Rakowice, Prądnik Biały i Prądnik Czerwony, Olsza, Grzegórzki, Piaski, Bronowice Wielkie i Bronowice Małe, Czarna Wieś, Nowa Wieś, Krowodrza, Kawiory, którym przyznano prawo do grzebania na nim zmarłych. Pierwszy pogrzeb miał miejsce w styczniu 1803.
Cmentarz był kilkakrotnie powiększany. Otaczający go mur wzniesiono z materiału uzyskanego z rozbiórki kościoła Wszystkich Świętych. 6 czerwca 1856 r. wydano zezwolenie na budowę nowej kaplicy, jednak dopiero w latach 1861–1862 w centralnym punkcie cmentarza wzniesiono kaplicę Zmartwychwstania Pańskiego (fundacji Anny i Ludwika Helclów), na miejscu wówczas istniejącej drewnianej. W 1877 r. wzniesiono budynek administracyjny oraz kostnicę.
W 1976 r. został wpisany do rejestru zabytków. W 1981 r. powołano Obywatelski Komitet Ratowania Krakowa, w ramach którego działa komisja ds. Ratowania Cmentarzy Krakowa i Ziemi Krakowskiej. OKRK organizuje coroczne kwesty na rzecz zabytkowych grobowców i nagrobków. Prace prowadzone są na Cmentarzu Rakowickim i Nowym Cmentarzu Podgórskim (przy współpracy Stowarzyszenia Podgórze.pl). OKRK gromadzi fundusze na renowację zabytkowych grobowców na specjalnym koncie. Z funduszy remontowane są groby nieposiadające dysponentów.
Nekropolia jest miejscem pochówku krakowian, zarówno zwykłych obywateli miasta, jak i tych zasłużonych, m.in.: twórców kultury, naukowców, przedstawicieli znanych rodów, działaczy niepodległościowych, politycznych i społecznych, uczestników ruchów niepodległościowych, powstań, obu wojen światowych.
Na cmentarzu istnieją m.in. wydzielone kwatery uczestników powstań listopadowego, styczniowego, krakowskiego, I wojny światowej (z wszystkich trzech armii zaborczych – żołnierze ci najczęściej zmarli podczas pobytu w szpitalach wojskowych), członków Legionów Polskich, uczestników szarży pod Rokitną, robotników zabitych podczas strajków w 1923 r. Kwatery były miejscem uroczystości patriotycznych.
Cmentarz jest zabytkiem o dużej wartości historycznej i artystycznej. Wiele nagrobków jest dziełem znanych rzeźbiarzy i architektów.
