Twarz piękna zdaje się być ożywiona duszą tkliwa, włosy rozpuszczone; na głowie zgięty niby kapelusz. (...) Wielkość całego obrazu mniejsza jest cokolwiek jak naturalna. (...) Łączy do rzadkiej piękności pamięć sławnego człowieka; który choć miał wielu godnych sobie Następców, żaden mu jednak nie wyrównał w doskonałości – pisała o obrazie Rafaela księżna Izabela Czartoryska.
"Portret młodzieńca" został kupiony ok. roku 1800 do kolekcji Czartoryskich w Puławach, a księżna tak o tym napisała w katalogu:
Po zniesieniu sławnej Rzeczypospolitej Weneckiej gdy wiele familii Włoskich, zupełnie zniszczonych wyprzedawały się Majątków, familia Justynianów, będąc w smutnym przypadku, ż żalem wyzuła się tego portretu. Książęta Adam i Konstanty Czartoryscy znajdując się naówczas we Włoszech, nabyli ten rzadki Obraz i złożyli go w Domu Gotyckim.
W latach 70. XIX wieku książę Władysław Czartoryski kolekcję do Krakowa, gdzie w 1876 roku otwarte zostało Muzeum, prezentujące zbiory rodziny. Obok Rafaela gwiazdami były też dzieła Leonarda i Rembrandta. Kiedy nadciągnęła Wielka Wojna obrazy te i inne dzieła wysłano do Gemäldegalerie do Drezna. Były tam wystawione dla publiczności przez cały czas trwania działań wojennych, ale kiedy nastał czas pokoju dyrektor muzeum Hans Posse nie chciał wydać właśności Czartoryskich. Dopiero w 1920 roku zwrócono je do Krakowa. W 1939 roku Hitler desygnował Possego do stworzenia wielkiego niemieckiego muzeum w Linzu (Führermuseum). W tym celu historyk sztuki stworzył listę dzieł, które miały się tam znaleźć. Przejmowano kolekcje żydowskie oraz zrabowane dzieła w kolejnych podbitych krajach. 14 grudnia 1939 roku Posse napisał do Bormanna:
W Krakowie i Warszawie miałem możność przejrzeć nie tylko zbiory prywatne i publiczne, ale także zbiory będące własnością kościelną. Potwierdza się, że oprócz znanych nam już w Niemczech dzieł pierwszej jakości (np. ołtarz Wita Stwosza i obrazy na drzewie Hansa Kulmbacha z kościoła Mariackiego w Krakowie, obrazy Rafaela, Leonarda da Vinci i Rembrandta ze zbiorów Czartoryskich oraz kilka dzieł z Muzeum Narodowego w Warszawie) nie ma tu zbyt wiele, co by wzbogaciło niemieckie zasoby wielkiej sztuki.
Jeszcze przed wybuchem wojny, dyrektor Muzeum Książąt Czartoryskich, gen. Marian Kukiel, przygotował plan zabezpieczenia zbiorów. Najcenniejsze eksponaty ewakuowano do Sieniawy. Wielką Trójkę w skrzyni oznaczonej LRR (Leonardo, Rafael, Rembrandt), cenną kolekcję biżuterii antycznej i pamiątki po władcach Polski ukryto w oficynie pałacowej. 15 września do Sieniawy wkroczyły oddziały niemieckie, a 18 września gospodyni Zofia Szmit zobaczyła, że skrytka w oficynie została splądrowana. Zginęła biżuteria i szkatuła królewska, zawierająca kilkadziesiąt przedmiotów związanych z polskimi rodami panującymi. Pod koniec września 1939 roku, za zgodą władz niemieckich, pozostałe zbiory ukryte w Sieniawie przewieziono do pałacu Witolda Czartoryskiego w Pełkiniach. Na początku października 1939 roku zabytki przejęło gestapo i przetransportowało do Jarosławia. Tam dotarł do nich Specjalny Komisarz do spraw Zabezpieczenia Dzieł Sztuki na Wschodnich Terenach Okupowanych – dr Kajetan Mühlmann, protegowany Göringa, który chciał na zbiorach położyć swoją łapę. Prawdopodobnie w listopadzie 1939 roku Wielka Trójka trafiła do Berlina. Najpierw przechowywano ją w biurze Mühlmanna, potem obrazy zdeponowano w Kaiser Friedrich Museum. Ostatecznie umieszczono je w skrytce depozytowej Deutsche Banku przy ulicy Unter den Linden 27. Dr Hans Posse – wspomniany już wcześniej dyrektor drezdeńskiej Gemäldegalerie – „zarezerwował” Wielką Trójkę dla powstającego muzeum w Linzu.
W 1942 roku Hans Frank powołał na swojego doradcę ds. sztuki szwajcarskiego architekta dr. Wilhelma Ernsta von Palézieux. Dzięki jego staraniom w połowie 1943 roku Wielka Trójka znalazła się z powrotem w Krakowie, aby uświetnić rezydencję Hansa Franka, Generalnego Gubernatora. Kiedy w 1944 roku Sowieci zajęli Lwów, Frank zdecydował o zabezpieczeniu zbiorów, 20 stycznia 1945 roku przewieziono je do pałacu Hansa Christopha i Herty von Wietersheim-Kramsta w Morawie (Muhrau) koło Strzegomia (Striegau). I tam portret Rafaela znika w tajemniczych okolicznościach. Część dzieł zostaje wysłanych do Bawarii, są wśród Dama z gronostajem i Krajobraz z miłosiernym Samarytaninem, zabytki liturgiczne i inne cenne przedmioty. Ale nie ma Portretu młodzieńca. Konserwator Zabytków Prowincji Dolnego Śląska prof. Günther Grundmann pozostałe zabytki z Morawy ukrył w Bibliotece Schaffgotschów w Cieplicach – zabierając je nie znalazł jednak Rafaela.
Natychmiast po wojnie rozpoczęto poszukiwania dzieła, do tej pory nie przyniosły one rezultatu. W Muzeum Czartoryskich, koło Damy z łasiczką, wisi pusta rama po Portrecie młodzieńca z jego fotograficzną reprodukcją.
Historię obrazu i jego rabunku opisał J. Robert Kudelski "Zaginiony Rafael", śledztwo w tej sprawie stało się też kanwą trzech książek sensacyjnych Marcina Falińskiego i Marka Kozubala "Operacja Rafael", "Operacja Singe", "Operacja Retea".