Autor Kroniki Wielkopolskiej napisał, że król Bolesław „miał otrzymać od anioła miecz, którym z pomocą boską zwyciężał wszystkich swoich przeciwników. Ten miecz aż do dziś przechowuje się w skarbcu kościoła krakowskiego. Królowie polscy wyruszając na wyprawy mieli zwyczaj nosić go i zawsze z nim tryumfowali nad wrogiem. (...) miecz króla Bolesława, dany mu przez anioła, nazywa się Szczerbiec, dlatego, że na wezwanie anioła przybywszy na Ruś pierwszy uderzył nim w Złotą Bramę, która zamyka gród kijowski. Od tego uderzenia miecz poniósł niewielką stratę, którą w polskim zwie się szczerba i stąd nazwa Szczerbiec”.

Nic dziwnego, że naukowcy badali miecz z każdej strony i co ciekawe dochodzili do różnych wniosków. Ma być to więc m.in. broń krzyżacka z XIII wieku, miecz mozelski z XII wieku, amulet powiązany z kabałą czy wreszcie dar Templariuszy. Nic dziwnego – jest bogato zdobiony, pełno na nim symboli. Mamy więc Baranka Bożego, Ewangelistów, roślinną wić, monogram Boga z literami Alfa i Omega, oraz trzy napisy po łacinie: „Haec figura valet ad amorem regum et principum iras iudicum”  – „Ten znak umacnia miłość królów i książąt, a gniew sędziów”; „Con citomon eeve Sedalai Ebrehel” – „Żarliwą wiarę wzbudzają imiona Boga Sedalai i Ebrehel” i „Quicumque hec nomina Dei secum tulerit nullum periculum ei omnino nocebit” – „Ktokolwiek te imiona Boga ze sobą nosić będzie, temu żadne niebezpieczeństwo w ogóle nie zaszkodzi”.

Prawdopodobnie po raz pierwszy użyto go przy koronacji Władysława Łokietka w 1320 roku. Jan Długosz napisał, że Ludwik Węgierski zabrał go z Krakowa, ale został zwrócony na koronację Jadwigi i Jagiełły. Podczas każdej koronacji arcybiskup podawał Szczerbiec przyszłemu królowi jeszcze przed nałożeniem korony, a władca trzykrotnie kreślił w powietrzu znak krzyża. Po raz ostatni miecz służył przy koronacji Stanisława Augusta Poniatowskiego.

Tuż przed trzecim rozbiorem Polski Prusacy, którzy zajęli Kraków, potajemnie zrabowali polskie insygnia koronacyjne przechowywane w skarbcu wawelskim i wywieźli je do Berlina. Tam przetopiono wszystko i sprzedano kruszec, ocalał jedynie Szczerbiec, ale na kilkanaście lat zniknął z areny dziejów. Wypłynął nagle w 1819 roku, kiedy książę Dymitr Łabanow-Rostowski pokazał go namiestnikowi królestwa kongresowego Wincentemu Krasińskiemu, mówiąc że pewien Ormianin znalazł go w rowie podczas wojny rosyjsko-tureckiej i sprzedał w Moskwie. Historia była tak niewiarygodna, że Krasiński uznał iż nie jest to miecz koronacyjny władców Polski. Łabanow sprzedał go rodzinie Demidowów, a ci trzymali go w pałacyku pod Florencją. W 1870 roku Szczerbiec kupił ambasador rosyjski w Paryżu i pokazał go nawet na… wystawie światowej, po czym umieszczony został z zbiorach petersburskiego Ermitażu.

Po odzyskaniu niepodległości władze polskie, aby odzyskać miecz musiały zrzec się na rzecz Sowietów obrazu „Skradziony pocałunek” Jean-Honoré Fragonarda. I tak po 130 latach Szczerbiec wrócił na Wawel. W czasie II wojny światowej udało się go ewakuować z Polski. Pojechał szlakiem polskiego uchodźstwa przez Rumunię do Francji, Wielkiej Brytanii i Kanady. Kanadyjczycy nieufni komunistycznym rządom zwrócili go dopiero 1959 roku.