16 sierpnia 1914 r. w Krakowie, po uprzednich rozmowach polityków galicyjskich w Wiedniu (byli wśród nich m.in. Juliusz Leo czy Leon Biliński), na posiedzeniu członków Koła Polskiego w parlamencie austriackim, powzięto uchwałę o stworzeniu Legionów, które będą walczyły po stronie Austro-Węgier i podlegały dowództwu Landwehry. Przez Legiony przewinęło się 35-40 tys. żołnierzy. Poległo ok. 3 tysiące, a 1358 Legionistów otrzymało Virtuti Militari. Legiony Polskie były pierwszą polską formacją wojskową w XX w.
Pod polską komendą, a w ścisłej łączności z naczelnym dowództwem armii austriacko-węgierskiej pójdą Legiony Polskie w bój, aby na szalę tej największej wojny rzucić także godny narodu polskiego czyn, jako warunek i zadatek lepszej dla niego doli.
Oddziały strzeleckie Piłsudskiego, który zdecydował o ich przyłączeniu do powstających Legionów, otrzymały nazwę 1. Pułku Piechoty Legionu Polskiego. Został on następnie, na przełomie 1914 i 1915 roku, rozbudowany i przekształcony w I Brygadę.Po odzyskaniu niepodległości – 30 maja 1918 roku powstał Związek Legionistów Polskich – skupiający weteranów Legionów Piłsudskiego. Pierwszym komendantem związku był Edward Rydz-Śmigły.
W latach 30. XX wieku na krakowskich Oleandrach, skąd w 1914 r. wyruszyła Pierwsza Kompania Kadrowa, powstał Dom im. Józefa Piłsudskiego zwany także Domem Legionisty. Decyzję o jego budowie podjęli dawni legioniści na I Zjeździe Związku Legionistów Polskich w 1922 roku, którzy na ten cel przekazywali własne fundusze. Teren przekazały władze Krakowa. Modernistyczny budynek został zaprojektowany przez prof. Adolfa Szyszko-Bohusza i Stefana Strojka. Projektu nie udało się zrealizować w całości przed wybuchem II wojny światowej.
Związek Legionistów Polskich został zlikwidowany przez władze komunistyczne w 1947 roku. W latach 70. środowiska legionowe w Krakowie nieformalnie go reaktywowały.