Pierwszym komendantem związku był Edward Rydz-Śmigły. Przez Legiony przewinęło się 35-40 tys. żołnierzy. Poległo ok. 3 tysiące, a 1358 Legionistów otrzymało Virtuti Militari. Legiony Polskie były pierwszą polską formacją wojskową w XX w.
16 sierpnia 1914 r. w Krakowie, po uprzednich rozmowach polityków galicyjskich w Wiedniu (m.in. Juliusz Leo, Leon Biliński), na posiedzeniu członków Koła Polskiego w parlamencie austriackim powzięto uchwałę o stworzeniu Legionów, które będą walczyły po stronie Austro-Węgier i podlegały dowództwu Landwehry.
Pod polską komendą, a w ścisłej łączności z naczelnym dowództwem armii austriacko-węgierskiej pójdą Legiony Polskie w bój, aby na szalę tej największej wojny rzucić także godny narodu polskiego czyn, jako warunek i zadatek lepszej dla niego doli.
– głosiła uchwała.
Oddziały strzeleckie Piłsudskiego, który zdecydował o ich przyłączeniu do powstających Legionów, otrzymały nazwę 1. Pułku Piechoty Legionu Polskiego. Został on następnie, na przełomie 1914 i 1915 r., rozbudowany i przekształcony w I Brygadę.
Przez Legiony przewinęło się 35-40 tys. żołnierzy. W latach 30. XX wieku na krakowskich Oleandrach, skąd w 1914 r. wyruszyła Pierwsza Kompania Kadrowa, powstał Dom im. Józefa Piłsudskiego zwany także Domem Legionisty. Decyzję o jego budowie podjęli dawni legioniści na I Zjeździe Związku Legionistów Polskich w 1922 r., którzy na ten cel przekazywali własne fundusze. Teren przekazały władze Krakowa. Modernistyczny budynek został zaprojektowany przez prof. Adolfa Szyszko-Bohusza i Stefana Strojka. Projektu nie udało się zrealizować w całości przed wybuchem II wojny światowej.
Związek Legionistów Polskich został zlikwidowany przez władze komunistyczne w 1947 r. W latach 70. środowiska legionowe w Krakowie nieformalnie go reaktywowały.