W XV wieku pochodzący z Frankonii Hallerowie osiedlili się w Polsce i bardzo szybko włączyli się w nurt pracy dla nowej Ojczyzny. Ojciec przyszłego generała, wraz ze swoimi braćmi, brał czynny udział w Powstaniu Styczniowym. Stanisław Haller, brat stryjeczny Józefa, został zamordowany przez sowietów w Charkowie w 1940 roku. Młodszy brat Cezary walczył na Śląsku Cieszyńskim i tam zginął w styczniu 1919 r. Józef urodzony w 1873 r. był trzecim z siódemki dzieci Henryka i Olgi z Tretterów.
Od samego początku jego edukacja podporządkowana była karierze wojskowej. Jak mówił sam Haller wynikało to z przekonania jego ojca, jakie nabył po Powstaniu Styczniowym, że tylko odpowiednio przygotowani i wykształceni dowódcy oraz oficerowie będą w stanie poprowadzić Polaków ku niepodległości. To przekonanie towarzyszyło Hallerowi przez kolejne lata, o czym najlepiej świadczy wymiana zdań pomiędzy nim, a Józefem Piłsudskim w czasie I wojny światowej. Na stwierdzenie Komendanta „Ja robię politykę” – Haller miał odpowiedzieć – „A ja tworzę Wojsko Polskie”. Ostatnim etapem edukacji późniejszego generała była Akademia Techniczna w Wiedniu, którą w roku 1895.
– pisał w tygodniku GP Piotr Dmitrowicz.
Haller służył w wojsku austriackim, ale w rozkwicie kariery ze służby tej zrezygnował.
Osiągnąwszy stopień kapitana – wspominał po latach – nie mogąc się niczego więcej w artylerii austriackiej nauczyć, opuszczam ją by w inny sposób służyć krajowi, aż do chwili, w której Ojczyzna mnie będzie potrzebować.
Nie chcąc pozostać bezczynnym zajął się pracą społeczną m.in. angażując się we właśnie powstający ruch skautowy. Kiedy wybuchła I w. św. objął dowództwo 1 pułku piechoty, do którego włączone były drużyny sokole, bartoszowe i strzeleckie. Po zlikwidowaniu Legionu Wschodniego dostał propozycję dowodzenia I batalionem 3 pułku piechoty Legionów Polskich i rozkaz obrony przełęczy w Karpatach. Tam legioniści wybudowali drogę przez Przełęcz Pantyrską zwaną od tamtej pory Drogą Legionów. Łączyła ona Koeningsfeld ze wsią Rafajłowa. Na tamtych terenach rozegrało się kilkanaście bitew, w jednej z nich Haller został ranny, wkrótce też otrzymał awans na pułkownika. Kiedy w maju 1915 r. powstała II Brygada Legionów, w której byli m.in. żołnierze walczący w Karpatach, to w uznaniu ich zasług Brygadę nazywano karpacką lub żelazną. Rok później Haller objął nad nią dowództwo.
W czasie kryzysu przysięgowego Haller i większość żołnierzy z II Brygady złożyli przysięgę na wierność cesarzowi. Spotkał ich jednak szybko cios ze strony Austriaków, którzy rozwiązali Brygadę i stworzyli Polski Korpus Posiłkowy, a wkrótce wraz z Niemcami oddali Ukrainie ziemię chełmską i część Podlasia. Generał ze swoimi żołnierzami przedarł się przez front austriacko-rosyjski pod Rarańczą, by „dążyć do połączenia z polskimi oddziałami po tamtej stronie frontu”. Po 300-kilometrowym marszu udało im się dotrzeć do II Korpusu Polskiego, a Haller otrzymał awans na generała i dowództwo nad połączonymi siłami. 11 maja doszło do bitwy pod Kaniowem. Wojska niemieckie rozbiły oddziały Korpusu. Haller uniknął niewoli i przedarł się do Francji, gdzie wszedł w skład Komitetu Narodowego Polskiego i dostał nominację na dowódcę Armii Polskiej we Francji. Na jej czele wiosną 1919 r. wrócił do kraju. W swoim pierwszym rozkazie wydanym w wolnej Polsce 22 kwietnia 1919 r. napisał:
Pamiętajcie, że nie ma dziś żadnych różnic; jest jeden żołnierz polski, którego krew kreśli granice Państwa! I choć różny mundur was kryje, duch ma być jeden, bo towarzyszem broni lub kolegą jest dla nas każdy należący do Wojska Polskiego i noszący naszego Orła Białego jako Godło.