Tajna organizacja zbrojna tworzona była w Królestwie Polskim od sierpnia 1914 r. z inicjatywy Józefa Piłsudskiego. Przy jej powstawaniu oparto się o członków Związku Walki Czynnej i Polskich Drużyn Strzeleckich. Celem POW były walka o niepodległość Polski oraz przygotowanie kadr dla przyszłej armii polskiej. Prowadzono szkolenia wojskowe oraz działania wywiadowcze i dywersyjne.
22 października 1914 r. po przyjęciu nazwy Polska Organizacja Wojskowa, na jej czele stanął oddelegowany przez J. Piłsudskiego z 1 pułku piechoty Legionów ppor. Tadeusz Żuliński. Organem kierującym POW była Komenda Naczelna, podporządkowana J. Piłsudskiemu. W skład KN wchodzili m.in. Wacław Jędrzejewicz, Adam Koc, Konrad Libicki, Bogusław Miedziński i Marian Zyndram-Kościałkowski. Działając na terenie zaboru rosyjskiego POW podzielona była na okręgi, podporządkowane komendantom w Warszawie, Lublinie, Płocku, Radomiu i Siedlcach. Pod koniec 1914 r. powstały również oddziały POW w Petersburgu i Kijowie. Zorganizowano także Oddział Lotny Wojska Polskiego, zajmujący się dywersją, polegającą m.in. na niszczeniu torów kolejowych, mostów, linii telefonicznych oraz zbrojnych akcjach na urzędy rosyjskie.
Po opuszczeniu Królestwa Polskiego przez wojska rosyjskie część członków POW ujawniła się i razem z komendantem Żulińskim weszła w skład I Brygady Legionów. Większość, spośród liczącej wówczas prawdopodobnie około tysiąca osób organizacji, pozostała w konspiracji.
Na terenach zajętych przez armie państw centralnych POW nadal prowadziła działalność szkoleniową i pozyskiwała nowych członków, zawiesiła jednak działalność dywersyjną. Rozbudowując swoje struktury POW korzystała m.in. z bojówek PPS, Narodowego Związku Robotniczego, a także harcerstwa i junactwa. Na polecenie Piłsudskiego oddelegowano do niej również kilkunastu oficerów I Brygady Legionów.
W 1918 r. POW zintensyfikowała działania dywersyjne, wznowione już rok wcześniej wobec represji stosowanych przez państwa centralne. Działania te polegały nie tylko na uszkodzeniach mostów, torów kolejowych czy linii telefonicznych, ale miały również charakter akcji zbrojnych przeciwko funkcjonariuszom policji, konfidentom oraz wojskowym patrolom na terenie niemieckiej okupacji. 16 października 1918 r. warszawska Komenda Naczelna zorganizowała kilkanaście zamachów na niemieckie patrole i posterunki policji. W październiku 1918 r. POW przeprowadziła akcje bojowe także na obszarze austriackiej okupacji. Ich celem było przede wszystkim zdobycie broni i pieniędzy na działalność organizacji. Do najgłośniejszych akcji należał napad na pociąg pod Bąkowcem, niedaleko Radomia. W październiku i listopadzie 1918 r. POW aktywnie uczestniczyła w przejmowaniu władzy na ziemiach polskich. Jej członkowie stanowili siłę zbrojną wspierającą powstałą w Krakowie Polską Komisję Likwidacyjną, osłaniali pod wodzą Rydza-Śmigłego tworzony w Lublinie Tymczasowy Rząd Ludowy Republiki Polskiej, a także brali udział w masowej akcji rozbrajania niemieckich żołnierzy na ziemiach Królestwa Polskiego.
W grudniu 1918 r. POW weszła w skład powstającego Wojska Polskiego.