Pierwszym Dowódcą AK został generał Stefan Rowecki „Grot” – przedwojenny oficer, żołnierz I Brygady Legionów Polskich, uczestnik walk z bolszewikami, od pierwszych chwil po kapitulacji wrześniowej uczestnik konspiracji. Doprowadził do scalenia w Armię Krajową głównych odłamów konspiracyjnych. Tropiony przez Gestapo, został zdradzony przez hitlerowskich agentów i aresztowany 30 czerwca 1943 roku w lokalu konspiracyjnym na warszawskiej Ochocie. Odrzucił niemiecką ofertę współpracy. Prawdopodobnie został zamordowany tuż po wybuchu Powstania w Warszawie.
W chwili największej zdolności bojowej, wiosną 1944 roku, siły Armii Krajowej liczyły około 380 tysięcy żołnierzy i oficerów. Celem Armii Krajowej było prowadzenie oporu zbrojnego i przygotowanie do planowanego ogólnokrajowego powstania. Dla koordynowania działalności dywersyjnej powołane zostało Kierownictwo Dywersji (Kedyw) Komendy Głównej AK. Jego dowódcą został płk Emil Fieldorf ps. „Nil”. To żołnierze Kedywu dokonali zamachu na kata Warszawy Franza Kutscherę.
Zajmowanie terenów Polski przez Armię Czerwoną w 1944 roku uruchomiło akcję „Burza”, polegającą na atakowaniu wycofujących się Niemców i występowaniu wobec Sowietów w roli gospodarza. Ostatnim akcentem „Burzy” było Powstanie Warszawskie.

Nazwa Armii Krajowej jednoczyła także żołnierzy po jej formalnym rozwiązaniu na początku 1945 roku. Część żołnierzy i oficerów nie podporządkowała się rozkazowi demobilizacji ostatniego dowódcy AK gen. Leopolda Okulickiego „Niedźwiadka” i prowadziła zbrojną walkę ze zdobywającymi władzę w Polsce komunistami. Nazwa Armia Krajowa stała się na kilka najbliższych lat, a może nawet dziesięcioleci, symbolem niepodległości i patronowała zabiegom o jej odzyskanie.