Dla konspiracyjnego harcerstwa przyjęto nazwę Szare Szeregi. W połowie 1944 r. liczyły one już ponad 15 tys. członków, z czego niemal połowę stanowiły harcerki. Program organizacji oparto na haśle „Dziś-Jutro-Pojutrze”. „Dziś” było działalnością podziemną, „Jutro” – to konieczność zbrojnej walki, „Pojutrze” – działalność w niepodległej Polsce.
Nazwa Szare Szeregi zaczęła funkcjonować w całym kraju dopiero w 1940 r. Powstała w Poznaniu, gdzie harcerze przeprowadzili akcją informacyjną, podczas której roznoszono w godzinach wieczornych i nocnych ulotki do skrzynek listowych mieszkań zasiedlonych przez rodziny niemieckie z Litwy, Łotwy, Estonii. Informowano w nich o dobrowolnym opuszczeniu mieszkań przez Polaków, którzy byli przesiedlani do GG. Ulotki napisane w języku niemieckim, podające sprostowanie zostały podpisane inicjałami SS. Skrót rozwinęli w kryptonim Szare Szeregi harcmistrz dr Józef Wiza i harcmistrz Roman Łyczywek. Informację o przyjętej nazwie przywiózł do Warszawy podharcmistrz Witold Marcinkowski. Polecono wprowadzić ten kryptonim w całej podziemnej organizacji harcerskiej.
Naczelnictwo Szarych Szeregów do sierpnia 1942 r. pełnił ks. hm. Jan Mauersberger, a po jego śmierci dr Tadeusz Kupczyński. W ramach konspiracyjnego harcerstwa samodzielnie funkcjonowały Organizacja Harcerzy i Organizacja Harcerek. Kraj podzielono w ramach struktury organizacyjnej na Polskę centralną – Generalne Gubernatorstwo, Polskę zachodnią – tereny wcielone do Rzeszy i Polskę wschodnią – tereny wcielone do ZSRS.
Na potrzeby konspiracji chorągwie nazwano „ulami”, hufce na „rojami”, drużyny „rodzinami”, a zastępy „pszczołami”. Początkowo do Szarych Szeregów przyjmowano tylko młodzież od 17 roku życia, jednak do związku garnęło się tak dużo młodszych, że postanowiono obniżyć próg wiekowy. Najmłodsi, tzw. Zawiszacy, chłopcy w wieku 12-14 lat, byli szkoleni w ratownictwie i łączności. Nie brali udziału w bezpośrednich działaniach przeciw okupantowi. Zespoły starszych chłopców, w wieku 15-17 lat, tworzyły Bojowe Szkoły, w których prowadzono szkolenie wojskowe i przygotowywano do służby w oddziałach rozpoznawczych, zwiadowczych, łączności oraz pocztach dowódców różnych szczebli. Harcerze BS brali udział w walce konspiracyjnej w Organizacji Małego Sabotażu Wawer, zajmowali się też wywiadem i zbieraniem informacji, przekazywanych ZWZ-AK i innym organizacjom podziemnym.
Zespoły skupiające młodzież powyżej 18 lat tworzyły Grupy Szturmowe.
Naczelnik Szarych Szeregów i komendant Kierownictwa Dywersji AK uznali wspólnie, że Grupy Szturmowe staną się oddziałami Kedywu. Na przełomie sierpnia i września 1943 r. utworzono podległy Kedywowi warszawski batalion „Zośka”. Harcerze uczestniczyli w akcjach dywersyjno-sabotażowych, odbijali więźniów, przeprowadzali zamachy na wysokich rangą funkcjonariuszy SS i policji m.in. na Franza Kutscherę. Wykonywaniem zamachów zajmowała się III kompania batalionu „Zośka”, nosząca kryptonim „Agat”, później „Pegaz”.
Szare Szeregi przeprowadziły akcję pod Arsenałem, w której z rąk gestapo odbici zostali polscy więźniowie m.in. Jan Bytnar „Rudy”.
W czasie Powstania Warszawskiego bataliony Szarych Szeregów walczyły w szeregach Armii Krajowej. Zawiszacy zapewniali łączność walczącym oddziałom oraz służyli w powstańczej poczcie polowej.
Organizacja Harcerek w Szarych Szeregach od 1940 r. nosiła miano „Związku Koniczyn”, od 1943 – „Bądź Gotów”. Harcerki włączyły się w służbę sanitarną, łączność, opiekę nad więźniami, pomoc dla dzieci i Żydów, sabotaż, wywiad i dywersję.
Poza Warszawą Szare Szeregi aktywnie działały m.in. w Radomiu, Gdyni, Krakowie i na Śląsku.
Zostały rozwiązane 17 stycznia 1945 roku.