Z wykształcenia był ekonomistą i prawnikiem. W SPD działał od 1946 r., w ścisłym kierownictwie tej partii znalazł się w 1958 r. W latach 1953–1962 i 1965–1987 był posłem Bundestagu. Od 1965 r. zastępował przewodniczącego, a 1967–69 sam był przewodniczącym frakcji parlamentarnej SPD. Potem - od 1968 do 1984 pełnił funkcję I zastępcy przewodniczącego SPD.
Przed objęciem urzędu kanclerza Schmidt pełnił funkcję ministra obrony (1969-1972) i ministra finansów (1972-1974). Krótko był też ministrem gospodarki (1972) i p.o. szefa dyplomacji.
Jako kanclerz koncentrował się na polityce zagranicznej, szukając "politycznego zjednoczenia Europy w partnerstwie z USA".
Od października 1983 r. współwydawał centrowy tygodnik "Die Zeit". Od 1986 r. był gorącym zwolennikiem idei Unii Gospodarczej i Walutowej oraz Europejskiego Banku Centralnego. Karierę polityczna zakończył w 1987 r., w wyniku sporu z lewą frakcją SPD, która nie zgadzała się z jego poglądami na sprawy obronności i gospodarki.