Az érettségi után jogot tanult Münchenben a Lajos–Miksa Egyetemen, 1958-ban szerzett jogi doktorátust. Az államjogász Theodor Maunz mellett volt tudományos asszisztens az egyetemen. 1964-ben habilitált, és egy évig tanított az egyetemen. 1965-től önálló tanszéket vezetett a Berlini Szabadegyetemen, 1969-től pedig államjogot és politikatudományt tanított Speyerben a Közigazgatástudományi Főiskolán.
1970-ben csatlakozott a CDU-hoz. 1973-ban a Helmut Kohl vezette Rajna-vidék-Pfalz-i tartományi kormányban államtitkári posztot kapott, bekerült a Bundesratba és a német evangélikus egyház szinódusának is tagja lett. 1979-től a CDU párvezetőségének tagja. 1978/80-ban Baden-Württemberg tartományi kormányában kultusz- és sportminiszter, 1983 decemberéig belügyminiszter. 1984-től a Szövetségi Alkotmánybíróság elnökhelyettese, 1987-től elnöke. Bírói munkájával párhuzamosan tanított a Tübingeni Egyetemen is.
1994-ben Németország elnökévé választották. Egyértelműen elutasította az egykor Németországhoz tartozott keleti területek iránti igényeket.
1996-ban létrehozta a nácizmus áldozatainak emléknapját, amelyet minden évben január 27-én tartanak Németországban.
Grundrechtsbeschränkung nach dem Grundgesetz und Europäische Menschenrechtskonvention Dissertation, (1958)
Die Wesensmerkmale der Staatsorganisation in rechtlicher und entwicklungsgeschichtlicher Sicht Habilitation, (1964)
Kommentar zum Grundgesetz „Maunz-Dürig-Herzog“ (1964)