Dirigió al Kickers Offenbach, Werder Bremen, BV Borussia Dortmund, DSC Armenia Bielefeld y Fortuna Düsseldorf, con el que ganó la Copa alemana en la campaña 1979-80, 1986-87, 1992-93 y 1993-94. Se marchó al FC Bayern Munich, con el que consiguió la Copa UEFA 1995-96. Entrenó al Kaiserslautern, al que condujo al título alemán en la 1997-98 y es el único futbolista que ha participado como jugador y entrenador en más de 1000 partidos de Bundesliga.