Fratello minore di Bernd Förster, Karlheinz giocò nella nazionale tedesca raggiungendo la finale dei mondiali nel 1982 e nel 1986 perdendole entrambe. Giocò 272 partite di Bundesliga nello Stoccarda segnando 17 gol.
Nell'estate 1986 fu acquistato dall'Olympique Marseille che pagò al Stoccarda 3,5 milioni di marchi tedeschi per avere l'allora ventottenne difensore. Terminò di giocare nel 1990 sempre con l'Olympique.