Brown al college giocò a football alla South Carolina State University. Fu scelto nel corso dell'ottavo giro (201º assoluto) del Draft NFL 1981 dai Washington Redskins.[1] Debuttò con la squadra nella stagione successiva, venendo subito convocato per il Pro Bowl e andando a vincere il Super Bowl XVII contro i Miami Dolphins a fine anno. Fu scambiato con gli Atlanta Falcons il 26 agosto 1985, in cambio della guardia Pro Bowler R.C. Thielemann. Era soprannominato "Good ol' Charlie Brown" in riferimento alla celebre striscia di fumetti.
^(EN) 1981 National Football League Draft, Pro Football Hall of Fame. URL consultato l'11 ottobre 2012 (archiviato dall'url originale il 5 ottobre 2013).