Dopo la sua esperienza nella NFL, Richardson ebbe una carriera di successo negli affari. Usò il suo bonus per la vittoria del campionato 1959 per aiutare Charles Bradshaw ad aprire il primo Hardee's a Spartanburg. I due finirono per possedere la catena Hardee's al 50%. Il business si espanse rapidamente e, dal quartier generale di Spartanburg, egli co-fondò Spartan Foods. In seguito fu amministratore delegato di Flagstar, all'epoca la più grande azienda alimentare della nazione, controllando 2.500 ristoranti e 100.000 dipendenti, andando in pensione nel 1995.[4]
Il 26 ottobre 1993, Richardson divenne il primo giocatore della NFL ad essere il proprietario di una franchigia da George Halas, fondando i Carolina Panthers che furono approvati unanimemente con 29ª franchigia della lega.[5]
^ Richard Hoffer, The Franchise, in Sports Illustrated, 28 ottobre 1991. URL consultato il 19 luglio (archiviato dall'url originale il 27 dicembre 2013).