Al college Williams giocò a football a Auburn dove fu premiato come All-American. Fu scelto come 15º assoluto nel Draft NFL 1994 dai Los Angeles Rams[1]. Vi giocò per cinque stagioni, dopo di che ne disputò 3 con i Pittsburgh Steelers (1999-2002). Il 2 marzo 2003, Gandy firmò un contratto di sei anni coi New Orleans Saints. Dopo tre stagioni fu scambiato con gli Atlanta Falcons il 7 aprile 2006 per la safety Bryan Scott e una scelta del draft. Per la stagione 2007 fu nominato uno dei capitani della squadra, salvo rompersi il legamento crociato anteriore nella gara del 7 ottobre contro i Tennessee Titans, perdendo tutto il resto dell'annata. Si ritirò dopo la stagione 2008.
^(EN) 1994 National Football League Draft, Pro Football Hall of Fame. URL consultato il 19 gennaio 2013 (archiviato dall'url originale il 14 ottobre 2013).