Schmidt fu scelto dai Detroit Lions nell'ottavo giro del Draft NFL 1953[2] e nella sua stagione da rookie contribuì alla vittoria del secondo campionato consecutivo per i Lions. Nel 1956, Schmidt fu nominato capitano della squadra, un ruolo che mantenne per i nove anni successivi.
L'anno successivo, Schmidt fu nominato miglior difensore della NFL, dopo aver messo a segno circa la metà dei tackle della sua squadra. Quello fu il primo dei suoi quattro riconoscimenti, giocando un ruolo decisivo per la vittoria del terzo titolo in sei anni dei Lions. L'anno successivo Joe stabilì un record NFL recuperando 8 fumble in stagione.
Nel 1999, Schmidt fu classificato al numero 65 nella classifica dei migliori cento giocatori di tutti i tempi stilata da The Sporting News mentre nella stessa classifica di NFL Network fu inserito all'84º posto. Il suo numero 65 fu ritirato dall'Università di Pittsburgh e stessa sorte toccò al numero 56 indossato coi Detroit Lions.