Józef Szmidt è nato in Polonia da genitori di origini tedesche e molte volte si è presentato con il nome Jozef Schmidt (germanizzato). Tra la fine degli anni '50 e gli inizi degli anni '60 è stato per due volte campione europeo di salto triplo (nel 1958 e 1962) e due volte campione olimpico (Roma 1960 e Tokyo 1964). Successivamente ha ricevuto il titolo in Polonia di Sportsman of the Year (sportivo dell'anno). Nell'anno delle Olimpiadi di Roma, saltando in gara 17,03, è stato il primo uomo a superare i 17 metri. Vinse la medaglia d'oro olimpica con un salto di m. 16,81. A Tokyo nel 1964 rivinse il titolo olimpico con m. 16,84. Meccanico di professione, nel 1975 si trasferì nella Germania Ovest, ma nel 1992 decise di tornare in Polonia.