Nato a Minsk da genitori di origine ebraica, dopo 4 mesi dalla nascita la famiglia si trasferì a San Pietroburgo dove rimase fino al 1941 quando, a seguito dell'invasione delle Potenze dell'Asse, fu costretta a rifugiarsi a Kazan' sino al 1943.
Negli anni 60 inizia gli studi in campo astrofisico. Nel 1964 Zel'dovič, ed in maniera indipendente anche Edwin Ernest Salpeter, furono tra i primi ad ipotizzare l'esistenza di un disco di accrescimento attorno ad un buco nero di grosse dimensioni responsabile della massiccia quantità di energia rilasciata dalle quasar.
