6º Corpo di cavalleria 3º Corpo meccanizzato 1ª Armata "Bandiera Rossa" dell'Estremo Oriente Fronte Occidentale Fronte di Brjansk 4ª Armata d'assalto Fronte Sud-Est Fronte di Stalingrado Fronte di Kalinin Armata costiera (Crimea) 2° Fronte Baltico 4° Fronte ucraino
Considerato uno dei giovani generali più promettenti dell'Armata Rossa ed un esperto della nuova guerra con mezzi corazzati, Erëmenko nel 1939, fu posto al comando del 6º Corpo di cavalleria (meccanizzato) con cui partecipò all'invasione della Polonia orientale a seguito del Patto Molotov-Ribbentrop. L'operazione fu caratterizzata da carenze organizzative e il generale fu costretto a chiedere un ponte aereo di emergenza per la fornitura del carburante. Dopo aver partecipato anche all'occupazione dei Paesi Baltici nella primavera 1940, assunse il comando del nuovo 3º Corpo meccanizzato, in fase di costituzione nel Distretto militare speciale Nord-Occidentale. Mentre poi passò a controllare il Distretto Militare di Transbaikal, nel periodo in cui l'Operazione Barbarossa ebbe inizio, nel giugno del 1941.
Otto giorni dopo l'inizio dell'invasione, Erëmenko fu richiamato a Mosca, dove fu fatto il Comandante facente funzione del Fronte occidentale sovietico, due giorni dopo che il comandante precedente, il generale dell'Esercito Dmitrij Grigor'evič Pavlov, era stato giustiziato per incompetenza. Il 4 luglio il comando del gruppo di armate occidentali fu assunto direttamente dal Commissario del Popolo maresciallo Semën Konstantinovič Timošenko ed Erëmenko divenne suo vice. Il 14 agosto 1941 Erëmenko fu posto a capo
del gruppo di armate di Brjansk con il compito di contenere l'offensiva tedesca verso Mosca condotta dai carri armati dal generale Heinz Guderian. Il 24 agosto Stalin, in cambio della promessa di Erëmenko di bloccare Guderian, gli assegnò alcune divisioni di rinforzo ma l'urto dei carri armati tedeschi non fu sopportato dall'Armata Rossa. Nei primi giorni dell'ottobre, quando iniziò la battaglia di Mosca, Erëmenko dovette accusare alcune pesanti sconfitte e tra il 7 e il 19 ottobre gran parte delle sue truppe rimase vittima dell'accerchiamento e dell'annientamento nelle sacche di Brjansk e di Vjaz'ma.
Tra il 1945 e il 1946, fu Comandante in Capo del Distretto Militare dei Carpazi, dal 1946 al 1952 Comandante in Capo del Distretto Militare della Siberia occidentale, e dal 1953 al 1958 Comandante in Capo del Distretto Militare del Caucaso del Nord.
L'11 marzo 1955, Erëmenko, insieme a cinque altri comandanti, fu nominato Maresciallo dell'Unione Sovietica. Dal 1956 cominciò a far parte del comitato centrale del PCUS e nel 1958 fu nominato Ispettore Generale per il Ministero della Difesa, un ruolo prettamente cerimoniale che gli permise di andare in pensione nello stesso anno. Morì 19 novembre 1970. L'urna contenente le sue ceneri si trova nella necropoli delle mura del Cremlino.