Si arruolò nell'esercito, e dal 1962, con il grado di capitano prestò servizio in Vietnam nella 3ª Divisione di fanteria. A capo di un'unità dell'esercito sudvietnamita, cercò di tagliare la guerriglia del Fronte di Liberazione Nazionale del Vietnam dalle sue basi sociali bruciando villaggi nella valle di A Shau. Questa strategia fu criticata come crudele e controproducente da altri consiglieri americani, ma lui la giustificò nelle sue memorie pubblicate nel 1995.[2]
Nel 1968, dopo il Massacro di My Lai, venne incaricato delle investigazioni sull'accaduto. Powell scrisse che le relazioni tra soldati americani e civili vietnamiti erano eccellenti, anche se la strage costò la vita a 347 civili vietnamiti.
Nel 1970 fu promosso tenente colonnello.
Il suo ingresso in un incarico governativo avvenne nel 1972 come assistente del sottosegretario Frank Carlucci. Dal 1976 al 1977 comandò la 2ª Brigata della 101st Airborne Division. Nel 1979 fu promosso brigadier generale. Quindi dal 1981 prestò servizio come aiutante di campo del Segretario della difesa Caspar Weinberger sotto la presidenza di Ronald Reagan, che assisté durante l'invasione di Grenada del 1983. Nel 1986 Powell assunse il comando del V Corpo a Francoforte, in Germania.
Promosso tenente generale, l'anno successivo, ha servito come vice consigliere per la sicurezza nazionale degli Stati Uniti, con Frank Carlucci.
Il Presidente Reagan mentre discute con Powell (1988)
Powell con la famosa fialetta di antrace durante la presentazione al Consiglio di sicurezza dell'ONU per giustificare l'intervento in Iraq, prova che in seguito si rivelò falsa (Nigergate)
Nel 1993 si ritirò dalla vita militare, dedicandosi soprattutto all'attività politica e alla cura di varie organizzazioni no profit. Nel 1995, Nonostante non sia stato in corsa, Powell vinse le primarie repubblicane del New Hampshire per la vicepresidenza degli Stati Uniti del 1996. Nel 1997, Powell ha fondato America's Promise con l'obiettivo di aiutare i bambini di tutti i settori socioeconomici. Powell ha sostenuto Bush per la presidenza e ha parlato a suo favore alla Convention nazionale repubblicana del 2000.
«Con il suo contributo alle relazioni americano/canadesi durante il suo mandato come consigliere per la sicurezza nazionale e successivamente come presidente del comitato congiunto dei capi di stato maggiore; la sua assistenza al ruolo svolto dalle forze canadesi durante la guerra del Golfo, al gruppo di battaglia canadese a Sarajevo nel luglio 1992 e alla task force canadese nella forza di intervento della coalizione in Somalia; il suo aiuto durante le operazioni di salvataggio dopo l'incidente aereo CFS Alert del 1991, il generale Powell ha dimostrato una leadership professionale eccezionale e preoccupazione per le relazioni tra gli Stati Uniti e il Canada. In tal modo, ha reso un servizio inestimabile al Canada e alle forze canadesi.» — nominato il 10 giugno 1993, investito il 30 settembre 1994[11]