Kanzler nacque in una cittadina nei pressi di Karlsruhe da Max Anton, un impiegato dell'amministrazione fiscale del Granducato di Baden. Più tardi la famiglia si trasferì a Bruchsal, dove il ragazzo trascorse la sua giovinezza. Cominciò il suo servizio come tenente nel corpo dei Dragoni a Karlsruhe, dopodiché, vista la sua marcata militanza cattolica, entrò nelle file dell'esercito pontificio. Nel dicembre 1843 rassegnò definitivamente le sue dimissioni dall'esercito granducale.
Kanzler entrò nell'esercito del Papa nel 1845 col grado di capitano; combatté nel 1848 contro l'impero austriaco nel corso della I guerra d'indipendenza e nel 1859 fu nominato colonnello del primo reggimento dell'esercito pontificio; in seguito, l'anno successivo, fu promosso generale dall'allora comandante in capo Lamoricière, in riconoscimento delle sue audaci azioni a Pesaro ed Ancona contro l'esercito piemontese nel corso della II guerra d'indipendenza. Nell'ottobre 1865 divenne comandante supremo delle forze armate pontificie e proministro delle armi. Il 3 novembre 1867 comandò l'esercito papale a Mentana e sovrintese alla difesa di Roma nel settembre 1870.
Dopo la fine dello Stato Pontificio e del potere temporale del Papa, Kanzler continuò ad essere nominalmente proministro fino al 1888 e rimase ad esercitare le sue funzioni di comandante in capo delle truppe e le armi papali, anche se solo simbolicamente.
Al generale fu conferito anche il titolo nobiliare di barone von Kanzler. Sposò una donna dell'antica famiglia comitale romana dei Vannutelli, che di lì a poco avrebbe dato alla Chiesa due cardinali. Fu a lungo nel consiglio del Campo Santo Teutonico e fu amico del direttore dell'ente, Anton de Waal. Il figlio di Kanzler, il barone Rudolf von Kanzler (nato il 7 maggio 1864) fu l'archeologo capo della Santa Sede e, fin dal 1896, fu membro della Pontificia Commissione di Archeologia Sacra; considerato il "più abile conoscitore della topografia di Roma antica", ebbe una parte di primo piano negli scavi effettuati sotto la Basilica di San Pietro e nelle catacombe.
Hermann Kanzler oggi riposa nella cappella Kanzler, presso la Rupe Caracciolo del Cimitero del Verano di Roma. La tomba che, a causa dell'estinzione della famiglia, si trovava in condizioni di totale abbandono è stata fatta ripulire, in collaborazione con il Direttore dei Cimiteri capitolini, dal "Comitato Subiaco 1867" in occasione del 150º anniversario della Battaglia di Mentana, sua principale vittoria. Il gen. Kanzler è sepolto insieme alla moglie Laura dei conti Vannutelli, al figlio Rodolfo, archeologo e musicista, con la moglie Giulia dei marchesi Vitelleschi, ed al nipote Angelo, morto nel 1916 combattendo nella prima guerra mondiale nell'esercito italiano.
Meyers grosses Konversations-Lexikon, edizione 1908, pagina 583
Die Streiter für den apostolischen Stuhl im Jahre 1867 (pagina 7), Andreas Niedermayer, Verlag für Kunst und Wissenschaft, Frankfurt, 1867
Roms letzte Tage unter der Tiara – Erinnerungen eines römischen Kanoniers (pagina 20 e segg.), Klemens August Eickholt, Päpstlicher Offizier a.D., Herder Verlag, Freiburg, 1917
Franz Josef Buss und die katholische Bewegung in Baden (pagina 349), Julius Dorneich, Herder Verlag, Freiburg, 1979