Caldwell al college giocò a football con i Louisiana–Monroe Warhawks dal 2012 al 2015. Fu scelto nel corso del quinto giro (173º assoluto) nel Draft NFL 2016 dai Cleveland Browns.[1] Dopo avere iniziato la stagione nella squadra di allenamento, fu promosso nel roster attivo il 21 dicembre 2016, debuttando come professionista nel penultimo turno contro i San Diego Chargers, l'unica gara che i Browns vinsero quell'anno.