Dopo avere fatto parte dei roster di Denver Broncos e Houston Texans ancora senza mettere piede in campo, il 10 dicembre 2013 Baker firmò coi Cleveland Browns. Debuttò cinque giorni dopo contro i Chicago Bears segnando il suo primo touchdown su corsa[2]. Grazie a quella prestazione, partì come titolare nelle ultime due gare della stagione. In sole tre partite, il giocatore riuscì a classificarsi al terzo posto posto della franchigia in stagione (171) e primo a pari merito per touchdown su corsa (2).