Baker fu la prima scelta assoluta del Draft 1963 da parte dei Los Angeles Rams[2], con cui non riuscì a replicare i successi ottenuti al college. Rimase tre stagioni coi Rams lanciando solamente 154 yard senza alcun touchdown e con 4 intercetti in 18 presenze. Chiuse la carriera da professionista giocando un'unica stagione con gli Edmonton Eskimos della CFL.