Il a commencé sa carrière de musicien à l'âge de 16 ans, lorsqu'il a rejoint la dominance de Jack Teagarden.
Baker a grandi à Yale, dans l'Oklahoma. Il a commencé sa carrière de musicien à l'âge de 16 ans, lorsqu'il a rejoint la dominance de Jack Teagarden. Baker s'est rapidement fait un nom dans la scène jazz, grâce à sa virtuosité sur le trompette et son style mélodique innovant.