Baker groeide op in Itasca, Texas, een dorpje net buiten Dallas. Zijn moeder speelde orgel in de kerk en zijn vader luisterde naar blueslegendes als Lightnin’ Hopkins, Brownie McGee en Sonny Terry.

Johnny Cash’ Ride This Train was een van de eerste platen die Sam hoorde als kind, en met name de verhalende manier van zingen sprak hem enorm aan. Sams rasperige, bijna gesproken zangstijl is karakteristiek, en zorgt ervoor dat zijn teksten dubbel zo hard overkomen. De poëtische, zorgvuldige verwoorde observaties over schoonheid, complexiteit en tragedies hebben grote raakvlakken met het werk van Texaanse collega’s als Townes Van Zandt, Guy Clark en John Prine.

Bakers stijl is zeer beïnvloed door de beperkingen waarmee hij heeft moeten leren leven nadat hij ternauwernood een bomaanslag overleefde op de trein waarin hij zat, op het Lichtend pad in Peru. Hij was de enige in zijn coupé die het overleefde, maar raakte zwaargewond. Hij had onder meer een verbrijzelde linkerhand, die hem dwong linkshandig gitaar te leren spelen. In verschillende van zijn liedjes verhaalt hij over deze aanslag, bijvoorbeeld in Steel en in Broken Fingers. Zijn liedjes weten vaak mensen tot tranen te roeren. Het drieluik Mercy, Pretty World en Cotton kreeg veel aandacht in de media en eindigde hoog in eindejaarslijsten. Ook zijn optreden in Vrije Geluiden maakte veel indruk. In 2009 verscheen het album Cotton op het nieuwe platenlabel van Jimmy LaFave, Music Road. Eind augustus van dit jaar bracht Sam zijn nieuwe album Say Grace uit.