La première exposition à la musique du jeune Thomas furent les cantiques et l’orgue d’église, un instrument que lui enseigna sa mère. C’est ainsi qu’il découvrit l’oeuvre de Jean-Sébastien Bach qu’il continua à interpréter de temps à autre pendant toute sa vie.

Vers l’âge de 6 ou 7 ans, alors qu’il était fasciné par le piano de leur voisin, sa mère lui fit donner des cours. Il apprit la lecture et l’écriture musicale mais préféra, toute sa vie, jouer d’oreille.

A l’âge de 14 ans, il remporta un concours de jeunes talents en interprétant « Carolina Shout« , un titre de James P. Johnson qu’il avait appris en observant un piano mécanique. Cette année-là, il abandonné l’école et fit des petits boulots pendant un an. En 1919, il obtint son premier vrai job dans un cinéma où il accompagnait, à l’orgue, les films muets.

Son père voulait qu’il entre dans une carrière religieuse mais lui n’avait qu’une envie, faire de la musique son métier. C’est ainsi qu’en 1920, après le décès de sa mère et à cause de ses désaccords avec son père, il quittait la maison familiale pour s’installer chez le pianiste Russell Brooks où il rencontra James P. Johnson et Willie “The Lion” Smith, deux des géants du piano stride de Harlem.

James P. Johnson prit le jeune Waller sous son aile et lui enseigna la technique du piano stride et approfondit son éducation musicale. Smith eut également une grosse influence sur le jeune homme en lui faisant découvrir les oeuvres des compositeurs du XIXème siècle. 

En 1921, il fut engagé pour accompagner les films muets dans un cinéma au salaire hebdomadaire de 50 $.

Un an plus tard, il fit ses débuts en studio pour le label Okeh avec un premier 78 tours de 2 de ses compositions. En 1923, il enregistre plusieurs parties de piano pour le label QRS aussi bien comme leader que comme accompagnateur de chanteurs de blues.

Les quatre années suivantes, il devient très populaire grâce aux nombreux enregistrements qu’il fait pour RCA Victor. 

On raconte qu’un soir de 1926, à la fin d’une répresentation, il aurait été enlevé par des gangsters et obligé à jouer pour l’anniversaire d’Al Capone.

En 1927, il enregistre avec l’orchestre de Fletcher Henderson et, en 1928 il fit ses débuts au Carnegie Hall. La même année, il rencontra le poête et parolier Andy Razaf et travailla avec lui sur de nombreuses comédies musicales dont dont la populaire “Hot Chocolates” qui fut créée en 1929 off Broadway mais rapidement transféré à Broadway. L’extrait le plus célèbre de cette pièce est le fameux “Ain’t Misbehaving”, Ce fut un succès commercial salué par la critique. 

Fats Waller s’est marié deux fois. Il eut un fils de son premier mariage, Thomas Jr et deux autres fils, Maurice et Ronald du second. 

En 1931, il vint à Paris en tournée et, à son retour à New York, il forma un petit ensemble “Fats Waller and His Rhythm” avec qui il joua jusqu’à la fin de sa vie. Il enregistra des centaines de titres pour RCA et fit de nombreuses prestations à la radio et au cinéma.

Au milieu des années 40, il se produisait souvent sur la côte Ouest et fit une nouvelle tournée en Europe, plus précisément en Grande-Bretagne. La déclaration de guerre l’obligea à rentrer aux Etats-Unis où il se produisit à nouveau au Carnegie Hall.

Il tourna uniquement aux Etats-Unis, principalement sur la côte Ouest, pendant le reste de sa vie.