Начинал свой путь профессионального музыканта в возрасте 18 лет в местных танцевальных и джазовых оркестрах, затем работал в Атлантик-Сити в составе оркестра Чарли Джонсона (1920). В 1921 переехал в Нью-Йорк, где выступал до 1930; сотрудничая с Ч. Джонсоном и Уилбуром Свитмэном, сделал записи с блюзовой певицей Мэри Стаффорд, гастролировал с оркестром Эрла Уолтона (1922-1925) и со скрипачом Лероем Смитом (1925-1929), был членом ансамблей «Фэтса» Уоллера (1929) и Кларенса Уильямса (1929-1930). В начале 1930-х годов концертировал с Л. Смитом в Филадельфии, затем вновь вернулся в Нью-Йорк, где записался с Луи Армстронгом (1932) и К. Уильямсом (1934). В 1930 организовал один из первых в Филадельфии свинговых биг-бэндов, которым руководил до 1970-х годов.
Гейнс проявил себя как талантливый солист-трубач и искусный импровизатор (особенно в записях с ансамблем «Фэтса» Уоллера, например, в Harlem Fuss и The Minor Drag, 1929). Не менее значителен он и как бэндлидер, внесший заметный вклад в формирование свингового стиля и классического состава биг-бэнда. Достаточно велики его заслуги и как инициатора концертной джазовой жизни в Филадельфии и Детройте. Как инструменталист он оказал большое влияние на Армстронга, считавшего его одним из своих учителей. Знаменитостью стал и другой его ученик — саксофонист и вокалист Луис Джордан, признанный одним из основоположников ритм-энд-блюза.