1935年、19歳のハリーはベン・ポラックのビッグ・バンドに雇われ、プロとして活動を開始。同年5月には歌手であるルイーズ・トービンと結婚した。1936年6月には初録音を行なったが、間もなく、スウィング・ジャズの旗手として人気を集めていたベニー・グッドマンに誘われ、1937年1月に彼の楽団に引き抜かれた。楽団でもハリーのトランペットは人気を博し、同年12月には初のリーダー録音をブランズウィック・レコードに行なう。1938年1月16日にはグッドマン楽団の一員として、ジャズ史上名高いカーネギー・ホール・コンサートに出演。1939年にはグッドマン楽団から独立、自身のバンド「ミュージック・メイカーズ」を結成し、コロムビア・レコードと契約した。ハリー・ジェイムスとミュージック・メイカーズは1940年2月にフィラデルフィアのベン・フランクリン・ホテルでステージ・デビュー。ハリーはカウント・ベイシー楽団を模倣したスタイルで演奏し、当時無名だったフランク・シナトラを見出した。ビッグバンド運営が経済的に行き詰まり始めた1941年、ハリーは単なるスウィング・スタイルではなく、より大衆に受け入れられやすいように、バンドにストリングスを加え、ムード音楽寄りのナンバーをレパートリーに加えた。1942年、第二次世界大戦の影響下にあって、活動の機会は減っていくが、ハリーは活動の場をラジオや映画などにも広げ、'Sleepy Lagoon'、'Strictly Instrumental'、'Velvet Moon'、ヘレン・フォレストを歌手に迎えた'I Don't Want to Walk Without You'、'I Had Craziest Dream '、'I've Heard That Song Before'などのヒット曲を放つほか、俳優としてハリウッド映画にも出演。1943年には昨年最も顕著な活動をしたアメリカ人音楽家として、ビング・クロスビーに次いで2位にランクされた。6月に妻ルイーズと離婚し、翌月には映画女優のベティ・グレイブルと結婚し、2人の子供をもうける。まもなくハリーはニューヨークに移住し、1945年1月にはダニー・ケイが司会を務めるラジオ番組にレギュラー出演するが、再びビッグ・バンドの運営が難しくなり、1946年12月、ついに「ミュージック・メイカーズ」を解散した。 戦後