Саксофон освоил самостоятельно, играл в школьном духовом оркестре (вместе с {{iw|Рэдмен, Дьюи|Дьюи Рэдменом||Dewey Redman}} и барабанщиком Чарльзом Моффетом), в 14 лет начал выступать с местными ритм-энд-блюзовыми группами, некоторое время аккомпанировал вокалисту БитБиг Джо Тернеру. В 1952—1959 работал в Лос-Анджелесе лифтёром и брал уроки музыки, в 1957 году вместе со своими друзьями — трубачом Доном Черри, барабанщиком Эдом Блэкуэллом и другими единомышленниками — начал экспериментировать, играл на пластиковом альт-саксофоне в строе С (как самоучка, вначале он неверно транспонировал). Первые сольные альбомы — «Something Else!» (1958) и «Tomorrow Is The Question» (1959) — помог организовать Рэд Митчелл. [[Льюис, Джон (пианист)|Джон Льюис]] и Гантер Шуллер помогли квартету Коулмана (с Доном Черри, Эдом Блэкуэллом и [[Хэйден, Чарльз Эдвард|Чарли Хэйденом]]) получить ангажемент в нью-йоркском клубе «Five Spot» (1959). В 1959—1963 годах квартет записал семь альбомов, выступал на крупнейших американских фестивалях (в Ньюпорте и Монтрё), гастролировал в Европе. Перелом в стиле Коулмана произошёл в 1961 году, по выходе альбома «Free jazz: A collective improvisation» (термин «фри-джаз» обязан названию этого альбома). С этого времени Коулман полностью отказался от традиционных тонально-гармонических схем (в том числе, от блюзовых «квадратов» и пр.) и от песенных музыкальных форм как основы для импровизации. При этом в ритмике Коулмена никаких новаций не произошло: в его фри-джазовых композициях сохранилась опора на (преимущественно двухдольный) метр, использовались привычные синкопы и [[особые виды ритмического деления]] — триоли, квинтоли и т. п.
В 1963—1964 гг. Коулман прекратил выступления и потратил более полутора лет на освоение трубы и скрипки. В 1965 организовал квартет (с Чарльзом Моффетом и Дэвидом Айзензоном), а в следующем году журнал Down Beat назвал его «музыкантом года». В 1970-е годы, пытаясь синтезировать фри-джаз с роком, он начал использовать в аранжировках электрогитары и ударную установку (для этого организовал и возглавил ансамбль под названием «Prime Time») — впрочем, коммерческого успеха фьюжн-альбомы Коулмана не имели.
