Durante estas mesmas décadas dos anos 50 e 60, alguns músicos levaram o jazz para direções mais exploratórias. Os termos free jazz e vanguarda são geralmente usados para descrever essas atitudes, em que as formas tradicionais, harmonia, melodia e ritmo, foram estendidas consideravelmente, ou até abandonadas. O saxofonista Ornette Coleman e o trompetista Don Cherry foram pioneiros desse tipo de música em álbuns como The Shape Of Jazz To Come e Free Jazz. O primeiro, bem como vários outros gravados com um quarteto que também tinha ou Scott LaFaro ou Charlie Haden no baixo, e ou Billy Higgins ou Ed Blackwell na bateria, ainda retêm a atmosfera básica do jazz dos pequenos grupos do pós-bop tradicional, com solistas alternando sobre uma linha de baixo e uma batida suingada de bateria. Esse estilo é às vezes conhecido como freebop. O álbum Free Jazz foi um trabalho mais cacofônico, que apresentava improvisação coletiva.
Outra grande figura da vanguarda do jazz foi o pianista Cecil Taylor. A maneira de ele tocar é muito percussiva, e inclui agrupamentos dissonantes de notas e rápidas passagens técnicas que não parecem ser baseadas em nenhuma harmonia ou pulsação rítmica em particular.
John Coltrane, como já foi mencionado, mergulhou na vanguarda em meados dos anos 60. Álbuns como Ascension e Interstellar Space mostram Coltrane absorvendo tanto Free Jazz quanto os trabalhos de Cecil Taylor. Grupos posteriores de Coltrane tinham a mulher dele, Alice, no piano e Rashied Ali na bateria, bem como Pharoah Sanders no saxofone tenor. Ele também gravou o álbum The Avant Garde, com Don Cherry, que é interessante por seus paralelos com o The Shape Of Jazz To Come e outros discos do quarteto de Ornette Coleman. Coltrane influenciou muitos outros músicos, entre eles os saxofonistas Archie Shepp, Sam Rivers e Albert Ayler.
Sun Ra é uma figura um tanto enigmática da vanguarda do jazz, que diz ser do planeta Saturno. Ele toca vários instrumentos de teclas com suas big bands que vão do estilo swing dos anos 20 ao mais ousado free jazz de Coltrane e outros.