Začetki Abercrombiejeve glasbene poti segajo v 70. leta, ko so skupaj s klaviaturistom Janom Hammerjem in bobnarjem Jackom DeJohnettom izdali debitantski album.

Abercrombie je z glasbeniki, kot so Keith Jarrett, Gary Burton in Pat Metheny, veliko prispeval k značilni žanrski opredelitvi založbe ECM. Več desetletji je bil sodelavec džezovskega tria Gateway, ki sta ga poleg njega sestavljala še legendarni basist Dave Holland in DeJohnette.

V 80. letih je začel Abercrombie eksperimentirati s kitarskim sintetizatorjem in tako je s posebnimi učinki razširil zvočno paleto inštrumentov. Posvečal se je na fuziji in "free-jazzu".

Veljal je tudi za nadarjenega izvajalca džezovskih standardov in slovel po tehnično izpiljenem slogu ter izjemni senzibilnosti. Januarja letos je s svojim kvartetom izdal album Up and Coming. Umrl je zaradi odpovedi srca, povezane z infarktom, ki ga je doživel na začetku letošnjega leta.