Joe McPhee spielte schon mit acht Jahren Trompete, als er Unterricht von seinem Vater erhielt. Später spielte er in der Highschool-Band und während seiner US-Army Zeit in Deutschland in einer Militärkapelle. Seine Karriere begann in den 1960er Jahren unter anderem in Ensembles von Don Cherry. Seine erste Schallplatten-Einspielung entstand 1967 mit Clifford Thornton, Freedom and Unity. Ab Ende der 1960er Jahre nahm er auf Craig JohnsonsCjR-Label eine Reihe von Alben auf, wie Underground Railroad 1969, Nation Time 1970, Trinity 1971 und Pieces of Light 1974.
Ab Mitte der 1970er Jahre wurde er mit einer Reihe aufsehenerregender Einspielungen in Europa bekannt, die das Schweizer Label HatHut Records von Werner X. Uehlinger mit ihm aufnahm, wie das Album Tenor im Jahre 1976. In dieser Zeit lebte McPhee in Europa und arbeitete mit dem aus Marseille stammenden Gitarristen Raymond Boni und dem Saxophonisten André Jaume zusammen, die auf seinen Alben Old Eyes & Mysteries (1979/1980) und Topology (1991) mitwirkten. 1991 entstand gemeinsam das Album Impressions of Jimmy Giuffre.
Ian Carr, Digby Fairweather, Brian Priestley: Rough Guide Jazz. Der ultimative Führer zum Jazz. 1800 Bands und Künstler von den Anfängen bis heute. 2., erweiterte und aktualisierte Auflage. Metzler, Stuttgart/Weimar 2004, ISBN 3-476-01892-X.