Christensen begann mit dem Schlagzeugspiel 1959 als Autodidakt und gewann ein Jahr später einen Preis beim norwegischen Amateurfestival. Anfang 1964 spielte er mit Kenny Dorham in seiner Heimatstadt (wovon es eine Aufnahme gibt)[3] und noch im selben Jahr mit Karin Krog auf dem Festival in Antibes; er trat anschließend regelmäßig mit Jan Garbarek auf. 1967 arbeitete er mit Steve Kuhn und Monica Zetterlund. Über Projekte von George Russell wurde er international wahrgenommen (u.a. Auftritt 1970 auf dem Berliner Jazzfestival). Anfang der 1970er wurde er auch in Mitteleuropa einem breiteren Kreis durch seine Mitwirkung in den Gruppen von Garbarek und Terje Rypdal, ab 1974 dann auch mit dem europäischen Quartett von Keith Jarrett, mit Jan Garbarek und Palle Danielsson, bekannt.
Christensen war mit der Schauspielerin und ehemaligen norwegischen Kulturministerin Ellen Horn verheiratet.[5] Jon Christensen starb am 18. Februar 2020 im Alter von 76 Jahren, wenige Tage nach dem Tod von Lyle Mays. Das Label ECM verlor damit einen seiner „Hausmusiker“, die seinen Sound in den 1970er-Jahren maßgeblich geprägt hatten.[6]
Bereits 1967 wurde er mit dem Buddyprisen des norwegischen Jazzforums geehrt. Für sein mit Knut Riisnas eingespieltes Album „Featuring John Scofield and Palle Danielsson“ erhielt er 1992 den norwegischen Schallplattenpreis. Von der Vereinigung norwegischer Jazzmusiker wurde er 1993 zum „Jazzmusiker des Jahres“ erklärt.