Aan het eind van de Tweede Wereldoorlog werkte Falk als kok op een koopvaardijschip. Na de oorlog ging hij verder studeren, waarna hij op kantoor ging werken. In 1955 maakte hij zijn debuut als acteur. In de jaren zestig speelde hij in verschillende films, onder andere tegenover Rat Pack-leden in de film Robin and the 7 Hoods. Oscarnominaties verwierf hij voor zijn rollen in de films Murder, Inc. en Pocketful of Miracles. Als gastacteur was Falk in uiteenlopende televisieseries te zien.
Als de sjofele, altijd in morsige regenjas gestoken en op het oog traag van verstand zijnde rechercheurColumbo trad Falk voor het eerst op in 1968. Columbo-kijkers weten altijd al vanaf de eerste minuten van elke aflevering wie de moordenaar is. Columbo lost zijn moordzaken op door aandacht te besteden aan kleine inconsistenties in het verhaal van de verdachte en door de dader net zo lang te blijven achtervolgen totdat deze bekent. Vooral de verhoortechniek van Columbo werd legendarisch: aan het eind van een gesprek loopt Columbo weg om plotseling terug te komen: "Oh, just one more thing", of "Oh, I almost forgot", waarna de verdachte op een inconsistentie wordt gewezen. De intrigerende blik die Columbo op dergelijke momenten op zijn slachtoffers wierp was deels te danken aan zijn (rechter) kunstoog, een prothese die nodig werd nadat Falk op driejarige leeftijd zijn rechteroog verloor aan de gevolgen van een tumor.
Peter Falk bleef zijn rol als Columbo ruim 35 jaar trouw en kreeg er gedurende die tijd vier Emmy Awards en een Golden Globe voor. De episode Blueprint for Murder uit het eerste seizoen werd door Peter Falk zelf geregisseerd. In 1977 trouwde Falk met de actrice Shera Danese, die speelt in de afleveringen Fade into Murder (met William Shatner) en Murder under Glass (regie Jonathan Demme).
Aan het eind van de jaren tachtig kwam de serie Columbo terug met een nieuwe reeks, waarvan Falk regelmatig zelf afleveringen produceerde. Voor een daarvan, It's all in the Game uit 1993, schreef hij bovendien ook het scenario. In totaal werden 69 afleveringen gemaakt, waarvan de laatste eind 2003 voor het eerst werd uitgezonden.
Tijdens en na zijn werk aan Columbo speelde Falk ook in bioscoopfilms en andere televisieseries. Zo was hij de tegenspeler van Ann-Margret in de film The Cheap Detective, de grootvader in The Princess Bride, leende hij zijn stem aan Don Feinberg in Shark Tale en was hij onder meer te zien in de videoclip van Ghostbusters. Verder speelde hij de rol van Sam Diamond in de komedie Murder by Death en was hij te zien in The Great Muppet Caper. Samen met Alan Arkin was hij te zien in de originele versie van The In-Laws, waar later een remake van is gemaakt.
Op 12 december2008 verzocht Falks dochter Catherine de rechtbank in Los Angeles om haar vader onder curatele te stellen. Zij voerde aan dat hij alzheimerpatiënt was en dat zijn dementie hem vatbaar maakte voor misbruik door oplichters en bedriegers. Bovendien zou hij voortdurend zorg nodig hebben als gevolg van een recente heupoperatie.[1]
Op 24 juni2011 maakte Falks naaste familie in een schriftelijke verklaring aan de pers bekend dat de acteur de avond tevoren (23 juni) "vredig" gestorven was, thuis in Beverly Hills. Falk is 83 jaar geworden.[2] De doodsoorzaak was een hartstilstand, met de ziekte van Alzheimer en een longontsteking als onderliggende oorzaken.[3] Falk ligt begraven in Westwood Village Memorial Park Cemetery.