Nach dem Mord an einem Jazzclubbesitzer wird der Auftragskiller Jef Costello bei einer Razzia von der Polizei festgenommen. Doch die Hauptzeugin des Mordes, die den Täter eindeutig erkannt hat, deckt Costello. Der wird freigelassen, aber weiterhin beschattet.
Durch die ungewollte Nähe zur Polizei stellt er eine Gefahr für den Auftraggeber des Mordes dar, der nun Costello selbst ans Leben will. Costello gerät zwischen die Fronten. Da er sich das Motiv der Pianistin nicht erklären kann, sucht er sie auf und stellt sie zur Rede.
In seinem Appartement wird er von einem Killer seiner Auftraggeber überrascht. Diese wollen ihm noch eine Chance geben und bezahlen ihn für einen weiteren Mord, wobei die Identität des Opfers im Unklaren bleibt. 
Costello überwältigt den Killer und erfährt von ihm den Namen seines Auftraggebers. Diesen erschießt er in dessen Wohnung. Wohl wissend, dass er von der Polizei überwacht wird, sucht er den Nachtklub auf …
Wenn sich im Kino das Paralleluniversum des Lebens manifestiert, manifestiert sich in diese Film das Paralleluniversum dieses Universums. Jean-Pierre MelvillesFilm spüielt in einem diesigen, nasskalten Paris abseits der Postkartenmotive. Eiffelturm, Arc de Triomphe suchen wir vergeblich, erst eine in ihrer Ruhe fulminanten Verfolgung diurch die Metrostationen der Stadt lassen die Lokalisierung zu.
Der Film ist reduziert auf das allernotwendigste. Dialoge kommen kaum vor, Frauen, die dem Auftragskiller ein Alibi verschaffen, sagen lediglich mal „Ich liebe es, wenn Du zu mir kommst. Weil Du mich dann brauchst.“ Wenn dann zwei Polizisten in Jefs Appartememnt eine Wanze installieren, ist nicht klar, was sie damit bezwecken. Der Mann lebt allein und mit seinem Dompfaff im Käfig spricht er nicht. Aber der offenbar mit ihm, denn Jef findet die Wanze, nachdem ihm an seinem Haustier etwas aufgefallen ist. Was das ist, bleibt unklar, wie so manches in diesem Film an der Nahtsteller zwischen nouvelle vague und film noir, der eine Parabel auf das Leben an sich ist, beschrieben – ausgerechnet – aus der Sicht eine Killers.
Die Polizeiarbeit im Film ist anders als die, die wir aus dem Kino sonst kennen. Die Beamten verschaffen sich ohne Durchsuchungsbefhel Zutritt zu Wohnungen, bringen ohne reichterlichen beschluss Wanzen an, haben auf die Schnelle 70 Beamte zur Verfügung, die einem Mann, der möglicherweise ein Killer ist, der aber zwei harte Alibis und eine Zeugin auf seiner Seite hat, durch die ganze Stadt jederzeit auf den Fersen bleiben. Die zunehmende Zahl von Polizisten, die Melville keine Polizeiarbeit vorführen lässt, ist die Allegorie auf einen tödlichen Virus, der den Hauptdarsteller befällt und ihn schließlich in die Knie zwingt.
Dieser Mann, den Melville zu Beginn mit einem einem fiktiven, aber eleganten Zitat aus dem „Buch der Samurai“ („Es gibt keine größere Einsamkeit als die eines Samurai, außer vielleicht die eines Tigers im Dschungel“) und einem leichten Vertigo-Effekt einführt, bei dem der Zuschauer sich nicht sicher ist, ob nicht vielleicht nur die Filmkopie einen Schaden an der Stelle hat, und den er später immer wieder durch verregnete Scheiben zeigt, wie er das Alltagsleben um sich herum teilnahmslos an sich vorbeiziehen lässt, nur fixiert auf seine eine Aufgabe, verliert den Sinn in seinem Leben, nachdem seine Auftraggeber ihn ausschalten wollen; 
gleichzeitig verliebt er sich in die Pianistin, ein Umstand, der sein bisherigen Leben unmöglich macht, denn – auch das zeigt Melville in beeindruckenden Bildern – das Leben eines Mannes, der für Geld tötet, ist ein einsames Leben, das sich nicht mit gesellschaftlichen Konventionen verbinden lässt. Als also Jef gleichzeitig Arbeitgeber und Einsamkeit verliert, verliert er sein Leben. Die Pianistin, die er am Ende des Films mit einer nicht geladenenen Waffe bedroht, wird sein Todesengel, in deren Arme er sich freiwillig begibt.
Melville hatte sich durch seine unverwechselbare Handschrift, die durch einen prägnanten visuellen Stil gekennzeichnet ist, im Frankreich der sechziger Jahre einen Namen gemacht. Er war der einzige französische Regisseur, der unabhängig in seinem eigenen Studio arbeiten konnte und bereits mit allen großen französischen Stars gedreht hatte. Nur zu einer Zusammenarbeit mit Alain Delon (Die Abenteurer – 1967; Brennt Paris? – 1966; Der Leopard – 1963; Rocco und seine Brüder – 1960; Nur die Sonne war Zeuge – 1960) war es nicht gekommen. Delon konzentrierte sich auf seine Karriere in Amerika und hatte 1966 weder Interesse am französischen Film noch an dem hauptsächlich mit Kriminalstorys erfolgreichen Regisseur Melville.
Melville gelang es jedoch, sich bei Delon einen Termin zu verschaffen, um ihn von der Rolle des Killers zu überzeugen. Er begann damit, ihm das Drehbuch vorzulesen. Nach etwa sieben oder acht Minuten unterbrach ihn Delon, der bis dahin noch keinerlei Dialog gehabt hatte, was er so interessant fand, dass er zusagte. Als Melville ihm daraufhin den Titel des Films nannte, der im Original Le Samouraï, also Der Samurai, heißt, führte Delon ihn in sein Schlafzimmer und zeigte ihm ein großes Samuraischwert, das direkt über dem Bett hing.
Für die Rolle der Geliebten von Costello besetzte Melville Delons damalige Frau Nathalie Delon. Die Ehe war jedoch schon in Auflösung begriffen, und so ist die Abschiedsszene, in welcher der bis dahin stoisch, fast apathisch blickende eiskalte Engel in einer Umarmung mit Nathalie das erste Mal die Augen schließt, auch als Abschiedsgeste für das Ehepaar zu lesen. Melvilles Erzählungen zufolge trennte sich das Paar noch am selben Abend.
Ein weiterer Freund Melvilles verabschiedete sich in "Der eiskalte Engel": Der zur Drehzeit bereits todkranke Schauspieler André Salgues, der die Rolle von Costellos Komplizen in der Autowerkstatt spielte. Salgues' einzige Worte in dem Film, gesprochen in der letzten Garagenszene, sind: „Ich warne dich, Jef, das ist das letzte Mal“.
Unmittelbar nach den Dreharbeiten brannte Melvilles Studio komplett ab, wobei der im Film gezeigte Dompfaff starb.