Weil er während des Zweiten Weltkriegs zwei Dosen Fliegerschokolade auf dem Schwarzmarkt gekauft hat, wird der Soldat Kleinschmidt von einem Kriegsgericht unter der Anklage des Kriegsgerichtsrats Schramm zum Tode verurteilt. Durch einen Fliegerangriff entkommt Kleinschmidt der Exekution.
Nun ist der Krieg vorbei, Kleinschmidt kehrt in seine Heimatstadt zurück. Dort trifft er durch Zufall seinen einstigen Ankläger Schramm wieder, der auch im entnazifizierten Deutschland Karriere als Oberstaatsanwalt gemacht hat. Schramm, der noch immer von seiner treudeutschen Gesinnung geleitet wird, fürchtet um die Aufdeckung seiner dunklen Vergangenheit und setzt alles daran, Kleinschmidt aus der Stadt zu vertreiben.
Als der traumatisierte Kleinschmidt im Affekt ein Schaufenster einschlägt, um zwei Dosen Schokolade zu stehlen, kommt es zu einem neuerlichen Prozess, bei dem abermals Schramm die Anklage führt …
Wolfgang Staudte kommt noch mal zurück auf sein großes Thema der Nachkriegsgesellschaft und deren nicht aufgearbeiteter Verstrickung in das zerstörte Nazi-Regime. Vor 13 Jahren erzählte er in Die Mörder sind unter uns (1946) von einem unscheinbaren Fabrikanten, der im Krieg als Hauptmann hunderte Polen hatte standrechtlich erschießen lassen und nach dem Krieg nun unbescholten Kochtöpfe produzierte. 
Dieses Unrecht verquickte er mit einem ehemaligen Armeearzt, der dem Todeskommando angehört hatte und nun unter dem Trauma der Tat litt. Es war eine sehr ernste, strenge Filmerzählung.
Im Grunde erzählt Staudte die Geschichte jetzt nochmal, allerdings mit beißendem Sarkasmus. Der damalige Mörder und spätere Kochtopfproduzent ist jetzt ein honoriger Oberstaatsanwalt mit besten Karriereaussichten, dem ein von ihm unterzeichnetes Todesurteil aus der Nazizeit zum Verhängnis wird. Martin Held (Der Hauptmann von Köpenick – 1956) spielt diesen Oberstaatsanwalt Schramm mit dem arroganten Habitus des guten deutschen Kameraden, der auf Zusammenhält der letzten Aufrechten setzt; eine großartige Vorstellung.
Der Mann kann sich seiner Sache sicher sein. Die Gesellschaft um ihn herum, traumatisierte vom Untergang und schleppenden Wiederaufbau, will in Ruhe gelassen werden. Man hat sich etabliert als Lebensmittelhändler, als Versicherungsmann, es läuft doch jetzt gerade alles so schön, da will man sich das nicht gleich wieder gefährden durch unliebsame Zeugenaussagen. 
Das Mitläufertum, das Schweigen angesichts des schreienden Unrechts, unter Staudtes Regie feiert es fröhliche Urständ. Anders ausgedrückt: Es hat sich nichts geändert. Ob nazi-Regime oder Nachkriegsdemokratie, der deutsche Michel will einfach in Ruhe und Wohlstand leben und nicht dauernd mit dieser Vergangenheit belästigt werden.
Entsprechend kommt einer wie Kleinschmidt auch nicht auf die Füße. Er ist eine ehrliche Haut, schlägt sich mit Kartentricks und als fliegender Händler durch und hat seine Rolle in der Gesellschaft längst akzeptiert. Erst, als die Polizei ihm seinen Gewerbeschein wegnimmt, seine Arbeitsgrundlage, muckt er auf. Selbst er, dem im Film das größte Unrecht widerfahren ist, will nicht aufmucken, einfach nur seinen Gewerbeschein zurück. Walter Giller (Der Hauptmann von Köpenick – 1956) spielt diesen aufrechten Mann als bescheidenen Schluffi, der weiß, dass er in dieser Welt zu den Verlierern gehört und deshalb nichts von niemandem erwartet.
Aber dieses Drama erzählt Wolfgang Staudte dieses Mal als Komödie. deshalb gibt es eine vorsichtige Liebesgeschichte zwischen Kleinschmidt und einer ziemlich geschäftstüchtigen Wirtin, die sich lauter schmierigen Männern erwehren muss und nebenbei erfolgreich einen Hotelbetrieb ans Laufen bekommt. Auch sie hält zunächst nichts davon, „der Obrigkeit“ durch eine Klage unangenehm aufzufallen. Bis sie sich in den kleinen Mann mit der Haltung verliebt und feststellt, dass diese Haltung was für sich hat.
"Rosen für den Staatsanwalt" ist, 14 Jahre nach Kriegsende, eine böse Satire auf den deutschen Kleingeist mit fantastischen Komödianten und Schauspielern, der auch einen klaren Blick auf das Deutschland in den Städten nach dem Krieg konserviert.
Staudte ließ sich zu diesem Film inspirieren durch den tatsächlichen Fall des Offenburger Studienrates Ludwig Zind, der später wegen antisemitischer Äußerungen in Abwesenheit zu einem Jahr Gefängnis verurteilt wurde.
Die Dreharbeiten fanden im Juli 1959 in Kassel, Göttingen, Hannover sowie im Filmatelier Göttingen statt. Obwohl die Stadt Kassel im Film klar erkennbar ist – Schauplätze sind das Rathaus Kassel, die Treppenstraße, der Vorplatz des Hauptbahnhofs, der Florentiner Platz und die Frankfurter Straße – wird sie nicht erwähnt. Darüber hinaus ist das Wappen der Stadt auf dem Ärmel eines im Film auftauchenden Polizisten deutlich sichtbar.
In einer Szene gibt eine Gruppe von Doppelgängern führender Nazis (Hitler, Himmler, Goebbels und Bormann) dem Oberstaatsanwalt moralische Rückendeckung. Die kurze Szene wird mit der Melodie des in Deutschland verbotenen Horst-Wessel-Lied untermalt.
