Er wurde zum Wachmann ausgebildet und erhielt 1934 seinen ersten Einsatz in Dachau. In den folgenden Lagern - Sachsenhausen und Mauthausen - wurde er schnell befördert. Am Vorabend des Zweiten Weltkriegs war er Adjutant des Lagerkommandanten Franz Ziereis. Weitere Erfahrungen sammelte er in der gleichen Position in Auschwitz, wo er Rudolf Hoβ bei der Leitung des Lagers beobachtete. Eine weitere Ausbildung brachte ihm eine Beförderung zum Schutzhaftlagerführer und dann zum Lagerkommandanten ein. Diese Positionen bekleidete er in Natzweiler-Struthof, dem einzigen Konzentrationslager im heutigen Frankreich, und dann für einige Monate in Auschwitz II - Birkenau. Dort überwachte er persönlich die Ermordung von Dutzenden von Menschen in den Gaskammern, deren Leichen für August Hirt, einen Wissenschaftler der Universität Straßburg, vorbereitet wurden.  

In Birkenau beaufsichtigte er unter anderem die Ermordung von 400.000 ungarischen Juden. Zeugenaussagen zufolge nahm er aktiv an der Selektion auf der Eisenbahnrampe teil, entschied über Leben und Tod der im Lager ankommenden Häftlinge und ermordete sie manchmal sogar persönlich. Olga Lengyel, eine Schriftstellerin, die Auschwitz überlebte, erinnerte sich daran, dass Kramer bei einer Selektion im Krankenhaus des Frauenlagers "einer Gefangenen mit einem Stock den Schädel eingeschlagen" habe. 

Für seine Verdienste wurde er im Dezember 1944 als Kommandant in das Lager Bergen-Belsen versetzt. Zu diesem Zeitpunkt waren dort etwa 15.000 Menschen inhaftiert, aber es wurden noch mehr Häftlinge von den so genannten "Todesmärschen", die aus Lagern im Osten organisiert wurden, dorthin verlegt. Auf diese Weise vervierfachte sich die Zahl der Menschen in Bergen-Belsen. Die Bedingungen im Lager waren katastrophal - es fehlte an Lebensmitteln und Medikamenten. Darüber hinaus brachen Epidemien aus, darunter Typhus und Ruhr, und die Häftlinge verdursteten, obwohl das Lager nur 400 Meter vom Fluss entfernt war.

An diesen Ursachen starben täglich 200-300 Menschen. Seine Herrschaft war so brutal, dass er sich den Spitznamen "die Bestie von Bergen-Belsen" verdiente. Kramer beteiligte sich an dem Lieblings-"Sport" der Besatzung des Lagers, der darin bestand, hungernde Häftlinge zu erschießen, die sich in der Nähe der Küche aufhielten. In den letzten Wochen, als Kramer wusste, dass die Alliierten in Bergen-Belsen einmarschieren würden, versuchte er, seinen Umgang mit den Gefangenen zu ändern, in der Hoffnung, nicht verhaftet zu werden. Das Lager wurde am 15. April 1945 befreit, und Kramer entkam nicht, sondern ergab sich den Briten. Der Prozess gegen ihn und das Lagerpersonal begann im September 1945. Während des Prozesses gab Kramer zu, dass er Juden auf Befehl Himmlers in die Gaskammern gezwungen hatte. Er behauptete auch, dass er die Befehle nicht ignorieren konnte, aber er hielt es auch nicht für ein Verbrechen, sie zu töten. Am 17. November 1945 wurde er zum Tod durch den Strang verurteilt; das Urteil wurde am 13. Dezember vollstreckt.