Sebagai kolonel SS, Rauff berperan penting dalam pembangunan dan implementasi kamar gas bergerak yang berguna untuk membunuh sekitar 100.000 orang selama Perang Dunia II.
Menurut badan intelijen MI5 Inggris, Rauff mengawasi modifikasi truk yang mengubah asap knalpot agar masuk ke ruang kedap udara di belakang kendaraan. Truk-truk dibawa ke lokasi pemakaman, dan sepanjang jalan para korban akan diracuni dengan karbon monoksida.
Setelah menganiaya orang-orang Yahudi di Vichy dan Tunisia, Rauff mengawasi operasi Gestapo di barat laut Italia. Di sana, Rauff memperoleh reputasi "kekejaman yang luar biasa" karena mengeksekusi tanpa pandang bulu, baik dari orang-orang Yahudi maupun para partisan lokal.
Pasukan Sekutu menangkap Rauff di akhir perang, namun ia berhasil melarikan diri dari kamp POW Amerika dan bersembunyi di biara Italia. Setelah bekerja sebagai penasihat militer untuk presiden Suriah pada tahun 1948, ia kembali ke Italia dan melarikan diri ke Ekuador pada tahun 1949 sebelum akhirnya menetap di Chile.
Di sana Rauff bekerja sebagai manajer pengalengan kepiting dan memata-matai Jerman Barat antara tahun 1958 dan 1962. Keberadaannya diketahui setelah ia mengirim surat yang meminta agar dana pensiunannya dikirim ke alamat barunya di Chile.
Rauff ditangkap pada tahun 1962 di Chili, tetapi dibebaskan oleh pengadilan tertinggi negara itu pada tahun berikutnya. Diktator Chile, Augusto Pinochet, berulang kali menolak panggilan dari Jerman Barat untuk ekstradisi Rauff.
Rauff meninggal di Chile pada tahun 1984. Saat prosesi pemakamannya, para pelayat dari Jerman dan Chile memberi hormat Nazi padanya dan meneriakkan "Heil Hitler".