Detlef Schrempf lahir pada 21 Januari 1963 di Leverkusen, Jerman Barat. Karier bola basketnya dimulai di negara asalnya sebelum pindah ke Amerika Serikat untuk melanjutkan pendidikan di Centralia High School di Centralia, Washington, selama setahun. Setelah lulus sekolah, Schrempf bermain bola basket di tingkat perguruan tinggi. Dia masuk ke University of Washington dan membela tim basket Washington Huskies.
Schrempf tampil mengesankan sehingga menarik perhatian tim-tim NBA. Dia mampu menunjukkan potensinya sebagai pelajar-atlet di dunia perkuliahan bersama Huskies. Pada 1985, pemain internasional Jerman itu pun dipilih oleh Dallas Mavericks sebagai pilihan ke-8 dalam NBA Draft.
"Ideku sebenarnya pergi ke Amerika Serikat selama setahun, melihat seperti apa basket itu," kata Detlef Schrempf kepada siniar Sonics Forever, seperti dikutip FIBA Basketball, "untuk belajar bahasa Inggris dan kembali, menjadi bintang liga Jerman. Namun, aku tidak pernah kembali."
Pada awal kariernya sebagai seorang profesional, Detlef Schrempf sendiri berjuang mati-matian untuk menemukan tempatnya di Dallas, Texas, Amerika Serikat. Sebab, meski menunjukkan potensi besar, dia sering kali bermain sebagai cadangan. Sayangnya, kariernya tidak bisa dibilang berkembang pesat selama 4 musim pertama. Schrempf tidak mendapatkan banyak waktu bermain di sana.
Setelah pindah ke Indiana Pacers pada 1989, barulah kariernya berkembang begitu besar. Di sanalah dia mampu menemukan perannya sebagai pemain yang luar biasa. Bahkan, pada 1993, yang merupakan tahun terakhirnya di Indianapolis, Indiana, Amerika Serikat, Schrempf terpilih masuk ke jajaran NBA All-Star.