Lokasi pembangunan Masjid Istiqlal menuai banyak kontroversi. Ada perbedaan pendapat antara presiden dan wakil presiden pertama Indonesia.
Wakil Presiden RI pertama Mohammad Hatta menunjuk kawasan Moh. Husni Thamrin sebagai lokasi pembangunan. Menurut dia, kawasan itu bisa menghemat biaya pembangunan. Sebab, tidak memerlukan anggaran untuk penggusuran bangunan-bangunan yang ada di atas dan di sekitar lokasi.
Sedangkan, Presiden Soekarno mengusulkan Taman Wilhelmina yang berada tepat di sekitar bangunan pemerintahan dan pusat perdagangan. Di samping itu, menurut Soekarno, masjid harus selalu berdekatan dengan keraton atau alun-alun. Mungkin ini sebabnya, di setiap alun-alun kota selalu ada masjid besar di dekatnya.
Gak cuma itu saja, dipilihnya Taman Wihelmina diharapkan pula terjadi kerukunan antar umat beragama. Sebab, berdekatan dengan Gereja Katedral yang jadi simbol semangat persaudaraan, persatuan, dan toleransi beragama sesuai Pancasila.
Setelah dilakukan musyawarah, akhirnya Taman Wihelmina dipilih sebagai lokasi pembangunan Masjid Istiqlal. Akhirnya, benteng Belanda Prins Frederick yang dibangun pada 1837 dibongkar untuk pembangunan masjid.