Mesjid Al Markaz Al Islami sebetulnya baru terlaksana sepertiga dari rencana besarnya. Ia berencana untuk melanjutkan pembangunan tahap berikut, yaitu sebuah gedung pertemuan besar di kompleks itu yang lokasinya sudah disediakan. Gedung itu bisa dipergunakan untuk semua hal yang baik, dan nantinya menjadi modal dasar bagi berdirinya sebuah pusat pendidikan. Sayang ketika Jusuf sudah siap untuk menjalankan gagasannya, Jusuf keburu jatuh sakit.
Akhirnya meninggal pada tanggal 8 September 2004 dalam usia 76 tahun.
Pada dasarnya, pemberian nama masjid ini sempat menjadi perdebatan. Pasalnya M Jusuf disebut tak ingin namanya disematkan dalam nama masjid.
Nama Al Markaz Al Islami didapat dari Cak Nur yang artinya “Pusat Kegiatan Islam”. Nama ini didapat setelah Jusuf secara tegas menolak nama pribadinya dikaitkan dengan kompleks tersebut.
Namun setelah Jusuf wafat, Wakil Presiden Jusuf Kalla ke Makassar untuk Meresmikan penambahan nama Mesjid Raya Al-Markaz Al-Islami dengan tambahan nama Jenderal M Jusuf beberapa hari setelah Idul Fitri 1426 H/2005, Fatwa menemui Istri M Jusuf, Elly Saelan yang mengemukakan pandangannya bahwa sebenarnya tidak usahlah ditambah-tambah lagi nama mesjid tersebut dengan nama Jenderal Jusuf, khawatir akan mengurangi pahalanya.
