Terlepas dari usia Abu Ayyub al-Anshari, dia memang bersikeras untuk berpartisipasi dalam penaklukan tersebut. Dia pun rela menanggung kesulitan berperang dan bepergian jarak jauh. Dia juga ingin menyaksikan langsung penaklukan Konstantinopel.
Abu Ayyub saat itu diminta untuk ikut dalam pasukan Yazid bin Muawiyah. Namun ketika pasukan Muslim mendekati Konstantinopel, Abu Ayyub jatuh sakit dan tidak dapat melanjutkan perjalanan dan pertempuran.
Menurut buku ‘Sejarah Negara Umayyah’ karangan Inas Al-Bahiji, Yazid mendatanginya dan bertanya kepada Abu Ayyub soal apa yang dibutuhkannya. Abu Ayyub menjawab, “Jika aku mati, gendong aku, dan jika kamu berjabat tangan dengan musuh, lempar aku di bawah kakimu.” Artinya, dia ingin para prajurit membawanya sejauh yang mereka bisa dalam ke dalam pertempuran, dan menguburkannya di tempat pertempuran.
Para sejarawan belum menyepakati tahun pasti di mana Abu Ayyub meninggal. Beberapa dari mereka mengatakan bahwa dia meninggal pada 670, pada saat pengepungan Konstantinopel, dan beberapa dari mereka mengatakan bahwa dia meninggal pada 672.
Pendapat tentang saat di usia berapa dia wafat pun berbeda-beda. Banyak catatan sejarah menyebut, dia meninggal pada usia 97 dan dimakamkan di dekat tembok Konstantinopel.
Umat Islam tidak dapat menaklukkan Konstantinopel sampai sekitar 785 tahun setelah penaklukan tersebut, saat Kesultanan Ottoman atau Turki Utsmani ada di tangan Sultan Muhammad al-Fatih, pada 29 Mei 1453. Dari sini dimulailah kisah tentang Abu Ayyub al-Anshari dengan Ottoman.
Banyak orang kemudian memuji Abu Ayyub dan menganggap keberadaannya merupakan desakan untuk menaklukkan Istanbul. Kesultanan Turki Utsmani mengetahui kisah kedatangan Abu Ayyub dan keinginannya untuk berpartisipasi dalam penaklukan Konstantinopel meski sudah tua dan sakit.
Ini pula yang memberi mereka semangat dalam pertempuran, dan tentara Turki Utsmani saat itu menganggap Abu Ayyub sebagai contoh.
Lalu, selama pengepungan kota pada 1453 di bawah kepemimpinan Muhammad al-Fatih, Syekh Aq Shams al-Din, guru dan pendidik Muhammad al-Fatih yang dianggap Turki sebagai penakluk moral Konstantinopel, menemukan makam Abu Ayyub Al-Ansari yang selama ini dianggap hilang tidak diketahui keberadaannya.
Sebelum tentara Ottoman berkumpul untuk mengepung Istanbul, Syekh Aq Shams mengaku didatangi Abu Ayyub lewat mimpi dan memberitahu lokasi makamnya di tembok Konstantinopel.
Karena itu pula, tugas pertama Sultan Ottoman Muhammad al-Fatih adalah menemukan makam Abu Ayyub ketika dia menaklukkan Istanbul. Hingga kemudian makam itu ditemukan. Di sebelahnya tertulis “Makam Abu Ayyub al-Ansari”.
Setelah itu dibangunlah Masjid Eyup Sultan. Ini masjid pertama yang dibangun di Istanbul pada tahun 1458. Pembangunannya dilakukan lima tahun setelah penaklukan kota tersebut, di dekat makam Abu Ayyub.
