Pada masa kepemimpinan Umar bin Abdulaziz sekitar 717 Masehi, ia membangun tembok yang lebih kokoh di perimeter kamar suci tersebut. Tembok itu memiliki lima sisi dengan ujung lancip di bagian utara.
Tinggi tembok dari batu-batu hitam tersebut sekira 11 meter. “Bangunannya dibuat seperti itu supaya tidak disangka Ka’bah oleh pengunjung,” kata Suliman.
Selain bangunan utama itu, dibangun juga tembok rendah mengelilingi Makam Rasulullah. Tembok luar itu kemudian ditinggikan dan kelak jadi batas dinding yang tersisa hingga saat ini.
Pada pertengahan abad ke-12, Sultan Nuruddin Zengi dari Turki meninggikan tembok itu dan menggali parit yang diisi timah untuk mencegah usaha-usaha pencurian jenazah Rasulullah.
Pada 1279, Sultan Al Mansur Qalawun dari Dinasti Mamluk di Masir menambahkan bangunan berkubah tepat di atas Makam Rasulullah di dalam lokasi tembok hitam.
Kubah tersebut berwarna putih dan berdiri di atas pondasi kayu bersegi enam. Pada 1481, pada masa Sultan Qa’it Bay dari Dinasti Mamluk, kubah putih itu tersambar petir da mengalami kebakaran.
Pondasi kayu kemudian diganti dengan bata merah.
Pada 1818, seturut perluasan besar-besaran pertama oleh Sultan Mahmud II dari Turki Utsmani, kubah yang lebih besar dibangun di atas Makam Rasulullah.
Kubah tersebut dicat dengan warna hijau pada 1837 dan bangunannya bertahan hingga saat ini.
