Setelah Sulaiman as wafat pada tahun 922 SM, pemerintahan Daud terpecah menjadi dua : kerajaan Isarel di sebelah utara dan kerajaan Yahudza di sebelah selatan. Diantara keduany sering terlibat peperangan panjang hingga masa mereka dihancurkan oleh Bukhtanshar Raja Babilonia pada tahun 587 SM. Pada penyerangan ini terjadi penghancuran terhadap Yerusalem termasuk terhadap Haekal Sulaiman.
Mereka berhasil menawan dan membawa banyak orang-orang Yahudi ke Babilonia dan menetap di sana selama 50 tahun yang dikenal dalam sejarah Yahudi dengan Para Tawanan Orang-orang Babilonia.
Ketika Babilonia berhasil ditaklukan oleh Kirusy Raja Parsia pada tahun 538 SM maka para tawanan tersebut dibebaskan dan dikembalikan ke Palestina akan tetapi mereka tidak memiliki Negara namun tetap berada dibawah kekuasaan Parsia.
Didalam Majallah at Tarikh al Arabi disebutkan bahwa setelah orang-orang Bani Israel dipulangkan kembali ke kampung halamannya di Palestina maka mereka membangun kembali tempat peribadahan mereka yang telah dihancurka oleh Bukhtanshar.
Ketika gemilangnya Parsia telah redup maka kekuasaan mereka pun jatuh ketangan Aleksander Al Maqduni sehingga orang-orang Yahudi menampakkan loyalitas, ketundukan dan penyambutan mereka kepada Aleksander al Maqduni tatkala menguasai Yerusalem tahun 332 SM. Dan sejak saat itu mereka berada dibawah kekuasaan Yunani.
Setelah Aleksander al Maqduni wafat maka kekuasaannya terpecah diantara mereka, Mesir berada di tangan Ptolomeus sedangkan Negara-negara utara diserahkan ketangan Selecus. Namun pada tahun 199 SM terjadi peperangan antara Ptolomeus dan Selecus yang kemudian dimenangkan Ptolomeus..
Pada tahun 198 SM Yerusalem jatuh ketangan Raja Suria yang bernama Antiochus dan sejak saat itu terjadi berbagai fitnah, pemberontakan dan peperangan berdarah di Yeusalem hingga masa kedatangan pemimpin Romawi yang bernama Pompy tahun 63 SM yang kemudian berhasil menguasai Yerusalem.
Sejak saat itu Yerusalem berada ditangan kekuasaan orang-orang Romawi dan menjadikannya sebagai Negara Romawi. Pada saat inilah Isa bin Maryam dilahirkan di kota Betlehem di akhir pemerintahan Herodes pada tahun 37 – 40 M.
Dan sejak saat itu Yerusalem menjadi tempat yang memberikan kabar gembira tentang da’wah tauhid dan menjadi kota suci bagi orang-orang Nasrani.