Ia termasuk orang yang paling dahulu masuk Islam dan salah seorang dari sepuluh sahabat Nabi SAW yang dijanjikan masuk surga.
Dalam kehidupannya sebagai Muslim, Abu Ubaidah menyaksikan sekaligus mengalami masa-masa penuh penindasan dari kaum kafir Quraisy terhadap kaum Muslimin di Makkah. Namun, segala penindasan itu tak membuat imannya lemah. Dia tetap setia membela Rasulullah.
Ketika penindasan itu kian menjadi- jadi, Abu Ubaidah turut hijrah ke Abessinia (Habasyah atau Ethiopia). Kemudian, ketika Nabi Muhammad SAW mengizinkan berhijrah ke Madinah, ia bersama kaum Muslimin lainnya juga hijrah ke Madinah.
Di kota ini, ia dipersaudarakan Nabi SAW dengan saudara Muslim Ansar, Sa’ad bin Mu’az. Versi lain menyebut, ia dipersaudarakan dengan Salim atau Muhammad bin Maslamah.
Karena dikenal jujur dan setia, Abu Ubaidah sangat dipercaya oleh Rasulullah. Sebuah riwayat menyebutkan, suatu ketika beberapa utusan kaum Nasrani datang menghadap Rasulullah, seraya berkata, “Ya Abu Qa sim, kirimlah kepada kami seorang sahabat Anda yang pintar menjadi hakim tentang harta yang menyebabkan kami berselisih di antara kami. Kami senang menerima putusan yang ditetapkan kaum Muslimin.”
