Setelah dimintai pendapatnya, mayoritas para sahabat menentukan pilihannya kepada Utsman. Akhirnya, Abdurrahman pun berbai’at kepada Utsman dan diikuti oleh penduduk Madinah. Utsman baru menjadi imam yang syar’i setelah bai’atnya disetujui oleh Ahlul Halli wal’Aqdi.
Kemudian (singkat cerita) Utsman pun dibunuh. Orang-orang menunjuk beberapa tokoh sahabat untuk dijadikan khalifah, namun mereka semua menolaknya. Kemudian mereka bersikeras untuk mengangkat Ali, beliau pun setuju dengan syarat seluruh masyarakat berbai’at kepadanya secara terang-terangan di masjid, akhirnya masyarakat pun berbai’at kepadanya. Setelah itu beliau menulis surat kepada para gubernur untuk mengambil bai’at dari mereka. Semuanya berbai’at kecuali penduduk Syam. Dengan demikian Ali pun menjadi khalifah yang syar’i setelah dibai’at oleh Ahlul Halli wal ’Aqdi dan diikuti oleh mayoritas penduduk Madinah.
Perlu diketahui, sebenarnya penduduk Syam bukan tidak setuju atas pengangkatan Ali sebagai khalifah—sebagaimana keyakinan sebagian orang—namun mereka hanya lebih mengutamakan penyerahan para pembunuh Utsman untuk diqishash.
Sementara Khulafaur Rasyidin yang kelima, yaitu “Umar bin Abdul Aziz”—semoga Allah meridhainya dengan mengembalikan kepemimpinan kepadanya secara istikhlaf—beliau melepaskan jabatannya dan menyerahkan urusan tersebut kepada kaum muslimin untuk diputuskan secara musyawarah. Kemudian beliau pun dibai’at oleh Ahlul Halli wal ‘Aqdi.
Dengan demikian beliau sah menjadi khalifah yang syar’i, atau bahkan Khulafaur Rasyidin yang memperbarui sistem kekhalifahan kepada manhaj nubuwah.
