Perpustakaan besar Islam pertama adalah Baitul Hikmah yang didirikan pada awal abad IX M oleh Khalifah Harun. Suatu lembaga menyerupai universitas yang bertujuan untuk membantu perkembangan belajar, mendorong penelitian, dan mengurusi terjemahan teks-teks penting, semisal karya-karya Yunani klasik.
Baitul Hikmah telah mendatangkan efek yang penting bagi kehidupan intelektual waktu itu serta menjadi referensi umum. Selain Baitul hikmah, masjid-masjid di kota Baghdad dilengkapi dengan perpustakaan. Di Shiraz juga terdapat perpustakaan yang mulai menggunakan klasifikasi buku berdasarkan tempat asalnya. Riwayat perpustakaan di Baghdad menurut keterangan para sejarawan berakhir setelah bangsa Tartar menyerang Baghdad.
Dalam waktu yang hampir bersamaan, di Mesir juga berdiri perpustakaan Bani Fathimiyah. Begitu juga di Spanyol yang waktu itu berada di bawah kekhalifahan Umayyah Barat. Dengan demikian, tiga Dinasti Islam (Abbasiyah, Umayyah Andalusia, dan Fathimiyah) merupkan generasi awal umat Islam yang memiliki perpustakaan besar.
Dalam perkembangannya, perpustakaan dibagi menjadi dua jenis, yaitu perpustakaan umum dan perpustakaan khusus. Sejarah peradaban Islam mencatat sedikitnya ada lima perpustakaan umum dan perpustakaan khusus yang memiliki nilai sejarah.
Perpustakaan Umum
Perpustakaan Baitul Hikmah di Baghdad, didirikan oleh Harun Ar-Rasyid dan mencapai kemajuan pada masa Al-Makmun. Perpustakaan ini lebih menyerupai sebuah universitas yang di dalamnya banyak terdapat buku.
Sebagaimana fungsi perpustakaan pada umumnya, di perpustakaan ini orang-orang berkumpul untuk berdiskusi, muthala’ah dan menyalin buku. Di situ terdapat penyalin dan penerjemah buku-buku yang diperoleh Ar-Rasyid dan Al-Makmun dalam penaklukan atas Ankara, Amuria, dan Cyprus.
Ibnu Nadim bercerita telah terjadi surat-menyurat (korespondensi) antara Al-Makmun dan raja Romawi yang pernah dikalahkan dalam peperangan. Di antara syarat perdamaiannya, salah satunya adalah agar raja Romawi memperbolehkan buku-bukunya diterjemahkan oleh para ulama yang dikirim Al-Makmun. Al-Makmun memandang bahwa harga kemenangannya tidak lebih mahal dari buku-buku ilmu pengetahuan yang diwariskannya kepada putera-putera umat dan negerinya.
Perpustakaan Khalifah Dinasti Fatimiyah di Kairo, merupakan perpustakaan umum yang paling terkenal. Perpustakaan ini berisi mushaf-mushaf dan buku-buku yang sangat berharga. Jumlah koleksinya mencapai dua juta eksemplar.
Perpustakaan Darul Hikmah di Kairo, didirikan oleh Al-Hakim Biamrillah. Mulai dibuka pada 10 Jumadil Akhir tahun 395 Hijriyah. Koleksinya berupa buku-buku yang dikoleksi oleh raja sendiri. Perpustakaan ini punya 40 lemari, bahkan ada salah satu lemari yang memuat 18 ribu buku tentang ilmu-ilmu warisan Mesir Kuno.
Di Kordova terdapat perpustakaan Al-Hikmah. Perpustakaan ini merupakan perpustakaan yang sangat luas dan besar untuk ukuran di zamannya.
Koleksi bukunya mencapai 400 ribu buah. Katalog-katalog buku di perpustakaan ini sangat teratur dan teliti, sehingga sebuah katalog khusus diwan-diwan syi’ir yang ada di perpustakaan ini mencapai 44 bagian, selain itu terdapat juga para penyalin buku dan penjilid-penjilid buku yang mahir.
