Selama dua abad, balai kota Batavia ini digunakan sebagai kantor administrasi kota Batavia. Selain itu juga digunakan sebagai tempat College van Schepenen (Dewan Kotapraja) dan Raad van Justitie (Dewan Pengadilan). Awalnya sidang Dewan Pengadilan dilakukan di dalam Kastil Batavia. Namun dipindahkan ke sayap timur balai kota dan kemudian dipindahkan ke gedung pengadilan yang baru pada tahun 1870.
Balai kota Batavia juga mempunyai ruang tahanan yang pada masa VOC dijadikan penjara utama di kota Batavia. Sebuah bangunan bertingkat satu pernah berdiri di belakang balai kota sebagai penjara. Penjara tersebut dikhususkan kepada para tahanan yang mampu membiayai kamar tahanan mereka sendiri. Namun berbeda dengan penjara yang berada di bawah gedung utama. Hampir tidak ada ventilasi dan minimnya cahaya penerangan hingga akhirnya banyak tahanan yang meninggal sebelum diadili di Dewan Pengadilan.
Sebagian besar dari mereka meninggal karena menderita kolera, tifus dan kekurangan oksigen. Penjara di balai kota pun ditutup pada tahun 1846 dan dipindahkan ke sebelah timur Molenvliet Oost. Beberapa tahanan yang pernah menempati penjara balai kota adalah bekas Gubernur Jenderal Belanda di Sri Lanka Petrus Vuyst, Untung Suropati dan Pangeran Diponegoro.
Di akhir abad ke-19, kota Batavia mulai meluas ke wilayah selatan. Sehingga kedudukan kota Batavia ditingkatkan menjadi Gemeente Batavia. Akibat perluasan kota Batavia, aktivitas balai kota Batavia dipindahkan pada tahun 1913 ke Tanah Abang West (sekarang jalan Abdul Muis No. 35, Jakarta Pusat) dan dipindahkan lagi ke Koningsplein Zuid pada tahun 1919 (sekarang Jl. Medan Merdeka Selatan No. 8-9, Jakarta Pusat) sampai saat ini.[3] Bekas bangunan balai kota kemudian dijadikan Kantor Pemerintah Jawa Barat sampai tahun 1942.
Selama masa pendudukan Jepang, bangunan ini dipakai untuk kantor pengumpulan logistik Dai Nippon. Setelah Indonesia merdeka, bangunan ini kembali digunakan sebagai Kantor Pemerintah Provinsi Jawa Barat disamping ditempati markas Komando Militer Kota I sampai tahun 1961. Setelah itu digunakan sebagai Kantor Pemerintah Provinsi DKI Djakarta. Pada tahun 1970, bangunan bekas balai kota Batavia ini ditetapkan sebagai bangunan Cagar Budaya.[4] Setelah itu Gubernur DKI Jakarta pada masa itu Ali Sadikin merenovasi seluruh bangunan ini dan diresmikan pada tanggal 30 Maret 1974 sebagai Museum Sejarah Jakarta.
