Setelah itu, dalam kurun waktu 1813-1851, kepemilikannya terus berganti-ganti, dan pada akhirnya jatuh ke tangan seorang saudagar Cina bernama Oey Liauw Kong dan dijadikan sebuah toko, sehingga bangunan merah tersebut populer dengan nama “Toko Merah”.
Sampai dengan awal abad ke-20, belum ditemukan catatan rinci mengenai Toko Merah ini, hingga pada tahun 1920, Toko Merah dijual oleh Oey Liauw Kong kepada NV Bouw Maatschappij dengan harga 1 juta Gulden yang kemudian diketahui hingga tahun 1925, Toko Merah ini dijadikan kantor Bank Voor Indie.
Ketika Jepang datang, bangunan ini sempat dijadikan Gedung Dinas Kesehatan Tentara Jepang. Ketika Indonesia merdeka, gedung ini pun berpindah-pindah tangan. Dalam catatan yang ada, pada 1964 dimiliki PT Satya Niaga, lalu PT Dharma Niaga (Ltd) tahun 1977, dan tetap digunakan sebagai kantor pada tahun 90-an. Akhirnya pada 1993, Toko Merah secara resmi ditetapkan sebagai bangunan cagar budaya oleh Pemprov DKI Jakarta, dan sejak 2012 difungsikan sebagai gedung pameran dan konferensi.
Dalam buku “Toko Merah: Saksi Kejayaan Batavia Lama di Tepian Muara Ciliwung” yang ditulis Thomas B. Ataladjar (2003), disebutkan jika bangunan ini merupakan salah satu rumah elit dua lantai yang berada di kawasan elit pembesar VOC di tepian sungai Ciliwung yang begitu indah. Van Imhoff, yang membangun rumah tersebut kemudian menempatinya bersama keluarganya. Sayang, hanya sebentar mereka menempati rumah itu karena sehabis menjadi Gubernur Jenderal VOC, Van Imhoff harus menetap di Srilangka sebagai Gubernur di sana.
Walau berdiri di kawasan elit, namun dalam perjalanannya, bangunan ini ternyata pernah menjadi tempat budak-budak dari pelosok negeri dilelang. Mungkin bukan di dalam bangunannya, namun di halaman depan yang cukup luas yang langsung berbatasan dengan Kali Cliwung di mana kapal-kapal pengangkut budak yang ukurannya lebih kecil berlayar dari Pelabuhan Sunda Kelapa, melewati Jembatan Kota Intan yang bisa dinaik-turunkan jembatannya secara hidrolik, dan merapat di tepian sungai di depan Toko Merah untuk menurunkan para budaknya.
Pengamat Jakarta yang juga Jurnalis Senior Alwi Shahab dalam bukunya “Maria van Engels: Menantu Habib Kwitang” (2006), mencatat sebuah tragedi besar dalam sejarah kekuasaan VOC di Batavia, yang dikenal sebagai “Geger Pecinan” atau dalam bahasa Belanda “Chinezenmoord”, pembantaian orang-orang Cina.
“Setidak-tidaknya di depan gedung yang mengalir sungai Groote Rivier ini pernah terjadi suatu kerusuhan besar ketika terjadi pembantaian terhadap orang Tionghoa. Peristiwa ini terjadi 10 tahun setelah gedung ini berdiri (1740),” demikian Alwi Shahab.
Seorang saksi mata yang juga penulis Belanda, GB Schwarzen, di dalam bukunya “Reise in Oost-Indien” (1751) menulis jika dirinya sempat terjebak dalam tragedi itu. Schwarzen mencatat jika saat itu di sekelilingnya orang-orang Cina ketakutan, berlarian tak tentu arah, karena diburu oleh tentara VOC dengan pedang dan sangkurnya. Para serdadu VOC itu tidak menggunakan senjata api saat membunuh orang-orang Cina itu, katanya untuk menghemat peluru. Dan darah memenuhi jalan dan semuanya.
Salah satu pusat lokasi pembantaian berada tepat di depan Toko Merah.
