Selama bertahun-tahun Loji Gandrung diwariskan secara turun-temurun kepada keturunan Yohanes hingga akhirnya Belanda meninggalkan Indonesia dan bangunan ini dikuasai oleh Jepang.
Pada masa pendudukan Jepang, Loji Gandrung pernah digunakan sebagai Markas Militer Brigade V Slamet Riyadi, dengan Gubernur Militer dipegang oleh Gatot Subroto.
Maka tak heran, sebuah patung Gatot Subroto bisa dilihat di halaman depan Loji Gandrung.
Tak lama setelah itu, Loji Gandrung beralih fungsi menjadi rumah dinas Wali Kota.
Rudy menjelaskan, bentuk bangunan Loji Gandrung berkiblat gaya Eropa dengan diselaraskan kondisi tropis di Indonesia.
Tak heran, bila pintu-pintunya dibuat tinggi agar sirkulasi udara lebih lancar.