Müze, zemin + 3 katlı, orta sofalı plan tipinde ve kagir olan bir yapı içinde hizmet vermektedir. Halil Paşa Konağı 19. yüzyıl sonlarında Padişah 2. Abdülhamit döneminde sancak beyi olan Halil Paşa Karamahmutoğlu tarafından yaptırılmıştır. Bozhane Yalı caddesi üzerinde, eski bir kilisenin temeli üzerine inşa edilen konakta, Roma dönemine ait binalardan toplanan antik spoli malzemeler şapolyen (devşirme) olarak özellikle cephe süslemesinde kullanılmıştır.