Kale eteğindeki Saray, 1579'da Lala Mustafa Paşa tarafından yaptırılmıştır. İki katlı olan yapı 1828 yılına kadar Kars Hükümet Konağı olarak kullanılmıştır.