Kentin batı yakasında, Aşağıhamam mahallesiyle çarşı arasında, köprü başındadır. Hamam-ı Bala'ya (Yukarı Hamam) göre kentte aşağıda kaldığından Hamam-ı Süfla (Aşağı Hamam), harap olduktan sonra Kayaoğlu ailesi onardığı için "Kayaoğlu Hamamı" denilmiştir. Halk arasında "Ciniviz hamamı" dense de bir Mengücek dönemi yapısı olduğu saptanmıştır. Sodalı suyundan dolayı halk tarafından buraya Acıhamam da denilmektedir. Camegah bölümünün kubbesi, 18. yüzyıl başlarındaki onarım sırasında yenilenmiştir. Hamamın sokak tarafındaki çeşmesi, sokağın yükselmesi sonucu gömülü kalmış, kitabesi de silinmiştir. Türk hamamlarının klasik 'sıcaklık' ve 'soğukluk' kısımlarını içerir. Hamamda Arap Baba denilen iki mezar taşı vardır. Kentin Ermenileri burayı "Karsun Manuk" (Kırk Sabi) diye adlandırırlar ve burada dua ederlermiş.
Plan, ölçü ve üslupça Bekirçavuş Hamamına benzemektedir. Camegah, bir ara kemerle iki bölümlü olup bir kemer tonoz ve bir kubbeyle örtülmüştür. Köprünün bulunduğu köşede bulunan erkekler kapısı üstündeki hususi soyunma odasına ahşap merdivenle çıkılır. Camegahın üç yanındaki taş soyunma sekilerinin üzeri tahta döşemedir. Ortadaki şadırvan, ayaklı taş kurnası (yerel adı: Kadeh) olan, dört sivri köşeli, dört oval karınlı yekpare bir havuzdur. Bunun, hamamın sıcaklık bölümünün modeli olduğu ileri sürülmektedir. Kadehten dökülen suların havuzdan taşarak zemindeki derelere dökülüşüyle camegah ortamına su şırıltısı yayılır. İki yan sekinin birleştiği köşedeki kurnadan da sular taşar ki bu düzenekler bir tahliye yöntemi olup hamama gelen suyun fazlasının bu şekilde atılması sağlanmıştır. Camegahın girişinde hamamcının oturduğu ahşap kürsü vardır.
Soğukluk aralığı, üç taraflı dar bir dehlizdir. Sol yanı tuvalet, sağ uzantısı "Araplık" denen ziyaret yeridir. Dar bir kapıdan girilen soğukluk, ortada küçük bir kubbe, yanlarda da kemer tonozlarla örtülüdür. Her iki yanda yüksek oturma sekileri vardır. Soğukluktan sıcaklık eyvanına geçilir. Sıcaklığın orta boşunu yüksek kubbelidir. Göbektaşı bu kubbenin altındadır.
Önceleri Abuçimen çayındaki su kaynaklarından beslenen hamam, 17. yüzyılda Kayaoğlu-zade Hacı Efendi tarafından tamir edilmiş ve 13 km uzaktaki Pir Eyüb deresinden su getirilmiştir. Bu su aynı zamanda Ahmed Şah suyu gibi günümüze kadar işlevini sürdürmüştür. Ahmed Şah suyu Abuçimen deresinin doğu yakasını, Kayaoğlu suyu ise batı yakasını beslemiştir. her ikisi de işlevini sürdürmektedir. Kentte ayrıca İmamoğlu Hamamı da bulunmaktadır.