Karasu'ya egemen yalçın kayalar üze¬rinde inşa edilmesi nedeniyle, elde edilme¬si güç bir kaleydi. Yapım tarihi ve yapımcı¬sı bilinmemektedir. Arsak (Arşak) krallarının adı geçtiğinden Artaksiadlar döneminde yapıldığı sanılmaktadır. Bizans döneminde Ani, Darana-Kemaghe, Gamahha ve Arap döneminde Berberi adlarıyla bilinmekteydi. Burç ve bedenleri büyük blok kesme taşlardan yapılmış, beş¬gen planlı burçlarla güçlendirilmiş bir yapıdır.
Caminin 10 m batısındadır. 1328'de camiyle birlikte yapıldığı sanılmaktadır. Soyunma, soğukluk, sıcaklık ve külhan bölümlerinden oluşan, klasik Osmanlı hamamları planındadır. Haç biçimi üç eyvanlı ve köşe hücrelidir. Sıcaklık ortada büyük bir kubbe, eyvanlar beşik tonozla örtülüdür. İki halvet hücresi kare planlı ve kubbelidir.
İlçenin eski pazar yerinde bulunan çeşmenin, 1875 tarihli bir kitabesi bulunmaktadır.