Kale ilçesi Eski Kale mevkiindedir. Eskiden yerleşim birimi olarak kullanılmış çok sayıda mağara bulunmaktadır. Bu mağaraların antik dönemlerde yapıldığı ve yerleşim birimi olarak kullanıldığı tahmin edilmektedir. Bu mağaraların içinde yerleşim yeri olan Eski Kalenin tüm altını dolaşan mağaraların bulunduğu söylenmektedir.