Mağara, Kiğı ilçesinin Çiçektepe köyünde, Sivri Dağı'nın eteğinde bulunmaktadır. Mağarada iki oda, at için yer, yemlik ve çocuk beşiği mevcuttur. Mağaranın bulunduğu yer oldukça eğimli bir yapıya sahiptir. Ayrıca Mağara önündeki mevcut yolla Erzincan'a gidildiği rivayet edilmektedir. Bu mağara, Kiğı'nın çok eski çağlardan beri insan topluluklarına mesken olduğunu göstermektedir.
İlçe merkezinin güneydoğusunda yer alan Kiğı Kalesi,çok sağlam bir yapıya sahiptir. Etrafı sarp kayalıklarla kaplıdır. Kale içinde bina harabeleri bulunmaktadır. Erzincan tarihinde bu kalenin Acemlerin akınına maruz kaldığı rivayet olunmaktadır. Kale'ye giren İranlıların halka büyük işkence yaptıkları, evleri yakıp yıktıkları, erkeklerin çoğunu öldürdüklerinden ve kadınlara kötü davrandıklarından bahsedilmektedir.