Bolluk ve bereket sembolü olarak kaleye dikilen kuş heykeli, Pirtek olarak isimlendirilmiş ve yöreye de bu isim verilmiştir. Zamanla isim Pertek olarak değişime uğramıştır.
Selçuklular ve Osmanlılar döneminde İlçe, çok canlı bir kültür ve sanat merkezi haline getirilmiştir. Kale, han, hamam, camiler, medreseler ve aşevlerinden oluşan bir külliyeye sahip olan Pertek aynı zamanda bir eğitim merkezi de olmuştur.
Tarihi yapılar bakımından, Çemişgezek’ten sonra ilin en çok tarihi esere sahip olan ilçesidir. İlçede bulunan tarihi eserler daha çok Mengüçlüler ve Osmanlıların izlerini taşımaktadır. İlçede bulunan başlıca tarihi eserler; Pertek Kalesi, Çelebi Ağa Camii, Sağman Camii, Baysungur Camii ve Sağman Kalesi olarak sıralanabilir.