Serinhisar ve çevresi Oğuzlar'ın bir kolu olan Avşarlar tarafından kurulmuştur. Xlll.yy ikinci yarısında Karaağaç ovasında geçen İbn.Said buradaki Türkmenler'in “Uç” Türkmenleri olduğundan bahsetmektedir. Oğuzlar'ın Bozok boyuna mensup Türk oymaklarının yoğun olarak yaşadığı bir bölge olan Karaağaç ovasında, 1332'de geçen İbn Batuta burada ağaçların çok olduğunu ve buraya Karaağaç ovası denildiğini yazar. Önce “Kepez” sonra “Yerlikaya” denilen ilçe, 1302-1310 tarihlerinde yapılan ve son zamanlara kadar kalıntılarına rastlanan hisardan dolayı “Kızılhisar” diye adlandırılmıştır.
Malazgirt'ten sonra Horasan erenleri öncülüğünde Batı Anadolu'ya gelen Türkmen toplulukları “uç” denilen bu bölgelere yerleşerek, yörenin Türkleşmesi ve İslamlaşmasının gerçek mimarları olmuşlardır. Kanuni Sultan Süleyman zamanında eyalet olarak Konya'ya, sancak olarak da Burdur'a bağlanmış ve bu durum uzun süre devam etmiştir. 1671-1672'de Denizli'ye gelen ve Karaağaç ovasından geçen Evliya Çelebi Seyahatnamesinde, Karaağaç ovasından (Kızılhisar'dan) bahsetmektedir. Coğrafya koşulları ve rakımın yüksek olması, o günkü şartlarda beldenin kaza merkezi olmasını engellemiştir. 1870 tarihli Osmanlı Nizamnamesine göre Acıpayam'ın 1871'deki Kazalığı üzerine Kızılhisar Acıpayam'a bağlanmıştır. 1910'daki idari değişikliğe göre, Denizli bağımsız mutasarrıflık olmuş ve 1923 yılında Cumhuriyetin ilanıyla il haline getirilmiştir. 19.06.1987 tarih ve 3392 sayılı kanunla Kızılhisar ilçe olmuş, adı da Serinhisar olarak değiştirilmiştir.