İlçe’nin kuruluşu kesin olarak bilinmemekle birlikte, ilk önce Hititler daha sonra Pers’ler MÖ.3500 Yıllarında da İskender’in emrine girmiştir. M.Ö.317 yılında bu bölge Roma İmparatorluğunun hakimiyetine geçmiştir. Kapadokya bölgesinin sekiz büyük şehri içinde adı geçen Kbistra veya Siyiera bugünkü Yeşilhisardır.
M.Ö.256 yılında İran’ın daha sonra tekrar Bizans İmparatorluğunun hakimiyetine giren Kbistra, 672 yılında Battal Gazi’nin fethi ile, ilk defa Müslümanların eline geçmiştir. Yeşilhisar zaman içerisinde Abbasiler, Danişmendkliler ve 1114 yılında da Selçuklular, İlhanlılar, Karamanoğulları egemenliğine giren Yeşilhisar, Yıldırım Beyazıt zamanında Osmanlıların hakimiyetine girmiştir. Fatih Sultan Mehmet, Koçi Bey’i Yeşilhisar’ın fethi için memur etmiştir.