İlçenin tarihi çok eskilere dayanmaktadır. M.Ö.700’lü yıllara kadar uzanmaktadır. Klikya, Bizans İmparatorluğu ve Beyliklerden Dulkadiroğulları Beyliği hakimiyetinde kalmış olup, Osmanlı İmparatorluğuna Yavuz Sultan Selim döneminde dahil edilmiştir. Adana yöresinde yaşamakta olan avşar boylarından bir kısmı Sarız Yaylalarında göçebe hayatı yaşarken 1840’lı yıllarda yerleşik hayata geçmişlerdir.
Sarız İlçesinin içinden geçen Sarız Çayı mevcuttur. Avşarlar çay etrafında biten çimenlere “Öz” ismi verdiklerinden ve ilkbaharda çay etrafında sarı güzel çiçekler yetiştiği için halk dilinde sarıöz ismiyle söylene söylene Sarız ismine dönüştüğü rivayet edilmektedir. Bu isim yörenin genel adı olup, merkezin eski adı Köyyeridir.
Sarız 1946 yılına kadar Pınarbaşı İlçesine bağlı bir nahiye iken, bu tarihte müstakil bir ilçe olmuştur.