İlçenin kesin tarihi bilinmemekle beraber Şabandede mevkiinde yer alan Kaletepe'de yapılan yüzey araştırmaları yöredeki ilk yerleşimin 8-9. yüzyılda Bizanslılar döneminde başladığını göstermektedir. Bu yerleşimin daha sondaki dönemlerde de gelişerek devam ettiği görülmüştür.
Osmanlı döneminde Çırmıktı, Cumhuriyetten sonra İsmetpaşa adıyla anılan ilçenin 1957 yılında statüsü, ilçe düzeyine getirilmiş ve Yeşilyurt olarak değiştirilmiştir.
İlçe, tarihi ve turizm yönünden oldukça fakirdir. Eski eser olarak Osmanlı Tarzı ev ve yapılar olup, turistlik amaçlı hiç bir kalıntı yok denecek kadar azdır. Ancak ilçemizin mesire yeri özelliği taşımasından yaz aylarında büyük bir canlılık göze çarpar.
