Eski bir tarihi olan ilçe, Urartular ve Asurlular'ın etki alanı içinde kalmıştır. Tercan, da¬ha sonraları sırasıyla Medler'in, Persler’in, İskender İmparatorluğu'nun, Araks Devleti'nin ve Roma İmparatorluğu'nun egemenliğine girdi. Malazgirt Savaşı'nı izleyen dönemlerde, Mengücek Beyliği'nin yönettiği yöre, sonraları Eretna Beyliği'ne bağlandı. Timur'un saldırı¬larına da uğrayan Tercan, uzun bir süre Akkoyunlular'ın yönetiminde kaldı.
Otlukbeli Savaşı'ndan (1473) sonra Osmanlı İmparatorluğu'na katıldıysa da, Akkoyunlular Tercan'ı, bir süre için geri aldılar. Tercan, Kanuni Sultan Süleyman zamanında kesin ola¬rak Osmanlı egemenliğine girdi.