Bayburt’un kuzeybatısında dağlık yöredeki bucak merkezi Aydıntepe’de yer alan kent, tüf içerisinde, yüzeyden 2-2.5 m derinde başka yapı malzemesi kullanmadan ana kayaya oyulmuş galeriler, tonozlu odalar ve bu odaların açıldığı daha geniş mekanlardan oluşmaktadır. Yaklaşık 2 ile 2.5 m yüksekliğinde tonoz örtülü galeriler yer yer her iki yana genişlemektedir. Kareye yakın planlı odalar bu mekana açılmaktadır, ayrıca gözetleme mekanlarının oluşturduğu havalandırma amaçlı konik biçimdeki deliklerin, galeri odalarını aydınlatmak için de kullanıldığı gözlenmektedir. Günümüzde kazı çalışmaları devam edilen kent hakkında şu an ileri sürülen iki görüş mevcuttur.
Bunlardan birincisi kentin bölgede daha önce sözü edilen Halde Şehrine ait olduğu ve eski ismi Hart (Aydıntepe) olan ilçenin isminin de “Halt”tan geldiği görüşüdür. Diğer görüş ise; Hart’ta bu yeraltı kentinden başka Geç Roma-Erken Bizans devirleri arasında yer alan bir mezarın ortaya çıkarılması dolayısıyla, Hıristiyanlığın henüz yerleşmediği bir devirde bu bölgenin bir sığınak teşkil ettiği, Romalılar tarafından kovulan ilk Hıristiyanların bu bölgeye geldikleri ve sığındıkları, yeraltı kentinin de bu Erken Hıristiyanlık dönemine ait olabileceğini iddia etmektedir.
Yeraltı Şehrinin giriş çevre düzenlemeleri yapılarak yerli ve yabancı turistlerin ziyaretine açılmıştır.