Bayburt’un kuzeybatısında dağlık yöredeki bucak merkezi Aydıntepe’de yer alan kent, tüf içerisinde, yüzeyden 2-2.5 m derinde başka yapı malzemesi kullanmadan ana kayaya oyulmuş galeriler, tonozlu odalar ve bu odaların açıldığı daha geniş mekanlardan oluşmaktadır. Yaklaşık 2 ile 2.5 m yüksekliğinde tonoz örtülü galeriler yer yer her iki yana genişlemektedir.
Tarihin derin koridorlarından günümüze oluşturduğu köprü ile ışık tutarak şehrin kuzeyinde Çocuğunu gözünden sakınan ve göğsüne yaslamış bir ana gibi Bayburt’u bağrına yaslayan ve ilk günkü görkemini hala sürdüren “Bayburt Kalesinin “ yapılış tarihi kesin olarak bilinmemektedir. Ancak çeşitli kaynaklarda M.S.58 lerde inşa edildiği, daha sonraları da değişik dönemlerde onarım gördüğü anlatılmaktadır.
İlimizin güney doğusunda 39 Km. mesafede ki Masat köyünün hemen çıkışındadır. Yapılış şekli ve mimarı tarzı ile çok eskilere uzanan ve halk arasında Alî Baba diye geçen türbe Alî baba (Büyük Baba) anlamında kullanılan ve bütün Türk dünyasını yakından ilgilendiren, Dede Korkut’a ait olduğu söylenen türbedir. Türbenin üzerinde eski Türkçe 718 rakamı görülmektedir.
Bu türbelerin, Saltukoğulları komutanlarından Mengücük Gazi’nin erkek kardeşi Osman Gazi ve kız kardeşine ait olduğu bilinmektedir. Bayburt merkezinin batı yanını kapayan 1682 m. rakımlı tepe üzerinde yapılmışlardır. Türbelerin yanında bulunan mezar taşlarının 600-700 senelik oldukları sanılmaktadır.
Ulu camii yapıldığı dönemde şehrin merkezine inşa edildiği kolayca anlaşılmaktadır. Caminin minaresine de Selçuklu eseri olan birçok camide olduğu gibi caminin dışından girilmektedir. Caminin yapı özelliği incelendiğinde Sivas ve Kayseri ‘deki Selçuklu dönemi eserleri ile aynı özellikleri taşıdığı anlaşılmaktadır. Bu nedenle Bayburt Ulu Camii(Camii Kebir) onüçüncü yüzyıl Selçuklu eserlerindendir.