İstanbul’un fethinden sonra Osmanlıların yapmış olduğu ilk saray Beyazıt’ta Süleymaniye ile Beyazıt Camisi arasında bugünkü İstanbul Üniversitesi’nin bazı bölümlerinin içerisinde bulunduğu alandadır. Araştırmacılar tarafından sarayın bulunduğu alanda bir manastır kalıntısının veya senatonun kalıntılarının bulunduğu iddia edilmiştir. Ancak bu iddialar yeterince aydınlatıcı değildir.
Osmanlı kaynaklarından Edirneli tarihçi Ruhi Edrenevi’nin belirttiğine göre sarayın mimarı, Edirne’de Üç Şerefeli Cami ile Edirne Sarayı’nı yapmış olan Musliheddin’dir.
Bizans tarihçisi Dukas Fatih Sultan Mehmet’in şehrin ortasında bir saray yaptırmak istediğini belirtmiştir. Sarayın yapımı 1458’de tamamlanmıştır. Bahçe içerisindeki sarayın iyi korunmuş bir harem dairesi ile padişah ve içoğlanlar için kasırlar, köşkler, idari yapılar ile vahşi hayvanların bulunduğu av sahalarından oluşmuştur.
Tarihçi Dukas saray bahçesinde I. Theodosios’un diktirmiş olduğu, spiral süslemeleri olan anıtsal bir sütundan da söz etmektedir. Bunun yanı sıra saray duvarlarının bir mil uzunluğunda olduğunu, duvarlarda dört adet kapı bulunduğunu da belirtmiştir. Bu sarayda içoğlanı olarak yaşamış Giovantonino Menavino, burada 25 yapının olduğunu, bahçesinde deve kuşlarının, tavus kuşlarının ve diğer egzotik kuşların dolaştığını yazmıştır. Bunun yanı sıra Eski Saray ve etrafını kuşatan bahçe duvarları 1479’da yapılmış Giovanni Andrea Vavassore’nin haritasında da görülmektedir. Ayrıca Matrakçı Nasuh’un Beyan-ı Menazil’indeki İstanbul tasvirinde şehir içerisindeki konumu açıkça belli olmaktadır.
Topkapı Sarayı yapıldıktan sonra İstanbul’un fethinden sonra yapılan bu ilk saray “Saray-ı Atik” ismini almıştır. Topkapı Sarayı’na da Saray-ı Cedid ismi verilmiştir.
Eski Sarayın yapımının bitiminden sonra, 1458’de Fatih Sultan Mehmet Topkapı Sarayı’nı yaptırmaya başlamıştır. Bazı iddialara göre de Topkapı Sarayı başlangıçta yalnızca devlet yönetimine ayrılmış olup, içerisinde harem dairesi bulunmuyordu. Topkapı Sarayı’nda harem dairesi Kanuni Sultan Süleyman’ın (1520–1566) eşi Hürrem Sultan’ın padişahın yanında olmak istemesinden ötürü XVI. yüzyılın ortalarında yapılmıştır.
Eski Sarayda yaşayan kalabalık bir saray mensubu bulunuyordu. Eski Saray 1541 yılında yanınca burada yaşayan harem halkı Topkapı Sarayı’na taşınmıştır. Bundan sonra da Eski Saray gözden düşmüş, yaşlanmış, cariyelerin yanı sıra ölen padişahın annesi, kadınları ve kızları yaşamaya başlamıştır. Burada yaşayan Kadınefendi’lerin erkek çocuklarından birisi Osmanlı tahtına çıktığında burada yaşayan padişah annesi de Valide Sultan olarak Topkapı Sarayı’na dönerdi.
Eski Sarayın tasvirleri yeterli olmadığı gibi yazılı bilgiler de son derece sınırlıdır. Yalnızca Vavassore haritası ile Diliçh haritalarında avluya hâkim bir hünkâr dairesinin resmi görülmektedir. Evliya Çelebi ile Michel Baudier sarayın dört köşeli, 12 bin arşın uzunluğunda bir sur ile çevrili olduğunu belirtmiştir. Evliya Çelebi saray çevresinde yeniçeri ağası Lala Mustafa Paşa, Piri Mehmet Paşa ve Esma Sultan saraylarının bulunduğuna da değinmiş ve sözlerine şöyle devam etmiştir:
”…Burçsuz, duvarsız, dişsiz, kalesiz ve hendeksiz bir surdur. Ama gayet sağlam yapılıp bütün duvar üzeri mavi kurşun ile örtülüdür. O zamanlar çepeçevre ölçüsü 12 bin arşın idi. Dört köşeli bir binadır. Bir tarafı Sultan Beyazıt Kazancıları köşesinden Misk-i Sabunu Kapısına kadar, bir köşesi Talak Mustafa Paşa Kapısında son bulurdu. Oradan bir tarafı Küçükpazar Seddi ve sarnıcı üzere bitmişti. Halen Yeniçeri Ağası sarayı ve Siyavuş Paşa sarayının yeri, meskür eski saray yerinde idi. Bir köşesi tâ Tahtakale üstündeki sedden geçip yine kazancı tüccarları köşesine gelinceye kadar muazzam bir saray yaptırmıştır. Daha sonra Sultan Süleyman bu eski sarayı 3 mil kuşatır bir saray yapıp, 3 kapı koydu. Divan Kapısı doğuya, Beyazıt Kapısı güneye, Süleymaniye Kapısı batıya bakar. Bu sarayın dışında Süleyman Han, Belgrat ve Malta ve Rodos fethi malından Süleymaniye Camisini yaptı ve medreseler ve darülhadis, darülkurra, ebced okuyan çocuklar okulu ve bir sultan çarşısı, düğmeci ve kuyumcular çarşısı yaptırdı. Mahbul Siyavuş Paşa’ya bir muazzam saray ve yeniçeri ağalarına mahsus bir eski saray ve Lala Mustafa Paşa için ve Karamanlı Piri Mehmet Paşa için birer saray ve Gebze’de cami sahibi Mustafa Paşa’ya ve kızı İsmihan Sultan’a da birer saray ve cami hizmetlileri için bir tane oda yaptırıp eski sarayın dört tarafını umumi yollarla çevirtti. Halen hiçbir tarafa bitişiği olmayan muazzam bir saraydır. Yukarıda yazılan vezirler sarayları ve imaretler tamamen bu eski sarayın bulunduğu yere yaptırılmıştır. ”
Eski Sarayın surları üzerinde kule olmaması dikkati çekmektedir. Saray 1550 ve 1517 yıllarında yanmış, yeniden yaptırılmıştır. Yeniçeri Ocağı’nın 1826’da kaldırılması ile Eski Saray Bab-ı Seraskeri’ye tahsis edilmiştir. Burada yaşayan kadınlar ise Topkapı Sarayı ile Eyüp’teki Çifte Saraylar’a götürülmüşlerdir.