Ne zaman ve kimler tarafından yapıldığı belirlenememiş olan Elmalık Kalesi, köyün 500 metre kadar güneyinde, 270 rakımlı Bahçe Tepe üzerinde, her 2 tarafından geçen yolu kontrol edebilen hâkim bir noktadadır. Kuzey Güney uzunluğu yaklaşık 80 metre, Doğu-Batı uzunluğu yaklaşık 40 metredir. Güney yönünden çıkılması kolay, diğer yönlerden çıkılması zordur. Özellikle kuzey ve doğu yönü çok sarptır. Kale içinde su sarnıcı, tünel, ambar gibi yapılanmalar bulunmadığından buranın savunma amaçlı yapılmadığı düşünülmektedir. Kale, etrafından geçen iki yola da hâkim olduğu için kontrol ve güvenlik amaçlı yapıldığı düşünülmektedir. Kurtuluş Savaşı’na kadar sağlam durumda bulunan kale bugün tümüyle harap olmuştur. Yalnızca güneydeki kapının bir bölümü ile batı tarafında yer alan burçlardan birkaçının izlerini görebilmek mümkün olmaktadır.
Kale köyden fark edilememekte, ancak kaleden Marmara denizi rahatlıkla görülebilmekte, sahilin kontrolü mümkün olabilmektedir. Eski köylülerin ifadesiyle kale adeta Karakilise (Çiftlikköy’de bulunan)’ye bakar durumdadır.
Batısındaki ve güneyindeki tepeler daha yüksektir. Doğusunda bir vadi yer almaktadır. Batıdaki eğim daha hafiftir. Ayakta kalan burçlardan en iyi durumda olanın dışta örgü sistemi görülebilmektedir. Burada taşlar düzgün olmamakla birlikte yerden belli bir kesime kadar iki sıra tuğla, bir sıra taş şeklinde örülmüştür. Daha üst kısımlarda normal taş örgü devam etmektedir.
11. ve 12. yüzyıllarda önemli olduğu tahmin edilen Elmalık Kalesi, Pylai sahil kentinin kalesi durumunda olup, sahildeki yerleşimin tehlike anında sığındığı yer olduğu düşünülmektedir.