Unübersehbar, auf einem Hügel über der Stadt Silves, erhebt sich eine aus rotem Sandstein erbaute Burg, deren architektonische Anlage die wechselvolle Geschichte der Silves im 12. und 13. Jahrhundert widerspiegelt. Nach der ersten Eroberung der unter maurischer Herrschaft stehenden Stadt durch den christlichen König Sancho I., begann dieser mit dem Bau der Festungsanlage, wahrscheinlich schon auf den Grundmauern arabisch geprägter Vorläufer. Nach maurischer Rückeroberung und Wiedergewinnung durch den portugiesischen König Alfonso III. im Jahre 1248 wurde der Bau vollendet.
Rechts neben der besuchenswerten Anlage erhebt sich die ehemalige Sé Catedral de Silves, seit dem Umzug des frühen Bistums nach Faro jetzt aber 'nur' noch eine prachtvolle Kirche.