El castell de Les Escaules apareix documentat l’any 1123, però les restes actuals són d’una obra baix-medieval (s. XIV-XV). La seva funció era vigilar la línia fronterera entre els comtats d’Empúries i Besalú. La torre, d’uns 10 metres d’altura, era coronada per merlets dels quals només en queden alguns vestigis. A la part superior hi havia, també, quatre matacans dels quals resten els cartells de sosteniment. El recinte de muralla presenta alguna sagetera i en el seu interior hi havia una cisterna, ara parcialment colgada.
El castell ocupa un cim rocós d’un turó de 235 m, que s’enlaira al sud-oest del poble. La fortalesa presenta una planta esquemàtica; la torre, cilíndrica, és envoltada per un recinte murat. Des d’aquí es veu una esplèndida imatge amb el poble de Les Escaules en primer terme, els conreus i les muntanyes cobertes de pinedes. Per a pujar al castell de Les Escaules enfilarem pel carrer Figueres deixant a la dreta l’edifici de les antigues escoles. Després de les últimes cases del carrer, a mà dreta, un camí sense pavimentar segueix per la muntanya en direcció el Castell.
