L’actual nucli de Les Escaules estava format per un seguit de masos durant l’alta edat mitjana (s. XI-XII) com can Miró, Can Dalmau, mas Celler o mas Vilademont, entre altres. El reduït nucli urbà se centrava en els ara anomenats horts de la Caula on hi havia l’antiga església romànica de Sant Martí (s. XII-XIII), reconstruïda possiblement damunt les ruïnes de l’antic monestir (s. IX- X). A causa de les contínues inundacions del riu La Muga que obligava els veïns a refugiar-se en les coves de La Caula, decidiren començar a construir noves cases en un lloc més elevat, a uns 300 m dels horts de la Caula, on ara hi ha el poble actual (s. XIV-XV). Tot i això, la parròquia de Sant Martí i el cementiri es mantingué a la Caula fins a finals del s. XVIII.
L’any 1371 consta que el veí Pere Olmell tenia una casa dins la força de Les Escaules. De les antigues muralles de Les Escaules no n’han quedat vestigis, sols els portals. En el carrer d’Amunt es conserva un portal que devia ser una de les entrades del poble (s. XIV-XV). Aquest portal està format per un arc de mig punt amb petites dovelles. En un dels costats es conserva una polleguera i l’encaix o orifici per on es desplaçava la barra-lleva. A la seva alçada hi ha una casa abandonada on es troben restes d’uns murs alt-medievals. Aquests murs tenen fragments d'”opus spicatum” (espina de peix). Alguns estudiosos creuen que podrien ser vestigis de l’antic monestir.
Al final del carrer de l’Oli hi ha un passadís cobert amb volta rebaixada que segurament era una antiga porta d’entrada a la població (s. XIV-XV). Les cases de Les Escaules són dels segles XVI al XVIII. La majoria de façanes conserva la pedra al descobert (còdols de riu), hi ha portals adovellats i finestres emmarcades amb carreus de pedra tosca. Als cossos superiors hi ha rústics badius també emmarcats amb pedra tosca. Algunes cases posseeixen ràfecs de teulada decorats (triangles vermells sobre fons blanc) i algunes inscripcions.
Al principi del carrer d’Amunt, abans d’arribar al portal medieval, hi ha l’edifici de l’antiga rectoria. En el ràfec de teulada d’aquesta casa hi ha escrita la següent llegenda: ANTON FARAGUT RECTOR DE LA ESCAULAS ME FECIT BUY DIA 23 ABRIL De l’ANY 1798.
Els carrers de Les Escaules, estrets i costeruts, presenten un aire rústic i antic. La plaça major s’obre en el centre del poble i forma una mena de mirador damunt una petita plana coberta d’oliveres i ametllers. En aquesta plaça hi ha l’edifici de la Societat la Unió Escaulenca on se celebren diferents festes i actes culturals al llarg de l’any. L’anomenat carrer d’Amunt s’enfila pel pendent de la muntanya i és el més llarg del poble. Les cases ben restaurades, amb eixides, balcons i badius, amb flors a peu de llindar, es miren l’altiva torre del castell, mig amagada per les espesses pinedes.