Il centro storico è caratterizzato da uno schema di impianto arabeggiante, con vicoli ciechi straordinariamente articolati, che portano a cortili sempre più segregati e scale particolarmente ripide su strapiombi. A seguito del sisma, l'abitato nella zona centrale, sebbene non fu del tutto disgregato, rimase per diversi anni abbandonato in virtù dei pochi interventi di restauro e di una scelta che hanno preferito decentrare i nuovi abitati in altri quartieri. La struttura, tuttavia, mantenne la monumentale ortogonalità del complesso costituito dal Collegio dei Gesuiti e da un denso corollario di dimore patrizie e di numerose chiese (oltre 20), dalla presenza incombente del Castello e dal maestoso rudere in cui il terremoto ha trasformato il Duomo.
In posizione elevata e strategicamente dominante sorge il Castello, eretto o quantomeno rimaneggiato da Federico II di Svevia nel XIII secolo, sulla base di un'antica fortezza greco-romana poi utilizzata dagli arabi e dai normanni, a pianta trapezoidale con tre torri, due quadrangolari e una cilindrica.
Sul sito dove sorgeva l'antica chiesa madre medievale dedicata alla Madonna degli Angeli e verosimilmente insistente su una moschea e su un tempio di Venere, nel 1615 ebbe inizio la costruzione del Duomo, su progetto dell'architetto palermitano Mariano Smeriglio e completato nel 1761, almeno per quanto riguarda il corpo longitudinale, giacché proprio da questa data hanno inizio i lavori di ampliamento della vecchia abside.
Il terremoto del 1968 e l'incuria delle autorità civili ed ecclesiastiche del tempo lo hanno ridotto ad un imponente rudere. In parte recuperato, con un progetto d'intervento dell'architetto portoghese Alvaro Siza, suscitano ora particolare attrazione i resti dell'antica "Madrice" antistanti alla piazza Alicia sulla quale si affaccia anche il castello. Nel corso del convegno internazionale denominato Piazze d'Europa, piazze per l'Europa la piazza Alicia è stata inclusa tra i 60 buoni esempi di realizzazione, progettazione e riqualificazione urbanistica al mondo .
Ricordiamo pure la Chiesa del Collegio, divenuta Chiesa Madre, ricostruita e ampliata dal gesuita V.Cascio.
Musei e biblioteche
Dentro il Collegio dei gesuiti è allestito il Museo Civico di Salemi, in cui sono raccolte diverse opere d'arte religiose delle chiese distrutte dal sisma del 1968. In particolare, spicca la Madonna della Candelora. Oltre l'ultima stanza del museo civico si accede ad una cappella del XVIII secolo che riproduce, in modo fedele, la Casa Santa di Loreto "Casa della Madonna".
La biblioteca comunale, intitolata al filosofo e docente universitario salemitano Simone Corleo, contiene più di 90.000 volumi.