Dalla pianta topografica del paese si capisce che la ricostruzione del borgo antico, dal 1500 in poi, fu legata ad un piano urbanistico ben ponderato. La disposizione lascia intravedere un'ampia via centrale e due vie laterali leggermente ricurve, tagliate trasversalmente dalla via che congiunge le due porte, da Bora e da Sole. La struttura ovale del borgo antico include la larga piazza ed i diversi edifici fabbricati dalle famiglie benestanti dell'epoca e “ Palazzi nobili” e culmina nei due estremi con magnifici campanili degli edifici religiosi maggiori: la Chiesa di San Francesco (con convento e pozzo) e la Collegiata di San Lorenzo e San Biagio. La prima, conserva al suo interno un polittico di scuola umbro-marchigiana, un affresco del XV secolo e un prezioso Organo Callido; la seconda è decorata al suo interno da dipinti del Lucchi e da quelli del pittore, scultore ed architetto di fama, nato in loco nel 1827, Luigi Fontana. Nel Palazzo Fontana oltre a conservarsi pregevoli opere del pittore, è stata portata alla luce una collezione di artistici “pupi” di fine secolo. Due di questi, “Mengone Torcicolli e Lisetta”, sono stati valorizzati, diventando le maschere simbolo del Carnevale fermano.

Attorno all'attuale piazza Umberto I sorsero la Torre Civica con il Palazzo del Podestà, alcuni palazzi gentilizi e quello comunale. Dopo il Palazzo del Preposto, in cui si conservava l'urna cineraria del Veterano Caio Vezzio (46 d.C.), si incontra la Torre Civica in cui si scorgono l'affresco cinquecentesco raffigurante l'Annunciazione ed altre decorazioni. Annessa alla Torre. Lo storico ed artistico Palazzo Comunale settecentesco, realizzato nel 1763 e rimaneggiato dal Fontana, fu rinnovato ed abbellito nel vestibolo e nella scala, e custodisce opere pittoriche, il codice pergamenaceo ed una preziosa icona della Madonna della Misericordia, assegnata a Paolo Venanzio (XIV secolo).

Delle quattordici chiese presenti nel territorio del Comune ne rimangono sei: San Francesco, la Collegiata, San Giovanni, San Rustico, la Chiesa-Santuario della Madonna del Buoncuore e la piccola chiesa di Santa Rosa. La chiesa privata di San Biagio ricorda invece la presenza di un monastero di monaci farfensi.