L’edificazione della città ricalca la storia di tanti centri urbani della zona: la rocca, la prima chiesa, la casa del governo e via via le civili abitazioni. Queste, soprattutto dagli anni ’60 in poi si sono moltiplicate a livelli esponenziali a tal punto da rendere ancor più segreto e protetto il patrimonio artistico.
L’antico abitato con i suoi principali edifici si sviluppa lungo un asse principale che si amplia al centro per la costruzione della piazza di forma allungata. Le sedi delle antiche chiese di Sant’Ugo e di San Pietro costituiscono i limiti delle fortificazioni, coincidenti con l’attuale centro storico. Sul piazzale davanti a Porta Marina, la Chiesa di San Serafino è dedicata all’umile frate cappuccino nato a Montegranaro (1540 – 1604). Proseguendo verso il centro della cittadina si incontra sulla destra il portale murato della Chiesa di San Salvatore e poi la Chiesa di San Francesco costruita nel ‘400 e successivamente riedificata con all’interno una pala d’altare del 1535. Il suo convento, anch’esso ricostruito nei primi anni del XVII secolo, oggi sede della biblioteca, viene chiamato Palazzo Francescani. Disposta su due piani, la biblioteca custodisce un patrimonio librario che conta oltre 15.000 documenti. Luogo di studio, di consultazione e prestito dei libri, la struttura si presenta come cerniera polivalente delle attività culturali del Comune.
Sulla piazza si trova il Palazzo del Comune, robusto, austero, fabbrica tardo-settecentesca (1792, arch. Virginio Bracci). E’ disposto su tre piani, con soffitti di stile neoclassico: sfingi e grifoni, ghirlande e grottesche, stemmi e scudi, marine, paesaggi montani e lacustri, fantasie architettoniche. Al primo piano si trovava un piccolo teatro, La Fenice, opera di Ermete Novelli (1898), realizzato con due ordini di undici palchi, con pilastrini e balaustre in ghisa, del quale però, dopo lo smantellamento degli anni ’50, rimangono solo due palchi nella sede dell’Archivio. Tuttavia, è il teatro La Perla, di moderna costruzione, ad ospitare le attività culturali: costruito su progetto dell’Ing. Luigi Onorati di San Benedetto del Tronto, in quello spazio originariamente occupato dai giardini e dalle scuderie del Palazzo Ranier Luciani, il cinema-teatro venne inaugurato il 14 dicembre 1949. Ampio e lussuoso, rifinito in ogni sua componente, contava ben 616 posti a sedere, di cui 366 in platea e 250 in galleria, e consentiva sia la proiezione di film che la rappresentazione di spettacoli teatrali e musicali. Chiuso nel 1985 per inagibilità, grazie ad un progetto di ristrutturazione importante, ha riaperto le porte alla cittadinanza il 17 ottobre 1997.
Di fronte si trova l’elegante Palazzo Luciani, uno dei palazzi gentilizi che insieme ai settecenteschi palazzo Conventati e palazzo Cruciani emergono dal tessuto urbano di case addossate l’una all’altra, secondo un nastro sinuoso e suggestivo. Colpiscono il cospicuo utilizzo del cotto e l’elegante sobrietà degli interni, dai soffitti affrescati con mitologie e grottesche.
Proseguendo si arriva dall’altra parte della città alla Chiesa dei SS. Filippo e Giacomo. Al suo interno, nella zona inferiore, vi è uno dei luoghi artisticamente più interessanti di tutto il Fermano. Parliamo del Criptoportico di Sant’Ugo, custode di una serie di affreschi romanici magnifici e preziosi, raffiguranti un ciclo cristologico su cui si legge la data del 1299. Ne fanno parte la Natività con San Giovanni, l’Adorazione dei Magi, l’Uccisione di San Barnaba e il Battesimo, dove l’acqua del Giordano disegnata in trasparenza, lascia intravedere le plastiche figure del Cristo e del Battista, la Vergine dolente, le Marie al Sepolcro. Appartengono ad un ciclo posteriore altri riquadri come la Crocifissione, mentre la Madonna con il Bambino ed Angeli risale al Cinquecento.