Il Castello Svevo, di origini medievali, è situato nel cuore della città di Porto Recanati. La struttura a pianta rettangolare è stata sin dalle origini un importante baluardo di difesa dalle invasioni  barbariche, dai pirati e dai tentativi di incursione turchi. Il castello è da considerarsi dunque il primo nucleo attorno al quale si è successivamente sviluppata l’attuale città di Porto Recanati. 

Seppur la sua data di costruzione risulta incerta si presume sia stato edificato nel 1229, anno in cui Federico II di Svevia ratificò il possesso al comune di Recanati delle terre che andavano dal Musone al Potenza. Successivamente fu fortificato con nuove mura nel 1369 e a difesa dell’unica porta d’ingresso con ponte levatoio venne aggiunto un fossato perimetrale nel 1404. La torre ottagonale, alta 25 metri e originariamente a pianta quadrangolare, fu eretta prima dell’intera fortificazione e “potenziata” nel 1677 da due cannoni in bronzo detti “colubrine” per volere di Papa Innocenzo XI. La seconda torre di forma cilindrica venne costruita nel 1400. 

Attorno e all’interno delle mura del castello si sviluppò il primo nucleo cittadino e divenne punto di riferimento delle attività quotidiane della popolazione. La vita dei pescatori si svolgeva quasi esclusivamente a ridosso della struttura dove vi si trovava la chiesa, gli uffici, la residenza del Commissario comunale di Recanati e le imbarcazioni.

Attualmente l’intera struttura è ben conservata e visitabile e resta un punto di riferimento della vita cittadina. L’ampia corte interna, oggi intitolata “Arena Beniamino Gigli” in ricordo del cantante lirico recanatese, ospita durante l’estate importanti manifestazioni culturali quali mostre, rassegne teatrali, feste e concerti.

Dal 2013 inoltre è tornata ad essere fruibile al primo piano del castello anche la Pinacoteca comunale “Attilio Moroni”. Nelle varie sale assieme a sculture e ceramiche, sono esposti i numerosi dipinti, alcuni dei quali portano le firme di Gino Severini (1883-1966), Filippo De Pisis (1890-1966), Ottone Rosai (1895 - 1957), Vittorio Corcos (1859-1933), Giovanni Fattori (1825-1908), Domenico Morelli (1823-1901), Giovanni Costa (1826-1903) e Silvestro Lega (1826-1895).