Del Castello di Montalto si hanno notizie già dal IX secolo d.c. Era di proprietà della Famiglia dei Paganelli, prima vassalli dei Brunforte di Roccacolonnalta poi dei Varano da Camerino. Già dal sec. XIII diventa di proprietà dei Varano e, ne costituisce, insieme alla Rocca di Col di Pietra il primo baluardo difensivo; per questo motivo Rodolfo Il di Varano ci fece aggiungere una rocca.
Il Castello di Montalto è dotato di tre cinte murarie; quella più esterna, aggiunta in un secondo momento (ne resta uno scorcio e la torre), entro queste mura vivevano i castellani e la servitù. Eretta a protezione dei soldati e in generale di tutti gli addetti alla difesa era la seconda cinta muraria; la terza, la più interna, difendeva invece i vassalli e i signori di turno, vi troviamo anche una cisterna idrica, che assicurava un'importante riserva d'acqua a tutta la comunità. Le torri, a base circolare e quadrata, testimoniano le numerose edificazioni subite nel corso degli anni.