L'imponente edificio fa da deliziosa cornice alla piazza, con la sua doppia serie di logge che lo fiancheggia su due lati.

Si tratta di un pregevole esempio del Rinascimento di primo Cinquecento su progetto bramantesco, con interventi di Giuliano da Sangallo il Giovane ed altri artisti contemporanei; ma la serena purezza delle monumentali forme, sia nel portico a piano terra che nel loggiato superiore, indicano in particolare l’impronta prepotente del genio di Bramante.

Nel XVIII secolo Luigi Vanvitelli aggiunse il braccio che guarda la facciata della Basilica.

Il palazzo doveva svilupparsi ancora con un altro braccio, a chiudere la piazza come une grande corte; ma quando si arrivò a quel punto, ormai era tardi.

Invano Urbano VIII nel 1643 tentò di far espropriare le case site sull’area da occupare. E non se ne fece più niente. Dal 1936 tutto il pianterreno ed i seminterrati sono par servizio dei "treni bianchi" per la sosta e la refezione dei pellegrini infermi.

Nei locali più prossimi alla basilica c’è la sede della Congregazione della Santa Casa, benemerita istituzione che da oltre cento anni si prodiga per diffondere e ravvivare la devozione alla Madonna di Loreto.

Nei piani superiori è ospitato il Museo del Tesoro della Santa Casa.