Nel 1479 le truppe senesi, unite a quelle del duca di Calabria, recano vasti danni al palazzo tanto che fu necessario un restauro che durò ben tre anni. Nel 1538 abbiamo notizia dell'opposizione del grande stemma mediceo in arenaria sulla facciata. Altri lavori alla casetta del bargello, a sinistra del portone d'ingresso, furono fatti eseguire da Niccolò Guicciardini vicario nel 1572. Nel 1700 venne eseguito il restauro alla cappella interna del palazzo. Verso gli ultimi decenni dello stesso secolo il palazzo subisce un grave deterioramento. Abolita la sede vicariale dal nuovo regolamento del granducato, vengono venduti gli arredi e i mobili. L'archivio vicariale viene trasferito a Castelfiorentino e, solo un secolo più tardi, tornerà nella sua sede naturale.  Dopo un secolo di scempi, la comunità di Certaldo riscatta il palazzo acquistandolo e dando inizio alla lunga opera di ripristino.
La facciata del palazzo a cortina di mattoni è sormontata da merli, sulla destra si trova una torre con l'orologio del 1484. Tutta la superficie muraria è costellata da stemmi e targhe, sia in pietra che in marmo. Ognuno di essi rappresenta l'arme della famiglia a cui apparteneva il vicario che li ha fatti apporre. Di notevole fattura e bellezza quelli di terracotta invetriata provenienti dalla bottega dei della robbia.