Villa Borromeo deve il nome alla celebre famiglia dei cardinali Carlo (santificato nel 1610) e Federico, che la fece costruire nella campagna toscana in epoca sconosciuta e ne rimase proprietaria fino al 1704.

Anche se la data di costruzione dell`edificio è tuttora sconosciuta, sappiamo che la villa esisteva già nel 1456, anno in cui vi soggiornò Sant`Antonino, allora vescovo di Firenze

A seguito della celebre congiura dei Pazzi, la villa, che faceva parte della dote della figlia di Giovanni Borromeo andata sposa a Giovanni Pazzi, fu ceduta a un secondo ramo della famiglia Borromeo, i cui rappresentanti erano sostenitori dei Medici.

Nel 1704 metà della villa fu acquisita dalla famiglia dei Capponi, che in seguito divenne proprietaria dell`intera tenuta. Qui i Capponi fecero costruire un`interessante cappella.

Come ricorda la lapide commemorativa, nel 1848 in questa villa circondata da un bel giardino all`italiana si rifugiò Antonia di Borbone, moglie del Granduca Leopoldo II, con la corte e i figli per sfuggire ai moti risorgimentali.