Villa La Pietra deve il suo nome alla località in cui sorge, lungo la Via Bolognese. A sua volta, il nome della località è dovuto a una pietra miliare di origine romana che stava ad indicare la distanza di sette miglia dalla porta settentrionale di Firenze.

Il banchiere Francesco Sassetti acquistò la proprietà nel 1460 e fece ampliare l`edificio, trasformandolo in una vera e propria villa nel rispetto dei canoni rinascimentali. La famiglia Sassetti, che possedeva anche la vicina Villa Sassetti, nel 1546 vendette Villa La Pietra ai Capponi.

Il Cardinale Luigi Capponi incaricò l`architetto Carlo Fontana di ristrutturare la villa, trasformandola nella residenza barocca che possiamo ammirare oggi. Pochi sono gli elementi quattrocenteschi sopravvissuti a queste modifiche.

Dopo che nel 1814 Gino Capponi vi aveva ospitato Ferdinando III di Toscana, durante il periodo in cui Firenze fu capitale del Regno d`Italia Villa La Pietra fu la sede dell`ambasciata di Prussia.

Nel 1904 la villa divenne proprietà di Arthur e Hortence Acton, che provvidero alla ristrutturazione del giardino, riproponendo il tipico modello di giardino all`italiana, arricchito da statue provenienti dalle celebri ville sul Brenta.

Il figlio di Arthur, Harold Acton, scrittore e collezionista d`arte, trasformò la villa in un importante centro culturale, raccogliendovi numerosi dipinti, statue, arazzi, affreschi, ceramiche e reperti archeologici.