Villa La Pietra verdankt ihren Namen der Gegend in der sie sich erhebt, entlang der Via Bolognese. Einstmals war der Name der Gegend verbunden mit einem Meilenstein römischer Herkunft, der die Entfernung von sieben Meilen bis zum nördlichsten Stadttor von Florenz angab.

Der Bankier Francesco Sassetti erwarb den Besitz im Jahre 1460 und ließ das Gebäude erweitern und es somit unter Berücksichtigung der Grundregeln der Renaissance in eine echte Villa verwandeln. Die Familie Sassetti, der auch die nahegelegene Villa Sassetti gehörte, verkaufte im Jahre 1546 die Villa La Pietra an die Capponi.

Der Kardinal Luigi Capponi beauftragte den Architekten Carlo Fontana mit der Restaurierung der Villa, die somit in die Barock-Residenz verwandelt wurde, die wir heute bewundern können. Nur wenige der Elemente aus dem 15. Jahrhundert sind bei diesen Veränderungen erhalten geblieben.

Nachdem Gino Capponi im Jahre 1814 Ferdinando III der Toskana hier beherbergt hat, wurde Villa La Pietra während des Zeitraums, in dem Florenz die Hauptstadt des Italienischen Reiches war, der Sitz der Preußischen Botschaft.

Im Jahre 1904 ging die Villa in den Besitz von Arthur und Hortence Acton über, die eine Neugestaltung des Gartens vornahmen, nach der Art eines Gartens im Italienischen Stil, bereichert von Statuen aus den berühmten Villen des Brenta.

Der Sohn Arthurs, Harold Acton, Schriftsteller und Kunstsammler, verwandelte die Villa in ein bedeutendes Kulturzentrum, indem er zahlreiche Gemälde, Statuen, Wandteppiche, Fresken, Keramiken und archeologische Funde sammelte.