Villa La Pietra debe su nombre a la localidad donde se alza, a lo largo de la calle Via Bolognese. A su vez, el nombre de la localidad se debe a una piedra miliar de origen romana que marcaba la distancia de siete millas desde la puerta septentrional de Florencia.

El banquero Francesco Sassetti compró la propiedad en 1460 y mandó ampliar el edificio, transformándolo en una verdadera villa respetando los cañones renacimentales. La familia Sassetti, que poseía también la cercana Villa Sassetti, en 1546 vendió la Villa La Pietra a los Capponi.

El Cardinal Luigi Capponi encargó al arquitecto Carlo Fontana que reestructurase la villa, transformándola en la residencia barroca que podemos admirar hoy. Pocos son los elementos del siglo XV que sobrevivieron a estas modificaciones.

Después de que en 1814 Gino Capponi alojara a Fernando III de Toscana, durante el periodo en que Florencia era la capital del Reino de Italia, Villa La Pietra fue la sede del la embajada de Prussia.

En 1904, la villa pasó a ser de propiedad de Arthur y Hortence Acton, que realizaron una reestructuración del jardín, reproponiendo el típico modelo de jardín a la italiana, enriquecido por estatuas provenientes de las célebes villas del Brenta.

El hijo de Arthur, Harold Acton, escritor y coleccionista de arte, transformó la villa en un importante centro cultural, coleccionado numerosos cuadros, estatuas, tapices, pinturas al fresco, cerámicas y vestigios arqueológicos.