Villa La Pietra dankt zijn naam aan de localiteit waarin het oprijst, langs de Via Bolognese. Op zijn beurt, dankt de localiteit zijn naam aan een mijlpaal van romeinse oorsprong die de afstand aan het opmeten was van zeven mijl van de noordelijke poort van Florence

De bankier Francesco Sassetti kocht het gebouw in 1460 en liet het uitbreiden, het tot een echte villa transformerend, de renaissancistische normen respecterend. De familie Sassetti, die ook de nabije Villa Sassetti bezat, verkocht in 1546 Villa La Pietra aan de Capponi.

De Kardinaal Luigi Capponi gaf aan de architect Carlo Fontana de opdracht om de villa te herstructureren, het transformerend tot een barokke residentie die we vandaag de dag nog kunnen bewonderen. Maar weinig vijftiende eeuwse elementen zijn bewaard gebleven bij deze veranderingen.

Nadat in 1814 Gino Capponi er Ferdinando III van Toscane heeft verwelkomd, tijdens de periode dat Florence de hoofdstad van het Italiaanse Rijk werd, was Villa La Pietra de zetel van de ambassade van Pruisen.

In 1904 werd de villa eigendom van Arthur en Hortence Acton, die erin voorzagen de tuin te herstructureren, naar het typische model van de italiaanse tuin, verrijkt met beelden afkomstig uit de beroemde villa’s aan de Brenta.

De zoon van Arthur, Harold Acton, schrijver en kunstverzamelaar, veranderde de villa in een belangrijk cultureel centrum, en bracht er talrijke schilderijen, beelden, wandtapijten, fresco’s, keramiek en archeologische vondsten bijeen.