Lorenzo en Giovanni Pier Francesco de’ Medici kochten de villa di Castello, op de heuvels rondom Florence in 1480 van de familie Della Stufa, vergrootten het en decoreerden het met grote meesterwerken. Botticelli kreeg de opdracht om de “La nascita di Venere” en “La primavera” te schilderen, vandaag bewaard in de Uffizi, om de wanden van deze villa te versieren.

Nadat in 1527 de Hertog van Urbino, Florence te hulp snelde dat bedreigd werd door het leger van Carlo V, het getransformeerd had tot zijn hoofdkantoor, werd de villa geplunderd en in brand gestoken tijdens de staat van beleg van de stad (1529-1530).

Nadat hij Groothertog van Toscane werd in 1538, gaf Cosimo I aan Vasari de opdracht om te villa te restaureren en aan Tribolo om een schitterende tuin te ontwerpen die vandaag nog te bewonderen is. De werkzaamheden om de villa te verdubbelen werden uiteindelijk nooit voltooid, omdat Cosimo in de tussentijd het Palazzo Pitti in Florence gekocht had.

De villa werd uiteindelijk voltooid naar de wil van Ferdinando I de’ Medici en vervolgens werd het een voorwerp van aanzienlijke veranderingen naar het werk van de Lorena. In het bijzonder, in 1818 liet Leopoldo II di Lorena een laan construeren om de villa di Castello aan de nabije villa della Petraia te verbinden.

Na een lange periode van verval en verwaarlozing, schonk Vittorio Emanuele III in 1919 de villa aan de italiaanse staat. In de jaren ’70 was de villa voorwerp van een nauwkeurige restauratie en tegenwoordig is het de zetel van de Accademia della Crusca.