Lorenzo y Giovanni di Pier Francesco de los Medici compraron la villa de Castello, en las colinas de los alrededores de Florencia, en 1480, a la familia Della Stufa, la ampliaron y la decoraron con grandes obras de arte. Botticelli recibió el encargó de pintar "El nacimiento de Venus" y "La primavera", que hoy se conservan en el museo Uffizi, precisamente para ornamentar las paredes de esta villa.

Después de que en 1527 el Duque de Urbino, que había venido a Florencia para ayudarla a defenderse ya que se encontraba amenazada por el ejército de Carlos V, la hubo transformado en su cuartel general, la villa fue saqueada e incendiada durante el ataque a la ciudad (1529-1530).

Ya convertido en el Granduque de Toscana en 1538, Cosimo I encargó a Vasari que reestructurara la villa y a Tribolo que protegiese el magnífico jardín, que aún hoy podemos admirar. Sin embargo, las obras para ampliar la villa, y aumentar en un 100% su capacidad, nunca se llevaron a cabo, porque, mientras comenzaban las obras en esta villa, Cosimo compró Palazzo Pitti a Firenze.

La villa fue finalmente completada por voluntad de Ferdinando I de los Medici, tras lo cual fue objeto de notables modificaciones, obra de los Lorena. En particuar, en 1818 Leopoldo II de Lorena mandó construir una avenida para comunicar la villa de Castello a la carcana villa de la Petraia.

Tras un largo periodo de decadencia y de abandono, en 1919 Vittorio Emanuele III cedió la villa al estado italiano. En los años 70, la villa fue restaurada con mucho mimo y cuidado, y actualmente es sede de la Academia de la Crusca.