Lorenzo und Giovanni di Pier Francesco de’ Medici kauften die Villa von Castello auf den Hügeln um Florenz im Jahre 1480 von der Familie Della Stufa, vergrößerten sie und schmückten sie mit großen Kunstwerken. Botticelli erhielt den Auftrag, die “Geburt der Venus” zu malen und den “Frühling”, die heute in den Uffizien verwahrt werden, eigens um die Wände dieser Villa zu verschönern.

Nachdem sie im Jahre 1527 vom Herzog von Urbino, der dem von Karl V. bedrohten Florenz zu Hilfe eilte, in dessen Hauptquartier umgewandelt wurde, wurde die Villa während der Belagerung der Stadt (1529-1530) geplündert und angezündet.

Als er im Jahre 1538 zum Großherzog der Toskana wurde, beauftragte Cosimo I Vasari mit der Rekonstruktion der Villa und Tribolo mit der Planung des wundervollen Gartens, den man noch heute bestaunen kann. Die damaligen Pläne, die Villa in ihrer Größe zu verdoppeln wurden jedoch niemals verwirklicht, da Cosimo in der Zwischenzeit den Palazzo Pitti in Florenz gekauft hatte.

Die Villa wurde dann nach dem Willen von Ferdinando I de’ Medici fertiggestellt und danach das Objekt bedeutender Umarbeitungen durch die Lothringer. Im besonderen ließ im Jahre 1818 Leopold II von Lothringen eine Straße konstruieren, um die Villa von Castello mit der nahegelegenen Villa della Petraia zu verbinden.

Nach einem langem Zeitraum der Vernachlässigung und des Verfalls übereignete Vittorio Emanuele III die Villa im Jahre 1919 an den Italienischen Staat. In den 70er Jahren wurde die Villa gründlich restauriert und ist heute der Sitz der Accademia della Crusca.