Lorenzo e Giovanni di Pier Francesco de` Medici acquistarono la villa di Castello, sulle colline intorno a Firenze nel 1480 dalla famiglia Della Stufa, l`ampliarono e la decorarono con grandi opere d`arte. Botticelli ricevette l`incarico di dipingere "La nascita di Venere" e "La primavera", oggi conservati agli Uffizi, proprio per ornare le pareti di questa villa.

Dopo che nel 1527 il Duca di Urbino, accorso in aiuto di Firenze minacciata dall`esercito di Carlo V, l`ebbe trasformata nel suo quartier generale, la villa fu saccheggiata e incendiata durante l`assedio della città (1529-1530).

Una volta divenuto Granduca di Toscana nel 1538, Cosimo I incaricò Vasari di ristrutturare la villa e Tribolo di progettare il magnifico giardino che si può ammirare ancora oggi. I lavori di raddoppio della villa non furono tuttavia mai realizzati, perché nel frattempo Cosimo aveva acquistato Palazzo Pitti a Firenze

La villa fu poi completata per volere di Ferdinando I de` Medici e in seguito fu oggetto di notevoli rimaneggiamenti ad opera dei Lorena. In particolare, nel 1818 Leopoldo II di Lorena fece costruire un viale per collegare la villa di Castello alla vicina villa della Petraia.

Dopo un lungo periodo di decadenza e di abbandono, nel 1919 Vittorio Emanuele III donò la villa allo stato italiano. Negli anni `70 la villa è stata oggetto di un accurato restauro e attualmente è sede dell`Accademia della Crusca.