Lorenzo et Giovanni di Pier Francesco de Médicis achetèrent en 1480 la villa de Castello, appartenant alors à la famille Della Stufa et sise sur l’une des collines encerclant Florence; ils l’amplifièrent et l’ornèrent de grandes œuvres d’art. Botticelli fut chargé de peindre "La Naissance de Vénus" et "Le Printemps", qui aujourd’hui sont conservés aux Offices, dans le but précis de décorer les murs de cette villa.

Après que le Duc d’Urbin, accouru en 1527 pour sauver Florence menacée par les troupes de Charles V, l’eut transformée en son quartier général, la villa fut mise à sac et incendiée pendant le siège que la ville subit (1529-1530).

Une fois devenu Grand Duc de Toscane en 1538, Cosme Ier de Médicis confia à Giorgio Vasari la mission de restructurer l’édifice et à Tribolo celle d’effectuer les plans du somptueux jardin que l’on peut toujours admirer actuellement. Les travaux prévus afin de doubler la taille de la bâtisse ne virent cependant jamais jour, car Cosme Ier acquit entre-temps le Palais Pitti à Florence.

La villa fut toutefois achevée, sur la volonté de Ferdinand Ier de Médicis, puis fut l’objet d’autres modifications majeures, souhaitées par les Habsbourg-Lorraine. Tout particulièrement, Léopold II fit réaliser en 1818 une allée visant à relier la villa de Castello à la villa voisine, La Petraia.

Puis après une longue période de décadence et d’abandon, en 1919 Victor Emmanuel III en fit la donation à l’État italien, en 1919. Elle a été soigneusement restaurée au cours des années 70, et est à présent le siège de l’Accademia della Crusca.