El castillo de Oliveto fue edificadto en el siglo XV por la prestigiosa familia florentina Pucci. El nombre de la estructura, que debía servir como residencia de campo y de fortificación para proteger los terrenos que la familia poseía en la zona, deriva de los olivos que la rodean.

En el periodo más importante de la historia florentina, caracterizado por la sangrienta lucha entre los sustentadores de los Medici y la República Florentina, el castillo fue teatro de numerosas batallas. Durante una de estas batallas fueron asesinados todos los hombres de la familia Pucci, que parecía destinada a la extinción. En realidad, una criada de color consiguió poner a salvo el primogénito y como reconocimiento de este gesto, su rostro aparece en el escudo de la familia.

El castillo, que pasó en 1850 a las manos de la familia Guicciardini tras la boda de Paolina Pucci con el conde Luigi Guicciardini, ha alojado a muchos personajes ilustres, entre los cuales, Lorenzo el Magnífico, los dos Papas Medici Leone X y Clemente VII, Papa Paolo III, el granduque de Toscana Fernando III y el rey Vittorio Emanuele II.

En 1944, se convirtió en la primera sede de las fuerzas armadas alemanas y, luego, cuartel general de las tropas americanas. Durante su estancia, los alemanes descubrieron en el terreno subterráneo del castillo una serie de cuadros de la Galería de los Uffizi, que llevaron a Florencia.

Actualmente, en el cstillo se pueden admirar muebles originales del siglo XV, trofeos, armas y una serie de retratos que datan de los siglos XVI-XVIII.