Il castello di Oliveto fu edificato nel XV secolo dalla prestigiosa famiglia fiorentina dei Pucci. Il nome della struttura, che doveva fungere da residenza di campagna e da fortificazione a protezione dei terreni che la famiglia possedeva nella zona, deriva dagli oliveti che la circondano.

Nel periodo cupo della storia fiorentina, caratterizzato dalla cruenta lotta fra i sostenitori dei Medici e la Repubblica Fiorentina, il castello fu teatro di numerose battaglie. Durante una di queste battaglie furono uccisi tutti i maschi della famiglia Pucci, che sembrava destinata all`estinzione. In realtà il primogenito fu messo in salvo da una serva di colore che, in segno di riconoscenza, è ritratta nello stemma di famiglia.

Il castello, passato nel 1850 nelle mani della famiglia Guicciardini a seguito del matrimonio di Paolina Pucci con il conte Luigi Guicciardini, ha ospitato molti personaggi illustri, tra cui Lorenzo il Magnifico, i due Papi Medici Leone X e Clemente VII, Papa Paolo III, il granduca di Toscana Ferdinando III e re Vittorio Emanuele II.

Nel 1944 divenne prima sede delle forze armate tedesche e quindi quartier generale delle truppe americane. Durante il loro soggiorno, i tedeschi scoprirono nei sotterranei del castello una serie di dipinti della Galleria degli Uffizi, che riportarono a Firenze.

Attualmente nel castello si possono ammirare mobili originali del XV secolo, trofei, armi e una serie di ritratti risalenti al XVI-XVIII secolo.