Het kasteel van Oliveto werd gebouwd in de XVe eeuw door de prestigieuze florentijnse familie dei Pucci. De naam van het gebouw, dat moest dienen als plattelandsresidentie en als versterking ter bescherming van de terreinen die de familie in de omgeving bezat, stamt af van de olijfgaarden die het omringen.

NeIn de donkere periode van de florentijnse geschiedenis, gekenmerkd door de bloederige strijd tussen de aanhangers van de Medici en de Florentijnse Republiek, was het kasteel theater van talrijke strijden. Tijdens de eerste strijd werden alle mannen gedood van de familie Pucci, dat voorbestemd leek tot uitroeiing. In werkelijkheid werd de eerstgeborene gered door een slaaf die, uit dankbaarheid, is afgebeeld op het wapenschild van de familie.

Het kasteel, dat in 1850 in handen kwam van de familie Guicciardini na de trouwerij van Paolina Pucci met de graaf Luigi Guicciardini, heeft vele illustere persoonlijkheden verwelkomd, waaronder Lorenzo il Magnifico, de twee Medici Pausen Leone X en Clemente VII, Paus Paolo III, de groothertog van Toscane Ferdinando III en de koning Vittorio Emanuele II.

In 1944 werd het eerst de zetel van de duitse gewapende krachten en vervolgens het hoofdkwartier van de amerikaanse troepen. Tijdens hun verblijf, ontdekten de duitsers in het ondergrondse van het kasteel een reeks schilderijen van de Uffizi Galerij, die ze terug brachten naar Florence.

Tegenwoordig kunnen we in het kasteel de originele meubels uit de XVe eeuw, trofeeen, wapens en een reeks portetten daterend uit de XVI-XVIIIe eeuw bewonderen.