Das Castello di Gargonza ist ein befestigter landwirtschaftlicher Weiler mittelalterlichen Ursprungs, der sich auf einem Hügel des Valdichiana erhebt und von dem man noch heute den Turm, die Mauern, ein Tor und die romanische Kirche bestaunen kann, die im 13. Jahrhundert erbaut wurden.

Gelegen in strategisch fondamentaler Position zwischen dem Valdichiana und dem Gebiet von Siena war das Kastell, ursprünglich das Lehen der Grafen Ubertini, während des Mittelalters das Objekt der blutigen Auseinandersetzungen zwischen Guelfen und Ghibellinen.

Dante Alighieri hielt sich in den ersten Jahren des 14. Jahrhunderts im Kastell auf; danach wurde der Weiler im Jahre 1307 einer langen Belagerung von Seiten der florentinischen Truppen unterworfen, wobei es gelang, nicht zu kapitulieren, dank der Verbreitung der Nachricht der Ankunft des Kardinals Orsini, die sich als falsch erwies.

Gegen Ende des 14. Jahrhunderts, im Jahre 1381, erwarb die senesische Republik den befestigten Weiler, um ihn vier Jahre später dann erneut an Florenz abtreten zu müssen. Im Jahre 1433 lehnten sich die Bewohner von Gargonza gegen die Florentiner auf, die die Revolte niederschlugen, indem sie den ganzen Weiler dem Erdboden gleich machten, mit Ausnahme des Aufbaudecks und des Turms, die man noch heute bestaunen kann.

Die Familie Lotterighi della Stufa wurde im Jahre 1546 Besitzerin des Kastells und am Ende des 17. Jahrhunderts ging der Weiler in die Hände des Marquis Corsini über, der sie in ein landwirtschaftliches Gut verwandelte. Im Laufe des 18. Jahrhunderts zog das Kastell Vorteil aus der Trockenlegung des Valdichiana durch den Großherzog der Toskana.

Nach dem Zweiten Weltkrieg wurde Gargonza verlassen und durchlebte eine Zeit des Verfalls. Erst am Ende der 70er Jahre des 20. Jahrhunderts hat Roberto Guicciardini Corsi Salviati eine Reihe von Restaurierungsarbeiten des Weilers in Angriff genommen.