Il parco, tra i più vasti della Toscana, venne fatto costruire a metà dell’Ottocento da Ferdinando Panciatichi, sfruttando terreni agricoli attorno alla sua proprietà e una ragnaia di lecci. Vi fece piantare una grande quantità di specie arboree esotiche, come sequoie e altre resinose americane, mentre l’arredamento architettonico fu realizzato con elementi in stile moresco quali un ponte, una grotta artificiale (con statua di Venere), vasche, fontane e altre creazioni decorative in cotto.
L'edificio principale è una costruzione eclettica con prevalenza di stile orientalista, effetto della ristrutturazione ottocentesca di una grande fattoria edificata nel 1605 per volere della famiglia Ximenes D'Aragona. La storia del luogo è però più antica e viene fatta risalire all'epoca romana. Lo storico Robert Davidsohn, nella sua Storia di Firenze, afferma che nel 780 potrebbe esserci passato Carlo Magno di ritorno da Roma, dove aveva fatto battezzare il figlio dal Papa. La tenuta di cui fa parte il castello appartenne nei secoli a diverse importanti famiglie: gli Altoviti, poi, per volere del duca Cosimo, a Giovanni Jacopo de' Medici, che infine la vendette a Sebastiano Ximenes. Tali beni restarono alla famiglia Ximenes d'Aragona fino all'ultimo erede, Ferdinando, che morì nel 1816.