In antichità la costruzione fu posseduta dagli Zati, che la vendettero nel 1563 a Giulio d’Alessandro del Caccia dai cui figli, nel 1603, l’acquistò Porzia di Tommaso de’ Bardi vedova di Niccolò di Francesco degli Alessandri. Restò agli Alessandri fino al 1854, quando il conte Carlo di Gaetano la vendette a John Temple-Leader, che la inglobò nei suoi vasti possedimenti sulle colline di Maiano e di Vincigliata. Alla sua morte fu ereditata da Lord Westbury. Nel 1907 Bernard Berenson (1865-1959) e la moglie Mary Pearsol Smith, che abitano la villa già dal 1900, decidono di acquistare la proprietà.
Al momento dell’acquisto la villa lascia molto a desiderare, il giardino si limita a gruppi sparsi di vecchi cipressi e ad una limonaia. Berenson in quel periodo comincia però a ricevere una retribuzione regolare dal grande mercante americano Joseph Duveen e pertanto può acquistare anche il terreno circostante. Questa e il giardino sono trasformati a partire dal 1909 da Cecil Pinsent e Geoffrey Scott, che furono introdotti dagli stessi Berenson nella ricca comunità angloamericana, all’epoca molto numerosa sui colli fiorentini.
