La villa, in uno stile tipico delle ville lucchesi, ha una storia pluricentenaria: si inerpica su una collina sotto le case rustiche in pietra del paese, con il quale essa ha mantenuto uno stretto rapporto di interdipendenza sin dalle origini: per esempio due stradine lastricate che passavano attraverso l’entrata principale del palazzo erano gli unici accessi al paese. Il complesso architettonico di Collodi e della villa si è fortunatamente mantenuto inalterato da secoli e permette ancora oggi di assaporare un’atmosfera di altri tempi. Giardiniere del complesso fu anche il padre di Carlo Lorenzini, autore de Le avventure di Pinocchio (mentre la madre svolgeva funzioni di cameriera). Lo scrittore trascorse gran parte della sua infanzia presso il Castello, come gli abitanti del luogo chiamano la villa. Quando volle scegliere uno pseudonimo per il suo capolavoro, decise di chiamarsi proprio Collodi.
Nel 1366 la famiglia pesciatina dei Garzoni, che sarebbe poi entrata a far parte del patriziato lucchese, acquistava in questo luogo un fortilizio, usandolo come residenza familiare. La prima menzione della villa risale al 1633 quando Romano Garzoni firmò un progetto per un palazzo molto vicino nelle dimensioni a quello odierno, mentre il giardino era molto più ridotto. Fu nel 1652 che il giardino venne ingrandito e dotato di terrazzamenti (visto il forte pendio) in stile all’italiana, con scalinate, statue e fontane. Celebrato da poeti come Francesco Sbarra, il giardino e la villa videro aumentare la sua fama ed ebbero ospiti illustri gli arciduchi Ferdinando d’Austria e Anna de’ Medici (come ricorda una lapide vicina all’ingresso) o, più tardi, pare Napoleone Bonaparte. All’inizio del Settecento vi lavorò Filippo Juvarra.
