È possibile che già dal V secolo esistesse una chiesa cattedrale (di dimensioni minori) a Pistoia. Già all’epoca, infatti, la città aveva un proprio vescovo. Tuttavia non si sa ancora quale fosse la sua ubicazione, se nello stesso luogo dell’attuale o sul luogo ove ora sorge la pieve di Sant’Andrea, oppure nella zona in cui venne edificato il complesso monastico di San Pier Maggiore (Memoreto), in considerazione della consuetudine di costruire la cattedrale in prossimità del cimitero (memoretum). La prima attestazione scritta della cattedrale risale al 923, quando in un atto notarile del conte Cunerad di Teudicio venne citata una «Ecclesia SS.Zenonis, Rufinis et Felicis». Nel 998 inoltre un diploma di Ottone III citò un edificio paleocristiano situato tra la via “regia” (cioè tra piazza del Duomo, via Stracceria e via degli Orafi) e la torre di guardia. Nel 1108 la chiesa fu danneggiata da un incendio e probabilmente ricostruita nei primi decenni del XII secolo. Risale al 1145 infatti la consacrazione dell’altare dedicato a san Jacopo da parte del vescovo Atto.

Nel 1202 un altro incendio danneggiò la cattedrale. Tra il 1274 e il 1275 le navate laterali furono coperte da volte (il che fa pensare che prima dovessero avere una copertura a capriate lignee). Nel 1298 l’edificio subì alcuni danni dovuti ad un terremoto e nel 1336 circa venne sistemata sulla facciata la statua di San Zeno vescovo, opera di Jacopo di Mazzeo. Tra il 1379 e il 1449 la facciata fu rimaneggiata con l’aggiunta di tre ordini di logge e di un portico; nel 1504 ad Andrea della Robbia fu commissionata la decorazione dell’archivolto, a festone vegetale con al centro lo stemma dell’Opera di San Jacopo, e quella a lacunari di color azzurro con rosoni dorati che rivestono la volta centrale del portico, nonché la lunetta a bassorilievo sulla porta centrale raffigurante la Madonna col Bambino e Angeli, opere che egli portò a termine nel 1505.

Tra il 1598 e il 1614 il presbiterio medievale fu demolito, le cappelle poste in testa alle navate laterali vennero modificate e al posto della primitiva abside fu costruita una tribuna barocca sormontata da cupola su progetto di Jacopo Lafri; la navata centrale fu coperta da nuove volte a crociera. Si procedette inoltre alla decorazione del soffitto della tribuna e furono eseguiti i dipinti su tavola sulle pareti della tribuna e nella cappella maggiore. Nel 1721 fu posta in facciata la statua di San Jacopo, opera di Andrea Vaccà e nel 1786 la cappella di San Jacopo fu demolita. Tra il 1834 e il 1837 il presbiterio fu trasformato secondo il nuovo gusto neoclassico da Giovanni Gambini. Tra il 1952 e il 1966 la Soprintendenza ai Monumenti mise in atto un restauro dell’edificio rimuovendo le 5 grandi volte a crociera della navata centrale (risalenti al 1657), che nascondevano il tetto ligneo policromo del 1338, e gli intonaci ottocenteschi in gesso aggiunti nel 1838-1839 dal Gambini. Si presume che durante la rimozione di quegli intonaci sia stato distrutto un pregevole ciclo di affreschi di cui rimangono ancora vaghe tracce. Furono chiuse le finestre seicentesche e ripristinate le monofore e le bifore medioevali. Nel 1997-2000 è stato realizzato il restauro del campanile.