Sulla Badia di San Fabiano ci sono alcuni veli di incertezza che fanno della chiesa oggetto di studio ricostruttivo. La Badia, infatti, in origine apparteneva ad un Monastero fondato probabilmente dai Benedettini e poi concesso ai Vallombrosiani. Dato attestabile è il fatto che dai documenti risulta nota sin dal 1082. Inizialmente era luogo di accoglienza di pellegrini e malati. Infatti, la primitiva chiesa di San Fabiano fu costruita lungo l'antica Via Cassia che da Fiesole, passando per Sesto, Settimello, Pizzidimonte, giungeva a Montemurlo fino a Pistoia. Dal 1783, invece divenne sede per ospitare il Seminario Vescovile fondato a Prato nel 1682.
L'ex edificio conventuale conserva l'aspetto assunto intorno al 1726 grazie all’architetto pratese Adelio Colzi, e si articola intorno ad un cortile.
All’interno si conservano opere del Cinque-Settecento, tra le quali una tela del Rosi e, in refettorio, un dipinto con Santi francescani, di Michele delle Colombe. Nel seminario si trova anche una biblioteca, nata come supporto agli studi teologici e umanistici e arricchita nel tempo da donazioni; oggi è regolarmente aperta anche all'utenza esterna. Facendo un salto nell’antichità, possiamo ricostruire l’ambiente del monastero: la struttura era fuori dell’antico cerchio murario del «castrum» di Prato e tutto intorno al monastero c’era una schiera di vigne e una gora che lambiva gli orti.