La struttura, originariamente ad aula unica coperta a capanna con abside, ha la facciata incompiuta con architrave in marmo romano di reimpiego.
Il fianco è decorato in alto da archetti con peducci figurati. Lasciata dai monaci, conobbe un progressivo e grave decadimento. Nel 1596 vennero iniziati importanti restauri in base ai quali la chiesa venne divisa nelle tre parti attuali (atrio, navata, e sagrestia, dietro la parete settecentesca dell’altare maggiore). Nel 1748 l’arcivescovo Guidi aggregò la cura di San Jacopo a quella di San Michele degli Scalzi. Dal 1754 il convento venne utilizzato per gli esercizi spirituali del clero mentre la chiesa fu concessa alle confraternite del SS.mo Sacramento e di Sant’Antonio Abate.

In occasione di questi avvenimenti l’edificio fu di nuovo ristrutturato intorno al 1753, come si rileva da una lapide posta sopra la porta interna della chiesa.
Nel 1855 a causa di un’epidemia di colera il convento fu trasformato in lazzaretto e poi destinato ad usi militari. Dopo l’unità d’Italia venne destinato a rifugio delle monache espulse da San Matteo e dopo ancora per dei monaci provenienti dal vicino convento di Santa Croce in Fossabanda. Alla fine del XIX secolo il convento fu adattato a succursale del seminario arcivescovile per i pernottamenti dei seminaristi. Nel 1906 la chiesa fu concessa agli Oblati di Maria Vergine che la riaprirono al culto. Divenne chiesa parrocchiale dal 1974 e tuttora è affidata alla cura pastorale degli Oblati di Maria Vergine. Durante gli ultimi scavi sotto la zona absidale sono state trovate sepolture e strutture medievali.