Construït el 1675, el fort del Calvari es troba al punt més alt de la Muntanya de la O, aprofitant l'antiga capella de Nostra Senyora de la O i les dependències dels ermitans que l'habitaven, com a defensa de la ciutat dels atacs dels francesos en diversos enfrontaments bèl·lics (atac de les tropes Noailles el 1694, la Guerra de Successió, la Guerra del Francès), ofereix unes magnífiques vistes sobre Girona.
De dimensions reduïdes i amb forma d'estrella irregular, aquesta edificació, on s'instal·laven bateries d'artilleria per cobrir el barranc del Galligants i flanquejar el reducte dels Alemanys, és contemporània als forts del Capítol i de la Ciutat.
La gran pedra que corona el turó va ser aprofitada com torre de guaita, i la cara nord, la més feble, va ser reforçada amb un fossat.
Les construccions defensives de les Pedreres varen ser completades el 1708 amb el fort dels Caputxins, el més gran de la ciutat i l'únic que s'aconsegueix construir dels projectes i la celebració de grans festes, amb motiu de la benedicció de l'estendard del Regiment dels Espanyols de Girona, festes en les quals predicà un sermó patriòtic Fra Antoni de la Concepció.
Va ser totalment destruït per l'artilleria francesa el 19 de setembre de 1808, durant la Guerra del Francès.