Una perspectiva ampliada: IA multimodal per a l’anàlisi massiva de col·leccions fotogràfiques

Fins fa poc, la recerca computacional en ciències socials i humanitats operava en una única modalitat, analitzant text o imatge de manera aïllada. Els avenços recents en l’aprenentatge automàtic multimodal han canviat aquest panorama. Entrenada amb combinacions imatge‑text, la IA multimodal pot vincular imatges amb textos i textos amb imatges. Aquesta presentació mostra què fa possible aquest gir metodològic a través d’un estudi de cas extens. Martí Massafont Costals (1918–2012) va treballar durant cinc dècades com a fotògraf comercial pels carrers de Girona, deixant 35.000 negatius, dels quals 9.021 han estat digitalitzats. Fins ara, els investigadors han abordat la col·lecció mitjançant una lectura minuciosa d’imatges individuals. En aquesta intervenció, es mostra com un algorisme de clustering pot agrupar les 9.021 fotografies en 78 clústers de gran granularitat. Aquests grups d’imatges revelen els tipus de persones, escenes i espais que Massafont fotografiava, i fan emergir una gramàtica comercial de moments adquiribles: un marc compartit entre Massafont i els seus clients sobre quines ocasions mereixien ser commemorades i com havien de ser enquadrades. Les fotografies que l’algorisme no pot agrupar, classificades com a “soroll”, delimiten els marges d’aquesta gramàtica. Del resultat es planteja com aquesta forma de visualització distant d’un arxiu fotogràfic pot ajudar els historiadors a identificar tant patrons de presència com patrons d’absència.