IA i explotació sexual: quan un clic genera milions d'imatges d'abús

En només 11 dies (264 hores), els usuaris de Grok van generar tres milions d'imatges sexualitzades, una mitjana de 190 per minut. Entre aquestes, s'hi inclouen més de 23.000 imatges de menors, creades a un ritme d'una cada 41 segons. Aquesta producció massiva es va produir després de la posada en marxa d'una nova funcionalitat de la IA d'X, Grok, que permetia despullar persones amb un sol clic, amb l'ordre "posa-la en biquini" o "treu-li la roba".

"Hi ha una sèrie de persones que fan servir aquestes eines d'intel·ligència artificial per crear aquest tipus de materials d'abús i d'explotació sexual infantil. No és tant la tecnologia en si, sinó l'ús que se'n fa i, sobretot, l'accessibilitat que hi ha per part d'aquestes persones a determinades aplicacions", alerta Pablo Romero, professor dels Estudis de Dret i Ciència Política de la Universitat Oberta de Catalunya (UOC) i investigador del grup VICRIM. X va trigar 8 dies a posar els primers límits i 11 dies a bloquejar funcions crítiques, temps suficient perquè milions d'imatges es viralitzessin.

Un clic per despullar: imatges sintètiques, delictes reals

Crear, editar i difondre aquest material no és impune. En el cas dels menors, la resposta penal és clara. "Des del 2015, els delictes de pornografia infantil castiguen l'ús d'imatges tant reals com virtuals", explica Oriol Martínez, també professor de la UOC i expert en dret penal de la UOC. L'article 189.1 II d) del Codi penal permet castigar la creació i la tinença de material generat per IA perquè, tot i ser sintètic, és perfectament subsumible en el tipus penal. "És un delicte públic que es persegueix sense necessitat de consentiment de l'afectat i amb penes severes", aclareix Martínez.

En aquesta línia, UNICEF alertava que la IA generativa ha assolit un nivell en què les imatges sintètiques ja no es poden distingir de les reals a simple vista. Això crea un problema legal i forense: és gairebé impossible provar davant d'un tribunal si un infant representat existeix realment o no, cosa que pot portar a la impunitat dels agressors si no hi ha una legislació que, com comenta Martínez, equipari legalment el material sintètic amb el real.

Quan la víctima és adulta: un buit legal preocupant

La situació canvia quan la víctima és adulta. Martínez assenyala que "no hi ha cap delicte que tipifiqui expressament aquesta conducta", la qual cosa obliga a usar figures legals "agafades amb pinces". El delicte contra la intimitat és difícil d'aplicar si la IA es basa en fotos públiques de xarxes socials i, tècnicament, el nu generat "no és 'realment' la imatge de la persona".

L'expert apunta al delicte contra l'honor (injúries), tot i que les penes són baixes i és un delicte privat. Davant d'aquesta mancança, l'expert planteja com a via més contundent el delicte de tracte degradant, que castiga qui "crea en les víctimes sentiments de terror, d'angoixa i d'inferioritat". Segons Martínez, aquesta seria una figura "força òptima per subsumir el contingut de desaprovació material, atès que aquestes imatges tendeixen a cosificar les víctimes i comporten penes de presó de fins a dos anys". Tot i així, el professor de dret penal considera que cal fer evolucionar les interpretacions legals: "La incertesa jurídica actual fa necessari crear un tipus específic que intenti atendre les característiques d'aquesta mena de criminalitat per evitar que la difusió i la reassignació d'aquests continguts quedin desprotegides per interpretacions legals restrictives".

La industrialització digital de l'abús

Però Grok no és una excepció. La creació de material d'abús sexual infantil, ja siguin vídeos o imatges, a través de la IA és una realitat. El 2025, l'Internet Watch Foundation va detectar un augment del 26,362 % en vídeos d'abús generats per IA respecte a l'any anterior. A més, identifica la gravetat de les imatges: el 65 % del material va ser classificat com a categoria A (la més extrema segons la llei del Regne Unit), que inclou violacions i tortures sexuals, en comparació amb el material "real" (no IA), que té una proporció menor de categoria A (43 %).

 L'ingent quantitat de material creat amb IA pot fer pensar que la imatgeria artificial d'imatges de contingut sexual infantil pot servir per al consum de depredadors sexuals. "Ara mateix, la ciència encara no té una resposta definitiva sobre si el valor de les imatges sintètiques s'assimila al d'una imatge real", comenta. Històricament, la recerca s'ha centrat gairebé exclusivament en les víctimes i en com tractar l'impacte, deixant de banda l'estudi dels perpetradors i les seves motivacions vitals. "Tot i la manca de dades directes sobre la IA, el debat acadèmic s'emmiralla en el cas de les nines anatòmiques que simulen infants", comenta. En aquest debat hi ha dues postures contraposades, segons l'expert: aquests recursos o bé poden ser un factor protector (alguns estudis suggereixen que poden servir en l'àmbit de la intervenció i el tractament per evitar el contacte real) o bé poden actuar com a detonant (trigger), i en aquest cas l'accés a aquest material pot servir com un catalitzador que faci passar l'individu de la ideació a la perpetració real.

El dany és real, encara que la imatge sigui falsa

Tot i que la imatge sigui fake, la víctima pateix el dany moral com si la foto fos real. "El que ens indica l'evidència és que l'impacte pot ser molt semblant quant als sentiments o les conseqüències que pot tenir en les víctimes, amb la generació de sentiments d'angoixa, d'ansietat o de vergonya", comenta Romero. Tot i que encara és un fenomen recent, l'impacte en les víctimes és comparable amb el que es pot patir quan hi ha filtracions d'imatges de contingut sexual verídic. "El criteri tant del legislador com dels tribunals és l'equiparació del dany moral en els delictes de creació de deepfakes de contingut sexual i la seva difusió amb el dels delictes de filtració de material de fotografies de contingut sexual verídic", explica Romero.

A més, la víctima sovint pateix la victimització terciària: el judici social que la culpa per haver penjat la foto original. "La manera d'evitar la reacció social adversa (victimització terciària) que suposa haver patit un fet com la difusió de material de contingut sexual, tant si és generat per intel·ligència artificial o és verídic, és incidir en una educació sexual protocol·litzada, manualitzada i que s'implementi des de moments molt primerencs del cicle educatiu dels nens i les nenes", alerta Romero.

La resposta europea: expedient contra X

Després del que va passar a Grok entre el 29 de desembre de 2025 i el 8 de gener de 2026, la Unió Europea ha obert un expedient sancionador contra X (Twitter) en virtut de la Llei de serveis digitals (DSA) per no haver mitigat els riscos de Grok i haver permès la generació massiva d'imatges sexualitzades i material d'abús infantil. Aquesta investigació, recolzada per denúncies a Espanya i França, podria derivar en multes de fins al 6 % de la facturació global de la plataforma. "La regulació interna d'aquestes empreses hauria d'establir mecanismes de supervisió i control d'aquesta mena d'activitats. Tot i que és cert que la capacitat de controlar-ho tot és limitada, seria una manera positiva de distribuir càrregues de gestió, establint mecanismes mínims de control", conclou Martínez, investigador del grup VICRIM de la UOC.