Els robots, els nous pirates informàtics?

  robots

Foto: Freepik

28/07/2021
Beatriz González
Els experts creuen que les màquines podran hackejar sistemes

S'està infravalorant la protecció de la seguretat pel que fa a la IA

El 2020 va ser l'any més prolífic en ciberatacs: la majoria de les empreses espanyoles, concretament un 53 %, van notificar haver estat víctimes de, com a mínim, un atac en el sistema informàtic, segons la cinquena edició de l'Informe de ciberpreparació de Hiscox. I, segons les dades presentades pel Centre Nacional d'Intel·ligència (CNI) en les XIV Jornades de Ciberseguretat del Centre Criptològic Nacional (CCN), no tan sols ha augmentat el nombre de ciberatacs, sinó també la gravetat d'aquests atacs. Abans que acabés l'any, el CNI havia detectat 6.690 incidents de perillositat molt alta. Per part seva, el CCN va trobar 73.184 ciberamenaces totals al llarg de l'any, la qual cosa significa un augment del 70 % respecte a l'any anterior. Què passarà si, a més dels pirates informàtics que ja existeixen, s'hi sumen robots hackers? És possible aquest escenari? Els experts no ho descarten.

La por a la rebel·lió de les màquines existeix des que va començar la industrialització, però ha augmentat amb el naixement de la intel·ligència artificial (IA). N'adverteixen gurus de la seguretat digital com Bruce Schneier, que en el seu informe The Coming AI Hackers afirma que en la interacció entre els sistemes humans i informàtics hi ha riscos inherents quan els ordinadors comencen a fer el paper de les persones. Fins al punt que pot arribar el moment en què els qui pirategin els nostres sistemes siguin hackers no humans.

 

Les decisions vitals, dictades pels algoritmes

Altres experts també veuen possible aquest escenari. Com explica Josep Curto, professor dels Estudis d'Informàtica, Multimèdia i Telecomunicació de la UOC, fa uns anys la matemàtica Cathy O’Neil advertia que, en l'època de l'algoritme, moltes de les decisions que afecten les nostres vides estan dictades per models matemàtics. I, encara que això podria conduir a més equitat si tots fóssim jutjats d'acord amb les mateixes regles, està passant exactament el contrari. Parlava d'això i del costat fosc de les dades massives a Weapons of Math Destruction, un dels llibres de no-ficció amb millors crítiques en el seu any de publicació, guanyador de l'Euler Book Prize el 2019.

“No és la primera referència, ni tampoc serà l'última, relativa als potencials perills d'aquesta tecnologia”, diu Curto explicant que la intel·ligència artificial, que en la seva forma actual només és machine learning, combinada amb sistemes de gran capacitat de processament i tractament de dades (big data) “busca automatitzar tasques de tot tipus, des de l'assignació d'un crèdit fins a la selecció de personal. I l'ús d'algoritmes no està lliure d'errors, bugs, omissions, propòsits específics i biaixos de tota mena. Això pot provocar problemes socials, econòmics i polítics”, afirma.

Però, com poden arribar a provocar aquests problemes? Segons Jordi Serra, també professor dels Estudis d'Informàtica, Multimèdia i Telecomunicació, la manera de treballar els algoritmes “va més enllà del que una persona pugui pensar. Es poden programar pensant que faran, per exemple, una classificació concreta i al final que ho facin d'una altra manera, tot i que el resultat sí que pot ser idèntic al que s'havia pensat”. Afirma que el problema és que, mentre nosaltres veiem dades i obtenim aquestes dades de diferents fonts donant-los context, entenent-les i valorant-les, els sistemes d'IA el que fan és buscar relacions entre aquestes dades “més enllà del que pugui significar cada dada. I, com que són més ràpides, poden trobar relacions entre les dades que els humans no pensem perquè tenim aquest coneixement previ que ens fa pensar que potser dues dades no estan relacionades”. És a dir, que, mentre els humans tenim una manera de pensar predeterminada a partir de l'experiència i del coneixement previ, les màquines no. “El control de les màquines no es té”, afegeix Serra.

 

Com evitar atacs

En la mateixa línia es manifesta Josep Curto, que assenyala que els sistemes d'IA segueixen mecanismes per detectar patrons i trobar solucions òptimes o de més recompensa, i quan es tracta de sistemes de govern poc robust, aquests poden derivar en alguns casos en el que es denomina reward hacking, que es tradueix en el fet que, amb l'objectiu d'aconseguir la màxima recompensa en el problema que resolen, no tenen en compte el context o la regulació, atès que aquests factors no estan reflectits en les dades. A més, durant les diferents fases del projecte hi pot haver biaixos en la generació, la preparació, l'anàlisi de les dades o la visualització dels resultats que poden conduir a decisions no ètiques.

“Identificar aquests problemes exigeix analitzar els models generats mitjançant interpretabilitat abans i durant la seva posada a producció. És a dir, es tracta de monitorar el model, veure com pren decisions, quins biaixos l'afecten, com n'evoluciona el rendiment... Es tracta, en definitiva, d'introduir el govern d'IA”, afegeix Josep Curto.

Tanmateix, hi ha algunes dificultats per dur-ho a terme. Per exemple, que la IA és, en opinió de Serra, cada vegada més opaca, “ja que contínuament surten algoritmes més potents, més ràpids, encara que al final només són caixes en què s'introdueixen les dades i tenen una sortida. Com ho fan? Només els experts que creen els algoritmes de pensar les IA ho saben”, diu el professor i membre del grup de recerca K-riptography and Information Security for Open Networks (KISON) de la UOC.

Estem donant, doncs, massa poder a la tecnologia basada en IA? O potser s'està infravalorant la protecció de la seguretat pel que fa a la IA? Per al professor Josep Curto el problema és aquest últim punt. “Moltes organitzacions no tenen clar ni com funcionen els sistemes d'IA ni com governar-los de manera adequada ni tampoc l'impacte social, de manera que no es tenen en compte mesures de protecció adequades en tot el cicle del sistema”, assegura. Per això pensa que és molt possible que, si no hi ha un canvi d'actitud, es produeixin cada vegada més casos com els de Cambridge Analytica. “A mesura que digitalitzem tots els processos de negoci, moltes empreses apostaran per IA per extreure valor d'aquests actius. Però sense principis ètics, identificació de biaixos, comprensió de com funcionen els algoritmes, els límits de com funcionen... serà natural caure en escenaris com els que s'han comentat, ja sigui per omissió o amb premeditació i traïdoria”, adverteix Josep Curto.

#expertsUOC

Foto del professor Jordi Serra Ruiz

Jordi Serra Ruiz

Expert/a en: Seguretat informàtica i seguretat de xarxes, hacking, exploits, vulnerabilitats i programari, i coneixements lliures.

Àmbit de coneixement: Programari lliure, seguretat informàtica i sistemes operatius.

Veure fitxa
Foto del professor Josep Curto

Josep Curto Díaz

Expert/a en: Intel·ligència de negoci, Business Analytics i dades massives (big data).

Àmbit de coneixement: Intel·ligència de negoci, Business Analytics, dades massives (big data).

Veure fitxa

Enllaços relacionats