Els algoritmes, un perill a l'hora de combatre els estereotips i la discriminació social

Foto: Unsplash/Carl Heyerdahl
Els experts reclamen transparència i responsabilitat en l'elaboració d'aquests programes

«Avui dia els algoritmes han arribat a un punt de complexitat que poden decidir qui té dret a una hipoteca, quin tractament mèdic s’ha de fer o quants impostos toca pagar», explica Jordi Cabot, enginyer del programari i investigador ICREA de la UOC. Facebook, Amazon, Netflix o Spotify són les cares més conegudes d’empreses que utilitzen aquestes programes, però companyies d’altres sectors ja funcionen amb aquestes fórmules matemàtiques. Un estudi de Deloitte Global apunta que l’any 2020, 95 de les 100 empreses mundials més grans de software per ingressos hauran integrat en el seus productes tecnologies cognitives que funcionaran amb algoritmes avançats. Però, tal com alerta aquest investigador, els algoritmes «poden incórrer en injustícies o discriminació social».

Un estudi del Pew Research Center explica que els algoritmes són instruccions que incorporen tècniques d’intel·ligència artificial per a optimitzar processos de decisió. Poden salvar vides, facilitar el dia a dia i combatre el caos, però tal com apunten diversos experts internacionals del MIT i altres centres de recerca, també poden deixar massa control a les mans de les corporacions i governs, i perpetuar així biaixos, crear filtres bombolla, reduir la creativitat i, fins i tot, provocar més atur.

«Hi ha hagut casos d’algoritmes que s’han convertit en racistes, com per exemple Amazon, en evitar repartir als barris de majoria afroamericana dels Estats Units, o el xat bot de Microsoft que es va haver de retirar immediatament per comentaris racistes», remarca Cabot, també investigador del grup de recerca SOM Research Lab de la UOC. Encara que en la majoria de casos el biaix era producte de dades parcials o incorrectes, «el problema és greu». Automatitzar decisions que afecten persones individuals requereix «uns algoritmes transparents» que es puguin avaluar de manera objectiva.

Segons apunta també Javier Borge, investigador del grup de recerca en sistemes complexos (CoSIN3) de la UOC, els algoritmes poden discriminar no solament per raça sinó també per gènere, entre altres factors. Per exemple, per raons d’injustícia històrica aquestes operacions d’intel·ligència artificial poden aprendre que la majoria de directors executius són homes blancs. «Així, quan una dona de raça negra s’apunti a un servei d’ocupació i aquest funcioni amb un algoritme per a oferir els millors candidats a l’empresa que ofereix la vacant, és possible que la dona jove i de raça negra tingui menys opcions de ser seleccionada.»

Per a Enric Puig-Punyet, professor de filosofia de la UOC, els algoritmes, en estar programats per persones, sempre tenen un fort component ideològic. El mateix fet de creure que el món es pot regir per algoritmes ja implica un «posicionament ideològic». Així, el veritable perill que s’amaga al darrere és, doncs, «treure l’ésser humà de la posició d’autogovern i restar-li llibertat». La solució per a aquest expert, director de l’Institut Internet.org, només vindrà de comprendre que els algoritmes són una manera de veure el món que està al servei d’unes ideologies que es poden reinventar, i que el pensament utòpic —completament fora de la lògica de l’algoritme— és un posicionament legítim i desitjable.

Per la seva banda, Miquel Seguró, professor de filosofia de la UOC i investigador de la Càtedra Ethos de la Universitat Ramon Llull, avisa que «el perill de manipulació és obvi». La primera impressió, explica, és que els algoritmes serveixen per a preveure i reduir el grau d’incertesa d’un càlcul computacional: «Combinen la inducció —per exemple, si una persona ha comprat diverses novel·les de terror, li interessarà una altra novel·la en concret d’aquest gènere— i la deducció —si una persona ha comprat una novel·la de terror, alhora mostrarà interès per la novel·la policíaca o de suspens—». Per tant, hi ha la capacitat de «modular la incertesa del desig que encara no s’ha pogut formular el mateix usuari». Tot això acompanyat de la reducció de la diversitat: «Si un pot manipular el desig, també el pot canalitzar i reduir-lo a les variables que li interessen».


«L’economia algorítmica», l’era post-app

«La potència dels algoritmes actuals i l’ús de big data per a fer prediccions  permeten crear i automatitzar molts serveis nous. Tot això també permet que l’economia és mogui molt», explica Cabot. Segons Gartner, el 2020 els agents intel·ligents, és a dir, els algoritmes complexos amb capacitat d’autoaprenentatge i de comunicar-se amb llenguatge natural amb els éssers humans, facilitaran el 40% de les transaccions mòbils, i l’era post-app començarà a dominar. Llavors, per aquesta auditoria els consumidors s’hauran oblidat de les aplicacions i en lloc de confiar en aquestes ho faran en agents intel·ligents o assistents personals en el núvol, com Cortana, GoogleNow, Siri i Tiro, que qualifica de primers algoritmes.

De fet, com explica Borge, en el sector de les assegurances ja hi ha moltes empreses als Estats Units que implanten dispositius al cotxe que emmagatzemen tota l’activitat (manera d’accelerar, manera de frenar, velocitat, hores de conducció, etc.). Totes aquestes variables, amb l’algoritme adequat, «determinaran el cost» que tindrà l’assegurança de cadascú. En el sector bancari, per exemple, mitjançant targetes de crèdit, saben què, quan, on i a qui s’ha comprat alguna cosa i quant valia, i tot això els ajuda a elaborar estratègies de publicitat personalitzada; per exemple, el BBVA té un laboratori de dades només per a això, igual que Telefónica.

D’altra banda, en l'àmbit comercial es poden saber els costums alimentaris, la freqüència de compra i la quantitat de despesa gràcies, per exemple, a les targetes de soci dels supermercats. «A més, amb la recent normativa als Estats Units, els propietaris dels navegadors (Explorer, Chrome, Firefox, Safari, etc.) tenen permís per a vendre historials de navegació dels usuaris, i això evidentment també dona oportunitats per a publicitat personalitzada», afirma l’investigador. I les targetes de transport públic permeten fer un seguiment del nombre d’entrades, sortides i transport intermodal (per exemple, del metro a l’autobús o a l’inrevés). «Amb això les autoritats poden planificar millor la mobilitat urbana, preveure espais i moments més “perillosos” (accidents, atacs), etc.», afegeix. 


Principis per a la transparència i responsabilitat dels algoritmes

Així doncs, tenint en compte el poder que tenen els algoritmes per a determinar les decisions de la societat, per tal de conscienciar de la gravetat d’una possible manipulació, voluntària o no, de les dades, l’Association for Computing Machinery (ACM) —una de les associacions mundials d’informàtica més grans i de la qual Cabot és membre— ha proposat set principis per a la transparència i responsabilitat dels algoritmes. Per a l’investigador de la UOC són una eina important per a reflexionar sobre com cadascú pot intentar aplicar-los en la seva feina diària:

  1. Consciència. Els propietaris, dissenyadors, programadors i usuaris d’algoritmes han de ser conscients de les possibles conseqüències del seu ús i dels possibles biaixos en què poden incórrer.
  2. Accés i correcció. Les agències reguladores han de disposar dels mecanismes per a corregir els perjudicis individuals a causa dels biaixos detectats en els algoritmes.
  3. Responsabilitat. Les institucions són responsables de les decisions preses pels seus algoritmes, encara que aquests no siguin capaços d’explicar com s’ha arribat a aquestes decisions.
  4. Explicació. Especialment quan afecten polítiques públiques, les institucions que utilitzen algoritmes per a la presa de decisions han d’explicar els procediments seguits pels algoritmes i les decisions que prenen.
  5. Procedència de les dades. Els programadors de l’algoritme han d’explicar les característiques de les dades d’entrenament (d’on les van treure, com les van obtenir, etc.), a més de fer una exploració dels possibles biaixos de l’algoritme causa de l’ús d’aquestes dades. Per tal d’evitar problemes de privacitat o secrets comercials, es pot restringir l’accés a aquestes dades d’entrenament a persones no autoritzades explícitament.
  6. Auditoria. Cal guardar els models, els algoritmes, les dades i les decisions per si calgués fer una auditoria en el futur.
  7. Validació i comprovació. Les institucions han d’instaurar mètodes rigorosos per a la validació dels models (i documentar-los). També han d’efectuar proves específiques per a detectar possibles biaixos de l’algoritme. Els resultats d’aquestes proves també haurien de ser públics.

 

#expertsUOC

Jordi Cabot

Director del grup de recerca SOM Research Lab i investigador ICREA de la UOC.

Expert/a en:

Àmbit de coneixement:

Javier Borge

Investigador del grup de recerca en sistemes complexos (CoSIN3) de la UOC.

Expert/a en:

Àmbit de coneixement:

Enric Puig-Punyet

Professor de filosofia de la UOC i director de l'Institut Internet.org.

Expert/a en:

Àmbit de coneixement:

Miquel Seguró

Professor de filosofia de la UOC i investigador de la Càtedra Ethos de la Universitat Ramon Llull.

Expert/a en:

Àmbit de coneixement: