Intel‧ligència artificial a l'Administració, molt més que comprar tecnologia

Els procediments tradicionals de les administracions públiques estan dissenyats per comprar béns o serveis tancats, però no sistemes com la intel·ligència artificial (IA), que aprenen, evolucionen i tenen una lògica interna que pot ser opaca, segons assenyala l'informe Stakeholder Engagement in Public Procurement for Artificial Intelligence: A Mission-Oriented Playbook, elaborat pel professor de la Universitat Oberta de Catalunya (UOC) Ismael Peña-López per a Participation AI.

"La intel·ligència artificial s'està convertint ràpidament en una tecnologia d'ús general amb un potencial significatiu per a la transformació en tots els àmbits. El sector públic l'està adoptant cada vegada més per a una diversitat de finalitats, des de la millora de la prestació de serveis públics fins al disseny i l'aplicació de polítiques, passant per la promoció i la configuració de la mateixa tecnologia com a interès públic", explica Peña López en la seva recerca.

Imaginem que un ajuntament contracta un algorisme per conèixer millor factors interseccionals de pobresa al municipi, però no pot auditar la manera com pren decisions l'algorisme ni si tradueix biaixos discriminatoris. Com s'audita si el seu comportament és inclusiu? Suposem que es contracta un sistema d'IA per classificar sol·licitants d'ajudes socials, però les ONG que treballen amb col·lectius vulnerables no són consultades ni informades. Això pot derivar no només en un disseny ineficaç, sinó directament en decisions injustes.

La IA es pot utilitzar també per assignar torns mèdics de manera més eficient, però el sistema pot no considerar realitats complexes com especialitats o restriccions personals. 

Segons l'estudi de Peña López, professor dels Estudis de Dret i Ciència Política de la UOC, les decisions sobre IA en el sector públic estan ben fonamentades en termes tècnics, però tenen molt marge de millora en termes d'estratègia i política. Si bé la part tècnica es consolida fortament en la normativa i els esquemes tècnics d'integritat pública, protecció de dades, ciberseguretat o interoperabilitat, ambdós resulten molt insuficients quan entrem en terrenys d'alta complexitat i incertesa.

Els sistemes d'IA, a diferència de les tecnologies tradicionals, són dinàmics i opacs i requereixen grans volums de dades, la qual cosa en complica l'adquisició i la governança sota els marcs de contractació pública tradicionals. La seva integració en el sector públic genera riscos significatius entorn de la transparència, l'equitat, la confiança pública i la rendició de comptes, a més de la qüestió fonamental del propòsit: els beneficis potencials per a l'interès general han de compensar els riscos en els quals s'incorri, per la qual cosa aquest interès general ha de ser consens absolut.

Com mesurar l'impacte de la IA

En signar contractacions públiques, les institucions tendeixen a centrar-se en el compliment de la llei o en aspectes tècnics, però tenen dificultats per mesurar l'impacte institucional o social de la IA, molt més subjectiu o relatiu a molts altres factors creuats. L'adopció d'aquesta tecnologia revolucionària pot reorganitzar profundament com treballen els organismes públics sense que aquesta reorganització s'avaluï ni es planifiqui adequadament. Al mateix temps, moltes iniciatives d'IA en el sector públic neixen com a projectes aïllats, sense connexió amb metes compartides o amb altres administracions. Per funcionar correctament, la IA requereix una planificació i una organització que l'Administració fa anys que té pendent.

Amb la finalitat d'afrontar aquests problemes, l'investigador ha elaborat un playbook amb eines, com ara considerar la IA una infraestructura pública digital subjecta a cicles de vida complets que incloguin disseny, implementació i avaluació i auditoria contínues. Peña López proposa un enfocament de governança orientat a missions que permet definir objectius col·lectius, coordinar recursos entre sectors i incloure valors públics com transparència, inclusió i responsabilitat.

El playbook proposa mapes d'actors per identificar a qui cal implicar, aplicar mecanismes participatius complementaris segons el grau d'institucionalització i establir estàndards de participació significativa. Altres solucions aportades per l'investigador de la UOC són ampliar la governança cap a enfocaments orientats a missions que prioritzin objectius públics de llarg termini i impulsar models de governançaque coordinin actors intersectorials, com l'Administració, el sector privat, l'acadèmia i la societat civil.

En el camp dels recursos humans, l'adopció de la IA implica una transformació organitzativa i, per tant, requereix noves capacitats institucionals. El playbook de Peña López promou models de cicle de vida que inclouen monitoratge, avaluació, ajustos i aprenentatge institucional. L'estudi conclou afirmant que també és necessària una caixa d'eines participatives a fi d'assegurar que la IA es faci servir per al bé comú a les administracions públiques.

L'enfocament metodològic de l'estudi es basa en revisió de literatura sobre governança d'IA, infraestructura digital i contractació pública; deu entrevistes qualitatives a experts del sector públic, privat, acadèmic i de la societat civil, i l'aplicació de marcs conceptuals sobre innovació pública, disseny de polítiques i participació.

En conclusió, l'investigador proposa canvis en la política de les administracions públiques, com ara reformular la contractació d'IA com a política pública i no com una simple adquisició tècnica, adoptar models de governança per cicle de vida, invertir en capacitats de participació, aplicar marcs d'innovació orientats a missions i desenvolupar estàndards de participació amb criteris clars perquè sigui inclusiva, proporcional i significativa.

Aquesta recerca s'ha realitzat dins del projecte Participation AI del col·lectiu DigitalFems. L'informe es pot descarregar a: https://drive.google.com/file/d/1IRJv08KAVJZcQip7Ves1iY2vJFNr5b_5/view