Inteligencia artificial en la Administración, mucho más que comprar tecnología

Los procedimientos tradicionales de las administraciones públicas están diseñados para comprar bienes o servicios cerrados, pero no sistemas como la inteligencia artificial (IA), que aprenden, evolucionan y tienen una lógica interna que puede ser opaca, según señala el informe Stakeholder Engagement in Public Procurement for Artificial Intelligence: A Mission-Oriented Playbook, elaborado por el profesor de la Universitat Oberta de Catalunya (UOC) Ismael Peña López para Participation AI.

"La inteligencia artificial se está convirtiendo rápidamente en una tecnología de uso general con un potencial significativo para la transformación en todos los ámbitos. El sector público la está adoptando cada vez más para una diversidad de fines, desde la mejora de la prestación de servicios públicos hasta el diseño y la aplicación de políticas, pasando por la promoción y la configuración de la propia tecnología como interés público", explica Peña López en su investigación.

Imaginemos que un ayuntamiento contrata un algoritmo para conocer mejor factores interseccionales de pobreza en el municipio, pero no puede auditar la manera en que toma decisiones el algoritmo ni si traduce sesgos discriminatorios. ¿Cómo se audita si su comportamiento es inclusivo? Supongamos que se contrata un sistema de IA para clasificar a solicitantes de ayudas sociales, pero las ONG que trabajan con colectivos vulnerables no son consultadas ni informadas. Esto puede derivar no solo en un diseño ineficaz, sino directamente en decisiones injustas.

La IA se puede usar también para asignar turnos médicos de forma más eficiente, pero el sistema puede no considerar realidades complejas como especialidades o restricciones personales. 

Según el informe de Peña López, profesor de los Estudios de Derecho y Ciencia Política de la UOC, las decisiones sobre IA en el sector público están bien fundamentadas en términos técnicos, pero tienen mucho margen de mejora en términos de estrategia y política. Si bien la parte técnica se afianza fuertemente en la normativa y en los esquemas técnicos de integridad pública, protección de datos, ciberseguridad o interoperabilidad, ambos resultan muy insuficientes cuando entramos en terrenos de alta complejidad e incertidumbre.

Los sistemas de IA, a diferencia de las tecnologías tradicionales, son dinámicos y opacos y requieren grandes volúmenes de datos, lo que complica su adquisición y gobernanza bajo los marcos de contratación pública tradicionales. Su integración en el sector público genera riesgos significativos en torno a la transparencia, la equidad, la confianza pública y la rendición de cuentas, además de la cuestión fundamental del propósito: los beneficios potenciales para el interés general deben compensar los riesgos en los que se incurra, por lo que dicho interés general debe ser consenso absoluto.

Cómo medir el impacto de la IA

Al firmar contrataciones públicas, las instituciones tienden a centrarse en el cumplimento de la ley o en aspectos técnicos, pero tienen dificultades para medir el impacto institucional o social de la IA, mucho más subjetivo o relativo a muchos otros factores cruzados. La adopción de esta tecnología revolucionaria puede reorganizar profundamente cómo trabajan los organismos públicos sin que esta reorganización se evalúe ni se planifique adecuadamente. Al mismo tiempo, muchas iniciativas de IA en el sector público nacen como proyectos aislados, sin conexión con metas compartidas o con otras administraciones. Para funcionar correctamente, la IA requiere una planificación y una organización que la Administración hace años que tiene pendiente.

Con el fin de afrontar estos problemas, el investigador ha elaborado un playbook con herramientas, como considerar la IA una infraestructura pública digital sujeta a ciclos de vida completos que incluyan diseño, implementación y evaluación y auditoría continuas. Peña López propone un enfoque de gobernanza orientado a misiones que permite definir objetivos colectivos, coordinar recursos entre sectores e incluir valores públicos como transparencia, inclusión y responsabilidad.

El playbook propone mapas de actores para identificar a quién hay que implicar, aplicar mecanismos participativos complementarios según el grado de institucionalización y establecer estándares de participación significativa. Otras de las soluciones aportadas por el investigador de la UOC son ampliar la gobernanza hacia enfoques orientados a misiones que prioricen objetivos públicos de largo plazo e impulsar modelos de gobernanza que coordinen actores intersectoriales, como la Administración, el sector privado, la academia y la sociedad civil.

En el campo de los recursos humanos, la adopción de la IA implica una transformación organizativa y, por lo tanto, requiere nuevas capacidades institucionales. El playbook de Peña López promueve modelos de ciclo de vida que incluyen monitoreo, evaluación, ajustes y aprendizaje institucional. El estudio concluye afirmando que también es necesaria una caja de herramientas participativas con el fin de asegurar que la IA se use para el bien común en las administraciones públicas.

El enfoque metodológico del estudio se basa en revisión de literatura sobre gobernanza de IA, infraestructura digital y contratación pública; diez entrevistas cualitativas a expertos del sector público, privado, académico y de la sociedad civil, y la aplicación de marcos conceptuales sobre innovación pública, diseño de políticas y participación.

En conclusión, el investigador propone cambios en la política de las administraciones públicas, como reformular la contratación de IA como política pública y no como una simple adquisición técnica, adoptar modelos de gobernanza por ciclo de vida, invertir en capacidades de participación, aplicar marcos de innovación orientados a misiones y desarrollar estándares de participación con criterios claros para que sea inclusiva, proporcional y significativa.

Esta investigación se ha realizado dentro del proyecto Participation AI del colectivo DigitalFems. El informe puede descargarse en: https://drive.google.com/file/d/1IRJv08KAVJZcQip7Ves1iY2vJFNr5b_5/view