Durante los últimos años hemos hablado mucho de lo que la inteligencia artificial es capaz de hacer.

Generar textos, analizar información, programar, tomar decisiones, automatizar procesos o actuar como agente.

Pero a medida que esos sistemas ganan autonomía, empieza a cobrar más importancia otra pregunta: ¿qué ocurre cuando la IA hace algo que nadie esperaba?

Este mes, la Comisión Europea ha convocado una reunión extraordinaria de su panel científico de inteligencia artificial para analizar varios incidentes relacionados con comportamientos de pérdida de control en modelos avanzados.

Entre las cuestiones que se están estudiando están la monitorización de estos sistemas, su capacidad para desarrollar nuevas habilidades y los mecanismos necesarios para supervisar modelos cada vez más potentes. Al mismo tiempo, cientos de científicos y especialistas en inteligencia artificial han reclamado avanzar hacia mecanismos internacionales de supervisión, sistemas de notificación de incidentes y estándares de seguridad comunes para los modelos más avanzados.

Desde el punto de vista de control interno, siempre hemos diseñado controles para personas, procesos, proveedores y sistemas. A la hora de incorporar la IA, las preguntas, en el fondo, son similares:

• ¿A qué información puede acceder un agente de IA?
• ¿Qué acciones puede ejecutar sin intervención humana?
• ¿Quién autoriza esas acciones?
• ¿Qué registro queda de lo que ha hecho? ¿Quién revisa sus decisiones?
• ¿Y existe una forma clara de detenerlo si se comporta de una manera inesperada?

Cuanto más autónoma sea la IA, más importante será responder a estas preguntas antes de ponerla a trabajar.