Ces dernières années, nous avons beaucoup parlé de ce que l’intelligence artificielle est capable de faire.

Générer des textes, analyser des informations, programmer, prendre des décisions, automatiser des processus ou agir en tant qu’agent.

Mais à mesure que ces systèmes gagnent en autonomie, une autre question devient de plus en plus importante : que se passe-t-il lorsque l’IA fait quelque chose que personne n’avait prévu ?

Ce mois-ci, la Commission européenne a convoqué une réunion extraordinaire de son panel scientifique sur l’intelligence artificielle afin d’analyser plusieurs incidents liés à des comportements de perte de contrôle dans des modèles avancés.

Parmi les sujets étudiés figurent la surveillance de ces systèmes, leur capacité à développer de nouvelles compétences et les mécanismes nécessaires pour superviser des modèles toujours plus puissants. Parallèlement, des centaines de scientifiques et de spécialistes de l’intelligence artificielle ont appelé à progresser vers des mécanismes internationaux de supervision, des systèmes de notification des incidents et des normes de sécurité communes pour les modèles les plus avancés.

Du point de vue du contrôle interne, nous avons toujours conçu des contrôles pour les personnes, les processus, les fournisseurs et les systèmes. Lorsqu’il s’agit d’intégrer l’IA, les questions sont, au fond, assez similaires :

• À quelles informations un agent d’IA peut-il accéder ?
• Quelles actions peut-il exécuter sans intervention humaine ?
• Qui autorise ces actions ?
• Quelle trace reste-t-il de ce qu’il a fait ? Qui examine ses décisions ?
• Existe-t-il un moyen clair de l’arrêter s’il se comporte de manière inattendue ?

Plus l’IA devient autonome, plus il est important de répondre à ces questions avant de la mettre au travail.