Nos últimos anos, temos falado muito sobre aquilo que a inteligência artificial é capaz de fazer.

Gerar textos, analisar informação, programar, tomar decisões, automatizar processos ou atuar como agente.

Mas, à medida que estes sistemas ganham autonomia, começa a tornar-se mais importante outra questão: o que acontece quando a IA faz algo que ninguém esperava?

Este mês, a Comissão Europeia convocou uma reunião extraordinária do seu painel científico de inteligência artificial para analisar vários incidentes relacionados com comportamentos de perda de controlo em modelos avançados.

Entre as questões em análise estão a monitorização destes sistemas, a sua capacidade para desenvolver novas competências e os mecanismos necessários para supervisionar modelos cada vez mais potentes. Ao mesmo tempo, centenas de cientistas e especialistas em inteligência artificial apelaram ao desenvolvimento de mecanismos internacionais de supervisão, sistemas de notificação de incidentes e normas de segurança comuns para os modelos mais avançados.

Do ponto de vista do controlo interno, sempre concebemos controlos para pessoas, processos, fornecedores e sistemas. Quando se trata de incorporar a IA, as perguntas são, no fundo, bastante semelhantes:

• A que informação pode um agente de IA aceder?
• Que ações pode executar sem intervenção humana?
• Quem autoriza essas ações?
• Que registo fica do que fez? Quem revê as suas decisões?
• Existe uma forma clara de o interromper se se comportar de maneira inesperada?

Quanto mais autónoma for a IA, mais importante será responder a estas perguntas antes de a colocar a trabalhar.