João Miguel Mesquita
A inteligência artificial está a entrar numa fase em que a discussão sobre segurança deixou de ser apenas uma questão técnica. O aumento das capacidades dos modelos e, sobretudo, a evolução dos agentes capazes de executar tarefas de forma autónoma estão a obrigar a repensar os mecanismos utilizados para testar, aprovar e acompanhar estas tecnologias.
Esta é a razão por que a Google, OpenAI e Anthropic estarão a preparar uma entidade independente dos governos para definir padrões de avaliação, testes e segurança aplicáveis aos sistemas de IA avançada. A proposta deverá estabelecer referências comuns para avaliação de riscos, testes e revisão dos modelos antes da sua disponibilização, criando uma base partilhada para medir aquilo que cada sistema consegue fazer e, sobretudo, aquilo que pode correr mal.
O problema é que a velocidade de evolução da IA está a ultrapassar a capacidade das organizações para compreender e avaliar os riscos associados. A discussão sobre padrões surge precisamente porque os mecanismos tradicionais de avaliação tecnológica podem não ser suficientes para sistemas que alteram o seu comportamento consoante os dados, executam sequências de tarefas e interagem com outros sistemas sem intervenção humana permanente.
A preocupação aumentou também com incidentes em que agentes autónomos ultrapassaram os limites dos ambientes onde deveriam operar. Estes episódios tornam mais concreta uma questão que durante algum tempo pertenceu sobretudo ao domínio da investigação: o que acontece quando um sistema recebe capacidade para agir, mas as salvaguardas existentes não conseguem antecipar todas as consequências das suas decisões?
A possibilidade de autoaperfeiçoamento recursivo acrescenta outra dimensão ao problema. A ideia de sistemas capazes de contribuir para a melhoria das suas próprias capacidades levanta questões sobre segurança, supervisão e limites de desenvolvimento. A discussão não está apenas em saber se determinada capacidade é tecnicamente possível, mas em determinar em que condições deverá ser utilizada.
Daí a importância atribuída à criação de padrões comuns. A existência de referências mínimas, métodos de avaliação comparáveis e procedimentos para comunicar incidentes permitiria reduzir uma das dificuldades atuais: a ausência de uma linguagem suficientemente uniforme para avaliar o risco de diferentes sistemas.
Mesmo que esses padrões venham a ser definidos, não resolvem sozinhos os problemas das organizações que utilizam IA. Para uma empresa, o risco da inteligência artificial mede-se menos pela capacidade abstrata de um modelo e mais pelas consequências que um erro pode produzir dentro da operação.
Um sistema com acesso a informação empresarial pode expor dados. Uma vulnerabilidade pode abrir uma nova porta para ataques informáticos. Uma resposta incorreta pode entrar num processo que anteriormente dependia de informação validada. Uma utilização inadequada pode comprometer requisitos de privacidade ou propriedade intelectual. E quando um sistema autónomo executa várias tarefas em cadeia, identificar a origem de um erro pode tornar-se mais difícil.
É aqui que a discussão sobre IA se aproxima das anteriores transformações tecnológicas. As perguntas fundamentais permanecem: qual é o retorno do investimento, que riscos adicionais são introduzidos, que novas capacidades ficam disponíveis, quem assume a responsabilidade e se a organização consegue detetar e corrigir problemas quando estes surgem.
A diferença está na velocidade. A adoção de uma nova infraestrutura tecnológica pode ser planeada, testada e acompanhada durante meses. Um modelo de IA pode ser atualizado, substituído ou integrado em novos processos num intervalo muito mais curto. A capacidade de mudança passa, assim, a fazer parte do próprio risco tecnológico.
Esperar por uma arquitetura global de segurança pode deixar as organizações dependentes de regras que ainda não existem. A alternativa passa por estabelecer critérios internos antes de a tecnologia chegar aos processos críticos.
Uma abordagem possível consiste em exigir documentação detalhada sobre cada modelo utilizado, incluindo capacidades, limitações conhecidas e resultados dos testes realizados. Os processos de gestão de alterações existentes nas organizações podem também ser adaptados para acompanhar as atualizações dos modelos e avaliar o impacto de cada mudança antes da sua entrada em produção.
A governação terá de acompanhar este processo. Políticas de utilização aceitável, mecanismos de aprovação e estruturas internas que envolvam áreas como segurança, jurídico, conformidade, dados e desenvolvimento podem estabelecer responsabilidades mais claras. Uma ferramenta de IA não deve entrar num processo relevante apenas porque está tecnicamente disponível.
A dimensão humana permanece igualmente importante. Os utilizadores precisam de saber identificar respostas incorretas, compreender as limitações dos sistemas e verificar os resultados antes de agir com base neles. A formação em IA deixa, por isso, de ser apenas uma questão de produtividade e passa a integrar a gestão do risco operacional.
Também a classificação dos casos de utilização deve ser proporcional ao impacto potencial. Um sistema que apoie decisões médicas ou financeiras e tenha contacto direto com clientes exige um nível de escrutínio diferente de uma ferramenta interna utilizada para resumir informação pública. Quanto maior for o impacto de uma decisão produzida ou apoiada pela IA, maior terá de ser a capacidade da organização para supervisionar, auditar e interromper o sistema.
A questão central deixa, assim, de ser apenas se a IA é segura. Passa a ser uma questão mais operacional: onde está a ser utilizada, que autonomia lhe foi concedida, a que dados pode aceder, que decisões pode influenciar e o que acontece quando o sistema se comporta de forma inesperada.
A criação de padrões comuns poderá ajudar a estabelecer referências para essa avaliação. Mas a existência de normas não substitui a responsabilidade de quem implementa a tecnologia. À medida que a IA ganha autonomia, a verdadeira questão empresarial deixa de ser apenas aquilo que estes sistemas conseguem fazer e passa a ser até onde faz sentido permitir-lhes atuar.
