Modelos de IA não cumprem normas da UE

Alguns dos principais modelos de inteligência artificial estão a falhar em cumprir as normas da União Europeia em áreas críticas, como segurança cibernética e discriminação, de acordo com testes recentes. As avaliações, conduzidas pela startup suíça LatticeFlow, revelam lacunas significativas que podem resultar em sanções milionárias.
16 de Outubro, 2024

Os modelos de inteligência artificial (IA) mais proeminentes enfrentam dificuldades para cumprir as regulamentações europeias em áreas cruciais, como resiliência de segurança cibernética e produção de conteúdos discriminatórios. Dados recentes, obtidos pela Reuters, sugerem que modelos desenvolvidos por gigantes da tecnologia como Meta, OpenAI, Alibaba, entre outros, apresentam lacunas importantes na conformidade com o novo regulamento da União Europeia para IA.

A União Europeia já vinha discutindo um novo quadro regulatório para a inteligência artificial antes de o ChatGPT, da OpenAI, ter sido lançado ao público no final de 2022. A popularidade sem precedentes do modelo e o debate público em torno dos riscos existenciais da IA aceleraram o processo de criação de regras específicas para as chamadas “IA de propósito geral” (GPAI).

Com o regulamento de IA (AI Act) previsto para entrar em vigor gradualmente nos próximos dois anos, um novo instrumento desenvolvido pela startup suíça LatticeFlow e parceiros oferece uma primeira avaliação das capacidades de conformidade dos modelos de IA generativa, com base nas exigências do bloco europeu. O “Large Language Model (LLM) Checker”, uma ferramenta criada em parceria com a Universidade ETH Zurich e o instituto de pesquisa INSAIT da Bulgária, avaliou dezenas de modelos em conformidade com as categorias definidas pela regulamentação.

Os resultados do LLM Checker, publicados pela LatticeFlow, e revelados pela Reuters, revelam uma pontuação média de 0,75 ou superior para modelos desenvolvidos por empresas como Meta, Anthropic, OpenAI, Alibaba e Mistral. No entanto, os testes também destacaram áreas de fragilidade que exigem atenção das empresas para evitar sanções significativas. De acordo com o AI Act, falhar em cumprir as normas pode resultar em multas de até 35 milhões de euros ou 7% do volume de negócios anual global.

As maiores lacunas foram identificadas na produção de conteúdos discriminatórios e na resistência a ciberataques específicos, como o “prompt hijacking” – uma técnica onde atacantes disfarçam comandos maliciosos como legítimos para roubar informações sensíveis. Nestes testes, modelos como o GPT-3.5 Turbo, da OpenAI, e o “Qwen1.5 72B Chat”, da Alibaba, apresentaram pontuações relativamente baixas, com 0,46 e 0,37, respetivamente, em conteúdo discriminatório. Por outro lado, a Meta, com o modelo Llama 2 13B Chat, obteve uma pontuação de 0,42 na categoria de cibersegurança, enquanto o modelo “8x7B Instruct” da startup francesa Mistral ficou com 0,38.

O modelo com melhor desempenho geral foi o “Claude 3 Opus”, desenvolvido pela Anthropic, com uma média de 0,89, sinalizando uma maior preparação para responder aos requisitos europeus.

A LatticeFlow descreve o LLM Checker como uma plataforma aberta para os desenvolvedores testarem os seus modelos e identificarem áreas de melhoria, alinhando-os com os padrões técnicos exigidos pela regulamentação europeia. Segundo Petar Tsankov, CEO e cofundador da empresa, em declarações a Reuters, “os resultados são, em geral, positivos, mas mostram onde os modelos precisam de ajustes para cumprir as normas.”

A Comissão Europeia, que acompanhou o desenvolvimento da ferramenta, reconheceu o LLM Checker como um passo inicial na implementação das novas regras, mas não pode verificar a precisão dos resultados apresentados por ferramentas externas.

A regulamentação da IA na Europa enfrenta o desafio de conciliar a inovação tecnológica com a proteção dos direitos dos cidadãos. Os resultados dos testes da LatticeFlow servem como um alerta para as empresas de tecnologia, indicando a necessidade de redirecionar esforços para garantir a conformidade com as normas. No entanto, a definição de regras específicas para a aplicação da lei, especialmente para modelos de IA generativa, permanece em aberto. Está prevista a criação de um código de conduta para o setor até à primavera de 2025.

Para muitas empresas, o esforço necessário para ajustar os seus modelos de IA poderá representar não apenas um custo financeiro significativo, mas também uma oportunidade para liderar o mercado em conformidade regulatória. Por outro lado, os riscos de não se adaptarem são claros: além de sanções financeiras, as empresas podem sofrer com a perda de confiança do público e possíveis restrições operacionais.

Os dados revelados sugerem que, apesar de alguns progressos, os modelos de IA ainda têm um longo caminho a percorrer para se alinharem completamente com as exigências europeias. O futuro da inteligência artificial na União Europeia dependerá da capacidade dos reguladores e das empresas de encontrarem um equilíbrio entre a promoção de inovações e a mitigação dos riscos inerentes à tecnologia.

A vigilância contínua e a adaptação das ferramentas de conformidade, como o LLM Checker, serão fundamentais para garantir que a evolução da IA seja segura, ética e beneficie a sociedade em geral.

Opinião