Os modelos de inteligência artificial (IA) mais proeminentes enfrentam dificuldades para cumprir as regulamentações europeias em áreas cruciais, como resiliência de segurança cibernética e produção de conteúdos discriminatórios. Dados recentes, obtidos pela Reuters, sugerem que modelos desenvolvidos por gigantes da tecnologia como Meta, OpenAI, Alibaba, entre outros, apresentam lacunas importantes na conformidade com o novo regulamento da União Europeia para IA.
A União Europeia já vinha discutindo um novo quadro regulatório para a inteligência artificial antes de o ChatGPT, da OpenAI, ter sido lançado ao público no final de 2022. A popularidade sem precedentes do modelo e o debate público em torno dos riscos existenciais da IA aceleraram o processo de criação de regras específicas para as chamadas “IA de propósito geral” (GPAI).
Com o regulamento de IA (AI Act) previsto para entrar em vigor gradualmente nos próximos dois anos, um novo instrumento desenvolvido pela startup suíça LatticeFlow e parceiros oferece uma primeira avaliação das capacidades de conformidade dos modelos de IA generativa, com base nas exigências do bloco europeu. O “Large Language Model (LLM) Checker”, uma ferramenta criada em parceria com a Universidade ETH Zurich e o instituto de pesquisa INSAIT da Bulgária, avaliou dezenas de modelos em conformidade com as categorias definidas pela regulamentação.
Os resultados do LLM Checker, publicados pela LatticeFlow, e revelados pela Reuters, revelam uma pontuação média de 0,75 ou superior para modelos desenvolvidos por empresas como Meta, Anthropic, OpenAI, Alibaba e Mistral. No entanto, os testes também destacaram áreas de fragilidade que exigem atenção das empresas para evitar sanções significativas. De acordo com o AI Act, falhar em cumprir as normas pode resultar em multas de até 35 milhões de euros ou 7% do volume de negócios anual global.
As maiores lacunas foram identificadas na produção de conteúdos discriminatórios e na resistência a ciberataques específicos, como o “prompt hijacking” – uma técnica onde atacantes disfarçam comandos maliciosos como legítimos para roubar informações sensíveis. Nestes testes, modelos como o GPT-3.5 Turbo, da OpenAI, e o “Qwen1.5 72B Chat”, da Alibaba, apresentaram pontuações relativamente baixas, com 0,46 e 0,37, respetivamente, em conteúdo discriminatório. Por outro lado, a Meta, com o modelo Llama 2 13B Chat, obteve uma pontuação de 0,42 na categoria de cibersegurança, enquanto o modelo “8x7B Instruct” da startup francesa Mistral ficou com 0,38.
O modelo com melhor desempenho geral foi o “Claude 3 Opus”, desenvolvido pela Anthropic, com uma média de 0,89, sinalizando uma maior preparação para responder aos requisitos europeus.
A LatticeFlow descreve o LLM Checker como uma plataforma aberta para os desenvolvedores testarem os seus modelos e identificarem áreas de melhoria, alinhando-os com os padrões técnicos exigidos pela regulamentação europeia. Segundo Petar Tsankov, CEO e cofundador da empresa, em declarações a Reuters, “os resultados são, em geral, positivos, mas mostram onde os modelos precisam de ajustes para cumprir as normas.”
A Comissão Europeia, que acompanhou o desenvolvimento da ferramenta, reconheceu o LLM Checker como um passo inicial na implementação das novas regras, mas não pode verificar a precisão dos resultados apresentados por ferramentas externas.
A regulamentação da IA na Europa enfrenta o desafio de conciliar a inovação tecnológica com a proteção dos direitos dos cidadãos. Os resultados dos testes da LatticeFlow servem como um alerta para as empresas de tecnologia, indicando a necessidade de redirecionar esforços para garantir a conformidade com as normas. No entanto, a definição de regras específicas para a aplicação da lei, especialmente para modelos de IA generativa, permanece em aberto. Está prevista a criação de um código de conduta para o setor até à primavera de 2025.
Para muitas empresas, o esforço necessário para ajustar os seus modelos de IA poderá representar não apenas um custo financeiro significativo, mas também uma oportunidade para liderar o mercado em conformidade regulatória. Por outro lado, os riscos de não se adaptarem são claros: além de sanções financeiras, as empresas podem sofrer com a perda de confiança do público e possíveis restrições operacionais.
Os dados revelados sugerem que, apesar de alguns progressos, os modelos de IA ainda têm um longo caminho a percorrer para se alinharem completamente com as exigências europeias. O futuro da inteligência artificial na União Europeia dependerá da capacidade dos reguladores e das empresas de encontrarem um equilíbrio entre a promoção de inovações e a mitigação dos riscos inerentes à tecnologia.
A vigilância contínua e a adaptação das ferramentas de conformidade, como o LLM Checker, serão fundamentais para garantir que a evolução da IA seja segura, ética e beneficie a sociedade em geral.