João Miguel Mesquita
Para um CISO, a fronteira de segurança de um assistente de inteligência artificial já não termina na autenticação do utilizador. Quando a IA está ligada ao correio eletrónico, armazenamento cloud ou aplicações empresariais, recebe permissões que lhe permitem consultar dados e executar tarefas. Cada um desses privilégios passa também a fazer parte da superfície de ataque da organização.
Foi esse princípio que uma investigação da Check Point expôs ao identificar um canal de comunicação entre ambientes de execução do ChatGPT que deveriam permanecer isolados. A vulnerabilidade estava associada a um serviço interno utilizado para gerir pacotes de software e permitia que informação passasse entre diferentes ambientes.
Através de uma instrução dissimulada, de uma ligação para uma conversa partilhada ou de um modelo personalizado, um atacante podia interferir com a sessão da vítima. Depois de acionado o mecanismo, o assistente utilizava os privilégios já disponíveis para executar a tarefa e transmitir informação, enquanto continuava aparentemente a responder com normalidade ao pedido original.
Para uma equipa de segurança, esse detalhe é mais importante do que o mecanismo técnico específico. Não era necessário comprometer a palavra-passe do utilizador nem instalar malware no equipamento. O ataque explorava confiança que já tinha sido concedida ao assistente.
Durante uma demonstração, os investigadores conseguiram extrair informação de uma conta Gmail ligada à sessão comprometida e transferi-la para o ambiente do atacante. Algumas operações de leitura podiam ocorrer sem uma confirmação explícita do utilizador, sendo apenas apresentado um pequeno indicador visual depois de a consulta ao correio ter sido realizada.
O cenário foi descrito pelos investigadores como uma “ameaça interna coagida”. A IA não toma autonomamente a decisão de atacar. As suas instruções são manipuladas para que utilize capacidades autorizadas em benefício de terceiros.
Para o CISO, isto cria um problema particularmente incómodo: uma ação pode ser tecnicamente legítima do ponto de vista das permissões e, ainda assim, produzir uma fuga de informação.
O risco não se limita ao correio eletrónico. Segundo os investigadores, o mesmo princípio pode estender-se a armazenamento na cloud ou plataformas de colaboração, consoante os privilégios atribuídos ao assistente. Quanto maior for a integração da IA no ambiente empresarial, maior será também o conjunto de recursos que uma manipulação desse sistema poderá tentar alcançar.
A OpenAI eliminou a instância interna do repositório de software associada à vulnerabilidade, encerrando esta via específica de ataque. Isso resolve o problema identificado, mas não elimina a questão de segurança que o tornou possível.
O perímetro deixa de ser apenas quem pode entrar no sistema. Passa também a incluir aquilo que um agente autorizado pode fazer depois de estar dentro dele.
Esta mudança obriga as equipas de segurança a conhecer não apenas os utilizadores e aplicações existentes, mas também as soluções automatizadas que os trabalhadores estão a utilizar e os sistemas a que essas ferramentas têm acesso. Os investigadores defendem igualmente monitorização contínua durante a execução e controlos capazes de impedir transferências de dados para destinos não reconhecidos.
Para os CISO, esta é provavelmente a consequência mais relevante da crescente integração de IA generativa nas empresas. Quanto mais tarefas forem delegadas a assistentes e agentes, mais importante se torna perceber exatamente que acessos lhes foram entregues e como esses privilégios estão a ser utilizados.
Na segurança da IA empresarial, proteger a identidade já não chega. É preciso proteger também a utilização que a máquina faz da confiança que lhe foi concedida.
