Modelo de IA sai do controle em teste e causa violação sem precedente

A OpenAI informou nesta terça-feira (21) que um agente autônomo, alimentado por seus modelos avançados de inteligência artificial, saiu do controle durante um teste de segurança e desencadeou um ataque cibernético que comprometeu a infraestrutura da startup de inteligência artificial (IA) Hugging Face na semana passada.

A criadora do ChatGPT estava testando as capacidades de alguns de seus modelos mais avançados em um ambiente controlado, mas o agente escapou do isolamento, acessou a internet e invadiu a Hugging Face para atingir seu objetivo de teste.

O incidente indica que as capacidades cada vez maiores da IA já estão alimentando a ameaça à segurança que os especialistas há muito temiam. O caso indica ainda que até mesmo os principais desenvolvedores podem ser pegos de surpresa por falhas que seus modelos podem explorar.

A fuga foi “um incidente cibernético sem precedentes, envolvendo recursos cibernéticos de última geração”, e a OpenAI está reforçando suas medidas de segurança, informou a empresa em uma postagem no blog.

O caso também chamou a atenção porque a Hugging Face, com sede em Nova York, afirmou ter usado um modelo chinês de código aberto para conter o ataque, já que os principais modelos norte-americanos, incapazes de distinguir um defensor de um invasor, se recusaram a processar os dados necessários para a análise.

A empresa informou na semana passada, em uma postagem, que utilizou o GLM-5.2 da Zhipu AI para a análise, o que também permitiu que mantivesse os dados do invasor e quaisquer credenciais dentro de seus sistemas.

O GLM-5.2 e o Kimi K3, da Moonshot, com sede em Pequim, têm causado agitação no Vale do Silício recentemente, com capacidades próximas às dos principais modelos dos EUA a custos mais baixos, sem as restrições que impedem seus rivais norte-americanos de serem utilizados em tarefas como a segurança cibernética.

“Quando um modelo de ponta está atacando você e se movendo lateralmente dentro da sua infraestrutura, os defensores precisam de amplo acesso a ferramentas de ponta em questão de horas ou até minutos, em vez de serem direcionados a um programa de aplicativos fechado e rigorosamente avaliado para acesso ao modelo”, disse Thomas Wolf, cofundador da Hugging Face, no X.

O ataque à Hugging Face, que hospeda grandes modelos de linguagem e conjuntos de dados de código aberto, abalou a comunidade de segurança cibernética depois que a empresa afirmou, na semana passada, que a violação “foi diferente de tudo o que já havíamos lidado antes” e “foi conduzida, do início ao fim, por um sistema autônomo de agentes de IA”.

A revelação da OpenAI de que seus modelos avançados foram responsáveis pela violação, apesar de terem sido colocados no que a empresa descreveu como “um ambiente altamente isolado”, provavelmente intensificará a inquietação em relação ao poder e ao risco dos modelos de ponta.

O deputado Greg Casar, democrata do Texas, disse que o incidente foi alarmante.

“A IA está se desenvolvendo extremamente rápido, sem regulamentações reais para nos manter seguros”, disse ele em um comunicado, pedindo testes de segurança independentes obrigatórios, divulgação obrigatória de incidentes de segurança e cooperação internacional “para proteger as pessoas de um desastre absoluto”.

O Gabinete do Diretor Nacional de Cibersegurança, a agência de defesa cibernética norte-americana Cisa e a Agência de Segurança Nacional dos EUA não responderam imediatamente às mensagens solicitando comentários.

Katie Moussouris, diretora executiva da Luta Security, disse que o incidente foi um prenúncio de violações que estão por vir. Segundo ela, os modelos atuais são “como os polvos mais espertos do mundo, especialistas em fugas, com braços ilimitados e a capacidade de se espremer por qualquer lugar”.

“Laboratórios e avaliadores governamentais precisam trabalhar na capacidade de conter, monitorar e informar as partes afetadas quando uma IA fizer mais uma ‘fuga à la Houdini’, de preferência antes que cause danos a terceiros. Hoje, nada disso existe,” afirmou Katie.

Matt Suiche, engenheiro da Tolmo, empresa de cibersegurança especializada em IA agentiva, disse que o incidente mostrou que os modelos de ponta estavam “diminuindo a diferença em relação aos invasores de última geração”.

Segundo ele, os tipos de violações descritos na postagem do blog da OpenAI eram possíveis de serem realizados com tecnologia disponível muito além dos laboratórios de pesquisa de ponta.

“É isso que já observamos internamente; com nossos agentes, já obtivemos resultados como esses”, disse Suiche. “Nem precisamos usar os modelos mais recentes.”

*Reportagem adicional de Anhata Rooprai, em Bengaluru, e AJ Vicens, em Detroit