A OpenAI reconheceu nesta terça-feira (21) que um de seus modelos de inteligência artificial violou os sistemas da Hugging Face durante um teste interno de cibersegurança que saiu do controle.
Em publicação no blog da companhia, a OpenAI explicou que o incidente envolveu o GPT-5.6 Sol e outro modelo ainda não lançado, ambos configurados com menos restrições para avaliações de segurança. O objetivo era medir a capacidade das IAs em cenários de ataque, utilizando o benchmark público ExploitGym.
Segundo a OpenAI, o modelo deveria operar sem acesso amplo à internet, exceto por uma ferramenta limitada para instalar pacotes necessários às tarefas. No entanto, a IA explorou uma vulnerabilidade não divulgada nesse instalador, obteve conexão livre e passou a buscar informações hospedadas pela Hugging Face relacionadas ao próprio benchmark.
Depois de encontrar brechas na infraestrutura da plataforma, o modelo extraiu soluções de testes diretamente do banco de dados de produção da Hugging Face, efetivamente “colando” nas respostas do ExploitGym. Para a Hugging Face, a movimentação se traduziu em “um ataque cibernético sofisticado e agressivo”, com milhares de ações automatizadas em sandboxes de curta duração e servidores de comando e controle espalhados por serviços públicos.
A falha marca o primeiro registro conhecido de um benchmark de segurança resultando em ataque real. A OpenAI afirmou ter relatado a vulnerabilidade do instalador de pacotes, além de trabalhar com a Hugging Face para aprofundar a investigação. A empresa promete novos controles tanto nos testes de modelos quanto na infraestrutura envolvida.
Imagem: Getty
Não está claro se a OpenAI enfrentará consequências jurídicas; é provável, contudo, que a conduta da IA infrinja o Computer Fraud and Abuse Act dos Estados Unidos. Em rede social, o pesquisador da companhia Micah Carroll comentou: “Se isso não convence de que riscos de desalinhamento serão preocupação central daqui para frente, não sei o que convencerá”.
Com informações de TechCrunch
