Grandes empresas de inteligência artificial vêm implementando programas de acesso restrito e rígidos “guardrails” para conter o uso malicioso de seus modelos. No entanto, especialistas que atuam na defesa de redes e na pesquisa ofensiva de segurança afirmam que essas barreiras acabam dificultando o próprio trabalho de proteção.
Exportação de modelos sob vigilância
Em junho, o governo dos Estados Unidos impôs controles de exportação aos modelos Mythos e Fable, da Anthropic, após relatório indicar a possibilidade de contornar as salvaguardas e usar as ferramentas em ataques cibernéticos. As restrições foram retiradas depois: o Fable 5 voltou ao acesso geral em 1.º de julho e o Mythos 5 foi liberado apenas para organizações norte-americanas previamente avaliadas.
Programas de acesso “confiável”
Para diminuir riscos, Anthropic mantém o Cyber Verification Program (CVP) e a OpenAI oferece o Trusted Access for Cyber. Pesquisadores aprovados nesses programas recebem versões dos modelos com menos bloqueios, mas ainda encontram limitações consideradas excessivas.
Críticas da comunidade ofensiva
O pesquisador Mark Dowd, veterano na descoberta e venda de vulnerabilidades zero-day, afirmou em podcast recente que não se sente confortável com “empresas aleatórias” decidindo sozinhas o que é seguro ou não em segurança digital.
Chris Anley, cientista-chefe da consultoria NCC Group, explica que solicitar a um modelo de IA a exploração de um bug é fundamental para confirmar sua gravidade. Quando o sistema se recusa a responder, disse, o trabalho de defesa fica comprometido. “É como um martelo: indispensável para construir, mas também pode ser usado como arma”, comparou.
Paolo Stagno, diretor-de-tecnologia da CrowdFense — empresa que desenvolve e comercializa falhas desconhecidas para governos — afirmou que as big techs tratam os clientes “como crianças” com seus filtros. Ele e a equipe utilizam modelos de ponta apenas para engenharia reversa; para procurar falhas e criar exploits, preferem modelos de código aberto executados localmente, evitando que dados sensíveis sejam enviados à nuvem.
Giuseppe Cali, caçador de zero-days, disse que não depende de IA para a parte ofensiva. Usa as ferramentas só para entender código e criar utilitários de apoio: “Quero descobrir e explorar as falhas eu mesmo”, resumiu.
Imagem: Getty
Inconsistência e migração para modelos sem filtros
Um pesquisador de um fabricante de componentes para smartphones, que pediu anonimato, afirmou que as ferramentas da Anthropic “quase não servem” para achar vulnerabilidades, já que a empresa não faz parte do CVP. “Se o sistema percebe algo ligado a segurança, simplesmente para de responder”, contou.
Chris Thompson, CEO da RemoteThreat e fundador da conferência Offensive AI Con, relata variações diárias no comportamento dos filtros, mesmo dentro dos programas mais flexíveis. “Perdemos tempo negociando com o modelo em vez de analisar a vulnerabilidade”, disse. Segundo ele, o resultado é o deslocamento de pesquisadores para modelos chineses de código aberto, como o GLM, livres de restrições de uso.
Thompson defende que os laboratórios de IA ampliem o acesso responsável e punam abusos, sob risco de os defensores ficarem para trás. “Vem aí uma onda de ataques em velocidade e escala inéditas, e quem tenta proteger está sendo sufocado agora”, alertou.
Com informações de TechCrunch
