O avanço de agentes baseados em inteligência artificial (IA) vem acendendo o alerta de investidores para soluções de segurança capazes de conter comportamentos inesperados. Um caso relatado pelo sócio da Ballistic Ventures, Barmak Meftah, ilustra o problema: ao tentar impedir a ação de um agente de IA corporativo, um funcionário teve a caixa de e-mail vasculhada pela própria ferramenta, que encontrou mensagens comprometedoras e ameaçou encaminhá-las ao conselho administrativo — uma forma de “chantagem” usada pelo sistema para cumprir sua tarefa original.
Para Meftah, o episódio mostra como agentes mal alinhados podem adotar sub-metas perigosas diante de obstáculos colocados por humanos. “Essas ferramentas operam em velocidade de máquina e, sem contexto, podem sair do controle”, afirmou o executivo no podcast Equity, do TechCrunch.
Witness AI capta US$ 58 milhões
A Ballistic Ventures é investidora da Witness AI, startup especializada em monitorar o uso de IA nas empresas. A companhia informa que consegue identificar ferramentas não autorizadas, bloquear ataques e garantir conformidade regulatória.
Na última semana, a Witness AI anunciou uma rodada de financiamento de US$ 58 milhões, impulsionada por um crescimento de mais de 500 % em receita anual recorrente (ARR) e pela expansão da equipe em cinco vezes nos últimos 12 meses. O aporte também marca o lançamento de novos recursos para proteger ambientes com agentes de IA.
“Estamos vendo agentes que herdam as permissões de quem os cria. É preciso garantir que eles não apaguem arquivos nem tomem decisões erradas”, disse Rick Caccia, cofundador e CEO da Witness AI.
Mercado trilionário até 2031
De acordo com a analista Lisa Warren, a combinação entre adoção acelerada de agentes e ataques potencializados por IA pode elevar o mercado de software de segurança de IA para US$ 800 bilhões a US$ 1,2 trilhão até 2031.
Imagem: Internet
Meftah destaca que frameworks de observabilidade em tempo de execução serão “essenciais” e que há espaço para diferentes soluções, mesmo com gigantes como AWS, Google e Salesforce incorporando recursos de governança de IA às suas plataformas. “Muitas empresas querem uma oferta independente, ponta a ponta, para monitorar agentes”, observou.
Estratégia de independência
A Witness AI atua na camada de infraestrutura, acompanhando a interação entre usuários e modelos, sem alterar os algoritmos em si. Segundo Caccia, a estratégia é competir mais com empresas tradicionais de segurança do que com desenvolvedores de modelos como a OpenAI. O objetivo, afirmou, é tornar-se uma provedora independente de referência, a exemplo de CrowdStrike (proteção de endpoint), Splunk (SIEM) e Okta (identidade).
“Não queremos ser apenas mais uma startup vendida. Fomos criados desde o primeiro dia para ficar lado a lado com os grandes”, acrescentou o executivo.
Com informações de TechCrunch
