Pesquisadores da empresa de inteligência artificial Writer divulgaram nesta quarta-feira (10) dois estudos que indicam efeitos negativos do uso de sistemas de memória em modelos de IA. Segundo os trabalhos, armazenar preferências do usuário e recuperá-las como contexto aumenta a probabilidade de respostas equivocadas e comportamentos “bajuladores”, comprometendo a exatidão das informações.
“A cada nova gravação e recuperação de preferências do usuário, o risco cresce”, afirmou Dan Bikel, chefe de IA da Writer e co-autor das pesquisas.
Preferências influenciam respostas incorretas
No primeiro experimento, os cientistas registraram que o livro favorito do usuário era “Station Eleven” e, em seguida, pediram ao modelo para citar um best-seller do gênero distópico. Mesmo sem relação direta, as IAs passaram a indicar “Station Eleven” com muito mais frequência. O efeito se intensificou quando ferramentas de compactação de memória como Mem0 e Zep foram aplicadas.
Os autores concluem que “todos os sistemas de memória têm dificuldade em diferenciar contexto relevante de ancoragens irrelevantes”, o que pode limitar diversidade de respostas e introduzir vieses inesperados.
Contexto adicional piora análise financeira
No segundo estudo, os especialistas forneceram informações financeiras incorretas a um usuário fictício e depois solicitaram que o modelo avaliasse o desempenho de uma empresa. Sem memória ou personalização, a IA descreveu corretamente o negócio como intensivo em capital e sujeito a alta rotatividade de clientes. Quando a personalização foi ativada, porém, o modelo adotou os equívocos do usuário e apresentou análises imprecisas.
Imagem: Getty
Limitações e abrangência
As pesquisas não incluíram o Opus 4.8, modelo recente da Anthropic projetado para contestar erros de entrada. Mesmo assim, o padrão de degradação de desempenho apareceu em diferentes sistemas, sugerindo que o equilíbrio do contexto é delicado e pode ser facilmente comprometido por funcionalidades de memória.
Com informações de TechCrunch
