P. Mafra MendesConversar

IA inventando dado ou respondendo não sei: como calibrar

Por Pedro Mafra Mendes · 4 min de leitura

A IA erra para dois lados, e os dois são ruins. Em um, ela afirma o que não sabe e inventa dado. No outro, responde "não sei" para o que deveria saber, por preguiça ou por instrução fechada demais. O trabalho é calibrar entre os extremos: cobrar a causa de cada erro, corrigir na instrução e testar o limite.

Por que a IA inventa dado?

Porque ela foi feita para continuar o texto da forma mais provável. Quando falta uma informação, a continuação provável é um número plausível, e não um buraco. Sem regra dizendo o contrário, ela preenche. O resultado é um relatório que parece certo, com um número que ninguém mandou e que ninguém confere.

Esse é o erro que todo mundo conhece e teme. Mas, quando a pessoa tenta resolver só esse lado, cai no outro.

Quando o "não sei" é preguiça?

Quando a IA tinha como saber. O exemplo mais comum é ela responder que não tem acesso à planilha que você mandou na conversa de ontem, quando a planilha está na pasta do projeto ou no sistema a que ela está ligada. Ou dizer que não encontrou a informação depois de olhar um único lugar.

Não aceito esse "não sei". Quando acontece, cobro a causa: por que você não achou? Onde procurou? O que te impediu de procurar no outro lugar? A resposta quase sempre aponta para a instrução. E aí mando corrigir na fonte, para não voltar amanhã.

O mesmo agente pode ficar tímido ou feroz?

Pode, e depende só da instrução. Já vi agente de base de conhecimento (aquele "cérebro" com os documentos da empresa) responder "não está no brain" para tudo. A instrução estava tão preocupada em não inventar que proibiu qualquer coisa fora dos documentos, inclusive o que estava em outro lugar óbvio.

Um caso simples mostra isso. Um agente desse tipo só respondeu a temperatura de São Paulo e do Rio quando a instrução passou a liberar a busca na internet. Antes, a resposta era "não tenho essa informação", o que era verdade dentro dos documentos e inútil para quem perguntou.

A instrução que funciona para mim tem quatro partes:

  • procure até achar, em todos os lugares a que você tem acesso, antes de dizer que não sabe;
  • nunca entregue resposta pela metade sem dizer o que faltou;
  • traga sempre a fonte de cada informação;
  • separe o que veio dos documentos do que veio da internet.

A última regra resolve muito. Você libera a busca externa e continua sabendo o que é dado da empresa e o que é dado de fora.

Cada ajuste tem custo?

Tem. Mandar procurar até achar gasta mais token e mais tempo. Liberar a internet abre espaço para fonte ruim. Exigir fonte de tudo deixa a resposta mais longa. Não existe instrução que só melhora.

Por isso calibro testando o limite. Faço a mesma pergunta difícil antes e depois do ajuste e vejo três coisas: acertou mais, inventou menos, ficou caro ou lento demais? Se o ganho de acerto vale o custo, fica. Se não vale, a regra fica mais específica, por exemplo procurar até achar só quando a pergunta é sobre dado da empresa.

Como corrigir na fonte em vez de corrigir na conversa?

Quando a IA erra para qualquer lado, a tentação é corrigir ali mesmo: "não, a planilha está na pasta tal". Funciona naquela conversa e volta na próxima. A correção que dura vai para a instrução do agente ou do perfil.

Meu caminho é sempre o mesmo. Peço para a IA explicar por que respondeu daquele jeito. Pergunto o que precisaria estar escrito para ela não repetir. Reviso a sugestão e coloco na instrução. Na próxima vez que o caso aparece, confiro se o comportamento mudou.

Com o tempo, a instrução fica mais precisa e o agente para de oscilar entre inventar e se recusar. Ele passa a procurar, a achar quando o dado existe e a dizer com clareza quando não existe, que é o que eu quero de qualquer pessoa que trabalha comigo.

Perguntas frequentes

Como impedir a IA de inventar número?

Diga na instrução que todo número precisa ter fonte e que ela deve avisar quando faltar dado. Depois confira as primeiras respostas para ver se ela cumpre.

Por que meu agente responde que não sabe quase tudo?

A instrução provavelmente está fechada demais. Mande procurar em todos os lugares a que ele tem acesso antes de desistir e separar a fonte interna da externa.

Liberar a busca na internet não aumenta o erro?

Aumenta o risco de fonte ruim. Por isso a instrução pede a fonte de cada informação e separa o que veio dos documentos do que veio de fora.

Leia também