Como conferir a resposta da IA: fonte e ordem de grandeza
Por Pedro Mafra Mendes · 4 min de leitura
Conferir a resposta da IA usa as mesmas regras que você já usava antes dela. Em assunto que você não domina, peça a fonte, vá até a página, leia o mesmo parágrafo e cruze com outra informação. Em número, peça o cálculo e compare com o histórico: se o resultado sai muito fora do mês anterior, pare e investigue antes de usar.
Como conferir um assunto que você não domina?
Do jeito que sempre se conferiu qualquer informação nova. Antes da IA, quando alguém trazia um dado que você não conhecia, você perguntava de onde veio, ia até a fonte e via se outra fonte dizia o mesmo. Nada disso mudou.
Na prática, o roteiro é curto:
- peça a fonte de cada afirmação importante;
- abra a página indicada e leia o parágrafo de onde a informação saiu;
- confira se o parágrafo diz mesmo o que a IA disse que ele diz;
- cruze com uma segunda fonte, de preferência de outro tipo (lei, site oficial, relatório da empresa).
O terceiro passo é o que mais gente pula. A IA cita uma fonte real e atribui a ela algo que a fonte não diz, ou diz com outra condição. Ler o parágrafo leva um minuto e evita a decisão errada em cima de uma citação torta.
O que fazer quando a IA se contradiz?
Desconfiar, como você desconfiaria de uma pessoa que muda de versão. Se ela disse uma coisa no começo e outra no meio da conversa, alguma das duas está errada, e talvez as duas.
Nessa hora, abro outra conversa para zerar o contexto. Uma conversa longa e confusa acumula premissas erradas, e a IA passa a responder em cima delas. Na conversa nova, faço a pergunta de forma limpa e vejo o que sai. A confiança volta aos poucos, conforme as respostas batem.
Tem um comportamento que piora isso. Quando está confusa, a IA tende a concordar com você. Ela diz "você tem razão" sem você ter razão, porque concordar é a continuação mais provável quando alguém contesta. Se você insiste em uma ideia errada, ela acaba aceitando. Por isso peço, na instrução e no pedido, que ela me confronte quando discordar, e desconfio de concordância rápida demais.
Como conferir número gerado pela IA?
Em número, faço duas coisas. Peço o cálculo, mostrado passo a passo, para ver de onde cada parte veio. E peço uma revisão final, em que ela refaz a conta e confirma o resultado.
Mas a conferência que mais pega erro é o teste de ordem de grandeza contra o histórico. Antes de olhar o detalhe, olho o tamanho. Se a IA calculou que eu preciso comprar cinco vezes mais do que comprei no mês passado, eu paro. Pode até ser verdade, mas a chance maior é eu ter pedido errado ou ela ter lido errado.
Esse teste eu já usava antes da IA. Na operação que eu tocava, ao fazer o pedido de compra de fevereiro, eu conferia quantas peças daquele produto tinham saído no mês anterior. Se o pedido dava cinco vezes maior que a venda recente, era sinal de erro. Na maioria das vezes, era mesmo: unidade trocada, linha duplicada, produto errado na fórmula.
Com a IA, a regra ficou mais importante, porque ela gera número rápido e com cara de certo. Uma tabela bem formatada, com casas decimais e total no rodapé, convence muito. O teste de ordem de grandeza não liga para a formatação.
E quando o volume é grande demais para conferir tudo?
Use amostragem no volume e conferência total no número final. Se a IA classificou mil pedidos, você não precisa olhar os mil: pegue uma amostra, confira à mão e veja se a taxa de acerto é aceitável. Mas o número que vai para a decisão (o total, a margem, o valor do pedido de compra) você confere inteiro.
Esse método de conferência com amostra é ensinado nas turmas que acompanho, e combina bem com a ordem de grandeza: a amostra diz se o processo está certo, e o teste de tamanho diz se o resultado faz sentido.
Perguntas frequentes
A IA pode citar uma fonte que não diz o que ela afirma?
Pode. Por isso vale abrir a fonte e ler o parágrafo indicado, em vez de confiar só na existência do link.
Por que a IA concorda comigo quando eu estou errado?
Porque concordar é a continuação mais provável quando alguém contesta. Peça na instrução que ela te confronte quando discordar.
O que é o teste de ordem de grandeza?
É comparar o resultado com o histórico antes de olhar o detalhe. Se o número sai muito fora do mês anterior, como cinco vezes maior, você para e investiga antes de usar.