Um bom Agente IA também precisa saber dizer “não sei”

Quando uma empresa começa a considerar o uso de Inteligência Artificial no atendimento, uma das expectativas mais comuns é que o Agente IA seja capaz de responder a qualquer pergunta.

Se o cliente perguntou, o Agente deve responder. Se não encontrou a informação imediatamente, deve formular alguma explicação. Se existe uma dúvida, deve apresentar a resposta que parece mais provável.

Essa expectativa parece razoável, mas cria um dos maiores riscos de uma operação com IA: transformar a capacidade de produzir respostas em uma obrigação de sempre responder.

Modelos de linguagem são bons em construir textos coerentes. Isso não significa que todas as informações presentes nesses textos sejam verdadeiras, atuais ou adequadas ao contexto do cliente. Quando não possuem dados suficientes, eles ainda podem produzir uma resposta plausível.

Por isso, um bom Agente IA não é aquele que responde tudo. É aquele que reconhece quando deve responder, quando precisa consultar outra fonte e quando a situação deve ser transferida para uma pessoa.

O problema não é apenas a resposta errada

Uma resposta claramente absurda costuma ser identificada rapidamente. O risco maior está na resposta errada que parece correta.

Ela pode apresentar uma explicação organizada, utilizar termos relacionados ao assunto e manter o mesmo tom de confiança usado em respostas verdadeiras. Para quem recebe o atendimento, não existe necessariamente um sinal visível de que aquela informação foi deduzida, estimada ou inventada.

O perfil de IA generativa do NIST utiliza o termo confabulação para descrever situações em que sistemas de IA generativa produzem conteúdo falso ou incorreto e o apresentam com confiança. O risco aumenta quando as pessoas acreditam na informação justamente porque ela parece convincente.

Em um atendimento empresarial, isso pode aparecer de várias formas:

* informar um prazo que não existe;

* confirmar uma condição comercial que não foi autorizada;

* inventar uma característica do produto;

* interpretar incorretamente uma política de cancelamento;

* afirmar que um pagamento foi identificado sem consultar o sistema;

* responder sobre uma exceção como se ela fosse uma regra;

* utilizar uma informação antiga que continua registrada na base de conhecimento.

O problema não termina na mensagem incorreta. Depois dela, a empresa pode precisar corrigir a informação, administrar a frustração do cliente, envolver outras áreas e assumir algum compromisso criado indevidamente pelo próprio atendimento.

A resposta inventada deixa de ser apenas um erro de texto e passa a produzir consequências operacionais. Esse é um dos principais riscos de usar IA no atendimento sem limites, fontes e processos bem definidos.

Por que uma IA tenta responder mesmo quando não sabe?

Modelos de linguagem são treinados para prever continuações prováveis de um texto. Em muitos processos de treinamento e avaliação, acertar uma resposta produz um resultado melhor do que não responder. Isso pode incentivar o modelo a arriscar uma resposta mesmo quando não possui segurança suficiente.

Uma pesquisa publicada pela OpenAI em setembro de 2025 argumenta que parte das alucinações persiste porque avaliações tradicionais recompensam tentativas de resposta, enquanto admissões de incerteza recebem pouco ou nenhum crédito.

Em outras palavras, o sistema pode ser incentivado a adivinhar em vez de dizer que não sabe.

Um dos exemplos apresentados compara dois modelos na SimpleQA, uma avaliação de perguntas factuais.

O gpt-5-thinking-mini se absteve de responder em 52% dos casos. Ele apresentou 22% de respostas corretas e 26% de respostas erradas.

O OpenAI o4-mini se absteve em apenas 1% dos casos. Ele alcançou 24% de respostas corretas, mas produziu 75% de respostas erradas.

A diferença na quantidade de acertos foi pequena. A diferença na quantidade de erros foi enorme.

Esse resultado não deve ser interpretado como uma comparação direta entre sistemas de atendimento. Ele demonstra um princípio importante: forçar um modelo a responder mais pode aumentar pouco sua utilidade e aumentar muito a quantidade de respostas falsas.

O objetivo de uma operação empresarial não deveria ser maximizar o número de perguntas respondidas. Deveria ser maximizar o número de problemas resolvidos corretamente.

Dizer “não sei” não significa encerrar o atendimento

Existe uma diferença entre uma IA que simplesmente falha e uma IA que administra a própria incerteza.

Uma resposta como “não sei” pode ser frustrante quando não oferece nenhum caminho seguinte. Mas reconhecer a falta de informação não precisa significar abandonar o cliente.

O Agente pode dizer:

Não encontrei essa condição nas informações disponíveis. Vou consultar a fonte responsável antes de confirmar.

Também pode responder:

Para verificar isso, preciso do número do seu pedido.

Ou ainda:

Essa solicitação depende de uma análise da nossa equipe. Vou encaminhar a conversa com as informações que você já forneceu.

Nos três casos, o Agente não inventou uma resposta. Também não interrompeu o atendimento. Ele transformou a incerteza em uma próxima ação.

Essa é a diferença entre uma simples abstenção e um processo bem projetado.

As quatro principais fontes de incerteza

Para que um Agente IA saiba quando não deve responder diretamente, a empresa precisa reconhecer de onde a incerteza pode surgir.

1. A informação não foi fornecida

O Agente não pode conhecer uma condição que nunca foi registrada, integrada ou disponibilizada.

Se a política comercial permite descontos diferentes para cada situação, mas essas regras não estão presentes na base de conhecimento nem em um sistema consultável, o modelo não possui uma resposta confiável.

A solução não é aumentar o prompt até que a IA “entenda”. A informação precisa existir em algum lugar acessível.

Organizar o que um Agente IA precisa saber antes de atender clientes é uma responsabilidade da empresa, não uma capacidade que pode ser improvisada pelo modelo.

2. A informação pode estar desatualizada

Uma resposta pode ter sido correta há três meses e estar errada hoje.

Preços, disponibilidade, regras internas, prazos, contratos, campanhas e características de produtos mudam. Quando a base utilizada pelo Agente não possui responsáveis, datas de revisão e processos de atualização, ela se torna uma fonte de risco.

Nesse caso, o Agente pode recuperar corretamente o conteúdo armazenado e ainda assim fornecer uma resposta errada.

Por isso, a empresa precisa manter uma base de conhecimento viva, com responsáveis claros e revisão contínua.

3. A pergunta permite mais de uma interpretação

Nem toda incerteza está na resposta. Às vezes, ela está na própria pergunta.

“Qual é o prazo?” pode se referir ao prazo de entrega, pagamento, análise, cancelamento ou produção. Escolher uma interpretação sem confirmar pode levar a uma resposta tecnicamente correta para o problema errado.

Um Agente bem configurado deve saber fazer perguntas de esclarecimento antes de responder.

4. A situação está fora do seu escopo

Algumas solicitações exigem julgamento, autorização ou acesso que o Agente não possui.

Negociações excepcionais, reclamações sensíveis, decisões jurídicas, análises clínicas, alterações contratuais e concessões financeiras não deveriam ser tratadas como perguntas comuns de atendimento.

O fato de o modelo conseguir produzir uma resposta sobre o assunto não significa que ele tenha autoridade para tomar aquela decisão.

Responder, consultar ou transferir

Na prática, o comportamento de um Agente IA pode ser organizado em três caminhos.

Responder

O Agente responde diretamente quando a pergunta está dentro do seu escopo, existe informação suficiente e a fonte utilizada é considerada confiável.

Isso pode incluir dúvidas frequentes, explicações sobre produtos, orientações operacionais e outras situações previamente mapeadas.

Consultar

Quando a resposta depende de informações externas ou atualizadas, o Agente utiliza uma ferramenta ou sistema autorizado.

Ele pode consultar:

* o status de um pedido;

* a disponibilidade de um horário;

* o cadastro do cliente;

* o valor atualizado de um produto;

* uma política interna;

* as condições de uma proposta;

* a situação de um pagamento.

Nesse cenário, o modelo não precisa conhecer a resposta antecipadamente. Precisa saber qual fonte consultar e como interpretar o resultado.

Essa capacidade explica por que um Agente IA precisa de ferramentas para participar de uma operação real. Sem acesso a sistemas, ele pode conversar sobre uma tarefa, mas não consegue verificar o que realmente aconteceu.

Transferir

Quando a situação exige autorização, julgamento humano ou tratamento fora do fluxo padrão, o Agente transfere o atendimento.

A transferência deve incluir o contexto já coletado. Caso contrário, o cliente precisará repetir todo o problema e terá a sensação de que a automação apenas criou uma etapa adicional.

Uma transferência bem executada informa ao atendente:

* quem é o cliente;

* qual é a solicitação;

* quais dados já foram confirmados;

* quais respostas foram fornecidas;

* por que o Agente decidiu transferir;

* qual ação precisa ser realizada.

A pessoa assume a conversa a partir daquele ponto, e não desde o início.

A transferência humana não é uma falha da automação

Muitas empresas avaliam seus Agentes apenas pela capacidade de evitar o atendimento humano.

Quanto maior a taxa de automação, melhor seria o resultado. Quanto menos conversas chegassem à equipe, mais eficiente seria o sistema.

Essa métrica isolada pode criar o comportamento errado.

Se o Agente for pressionado a reter todas as conversas, ele pode começar a responder situações que deveriam ser transferidas. A taxa de automação aumenta, mas a qualidade do atendimento diminui.

A função da IA não é eliminar qualquer participação humana. É reduzir o trabalho repetitivo e encaminhar para as pessoas aquilo que realmente exige atenção, julgamento ou autoridade.

A abordagem pública de segurança e alinhamento da OpenAI destaca a importância de mecanismos que permitam às pessoas controlar, verificar, orientar e auditar ações realizadas por sistemas de IA. O documento também descreve sistemas capazes de identificar áreas de incerteza e buscar esclarecimentos com supervisores humanos.

O NIST segue uma direção semelhante. Seu framework recomenda que as organizações definam responsabilidades para a supervisão humana, documentem os limites de conhecimento dos sistemas e acompanhem exceções, erros, reclamações, intervenções e escalonamentos.

Transferir uma conversa no momento certo não representa uma derrota da automação. Representa o funcionamento correto da supervisão humana em Agentes IA.

O comportamento precisa ser definido antes da conversa

Não basta adicionar ao prompt uma frase como “não invente informações”.

A empresa precisa transformar essa intenção em regras operacionais.

O projeto do Agente deve estabelecer:

1. quais assuntos ele pode responder;

2. quais fontes devem ser utilizadas em cada assunto;

3. quais dados precisam ser solicitados ao cliente;

4. quais situações exigem consulta a sistemas;

5. quais condições obrigam uma transferência;

6. para qual equipe cada solicitação deve ser enviada;

7. quais informações precisam acompanhar o encaminhamento;

8. o que deve acontecer quando nenhuma pessoa estiver disponível.

Também é necessário definir como o Agente comunica a incerteza.

Ele não precisa apresentar mensagens vagas em todas as respostas nem repetir que pode estar errado. A incerteza deve ser comunicada quando ela pode alterar a decisão ou o comportamento do cliente.

O Model Spec da OpenAI recomenda explicitar a incerteza principalmente quando ela pode influenciar a conduta do usuário. Entre os fatores considerados estão o grau de dúvida e o impacto que uma resposta incorreta poderia produzir.

Quanto maior a consequência possível, menor deve ser a tolerância para respostas baseadas em suposição.

Esse comportamento também precisa ser testado antes da publicação. Casos ambíguos, informações ausentes, sistemas indisponíveis e solicitações fora do escopo devem fazer parte dos cenários usados para testar o Agente IA antes do atendimento real.

Um exemplo simples

Imagine que um cliente pergunte:

Posso cancelar o serviço agora e receber todo o valor de volta?

Um Agente mal configurado pode procurar padrões semelhantes em sua base e responder:

Sim. O cancelamento pode ser solicitado a qualquer momento, e o valor será devolvido integralmente.

A mensagem é clara, mas talvez a política dependa da data da compra, da utilização do serviço, do plano contratado ou de uma análise interna.

Um Agente mais confiável poderia responder:

As condições de reembolso dependem da data da contratação e do plano adquirido. Pode me informar o e-mail utilizado na compra para que eu consulte os dados antes de confirmar?

Depois da consulta, ele poderia apresentar a condição aplicável ou transferir o caso para a equipe financeira.

O segundo atendimento pode levar uma etapa a mais. Em compensação, ele evita a criação de uma promessa sem fundamento.

Como avaliar se o Agente administra bem a incerteza

Além da taxa de automação, uma empresa pode acompanhar indicadores como:

* quantidade de respostas corrigidas posteriormente;

* frequência de informações não encontradas;

* taxa de perguntas de esclarecimento;

* uso das fontes e ferramentas disponíveis;

* quantidade de transferências por motivo;

* percentual de transferências consideradas necessárias;

* tempo entre a transferência e a resposta humana;

* problemas resolvidos sem retrabalho;

* reclamações causadas por informações incorretas;

* assuntos que mais geram dúvida.

O Playbook de medição do NIST AI RMF recomenda definir métricas, limites aceitáveis de desempenho e mecanismos para detectar, acompanhar e medir erros, incidentes e impactos negativos.

Também vale revisar amostras de conversas nas quais o Agente respondeu com alta convicção, principalmente quando envolvem preços, prazos, contratos, pagamentos ou decisões que produzam algum efeito para o cliente.

O objetivo não é fazer o Agente dizer “não sei” com maior frequência. É fazer com que ele reconheça corretamente quando não possui condições de responder.

Abster-se demais também reduz a utilidade. Responder demais aumenta o risco. O trabalho de projeto está em definir a fronteira adequada para cada operação e medir se o Agente IA está funcionando com indicadores que vão além do volume de mensagens automatizadas.

A confiança depende de limites visíveis

À primeira vista, uma IA que responde tudo pode parecer mais capaz.

Com o tempo, basta uma sequência de informações inventadas para que clientes e funcionários deixem de confiar no sistema. Depois disso, até as respostas corretas passam a ser verificadas manualmente.

A confiança não nasce da aparência de conhecimento ilimitado. Ela nasce da previsibilidade.

As pessoas precisam entender o que o Agente sabe, de onde vêm suas informações, quais ações ele pode executar e o que acontece quando encontra uma situação fora do padrão.

Em 25 de março de 2026, ao explicar a evolução do Model Spec, a OpenAI destacou que sistemas mais autônomos dependerão cada vez mais da capacidade de comunicar incerteza, respeitar os limites de sua autonomia, evitar surpresas e acompanhar a intenção humana ao longo do tempo.

Esses princípios não servem apenas para modelos de fronteira. Eles também ajudam a definir como um Agente deve se comportar dentro de uma empresa.

Um Agente confiável não tenta parecer onisciente. Ele utiliza o que sabe, consulta o que pode verificar e reconhece aquilo que precisa ser decidido por outra pessoa.

A confiança não nasce de uma IA que responde tudo. Nasce de uma IA que sabe quando responder, consultar outra fonte ou chamar alguém.