Os riscos de usar IA no atendimento: resposta errada, dado sensível e promessa que a empresa não cumpre

Usar IA no atendimento pode melhorar velocidade, organização e capacidade de resposta.

Mas isso não significa que toda conversa deve ser automatizada sem critério.

Um Agente IA pode atender clientes, responder dúvidas, qualificar leads, encaminhar solicitações, registrar informações, enviar materiais e apoiar o time humano. O problema começa quando ele é mal configurado, mal supervisionado ou autorizado a agir além dos seus limites.

Antes, o risco era demorar para responder.

Agora, o risco pode ser responder rápido com a informação errada.

E isso muda tudo.

Uma resposta errada enviada por IA não é apenas um erro técnico. Para o cliente, ela é uma resposta da empresa. Se o Agente informa um preço incorreto, promete um prazo impossível, orienta o cliente de forma equivocada ou trata um caso sensível como se fosse uma dúvida comum, quem assume o impacto é a marca.

Por isso, IA no atendimento não deve ser tratada como “colocar um robô para conversar”.

Deve ser tratada como uma operação com escopo, regras, limites, supervisão e melhoria contínua.

O NIST AI Risk Management Framework trata a gestão de risco em IA como uma forma de incorporar confiança no desenho, desenvolvimento, uso e avaliação de sistemas de IA. A ideia é simples: se a IA vai participar de uma operação real, ela precisa ser pensada com critérios de risco, não só com empolgação tecnológica.

O maior risco não é a IA errar

Toda operação de atendimento tem risco.

Um vendedor humano pode prometer errado. Um atendente pode esquecer uma regra. Um suporte pode encaminhar mal uma solicitação. Uma planilha pode estar desatualizada.

A diferença é que a IA aumenta a escala.

Se uma pessoa erra uma regra uma vez, o erro pode afetar um cliente. Se um Agente IA mal treinado erra a mesma regra repetidamente, o erro pode aparecer em dezenas ou centenas de conversas antes que alguém perceba.

O problema não está apenas em “a IA pode errar”.

O problema está em liberar a IA sem mapear onde o erro seria mais caro.

Antes de colocar um Agente IA em contato com clientes, a empresa deveria responder perguntas como:

• o que a IA pode responder com segurança?
• o que ela nunca deve prometer?
• quais assuntos exigem confirmação humana?
• quais dados ela pode coletar?
• quais informações ela não deve pedir?
• quando ela deve parar de tentar resolver e chamar uma pessoa?
• quais ações precisam de aprovação antes de serem executadas?
• quem acompanha as conversas depois da implantação?

Sem essas respostas, a empresa não tem uma operação de IA. Tem uma interface inteligente operando em terreno indefinido.

E terreno indefinido é onde os problemas aparecem.

Risco 1: resposta errada com aparência de certeza

Um dos riscos mais conhecidos da IA generativa é produzir uma resposta convincente, bem escrita e errada.

No atendimento, isso é perigoso porque o cliente não avalia apenas a qualidade do texto. Ele avalia a utilidade da resposta.

Uma resposta bonita, mas incorreta, continua sendo uma má resposta.

Esse risco aparece quando o Agente IA tenta responder sobre algo que não está claro na base de conhecimento, interpreta uma regra de forma ampla demais, mistura informações antigas com novas ou tenta preencher lacunas quando deveria admitir que não sabe.

No atendimento real, isso pode virar situações como:

• informar uma política de troca que não existe;
• explicar um serviço de forma diferente do que a empresa entrega;
• dar um prazo sem consultar a operação;
• confirmar uma disponibilidade que ainda precisava ser validada;
• responder uma objeção comercial com uma promessa agressiva demais;
• tratar uma exceção como se fosse regra;
• orientar o cliente com base em um documento antigo.

O problema não é só o erro.

O problema é a autoridade percebida.

Quando a resposta vem no canal oficial da empresa, com tom confiante e linguagem organizada, o cliente tende a acreditar. Depois que a expectativa foi criada, desfazer a promessa custa mais do que responder com cautela desde o início.

Por isso, um Agente IA bem implementado precisa ter limites claros de resposta.

Ele deve saber quando responder, quando pedir mais contexto, quando consultar uma base, quando recusar uma afirmação e quando encaminhar para uma pessoa.

Essa é uma diferença importante entre simplesmente automatizar mensagens e construir uma operação com Agentes. Um Agente IA na prática não deveria apenas conversar. Ele precisa entender o que está autorizado a fazer em cada situação.

Risco 2: exposição ou uso inadequado de dados sensíveis

Atendimento envolve dados.

Nome, telefone, e-mail, CPF, endereço, histórico de compra, comprovante de pagamento, informações de saúde, dados financeiros, prints, documentos, fotos e detalhes pessoais podem aparecer em uma conversa comum.

Por isso, um Agente IA não pode ser tratado apenas como uma ferramenta de resposta.

Ele também participa do fluxo de informação da empresa.

O risco surge quando a IA pede dados demais, armazena dados sem necessidade, expõe informações em uma resposta, encaminha conteúdo sensível para a pessoa errada ou usa dados do cliente sem uma regra clara.

Nem todo dado precisa ser coletado.

Nem todo dado precisa ser salvo.

Nem todo dado deve ser visível para toda a equipe.

E nem toda informação recebida pelo WhatsApp deveria ser usada pela IA para conduzir a conversa.

A OECD AI Principles reforça pontos como privacidade, transparência, segurança, responsabilização e supervisão humana no uso de IA confiável. Para uma empresa que usa IA no atendimento, isso significa que a conversa precisa ter critérios claros sobre quais informações podem ser pedidas, armazenadas, usadas e compartilhadas.

Na prática, a empresa deve definir:

• quais dados o Agente pode pedir;
• em qual momento da conversa esses dados fazem sentido;
• onde esses dados serão registrados;
• quem terá acesso;
• por quanto tempo serão usados;
• quais dados devem ser evitados;
• quais situações exigem atendimento humano.

Um Agente IA não deve sair coletando informação porque “pode ser útil”.

Ele deve coletar o mínimo necessário para avançar a conversa com segurança.

Risco 3: promessa que a empresa não consegue cumprir

Esse é um dos riscos mais perigosos no atendimento comercial.

A IA pode ser treinada para vender, responder objeções, explicar benefícios e conduzir o cliente para o próximo passo. Isso pode ser muito útil.

Mas existe uma linha importante entre vender bem e prometer demais.

Se o Agente IA diz que o suporte responde em 5 minutos, mas a empresa não consegue cumprir, criou-se uma promessa operacional falsa.

Se informa que a instalação acontece no mesmo dia, mas isso depende de agenda, criou-se uma expectativa errada.

Se oferece desconto sem regra, condição sem autorização ou garantia sem base contratual, o problema deixa de ser técnico e vira comercial.

A IA não pode inventar flexibilidade que a empresa não tem.

Ela precisa respeitar a operação real.

Um bom Agente IA deve vender com base na verdade operacional da empresa: prazos reais, limites reais, disponibilidade real, políticas reais, condições reais e exceções previamente definidas.

Caso contrário, ele apenas acelera desalinhamentos.

E desalinhamento comercial geralmente aparece depois, quando o cliente cobra aquilo que foi dito na conversa.

Risco 4: autonomia demais em decisões que exigem contexto humano

Nem toda conversa precisa de humano.

Mas algumas conversas não deveriam ser decididas apenas por IA.

Casos sensíveis, reclamações graves, pedidos fora da regra, negociações complexas, exceções financeiras, cancelamentos delicados, problemas jurídicos, informações médicas, decisões com impacto relevante e situações emocionalmente carregadas exigem mais cuidado.

O erro comum é imaginar que o objetivo da IA é resolver tudo sozinha.

Não é.

O objetivo é resolver o que pode ser resolvido com segurança e acionar pessoas quando a situação exige julgamento humano.

Um Agente IA maduro não é aquele que nunca chama um humano.

É aquele que sabe exatamente quando chamar.

Isso precisa ser desenhado antes da implantação. A empresa deve separar ações simples, ações assistidas e ações sensíveis. Essa lógica aparece com mais profundidade no conteúdo sobre supervisão humana em Agentes IA, porque a supervisão não serve para travar a operação. Serve para proteger decisões que não deveriam ser automáticas.

Quando o caso exige uma pessoa, o handoff não é falha.

É controle de qualidade.

Risco 5: base de conhecimento desatualizada

Muitas respostas ruins não nascem do modelo.

Nascem da informação que a empresa forneceu.

Se a base de conhecimento tem documentos antigos, preços desatualizados, políticas incompletas, perguntas frequentes mal escritas e materiais comerciais contraditórios, o Agente IA vai refletir essa bagunça.

IA não resolve contradição interna.

Ela pode organizar, resumir e interpretar informações. Mas, se a empresa não sabe qual regra vale, a IA também não deveria decidir sozinha.

Esse ponto costuma ser subestimado.

Treinar um Agente IA não é apenas subir documentos. É transformar conhecimento operacional em orientação clara.

O Agente precisa saber:

• quais informações são oficiais;
• quais documentos estão atualizados;
• quais respostas são preferenciais;
• quais exceções existem;
• quais assuntos não devem ser respondidos;
• quais materiais podem ser enviados;
• qual é o próximo passo correto em cada situação.

Sem isso, a empresa troca um problema antigo por um novo.

Antes, o atendimento humano era inconsistente.

Agora, a IA distribui inconsistência com mais velocidade.

Por isso, antes de falar em automação, vale organizar o que um Agente IA precisa saber antes de atender clientes. Uma base ruim não fica boa só porque foi entregue a uma IA.

Risco 6: falta de monitoramento depois da implantação

Muita empresa trata a implantação da IA como ponto final.

Na prática, ela é o começo.

Depois que o Agente começa a conversar com clientes reais, surgem dúvidas novas, objeções inesperadas, casos fora do padrão, erros de interpretação, falhas de informação e oportunidades de melhoria.

Se ninguém acompanha as conversas, a empresa não aprende.

E se a empresa não aprende, o Agente IA continua repetindo os mesmos erros.

O perfil do NIST para IA generativa reforça a importância de governar, mapear, medir e gerenciar riscos conforme o contexto de uso. No atendimento, isso significa que a empresa não deveria perguntar apenas se a IA está respondendo.

A pergunta melhor é:

a IA está respondendo certo?

E também:

• ela está conduzindo para o próximo passo?
• está coletando as informações necessárias?
• está evitando promessas indevidas?
• está chamando humanos nos momentos certos?
• está registrando dados corretamente?
• está melhorando com base nos casos reais?
• está gerando mais clareza para a operação ou apenas mais volume de mensagens?

Sem monitoramento, a IA vira uma caixa-preta no atendimento.

E atendimento não deveria operar no escuro.

Como reduzir riscos antes de liberar a IA para clientes

Falar sobre risco não significa ser contra IA.

Na verdade, é o contrário.

Empresas que levam IA a sério precisam falar sobre limites. Só existe confiança quando existem controles.

Um Agente IA bem implementado não tem liberdade absoluta. Ele tem liberdade suficiente para gerar resultado dentro de um perímetro seguro.

Esse perímetro inclui:

• escopo claro de atuação;
• base de conhecimento organizada;
• regras comerciais bem definidas;
• limites de resposta;
• recusas planejadas;
• aprovação humana em ações sensíveis;
• registro adequado de informações;
• monitoramento das conversas;
• melhoria contínua.

A empresa não precisa escolher entre atendimento humano e IA.

Também não precisa escolher entre velocidade e segurança.

Ela precisa desenhar uma operação onde a IA resolve o que faz sentido, organiza o que antes ficava perdido e chama pessoas quando o caso exige responsabilidade humana.

Antes de liberar uma IA para clientes, defina seus limites

A pergunta mais importante antes de colocar IA no atendimento não é:

“Qual modelo vamos usar?”

A pergunta mais importante é:

“O que essa IA está autorizada a fazer em nome da empresa?”

Essa resposta precisa ser objetiva.

A IA pode informar preços?

Pode negociar?

Pode confirmar pagamento?

Pode reagendar?

Pode cancelar?

Pode enviar documentos?

Pode responder sobre contrato?

Pode falar sobre prazos?

Pode lidar com reclamação?

Pode tratar dados sensíveis?

Pode prometer retorno humano?

Pode dizer que não sabe?

Pode recusar uma solicitação?

Pode chamar um humano sem pedir desculpas por isso?

Essas definições parecem simples, mas são elas que separam uma automação improvisada de uma operação confiável.

No fim, o risco de usar IA no atendimento não está apenas na tecnologia.

Está na falta de preparo da empresa para dizer com clareza o que a IA pode responder, o que deve recusar e quando precisa chamar um humano.

Antes de liberar uma IA para clientes, defina seus limites.

Porque uma IA rápida sem limite pode acelerar problemas.

Mas um Agente IA bem orientado, supervisionado e medido pode transformar atendimento em uma operação mais organizada, consistente e confiável.