Como identificar e auditar alucinações em atendimentos automatizados por IA
Veja como gestores de clínicas podem detectar falhas, preservar evidências e criar controles para que a automação conduza o fluxo padrão sem colocar pacientes ou a operação em risco.
Conheça boas práticas para um atendimento por IA mais controlado
Neste artigo8 seções
- O que são alucinações em atendimentos automatizados por IA?
- Quais sinais indicam uma possível alucinação clínica?
- Quais evidências coletar em uma auditoria de IA conversacional?
- Como auditar alucinações em atendimentos automatizados por IA em seis etapas
- Métricas e critérios para decidir quando transferir para uma pessoa
- Como a arquitetura e os registros da Auris apoiam essa auditoria
- Checklist de auditoria para gestores sem formação técnica
- Exemplos de ocorrências e do SLA humano recomendado
O que são alucinações em atendimentos automatizados por IA?
Alucinações em atendimentos automatizados por IA são respostas que parecem plausíveis, mas não correspondem aos dados disponíveis, às regras da clínica ou ao conhecimento clínico validado. Em uma conversa de agendamento, isso pode aparecer como um horário inexistente, uma orientação sobre preparo de exame que não consta no protocolo ou uma afirmação indevida sobre cobertura de convênio.
O problema não é apenas uma informação incorreta. Uma resposta inventada pode levar o paciente a tomar uma decisão, atrasar uma procura por atendimento ou criar retrabalho para a recepção. Por isso, a auditoria precisa avaliar a consequência operacional e clínica do erro, não apenas a qualidade gramatical da mensagem.
Há uma diferença entre uma falha de entendimento e uma alucinação. Se o paciente escreve de forma ambígua e o sistema pede esclarecimento, existe uma incerteza administrada. Se o sistema preenche essa lacuna com um dado que não recebeu, há um risco de fabricação de informação.
A Organização Mundial da Saúde aborda princípios de ética e governança para inteligência artificial em saúde, incluindo supervisão humana, segurança e responsabilidade. Esses princípios ajudam a transformar a auditoria de conversas em uma prática de governança, e não em uma busca ocasional por mensagens problemáticas.
Quais sinais indicam uma possível alucinação clínica?
O primeiro sinal é a precisão sem fonte. Frases como “seu exame exige oito horas de jejum”, “o médico atende pelo convênio X” ou “há disponibilidade às 14h” precisam ser conferidas contra um protocolo, contrato, agenda ou registro de integração. Quanto mais específica a afirmação, maior deve ser a exigência de evidência.
Contradições dentro da mesma conversa também merecem atenção. Um exemplo é o sistema informar inicialmente que o exame está disponível em uma unidade e, depois, confirmar outra unidade sem que o paciente tenha alterado a preferência. A mudança pode indicar perda de contexto, leitura inadequada da agenda ou uso de dados desatualizados.
Observe ainda respostas que ignoram restrições do fluxo. Se a pessoa informa que é menor de idade, relata um sintoma de urgência ou pede interpretação de resultado, a conversa não deveria continuar como se fosse apenas uma marcação convencional. O desvio para um atendimento humano precisa estar previsto no desenho do processo.
Outros sinais são links inexistentes, nomes de profissionais que não atuam na unidade, preços sem data de validade, promessas de diagnóstico e recomendações que não distinguem informação geral de orientação médica. Uma amostra semanal com 50 a 100 conversas já pode revelar padrões, desde que seja selecionada por risco e não apenas ao acaso.
Para organizar a análise, classifique cada ocorrência em quatro níveis: informação incorreta sem consequência aparente, erro que causa retrabalho, erro que pode gerar perda financeira ou exposição de dados, e risco clínico potencial. Essa classificação orienta prioridade, prazo de correção e necessidade de comunicação ao paciente.
Quais evidências coletar em uma auditoria de IA conversacional?
A unidade básica da auditoria é o conjunto de contexto, resposta e consequência. Guarde a mensagem recebida, a resposta produzida, os dados consultados, a versão das instruções ou do modelo, o horário, o canal, o identificador da conversa e o evento posterior, como agendamento, transferência ou cancelamento.
O registro deve permitir responder a uma pergunta central: por que o sistema respondeu dessa forma? Um log que mostra apenas a mensagem final é insuficiente para investigar se houve falha na integração, regra mal configurada, dado ausente ou interpretação inadequada da intenção do paciente.
Em ambientes de saúde, minimize a exposição de dados pessoais durante a auditoria. Use identificadores pseudonimizados, controle de acesso por função, prazo de retenção definido e trilha de consulta aos registros. A ANPD apresenta orientações e materiais oficiais sobre a LGPD, que devem ser considerados junto às políticas internas da instituição.
Também registre a decisão tomada após a detecção. A ocorrência foi corrigida? O paciente recebeu contato humano? Houve necessidade de revisar o protocolo? A resposta foi incorporada a um conjunto de testes? Sem esse histórico, a organização pode corrigir uma mensagem isolada e manter a causa do problema.
Para cada conversa auditada, use uma ficha com os campos: intenção, dados necessários, resposta esperada, resposta entregue, evidência consultada, severidade, responsável, prazo, correção aplicada e resultado do reteste. Esse formato atende tanto a uma investigação operacional quanto a uma verificação de conformidade.
Como auditar alucinações em atendimentos automatizados por IA em seis etapas
- 1
Defina o que é uma resposta aceitável
Monte uma matriz por intenção, como agendamento, preparo, valores, convênio, cancelamento e urgência. Para cada uma, indique quais fontes podem ser usadas, quais afirmações são proibidas e quando a conversa deve ser encaminhada para uma pessoa.
- 2
Separe conversas por risco
Não avalie todas as mensagens com o mesmo peso. Priorize dúvidas sobre sintomas, preparo de exames, medicação, resultados, dados pessoais, conflito de agenda e reclamações, além de conversas em que o paciente pediu ajuda mais de uma vez.
- 3
Compare a resposta com uma fonte válida
Confira a mensagem contra o prontuário ou sistema de gestão autorizado, a agenda vigente, o protocolo da unidade e a tabela comercial correspondente. Se não houver fonte verificável, a resposta deveria declarar a limitação e solicitar apoio humano.
- 4
Avalie o efeito sobre o paciente e a operação
Pergunte se a mensagem poderia gerar uma decisão errada, uma perda de agendamento, exposição de informação ou atraso na assistência. Um erro de horário pode ser operacional; uma instrução de preparo incorreta pode exigir prioridade clínica e contato imediato.
- 5
Faça o escalonamento conforme o prazo definido
Interrompa a automação quando houver risco clínico, dúvida sem fonte, conflito de agenda não resolvido ou pedido explícito de atendimento humano. Os prazos precisam estar em um runbook, com fila, responsável e confirmação de que o caso foi assumido.
- 6
Corrija, teste e acompanhe a reincidência
Atualize a regra, a fonte, o fluxo ou o treinamento conforme a causa encontrada. Depois, repita o cenário em ambiente controlado e acompanhe a taxa de ocorrências por intenção, unidade, versão e período.
Métricas e critérios para decidir quando transferir para uma pessoa
- ✓Taxa de respostas sustentadas por uma fonte válida: mede quantas mensagens factuais podem ser verificadas em agenda, protocolo, sistema de gestão ou conteúdo aprovado. A meta deve ser definida por intenção, porque dúvidas de horário e dúvidas clínicas têm tolerâncias distintas.
- ✓Taxa de transferência adequada: considera se os casos que exigiam intervenção humana foram encaminhados e se casos rotineiros permaneceram no fluxo automatizado. Transferir tudo reduz o risco de resposta inadequada, mas também diminui o ganho operacional da automação.
- ✓Reincidência por causa-raiz: agrupe os erros em integração, dado ausente, instrução ambígua, interpretação de intenção, regra de negócio ou treinamento. Uma queda na reincidência é mais informativa do que contar apenas o número bruto de correções.
- ✓Tempo até a assunção humana: meça o intervalo entre o gatilho de risco e a confirmação de que um profissional assumiu a conversa. Em temas clínicos ou reclamações sensíveis, o prazo deve ser menor do que em dúvidas administrativas.
- ✓Agendamentos afetados por erro: relacione a ocorrência ao funil, verificando se houve desistência, remarcação, cancelamento ou perda de contato. Não confunda essa métrica com quantidade de consultas realizadas.
- ✓Cobertura de auditoria: acompanhe a proporção de conversas avaliadas por amostragem, por risco e por unidade. Uma auditoria que observa apenas os casos bem-sucedidos pode criar uma percepção artificial de qualidade.
Como a arquitetura e os registros da Auris apoiam essa auditoria
Depois de definir o método, o gestor pode avaliar se a plataforma conserva as evidências necessárias para investigar uma conversa. Na Auris, a integração nativa com sistemas de prontuário e agenda, como Feegow e Amplimed, conecta o contexto do atendimento ao diálogo e aos eventos do CRM conversacional. Isso permite comparar a mensagem enviada com a disponibilidade e o status registrados no sistema da clínica.
A arquitetura multiagente Orchestra coordena agentes especializados por meio de um agente maestro. Essa separação ajuda a direcionar uma dúvida de agenda, uma solicitação de reengajamento ou uma situação de risco para o fluxo correspondente, reduzindo a chance de um único componente responder fora de seu escopo. A arquitetura foi construída para reduzir ocorrências, mas não elimina a necessidade de logs, revisão e transferência humana.
Na prática, uma auditoria pode cruzar o conteúdo da conversa, o evento da API oficial do WhatsApp, a consulta à agenda, a mudança de etapa no CRM e o resultado final, como agendamento ou escalonamento. O mesmo princípio se aplica a integrações com outros sistemas conectados, desde que a clínica defina quais campos são fonte de verdade para cada intenção.
A operação também precisa de calibração contínua. Um caso detectado deve gerar um registro de causa, uma alteração documentada, um cenário de teste e um runbook de fallback, em vez de apenas uma edição informal no texto do robô. Para aprofundar os critérios de governança, consulte o guia sobre avaliação de fornecedores pela governança contínua da IA em clínicas.
Esse cuidado é especialmente relevante para clínicas com volume elevado, múltiplas unidades ou atendimento fora do horário comercial. A Auris informa atuação com mais de 489 profissionais, clínicas e laboratórios, além de indicadores operacionais fornecidos pela empresa, como redução de até 90% do trabalho de atendimento no WhatsApp e aumento de agendamentos de até 40%. Esses números são referências institucionais, não uma garantia para cada operação, e devem ser validados em um piloto com critérios previamente definidos.
Checklist de auditoria para gestores sem formação técnica
Comece escolhendo um período de análise e uma amostra que inclua conversas concluídas, abandonadas, transferidas e reabertas. Inclua também mensagens enviadas à noite, em fins de semana e em momentos de indisponibilidade da agenda, pois essas condições expõem falhas que não aparecem no horário de operação da recepção.
Para cada conversa, confirme cinco pontos: o sistema entendeu a intenção, usou uma fonte autorizada, respeitou o contexto do paciente, ofereceu uma ação possível e escalou quando não tinha segurança para continuar. Marque “não verificável” quando o log não permitir reconstruir o caminho da resposta; essa marcação já é um achado de governança.
Em seguida, revise os casos de maior risco com um profissional designado pela clínica. A pessoa não precisa revisar todas as conversas, mas deve validar protocolos de preparo, critérios de urgência, limites de orientação e informações que podem ser compartilhadas. O parecer deve ficar associado à versão do fluxo analisado.
Use o checklist de avaliação da qualidade clínica em conversas do WhatsApp como referência complementar para estruturar critérios de linguagem, precisão e segurança. Para temas de proteção de dados, combine a análise com o checklist de LGPD e segurança na automação de agendamento.
Ao final do ciclo, produza um relatório de uma página com quantidade de conversas, ocorrências por severidade, causas-raiz, ações abertas, prazos e tendência em relação ao ciclo anterior. A diretoria precisa enxergar o impacto no risco, no trabalho da recepção e nos agendamentos, sem receber apenas uma taxa abstrata de acerto.
Exemplos de ocorrências e do SLA humano recomendado
Caso 1: uma paciente pergunta se pode realizar determinado exame após ter se alimentado. O sistema responde com uma regra de jejum que não aparece no protocolo da unidade. Como a orientação pode interferir no preparo, a conversa deve ser transferida para um profissional habilitado, o evento deve receber prioridade e a resposta precisa ser retirada do fluxo até a validação.
Caso 2: um paciente pede consulta para uma especialidade e recebe confirmação de um horário que foi ocupado entre a consulta de disponibilidade e a confirmação. O risco principal é operacional, mas a clínica deve corrigir o agendamento, registrar o conflito e verificar a sincronização em tempo real. O checklist técnico para avaliar a sincronização entre IA, prontuário e agenda ajuda a investigar esse tipo de falha.
Caso 3: uma pessoa pergunta sobre dor intensa e relata piora durante a conversa. Se a automação continuar oferecendo horários sem reconhecer o contexto, o caso deve ser interrompido e encaminhado conforme o protocolo de urgência da instituição. A IA não deve diagnosticar nem decidir sozinha a prioridade assistencial.
Caso 4: o paciente pede para falar com a recepção, mas recebe novas mensagens automatizadas por vários minutos. Mesmo sem risco clínico aparente, isso caracteriza falha de experiência e de controle do escalonamento. O SLA deve prever confirmação de recebimento, identificação do responsável e bloqueio de novas mensagens automáticas enquanto a conversa estiver sob atendimento humano.
Esses exemplos mostram por que “responder corretamente” não é um critério único. A auditoria precisa verificar conteúdo, contexto, fonte, momento da transferência e efeito posterior sobre o paciente.
Perguntas Frequentes
O que significa alucinação em uma IA conversacional de saúde?▼
É quando a IA produz uma informação que não está sustentada pelo contexto recebido, por uma fonte autorizada ou por uma regra validada da clínica. Pode ser um horário inventado, uma orientação de preparo incorreta ou uma afirmação indevida sobre convênio. A resposta pode estar bem escrita e ainda assim representar risco operacional ou clínico.
Como saber se uma resposta automatizada está clinicamente incorreta?▼
Compare a mensagem com o protocolo vigente, os dados do sistema de gestão, a agenda e as orientações aprovadas pela instituição. Procure afirmações específicas sem fonte, contradições, promessas de diagnóstico e respostas que ignoram sintomas ou restrições informadas pelo paciente. Quando não houver evidência suficiente, a conduta adequada é interromper a automação e encaminhar o caso.
Quais logs são necessários para auditar conversas automatizadas em clínicas?▼
Registre mensagens recebidas e enviadas, horário, canal, identificador pseudonimizado, intenção detectada, dados consultados, eventos de agenda, versão do fluxo ou modelo e decisões de escalonamento. Também guarde o resultado posterior, como agendamento, cancelamento, transferência ou encerramento. Sem esses elementos, a clínica pode identificar o erro, mas terá dificuldade para explicar sua causa e comprovar a correção.
Quando a IA deve transferir a conversa para um atendente humano?▼
A transferência deve ocorrer diante de risco clínico, dúvida sem fonte confiável, conflito de agenda, reclamação sensível, solicitação explícita do paciente ou falha repetida de entendimento. O prazo depende da severidade e precisa estar documentado em um runbook, com responsável e confirmação de assunção. Para organizar esses critérios, consulte a matriz de risco para escalonamento de IA em clínicas.
Como reduzir a reincidência de alucinações em uma plataforma de atendimento?▼
Primeiro, classifique a causa: dado ausente, integração desatualizada, regra ambígua, intenção mal interpretada ou conteúdo sem aprovação. Depois, corrija a origem, crie um cenário de teste, registre a versão alterada e acompanhe o mesmo tipo de ocorrência por unidade e período. A calibração contínua, com participação da operação e de referências clínicas, é mais consistente do que editar respostas isoladas.
A auditoria de conversas por IA precisa considerar a LGPD?▼
Sim. Conversas de pacientes podem conter dados pessoais e, em certos casos, informações relacionadas à saúde, exigindo controles de acesso, finalidade, retenção, segurança e rastreabilidade. A clínica deve definir quem pode consultar os registros, por quanto tempo e para qual finalidade, além de avaliar as responsabilidades de cada fornecedor no tratamento dos dados.