Quando a inteligência artificial erra, quem responde pela decisão?

A empresa não transfere sua responsabilidade para um algoritmo. Entenda como definir supervisão, registros e limites para decisões corporativas apoiadas por inteligência artificial.

A responsabilidade não pertence ao algoritmo

Quando uma inteligência artificial participa de uma decisão que prejudica um cliente, colaborador, fornecedor ou parceiro, a tecnologia não se torna responsável pela consequência. A apuração jurídica depende da relação envolvida, da legislação aplicável e dos fatos concretos, mas a empresa continua responsável por escolher o sistema, definir sua finalidade, fornecer dados, estabelecer controles e decidir como a resposta será utilizada.

A presença de uma aprovação humana também não encerra a questão. Se o profissional apenas confirma automaticamente a recomendação apresentada pela máquina, sem acesso aos critérios, aos dados relevantes ou a uma forma real de contestação, existe supervisão apenas no organograma. Uma revisão humana efetiva exige autoridade para interromper o processo, informações suficientes para identificar inconsistências e tempo compatível com a complexidade da decisão.

Por isso, a pergunta mais útil não é “quem responde: a pessoa ou a IA?”, mas “quem desenhou, aprovou, operou e fiscalizou o processo?”. A responsabilização pode envolver diferentes agentes conforme o caso, inclusive fornecedores e operadores, mas a contratação de uma ferramenta não elimina os deveres da organização que a incorporou ao fluxo de trabalho.

Quais decisões de IA exigem supervisão humana?

O nível de controle deve acompanhar o impacto e a reversibilidade da decisão. Uma ferramenta que sugere a classificação interna de documentos apresenta risco diferente de um sistema que recomenda negar crédito, bloquear uma conta, selecionar candidatos, encerrar um contrato ou priorizar pacientes. Quanto maior o efeito sobre direitos, renda, acesso a serviços ou tratamento de dados pessoais, menos aceitável é executar a recomendação sem validação proporcional.

Uma classificação prática pode orientar o desenho do processo:

• Baixo impacto: tarefas auxiliares e facilmente reversíveis, como resumir textos, organizar documentos ou sugerir rascunhos. O controle pode ocorrer por amostragem, desde que informações confidenciais estejam protegidas.
• Impacto relevante: recomendações que influenciam atendimento, preços, prevenção a fraudes, concessão de benefícios ou seleção de pessoas. O fluxo precisa de critérios documentados, revisão humana e mecanismo de contestação.
• Alto impacto: decisões capazes de afetar direitos, segurança, vínculo profissional, movimentações financeiras relevantes ou acesso a serviços essenciais. A automação integral pode ser inadequada; são necessários controles mais rigorosos, segregação de funções e aprovação por profissionais autorizados.

Essa classificação não deve considerar apenas o resultado esperado. O risco também depende da qualidade dos dados, da possibilidade de discriminação, da frequência de uso, da quantidade de pessoas afetadas e da facilidade de corrigir um erro. Um problema reversível em um teste interno pode se tornar grave quando repetido em escala ou comunicado ao público antes da revisão.

Como construir uma trilha de decisão auditável

Uma empresa não precisa compreender cada operação matemática de um modelo para governar seu uso, mas precisa explicar o processo corporativo ao redor dele. Isso significa registrar qual versão do sistema foi usada, quais dados relevantes entraram no fluxo, qual resposta foi produzida, quem a revisou e qual ação foi executada. Sem essa trilha, torna-se difícil investigar incidentes, atender contestações ou distinguir erro do modelo, dado incorreto, regra mal configurada e uso inadequado.

A explicabilidade também deve ser adequada ao público. A equipe técnica precisa de registros que permitam reproduzir e diagnosticar o comportamento. Gestores precisam conhecer limitações, condições de uso e indicadores de falha. A pessoa afetada precisa receber uma justificativa compreensível e um canal para solicitar correção ou revisão. Uma descrição genérica, como “decisão baseada em critérios internos”, raramente ajuda a identificar um dado desatualizado ou uma regra aplicada de maneira indevida.

No Brasil, o tratamento de dados pessoais adiciona obrigações específicas ao processo. A Lei Geral de Proteção de Dados Pessoais prevê direitos relacionados a decisões tomadas unicamente com base em tratamento automatizado que afetem interesses do titular. A aplicação concreta deve ser avaliada por profissionais jurídicos e de privacidade, mas o requisito técnico é claro: a empresa precisa saber quais dados utiliza, por qual finalidade, durante quanto tempo mantém os registros e como responderá a pedidos de informação, correção ou revisão.

Governança de IA precisa existir dentro do software

Políticas internas são necessárias, mas não substituem controles implementados nos sistemas. Se uma regra proíbe o envio de dados sensíveis para uma ferramenta não autorizada, a arquitetura deve restringir acessos, separar ambientes e registrar operações. Se determinada decisão exige dupla aprovação, o workflow precisa impedir que uma única pessoa conclua a ação. Governança de IA eficaz combina regras organizacionais, controles técnicos e responsáveis identificáveis.

O monitoramento também não pode se limitar a verificar se a aplicação está disponível. Um sistema pode permanecer funcionando enquanto perde qualidade porque o perfil dos dados mudou, uma integração começou a enviar campos incompletos ou uma nova regra de negócio tornou o modelo inadequado. Acompanhamento operacional deve observar entradas anormais, respostas inconsistentes, aumento de contestações e diferenças relevantes entre recomendações automáticas e decisões humanas.

Na experiência profissional da Phurshell, acumulada em mais de 15 anos de mercado e mais de 100 aplicativos entregues para empresas brasileiras, muitos riscos aparecem nas conexões entre tecnologia e operação: permissões excessivas, ausência de histórico, regras implícitas e integrações sem tratamento adequado de falhas. Essa observação não representa uma estatística do mercado; trata-se de experiência prática em desenvolvimento de software sob medida. Projetar auditoria, segurança e revisão desde a arquitetura costuma ser mais consistente do que tentar acrescentar controles depois que a automação já influencia decisões reais.

O que fazer quando a inteligência artificial já tomou uma decisão errada?

A primeira medida é conter o impacto sem apagar evidências. A empresa deve suspender o fluxo afetado quando houver risco de repetição, preservar registros e identificar quem foi atingido. Em seguida, precisa separar a causa técnica da causa de processo: a resposta pode ter sido produzida a partir de dados incorretos, instruções ambíguas, integração defeituosa, configuração inadequada ou interpretação humana equivocada.

A correção não termina com um ajuste no modelo. Pode ser necessário revisar decisões anteriores, comunicar pessoas afetadas, corrigir dados, alterar permissões e redefinir critérios de aprovação. As áreas técnica, de negócio, segurança, privacidade e jurídica devem participar conforme a natureza do incidente. O objetivo não é distribuir culpa rapidamente, mas reconstruir a cadeia de decisão e impedir recorrência.

Uma análise posterior deve transformar o incidente em controle verificável. Se a falha ocorreu porque ninguém conseguia contestar uma recomendação, o fluxo precisa ganhar uma etapa real de revisão. Se o problema veio de dados incompletos, a integração deve validar campos antes do processamento. Se a equipe desconhecia os limites da ferramenta, treinamento e documentação precisam acompanhar as mudanças técnicas. A responsabilidade por decisões de IA começa antes da implantação e continua durante toda a operação.