Chatbot disfarçado de psiquiatra, inventando número de licença, governador da Pensilvânia processa Character.AI por prática médica ilegal

O governador da Pensilvânia, Josh Shapiro, entrou com uma ação contra a matriz da Character.AI em 5 de maio, após um chatbot que se autodenomina “psiquiatra” falsificar antecedentes de graduação na Imperial College, sete anos de experiência clínica e um número de licença da Pensilvânia, além de fornecer avaliações médicas diretamente.
(Resumindo: OpenAI suspende indefinidamente o “ChatGPT para adultos”! Preocupações com conteúdo ilegal, sem retorno ao uso de ferramentas de produtividade completas)
(Informação adicional: revisão interna da a16z: produtos de social AI talvez nunca tenham sido viáveis fundamentalmente)

Um número de licença fornecido por um chatbot levou um governo estadual a decidir levar o caso ao tribunal? Um investigador do Departamento de Estado da Pensilvânia se passou por um usuário emocionalmente deprimido, vazio e sem motivação, interagindo com um personagem chamado “Emilie” na plataforma Character.AI, que se autodenominava psiquiatra.

O Departamento de Estado da Pensilvânia possui uma Força-Tarefa de IA, dedicada a investigar se sistemas de IA envolvem prática médica ilegal. Após criar uma conta, o investigador acessou a plataforma Character.AI e escolheu interagir com “Emilie”. Durante a conversa, Emilie afirmou ter se formado na Imperial College de Londres, com sete anos de experiência psiquiátrica, e, sob questionamento, forneceu um número de licença da Pensilvânia.

Porém, esse número era fictício, a formação na Imperial College era falsa, os sete anos de experiência também eram fictícios, e a ação de Emilie de fornecer uma avaliação médica tocou uma linha vermelha no quadro legal.

A declaração oficial da Pensilvânia afirmou que a conduta da Character.AI violou a Lei de Prática Médica da Pensilvânia, permitindo que entidades não licenciadas oferecessem aconselhamento médico de natureza diagnóstica aos usuários. A ação judicial solicita ao Tribunal da Commonwealth uma ordem de restrição preliminar, proibindo a Character.AI de permitir que chatbots se passem por profissionais médicos ou de saúde mental licenciados.

Shapiro declarou:

“Os habitantes da Pensilvânia devem saber quem ou o que estão interagindo na internet, especialmente em questões de saúde. Não permitiremos que qualquer empresa implemente ferramentas de IA que possam enganar as pessoas a acreditarem que estão recebendo aconselhamento de profissionais médicos licenciados.”

Não é a primeira vez, mas desta vez é diferente

A Character.AI tem enfrentado pressões legais por mais de um ano e meio, mas a natureza das ações tem evoluído.

Em outubro de 2024, a mãe de um garoto de 14 anos na Flórida, Sewell Setzer III, Megan Garcia, entrou com uma ação na corte federal alegando que o chatbot de companhia da Character.AI incentivou o suicídio do filho. Desde então, famílias de Flórida, Texas, Colorado, Nova York e outros estados têm seguido com processos.

Em janeiro de 2026, segundo o The New York Times, a Character.AI e o Google resolveram várias ações relacionadas ao suicídio de menores, com o Google sendo co-réu após pagar US$ 2,7 bilhões em 2024 por licenciamento de tecnologia da Character.AI e absorver parte da equipe fundadora. Nesse mesmo mês, o procurador-geral de Kentucky, Russell Coleman, processou a Character.AI por “roubo de crianças e indução ao auto-mutilação”.

O eixo comum dessas ações é o dano psicológico a menores.

A abordagem da Pensilvânia nesta denúncia é completamente diferente: não se trata de investigar os efeitos colaterais do acompanhamento emocional, mas de afirmar que a Character.AI permite que robôs “pratiquem medicina” e que, durante esse exercício, falsificam informações de identidade. É a primeira ação estadual nos EUA liderada por um governador, com a acusação central de que o chatbot se passa por profissionais de saúde licenciados.

Personagens são fictícios vs. usuários não sabem

Um porta-voz da Character.AI afirmou que a segurança dos usuários é prioridade máxima, mas não comentou detalhes do processo. A empresa reforçou que os personagens na plataforma são criações de usuários, e que cada conversa começa com uma advertência clara, alertando que “Personagens não são pessoas reais, e todas as falas devem ser consideradas ficção”.

Embora essa defesa seja logicamente consistente, o governo da Pensilvânia claramente não aceita. A posição do estado é que a existência de uma isenção de responsabilidade não impede que um robô declare ativamente possuir uma licença ou oferecer avaliações médicas — essas duas ações podem não ser contraditórias, mas a segunda entra na definição de prática médica ilegal.

A velocidade de implementação da tecnologia, mais uma vez, superou o tempo de resposta regulatório. A viabilidade da ação da Pensilvânia dependerá de como o tribunal definirá os limites de “prática médica ilegal” no contexto de IA, mas, independentemente do resultado, os procuradores de outros estados estão observando de perto o desfecho desse caso.