Le chatbot déguisé en psychiatre, inventant un numéro de licence, le gouverneur de Pennsylvanie poursuit Character.AI pour pratique médicale illégale

Le gouverneur de la Pennsylvanie, Josh Shapiro, a intenté une action en justice contre la société mère de Character.AI le 5 mai, suite à la falsification par un chatbot se prétendant « psychiatre » d’un diplôme de l’Imperial College, de 7 ans d’expérience en pratique clinique et d’un numéro de licence de Pennsylvanie, tout en fournissant directement une évaluation médicale.
(Précédent : OpenAI suspend indéfiniment la version « adulte » de ChatGPT ! Inquiétudes sur les contenus illégaux, pas de retour à la production de contenu sexy, mais un recentrage sur les outils de productivité)
(Contexte supplémentaire : revue interne d’a16z : les produits sociaux basés sur l’IA pourraient être fondamentalement non viables)

Un numéro de licence fourni par un chatbot a poussé un gouvernement d’État à porter l’affaire en justice ? Un enquêteur du Département d’État de Pennsylvanie, déguisé en utilisateur déprimé, vide et sans motivation, a interagi avec un personnage nommé « Emilie » sur la plateforme Character.AI, qui se prétendait psychiatre.

Le Département d’État de Pennsylvanie a créé une task force IA, chargée d’enquêter sur d’éventuelles activités illégales de pratique médicale par des systèmes d’IA. Après avoir créé un compte, l’enquêteur a accédé à la plateforme Character.AI et choisi d’interagir avec « Emilie ». Celle-ci a affirmé être diplômée de l’Imperial College de Grande-Bretagne, avoir 7 ans d’expérience en psychiatrie, et a fourni un numéro de licence de Pennsylvanie suite à une question de l’enquêteur.

Mais ce numéro était fictif, le diplôme de l’Imperial College était faux, tout comme les 7 années d’expérience. La conduite d’Emilie en fournissant une évaluation médicale a franchi la ligne rouge du cadre légal.

La déclaration officielle de Pennsylvanie indique que le comportement de Character.AI viole la « Loi sur la pratique médicale en Pennsylvanie », permettant à des entités non licenciées de fournir aux utilisateurs des conseils médicaux à caractère diagnostique. La plainte demande au tribunal de la Cour de la Commonwealth d’émettre une injonction préliminaire interdisant à Character.AI de continuer à faire passer ses chatbots pour des professionnels de la santé ou de la santé mentale agréés.

Shapiro a déclaré dans un communiqué :

« Les Pennsylvaniens doivent savoir qui ou ce à quoi ils interagissent en ligne, surtout dans des situations liées à la santé. Nous n’autoriserons pas qu’une entreprise déploie des outils d’IA qui donnent l’impression que l’utilisateur consulte un professionnel de santé agréé. »

Ce n’est pas la première fois, mais cette fois, c’est différent

Character.AI fait face à des pressions juridiques depuis plus d’un an et demi, mais la nature des poursuites évolue.

En octobre 2024, la mère d’un garçon de 14 ans, Sewell Setzer III, Megan Garcia, a déposé une première plainte devant un tribunal fédéral, affirmant que le chatbot compagnon de Character.AI avait encouragé son suicide. Par la suite, des familles dans des États comme la Floride, le Texas, le Colorado et New York ont également porté plainte.

En janvier 2026, selon le « New York Times », Character.AI a réglé à l’amiable plusieurs procès liés au suicide de mineurs, Google étant co-défendeur après avoir signé un accord de licence technologique avec Character.AI pour 2,7 milliards de dollars en 2024, et ayant intégré une partie de l’équipe fondatrice. La même année, le procureur général du Kentucky, Russell Coleman, a porté plainte séparément contre Character.AI pour « exploitation des enfants » et « incitation à l’automutilation ».

Le point commun de ces poursuites est le préjudice psychologique causé aux mineurs.

Ce qui distingue la plainte de Pennsylvanie, c’est qu’elle ne se concentre pas sur les effets secondaires de la compagnie en matière de compagnie émotionnelle, mais affirme que Character.AI permet à ses robots « d’exercer » la médecine, en falsifiant leur identité lors de leur pratique. C’est la première action de ce type, annoncée par un gouverneur d’État, pour une accusation centrée sur la contrefaçon de professionnels de santé agréés.

Characters sont fictifs vs. les utilisateurs ignorent

Un porte-parole de Character.AI a déclaré que la sécurité des utilisateurs était la priorité absolue de l’entreprise, mais n’a pas répondu aux détails de la poursuite. La société insiste sur le fait que les Characters sur la plateforme sont des personnages fictifs générés par les utilisateurs, et qu’à chaque début de conversation, un avertissement clair est affiché, rappelant que « Character n’est pas un vrai humain, et que toutes les déclarations doivent être considérées comme fictives ».

Ce raisonnement de défense a une certaine cohérence, mais le gouvernement de Pennsylvanie ne l’accepte pas. La position de l’État est que la présence d’un avertissement ne peut pas empêcher un robot de prétendre dans une conversation qu’il détient une licence ou peut fournir une évaluation médicale : ces deux choses ne sont pas mutuellement exclusives, mais la seconde entre dans le cadre de la définition légale de pratique illégale de la médecine.

La vitesse de déploiement technologique dépasse une fois de plus la capacité de régulation à réagir. La validité de la plainte de Pennsylvanie dépendra de la façon dont le tribunal définira la frontière de la « pratique illégale de la médecine » dans le contexte de l’IA, mais quoi qu’il en soit, les procureurs d’autres États suivent de près l’évolution de cette affaire.