La Pennsylvanie poursuit Character.AI pour un chatbot se faisant passer pour un psychiatre agréé

En résumé

• La Pennsylvanie poursuit en justice Character.AI, alléguant que le chatbot se faisait passer pour un psychiatre agréé en utilisant un numéro de licence invalide.
• L’État affirme que le chatbot a présenté de faux diplômes médicaux.
• L’affaire s’ajoute à la surveillance juridique de la plateforme, qui fait déjà face à une multitude de poursuites.

La Pennsylvanie a déposé une plainte contre le développeur d’IA générative Character.AI, accusant la société d’avoir permis aux chatbots de se faire passer pour des professionnels de la santé agréés et de fournir des informations trompeuses aux utilisateurs. L’action, annoncée mardi par le bureau du gouverneur Josh Shapiro, fait suite à une enquête qui a révélé qu’un chatbot prétendait être un psychiatre agréé en Pennsylvanie et fournissait un numéro de licence invalide. L’État affirme que cette conduite viole la loi sur la pratique médicale et demande une injonction préliminaire pour l’arrêter. Character.AI a refusé de commenter les détails de la plainte, invoquant une procédure judiciaire en cours, mais a déclaré à Decrypt que sa « priorité absolue est la sécurité et le bien-être de nos utilisateurs ».

Le porte-parole a ajouté que les personnages sur la plateforme sont créés par les utilisateurs, fictifs, et destinés au divertissement et au jeu de rôle, avec « des avertissements importants dans chaque chat » indiquant qu’ils ne sont pas de vraies personnes et ne doivent pas être utilisés comme conseils professionnels.  « Character.ai privilégie le développement responsable des produits et dispose de processus internes rigoureux de révision et de test pour évaluer les fonctionnalités pertinentes », a déclaré le porte-parole. L’affaire intervient alors que la société fait face à d’autres défis juridiques liés à sa plateforme de chatbots. En 2024, une mère de Floride a poursuivi la société après que son fils adolescent se soit suicidé après des mois d’interaction avec un chatbot basé sur le personnage Daenerys Targaryen de « Game of Thrones ». La plainte alléguait que la plateforme avait contribué à un préjudice psychologique. L’affaire a finalement été réglée en janvier dernier.

La société a également été confrontée à des plaintes concernant des bots créés par des utilisateurs qui imitaient de vraies personnes. Dans un cas, un chatbot utilisait la ressemblance d’une victime de meurtre adolescente avant d’être retiré suite à des objections de la famille de la victime. En réponse aux poursuites, Character AI a introduit de nouvelles mesures de sécurité, notamment des systèmes conçus pour détecter les conversations nuisibles et orienter les utilisateurs vers des ressources de soutien. Elle a également restreint certaines fonctionnalités pour les jeunes utilisateurs. Les responsables de la Pennsylvanie affirment que la plainte s’inscrit dans une volonté plus large de faire respecter les lois existantes à mesure que les outils d’IA se répandent. L’État a mis en place une task force pour l’application de l’IA et un système de signalement pour les violations potentielles. Dans sa proposition de budget pour 2026-2027, Shapiro a appelé les législateurs à adopter de nouvelles règles pour les bots compagnons d’IA, notamment la vérification de l’âge et le consentement parental, des mesures de sécurité pour signaler et transmettre aux autorités les cas d’automutilation ou de violence, des rappels réguliers que les utilisateurs n’interagissent pas avec une vraie personne, et une interdiction de contenu sexuellement explicite ou violent impliquant des mineurs. « Les Pennsylvaniens ont le droit de savoir avec qui—ou avec quoi—ils interagissent en ligne, surtout en ce qui concerne leur santé », a déclaré Shapiro dans un communiqué. « Nous n’autoriserons pas les entreprises à déployer des outils d’IA qui induisent en erreur en faisant croire aux gens qu’ils reçoivent des conseils d’un professionnel de la santé agréé. »