Pensilvania demanda a Character.AI por chatbot que se hace pasar por psiquiatra con licencia

En resumen

• Pensilvania está demandando a Character.AI, alegando que el chatbot se hizo pasar por un psiquiatra con licencia usando un número de licencia inválido.
• El estado dice que el chatbot presentó credenciales médicas falsas.
• El caso se suma a la escrutinio legal de la plataforma, que ya enfrenta múltiples demandas.

Pensilvania ha presentado una demanda contra el desarrollador de IA generativa Character.AI, alegando que la compañía permitió que los chatbots se presentaran como profesionales médicos con licencia y proporcionaran información engañosa a los usuarios. La acción, anunciada el martes por la oficina del gobernador Josh Shapiro, sigue a una investigación que encontró que un chatbot afirmaba ser un psiquiatra con licencia en Pensilvania y proporcionaba un número de licencia inválido. El estado dice que esta conducta viola la Ley de Práctica Médica y busca una orden judicial preliminar para detenerla. Character.AI se negó a abordar los detalles específicos de la demanda, citando litigios en curso, pero dijo a Decrypt que su “máxima prioridad es la seguridad y el bienestar de nuestros usuarios.”

El portavoz agregó que los personajes en la plataforma son creados por los usuarios, ficticios y destinados para entretenimiento y juegos de rol, con “avisos destacados en cada chat” que indican que no son personas reales y no deben ser confiados para asesoramiento profesional.  “Character.ai prioriza el desarrollo responsable del producto y cuenta con revisiones internas rigurosas y procesos de red-teaming para evaluar las funciones relevantes,” dijo el portavoz. El caso surge mientras la compañía enfrenta otros desafíos legales relacionados con su plataforma de chatbots. En 2024, una madre de Florida demandó a la compañía después de que su hijo adolescente se suicidara tras meses de interacción con un chatbot basado en el personaje Daenerys Targaryen de “Game of Thrones”. La demanda alegaba que la plataforma contribuyó a daños psicológicos. El caso se resolvió finalmente en enero pasado.

La compañía también ha enfrentado quejas sobre bots creados por usuarios que imitan a personas reales. En un caso, un chatbot usó la imagen de una víctima de asesinato adolescente antes de ser eliminado tras objeciones de la familia de la víctima. En respuesta a las demandas, Character AI introdujo nuevas medidas de seguridad, incluyendo sistemas diseñados para detectar conversaciones dañinas y dirigir a los usuarios a recursos de apoyo. También restringió algunas funciones para usuarios más jóvenes. Las autoridades de Pensilvania dicen que la demanda forma parte de un esfuerzo más amplio para hacer cumplir las leyes existentes a medida que las herramientas de IA se expanden. El estado ha creado un grupo de trabajo de cumplimiento de IA y un sistema de reporte para posibles violaciones. En su propuesta de presupuesto para 2026-27, Shapiro pidió a los legisladores que aprueben nuevas reglas para los bots de compañía de IA, incluyendo verificación de edad y consentimiento parental, salvaguardas para detectar y remitir informes de autolesiones o violencia a las autoridades, recordatorios regulares de que los usuarios no están interactuando con una persona real, y una prohibición de contenido sexualmente explícito o violento que involucre a menores. “Los habitantes de Pensilvania merecen saber con quién—o con qué—están interactuando en línea, especialmente cuando se trata de su salud,” dijo Shapiro en un comunicado. “No permitiremos que las empresas desplieguen herramientas de IA que engañen a las personas haciéndoles creer que están recibiendo asesoramiento de un profesional médico con licencia.”