Los 'enjambres' de IA podrían intensificar la desinformación y la manipulación en línea, advierten los investigadores
En resumen
- Los investigadores advierten que los enjambres de IA podrían coordinar “campañas de influencia” con supervisión humana limitada.
- A diferencia de las botnets tradicionales, los enjambres pueden adaptar sus mensajes y variar su comportamiento.
- El documento señala que las salvaguardas existentes en las plataformas pueden tener dificultades para detectar y contener estos enjambres.
La era de las botnets fácilmente detectables está llegando a su fin, según un nuevo informe publicado en Science el jueves. En el estudio, los investigadores advirtieron que las campañas de desinformación están cambiando hacia enjambres de IA autónomos que pueden imitar el comportamiento humano, adaptarse en tiempo real y requieren poca supervisión humana, lo que complica los esfuerzos para detectarlos y detenerlos. Escrito por un consorcio de investigadores, incluidos los de Oxford, Cambridge, UC Berkeley, NYU y el Instituto Max Planck, el documento describe un entorno digital en el que la manipulación se vuelve más difícil de identificar. En lugar de ráfagas cortas vinculadas a elecciones o política, estas campañas de IA pueden mantener una narrativa durante períodos de tiempo más largos. “En manos de un gobierno, tales herramientas podrían suprimir la disidencia o amplificar a los incumbentes,” escribieron los investigadores. “Por lo tanto, el despliegue de IA defensiva solo puede considerarse si está gobernado por marcos estrictos, transparentes y democráticamente responsables.”
Un enjambre es un grupo de agentes de IA autónomos que trabajan juntos para resolver problemas o completar objetivos de manera más eficiente que un sistema individual. Los investigadores dijeron que los enjambres de IA aprovechan las debilidades existentes en las plataformas de redes sociales, donde los usuarios a menudo están aislados de puntos de vista opuestos. “Se ha demostrado que las noticias falsas se difunden más rápido y de manera más amplia que las verdaderas, profundizando realidades fragmentadas y erosionando las bases fácticas compartidas,” escribieron. “Evidencias recientes vinculan la curación optimizada para el compromiso con la polarización, con algoritmos de plataformas que amplifican contenido divisivo incluso a costa de la satisfacción del usuario, degradando aún más la esfera pública.” Ese cambio ya es visible en las principales plataformas, según Sean Ren, profesor de ciencias de la computación en la Universidad del Sur de California y CEO de Sahara AI, quien afirmó que las cuentas impulsadas por IA son cada vez más difíciles de distinguir de los usuarios comunes. “Creo que una validación de identidad más estricta, o KYC, ayudaría mucho aquí,” dijo Ren a Decrypt. “Si es más difícil crear nuevas cuentas y más fácil monitorear a los spammers, se vuelve mucho más difícil para los agentes usar un gran número de cuentas para manipulación coordinada.”
Las campañas de influencia anteriores dependían en gran medida de la escala en lugar de la sutileza, con miles de cuentas publicando mensajes idénticos simultáneamente, lo que hacía que la detección fuera relativamente sencilla. En contraste, el estudio afirmó que los enjambres de IA exhiben “una autonomía, coordinación y escala sin precedentes.” Ren dijo que la moderación de contenido por sí sola probablemente no detendrá estos sistemas. El problema, afirmó, es cómo las plataformas gestionan la identidad a gran escala. Checks de identidad más fuertes y límites en la creación de cuentas, dijo, podrían facilitar la detección de comportamientos coordinados, incluso cuando las publicaciones individuales parecen humanas. “Si el agente solo puede usar un pequeño número de cuentas para publicar contenido, entonces es mucho más fácil detectar usos sospechosos y bloquear esas cuentas,” afirmó. No hay una solución sencilla Los investigadores concluyeron que no existe una solución única al problema, con opciones potenciales que incluyen una mejor detección de la coordinación estadísticamente anómala y una mayor transparencia en torno a la actividad automatizada, pero afirman que las medidas técnicas por sí solas probablemente no sean suficientes. Según Ren, los incentivos financieros también siguen siendo un motor persistente de ataques de manipulación coordinada, incluso cuando las plataformas introducen nuevas salvaguardas técnicas. “Estos enjambres de agentes suelen ser controlados por equipos o proveedores que obtienen incentivos monetarios de partes externas o empresas para realizar la manipulación coordinada,” dijo. “Las plataformas deberían aplicar mecanismos más fuertes de KYC y detección de spam para identificar y filtrar cuentas manipuladas por agentes.”