Les « essaims » d'IA pourraient amplifier la désinformation et la manipulation en ligne, avertissent les chercheurs
En résumé
- Les chercheurs avertissent que des essaims d’IA pourraient coordonner des « campagnes d’influence » avec une supervision humaine limitée.
- Contrairement aux botnets traditionnels, les essaims peuvent adapter leurs messages et varier leur comportement.
- L’article note que les protections existantes des plateformes pourraient avoir du mal à détecter et contenir ces essaims.
L’ère des botnets facilement détectables touche à sa fin, selon un nouveau rapport publié dans Science jeudi. Dans cette étude, les chercheurs ont averti que les campagnes de désinformation se déplacent vers des essaims d’IA autonomes capables d’imiter le comportement humain, de s’adapter en temps réel et nécessitant peu de supervision humaine, compliquant ainsi les efforts pour les détecter et les arrêter. Rédigé par un consortium de chercheurs, dont ceux d’Oxford, Cambridge, UC Berkeley, NYU et l’Institut Max Planck, l’article décrit un environnement numérique dans lequel la manipulation devient plus difficile à identifier. Au lieu de brèves poussées liées aux élections ou à la politique, ces campagnes d’IA peuvent maintenir un récit sur de plus longues périodes. « Entre les mains d’un gouvernement, de tels outils pourraient réprimer la dissidence ou amplifier les titulaires en place », ont écrit les chercheurs. « Par conséquent, le déploiement d’IA défensive ne peut être envisagé que s’il est encadré par des cadres stricts, transparents et démocratiquement responsables. »
Un essaim est un groupe d’agents d’IA autonomes qui travaillent ensemble pour résoudre des problèmes ou atteindre des objectifs plus efficacement qu’un seul système. Les chercheurs ont déclaré que les essaims d’IA s’appuient sur des faiblesses existantes des plateformes de médias sociaux, où les utilisateurs sont souvent isolés des points de vue opposés. « Il a été démontré que les fausses nouvelles se propagent plus rapidement et plus largement que les vraies, approfondissant des réalités fragmentées et érodant les bases factuelles partagées », ont-ils écrit. « Des preuves récentes relient la curation optimisée pour l’engagement à la polarisation, avec des algorithmes de plateforme amplifiant le contenu diviseur même au détriment de la satisfaction des utilisateurs, dégradant encore davantage la sphère publique. » Ce changement est déjà visible sur les principales plateformes, selon Sean Ren, professeur d’informatique à l’Université de Californie du Sud et PDG de Sahara AI, qui a déclaré que les comptes pilotés par l’IA deviennent de plus en plus difficiles à distinguer des utilisateurs ordinaires. « Je pense qu’une vérification d’identité plus stricte, ou validation de l’identité du compte, aiderait beaucoup ici », a déclaré Ren à Decrypt. « Si il est plus difficile de créer de nouveaux comptes et plus facile de surveiller les spammeurs, il devient beaucoup plus difficile pour les agents d’utiliser un grand nombre de comptes pour une manipulation coordonnée. »
Les campagnes d’influence antérieures dépendaient principalement de l’échelle plutôt que de la subtilité, avec des milliers de comptes postant des messages identiques simultanément, ce qui rendait leur détection relativement simple. En revanche, l’étude indique que les essaims d’IA présentent une « autonomie, une coordination et une échelle sans précédent ». Ren a déclaré que la modération de contenu seule est peu susceptible d’arrêter ces systèmes. Le problème, selon lui, réside dans la gestion de l’identité à grande échelle par les plateformes. Des contrôles d’identité plus stricts et des limites à la création de comptes pourraient faciliter la détection d’un comportement coordonné, même lorsque les publications individuelles semblent humaines. « Si l’agent ne peut utiliser qu’un petit nombre de comptes pour publier du contenu, il est beaucoup plus facile de détecter une utilisation suspecte et de bannir ces comptes », a-t-il dit. Pas de solution simple Les chercheurs ont conclu qu’il n’existe pas de solution unique au problème, avec des options potentielles comprenant une meilleure détection des coordinations anormales sur le plan statistique et une plus grande transparence autour de l’activité automatisée, mais ils estiment que les mesures techniques seules sont peu susceptibles d’être suffisantes. Selon Ren, les incitations financières restent également un moteur persistant des attaques de manipulation coordonnées, même si les plateformes introduisent de nouvelles protections techniques. « Ces essaims d’agents sont généralement contrôlés par des équipes ou des vendeurs qui reçoivent des incitations financières de parties externes ou d’entreprises pour effectuer la manipulation coordonnée », a-t-il déclaré. « Les plateformes devraient appliquer des mécanismes de vérification d’identité plus stricts et de détection de spam pour identifier et filtrer les comptes manipulés par des agents. »