研究人员警告:AI“蜂群”可能加剧网络上的虚假信息和操控

Decrypt

简要总结

  • 研究人员警告称,AI蜂群可能在有限的人类监督下协调“影响运动”。
  • 与传统的僵尸网络不同,蜂群可以调整其信息传递方式和行为变化。
  • 论文指出,现有平台的安全措施可能难以检测和遏制这些蜂群。

根据周四发表在《Science》上的一份新报告,易于检测的僵尸网络时代即将结束。在研究中,研究人员警告虚假信息运动正转向自主AI蜂群,这些蜂群能够模仿人类行为,实时适应,并且几乎不需要人类监督,增加了检测和阻止的难度。 由牛津、剑桥、加州大学伯克利分校、纽约大学和马克斯·普朗克研究所的研究人员组成的联盟撰写的论文描述了一个数字环境,在这个环境中,操控变得更难被识别。这些AI运动不再是与选举或政治相关的短暂突发,而是可以持续更长时间地维持某一叙事。 “在政府手中,这些工具可能会压制异见或放大既得利益者的声音,”研究人员写道。“因此,只有在由严格、透明且具有民主责任的框架管理的情况下,部署防御性AI才是可行的。” 

蜂群是由一组自主AI代理组成的,它们协同工作,比单一系统更高效地解决问题或完成目标。研究人员表示,AI蜂群建立在社交媒体平台现有弱点的基础上,这些平台上的用户常常被隔离在不同观点之外。 “虚假新闻已被证明比真实新闻传播得更快、更广泛,加深了碎片化的现实感,侵蚀了共同的事实基础,”他们写道。“最新证据显示,基于参与度优化的内容策划与极化有关,平台算法放大了分裂性内容,即使以牺牲用户满意度为代价,也进一步破坏了公共空间。” 据南加州大学计算机科学教授兼Sahara AI首席执行官Ren Sean表示,这种趋势在主要平台上已经很明显,他指出,AI驱动的账户越来越难以与普通用户区分。 “我认为更严格的KYC,或者账户身份验证,会有很大帮助,”Ren在接受_decrypt_采访时说。“如果创建新账户更难,监控垃圾信息者更容易,那么代理人使用大量账户进行协调操控就会变得更加困难。”

早期的影响运动主要依赖规模,而非微妙性,数千个账户同时发布相同的信息,使得检测相对容易。而研究指出,AI蜂群表现出“前所未有的自主性、协调性和规模”。 Ren表示,仅靠内容审核不太可能阻止这些系统。他认为,关键在于平台如何管理大规模的身份验证。更强的身份验证和账户创建限制,可以让协调行为更容易被检测到,即使单个帖子看起来像人类。 “如果代理人只能用少量账户发布内容,那么检测可疑使用和封禁这些账户就容易得多,”他说。 没有简单的解决方案 研究人员得出结论,问题没有单一的解决方案,可能的措施包括改进对统计异常协调的检测和增强自动化活动的透明度,但仅靠技术手段可能不足以应对。 据Ren称,即使平台引入新的技术保障,财务激励仍然是协调操控攻击的持续驱动力。 “这些代理蜂群通常由团队或供应商控制,他们从外部方或公司获得金钱激励进行协调操控,”他说。“平台应加强KYC和垃圾信息检测机制,以识别和过滤被代理操控的账户。”

查看原文
免责声明:本页面信息可能来自第三方,不代表 Gate 的观点或意见。页面显示的内容仅供参考,不构成任何财务、投资或法律建议。Gate 对信息的准确性、完整性不作保证,对因使用本信息而产生的任何损失不承担责任。虚拟资产投资属高风险行为,价格波动剧烈,您可能损失全部投资本金。请充分了解相关风险,并根据自身财务状况和风险承受能力谨慎决策。具体内容详见声明
评论
0/400
暂无评论