AI「スウォーム」がオンラインの誤情報や操作をエスカレートさせる可能性、研究者が警告

要点

• 研究者は、AI群が限られた人間の監視のもとで「影響キャンペーン」を調整する可能性があると警告している。
• 従来のボットネットとは異なり、群はメッセージングを適応させたり、行動を変化させたりできる。
• 論文は、既存のプラットフォームの安全策ではこれらの群を検出・封じ込めるのが難しい可能性があることに言及している。

新しい報告書によると、簡単に検出できるボットネットの時代は終わりに近づいている。木曜日に Science に掲載されたこの研究では、誤情報キャンペーンが人間の行動を模倣し、リアルタイムで適応し、少ない人間の監視で済む自律型AI群に移行していると警告している。これにより、検出と阻止の努力が複雑化している。

オックスフォード、ケンブリッジ、UCバークレー、NYU、マックスプランク研究所の研究者を含むコンソーシアムによって書かれたこの論文は、操作が識別しにくくなるデジタル環境を描いている。選挙や政治に関連した短期的なキャンペーンではなく、これらのAIキャンペーンは長期間にわたって一つの物語を維持できる。

「政府の手に渡れば、こうしたツールは反対意見を抑圧したり、現職者を増幅させたりすることができる」と研究者たちは書いている。「したがって、防御的AIの展開は、厳格で透明性のある民主的に責任ある枠組みの下でのみ検討されるべきだ。」



群は、自律型AIエージェントの集まりであり、問題解決や目的達成を単一のシステムよりも効率的に行うために協力する。研究者たちは、AI群はソーシャルメディアプラットフォームの既存の弱点を利用して構築されていると述べている。そこでは、ユーザーはしばしば反対意見から隔離されている。

「フェイクニュースは、真実のニュースよりも速く広がりやすく、断片化した現実を深め、共通の事実基盤を侵食していることが示されている」と彼らは書いている。「最近の証拠は、エンゲージメント最適化されたキュレーションと偏極化を結びつけており、プラットフォームのアルゴリズムは分裂的なコンテンツを増幅し、ユーザー満足度を犠牲にしている。これにより、公共圏はさらに劣化している。」

この変化は、サウスカロライナ大学のコンピュータサイエンス教授であり、Sahara AIのCEOであるSean Renによると、主要なプラットフォームで既に見られるという。彼は、AI駆動のアカウントは一般のユーザーと区別しにくくなっていると述べている。

「より厳格なKYC、つまりアカウントの本人確認が大いに役立つと思う」とRenは_decrypt_に語った。「新しいアカウントの作成が難しくなり、スパマーの監視が容易になれば、エージェントが大量のアカウントを使って協調操作を行うのもずっと難しくなる。」

以前の影響キャンペーンは、規模に依存しており、何千ものアカウントが同時に同じメッセージを投稿していたため、検出は比較的容易だった。一方、研究は、AI群は「前例のない自律性、調整、規模」を示すと述べている。

Renは、コンテンツのモデレーションだけではこれらのシステムを止めるのは難しいと述べている。問題は、プラットフォームが規模に応じてアイデンティティを管理する方法にあると指摘し、より強力なアイデンティティ確認とアカウント作成の制限が、個々の投稿が人間らしく見える場合でも協調行動を検出しやすくすると述べている。

「エージェントが少数のアカウントだけを使ってコンテンツを投稿できるなら、不審な使用を検出しやすく、そのアカウントを禁止しやすくなる」と彼は言った。

簡単な解決策はない 研究者たちは、この問題に対する単一の解決策は存在しないと結論付けている。潜在的な選択肢には、統計的に異常な協調の検出の向上や、自動化された活動に関する透明性の向上が含まれるが、技術的な対策だけでは十分でない可能性が高い。

Renによると、経済的インセンティブもまた、プラットフォームが新たな技術的安全策を導入しても、協調操作攻撃の持続的な推進力であり続けている。

「これらのエージェント群は、通常、外部の団体や企業から金銭的なインセンティブを得ているチームやベンダーによって制御されている」と彼は述べた。「プラットフォームは、より強力なKYCやスパム検出メカニズムを施行し、エージェント操作されたアカウントを特定・除外すべきだ。」