عوامل الذكاء الاصطناعي تفشل في مقاومة هجمات حقن الأوامر في دراسة جديدة

نشر باحثون من أربع مؤسسات دراسة، يوم الخميس، خلصت إلى أن وكلاء الذكاء الاصطناعي المدعومين بـ GPT-5 وGemini 2.5-Flash لا يمكنهم مقاومة هجمات حقن الأوامر بشكل موثوق. نجحت الهجمات المباشرة أكثر من 79% من المرات، بينما حققت الهجمات غير المباشرة معدلات نجاح تراوحت بين 41.67% و68.16%. وتُبرز النتائج ثغرات أمنية متواصلة، مع تزايد نشر وكلاء الذكاء الاصطناعي القادرين على التصفح والبحث وإجراء المعاملات بشكل مستقل.

يحدث حقن الأوامر عندما يضمّن المهاجمون تعليمات مخفية داخل محتوى يواجهه وكيل الذكاء الاصطناعي، ما يدفعه إلى اتباع تعليمات المهاجم بدلًا من تعليمات المستخدم. أُجريت الدراسة بواسطة باحثين من جامعة نانيانغ للتكنولوجيا وST Engineering وIBM Research وجامعة إلينوي في أوربانا شامبين.

أجرى الباحثون 3,168 محاكاة هجوم باستخدام StakeBench

طوّر فريق البحث StakeBench، وهو مقياس يختبر كيفية استجابة وكلاء الذكاء الاصطناعي لهجمات حقن الأوامر في بيئات ويب واقعية. وأجروا 3,168 محاكاة هجوم باستخدام NanoBrowser وBrowserUse مع GPT-5 وGemini 2.5-Flash.

كتب الباحثون أن معايير الأمان القائمة تتبنى منظورًا يركز على الهجوم، بينما تتجاهل توزيع الأضرار الناتجة. وأوضحوا أن خطر حقن الأوامر يعتمد على الضحية، حيث تنتج استغلال واحد عواقب غير متناظرة لمختلف أصحاب المصلحة.

يستطلع StakeBench ثلاث عوامل: المسافة الدلالية بين الهدف المُحقن والنية الأصلية للمستخدم، واتساق الإشارات البيئية المحيطة، والموقع على طول مسار تنفيذ الوكيل الذي يُظهر فيه المعيار لأول مرة المحتوى المُحقن.

وثّقت Microsoft وGoogle هجمات حقن الأوامر

في فبراير، حذّر باحثون من Microsoft من أن تعليمات مخفية مضمّنة في روابط ملخصات الذكاء الاصطناعي قد تؤثر في سلوك الدردشة. وفي أبريل، وثّقت Google هجمات حقن الأوامر المخفية في صفحات الويب التي حاولت دفع وكلاء الذكاء الاصطناعي إلى تسريب بيانات الاعتماد أو إرسال مدفوعات.

كشفت Microsoft عن خلل في حقن الأوامر داخل إجراء GitHub الخاص بـ Anthropic المسمى Claude Code، كان يمكن أن يعرّض بيانات اعتماد المستخدمين.

تحدد الدراسة نمط هجوم طفيلي خفي

حددت الدراسة ما وصفه الباحثون بـ "الطفيليّة الخفية" (stealthy parasitism)، حيث ينجز وكيل ذكاء اصطناعي مهمة المستخدم مع دفع هدف المهاجم في الوقت نفسه. على سبيل المثال، يمكن لهجوم حقن الأوامر المسبب للطفيليّة الخفية أن يؤثر بشكل دقيق في توصيات المنتجات، ويوجّه المستخدمين نحو عنصر معيّن دون أي علامات واضحة على اختراق النظام.

خلص الباحثون إلى أن أمان حقن الأوامر في وكلاء الويب القابلة للنشر ليس خاصية عددية لنموذج العمود الفقري فقط، بل هو توزيع للأضرار يحدده بشكل مشترك صاحب المصلحة المتضرر، والمواءمة الدلالية بين الهدف المُحقن ومهمة المستخدم، والسياق المعماري الذي يُنشر فيه العمود الفقري.

الأسئلة الشائعة

ماذا وجد الباحثون بشأن أمن وكلاء الذكاء الاصطناعي يوم الخميس؟

نشر باحثون من جامعة نانيانغ للتكنولوجيا وST Engineering وIBM Research وجامعة إلينوي في أوربانا شامبين دراسة يوم الخميس خلصت إلى أن وكلاء الذكاء الاصطناعي المدعومين بـ GPT-5 وGemini 2.5-Flash لا يستطيعون مقاومة هجمات حقن الأوامر بشكل ثابت، حيث تنجح الهجمات المباشرة بأكثر من 79% من المرات.

ما هي الطفيليّة الخفية في هجمات وكلاء الذكاء الاصطناعي؟

الطفيليّة الخفية هي نمط حددته الدراسة، حيث ينجز وكيل ذكاء اصطناعي مهمة المستخدم بينما يدفع في الوقت نفسه هدف المهاجم، مثل التأثير بشكل خفي في توصيات المنتجات دون علامات واضحة على وجود اختراق.

كم عدد محاكاة الهجوم التي أجراها الباحثون؟

أجرى فريق البحث 3,168 محاكاة هجوم باستخدام NanoBrowser وBrowserUse مع GPT-5 وGemini 2.5-Flash لاختبار استجابات وكلاء الذكاء الاصطناعي لهجمات حقن الأوامر.