Microsoft ได้อัปเดตแพตช์ช่องโหว่ที่มีการจัดอันดับระดับ “วิกฤตสูงสุด” ในแพลตฟอร์ม AI M365 Copilot ของตนเมื่อวันอังคารที่แล้ว ในวันจันทร์ นักวิจัยจากบริษัทความปลอดภัย Varonis ที่เป็นผู้ค้นพบช่องโหว่นี้ได้เปิดเผยว่า โค้ดตัวอย่าง (proof-of-concept) ของพวกเขาสามารถดึงรหัสยืนยันตัวตนแบบสองปัจจัย (two-factor authentication) และข้อมูลอ่อนไหวอื่นๆ ออกจากอีเมลที่เข้าถึงได้โดย Copilot สาเหตุหลักมาจากบ็อต AI ที่แยกแยะไม่ได้ว่าคำสั่งมาจากผู้ใช้ หรือฝังอยู่ในเนื้อหาของบุคคลที่สามที่โมเดลนำมาประมวลผล ส่งผลให้ Microsoft และผู้ให้บริการ LLM อื่นๆ ไม่สามารถป้องกันผลิตภัณฑ์ของตนจากการปฏิบัติตามคำขอที่เป็นอันตรายซึ่งมุ่งดึงข้อมูลได้
Microsoft ได้สร้างกรอบการป้องกันใน Copilot เพื่อป้องกันไม่ให้ LLM ส่งแบบฟอร์มบนเว็บ ส่งอีเมล และทำการกระทำที่คล้ายกัน ซึ่งอาจทำให้ข้อมูลผู้ใช้ถูกส่งออก (exfiltrate) นักวิจัยของ Varonis ทำงานรอบข้อจำกัดเหล่านี้โดยใช้ภาษามาร์กอัป ซึ่งช่วยให้เพิ่มองค์ประกอบการจัดรูปแบบ เช่น หัวข้อ รายการ และลิงก์ ลงในข้อความ โดยไม่ต้องใช้แท็ก HTML อีกทางเลือกที่หลบเลี่ยงได้คือการ “ห่อ” ข้อมูลอ่อนไหวไว้ในแท็ก HTML เช่น และ ในทั้งสองกรณี คำขอจากเว็บที่มีข้อมูลจะไปกระทบเซิร์ฟเวอร์เว็บของผู้โจมตี ซึ่งข้อมูลลับถูกบันทึกไว้ในบันทึก (logs)
Microsoft ได้เพิ่มกรอบการป้องกันเพิ่มเติม รวมถึงการครอบเอาต์พุตของ Copilot ไว้ใน เพื่อให้เบราว์เซอร์มองว่าเป็นข้อความธรรมดา และการจำกัดเว็บไซต์ที่ Copilot สามารถเข้าเยี่ยมได้โดยไม่ผ่านการอนุมัติอย่างชัดเจน แม้ว่า Copilot จะได้รับอนุญาตโดยรวมในการส่งคำขอไปยังโดเมนของ Microsoft แต่กรอบการป้องกันจะจำกัดคำขอไปยังเว็บไซต์ที่ไม่น่าเชื่อถือ
Varonis ได้วางแผนชุดการโจมตีที่เลี่ยงกรอบการป้องกันเหล่านี้ด้วยสิ่งที่นักวิจัยเรียกว่า Parameter-to-Prompt Injection พารามิเตอร์ในกรณีนี้คือ q ใน URL ซึ่งเป็นตัวบ่งชี้ว่ามีการรวม “คำขอแบบสอบถาม” (query) เข้าไป Parameter-to-Prompt Injection เป็นญาติใกล้ของ prompt injection โดยความแตกต่างคือคำสั่งที่เป็นอันตรายอยู่ในพารามิเตอร์ query แทนที่จะอยู่ในอีเมลหรือเนื้อหาที่ไม่น่าเชื่อถือชิ้นอื่น
Microsoft แพตช์ช่องโหว่อะไรใน Copilot เมื่อวันอังคารที่แล้ว?
Microsoft ได้แพตช์ช่องโหว่ระดับ “วิกฤตสูงสุด” ในแพลตฟอร์ม AI M365 Copilot ซึ่งทำให้แฮกเกอร์สามารถดึงรหัสยืนยันตัวตนแบบสองปัจจัยและข้อมูลอ่อนไหวอื่นๆ จากอีเมลที่ Copilot เข้าถึงได้ นักวิจัยของ Varonis ที่ค้นพบช่องโหว่นี้เปิดเผยโค้ดตัวอย่างสำหรับการโจมตีในวันจันทร์
นักวิจัยของ Varonis เลี่ยงกรอบการป้องกันด้านความปลอดภัยของ Copilot อย่างไร?
นักวิจัยของ Varonis ใช้ภาษามาร์กอัปเพื่อเพิ่มองค์ประกอบการจัดรูปแบบโดยไม่ใช้แท็ก HTML และห่อข้อมูลอ่อนไหวไว้ในแท็ก HTML เช่น และ . พวกเขายังใช้เทคนิค Parameter-to-Prompt Injection ที่วางคำสั่งที่เป็นอันตรายในพารามิเตอร์ query ของ URL แทนที่จะวางไว้ในเนื้อหาอีเมล ทำให้คำขอจากเว็บที่มีข้อมูลผู้ใช้สามารถไปกระทบเซิร์ฟเวอร์ที่ผู้โจมตีควบคุมได้ ซึ่งข้อมูลจะถูกบันทึกไว้ใน logs.
news.related.news
การตรวจสอบ AI ของ Zcash ไม่พบช่องโหว่ใหม่ หลังแก้ไขบั๊ก Orchard
Microsoft ถูกผู้ถือหุ้นฟ้องร้อง กรณีการเติบโตของ Azure และการเปิดเผยค่าใช้จ่ายด้าน AI
Aztec Connect ถูกระบายออก $2.1M หลังถูกเอ็กซ์พลอยต์ระหว่างการยืนยันตัวตน
ซีอีโอของ Microsoft นาย Nadella เสนอกรอบงาน AI ด้านทุนมนุษย์และทุนโทเคน