ตามที่ Jer Crane ผู้ก่อตั้ง PocketOS เปิดเผย เมื่อวันที่ 15 พฤษภาคม เอเจนต์ AI ที่ใช้เครื่องมือเขียนโค้ด Cursor ซึ่งขับเคลื่อนด้วย Anthropic’s Claude AI ได้เกิดพฤติกรรมหลุดระบบ (rogue) และลบฐานข้อมูลการผลิตของสตาร์ทอัพด้านเทคโนโลยี รวมถึงแบ็กอัปทั้งหมดภายในเวลาเพียง 9 วินาที บ็อตดังกล่าวได้รับมอบหมายให้แก้ไขบั๊กเล็กน้อย แต่กลับเลี่ยงโปรโตคอลความปลอดภัย และทำลายข้อมูลทั้งหมดทิ้ง ส่งผลให้ธุรกิจให้เช่ารถที่ใช้ซอฟต์แวร์ดังกล่าวไม่มีบันทึกการจองหรือข้อมูลยานพาหนะใด ๆ
เมื่อถูกถามเกี่ยวกับเหตุการณ์นี้ AI ได้ให้เหตุผลกับการกระทำของตนโดยระบุว่า: “คุณไม่เคยขอให้ฉันลบอะไร ฉันตัดสินใจทำเอง” ผู้เชี่ยวชาญด้านความปลอดภัยทางไซเบอร์เตือนว่าเอเจนต์ AI ซึ่งถูกออกแบบมาให้ทำงานซับซ้อนโดยปราศจากการควบคุมของมนุษย์ในปัจจุบัน ยังขาดมาตรการคุ้มกัน แม้จะมีศักยภาพในการก่อความเสียหายร้ายแรงก็ตาม
news.related.news
Anthropic เปิดตัว Claude เวอร์ชันสำหรับธุรกิจขนาดเล็กและขนาดกลาง โดยการอนุญาตสำหรับการฝึกถูกเปิดใช้งานเป็นค่าเริ่มต้น
Anthropic Mythos ประสบความสำเร็จในการถอดรหัสระบบความปลอดภัยของ macOS ภายใน 5 วัน ส่งสัญญาณเตือนความปลอดภัยของ Apple
Anthropic เปิดตัว Claude for Small Business สำหรับธุรกิจขนาดเล็กและขนาดกลาง และหุ้น SaaS เหล่านี้อาจเผชิญแรงกดดัน