ความแม่นยำของ GPT-5.4 ลดลงจาก 100% เหลือ 54% บน ARC-AGI หลังมีการสรุปความจำซ้ำๆ

อ้างอิงจาก Beating การศึกษาล่าสุดเกี่ยวกับหน่วยความจำของเอเจนต์ (Agent memory) โดย Dylan Zhang นักศึกษาระดับปริญญาเอกจาก University of Illinois พบว่า การสรุปประสบการณ์ของโมเดลซ้ำๆ สามารถทำให้ประสิทธิภาพลดลงแทนที่จะดีขึ้น ในงานประเภท ARC-AGI GPT-5.4 ทำความแม่นยำได้ 100% จากโจทย์ 19 ปัญหาโดยไม่ใช้หน่วยความจำ แต่หลังจากผ่านหลายรอบของการบีบอัดหน่วยความจำโดยอิงจากเส้นทางการแก้ปัญหาที่ถูกต้อง ความแม่นยำกลับลดลงเหลือ 54% เช่นเดียวกัน ในงานช้อปปิ้งของ WebShop วิธีหน่วยความจำ AWM ได้คะแนน 0.64 ด้วยเส้นทางผู้เชี่ยวชาญ 8 ราย แต่ตกลงเป็น 0.20 เมื่อใช้เส้นทาง 128 ราย และกลับไปอยู่ระดับใกล้เคียงพื้นฐาน งานวิจัยชี้ว่า ปัญหาเกิดจากการสรุปมากเกินไป: ในแต่ละขั้นของนามธรรมจะสูญรายละเอียดเฉพาะเจาะจง และหลอมรวมกฎที่ขึ้นกับงานให้กลายเป็นคำแนะนำทั่วไป ส่งผลให้ประสิทธิภาพของโมเดลลดลงในที่สุด