MiniMax เปิดซอร์สโมเดล MiniMax M3 แล้ว โดยมีพารามิเตอร์ 428 พันล้านตัว และรองรับบริบท 1M โทเค็น

ตาม Beating ทีม MiniMax ได้เปิดซอร์สโมเดลมัลติโหมดเนทีฟแบบ mixture-of-experts (MoE) MiniMax M3 พร้อมเผยแพร่น้ำหนักบน Hugging Face โดยโมเดลมีพารามิเตอร์รวม 428 พันล้านพารามิเตอร์ และใช้พารามิเตอร์ที่ถูกเปิดใช้งาน 23 พันล้านต่อ 1 โทเคน รองรับคอนเทกซ์ต์ได้สูงสุดถึง 1 ล้านโทเคนแบบเนทีฟ ทีมพัฒนาได้เปิดตัวเวอร์ชันที่ทำการควอนไทซ์ MXFP8 และเพิ่มการรองรับสำหรับเฟรมเวิร์กการอินเฟอเรนซ์ที่ได้รับความนิยม รวมถึง SGLang, vLLM และ Transformers นอกจากนี้ MiniMax ยังได้เปิดซอร์สไลบรารีโค้ดเคอร์เนล MiniMax Sparse Attention (MSA) แบบน้ำหนักเบา โดยทำให้การ pre-filling เร็วกว่าถึง 9 เท่า และการ decoding เร็วกว่าถึง 15 เท่า ในคอนเทกซ์ต์ 1 ล้านโทเคน ด้วยการปรับแต่งสถาปัตยกรรม NVIDIA Blackwell
news.article.disclaimer
แสดงความคิดเห็น
0/400
ไม่มีความคิดเห็น