Huawei, USTC และมหาวิทยาลัยปักกิ่งทำความเร็วเพิ่มขึ้น 58% บน Ascend A3 สำหรับการฝึกโมเดล MoE

ตาม Beating นักวิจัยจาก Huawei, มหาวิทยาลัยวิทยาศาสตร์และเทคโนโลยีจีน (USTC) และมหาวิทยาลัยปักกิ่งได้เปิดตัว HyperParallel-MoE ซึ่งเป็นกรอบการจัดตารางงานคอมไพเลอร์สำหรับชิป Ascend A3 โดยกรอบดังกล่าวช่วยลดความหน่วงในโมดูลการคำนวณของ MoE ของผู้เชี่ยวชาญลง 36% และทำให้ความเร็วการประมวลผลข้อมูลโดยรวมเพิ่มขึ้น 58% (เร็วขึ้น 1.49–1.58x) ในคลัสเตอร์ 256 โหนดที่รันโมเดลสไตล์ DeepSeek ขนาด 671B พารามิเตอร์ ขณะที่ความเร็วการฝึกแบบทีละสเต็ปดีขึ้น 8–9%
news.article.disclaimer

news.related.news

แสดงความคิดเห็น
0/400
ไม่มีความคิดเห็น