ByteDance เผยแพร่โอเพนซอร์สโมเดลมัลติโหมดัล 3B Lance ที่ฝึกบน GPU A100 จำนวน 128 ตัว

ตาม Beating บริษัท ByteDance Research ได้เปิดซอร์ส Lance ซึ่งเป็นโมเดลมัลติโหมดแบบรวมเอนกประสงค์ขนาด 3 พันล้านพารามิเตอร์ ที่ฝึกบน A100 เพียง 128 ตัวเท่านั้น โดย Lance รองรับการเข้าใจ การสร้าง และการแก้ไขภาพและวิดีโอ ภายในกรอบงานเดียว ซึ่งแสดงให้เห็นว่าสามารถทำความสามารถมัลติโหมดขั้นสูงให้เกิดขึ้นได้ด้วยทรัพยากรคอมพิวติงที่น้อยมาก ผ่านสถาปัตยกรรม dual-stream mixture-of-experts และการเข้ารหัสตำแหน่งแบบ rotary ที่คำนึงถึงโมดัล (modal-aware)
news.article.disclaimer
แสดงความคิดเห็น
0/400
ไม่มีความคิดเห็น