AMD Phát hành mô hình Instella-MoE hoàn toàn mã nguồn mở với 16Bỷ tham số vào ngày 25 tháng 7

AMD-3,29%
Theo BlockBeats, AMD đã phát hành mô hình mixture-of-experts (MoE) Instella-MoE hoàn toàn mã nguồn mở vào ngày 25 tháng 7, với tổng cộng 2.8Bỷ tham số và 16Bỷ tham số được kích hoạt cho mỗi token. Mô hình nền đạt điểm trung bình 76,7, xếp trong nhóm các mô hình ngôn ngữ mã nguồn mở hàng đầu và vượt trội so với SmolLM3-3B và OLMo-3-7B. Mô hình được huấn luyện trên các GPU AMD Instinct MI300X và MI325X bằng stack phần mềm ROCm, hỗ trợ độ dài ngữ cảnh 64K token. AMD đang công khai phát hành toàn bộ trọng số mô hình, cấu hình huấn luyện, phân phối dữ liệu, các checkpoint trung gian và mã suy luận để thúc đẩy nghiên cứu AI mở.
Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể đến từ các nguồn bên thứ ba và chỉ mang tính chất tham khảo. Thông tin này không phản ánh quan điểm hoặc ý kiến của Gate và không cấu thành bất kỳ lời khuyên tài chính, đầu tư hoặc pháp lý nào. Giao dịch tài sản ảo tiềm ẩn rủi ro cao. Vui lòng không chỉ dựa vào thông tin trên trang này khi đưa ra quyết định. Để biết thêm chi tiết, vui lòng xem Tuyên bố miễn trừ trách nhiệm.
Bình luận
0/400
Không có bình luận