小米揭露 MiMo-V2-Pro 訓練細節:1T 模型參數,部署數千台 GPU

Gate 新聞訊息,4 月 24 日——小米大型語言模型團隊負責人 羅福立 在一場深入採訪中披露,MiMo-V2-Pro 模型總計擁有 1 兆(trillion)參數,訓練過程需要數千台 GPU。她指出,1T 規模代表達成性能接近 Claude Opus 4.6 等級所需的最低門檻,並取得下一階段 AI 代理的競爭性入場票。

技術層面,Pro 版本採用極致稀疏注意力機制,將全域注意力與滑動視窗注意力的比例設為 7:1,以控制長上下文處理的推論成本。模型也保留了 MTP (Multi-Token Prediction) 架構,利用剩餘算力以實現更快的推論。

在管理方面,100 人規模的 MiMo 團隊中,只有 30-40 人直接參與核心迭代。團隊運作不設正式階層,也沒有明確的分組或交付截止期限。當遇到不穩定的數值問題,例如訓練損失激增時,團隊會優先考慮暫停訓練以便調查,即使這意味著停止運作一到兩週,並因此產生數百萬美元的算力成本。

免責聲明:本頁面資訊可能來自第三方,不代表 Gate 的觀點或意見。頁面顯示的內容僅供參考,不構成任何財務、投資或法律建議。Gate 對資訊的準確性、完整性不作保證,對因使用本資訊而產生的任何損失不承擔責任。虛擬資產投資屬高風險行為,價格波動劇烈,您可能損失全部投資本金。請充分了解相關風險,並根據自身財務狀況和風險承受能力謹慎決策。具體內容詳見聲明

相關文章

中國 AI 企業考慮在 Meta 取得 Manus 收購案停擺後,拆解紅籌架構

根據 Beating,中國國家發展和改革委員會叫停 Meta 以 20 億美元收購 AI 代理公司 Manus,促使中國證券監督管理委員會加嚴對紅籌公司(持有境內資產的中國公司)在香港上市(IPO)的審批

GateNews1小時前

馬斯克完成 OpenAI 訴訟中的三天作證,引用 1,300-1,500 億美元的損害賠償要求

根據多家媒體報導,馬斯克於 4 月 28 日至 30 日在他針對 OpenAI 的訴訟中完成了為期三天的證詞陳述,累計證詞時間超過 7 小時。馬斯克於 2015 年與他人共同創立 OpenAI,初始投資為 3800 萬美元,並聲稱該公司放棄了其非營利性的 m

GateNews1小時前

Meta 於 5 月 1 日收購機器人 AI 創業公司 Assured Robot Intelligence

根據彭博,Meta 於 5 月 1 日收購 Assured Robot Intelligence,一家在聖地牙哥和紐約設有辦公室的 AI 機器人初創公司。被收購團隊(包括共同創辦人 Lerrel Pinto 和 Xiaolong Wang)將加入 Meta 超級智能實驗室,並與 Meta Robotics Studio 合作。財務

GateNews1小時前

與 OpenAI 相關的組織向影響者每支 TikTok 支付 5,000 美元以散布「中國 AI 威脅」訊息

根據《WIRED》的報導,隸屬於超級政治行動委員會 Leading the Future 的非營利組織 Build American AI,透過行銷公司 SM4 系統性招募社群媒體影響者,以在 TikTok 和 Instagram 上散播「中國威脅美國 AI」的訊息。該組織

GateNews1小時前

Nebius 以 $643M 收購 Eigen AI,以提升 AI 模型部署

根據《Economic Times》,在 5 月 1 日,位於阿姆斯特丹的 AI 基礎設施公司 Nebius 宣布,將以約 6.43 億美元現金與 A 類股份收購 Eigen AI。Eigen AI 由前 MIT 研究人員創立,專注於推論與最佳化技術。Nebius 計劃將

GateNews1小時前

五角大廈與 8 家公司簽署 AI 合約,未把 Anthropic 納入對「Secret-Level」網路的存取許可

根據 Beating News,五角大廈宣布與八家科技公司達成協議,將其 AI 工具與基礎設施部署在美國軍事的機密級(IL6)與最高機密(IL7)網路上。新簽署的公司包括 Nvidia、Microsoft、AWS、Reflection AI,以及先前

GateNews1小時前
留言
0/400
暫無留言