Gate Newsの告知、4月22日——プリンストン大学の博士課程学生、Yifan Zhangが、4月19日の予告に続いてX上でDeepSeek V4の完全な技術仕様を明らかにした。V4は総パラメータ数1.6兆のほか、パラメータ2850億の軽量版V4-Liteを備える。
このモデルはDSA2のアテンション・メカニズムを採用しており、V3.2のDeepSeekの既存DSA (DeepSeek Sparse Attention)と、512次元のヘッド埋め込みを用いたNSA (Native Sparse Attention)を組み合わせる。さらに、Sparse Multi-Query Attention (MQA)とSliding Window Attention (SWA)を組み合わせる。MoE (Mixture of Experts)の層には、順伝播の1回あたり6つが活性化される384人のエキスパートが含まれ、Fused MoE Mega-Kernelを使用する。残差接続はHyper-Connectionsアーキテクチャを用いる。
初めて明らかにされたトレーニングの詳細には、Muonオプティマイザの使用が含まれており、(applying Newton-Schulz orthogonalization to momentum updates)、32Kトークンの事前学習コンテキスト・ウィンドウ、強化学習中のKLダイバージェンス補正を伴うGRPO (Group Relative Policy Optimization)が明らかにされた。最終的なコンテキスト・ウィンドウは100万トークンまで拡張される。モデルはテキストのみ。
ZhangはDeepSeekに雇用されておらず、同社は開示された情報について公式にはコメントしていない。
免責事項：このページの情報は第三者から提供される場合があり、Gateの見解または意見を代表するものではありません。このページに表示される内容は参考情報のみであり、いかなる金融、投資、または法律上の助言を構成するものではありません。Gateは情報の正確性または完全性を保証せず、当該情報の利用に起因するいかなる損失についても責任を負いません。仮想資産への投資は高いリスクを伴い、大きな価格変動の影響を受けます。投資元本の全額を失う可能性があります。関連するリスクを十分に理解したうえで、ご自身の財務状況およびリスク許容度に基づき慎重に判断してください。詳細は
免責事項をご参照ください。
関連記事
OpenAIの共同創業者ブロックマンが、月曜日の法廷証言で$30B ホールディングスの保有を確認
月曜日、OpenAIとイーロン・マスクの法的係争における裁判証言の場で、OpenAIの共同創業者兼社長であるグレッグ・ブローカーマンは、自身が保有する同社の持ち分の価値が約300億ドルに相当することを確認した。「その価値は『300億ドルに近い』のか」と尋ねられると、ブローカーマンは肯定的に答えた。
GateNewsたった今
ホワイトハウスは新しいAIモデルに向けた政府の審査プロセスを検討しており、先週はテック幹部らに説明した
ニューヨーク・タイムズによると、ホワイトハウスは、技術企業の幹部と政府関係者を集めて、潜在的な規制手続きについて調査する人工知能のタスクフォースを設置するための大統領令について協議している。先週、ホワイトハウス当局者が説明した
GateNews5分前
コロラド州の議員が、業界の懸念に対処するためAI法の代替案を提案
コロラド州の議員らは、州の2024年の人工知能法であるSB24-205を廃止して置き換える動きに乗り出しており、AI規制の対象範囲を狭めつつ、コンプライアンス負担に関する業界の懸念に対応する新たなルールを打ち出そうとしている。新しい提案であるSB26-189は、使用されるAIシステムを規制し…
CryptoFrontier5時間前
R0AR、「Consensus 2026 PitchFest」決勝ラウンドへ進出も、惜しくもトップ20入りを逃す
MetaversePostによると、R0ARは5月4日に開催されたCoinDeskのConsensus 2026 PitchFestで最終選考ラウンドまで進出したものの、ライブプレゼンに選ばれた上位20社にはわずかに届かなかった。Web3とAIのイノベーターは、業界のmで、世界中の高い可能性を秘めたスタートアップとともに評価された。
GateNews9時間前
ムスク氏、裁判前にOpenAIから1,500億ドルの和解金を求めるも、和解交渉が不調に終わる
裁判所への提出書類によると、イーロン・マスクは4月26日にOpenAIの社長であるグレッグ・ブロックマンへ連絡を取り、オークランドの連邦裁判所で裁判が始まる2日前だった同氏は、和解の可能性を探ったという。ブロックマンが双方が自らの主張を取り下げるよう提案すると、マスクは脅しで返し、ブロックマンにこう告げた：「遅くとも…
GateNews9時間前
