Berita Gate, 22 April — Mahasiswa PhD Princeton, Yifan Zhang, mengungkapkan spesifikasi teknis lengkap untuk DeepSeek V4 di X, setelah pratinjau pada 19 April. V4 memiliki 1,6 triliun parameter total dan varian ringan, V4-Lite, dengan 285 miliar parameter.
Model menggunakan mekanisme perhatian DSA2, yang menggabungkan DSA (DeepSeek Sparse Attention) sebelumnya dari DeepSeek pada V3.2 dan NSA (Native Sparse Attention) dengan embedding kepala berdimensi 512, dipasangkan dengan Sparse Multi-Query Attention (MQA) dan Sliding Window Attention (SWA). Lapisan MoE (Mixture of Experts) berisi 384 pakar dengan 6 yang diaktifkan per sekali forward pass, menggunakan Fused MoE Mega-Kernel. Koneksi residual menggunakan arsitektur Hyper-Connections.
Detail pelatihan yang diungkap untuk pertama kalinya mencakup penggunaan optimizer Muon (applying Newton-Schulz orthogonalization to momentum updates), jendela konteks pra-pelatihan 32K token, serta GRPO (Group Relative Policy Optimization) dengan koreksi divergensi KL selama reinforcement learning. Jendela konteks akhir diperluas hingga 1 juta token. Model hanya teks.
Zhang tidak bekerja untuk DeepSeek, dan perusahaan belum secara resmi memberikan komentar atas informasi yang diungkapkan.
Penafian: Informasi di halaman ini dapat berasal dari pihak ketiga dan tidak mewakili pandangan atau opini Gate. Konten yang ditampilkan hanya untuk tujuan referensi dan bukan merupakan nasihat keuangan, investasi, atau hukum. Gate tidak menjamin keakuratan maupun kelengkapan informasi dan tidak bertanggung jawab atas kerugian apa pun yang timbul akibat penggunaan informasi ini. Investasi aset virtual memiliki risiko tinggi dan rentan terhadap volatilitas harga yang signifikan. Anda dapat kehilangan seluruh modal yang diinvestasikan. Harap pahami sepenuhnya risiko yang terkait dan buat keputusan secara bijak berdasarkan kondisi keuangan serta toleransi risiko Anda sendiri. Untuk detail lebih lanjut, silakan merujuk ke
Penafian.
Artikel Terkait
Anggota Dewan Perwakilan Colorado Mengusulkan Penggantian Undang-Undang AI untuk Mengatasi Kekhawatiran Industri
Para legislator Colorado tengah bergerak untuk mencabut dan mengganti undang-undang kecerdasan buatan (AI) negara bagian tahun 2024, SB24-205, dengan aturan baru yang mempersempit cakupan regulasi AI sambil menangani kekhawatiran industri terkait beban kepatuhan. Usulan baru tersebut, SB26-189, akan mengatur sistem AI yang digunakan dalam
CryptoFrontier5jam yang lalu
R0AR Melaju ke Babak Final Consensus 2026 PitchFest, Tersisih Tipis dari Top 20
Menurut MetaversePost, R0AR maju ke babak seleksi final CoinDesk Consensus 2026 PitchFest pada 4 Mei, hanya tersisih dari 20 startup teratas yang dipilih untuk presentasi langsung. Inovator Web3 dan AI itu dinilai bersama startup berpotensi tinggi di seluruh dunia pada salah satu m
GateNews9jam yang lalu
Musk Mengincar Penyelesaian Senilai $150 Miliar dari OpenAI Sebelum Sidang, Pembicaraan Penyelesaian Gagal
Menurut berkas pengadilan, Elon Musk menghubungi Presiden OpenAI Greg Brockman pada 26 April, dua hari sebelum sidang mereka dimulai di pengadilan federal Oakland, untuk membahas kemungkinan penyelesaian. Ketika Brockman menyarankan kedua pihak mencabut tuntutan mereka, Musk menanggapi dengan ancaman, mengatakan kepada Brockman: "Pada akhir
GateNews9jam yang lalu
Cursor Menerima Tawaran Akuisisi SpaceX senilai 60 miliar dolar AS tetapi Tidak Mau Berkolaborasi dengan xAI untuk Model Koding
Menurut The Information, Cursor telah menerima penawaran akuisisi bersyarat senilai 60 miliar dolar AS dari SpaceX, meskipun kesepakatan tersebut belum final. Saat ini, perusahaan tidak memiliki rencana untuk berkolaborasi dengan unit AI SpaceX, xAI, dalam mengembangkan model pengkodean. Sebagai gantinya, Cursor berfokus pada mengoptimalkannya
GateNews9jam yang lalu
Haun Ventures Menutup Dana senilai $1 miliar pada 4 Mei, Membagi Modal antara Investasi Kripto Tahap Awal dan Tahap Akhir
Menurut Bloomberg, Haun Ventures menyelesaikan putaran penggalangan dana senilai 1 miliar dolar AS pada 4 Mei, dengan 500 juta dolar AS dialokasikan untuk investasi tahap awal dan 500 juta dolar AS untuk investasi tahap lanjut. Dana tersebut akan menyalurkan modal selama dua hingga tiga tahun ke depan, menargetkan startup kripto dan blockchain sambil memperluas
GateNews9jam yang lalu
OpenAI Menggalang $4 Miliar untuk Usaha Patungan Penerapan, Senilai 10 Miliar Dolar AS
Menurut BlockBeats, pada 4 Mei, OpenAI menghimpun lebih dari $4 miliar untuk mendirikan perusahaan patungan baru yang berfokus membantu perusahaan mengadopsi perangkat lunak kecerdasan buatannya. Ventura tersebut, bernama The Deployment Company, didukung oleh 19 investor termasuk TPG Inc., Brookfield Asset Management,
GateNews11jam yang lalu
