DeepSeek开源TileKernels:面向大模型训练与推理的GPU内核库

Gate 新闻消息,4月23日——DeepSeek已在MIT许可证下开源TileKernels,这是一套用TileLang编写的GPU内核库,面向大语言模型的训练与推理。TileLang是tile-ai团队开发的一种领域专用语言,用于在Python中表达高性能GPU内核。DeepSeek表示,该库中的大多数内核在计算密度和内存带宽方面已接近硬件性能上限,其中部分内核已部署在内部的训练与推理操作中。

该库包含六类内核:MoE (专家混合) 的门控与路由,包括Top-k专家选择、从token到专家的映射,以及融合的expand/shrink并配合权重归一化;支持FP8、FP4和E5M6格式的量化,提供逐token、逐块与逐通道量化,并包含融合的SwiGLU+量化操作;批量转置;Engram门控,融合RMSNorm的前向/反向传播与权重梯度归约;Manifold HyperConnection,采用Sinkhorn归一化并进行混合的split/apply;以及高层autograd接口,将底层内核封装为可训练的层。

Engram和Manifold HyperConnection是DeepSeek模型架构中的专有组件,首次公开披露了实现细节。该库需要NVIDIA SM90或SM100架构的GPU (H100/H200或Blackwell系列)、CUDA Toolkit 13.1或更高,以及PyTorch 2.10或更高。

إخلاء المسؤولية: قد تكون المعلومات الواردة في هذه الصفحة من مصادر خارجية ولا تمثل آراء أو مواقف Gate. المحتوى المعروض في هذه الصفحة هو لأغراض مرجعية فقط ولا يشكّل أي نصيحة مالية أو استثمارية أو قانونية. لا تضمن Gate دقة أو اكتمال المعلومات، ولا تتحمّل أي مسؤولية عن أي خسائر ناتجة عن استخدام هذه المعلومات. تنطوي الاستثمارات في الأصول الافتراضية على مخاطر عالية وتخضع لتقلبات سعرية كبيرة. قد تخسر كامل رأس المال المستثمر. يرجى فهم المخاطر ذات الصلة فهمًا كاملًا واتخاذ قرارات مدروسة بناءً على وضعك المالي وقدرتك على تحمّل المخاطر. للتفاصيل، يرجى الرجوع إلى إخلاء المسؤولية.

مقالات ذات صلة

Succinct Labs تطلق تطبيق iPhone ZCAM باستخدام التشفير لمكافحة الوسائط المُولَّدة بالذكاء الاصطناعي

رسالة أخبار البوابة، 24 أبريل — كشفت Succinct Labs، المدعومة من Paradigm، النقاب عن ZCAM يوم الخميس، وهي تطبيق آيفون يستخدم التشفير لبصمة الصور والفيديوهات بهدف مكافحة الوسائط المُولَّدة بالذكاء الاصطناعي والملفّقة. يوقّع التطبيق الصور والفيديوهات في لحظة الالتقاط، منتجًا سجلًا لا يمكن العبث به

GateNewsمنذ 1 س

أطلقت Pi Network إطار رمزي PiRC1، وحظرت إصدار الرموز من المشاريع التي لا تمتلك تطبيقات حقيقية.

تم إطلاق إطار تصميم الرمز المميز PiRC1 من شبكة Pi في 22 أبريل، كجزء من ترقية Protocol V22. تتمثل القواعد الأساسية لـ PiRC1 في أنه لا يحق إصدار الرموز المميزة إلا للمشاريع التي تمتلك بالفعل تطبيقات تشغيلية داخل نظام Pi البيئي وتلبي احتياجات حقيقية من المستخدمين. لا تتجه عوائد الرمز المميز إلى فريق المشروع، بل تُوجَّه إلى حوض سيولة دائم متدفق مُثبت بالـ Pi Coin، لمنع سلوكيات الاحتيال والهرب.

MarketWhisperمنذ 1 س

انضمام Frax إلى مبادرة الدعم الموحدة في DeFi لـ Aave، لاقتراح خطة حوكمة لحادثة rsETH

رسالة أخبار Gate، 24 أبريل — أعلنت Frax Finance على X أنه، بصفتها شريكًا لدى Aave V4، فهي على تواصل مباشر مع Aave لمعالجة حادثة rsETH. وبينما لا تملك Frax أي تعرض مباشر للمخاطر،

GateNewsمنذ 2 س

تقدّم CoW DAO بمقترح لتعويض ضحايا اختطاف نطاق cow.fi، تعويض يصل إلى 100% من الخسائر

تم نشر مقترح تعويض (CIP) من قبل CoW DAO في 23 أبريل على منتدى الحوكمة، حيث اقترح إنشاء برنامج دعم تقديري لتقديم تعويض عن الخسائر يصل إلى 100% لضحايا حادث اختطاف نطاق cow.fi في 14 أبريل. تُقدِّر الحادثة أنها تسببت في خسارة للمستخدمين تبلغ حوالي 1.2 مليون دولار أمريكي USDC. وشدّد CoW DAO على أن التعويض يُقدَّم كمنحة طوعية ذات طبيعة تفضيلية، ولا يعني ذلك الاعتراف بأي مسؤولية قانونية.

MarketWhisperمنذ 2 س

مؤسس تيليجرام: رسوم TON تنخفض إلى 0.0005 دولار، في طريقها إلى صفر رسوم

مؤسس تيليجرام باڤيل دوروف نشر في 23 أبريل على منصة X إعلانًا يفيد بأن رسوم معاملات شبكة TON ستنخفض بمقدار 6 أضعاف خلال أسبوع، لتصل إلى 0.00039 TON لكل معاملة (حوالي 0.0005 دولار)، وستكون الرسوم ثابتة ولا تتأثر بحِمل الشبكة. كما أعلن دوروف أنه بعد خفض الرسوم، ستتجه أغلب المعاملات بشكل أكبر نحو نموذج مجاني بالكامل بدون رسوم معاملات.

MarketWhisperمنذ 2 س

CoW DAO 提议设立酌情资助计划以补偿域名劫持受害者

Gate 新闻消息,4月24日——CoW DAO 已提议设立一项酌情资助计划,用于补偿因 4月14日 cow.fi 域名劫持事件而遭受损失的用户。该计划将通过从法律辩护储备基金一次性划拨,对符合条件的受害者提供最高 100% 的损失补偿

GateNewsمنذ 3 س
تعليق
0/400
لا توجد تعليقات