DeepSeek V4 запускається з вікном контексту 1M; чипи Huawei Ascend і Cambricon досягають повної сумісності

Повідомлення Gate News, 24 квітня — DeepSeek V4-Pro і DeepSeek V4-Flash були офіційно випущені та відкрито передані в open-source 24 квітня, причому довжина контекстного опрацювання суттєво розширена з 128K до 1M, що відповідає майже 10-кратному зростанню місткості. Huawei Computing оголосила, що її продукти Ascend supernode повністю підтримують моделі серії DeepSeek V4 завдяки тісній співпраці між технологіями чипа та моделі.

Ascend 950 забезпечує розгортання інференсу моделей DeepSeek V4 із високою пропускною здатністю та низькою затримкою завдяки технікам злитого ядра та багатопотокової паралельності, щоб зменшити накладні витрати на обчислення Attention і доступ до пам’яті. Для DeepSeek V4-Pro із входом 8K Ascend 950 досягає приблизно 20ms TPOT із 4,700 TPS пропускної здатності Decode на одну карту; для DeepSeek V4-Flash за входу до 8K він досягає приблизно 10ms TPOT із пропускною здатністю 1,600 TPS. Серія супервузлів Ascend A3 також досягає повної сумісності: надано опорні реалізації для тренування для швидкого фінастройнінгу. На основі супервузла Ascend A3 на 64 карти з великим режимом EP, DeepSeek V4-Flash досягає понад 2,000 TPS пропускної здатності Decode на одну карту в сценаріях вхід-вихід 8K/1K за допомогою рушія інференсу vLLM. Повні лінійки продуктів Huawei Ascend A2, A3 і 950 підтримують як DeepSeek V4-Flash, так і V4-Pro.

Huawei Cloud оголосила про сумісність першою серед конкурентів із DeepSeek V4, надаючи розробникам сервіси API token в один клік через свою платформу MaaS. Huawei Cloud оптимізувала можливості системного рівня, рівня операторів і рівня кластерів, щоб забезпечити швидку адаптацію моделей та високопродуктивне розгортання. Підприємства, зокрема Kingsoft WPS і 360, уже інтегрували нову модель DeepSeek через Huawei Cloud.

Cambricon також оголосила про сумісність Day 0 з DeepSeek V4-Flash і V4-Pro на основі фреймворка інференсу vLLM, при цьому код адаптації відкрито передано в open-source для спільноти GitHub. Раніше Cambricon досягла адаптації першою серед конкурентів, коли DeepSeek V3.2 було випущено торік; тоді було проведено глибоку оптимізацію продуктивності у співпраці програмного та апаратного забезпечення для моделей серії DeepSeek.

Застереження: Інформація на цій сторінці може походити від третіх осіб і не відображає погляди або думки Gate. Вміст, що відображається на цій сторінці, є лише довідковим і не є фінансовою, інвестиційною або юридичною порадою. Gate не гарантує точність або повноту інформації і не несе відповідальності за будь-які збитки, що виникли в результаті використання цієї інформації. Інвестиції у віртуальні активи пов'язані з високим ризиком і піддаються значній ціновій волатильності. Ви можете втратити весь вкладений капітал. Будь ласка, повністю усвідомлюйте відповідні ризики та приймайте обережні рішення, виходячи з вашого фінансового становища та толерантності до ризику. Для отримання детальної інформації, будь ласка, зверніться до Застереження.

Пов'язані статті

Ethos залучила 27,5 млн доларів у раунді Series A, який очолила a16z

За даними Foresight News, платформа для підбору талантів на базі ШІ Ethos залучила 27,5 мільйона доларів у раунді Series A під проводом Andreessen Horowitz (a16z), за участі General Catalyst, XTX Markets, Matt Miller і Common Magic. Платформа використовує ШІ для інтерв’ю з кандидатами та аналізу їхніх

GateNews22хв. тому

Moonshot AI залучив 2 мільярди доларів за оцінки в 20 мільярдів доларів, попереду — Meituan

За даними Bloomberg, Moonshot AI, стартап із Пекіна, що стоїть за чатботом Kimi, залучив приблизно 2 мільярди доларів у раунді фінансування, який очолив венчурний підрозділ Meituan Long-Z Investments, оцінивши компанію більш ніж у 20 мільярдів доларів. Її річний регулярний дохід перевищив 200 мільйонів доларів у

GateNews32хв. тому

NVIDIA та MediaTek об’єднали зусилля для створення майбутніх автомобілів із AI-асистентом «рідного» для штучного інтелекту

NVIDIA та MediaTek співпрацюють над створенням AI-native автомобільної архітектури: на рівні периферії DRIVE AGX відповідає за завдання з низькою затримкою та конфіденційністю і підтримує моделі 7B+; у хмарі роль AI-заводу виконують для високорівневого міркування та навчання. Завдяки агентній оркестрації та обміну сценаріями забезпечується безшовний UX; Dimensity AX обробляє високорівневі розваги та IVI, Drive OS — спільно використовується. Обидві системи реалізують високочастотний безшовний обмін даними через PCIe та NvStreams API, формуючи архітектуру центрального комп’ютера.

ChainNewsAbmedia49хв. тому

OpenAI відкликає сертифікат підписання для macOS завтра, 8 травня, вимикаючи застарілі застосунки

За даними Beating, сертифікат підпису macOS від OpenAI буде відкликано 8 травня, через що застарілі версії ChatGPT Desktop, Codex, Codex CLI та Atlas стануть непрацездатними й не зможуть отримувати оновлення. Користувачам із версіями Mac слід оновитися негайно через вбудовані оновлення або завантаживши з Ope

GateNews1год тому

Chrome таємно встановив і видалив 4 ГБ ШІ, а потім перевстановив; дослідник заявив про порушення європейського закону про конфіденційність

За повідомленням Decrypt від 7 травня, Google Chrome без отримання згоди користувача непомітно завантажив приблизно 4 ГБ AI-моделі Gemini Nano на пристрої, які підпадають під певні умови. Дослідник приватності Александр Ханфф під час автоматизованого аудиту налаштувань нових профілів користувачів виявив цю дію та зазначив, що вона може порушувати європейську Директиву ЄС про електронну приватність.

MarketWhisper1год тому

Судові документи показують, що Алтман у листопаді 2023 року запропонував придбання Microsoft, щоб зберегти посаду CEO

Згідно з матеріалами судових подань, оприлюдненими 7 травня, документи у справі Musk проти Altman розкрили текстові повідомлення між Семом Альтманом і тодішньою CTO Мірою Мураті від 19 листопада 2023 року, коли рада OpenAI раптово усунула Альтмана з посади CEO. Під час кризи Альтман запропонував, щоб Microsoft придбала OpenAI, щоб

GateNews1год тому
Прокоментувати
0/400
Немає коментарів