D-Matrix — стартап зі створення AI-чипів за підтримки Microsoft, розташований у Силіконовій долині, — запустив інференсний чип Corsair із заявами, що він виконує інференсні навантаження у 10 разів швидше та споживає в 5 разів менше енергії, ніж окремий GPU Nvidia, для невеликих навантажень. Компанія, заснована у 2019 році, оцінюється приблизно в 2 мільярди доларів після залучення близько 500 мільйонів доларів, починає постачати продукцію клієнтам уже цього місяця. Запуск відбувається на тлі того, що ринок AI-чипів демонструє суттєві можливості для спеціалізованих гравців: після IPO Cerebras минулого місяця, яке залучило понад 5,5 мільярда доларів і оцінило компанію більш ніж у 50 мільярдів доларів, а також після угоди Nvidia на суму 20 мільярдів доларів щодо придбання Groq у грудні.
D-Matrix використовує SRAM-архітектуру пам’яті для інференсу з низькою затримкою
Чип Corsair від D-Matrix забезпечує низьколатентний інференс із низьким енергоспоживанням, щільно інтегруючи пам’ять і обчислення на одному чипі. Як і Groq та Cerebras, D-Matrix спирається на SRAM — тип пам’яті, який можна виготовляти на логічних фабах на кшталт Taiwan Semiconductor Manufacturing Company та вбудовувати на той самий чип. GPU покладаються на великі обсяги іншого типу пам’яті під назвою DRAM, яку упаковують у стекі високошвидкісної пам’яті з високою пропускною здатністю, що додається навколо логічного чипа. Співзасновник і CEO Sid Sheth сказав, що компанія не впирається у вузьке місце навколо DRAM, адже продукт не потребує DRAM, щоб бути успішним.
У парі з GPU Nvidia Blackwell, як стверджує D-Matrix, посилаючись на дослідження Gimlet Labs, Corsair може виконувати інференс у 10 разів швидше, утричі дешевше та до п’яти разів ефективніше з точки зору енергії, ніж окремий GPU. Sheth каже, що Corsair створений для AI-інференсу з оптимізацією під інтерактивність або швидкість важливіше за розмір мовної моделі, орієнтуючись на сценарії на кшталт чатботів, голосових агентів і агентних інструментів.
Компанія отримує зобов’язання від гіперскейлерів та AI-лабораторій
Sheth заявив, що в компанії є зобов’язання від відомих гіперскейлерів, neoclouds і форпостних AI-лабораторій. D-Matrix починає постачання цим клієнтам уже цього місяця. За його словами, близько 90% клієнтів — у США, тоді як закордонні клієнти — на Близькому Сході та в Південно-Східній Азії. Microsoft інвестувала через свій венчурний підрозділ M12.
Sheth зазначив, що він не має наміру продавати компанію, і назвав ринок AI-чипів «ринком на суму 1 трильйон доларів у стадії формування». Семикондутний аналітик Stacy Rasgon з Bernstein Research відзначив, що D-Matrix має достатньо багато реальних взаємодій із клієнтами, причому клієнти часто використовують чипи разом із Nvidia.
Чип Corsair має обмеження для великомасштабних моделей
Rick Bahr, ад’юнкт-професор кафедри електротехніки в Стенфордському університеті, виявив суттєве обмеження: хоча SRAM на чипі забезпечує вражаючі швидкості інференсу через те, що дані долають короткі відстані, вона не може впоратися з трильйонами параметрів, які зараз складають великі моделі від лідерів на кшталт OpenAI та Anthropic. Bahr заявив, що ці параметри просто неможливо розмістити в SRAM-орієнтованій конструкції.
CEO Nvidia реагує на заяви про конкуренцію в інференсі
CEO Nvidia Jensen Huang тиждень тому сказав, що його компанія лишається лідером за дешевим інференсом завдяки системі Vera Rubin, оскільки справа не лише в швидкості. На Computex у Тайвані Huang пояснив, що причина в тому, що Nvidia інтегрує все: розробляє все з нуля, моделює всю систему та застосовує екстремальний ко-дизайн. Nvidia випустила новий чип Groq на GTC у березні, який називається language processing unit.
D-Matrix відправляє чотиричипові картки на базі 6-нанометрового процесу TSMC
D-Matrix продає чотири чипи Corsair, упаковані разом у картку, яку вставляють у слоти в серверній стійці дата-центру; вартість — десятки тисяч доларів. Sheth назвав Corsair найщільнішим SRAM-рішенням на ринку сьогодні: до 128 гігабайтів SRAM-пам’яті в одному сервері. Чип виготовляють у Тайвані на вузлі TSMC із 6 нанометрами.
D-Matrix об’єдналася з Arista, Broadcom і Super Micro, щоб створити повномасштабну стійкову систему SquadRack для розгортання її чипів у AI дата-центрах. Наступний чип компанії, Raptor, заплановано до запуску наступного року на TSMC 4 нанометри, що, як сказав Sheth, може дозволити вивезти виробництво з тайванської фабрики в Арізону.
FAQ
Які заяви щодо продуктивності робить D-Matrix для свого чипа Corsair?
D-Matrix стверджує, що чип Corsair може виконувати інференсні навантаження у 10 разів швидше та споживати в 5 разів менше енергії, ніж окремий GPU Nvidia, для невеликих навантажень. У парі з GPU Nvidia Blackwell, посилаючись на дослідження Gimlet Labs, Corsair може виконувати інференс у 10 разів швидше, утричі дешевше та до п’яти разів ефективніше з точки зору енергії, ніж окремий GPU.
Які технічні обмеження підходу D-Matrix на основі SRAM?
За словами Rick Bahr, ад’юнкт-професора кафедри електротехніки в Стенфордському університеті, SRAM-орієнтована конструкція не може впоратися з трильйонами параметрів, які складають великі моделі від лідерів на кшталт OpenAI та Anthropic. Хоча SRAM на чипі забезпечує вражаючі швидкості інференсу, ці параметри просто неможливо розмістити в SRAM-орієнтованій конструкції.
Коли D-Matrix починає постачати клієнтам чипи Corsair?
D-Matrix починає постачати чипи Corsair клієнтам уже цього місяця. У компанії є зобов’язання від гіперскейлерів, neoclouds і форпостних AI-лабораторій, причому близько 90% клієнтів — у США, а закордонні клієнти — на Близькому Сході та в Південно-Східній Азії.
