D-Matrix — стартап по ИИ-чипам, поддерживаемый Microsoft и базирующийся в Силиконовой долине, — представил чип вывода Corsair, заявив, что он выполняет inference-нагрузки в 10 раз быстрее и потребляет в 5 раз меньше энергии, чем отдельный GPU Nvidia на небольших нагрузках. Компания, основанная в 2019 году и оценённая примерно в 2 миллиарда долларов после привлечения около 500 миллионов долларов, начнёт отгрузки клиентам в этом месяце. Запуск происходит на фоне того, что рынок ИИ-чипов демонстрирует значительные возможности для специализированных игроков: после IPO Cerebras в прошлом месяце, которое привлекло более 5,5 миллиарда долларов и оценило компанию более чем в 50 миллиардов долларов, а также после сделки Nvidia по покупке Groq за 20 миллиардов долларов в декабре.
D-Matrix использует архитектуру SRAM-памяти для вывода с низкой задержкой
Чип Corsair от D-Matrix обеспечивает вывод с низкой задержкой при низком энергопотреблении благодаря плотной интеграции памяти и вычислений на одном кристалле. Как Groq и Cerebras, D-Matrix опирается на SRAM — тип памяти, который можно производить на логических фабах, таких как Taiwan Semiconductor Manufacturing Company, и интегрировать на том же чипе. GPU используют большие объёмы другой разновидности памяти под названием DRAM, упакованной в стеки высокоскоростной памяти, добавляемые вокруг логического чипа. Сооснователь и CEO Сид Шетх заявил, что компания не упирается в «узкое горлышко» вокруг DRAM, потому что продукт не полагается на DRAM, чтобы быть успешным.
В паре с GPU Nvidia Blackwell, по словам D-Matrix со ссылкой на исследования Gimlet Labs, Corsair способен запускать inference в 10 раз быстрее, в 3 раза дешевле и обеспечивать до 5 раз более энергоэффективную работу, чем отдельный GPU. Шетх говорит, что Corsair разработан для inference в ИИ с оптимизацией под интерактивность или скорость важнее размеров языковой модели, ориентируясь на сценарии вроде чат-ботов, голосовых агентов и агентных инструментов.
Компания получает обязательства от гиперскейлеров и ИИ-лабораторий
Шетх отметил, что компания получила обязательства от известных гиперскейлеров, «неооблаков» и лабораторий передового ИИ. D-Matrix начнёт отгрузки этим клиентам в этом месяце. По его словам, около 90% клиентов находятся в США, а зарубежные клиенты — на Ближнем Востоке и в Юго-Восточной Азии. Microsoft инвестировала через своё венчурное подразделение M12.
Шетх заявил, что не собирается продавать компанию, и назвал рынок ИИ-чипов «рынком на сумму 1 триллион долларов, который сейчас только формируется». Полупроводниковый аналитик Stacy Rasgon из Bernstein Research отметил, что у D-Matrix достаточно много реальных, конкретных взаимодействий с клиентами: при этом клиенты часто используют чипы вместе с Nvidia.
Чип Corsair сталкивается с ограничениями на больших моделях
Рик Бэр, приглашённый профессор кафедры электротехники в Стэнфордском университете, выявил важное ограничение: хотя SRAM на чипе позволяет добиться впечатляющих скоростей inference из-за того, что данные проходят короткие расстояния, он не справляется с триллионами параметров, которые сейчас формируют большие модели от таких лидеров, как OpenAI и Anthropic. Бэр отметил, что это количество параметров просто нельзя разместить в дизайн, основанный на SRAM.
CEO Nvidia отвечает на заявления о конкуренции в inference
CEO Nvidia Дженсен Хуанг на прошлой неделе сказал, что его компания по-прежнему лидирует по дешёвому inference благодаря системе Vera Rubin, потому что дело не только в скорости. На Computex в Тайване Хуанг заявил, что причина в том, что Nvidia интегрирует всё, проектирует всё с нуля, моделирует всю систему и применяет экстремальный совместный дизайн. В марте Nvidia выпустила новый чип Groq на GTC — он называется language processing unit.
D-Matrix отгружает четырёхчиповые карточки на базе техпроцесса TSMC 6 нанометров
D-Matrix продаёт набор из четырёх чипов Corsair, упакованных вместе в карточку: она вставляется в слоты в стойке серверов дата-центра и стоит десятки тысяч долларов. Шетх назвал Corsair самым плотным решением на SRAM на рынке сегодня: до 128 гигабайт SRAM-памяти в одном сервере. Чип производится на Тайване по техпроцессу TSMC на 6-нанометровом узле.
D-Matrix объединилась с Arista, Broadcom и Super Micro, чтобы собрать систему полного уровня стойки под названием SquadRack для развёртывания её чипов в ИИ-дата-центрах. Следующий чип компании, Raptor, запланирован к запуску в следующем году на TSMC 4 нанометра — как сказал Шетх, это может означать выход с фабрик тайваньской компании в Аризоне.
FAQ
Какие заявления о производительности делает D-Matrix для чипа Corsair?
D-Matrix утверждает, что чип Corsair способен выполнять inference-нагрузки в 10 раз быстрее и потреблять в 5 раз меньше энергии, чем отдельный GPU Nvidia на небольших нагрузках. В паре с GPU Nvidia Blackwell, со ссылкой на исследования Gimlet Labs, Corsair может выполнять inference в 10 раз быстрее, в 3 раза дешевле и обеспечивать до 5 раз более энергоэффективную работу, чем отдельный GPU.
Каковы технические ограничения подхода D-Matrix, основанного на SRAM?
По словам Рика Бэра, приглашённого профессора кафедры электротехники в Стэнфордском университете, дизайн на базе SRAM не может справиться с триллионами параметров, из которых состоят большие модели от таких лидеров, как OpenAI и Anthropic. Хотя SRAM на чипе обеспечивает впечатляющие скорости inference, это количество параметров просто нельзя разместить в дизайн, основанный на SRAM.
Когда D-Matrix начнёт отгрузки чипов Corsair клиентам?
D-Matrix начнёт отгрузки чипов Corsair клиентам в этом месяце. У компании есть обязательства от гиперскейлеров, «неооблаков» и лабораторий передового ИИ: около 90% клиентов находятся в США, а зарубежные клиенты — на Ближнем Востоке и в Юго-Восточной Азии.
