D-Matrix, ein von Microsoft unterstützter KI-Chip-Startup mit Sitz im Silicon Valley, hat seinen Inferenzchip Corsair gelauncht – mit der Behauptung, Inferenz-Workloads 10-mal schneller auszuführen und bei kleinen Workloads fünfmal weniger Energie zu verbrauchen als eine einzelne Nvidia-GPU. Das Unternehmen, 2019 gegründet und nach der Aufnahme von rund 500 Millionen US-Dollar auf einen Wert von etwa 2 Milliarden US-Dollar bewertet, beginnt diesen Monat mit der Auslieferung an Kunden. Der Launch kommt, während der Markt für KI-Chips beträchtliche Chancen für spezialisierte Akteure zeigt – nach dem IPO von Cerebras im vergangenen Monat, bei dem mehr als 5,5 Milliarden US-Dollar eingesammelt und das Unternehmen mit über 50 Milliarden US-Dollar bewertet wurde, sowie nach Nvidias 20 Milliarden US-Dollar teurer Übernahme von Groq im Dezember.
D-Matrix nutzt SRAM-Speicherarchitektur für Inferenz mit niedriger Latenz
Der Corsair-Chip von D-Matrix erreicht Inferenz mit niedriger Latenz bei geringer Leistungsaufnahme, indem Speicher und Rechenleistung eng auf einem einzigen Chip integriert werden. Wie Groq und Cerebras setzt D-Matrix auf SRAM, eine Art Speicher, der wie bei Taiwan Semiconductor Manufacturing Company in Logik-Fabs hergestellt und auf demselben Chip integriert werden kann. GPUs setzen auf große Mengen einer anderen Speicherart namens DRAM, die in Stapel für High-Bandwidth-Memory verpackt wird, die um den Logikchip herum hinzugefügt werden. Mitgründer und CEO Sid Sheth sagte, das Unternehmen stoße nicht an eine Engstelle bei DRAM, weil das Produkt nicht auf DRAM angewiesen sei, um erfolgreich zu sein.
In Kombination mit einer Nvidia Blackwell GPU könne Corsair laut D-Matrix – unter Verweis auf Forschung von Gimlet Labs – die Inferenz 10-mal schneller ausführen, dreimal günstiger sein und bis zu fünfmal energieeffizienter arbeiten als eine einzelne GPU. Sheth sagte, Corsair sei für KI-Inferenz ausgelegt und optimiere auf Interaktivität oder Geschwindigkeit statt auf Sprachumfang, mit Zielanwendungsfällen wie Chatbots, Voice-Agents und agentischen Tools.
Unternehmen sichert sich Zusagen von Hyperscalern und KI-Labs
Sheth sagte, das Unternehmen habe Zusagen von hochkarätigen Hyperscalern, Neoclouds und führenden KI-Labs. D-Matrix beginne diesen Monat mit dem Versand an diese Kunden. Etwa 90% der Kunden seien in den USA, während Kunden im Ausland im Mittleren Osten und in Südostasien ansässig seien, so Sheth. Microsoft habe über seinen M12-Venture-Arm investiert.
Sheth erklärte, er habe nicht die Absicht, das Unternehmen zu verkaufen, und bezeichnete den Markt für KI-Chips als „einen Markt im Entstehen im Wert von 1 Billion US-Dollar“. Der Halbleiter-Analyst Stacy Rasgon von Bernstein Research merkte an, D-Matrix habe eine solide Anzahl tatsächlicher, echter Kundenkontakte, wobei Kunden die Chips häufig in Verbindung mit Nvidia nutzten.
Corsair-Chip stößt bei großskaligen Modellen an Grenzen
Rick Bahr, außerordentlicher Professor für Elektrotechnik an der Stanford University, identifizierte eine wesentliche Einschränkung: Zwar ermöglicht das SRAM auf dem Chip beeindruckende Inferenzgeschwindigkeiten, weil die Daten nur kurze Wege zurücklegen müssen, doch es könne nicht die Billionen an Parametern bewältigen, aus denen die großen Modelle bestehen, die nun von Größen wie OpenAI und Anthropic stammen. Bahr sagte, diese Anzahl an Parametern lasse sich schlicht nicht auf ein SRAM-basiertes Design bringen.
Nvidia-CEO reagiert auf Behauptungen zum Inferenz-Wettbewerb
Nvidia-CEO Jensen Huang sagte letzte Woche, sein Unternehmen bleibe der Marktführer bei Low-Cost-Inferenz mit seinem Vera-Rubin-System, weil es nicht nur um Geschwindigkeit gehe. Auf der Computex in Taiwan sagte Huang, der Grund sei, dass Nvidia alles integriert, alles von Grund auf selbst entwickelt, das gesamte System simuliert und ein extremes Co-Design einsetzt. Nvidia veröffentlichte im März auf der GTC einen neuen Groq-Chip namens Language Processing Unit.
D-Matrix liefert Vier-Chip-Karten aus, die auf dem TSMC-6-Nanometer-Prozess basieren
D-Matrix verkauft vier Corsair-Chips, die zusammen in einer Karte verpackt sind, die in Schlitze in einem Server-Rack in einem Rechenzentrum geschoben wird und zehntausende US-Dollar kostet. Sheth bezeichnete Corsair als die dichteste SRAM-Lösung auf dem Markt – mit bis zu 128 Gigabyte SRAM-Speicher in einem einzelnen Server. Der Chip wird in Taiwan auf dem 6-Nanometer-Node von TSMC hergestellt.
D-Matrix hat sich mit Arista, Broadcom und Super Micro zusammengeschlossen, um ein vollständiges Rack-Scale-System namens SquadRack zu bauen, um seine Chips in KI-Rechenzentren einzusetzen. Der nächste Chip des Unternehmens, Raptor, soll nächstes Jahr auf TSMC 4 Nanometer an den Start gehen; Sheth sagte, der Chip könnte in der Fabrik des taiwanesischen Unternehmens in Arizona gefertigt werden.
FAQ
Welche Performance-Claims macht D-Matrix für seinen Corsair-Chip?
D-Matrix behauptet, der Corsair-Chip könne Inferenz-Workloads 10-mal schneller ausführen und bei kleinen Workloads fünfmal weniger Energie verbrauchen als eine einzelne Nvidia-GPU. In Kombination mit einer Nvidia Blackwell GPU könne Corsair laut einer Studie von Gimlet Labs die Inferenz 10-mal schneller ausführen, dreimal günstiger sein und bis zu fünfmal energieeffizienter als eine einzelne GPU.
Welche technischen Grenzen hat D-Matrix’ SRAM-basierter Ansatz?
Laut Rick Bahr, außerordentlichem Professor für Elektrotechnik an der Stanford University, kann das SRAM-basierte Design die Billionen an Parametern, aus denen große Modelle von Größen wie OpenAI und Anthropic bestehen, nicht bewältigen. Zwar ermöglicht SRAM auf dem Chip beeindruckende Inferenzgeschwindigkeiten, diese Anzahl an Parametern lässt sich schlicht nicht auf ein SRAM-basiertes Design bringen.
Wann beginnt D-Matrix mit der Auslieferung von Corsair-Chips an Kunden?
D-Matrix beginnt diesen Monat mit der Auslieferung von Corsair-Chips an Kunden. Das Unternehmen hat Zusagen von Hyperscalern, Neoclouds und führenden KI-Labs; etwa 90% der Kunden sind in den USA, während Kunden im Ausland im Mittleren Osten und in Südostasien ansässig sind.
