Google TurboQuant: 3-bit-Quantisierung von KV-Cache ohne Genauigkeitsverlust, Inferenz bis zu 8x schneller

Laut 1M AI News Monitoring hat das Google Research Institute den quantitativen Kompressionsalgorithmus TurboQuant veröffentlicht, der die KV-Caches großer Sprachmodelle auf 3 Bit komprimieren kann. Der Speicherverbrauch wird mindestens um das Sechsfache reduziert, ohne dass Training oder Feinabstimmung erforderlich sind und ohne Verlust der Modellgenauigkeit. Im 4-Bit-Modus ist die Berechnungsgeschwindigkeit der Aufmerksamkeit auf NVIDIA H100 GPU im Vergleich zum 32-Bit-Quantifizierungsbaseline um bis zu das Achtfache erhöht.

Das Forschungsteam hat TurboQuant auf LongBench, Needle In A Haystack, ZeroSCROLLS und anderen Benchmark-Datensätzen mit den Modellen Gemma und Mistral getestet. In allen Tests erzielte TurboQuant die beste Leistung. Der Algorithmus besteht aus zwei Unteralgorithmen: PolarQuant, das durch eine Polarkoordinatentransformation den Speicherbedarf herkömmlicher Quantisierungsmethoden eliminiert, und QJL, das nur 1 Bit verwendet, um verbleibende Fehler zu korrigieren.

Die Studie wurde von Amir Zandieh vom Google Research Institute und Vahab Mirrokni, Vice President und Google Fellow, geleitet, in Zusammenarbeit mit dem KAIST in Südkorea und der New York University. Die Veröffentlichung ist für ICLR 2026 geplant. Google gibt an, dass eine der Hauptanwendungen dieser Technik die Lösung des KV-Cache-Flaschenhalses bei Modellen wie Gemini ist.