Tether AI випускає TurboQuant із відкритим кодом, інтегрує його в QVAC SDK 0.12.0 з 5-кратним стисненням KV-кешу

Tether AI нещодавно випустив open-source TurboQuant і інтегрував його в QVAC SDK 0.12.0. Спираючись на алгоритм стиснення пам’яті з Memory Compression від Google Research, технологія стискає KV-кеші великих мовних моделей — до 5 разів, зменшуючи споживання пам’яті на локальних і edge-пристроях, зберігаючи якість виводу.
Застереження: інформація на цій сторінці може походити зі сторонніх джерел і надається виключно для ознайомлення. Вона не відображає позицію чи думку Gate і не є фінансовою, інвестиційною чи юридичною консультацією. Торгівля віртуальними активами пов’язана з високим ризиком. Будь ласка, не покладайтеся лише на інформацію з цієї сторінки під час прийняття рішень. Детальніше дивіться у Застереженні.
Прокоментувати
0/400
Немає коментарів