PrismML випускає Bonsai 27B — першу модель із 27 млрд параметрів, яка працює на iPhone та використовує 3,9 ГБ

За даними Decrypt, PrismML випустила Bonsai 27B 16 липня — першу AI-модель із 27 мільярдами параметрів, яку можна запускати на смартфонах для споживачів. Модель стиснута до 3,9 ГБ і працює на iPhone 17 Pro Max зі швидкістю 11 токенів за секунду. Техніка стиснення зменшує розмір моделі з 16-бітної точності з плаваючою комою до трійкових значень (1 або -1), тож бінарний варіант у 14 разів менший за версію з повною точністю.

CEO PrismML Бабак Хассібі підтвердив, що компанія перебуває на ранніх обговореннях з Apple щодо технології стиснення. Модель випущено під ліцензією Apache 2.0, а також планують стиснути Gemma наступною.

Застереження: інформація на цій сторінці може походити зі сторонніх джерел і надається виключно для ознайомлення. Вона не відображає позицію чи думку Gate і не є фінансовою, інвестиційною чи юридичною консультацією. Торгівля віртуальними активами пов’язана з високим ризиком. Будь ласка, не покладайтеся лише на інформацію з цієї сторінки під час прийняття рішень. Детальніше дивіться у Застереженні.
Прокоментувати
0/400
Немає коментарів