Згідно з моніторингом Beating, Google випустила та відкрила вихідний код для попередньої моделі серії Gemma 4 з багатоконтекстним прогнозуванням (MTP). Це легка допоміжна модель, яка використовує архітектуру спекулятивного декодування (speculative decoding), здатна прискорити обчислення до 3 разів при збереженні остаточної ваги перевірки основної моделі, при цьому не погіршуючи якість виходу та логічні можливості.
Стандартна велика мовна модель може генерувати лише один токен за раз, що легко обмежується вузьким пропускною здатністю пам’яті відеокарти та спричиняє простої обчислювальної потужності. Рішення MTP дозволяє легкій моделі-попереднику використовувати вільні обчислювальні ресурси, щоб заздалегідь одночасно передбачити кілька майбутніх токенів, а потім паралельно перевірити їх із важкими цільовими моделями, такими як 31B. Якщо цільова модель погоджується з попереднім прогнозом, вона одразу приймає всю послідовність. Для додаткового підвищення ефективності, модель-попередник безпосередньо ділиться активізаційним станом та кешем KV (зберігає історичний контекст, щоб уникнути повторних обчислень); для моделей на кінцевому пристрої E2B та E4B команда також впровадила кластеризацію у вбудовувальному шарі.
Наразі модель MTP у повній відповідності з ліцензією Apache 2.0, так само як і Gemma 4, повністю відкритий код і нативно підтримує основні фреймворки для обчислень, такі як vLLM, SGLang та Ollama. Це значно знизило бар’єри для застосування, дозволяючи розробникам легко запускати 26B MoE та 31B щільні моделі на звичайних споживчих відеокартах, а також підтримувати реальний час AI-інтеракцій на мобільних пристроях із меншим споживанням енергії.
Застереження: Інформація на цій сторінці може походити від третіх осіб і не відображає погляди або думки Gate. Вміст, що відображається на цій сторінці, є лише довідковим і не є фінансовою, інвестиційною або юридичною порадою. Gate не гарантує точність або повноту інформації і не несе відповідальності за будь-які збитки, що виникли в результаті використання цієї інформації. Інвестиції у віртуальні активи пов'язані з високим ризиком і піддаються значній ціновій волатильності. Ви можете втратити весь вкладений капітал. Будь ласка, повністю усвідомлюйте відповідні ризики та приймайте обережні рішення, виходячи з вашого фінансового становища та толерантності до ризику. Для отримання детальної інформації, будь ласка, зверніться до
Застереження.
Пов'язані статті
Дослідження Microsoft: лише 13% працівників, які отримують корпоративні заохочення для інновацій на основі ШІ, зазнали невдачі у своїй роботі
Згідно з щорічним звітом Microsoft «Індекс робочих тенденцій», опублікованим 5 травня, звіт проаналізував мільйони анонімних сигналів продуктивності Microsoft 365 та опитав 20 000 співробітників у кількох ринках, зокрема в США, Великій Британії, Індії та Японії. Дані звіту показали, що лише 13% співробітників заявили: у разі спроб покращити роботу за допомогою ШІ та відсутності очікуваного ефекту роботодавець надає заохочення.
MarketWhisper42хв. тому
Meta розробляє AI-асистента Hatch для конкуренції з OpenClaw, до кінця червня завершить внутрішнє тестування
За повідомленням Financial Times від 5 травня, Meta розробляє AI-асистента (Hatch) для пересічних споживачів, натхненого OpenClaw від OpenAI. Компанія має намір до кінця червня завершити внутрішнє тестування; водночас Meta планує до четвертого кварталу цього року інтегрувати автономний агентний інструмент для покупок у свої сервіси Instagram.
MarketWhisper51хв. тому
Судове слухання OpenAI: Брокман свідчить, що Маск раніше казав, що безпеку не забезпечуватиме, а акції буде ризиковано підтримувати і діяти грубо
За повідомленням New York Post від 6 травня, генеральний директор OpenAI Грег Брокман 5 травня дав свідчення в Окружному федеральному суді в Окленді, штат Каліфорнія, розкривши, що під час виходу Маска з ради директорів OpenAI у 2018 році він звернувся до всіх членів команди з промовою, заявивши, що коли він просуває AI у Tesla, «не витрачатиме час на безпеку». Також стверджується, що у 2017 році він разом із співзасновником OpenAI обговорював угоду щодо часток в об’єднаннях, що мало ескалацію.
MarketWhisper1год тому
Cloudflare: Нелюдський трафік тепер є більшістю, x402 кількість адрес фундації в Web Economics
Головний директор з стратегії Cloudflare заявив, що понад половину інтернет-трафіку нині формують не люди, підкресливши зміну моделей використання вебу, зумовлену AI-агентами. Компанія називає x402 Foundation ключовою ініціативою, яка створює інфраструктуру для підтримки стійкої цифрової економіки контенту.
CryptoFrontier2год тому
Індійські кіберзахисні компанії використовують ШІ, щоб скоротити тестування вразливостей до годин
Індійські кібербезпекові компанії, зокрема Indusface та Astra Security, впроваджують AI-агенти, створені на базі великих мовних моделей, щоб прискорити тестування програмних вразливостей з днів або тижнів до годин, повідомляє The Economic Times. Зміни відображають зростання швидкості дій атакувальників і з’являючуся здатність AI-інструментів
CryptoFrontier2год тому
