Корпоративна Америка впроваджує маршрутизацію за моделлю, щоб контролювати витрати на ШІ

Корпоративна Америка впроваджує модельне маршрутизування, щоб контролювати витрати на штучний інтелект: фінансові директори та ради директорів посилюють контроль за неефективними витратами на ШІ. Зміна спрямована на проблему, що виникла після двох років автоматичного вибору найпотужніших моделей ШІ для всіх запитів незалежно від складності. Тепер рахунки за ШІ значно випереджають бюджети, змушуючи компанії ставити під сумнів, чи кожне завдання потребує флагманських моделей. Модельне маршрутизування підбирає робочі навантаження під відповідні моделі: складні проблеми передаються дорогим системам на базі передових моделей, а рутинні завдання — дешевшим альтернативам. Ця зміна може переформатувати динаміку ціноутворення в індустрії ШІ.

Model Routing Matches Tasks to Cost-Appropriate AI Systems

Модельне маршрутизування — це інструмент, який спрямовує складні задачі до дорогих передових моделей, а прості — до дешевших і швидших альтернатив. Скотт Ву, генеральний директор Cognition, яка створює кодингового агента Devin, заявив, що компанії можуть досягти п’ятикратної–10-кратної кращої економічності витрат на рутинній роботі, використовуючи моделі, які залишаються достатніми для конкретного завдання. Ву навів приклад із запитом моделі назвати третього президента США — незалежно від вартості кожна модель відповість Томасом Джефферсоном.

Арвінд Джейн, генеральний директор Glean, оцінив, що приблизно 95% корпоративного використання ШІ наразі працює на найдорожчих передових моделях навіть для задач, із якими цілком могли б упоратися дешевші альтернативи. Більшість компаній узагалі не застосовує маршрутизування, за словами керівників, опитаних цього тижня.

Cisco Reports $900 Million Annual AI Cost for 90,000 Employees

Джиту Патель, директор із продукту Cisco, навів конкретні цифри витрат. За приблизно $200 витрат на токени на одного працівника щотижня річні витрати сягають близько $10 тис. на людину. Для 90 тис. працівників Cisco це становить $900 млн щороку.

Патель зазначив, що Cisco сильно перевищила власний бюджет і змушена була коригувати підхід. Тепер у компанії 30 тис. інженерів, які створюють продукти, написані переважно за допомогою ШІ. Cisco перерозподілила ресурси, віддавши пріоритет токенам над іншими витратами.

Cognition Introduces $10 Million AI Productivity Guarantee

Cognition оголосила гарантію продуктивності ШІ у відповідь на занепокоєння клієнтів щодо окупності інвестицій. Якщо Devin надає меншу інженерну цінність, ніж клієнт платить, Cognition фінансуватиме використання до $10 млн, доки продуктивність не відповідатиме очікуванням. Ву представив гарантію як спосіб сфокусуватися на результаті, а не на таких метриках активності, як кількість спожитих токенів або рядків коду.

Зсув у бік модельного маршрутизування створює тиск на OpenAI та Anthropic, чиї бізнес-моделі й очікування щодо IPO розраховують на величезний попит за преміальними цінами. Якщо компанії направлятимуть великі обсяги рутинної роботи на дешевші open-source моделі, передові лабораторії отримуватимуть оплату лише за складні задачі. Патель заявив, що передові технології залишаться цінними, але спрогнозував, що зміниться і модель ціноутворення: лабораторіям доведеться підвищувати ефективність, а не просто брати більше.

FAQ

What is model routing in AI systems?

Модельне маршрутизування — це інструмент, який підбирає завдання до відповідних моделей ШІ залежно від складності. Воно передає складні задачі дорогим передовим моделям і направляє рутинні завдання до дешевших, швидших альтернатив. Скотт Ву з Cognition заявив, що компанії можуть досягти п’ятикратної–10-кратної кращої економічності витрат на рутинній роботі, використовуючи цей підхід.

How much does Cisco spend annually on AI for its workforce?

Cisco витрачає приблизно $900 млн щороку на ШІ для своїх 90 тис. працівників. Джиту Патель, директор із продукту Cisco, розрахував цю цифру, виходячи з приблизно $200 витрат на токени на одного працівника щотижня, що дорівнює близько $10 тис. на людину на рік.