Предприятия сокращают расходы на ИИ на фоне роста затрат на токены в 2024 году

Согласно Barron's, предприятия пересматривают свои инвестиции в ИИ после неожиданного перерасхода токенов в 2024 году — прозрачность ценообразования и контроль бюджета стали серьёзными проблемами на Уолл-стрит.

Основными источниками затрат являются модели рассуждения и ИИ-агенты. Модели рассуждения выполняют длительные внутренние вычисления перед генерацией выходных данных, потребляя гораздо больше токенов, чем конечный текст. ИИ-агенты для кодирования ещё затратнее: для выполнения аналогичных задач им требуется до 1 000 раз больше токенов, чем программистам-людям. Многие компании уже внедряют дашборды для мониторинга использования ИИ сотрудниками и переходят на более экономичные модели, включая более дешёвые альтернативы из Китая или ожидая снижения цен от крупных провайдеров. Усложняет ситуацию то, что разные провайдеры моделей по-разному подсчитывают токены — метод Anthropic показывает на 30–40% более высокое использование, чем у конкурентов, — что затрудняет аналитикам отслеживание тенденций внедрения ИИ.