Підприємства скорочують витрати на ШІ, оскільки вартість токенів зростає у 2024 році

За даними Barron's, підприємства переглядають свої інвестиції в ШІ після несподіваного перевищення витрат на токени у 2024 році, причому прозорість ціноутворення та контроль бюджету стали основними проблемами на Уолл-стріт.

Моделі міркувань та ШІ-агенти є основними факторами витрат. Моделі міркувань виконують тривалі внутрішні обчислення перед генерацією результатів, споживаючи набагато більше токенів, ніж кінцевий текст, який вони продукують. ШІ-агенти з кодування є ще дорожчими, потребуючи до 1000 разів більше токенів, ніж програмісти-люди, для виконання еквівалентних завдань. Багато компаній зараз впроваджують інформаційні панелі для моніторингу використання ШІ співробітниками та переходять на економніші моделі, зокрема дешевші альтернативи з Китаю або очікують зниження цін від великих постачальників. Додаючи складності, різні постачальники моделей підраховують токени по-різному — метод підрахунку Anthropic показує на 30-40% вище використання, ніж у конкурентів — що ускладнює аналітикам відстеження тенденцій впровадження ШІ.