Empresas reduzem drasticamente gastos em IA à medida que os custos com tokens disparam em 2024

Segundo a Barron's, as empresas estão a reavaliar os seus investimentos em IA após enfrentarem excedentes inesperados nos custos de Token em 2024, com a transparência de preços e o controlo orçamental a tornarem-se grandes desafios em toda a Wall Street.

Os modelos de raciocínio e os agentes de IA são os principais impulsionadores de custos. Os modelos de raciocínio realizam longos cálculos internos antes de gerar resultados, consumindo muito mais Tokens do que o texto final produzido. Os agentes de IA de codificação são ainda mais dispendiosos, exigindo até 1.000 vezes mais Tokens do que programadores humanos para concluir tarefas equivalentes. Muitas empresas estão agora a implementar painéis de controlo para monitorizar o uso de IA pelos funcionários e a migrar para modelos mais eficientes em termos de custos, incluindo alternativas mais baratas da China ou a aguardar cortes de preços dos principais fornecedores. A acrescentar à complexidade, diferentes fornecedores de modelos contam os Tokens de forma diferente — o método de contagem da Anthropic mostra um uso 30-40% superior ao dos concorrentes — dificultando o acompanhamento das tendências de adoção de IA por parte dos analistas.