América corporativa adopta el enrutamiento basado en modelos para controlar el gasto en IA

La Corporación de EE. UU. está adoptando el enrutamiento de modelos para controlar el gasto en inteligencia artificial, ya que los directores financieros y las juntas directivas endurecen su postura ante costos ineficientes de IA. El cambio aborda un problema que surgió después de dos años de recurrir, por defecto, a los modelos de IA más potentes para todas las consultas, independientemente de su complejidad. Las facturas de IA ahora van muy por delante de los presupuestos, lo que lleva a las empresas a cuestionarse si cada tarea requiere modelos de frontera. El enrutamiento de modelos asigna los trabajos a los modelos adecuados, enviando los problemas complejos a sistemas de frontera costosos y las tareas rutinarias a alternativas más baratas. El cambio tiene el potencial de reconfigurar las dinámicas de precios en la industria de la IA.

El enrutamiento de modelos hace corresponder tareas con sistemas de IA con costos adecuados

El enrutamiento de modelos es una herramienta que envía los problemas difíciles a modelos de frontera costosos y las tareas sencillas a alternativas más baratas y rápidas. Scott Wu, CEO de Cognition, que crea el agente de programación Devin, dijo que las empresas pueden lograr entre 5 y 10 veces mejor eficiencia de costos en trabajo rutinario usando modelos que siguen siendo suficientes para la tarea. Wu dio el ejemplo de pedirle a un modelo que nombre al tercer presidente de EE. UU.: cada modelo, independientemente de su costo, responderá Thomas Jefferson.

Arvind Jain, CEO de Glean, estimó que aproximadamente el 95% del uso de IA empresarial actualmente se ejecuta en los modelos de frontera más caros, incluso para tareas que alternativas más baratas podrían gestionar fácilmente. La mayoría de las empresas no está enrutando en absoluto, según ejecutivos entrevistados esta semana.

Cisco informa $900 millones de costo anual de IA para 90.000 empleados

Jeetu Patel, director de producto en Cisco, entregó cifras de costos específicas. Con un uso de tokens de alrededor de $200 por empleado por semana, el gasto anual alcanza cerca de $10.000 por persona. Para los 90.000 empleados de Cisco, eso suma $900 millones al año.

Patel dijo que Cisco llegó muy por encima de su propio presupuesto y ha tenido que ajustar. La empresa ahora tiene 30.000 ingenieros construyendo productos escritos en gran parte con IA. Cisco ha reasignado recursos, priorizando los tokens por encima de otros gastos.

Cognition introduce una garantía de productividad en IA de $10 millones

Cognition anunció una garantía de productividad en IA en respuesta a las preocupaciones de los clientes sobre el retorno de inversión. Si Devin entrega menos valor de ingeniería del que un cliente paga, Cognition financiará el uso hasta $10 millones hasta que el desempeño cumpla con las expectativas. Wu enmarcó la garantía como una forma de enfocarse en el resultado más que en métricas de actividad como los tokens consumidos o las líneas de código.

El cambio hacia el enrutamiento de modelos crea presión para OpenAI y Anthropic, cuyos modelos de negocio y expectativas de salida a bolsa asumen una demanda enorme a precios premium. Si las empresas envían grandes volúmenes de trabajo rutinario a modelos open source más baratos, los laboratorios de frontera recibirán pago solo por tareas complejas. Patel afirmó que la tecnología de vanguardia seguirá siendo valiosa, pero predijo que el modelo de precios cambiará: los laboratorios necesitarán mejorar la eficiencia en vez de simplemente cobrar más.

FAQ

¿Qué es el enrutamiento de modelos en sistemas de IA?

El enrutamiento de modelos es una herramienta que asigna tareas a modelos de IA adecuados según su complejidad. Envía los problemas difíciles a modelos de frontera costosos y dirige las tareas rutinarias a alternativas más baratas y rápidas. Scott Wu de Cognition afirmó que las empresas pueden lograr entre 5 y 10 veces mejor eficiencia de costos en trabajo rutinario usando este enfoque.

¿Cuánto gasta Cisco anualmente en IA para su fuerza laboral?

Cisco gasta aproximadamente $900 millones al año en IA para sus 90.000 empleados. Jeetu Patel, director de producto de Cisco, calculó esta cifra a partir de un uso de tokens de alrededor de $200 por empleado por semana, lo que equivale a cerca de $10.000 por persona al año.