En la era de la Revolución Industrial, cuanto más barato era el carbón, más se quemaba. Ahora, en la era de la IA, los Tokens son así también.


Cuando los Tokens son baratos, los productos de IA en realidad pueden quemarlos aún más.
Antes, si preguntabas una cosa, el modelo respondía una vez y se terminaba.
Ahora, con un clic, el Agente descompone tareas, busca información, ajusta herramientas, escribe código, corrige errores, resume, y ejecuta todo un proceso.
Por eso, un solo Token es más barato, pero una tarea consume muchos más Tokens.
Esa es la razón por la que la factura sigue aumentando.
Después de que la máquina de vapor ahorró más carbón, Reino Unido no dejó de quemar carbón. Porque el carbón se volvió más rentable, y más máquinas, fábricas y ferrocarriles comenzaron a quemarlo.
Los Tokens siguen esa lógica.
Después de que son baratos, los Agentes, la Investigación Profunda, la Programación de IA, los contextos largos y la automatización empresarial realmente despegan.
Por eso, el centro de costos de la IA está pasando de entrenamiento a inferencia.
El entrenamiento consume durante un tiempo, la inferencia se mantiene activa.
Cuando los usuarios están en línea, está en uso. Cuando el Agente está en marcha, está en uso.
Cuanto más largo sea el contexto, mayor será la caché, y la memoria, el ancho de banda, la electricidad y la disipación de calor también se vuelven más críticos.
Por eso, la cadena de la industria de IA no puede centrarse solo en las GPU.
HBM, DRAM, SSD, empaquetado avanzado, módulos ópticos, chips de intercambio, CPU, chips de inferencia, todos serán reevaluados en precio por esta demanda de inferencia.
Las empresas de aplicaciones de IA también se verán obligadas a estratificarse.
Las que solo ofrecen una interfaz y dependen completamente de API cerradas, a medida que aumentan los usuarios, la factura crece y el margen de beneficio se reduce.
Las verdaderas barreras se desplazarán hacia abajo: enrutamiento, cuantificación, caché, procesamiento por lotes, recorte de contexto, sustitución de grandes modelos por modelos pequeños.
Sí, los Tokens son como el carbón.
Ver original
post-image
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • Comentar
  • Republicar
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
Sin comentarios
  • Anclado