Cline prueba el autoalojamiento Cimi K2.6: solo ahorra un 10%; no compensa por debajo del gasto anual $500K

De acuerdo con el monitoreo de Beating AI, Cline calculó los costos de autoalojamiento de Kimi K2.6 en producción real. Procesar 5,83 mil millones de tokens al mes mediante API cuesta aproximadamente 185.000 USD. Ejecutar 16 GPU NVIDIA B200 a plena capacidad para el tráfico base, mientras enruta las solicitudes restantes a través de la API, reduce el coste a 166.000 USD, con un ahorro de solo alrededor del 10%.

Cline estima que la programación dinámica de GPU podría aumentar los ahorros al 22%-25%, y que una optimización adicional podría llegar al 35%-40%, aunque estas estrategias aún no se han probado en producción. La empresa concluye que el autoalojamiento solo se vuelve viable económicamente cuando el gasto anual en API supera entre 500.000 USD y 2 millones USD; por debajo de ese umbral, los costos de infraestructura e ingeniería normalmente superan los ahorros.