EXCLUSIVO: O Google introduziu o TurboQuant, uma técnica para comprimir a memória de curto prazo dos modelos de IA e acelerar alguns dos seus cálculos.

Enquanto as manchetes destacavam saltos espetaculares, os testes independentes iniciais indicam melhorias mais modestas, mas ainda relevantes para quem trabalha com contextos longos, documentos extensos e grandes bases de código.
O TurboQuant visa reduzir o uso de memória do cache KV em modelos de IA e acelerar o processamento de prompts.