MiniMax libera código aberto de biblioteca de Sparse Attention para Blackwell, com pesos M3 chegando na sexta-feira

De acordo com Ryan Lee, diretor de relações com desenvolvedores da MiniMax, a empresa disponibilizou em código aberto o MiniMax Sparse Attention (MSA), uma biblioteca de atenção de alto desempenho para GPUs NVIDIA Blackwell (SM100), sob a licença MIT. Lee anunciou que os pesos do modelo M3 serão lançados na sexta-feira, 13 de junho.

Quando aplicada à inferência de contexto de 1 milhão de tokens do MiniMax-M3, a MSA reduz o cálculo de atenção em 28,4x em comparação com Dense GQA com configuração equivalente. Em GPUs H800, a biblioteca atingiu ganho de 14,2x na velocidade de pré-preenchimento e aceleração de 7,6x na decodificação.

Isenção de responsabilidade: as informações nesta página podem ter origem em fontes terceiras e servem apenas como referência. Não representam as opiniões da Gate e não constituem orientação financeira, de investimentos ou jurídica. A negociação de ativos virtuais envolve alto risco. Não tome decisões baseando-se apenas nas informações desta página. Para mais detalhes, consulte a Isenção de responsabilidade.
Comentário
0/400
Sem comentários