MiniMax veröffentlicht Open-Source-Bibliothek für Sparse Attention für Blackwell, M3-Gewichte kommen am Freitag

Laut Ryan Lee, dem Leiter für Developer Relations von MiniMax, hat das Unternehmen MiniMax Sparse Attention (MSA) unter der MIT-Lizenz Open Source gestellt – eine leistungsstarke Attention-Bibliothek für NVIDIA-Blackwell (SM100)-GPUs. Lee kündigte an, dass die M3-Modellgewichte am Freitag, den 13. Juni, starten werden.

Wenn sie auf die millionen-token-Context-Inferenz von MiniMax-M3 angewendet wird, reduziert MSA die Berechnung der Attention um 28,4x im Vergleich zu Dense GQA bei gleicher Konfiguration. Auf H800-GPUs erreichte die Bibliothek 14,2x schnellere Pre-Fill-Phasen und 7,6x schnellere Decoding-Acceleration.

Disclaimer: The information on this page may come from third-party sources and is for reference only. It does not represent the views or opinions of Gate and does not constitute any financial, investment, or legal advice. Virtual asset trading involves high risk. Please do not rely solely on the information on this page when making decisions. For details, see the Disclaimer.
Kommentieren
0/400
Keine Kommentare