Xiaomi enthüllt Trainingsdetails zu MiMo-V2-Pro: 1T Modellparameter, Tausende eingesetzter GPUs

Gate-News-Meldung, 24. April — Die Leiterin des Teams für große Sprachmodelle bei Xiaomi, Luo Fuli, gab in einem ausführlichen Interview bekannt, dass das Modell MiMo-V2-Pro insgesamt 1 Billion Parameter besitzt und für das Training Tausende von GPUs erforderlich waren. Sie merkte an, dass die 1T-Skala die minimale Schwelle darstellt, um eine Leistungsfähigkeit zu erreichen, die an das Niveau von Claude Opus 4.6 heranreicht, und um ein wettbewerbsfähiges Eintrittsticket für die nächste Phase von KI-Agenten zu sichern.

Technisch gesehen nutzt die Pro-Version einen extremen Sparse-Attention-Mechanismus mit einem Verhältnis von 7:1 zwischen globaler Attention und Sliding-Window-Attention, um die Inferenzkosten für die Verarbeitung langer Kontexte zu steuern. Das Modell behält außerdem die MTP (Multi-Token Prediction)-Architektur bei, um überschüssige Rechenleistung für schnellere Inferenz zu nutzen.

Auf der Management-Seite beschäftigt das 100-köpfige MiMo-Team nur 30–40 Personen, die direkt an den Kern-Iterationen beteiligt sind. Das Team arbeitet ohne formale Hierarchien oder explizite Aufteilungen in Untergruppen und ohne festgelegte Liefertermine. Wenn es auf instabile numerische Probleme wie Peaks im Trainingsverlust stößt, priorisiert das Team das Anhalten des Trainings zur Untersuchung, selbst wenn dies bedeutet, den Betrieb für eine oder zwei Wochen einzustellen und dabei Millionen von Dollar an Compute-Kosten zu verursachen.

Disclaimer: The information on this page may come from third parties and does not represent the views or opinions of Gate. The content displayed on this page is for reference only and does not constitute any financial, investment, or legal advice. Gate does not guarantee the accuracy or completeness of the information and shall not be liable for any losses arising from the use of this information. Virtual asset investments carry high risks and are subject to significant price volatility. You may lose all of your invested principal. Please fully understand the relevant risks and make prudent decisions based on your own financial situation and risk tolerance. For details, please refer to Disclaimer.

Verwandte Artikel

Hoskinson spricht über Midnights Rolle im Cardano-Ökosystem bei The Breakdown

Charles Hoskinson, Gründer von Cardano und Mitbegründer von Ethereum, trat als Gast in Folge 701 des Podcasts „The Breakdown“ auf, moderiert von David Gokhshtein, um über das Midnight-Projekt, Herausforderungen bei der Nutzererfahrung in Krypto und seine Vision für die Zukunft der Blockchain zu sprechen. Während des Interviews, Hoskinson

CryptoFrontier42M her

Berkshire Energy Business sieht Wachstumschance durch KI-getriebene Stromnachfrage

Laut Beating hob CEO Abel auf der Aktionärsversammlung von Berkshire hervor, dass die durch KI getriebene Nachfrage nach Strom neue Wachstumschancen für das Energiebusiness des Unternehmens schafft. Bereits die Hälfte der Energieversorger von Berkshire deckt demnach Stromanforderungen im Zusammenhang mit KI ab. In Iowa machen Rechenzentren inzwischen

GateNews3Std her

Musk vs. Altman: Zeugenaussagen in der ersten Woche des Rechtsstreits: Gestand XAI destilliere OpenAI und warnte davor, dass KI wie ein Terminator endet

Musk beschuldigt in seinen Aussagen in der ersten Woche des Prozesses vor dem Bundesgericht in Oakland, Atman und Brockman hätten frühe gemeinnützige Mittel betrogen, warnt vor den Risiken eines KI-„Jüngsten Gerichts“ und gesteht ein, dass ein Teil von xAI aus OpenAI-Modellen „herausdestilliert“ wurde; er gibt an, 38 Millionen US-Dollar investiert zu haben und bezeugt, wie OpenAI von einer Non-Profit-Organisation zu einer Bewertung von 800 Milliarden US-Dollar überging. Die Microsoft-Investition von 2022 wird als Wendepunkt betrachtet, der einen Vertrauensbruch markierte. OpenAI argumentiert, Musk habe versucht, Mitarbeiter abzuwerben, und verteidigt sich mit wettbewerbsspezifischen Motiven. In der zweiten Woche folgen weitere Zeugen, darunter Russell und Brockman.

ChainNewsAbmedia5Std her

Mit Trump verbundene KI-Finanzfirma erwirbt Block Street für 43 Millionen US-Dollar

Laut Fortune hat AI Financial, ein mit der Trump-Familie verknüpftes Krypto-Unternehmen, das zuvor Alt5 Sigma hieß, letzte Woche Block Street, ein Krypto-Infrastrukturunternehmen, für 43 Millionen US-Dollar übernommen. Matthew Morgan, Berater bei AI Financial und CEO von Block Street, sagte, die Übernahme sei nicht eine

GateNews5Std her

Riot-Aktien springen um 8% nach Ausweitung des AMD-Data-Center-Deals

Die Aktien des Bitcoin-Miners Riot stiegen um 8%, nachdem das Unternehmen seine AMD-Rechenzentrumsvereinbarung ausgeweitet hatte. Die erweiterte Partnerschaft umfasst verbesserte Finanzierungsbedingungen, was Riets strategischen Wandel vom Bitcoin-Mining hin zum Betrieb von Rechenzentren für künstliche Intelligenz unterstreicht. Die Maßnahme signalisiert wachsendes Vertrauen

GateNews8Std her

Minnesota verbietet Tools für KI-Non-Consensual-intime Bilder und verhängt Geldstrafen von bis zu $500K

Laut Decrypt hat die Legislative von Minnesota am 2. Mai einen Gesetzentwurf verabschiedet, der Websites und Anwendungen verbietet, KI-Tools bereitzustellen, die nicht einvernehmliche intime Bilder von identifizierbaren Personen erzeugen. Das Gesetz untersagt Plattformen, den Zugriff auf oder die Nutzung solcher „Deepfakes“-Tools durch Nutzer zu ermöglichen, und verbietet

GateNews9Std her
Kommentieren
0/400
Keine Kommentare