A Xiaomi revela detalhes do treino do MiMo-V2-Pro: parâmetros do modelo 1T, milhares de GPUs implementadas

Mensagem do Gate News, 24 de Abril — A responsável da equipa de modelos de linguagem da Xiaomi, Luo Fuli, revelou numa entrevista aprofundada que o modelo MiMo-V2-Pro tem, no total, 1 bilião de parâmetros e que foram necessários milhares de GPUs para o treino. Ela referiu que a escala de 1T representa o limiar mínimo para obter desempenho a aproximar-se do nível do Claude Opus 4.6 e garantir um bilhete de entrada competitivo para a próxima fase dos agentes de IA.

Tecnicamente, a versão Pro utiliza um mecanismo de atenção esparsa extrema, com uma proporção de 7:1 entre a atenção global e a atenção por janela deslizante, controlando os custos de inferência para o processamento de longos contextos. O modelo mantém também a arquitectura MTP (Multi-Token Prediction) para aproveitar o poder de computação excedente e acelerar a inferência.

Do lado da gestão, a equipa MiMo, com 100 pessoas, tem apenas 30-40 indivíduos directamente envolvidos nas iterações centrais. A equipa opera sem hierarquias formais ou divisões explícitas em subgrupos e sem prazos de entrega. Quando se depara com problemas numéricos instáveis, como picos de perda durante o treino, a equipa dá prioridade a interromper o treino para investigação, mesmo que isso signifique parar as operações durante uma ou duas semanas e incorrer em milhões de dólares de custos de computação.

Isenção de responsabilidade: As informações contidas nesta página podem ser provenientes de terceiros e não representam os pontos de vista ou opiniões da Gate. O conteúdo apresentado nesta página é apenas para referência e não constitui qualquer aconselhamento financeiro, de investimento ou jurídico. A Gate não garante a exatidão ou o carácter exaustivo das informações e não poderá ser responsabilizada por quaisquer perdas resultantes da utilização destas informações. Os investimentos em ativos virtuais implicam riscos elevados e estão sujeitos a uma volatilidade de preços significativa. Pode perder todo o seu capital investido. Compreenda plenamente os riscos relevantes e tome decisões prudentes com base na sua própria situação financeira e tolerância ao risco. Para mais informações, consulte a Isenção de responsabilidade.

Related Articles

A Gartner prevê que a despesa global com IA atinja 2,5 biliões de dólares em 2026, ultrapassando o total da década anterior

De acordo com a Gartner, os gastos globais com inteligência artificial em 2026 deverão atingir 2,5 biliões de dólares, excedendo o total combinado dos dez anos anteriores.

GateNews35m atrás

Cerebras Procura $4 Bilhão num IPO com Valorização-alvo de 40 mil milhões de dólares

De acordo com a Bloomberg, o fabricante de chips de IA Cerebras Systems procura angariar até $4 biliões no seu IPO (oferta pública inicial), com uma avaliação-alvo de aproximadamente 40 mil milhões de dólares. A empresa sediada na Califórnia planeia iniciar a digressão de roadshow do seu IPO já na segunda-feira (5 de maio). Os subscritores têm

GateNews1h atrás

Conselho da Academia proíbe conteúdo gerado por IA nos 99.ªs Óscares, impondo vitórias apenas com participação humana

A Academia de Artes e Ciências Cinematográficas estabeleceu novas e rigorosas regras para os 99.º Óscares, banindo oficialmente conteúdos gerados por IA das principais categorias, para proteger a criatividade humana. Principais conclusões: O Conselho da Academia proíbe a IA nos 99.º Óscares, exigindo faturação apenas por humanos para a atuação de an

Coinpedia2h atrás

A NVentures da Nvidia investe $50M na extensão da Série D da plataforma de IA jurídica da Legora

De acordo com a ChainCatcher, o braço de capital de risco da Nvidia, a NVentures, participou na ronda de extensão da Série D da Legora, no valor de 50 milhões de dólares, assinalando o seu primeiro investimento em IA jurídica. A startup sueca de legal tech, que compete com a Harvey, viu o seu rendimento recorrente anual (ARR) ultrapassar os 100 milhões de dólares,

GateNews2h atrás

O CFO da OpenAI sugere adiar o IPO para 2027 num contexto de abrandamento do crescimento, enquanto o CEO prefere o 4.º trimestre de 2026

De acordo com a Odaily, a CFO da OpenAI, Sarah Friar, terá recomendado em privado adiar o IPO da empresa para 2027, citando o incumprimento das normas de reporte financeiro de sociedades cotadas, enquanto o CEO Sam Altman pretende acelerar a cotação no 4.º trimestre de 2026. Os utilizadores ativos semanais do ChatGPT atingiram 900 milhões em

GateNews3h atrás
Comentar
0/400
Nenhum comentário