2026-04-03 08:01:26

Um artigo fez-me parar e dedicar meia hora a lê-lo S0 Tuning

Ideia central: sem alterar os pesos do modelo, ajustando apenas uma matriz de estado inicial, é possível melhorar significativamente a capacidade de codificação do modelo.
No Qwen3.5-4B, usando apenas 48 amostras de treino HumanEval (não 48 mil, mas 48), o S0 tuning aumentou o pass@1 em 23,6 pontos percentuais.
Em comparação com o LoRA, o S0 superou em 10,8 pontos percentuais. p valor<0,001, estatisticamente significativo.
No FalconH1-7B, o S0 atingiu 71,8%.
Isto significa que, após o ajuste, o modelo mantém a velocidade e o tamanho, apenas melhora a "posição de partida".
Para quem faz deploy de modelos locais, isto abre uma porta: pegar um modelo geral, ajustá-lo com dezenas de amostras de domínio para torná-lo um modelo especializado, sem qualquer custo de desempenho.
O artigo está no arXiv: 2604.01168. Quem trabalha com adaptação de modelos deve lê-lo.

Ver original

Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.