Mensagem do Gate News, 27 de abril — Logan Kilpatrick, gerente sênior de produto na Google DeepMind e líder de produto do Google AI Studio, declarou no X que toda empresa que desenvolve produtos baseados em IA deve criar seus próprios benchmarks personalizados para medir o desempenho dos modelos de IA. Ele descreveu isso como um método para fazer com que as melhorias no modelo “beneficiem desproporcionalmente a sua empresa” e incentivou fundadores e líderes de negócios a “começar amanhã.”
A maioria das empresas atualmente depende de leaderboards públicos para selecionar modelos de IA, mas eles medem capacidades gerais que muitas vezes não se alinham aos cenários específicos do negócio. Kilpatrick citou o exemplo de uma empresa de revisão de contratos mais preocupada com a precisão na extração de cláusulas — uma capacidade ausente de benchmarks públicos, tornando impossível avaliar o desempenho do modelo nessa tarefa. Benchmarks personalizados oferecem duas vantagens principais: primeiro, eles permitem que as empresas avaliem cada atualização de modelo em relação às suas próprias tarefas de negócio e escolham o modelo que tem melhor desempenho no caso de uso real, em vez do modelo mais bem classificado no geral; segundo, eles permitem que as empresas compartilhem esses conjuntos de teste com os provedores de modelo, impulsionando a otimização contínua nas áreas que importam para o seu negócio.
Kilpatrick observou que empresas como Zapier e Sierra já estão implementando essa abordagem, afirmando que “há muito alfa que pode ser criado aqui.”
Aviso: As informações nesta página podem ser provenientes de terceiros e não representam as opiniões ou pontos de vista da Gate. O conteúdo exibido nesta página é apenas para referência e não constitui aconselhamento financeiro, de investimento ou jurídico. A Gate não garante a exatidão ou integridade das informações e não será responsável por quaisquer perdas decorrentes do uso dessas informações. Os investimentos em ativos virtuais apresentam altos riscos e estão sujeitos a uma volatilidade de preços significativa. Você pode perder todo o capital investido. Por favor, compreenda completamente os riscos envolvidos e tome decisões prudentes com base em sua própria situação financeira e tolerância ao risco. Para mais detalhes, consulte o
Aviso Legal.
Related Articles
Legisladores do Colorado propõem substituição da lei de IA para abordar preocupações do setor
Os legisladores de Colorado estão se movendo para revogar e substituir a lei de inteligência artificial (IA) de 2024 do estado, SB24-205, por novas regras que restringem o escopo da regulamentação de IA enquanto abordam as preocupações da indústria sobre o ônus de conformidade. A nova proposta, SB26-189, regularia sistemas de IA usados em
CryptoFrontier4h atrás
R0AR Avança para a Rodada Final do PitchFest do Consensus 2026, mas perde por pouco o Top 20
De acordo com a MetaversePost, R0AR avançou para a rodada final de seleção do CoinDesk's Consensus 2026 PitchFest em 4 de maio, ficando por pouco fora das 20 principais startups selecionadas para apresentações ao vivo. O inovador em Web3 e IA foi avaliado junto com startups de alto potencial do mundo todo em um dos maiores eventos do setor
GateNews7h atrás
Musk busca um acordo de US$ 150 bilhões com a OpenAI antes do julgamento; negociações fracassam
De acordo com uma petição judicial, Elon Musk entrou em contato com o presidente da OpenAI, Greg Brockman, em 26 de abril, dois dias antes de o julgamento começar na corte federal de Oakland, para discutir uma possível solução. Quando Brockman sugeriu que ambas as partes desistissem de suas alegações, Musk respondeu com ameaças, dizendo a Brockman: "No fim
GateNews7h atrás
A Cursor aceita a oferta de aquisição de US$ 60 bilhões da SpaceX, mas não vai firmar parceria com a xAI em modelos de codificação
De acordo com a The Information, a Cursor aceitou uma oferta de aquisição condicional de US$ 60 bilhões da SpaceX, embora o acordo ainda não tenha sido finalizado. A empresa atualmente não tem planos de colaborar com a unidade de IA da SpaceX, a xAI, no desenvolvimento de modelos de código. Em vez disso, a Cursor está focada em otimizá-lo
GateNews8h atrás
Haun Ventures fecha fundo de US$ 1 bilhão em 4 de maio, dividindo o capital entre investimentos em cripto no estágio inicial e no estágio tardio
De acordo com a Bloomberg, a Haun Ventures concluiu uma rodada de captação de US$ 1 bilhão em 4 de maio, com US$ 500 milhões destinados a investimentos em estágio inicial e US$ 500 milhões a investimentos em estágio avançado. O fundo vai alocar capital nos próximos dois a três anos, mirando startups de criptomoedas e blockchain enquanto amplia
GateNews8h atrás
OpenAI Levanta $4 Bilhões para Joint Venture de Implantação, Avaliada em US$ 10 bilhões
De acordo com a BlockBeats, em 4 de maio, a OpenAI levantou mais de $4 bilhão para estabelecer uma nova joint venture voltada a ajudar empresas a adotarem seu software de inteligência artificial. A venture, chamada The Deployment Company, conta com apoio de 19 investidores, incluindo TPG Inc., Brookfield Asset Management,
GateNews9h atrás
