Mensagem do Gate News, 27 de abril — Logan Kilpatrick, gestor sénior de produto na Google DeepMind e responsável de produto para o Google AI Studio, declarou no X que todas as empresas que criam produtos baseados em IA devem estabelecer os seus próprios benchmarks personalizados para medir o desempenho dos modelos de IA. Ele descreveu isto como um método para fazer com que as melhorias do modelo “beneficiem desproporcionadamente a sua empresa” e instou os fundadores e líderes empresariais a “começar amanhã.”
A maioria das empresas atualmente depende de quadros de liderança públicos para selecionar modelos de IA, mas estes medem capacidades gerais que muitas vezes não se alinham com cenários empresariais específicos. Kilpatrick citou o exemplo de uma empresa de revisão de contratos cuja principal preocupação é a precisão da extração de cláusulas — uma capacidade que não existe nos benchmarks públicos, tornando impossível avaliar o desempenho do modelo nessa tarefa. Os benchmarks personalizados oferecem duas vantagens principais: primeiro, permitem que as empresas avaliem cada atualização do modelo face às suas próprias tarefas de negócio e selecionem o modelo que melhor funciona no seu caso de uso real, em vez do modelo com melhor classificação no geral; segundo, permitem que as empresas partilhem estes conjuntos de testes com os fornecedores de modelos, impulsionando a otimização contínua nas áreas que importam para o seu negócio.
Kilpatrick referiu que empresas como a Zapier e a Sierra já estão a implementar esta abordagem, afirmando que “há muito alpha que pode ser criado aqui.”
Isenção de responsabilidade: As informações contidas nesta página podem ser provenientes de terceiros e não representam os pontos de vista ou opiniões da Gate. O conteúdo apresentado nesta página é apenas para referência e não constitui qualquer aconselhamento financeiro, de investimento ou jurídico. A Gate não garante a exatidão ou o carácter exaustivo das informações e não poderá ser responsabilizada por quaisquer perdas resultantes da utilização destas informações. Os investimentos em ativos virtuais implicam riscos elevados e estão sujeitos a uma volatilidade de preços significativa. Pode perder todo o seu capital investido. Compreenda plenamente os riscos relevantes e tome decisões prudentes com base na sua própria situação financeira e tolerância ao risco. Para mais informações, consulte a
Isenção de responsabilidade.
Related Articles
O antigo executivo da Qualcomm Alex Katouzian junta-se à Intel como EVP de Client Computing e Physical AI a 4 de maio
A Intel anunciou a 4 de maio que Alex Katouzian, um veterano executivo da Qualcomm, se juntou à empresa como vice-presidente executivo e diretor-geral do Grupo de Client Computing e Physical AI, reportando diretamente ao CEO Chen Lixu. Katouzian passou 25 anos na Qualcomm, mais recentemente tendo servido como e
GateNews10m atrás
Media K Wave cotada na Nasdaq desiste da tesouraria em Bitcoin e redireciona $485M para IA
A K Wave Media, cotada na Nasdaq, abandonou o seu plano de tesouraria em bitcoin e redireccionou 485 milhões de dólares para investimentos em inteligência artificial, menos de um ano depois de ter levantado 500 milhões de dólares para o bitcoin original
GateNews13m atrás
A Nova Intelligence conclui uma ronda de Série A no valor de 31,5 milhões de dólares, liderada pela Chemistry, em 5 de maio
De acordo com a Fortune, a plataforma de agentes de IA Nova Intelligence concluiu uma ronda de financiamento Série A no valor de 31,5 milhões de dólares a 5 de maio, liderada pela Chemistry. Accel, Conviction e SAP.io também participaram na ronda.
A plataforma da Nova analisa, moderniza e gera código personalizado para folha de pagamentos, cadeia de abastecimento e
GateNews28m atrás
A Cipher Digital garante uma linha de crédito $200M para expandir os centros de dados de IA e HPC
Segundo a Globenewswire, a Cipher Digital, uma mineradora de bitcoin cotada na Nasdaq, garantiu uma linha de crédito rotativa de 200 milhões de dólares com instituições financeiras globais para reforçar a liquidez e acelerar a expansão da sua plataforma de centros de dados para IA e computação de alto desempenho (HPC). A empresa reportou o 1.º trimestre
GateNews1h atrás
Quantum Leap conclui $200M IPO, procura aquisições de blockchain e IA
De acordo com a Businesswire, a 5 de maio, a empresa de aquisição com finalidade específica Quantum Leap concluiu uma oferta pública inicial (IPO) de 200 milhões de dólares e começou a ser negociada na New York Stock Exchange sob o símbolo QLEPU. A empresa pretende aplicar os proventos para procurar aquisições e transações de fusão e i
GateNews1h atrás
Google, Microsoft e xAI concordam em permitir que o Governo dos EUA aceda aos modelos de IA antes do seu lançamento público
De acordo com uma declaração do Departamento de Comércio dos EUA na terça-feira, a Google, a Microsoft e a xAI, da Alphabet, concordaram em permitir acesso antecipado do governo aos seus modelos de IA para revisão antes do lançamento e avaliação de segurança. O Centro de Normas de IA e Inovação do Departamento de Comércio vai conduzir o
GateNews1h atrás
