Mensagem do Gate News, 27 de abril — Logan Kilpatrick, gerente sênior de produto na Google DeepMind e líder de produto do Google AI Studio, declarou no X que toda empresa que desenvolve produtos baseados em IA deve criar seus próprios benchmarks personalizados para medir o desempenho dos modelos de IA. Ele descreveu isso como um método para fazer com que as melhorias no modelo “beneficiem desproporcionalmente a sua empresa” e incentivou fundadores e líderes de negócios a “começar amanhã.”
A maioria das empresas atualmente depende de leaderboards públicos para selecionar modelos de IA, mas eles medem capacidades gerais que muitas vezes não se alinham aos cenários específicos do negócio. Kilpatrick citou o exemplo de uma empresa de revisão de contratos mais preocupada com a precisão na extração de cláusulas — uma capacidade ausente de benchmarks públicos, tornando impossível avaliar o desempenho do modelo nessa tarefa. Benchmarks personalizados oferecem duas vantagens principais: primeiro, eles permitem que as empresas avaliem cada atualização de modelo em relação às suas próprias tarefas de negócio e escolham o modelo que tem melhor desempenho no caso de uso real, em vez do modelo mais bem classificado no geral; segundo, eles permitem que as empresas compartilhem esses conjuntos de teste com os provedores de modelo, impulsionando a otimização contínua nas áreas que importam para o seu negócio.
Kilpatrick observou que empresas como Zapier e Sierra já estão implementando essa abordagem, afirmando que “há muito alfa que pode ser criado aqui.”
Aviso: As informações nesta página podem ser provenientes de terceiros e não representam as opiniões ou pontos de vista da Gate. O conteúdo exibido nesta página é apenas para referência e não constitui aconselhamento financeiro, de investimento ou jurídico. A Gate não garante a exatidão ou integridade das informações e não será responsável por quaisquer perdas decorrentes do uso dessas informações. Os investimentos em ativos virtuais apresentam altos riscos e estão sujeitos a uma volatilidade de preços significativa. Você pode perder todo o capital investido. Por favor, compreenda completamente os riscos envolvidos e tome decisões prudentes com base em sua própria situação financeira e tolerância ao risco. Para mais detalhes, consulte o
Aviso Legal.
Related Articles
Claw Intelligence faz parceria com a Block Sec Arena para fortalecer a segurança da BNB Chain
De acordo com o anúncio oficial da Block Sec Arena em 30 de abril, a Claw Intelligence, uma plataforma Web3 orientada por IA construída na BNB Chain, anunciou uma parceria estratégica com a Block Sec Arena para integrar infraestrutura avançada de cibersegurança ao seu ecossistema. A colaboração tem como objetivo fortalecer o p
GateNews14m atrás
NTT anuncia iniciativa de IA x OWN e planeja triplicar a capacidade de energia do Japão para 1 GW até 2033
Em 27 de abril, o presidente da NTT, Akira Shimada, anunciou a iniciativa AI x OWN, o esforço da empresa para redesenhar a infraestrutura da internet para uso de IA em tempo real. A NTT planeja triplicar sua capacidade de energia doméstica de aproximadamente 300 MW hoje para cerca de 1 gigawatt até o ano fiscal de 2033, à medida que a gigante de telecomunicações
GateNews1h atrás
A plataforma de IA Certifyde conclui uma rodada seed de US$ 2 milhões em 1º de maio, com apoio do CEO da Ripple, Brad Garlinghouse
De acordo com a TechfundingNews, a plataforma de aplicação de IA Certifyde concluiu uma rodada de seed funding de US$ 2 milhões em 1º de maio. Os investidores incluem a K5 Global, a Flamingo Capital e investidores-anjo, incluindo o cofundador da Honey George Ruan, o CEO da Ripple Brad Garlinghouse e o cofundador da Nutra Roland
GateNews2h atrás
Diretor de tecnologia do Pentágono: a Anthropic ainda está na lista negra, tratamento de exceção para a Mythos
O chefe de tecnologia do Departamento de Defesa dos EUA (Pentagon technology chief) declarou no dia 1º de maio ao Congresso que “a Anthropic ainda está na lista negra, mas o Mythos Preview é outra questão”, reconhecendo formalmente que o Departamento de Defesa trata de forma diferente a marca principal da Anthropic e seu novo modelo, Mythos. Essa fala se alinha com a revelação da Axios em 19 de abril de que a NSA (Agência de Segurança Nacional) já passou a usar o Mythos para estabelecer ressonância — e também consolida oficialmente a tendência de política em torno de um “canal de exceção para o Mythos”. Ao mesmo tempo, isso significa que o Departamento de Defesa já havia sustentado em tribunal que o uso de ferramentas da Anthropic colocaria a segurança nacional em risco, criando uma contradição interna nos argumentos legais em relação à prática atual.
Anthropic vs Pentagon
ChainNewsAbmedia3h atrás
137 Ventures encerra $700M em novos fundos, AUM atinge US$ 15 bilhões
De acordo com a ChainCatcher, a 137 Ventures, investidora inicial na SpaceX, concluiu recentemente a captação de recursos para dois novos fundos, somando mais de US$ 700 milhões, elevando seus ativos sob gestão para mais de US$ 15 bilhões. O novo capital vai apoiar investimentos em agentes de IA, robótica e propulsão espacial
GateNews3h atrás
Reddit dispara 16% com forte perspectiva para o 2º tri; Apple enfrenta escassez de Macs à medida que a demanda por IA supera a oferta
As ações da Reddit subiram 16% antes do pregão na sexta-feira, após a empresa divulgar uma previsão de receita para o próximo trimestre acima do esperado. Os visitantes ativos diários cresceram 17%, para 126,8 milhões, enquanto a receita média por usuário no mundo todo disparou 44%, impulsionada por IA que
GateNews3h atrás
