O Vision Banana da Google: Um modelo visual unificado supera modelos específicos de tarefa na segmentação e na geometria 3D

Mensagem do Gate News, 23 de Abril — Investigadores da Google, incluindo He Kaiming e Xie Saining, publicaram um artigo que apresenta o Vision Banana, um modelo de compreensão visual de propósito geral criado através do ajuste fino leve de instruções do modelo de geração de imagens Nano Banana Pro ( Gemini 3 Pro Image) da empresa. A principal inovação unifica as saídas de todas as tarefas visuais como imagens RGB, permitindo segmentação, estimativa de profundidade e previsão de normais de superfície através de geração de imagens, sem arquiteturas ou funções de perda específicas da tarefa.

Na segmentação semântica, o Vision Banana superou o modelo especializado SAM 3 em 4,7 pontos percentuais no Cityscapes; na segmentação de expressões de referência, ultrapassou o SAM 3 Agent. No entanto, ficou aquém do SAM 3 na segmentação de instâncias. Para tarefas 3D, a estimativa métrica de profundidade atingiu 0,929 de precisão média em quatro conjuntos de dados padrão, excedendo os 0,918 do Depth Anything V3, usando apenas dados sintéticos sem informação real de profundidade ou parâmetros de câmara na inferência. A estimativa de normais de superfície alcançou resultados de última geração em três benchmarks interiores.

O ajuste fino envolveu dados mínimos de tarefas visuais misturados no treino original de geração de imagens, preservando as capacidades de geração do modelo — o desempenho correspondeu ao Nano Banana Pro original nos testes de qualidade de geração. O artigo propõe que o pré-treino de geração de imagens em visão é semelhante ao pré-treino de geração de texto em linguagem: os modelos aprendem as representações internas necessárias para a compreensão de imagens durante a geração, enquanto o ajuste fino por instruções apenas liberta esta capacidade.

Isenção de responsabilidade: As informações contidas nesta página podem ser provenientes de terceiros e não representam os pontos de vista ou opiniões da Gate. O conteúdo apresentado nesta página é apenas para referência e não constitui qualquer aconselhamento financeiro, de investimento ou jurídico. A Gate não garante a exatidão ou o carácter exaustivo das informações e não poderá ser responsabilizada por quaisquer perdas resultantes da utilização destas informações. Os investimentos em ativos virtuais implicam riscos elevados e estão sujeitos a uma volatilidade de preços significativa. Pode perder todo o seu capital investido. Compreenda plenamente os riscos relevantes e tome decisões prudentes com base na sua própria situação financeira e tolerância ao risco. Para mais informações, consulte a Isenção de responsabilidade.

Related Articles

Claw Intelligence faz parceria com a Block Sec Arena para reforçar a segurança da BNB Chain

De acordo com o anúncio oficial da Block Sec Arena a 30 de abril, a Claw Intelligence, uma plataforma Web3 orientada por IA construída na BNB Chain, anunciou uma parceria estratégica com a Block Sec Arena para integrar infraestruturas avançadas de cibersegurança no seu ecossistema. A colaboração tem como objetivo reforçar p

GateNews1h atrás

A NTT Anuncia a Iniciativa AI x OWN e Planos para Triplicar a Capacidade de Energia do Japão para 1 GW até 2033

Em 27 de abril, o presidente da NTT, Akira Shimada, anunciou a iniciativa AI x OWN, o esforço da empresa para redesenhar a infraestrutura da internet para um uso de IA em tempo real. A NTT planeia triplicar a sua capacidade doméstica de energia de cerca de 300 MW hoje para cerca de 1 gigawatt até ao ano fiscal de 2033, à medida que a gigante das telecomunicações

GateNews2h atrás

A plataforma de IA Certifyde conclui uma ronda de investimento semente de 2 milhões de dólares a 1 de maio, apoiada pelo CEO da Ripple, Brad Garlinghouse

De acordo com a TechfundingNews, a plataforma de aplicações de IA Certifyde concluiu uma ronda de seed no valor de 2 milhões de dólares a 1 de maio. Os investidores incluem a K5 Global, a Flamingo Capital e investidores-anjo, incluindo o cofundador da Honey George Ruan, o CEO da Ripple Brad Garlinghouse e o cofundador da Nutra Roland

GateNews3h atrás

Chefe de tecnologia do Pentágono: a Anthropic continua na lista negra, tratamento de excepções para a Mythos

O responsável pela tecnologia do Pentágono (Pentagon technology chief) dos EUA, em 1 de maio, disse ao Congresso que «a Anthropic continua na lista negra, mas o Mythos Preview é outra questão», reconhecendo formalmente que o Departamento de Defesa distingue o principal produto da Anthropic e o seu novo modelo, Mythos, no modo como os trata. Esta declaração coincide com a revelação da Axios, a 19 de abril, de que a NSA (Agência de Segurança Nacional) já tinha usado o Mythos para criar uma resposta correspondente, e formaliza a orientação de política que estabelece «um canal de exceção para o Mythos» — o que também significa que o Pentágono, anteriormente, defendeu em tribunal que o uso de ferramentas da Anthropic ameaçaria a segurança nacional, criando uma contradição interna ao nível do argumento jurídico face às práticas atuais. Anthropic vs Pentagon

ChainNewsAbmedia4h atrás

A 137 Ventures fecha $700M em novos fundos, AUM atinge 15 mil milhões de dólares

De acordo com o ChainCatcher, a 137 Ventures, um dos primeiros investidores na SpaceX, concluiu recentemente a recolha de fundos para dois novos fundos, num total superior a 700 milhões de dólares, elevando os seus activos sob gestão para mais de 15 mil milhões de dólares. O novo capital vai apoiar investimentos em agentes de IA, robótica e propulsão espacial

GateNews4h atrás

O Reddit regista um aumento de 16% com fortes perspetivas para o 2.º trimestre; a Apple enfrenta falta de Macs à medida que a procura por IA supera a oferta

As acções da Reddit subiram 16% antes da abertura do mercado na sexta-feira, depois de a empresa ter divulgado uma previsão de receitas para o próximo trimestre superior ao esperado. Os visitantes diários ativos cresceram 17% para 126,8 milhões, enquanto a receita média por utilizador a nível mundial disparou 44%, impulsionada por IA alimentada por

GateNews4h atrás
Comentar
0/400
Nenhum comentário