Nvidia Instant NeRF usa redes neurais para renderizar cenas 3D realistas com base em uma coleção de entrada de imagens 2D
O modelo de IA da Nvidia é bastante impressionante: uma ferramenta que transforma rapidamente uma coleção de instantâneos 2D em uma cena renderizada em 3D. A ferramenta é chamada Instant NeRF, referindo-se a “campos de radiância neural”.
Conhecido como renderização inversa, o processo usa IA para aproximar como a luz se comporta no mundo real, permitindo que os pesquisadores reconstruam uma cena 3D a partir de um punhado de imagens 2D tiradas em diferentes ângulos. A equipe de pesquisa da Nvidia desenvolveu uma abordagem que realiza essa tarefa quase instantaneamente, tornando-o um dos primeiros modelos de seu tipo a combinar treinamento de rede neural ultrarrápido e renderização rápida.
Os NeRFs usam redes neurais para representar e renderizar cenas 3D realistas com base em uma coleção de entrada de imagens 2D.
Coletar dados para alimentar um NeRF é um pouco como ser um fotógrafo de tapete vermelho tentando capturar a roupa de uma celebridade de todos os ângulos. A rede neural requer algumas dezenas de imagens tiradas de várias posições ao redor da cena, bem como a posição da câmera de cada uma dessas fotos.
Em uma cena que inclui pessoas ou outros elementos em movimento, quanto mais rápido essas fotos forem capturadas, melhor. Se houver muito movimento durante o processo de captura de imagem 2D, a cena 3D gerada por IA ficará desfocada.
A partir daí, um NeRF essencialmente preenche os espaços em branco, treinando uma pequena rede neural para reconstruir a cena, prevendo a cor da luz que irradia em qualquer direção, de qualquer ponto no espaço 3D. A técnica pode até contornar oclusões quando os objetos vistos em algumas imagens são bloqueados por obstruções, como pilares em outras imagens.
O Nvidia Instant NeRF, no entanto, reduz o tempo de renderização em várias ordens de magnitude. Ele se baseia em uma técnica desenvolvida pela Nvidia chamada codificação de grade de hash multi-resolução, que é otimizada para funcionar com eficiência em GPUs Nvidia. Usando um novo método de codificação de entrada, os pesquisadores podem obter resultados de alta qualidade usando uma pequena rede neural que funciona rapidamente.
O modelo foi desenvolvido usando o Nvidia CUDA Toolkit e a biblioteca Tiny CUDA Neural Networks. Como é uma rede neural leve, ela pode ser treinada e executada em uma única GPU Nvidia, executando mais rapidamente em placas com Nvidia Tensor Cores.
Mais informações
source – www.analyticsinsight.net
