A NVIDIA, na Gamescom 2023, revelou uma nova adição alimentada por IA ao seu recurso DLSS que promete melhorar a fidelidade visual das imagens com traçado de raio. O novo recurso é chamado de Ray Reconstruction e substituirá os denoisers ajustados manualmente que têm sido tradicionalmente usados para melhorar a qualidade das imagens. O novo recurso Ray Reconstruction funcionará em todas as GPUs GeForce RTX lançadas pela empresa até o momento. Vários jogos como Alan Wake 2, Cyberpunk 2077 e Portal com RTX deverão incorporar DLSS 3.5 nos próximos meses. Se você está se perguntando o que é um denoiser ou como esse novo recurso Ray Reconstruction ajuda, continue lendo.
“A iluminação totalmente ray tracing em tempo real foi um marco significativo em nossa jornada para gráficos fotorrealistas em jogos, e atingimos esses objetivos com o modo RT Overdrive do Cyberpunk 2077, Minecraft com RTX e Portal com RTX. Com a adição do Ray Reconstruction no NVIDIA DLSS 3.5, os desenvolvedores são auxiliados pela IA para aprimorar os mundos que criam, aumentando a qualidade da imagem ainda mais do que se pensava ser possível”, disse Matt Wuebbling, vice-presidente de marketing da NVIDIA.
Reconstrução de raios NVIDIA
Denoisers ajustados manualmente podem fazer um ótimo trabalho preenchendo as informações corretas e ajudando a remover o ruído. No entanto, ao tentar aumentar a escala de uma imagem que foi eliminada de ruído, você notará facilmente que um denoiser foi usado. As bordas dos objetos ficarão desfeitas e os reflexos e sombras também parecerão um pouco instáveis. Infelizmente, o DLSS requer praticamente upscaling. Portanto, quando as imagens são geradas usando DLSS e ampliadas, os artefatos estranhos do uso de um denoiser, que de outra forma não teriam chamado sua atenção, aparecem. É por isso que a NVIDIA precisa de um denoiser que possa realmente levar em consideração o upscaling. É aqui que a reconstrução de raios entra em cena.
A reconstrução do raio leva em consideração as informações do traçado do raio e também os fatores dos vetores de movimento. Portanto, se um objeto dentro de um jogo estiver se movendo da esquerda para a direita diante de seus olhos, essa informação ajudará o mecanismo a gerar melhor as cores corretas para cada pixel. Feito isso, uma imagem é criada pelo recurso de reconstrução de raio. Depois que a próxima imagem sequencial é gerada, há um pequeno ciclo de feedback para ajudar o recurso reconstrutor de raios a realizar também a filtragem temporal. Após este ponto, você terá os recursos Optical Flow Accelerator e Frame Generator da NVIDIA desempenhando seu papel. Tudo a partir deste ponto permanece igual ao DLSS 3.1
Aqui está um exemplo de imagem para mostrar uma imagem ampliada com DLSS desligado e ligado. A imagem anterior resulta no desaparecimento das sombras simplesmente porque não havia informação suficiente para o upscaler saber se havia uma sombra em primeiro lugar.
O que é um denoiser?
Se você já tirou uma foto em condições de pouca luz, deve ter notado manchas granuladas na foto, especialmente nas regiões escuras da fotografia. Os sensores da câmera podem capturar a maior quantidade de detalhes quando há bastante luz incidente nos sensores, de modo que uma imagem bem iluminada parece nítida, pois o sensor pode captar todos os detalhes. Quando há menos luz, o sensor não consegue ver muitos detalhes e acaba se contentando com todos os dados que possui. Dê uma olhada na imagem abaixo e na seção que ampliamos.
Aqueles pequenos grãos brancos nas regiões escuras, isso é ruído. Basicamente, é uma mistura de informações úteis e indesejadas. Não entraremos em detalhes sobre por que isso acontece, isso é para outro artigo. Para remediar esse problema, criamos tecnologias para avaliar aproximadamente quais dados são úteis e usá-los para criar imagens nítidas.
Na computação gráfica, os denoisers trabalham para melhorar a qualidade de uma imagem gerada, concentrando-se em três tipos diferentes de dados ou sinais. Estes são:
Difusão
Reflexão
Sombras
Estas são três maneiras diferentes pelas quais a luz interage com os objetos em uma imagem. A difusão consiste na reflexão da luz em todas as direções após atingir um objeto. Os reflexos tratam da luz refletida em uma única direção e as sombras ocorrem quando há pouca luz indo em uma determinada direção.
Quando o ray tracing acontece em videogames, a placa gráfica precisa calcular como cada raio de luz interage com seu ambiente. E cada imagem tem centenas de milhares de raios sendo rastreados. Obter uma imagem fotorrealista exigiria o cálculo de milhões de raios, mas por uma questão de tempo, apenas um conjunto relativamente pequeno de raios é usado para gerar uma imagem. A imagem abaixo mostrará como uma imagem com traçado de raio aparece se apenas um raio for usado por pixel.
Isso é semelhante a tirar uma fotografia com pouca luz e a imagem resultante terá muito ruído devido à insuficiência de dados. Então obtemos uma imagem com grãos estranhos de pixels de cores diferentes porque não há informação suficiente para descobrir a cor de cada pixel. Um denoiser olha para esta imagem e tenta remover o ruído aproximando a cor real do pixel.
Os denoisers podem observar pixels vizinhos e preencher as lacunas. Isso é chamado de filtragem espacial. Eles também podem pegar dois quadros gerados consecutivamente e determinar se há correções que podem ser feitas dependendo de qual quadro conseguiu gerar corretamente os dados de pixel corretos. Isso é chamado de filtragem temporal. Aqui está a mesma imagem de antes com um denoiser adicionado.
Se não fosse pela filtragem espacial e temporal, você também pode usar modelos de IA que foram treinados por horas intermináveis para descobrir qual é a cor certa para um determinado pixel. Esse é o caminho que o novo recurso Ray Reconstruction no DLSS 3.5 segue.
Siga-nos
Mithun Mohandas
Embora não distribua doses letais de sarcasmo, esta curiosa criatura pode muitas vezes ser encontrada mexendo em tecnologia, jogando jogos ‘vidya’ ou explorando os cantos mais sombrios da Internet. #PCMasterRace https://www.linkedin.com/in/mithunmohandas/ Leia mais
source – www.digit.in
