A principios de este año, Google Research presentó su trabajo sobre RawNeRF con “NeRF in the Dark: High Dynamic Range View Synthesis from Noisy Raw Images” en la conferencia CVPR (Computer Vision and Pattern Recognition) 2022.
Un campo de radiancia neural (o NeRF) es una red neural que puede tomar imágenes 2D y crear una escena 3D. Google ha creado una llamada RawNeRF para escenas oscuras -compartida originalmente en junio- que combina “imágenes tomadas desde muchos puntos de vista diferentes de la cámara para denotar y reconstruir conjuntamente la escena.”
RawNeRF, que utiliza imágenes RAW, hace un muy buen trabajo de eliminación de ruido. En el primer ejemplo que se muestra a continuación, la aplicación del método de Google puede limpiar lo suficiente el ruido como para que la señal resaltada sea legible.
En comparación con otros NeRF, el RawNeRF de Google puede “recuperar colores y detalles mucho más precisos en toda la escena”. La precisión se acerca al tropo televisivo de los personajes que piden que se mejore una imagen y el ordenador les devuelve algo increíblemente (e inverosímilmente) de alta resolución.
Mientras tanto, Google se apresura a señalar que RawNeRF es más que un denoiser y “puede variar la posición de la cámara para ver la escena desde diferentes ángulos”, así como variar la exposición, el mapa tonal y el enfoque (concretamente, “renderiza desenfoques sintéticos con efectos bokeh precisos”).
El vídeo de Google, de seis minutos de duración, ofrece una buena visión general de RawNeRF, mientras que el documento, los datos y el código también están disponibles. Este trabajo está en fase de investigación, y no es seguro que llegue a utilizarse en un producto. En la práctica, los usuarios tendrían que activar la captura en RAW, que ocupa más espacio, y tomar varias imágenes. Por otra parte, Google Photos ofrece fotos cinemáticas para replicar el movimiento 3D que podría haber ocurrido en el momento de tomar una imagen fija.
Fuente aquí.
La entrada La investigación RawNeRF de Google nos acerca a una increíble mejora a las imágenes se publicó primero en Domótica en Casa.
