Internet de las cosas

Reconstrucción de escenas en 3D a partir del aprendizaje neuronal de fotografías

Aunque muchas veces se nos pasa por alto, aunque observamos las tres dimensiones del «mundo real» sin problemas, todas las imágenes de fotografías y películas están en 2D, incluyendo las que captamos con el fondo de nuestras retinas de nuestros ojos. Es el cerebro el que reconstruye el efecto de volúmenes y distancias para que los píxeles cobren sentido en un entorno espacial. Y aunque utilizar dos ojos en vez de sólo uno proporciona cierta ayuda estereoscópica –con algunos píxeles cambiando sutilmente de posición– en general también no tenemos problemas para interpretar una foto o una película con un ojo abierto y otro cerrado. Pero esto no es algo que sólo pueda hacer nuestro cerebro: también los ordenadores son ya hábiles con ello.

Unos investigadores de las Universidades de Berkeley, San Diego y Google Research llevan tiempo trabajando en esta técnica y recientemente la tecnológica NVIDIA ha dado a conocer algunas demostraciones sobre los avances que están realizando en cómo convertir imágenes 2D en 3D sin más ayuda que las propias imágenes. Es algo que puede ser muy útil en diversos entornos en los que se usen cámaras convencionales, incluyendo los de reconocimiento de imágenes, interpretación de entornos 3D como los que necesita un vehículo durante su conducción y similares. Lo mejor es que para esta tarea no se necesitan sensores especiales, LiDAR ni nada parecido: bastan las puras y simples imágenes planas que captan las cámaras de fotos / vídeo.

Reconstrucción de escenas en 3D
La técnica que se emplea se conoce como réndering inverso, a diferencia del renderizado convencional que es el que se utiliza en videojuegos para crear imágenes realistas y con texturas a partir de un modelo 3D de la escena. El punto de partida, en este caso, son unas cuantas docenas de imágenes, normalmente rodeando al sujeto de la escena o al punto de mayor interés, donde los algoritmos examinan cómo se comporta la luz incidente de cada píxel. La tonalidad de cada píxel y el ángulo de las cámaras permiten determinar el color original, pero además de eso el brillo de esos puntos y los que están cerca definen cómo está iluminada la escena, algo que un algoritmo de inteligencia artificial puede desentrañar.

Reconstrucción de escenas en 3DEsa segunda parte del proceso se conoce como Campos de Radiación Neuronal (NeRFs) y, como suele suceder con estos algoritmos, se «entrenan» con varias imágenes –en este caso, algo más de una docena– en unos pocos segundos. El algoritmo proporciona una imagen tosca en los primeros milisegundos, pero mejora a medida que se le permite aprender un poco más, dando lugar imágenes mucho más nítidas y con detalle. En las pruebas, a partir de 15 segundos se producen ya imágenes casi indistinguibles del original de referencia. Algunas de las GPUs (Unidades de Procesamiento Gráfico) de NVIDIA tienen suficientemente potencia para hacerlo mediante una técnica que produce resultados muy rápidos y en alta resolución a partir del aprendizaje de esas redes neuronales.

Reconstrucción de escenas en 3DEl resultado es que el algoritmo es capaz de generar, en unos pocos milisegundos, todas las imágenes necesarias para un suave recorrido en 3D, que permita ver los objetos tridimensionales como si hubieran sido generados o fotografiados a partir de un modelo tridimensional, cuando en realidad han sido más bien «adivinados» a partir de unas pocas fotos tomadas, desde distintos ángulos, unos segundos antes. Entre otras aplicaciones, los investigadores hablan de la recreación de mapas, objetos tridimensionales, detalles arquitectónicos y similares. Desde luego es una solución que parece producir unos resultados estupendos y que no requiere de hardware especializado ni de costosos equipos de visión estereoscópica, LiDAR ni otras complicaciones que pueden ser por tanto consideradas innecesarias.

Últimas entradas de Microsiervos

Volvo C40 Recharge

Descubre nuestro primer crossover eléctrico puro con interior libre de cuero y con Google integrado. Ya puedes solicitarlo hoy mismo online.

¡Descúbrelo!
 

Deja un comentario sobre "Reconstrucción de escenas en 3D a partir del aprendizaje neuronal de fotografías"

Nos encantará conocer vuestra opinión, pero indicaros que los comentarios están moderados, y no aparecerán inmediatamente en la página al ser enviados. Evitemos las descalificaciones personales, los comentarios maleducados, los ataques directos o ridiculizaciones personales, o los calificativos insultantes de cualquier tipo, y procuremos que las opiniones estén relacionadas con lo que se comenta en esta entrada.

Volvo Car España, S.L.U. almacenaremos y procesaremos tus datos personales de acuerdo a nuestro aviso legal y política de privacidad. En Volvo Car España, S.L.U. también compartiremos tus datos personales con nuestra Red de Concesionarios y Talleres Oficiales, quien los procesará y hará seguimiento de tu solicitud. Enviando esta solicitud, aceptas este proceso.

Nuestros clientes y amigos reciben la mejor información, campañas y promociones de Volvo Cars, a través de medios electrónicos. Al seleccionar una o varias de las casillas de abajo, consiento recibir futuras comunicaciones de Volvo Car España y/o nuestra Red de Concesionarios por el canal seleccionado.

Email

Enviado esta solicitud, consientes el procesamiento de tus datos.