Dicen a modo de chiste que una de las formas que tenemos de saber que no vivimos en una simulación como en Matrix es porque los píxeles serían más gordos, los colores demasiado plásticos y los objetos decididamente «sintéticos». Pero aunque esto sea así por muchos años, algunos videojuegos están llevando las imágenes de los mundos virtuales 3D al límite, con todo tipo de efectos altamente fotorrealistas: brillos naturales, sombras y reflejos, texturas detalladas… ¿Se pueden mejorar más estas técnicas?
Para responder a esta pregunta unos investigadores están probando un nuevo método bastante efectivo para mejorar el fotorrealismo de las imágenes de ciertos videojuegos utilizando técnicas de inteligencia artificial. En un vídeo de demostración sobre su trabajo muestran el resultado sobre el popular juego de acción y coches GTA V. Se pueden ver algunos minutos y comparar en escenas a «pantalla partida» cuánto difieren las imágenes 3RD originales de las procesadas por una IA especializada. El resultado es francamente asombroso, y además dicen que podría lograrse a «velocidad interactiva», es decir, mientras se está jugando.
En el juego GTA V la ciudad de Los Ángeles aparece con todo tipo de detalles: edificios, vehículos, señalización, tiendas, paisajes, cielo… Pero curiosamente este método no utiliza la información 3D de esa gigantesca base de datos, sino que simplemente procesa lo que se ve, fotograma a fotograma. La forma de hacerlo es habiendo entrenado previamente con un conjunto de datos de «imágenes de una ciudad». En concreto han usado Cityscapes (con calles de Alemania) y Mapillary Vistas (con fotos de todas partes del mundo), en los que hay cientos de miles de imágenes en las que ya se han «marcado» los diferentes objetos de forma semántica, por sus nombres.
El nuevo software utiliza una red neuronal convolucional para identificar en las imágenes de GTA V diversos objetos y luego reemplazarlos por su equivalente en las fotografías que recuerda del entrenamiento. Esto incluye tanto el asfalto como los edificios, paisajes y demás. Como curiosidad, se puede ver cómo al cambiar las texturas y colores de GTA por las fotografías de Cityscape se observan ciertas diferencias:
- Pavimentado del asfalto
- Colores metalizados de los coches
- Verde de las montañas
Estas diferencias surgen porque las montañas de GTA V son las que rodean a Los Ángeles, donde domina el naranja de la arena y las piedras, mientras que las de Cityscape están grabadas en Alemania, donde hay más verde y vegetación; otro tanto sucede con la textura del asfalto, más suave y con menos detalle que la del asfalto sintético del videojuego.
Los métodos para recrear imágenes mediante IA suelen tener varios problemas y fallos típicos. Uno de ellos es que suelen aparecer «alucinaciones» un tanto peculiares, como árboles en el cielo o carteles donde no existe una pared debido a las matemáticas que gobiernan esas recreaciones. Los investigadores han minimizado estos problemas haciendo que su algoritmo sea lo que llaman temporalmente estable: procurando que de un fotograma a otro los objetos y detalles que se vean sean siempre los mismos –desde todos los ángulos– de modo que no aparezcan y desaparezcan de repente.
La forma de trabajar es compleja y requiere de muchas partes optimizadas. Para empezar la imagen original pasa a una memoria temporal (buffer) que asigna una etiqueta con el nombre de un objeto a cada píxel; luego se buscan las equivalencias, y todo esto hay que hacerlo a diferentes escalas y con varias redes neuronales. Entre los detalles que se tienen en cuenta están las superficies, distancias, materiales, brillos e iluminación. Para validar el resultado se calcula lo que llaman una «puntuación de realismo», eligiendo la mejor opción antes de recrear todo el fotograma píxel a píxel.
Uno de los problemas a los que se enfrentaron sus creadores es que hay algunas «diferencias estadísticas» entre el contenido de las imágenes de los datos de Cityscapes / Vistas y las imágenes de GTA V, por ejemplo en cuanto a la posición y tamaño del cielo, la vegetación y las propias calles y carreteras vistas desde la «cámara» o punto de vista de quien está conduciendo. La solución fue recortar la imagen a la hora de procesarla, de modo que los datos examinados fueran más parecidos a los de los conjuntos de datos del entrenamiento.
Este método mejora incluso algunos otros que están especializados en métodos de «transferencia de color», que simplemente mejoran los colores de la escena pero hacen que los objetos sigan pareciendo «sintéticos». Aquí, como puede verse en el vídeo, si hay un autobús o una pared de piedra el resultado es otro autobús prácticamente igual o una pared muy similar, pero con una textura definitivamente más real… casi, casi, como en Matrix.
