Con este software puedes editar colores y materiales en vídeo en tiempo real
Editar un vídeo en streaming y hacerlo en tiempo real es algo que parece de ciencia ficción,pero un equipo de investigadores del Instituto Max Planck Institute de Informática, en Saarbrücken (Alemania), lo ha conseguido. Esto significa un gran paso adelante para tener cada vez mejores aplicaciones de Realidad Aumentada, puesto que poder cambiar los colores y las texturas de la ropa, por ejemplo, en tiempo real significa abrir camino para un sinfín de posibilidades.
Pensemos, por ejemplo, en un espejo inteligente en los probadores de una tienda de ropa. Con esta tecnología, el espejo podría grabar y emitir nuestra imagen con un conjunto de ropa, y podríamos cambiar de color diferentes piezas para ver qué tal nos sienta. Las técnicas empleadas para conseguir cambiar los colores de las superficies en un vídeo, y hacerlo en tiempo real y con calidad fotográfica son muy innovadoras.
En aplicaciones de realidad aumentada conocidas, como por ejemplo el popular Pokémon Go, las imágenes digitales se visualizan superpuestas a las imágenes reales. La tecnología de estos científicos informáticos va más allá: la imagen se altera de forma realista, por lo que pueden dotar de un color o textura diferente a una superficie, haciéndola parecer diferente de lo que es en realidad.
Según Christian Theobalt, líder del Grupo de Gráficos, Visión y Video del Instituto Max Planck de Informática, “el valor de color que una cámara asigna a los píxeles individuales es, en términos simples, siempre el producto de la reflexión y la iluminación. Sin embargo, el problema es que los dos elementos de este cálculo sólo están contenidos indirectamente en la imagen, lo que significa que no pueden medirse“.
El problema es, entonces, más complejo de lo que puede parecer en un principio, porque hay que hacer estimaciones muy precisas y en tiempo real, por lo que el equipo de investigadores diseñaron un modelo basado en procesos de optimización matemáticos. El software realiza cálculos en paralelo y los cambios en la imagen son tan rápidos que es posible procesar incluso la imagen de una webcam, en directo: “estimando la iluminación y el grado de reflexión de cada píxel en una fracción de segundo, y cambiando sólo uno de los dos factores, somos capaces de preservar una impresión realista”, dice Theobalt.
En el siguiente vídeo se pueden ver demostraciones bastante interesantes de lo que se puede conseguir con esta tecnología, desde un “simple” cambio en el color de una prenda, hasta cómo ese cambio reacciona de manera realista frente a cambios de luz, y llegando a otros ejemplos bastante visuales en los que se introducen nuevas texturas en secuencias de vídeo (hacia el final de este clip):
De hecho, en este vídeo se comprueba cómo dentro de una misma escena les ha sido posible cambiar la textura de un solo objeto (un cojín que pasa de ser de algodón, a ser de terciopelo), y a pesar de que el sistema no puede con todo, como se demuestra en el caso de la impresión de la camiseta en el minuto 3:24, da unos resultados sencillamente impresionantes.
Estamos seguros de que al término del vídeo todos nos creemos eso de que la realidad aumentada puede dar un paso de gigante gracias a investigaciones como esta.
Vía | Techxplore