Los sistemas de Realidad Virtual (VR) y Realidad Aumentada nos permiten sumergirnos en mundos completamente digitales o incluso combinar la imagen real con objetos 3D o señalización para crear nuevas experiencias. Pero además de usarse en videojuegos –su entorno más común– tienen muchos otros usos interesantes: servirán como ayuda en la conducción en el futuro, ya se utilizan en algunos talleres para guiar a los operarios a la hora de realizar reparaciones en coches, aviones y otra maquinaria y también tiene aplicaciones en la enseñanza.
Normalmente para interactuar en estos mundos virtuales se utilizan mandos de control especiales –como los tradicionales de la Wii o los PlayStation Move de la PlayStation VR– que equipados con giroscopios y otros sensores “recrean” las manos de los usuarios en el entorno digital. Son una buena opción, pero muchas veces no resultan especialmente naturales, cómodos ni realistas.
Ahora Oculus (una de las empresas adquiridas por los Facebook Reality Labs) ha dejado ver en un vídeo cómo es el “sistema de seguimiento de manos” que ha desarrollado como alternativa a los mandos Oculus Touch que son los que habitualmente utilizan sus juegos y aplicaciones. Se trata de un software que es capaz de analizar las imágenes que captan las cámaras del visor Oculus Quest y hacer un seguimiento de las manos y los dedos (hand tracking) de la persona, para de ese modo usarlas como “mandos” e integrarlas en las acciones virtuales.
Este sistema utiliza aprendizaje profundo y redes neuronales para distinguir la posición de las manos y los dedos de forma bastante precisa sin necesidad de hardware adicional como guantes, sensores de profundidad o cámaras de alta calidad (de hecho las cámaras que usa son las del visor, en blanco y negro).
Entre las ventajas están que al usar menos hardware no aumenta el peso de las gafas, ni se reduce la vida de las baterías. La recreación trabaja con las dos manos y 26 “grados de movimiento”, básicamente desde la muñeca hasta todas las articulaciones de los dedos. Además es capaz de “leer” ciertos gestos estándar, tales como agarrar, soltar, hacer clic y similares, para poder interactuar con los objetos virtuales siempre de la misma forma.
El vídeo sólo muestra algunas de los posibles usos para los que se han desarrollado y el “cómo funciona”, pero es posible que estas ideas puedan aplicarse en el futuro a otros sistemas, por ejemplo, para detectar la posición de las manos al volante en un coche o examinar gestos realizados con las manos en el aire, con lo que se podría prescindir de algunos botones y cables físicos que nos rodean habitualmente por todas partes.
