De cocinar recetas a pilotar helicópteros: realidad aumentada e IA para ayudar en el aprendizaje avanzado

Trabajar en iniciativas tecnológicas avanzadas no es algo nuevo para DARPA, la Agencia de Proyectos de Investigación Avanzados de Defensa de los Estados Unidos. Y recordemos que lo que sale de allí no siempre son proyectos militares: como de todo se aprende, en tiempos financiaron el nacimiento de Internet y también competiciones como el DARPA Grand Challenge y el DARPA Urban Challenge, que marcaron hitos para los vehículos de conducción autónoma al hacerlos participar en carreras por el desierto y por ciudades bajo condiciones de tráfico real.

En una de sus últimas demostraciones han dado a conocer los trabajos de la PTG o Guía de Tareas con Percepción (Perceptually-enabled Task Guidance). Se trata de una idea consistente en facilitar el aprendizaje avanzado aprovechando la madurez de los sistemas de realidad aumentada y de inteligencia artificial: cómo guiar a las personas para realizar tareas utilizando la percepción visual y auditiva.

Un copiloto como acompañante

La idea básica es que las personas que usen estos sistemas puedan contar con una especie de copiloto que perciba el entorno viendo lo que ellas ven, escuchando lo que ellas escuchan y mientras tanto les vaya guiando en el proceso con información útil. Sería una especie de «guía mental instantánea» para realizar tareas que han de realizar físicamente esas personas. En el vídeo se pueden ver muchos ejemplos, entre ellos:

Como puede verse las aplicaciones son muy amplias, y ya hay ejemplos de todas ellas con diferentes niveles de profundidad e implicación. Uno de los que se mencionan es el manejo de un mini-reactor nuclear del MIT, un proyecto de Lincoln Labs, donde ambas entidades colaboran desde hace tiempo.

De la cocina a la medicina

Lo más curioso es que uno de los entornos en el que se desarrolla el PTG es la cocina. Y es que enseñar a alguien a cocinar una receta requiere de los mismos componentes –más o menos– que para enseñar a suturar una herida abierta. En otras palabras: hay muchos objetos distintos, de tipos diferentes (sólidos, líquidos) y que hay que combinar y manipular en un orden preciso según un protocolo.

Los participantes en las pruebas de las PTG utilizan visores de realidad aumentada, que una inteligencia artificial procesa para separar los diferentes objetos. De este modo pueden indicar cuáles de los ingredientes son los siguientes en la receta, en qué recipientes hay que mezclarlos y cómo. También pueden tener modelos más o menos precisos de los aparatos o mecanismos en cuestión, como en el caso del reactor del MIT, acerca de qué-botones-hacen-qué, para indicar qué mandos hay que pulsar a continuación. En las grandes fábricas o para manejar maquinaria compleja es una especie de manual visual interactivo que resulta de gran ayuda.

Aprender casi como Neo en Matrix

Visto desde fuera, todas esas tareas tan complicadas como reparar un vehículo o aprender para qué sirven todos los mandos de un coche nuevo o un avión Airbus se convierten en una especie de «taller de bricomanía» paso a paso en el que se reciben instrucciones precisas con solo mover la cabeza y escuchar. Los equipos van equipados con micrófono para poder pedir ayuda, instrucciones más detalladas o activar otras funciones.

Lo más llamativo del PTG, que ha sorprendido a los propios investigadores, es que el aprendizaje de tareas complejas se acelera considerablemente respecto a otros métodos. No es tan rápido como Neo en Matrix aprendiendo kung-fu, pero aspira a ello. De momento resulta interesante para que cualquiera pueda en el futuro aprender el manejo de nuevas tecnologías con el mismo fundamento con el que se aprende a cocinar unos buenos espaguetis con salsa cremosa de parmesano y trufa negra.

Últimas entradas de Microsiervos

Volvo XC40 Recharge

Volvo Recharge, nuestra línea de SUV híbridos enchufables y eléctricos puros. Diseñados para ofrecer una mejor manera de moverse por el mundo.

¡Pruébalo!