Técnicas de inteligencia artificial para crear «fotos cinemáticas»
Las llamadas fotos cinemáticas se anunciaron para Google Fotos a mediados de diciembre y pronto empezarán a aparecer en la app de Google a medida que se activa dicha funcionalidad, ya aplicada a algunas de las imágenes favoritas guardadas en los móviles de quienes la usan. Pero tan interesante como ver los resultados de esa función es explorar la tecnología que las hace posibles, una combinación de matemática, geometría y algoritmos de inteligencia artificial (IA) de última tecnología.
Esto se ha hecho históricamente con técnicas básicamente manuales, o algún filtro de ayuda, pero el nuevo software de Google es capaz de hacerlo automáticamente. Para recortar las siluetas puede utilizar idealmente los datos de profundidad que captan las cámaras con doble lente o sensores específicos (los teléfonos Pixel de Google y el iPhone de Apple hacen esto). Esa información 3D se puede incorporar en la fotografía y puede pensarse en ellas como en las antiguas «fotos estéreo» que conseguían efectos tridimensionales con dos cámaras situadas en la misma posición que los dos ojos de una persona.
Otro algoritmo de inteligencia artificial es capaz de recortar finamente la silueta de los protagonistas respecto al fondo, evitando que se confundan en los bordes detalles como la ropa o el pelo; de hecho distingue dos partes del cuerpo: la cabeza y torso. Esto se logra mediante técnicas de IA de aprendizaje automático. Esta misma técnica es la que se usa para calcular la trayectoria de la cámara en el resultado. Se trata de hacer como si una cámara de vídeo se moviera alrededor de los protagonistas, acercándose o alejándose. El entrenamiento de estos algoritmos permite evitar muchos de los fallos típicos, y los «píxeles desconocidos» que quedan tapados por los protagonistas pueden inferirse sin demasiados problemas.
Otro de los pasos finales es adaptar las imágenes al formato horizontal (apaisado) o vertical (retrato), al menos dentro de lo posible. Para cada imagen el algoritmo calcula qué fotografías han «quedado mejor» tras todo el procesamiento, en función de lo bien que han encajado los datos: recorte, recreación del fondo, simulación del movimiento y encuadre. Esas son las que se muestran para uso y disfrute de quienes las tienen guardadas en sus dispositivos.
De momento los usuarios no tiene un botón para «crear una versión cinemática» de las fotos que quieren recrear; es Google Fotos quien está procesando poco a poco todos los álbumes en sus servidores, intentando encontrar las más llamativas –al igual que hace con las fotos destacadas, o de recuerdos– de modo que en las próximas semanas irán apareciendo «como por arte de magia» en los dispositivos de quienes tengan instalada la app. Y es que, como decía Arthur C. Clarke: «cualquier tecnología suficientemente avanzada es indistinguible de la magia».
Foto | (CC) Brooke Cagle @ Unsplash