El seguimiento de la cara de alta velocidad mejora las experiencias de realidad aumentada

La realidad aumentada (AR) se ha convertido en un tema candente en las industrias de entretenimiento, moda y maquillaje. Aunque existen algunas tecnologías diferentes en estos campos, el mapeo dinámico de proyección facial (DFPM) se encuentra entre las más sofisticadas y visualmente impresionantes. Dfpm, DFPM consiste en proyectar imágenes dinámicas en la cara de una persona en tiempo real, utilizando el seguimiento facial avanzado para garantizar que las proyecciones se adapten a la perfección a los movimientos y expresiones.

Si bien la imaginación debería ser idealmente lo único que limita lo que es posible con DFPM en AR, este enfoque se retiene por desafíos técnicos. La proyección de imágenes en una cara en movimiento implica que el sistema DFPM puede detectar las características faciales del usuario, como los ojos, la nariz y la boca, en menos de un milisegundo.

Incluso los ligeros retrasos en el procesamiento o las desalineaciones minúsculas entre las coordenadas de imágenes de la cámara y el proyector pueden dar lugar a errores de proyección, o “artefactos de desalineación”, que los espectadores pueden notar, arruinando la inmersión.

En este contexto, un equipo de investigación del Instituto de Ciencias Tokio, Japón, se propuso encontrar soluciones a los desafíos existentes en DFPM. Dirigido por el profesor asociado Yoshihiro Watanabe y que también incluyó al estudiante graduado Sr. Hao-Lun Peng, el equipo introdujo una serie de estrategias y técnicas innovadoras y las combinó en un sistema DFPM de alta velocidad de última generación. Sus hallazgos fueron publicado en Transacciones IEEE en visualización y gráficos por computadora el 17 de enero de 2025.

https://www.youtube.com/watch?v=wovjyhbqnt8

Primero, los investigadores desarrollaron una técnica híbrida llamada “Método de seguimiento de cara de alta velocidad” que combina dos enfoques diferentes en paralelo para detectar puntos de referencia faciales en en tiempo real. Emplearon un método llamado conjunto de árboles de regresión (ERT) para realizar una detección rápida.

También implementaron una forma de recortar de manera eficiente las imágenes entrantes hasta la cara del usuario para detectar puntos de referencia más rápido; Lo lograron aprovechando información temporal de marcos anteriores para limitar el “área de búsqueda”. Para ayudar a la detección basada en ERT a recuperarse de errores o situaciones desafiantes, la combinaron con un método auxiliar más lento, que proporciona una alta precisión a una velocidad más baja.

Utilizando esta ingeniosa estrategia, los investigadores lograron una velocidad sin precedentes en DFPM. “Al integrar los resultados de las técnicas de detección de alta precisión pero lenta y baja precisión pero de detección rápida en paralelo y compensación de discrepancias temporales, alcanzamos una ejecución de alta velocidad a solo 0.107 milisegundos mientras mantenemos una alta precisión”, dice Watanabe.

El equipo también abordó un problema apremiante: la disponibilidad limitada de conjuntos de datos de video de los movimientos faciales para capacitar a los modelos. Crearon un método innovador para simular anotaciones de video de alta tasa de marco utilizando conjuntos de datos faciales existentes de imágenes fijas. Esto permitió que sus algoritmos aprendieran adecuadamente la información de movimiento a altas velocidades de cuadro.

Finalmente, los investigadores propusieron una configuración de proyector coaxial de cámaras de lente para ayudar a minimizar los artefactos de alineación. “El mecanismo de cambio de lente incorporado al sistema óptico de la cámara lo alinea con la proyección ascendente del sistema óptico del proyector, lo que lleva a una alineación de coordenadas más precisa”, explica Watanabe. De esta manera, el equipo logró una alta alineación óptica con solo un error de 1.274 píxeles para usuarios ubicados entre 1 m y 2 m de profundidad.

En general, los diversos métodos desarrollados en este estudio ayudarán a impulsar el campo de DFPM hacia adelante, lo que lleva a efectos más convincentes e hiperrealistas que transformarán actuaciones, desfiles de moda y presentaciones artísticas.