La innovación en la transformación digital a menudo surge de la investigación interdisciplinaria. Si bien nuestro proyecto se centra en la aplicación industrial de los gemelos digitales, nuestros socios en Politécnico de Turín están ampliando los límites de la visión artificial y la interacción hombre-máquina a través de sus últimas investigaciones en reconocimiento del lenguaje de señas.
Rompiendo barreras de comunicación con detección RGB-D
En un estudio publicado recientemente en Sensores, Investigadores del Departamento de Ingeniería de Gestión y Producción (DIGEP) y del Departamento de Ingeniería Biomédica desarrollaron un marco para el reconocimiento en tiempo real de configuraciones de la mano en Lengua de Señas Italiana (LIS).
La investigación aborda un componente crucial del lenguaje de señas: el "chereme", o la forma específica de la mano utilizada durante una seña. Al centrarse en estas configuraciones como una tarea de clasificación independiente, el equipo ha creado una forma más eficiente para que las computadoras "lean" las formas de las manos sin necesidad de procesar un gesto temporal completo y complejo.
Cómo funciona: desde puntos de referencia hasta aprendizaje automático
El enfoque del equipo utiliza métodos de bajo costo. Cámaras RGB-D (que capturan información tanto de color como de profundidad) combinada con sofisticadas herramientas de procesamiento:
- Integración de MediaPipe:El sistema extrae puntos de referencia de la mano en 3D en tiempo real.
- Extracción de características geométricasEstos puntos de referencia se convierten en características geométricas 3D, como las distancias entre las yemas de los dedos y la palma, que luego se normalizan para tener en cuenta los diferentes tamaños de mano.
- Clasificación SVM:Luego, un clasificador de máquina de vectores de soporte (SVM) identifica la configuración específica.
Los resultados son impresionantes, ya que el sistema logra una precisión de 96.8% en 24 configuraciones de mano LIS distintas.
Más allá del laboratorio: posibles aplicaciones
Si bien el objetivo principal es ayudar a la comunicación de la comunidad sorda, este tipo de seguimiento manual de alta precisión tiene implicaciones significativas para nuestro trabajo en Fabricación inteligente. La capacidad de un sistema para reconocer con precisión configuraciones complejas de la mano en tiempo real es esencial para:
- Colaboración avanzada entre humanos y robots:Permite a los técnicos controlar cobots industriales mediante gestos manuales precisos.
- Entrenamiento inmersivo:Mejora de las simulaciones de realidad virtual (RV) donde se requieren interacciones manuales precisas para el ensamblaje o mantenimiento virtual.
Felicitamos al equipo del Politécnico de Turín, que incluye a Luca Ulrich, Giorgia Marullo y Enrico Vezzetti, por su contribución al campo de la visión artificial. Esta investigación subraya la excelencia técnica de nuestro consorcio de proyecto y las diversas maneras en que el modelado digital está configurando nuestro futuro.
Publicación completa: Un enfoque basado en cámara 3D para el reconocimiento de la configuración de la mano en tiempo real en lengua de señas italiana, publicado en Sensores (2026).
