Innovation inom digital transformation härrör ofta från tvärvetenskaplig forskning. Medan vårt projekt fokuserar på industriell tillämpning av digitala tvillingar, har våra partners på Politecnico di Turin tänjer på gränserna för maskinseende och människa-maskin-interaktion genom sin senaste forskning inom teckenspråksigenkänning.
Bryta kommunikationsbarriärer med RGB-D-avkänning
I en nyligen publicerad studie i Sensorer, forskare från institutionen för management- och produktionsteknik (DIGEP) och institutionen för biomedicinsk teknik utvecklade ett ramverk för realtidsigenkänning av handkonfigurationer i Italienskt teckenspråk (LIS).
Forskningen behandlar en kritisk komponent av teckenspråk: "cheremet", eller den specifika handformen som används under ett teckenspråk. Genom att fokusera på dessa konfigurationer som en fristående klassificeringsuppgift har teamet skapat ett mer effektivt sätt för datorer att "läsa" handformer utan att behöva bearbeta en fullständig, komplex temporal gest.
Så fungerar det: Från landmärken till maskininlärning
Teamets tillvägagångssätt använder lågkostnadslösningar RGB-D-kameror (som fångar både färg- och djupinformation) i kombination med sofistikerade bearbetningsverktyg:
- MediaPipe-integrationSystemet extraherar 3D-landmärken för handen i realtid.
- Geometrisk funktionsutvinningDessa landmärken omvandlas till 3D-geometriska egenskaper, såsom avstånden mellan fingertopparna och handflatan, vilka sedan normaliseras för att ta hänsyn till olika handstorlekar.
- SVM-klassificeringEn SVM-klassificerare (Support Vector Machine) identifierar sedan den specifika konfigurationen.
Resultaten är imponerande, och systemet uppnår en noggrannhet på 96.8% över 24 distinkta LIS-handkonfigurationer.
Bortom labbet: Potentiella tillämpningar
Även om det primära målet är att underlätta kommunikationen för döva, har denna typ av högprecisionshandspårning betydande konsekvenser för vårt arbete med Smart tillverkning. Förmågan för ett system att korrekt känna igen komplexa handkonfigurationer i realtid är avgörande för:
- Avancerat samarbete mellan människa och robotGör det möjligt för tekniker att styra industriella cobotar med precisa handgester.
- Fördjupande utbildningFörbättra simuleringar av virtuell verklighet (VR) där exakta handinteraktioner krävs för virtuell montering eller underhåll.
Vi gratulerar teamet på Politecnico di Torino – inklusive Luca Ulrich, Giorgia Marullo och Enrico Vezzetti – till detta bidrag till området maskinseende. Denna forskning understryker den tekniska excellensen inom vårt projektkonsortium och de olika sätt på vilka digital modellering formar vår framtid.
Fullständig publikation: En 3D-kamerabaserad metod för realtidsigenkänning av handkonfigurationer på italienskt teckenspråk, publicerad i Sensorer (2026).
