Η καινοτομία στον ψηφιακό μετασχηματισμό πηγάζει συχνά από διεπιστημονική έρευνα. Ενώ το έργο μας επικεντρώνεται στη βιομηχανική εφαρμογή των ψηφιακών διδύμων, οι συνεργάτες μας στο Πολυτεχνείο του Τορίνο διευρύνουν τα όρια της μηχανικής όρασης και της αλληλεπίδρασης ανθρώπου-μηχανής μέσω της τελευταίας τους έρευνας στην αναγνώριση της νοηματικής γλώσσας.
Σπάζοντας τα εμπόδια επικοινωνίας με την ανίχνευση RGB-D
Σε μια πρόσφατα δημοσιευμένη μελέτη στο Αισθητήρες, ερευνητές από το Τμήμα Μηχανικών Διοίκησης και Παραγωγής (DIGEP) και το τμήμα Βιοϊατρικής Μηχανικής ανέπτυξαν ένα πλαίσιο για την αναγνώριση σε πραγματικό χρόνο των διαμορφώσεων των χεριών σε Ιταλική Νοηματική Γλώσσα (LIS).
Η έρευνα ασχολείται με ένα κρίσιμο στοιχείο της νοηματικής γλώσσας: το “χερέμι” ή το συγκεκριμένο σχήμα του χεριού που χρησιμοποιείται κατά τη διάρκεια μιας νοηματικής γλώσσας. Εστιάζοντας σε αυτές τις διαμορφώσεις ως αυτόνομη εργασία ταξινόμησης, η ομάδα δημιούργησε έναν πιο αποτελεσματικό τρόπο για τους υπολογιστές να “διαβάζουν” τα σχήματα των χεριών χωρίς να χρειάζεται να επεξεργαστούν μια πλήρη, σύνθετη χρονική χειρονομία.
Πώς λειτουργεί: Από τα ορόσημα έως τη μηχανική μάθηση
Η προσέγγιση της ομάδας βασίζεται στο χαμηλό κόστος Κάμερες RGB-D (τα οποία καταγράφουν πληροφορίες τόσο για το χρώμα όσο και για το βάθος) σε συνδυασμό με εξελιγμένα εργαλεία επεξεργασίας:
- Ενσωμάτωση MediaPipeΤο σύστημα εξάγει τρισδιάστατα ορόσημα χεριών σε πραγματικό χρόνο.
- Εξαγωγή Γεωμετρικών ΧαρακτηριστικώνΑυτά τα ορόσημα μετατρέπονται σε τρισδιάστατα γεωμετρικά χαρακτηριστικά, όπως οι αποστάσεις μεταξύ των άκρων των δακτύλων και της παλάμης, τα οποία στη συνέχεια ομαλοποιούνται ώστε να λαμβάνονται υπόψη τα διαφορετικά μεγέθη χεριών.
- Ταξινόμηση SVMΈνας ταξινομητής Μηχανής Διανυσμάτων Υποστήριξης (SVM) προσδιορίζει στη συνέχεια τη συγκεκριμένη διαμόρφωση.
Τα αποτελέσματα είναι εντυπωσιακά, με το σύστημα να επιτυγχάνει ακρίβεια 96.8% σε 24 ξεχωριστές διαμορφώσεις χεριού LIS.
Πέρα από το Εργαστήριο: Πιθανές Εφαρμογές
Ενώ ο πρωταρχικός στόχος είναι να βοηθηθεί η επικοινωνία για την κοινότητα των κωφών, αυτός ο τύπος υψηλής ακρίβειας παρακολούθησης χεριών έχει σημαντικές επιπτώσεις στο έργο μας. Έξυπνη Κατασκευή. Η ικανότητα ενός συστήματος να αναγνωρίζει με ακρίβεια σύνθετες διαμορφώσεις χεριών σε πραγματικό χρόνο είναι απαραίτητη για:
- Προηγμένη Συνεργασία Ανθρώπου-ΡομπότΕπιτρέποντας στους τεχνικούς να ελέγχουν βιομηχανικά cobot μέσω ακριβών χειρονομιών.
- Ενσωματωμένη ΕκπαίδευσηΒελτίωση προσομοιώσεων Εικονικής Πραγματικότητας (VR) όπου απαιτούνται ακριβείς αλληλεπιδράσεις με τα χέρια για εικονική συναρμολόγηση ή συντήρηση.
Συγχαίρουμε την ομάδα του Πολυτεχνείου του Τορίνο – συμπεριλαμβανομένων των Luca Ulrich, Giorgia Marullo και Enrico Vezzetti – για αυτή τη συμβολή στον τομέα της μηχανικής όρασης. Αυτή η έρευνα υπογραμμίζει την τεχνική αριστεία εντός της κοινοπραξίας του έργου μας και τους ποικίλους τρόπους με τους οποίους η ψηφιακή μοντελοποίηση διαμορφώνει το μέλλον μας.
Πλήρης Δημοσίευση: Μια προσέγγιση βασισμένη σε τρισδιάστατη κάμερα για την αναγνώριση διαμόρφωσης χεριών σε πραγματικό χρόνο στην ιταλική νοηματική γλώσσα, δημοσιεύτηκε στο Sensors (2026).
