Иновациите в дигиталната трансформация често произтичат от интердисциплинарни изследвания. Докато нашият проект се фокусира върху индустриалното приложение на дигиталните близнаци, нашите партньори в Политехнически институт в Торино разширяват границите на машинното зрение и взаимодействието човек-машина чрез най-новите си изследвания в областта на разпознаването на жестомимичен език.
Преодоляване на комуникационните бариери с RGB-D сензори
В наскоро публикувано проучване в Сензори, изследователи от катедрата по управление и производствено инженерство (DIGEP) и катедрата по биомедицинско инженерство разработиха рамка за разпознаване на конфигурации на ръцете в реално време в Италиански жестомимичен език (ЛИС).
Изследването е насочено към критичен компонент на жестомимичния език: “шереме” или специфичната форма на ръката, използвана по време на жест. Като се фокусира върху тези конфигурации като самостоятелна задача за класификация, екипът е създал по-ефективен начин компютрите да “четат” формите на ръцете, без да е необходимо да обработват пълен, сложен времеви жест.
Как работи: От забележителности до машинно обучение
Подходът на екипа използва ниски разходи RGB-D камери (които улавят както информация за цвета, така и за дълбочината), комбинирани със сложни инструменти за обработка:
- Интеграция с MediaPipeСистемата извлича 3D ориентири на ръката в реално време.
- Извличане на геометрични характеристикиТези ориентири се преобразуват в 3D геометрични характеристики, като например разстоянията между върховете на пръстите и дланта, които след това се нормализират, за да се отчетат различните размери на ръцете.
- Класификация на SVMКласификатор, базиран на машина за поддържащи вектори (SVM), след това идентифицира специфичната конфигурация.
Резултатите са впечатляващи, като системата постига точност от 96.8% в 24 различни LIS конфигурации на ръцете.
Отвъд лабораторията: Потенциални приложения
Въпреки че основната цел е да се подпомогне комуникацията за глухата общност, този вид високопрецизно проследяване на ръцете има значителни последици за нашата работа в... Интелигентно производство. Способността на системата да разпознава точно сложни конфигурации на ръцете в реално време е от съществено значение за:
- Разширено сътрудничество между човек и роботПозволява на техниците да контролират индустриални коботи чрез прецизни жестове с ръце.
- Имерсивно обучениеПодобряване на симулациите във виртуалната реалност (VR), където са необходими прецизни взаимодействия с ръцете за виртуален монтаж или поддръжка.
Поздравяваме екипа на Политехническия университет в Торино – включително Лука Улрих, Джорджия Маруло и Енрико Вецети – за този принос в областта на машинното зрение. Това изследване подчертава техническото съвършенство в рамките на нашия проектен консорциум и разнообразните начини, по които дигиталното моделиране оформя нашето бъдеще.
Пълна публикация: Подход, базиран на 3D камера, за разпознаване на конфигурацията на ръцете в реално време на италиански жестомимичен език, публикувано в Sensors (2026).
