В соответствии с результатами эксперимента определение порога распознавания кончиков пальцев и распознавания жестов может быть достигнуто с помощью сегментации жестов и улучшения распознавания жестов метод между 0.5 м и 2,0 м в реальном времени, что является сравнительно большим распознаванием жестов на расстоянии по сравнению с настройкой прямого интервала расстояния. Например, в [25] интервал расстояний установлен от 0,8 м до 1,0 м. Более того, предлагаемый метод имеет хорошие характеристики распознавания на сложном переднем и заднем плане, а скорость распознавания эксперимента с числовыми жестами в этой статье дополнительно показывает, что улучшенный метод может не только идентифицировать руку в реальном времени на сложном фоне и в различных условиях. расстояние, но также отвечает требованиям обнаружения кончиков пальцев и распознавания жестов для достижения естественного взаимодействия человека и робота.

5. Выводы

Стремясь к ограничению расстояния распознавания жестов, в этой статье предлагается улучшенный метод пороговой сегментации с информацией о глубине для сегментации жестов руки и представлен алгоритм искривления косинуса k для обнаружения кончиков пальцев. Во-первых, улучшенный метод пороговой сегментации, который представляет собой метод сканирования с пространственной стратификацией, объединяющий информацию о глубине с интервалом RGB цвета кожи, используется для определения положения жестов рук на большом расстоянии.Во-вторых, алгоритм k -косинусной кривизны используется для обнаружения выпуклой оболочки пальцев, чтобы определить положение кончиков пальцев, и таким образом можно идентифицировать числа от 0 до 5 жестов руки. В-третьих, экспериментальные результаты показывают, что предложенный метод может эффективно увеличить расстояние обнаружения по сравнению с традиционными методами пороговой сегментации. Более того, каждый кончик пальца может быть обнаружен в ROI улучшенным методом, а уровень распознавания составляет более 96%.Наконец, результаты экспериментов по распознаванию числовых жестов также показывают, что предложенный метод может удовлетворять требованиям распознавания жестов рук на разных расстояниях. Дальнейшая работа будет посвящена выявлению большего количества информации о жестах, ее применению к человеко-машинному взаимодействию и достижению большей функции управления машиной с помощью динамического и статического распознавания жестов.

Сокращения

Конфликт интересов

Авторы заявляют об отсутствии конфликта интересов.

Благодарности

Эта работа частично поддержана Национальным фондом естественных наук Китая (61773351, 61473265 и 61374128), Фондом естественных наук провинции Хэнань (162300410260), Фондом развития выдающихся молодых учителей Университета Чжэнчжоу (1521319025) , План обучения молодых магистральных преподавателей университетов провинции Хэнань (2017GGJS004) и План поддержки исследовательских групп в области науки и технологий провинции Хэнань (17IRTSTHN013).

В умных перчатках используется технология определения растяжения для высокоточного захвата жестов рук.

Точное отображение реальных физических движений в цифровом мире остается сложной задачей для программистов и инженеров, но недавно разработанная перчатка обещает значительно продвинуть эту технологию. Он способен улавливать движения рук с гораздо большей детализацией и нюансами, чем большинство существующих решений.

Чтобы добиться этого, исследователи перчатки создали силиконовый состав, содержащий 44 встроенных датчика растяжения, соединив его со слоем мягкой ткани.Устройство ввода требует очень небольшого обучения и использует специально сконструированный набор алгоритмов для обработки данных датчика, поступающих от руки в перчатке.

Эта комбинация аппаратного и программного обеспечения означает, что очень точные движения рук и пальцев могут регистрироваться в реальном времени. Для записи движений не требуются внешние камеры или датчики, а сами перчатки можно изготавливать по невысокой цене. Они явно легкие и удобные в носке.

«Это уже хорошо изученная проблема, но мы нашли новые способы ее решения с точки зрения датчиков, используемых в нашей конструкции, и нашей модели, управляемой данными», – сказал Оливер Глаузер из ETH Zurich в Швейцарии в заявлении для прессы.

«Что также захватывает в этой работе, так это многодисциплинарный характер работы над этой проблемой. Это потребовало опыта в различных областях, включая материаловедение, производство, электротехнику, компьютерную графику и машинное обучение».

Перчатка по-прежнему способна улавливать движения, даже когда рука что-то держит, говорят исследователи, и из-за конфигурации ее датчиков она может работать и в любых условиях освещения – без задействованных камер, перчатка не работает. Необязательно быть хорошо освещенным или находиться в пределах прямой видимости.

ETH Zurich

Помимо повышения точности в вашем следующем приключении в виртуальной реальности, перчатка может найти применение в робототехнике, биомедицине и дополненной реальности (где сцены реального мира дополняются компьютерной графикой).

Исследовательская группа сравнила свои усилия с двумя имеющимися в продаже перчатками, Manus VR и CyberGlove II, и обнаружила, что во время тестирования новая перчатка показала самый низкий уровень ошибок из трех во всех позах, кроме одной.

Множество других компаний и исследовательских групп заняты работой над концепцией умных перчаток не только для точного преобразования движений реального мира в цифровой эквивалент, но и для передачи тактильной обратной связи из виртуального мира обратно в реальную плоть и кровь – так что вы действительно может протянуть руку и прикоснуться к чему-либо в VR.

И это новое изобретение, скорее всего, должно работать вместе с другими технологиями, чтобы обеспечить полное решение. По крайней мере, на данный момент он не может отслеживать руку в трехмерном пространстве, только движения пальцев – поэтому, хотя он знает, что вы указываете, он не знает, в каком направлении вы указываете.

Внедрение таких перчаток в массовое производство по-прежнему является сложной задачей, но, поразив три ключевые цели – мониторинг в реальном времени, автономная работа и способность работать в нескольких средах – исследователи подготовили перчатку для AR / VR. опыт будущего.

Группа исследователей продемонстрирует технологию на выставке SIGGRAPH 2019 в Лос-Анджелесе 28 июля. Документ о разработке доступен в Интернете. Вы можете увидеть видео перчатки в действии ниже.

Интерактивная оценка позы руки с помощью чувствительной к растяжению мягкой перчатки (SIGGRAPH 2019)

Источник: Association for Computing Machinery

Мультимодальное распознавание жестов рук с использованием одного IMU и акустических измерений на запястье

Abstract

Чтобы облегчить распознавание жестов рук, мы исследовали использование акустических сигналов с помощью акселерометра и гироскопа на запястье человека.В качестве подтверждения концепции прототип состоял из 10 микрофонных блоков, контактирующих с кожей, размещенных вокруг запястья, а также инерциального измерительного блока (IMU). Эффективность распознавания жестов оценивалась путем идентификации 13 жестов, используемых в повседневной жизни. Оптимальная область для размещения акустического датчика на запястье была исследована с использованием алгоритма выбора признаков с минимальной избыточностью и максимальной релевантностью. Мы набрали 10 испытуемых для выполнения более 10 испытаний для каждого набора жестов рук.Точность составила 75% для общей модели с выбранными 25 основными характеристиками, а средняя точность классификации внутри субъекта составила более 80% с теми же функциями с использованием одного микрофонного блока на средней передней части запястья и IMU. Эти результаты показывают, что акустические сигнатуры запястья человека могут помочь в распознавании IMU для распознавания жестов рук, а выбор нескольких общих черт для всех субъектов может помочь в построении общей модели. Предлагаемая мультимодальная структура помогает решить проблему единственного узкого места, связанного с распознаванием IMU для жестов рук во время движения руки и / или локомоции.

Образец цитирования: Siddiqui N, Chan RHM (2020) Мультимодальное распознавание жестов рук с использованием одного IMU и акустических измерений на запястье. PLoS ONE 15 (1): e0227039. https://doi.org/10.1371/journal.pone.0227039

Редактор: Yingchun Zhang, Университет Хьюстона, США

Поступила: 16 августа 2019 г .; Одобрена в печать: 10 декабря 2019 г .; Опубликовано: 13 января 2020 г.

Авторские права: © 2020 Siddiqui, Chan.Это статья в открытом доступе, распространяемая в соответствии с условиями лицензии Creative Commons Attribution License, которая разрешает неограниченное использование, распространение и воспроизведение на любом носителе при условии указания автора и источника.

Доступность данных: Данные были доступны по следующему URL-адресу, который потребует немедленной загрузки: http://iba-suk.edu.pk/content/zip/Experiment-data-992.zip.

Финансирование: Эта работа была в значительной степени поддержана грантом Совета по исследовательским грантам Специального административного района Гонконг, Китай [Project No.CityU11215618] и грант Городского университета Гонконга [проект № 7004614]. Финансирующие организации не играли никакой роли в дизайне исследования, сборе и анализе данных, принятии решения о публикации или подготовке рукописи.

Конкурирующие интересы: Авторы заявили об отсутствии конкурирующих интересов.

Введение

Пальцы человека являются одним из основных средств взаимодействия с миром и важной частью тела при изучении технологий распознавания жестов в области взаимодействия человека с компьютером (HCI).Технология распознавания жестов позволяет людям взаимодействовать с удаленной системой без физического контакта. Многие типы датчиков используются в беспроводных системах для распознавания жестов, включая камеры, сенсорные перчатки и гаджеты на основе мышц [1]. Обычная информационная перчатка регистрирует ориентацию пальца путем измерения сгибания, устройства для зрения обычно используют камеру с датчиком глубины, а устройства, основанные на мышечной активности, регистрируют мышечные сокращения, известные как поверхностная электромиография (sEMG).Записи этих временных рядов измерений жестов рук связаны с некоторыми инструкциями в компьютере. Несмотря на высокую точность (> 90%) каждого из этих методов, существуют некоторые ограничения в их долгосрочном использовании [2,3]. Например, носить перчатку для обработки данных в течение более длительного времени неудобно, а размещать камеру на протяжении всей повседневной жизни для отслеживания пальцев непрактично. Тем не менее, мы ожидаем, что практическая система распознавания жестов может быть интегрирована с умными часами, наиболее широко используемым носимым гаджетом на запястье.Движения пальцев связаны с физической работой сухожилий, костей и связок запястья [4–7]. Некоторые исследования показали, что оптический датчик [4], акселерометр и гироскоп [5,6], набор барометрических датчиков [8] и комбинация sEMG, акселерометра и гироскопа [9] на запястье могут использоваться для распознавание жестов руки на запястье. Инерциальный измерительный блок (IMU), содержащий акселерометр и гироскоп, представляет собой легкий крошечный чип, который легко помещается на запястье [6].Однако многие исследования показали, что датчик IMU, помещенный на запястье при контакте с кожей, может быть недостаточным в качестве единственного метода распознавания жестов рук, особенно во время движений рук [9]. Если IMU не находится в контакте с кожей, он может не обнаруживать информацию, которая может быть записана по вибрации по коже при выполнении жестов. Многие исследователи использовали IMU с другими модальностями для повышения точности распознавания жестов, например IMU с sEMG [9].

В этом исследовании мы стремились использовать измерение давления с ИДУ на запястье с использованием датчиков давления.Датчики давления больше подходят там, где движение тела неизбежно [10]. Используя микрофоны в качестве датчиков давления, мы предположили, что соответствующие данные могут собираться на запястье для жестов рук с помощью микрофонов в нашем предыдущем исследовании [11]. Эта установка также поддерживается другим недавним исследованием [12]. Сигнал микрофона или акустическое измерение связано с вибрациями, возникающими на коже из-за бокового движения тканей внутри кожи во время любого механического воздействия.Микрофоны используются в качестве датчиков давления при мониторинге мышечных данных, когда смещение кожи вызывает изменение давления в воздушной камере. Поскольку камера прикреплена к звуковому отверстию микрофона, изменение давления смещает диафрагму микрофона, которая генерирует электрический сигнал. Это смещение кожи происходит из-за низкочастотных колебаний, возникающих при сокращении мышц [10,13,14]. Акустические измерения, проводимые в мышцах живота, широко известны как механомиография, звуковая миография и акустическая миография [15–17].

Наш подход к использованию мультимодальных датчиков (микрофоны и IMU) на запястье не требует определенных мышц для размещения датчика, в отличие от sEMG [18]. Однако конкретная область на запястье, которая будет предоставлять важную информацию для поддержки использования акустических датчиков, еще не исследована. Поэтому была создана группа из 10 акустических датчиков, которая была распределена вокруг запястья с прикрепленным к ней IMU для регистрации движения конечностей, как показано на рис. 1. В отличие от некоторых из предыдущих исследований, предплечье не фиксируется; следовательно, IMU может записывать каждое естественное движение конечности во время записи жеста.Нашей основной целью было выяснить, можно ли использовать подмножество микрофонов из 10 микрофонов с IMU для повышения точности классификации без ограничения естественных движений конечностей.

Сначала мы записали 10 акустических каналов и 6 каналов данных IMU (10 микрофонов, трехосевой акселерометр и трехосевой гироскоп) с запястий 10 испытуемых. Эти субъекты выполнили 10 испытаний для каждого из 13 повседневных жестов: поднятие руки, руки вверх, большие пальцы вверх / вниз, одиночное / двойное касание, движение рукой / пальцем, знак «хорошо», знак победы и кулак.Затем из каждого канала было извлечено более 7000 функций, и функции, наиболее важные для распознавания жестов, были выбраны с использованием алгоритма, основанного на взаимной информации. Результаты подтверждают подход с использованием мультимодальных датчиков с использованием одного микрофонного блока, размещенного в середине передней части запястья вместе с IMU. Используя только два датчика (IMU и микрофонный блок в средней части передней части запястья) с 25 функциями, средняя точность для общей модели составила 75% для данного набора жестов, тогда как средняя точность внутрисубъектной классификации превышала 80% с использованием те же функции.Эти результаты могут быть достигнуты с использованием либо машины опорных векторов (SVM), либо классификатора линейного дискриминантного анализа (LDA). Другой анализ также был выполнен с использованием данных только от IMU, который показал, что использование микрофона с IMU повысило точность примерно на 5% по сравнению с использованием одного IMU в общей модели.

Настройка системы сбора данных

На рис. 1 показана конструкция нашего прототипа оборудования, включая размещение всех 10 микрофонных блоков. Каждый из этих устройств имел микрофон с нижним портом (f-3 дБ = 6 Гц; модель: ICS40300, InvenSense, Сан-Хосе, Калифорния, США), который был припаян к специально разработанной печатной плате (FR-4, 1.Толщиной 6 мм). Цилиндрическое отверстие в печатной плате действовало как полая камера между диафрагмой микрофона и поверхностью кожи. Эта установка показана на рис. 2A и аналогична той, что показана у Kim et al. [19]. IMU (модель: LSM9DS0, STMicroelectronics, Женева, Швейцария) был помещен над микрофонным блоком № 8, который располагался над серединой внешнего запястья, или, другими словами, наверху всей системы датчиков над запястьем, как проиллюстрировано на рис. 1. В нашем прототипе использовался только один IMU для записи движения конечности, и он не контактировал с кожей запястья.Процедура была заимствована из Repnik et al. [20]. В предварительном исследовании мы использовали одну полосу из пяти микрофонов для проверки эффективности распознавания жестов рук по акустическим записям [10]. В этом исследовании мы изучили мультимодальное функционирование наших специально разработанных микрофонных блоков с IMU. Расстояние между соседними микрофонными блоками в сенсорной ленте варьируется из-за различий в окружности запястья у разных субъектов, тогда как расстояние размещения сенсорной ленты от руки над запястьем подробно обсуждается в следующем разделе.

Как показано на правой стороне Рис. 1, микрофонные блоки были подключены параллельно к 10 предварительным усилителям (предусилителям). У каждого предусилителя был операционный усилитель (модель: OPA344, Даллас, Техас, США) с усилением 67 дБ и нижней частотой среза 4 Гц. Предварительно усиленные акустические сигналы и сигналы от IMU подавались на записывающий компьютер через устройство сбора данных (модель: Arduino DUE, Somerville, MA, USA). Частота дискретизации каждого акустического канала была установлена ​​на 200 Гц, поскольку в предыдущих исследованиях сообщалось, что наиболее значимая биоакустическая информация происходит ниже 100 Гц [21].Частота дискретизации для акселерометра и гироскопа составляла 100 Гц и 50 Гц соответственно. Arduino был запрограммирован на выборку 200 Гц на канал для записи каждого аналогового / цифрового сигнала. Поскольку частоты дискретизации акселерометра и гироскопа были разными, эти сигналы IMU подвергались понижающей дискретизации в MATLAB, чтобы соответствовать их рабочим частотам.

Экспериментальная установка

Размещение микрофонного блока

Перед началом эксперимента в первом сеансе каждого испытуемого просили образовать как можно меньший угол между запястьем и ладонью правой руки с помощью кисти.Эта практика позволяет измерять расстояние от дистальной линии браслета, под которой мы наблюдали максимальное смещение кожи (морщины) на запястье невооруженным глазом. Мы называем эту область зоной морщин, как показано на рис. 1, где избегают размещения микрофонных блоков, чтобы уменьшить смещение датчика во время движения руки. В таблице 1 представлены измерения зон морщин у испытуемых.

В начале каждой экспериментальной сессии мы отмечали длину зоны морщин на запястье. Мы использовали эту маркировку для размещения сенсорной ленты на постоянном расстоянии от руки во время всех сеансов эксперимента с каждым испытуемым.Затем мы разместили датчики, как показано на рис. 1. Здесь каждый микрофон был размещен на одинаковом расстоянии от соседних микрофонов в полосе.

Сбор данных

В исследовании приняли участие десять субъектов-правшей, 5 мужчин и 5 женщин. Участники предоставили свое информированное согласие на экспериментальную процедуру, которая была одобрена этическим комитетом Городского университета Гонконга. Исследуемые жесты рук включали 13 общих жестов, показанных на рис. 3, и 1 дополнительный жест, соответствующий стадии расслабления, когда рука расслаблена во время записи, как показано на рис. 3N.

Рис. 3. 14 жестов, использованных в эксперименте.

(a) Подъем руки, (b) рука вверх, (c) кулак, (d) большой палец вверх, (e) большой палец вниз, (f) победа, (g) знак ОК, (h) смахивание рукой влево, ( i) смахивание рукой вправо, (j) смахивание указательным пальцем влево, (k) смахивание указательным пальцем вправо, (l) одиночное касание указательным пальцем, (m) двойное касание указательным пальцем, и (n) расслабленное движение.

https://doi.org/10.1371/journal.pone.0227039.g003

Каждый испытуемый практиковал жест перед началом записи жестов.Во время сеанса записи испытуемых просили положить правое предплечье и локоть на подлокотник стула. Положение руки сохранялось параллельно подлокотнику ладонью вниз. Им разрешалось делать любое естественное движение предплечья, когда они чувствовали, что это необходимо для этого жеста, например, в случае опускания большого пальца вниз, когда у некоторых испытуемых мог быть естественный поворот в локте. Каждое испытание начиналось с руки в расслабленном положении ладонью вниз и заканчивалось в таком же положении покоя.Следовательно, каждая запись канала показывает форму волны в последовательности действий отдых-активность-отдых-активность-отдых, где первое действие относится к преобразованию руки из расслабленного состояния в состояние жеста, а последующее действие возвращается в расслабленное. излагать в естественном темпе предмета.

Каждый испытуемый выполнил по 10 попыток для каждого жеста. Эксперименты проводились в два-три сеанса, чтобы избежать мышечной усталости, и продолжительность каждого сеанса не превышала 30 минут.После установки датчиков в каждом сеансе регистрировалось в среднем 60 испытаний. В конце каждого сеанса повязку с датчиками снимали с конечности и снова прикрепляли в последующих сеансах. Таким образом, все 140 испытаний были записаны от каждого субъекта за 2–3 сеанса эксперимента. Собранные данные позволили нам исследовать надежность распознавания жестов рук во время сеансов с использованием акустической модальности.

Анализ данных

Набор данных

Набор данных для каждого испытуемого представлял собой набор из 140 испытаний (14 жестов × 10 попыток), где каждое испытание содержало параллельные акустические записи с 10 микрофонов, а также записи движения от IMU.Каждое испытание длится более трех секунд.

Извлечение признаков

M _i представляет микрофон i = 1, 2,…, 10; и A и G представляют акселерометр и гироскоп с независимыми значениями в каждом конкретном направлении x, y и z, соответственно, для объекта n . Каждое испытание ( tr ) имеет 16 независимых показаний датчиков в каждый момент времени. В общей сложности 7873 функции были извлечены с использованием набора инструментов кода для анализа временных рядов в MATLAB [22] из каждого из этих показаний датчика, как показано в уравнении (1). (1) где F – матрица признаков со 140 испытаниями и 7873 вычислениями на испытание любого сигнала временного ряда.Используя F для каждого из показаний датчиков, мы сформировали следующую каскадную матрицу признаков: (2) где S _n представляет матрицу признаков размером 140 × 125 968 (16 сигналов × 7873 признаков) для объекта n . После получения S _n , масштабирование признаков было выполнено с использованием стандартизации (на каждую функцию, на канал) для каждого субъекта, так что каждый столбец признаков S _n имели нулевое среднее и единичную дисперсию.Это можно продемонстрировать математически: (3) где и σ _n – среднее и стандартное отклонение, соответственно, индивидуальных характеристик по всем сессиям для субъекта n .

Выбор и классификация признаков

Для подтверждения концепции использования мультимодальных датчиков мы применили общий подход с использованием широко используемых алгоритмов выбора и классификации признаков [23]. Минимальная избыточность и максимальная релевантность (mRMR) была применена к стандартизированной матрице признаков, полученной из уравнения (3).Этот метод ранжирует релевантность каждой функции для задач классификации в больших многоканальных, многофункциональных наборах данных. Процедура была заимствована у Estevez et al. [24].

После извлечения и выбора соответствующих признаков для классификации использовались два классификатора; мультиклассовый SVM-классификатор (с использованием ядра Гаусса) с 10-кратной перекрестной проверкой и LDA-классификатор с перекрестной проверкой Монте-Карло с использованием 50 прогонов. В последнем случае каждый запуск состоял из 112 случайных тренировочных испытаний (8 испытаний / жест), а остальные 28 испытаний (2 испытания / жест) выступали в качестве набора для тестирования.

Результаты

Общий анализ был проведен в двух частях после извлечения признаков, что проиллюстрировано на рис. 4. Сначала мы создали общую модель, которая включает каскадные стандартизованные матрицы признаков S _n ′ из все испытуемые, n = 1, 2,…, 10. Затем был применен алгоритм выбора признаков mRMR на основе взаимной информации для выбора признаков из каскадного набора признаков. Были отмечены 25 основных характеристик, возникших в результате mRMR, которые определены в Приложении S1, тогда как ранжирование и расположение независимых источников сигнала вместе с названиями функций перечислены в таблице 2.Направления x, y и z акселерометра и размещение блока датчика микрофона №3 показаны на рис. 1. Направления x, y и z, связанные с гироскопом, представляют угловую скорость вокруг соответствующих направлений. Каждый ранг функции соответствует вычислению функции, связанной с 1 из 16 независимых источников (10 микрофонов, 3 акселерометра и 3 гироскопа). Две функции в таблице 2, занимающие № 9 и № 23, были выбраны из блока датчика микрофона в позиции № 3, тогда как остальные функции были выбраны из данных IMU в результате mRMR.Блок датчика микрофона в позиции № 3 указывает на переднюю середину запястья. Позже были применены методы классификации SVM и LDA с использованием 25 выбранных признаков в каскадной матрице признаков, и результаты представлены на рис. 5. Это привело к 75% точности общей модели, в частности, с использованием акустической информации из среднего и переднего отделов. запястье и данные с чипа IMU. Тот же самый анализ выбора функции mRMR с LDA и SVM также был проведен с использованием данных только от IMU, и результаты также представлены на рисунке 5.Сравнение показывает улучшение почти на 7% при использовании IMU и микрофона № 3 по сравнению с распознаванием только IMU в общей модели с моделированием основных функций.

Рис. 4. Процедура анализа данных.

Первым шагом является извлечение признаков из отдельных субъектов, затем объединение извлеченных наборов признаков из всех субъектов и применение mRMR для получения общей модели с M функциями. Затем мы применили те же характеристики из общей модели к отдельным предметам, чтобы получить точность внутрипредметной классификации.

https://doi.org/10.1371/journal.pone.0227039.g004

Вторая часть анализа была основана на использовании выбранных 25 характеристик из общей модели для отдельных субъектов с использованием тех же методов классификации. Результаты, полученные в результате этого анализа, представлены на рис. 6, который демонстрирует, что функции, полученные из общей модели, работали удовлетворительно, давая результаты со средней точностью выше 80% с использованием двух датчиков: IMU и микрофона, размещенного в позиции № 3.Затем была сформирована матрица путаницы с использованием выбранных характеристик с классификацией SVM от отдельных субъектов и усреднена по всем субъектам, что показано на рис. 7C. Аналогичный подход был использован для случаев только микрофонов и только IMU, матрицы неточностей которых для сравнения показаны на рисунках 7A и 7B, соответственно. Эти матрицы путаницы указывают на явную путаницу в некоторых внешне похожих жестах. Например, жесты № 2, № 6 и № 7, которые представляют собой остановку руки, победу и знак «хорошо», соответственно, включают в себя аналогичный главный поворот запястья.Точно так же не происходит значительного движения запястья при формировании жестов щелчка / касания и двойного щелчка / касания, то есть жестов №11 и №12 соответственно. Рис. 7 показывает, что микрофоны также могут повысить точность классификации жестов рук.

Рис. 6. Выбор признаков с увеличивающимся набором признаков для каждого предмета отдельно с использованием набора признаков, полученного из глобальной модели.

(а) классификация с использованием LDA и (б) классификация с использованием SVM.

https: // doi.org / 10.1371 / journal.pone.0227039.g006

Рис. 7. Матрицы средних ошибок с использованием набора из 25 основных характеристик, полученных из общей модели и используемых для каждого предмета отдельно с классификатором SVM.

(а) только микрофоны; b) только ИДУ; (c) все датчики или, более конкретно, IMU и микрофон в позиции №3.

https://doi.org/10.1371/journal.pone.0227039.g007

Обсуждение

В этом исследовании мы изучили возможность использования устройства с акустическим датчиком с IMU для мультимодального распознавания жестов руки.Десять микрофонных сенсорных блоков были помещены в контакт с кожей вокруг запястья в форме ленты. Один IMU был прикреплен к ремешку для записи движения конечностей во время жестов руки. Было набрано десять субъектов, каждый из которых выполнял 13 повседневных жестов руками (10 попыток / жест) и расслабленный жест. В общей сложности 7873 функции были использованы для построения вектора характеристик для каждого зарегистрированного испытания из 16 независимых источников. Для создания общей модели были отобраны 25 лучших характеристик с использованием алгоритма взаимной информации (mRMR) путем каскадирования всех индивидуальных матриц характеристик от каждого субъекта.Затем эти выбранные наборы характеристик из общей модели были использованы для классификации по отдельным предметам. Средняя точность внутри предмета составила почти 80%. Матрицы путаницы указывают на трудности в распознавании похожих жестов.

Из этих 25 функций, две функции были выбраны из записей блока датчика микрофона на средней передней части запястья, особенно на уровне 9 и 23, тогда как остальные функции были выбраны из IMU, который был прикреплен к полоса в средней части запястья.Эти результаты показали, что дополнительный акустический датчик (и), расположенный в середине передней части запястья, может повысить точность распознавания жестов рук обычных носимых устройств на запястье с IMU. Информация от микрофонных блоков может решить проблему искажения сигнала, с которой сталкивается IMU во время движений конечностей, потому что измерение на основе давления записывает данные только тогда, когда оно регистрирует вибрации по коже из-за движения руки на запястье; Таким образом, микрофоны практически не подвержены сильному воздействию движений конечностей.Будущие усовершенствования конструкции датчиков микрофона могут улучшить восприятие и увеличить способность датчиков давления в мультимодальных системах распознавать жесты.

Испытуемые были протестированы на текущем наборе жестов для целей сравнительного анализа, и другие жесты рук будут включены в будущие исследования. Наш текущий анализ создает основу для использования IMU с акустическим зондированием. В настоящее время основным ограничением использования микрофонов является неудобный механизм соединения с запястьем, в котором используется двусторонняя липкая лента, чтобы продемонстрировать, как вибрации, измеренные на запястье во время движений пальцев, могут облегчить распознавание жестов руки.Дальнейшая работа будет включать внедрение нейронной сети для максимальной точности, получаемой с помощью двойных датчиков, и лучшего механизма связи акустических датчиков на запястье. Мы также предполагаем, что эти новые открытия могут способствовать развитию электронной татуировки для интерфейса человек-компьютер [25,26]. Это позволит разработать недорогой браслет с IMU и акустическим датчиком (ами), который может точно распознавать жесты рук в повседневной жизни.

Список литературы

1. 1.Цзян X, Мери Л.К., Менон С. Силовое усилие влияет на классификацию хвата с использованием силовой миографии. IEEE Trans Human-Mach Syst. 2018 Апрель; 48 (2): 219–26.
2. 2. Савур Ч., Сахин Ф. Система распознавания американского жестового языка в реальном времени с использованием сигнала поверхностной ЭМГ. В: 14-я Международная конференция IEEE по машинному обучению и приложениям (ICMLA), 2015 г. Майами, Флорида, США: IEEE; 2015. стр. 497–502.
3. 3. Галка Дж., Мазиор М., Заборски М., Барчевска К. Перчатка с датчиком инерционного движения для получения и распознавания жестов.IEEE Sensors J. 2016, август; 16 (16): 6310–6.
4. 4. Чон-Мук Лим, Дон-У Ли, Пэ-Сон Ким, Иль-Ён Чо, Чже-Чоль Рё. Распознавание жестов рук по форме запястья. В: Сборник технических документов Международной конференции по бытовой электронике (ICCE) за 2010 год. Лас-Вегас, Невада: IEEE; 2010. с. 197–8.
5. 5. Xu C, Pathak PH, Mohapatra P. Написание пальцем с помощью SmartWatch: чехол для распознавания пальцев и жестов рук с помощью SmartWatch. В: Материалы 16-го Международного семинара по мобильным вычислительным системам и приложениям – HotMobile ‘15.Санта-Фе, Нью-Мексико, США: ACM Press; 2015. стр. 9–14.
6. 6. CoolSo. Доступно по адресу: http://www.coolso.com.tw/ (по состоянию на 10 августа 2019 г.)
7. 7. Чжу Ю., Цзян С., Шулл ПБ. Распознавание жестов на запястье на основе измерения атмосферного давления. В: 15-я Международная конференция IEEE 2018 по сетям переносных и имплантируемых датчиков тела (BSN). Лас-Вегас, Невада, США: IEEE; 2018. с. 181–4.
8. 8. Shull PB, Jiang S, Zhu Y, Zhu X. Распознавание жестов рук и оценка угла пальцев с помощью модифицированного измерения атмосферного давления на запястье.IEEE Trans Neural Syst Rehabil Eng. 2019 Апрель; 27 (4): 724–32. pmid: 30892217
9. 9. Jiang S, Lv B, Guo W, Zhang C, Wang H, Sheng X и др. Возможность распознавания ношения на запястье, руки в реальном времени и поверхностных жестов с помощью sEMG и IMU Sensing. IEEE Trans Ind Inf. 2018 августа; 14 (8): 3376–85.
10. 10. Ватакабе М., Мита К., Акатаки К., Ито Ю. Механическое поведение конденсаторного микрофона в механомиографии. Med Biol Eng Comput. 2001 Март; 39 (2): 195–201. pmid: 11361247
11. 11.Сиддики Н, Чан РХМ. Носимое устройство распознавания жестов руки на основе акустических измерений на запястье. В: 2017 39-я ежегодная международная конференция IEEE Engineering in Medicine and Biology Society (EMBC) [Интернет]. Согвипхо: IEEE; 2017. с. 4443–6.
12. 12. Zhang C, Starner T, Inan O, Abowd GD, Xue Q, Waghmare A и др. FingerPing: распознавание тонких поз рук с помощью активного акустического распознавания на теле. В: Материалы конференции CHI 2018 по человеческому фактору в вычислительных системах – CHI ’18.Монреаль, Канада: ACM Press; 2018. с. 1–10.
13. 13. Beck TW, Housh TJ, Cramer JT, Weir JP, Johnson GO, Coburn JW и др. Механомиографические амплитудные и частотные отклики при динамических мышечных действиях: всесторонний обзор. Биомед Рус Онлайн. 19 декабря 2005 г .; 4:67. pmid: 16364182
14. 14. Орицио С., Либерати Д., Локателли С., Де Грандис Д., Вейштайнас А. Поверхностная механомиограмма отражает суммирование подергиваний мышечных волокон. J Biomech. 1996 Апрель; 29 (4): 475–81. pmid: 8964777
15. 15.Гуо В., Шэн X, Лю Х., Чжу X. Миоэлемент с помощью механомиографии для протезов верхних конечностей: гибридный подход. IEEE Sensors J. 2017 г., 15 мая; 17 (10): 3100–8.
16. 16. Харрисон А.П. Более точная, воспроизводимая и диагностическая альтернатива поверхностной электромиографии – оценка клинической применимости акустической миографии. Clin Physiol Funct Imaging. Март 2018; 38 (2): 312–25. pmid: 28251802
17. 17. Орицио С. Звуковая миограмма и перекрестный спектр ЭМГ во время изометрических сокращений у человека.J Electromyogr Kinesiol. 1992. 2 (3): 141–149. pmid: 20719607
18. 18. Hermens HJ, Freriks B, Disselhorst-Klug C, Rau G. Разработка рекомендаций для датчиков SEMG и процедур размещения датчиков. J Electromyogr Kinesiol. 2000 Октябрь; 10 (5): 361–74. pmid: 11018445
19. 19. Ким Т.К., Шимомура Ю., Иванага К., Кацуура Т. Влияние силового тремора на механомиографические сигналы, записанные с помощью акселерометра и конденсаторного микрофона во время измерения мышц-агонистов и антагонистов при произвольных субмаксимальных изометрических сокращениях.J Physiol Anthropol. 2008 Янв; 27 (1): 33–42. pmid: 18239348
20. 20. Репник Э., Пух У., Гольджар Н., Муних М., Михель М. Использование инерционных измерительных устройств и электромиографии для количественной оценки движения во время выполнения теста на руку для исследования действий. Датчики. 2018 22 августа; 18 (9): 2767
21. 21. Орицио К., Перини Р., Вейштайнас А. Взаимосвязь мышечного звука и силы во время изометрического сокращения у человека. Eur J Appl Physiol Occup Physiol. 1989. 58 (5): 528–33. pmid: 2759079
22. 22.Фулчер Б.Д., Джонс Н.С. hctsa: вычислительная платформа для автоматизированного фенотипирования временных рядов с использованием извлечения массивных признаков. Cell Syst. 2017 22; 5 (5): 527–531.e3. pmid: 208
23. 23. Лю Л., Ван С., Ху Б., Цюн Ц., Вэнь Дж., Розенблюм Д.С. Обучающие структуры интервальных байесовских сетей в вероятностной генеративной модели для распознавания сложной деятельности человека. Распознавание образов. 2018 сентябрь; 81: 545–61.
24. 24. Эстевес PA, Tesmer M, Perez CA, Zurada JM.Выбор функции нормализованной взаимной информации. IEEE Trans Neural Netw. 2009 Февраль; 20 (2): 189–201. pmid: 19150792
25. 25. Лю Х, Вега К., Мэйс П., Парадизо Дж. Факторы износостойкости интерфейсов кожи. В: Материалы 7-й Международной конференции по дополненному человечеству, 2016 г.