RU2661756C2 - Устройство мозг-машинного интерфейса для дистанционного управления экзоскелетными конструкциями - Google Patents
Устройство мозг-машинного интерфейса для дистанционного управления экзоскелетными конструкциями Download PDFInfo
- Publication number
- RU2661756C2 RU2661756C2 RU2016135284A RU2016135284A RU2661756C2 RU 2661756 C2 RU2661756 C2 RU 2661756C2 RU 2016135284 A RU2016135284 A RU 2016135284A RU 2016135284 A RU2016135284 A RU 2016135284A RU 2661756 C2 RU2661756 C2 RU 2661756C2
- Authority
- RU
- Russia
- Prior art keywords
- module
- operator
- motor activity
- brain
- signals
- Prior art date
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Cardiology (AREA)
- Physiology (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
Изобретение относится к информационным технологиям и нейрофизиологии и может быть использовано для мозг-машинного интерфейса. Устройство выполнено в виде носимого беспроводного устройства с возможностью регистрации электрофизиологических и биометрических параметров оператора. Устройство содержит модуль регистрации электроэнцефалограммы, модуль регистрации электроокулограммы, модуль регистрации электромиограммы, модуль регистрации двигательной активности, модуль обработки, выполненный с возможностью обработки измеряемых сигналов методом слияния и сопоставления двигательной активности с электрофизиологическими параметрами оператора. Устройство выполнено также с возможностью формирования и беспроводной передачи управляющих сигналов на экзоскелетные конструкции о предполагаемом движении в режиме реального времени. Изобретение позволяет улучшить эксплуатационные характеристики устройства мозг-машинного интерфейса, обеспечить мобильность и повысить точность управления нейроэлектронными системами и экзоскелетными конструкциями. 3 з.п. ф-лы.
Description
Изобретение относится к информационным технологиям и нейрофизиологии. Изобретение может быть использовано для обеспечения человека нейроэлектронными системами и экзоскелетными конструкциями, восполняющими и дополняющими двигательные функции.
Известно изобретение «Мозг-компьютерный интерфейс» (JP4876988, опубликовано 25.09.2008 г.). Устройство осуществляет запись сигналов электроэнцефалограммы (ЭЭГ) для управления компьютером.
Однако использование только ЭЭГ сигналов ограничивает функциональные возможности системы, поскольку существует целый ряд проблем, связанных с извлечением характерных свойств из необработанного ЭЭГ сигнала, и с корректной классификацией этих свойств на их основе. Одним из вариантов преодоления указанных недостатков может стать использование гибридного мозг-компьютерного интерфейса (МКИ), в котором сигналы головного мозга дополняются иными биологическими сигналами. Использование всех доступных пользователю биологических каналов позволит улучшить точность и эффективность управления, особенно для пациентов с нейромускулярными заболеваниями.
Недостатками устройства являются неудобство использования из-за отсутствия мобильности устройства, а также недостаточная точность управления из-за отсутствия сопоставления сигналов ЭЭГ с сигналами электромиограммы (ЭМГ) и электроокулограммы (ЭОГ), и сигналами двигательной активности (пульсовой волны и температуры).
Известно «Настраивающееся устройство для идентификации мозговых волн, настраивающийся метод и компьютерная программа» (Патент РФ № 2410026, опубликован 27.01.2011 г.). Недостатками устройства являются неудобство использования из-за отсутствия мобильности устройства, а также недостаточная точность управления из-за отсутствия сопоставления сигналов ЭЭГ с сигналами ЭМГ и ЭОГ, и сигналами двигательной активности (пульсовой волны и температуры).
Известен «Способ и устройство для мозг-компьютерного интерфейса», выбранные в качестве прототипа (патент на изобретение США №9211078, опубликован 15.12.2015 г.). Изобретение содержит устройство для снятия ЭЭГ и алгоритм распознавания команд ЭЭГ и передачи в виде функциональных команд. Недостатками устройства являются неудобство использования из-за отсутствия мобильности устройства и недостаточная точность управления из-за отсутствия сопоставления сигналов ЭЭГ с сигналами ЭМГ и ЭОГ, и сигналами двигательной активности (пульсовой волны и температуры).
Техническим результатом, на получение которого направлено изобретение, является улучшение эксплуатационных характеристик устройства за счет обеспечения мобильности и повышения точности управления нейроэлектронными системами и экзоскелетными конструкциями, восполняющими и дополняющими двигательные функции человека, за счет реализации в носимом устройстве возможности, обеспечения регистрации и обработки электрофизиологических и биометрических параметров, а также возможности управления и организации мультимодальной обратной связи.
Технический результат достигается в носимом беспроводном устройстве, выполненном с возможностью регистрации электрофизиологических и биометрических параметров оператора, содержащем модуль регистрации ЭЭГ, модуль регистрации ЭОГ, модуль регистрации ЭМГ, модуль регистрации двигательной активности, содержащий гироскоп и акселерометр, модуль определения поверхностной температуры и модуль регистрации фотоплетизмограммы (ФПГ), энергонезависимую память для хранения информации, аккумулятор для работы устройства без использования проводов, модуль обработки, выполненный с возможностью обработки измеряемых сигналов методом слияния и сопоставления двигательной активности с электрофизиологическими параметрами оператора, выполненный также с возможностью формирования управляющих сигналов для экзоскелетных конструкций, а также модуль для беспроводной передачи управляющей информации на экзоскелетные конструкции о предполагаемом движении в режиме реального времени.
Устройство работает следующим образом.
Для снятия ЭЭГ используются чашечные электроды, выполненные из серебра (Ag/AgCl), размещаются при помощи шапочки. Электроды для ЭЭГ закрепляют на голове оператора по схеме с биполярным отведением, электроды закрепляют на затылке, референтные электроды закрепляют на мочках ушей, и используются следующие режимы получения сигнала ЭЭГ:
фильтр низких частот 30 Гц;
фильтр высоких частот 0,5 Гц;
режекторный фильтр 50 Гц;
развертка по оси Х 30 мм/с;
развертка по оси Y 50 мкВ/мм;
сигнал ЭЭГ регистрируют в виде частот ритмов (альфа — 8—13 Гц, бета — 14—40 Гц, тета — 4—8 Гц, дельта — 0,5—3 Гц, гамма — выше 40 Гц), например альфа-ритмы;
Электроды для ЭОГ (пластинчатые электроды из Ag/AgCl) закрепляют на висках, около правого глаза и на лбу по схеме с биполярным отведением, и для получения сигналов ЭОГ используют следующие параметры:
фильтр низких частот 40 Гц;
фильтр высоких частот 1 Гц;
режекторный фильтр 50 Гц;
развертка по оси Х 15 мм/с;
развертка по оси Y 50 мкВ/мм;
сигнал ЭОГ регистрируют путем регистрации движения глаз;
Электроды для ЭМГ (пластинчатые электроды из Ag/AgCl) закрепляют около мышцы, с которой необходимо получить сигнал, например мышца бедра, по схеме с биполярным отведением;
расстояние между электродами составляет 5 см;
используют следующие режимы получения сигнала ЭМГ:
фильтр низких частот 100 Гц;
фильтр высоких частот 1 Гц;
режекторный фильтр 50 Гц;
развертка по оси Х 120 мм/с;
развертка по оси Y 10 мкВ/мм;
сигнал ЭМГ регистрируют путем регистрации сокращения мышцы.
Для измерения ЭКГ используют датчик ФПГ, в котором поверхность кожи оператора вблизи кровеносных сосудов освещается светодиодом, и в зависимости от отраженного света, меняется ток на фототранзисторе, входящем в состав датчика ФПГ. Поскольку значение тока меняется в режиме реального времени, строят функцию зависимости напряжения от времени U(t), график которой представляет собой пульсовую волну. Для удаления шумов и сглаживания кривой данные напряжения фильтруют аппаратно с помощью фильтра низких частот. Методом скользящей средней проводят математическую обработку графика пульсовой волны для сглаживания и последующего удобства визуализации, кроме этого, функцию U(t) возводят в квадрат и дифференцируют. В итоге, получают график ФПГ, который имеет ту же форму, что и график электрокардиограммы (ЭКГ), по которому можно проводить медицинские исследования и диагностику.
Данные с модуля регистрации двигательной активности поступают на процессор для численной обработки данных осей координат с акселерометра, по изменению углов Эйлера определяется положение частей тела оператора в пространстве.
С помощью модуля регистрации ЭЭГ измеряется электрическая активность головного мозга оператора, отводимая с кожи головы оператора. С помощью модуля регистрации ЭМГ измеряются биоэлектрические потенциалы, возникающие в скелетных мышцах оператора. С помощью модуля регистрации ЭОГ измеряются биопотенциалы во время движения глазного яблока оператора. С помощью модуля определения поверхностной температуры определяется температура тела оператора. С помощью модуля регистрации двигательной активности, включающего гироскоп и акселерометр, определяется двигательная активность оператора по изменению углов Эйлера. Методом ФПГ измеряется пульс и ЭКГ оператора. Полученные данные регистрируются в графическом виде и в цифровом виде, что позволяет организовать в устройстве мультимодальную обратную связь. Для увеличения точности передаваемых намерений оператора электромеханическому устройству, в устройство предварительно загружена программа, обеспечивающая обработку сигналов методом слияния с возможностью выбора весов всех полученных в устройстве электрофизиологических и биометрических параметров оператора.
Таким образом, в устройстве обеспечивается мобильность и повышение точности управления нейроэлектронными системами и экзоскелетными конструкциями, за счет реализации в носимом устройстве возможности, обеспечения регистрации и сопоставления большого числа электрофизиологических и биометрических параметров оператора, а также возможности управления и организации мультимодальной обратной связи.
Claims (4)
1. Устройство мозг-машинного интерфейса, характеризующееся тем, что выполнено в виде носимого беспроводного устройства, выполненного с возможностью регистрации электрофизиологических и биометрических параметров оператора, содержащего модуль регистрации электроэнцефалограммы, модуль регистрации электроокулограммы, модуль регистрации электромиограммы, модуль регистрации двигательной активности, модуль обработки, выполненный с возможностью обработки измеряемых сигналов методом слияния и сопоставления двигательной активности с электрофизиологическими параметрами оператора, выполненный также с возможностью формирования и беспроводной передачи управляющих сигналов на экзоскелетные конструкции о предполагаемом движении в режиме реального времени.
2. Устройство по п. 1, отличающееся тем, что модуль регистрации двигательной активности содержит гироскоп и акселерометр.
3. Устройство по п. 1, отличающееся тем, что содержит энергонезависимую память для хранения информации, а также модуль определения поверхностной температуры и модуль регистрации фотоплетизмограммы.
4. Устройство по п. 1, отличающееся тем, что содержит аккумулятор для работы устройства без использования проводов.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2016135284A RU2661756C2 (ru) | 2016-08-30 | 2016-08-30 | Устройство мозг-машинного интерфейса для дистанционного управления экзоскелетными конструкциями |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2016135284A RU2661756C2 (ru) | 2016-08-30 | 2016-08-30 | Устройство мозг-машинного интерфейса для дистанционного управления экзоскелетными конструкциями |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| RU2016135284A3 RU2016135284A3 (ru) | 2018-03-01 |
| RU2016135284A RU2016135284A (ru) | 2018-03-01 |
| RU2661756C2 true RU2661756C2 (ru) | 2018-07-19 |
Family
ID=61597022
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2016135284A RU2661756C2 (ru) | 2016-08-30 | 2016-08-30 | Устройство мозг-машинного интерфейса для дистанционного управления экзоскелетными конструкциями |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2661756C2 (ru) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2704497C1 (ru) * | 2019-03-05 | 2019-10-29 | Общество с ограниченной ответственностью "Нейроботикс" | Способ формирования системы управления мозг-компьютер |
| RU2759310C1 (ru) * | 2020-12-14 | 2021-11-11 | Оксана Евгеньевна Безбородова | Способ и система бионического управления роботизированными устройствами |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103750841A (zh) * | 2014-01-20 | 2014-04-30 | 上海交通大学 | 基于mems惯性传感器的人体膝关节角度无线检测***及方法 |
| US8961185B2 (en) * | 2011-08-19 | 2015-02-24 | Pulson, Inc. | System and method for reliably coordinating musculoskeletal and cardiovascular hemodynamics |
| RU2564754C1 (ru) * | 2014-03-27 | 2015-10-10 | Федеральное государственное бюджетное учреждение науки Институт машиноведения им. А.А. Благонравова Российской академии наук (ИМАШ РАН) | Адаптивный мобильный пространственный реабилитационный робот-манипулятор и способ организации движений и диагностики пациента с его помощью |
| CN105487676A (zh) * | 2016-01-17 | 2016-04-13 | 仲佳 | 具有基于头部生物电信号的人机交互功能的虚拟现实设备 |
-
2016
- 2016-08-30 RU RU2016135284A patent/RU2661756C2/ru active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8961185B2 (en) * | 2011-08-19 | 2015-02-24 | Pulson, Inc. | System and method for reliably coordinating musculoskeletal and cardiovascular hemodynamics |
| CN103750841A (zh) * | 2014-01-20 | 2014-04-30 | 上海交通大学 | 基于mems惯性传感器的人体膝关节角度无线检测***及方法 |
| RU2564754C1 (ru) * | 2014-03-27 | 2015-10-10 | Федеральное государственное бюджетное учреждение науки Институт машиноведения им. А.А. Благонравова Российской академии наук (ИМАШ РАН) | Адаптивный мобильный пространственный реабилитационный робот-манипулятор и способ организации движений и диагностики пациента с его помощью |
| CN105487676A (zh) * | 2016-01-17 | 2016-04-13 | 仲佳 | 具有基于头部生物电信号的人机交互功能的虚拟现实设备 |
Non-Patent Citations (1)
| Title |
|---|
| PREETI GHASAD at al. "A survey of Brain-Computer-Interaction Methods and Algorithms", 01.01.2015, "International Journal of Advanced Research in Computer and Communication Engineering", стр. 271-272. * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2704497C1 (ru) * | 2019-03-05 | 2019-10-29 | Общество с ограниченной ответственностью "Нейроботикс" | Способ формирования системы управления мозг-компьютер |
| RU2759310C1 (ru) * | 2020-12-14 | 2021-11-11 | Оксана Евгеньевна Безбородова | Способ и система бионического управления роботизированными устройствами |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2016135284A3 (ru) | 2018-03-01 |
| RU2016135284A (ru) | 2018-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11071493B2 (en) | Multicomponent brain-based electromagnetic biosignal detection system | |
| CN109804331B (zh) | 检测和使用身体组织电信号 | |
| Subasi | Practical guide for biomedical signals analysis using machine learning techniques: A MATLAB based approach | |
| Bulling et al. | Wearable EOG goggles: Seamless sensing and context-awareness in everyday environments | |
| Tamura et al. | Seamless healthcare monitoring | |
| Belkacem et al. | Classification of four eye directions from EEG signals for eye-movement-based communication systems | |
| US20150216475A1 (en) | Determining physiological state(s) of an organism based on data sensed with sensors in motion | |
| US20150282768A1 (en) | Physiological signal determination of bioimpedance signals | |
| EP3634211A1 (en) | Systems and methods for detecting strokes | |
| Prashant et al. | Brain computer interface: A review | |
| EP2698099A1 (en) | Systems and methods to gather and analyze electroencephalographic data | |
| Bansal et al. | EEG-based brain-computer interfacing (BCI) | |
| US20190328326A1 (en) | Wearable electroencephalography device and methods of use thereof | |
| US20220095955A1 (en) | Method and system to assess disease using multi-sensor signals | |
| RU2661756C2 (ru) | Устройство мозг-машинного интерфейса для дистанционного управления экзоскелетными конструкциями | |
| US20210022641A1 (en) | Wearable multi-modal bio-sensing system | |
| González-Mendoza et al. | Validation of an EMG sensor for Internet of Things and Robotics | |
| Tao et al. | Decoding multi-class EEG signals of hand movement using multivariate empirical mode decomposition and convolutional neural network | |
| EP4203791A1 (en) | Determining composite signals from at least three electrodes | |
| CN108537200B (zh) | 一种用于通过动作识别选择性地收集脑电图数据的装置及方法 | |
| Hasbulah et al. | Fundamental of Electroencephalogram (EEG) Review for Brain-Computer Interface (BCI) System | |
| Chakraborty et al. | Development of a wireless wearable electrooculogram recorder for IoT based applications | |
| Noor et al. | Simulation analysis of different strength levels of EOG signals | |
| Shin et al. | WHAM: A novel, wearable heart activity monitor based on Laplacian potential mapping | |
| Bogdanov et al. | Development of a neurodevice with a biological feedback for compensating for lost motor functions |