CN115154828A - 一种基于脑机接口技术的大脑功能重塑方法、***、设备 - Google Patents
一种基于脑机接口技术的大脑功能重塑方法、***、设备 Download PDFInfo
- Publication number
- CN115154828A CN115154828A CN202210940177.4A CN202210940177A CN115154828A CN 115154828 A CN115154828 A CN 115154828A CN 202210940177 A CN202210940177 A CN 202210940177A CN 115154828 A CN115154828 A CN 115154828A
- Authority
- CN
- China
- Prior art keywords
- patient
- motor dysfunction
- index
- brain
- real time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000003925 brain function Effects 0.000 title claims abstract description 48
- 238000007634 remodeling Methods 0.000 title claims abstract description 42
- 238000005516 engineering process Methods 0.000 title claims abstract description 38
- 206010061296 Motor dysfunction Diseases 0.000 claims abstract description 84
- 230000009471 action Effects 0.000 claims abstract description 50
- 238000012549 training Methods 0.000 claims abstract description 46
- 230000033001 locomotion Effects 0.000 claims abstract description 40
- 238000011156 evaluation Methods 0.000 claims abstract description 37
- 230000001815 facial effect Effects 0.000 claims abstract description 11
- 210000004556 brain Anatomy 0.000 claims description 17
- 208000012661 Dyskinesia Diseases 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000000926 separation method Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000001427 coherent effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 2
- 230000009977 dual effect Effects 0.000 claims description 2
- 230000003595 spectral effect Effects 0.000 claims 1
- 210000003414 extremity Anatomy 0.000 description 30
- 238000000605 extraction Methods 0.000 description 20
- 239000011159 matrix material Substances 0.000 description 10
- 230000001276 controlling effect Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000036544 posture Effects 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 210000001981 hip bone Anatomy 0.000 description 3
- 210000002414 leg Anatomy 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 210000003423 ankle Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000004064 dysfunction Effects 0.000 description 2
- 210000001624 hip Anatomy 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000002560 therapeutic procedure Methods 0.000 description 2
- WSNMPAVSZJSIMT-UHFFFAOYSA-N COc1c(C)c2COC(=O)c2c(O)c1CC(O)C1(C)CCC(=O)O1 Chemical compound COc1c(C)c2COC(=O)c2c(O)c1CC(O)C1(C)CCC(=O)O1 WSNMPAVSZJSIMT-UHFFFAOYSA-N 0.000 description 1
- 206010049816 Muscle tightness Diseases 0.000 description 1
- 206010033799 Paralysis Diseases 0.000 description 1
- 208000006011 Stroke Diseases 0.000 description 1
- 241000469816 Varus Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000003851 biochemical process Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000001037 epileptic effect Effects 0.000 description 1
- 238000009207 exercise therapy Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 210000001652 frontal lobe Anatomy 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 201000000585 muscular atrophy Diseases 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000000869 occipital lobe Anatomy 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000002759 z-score normalization Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M2230/00—Measuring parameters of the user
- A61M2230/04—Heartbeat characteristics, e.g. ECG, blood pressure modulation
- A61M2230/06—Heartbeat rate only
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M2230/00—Measuring parameters of the user
- A61M2230/08—Other bio-electrical signals
- A61M2230/10—Electroencephalographic signals
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Anesthesiology (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- Dermatology (AREA)
- Acoustics & Sound (AREA)
- Psychology (AREA)
- Human Computer Interaction (AREA)
- Heart & Thoracic Surgery (AREA)
- Hematology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明涉及一种基于脑机接口技术的大脑功能重塑方法、***、设备。一种基于脑机接口技术的大脑功能重塑方法包括以下步骤：S1.实时采集运动功能障碍病人的脑电信号，根据脑电信号转换成控制指令。S2.根据运动功能障碍病人的全身视频得到一个动作评价指标。S3.根据运动功能障碍病人的面部视频计算出运动功能障碍病人的生理指标。S4.判断运动功能障碍病人的生理指标和动作评价指标是否在一个预设的合理指标范围内，得到一个判断结果。S5.根据控制指令控制机械臂，当判断运动功能障碍病人的生理指标或动作评价指标不在合理指标范围内时，控制机械臂停止。本发明实现了运动功能障碍病人可以通过脑电信号控制机械臂独立完成康复训练。
Description
技术领域
本发明涉及康复训练技术领域，特别是涉及一种基于脑机接口技术的大脑功能重塑方法、一种基于脑机接口技术的大脑功能重塑***、实现所述基于脑机接口技术的大脑功能重塑方法功能的计算机终端、实现所述基于脑机接口技术的大脑功能重塑方法功能的设备。
背景技术
当前，运动功能障碍病人需通过康复治疗来帮助恢复，运动疗法是康复治疗的有效方法之一。运动疗法是指维持关节活动范围，增强肌力和耐力，从而有效地调节肌张力，减少并发症，预防肌肉萎缩、关节僵直和足内翻等及并发性功能障碍，为此后的肢体功能恢复奠定良好的基础。
但是，运动功能障碍病人无法独立完成这种康复训练，只能在陪护人员的帮助下完成训练，这使得康复训练无法随时随地进行同时增加了陪护人员的负担。另一方面，陪护人员在没有专业训练的情况下无法对康复训练动作进行准确评价，从而影响训练效果。
脑机接口在人类大脑和外部设备之间提供了一种新的人机交流模式，通过它可以将人脑中的想法编码成计算机可以识别的机器指令进一步控制外接设备运作。在不同类型的脑电信号中，运动想象脑电信号近年来引起了广泛的研究浪潮，目前研究人员已经使用运动想象脑电信号帮助中风和癫痫患者等瘫痪患者交流，控制轮椅和机器人等外部设备。
发明内容
基于此，有必要针对在康复训练中运动功能障碍病人不能独立完成康复训练以及缺少对运动功能障碍病人的康复动作进行评价和对运动功能障碍病人进行生理监测的问题，提供一种基于脑机接口技术的大脑功能重塑方法、一种基于脑机接口技术的大脑功能重塑***、实现基于脑机接口技术的大脑功能重塑方法功能的计算机终端、实现基于脑机接口技术的大脑功能重塑方法功能的设备。
为实现上述目的，本发明采用了以下技术方案：
一种基于脑机接口技术的大脑功能重塑方法，大脑功能重塑方法包括以下步骤：
S1.实时采集运动功能障碍病人的脑电信号，根据脑电信号转换成控制指令；
S2.实时获取运动功能障碍病人的全身视频，根据全身视频提取肢体动作，将肢体动作与预设的康复训练动作标准进行对比，得到一个动作评价指标；
S3.实时获取运动功能障碍病人的面部视频，根据面部视频提取面部皮肤的像素值，并根据像素值计算出运动功能障碍病人的生理指标；
S4.判断运动功能障碍病人的生理指标和动作评价指标是否在一个预设的合理指标范围内，得到一个判断结果；
S5.根据控制指令控制机械臂，当判断运动功能障碍病人的生理指标或动作评价指标不在合理指标范围内时，控制机械臂停止。
进一步的，使用LinkNet语义分割模型获取面部画面中每一帧的面部皮肤的像素值。
进一步的，生理指标包括心率值，心率值的计算方法包括以下步骤：
对像素值选定双敏感区，对双敏感区使用相干平均法，生成2组RGB观测信号；
对2组RGB观测信号进行预处理操作，得到2组RGB处理信号；
将2组RGB处理信号进行6通道盲源分离，分离出源信号；
对源信号通过识别处理获取心率信号，通过滑动窗算法计算出心率值。
进一步的，双敏感区包括嘴部区域和咽喉部区域。
进一步的，预处理操作包括依次进行的高通滤波、去趋势、去均值、归一化预处理。
进一步的，识别处理包括峭度聚类、功率谱峭度聚类与线性预测值相结合。
在其中一个实施例中，运动功能障碍病人的肢体动作的获取方法包括以下步骤：
根据全身画面获取其每一帧中二维关节点间的局部关系，从在空间维度上提取空间特征；
分析每一帧中的空间特征表示之间的全局时序依赖关系，生成三维姿态估计模型，得到运动功能障碍病人的肢体动作。
本发明还包括一种基于脑机接口技术的大脑功能重塑***，其采用上述基于脑机接口技术的大脑功能重塑方法，大脑功能重塑***包括：
脑电信号采集与控制模块，其用于实时采集运动功能障碍病人的脑电信号，根据脑电信号转换成控制指令；
动作评价模块，其用于实时获取运动功能障碍病人的全身视频，根据全身视频提取肢体动作，将肢体动作与预设的康复训练动作标准进行对比，得到一个动作评价指标；
生理指标计算模块，其用于实时获取运动功能障碍病人的面部视频，根据面部视频提取面部皮肤的像素值，并根据像素值计算出运动功能障碍病人的生理指标；
生理指标与运动评价指标判断模块，其用于判断运动功能障碍病人的生理指标和动作评价指标是否在一个预设的合理指标范围内，得到一个判断结果；
控制模块，其用于根据控制指令控制机械臂，当判断运动功能障碍病人的生理指标或动作评价指标不在合理指标范围内时，控制机械臂停止。
本发明还包括一种基于脑机接口技术的大脑功能重塑设备，其工作时实现上述基于脑机接口技术的大脑功能重塑方法，大脑功能重塑设备包括：
机械臂，其用于对运动功能障碍病人进行康复训练；
脑电帽，其用于实时采集运动功能障碍病人的脑电信号；
摄像头，其用于采集运动功能障碍病人的康复训练的全身视频和面部视频；
控制器，其用于将脑电信号转换成控制指令；实时获取运动功能障碍病人的全身视频，根据全身视频提取肢体动作，将肢体动作与预设的康复训练动作标准进行对比，得到一个动作评价指标；实时获取运动功能障碍病人的面部视频，根据面部视频提取面部皮肤的像素值，并根据像素值计算出运动功能障碍病人的生理指标；还用于判断运动功能障碍病人的生理指标和动作评价指标是否在一个预设的合理指标范围内，得到一个判断结果；还用于根据控制指令控制机械臂，当判断运动功能障碍病人的生理指标或动作评价指标不在合理指标范围内时，控制机械臂停止。
本发明还包括一种计算机终端，其包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算器程序，其特征在于，处理器执行程序时实现如前述的基于脑机接口技术的大脑功能重塑方法的步骤。
本发明提供的技术方案，具有如下有益效果：
1.本发明实现了运动功能障碍病人可以通过脑电信号控制机械臂独立完成康复训练，并根据预设的康复训练动作标准对运动功能障碍病人的康复训练动作进行评价，方便陪护人员有效掌握康复训练效果；
2.本发明能够实时监测运动功能障碍病人的心率情况，及时知晓康复训练对运动功能障碍病人的影响；
3.本发明能够令运动功能障碍病人通过脑电信号自主控制机械臂进行康复训练，无需陪护人员进行辅助，极大减少陪护人员的负担，方便运动功能障碍病人随时进行康复训练；
4.本发明采用了以盲源分离为主线的技术手段，对基于双敏感区域生成的2组RGB观测信号使用6通道盲源分离处理，将心率信号、各种噪声源信号很好地分离，解决各种噪声干扰问题。
附图说明
图1为本发明的一种基于脑机接口技术的大脑功能重塑***的***框图；
图2为基于图1的人体关节结构划分示意图；
图3为基于图1的空间特征提取模块的模块示意图；
图4为基于图1的时序特征提取模块的模块示意图；
图5为基于图1的基于脑机接口技术的大脑功能重塑方法的流程图；
图6为基于图1的基于脑机接口技术的大脑功能重塑设备的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明针对在康复训练中运动功能障碍病人不能独立完成康复训练以及缺少对运动功能障碍病人的康复动作进行评价和对运动功能障碍病人进行生理监测的问题，提供一种基于脑机接口技术的大脑功能重塑***，令运动功能障碍病人可以通过脑电信号控制机械臂独立完成康复训练，并根据预设的康复训练动作标准对运动功能障碍病人的康复训练动作进行评价，方便陪护人员更好的掌握康复训练效果，监测运动功能障碍病人的心率情况，及时知晓康复训练对运动功能障碍病人的影响，对于生理监测，以心率为例，如图1所示，***主要由脑电信号采集与控制模块、动作评价模块、生理指标计算模块、生理指标与运动评价指标判断模块、控制模块。其中，生理指标计算模块是心率值计算模块，生理指标与运动评价指标判断模块是心率与运动评价指标判断模块。
脑电信号采集与控制模块包括脑电采集和脑电识别两大模块，分别用于对脑电信号数据的采集和通过图卷积的方法，实现对脑电信号数据的识别并将识别结果以控制命令输出。具体流程为：
设置采样周期，通过下采样获取多个受试者的脑电信号。
对脑电信号预处理去除伪迹干扰。由于信号采集过程中记录设置错误、头皮良好的导电性等原因，导致产生技术或生物伪迹，例如有源电力线干扰、眨眼和肌肉活动等经常与脑电信号混在一起，使得脑电信号处理变得困难。伪迹干扰可以通过回归方法、伪迹减法、PCA、 ICA和小波变换等方法中的一种或多种组合的方式去除。将多个脑电信号映射到预设的频段。将多个脑电信号按预设的比例随机分配，划分为训练集和测试集。本实施例中，将时域脑电信号映射到1-50Hz的频段上。
根据预设的时间周期将训练集中的脑电信号分为不重叠的时间窗口，计算每个窗口的皮尔逊系数，提取训练数据标签，根据预设的阈值获取时域脑功能连接。根据时域脑功能连接建立脑部生物拓扑模型。物体在形变方面的稳健性被称为拓扑，拓扑概念可以存在于生物化学***中，用于表征相应的生物化学过程的稳健性。根据脑部生物拓扑模型获取脑电通道间连接，构建初始图邻接矩阵。
截取一个预设的频段范围内的脑电信号，对每个频段的脑电数据使用t秒互不重叠的时间窗划分为包含t秒脑电信号的样本，并将脑电信号按照预设的频段范围划分为多个脑电信号集；提取各脑电信号集内脑电信号的初始特征，使用频段注意力模块在训练集上增强关键频段初始特征权重，选取权重值最高的多个初始特征作为网络节点的输入特征。
根据网络节点的输入特征和脑部生物拓扑模型构造可学习图卷积神经网络模型。融合后的邻接矩阵与频域特征送入网络模型来合理优化电极关系，采用测试集中的脑电数据对可学习图卷积神经网络进行自主学习鉴别特征，得到预测标签并将其转换成相应的控制指令。
其中，时域脑功能连接的计算方法包括以下步骤：
将脑电信号XTe根据数据集采集范式的试段分为k个时间组，每组包含多个时间窗口为t秒的脑电数据，每段的样本数量r根据时间组的长度不定，则样本数量L可以表示为：
其中，SP表示预处理时的采样率，
表示第m段中第n个窗口的长度。
根据每个时间组内的脑电数据计算每个窗口的皮尔逊系数。皮尔逊系数用于表征相应时间段内电极之间的联系程度。
将脑电信号划分为不同的类别。对每个类别中对应窗口的皮尔逊系数取均值得到训练标签AMI，AMI∈RCa*N*N，其中Ca表示类别。
对AMI进行阈值选择，在每个类别上应用阈值截取TOP-K连接，将筛选后的矩阵进行求和汇总，并进行归一化，最终得到时域脑功能连接ATe∈RN*N。
本实施例中，表示类别的Ca为2，即类别分别为想象左手运动和想象右手运动。针对脑电信号的皮尔逊系数矩阵也保留TOP20强度的连接，保证能从中挑选出与运动控制相关的连接，并在每个类别上应用阈值。最后将筛选得到的所有类别和所有频段的矩阵进行求和汇总，并采用Z-Score归一化获取时域脑功能连接。
构建初始图邻接矩阵的方法包括以下步骤：
初始化邻接矩阵。在空间域借助采集大脑神经活动的脑电极的物理距离初始化权重邻接矩阵，减少冗余电极连接，对邻接矩阵进行有效初始化,根据大脑区域之间的连接强度随着物理距离的反比而衰减理论，对图邻接矩阵Ai,j初始化得到：
其中，图邻接矩阵A∈RN×N表示所有节点之间的边权关系即脑电通道的拓扑结构，di,j表示电极i和电极j之间的物理距离，电极间的物理距离是由标准导联放置方式中标记的数据三维坐标计算得到，η是一个稀疏参数，本实施例中η设置成0.2，保留TOP20 强度的连接来保证脑部连接是可靠的，将A构造为无向对称矩阵然后添加局部通道间关系进行初始化。
设置全局通道间关系为：
Ai,j＝Ai,j-1
本实施例中，凭借经验选择9对电极对构造全局通道，如(FP1,FP2)，(AF3,AF4)，(F5,F6)， (FC5,FC6)，(C5,C6)，(CP5,CP6)，(P5,P6)，(PO5,PO6)和(O1,O2)，其中，F代表额叶，P代表顶叶，C表示中心，O代表枕叶，奇数表示左脑，偶数表示右脑，利用不对称信息来更好地模拟脑部之间的信息传输。
动作评价模块根据实时获取所述运动功能障碍病人的全身视频，根据所述全身视频提取肢体动作，将所述肢体动作与预设的康复训练动作标准进行对比，得到一个动作评价指标，获取运动功能障碍病人的肢体动作即获取运动功能障碍病人的肢体姿态，采用Transformer 方法获取，使用空间Transformer模块编码视频每一帧中二维关节点间的局部关系，从而在空间维度上提取特征；使用时间Transformer模块将分析每帧空间特征表示之间的全局时序依赖关系，并最终生成准确的三维姿态估计，即肢体姿态。
空间Transformer模块即空间特征提取模块，具体构建操作为根据人的肢体骨骼的链式结构将肢体的各个关节点划分为多个关节集。按照各个关节集的运动幅度特性，将多个关节集分配至多个不同估算难度的层级。按照链式结构的分属特性，将每个层级中的多个关节集划分到表征不同分属部位的多条通道，进而使多个关节集组合成树状串联结构。其中，多个层级按照先易后难的顺序，与树状串联结构的延伸方向相对应。设计分别与多个关节集对应的多组空间特征提取模块，进而构成空间特征提取网络。每组空间特征提取模块用于提取相应关节集的关节点空间特征向量。
如图2所示，将肢体各个关节点划分为四个层级：第一层级、第二层级、第三层级和第四层级。关节集可以设置有八个。表征不同分属部位的通道共设置有三条：第一通道、第二通道、第三通道。第一通道对应头部，第二通道对应手部，第三通道对应腿部。
其中，第一层级包含5个节点，尾骨、脊柱、胸腔、左髋骨和右髋骨。该5个节点运动幅度小，估计难度低，在三维肢体关节点估计中将其视为核心关节点来最先估计。第二层级包含左膝、右膝、左肩膀、右肩膀和颈部共计五个关节点，这部分的关节点估计难度略有提升，在算法中放在第一层级之后进行估计。第三层级包含左踝、右踝、左手肘、右手肘和头部共计五个关节点，这部分的关节点靠近肢体关节点结构的边缘，估计难度较大，在算法中将其放在第二层级之后进行估计。第四层级为运动复杂度最高的左手腕和右手腕两个关节点，此部分关节点是人体关节点结构的边缘，运动幅度最大，在算法中将其放在最后进行估计。同时，由于手臂、腿部和头部分属不同的链式结构，为了将其区分，本实施例还在之前的划分上按照这三种链式结构对关节点再度划分，即三条通道。
请参阅图3，本实施例中，每个空间特征提取模块包括：层归一化单元一、多头注意力单元一、两个全连接层单元一以及残差结构一，激活函数可以使用GeLU函数，在激活中加入正则化的功能，以提高泛化能力。每组空间特征提取模块生成的特征向量经过全连接层模块一生成一个三维姿态，进而计算中间监督损失函数LJ以快速反向传播，中间监督损失函数LJ设置为每个空间特征提取模块优化关节点与真实数据中对应关节点间的平均欧式距离。
本实施例中，先根据人体骨骼的链式结构，确定核心五个关节点，然后依次估计靠近链式结构边缘的关节点，利用链式结构中关节点之间的约束，由易到难，一定程度缓解了整体估计带来的一个关节点出现的估计误差传递到所有关节点的问题。
在前述的空间特征提取模块中，完成了对每一帧图像的肢体关节点的空间特征提取。以下将介绍时间Transformer模块，即时序特征提取模块。
请参阅图4，每组时序特征提取模块包括：层归一化单元二、多头注意力单元二、两个连续的一维卷积单元以及残差结构二。基于时序卷积的方法来处理不同输入长度的序列，我们提出用跨步卷积取代时序特征提取模块中的全连接层，逐步减少序列长度，其中自注意力单元二用于提取全局时序特征，跨步卷积单元有助于提取相近帧的时序特征。这样从一层到另一层逐渐降低时间维度，并将附近的姿态合并为一个短序列长度表示。时序特征提取网络以全局和局部的方式聚合信息，更重要的是，减少了所有帧的冗余，从而提高了模型的容量，增强了时间平滑性。同时，为了防止梯度消失或者梯度***的现象，我们分别在多头注意力单元二和作为前馈网络的全连接层采用了残差结构，并采用平均池化函数作为残差结构的降维函数，最大限度的保留了残差结构的特征信息。最终，n帧的三维肢体关节点姿态特征序列经过时序特征提取网络后，得到中间帧的三维肢体关节点特征。
时间特征提取网络是一种逐层降维的结构。使用过去和未来数据预测输入序列中所有帧的三维人体姿态作为输出。
本实施例实际操作时，流程为优先估计运动幅度小、复杂度低的关节点，然后估计与之相邻的靠近链式结构边缘的、复杂度高的关节点。由于链式结构中相邻肢体关节点存在一定的约束作用，在确定其中一个关节点后，就会较容易估计出另一个关节点，因此模型将加入位置编码后的J个特征向量输入到第一层空间特征提取Transformer模块，用于调整复杂度最低的第一层的五个关节点，分别是髋骨、脊柱、胸腔、左右髋骨。然后根据肢体链式结构的特征，映射成3个特征向量，分别输入3个通道，为了调整颈部、手部和腿部的关节点。再依据针对性肢体关节点结构，一步步完成关节点复杂度由低到高、由简单到困难的估计。例如第二条通道用于优化手部上的关节点，先优化复杂度较低的左右肩膀、再优化复杂度较高的左右手肘，最后优化复杂度最高的左右手腕。最终三条通道汇总得到所有关节点都得到优化的肢体姿态。在完成每一帧图像的肢体关节点的空间特征提取的基础上，通过基于时序卷积的方法提取时序特征。基于时序卷积的方法来处理不同输入长度的序列，用跨步卷积取代全连接层，逐步减少序列长度，其中自注意力机制提取全局时序特征，跨步卷积有助于提取相近帧的时序特征。这样从一层到另一层逐渐降低时间维度，并将附近的姿态合并为一个短序列长度表示。时序特征提取Transformer模块以全局和局部的方式聚合信息，更重要的是，减少了所有帧的冗余，从而提高了模型的容量，增强了时间平滑性。
生理指标计算模块、生理指标与运动评价指标判断模块、控制模块是进行生理监测的一部分，可以组合成一个生理监测单元，用于根据运动功能障碍病人的面部视频提取面部皮肤的像素值，并根据像素值计算出运动功能障碍病人的心率值；判断运动功能障碍病人的心率值是否在一个预设的合理心率值范围内，得到一个判断结果；根据所述控制指令控制机械臂，当判断运动功能障碍病人的心率值不在合理心率值范围内时，控制机械臂停止。
具体流程为使用LinkNet语义分割模型获取视频中每一帧的面部皮肤的像素值；对提取的像素值选定双敏感区，分别使用相干平均法，生成2组RGB观测信号，再对2组RGB观测信号依次进行高通滤波、去趋势、去均值、归一化预处理操作；用于对基于双敏感区域生成的2组RGB观测信号进行6通道盲源分离，分离出心率信号；用于从盲源分离后的源信号中识别出心率信号，结合滑动窗算法提取出心率。生理检测方法采用了以盲源分离为主线的技术手段，对基于双敏感区域生成的2组RGB(R、G、B三基色通道是通过对红、绿、蓝三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色***之一)观测信号使用6通道盲源分离处理，将心率信号、各种噪声源信号很好地分离开来，解决了已有技术中常遇到的各种噪声干扰问题，同时，对分离后的源信号，创造性地运用了峭度聚类和功率谱峭度聚类与线性预测值相结合的识别方法，能够准确地识别心率信号。
上述实施例以心率指标为例，实际心理监测时，生理指标不仅局限于心率指标，还可以包括呼吸率指标、血氧指标等。
如图5所示，在上述基于脑机接口技术的大脑功能重塑***的基础上，还提供一种基于脑机接口技术的大脑功能重塑方法，包括以下步骤：
S1.实时采集运动功能障碍病人的脑电信号，根据所述脑电信号转换成控制指令。
S2.实时获取所述运动功能障碍病人的全身视频，根据所述全身视频提取肢体动作，将所述肢体动作与预设的康复训练动作标准进行对比，得到一个动作评价指标。对于全身视频，是预先设定一个时长，每次提取一个固定时长并对其进行处理，对不间断的全身视频进行处理，实时评价运动功能障碍病人的动作。
S3.实时获取所述运动功能障碍病人的面部视频，根据所述面部视频提取面部皮肤的像素值，并根据所述像素值计算出所述运动功能障碍病人的生理指标。对于面部视频，也是预先设定一个时长，每次提取一个固定时长并对其进行处理，对不间断的面部视频进行处理，实时评价运动功能障碍病人的生理指标。本实施例中的生理指标以心率为例。
S4.判断所述运动功能障碍病人的生理指标和动作评价指标是否在一个预设的合理指标范围内，得到一个判断结果。
S5.根据所述控制指令控制机械臂，当判断所述运动功能障碍病人的生理指标或动作评价指标不在所述合理指标范围内时，控制所述机械臂停止。
在上述基于脑机接口技术的大脑功能重塑方法的基础上，还提供了一种计算机终端，其包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算器程序，处理器执行程序时实现如前述的基于脑机接口技术的大脑功能重塑方法的步骤。
如图6所示，在上述基于脑机接口技术的大脑功能重塑方法的基础上，还提供一种基于脑机接口技术的大脑功能重塑设备，包括机械臂、脑电帽、摄像头、控制器。机械臂的数量至少为一个，根据实际需要对机械臂的数量进行安排。摄像头的数量至少为一个，摄像头的数量可以为一个，对运动功能障碍病人进行全身拍摄，从全身拍摄视频中提取面部视频。也可以为两个，一个对运动功能障碍病人的全身画面进行拍摄，一个对运动功能障碍病人的面部画面进行拍摄，并将拍摄的视频反馈给控制器。脑电帽采用非嵌入式的头戴设备，戴在运动功能障碍病人的头上，用于采集运动功能障碍病人的脑电信号。非嵌入式的脑电信号采集方式是通过在大脑皮层外部放置电极传感器来采集脑电信号。本实施例中，使用国际标准 10-20***设置的脑电帽，采集S个受试者的原始脑电信号，下采样频率为200Hz。脑电帽中存在多个电极，通过记录各个电极的电位差获取脑电信号。控制器内存储有计算器程序，控制器执行计算机程度时实现上述的基于脑机接口技术的大脑功能重塑方法的步骤，将运动功能障碍病人的脑电信号进行处理，令控制器控制机械臂进行康复训练动作。同时控制器接收摄像头的拍摄视频处理进行实时动作评价和实时生理监测，且控制器可连接显示器，动作评价指标、生理指标以及判断结果可在显示器上显示，令陪护人员或者医护人员知晓运动功能障碍病人的康复情况。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于脑机接口技术的大脑功能重塑方法，其用于根据运动功能障碍病人的脑电信号、生理指标或动作指标操控机械臂，并实时评价所述运动功能障碍病人的康复训练动作、实时检测所述运动功能障碍病人的生理指标，其特征在于，所述康复检测方法包括以下步骤：
S1.实时采集运动功能障碍病人的脑电信号，根据所述脑电信号转换成控制指令；
S2.实时获取所述运动功能障碍病人的全身视频，根据所述全身视频提取肢体动作，将所述肢体动作与预设的康复训练动作标准进行对比，得到一个动作评价指标；
S3.实时获取所述运动功能障碍病人的面部视频，根据所述面部视频提取面部皮肤的像素值，并根据所述像素值计算出所述运动功能障碍病人的生理指标；
S4.判断所述运动功能障碍病人的生理指标和动作评价指标是否在一个预设的合理指标范围内，得到一个判断结果；
S5.根据所述控制指令控制机械臂，当判断所述运动功能障碍病人的生理指标或动作评价指标不在所述合理指标范围内时，控制所述机械臂停止。
2.根据权利要求1所述的基于脑机接口技术的大脑功能重塑方法，其特征在于，使用LinkNet语义分割模型获取所述面部视频中每一帧的面部皮肤的像素值。
3.根据权利要求1所述的基于脑机接口技术的大脑功能重塑方法，其特征在于，所述生理指标包括心率值，所述心率值的计算方法包括以下步骤：
对所述像素值选定双敏感区，对所述双敏感区使用相干平均法，生成2组RGB观测信号；
对所述2组RGB观测信号进行预处理操作，得到2组RGB处理信号；
将所述2组RGB处理信号进行6通道盲源分离，分离出源信号；
对所述源信号通过识别处理获取心率信号，通过滑动窗算法计算出心率值。
4.根据权利要求3所述的基于脑机接口技术的大脑功能重塑方法，其特征在于，所述双敏感区包括嘴部区域和咽喉部区域。
5.根据权利要求4所述的基于脑机接口技术的大脑功能重塑方法，其特征在于，所述预处理操作包括依次进行的高通滤波、去趋势、去均值、归一化预处理。
6.根据权利要求3所述的基于脑机接口技术的大脑功能重塑方法，其特征在于，所述识别处理包括峭度聚类、功率谱峭度聚类与线性预测值相结合。
7.根据权利要求1所述的基于脑机接口技术的大脑功能重塑方法，其特征在于，所述运动功能障碍病人的肢体动作的获取方法包括以下步骤：
根据所述全身画面获取其每一帧中二维关节点间的局部关系，从在空间维度上提取空间特征；
分析每一帧中的所述空间特征表示之间的全局时序依赖关系，生成三维姿态估计模型，得到所述运动功能障碍病人的肢体动作。
8.一种基于脑机接口技术的大脑功能重塑***，其用于根据运动功能障碍病人的脑电信号、生理指标或动作指标操控机械臂，并实时评价所述运动功能障碍病人的康复训练动作、实时检测所述运动功能障碍病人的生理指标，其特征在于，其应用于权利要求1-7中任意一项所述的基于脑机接口技术的大脑功能重塑方法，所述大脑功能重塑***包括：
脑电信号采集与控制模块，其用于实时采集运动功能障碍病人的脑电信号，根据所述脑电信号转换成控制指令；
动作评价模块，其用于实时获取所述运动功能障碍病人的全身视频，根据所述全身视频提取肢体动作，将所述肢体动作与预设的康复训练动作标准进行对比，得到一个动作评价指标；
生理指标计算模块，其用于实时获取所述运动功能障碍病人的面部视频，根据所述面部视频提取面部皮肤的像素值，并根据所述像素值计算出所述运动功能障碍病人的生理指标；
生理指标与运动评价指标判断模块，其用于判断所述运动功能障碍病人的生理指标和动作评价指标是否在一个预设的合理指标范围内，得到一个判断结果；
控制模块，其用于根据所述控制指令控制机械臂，当判断所述运动功能障碍病人的生理指标或动作评价指标不在所述合理指标范围内时，控制所述机械臂停止。
9.一种基于脑机接口技术的大脑功能重塑设备，其用于根据运动功能障碍病人的脑电信号、生理指标或动作指标操控机械臂，并实时评价所述运动功能障碍病人的康复训练动作、实时检测所述运动功能障碍病人的生理指标，其特征在于，所述大脑功能重塑设备包括：
机械臂，其用于对所述运动功能障碍病人进行康复训练；
脑电帽，其用于实时采集运动功能障碍病人的脑电信号；
摄像头，其用于采集所述运动功能障碍病人的康复训练的全身视频和面部视频；
控制器，其用于将所述脑电信号转换成控制指令；实时获取所述运动功能障碍病人的全身视频，根据所述全身视频提取肢体动作，将所述肢体动作与预设的康复训练动作标准进行对比，得到一个动作评价指标；实时获取所述运动功能障碍病人的面部视频，根据所述面部视频提取面部皮肤的像素值，并根据所述像素值计算出所述运动功能障碍病人的生理指标；还用于判断所述运动功能障碍病人的生理指标和动作评价指标是否在一个预设的合理指标范围内，得到一个判断结果；还用于根据所述控制指令控制机械臂，当判断所述运动功能障碍病人的生理指标或动作评价指标不在所述合理指标范围内时，控制所述机械臂停止。
10.一种计算机终端，其包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算器程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任意一项所述的基于脑机接口技术的大脑功能重塑方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210940177.4A CN115154828B (zh) | 2022-08-05 | 2022-08-05 | 一种基于脑机接口技术的大脑功能重塑方法、***、设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210940177.4A CN115154828B (zh) | 2022-08-05 | 2022-08-05 | 一种基于脑机接口技术的大脑功能重塑方法、***、设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115154828A true CN115154828A (zh) | 2022-10-11 |
| CN115154828B CN115154828B (zh) | 2023-06-30 |
Family
ID=83479831
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210940177.4A Active CN115154828B (zh) | 2022-08-05 | 2022-08-05 | 一种基于脑机接口技术的大脑功能重塑方法、***、设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115154828B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117747051A (zh) * | 2023-12-25 | 2024-03-22 | 上海利康精准医疗技术有限公司 | 一种基于ai技术的富氧康复训练方法及*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015070634A1 (zh) * | 2013-11-15 | 2015-05-21 | 吴一兵 | 一种生命维护模式、脑抑制法以及个人健康信息平台 |
| RU2018133658A (ru) * | 2018-09-24 | 2020-03-24 | Сонькин Константин Михайлович | Система и способ формирования команд управления на основании биоэлектрических данных оператора |
| WO2020186651A1 (zh) * | 2019-03-15 | 2020-09-24 | 南京邮电大学 | 基于脑电意念的智能运动耳机及其实现方法与*** |
| CN112370066A (zh) * | 2020-09-30 | 2021-02-19 | 北京工业大学 | 一种基于生成对抗网络的脑卒中康复***脑机接口方法 |
-
2022
- 2022-08-05 CN CN202210940177.4A patent/CN115154828B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015070634A1 (zh) * | 2013-11-15 | 2015-05-21 | 吴一兵 | 一种生命维护模式、脑抑制法以及个人健康信息平台 |
| RU2018133658A (ru) * | 2018-09-24 | 2020-03-24 | Сонькин Константин Михайлович | Система и способ формирования команд управления на основании биоэлектрических данных оператора |
| WO2020186651A1 (zh) * | 2019-03-15 | 2020-09-24 | 南京邮电大学 | 基于脑电意念的智能运动耳机及其实现方法与*** |
| CN112370066A (zh) * | 2020-09-30 | 2021-02-19 | 北京工业大学 | 一种基于生成对抗网络的脑卒中康复***脑机接口方法 |
Non-Patent Citations (2)
| Title |
|---|
| 朱玉连;梁思捷;: "脑机接口技术治疗脑卒中后运动功能障碍研究进展", 康复学报, no. 02 * |
| 王丽;张秀峰;马岩;杨荣;: "脑卒中患者上肢康复机器人及评价方法综述", 北京生物医学工程, no. 05 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117747051A (zh) * | 2023-12-25 | 2024-03-22 | 上海利康精准医疗技术有限公司 | 一种基于ai技术的富氧康复训练方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115154828B (zh) | 2023-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021143353A1 (zh) | 一种手势信息处理方法、装置、电子设备及存储介质 | |
| CN108446020B (zh) | 融合可视图与深度学习的运动想象意念控制方法及应用 | |
| CN111728609B (zh) | 脑电信号的分类方法、分类模型的训练方法、装置及介质 | |
| WO2019216504A1 (ko) | 인간 감정 인식을 위한 딥 생리적 정서 네트워크를 이용한 인간 감정 추정 방법 및 그 시스템 | |
| CN109366508A (zh) | 一种基于bci的高级机械臂控制***及其实现方法 | |
| CN110270057B (zh) | 一种用于偏瘫患者双侧肢体协同运动的主动康复训练方法 | |
| KR20190128978A (ko) | 인간 감정 인식을 위한 딥 생리적 정서 네트워크를 이용한 인간 감정 추정 방법 및 그 시스템 | |
| CN111584029B (zh) | 基于判别式对抗网络的脑电自适应模型及在康复中的应用 | |
| Cheng et al. | Position-independent gesture recognition using sEMG signals via canonical correlation analysis | |
| CN112120694A (zh) | 一种基于神经网络的运动想象脑电信号分类方法 | |
| CN111544256A (zh) | 基于图卷积和迁移学习的脑控智能全肢体康复方法 | |
| RU2738197C2 (ru) | Система и способ формирования команд управления на основании биоэлектрических данных оператора | |
| CN110477907B (zh) | 一种智能辅助识别痫性发作的建模方法 | |
| Li et al. | A between-subject fNIRS-BCI study on detecting self-regulated intention during walking | |
| CN110321827A (zh) | 一种基于人脸疼痛表***的疼痛水平评估方法 | |
| Abibullaev et al. | A brute-force CNN model selection for accurate classification of sensorimotor rhythms in BCIs | |
| Mellouk et al. | CNN-LSTM for automatic emotion recognition using contactless photoplythesmographic signals | |
| CN115154828B (zh) | 一种基于脑机接口技术的大脑功能重塑方法、***、设备 | |
| CN115238796A (zh) | 基于并行damscn-lstm的运动想象脑电信号分类方法 | |
| Milan et al. | Adaptive brain interfaces for physically-disabled people | |
| Ghonchi et al. | Spatio-temporal deep learning for EEG-fNIRS brain computer interface | |
| Montazerin et al. | Hydra-hgr: A hybrid transformer-based architecture for fusion of macroscopic and microscopic neural drive information | |
| Wang et al. | Research on multimodal fusion recognition method of upper limb motion patterns | |
| Zhang et al. | Movement recognition via channel-activation-wise sEMG attention | |
| CN114943924B (zh) | 基于人脸表***的疼痛评估方法、***、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |