CN112043473B - 智能假肢脑-肌电融合感知的并行嵌套与自主择优分类器 - Google Patents

智能假肢脑-肌电融合感知的并行嵌套与自主择优分类器 Download PDF

Info

Publication number
CN112043473B
CN112043473B CN202010904969.7A CN202010904969A CN112043473B CN 112043473 B CN112043473 B CN 112043473B CN 202010904969 A CN202010904969 A CN 202010904969A CN 112043473 B CN112043473 B CN 112043473B
Authority
CN
China
Prior art keywords
classifier
brain
electroencephalogram
myoelectricity
electromyogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010904969.7A
Other languages
English (en)
Other versions
CN112043473A (zh
Inventor
张小栋
蒋永玉
陆竹风
张毅
蒋志明
朱文静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202010904969.7A priority Critical patent/CN112043473B/zh
Publication of CN112043473A publication Critical patent/CN112043473A/zh
Application granted granted Critical
Publication of CN112043473B publication Critical patent/CN112043473B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/68—Operating or control means
    • A61F2/70—Operating or control means electrical
    • A61F2/72—Bioelectric control, e.g. myoelectric
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/68—Operating or control means
    • A61F2/70—Operating or control means electrical
    • A61F2002/704—Operating or control means electrical computer-controlled, e.g. robotic control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Veterinary Medicine (AREA)
  • Computing Systems (AREA)
  • Public Health (AREA)
  • Software Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Neurosurgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Vascular Medicine (AREA)
  • Cardiology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Transplantation (AREA)
  • Human Computer Interaction (AREA)
  • Fuzzy Systems (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)

Abstract

本发明公开了一种智能假肢脑‑肌电融合感知的并行嵌套与自主择优分类器，通过构造多卷积神经网络分类器，兼顾脑电、肌电、脑‑肌电融合特征的时间跨度特征变化，通过测定脑、肌电活跃程度与特征水平构造脑‑肌电权重指标，并参与分类器的构建与训练，自主智能地适应时间跨度脑‑肌电融合信号感知识别任务，实现最优分类的自主决策，相比于以往单一信号源、不具备智能择优的传统分类器，具有更加优秀的信号解析性能与自适应能力，适用于康复假肢等具有时间跨度模型更新要求的设备。

Description

智能假肢脑-肌电融合感知的并行嵌套与自主择优分类器
技术领域
本发明涉及脑-机接口技术与人工智能领域，具体涉及一种脑-肌电融合感知的并行嵌套与自主择优分类器。
背景技术
在生机电***中，脑电信号与肌电信号包含着关于动作意图和肢体行为特征的生理信号，广泛应用于残疾人(康复)假肢、外骨骼等领域；针对残疾患者，代表动作意图的脑电信号识别一直面临着正确率不高、稳定性差、鲁棒性弱的难题，尤其对于单侧肢体动作操控，其区分不同动作的脑电意图来自于单侧大脑运动感觉区，混淆程度高；肌电信号具有比脑电信号更明显的特征，但是往往交互逻辑的限制较大，且针对残疾初期患者，其肌电信号相对微弱；脑-肌电融合感知可以在一定程度上联合考虑脑电信号与肌电信号两者的特征与时间跨度的互补性，以达到取长补短的效果。
在脊髓损伤或中风等残疾人的康复过程中，其脑电和肌电的特征与活跃水平会发生变化，具体体现在：康复初期患者肢体可控性极差，肌电信号极其微弱或极其混乱，无有效特征，因此基于肌电信号的意图识别效果较差；而此时意识清醒患者的脑电信号包含了具有有效动作意图的特征，此时的肌电信号很大程度上视作干扰项；随着康复过程的进行，患者肌肉功能获得逐渐恢复，肌肉特征的明显性与有效性增强；到了康复后期，肌电信号意图特征更为明显，而此时相对特征混淆度较大的脑电信号逐渐视作干扰项。因此在康复过程中，对脑-肌电融合分类器的主要要求之一是康复过程时间跨度的适应性与子分类器择优的自主性，并能够在脑-肌电的融合感知中加入时间跨度的权重指标，以适应患者康复过程的要求。
传统的脑电或肌电感知分类器大多没有考虑到脑电信号与肌电信号的融合，且没有对时间跨度的信号特征进行分析，主要不足体现在：分类性能较差、自主性不强、智能化弱等，不具有时间跨度自主适应性的分类器难以胜任复杂的脑-肌电融合康复过程。
以卷积神经网络为主的深度学***差异)、脑-肌电特征差异，也未能够考虑在康复过程(时间跨度)中脑-肌电信号的特征随康复运动的变化，并未能够将脑电与肌电信号权重纳入分类器的自适应调节指标当中，以至于分类器局限性大、融合信号识别性能较差。
发明内容
本发明的目的在于提供一种智能假肢脑-肌电融合感知的并行嵌套与自主择优分类器，解决了现有脑-肌电融合感知策略与康复智能方面的难题。
为达到上述目的，本发明采用了以下技术方案：
一种脑-肌电融合感知的并行嵌套与自主择优分类器，该并行嵌套与自主择优分类器包括信号接收与预处理模块、信号分流模块、信号活跃性检测模块、脑电信号感知识别模块、肌电信号感知识别模块、脑肌电信号融合感知识别模块和分类器决策模块；
所述信号接收与预处理模块接收由脑电与肌电放大器同步采集到的实时脑电信号与肌电信号，并对该脑电信号与肌电信号分别进行预处理，得到与运动感觉相关的Alpha与Beta频段全通道脑电信号以及滤除了与肌肉运动无关特征成分的全通道肌电信号；
所述信号分流模块接收经过预处理的实时脑电信号与肌电信号，将该脑电信号与肌电信号通过事件标定在时序上进行偏移校正，以消除由于脑电与肌电放大器的信号传输速率与延迟差异所引起的时序偏移，得到脑肌电实时同步信号，将脑肌电实时同步信号分流为三个用于动作意图感知识别的独立信号，即：脑电信号(具体为脑电实时同步信号)、肌电信号(具体为肌电实时同步信号)、由该脑电信号与肌电信号组成的脑-肌电融合信号；
所述信号活跃性检测模块通过对脑电实时同步信号、肌电实时同步信号分别进行活跃性检测，得到反映脑电、肌电的信号强壮程度及特征明显度的脑电活跃性权重指标、肌电活跃性权重指标；
所述脑电信号感知识别模块包括通过模型构造和训练而形成的脑电分类器(分类器I)，脑电分类器可以通过脑电实时同步信号的特征提取与特征分类对采集到的脑电信号中的动作意图进行感知识别；
所述肌电信号感知识别模块包括通过模型构造和训练而形成的肌电分类器(分类器II)，肌电分类器可以通过肌电实时同步信号的特征提取与特征分类对采集到的肌电信号中的动作意图进行感知识别；
所述脑肌电信号融合感知识别模块包括通过特征融合及损失函数修正并对脑-肌电融合特征分类进行训练而形成的脑-肌电融合分类器(分类器III)，所述损失函数修正采用依据脑-肌电权重指标构建的脑-肌电权重分配原则，脑-肌电权重指标由脑电活跃性权重指标和肌电活跃性权重指标以及脑电分类正确率指标(即脑电分类器的分类正确率)和肌电分类正确率指标(即肌电分类器的分类正确率)构成；脑-肌电融合分类器可以通过脑-肌电融合信号的特征提取与特征分类对采集到的脑电信号与肌电信号中的动作意图进行融合感知识别；
所述分类器决策模块用于在实际使用过程(非训练过程)中对所述并行嵌套与自主择优分类器输出的分类结果(某个动作意图的对应标签)进行自主决策，即根据决策因子对脑电分类器、肌电分类器、脑-肌电融合分类器(分类器I、II、III)预测的分类结果进行信任度判定，并选择信任度最高的分类结果进行输出；所述决策因子(决策指标)根据对应分类器(分类器I、II、III)的分类正确率确定。分类器决策模块仅对分类器I、II、III的分类结果进行选择，不参与脑电与肌电的动作意图识别训练过程，旨在适应康复过程中由于脑肌电信号变化而导致的各分类器性能差异，从而提高对康复过程脑、肌电信号的解析能力，并确定最终的动作意图。
优选的，所述并行嵌套与自主择优分类器的功能实现过程包括分类器I、II、III的模型训练过程和实时分类过程，所述训练过程中，参照上述脑电信号(具体为脑电实时同步信号)、肌电信号(具体为肌电实时同步信号)、脑-肌电融合信号获得对应分类器的训练数据，将训练数据按一定比例划分为训练集与测试集，其中，训练集旨在拟合学习分类器参数，测试集旨在检验分类器性能，例如，利用测试集测试训练过程中的分类正确率(即分类器I、II、III的分类正确率)。
优选的，所述训练过程采用的训练方式为剪裁训练，各训练样本组是以试验为单位通过滑动时窗剪裁的方式获得的，即各试验的经过信号分流模块的信号通过滑动时窗拓增数据集(训练集和测试集)：
Figure BDA0002661094390000031
其中，j代表试验j，Xj为试验j待剪裁样本，T为试验j的总采样点数，E为总通道数，T′为剪裁子采样点数，Cj为试验j经剪裁后的训练样本组。
优选的，所述信号接收与预处理模块分别进行脑电预处理和肌电预处理，旨在消除实时采集到的同步脑电信号与肌电信号中的伪迹、人为或环境干扰、工频干扰，及与特征无关信号频带信息等；脑电预处理与肌电预处理在处理方式上有所不同，脑电预处理的过程包括采样频率修正、基线漂移消除、陷波滤波及频带为8至30Hz的带通滤波，肌电预处理的过程包括采样频率修正、基线漂移消除、陷波滤波及频带为5至250Hz的带通滤波。频率修正的目的是为了方便时窗滑移，剪裁后的样本时间采样点尽量保证整十或整五(例如，50或75)，这样便于卷积神经网络卷积核的构造，也避免卷积和池化时不整除的采样点导致特征缺失。
优选的，所述信号分流模块中，脑-肌电融合信号为脑电信号(具体为脑电实时同步信号)和肌电信号(具体为肌电实时同步信号)的总和，无特殊处理；在分类器I、II、III的模型训练过程，信号分流模块执行各试验样本的滑动时窗剪裁并负责对样本标签进行管理，样本标签(不同的动作意图用不同的标签表示)以数组的形式与训练样本保持一一对应的关系。
优选的，所述信号活跃性检测模块中，脑电活跃性权重指标包括运动相关电位水平及通道功率谱，肌电活跃性权重指标包括肌电信号平均功率及动作与静息状态幅值比。
优选的，所述脑电信号感知识别模块中，脑电分类器(分类器I)采用卷积神经网络分类器的模型结构，具体结构为：输入层(Input)—时域卷积(Timewise Conv2D)—批标准化(Batch Normalization)—空间卷积(Depthwise Conv2D)—批标准化(BatchNormalization)—非线性激活层(ELU)—平均池化层(Average Pooling2D)—分离卷积(Separable Conv2D)—批标准化(Batch Normalization)—非线性激活层(ELU)—平均池化层(Average Pooling2D)—降维打平(Flatten)—全连接层(Dense)—随机点剔除(Dropout)—分类向量。
优选的，所述肌电信号感知识别模块中，肌电分类器(分类器II)采用卷积神经网络分类器的模型结构，具体结构为：输入层(Input)—时域卷积(Timewise Conv2D)—批标准化(Batch Normalization)—非线性激活层(ReLU)—最大池化层(Max Pooling2D)—空间卷积(Depthwise Conv2D)—批标准化(Batch Normalization)—非线性激活层(ReLU)—最大池化层(Max Pooling2D)—降维打平(Flatten)—全连接层(Dense)—随机点剔除(Dropout)—分类向量。由于脑电与肌电分类器输入样本大小差异、特征复杂程度与时空域侧重不同，两者模型的结构与构造参数有较大差异，其中具体结构的构造由模型调参确定。
优选的，所述脑肌电信号融合感知识别模块中，脑-肌电融合分类器(分类器III)的模型结构包括嵌套的脑电分类器(分类器I)和肌电分类器(分类器II)的特征提取部分(分别简称脑电特征提取部分和肌电特征提取部分)以及融合特征分类部分，融合特征分类部分的具体结构为：全连接层(Dense)—随机点剔除(Dropout)—全连接层(Dense)—随机点剔除(Dropout)—分类向量；所述特征提取部分中分类器I和分类器II两者的降维打平(Flatten)输出经排列组合后输入所述融合特征分类部分。
优选的，所述脑电分类器(分类器I)的输入为C(通道)×T(时间)的二维脑电信号，肌电分类器(分类器II)的输入为C(通道)×T(时间)的二维肌电信号，脑-肌电融合分类器(分类器III)的输入为二维脑电信号与二维肌电信号的组合，并分别输入分类器III的脑电特征提取入口与肌电特征提取入口(即脑电特征提取部分与肌电特征提取部分的输入层)；分类器I、II、III的全连接层输出经过激活函数(例如，sigmoid函数)处理，之后转换为统一的N×1维独热码(One-hot code)，其中N为动作意图分类数。
优选的，所述脑电分类器(分类器I)、肌电分类器(分类器II)及脑-肌电融合分类器(分类器III)的反向传播过程采用Adam优化器，学习率为0.003-0.05(学习率为超参数，是通过调参选择的最优参数，例如，0.006)；分类器I、II、III均采用交叉熵(CrossEntropy)作为损失函数(Loss function)：
Figure BDA0002661094390000051
其中，Pk为分类器输出向量(指分类向量)，yk为样本标签向量，K代表训练批数量(Batch Size)；
优选的，所述损失函数修正的实现方式为在分类器I、II采用的损失函数中加入脑电权重正则化指标
Figure BDA0002661094390000052
及肌电权重正则化指标
Figure BDA0002661094390000053
从而得到分类器III所采用的损失函数：
Figure BDA0002661094390000054
其中，λ1为脑电权重因子，λ2为肌电权重因子，ej1为分类器III中的脑电特征提取权重，wj2为分类器III中的肌电特征提取权重；λ1与λ2由脑-肌电权重指标决定。分类器III的构造考虑脑-肌电权重指标，意义在于适应康复过程中用户脑、肌电特征的变化。
优选的，所述分类器决策模块仅用于实时分类过程中，旨在从分类器I、II、III的三个独立分类结果中确定最终输出的分类结果，自主决策具体包括以下步骤：
1)确定分类器i(i＝1、2、3)的决策因子Ji：
Ji＝1-Ci
其中，Ci为分类器i在模型训练过程中测试的分类正确率；
2)确定实时分类过程中分类器i(i＝1、2、3)的分类结果i；
3)确定分类器的各预设分类结果(即在训练时设定的各标签)的信任度：
Tj＝1-分类结果相同的分类器所对应的决策因子的乘积
其中，Tj为预设分类结果j的信任度；若无分类器获得对应预设分类结果j，则Tj＝0；
4)确定分类器I、II、III中信任度最高的分类结果。
本发明的有益效果体现在：
本发明考虑到时间跨度的脑肌电特征变化，将康复过程中脑-肌电权重指标加入(参与)分类器的构造，通过分类器的构建与训练，可以兼顾脑电、肌电、脑-肌电融合特征的时间跨度特征变化，相比于以往单一信号源、不具备智能择优的传统分类器，具有更加优秀的信号解析性能与自适应能力。
进一步的，本发明通过并行(分类器I、II、III独立输出分类结果)嵌套(分类器III的脑、肌电特征提取部分)构造多深度神经网络分类器，能够自主智能地适应时间跨度脑-肌电融合信号感知识别任务，有效地适用于康复假肢等具有时间跨度模型更新要求的生机电***康复设备。
进一步的，本发明通过提出的决策因子，从而能够借助并行嵌套分类方案实现最优分类预测结果的自主选择和输出，在低运算量的前提下完成分类择优，同时具有突出的决策性能。
附图说明
图1是本发明实施例中的并行嵌套与自主择优分类器的***构建框图。
图2是本发明实施例中的并行嵌套与自主择优分类器的结构示意图。
图3是本发明实施例中的并行嵌套与自主择优分类器的功能实现路线图。
图4是本发明实施例中剪裁训练模式示意图。
具体实施方式
下面结合附图和实施例对本发明做进一步详细描述。所述实施例只是为了解释本发明的技术构思及特点，并不对本发明的保护范围构成限制。
(一)智能假肢脑-肌电融合感知的并行嵌套与自主择优分类器
本发明的并行嵌套与自主择优分类器适合于具有时间跨度适应性需求的***设备(例如，康复假肢)，以发挥该分类器可以通过脑肌电融合实现康复过程的特征变化适应性分类的核心优势。
参见图1，本发明的并行嵌套与自主择优分类器主要包括信号接收与预处理模块、信号分流模块、信号活跃性检测模块、脑电信号感知识别模块、肌电信号感知识别模块、脑肌电信号融合感知识别模块及分类器决策模块；该并行嵌套与自主择优分类器通过算法结构执行脑电、肌电、脑-肌电融合信号的解码过程，实现康复假肢等***设备对用户的脑、肌电信号的智能感知识别，并完成自主决策。
(二)并行嵌套与自主择优分类器的功能实现
上述并行嵌套与自主择优分类器的功能实现过程包括分类器训练过程和实时分类过程；初始分类器理论上具有机会水平的分类性能，通过同步采集用户脑、肌电信号，并以正确标签进行监督训练，反复迭代以逐渐使得分类器学习特征并获得分类能力；实时分类过程应用于未知数据，在已训练分类器上实时预测。
2.1模型训练过程
所述信号接收与预处理模块接收由脑电与肌电放大器同步采集到的实时脑电信号与肌电信号，分别进行同步形式的预处理，旨在消除信号中的伪迹、人为或环境干扰、工频干扰、与特征无关信号频带信息等。
以设备为脑肌电融合康复假手、用户为脊髓损伤患者为例，并行嵌套与自主择优分类器的输入数据如下：
1)脑电数据
单被试试验样本数量为216，其中样本标签为：手掌伸72组，手掌握72组，无动作72组；单试验样本时长为3秒；采样频率为256Hz；通道数量为61(均为10-20***标准电极位置)。
2)肌电数据
单被试试验样本数量为216，其中样本标签为：手掌伸72组，手掌握72组，无动作72组；单试验样本时长为3秒，采样频率为512Hz；通道数量为12，采用12导联肌电采集放大器与脑电数据同步采集。
将脑电数据采样频率修正为250Hz，通过基线漂移消除、50Hz工频陷波滤波、8至30Hz带通滤波处理；将肌电数据采样频率修正为500Hz，通过基线漂移消除、50Hz工频陷波滤波、5至250Hz带通滤波处理；各试验样本分别输出为：61×750(脑电信号)、12×1500(肌电信号)。
经过预处理的同步脑电信号与肌电信号进入信号分流模块，将两者通过事件标定在时序上进行偏移校正(具体通过软件编写函数周期性的计算相同事件标定的***时间差，试验信号截取时考虑本时间差)，之后将脑肌电实时同步信号分流为三个独立信号：脑电信号、肌电信号、脑-肌电融合信号；模型训练过程，信号分流模块负责对样本标签进行管理：生成样本标签向量(216×1)，标签向量是一个一维数组，每一个标签的值称为单元，单元数值意义：0代表手掌伸，1代表手掌握，2代表无动作。
所述信号活跃性检测模块对分流后的脑电信号与肌电信号，通过不同指标进行活跃性检测，针对脑电信号检测其运动相关电位水平、通道功率谱；针对肌电信号检测其平均功率、动作与静息状态幅值比；这些脑电信号与肌电信号的指标(通过python生物电信号分析工具箱API得到)分别构成脑电活跃性权重指标与肌电活跃性权重指标。
参见图2，所述脑电信号感知识别模块、肌电信号感知识别模块、脑肌电信号融合感知识别模块的内部分别构建了分类器I(脑电分类器)、分类器II(肌电分类器)、分类器III(脑-肌电融合分类器)，其中分类器III由分类器I与分类器II的特征提取部分嵌套构成，并在训练过程融合了脑、肌电活跃性权重指标。
所述分类器I的模型结构为：输入层(Input)—时域卷积(Timewise Conv2D)—批标准化(Batch Normalization)—空间卷积(Depthwise Conv2D)—批标准化(BatchNormalization)—非线性激活层(ELU)—平均池化层(Average Pooling2D)—分离卷积(Separable Conv2D)—批标准化(Batch Normalization)—非线性激活层(ELU)—平均池化层(Average Pooling2D)—降维打平(Flatten)—全连接层(Dense)—随机点剔除(Dropout)—分类向量；其中时域卷积卷积核数量为8，形状为1×64，步长为1×1，padding为“same”；空间卷积卷积核数量为16，形状为61×1，步长为61×1，padding为“valid”；第一个平均池化层形状为1×5，步长为1×5，padding为“valid”；分离卷积卷积核数量为32，形状为1×16，步长为1×1，padding为“same”；第二个平均池化层形状为1×5，步长为1×5，padding为“valid”；全连接层隐藏节点数为32，输出向量形状为3×1；dropout率为0.3。
所述分类器II的模型结构为：输入层(Input)—时域卷积(Timewise Conv2D)—批标准化(Batch Normalization)—非线性激活层(ReLU)—最大池化层(Max Pooling2D)—空间卷积(Depthwise Conv2D)—批标准化(Batch Normalization)—非线性激活层(ReLU)—最大池化层(Max Pooling2D)—降维打平(Flatten)—全连接层(Dense)—随机点剔除(Dropout)—分类向量；其中时域卷积卷积核数量为16，形状为1×40，步长为1×20，padding为“valid”；第一个最大池化层形状为1×10，步长为1×10，padding为“valid”；空间卷积卷积核数量为32，形状为3×1，步长为3×1，padding为“valid”；第二个最大池化层形状为1×7，步长为1×7，padding为“valid”；全连接层隐藏节点数为100，输出向量形状为3×1；dropout率为0.3。
所述分类器III的模型结构中，嵌套分类器I和分类器II的特征提取部分，将两者的降维打平(Flatten)输出排列组合(具体为对输出数组的第二维度进行前后拼接)，输入以下结构完成融合特征分类：全连接层(Dense)—随机点剔除(Dropout)—全连接层(Dense)—随机点剔除(Dropout)—分类向量；全连接层隐藏节点数分别为64、32，输出向量形状为3×1；dropout率为0.3；其他参数与分类器I、分类器II中的一致。两个全连接层具有差异：第二个全连接层的隐含层数一般比第一个全连接层少，旨在将细节特征整合为全局特征；两个随机点剔除操作由超参数dropout率确定，本模型中取相同(例如，0.3)。如果仅设置一组“全连接层(Dense)—随机点剔除(Dropout)”，模型也可正常构造，但适当增加全连接层个数可以优化模型特征的整合能力，但过多全连接层容易产生模型过拟合且运算速度下降(尽管位于全连接层后面的dropout操作是避免过拟合现象)。
所述分类器I、II、III的反向传播过程采用Adam优化器，学习率为0.006；分类器I、II、III均采用交叉熵(Cross Entropy)作为基本损失函数(Loss function)：
Figure BDA0002661094390000091
其中，Pk为分类器输出向量，yk为样本标签向量，K代表训练批数量(Batch Size)。
参见图3，经过分类器I与分类器II的训练过程，模型拟合至当前时期最优性能，经测试集试验获得分类器I与分类器II的测试分类正确率，分别作为脑电正确率权重指标和肌电正确率权重指标，与脑、肌电活跃性权重指标一起构成脑-肌电权重指标，以实现分类器III的模型训练。
所述分类器III的模型构造考虑脑-肌电权重指标，意义在于适应康复过程中用户脑、肌电特征的变化；实现方式为：在脑-肌电融合分类器(分类器III)的基本损失函数中加入脑肌电权重正则化指标，对基本损失函数进行修正：
Figure BDA0002661094390000092
其中，λ1为脑电权重因子，λ2为肌电权重因子，wj1为分类器III中的脑电特征提取权重，wj2为分类器III中的肌电特征提取权重(wj1和wj2是神经网络脑电特征提取层的权重变量，存在于神经网络框架中，属于神经网络变量，通过loss函数的梯度下降更新权重变量和偏置变量)。
所述λ1与λ2由脑-肌电权重指标决定：若脑电正确率权重指标低于0.5(分类器I正确率低于50％，机会正确率为1/3)，λ1取1000，保证wj1随 Loss1下降衰减趋于0；若脑电正确率权重指标高于0.75，λ1取0，保证wj1全部纳入分类器III的训练；若脑电正确率权重指标在0.5～0.75的区间内，取：
Figure BDA0002661094390000101
若肌电正确率权重指标低于0.5(分类器II正确率低于50％，机会正确率为1/3)，λ2取1000，保证wj2随Loss1下降衰减趋于0；若肌电正确率权重指标高于0.8，λ2取0，保证wj2全部纳入分类器III的训练；若肌电正确率权重指标在0.5～0.8的区间内，取
Figure BDA0002661094390000102
脑电活跃性权重指标和肌电活跃性权重指标作为附加参考指标，为分类器III的构建提供参考(人工超参数调整)。
参见图4，三个分类器的训练过程中，训练方式为剪裁训练，训练样本通过滑动时窗剪裁的方式实现：
Figure BDA0002661094390000103
其中，j代表试验j(j可以是1至216中任意一个自然数)，T为试验j的总采样点数，E为总通道数，T′为剪裁子采样点数，X为剪裁样本，Cj为试验j经剪裁后的训练样本组。
分类器训练过程中，按7:3将数据(来源于216个试验样本的所有训练样本组)划分为训练集与测试集，训练集旨在拟合学习分类器参数，测试集旨在检验各分类器性能；剪裁训练选择时窗长度为500ms，步长为200ms。
在分类器I、II、III中，分类器I的输入为61×125的二维脑电信号，分类器II的输入为12×250的二维肌电信号，分类器III的输入为二维脑电信号与二维肌电信号两者组合，分别输入对应分类器的脑电与肌电特征提取入口；各分类器全连接层输出经过sigmoid函数处理，之后转换(通过Softmax函数转化为概率分布之后取最大概率单元值为1，其余为0)为统一的3×1维独热码。
经过模型训练过程，分类器I、II、III均拟合为当前时期最佳性能，但三者的性能有所差异，分类器I、II、III具有相互独立的分类结果。
2.2实时分类过程
实时分类过程是在用户安装康复假肢后，利用已训练的分类器对未知脑-肌电融合信号进行解码与感知识别，即利用并行的分类器I、II、III实现对用户动作意图的分类进行预测，然后自主决策。
所述信号接收与预处理模块、信号分流模块、脑电信号感知识别模块/肌电信号感知识别模块/脑肌电信号融合感知识别模块的数据处理与训练过程一致；信号活跃性检测模块不工作，沿用当前时期训练过程所获得的脑-肌电权重指标。
所述分类器决策模块负责在实时分类过程中对分类器I、II、III的分类结果进行自主决策，确定最终的动作意图，决策指标(决策因子)来源于分类器I、II、III训练过程中测试集的分类正确率；此模块仅对分类器I、II、III的分类结果进行选择，不参与脑电与肌电的意图识别训练过程，旨在适应康复过程中由于脑肌电信号变化而导致的各分类器性能差异
以康复假肢为例，分类器决策模块的具体处理流程如下：
1)根据分类器I、II、III训练过程性能测试结果确定决策因子：
分类器I分类正确率C1：0.65，分类器II分类正确率C2：0.65，分类器III分类正确率C3：0.7；
计算分类器I、II、III决策因子：
J1＝1-C1＝0.35
J2＝1-C2＝0.35
J3＝1-C3＝0.3
其中，下标1、2、3分别代表分类器I、II、III。
2)确定实施分类过程后分类器I、II、III的预测结果(即分类结果)：
分类器I：“手掌伸”，分类器II：“手掌伸”，分类器III：“无动作”；
3)确定分类器I、II、III所预测结果的信任度：
手掌伸：T1＝1-J1×J2＝0.8775
手掌握：T2＝0(由于分类结果无手掌握，则手掌握这个预测结果的信任度为0)
无动作：T3＝1-J3＝0.7
4)因为T1>T3>T2，因此最终决策(根据信任度择优)为手掌伸。
(三)分类结果的评价和验证
本发明所述并行嵌套与自主择优分类器在5名健康受试者中获得平均分类正确率98.34％(手掌伸、手掌握、无动作三分类，受试者以动作执行的方式跟随实验范式)，在模拟中风患者实验(健康受试者模拟中风患者执行康复过程)中，随着肌肉功能的恢复与肌电信号的增强，平均分类正确率由75.23％增长至89.04％。体现出优秀的脑肌电融合感知分类性能。
在横向对照试验中，选择模拟康复中期受试者作为信号源，所述并行嵌套与自主择优分类器的识别正确率为82.87％，单独由分类器I与分类器II进行识别，获得正确率分别为63.21％与78.32％，即所述并行嵌套与自主择优分类器具有更优的识别正确率。
本发明所述并行嵌套与自主择优分类器由反复调参与验证选定最优网络结构参数与超参数，不合适的参数设定会带来正确率和模型性能的下降(如将学习率改为0.1，模型训练过程速度加快，但无法正常收敛，若改为0.001，模型训练缓慢且正确率明显下降)。
上述实施例以***设备为脑肌电融合康复假手、用户为脊髓损伤患者、特定范式脑-肌电信号为例，但所述并行嵌套与自主择优分类器的适用范围可以扩展至具有时间跨度适应性需求的设备、应用于其他范式的脑-肌电融合信号的感知识别，即本发明不限定脑、肌电采集设备、采样频率、信号格式、分类范式、应用场景以及所应用在的具体康复设备。
总之，本发明公开了一种智能假肢脑-肌电融合感知的并行嵌套与自主择优分类器，通过构造多卷积神经网络分类器，兼顾脑电、肌电、脑-肌电融合特征的时间跨度特征变化，通过测定脑、肌电活跃程度与特征水平构造脑-肌电权重指标，并参与分类器的构建与训练，自主智能地适应时间跨度脑-肌电融合信号感知识别任务，实现最优分类的自主决策，相比于以往单一信号源、不具备智能择优的传统分类器，具有更加优秀的信号解析性能与自适应能力，适用于康复假肢等具有时间跨度模型更新要求的设备。

Claims (10)

1.一种脑-肌电融合感知的并行嵌套与自主择优分类器，其特征在于：该并行嵌套与自主择优分类器包括脑电信号感知识别模块、肌电信号感知识别模块、脑肌电信号融合感知识别模块和分类器决策模块；
所述脑电信号感知识别模块包括通过模型构造和训练而形成的脑电分类器，脑电分类器用于通过脑电实时同步信号的特征提取与特征分类对与肌电信号同步采集到的脑电信号中的动作意图进行感知识别；
所述肌电信号感知识别模块包括通过模型构造和训练而形成的肌电分类器，肌电分类器用于通过肌电实时同步信号的特征提取与特征分类对与脑电信号同步采集到的肌电信号中的动作意图进行感知识别；
所述脑肌电信号融合感知识别模块包括通过特征融合及损失函数修正并对脑-肌电融合特征分类进行训练而形成的脑-肌电融合分类器，所述损失函数修正采用依据脑-肌电权重指标构建的脑-肌电权重分配原则，脑-肌电权重指标由脑电活跃性权重指标和肌电活跃性权重指标以及脑电分类正确率指标和肌电分类正确率指标构成；脑-肌电融合分类器用于通过脑-肌电融合信号的特征提取与特征分类对同步采集到的脑电信号与肌电信号中的动作意图进行融合感知识别；
所述分类器决策模块用于对所述并行嵌套与自主择优分类器输出的分类结果进行自主决策，自主决策即根据决策因子对脑电分类器、肌电分类器、脑-肌电融合分类器的分类结果进行信任度判定，并选择信任度最高的分类结果进行输出。
2.根据权利要求1所述一种脑-肌电融合感知的并行嵌套与自主择优分类器，其特征在于：所述训练的过程中采用的训练方式为剪裁训练。
3.根据权利要求1所述一种脑-肌电融合感知的并行嵌套与自主择优分类器，其特征在于：所述脑电分类器、肌电分类器均采用卷积神经网络分类器的模型结构，脑-肌电融合分类器的模型结构包括嵌套的脑电分类器和肌电分类器的特征提取部分以及融合特征分类部分。
4.根据权利要求3所述一种脑-肌电融合感知的并行嵌套与自主择优分类器，其特征在于：所述脑电分类器、肌电分类器的输入分别为通道×时间的二维脑电信号、二维肌电信号，脑-肌电融合分类器的输入为二维脑电信号与二维肌电信号的组合；脑电分类器、肌电分类器、脑-肌电融合分类器的全连接层输出经过激活函数处理之后转换为统一的N×1维独热码，其中N为动作意图分类数。
5.根据权利要求3所述一种脑-肌电融合感知的并行嵌套与自主择优分类器，其特征在于：所述脑电分类器、肌电分类器及脑-肌电融合分类器的反向传播过程采用Adam优化器，学习率为0.003-0.05；脑电分类器、肌电分类器均采用交叉熵作为损失函数；脑-肌电融合分类器所采用的损失函数是在脑电分类器、肌电分类器的损失函数中加入脑电权重正则化指标
Figure FDA0002661094380000021
及肌电权重正则化指标
Figure FDA0002661094380000022
而得到的，其中，λ1为脑电权重因子，λ2为肌电权重因子，wj1为脑-肌电融合分类器中的脑电特征提取权重，wj2为脑-肌电融合分类器中的肌电特征提取权重；λ1与λ2由脑-肌电权重指标决定。
6.根据权利要求1所述一种脑-肌电融合感知的并行嵌套与自主择优分类器，其特征在于：所述自主决策具体包括以下步骤：
1)确定分类器i的决策因子Ji：
Ji＝1-Ci
其中，Ci为分类器i在模型训练过程中测试的分类正确率；i＝1、2、3，分别代表脑电分类器、肌电分类器、脑-肌电融合分类器；
2)确定实时分类过程中分类器i的分类结果Pi；
3)确定分类器的各预设分类结果的信任度：
Tj＝1-分类结果相同的分类器所对应的决策因子的乘积
其中，Tj为预设分类结果j的信任度；若无分类器获得对应预设分类结果j，则Tj＝0；
4)确定脑电分类器、肌电分类器、脑-肌电融合分类器的分类结果中信任度最高的分类结果。
7.根据权利要求1所述一种脑-肌电融合感知的并行嵌套与自主择优分类器，其特征在于：所述并行嵌套与自主择优分类器还包括信号接收与预处理模块，信号接收与预处理模块用于接收由脑电与肌电放大器同步采集到的实时脑电信号与肌电信号，并对该脑电信号与肌电信号分别进行预处理，从而得到与运动感觉相关的Alpha与Beta频段全通道脑电信号以及滤除了与肌肉运动无关特征成分的全通道肌电信号。
8.根据权利要求7所述一种脑-肌电融合感知的并行嵌套与自主择优分类器，其特征在于：所述并行嵌套与自主择优分类器还包括信号分流模块，信号分流模块用于接收经过预处理的实时脑电信号与肌电信号，将该脑电信号与肌电信号通过事件标定在时序上进行偏移校正，以消除由于脑电与肌电放大器的信号传输速率与延迟差异所引起的时序偏移，从而得到脑肌电实时同步信号，即作为对应分类器训练和实时分类数据来源的脑电实时同步信号、肌电实时同步信号以及脑-肌电融合信号。
9.根据权利要求8所述一种脑-肌电融合感知的并行嵌套与自主择优分类器，其特征在于：所述并行嵌套与自主择优分类器还包括信号活跃性检测模块，信号活跃性检测模块用于通过对脑电实时同步信号、肌电实时同步信号分别进行活跃性检测，得到反映脑电、肌电的信号强壮程度及特征明显度的脑电活跃性权重指标、肌电活跃性权重指标。
10.根据权利要求9所述一种脑-肌电融合感知的并行嵌套与自主择优分类器，其特征在于：所述脑电活跃性权重指标包括运动相关电位水平及通道功率谱，肌电活跃性权重指标包括肌电信号平均功率及动作与静息状态幅值比。
CN202010904969.7A 2020-09-01 2020-09-01 智能假肢脑-肌电融合感知的并行嵌套与自主择优分类器 Active CN112043473B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010904969.7A CN112043473B (zh) 2020-09-01 2020-09-01 智能假肢脑-肌电融合感知的并行嵌套与自主择优分类器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010904969.7A CN112043473B (zh) 2020-09-01 2020-09-01 智能假肢脑-肌电融合感知的并行嵌套与自主择优分类器

Publications (2)

Publication Number Publication Date
CN112043473A CN112043473A (zh) 2020-12-08
CN112043473B true CN112043473B (zh) 2021-05-28

Family

ID=73607238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010904969.7A Active CN112043473B (zh) 2020-09-01 2020-09-01 智能假肢脑-肌电融合感知的并行嵌套与自主择优分类器

Country Status (1)

Country Link
CN (1) CN112043473B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112732090B (zh) * 2021-01-20 2022-08-09 福州大学 基于肌肉协同的用户无关实时手势识别方法
CN113855048A (zh) * 2021-10-22 2021-12-31 武汉大学 一种孤独症谱系障碍的脑电信号可视化判别方法及***
CN114145744B (zh) * 2021-11-22 2024-03-29 华南理工大学 基于跨设备前额脑电情绪识别的方法和***
GB2605270B (en) * 2022-02-07 2024-06-12 Cogitat Ltd Classification of brain activity signals
CN114970608B (zh) * 2022-05-06 2023-06-02 中国科学院自动化研究所 基于眼电信号的人机交互方法及***
CN115089196B (zh) * 2022-08-22 2022-11-11 博睿康科技（常州）股份有限公司 在线信号的时相检测方法、时相检测单元、闭环调控***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120122617A (ko) * 2011-04-29 2012-11-07 가톨릭대학교 산학협력단 움직임을 상상하는 뇌파 분류 방법 및 그 장치
CN109718059A (zh) * 2019-03-11 2019-05-07 燕山大学 手部康复机器人自适应控制方法及装置
CN110238863A (zh) * 2019-06-17 2019-09-17 北京国润健康医学投资有限公司 基于脑电-肌电信号的下肢康复机器人控制方法及***
CN110495893A (zh) * 2019-07-30 2019-11-26 西安交通大学 一种运动意图连续脑肌电多层次动态融合识别***及方法
CN111544856A (zh) * 2020-04-30 2020-08-18 天津大学 基于新型迁移学习模型的脑-肌电智能全肢体康复方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120122617A (ko) * 2011-04-29 2012-11-07 가톨릭대학교 산학협력단 움직임을 상상하는 뇌파 분류 방법 및 그 장치
CN109718059A (zh) * 2019-03-11 2019-05-07 燕山大学 手部康复机器人自适应控制方法及装置
CN110238863A (zh) * 2019-06-17 2019-09-17 北京国润健康医学投资有限公司 基于脑电-肌电信号的下肢康复机器人控制方法及***
CN110495893A (zh) * 2019-07-30 2019-11-26 西安交通大学 一种运动意图连续脑肌电多层次动态融合识别***及方法
CN111544856A (zh) * 2020-04-30 2020-08-18 天津大学 基于新型迁移学习模型的脑-肌电智能全肢体康复方法

Also Published As

Publication number Publication date
CN112043473A (zh) 2020-12-08

Similar Documents

Publication Publication Date Title
CN112043473B (zh) 智能假肢脑-肌电融合感知的并行嵌套与自主择优分类器
Shen et al. Movements classification of multi-channel sEMG based on CNN and stacking ensemble learning
CN101711709B (zh) 利用眼电和脑电信息的电动假手控制方法
CN108319928B (zh) 一种基于多目标微粒群算法优化的深度学习方法及***
CN102722728B (zh) 基于通道加权支持向量的运动想象脑电分类方法
CN111584029B (zh) 基于判别式对抗网络的脑电自适应模型及在康复中的应用
CN106980367A (zh) 一种基于肌电地形图的手势识别方法
CN102521505A (zh) 用于控制意图识别的脑电和眼电信号决策融合方法
CN111860410A (zh) 基于多特征融合cnn的肌电手势识别方法
Wang et al. An approach of one-vs-rest filter bank common spatial pattern and spiking neural networks for multiple motor imagery decoding
CN113111831A (zh) 一种基于多模态信息融合的手势识别技术
CN111544856A (zh) 基于新型迁移学习模型的脑-肌电智能全肢体康复方法
CN111544256A (zh) 基于图卷积和迁移学习的脑控智能全肢体康复方法
CN111544855A (zh) 基于蒸馏学习和深度学习纯意念控制智能康复方法及应用
CN109691996A (zh) 一种基于混合二进制编码的脑电信号特征优选及分类器优选方法
Thenmozhi et al. Feature selection using extreme gradient boosting Bayesian optimization to upgrade the classification performance of motor imagery signals for BCI
CN113408397B (zh) 领域自适应的跨受试者运动想象脑电信号识别***及方法
CN113128384B (zh) 一种基于深度学习的脑卒中康复***脑机接口软件关键技术方法
CN112998725A (zh) 一种基于运动观察的脑机接口技术的康复方法与***
CN110321856B (zh) 一种时频多尺度散度csp的脑机接口方法及装置
Bhalerao et al. Automatic detection of motor imagery EEG signals using swarm decomposition for robust BCI systems
CN116522106A (zh) 一种基于迁移学习并行多尺度滤波器组时域卷积的运动想象脑电信号分类方法
CN110604578A (zh) 基于semg的人手手内动作识别方法
CN114569143A (zh) 一种基于注意力机制与多特征融合的肌电手势识别方法
Bo et al. Hand gesture recognition using semg signals based on cnn

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant