CN111222398B - 一种基于时频特征融合的肌电信号解码方法 - Google Patents

一种基于时频特征融合的肌电信号解码方法 Download PDF

Info

Publication number
CN111222398B
CN111222398B CN201911029831.0A CN201911029831A CN111222398B CN 111222398 B CN111222398 B CN 111222398B CN 201911029831 A CN201911029831 A CN 201911029831A CN 111222398 B CN111222398 B CN 111222398B
Authority
CN
China
Prior art keywords
feature extraction
extraction network
time domain
frequency domain
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911029831.0A
Other languages
English (en)
Other versions
CN111222398A (zh
Inventor
滑少扬
王从庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN201911029831.0A priority Critical patent/CN111222398B/zh
Publication of CN111222398A publication Critical patent/CN111222398A/zh
Application granted granted Critical
Publication of CN111222398B publication Critical patent/CN111222398B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于时频特征融合的肌电信号解码方法，步骤为：采集时域肌电信号，并将时域信号转换为频域信号，对时域信号和频域信号分别进行信号预处理；根据预处理后的时域信号和频域信号，分别构造并训练初始时域特征提取网络和初始频域特征提取网络；采用迁移学习技术，将初始时域特征提取网络和初始频域特征提取网络在其最后一层进行连接，并添加新的全连接层进行整体训练，得到最终的时域特征提取网络和频域特征提取网络，并将其融合为一个网络，利用融合后的网络进行测试，实现肌电信号解码。本发明将预处理后的时域和频域信息进行融合，形成信息互补，提供识别准确率。

Description

一种基于时频特征融合的肌电信号解码方法
技术领域
本发明属于人机交互领域，特别涉及了一种肌电信号解码方法。
背景技术
随着技术的发展，人机交互在人类生活中应用越来越广泛，诸如医疗、军事、娱乐等方面都能够看到人机交互的影子。在众多人机交互技术中，神经解码技术作为一项关键内容广泛受到人们重视。神经解码是指依据人类的神经活动，翻译出对应的动作意图或者指令信息。它不仅能够使人类在未来通过神经进行控制交互，同时能够帮助研究者更好地了解神经活动，具有重大意义。
作为神经解码技术应用一个重要组成部分，传统的肌电信号解码算法一般依靠人类经验提取特征，包括波形长度，过零点数，绝对积分面积等时域特征，以及最大频率，中值频率等频域特征，然后将这些特征简单组合，并构造恰当分类器的方式解读肌电信号。而肌电信号具有较强的随机性，采用传统的特征提取与特征组合方式往往无法充分表征肌电信号的特征，效果欠佳。随着理论的发展，一种被称为深度学习的端对端的学习方法逐渐为人们熟知，它的特点在于能够不借助人类经验，自己针对学习任务提取必要的特征，因此具有很强的自适应性。
然而，虽然一些研发者采用深度学习的方式自动学习信号特征，但是他们在数据预处理上存在缺陷，例如浙江大学的耿卫东等人的方法，在信号预处理时使用了低通滤波器进行处理，导致丢失了频域信息，无法充分利用隐藏在信号内部的信息。
发明内容
为了解决上述背景技术提到的技术问题，本发明提出了一种基于时频特征融合的肌电信号解码方法。
为了实现上述技术目的，本发明的技术方案为：
一种基于时频特征融合的肌电信号解码方法，包括以下步骤：
(1)肌电信号预处理：
采集时域肌电信号，并将时域信号转换为频域信号，对时域信号和频域信号分别进行信号预处理；
(2)根据预处理后的时域信号和频域信号，分别构造并训练初始时域特征提取网络和初始频域特征提取网络：
对于初始时域特征提取网络，采用多流一维卷积神经网络，将每一个电极通道采集的经预处理后的时域肌电数据作为一流数据输入至对应的一维卷积神经网络，所有支流网络构成初始时域特征提取网络，并在其后面添加全连接层进行训练；
对于初始频域特征提取网络，采用多阶段相邻多帧融合网络，将每三个电极通道采集的经时频转换和预处理后的频域信号分到一组作为一个输入，通过卷积层逐步将相邻组进行融合，构成初始频域特征提取网络，并在其后面添加全连接层进行训练；
(3)采用迁移学习技术，将初始时域特征提取网络和初始频域特征提取网络在其最后一层进行连接，并添加新的全连接层进行整体训练，得到最终的时域特征提取网络和频域特征提取网络，并将其融合为一个网络，利用融合后的网络进行测试，实现肌电信号解码。
进一步地，在步骤(1)中，对时域信号进行预处理的步骤依次为：数字放大、均方根平滑、巴特沃兹滤波以及数据分割。
进一步地，在步骤(1)中，对于采集的原始时域信号首先进行数据分割和短时傅里叶变换，得到频域信号，再对频域信号进行预处理，预处理的步骤依次为：主成分分析、L1正则化处理以及构造特征矩阵。
进一步地，通过数据分割，将肌电信号划分成200ms一段的数据。
进一步地，步骤(3)中网络训练的学习率为步骤(2)中网络训练的学习率的十分之一。
采用上述技术方案带来的有益效果：
(1)本发明采用深度神经网络进行特征提取，提高特征的有效性；具体来说，对于频域信息采用多阶段相邻多帧融合的深度学习方式，即在模型中逐层融合网络信息，从而进一步提升对于数据的利用率，提高在频域信息方面的准确性；在时域信息上使用一维卷积网络，减少网络参数，防止过拟合；
(2)本发明采用迁移学习技术，将时域与频域信息的特征提取网络进行合理融合，使两种信息构成合理的补充，提高卷积网络模型在面对不同受试者时的鲁棒性；
(3)本发明通过对时域信号进行合理的预处理，能够更加有效地提取特征，同时减少网络模型对于数据数量级的敏感性，增强其自适应能力。
附图说明
图1是本发明的方法流程图；
图2是本发明中时域信号预处理流程图；
图3是本发明中频域信号预处理流程图；
图4是本发明中时域特征提取网络结构图；
图5是本发明中频域特征提取网络结构图；
图6是本发明中两种特征提取网络的融合示意图。
具体实施方式
以下将结合附图，对本发明的技术方案进行详细说明。
本发明设计了一种基于时频特征融合的肌电信号解码方法，如图1所示，步骤如下：
步骤1、肌电信号预处理：采集时域肌电信号，并将时域信号转换为频域信号，对时域信号和频域信号分别进行信号预处理；
步骤2、根据预处理后的时域信号和频域信号，分别构造并训练初始时域特征提取网络和初始频域特征提取网络；
步骤3：采用迁移学习技术，将初始时域特征提取网络和初始频域特征提取网络在其最后一层进行连接，并添加新的全连接层进行整体训练，得到最终的时域特征提取网络和频域特征提取网络，并将其融合为一个网络，利用融合后的网络进行测试，实现肌电信号解码。
优选地，在步骤1中，对于时域信号的预处理，如图2所示，其步骤依次为：数字放大、均方根(RMS)平滑、巴特沃兹滤波以及数据分割。通过数字放大，能够有效避免网络模型由于肌电信号的数量级过小，而必须小心进行参数调整的问题。通过RMS平滑和巴特沃兹低通滤波器，能够减少数据中的噪声，提取数据中的主要成分，但是与此同时，这种方法也消除了肌电信号中的高频成分，造成了信息丢失。通过数据分割，将肌电信号每200ms划分一段，使其符合在实际应用场景下受试者对于延时的要求。
优选地，在步骤1中，如图3所示，与时域信号预处理相同，将时域信号进行数据分割，划分成200ms一段的数据，然后通过短时傅里叶变换(STFT)进行频谱分析，将原始肌电信号转化为频域信号，之后对频域信号进行预处理，其步骤依次为：主成分分析、L1正则化处理以及构造特征矩阵。通过对频域信号进行预处理，对数据进行降维，消除信号中的噪声干扰，提取有效的频率信息作为时域信息的补充，并以合适的方式提供给网络模型作为输入。
优选地，在步骤2中，如图4所示，对于初始时域特征提取网络，采用多流一维卷积神经网络，包括卷积层和局部连接层，将每一个电极通道采集的经预处理后的时域肌电数据作为一流数据输入至对应的一维卷积神经网络，所有支流网络构成初始时域特征提取网络(即图1中的时域特征提取网络1)，并在其后面添加全连接层进行训练。
优选地，在步骤2中，如图5所示，对于初始频域特征提取网络，采用多阶段相邻多帧融合网络，将每三个电极通道采集的经时频转换和预处理后的频域信号分到一组作为一个输入(类似于图像中的R\G\B通道)，通过卷积层逐步将相邻组进行融合，构成初始频域特征提取网络(即图1中的频域特征提取网络1)，并在其后面添加全连接层进行训练。
本发明在时域信号的预处理过程中采用了巴特沃兹低通滤波器，造成了频域信号的丢失，而在频域信号的预处理过程中则不存在这个问题，因此本发明的两种预处理方式可以作为补充，通过特征融合的方式提高准确率。
如图6所示，在融合过程中，本发明采用使用迁移学习技术，将上述经过初始时域特征提取网络和频域特征提取网络在输出层进行联结，并在后面加入新的全连接层进行训练得到最终的时域特征提取网络(即图1中的时域特征提取网络2)和频域特征提取网络(即图1中的频域特征提取网络2)，同时将这两个网络融合为一个网络，利用这个融合后的网络进行测试。迁移学习用于将学习得到的参数迁移到新的网络中，加快新的网络学习速度，提高网络学习效果。为了保证特征提取的有效性，训练时将学习率调整为初始网络训练时的十分之一。
实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (5)

1.一种基于时频特征融合的肌电信号解码方法，其特征在于，包括以下步骤：
(1)肌电信号预处理：
采集时域肌电信号，并将时域信号转换为频域信号，对时域信号和频域信号分别进行信号预处理；
(2)根据预处理后的时域信号和频域信号，分别构造并训练初始时域特征提取网络和初始频域特征提取网络：
对于初始时域特征提取网络，采用多流一维卷积神经网络，将每一个电极通道采集的经预处理后的时域肌电数据作为一流数据输入至对应的一维卷积神经网络，所有支流网络构成初始时域特征提取网络，并在其后面添加全连接层进行训练；
对于初始频域特征提取网络，采用多阶段相邻多帧融合网络，将每三个电极通道采集的经时频转换和预处理后的频域信号分到一组作为一个输入，通过卷积层逐步将相邻组进行融合，构成初始频域特征提取网络，并在其后面添加全连接层进行训练；
(3)采用迁移学习技术，将初始时域特征提取网络和初始频域特征提取网络在其最后一层进行连接，并添加新的全连接层进行整体训练，得到最终的时域特征提取网络和频域特征提取网络，并将其融合为一个网络，利用融合后的网络进行测试，实现肌电信号解码。
2.根据权利要求1所述基于时频特征融合的肌电信号解码方法，其特征在于，在步骤(1)中，对时域信号进行预处理的步骤依次为：数字放大、均方根平滑、巴特沃兹滤波以及数据分割。
3.根据权利要求1所述基于时频特征融合的肌电信号解码方法，其特征在于，在步骤(1)中，对于采集的原始时域信号首先进行数据分割和短时傅里叶变换，得到频域信号，再对频域信号进行预处理，预处理的步骤依次为：主成分分析、L1正则化处理以及构造特征矩阵。
4.根据权利要求2或3所述基于时频特征融合的肌电信号解码方法，其特征在于，通过数据分割，将肌电信号划分成200ms一段的数据。
5.根据权利要求1所述基于时频特征融合的肌电信号解码方法，其特征在于，步骤(3)中网络训练的学习率为步骤(2)中网络训练的学习率的十分之一。
CN201911029831.0A 2019-10-28 2019-10-28 一种基于时频特征融合的肌电信号解码方法 Active CN111222398B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911029831.0A CN111222398B (zh) 2019-10-28 2019-10-28 一种基于时频特征融合的肌电信号解码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911029831.0A CN111222398B (zh) 2019-10-28 2019-10-28 一种基于时频特征融合的肌电信号解码方法

Publications (2)

Publication Number Publication Date
CN111222398A CN111222398A (zh) 2020-06-02
CN111222398B true CN111222398B (zh) 2023-04-18

Family

ID=70805837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911029831.0A Active CN111222398B (zh) 2019-10-28 2019-10-28 一种基于时频特征融合的肌电信号解码方法

Country Status (1)

Country Link
CN (1) CN111222398B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111984118A (zh) * 2020-08-14 2020-11-24 东南大学 基于复数循环神经网络从脑电信号解码肌电信号的方法
CN117100293B (zh) * 2023-10-25 2024-02-06 武汉理工大学 一种基于多维特征融合网络的肌肉疲劳检测方法和***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654037A (zh) * 2015-12-21 2016-06-08 浙江大学 一种基于深度学习和特征图像的肌电信号手势识别方法
CN108830127A (zh) * 2018-03-22 2018-11-16 南京航空航天大学 一种基于深度卷积神经网络结构的旋转机械故障特征智能诊断方法
CN109142547A (zh) * 2018-08-08 2019-01-04 广东省智能制造研究所 一种基于卷积神经网络的声学在线无损检测方法
CN109254274A (zh) * 2018-11-23 2019-01-22 哈尔滨工程大学 一种基于特征融合的雷达辐射源辨识方法
CN109662710A (zh) * 2018-12-06 2019-04-23 杭州电子科技大学 一种基于卷积神经网络的肌电信号特征提取方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654037A (zh) * 2015-12-21 2016-06-08 浙江大学 一种基于深度学习和特征图像的肌电信号手势识别方法
CN108830127A (zh) * 2018-03-22 2018-11-16 南京航空航天大学 一种基于深度卷积神经网络结构的旋转机械故障特征智能诊断方法
CN109142547A (zh) * 2018-08-08 2019-01-04 广东省智能制造研究所 一种基于卷积神经网络的声学在线无损检测方法
CN109254274A (zh) * 2018-11-23 2019-01-22 哈尔滨工程大学 一种基于特征融合的雷达辐射源辨识方法
CN109662710A (zh) * 2018-12-06 2019-04-23 杭州电子科技大学 一种基于卷积神经网络的肌电信号特征提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
钟高艳.基于体表心电图的房颤自动识别算法综述.《背景生物医学工程》.2018,第第37卷卷(第第37卷期),全文. *

Also Published As

Publication number Publication date
CN111222398A (zh) 2020-06-02

Similar Documents

Publication Publication Date Title
CN107157477B (zh) 脑电信号特征识别***及方法
CN110353702A (zh) 一种基于浅层卷积神经网络的情感识别方法及***
CN104706349B (zh) 一种基于脉搏波信号的心电信号构建方法
Doulah et al. Wavelet domain feature extraction scheme based on dominant motor unit action potential of EMG signal for neuromuscular disease classification
CN102697493B (zh) 一种快速的脑电信号中眼电伪迹自动识别和去除的方法
CN113065526B (zh) 一种基于改进深度残差分组卷积网络的脑电信号分类方法
CN111222398B (zh) 一种基于时频特征融合的肌电信号解码方法
CN101515200B (zh) 基于瞬态视觉诱发脑电的目标选择方法
CN113128552B (zh) 一种基于深度可分离因果图卷积网络的脑电情绪识别方法
CN108420429A (zh) 一种基于多视角深度特征融合的脑电癫痫自动识别方法
CN103610461A (zh) 基于双密度小波邻域相关阈值处理的脑电信号消噪方法
CN107411739A (zh) 基于双树复小波的脑电信号情绪识别特征提取方法
CN110059564B (zh) 基于功率谱密度和互相关熵谱密度融合的特征提取方法
CN107822629A (zh) 四肢表面肌电轴的检测方法
CN112070668A (zh) 一种基于深度学习和边缘增强的图像超分辨方法
CN103903632A (zh) 一种多声源环境下的基于听觉中枢***的语音分离方法
CN101703405A (zh) 基于小波分析和Welch算法的身份识别方法
CN113729738B (zh) 一种多通道肌电特征图像的构建方法
CN104571533A (zh) 一种基于脑机接口技术的装置和方法
CN109034015A (zh) Fsk-ssvep的解调***及解调算法
CN114601476A (zh) 一种基于视频刺激下的eeg信号情感识别方法
CN109662710A (zh) 一种基于卷积神经网络的肌电信号特征提取方法
CN106843509B (zh) 一种脑机接口***
CN102820037B (zh) 基于组合特征的汉语声韵母可视化方法
CN116150660A (zh) 基于自监督cnn的脑电情绪识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant