CN115981470A - 基于特征联合编码的手势识别方法及其*** - Google Patents
基于特征联合编码的手势识别方法及其*** Download PDFInfo
- Publication number
- CN115981470A CN115981470A CN202211716006.XA CN202211716006A CN115981470A CN 115981470 A CN115981470 A CN 115981470A CN 202211716006 A CN202211716006 A CN 202211716006A CN 115981470 A CN115981470 A CN 115981470A
- Authority
- CN
- China
- Prior art keywords
- feature
- feature vector
- encoder
- vector
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本申请涉及手势智能识别领域，其具体地公开了一种基于特征联合编码的手势识别方法及其***，其从使用表面肌电信号的高维隐含特征以及组织阻抗值在时序维度上的动态关联特征来综合进行手势的识别，以提高对于手势识别的精准度。
Description
技术领域
本申请涉及手势智能识别领域，且更为具体地，涉及一种基于特征联合编码的手势识别方法及其***。
背景技术
表面肌电是利用电极在体表记录的反映肌肉活动的一种生物电信号，具有非侵入、易于获取的特点。由于表面肌电信号蕴含丰富的运动信息，常用来进行运动意图识别，因此被广泛应用于人机交互的***设计中，如手势识别、假肢控制等。例如，在一个现有的方案中，使用单通道sEMG信号对假肢手i-LIMB Hand进行抓、握、夹、捏动作的控制。
但单个通道的sEMG信号无法准确地反应人体自身的运动意图。而由于生物组织含有大量的组织液、细胞内液等液体，其中含有多种导电粒子。当施加电流激励时，电流穿过细胞流向组织液，表现出阻抗的特性，可以采用阻抗描述其导电性能。并且，组织阻抗(Tissue Impedance，TI)会随肌肉活动发生一定的变化，这种阻抗变化反映了肌肉的运动状态。
因此，期望一种优化的基于特征联合编码的手势识别方法，以在基于sEMG信号的手势识别中引入组织阻抗的信息来提高对于人体手势识别的精准度。
目前，深度学***。
近年来，深度学习尤其是神经网络的发展给特征联合编码的手势识别提供了新的解决思路和方案。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于特征联合编码的手势识别方法，其从使用表面肌电信号的高维隐含特征以及组织阻抗值在时序维度上的动态关联特征来综合进行人体手势的识别，以提高对于手势识别的精准度。
根据本申请的一个方面，提供了一种基于特征联合编码的手势识别方法，其包括：
训练阶段，包括：
获取受试者在预定时间段的表面肌电信号和所述受试者在所述预定时间段的多个预定时间点的组织阻抗值；
将所述表面肌电信号的波形图通过特征联合编码器的图像编码器以生成第一特征向量；
将所述多个预定时间点的组织阻抗值输入所述特征联合编码器的序列编码器以获得第二特征向量；
所述特征联合编码器融合所述第一特征向量与所述第二特征向量以获得关联特征矩阵；
将所述关联特征矩阵通过分类器以获得分类损失函数值；
计算所述第一特征向量和所述第二特征向量之间的概率互相关度量值，其中，所述概率互相关度量值基于以所述第一特征向量中各个位置的特征值与所述第一特征向量的所有特征值的均值之差乘以所述第二特征向量中各个位置的特征值与所述第二特征向量的所有特征值的均值之差之间的乘积的均值为幂的自然指数函数值、所述第一特征向量的标准差和所述第二特征向量的标准差生成；以及
计算所述分类损失函数值和所述概率互相关度量值的加权和作为损失函数值来训练所述特征联合编码器；以及
推断阶段，包括：
获取受试者在预定时间段的表面肌电信号和所述受试者在所述预定时间段的多个预定时间点的组织阻抗值；
将所述表面肌电信号的波形图通过经训练完成的所述特征联合编码器的图像编码器以生成第一特征向量；
将所述多个预定时间点的组织阻抗值输入经训练完成的所述特征联合编码器的序列编码器以获得第二特征向量；
所述特征联合编码器融合所述第一特征向量与所述第二特征向量以获得关联特征矩阵；以及
将所述关联特征矩阵通过分类器以获得分类结果，所述分类结果为受试者的手势类型标签。
在上述基于特征联合编码的手势识别方法中，所述获取受试者在预定时间段的表面肌电信号和所述受试者在所述预定时间段的多个预定时间点的组织阻抗值，包括：使用ADS1292R芯片通过一个信号传输通道来采集所述表面肌电信号和所述组织阻抗值。
在上述基于特征联合编码的手势识别方法中，所述将所述表面肌电信号的波形图通过特征联合编码器的图像编码器以生成第一特征向量，包括：所述图像编码器使用卷积神经网络对所述表面肌电信号的波形图进行编码以生成所述第一特征向量。
在上述基于特征联合编码的手势识别方法中，所述图像编码器使用卷积神经网络对所述表面肌电信号的波形图进行编码以生成所述第一特征向量，包括：所述卷积神经网络的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述卷积神经网络的最后一层的输出为所述第一特征向量，所述卷积神经网络的第一层的输入为所述表面肌电信号的波形图。
在上述基于特征联合编码的手势识别方法中，所述将所述多个预定时间点的组织阻抗值输入所述特征联合编码器的序列编码器以获得第二特征向量，包括：所述序列编码器使用嵌入层将所述多个预定时间点的组织阻抗值分别映射为嵌入向量以获得嵌入向量的序列；以及，所述序列编码器使用双向LSTM模型对所述嵌入向量的序列进行基于上下文的语义编码以生成所述第二特征向量。
在上述基于特征联合编码的手势识别方法中，所述特征联合编码器融合所述第一特征向量与所述第二特征向量以获得关联特征矩阵，包括：所述特征联合编码器以如下公式融合所述第一特征向量与所述第二特征向量以获得所述关联特征矩阵；
其中，所述公式为：
其中V1表示所述第一特征向量，V2表示所述第二特征向量，M表示所述关联特征矩阵。
在上述基于特征联合编码的手势识别方法中，所述将所述关联特征矩阵通过分类器以获得分类损失函数值，包括：使用所述分类器以如下公式对所述关联特征矩阵进行处理以生成分类结果，其中，所述公式为：
softmax{(Wn,Bn):…:(W1,B1)|Project(F)}，其中Project(F)表示将所述关联特征矩阵投影为向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn表示各层全连接层的偏置矩阵；以及，计算所述分类结果与真实值之间的交叉熵值作为所述分类损失函数值。
在上述基于特征联合编码的手势识别方法中，所述计算所述第一特征向量和所述第二特征向量之间的概率互相关度量值，包括：以如下公式计算所述第一特征向量和所述第二特征向量之间的所述概率互相关度量值；
其中，所述公式为：
其中：
其中V1表示所述第一特征向量，V2表示所述第二特征向量，v1i和v2i分别是所述第一特征向量和所述第二特征向量的第i个位置的特征值，且
和
分别是所述第一特征向量和所述第二特征向量的各位置的特征值均值，exp(·)表示向量的指数运算，对向量进行指数运算表示以向量中各个位置的特征值为幂的自然指数函数值。
根据本申请的另一方面，提供了一种基于特征联合编码的手势识别***，其包括：
训练模块，包括：
训练生理电信号和阻抗信号获取单元，用于获取受试者在预定时间段的表面肌电信号和所述受试者在所述预定时间段的多个预定时间点的组织阻抗值；
训练第一特征向量生成单元，用于将所述表面肌电信号的波形图通过特征联合编码器的图像编码器以生成第一特征向量；
训练第二特征向量生成单元，用于将所述多个预定时间点的组织阻抗值输入所述特征联合编码器的序列编码器以获得第二特征向量；
融合单元，用于所述特征联合编码器融合所述第一特征向量与所述第二特征向量以获得关联特征矩阵；
分类损失函数值计算单元，将所述关联特征矩阵通过分类器以获得分类损失函数值；
概率互相关度量值计算单元，用于计算所述第一特征向量和所述第二特征向量之间的概率互相关度量值，其中，所述概率互相关度量值基于以所述第一特征向量中各个位置的特征值与所述第一特征向量的所有特征值的均值之差乘以所述第二特征向量中各个位置的特征值与所述第二特征向量的所有特征值的均值之差之间的乘积的均值为幂的自然指数函数值、所述第一特征向量的标准差和所述第二特征向量的标准差生成；
训练单元，用于计算所述分类损失函数值和所述概率互相关度量值的加权和作为损失函数值来训练所述特征联合编码器；以及
推断模块，包括：
生理电信号和阻抗信号获取单元，用于获取受试者在预定时间段的表面肌电信号和所述受试者在所述预定时间段的多个预定时间点的组织阻抗值；
第一特征向量生成单元，用于将所述表面肌电信号的波形图通过经训练完成的所述特征联合编码器的图像编码器以生成第一特征向量；
第二特征向量生成单元，用于将所述多个预定时间点的组织阻抗值输入经训练完成的所述特征联合编码器的序列编码器以获得第二特征向量；
关联矩阵生成单元，所述特征联合编码器融合所述第一特征向量与所述第二特征向量以获得关联特征矩阵；
分类结果生成单元，用于将所述关联特征矩阵通过分类器以获得分类结果，所述分类结果为受试者的手势类型标签。
根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的特征联合编码的手势识别方法。
根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的特征联合编码的手势识别方法。
与现有技术相比，本申请提供的一种基于特征联合编码的手势识别方法及其***，其从使用表面肌电信号的高维隐含特征以及组织阻抗值在时序维度上的动态关联特征来综合进行人体手势的识别，以提高对于手势识别的精准度。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1图示了根据本申请实施例的基于特征联合编码的手势识别方法的应用场景图。
图2图示了根据本申请实施例的基于特征联合编码的手势识别方法中训练阶段的流程图。
图3图示了根据本申请实施例的基于特征联合编码的手势识别方法中推断阶段的流程图。
图4图示了根据本申请实施例的基于特征联合编码的手势识别方法中训练阶段的架构示意图。
图5图示了根据本申请实施例的基于特征联合编码的手势识别方法中推断阶段的架构示意图。
图6图示了根据本申请实施例的基于特征联合编码的手势识别***的框图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
场景概述
表面肌电是利用电极在体表记录的反映肌肉活动的一种生物电信号，具有非侵入、易于获取的特点。由于表面肌电信号蕴含丰富的运动信息，常用来进行运动意图识别，因此被广泛应用于人机交互的***设计中，如手势识别、假肢控制等。例如，在一个现有的方案中，使用单通道sEMG信号对假肢手i-LIMB Hand进行抓、握、夹、捏动作的控制。
但单个通道的sEMG信号无法准确地反应人体自身的运动意图。而由于生物组织含有大量的组织液、细胞内液等液体，其中含有多种导电粒子。当施加电流激励时，电流穿过细胞流向组织液，表现出阻抗的特性，可以采用阻抗描述其导电性能。并且，组织阻抗(Tissue Impedance，TI)会随肌肉活动发生一定的变化，这种阻抗变化反映了肌肉的运动状态。
基于此，本申请发明人考虑到由于单个通道的sEMG信号无法准确地反应人体自身的运动意图，而采用多通道的sEMG信号融合的方式来表达人们的运动意图时虽然能够提高对于人体手势识别的准确性，但是通过单一的方式来进行识别会由于外界环境因素的干扰以及所述多通道的sEMG信号间的干扰因素而导致识别的精准度较低。而由于组织阻抗会随肌肉活动发生一定的变化，这种阻抗变化也就反映了肌肉的运动状态，因此，在本申请的技术方案中，使用表面肌电信号的高维隐含特征以及组织阻抗值在时序维度上的动态关联特征来综合进行人体手势的识别，以提高对于手势识别的精准度。
具体地，在本申请的技术方案中，首先，使用ADS1292R芯片通过一个信号传输通道来采集受试者在预定时间段的表面肌电信号和所述受试者在所述预定时间段的多个预定时间点的组织阻抗值。也就是，在一个具体示例中，可以使用ADS1292R作为模拟前端进行肌电和阻抗信号采集，其中，ADS1292R集成两通道可编程增益放大器和两路24位模数转换器，可以用来采集生理电信号(如肌电、脑电和心电等)。该芯片还内建一个呼吸阻抗测量单元。利用该测量单元，用户可以配置芯片寄存器，使其产生一个32kHz的高频方波并输入人体，随后经过芯片内部的滤波，解调采集电极两端的低频阻抗信号。由于生理电信号和阻抗信号共用一个通道，为避免高频方波的影响，芯片内部还集成了电磁干扰(EMI)滤波器，从而实现对携带阻抗信号的方波过滤。
然后，使用特征联合编码器的图像编码器中的卷积神经网络来对所述表面肌电信号的波形图进行编码，以提取出所述表面肌电信号的波形图的局部高维隐含特征分布，从而生成所述第一特征向量。
对于所述多个预定时间点的组织阻抗值，考虑到所述组织阻抗值在时序维度上具有着动态性关联特征，因此为了充分挖掘出所述组织阻抗值在时序维度上的动态性隐含关联特征信息，将其通过所述特征联合编码器的序列编码器中进行编码处理以提取出所述多个预定时间点的组织阻抗值之间的基于全局的高维语义特征以更适于表征肌肉的运动状态的本质特征，从而获得第二特征向量。
进一步地，融合所述第一特征向量与所述第二特征向量以获得关联特征矩阵。应可以理解，由于所述表面肌电信号的波形图的局部高维隐含特征分布与所述多个预定时间点的组织阻抗值的动态隐含关联特征之间的特征尺度不同，其在高维特征空间中所对应的特征分布流形也并不相同，因此并不能够通过加权和的方式来融合这两者的特征信息。若想提高特征融合的效果进而提高分类的准确性，进一步计算所述第一特征向量与所述第二特征向量间的关联矩阵来得到关联特征矩阵。
这样，将所述关联特征矩阵通过分类器中就能够得到用于表示受试者的手势类型标签的分类结果。但是，在使用所述第一特征向量V1和所述第二特征向量V2的关联矩阵作为矩阵进行分类时，为了避免源数据的共采集通道干扰导致的特征向量之间的特征不相容性导致关联矩阵的稀疏度增大，进一步引入特征向量之间的概率互相关度量来作为损失函数，表示为：
其中：
v1i和v2i分别是第一特征向量V1和第二特征向量V2的第i个位置的特征值，且
和
分别是第一特征向量V1和第二特征向量V2的各位置的特征值均值。
另外：
这样，通过以该概率互相关度量值作为损失函数来训练CLIP模型的文本编码器和图像编码器，可以实现编码特征向量在特征空间内的子区域间相关性和子区域内相关性迁移，从而促进特征向量间的双向逼近，以满足关联矩阵的特征表达在概率密度下的稠密性，进而提高分类的准确性。
图1图示了根据本申请实施例的基于特征联合编码的手势识别方法的应用场景图。如图1所示，在该应用场景中，在训练阶段中，通过表面肌电信号传感器(例如,图1中的S1)和组织阻抗值检测器(例如,图1中的S2)获取受试者在预定时间段的表面肌电信号和所述受试者在所述预定时间段的多个预定时间点的组织阻抗值；然后，将所述受试者在预定时间段的表面肌电信号和所述受试者在所述预定时间段的多个预定时间点的组织阻抗值输入至部署有用于特征联合编码的手势识别算法的服务器(例如,图1中的S)中，其中，所述服务器能够以所述特征联合编码的手势识别算法分类损失函数值和所述概率互相关度量值的加权和作为损失函数值来训练所述特征联合编码器。
在训练完成后，在推断阶段中，通过表面肌电信号传感器(例如,图1中的S1)和组织阻抗值检测器(例如,图1中的S2)获取受试者在预定时间段的表面肌电信号和所述受试者在所述预定时间段的多个预定时间点的组织阻抗值；然后，将所述受试者在预定时间段的表面肌电信号和所述受试者在所述预定时间段的多个预定时间点的组织阻抗值输入至部署有用于特征联合编码的手势识别算法的服务器(例如,图1中的S)中，其中，所述服务器能够以所述特征联合编码的手势识别算法对输入的信息进行处理以生成用于表示受试者的手势类型标签的分类结果。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性方法
图2图示了根据本申请实施例的基于特征联合编码的手势识别方法中训练阶段的流程图。如图2所示，根据本申请实施例的特征联合编码的手势识别方法，包括：训练阶段，包括：S110，获取受试者在预定时间段的表面肌电信号和所述受试者在所述预定时间段的多个预定时间点的组织阻抗值；S120，将所述表面肌电信号的波形图通过特征联合编码器的图像编码器以生成第一特征向量；S130，将所述多个预定时间点的组织阻抗值输入所述特征联合编码器的序列编码器以获得第二特征向量；S140，所述特征联合编码器融合所述第一特征向量与所述第二特征向量以获得关联特征矩阵；S150，将所述关联特征矩阵通过分类器以获得分类损失函数值；S160，计算所述第一特征向量和所述第二特征向量之间的概率互相关度量值，其中，所述概率互相关度量值基于以所述第一特征向量中各个位置的特征值与所述第一特征向量的所有特征值的均值之差乘以所述第二特征向量中各个位置的特征值与所述第二特征向量的所有特征值的均值之差之间的乘积的均值为幂的自然指数函数值、所述第一特征向量的标准差和所述第二特征向量的标准差生成；以及，S170，计算所述分类损失函数值和所述概率互相关度量值的加权和作为损失函数值来训练所述特征联合编码器。
图3图示了根据本申请实施例的基于特征联合编码的手势识别方法中推断阶段的流程图。如图3所示，根据本申请实施例的特征联合编码的手势识别方法，还包括推断阶段，包括步骤：S210，获取受试者在预定时间段的表面肌电信号和所述受试者在所述预定时间段的多个预定时间点的组织阻抗值；S220，将所述表面肌电信号的波形图通过经训练完成的所述特征联合编码器的图像编码器以生成第一特征向量；S230，将所述多个预定时间点的组织阻抗值输入经训练完成的所述特征联合编码器的序列编码器以获得第二特征向量；S240，所述特征联合编码器融合所述第一特征向量与所述第二特征向量以获得关联特征矩阵；以及，S250，将所述关联特征矩阵通过分类器以获得分类结果，所述分类结果为受试者的手势类型标签。
图4图示了根据本申请实施例的基于特征联合编码的手势识别方法中训练阶段的架构示意图。如图4所示，在训练阶段中，在该网络结构中，首先将所获取的表面肌电信号的波形图通过特征联合编码器的图像编码器以生成第一特征向量；同时，将所获取的多个预定时间点的组织阻抗值输入所述特征联合编码器的序列编码器以获得第二特征向量；将所述第一特征向量与所述第二特征向量通过所述特征联合编码器进行融合以获得关联特征矩阵；将所述关联特征矩阵通过分类器以获得分类损失函数值；接着，计算所述第一特征向量和所述第二特征向量之间的概率互相关度量值，其中，所述概率互相关度量值基于以所述第一特征向量中各个位置的特征值与所述第一特征向量的所有特征值的均值之差乘以所述第二特征向量中各个位置的特征值与所述第二特征向量的所有特征值的均值之差之间的乘积的均值为幂的自然指数函数值、所述第一特征向量的标准差和所述第二特征向量的标准差生成；进而，计算所述分类损失函数值和所述概率互相关度量值的加权和作为损失函数值来训练所述特征联合编码器。
图5图示了根据本申请实施例的基于特征联合编码的手势识别方法中推断阶段的架构示意图。如图5所示，在推断阶段中，在该网络结构中，首先将所获取的表面肌电信号的波形图通过特征联合编码器的图像编码器以生成第一特征向量；同时，将所获取的多个预定时间点的组织阻抗值输入所述特征联合编码器的序列编码器以获得第二特征向量；将所述第一特征向量与所述第二特征向量通过所述特征联合编码器进行融合以获得关联特征矩阵；最后，将所述关联矩阵通过分类器以得到分类结果，所述分类结果为受试者的手势类型标签。
更具体地，在训练阶段中，在步骤S110中，获取受试者在预定时间段的表面肌电信号和所述受试者在所述预定时间段的多个预定时间点的组织阻抗值。表面肌电是利用电极在体表记录的反映肌肉活动的一种生物电信号，具有非侵入、易于获取的特点。由于表面肌电信号蕴含丰富的运动信息，常用来进行运动意图识别，因此被广泛应用于人机交互的***设计中，但是通过单一的方式来进行识别会由于外界环境因素的干扰以及所述多通道的sEMG信号间的干扰因素而导致识别的精准度较低。生物组织含有大量的组织液、细胞内液等液体，其中含有多种导电粒子，当施加电流激励时，电流穿过细胞流向组织液，表现出阻抗的特性，因此可以采用阻抗描述其导电性能，而由于组织阻抗会随肌肉活动发生一定的变化，这种阻抗变化也就反映了肌肉的运动状态，因此，在本申请的技术方案中，使用表面肌电信号的高维隐含特征以及组织阻抗值在时序维度上的动态关联特征来综合进行人体手势的识别，以提高对于手势识别的精准度。
在本申请的一个具体示例中，使用ADS1292R芯片通过一个信号传输通道来采集受试者在预定时间段的表面肌电信号和所述受试者在所述预定时间段的多个预定时间点的组织阻抗值。其中，ADS1292R集成两通道可编程增益放大器和两路24位模数转换器，可以用来采集生理电信号(如肌电、脑电和心电等)。该芯片还内建一个呼吸阻抗测量单元。利用该测量单元，用户可以配置芯片寄存器，使其产生一个32kHz的高频方波并输入人体，随后经过芯片内部的滤波，解调采集电极两端的低频阻抗信号。由于生理电信号和阻抗信号共用一个通道，为避免高频方波的影响，芯片内部还集成了电磁干扰(EMI)滤波器，从而实现对携带阻抗信号的方波过滤。
更具体地，在训练阶段中，在步骤S120中，将所述表面肌电信号的波形图通过特征联合编码器的图像编码器以生成第一特征向量。表面肌电信号sEMG是一种不平稳非周期的微弱信号,基于时域和频域特征提取的sEMG信号分类方法识别率低、稳定性差。因此，可利用卷积神经网络CNN对sEMG信号能量核相图进行分类的新架构,来对人体手势动作进行识别。首先,利用矩阵计数方法将sEMG信号能量核相图处理为灰度图像；其次,利用移动平均对灰度图进行预处理；最后,采用CNN对手势sEMG信号进行识别。利用手势sEMG信号数据集进行了实验验证,结果表明选用CNN识别框架的有效性以及CNN结合能量核相图的识别方法相比于能量核面积提取方法,在识别精度和计算效率上具有明显的优势。
在本申请的一个具体示例中，使用特征联合编码器的图像编码器中的卷积神经网络来对所述表面肌电信号的波形图进行编码，以提取出所述表面肌电信号的波形图的局部高维隐含特征分布，从而生成所述第一特征向量。所述图像编码器使用卷积神经网络对所述表面肌电信号的波形图进行编码以生成所述第一特征向量，包括：所述卷积神经网络的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述卷积神经网络的最后一层的输出为所述第一特征向量，所述卷积神经网络的第一层的输入为所述表面肌电信号的波形图。
更具体地，在训练阶段中，在步骤S130中，将所述多个预定时间点的组织阻抗值输入所述特征联合编码器的序列编码器以获得第二特征向量。对于所述多个预定时间点的组织阻抗值，考虑到所述组织阻抗值在时序维度上具有着动态性关联特征，因此为了充分挖掘出所述组织阻抗值在时序维度上的动态性隐含关联特征信息，将其通过所述特征联合编码器的序列编码器中进行编码处理以提取出所述多个预定时间点的组织阻抗值之间的基于全局的高维语义特征以更适于表征肌肉的运动状态的本质特征，从而获得第二特征向量。
在本申请的一个具体示例中，将所述多个预定时间点的组织阻抗值输入所述特征联合编码器的序列编码器以获得第二特征向量，包括：所述序列编码器使用嵌入层将所述多个预定时间点的组织阻抗值分别映射为嵌入向量以获得嵌入向量的序列；以及，所述序列编码器使用双向LSTM模型对所述嵌入向量的序列进行基于上下文的语义编码以生成所述第二特征向量。
更具体地，在训练阶段中，在步骤S140中，所述特征联合编码器融合所述第一特征向量与所述第二特征向量以获得关联特征矩阵。应可以理解，由于所述表面肌电信号的波形图的局部高维隐含特征分布与所述多个预定时间点的组织阻抗值的动态隐含关联特征之间的特征尺度不同，其在高维特征空间中所对应的特征分布流形也并不相同，因此并不能够通过加权和的方式来融合这两者的特征信息。若想提高特征融合的效果进而提高分类的准确性，进一步计算所述第一特征向量与所述第二特征向量间的关联矩阵来得到关联特征矩阵。
在本申请的一个具体示例中，所述特征联合编码器融合所述第一特征向量与所述第二特征向量以获得关联特征矩阵，包括：所述特征联合编码器以如下公式融合所述第一特征向量与所述第二特征向量以获得所述关联特征矩阵；
其中，所述公式为：
其中V1表示所述第一特征向量，V2表示所述第二特征向量，M表示所述关联特征矩阵。
更具体地，在训练阶段中，在步骤S150中，将所述关联特征矩阵通过分类器以获得分类损失函数值。使用所述分类器以如下公式对所述关联矩阵进行处理以得到分类结果，所述公式为：
softmax{(Wn,Bn):…:(W1,B1)|Project(F)}，其中Project(F)表示将所述关联矩阵投影为向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn表示各层全连接层的偏置矩阵；以及，计算所述分类结果与真实值之间的交叉熵值作为所述分类损失函数值。
更具体地，在训练阶段中，在步骤S160中，计算所述第一特征向量和所述第二特征向量之间的概率互相关度量值，其中，所述概率互相关度量值基于以所述第一特征向量中各个位置的特征值与所述第一特征向量的所有特征值的均值之差乘以所述第二特征向量中各个位置的特征值与所述第二特征向量的所有特征值的均值之差之间的乘积的均值为幂的自然指数函数值、所述第一特征向量的标准差和所述第二特征向量的标准差生成；
在本申请的一个具体示例中，所述计算所述第一特征向量和所述第二特征向量之间的概率互相关度量值，包括：以如下公式计算所述第一特征向量和所述第二特征向量之间的所述概率互相关度量值；
其中，所述公式为：
其中：
其中V1表示所述第一特征向量，V2表示所述第二特征向量，v1i和v2i分别是所述第一特征向量和所述第二特征向量的第i个位置的特征值，且
和
分别是所述第一特征向量和所述第二特征向量的各位置的特征值均值，exp(·)表示向量的指数运算，对向量进行指数运算表示以向量中各个位置的特征值为幂的自然指数函数值。这样，通过以该概率互相关度量值作为损失函数来训练CLIP模型的文本编码器和图像编码器，可以实现编码特征向量在特征空间内的子区域间相关性和子区域内相关性迁移，从而促进特征向量间的双向逼近，以满足关联矩阵的特征表达在概率密度下的稠密性，进而提高分类的准确性。
更具体地，在训练阶段中，在步骤S170中，计算所述分类损失函数值和所述概率互相关度量值的加权和作为损失函数值来训练所述特征联合编码器。在本申请的技术方案中，在所述特征联合编码器的训练过程中，首先将所述关联特征矩阵通过分类器以得到分类损失函数值；然后，以所述分类损失函数值和所述概率互相关度量值的加权和作为损失函数值来训练所述特征联合编码器；通过上述方式训练，使所述特征联合编码器的参数得以更新。
在训练完成后，进入推断阶段。也就是，以上述方式可以得到经训练阶段训练完成的所述特征联合编码器，然后，将所述经训练阶段训练完成的所述特征联合编码器用于实际的推断中，以得到更为准确的特征联合编码的手势识别的分类结果。
首先，获取受试者在预定时间段的表面肌电信号和所述受试者在所述预定时间段的多个预定时间点的组织阻抗值；将所述表面肌电信号的波形图通过特征联合编码器的图像编码器以生成第一特征向量；将所述多个预定时间点的组织阻抗值输入所述特征联合编码器的序列编码器以获得第二特征向量；所述特征联合编码器融合所述第一特征向量与所述第二特征向量以获得关联特征矩阵；计算所述第一特征向量和所述第二特征向量之间的概率互相关度量值，其中，所述概率互相关度量值基于以所述第一特征向量中各个位置的特征值与所述第一特征向量的所有特征值的均值之差乘以所述第二特征向量中各个位置的特征值与所述第二特征向量的所有特征值的均值之差之间的乘积的均值为幂的自然指数函数值、所述第一特征向量的标准差和所述第二特征向量的标准差生成；最后，将所述关联特征矩阵通过分类器以获得分类结果，所述分类结果为受试者的手势类型标签。
综上，基于本申请实施例的基于特征联合编码的手势识别方法被阐明，其使用表面肌电信号的高维隐含特征以及组织阻抗值在时序维度上的动态关联特征来综合进行人体手势的识别，以提高对于手势识别的精准度。
示例性***
图6图示了根据本申请实施例的基于特征联合编码的手势识别***的框图。如图6所示，根据本申请实施例的极片质量监测***500，包括：训练模块510，包括：训练生理电信号和阻抗信号获取单元511，用于获取受试者在预定时间段的表面肌电信号和所述受试者在所述预定时间段的多个预定时间点的组织阻抗值；训练第一特征向量生成单元512，用于将所述表面肌电信号的波形图通过特征联合编码器的图像编码器以生成第一特征向量；训练第二特征向量生成单元513，用于将所述多个预定时间点的组织阻抗值输入所述特征联合编码器的序列编码器以获得第二特征向量；融合单元514，用于所述特征联合编码器融合所述第一特征向量与所述第二特征向量以获得关联特征矩阵；分类损失函数值计算单元515，将所述关联特征矩阵通过分类器以获得分类损失函数值；概率互相关度量值计算单元516，用于计算所述第一特征向量和所述第二特征向量之间的概率互相关度量值，其中，所述概率互相关度量值基于以所述第一特征向量中各个位置的特征值与所述第一特征向量的所有特征值的均值之差乘以所述第二特征向量中各个位置的特征值与所述第二特征向量的所有特征值的均值之差之间的乘积的均值为幂的自然指数函数值、所述第一特征向量的标准差和所述第二特征向量的标准差生成；训练单元517，用于计算所述分类损失函数值和所述概率互相关度量值的加权和作为损失函数值来训练所述特征联合编码器；以及，推断模块520，包括：生理电信号和阻抗信号获取单元521，用于获取受试者在预定时间段的表面肌电信号和所述受试者在所述预定时间段的多个预定时间点的组织阻抗值；第一特征向量生成单元522，用于将所述表面肌电信号的波形图通过经训练完成的所述特征联合编码器的图像编码器以生成第一特征向量；第二特征向量生成单元523，用于将所述多个预定时间点的组织阻抗值输入经训练完成的所述特征联合编码器的序列编码器以获得第二特征向量；关联矩阵生成单元524，所述特征联合编码器融合所述第一特征向量与所述第二特征向量以获得关联特征矩阵；分类结果生成单元525，用于将所述关联特征矩阵通过分类器以获得分类结果，所述分类结果为受试者的手势类型标签。
在一个示例中，在上述特征联合编码的手势识别***500中，所述训练生理电信号和阻抗信号获取单元511，进一步用于：使用ADS1292R芯片通过一个信号传输通道来采集所述表面肌电信号和所述组织阻抗值。
在一个示例中，在上述特征联合编码的手势识别***500中，所述训练第一特征向量生成单元512，进一步用于：使用所述卷积神经网络的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述卷积神经网络的最后一层的输出为所述第一特征向量，所述卷积神经网络的第一层的输入为所述表面肌电信号的波形图。
在一个示例中，在上述特征联合编码的手势识别***500中，所述融合单元514，进一步用于：使用所述特征联合编码器以如下公式融合所述第一特征向量与所述第二特征向量以获得所述关联特征矩阵；
其中，所述公式为：
其中V1表示所述第一特征向量，V2表示所述第二特征向量，M表示所述关联特征矩阵。
在一个示例中，在上述特征联合编码的手势识别***500中，所述分类损失函数值计算单元515，进一步用于：使用所述分类器以如下公式对所述关联特征矩阵进行处理以生成分类结果，其中，所述公式为：
softmax{(Wn,Bn):…:(W1,B1)|Project(F)}，其中Project(F)表示将所述关联特征矩阵投影为向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn表示各层全连接层的偏置矩阵；以及，计算所述分类结果与真实值之间的交叉熵值作为所述分类损失函数值。
在一个示例中，在上述特征联合编码的手势识别***500中，所述概率互相关度量值计算单元516，进一步用于：以如下公式计算所述第一特征向量和所述第二特征向量之间的所述概率互相关度量值；
其中，所述公式为：
其中：
其中V1表示所述第一特征向量，V2表示所述第二特征向量，v1i和v2i分别是所述第一特征向量和所述第二特征向量的第i个位置的特征值，且
和
分别是所述第一特征向量和所述第二特征向量的各位置的特征值均值，exp(·)表示向量的指数运算，对向量进行指数运算表示以向量中各个位置的特征值为幂的自然指数函数值。
这里，本领域技术人员可以理解，上述特征联合编码的手势识别***500中的各个单元和模块的具体功能和操作已经在上面参考图1到图6的用于特征联合编码的手势识别方法的描述中得到了详细介绍，并因此，将省略其重复描述。
如上所述，根据本申请实施例的特征联合编码的手势识别***500可以实现在各种终端设备中。在一个示例中，根据本申请实施例的特征联合编码的手势识别***500可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该特征联合编码的手势识别***500可以是该终端设备的操作***中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该特征联合编码的手势识别***500同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该特征联合编码的手势识别***500与该终端设备也可以是分立的设备，并且该特征联合编码的手势识别***500可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
Claims (10)
1.一种基于特征联合编码的手势识别方法，其特征在于，包括：
训练阶段，包括：
获取受试者在预定时间段的表面肌电信号和所述受试者在所述预定时间段的多个预定时间点的组织阻抗值；
将所述表面肌电信号的波形图通过特征联合编码器的图像编码器以生成第一特征向量；
将所述多个预定时间点的组织阻抗值输入所述特征联合编码器的序列编码器以获得第二特征向量；
所述特征联合编码器融合所述第一特征向量与所述第二特征向量以获得关联特征矩阵；
将所述关联特征矩阵通过分类器以获得分类损失函数值；
计算所述第一特征向量和所述第二特征向量之间的概率互相关度量值，其中，所述概率互相关度量值基于以所述第一特征向量中各个位置的特征值与所述第一特征向量的所有特征值的均值之差乘以所述第二特征向量中各个位置的特征值与所述第二特征向量的所有特征值的均值之差之间的乘积的均值为幂的自然指数函数值、所述第一特征向量的标准差和所述第二特征向量的标准差生成；以及
计算所述分类损失函数值和所述概率互相关度量值的加权和作为损失函数值来训练所述特征联合编码器；以及
推断阶段，包括：
获取受试者在预定时间段的表面肌电信号和所述受试者在所述预定时间段的多个预定时间点的组织阻抗值；
将所述表面肌电信号的波形图通过经训练完成的所述特征联合编码器的图像编码器以生成第一特征向量；
将所述多个预定时间点的组织阻抗值输入经训练完成的所述特征联合编码器的序列编码器以获得第二特征向量；
所述特征联合编码器融合所述第一特征向量与所述第二特征向量以获得关联特征矩阵；以及
将所述关联特征矩阵通过分类器以获得分类结果，所述分类结果为受试者的手势类型标签。
2.根据权利要求1所述的基于特征联合编码的手势识别方法，其特征在于，所述获取受试者在预定时间段的表面肌电信号和所述受试者在所述预定时间段的多个预定时间点的组织阻抗值，包括：
使用ADS1292R芯片通过一个信号传输通道来采集所述表面肌电信号和所述组织阻抗值。
3.根据权利要求2所述的基于特征联合编码的手势识别方法，其特征在于，所述将所述表面肌电信号的波形图通过特征联合编码器的图像编码器以生成第一特征向量，包括：
所述图像编码器使用卷积神经网络对所述表面肌电信号的波形图进行编码以生成所述第一特征向量。
4.根据权利要求3所述的基于特征联合编码的手势识别方法，其特征在于，所述图像编码器使用卷积神经网络对所述表面肌电信号的波形图进行编码以生成所述第一特征向量，包括：
所述卷积神经网络的各层在层的正向传递中分别进行：
对输入数据进行卷积处理以得到卷积特征图；
对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及
对所述池化特征图进行非线性激活以得到激活特征图；
其中，所述卷积神经网络的最后一层的输出为所述第一特征向量，所述卷积神经网络的第一层的输入为所述表面肌电信号的波形图。
5.根据权利要求4所述的基于特征联合编码的手势识别方法，其特征在于，所述将所述多个预定时间点的组织阻抗值输入所述特征联合编码器的序列编码器以获得第二特征向量，包括：
所述序列编码器使用嵌入层将所述多个预定时间点的组织阻抗值分别映射为嵌入向量以获得嵌入向量的序列；以及
所述序列编码器使用双向LSTM模型对所述嵌入向量的序列进行基于上下文的语义编码以生成所述第二特征向量。
6.根据权利要求5所述的基于特征联合编码的手势识别方法，其特征在于，所述特征联合编码器融合所述第一特征向量与所述第二特征向量以获得关联特征矩阵，包括：
所述特征联合编码器以如下公式融合所述第一特征向量与所述第二特征向量以获得所述关联特征矩阵；
其中，所述公式为：
其中V1表示所述第一特征向量，V2表示所述第二特征向量，M表示所述关联特征矩阵。
7.根据权利要求6所述的基于特征联合编码的手势识别方法，其特征在于，所述将所述关联特征矩阵通过分类器以获得分类损失函数值，包括：
使用所述分类器以如下公式对所述关联特征矩阵进行处理以生成分类结果，其中，所述公式为：softmax{(Wn,Bn):…:(W1,B1)|Project(F)}，其中Project(F)表示将所述关联特征矩阵投影为向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn表示各层全连接层的偏置矩阵；以及
计算所述分类结果与真实值之间的交叉熵值作为所述分类损失函数值。
8.根据权利要求7所述的基于特征联合编码的手势识别方法，其特征在于，所述计算所述第一特征向量和所述第二特征向量之间的概率互相关度量值，包括：
以如下公式计算所述第一特征向量和所述第二特征向量之间的所述概率互相关度量值；
其中，所述公式为：
其中：
其中V1表示所述第一特征向量，V2表示所述第二特征向量，v1i和v2i分别是所述第一特征向量和所述第二特征向量的第i个位置的特征值，且
和
分别是所述第一特征向量和所述第二特征向量的各位置的特征值均值，exp(·)表示向量的指数运算，对向量进行指数运算表示以向量中各个位置的特征值为幂的自然指数函数值。
9.一种基于特征联合编码的手势识别***，其特征在于，包括：
训练模块，包括：
训练生理电信号和阻抗信号获取单元，用于获取受试者在预定时间段的表面肌电信号和所述受试者在所述预定时间段的多个预定时间点的组织阻抗值；
训练第一特征向量生成单元，用于将所述表面肌电信号的波形图通过特征联合编码器的图像编码器以生成第一特征向量；
训练第二特征向量生成单元，用于将所述多个预定时间点的组织阻抗值输入所述特征联合编码器的序列编码器以获得第二特征向量；
融合单元，用于所述特征联合编码器融合所述第一特征向量与所述第二特征向量以获得关联特征矩阵；
分类损失函数值计算单元，用于将所述关联特征矩阵通过分类器以获得分类损失函数值；
概率互相关度量值计算单元，用于计算所述第一特征向量和所述第二特征向量之间的概率互相关度量值，其中，所述概率互相关度量值基于以所述第一特征向量中各个位置的特征值与所述第一特征向量的所有特征值的均值之差乘以所述第二特征向量中各个位置的特征值与所述第二特征向量的所有特征值的均值之差之间的乘积的均值为幂的自然指数函数值、所述第一特征向量的标准差和所述第二特征向量的标准差生成；
训练单元，用于计算所述分类损失函数值和所述概率互相关度量值的加权和作为损失函数值来训练所述特征联合编码器；以及
推断模块，包括：
生理电信号和阻抗信号获取单元，用于获取受试者在预定时间段的表面肌电信号和所述受试者在所述预定时间段的多个预定时间点的组织阻抗值；
第一特征向量生成单元，用于将所述表面肌电信号的波形图通过经训练完成的所述特征联合编码器的图像编码器以生成第一特征向量；
第二特征向量生成单元，用于将所述多个预定时间点的组织阻抗值输入经训练完成的所述特征联合编码器的序列编码器以获得第二特征向量；
关联矩阵生成单元，用于所述特征联合编码器融合所述第一特征向量与所述第二特征向量以获得关联特征矩阵；
分类结果生成单元，用于将所述关联特征矩阵通过分类器以获得分类结果，所述分类结果为受试者的手势类型标签。
10.根据权利要求9所述的基于特征联合编码的手势识别***，其特征在于，所述融合单元，进一步用于：
使用所述特征联合编码器以如下公式融合所述第一特征向量与所述第二特征向量以获得所述关联特征矩阵；
其中，所述公式为：
其中V1表示所述第一特征向量，V2表示所述第二特征向量，M表示所述关联特征矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211716006.XA CN115981470A (zh) | 2022-12-29 | 2022-12-29 | 基于特征联合编码的手势识别方法及其*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211716006.XA CN115981470A (zh) | 2022-12-29 | 2022-12-29 | 基于特征联合编码的手势识别方法及其*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115981470A true CN115981470A (zh) | 2023-04-18 |
Family
ID=85964525
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211716006.XA Withdrawn CN115981470A (zh) | 2022-12-29 | 2022-12-29 | 基于特征联合编码的手势识别方法及其*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115981470A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116431004A (zh) * | 2023-06-01 | 2023-07-14 | 山东协和学院 | 康复机器人交互行为的控制方法及*** |
| CN117708682A (zh) * | 2024-02-06 | 2024-03-15 | 吉林大学 | 脑电波智能采集分析***及方法 |
-
2022
- 2022-12-29 CN CN202211716006.XA patent/CN115981470A/zh not_active Withdrawn
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116431004A (zh) * | 2023-06-01 | 2023-07-14 | 山东协和学院 | 康复机器人交互行为的控制方法及*** |
| CN116431004B (zh) * | 2023-06-01 | 2023-08-29 | 山东协和学院 | 康复机器人交互行为的控制方法及*** |
| CN117708682A (zh) * | 2024-02-06 | 2024-03-15 | 吉林大学 | 脑电波智能采集分析***及方法 |
| CN117708682B (zh) * | 2024-02-06 | 2024-04-19 | 吉林大学 | 脑电波智能采集分析***及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10653330B2 (en) | System and methods for processing neural signals | |
| Yin et al. | Effective and efficient computation with multiple-timescale spiking recurrent neural networks | |
| CN115981470A (zh) | 基于特征联合编码的手势识别方法及其*** | |
| Chen et al. | Surface electromyography feature extraction via convolutional neural network | |
| CN111134666A (zh) | 一种多通道脑电数据的情绪识别方法及电子装置 | |
| CN115953840A (zh) | 基于并行网络的手势识别方法及其*** | |
| CN112528804A (zh) | 基于生成对抗网络的肌电信号降噪和分类方法 | |
| Valencia et al. | Frameworks for efficient brain-computer interfacing | |
| Xu et al. | Intelligent emotion detection method based on deep learning in medical and health data | |
| Deng et al. | EEG-based emotion recognition via capsule network with channel-wise attention and LSTM models | |
| CN116880688A (zh) | 基于多通道信息融合的手势识别方法及其*** | |
| CN116250846A (zh) | 一种基于数据转换的多分支运动想象脑电信号特征融合分类方法 | |
| CN114756128A (zh) | 可穿戴设备的交互控制***及其工作方法 | |
| Xi et al. | Feature extraction of surface electromyography based on improved small-world leaky echo state network | |
| CN114428555A (zh) | 一种基于皮层源信号的脑电运动意图识别方法及*** | |
| CN111789592B (zh) | 一种基于拓扑特征融合的脑电识别方法 | |
| Deng et al. | Silent speech recognition based on surface electromyography using a few electrode sites under the guidance from high-density electrode arrays | |
| CN115062728A (zh) | 时频域特征级融合的情感识别方法及其*** | |
| Krishnapriya et al. | Surface electromyography based hand gesture signal classification using 1d cnn | |
| CN110555401B (zh) | 一种基于表情识别的自适应情感表达***及方法 | |
| CN112560784A (zh) | 一种基于动态多尺度卷积神经网络的心电图分类方法 | |
| Li et al. | MyoTac: Real‐Time Recognition of Tactical Sign Language Based on Lightweight Deep Neural Network | |
| Alsakkal et al. | Application based Evaluation of an Efficient Spike-Encoder," Spiketrum" | |
| Yang et al. | Multi-stream CNN-SVM Hybrid Model for Gesture Recognition based on sEMG Signals | |
| Alçin et al. | Classification of physical actions from surface EMG signals using the wavelet packet transform and local binary patterns |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20230418 |