CN112558775A - 基于表面肌电信号识别的无线键盘输入方法及装置 - Google Patents
基于表面肌电信号识别的无线键盘输入方法及装置 Download PDFInfo
- Publication number
- CN112558775A CN112558775A CN202011460713.8A CN202011460713A CN112558775A CN 112558775 A CN112558775 A CN 112558775A CN 202011460713 A CN202011460713 A CN 202011460713A CN 112558775 A CN112558775 A CN 112558775A
- Authority
- CN
- China
- Prior art keywords
- neural network
- arm ring
- input
- wireless keyboard
- surface electromyogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000013528 artificial neural network Methods 0.000 claims abstract description 70
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000013507 mapping Methods 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 26
- 230000003183 myoelectrical effect Effects 0.000 claims abstract description 20
- 238000003860 storage Methods 0.000 claims abstract description 12
- 238000012790 confirmation Methods 0.000 claims abstract description 8
- 230000003993 interaction Effects 0.000 claims abstract description 8
- 230000009471 action Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000009826 distribution Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 2
- 210000003811 finger Anatomy 0.000 description 34
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 6
- 210000003813 thumb Anatomy 0.000 description 3
- 238000004883 computer application Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002567 electromyography Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 230000002301 combined effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 239000004519 grease Substances 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 210000004936 left thumb Anatomy 0.000 description 1
- 210000004932 little finger Anatomy 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000002232 neuromuscular Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 210000004935 right thumb Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
- G06F3/0231—Cordless keyboards
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Dermatology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Biophysics (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本申请涉及一种基于表面肌电信号识别的无线键盘输入方法、装置、计算机设备及存储介质，其中该方法包括：将手机九宫格输入法中各个字母键值及选择键和确认键有序的分配到不同的手指上；获取通过双臂环采集到的表面肌电信号；对所述双臂环提取出的16通道表面肌电信号进行特征处理及非线性映射，作为BP神经网络的输入；对所述BP神经网络进行迭代训练得到BP神经网络先验模型；根据所述BP神经网络先验模型识别当前正在点击的手指，并根据预先分配好的键位生成对应的输入指令以实现人机交互。本发明实现了可支持输入汉字及英文的无线键盘输入方式，提高了表面肌电信号识别的准确度以及提高了无线键盘输入的准确性。
Description
技术领域
本发明涉及计算机应用技术领域，特别是涉及一种基于表面肌电信号识别的无线键盘输入方法、装置、计算机设备及存储介质。
背景技术
随着计算机应用的普及，电脑在大部分行业中具有越来越重要的作用，从当前市场来看，绝大多数的键盘还都是在外形，使用方式等方面下功夫，对于键位上并没有太大的变动。传统的键盘都用机械式按压的方法实现输入，这样的键盘输入速度会有一个极限，因为传统的键盘需要找到每个字符所对应的按键，手指移动寻找按键会消耗一定的时间。且传统的键盘都是平面式的，且体积较大。
显然，传统标准键盘很容易受到灰尘、油脂及其它因素的影响而无法正常工作。防护塑料盖的作用很有限，标准键盘和鼠标需要经常更换，并且传统的键盘的不易携带，输入数据有较大局限性。
2016年，美国的Tap Systems公司利用多种传感器相结合的方法，推出了一款可穿戴式智能键盘，这款可移动键盘的名字叫做Tap Strap。它可以识别出手指的各种动作，从而实现键盘的输入功能，进行人机交互。然而，对于Tap Systems的可穿戴式键盘TapStrap，并不能满足中文输入的需求，难以在国内市场得到广泛的应用。
发明内容
基于此，有必要针对上述技术问题，提供一种基于表面肌电信号识别的无线键盘输入方法、装置、计算机设备及存储介质。
一种基于表面肌电信号识别的无线键盘输入方法，所述方法包括：
将手机九宫格输入法中各个字母键值及选择键和确认键有序的分配到不同的手指上；
获取通过双臂环采集到的表面肌电信号；
对所述双臂环提取出的16通道表面肌电信号进行特征处理及非线性映射，作为BP神经网络的输入；
对所述BP神经网络进行迭代训练得到BP神经网络先验模型；
根据所述BP神经网络先验模型识别当前正在点击的手指，并根据预先分配好的键位生成对应的输入指令以实现人机交互。
在其中一个实施例中，所述获取通过双臂环采集到的表面肌电信号的步骤还包括：
通过两个MYO臂环采集表面肌电信号，每个所述MYO臂环分别检测出8通道的表面肌电信号；
将左臂佩戴的MYO臂环作为从机臂环，将右臂佩戴的MYO臂环作为主机臂环，所述主机臂环与所述从机臂环相互通信；
当检测到标志性的表面肌电信号时，所述从机臂环将采集到的表面肌电信号传输给主机臂环；
所述主机臂环与计算机终端相互通信，并将检测信息发送给计算机终端以完成信息传输。
在其中一个实施例中，所述对所述双臂环提取出的16通道表面肌电信号进行特征处理及非线性映射，作为BP神经网络的输入的步骤具体包括：
对两个MYO臂环采集到的表面肌电信号进行预处理；
其中，Elm(n)表示从机臂环采集到的8通道信号，Erm(t)表示主机臂环采集到的8通道信号，每个通道每次被提取的信号点数为N，m∈[1，8]表示8个通道，n∈[0，N-1]表示N个数据，对信号取绝对值之和的平均值得到
和
mean(·)表示取平均值。
在其中一个实施例中，所述对所述双臂环提取出的16通道表面肌电信号进行特征处理及非线性映射，作为BP神经网络的输入的步骤还包括：
利用长度为W＝32个时间序列点的窗口，对原始采集到的16通道表面肌电信号Elm(n)及Erm(t)做移动、求和、平均处理，前进的步长s设置为3个时间序列点，计算得到Eslm(k)及Esrm(k)；
其中，
rm，lm∈[1，8]，下标i表示每次以s＝3为单位增加。
在其中一个实施例中，所述对所述双臂环提取出的16通道表面肌电信号进行特征处理及非线性映射，作为BP神经网络的输入的步骤还包括：
对经窗口滑动产生的16组数据进行分段加权相加；
将每组数据划分为三段，将处于前三分之一的数据和后三分之一的数据用较小的权重参数α＝0.25进行加权，对于处于中间峰值较高的三分之一信号序列用较大权重1-2α＝0.5进行加权，在利用中间序列对加权值，进行非线性映射，得到
表达式如下：
其中，ε为微小波动，normalize(·)表示归一化操作。
在其中一个实施例中，所述对所述双臂环提取出的16通道表面肌电信号进行特征处理及非线性映射，作为BP神经网络的输入的步骤还包括：
根据计算出的
和
进一步计算BP神经网络的输入R(m)和L(m)；
其中，m∈[1，8]，θ为微小波动，Threshold为信号波动阈值，Maxpooling(·)表示以窗口长度为L＝10个时间序列长度进行最大池化选出十个点中的最大值，Minpooling(·)表示以窗口长度为L＝10个时间序列长度进行最小池化选出十个点中的最小值。
在其中一个实施例中，所述对所述BP神经网络进行迭代训练得到BP神经网络先验模型的步骤具体包括：
将对所述表面肌电信号进行特征处理及非线性映射后得到的R(m)及L(m)作为所述BP神经网络的输入值，将对应手指的动作标志位y(xi)作为所述BP神经网络的输出值；
在训练数据中，给出一组输入序列R(m)和L(m)以及相应的目标值label，按照实际值与给定的目标值之间的实际误差，通过梯度下降算法从输出层到隐含层逐层调整BP神经网络中的权值；
将表面肌电信号数据集分批次地输入到BP神经网络中，根据输出值与label值计算损失函数，再通过反向传播更新网络框架中的权重，迭代更新网络框架的权重，直至损失函数值收敛网络训练完成，损失函数表达式如下：
其中，xi∈[1，10]，表示label(xi)与序列中y(xi)的位置信息。
一种基于表面肌电信号识别的无线键盘输入装置，所述装置包括：
分配模块，所述分配模块用于将手机九宫格输入法中各个字母键值及选择键和确认键有序的分配到不同的手指上；
信号获取模块，所述信号获取模块用于获取通过双臂环采集到的表面肌电信号；
特征处理模块，所述特征处理模块用于对所述双臂环提取出的16通道表面肌电信号进行特征处理及非线性映射，作为BP神经网络的输入；
训练模块，所述训练模块用于对所述BP神经网络进行迭代训练得到BP神经网络先验模型；
识别模块，所述识别模块用于根据所述BP神经网络先验模型识别当前正在点击的手指，并根据预先分配好的键位生成对应的输入指令以实现人机交互。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一项方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项方法的步骤。
上述基于表面肌电信号识别的无线键盘输入方法、装置、计算机设备及存储介质，通过对双臂环提取出的16通道的表面肌电信号进行特征处理及非线性映射，作为BP网络的输入，学习和训练实现识别出左手和右手的食指点击、大拇指点击、中指点击、小拇指点击、无名指点击动作，将点击动作与手机九宫格输入法相结合，并与计算机设备进行通信实现了可支持输入汉字及英文的无线键盘输入方式。此外，本发明利用神经网络中的BP神经网络去识别手指点击时产生的表面肌电信号，提高了表面肌电信号识别的准确度以及提高了无线键盘输入的准确性。
附图说明
图1为一个实施例中基于表面肌电信号识别的无线键盘输入方法的流程示意图；
图2为一个实施例中将键值分配至对应手指的分配示意图；
图3为另一个实施例中基于表面肌电信号识别的无线键盘输入方法的流程示意图；
图4为一个实施例中的整体发明构思的流程示意图；
图5为一个实施例中BP神经网路的连接示意图；
图6为一个实施例中基于表面肌电信号识别的无线键盘输入装置的结构框图；
图7为又一个实施例中基于表面肌电信号识别的无线键盘输入装置的结构框图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种基于表面肌电信号识别的无线键盘输入方法，该方法包括：
步骤102，将手机九宫格输入法中各个字母键值及选择键和确认键有序的分配到不同的手指上；
步骤104，获取通过双臂环采集到的表面肌电信号；
步骤106，对双臂环提取出的16通道表面肌电信号进行特征处理及非线性映射，作为BP神经网络的输入；
步骤108，对BP神经网络进行迭代训练得到BP神经网络先验模型；
步骤110，根据BP神经网络先验模型识别当前正在点击的手指，并根据预先分配好的键位生成对应的输入指令以实现人机交互。
在本实施例中，提供了一种基于表面肌电信号识别的无线键盘输入方法，该方法针对于现有技术的局限，利用一个手指或多个手指同时做出点击动作时的表面肌电信号作为无线键盘的输入信号，提高了输入信号的多样性。其次，将九宫格输入法与手指做出点击动作所产生的表面肌电信号相结合，通过输入输出一对多映射实现了对中文输入的支持。最后，利用神经网络中的BP神经网络去识别手指点击时产生的表面肌电信号，提高了表面肌电信号识别的准确度以及提高了无线键盘输入的准确性。该方法具体的实施过程如下：
首先，需要对键位进行分配。在可穿戴键盘***构思的过程中会发现传统机械键盘上的字符很多，仅仅英文按键就有26个，当要利用十根手指去设计一个可移动化键盘时，一根手指仅定义一个键位是远远不够的。
具体地，将手机九宫格输入法中各个键值及选择键和确认键有序的分配到不同的手指上，例如可参考图2所示的分配图，通过下表进行键值分配：
此外，不同手指间的排列组合做出同时做出点击动作时，我们可以将其宏定义为其他的键盘操作。例如：大拇指与食指同时做出点击动作时，表示删除按键；左手大拇指与右手大拇指同时做出点击动作时，表示空格按键。经计算不同手指的排列组合M一共有1023种，这是完全能够满足使用键盘时的交互操作的。
在一个实施例中，如图3所示，提供了一种基于表面肌电信号识别的无线键盘输入方法，该方法中获取通过双臂环采集到的表面肌电信号的步骤还包括：
步骤302，通过两个MYO臂环采集表面肌电信号，每个MYO臂环分别检测出8通道的表面肌电信号；
步骤304，将左臂佩戴的MYO臂环作为从机臂环，将右臂佩戴的MYO臂环作为主机臂环，主机臂环与从机臂环相互通信；
步骤306，当检测到表面肌电信号时，从机臂环将采集到的表面肌电信号传输给主机臂环；
步骤308，主机臂环与计算机终端相互通信，并将检测信息发送给计算机终端以完成信息传输。
具体地，由于表面肌电信号是浅层肌肉和神经干上电活动在皮肤表面的综合效应，能在一定程度上反映神经肌肉的活动。通过信号处理及特征识别，我们可以发现不同手指运动，对应产生的表面肌电信号是有所不同的。
首先，将两个MYO臂环戴在手臂上，每个MYO臂环可检测出的8通道的表面肌电信号。通过两个MYO臂环测出的16通道表面肌电信号，特征识别出十根手指运动时的标志，完成信号检测。
接着，定义左臂佩戴的MYO臂环为从机臂环，定义右臂佩戴的MYO臂环为主机臂环，当检测到特征表面肌电信号时，主从机间相互通信，从机MYO臂环将信号传输给主机；主机臂环与电脑终端间相互通信，将检测信息发送给电脑终端，完成信息传输。
当所有的肌电采集设备都已经准备好之后就可以通过采集样本数据进行特征提取以及对BP神经网络进行训练了。具体地，可参考图4所示的本实施例发明构思的流程示意图。由于表面肌电信号本身的复杂性，选取特征值进行分类是必不可少的。表面肌电信号的提取有很多方法。在本实施例中，将对两个MYO臂环提取出的16通道表面肌电信号进行特征处理及非线性映射，作为BP神经网络的输入。
具体地，首先对两个MYO臂环采集到的表面肌电信号进行预处理，Elm(n)表示左手臂环的8通道信号，Erm(t)表示右手臂环的8通道信号，每个通道每次被提取的信号点数为N，m∈[1，8]，表示8个通道。n∈[0，N-1]，表示N个数据。对上述信号取绝对值之和的平均值，得到
和
mean(·)表示取平均值：
然后，利用长度为W＝32个时间序列点的窗口，对原始采集到的16通道表面肌电信号Elm(n)及Erm(t)做移动、求和、平均处理，前进的步长设置为s＝3个时间序列点，依次逐项求解，得到Eslm(k)及Esrm(k)。其中，
rm，lm∈[1，8]下标i表示每次以s＝3为单位增加：
接着，对经窗口滑动产生的16组数据，进行分段加权相加。具体地，将每组数据划分为三段，处于前三分之一的数据和后三分之一的数据，用较小的权重参数α＝0.25进行加权，对于处于中间峰值较高的三分之一信号序列用较大权重1-2α＝0.5进行加权，在利用中间序列对加权值进行非线性映射，得到
其中ε为微小波动，normalize(·)表示归一化操作，
表达式如下：
最后，根据采集到的16通道的表面肌电信号计算出的
进一步计算出本次信号波动，判断其是否大于信号波动阈值Threshold。当左手或右手的表面肌电信号值波动大于阈值时，则BP神经网络输入L(m)＝L1(m)或R(m)＝R1(m)，当左手或右手的表面肌电信号值波动小于阈值时，则L(m)或R(m)的8个特征值被置0,其中m∈[1，8]，θ为微小波动，Maxpooling(·)表示以窗口长度为L＝10个时间序列长度，进行最大池化，选出十个点中的最大值。Minpooling(·)表示以窗口长度为L＝10个时间序列长度，进行最小池化，选出十个点中的最小值。
L(m)计算公式如下：
R(m)计算公式如下：
将上述对16通道表面肌电信号进行特征处理及非线性映射后得到的R(m)及L(m)，作为BP网络的输入。需要说明的是，这里的R(m)及L(m)均是维度为1，长度为8的序列。
在一个实施例中，为了提高识别准确率，具体采用了基于BP神经网络的训练识别方式。
BP神经网络是一种按照误差逆向传播算法训练的多层前馈神经网络。基本的BP神经网路包括信号的前向传播和误差的反向传播两个过程。选取经过特征提取后的数据，同时分别对10类不同的手势数据人为打上标签，分别是0000000001、0000000010、0000000100…1000000000(label(xi)：维度为1，长度为10的序列)，并将所有的数据按5∶1的比例随机分为训练集和测试集，然后进行前向传播和反向传播训练及测试。具体地，参考图5所示的BP神经网路连接图，在本实施例中利用Adam优化算法训练网络模型，它基于训练数据迭代地更新神经网络的权重。
首先，对表面肌电信号进行特征处理及非线性映射后，得到的R(m)及L(m)，作为BP神经网络的输入值，以相对应的手势的动作标志位y(xi)(维度为1，长度为10的序列)作为BP网络输出，当y(xi)的值越大时表示该手指做出点击动作的概率越大，其中y1…y10对应手指点击讯号见图2所示。
然后，在训练数据中，给出一组输入序列R(m)和L(m)以及相应的目标值label，输入向量从网络的输入层到隐含层，最后由输出层输出结果。按照实际值与给定的目标值之间的实际误差，通过梯度下降算法，从输出层到隐含层逐层调整BP神经网络中的权值，不断提高准确率。对于训练过程中的损失函数利用交叉熵进行优化，目的为了使BP网络输出值y(xi)的分布和标签值label分布达到一致，给出损失函数表达式(loss)如下：
其中，xi∈[1，10]，表示label(xi)与y(xi)序列中的位置信息。
最后，将表面肌电信号数据集分批次地输入到BP网络中，根据输出值与label值计算损失函数，再通过反向传播更新网络框架中的权重。迭代更新网络框架的权重直至损失函数值收敛，则表示BP神经网络训练完成，通过训练好的BP神经网络即可实现对用户当前不同的手指点击动作进行识别。
在上述实施例中，通过对两个MYO臂环提取出的16通道的表面肌电信号进行特征处理及非线性映射，作为BP网络的输入，通过学习和训练实现识别出左手和右手的食指点击、大拇指点击、中指点击、小拇指点击、无名指点击动作，将点击动作与手机九宫格输入法相结合，与电脑通信实现了一个可支持输入汉字及英文的便携式可穿戴键盘。此外，在上述方案通通过神经网络中的BP神经网络去识别手指点击时产生的表面肌电信号，提高了表面肌电信号识别的准确度以及提高了无线键盘输入的准确性。
在一个实施例中，如图6所示，提供了一种基于表面肌电信号识别的无线键盘输入装置600，该装置包括：
分配模块601，用于将手机九宫格输入法中各个字母键值及选择键和确认键有序的分配到不同的手指上；
信号获取模块602，用于获取通过双臂环采集到的表面肌电信号；
特征处理模块603，用于对所述双臂环提取出的16通道表面肌电信号进行特征处理及非线性映射，作为BP神经网络的输入；
训练模块604，用于对所述BP神经网络进行迭代训练得到BP神经网络先验模型；
识别模块605，用于根据所述BP神经网络先验模型识别当前正在点击的手指，并根据预先分配好的键位生成对应的输入指令以实现人机交互。
在一个实施例中，如图7所示，提供了一种基于表面肌电信号识别的无线键盘输入装置600，该装置还包括信号采集模块606，用于：
通过两个MYO臂环采集表面肌电信号，每个所述MYO臂环分别检测出8通道的表面肌电信号；
将左臂佩戴的MYO臂环作为从机臂环，将右臂佩戴的MYO臂环作为主机臂环，所述主机臂环与所述从机臂环相互通信；
当检测到表面肌电信号时，所述从机臂环将采集到的表面肌电信号传输给主机臂环；
所述主机臂环与计算机终端相互通信，并将检测信息发送给计算机终端以完成信息传输。
关于基于表面肌电信号识别的无线键盘输入装置的具体限定可以参见上文中对于基于表面肌电信号识别的无线键盘输入方法的限定，在此不再赘述。
在一个实施例中，提供了一种计算机设备，其内部结构图可以如图8所示。该计算机设备包括通过装置总线连接的处理器、存储器以及网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作装置、计算机程序和数据库。该内存储器为非易失性存储介质中的操作装置和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于表面肌电信号识别的无线键盘输入方法。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以上各个方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以上各个方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于表面肌电信号识别的无线键盘输入方法，所述方法包括：
将手机九宫格输入法中各个字母键值及选择键和确认键有序的分配到不同的手指上；
获取通过双臂环采集到的表面肌电信号；
对所述双臂环提取出的16通道表面肌电信号进行特征处理及非线性映射，作为BP神经网络的输入；
对所述BP神经网络进行迭代训练得到BP神经网络先验模型；
根据所述BP神经网络先验模型识别当前正在点击的手指，并根据预先分配好的键位生成对应的输入指令以实现人机交互。
2.根据权利要求1所述的基于表面肌电信号识别的无线键盘输入方法，其特征在于，所述获取通过双臂环采集到的表面肌电信号的步骤还包括：
通过两个MYO臂环采集表面肌电信号，每个所述MYO臂环分别检测出8通道的表面肌电信号；
将左臂佩戴的MYO臂环作为从机臂环，将右臂佩戴的MYO臂环作为主机臂环，所述主机臂环与所述从机臂环相互通信；
当检测到表面肌电信号时，所述从机臂环将采集到的表面肌电信号传输给主机臂环；
所述主机臂环与计算机终端相互通信，并将检测信息发送给计算机终端以完成信息传输。
3.根据权利要求2所述的基于表面肌电信号识别的无线键盘输入方法，其特征在于，所述对所述双臂环提取出的16通道表面肌电信号进行特征处理及非线性映射，作为BP神经网络的输入的步骤具体包括：
对两个MYO臂环采集到的表面肌电信号进行预处理；
其中，Elm(n)表示从机臂环采集到的8通道信号，Erm(t)表示主机臂环采集到的8通道信号，每个通道每次被提取的信号点数为N，m∈[1，8]表示8个通道，n∈[0，N-1]表示N个数据，对信号取绝对值之和的平均值得到
和
mean(·)表示取平均值。
4.根据权利要求3所述的基于表面肌电信号识别的无线键盘输入方法，其特征在于，所述对所述双臂环提取出的16通道表面肌电信号进行特征处理及非线性映射，作为BP神经网络的输入的步骤还包括：
利用长度为W＝32个时间序列点的窗口，对原始采集到的16通道表面肌电信号Elm(n)及Erm(t)做移动、求和、平均处理，前进的步长s设置为3个时间序列点，计算得到Eslm(k)及Esrm(k)；
其中，
rm，lm∈[1，8]，下标i表示每次以s＝3为单位增加。
5.根据权利要求4所述的基于表面肌电信号识别的无线键盘输入方法，其特征在于，所述对所述双臂环提取出的16通道表面肌电信号进行特征处理及非线性映射，作为BP神经网络的输入的步骤还包括：
对经窗口滑动产生的16组数据进行分段加权相加；
将每组数据划分为三段，将处于前三分之一的数据和后三分之一的数据用较小的权重参数α＝0.25进行加权，对于处于中间峰值较高的三分之一信号序列用较大权重1-2α＝0.5进行加权，在利用中间序列对加权值，进行非线性映射，得到
表达式如下：
其中，ε为微小波动，normalize(·)表示归一化操作。
6.根据权利要求5所述的基于表面肌电信号识别的无线键盘输入方法，其特征在于，所述对所述双臂环提取出的16通道表面肌电信号进行特征处理及非线性映射，作为BP神经网络的输入的步骤还包括：
根据计算出的
和
进一步计算BP神经网络的输入R(m)和L(m)；
其中，m∈[1，8]，θ为微小波动，Threshold为信号波动阈值，Maxpooling(·)表示以窗口长度为L＝10个时间序列长度进行最大池化选出十个点中的最大值，Minpooling(·)表示以窗口长度为L＝10个时间序列长度进行最小池化选出十个点中的最小值。
7.根据权利要求6所述的基于表面肌电信号识别的无线键盘输入方法，其特征在于，所述对所述BP神经网络进行迭代训练得到BP神经网络先验模型的步骤具体包括：
将对所述表面肌电信号进行特征处理及非线性映射后得到的R(m)及L(m)作为所述BP神经网络的输入值，将对应手指的动作标志位y(xi)作为所述BP神经网络的输出值；
在训练数据中，给出一组输入序列R(m)和L(m)以及相应的目标值label，按照实际值与给定的目标值之间的实际误差，通过梯度下降算法从输出层到隐含层逐层调整BP神经网络中的权值；
将表面肌电信号数据集分批次地输入到BP神经网络中，根据输出值与label值计算损失函数，再通过反向传播更新网络框架中的权重，迭代更新网络框架的权重，直至损失函数值收敛网络训练完成，损失函数表达式如下：
其中，xi∈[1，10]，表示label(xi)与序列中y(xi)的位置信息。
8.一种基于表面肌电信号识别的无线键盘输入装置，其特征在于，所述装置包括：
分配模块，所述分配模块用于将手机九宫格输入法中各个字母键值及选择键和确认键有序的分配到不同的手指上；
信号获取模块，所述信号获取模块用于获取通过双臂环采集到的表面肌电信号；
特征处理模块，所述特征处理模块用于对所述双臂环提取出的16通道表面肌电信号进行特征处理及非线性映射，作为BP神经网络的输入；
训练模块，所述训练模块用于对所述BP神经网络进行迭代训练得到BP神经网络先验模型；
识别模块，所述识别模块用于根据所述BP神经网络先验模型识别当前正在点击的手指，并根据预先分配好的键位生成对应的输入指令以实现人机交互。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011460713.8A CN112558775A (zh) | 2020-12-11 | 2020-12-11 | 基于表面肌电信号识别的无线键盘输入方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011460713.8A CN112558775A (zh) | 2020-12-11 | 2020-12-11 | 基于表面肌电信号识别的无线键盘输入方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112558775A true CN112558775A (zh) | 2021-03-26 |
Family
ID=75062473
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011460713.8A Pending CN112558775A (zh) | 2020-12-11 | 2020-12-11 | 基于表面肌电信号识别的无线键盘输入方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112558775A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114153317A (zh) * | 2022-02-07 | 2022-03-08 | 深圳市心流科技有限公司 | 基于肌电信号的信息处理方法、装置、设备及存储介质 |
| CN115857706A (zh) * | 2023-03-03 | 2023-03-28 | 浙江强脑科技有限公司 | 基于面部肌肉状态的文字输入方法、装置及终端设备 |
| CN116069168A (zh) * | 2023-03-06 | 2023-05-05 | 浙江强脑科技有限公司 | 一种基于面部肌肉运动的输入方法及相关装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102622605A (zh) * | 2012-02-17 | 2012-08-01 | 国电科学技术研究院 | 一种表面肌电信号的特征提取及动作模式识别方法 |
| US20200097083A1 (en) * | 2018-09-26 | 2020-03-26 | Qiushi Mao | Neuromuscular control of physical objects in an environment |
| CN111562842A (zh) * | 2020-01-21 | 2020-08-21 | 北京航空航天大学 | 一种基于肌电信号的虚拟键盘设计方法 |
-
2020
- 2020-12-11 CN CN202011460713.8A patent/CN112558775A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102622605A (zh) * | 2012-02-17 | 2012-08-01 | 国电科学技术研究院 | 一种表面肌电信号的特征提取及动作模式识别方法 |
| US20200097083A1 (en) * | 2018-09-26 | 2020-03-26 | Qiushi Mao | Neuromuscular control of physical objects in an environment |
| CN111562842A (zh) * | 2020-01-21 | 2020-08-21 | 北京航空航天大学 | 一种基于肌电信号的虚拟键盘设计方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张龙娇等: "基于深度神经网络的sEMG手势识别研究", 《计算机工程与应用》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114153317A (zh) * | 2022-02-07 | 2022-03-08 | 深圳市心流科技有限公司 | 基于肌电信号的信息处理方法、装置、设备及存储介质 |
| CN115857706A (zh) * | 2023-03-03 | 2023-03-28 | 浙江强脑科技有限公司 | 基于面部肌肉状态的文字输入方法、装置及终端设备 |
| CN116069168A (zh) * | 2023-03-06 | 2023-05-05 | 浙江强脑科技有限公司 | 一种基于面部肌肉运动的输入方法及相关装置 |
| CN116069168B (zh) * | 2023-03-06 | 2023-08-29 | 浙江强脑科技有限公司 | 一种基于面部肌肉运动的输入方法及相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112558775A (zh) | 基于表面肌电信号识别的无线键盘输入方法及装置 | |
| KR102619981B1 (ko) | 근전도 신호를 이용한 동작 분류 방법 및 장치 | |
| CN108287989B (zh) | 一种基于轨迹的滑动验证码人机识别方法 | |
| Xi et al. | Deep dilated convolution on multimodality time series for human activity recognition | |
| CN111046731B (zh) | 基于表面肌电信号进行手势识别的迁移学习方法和识别方法 | |
| CN113946224B (zh) | 智能仿生手的肌电手势识别的控制方法、装置及存储介质 | |
| Miguel-Hurtado et al. | Predicting sex as a soft-biometrics from device interaction swipe gestures | |
| CN111562842B (zh) | 一种基于肌电信号的虚拟键盘设计方法 | |
| CN104899601A (zh) | 一种手写维吾尔文单词识别方法 | |
| CN109033780A (zh) | 一种基于小波变换和神经网络的边缘计算接入认证方法 | |
| CN114384999B (zh) | 基于自适应学习的用户无关肌电手势识别*** | |
| CN105354532A (zh) | 一种基于手部运动帧数据的手势识别方法 | |
| Tormási et al. | Single-stroke character recognition with fuzzy method | |
| CN113901881B (zh) | 一种肌电数据自动标注方法 | |
| CN101452357A (zh) | 一种手写字符输入方法及*** | |
| Li et al. | Multiple kernel clustering with corrupted kernels | |
| CN114153317A (zh) | 基于肌电信号的信息处理方法、装置、设备及存储介质 | |
| CN116756588B (zh) | 一种同屏手写输入的智能匹配方法 | |
| CN117133277A (zh) | 用于人机交互的虚拟人物表情控制方法及*** | |
| Chen et al. | SEMG-based gesture recognition using GRU with strong robustness against forearm posture | |
| Tormási et al. | Comparing the efficiency of a fuzzy single-stroke character recognizer with various parameter values | |
| CN114492537A (zh) | 一种肌电控制***遭恶意攻击的异常信号检测方法和相关设备 | |
| CN113707320A (zh) | 一种基于相关性分析的en结合mpa-svm的异常体征矿工判别方法 | |
| CN107918488B (zh) | 一种基于特征选择的各向同性三维手势识别方法 | |
| Yang et al. | Multi-stream CNN-SVM Hybrid Model for Gesture Recognition based on sEMG Signals |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210326 |
|
| RJ01 | Rejection of invention patent application after publication |