CN109976525A - 一种用户界面交互方法、装置及计算机设备 - Google Patents
一种用户界面交互方法、装置及计算机设备 Download PDFInfo
- Publication number
- CN109976525A CN109976525A CN201910237471.7A CN201910237471A CN109976525A CN 109976525 A CN109976525 A CN 109976525A CN 201910237471 A CN201910237471 A CN 201910237471A CN 109976525 A CN109976525 A CN 109976525A
- Authority
- CN
- China
- Prior art keywords
- eye movement
- signal
- eeg signals
- feature
- electromyography
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000003993 interaction Effects 0.000 title claims abstract description 50
- 230000004424 eye movement Effects 0.000 claims abstract description 206
- 238000002567 electromyography Methods 0.000 claims abstract description 84
- 238000004458 analytical method Methods 0.000 claims abstract description 41
- 210000004556 brain Anatomy 0.000 claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 36
- 230000005611 electricity Effects 0.000 claims abstract description 15
- 230000006399 behavior Effects 0.000 claims description 62
- 238000000605 extraction Methods 0.000 claims description 42
- 230000015654 memory Effects 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 14
- 238000000638 solvent extraction Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 9
- 238000012706 support-vector machine Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 2
- 230000006403 short-term memory Effects 0.000 claims 1
- 238000012549 training Methods 0.000 abstract description 29
- 238000005516 engineering process Methods 0.000 abstract description 13
- 238000002156 mixing Methods 0.000 abstract description 12
- 230000004927 fusion Effects 0.000 abstract description 9
- 230000006641 stabilisation Effects 0.000 abstract description 5
- 238000011105 stabilization Methods 0.000 abstract description 5
- 230000007423 decrease Effects 0.000 abstract description 4
- 239000013598 vector Substances 0.000 description 15
- 239000011324 bead Substances 0.000 description 11
- 230000003542 behavioural effect Effects 0.000 description 9
- 230000004438 eyesight Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000013139 quantization Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000003909 pattern recognition Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 206010028347 Muscle twitching Diseases 0.000 description 3
- 241000287181 Sturnus vulgaris Species 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 210000000744 eyelid Anatomy 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 208000018152 Cerebral disease Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003340 mental effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- FNMKZDDKPDBYJM-UHFFFAOYSA-N 3-(1,3-benzodioxol-5-yl)-7-(3-methylbut-2-enoxy)chromen-4-one Chemical compound C1=C2OCOC2=CC(C2=COC=3C(C2=O)=CC=C(C=3)OCC=C(C)C)=C1 FNMKZDDKPDBYJM-UHFFFAOYSA-N 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000002902 bimodal effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 239000000700 radioactive tracer Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Dermatology (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种用户界面交互方法、装置及计算机设备，其中方法，包括以下步骤：采集用户眼动信号、脑电信号和肌电信号；根据采集的眼动信号、脑电信号和肌电信号，对眼动信号、脑电信号和肌电信号进行分析处理；根据对眼动信号、脑电信号和肌电信号的分析处理，显示分析结果，并输出实时控制结果。本发明公开的一种用户界面交互方法，是混合脑电‑视线人机交互下的用户界面交互方法，采用混合脑机信号处理技术，有效快速实现模型的训练和加快训练时模型损失值的下降，实时稳定的实现了融合肌电的混合脑电模态；实时稳定的实现了眼动人机交互模态。并以两模态为基础，构建不同范式所构成的指令集。
Description
技术领域
本发明涉及人机交互与信号分析，尤其涉及一种用户界面交互方法、装置及计算机设备。
背景技术
人机交互(HCI)是指人与计算机之间使用某种对话语言，以一定的交互方式，为完成确定任务的人与计算机之间的信息交换过程。快速有效的实现人机交互的难点在于减少人为精力，简单的操作实现准确的控制。HCI可供人机交互使用的设备主要有键盘、显示以及各种模式识别设备等。模式识别应用范围极其广泛，根据不同种的数据类型例如图像、语音、行为动作来制定相关的模式、模态分类，解决不同指令的完成问题。
如今机器视觉、语音识别在HCI方面应用广泛，独具一格的模式识别算法扩展了许多应用。“意念控制”、“视线控制”、“自由控制”等概念映入人们的眼帘，脑电波(EEG)是脑神经细胞电生理活动在大脑皮层或头皮表面的总体反映。脑电信号中包含了大量的生理与疾病信息,在临床医学方面，脑电信号处理不仅可为某些脑疾病提供诊断依据，而且还为某些脑疾病提供了有效的治疗手段。在HCI方面，人们也尝试利用脑电信号实现脑-计算机接口(BCI)，利用人对不同的感觉、运动或认知活动的脑电信号的不同，通过对脑电信号的有效的提取和分类达到某种控制目的。
视线追踪技术能够快速的捕捉使用对象重点关注的区域，重点分析使用者关注物体，广泛应用在心理学、网页浏览分析、认知模态识别等方面。眼睛是心灵的窗户，人的视觉行为包含着人的思想、生理状态，很大程度上反应了不同刺激下，人脑的思想表达。根据不同的定义范式，构建眼动行为识别模型，有利于改善当今眼动人机交互方面精度问题，丰富基于眼动行为中HCI的多样性。
目前，基于眼动技术与混合脑机技术的人机交互中使用的分类模型种类单一，两种技术的模型不兼具。在王晓明、赵歆波基于深度神经网络的个体阅读眼动预测也引入LSTM对眼动数据进行处理，预测用户的注视点位置，但不涉及眼动信号中的gaze gesture(眼势)进行处理。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种基于眼动行为分析与脑电信号处理混合模型下用户界面交互方法，采用混合脑机信号处理技术，根据定义的肌电动作、脑电运动想象行为范式，利用基于信号的分类模型A1A2-FCNN(基于权值的前向级联神经网络)，有效快速实现模型的训练和加快训练时模型损失值的下降，实时稳定的实现了脑机人机交互接口模态；采用眼动行为分析技术，根据定义的眼动行为范式，利用基于时间序列的LSTM模型，实时稳定的实现了眼动人机交互模态。并以两模态为基础，构建指令集。
为实现上述目的，本发明提供了一种用户界面交互方法，包括以下步骤：
采集用户眼动信号、脑电信号和肌电信号；
根据采集的眼动信号、脑电信号和肌电信号，对眼动信号、脑电信号和肌电信号进行分析处理；
根据对眼动信号、脑电信号和肌电信号的分析处理，显示分析结果，并输出实时控制结果。
进一步地，根据采集的信号，对眼动信号、脑电信号和肌电信号进行分析处理，其中，对眼动信号进行分析处理，具体包括以下步骤：
对采集到的眼动信号进行特征提取；
根据提取的眼动信号的特征，利用支持向量机，得到眼动信号与集中注意力等级拟合函数；
对眼动信号进行预处理；
利用潜在眼动行为信号的分割算法对预处理后的眼动信号进行提取潜在眼动行为的时间序列；
根据提取出来的潜在眼动行为的时间序列，建立长短时记忆网络模型，对眼动行为进行识别分析。
进一步地，根据采集的信号，对眼动信号、脑电信号和肌电信号进行分析处理，其中，对脑电信号和肌电信号进行分析处理，具体包括以下步骤：
对采集到的脑电信号进行特征提取；
对采集到的肌电信号进行特征提取；
根据提取的脑电信号特征和肌电信号特征，对脑电信号特征和肌电信号特征进行融合；
根据融合后的脑电信号特征和肌电信号特征，对融合后的脑电信号特征和肌电信号特征进行分析，建立基于权值的前向级联神经网络模型。
进一步地，利用潜在眼动行为信号的分割算法对预处理后的眼动信号进行提取潜在眼动行为的时间序列，具体包括：
对采集到的眼动信号进行150ms窗长的中值滤波；
利用速度阈值固定识别方法得到有意识眼动行为的序列；
基于滤波后的眼动信号，计算当前点与前一点的速度(序列中的第一个点去除)，基于给定的速度分布，在阈值范围之内的为固定点，其余则为扫试点。
本发明公开又提供了一种用户界面交互方法装置，包括
采集模块，用于采集用户眼动信号、脑电信号和肌电信号；
处理模块，用于根据采集的眼动信号、脑电信号和肌电信号，对眼动信号、脑电信号和肌电信号进行分析处理；
显示和控制模块，用于根据对眼动信号、脑电信号和肌电信号的分析处理，显示分析结果，并输出实时控制结果。
进一步地，处理模块包括
眼动特征提取单元，用于对采集到的眼动信号进行特征提取；
注意力分析单元，用于根据提取的眼动信号的特征，利用支持向量机，得到眼动信号与集中注意力等级拟合函数；
眼动预处理单元，用于对眼动信号进行预处理；
眼动处理单元，用于利用潜在眼动行为信号的分割算法对预处理后的眼动信号进行提取潜在眼动行为的时间序列；
眼动信号分析单元，用于根据提取出来的潜在眼动行为的时间序列，建立长短时记忆网络模型，对眼动行为进行识别分析。
进一步地，处理模块还包括
脑电特征提取单元，用于对采集到的脑电信号进行特征提取；
肌电特征提取单元，用于对采集到的肌电信号进行特征提取；
融合单元，用于根据提取的脑电信号特征和肌电信号特征，对脑电信号特征和肌电信号特征进行融合；
脑电信号和肌电信号分析单元，用于根据融合后的脑电信号特征和肌电信号特征，对融合后的脑电信号特征和肌电信号特征进行分析，建立基于权值的前向级联神经网络模型。
进一步地，眼动预处理单元、眼动处理单元包括：
滤波组件，用于对采集到的眼动信号进行150ms窗长的中值滤波；
序列组件，用于利用速度阈值固定识别方法得到有意识眼动行为的序列；
识别组件，基于滤波后的眼动信号，计算当前点与前一点的速度(序列中的第一个点去除)，基于给定的速度分布，在阈值范围之内的为固定点，其余则为扫试点。
本发明公开提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现如上述中任一项的方法。
本发明公开提供了一种存储有计算机程序的计算机可读存储介质，计算机程序使计算机执行时实现如上述中任一项的一种用户界面交互方法。
技术效果
1.本发明可以有效的实现人机交互，基于视线交互模型与融合肌电的混合脑电模型得到多种指令集，实现人机交互行为：例如代替手动进行鼠标操作。对于多种情况下的人机交互，本发明的指令集可以视具体情况而改变。
2.由于加入了视线追踪技术，使用户可以快速的将视线移至所感兴趣区域，加快了人机交互的速度。
3.由于加入了注意力预测技术，用户使用过程中，可以有效的监测用户的集中注意力水平等级，反馈给用户。
4.由于创建了视线交互、融合肌电信号的混合脑电控制双模态，丰富了现在的人机交互种类。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明的一个较佳实施例的一种用户界面交互的方法整体结构图；
图2是本发明的一个较佳实施例的一种用户界面交互的方法的眼动信号注意力函数训练流程图；
图3是本发明的一个较佳实施例的一种用户界面交互的方法的混合脑接机模式识别原理图；
图4是本发明的一个较佳实施例的一种用户界面交互的方法的眼动行为LSTM结构图。
图5是本发明的一个较佳实施例的一种用户界面交互的方法的融合肌电的脑电模型A1A2-FCNN中FCNN结构图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下描述中，为了说明而不是为了限定，提出了诸如特定内部程序、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一
如图1所示，本发明提供了一种用户界面交互方法，包括以下步骤：
步骤101，采集用户眼动信号、脑电信号和肌电信号；具体的，信号的采集方式为：用户穿非入侵式脑电设备(例如，戴脑电帽)采集脑电信号和肌电信号，位于显示器下方的非入侵式眼动仪记录用户眼动信号(格式：时间-x坐标-y坐标)。
步骤102，根据采集的眼动信号、脑电信号和肌电信号，对眼动信号、脑电信号和肌电信号进行分析处理；需要解释的是，眼动信号处理中，通过SVM(支持向量机)拟合注意力指标函数，给出当前用户注意力水平。脑电信号、肌电信号、眼动信号融合处理中，通过LSTM(长短期记忆网络)模型如图4识别凝视行为，结合量化后的脑电信号特征、量化后的肌电信号特征所构成的特征矩阵，通过A1A2-FCNN(前向的级联神经网络)实现凝视行为下脑电信号模式识别构成的脑电指令集、凝视行为下肌电信号模式识别构成的肌电指令集。具体地将在后文中做解释说明。
步骤103，根据对眼动信号、脑电信号和肌电信号的分析处理，显示分析结果，并输出实时控制结果。根据步骤102显示当前用户注意力水平等级，然后根据视线焦点区域鼠标粗定位，移动鼠标；根据步骤102的指令集，实现鼠标左单击、右单击、双击事件、左移动、右移动的触发，屏幕分辨率的放大、缩小操作。
其中，步骤102中，根据采集的信号，对眼动信号、脑电信号和肌电信号进行分析处理，其中，对眼动信号进行分析处理，具体包括以下步骤：
步骤102-1，对采集到的眼动信号进行特征参数的提取；眼动信号处理中，人眼特征参数包括：向前眼跳次数，回视次数、总注视时间、眨眼次数、眨眼时间、最大注视次数。
向前眼跳次数：30s内视线点从左到右的次数。
回视次数：30s内视线点从右到左的次数。
总注视时间：30s内最大次数坐标点的注视时间。
眨眼次数：眨眼时间一般在0.2-0.4s内,1s内相邻眼动数据时间线相差
250ms，则认为眨眼。
眨眼时间：30s内眨眼的总时间。
注视次数：30s内，相同眼动数据的次数最大值。
步骤102-2，根据提取的所述眼动信号的特征，利用支持向量机，得到眼动信号与集中注意力等级拟合函数；具体的，在记录数据的同时，询问操作者的注意力情况。为了保证特征的规范性将对所观测到的特征值进行归一化操作。采用支持向量回归作为机器学***的特征矢量和平均主观判定的注意力数值进行拟合，获得注意力预测函数。
步骤102-3，对所述眼动信号进行预处理；
接着对眼动信号的特征参数进行预处理：眼动采集仪的采样率为30Hz，以150ms为窗长，窗移为30ms(加窗后窗内含有5个点数据，每次移动一个点数据)，做一次中值滤波：x3-new＝median(x1,x2,x3,x4,x5),其中median操作为5个数值中取中位数new_data，new_data代替原始位置的数据。
步骤102-4，利用潜在眼动行为信号的分割算法对预处理后的眼动信号进行提取潜在眼动行为的时间序列；
在眼动信号分析中，有效的分割算法能够提取待识别信号序列，从而极大的减少后续识别计算复杂度，同时也为后续的识别提高了准确率。
步骤102-5，根据提取出来的潜在眼动行为的时间序列，建立LSTM模型，对眼动行为进行识别分析，并输出结果。
LSTM网络称为长短时记忆网络，在RNN中加入更多的非线性单元，使得模型可以学习长期依赖的信息。例如：xt为当前时刻的输入，而当前的训练输入为[ht-1,xt]，ht-1为上一时刻输出，当前的输入将ht-1,xt合并成一个矩阵，通过第一个非线性层得到ft＝δ(Wf*[ht-1,xt]+bf)，同时LSTM的设计也提供了“Cell”状态，一部分是找到需要更新的信息，另一部分则是将更新的部分加入新的“Cell”状态中：it＝δ(Wi*[ht-1,xt]+bi)，
经过两部分得到更新的“cell”状态：通过上述输入门，在输出门中得到最后的输出ht＝tanh(Ct)*δ(Wo*[ht-1,xt]+bo)，也称为隐状态。
通过潜在眼动行为信号分割算法得到N个眼动序列Y＝{Y1,Y2……YN}构成眼动的样本数据集，其中Yi中眼动数据长度是不一致的，为了方便输入LSTM训练，首先需要利用K-means方法对Yi进行矢量的码本化。Yi是一个眼动序列：Yi＝{(xi1,yi1),(xi2,yi2),(xi3,yi3)……(xit,yit)}，可看做Yi为一个点集合，对每一个集合使用K-menas方法，选用分类类别为10，构建10个码本Y′＝{(x′i1,y′i1),(x′i2,y′i2)……(x′i3,y′i3)}，放入LSTM中进行训练，LSTM(眼动行为LSTM结构图)中输入为10个码本，单个时间点的输入为一个码本，从左到右依次有10个“门结构”，其中每个码本的隐藏层的神经元设置为5。由于基于眼动序列的分类只需要得到最后的结果，所以设置前九个的权值训练时不需要输出，只需要在最后一次进行输出得到最终的分类结果。
其中，LSTM模型，对眼动行为进行识别分析包括：
利用K-means对每一个眼动序列进行码矢量操作，训练得到LSTM的模型，最终实现5种自定义眼动行为的识别：视线凝视行为；视线从屏幕中心移向左下角，回到中心再回到左下角眼动行为；视线从屏幕中心移向右下角，回到中心再回到右下角眼动行为；视线从屏幕中心移向左上角，回到中心再回到左上角眼动行为；视线从屏幕中心移向右上角，回到中心再回到右上角眼动行为。
另外，步骤102中，根据采集的信号，对眼动信号、脑电信号和肌电信号进行分析处理，其中，对眼动信号进行分析处理，还包括，根据预处理后的眼动信号，通过SVM拟合注意力指标函数，给出当前用户注意力水平。再根据询问操作者的注意力情况，将对所观测到的特征值进行归一化操作。将每次记录的用于反映注意力水平的特征矢量和平均主观判定的注意力数值进行拟合，采用支持向量回归作为机器学***的结果。
其中，步骤102中，根据采集的信号，对眼动信号、脑电信号和肌电信号进行分析处理，其中，对脑电信号和肌电信号进行分析处理，具体包括以下步骤：
步骤102-6，对采集到的脑电信号进行特征提取；选取大脑对侧感觉运动区C3、C4的脑电信号进行分析。通过FIR带通滤波器，将7～34Hz的频带宽度分割成若干频率分辨率为1Hz的子带，覆盖较重要的EEG事件相关同步和去同步的频段变化范围。计算两个通道下的各个子频段的能量，构成ERD/ERS特征矩阵。利用最大-最小准则实现特征矩阵的量化。具体包括以下步骤：
步骤1)：在7～34Hz频带中，利用窗函数法设计27个频带宽度为1Hz的子带200阶的FIR滤波器。
步骤2)：将C3、C4脑区的脑电信号与所设计的滤波器进行卷积操作，得到滤波后各个频段的脑电信号。
步骤3)：将各个频段的脑电信号提取特征，计算能量：
步骤4)：将计算得到的能量值构成1*54的特征向量：
Feature1＝[E3-1，......E3-27，E4-1，......E4-27]
步骤102-7，对采集到的肌电信号进行特征提取；其步骤是，对4路肌电信号的进行分割，基于短时能量实现肌电信号的分割，类似于语音信号的VAD技术，将4路肌电信号每路分帧处理，通过滑窗的形式，计算每帧的能量，高于设定阈值的帧信号进行保存，以5帧为标准，低于设定阈值的信号帧超过5帧，则认为一次肌电信号端点检测结束，最后计算首尾位置，通过首帧、首帧+帧数*帧长，通过对原始信号进行首尾的截取，分割出待提取特征的肌电信号。
4路肌电信号的特征向量计算，100-200Hz的脑电信号能量比，均方根RMS，过零率ZC，符号变化率SSC，波长WL，绝对平均值MAV。对4路肌电信号进行以上特征的提取，将每路信号中的6个特征构成一个1*24的特征矩阵，利用最大-最小准则实现特征矩阵的量化。具体如下：
对每一路肌电信号首先进行端点检测，提取待提取特征的信号段，我们认为此段信号为肌肉产生的电信号，未被提取的信号认为“背景”信号。其中端点检测步骤如下：
步骤1)、首先对每一路的信号进行分帧处理，以128个点为一帧，帧移为20个点，计算一帧的平均能量其中N＝128，EMG(i)为每个采样点信号的幅度值，对每一帧信号计算
步骤2)、以设定的阈值20000为阈值，以滑窗的形式，一帧一帧从左到右进行移动，大于阈值的连续帧数超过3时，开始记录信号的起始位置，记录该连续帧的第一帧的帧数x1，小于阈值的连续帧数超过3时，记录信号的终止位置，记录该连续帧的第一帧的帧数x2。计算待提取信号的起始点20x1和终止点20x2，对原始的信号进行起始点和终止点信号段的截取：EMG＝signal[20x1：20x2]。
端点检测实现了待识别肌电信号段的提取，进一步提取肌电信号的特征：
过零率：
(1)中sgn为符号函数：
信号的能量：
信号的均方根：
信号的符号变化率：
波长WL的计算公式为：
绝对平均值MAV的计算公式为：
对每路信号进行以上的特征提取，构成一个1*24的特征向量。
Feature1＝[Z1，E1，RMS1，SSC1，WL1，MAV1……Z4，E4，RMS4，SSC4，WL4，MAV4]
步骤102-8，根据提取的脑电信号特征和肌电信号特征，对脑电信号特征和肌电信号特征进行融合；
步骤102-9，根据融合后的脑电信号特征和肌电信号特征，建立A1A2-FCNN模型，对融合后的脑电信号特征和肌电信号特征进行分析，并输出结果。其中，构建A1A2-FCNN模型，是利用FCNN实现融合特征的训练，将提取的肌电信号量化特征矩阵*融合系数A1、提取的脑电信号量化特征矩阵*融合系数A2，进行指令集的训练，根据训练后的精度不断尝试新的A1、A2系数，当训练精度达到预期95％结束训练，生成指令集模型A1A2-FCNN。
步骤102-8和步骤102-9具体为：
对Feature1和Feature2两个特征向量进行最大-最小准则的规划，从训练集中得到每个维度特征的最大最小值Fmax，Fmin。结合得到归一化后的特征。初始定义A1＝0.5、A2＝0.5分别为Feature1、Feature2的权重。将A1*Feature1与A2*Feature2构成新的Feature向量。放入A1A2-FCNN(前向的级联神经网络)进行训练。其结构示意图如说明书附图5混合脑接机模型A1A2-FCNN中FCNN结构图。
设置第一、二层的激活函数为tansig函数，输出用的激活函数为purelin函数，其中精度设置为95％，采用拟牛顿下降梯度算法训练分类模型，训练结果精度达不到95％，以0.05为梯度，重新定义A1，A2(A1+A2＝1)，融合Feature1和Feature2构成新的Feature再进行训练。
进一步地，步骤102-4，利用潜在眼动行为信号的分割算法对预处理后的眼动信号进行提取潜在眼动行为的时间序列，具体包括：
步骤102-4-1，对采集到的眼动信号的特征参数进行滤波处理，生成中值滤波后的眼动数据；
将中值滤波后的眼动数据(时间点-x-y)转化为一维的眼动数据，以第二个眼动数据开始，当前点与上个点求出角速度生成新的眼动数据：
d为人眼距屏幕的距离。扫视眼运动的速度分布基本上表现出两种速度分布：固定的低速度Vlow(即＜100°/s)和扫视的高速度Vhigh(即＞300°/s)。利用速度阈值固定识别(I-VT)方法，当Vnew＜Vlow或者Vnew＞Vhigh，认为此坐标点为扫视点，否则认为是固定点。
步骤102-4-2，对中值滤波后的眼动数据转化为一维的眼动数据根据阈值固定识别区分扫视点和固定点。
根据I-VT方法，可以区分固定点与扫视点。以2个扫视点、2个固定点为基准，当检测到2个连续固定点设定为潜在眼动行为数据的起始，记录第一个固定点的下标Indexbegin，当检测到2个连续扫视点设定为潜在眼动行为数据的结束，记录第一个扫视点的下标Indexend′，设定结束点下标Indexend＝Indexend′-1，相应找寻起始的时间点Tbegin和Tend，进行持续时间计算T＝Tend-Tbegin，潜在的眼动行为持续时间小于750ms，当30ms＜T＜750ms(眼动设备的采样频率为30Hz，约为30ms产生一个数据点，持续时间内产生一个数据点是没有意义的)，认为此段序列为有潜在眼动行为的时间序列，否则丢弃，开始下一轮的信号处理。
以下将举一实验例子来说明上述的过程：
采用3维显示器，穿戴64导联脑电帽，实验对象20个。
注意力拟合函数实验流程(如图2所示)：
步骤一：20人在静息状态下休息2分钟，之后30秒观看屏幕上显示的图片，图片上的内容为一段描述性文字，通过屏幕下方的眼动设备记录眼动数据。
步骤二：结束后，通过问卷的形式，被试者对当前注意力状况进行打分，一共有5个等级，1表示注意力极低、2表示注意力低、3表示注意力中等、4注意力高、5注意力极高。重复此操作每人10次。
预测函数训练阶段：
以注意力数值给每个数据打上标签，将向前眼跳次数，回视次数、总注视时间、眨眼次数、眨眼时间、最大注视次数作为特征。将最后提取的特征放到支持向量回归模型中进行训练。最终得到注意力预测函数。
混合脑机实验流程(如图3所示)：
步骤一：20人在静息状态下休息5分钟，开始眼动作业，根据屏幕上小球的跳动，观看小球。定义了5种小球运动：小球从中心出发向左下角运动，达到后返回中心点，再到达左下角；小球从中心出发向右下角运动，达到后返回中心点，再到达右下角；小球从中心出发向左上角运动，达到后返回中心点，再到达左上角；小球从中心出发向右上角运动，达到后返回中心点，再到达右上角；小球位于屏幕随机位置。所规定的每组小球运动持续时间在750ms内，进行眼动作业之间间隔5s。每人做20次重复实验。另外要求被试人员浏览普通网页10分钟。
步骤二：屏幕中心出现脑电、肌电、眼动行为动作文字。例如：凝视小球，想象左手运动。根据提示，20人分别凝视小球，进行咬牙动作、眨眼动作、皱眉动作、左手想象和右手想象。每组范式动作持续时间500ms，间隔2s，每人重复20次。
预测函数训练阶段：
将眼动作业中的数据按照7:3分为训练集和测试集，每组眼动数据通过中值滤波、I-VT算法分割出潜在的眼动行为数据，再利用K-means方式实现训练数据的码本化，最后通过模型训练得到LSTM模型。
在脑电、肌电、眼动中，将四路肌电信号提取特征构成Feature1，C3,C4两路脑电信号提取特征构成Feature2。定义Feature＝[A1*Feature1,A2*Feature2]，放入A1A2-FCNN中进行训练，得到分类模型。
测试阶段：
将人眼的特征从注意力极地到注意力极高的特征值进行划分，步长0.01，提取特征矢量。使用训练好的模型，将这些特征矢量放入进行预测。当达到注意力的阈值时，将特征矢量的取值记录下来，最终得到所有特征的阈值。
将眼动作业的测试集放入LSTM模型中，得出分类的准确率。准确率低于90％，需要重新进行训练。
将脑电肌电信号的测试集放入训练好的A1A2-FCNN中，得出分类模型的准确率。模型准确率低于90％，需要重新进行训练。
实施阶段：
将人眼视线从屏幕中心移向左下角，达到后返回中心点，再到达左下角动作称为眼动行为gesture1；将人眼视线从屏幕中心移向屏幕右下角，达到后返回中心点，再到达右下角动作称为眼动行为gesture2；将人眼视线从屏幕中心移向左上角，达到后返回中心点，再到达左上角动作称为眼动行为gesture3；；将人眼视线从屏幕中心移向右上角，达到后返回中心点，再到达右上角动作称为眼动行为gesture4；人眼视线凝视屏幕随机位置称为眼动行为gesture5。
结合得到的LSTM眼动行为五分类模型，模型识别为gesture1，控制器单元的屏幕显示分辨率自动增大为当前分辨率的上一个等级，达到最大分辨率时将不再增大；模型识别为gesture2，控制器单元的屏幕显示分辨率自动减小为当前分辨率的下一个等级，达到最小分辨率时将不再减小；模型识别为gesture3，控制器单元将开启注意力的反馈于屏幕的显示；模型识别为gesture4，控制器单元将关闭注意力的反馈于屏幕的显示；模型识别为gesture5，控制器单元的屏幕光标会移动至凝视区域并开启脑电、肌电信号分析：在500ms内，被试者进行预定义的脑电、肌电行为动作，根据训练好的A1A2-FCNN五分类模型，当模型识别为咬牙状态，屏幕光标将左点击；模型识别为眨眼状态，屏幕光标将右点击；模型识别为皱眉状态，屏幕光标将双击击；模型识别为左手运动想象状态，屏幕光标将向左轻微移动；模型识别为右手运动想象状态，屏幕光标将向右轻微移动。500ms后重复以上操作，以此实现界面交互。
本发明公开的一种用户界面交互方法，是基于眼动行为分析与脑电信号处理混合模型下的用户界面交互方法，采用混合脑机信号处理技术，根据定义的肌电动作、脑电运动想象行为范式，利用基于信号的分类模型A1A2-FCNN(前向的级联神经网络)，有效快速实现模型的训练和加快训练时模型损失值的下降，实时稳定的实现了融合肌电的混合脑电模态；采用眼动行为分析技术，根据定义的眼动行为范式，利用基于时间序列的LSTM模型，实时稳定的实现了眼动人机交互模态。并以两模态为基础，构建不同范式所构成的鼠标指令集。
实施例二
本发明公开提供了一种用户界面交互方法装置，包括
采集模块，用于采集用户眼动信号、脑电信号和肌电信号；
处理模块，用于根据采集的眼动信号、脑电信号和肌电信号，对眼动信号、脑电信号和肌电信号进行分析处理；
显示和控制模块，用于根据对眼动信号、脑电信号和肌电信号的分析处理，显示分析结果，并输出实时控制结果。
进一步地，处理模块包括
眼动预处理单元，用于对采集到的眼动信号进行特征参数进行预处理；
眼动处理单元，用于利用潜在眼动行为信号的分割算法对预处理后的眼动信号进行提取潜在眼动行为的时间序列；
眼动信号分析单元，用于根据提取出来的潜在眼动行为的时间序列，建立LSTM模型，对眼动行为进行识别分析。
进一步地，处理模块还包括
脑电特征提取单元，用于对采集到的脑电信号进行特征提取；
肌电特征提取单元，用于对采集到的肌电信号进行特征提取；
融合单元，用于根据提取的脑电信号特征和肌电信号特征，对脑电信号特征和肌电信号特征进行融合；
脑电信号和肌电信号分析单元，用于根据融合后的脑电信号特征和肌电信号特征，建立A1A2-FCNN模型，对融合后的脑电信号特征和肌电信号特征进行分析。
进一步地，眼动处理单元包括：
滤波组件，用于对采集到的眼动信号的特征参数进行滤波处理，生成中值滤波后的眼动数据；
识别组件，用于对中值滤波后的眼动数据转化为一维的眼动数据根据阈值固定识别区分扫视点和固定点。
本实施例的装置用于实现实施例一的用户界面交互方法，其具体实现过程同实施例一，此处将不再赘述。
实施例三
本发明实施例五提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现上述任一项的方法。
该实施例的计算机设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，例如资源发放程序。所述处理器执行所述计算机程序时实现上述各个用户界面交互方法实施例中的步骤。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述计算机设备中的执行过程。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可包括，但不仅限于，处理器、存储器。
所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器可以是所述计算机设备的内部存储单元，例如计算机设备的硬盘或内存。所述存储器也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器还可以既包括所述计算机设备的内部存储单元也包括外部存储设备。所述存储器用于存储所述计算机程序以及所述计算机设备所需的其他程序和数据。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。
本发明实施例还提供了一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序使计算机执行时实现上述任一项所述的用户界面交互方法。
本发明公开的一种用户界面交互方法，是基于眼动行为分析与脑电信号处理混合模型下的用户界面交互方法，采用混合脑机信号处理技术，根据定义的肌电动作、脑电运动想象行为范式，利用基于信号的分类模型A1A2-FCNN(前向的级联神经网络)，有效快速实现模型的训练和加快训练时模型损失值的下降，实时稳定的实现了融合肌电的混合脑电模态；采用眼动行为分析技术，根据定义的眼动行为范式，利用基于时间序列的LSTM模型，实时稳定的实现了眼动人机交互模态。并以两模态为基础，构建不同范式所构成的鼠标指令集。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (10)
1.一种用户界面交互方法，其特征在于，包括以下步骤：
采集用户眼动信号、脑电信号和肌电信号；
根据采集的所述眼动信号、所述脑电信号和所述肌电信号，对所述眼动信号、所述脑电信号和所述肌电信号进行分析处理；
根据对所述眼动信号、所述脑电信号和所述肌电信号的分析处理，显示分析结果，并输出实时控制结果。
2.如权利要求1所述的一种用户界面交互方法，其特征在于，所述根据采集的信号，对所述眼动信号、所述脑电信号和所述肌电信号进行分析处理，其中，对所述眼动信号进行分析处理，具体包括以下步骤：
对采集到的所述眼动信号进行特征提取；
根据提取的所述眼动信号的特征，利用支持向量机，得到眼动信号与集中注意力等级拟合函数；
对所述眼动信号进行预处理；
利用潜在眼动行为信号的分割算法对预处理后的所述眼动信号进行提取潜在眼动行为的时间序列；
根据提取出来的潜在眼动行为的时间序列，建立长短时记忆网络模型，对眼动行为进行识别分析。
3.如权利要求1所述的一种用户界面交互方法，其特征在于，所述根据采集的信号，对所述眼动信号、脑电信号和肌电信号进行分析处理，其中，对所述脑电信号和肌电信号进行分析处理，具体包括以下步骤：
对采集到的脑电信号进行特征提取；
对采集到的肌电信号进行特征提取；
根据提取的脑电信号特征和肌电信号特征，对脑电信号特征和肌电信号特征进行融合；
根据融合后的脑电信号特征和肌电信号特征，对融合后的脑电信号特征和肌电信号特征进行分析，建立基于权值的前向级联神经网络模型。
4.如权利要求2所述的一种用户界面交互方法，其特征在于，利用潜在眼动行为信号的分割算法对预处理后的所述眼动信号进行提取潜在眼动行为的时间序列，具体包括：
对采集到的所述眼动信号进行150ms窗长的中值滤波；
利用速度阈值固定识别方法得到有意识眼动行为的序列；
基于滤波后的眼动信号，计算当前点与前一点的速度(序列中的第一个点去除)，基于给定的速度分布，在阈值范围之内的为固定点，其余则为扫试点。
5.一种用户界面交互方法装置，其特征在于，包括
采集模块，用于采集用户眼动信号、脑电信号和肌电信号；
处理模块，用于根据采集的所述眼动信号、所述脑电信号和所述肌电信号，对所述眼动信号、所述脑电信号和所述肌电信号进行分析处理；
显示和控制模块，用于根据对所述眼动信号、所述脑电信号和所述肌电信号的分析处理，显示分析结果，并输出实时控制结果。
6.如权利要求5所述的一种用户界面交互方法装置，其特征在于，所述处理模块包括
眼动特征提取单元，用于对采集到的所述眼动信号进行特征提取；
注意力分析单元，用于根据提取的所述眼动信号的特征，利用支持向量机，得到眼动信号与集中注意力等级拟合函数；
眼动预处理单元，用于对所述眼动信号进行预处理；
眼动处理单元，用于利用潜在眼动行为信号的分割算法对预处理后的所述眼动信号进行提取潜在眼动行为的时间序列；
眼动信号分析单元，用于根据提取出来的潜在眼动行为的时间序列，建立长短时记忆网络模型，对眼动行为进行识别分析。
7.如权利要求5所述的一种用户界面交互方法装置，其特征在于，所述处理模块还包括
脑电特征提取单元，用于对采集到的脑电信号进行特征提取；
肌电特征提取单元，用于对采集到的肌电信号进行特征提取；
融合单元，用于根据提取的脑电信号特征和肌电信号特征，对脑电信号特征和肌电信号特征进行融合；
脑电信号和肌电信号分析单元，用于根据融合后的脑电信号特征和肌电信号特征，对融合后的脑电信号特征和肌电信号特征进行分析，建立基于权值的前向级联神经网络模型。
8.如权利要求5所述的一种用户界面交互方法装置，其特征在于，所述眼动预处理单元、眼动处理单元包括：
滤波组件，用于对采集到的所述眼动信号进行150ms窗长的中值滤波；
序列组件，用于利用速度阈值固定识别方法得到有意识眼动行为的序列；
识别组件，基于滤波后的眼动信号，计算当前点与前一点的速度(序列中的第一个点去除)，基于给定的速度分布，在阈值范围之内的为固定点，其余则为扫试点。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现如权利要求1-4中任一项所述的方法。
10.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序使计算机执行时实现如权利要求1-4中任一项所述的一种用户界面交互方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910237471.7A CN109976525B (zh) | 2019-03-27 | 2019-03-27 | 一种用户界面交互方法、装置及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910237471.7A CN109976525B (zh) | 2019-03-27 | 2019-03-27 | 一种用户界面交互方法、装置及计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109976525A true CN109976525A (zh) | 2019-07-05 |
| CN109976525B CN109976525B (zh) | 2022-07-26 |
Family
ID=67080916
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910237471.7A Active CN109976525B (zh) | 2019-03-27 | 2019-03-27 | 一种用户界面交互方法、装置及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109976525B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111966724A (zh) * | 2020-06-29 | 2020-11-20 | 北京津发科技股份有限公司 | 基于人机交互界面区域自动识别技术的交互行为数据采集、分析方法及装置 |
| CN112346569A (zh) * | 2020-11-05 | 2021-02-09 | 江苏集萃脑机融合智能技术研究所有限公司 | 一种瞳孔脑电混合脑机接口平台及其处理方法 |
| CN112860073A (zh) * | 2021-03-17 | 2021-05-28 | 华南脑控(广东)智能科技有限公司 | 人机交互的闭环性鼠标标识控制*** |
| CN114692703A (zh) * | 2022-06-01 | 2022-07-01 | 深圳市心流科技有限公司 | 一种基于脑电数据和肌电数据的专注力等级确定方法 |
| WO2023213663A1 (en) * | 2022-05-03 | 2023-11-09 | L-Università Ta' Malta | A method of determining a point of regard using electrooculography under non-stationary head pose and position conditions |
| CN117954100A (zh) * | 2024-03-26 | 2024-04-30 | 天津市品茗科技有限公司 | 一种基于用户行为的认知能力测试和训练方法及*** |
| CN118252497A (zh) * | 2024-05-29 | 2024-06-28 | 长春工业大学 | 基于多模态特征融合的上肢功能评估方法与*** |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140029332A (ko) * | 2012-08-30 | 2014-03-10 | 한국과학기술원 | 생체신호를 이용한 보안 서비스 제공 방법 및 장치 |
| US20140108842A1 (en) * | 2012-10-14 | 2014-04-17 | Ari M. Frank | Utilizing eye tracking to reduce power consumption involved in measuring affective response |
| CN103885445A (zh) * | 2014-03-20 | 2014-06-25 | 浙江大学 | 一种脑控动物机器人***以及动物机器人的脑控方法 |
| CN104665849A (zh) * | 2014-12-11 | 2015-06-03 | 西南交通大学 | 一种基于多生理信号多模型交互的高铁调度员应激检测方法 |
| CN104866810A (zh) * | 2015-04-10 | 2015-08-26 | 北京工业大学 | 一种深度卷积神经网络的人脸识别方法 |
| CN107411935A (zh) * | 2017-07-18 | 2017-12-01 | 西安交通大学 | 一种用于软体康复机械手的多模式脑机接口控制方法 |
| CN108829245A (zh) * | 2018-05-30 | 2018-11-16 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于多模态脑机交互技术的虚拟沙盘交互控制*** |
-
2019
- 2019-03-27 CN CN201910237471.7A patent/CN109976525B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140029332A (ko) * | 2012-08-30 | 2014-03-10 | 한국과학기술원 | 생체신호를 이용한 보안 서비스 제공 방법 및 장치 |
| US20140108842A1 (en) * | 2012-10-14 | 2014-04-17 | Ari M. Frank | Utilizing eye tracking to reduce power consumption involved in measuring affective response |
| CN103885445A (zh) * | 2014-03-20 | 2014-06-25 | 浙江大学 | 一种脑控动物机器人***以及动物机器人的脑控方法 |
| CN104665849A (zh) * | 2014-12-11 | 2015-06-03 | 西南交通大学 | 一种基于多生理信号多模型交互的高铁调度员应激检测方法 |
| CN104866810A (zh) * | 2015-04-10 | 2015-08-26 | 北京工业大学 | 一种深度卷积神经网络的人脸识别方法 |
| CN107411935A (zh) * | 2017-07-18 | 2017-12-01 | 西安交通大学 | 一种用于软体康复机械手的多模式脑机接口控制方法 |
| CN108829245A (zh) * | 2018-05-30 | 2018-11-16 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于多模态脑机交互技术的虚拟沙盘交互控制*** |
Non-Patent Citations (5)
| Title |
|---|
| G. KHAN等: "Brain MRI Segmentation using efficient 3D Fully Convolutional Neural Networks", 《2018 IEEE INTERNATIONAL CONFERENCE ON BIOINFORMATICS AND BIOMEDICINE (BIBM)》 * |
| 刘建兴等: "基于深度双向长短时记忆网络的文本情感分类", 《桂林电子科技大学学报》 * |
| 张原溥: "基于LSTM长短期记忆网络的情感分析", 《电子世界》 * |
| 朱玉平等: "混合智能算法在多约束优化问题中的应用", 《计算机应用研究》 * |
| 林敏等: "讨论人机交互中的眼姿势辨别技术", 《医疗卫生装备》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111966724A (zh) * | 2020-06-29 | 2020-11-20 | 北京津发科技股份有限公司 | 基于人机交互界面区域自动识别技术的交互行为数据采集、分析方法及装置 |
| CN112346569A (zh) * | 2020-11-05 | 2021-02-09 | 江苏集萃脑机融合智能技术研究所有限公司 | 一种瞳孔脑电混合脑机接口平台及其处理方法 |
| CN112860073A (zh) * | 2021-03-17 | 2021-05-28 | 华南脑控(广东)智能科技有限公司 | 人机交互的闭环性鼠标标识控制*** |
| WO2023213663A1 (en) * | 2022-05-03 | 2023-11-09 | L-Università Ta' Malta | A method of determining a point of regard using electrooculography under non-stationary head pose and position conditions |
| CN114692703A (zh) * | 2022-06-01 | 2022-07-01 | 深圳市心流科技有限公司 | 一种基于脑电数据和肌电数据的专注力等级确定方法 |
| CN117954100A (zh) * | 2024-03-26 | 2024-04-30 | 天津市品茗科技有限公司 | 一种基于用户行为的认知能力测试和训练方法及*** |
| CN118252497A (zh) * | 2024-05-29 | 2024-06-28 | 长春工业大学 | 基于多模态特征融合的上肢功能评估方法与*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109976525B (zh) | 2022-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11468288B2 (en) | Method of and system for evaluating consumption of visual information displayed to a user by analyzing user's eye tracking and bioresponse data | |
| CN109976525A (zh) | 一种用户界面交互方法、装置及计算机设备 | |
| Arpaia et al. | How to successfully classify EEG in motor imagery BCI: a metrological analysis of the state of the art | |
| Cavallo et al. | Emotion modelling for social robotics applications: a review | |
| Krishna et al. | An efficient mixture model approach in brain-machine interface systems for extracting the psychological status of mentally impaired persons using EEG signals | |
| Norani et al. | A review of signal processing in brain computer interface system | |
| CN110555468A (zh) | 一种联合递归图和cnn的脑电信号识别方法及*** | |
| CN112008725B (zh) | 一种人机融合脑控机器人*** | |
| Ha et al. | Decoding two-class motor imagery EEG with capsule networks | |
| CN113208593A (zh) | 基于相关性动态融合的多模态生理信号情绪分类方法 | |
| CN106681509A (zh) | 界面操作的方法和*** | |
| Wang et al. | Decoding pilot behavior consciousness of EEG, ECG, eye movements via an SVM machine learning model | |
| CN113974589B (zh) | 多模态行为范式评估优化***及认知能力评价方法 | |
| Jaswal et al. | Empirical analysis of multiple modalities for emotion recognition using convolutional neural network | |
| Lazurenko et al. | Motor imagery-based brain-computer interface: neural network approach | |
| Tavares et al. | Physiologically attentive user interface for improved robot teleoperation | |
| Wang | Simulation of sports movement training based on machine learning and brain-computer interface | |
| CN115804590A (zh) | 觉醒状态检测***及方法 | |
| CN116597119A (zh) | 可穿戴扩展现实设备的人机交互采集方法、装置和*** | |
| Salman et al. | Improvement of Eye Tracking Based on Deep Learning Model for General Purpose Applications | |
| Ekiz et al. | Long short-term memory network based unobtrusive workload monitoring with consumer grade smartwatches | |
| Guetschel et al. | Transfer Learning between Motor Imagery Datasets using Deep Learning--Validation of Framework and Comparison of Datasets | |
| Yu et al. | Design and Realization of Eye Control System for Small Ground Unmanned Platform | |
| Lu et al. | BrainNets: Human emotion recognition using an Internet of Brian Things platform | |
| Chen et al. | Multimodal event-based task load estimation from wearables |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231024 Address after: 200444 Block B, 5th Floor, Building 1, No. 668 Dashan Road, Baoshan District, Shanghai Patentee after: Shanghai Jingcun Zhice Medical Technology Co.,Ltd. Address before: 200444 No. 99, upper road, Shanghai, Baoshan District Patentee before: Shanghai University |
|
| TR01 | Transfer of patent right |