CN110221684A - 装置控制方法、***、电子装置及计算机可读存储介质 - Google Patents

装置控制方法、***、电子装置及计算机可读存储介质 Download PDF

Info

Publication number
CN110221684A
CN110221684A CN201910156093.XA CN201910156093A CN110221684A CN 110221684 A CN110221684 A CN 110221684A CN 201910156093 A CN201910156093 A CN 201910156093A CN 110221684 A CN110221684 A CN 110221684A
Authority
CN
China
Prior art keywords
bioelectrical signals
user
signals
apparatus control
classifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910156093.XA
Other languages
English (en)
Inventor
陈刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910156093.XA priority Critical patent/CN110221684A/zh
Publication of CN110221684A publication Critical patent/CN110221684A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Neurosurgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本申请实施例提供一种装置控制方法、***、电子装置及计算机可读存储介质,涉及通信技术领域,其中方法包括根据当前的应用场景,确定待采集的用户的生物电信号的种类;通过生物电信号采集器,对确定的至少一种生物电信号进行采集,并从采集的至少一种生物电信号中提取特征数据;将提取的特征数据输入分类器,以识别该用户的意图;将该分类器输出的数据转换为对应的机器控制指令,并执行该机器控制指令对应的操作。本申请可实现基于多模式生物电信号融合的人机交互。

Description

装置控制方法、***、电子装置及计算机可读存储介质
技术领域
本申请涉及通信技术领域,尤其涉及一种装置控制方法、***、电子装置及计算机可读存储介质。
背景技术
目前主流市场中传统的人机交互方式都是通过人脑信息传输到四肢再到移动终端,然后移动终端呈现的信息再反馈给人脑这样一条信息通路实现,传统交互方式中人在接收到终端信息时由大脑产生想法或者意识,通过人体中枢神经***指挥躯干以及四肢对想法或意识做出响应。但是,一方面,人的意识传递到躯干以及四肢需要一定的时间,另一方面,对于某些身体有残疾的用户来说,由于无法通过躯干以及四肢将意识传输给移动终端,也就无法使得移动终端作出响应的反应。因此,如何更高效地将人的意识传递给移动终端并对移动终端进行控制,是当前业内的一大难题。
发明内容
本申请实施例提供一种装置控制方法、***、电子装置及计算机可读存储介质,可用于实现基于多模式生物电信号融合的人机交互。
本申请实施例一方面提供了一种装置控制方法,所述方法包括:根据当前的应用场景,确定待采集的用户的生物电信号的种类;通过生物电信号采集器,对确定的至少一种生物电信号进行采集,并从采集的至少一种生物电信号中提取特征数据;将提取的特征数据输入分类器,以识别所述用户的意图;将所述分类器输出的数据转换为对应的机器控制指令,并执行所述机器控制指令对应的操作。
本申请实施例一方面还提供了一种装置控制方法,所述方法包括:被控装置根据当前的应用场景,确定待采集的用户的生物电信号的种类,并将确定的种类发送给控制装置;所述控制装置通过生物电信号采集器,根据所述确定的种类,对至少一种生物电信号进行采集,并从采集的至少一种生物电信号中提取特征数据,将提取的特征数据输入分类器,以识别所述用户的意图,将所述分类器输出的数据转换为对应的机器控制指令,并将所述机器控制指令发送给所述被控装置;所述被控装置响应于所述机器控制指令,执行对应的操作。
本申请实施例一方面还提供了一种电子装置,包括:确定模块,用于根据当前的应用场景,确定待采集的用户的生物电信号的种类;采集模块,用于通过生物电信号采集器,对确定的至少一种生物电信号进行采集,并从采集的至少一种生物电信号中提取特征数据;识别模块,用于将提取的特征数据输入分类器,以识别用户的意图;转换模块,用于将所述分类器输出的数据转换为对应的机器控制指令;执行模块,用于执行所述机器控制指令对应的操作。
本申请实施例一方面还提供了一种电子装置,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如上述实施例提供的装置控制方法。
本申请实施例一方面还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现如上述实施例提供的装置控制方法。
本申请实施例一方面还提供了一种装置控制***,所述***包括:电子装置和信号采集装置;所述信号采集装置包括:采集器、微处理单元、数据传输单元和固定带;所述微处理单元,用于根据所述电子装置发送的待采集的用户的至少一种生物电信号的种类信息,控制所述采集器采集所述至少一种生物电信号,并将采集的电信号经过预处理后,通过所述数据传输单元发送给所述电子装置;所述电子装置,用于根据当前的应用场景,确定所述种类信息并发送给所述信号采集装置;以及从经过预处理的生物电信号中提取特征数据,将提取的特征数据输入分类器,以识别所述用户的意图,将所述分类器输出的数据转换为对应的机器控制指令,并执行所述机器控制指令对应的操作。
上述各实施例,通过根据当前的应用场景,对与当前的应用场景相匹配的至少一种生物电信号进行采集,并从采集的至少一种生物电信号中提取特征数据,然后通过分类器根据提取的特征数据识别用户的意图并将其转换为对应的机器控制指令,从而实现对电子装置的控制,并在实现了基于多模式生物电信号融合的人机交互同时,可使得意图识别相对于当前的应用场景更具有针对性。
附图说明
图1为本申请一实施例提供的装置控制方法的实现流程示意图;
图2为意识任务激发的ERS或ERD现象的示意图;
图3为本申请实施例提供的装置控制方法中生物电信号采集位置与方式的示意图;
图4为本申请另一实施例提供的装置控制方法的实现流程示意图;
图5为本申请实施例提供的装置控制方法中特征数据选取方法的示意图;
图6为本申请实施例提供的装置控制方法中对分类器进行训练的示意图;
图7为本申请另一实施例提供的装置控制方法的时序流程示意图;
图8为本申请另一实施例提供的装置控制方法的交互示意图;
图9为本申请一实施例提供的电子装置的硬件结构示意图;
图10为本申请一实施例提供的电子装置的硬件结构示意图;
图11为一种电子设备的硬件结构示意图;
图12为本申请一实施例提供的装置控制***的结构示意图;
图13为本申请实施例提供的装置控制***中信号采集装置的结构示意图。
具体实施方式
为使得本申请的发明目的、特征数据、优点能够更加的明显和易懂,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而非全部实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参阅图1,为本申请一实施例提供的装置控制方法的实现流程示意图。该方法可应用于电子装置,如:手机、平板电脑、智能可穿戴设备、智能相机等可在移动中进行数据处理的电子装置,或者,智能电视、台式计算机等非可在移动中进行数据处理的电子装置。该电子装置通过无线网络或数据线连接的方式与生物电信号采集器建立数据传输通道,生物电信号采集器用于采集人的生物电信号,可以但不限于包括:脑电、心电、肌电以及眼电信号。如图1所示,该方法主要包括:
S101、根据当前的应用场景,确定待采集的用户的生物电信号的种类;
生物电信号有很多种类,于本实施例中,具体可以但不限于包括:脑电、肌电、眼电以及心电等。生物电信号以一种非常微弱电压信号记录了生物生理活动的指标,从生理机制层面解释,它是大量神经元同步发生突触后形成的电位,是中枢神经***对外可被检测的一种物理反映,其本质是离子的跨膜运动,这些信号是由上亿个神经元共同产生,不同区域负责的功能不一样,所产生的电位及特点均不同,电荷由神经元产生,通过电解质传导之头皮上的电极,拉动或推动电极上的金属电子,电极之间的微弱电压差被高精度高性能放大器放大,这些随时间变化而变化的电压就是采集的生物电信号。生物的一些生理或者心理上的微弱变化均可在生物电信号上体现出来,例如人大脑的意识活动、情绪变化、意识眨眼等等都可以通过提取的生物电信号特征来判断出来。
以脑电波(Electroencephalogram,EEG)为例,不同频率的脑电波蕴含着不同的生理信息,自发脑电是大脑皮层进行思维活动自发产生的生物电活动,皮层特定区域会有持续性节律性电位变化,大脑在不同意识状态下会自发产生不同的节律,通常将EEG按照频段来分类,可分为δ波、θ波、α波、mu波、β波,五种脑电波的具体特征下如表1所示。
表1不同频段EEG信号及特点
人体在进行意识想象时也会诱发不同的生物电信号,人体实际肢体运动或者想象肢体运动的过程均会引起大脑顶部的运动功能区、辅助运动区以及体感区的mu和beta节律信号功率谱能量变化,将功能率谱能量下降的现象称为产生事件相关去同步信号(Event-Related Desynchronization,ERD),反之,将功率谱能量上升的现象称为产生了事件相关同步信号(Event-Related Synchronization,ERS)。当大脑想象单边肢体运动时,脑部对侧初级感觉运动皮层活跃起来,mu和beta节律性活动表现为幅度的降低,即发生了ERD现象,反之,脑部同侧初级感觉运动皮层受到抑制,mu和beta节律性活动表现为幅度升高,称之发生ERS现象。ERS或ERD属于自发脑电,无需外部刺激,空域和频域特征明显。如图2所示,当人进行意识任务想象时,产生了ERS或ERD现象,生物信号的主要能量分布在特定的区域。
于本实施例中,应用场景可以与前台运行的应用程序的功能或当前执行的任务对应。根据应用场景不同,有的可能只需要脑电信号即可完成控制操作,如:解锁屏幕的场景,只需要根据脑电信号确定用户的意图是向左还是向右;有的可能需要脑电信号、肌电信号才能完成控制操作,如:在执行监测用户是否睡着了的任务的场景下,需要将脑电信号和眼电信号融合,才能确定用户是否睡着了。因此,在装置中预设不同的应用场景下,用于控制装置执行不同操作的控制指令与对应的生物电信号的种类之间的对应关系。当触发控制操作时,根据当前的应用场景,确定需要采集的至少一种生物电信号。
S102、通过生物电信号采集器,对确定的至少一种生物电信号进行采集,并从采集的至少一种生物电信号中提取特征数据;
生物电信号通过若干高灵敏度传感器采集,其位置可附于用户头皮、眼眶、耳部等位置,如图3所示,通过放置在头皮②之上的脑电传感器①,可采集到头骨③下的脑电信号。将采集到的生物电信号进行处理,提取其中的特征数据,根据处理的生物电信号的种类,提取的特征数据可以但不限于包括:意识想象事件组合数据(脑电信号)、意识面部表情特征数据(肌电信号)以及意识眨眼频率与力度数据(眼电信号)。
S103、将提取的特征数据输入分类器,以识别用户的意图;
分类是在已有数据的基础上学会一个分类函数或构造出一个分类模型(即,分类器)。该函数或模型能够把数据库中记录的数据映射到给定类别中的某一个,从而可以应用于数据预测。分类器的常规任务是利用给定的类别、已知的训练数据来学习分类规则和分类器,然后对未知数据进行分类(或预测)。于本实施例,通过分类器对从生物电信号中提取的特征数据进行分类,可识别用户的意图或行为。
可选的,分类器可根据预先采集的各类生物电信号样本训练或学习得到,训练或学习的过程可由服务器在线完成。在实际引用中,分类器可基于支持向量机(SupportVector Machine,SVM)或神经网络训练构建,于本实施例中,不对具体的构建方式做限定。
S104、将分类器输出的数据转换为对应的机器控制指令,并执行机器控制指令对应的操作。
分类器输出的数据与用户的意图或行为对应,如:0代表向左,1代表向右。装置中配置有分类器输出的数据与机器控制指令之间的对应关系,根据该对应关系,可确定对应的机器控制指令。
本实施例中,通过根据当前的应用场景,对与当前的应用场景相匹配的至少一种生物电信号进行采集,并从采集的至少一种生物电信号中提取特征数据,然后通过分类器根据提取的特征数据识别用户的意图并将其转换为对应的机器控制指令,从而实现对电子装置的控制,并在实现了基于多模式生物电信号融合的人机交互同时,可使得意图识别相对于当前的应用场景更具有针对性。
请参阅图4,为本申请另一实施例提供的装置控制方法的实现流程示意图。该方法可应用于电子装置,如:手机、平板电脑、智能可穿戴设备、智能相机等可在移动中进行数据处理的电子装置,或者,智能电视、台式计算机等非可在移动中进行数据处理的电子装置。该电子装置通过无线网络或数据线连接的方式与生物电信号采集器建立数据传输通道,生物电信号采集器用于采集人的生物电信号,可以但不限于包括:脑电、肌电以及眼电信号。如图4所示,该方法主要包括:
S201、根据当前的应用场景,确定待采集的用户的生物电信号的种类;
S202、通过生物电信号采集器,对确定的至少一种生物电信号进行采集;
步骤S201和步骤S202与步骤S101和步骤S102相同,具体可参考上述步骤S101和S102的相关描述,此处不再赘述。
S203、通过高精度放大器对采集的至少一种生物电信号进行电压放大;
S204、对电压放大后的生物电信号进行频域滤波;
通过频域滤波可消除生物电信号中的噪声干扰。
可选的,对采集的生物电信号进行频域滤波,具体包括:通过陷波器消除电压放大后的生物电信号中的工业噪声;通过带通滤波器对消除工业噪声后的生物电信号进行滤波,带通滤波器是具有线性相位的有限长脉冲响应滤波器,且该带通滤波器与待滤波的生物电信号的频率特征相匹配。
可以理解的,通过陷波器消除工业噪声对生物电信号的工频干扰,由于生物电信号数据会受到工频噪声的严重干扰,如果不消除工业噪声的50Hz(赫兹)工频干扰,有用信号的频域信息将会完全丢失。
于本实施例中,需要根据不同生物电信号的频率特点设计不同的具有线性相位的FIR(有限长脉冲响应滤波器)带通滤波器,如:事件想象的ERD或ERS信号频带主要集中在10Hz~15Hz,为了保证不丢失有用信息,可选择频带稍大于10Hz~15Hz的带通滤波器,其设计频带应为5Hz~25Hz。
S205、对频域滤波后的生物电信号进行空域滤波;
空域滤波的目的在于消除广泛分布在人体的随机噪声,突出当前有用导联的有用信号,提高信噪比。
可选的,将所有导联的瞬时信号均值作为参考信号,对频域滤波后的生物电信号进行空域滤波,其中采用的公式为:
其中,为空域滤波后的信号,Xi为空域滤波前原始信号。
S206、评估空域滤波后的生物电信号的强度是否达到预设强度;
S207、若未达到预设强度,则对强度小于预设强度的生物电信号重新进行采集;
S208、若达到预设强度,则从空域滤波后的生物电信号中提取特征数据;
可以理解的,根据应用场景的不同,生物电信号有多种组合模式。在实际应用中,可根据应用场景的不同需要选取不同的特征形态,选取的基本原则是特征明显。以图5为例,在对提取特征数据之前,分别对各类生物电信号进行空域滤波与频域滤波,以提高数据信号的信噪比,之后对经过滤波的生物电信号的强弱进行评估。若该生物电信号的强度达到预设强度,说明该生物电信号有效,将该生物电信号输出给特征提取模块,以从中提取出特征数据。若生物电信号的强度未达到预设强度,说明该生物电信号无效,无法从中提取出有效特征,于是对同类生物电信号重新进行采集。
S209、将提取的特征数据输入分类器,以识别所述用户的意图;
将从采集的生物电信号中提取的特征数据输入分类器,分类器将该特征数据与样本库内的特征数据的相似度进行比较,当二者的相似度达到预设相似值时,分类器会将该特征数据对应的用户意图或行为与之前学习的用户意图或行为判定成一致,并输出相应的用于标识对应用户意图或行为的数据。
S210、将分类器输出的数据转换为对应的机器控制指令,并执行机器控制指令对应的操作。
步骤S210与步骤S104相同,具体可参考图1所示实施例中步骤S104的相关描述,此处不再赘述。
可选的,为提高识别率,可对分类器进行优化训练,以得到最优分类器。具体训练方法包括:采集作为样本的不同应用场景下用户的不同意图对应的至少一种生物电信号;从采集的至少一种生物电信号中提取特征数据;将提取的特征数据输入分类器进行有监督的分类,并判断分类精度是否达到预设的阈值;若分类精度达到阈值,则输出最优分类器,以用于用户意图识别;若分类精度未达到预置,则将提取的特征数据加入到样本数据库内,并更新该分类器。上述对分类器进行优化训练中,从采集的至少一种生物电信号中提取特征数据的具体过程可参考步骤S203至步骤S208的相关描述,此处不再赘述。
以图6为例,可先通过预先制定的使用指导引导用户进行特殊的意识任务,通过用户佩戴的传感器对用户的生物电信号进行采集,然后将采集的生物电信号作为样本进行样本特征数据的提取,对提取的样本特征数据输入已有的分类器,以进行有监督的分类,同时根据输出的分类结果,判断分类精度是否达到预设的阈值,若分类精度未达到阈值,则更新该分类器并将样本特征数据加入到样本数据库内,若精度达到阈值则输出最优分类器,以供装置用于识别用户意图时使用。
其中,有监督分类是指用来训练分类器的所有样本都经过了人工或其他方式的标注。分类精度是指分类正确率,如要求分类正确率达到95%可以停止学习。若分类精度未达阈值则将特征数据加入到样本数据库里,其目的是为了增大训练数据样本,使得训练数据包含各种场景,让分类器学习到某些边界数据。
可选的,为进一步优化分类器,提高识别率,可获取用户在操作与用户的意图不符时输入的反馈信息;根据反馈信息,更新分类器,例如,在分类器中修改该操作对应的特征数据在分类器中的标签。
可选的,于本申请其他一实施方式中,可将生物电信号用于解锁。具体的,当分类器输出的数据对应的机器控制指令用于触发解锁密码设置操作时,电子装置输出用于解锁的目标意图的提示信息,并通过生物电信号采集器,根据用户的选择操作,采集用户的眼电、脑电、心电和肌点中的任意两种第一生物电信号;从第一生物电信号中提取第一特征数据,并保存在电子装置中。其中,用户的选择操作触发的控制指令,可根据步骤S201至步骤S209所示方案中分类器输出的数据确定。用户可以选择眼电、脑电、心电和肌点中的任意两种生物电信号用于解锁。
在解锁场景下,当解锁任务被触发时,通过生物电信号采集器,采集用户的第二生物电信号,第二生物电信号的种类与第一生物电信号相同,如:若在设置解锁密码时采集的是眼电和脑电信号,则在解锁时采集的也是眼电和脑电信号。然后,从采集的第二生物电信号中提取第二特征数据,将该第二特征与保存的第一特征数据进行匹配,并当第二特征数据与第一特征数据的匹配度大于预设匹配度时,执行解锁操作。其中,解锁操作可以但不限于包括解锁屏幕,解锁文件或者解锁电子装置的其他功能等。于本实施例中,对解锁任务的触发条件不做具体限定,其中也可以包括通过步骤S201至S209得到的机器控制指令为触发解锁指令的情况。
本实施例提供的装置控制方法,独立于人体脊椎或外周神经肌肉组织***,它不依赖与人的正常四肢通路,而是模拟人类神经中枢工作***,通过采集多模式生物电信号,并将此信号翻译解码成机器控制指令,从而代替人的四肢对人的意识或想法做出响应,并在大脑产生的多类生物电信号与终端之间建立直接通路,通过采集生物电信号控制装置来实现人机交互。
本实施例未尽之细节,可参考其他实施例的相关描述。
本实施例中,通过根据当前的应用场景,对与当前的应用场景相匹配的至少一种生物电信号进行采集,并从采集的至少一种生物电信号中提取特征数据,然后通过分类器根据提取的特征数据识别用户的意图并将其转换为对应的机器控制指令,从而实现对电子装置的控制,并在实现了基于多模式生物电信号融合的人机交互同时,可使得意图识别相对于当前的应用场景更具有针对性。
请参阅图7,为本申请另一实施例提供的装置控制方法的时序流程示意图。该方法可通过被控装置与控制装置之间的交互实现,其中,被控装置与控制装置可以是电子装置,如:手机、平板电脑、智能可穿戴装置、智能相机等可在移动中进行数据处理的电子装置,或者,智能电视、台式计算机等非可在移动中进行数据处理的电子装置。该控制装置通过无线网络或数据线连接的方式与生物电信号采集器建立数据传输通道,生物电信号采集器用于采集人的生物电信号,可以但不限于包括:脑电、肌电以及眼电信号。或者,该控制装置也可以集成在生物电信号采集器中。如图7所示,该方法主要包括:
S301、被控装置根据当前的应用场景,确定待采集的用户的生物电信号的种类;
S302、被控装置将确定的种类发送给控制装置;
S303、控制装置通过生物电信号采集器,根据确定的种类,对至少一种生物电信号进行采集,并从采集的至少一种生物电信号中提取特征数据,将提取的特征数据输入分类器,以识别用户的意图,将分类器输出的数据转换为对应的机器控制指令;
步骤S303具体可参考图4所示实施例中的相关步骤,此处不再赘述。
S304、控制装置将机器控制指令发送给被控装置;
可选的,根据控制装置与被控装置的连接方式,控制装置可通过无线通路或数据线,将机器控制指令发送给被控装置。
S305、被控装置响应于机器控制指令,执行对应的操作。
可选的,分类器可通过服务器在线学习的方法得到,并进行优化训练。具体的,被控装置指令控制装置通过生物电信号采集器,采集作为样本的不同应用场景下用户的不同意图对应的至少一种生物电信号,并将采集的至少一种生物电信号发送给服务器。服务器从采集的至少一种生物电信号中提取特征数据,将提取的特征数据输入分类器进行有监督的分类,并判断分类精度是否达到预设的阈值若分类精度达到阈值,则输出最优分类器并发送给控制装置,以用于用户意图识别,若分类精度未达到阈值,则将提取的特征数据加入到样本数据库内,并更新分类器。
可选的,被控装置获取用户在被控装置执行的操作与用户的意图不符时输入的反馈信息,并将反馈信息发送给服务器,服务器根据反馈信息,更新分类器,并将更新后的分类器发送给控制装置,以用于用户意图识别。可以理解的,被控装置为用户提供信息反馈接口,通过该信息反馈接口,在被控装置执行的操作与用户意图不符时,用户可将反馈信息输入被控装置。其中反馈信息可以但不限于包括:用户的真实意图或用户的意图对应的真实操作。
为进一步说明本实施例,以集成了控制装置的生物电信号采集器和作为被控装置的移动终端为例,如图8所示。生物电信号采集器采集用户的至少一种生物电信号,然后对采集的生物电信号进行特征提取,并将提取的特征数据输入最优分类器,从而识别出用户的意图,并将该意图转换为机器控制指令,然后通过无线通路发送给移动终端,以便移动终端执行对应的操作,向用户进行视听觉反馈。整个过程没有传统的四肢通路参与,本申请直接将用户的生物电信号翻译成机器指令,然后通过无线通路传输给移动终端,从而完成交互,进而实现在不依赖正常四肢通路的前提下与移动终端进行交互。
可以理解的,有些特殊人群例如残障人士,可能无法自如的根据自己的意愿来使用移动终端,借助本实施例提供的装置控制方法,可以帮助这类弱势群体重新获得与移动终端交互的能力,并且该方法还可以应用到智能物联网应用场景下,用户可以借助该方法实现意念控制家居如灯,空调等,用户只需要佩戴生物电信号采集设备,通过解码用户意念激发的生物电信号而实现意念控制家居,不需要再借助四肢控制手机来进行遥控。
可选的,于本申请其他一实施方式中,可将生物电信号应用于解锁,具体的,当分类器输出的数据对应的机器控制指令用于触发解锁密码设置操作时,被控装置输出用于解锁的目标意图的提示信息,并根据用户的选择操作,向控制装置发送待采集的该用户的眼电、脑电、心电和肌点中的任意两种第一生物电信号的第一描述信息。然后,该控制装置根据该第一描述信息,通过该生物电信号采集器,采集该任意两种第一生物电信号,从该第一生物电信号中提取第一特征数据,并将该第一特征数据发送给该被控装置进行保存,以备后期解锁使用。
在解锁场景下,当解锁任务被触发时,该被控装置向该控制装置发送第二生物电信号的第二描述信息,该第二生物电信号的种类与该第一生物电信号相同。该控制装置通过该生物电信号采集器,根据该第二描述信息,采集该第二生物电信号,从该第二生物电信号中提取第二特征数据,并将该第二特征数据与该第一特征数据进行匹配,当该第二特征数据与该第一特征数据的匹配度大于预设匹配度时,向该被控装置发送解锁指令。该被控装置响应于该解锁指令,执行解锁操作。可以理解的,上述第一描述信息和第二描述信息例如可以是生物电信号的标识信息,如:预设的编码。上述第一特征数据和第二特征数据的提取方式具体可参考上述步骤S203至步骤S208中的相关描述,此处不再赘述。
可以理解的,在非解锁场景下,需要将从生物电信号中提取的特征数据输入分类器中,以识别用户的意图。在解锁场景下,可不经过分类器,直接将提取的特征数据与预设的特征数据进行匹配,从而可针对不同的应用场景执行不同的操作,提高数据处理的针对性和效率。
可以理解的,在实际应用中,特征数据的提取也可由被控装置完成,具体提取方式与由控制装置进行提取相类似,此处不再赘述。
本实施例未尽之细节,如特征数据的提取方式等,可参考其他实施例的相关描述。
本实施例中,通过根据当前的应用场景,对与当前的应用场景相匹配的至少一种生物电信号进行采集,并从采集的至少一种生物电信号中提取特征数据,然后通过分类器根据提取的特征数据识别用户的意图并将其转换为对应的机器控制指令,从而实现对电子装置的控制,并在实现了基于多模式生物电信号融合的人机交互同时,可使得意图识别相对于当前的应用场景更具有针对性。
请参阅图9,为本申请一实施例提供的电子装置的硬件结构示意图。该电子装置可用于实现上述图1所示的装置控制方法。如图9所示,该电子装置主要包括:确定模块401、采集模块402、识别模块403、转换模块404以及执行模块405。
确定模块401,用于根据当前的应用场景,确定待采集的用户的生物电信号的种类;
采集模块402,用于通过生物电信号采集器,对确定的至少一种生物电信号进行采集,并从采集的至少一种生物电信号中提取特征数据;
识别模块403,用于将提取的特征数据输入分类器,以识别用户的意图;
转换模块404,用于将该分类器输出的数据转换为对应的机器控制指令;
执行模块405,用于执行该机器控制指令对应的操作。
进一步的,采集模块402,还用于采集作为样本的不同应用场景下该用户的不同意图对应的至少一种生物电信号,从采集的至少一种生物电信号中提取特征数据;
该装置还包括:
分类模块,用于将提取的特征数据输入该分类器进行有监督的分类,并判断分类精度是否达到预设的阈值;
输出模块,用于若该分类精度达到该阈值,则输出最优分类器,以用于用户意图识别;
更新模块,用于若该分类精度未达到该阈值,则将提取的特征数据加入到样本数据库内,并更新该分类器。
进一步的,采集模块402包括:
放大模块,用于通过高精度放大器对采集的至少一种生物电信号进行电压放大;
频域滤波模块,用于对电压放大后的生物电信号进行频域滤波;
空域滤波模块,用于对频域滤波后的生物电信号进行空域滤波;
评估模块,用于评估空域滤波后的生物电信号的强度是否达到预设强度,若未达到该预设强度,则对该强度小于该预设强度的生物电信号重新进行采集,若达到该预设强度,则从空域滤波后的生物电信号中提取该特征数据。
进一步的,该频域滤波模块,具体用于通过陷波器消除该电压放大后的生物电信号中的工业噪声;还具体用于通过带通滤波器对消除工业噪声后的生物电信号进行滤波,该带通滤波器是具有线性相位的有限长脉冲响应滤波器,且该带通滤波器与待滤波的该生物电信号的频率特征相匹配。
进一步的,该空域滤波模块,具体用于将所有导联的瞬时信号均值作为参考信号,对该频域滤波后的生物电信号进行空域滤波,其中采用的公式为:
其中,为空域滤波后的信号,Xi为空域滤波前原始信号。
进一步的,该装置还包括:
获取模块,用于获取该用户在该操作与该用户的意图不符时输入的反馈信息;
该更新模块,还用于根据该反馈信息,更新该分类器。
上述各模块实现各自功能的具体过程,可参考图1至图7所示实施例中的具体内容,此处不再赘述。
本实施例中,通过根据当前的应用场景,对与当前的应用场景相匹配的至少一种生物电信号进行采集,并从采集的至少一种生物电信号中提取特征数据,然后通过分类器根据提取的特征数据识别用户的意图并将其转换为对应的机器控制指令,从而实现对电子装置的控制,并在实现了基于多模式生物电信号融合的人机交互同时,可使得意图识别相对于当前的应用场景更具有针对性。
请参阅图10,图10为本申请一实施例提供的电子装置的硬件结构示意图。
本实施例中所描述的电子装置,包括:
存储器501、处理器502及存储在存储器501上并可在处理器502上运行的计算机程序,处理器502执行该计算机程序时,实现前述图1至图6所示实施例中描述的装置控制方法。
至少一个输入设备503以及至少一个输出设备504。
上述存储器501、处理器502、输入设备503以及输出设备504,通过总线505连接。
其中,输入设备503具体可为摄像头、触控面板、物理按键等等。输出设备504具体可为触摸屏。
存储器501可以是高速随机存取记忆体(RAM,Random Access Memory)存储器,也可为非不稳定的存储器(non-volatile memory),例如磁盘存储器。存储器501用于存储一组可执行程序代码,处理器502与存储器501耦合。
该电子装置外接生物电信号采集器。
进一步的,该电子装置还包括电性连接于处理器502连接的:
高精度放大器,用于对生物电信号采集器采集的生物电信号进行电压放大;
陷波器,用于消除生物电信号中的工业噪声;
带通滤波器,用于对消除工业噪声后的生物电信号进行滤波,所述带通滤波器是具有线性相位的有限长脉冲响应滤波器,且所述带通滤波器与待滤波的所述生物电信号的频率特征相匹配;以及
空域滤波器,用于对频域滤波后的生物电信号进行空域滤波。
进一步的,本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质可以是配置于上述各实施例中的电子装置中,该计算机可读存储介质可以是上述各实施例中配置在主控芯片和数据采集芯片中的存储单元。该计算机可读存储介质上存储有计算机程序,该程序被处理器执行时实现前述图1至图6所示实施例中描述的装置控制方法。
示例性的,电子装置可以为具有柔性电容式触摸屏的移动或便携式并执行无线通信的各种类型的计算机***设备中的任何一种。具体的,电子装置可以为移动电话或智能电话(例如,基于iPhone TM,基于Android TM的电话),便携式游戏设备(例如Nintendo DSTM,PlayStation Portable TM,Gameboy Advance TM,iPhone TM)、膝上型电脑、PDA、便携式互联网设备、音乐播放器以及数据存储设备,其他手持设备以及诸如手表、耳机、吊坠、耳机等,电子装置还可以为其他的可穿戴设备(例如,诸如电子眼镜、电子衣服、电子手镯、电子项链、电子纹身、电子设备或智能手表的头戴式设备(HMD))。
电子装置还可以是多个电子设备中的任何一个,多个电子设备包括但不限于蜂窝电话、智能电话、其他无线通信设备、个人数字助理、音频播放器、其他媒体播放器、音乐记录器、录像机、照相机、其他媒体记录器、收音机、医疗设备、车辆运输仪器、计算器、可编程遥控器、寻呼机、膝上型计算机、台式计算机、打印机、上网本电脑、个人数字助理(PDA)、便携式多媒体播放器(PMP)、运动图像专家组(MPEG-1或MPEG-2)音频层3(MP3)播放器,便携式医疗设备以及数码相机及其组合。
在一些情况下,电子装置可以执行多种功能(例如,播放音乐,显示视频,存储图片以及接收和发送电话呼叫)。如果需要,电子装置可以是诸如蜂窝电话、媒体播放器、其他手持设备、腕表设备、吊坠设备、听筒设备或其他紧凑型便携式设备的便携式设备。
如图11所示,电子设备10可以包括控制电路,该控制电路可以包括存储和处理电路30。该存储和处理电路30可以包括存储器,例如硬盘驱动存储器,非易失性存储器(例如闪存或用于形成固态驱动器的其它电子可编程限制删除的存储器等),易失性存储器(例如静态或动态随机存取存储器等)等,本申请实施例不作限制。存储和处理电路30中的处理电路可以用于控制电子设备10的运转。该处理电路可以基于一个或多个微处理器,微控制器,数字信号处理器,基带处理器,功率管理单元,音频编解码器芯片,专用集成电路,显示驱动器集成电路等来实现。
存储和处理电路30可用于运行电子设备10中的软件,例如互联网浏览应用程序,互联网协议语音(Voice over Internet Protocol,VOIP)电话呼叫应用程序,电子邮件应用程序,媒体播放应用程序,操作***功能等。这些软件可以用于执行一些控制操作,例如,基于照相机的图像采集,基于环境光传感器的环境光测量,基于接近传感器的接近传感器测量,基于诸如发光二极管的状态指示灯等状态指示器实现的信息显示功能,基于触摸传感器的触摸事件检测,与在多个(例如分层的)显示器上显示信息相关联的功能,与执行无线通信功能相关联的操作,与收集和产生音频信号相关联的操作,与收集和处理按钮按压事件数据相关联的控制操作,以及电子设备10中的其它功能等,本申请实施例不作限制。
电子设备10还可以包括输入输出电路42。输入输出电路42可用于使电子设备10实现数据的输入和输出,即允许电子设备10从外部设备接收数据和也允许电子设备10将数据从电子设备10输出至外部设备。输入输出电路42可以进一步包括传感器32。传感器32可以包括环境光传感器,基于光和电容的接近传感器,触摸传感器(例如,基于光触摸传感器和/或电容式触摸传感器,其中,触摸传感器可以是触控显示屏的一部分,也可以作为一个触摸传感器结构独立使用),加速度传感器,和其它传感器等。
输入输出电路42还可以包括一个或多个显示器,例如显示器14。显示器14可以包括液晶显示器,有机发光二极管显示器,电子墨水显示器,等离子显示器,使用其它显示技术的显示器中一种或者几种的组合。显示器14可以包括触摸传感器阵列(即,显示器14可以是触控显示屏)。触摸传感器可以是由透明的触摸传感器电极(例如氧化铟锡(ITO)电极)阵列形成的电容式触摸传感器,或者可以是使用其它触摸技术形成的触摸传感器,例如音波触控,压敏触摸,电阻触摸,光学触摸等,本申请实施例不作限制。
电子设备10还可以包括音频组件36。音频组件36可以用于为电子设备10提供音频输入和输出功能。电子设备10中的音频组件36可以包括扬声器,麦克风,蜂鸣器,音调发生器以及其它用于产生和检测声音的组件。
通信电路38可以用于为电子设备10提供与外部设备通信的能力。通信电路38可以包括模拟和数字输入输出接口电路,和基于射频信号和/或光信号的无线通信电路。通信电路38中的无线通信电路可以包括射频收发器电路、功率放大器电路、低噪声放大器、开关、滤波器和天线。举例来说,通信电路38中的无线通信电路可以包括用于通过发射和接收近场耦合电磁信号来支持近场通信(Near Field Communication,NFC)的电路。例如,通信电路38可以包括近场通信天线和近场通信收发器。通信电路38还可以包括蜂窝电话收发器和天线,无线局域网收发器电路和天线等。
电子设备10还可以进一步包括电池,电力管理电路和其它输入-输出单元40。输入输出单元40可以包括按钮,操纵杆,点击轮,滚动轮,触摸板,小键盘,键盘,照相机,发光二极管和其它状态指示器等。
用户可以通过输入输出电路42输入命令来控制电子设备10的操作,并且可以使用输入输出电路42的输出数据以实现接收来自电子设备10的状态信息和其它输出。
请参阅图12,为本申请一实施例提供的装置控制***的结构示意图。如图12所示,该***包括:电子装置60和信号采集装置70。其中,电子装置60例如可以是:手机、平板电脑、智能可穿戴设备、智能相机等可在移动中进行数据处理的移动终端,或者,智能电视、台式计算机等非可在移动中进行数据处理的其他计算机装置,为便于理解,图12以移动终端为例。电子装置60和信号采集装置70可通过WI-FI(无线保真)、蓝牙、NFC(Near FieldCommunication,近场通讯)等无线信道进行数据交互,或者,也可以通过数据线进行数据交互。
如图13所示,信号采集装置70包括:采集器71、微处理单元(MicrocontrollerUnit,MCU)72、数据传输单元73和固定带74。可选的,采集器71包括:生物电信号采集传感器,高精度放大器、频域滤波器以及数模转换器。数据传输单元73为无线传输模块,或者,USB(Universal Serial Bus,通用串行总线)模块。
采集器71用于采集用户的生物电信号,可以但不限于包括:眼电、肌电、心电以及脑电等。固定带74用于将信号采集装置70固定在人体需要进行信号采集的部位。数据传输单元73用于将生物电信号传输给电子装置60。
微处理单元72,用于根据电子装置60发送的待采集的用户的至少一种生物电信号的种类信息,控制采集器71采集该至少一种生物电信号,并将采集的电信号经过预处理后,通过数据传输单元93发送给电子装置60。其中预处理可以但不限于包括:电压放大,频域、空域滤波以及数模转换等。具体预处理过程,可参考上述图4所示实施例中步骤S204至步骤S206中的相关描述,此处不再赘述。
电子装置60的结构具体可参考图10所示实施例,此处不再赘述。电子装置60,用于根据当前的应用场景,确定该种类信息并发送给信号采集装置70;以及从经过预处理的生物电信号中提取特征数据,将提取的特征数据输入分类器,以识别该用户的意图,将该分类器输出的数据转换为对应的机器控制指令,并执行该机器控制指令对应的操作。
进一步的,可将该的***应用于解锁,具体的,当该机器控制指令用于触发解锁密码设置操作时,电子装置60,还用于输出用于解锁的目标意图的提示信息,并根据该用户的选择操作,向信号采集装置70发送待采集的该用户的眼电、脑电、心电和肌点中的任意两种第一生物电信号的第一描述信息。
微处理单元72,还用于控制采集器71根据该第一描述信息,采集该任意两种第一生物电信号并进行预处理,将经过预处理的第一生物电信号通过数据传输单元93发送给电子装置60。
电子装置60,还用于从该经过预处理的第一生物电信号中提取第一特征数据并保存。
当该当前的应用场景为解锁场景,且,解锁任务被触发时,电子装置60,还用于向信号采集装置70发送第二生物电信号的第二描述信息,该第二生物电信号的种类与该第一生物电信号相同。
微处理单元72,还用于控制采集器71根据该第二描述信息,采集该第二生物电信号并进行预处理,将预处理过的第二生物电信号通过数据传输单元93发送给电子装置60。
电子装置60,还用于从该第二生物电信号中提取第二特征数据,并将该第二特征数据与该第一特征数据进行匹配,当该第二特征数据与该第一特征数据的匹配度大于预设匹配度时,执行解锁操作。
可以理解的,用户在第一次使用时,需要保存用户的生物电信号模板。以智能手机为例,具体的,用户头戴信号采集装置后,智能手机屏幕上提示用户进行一段时间的意识任务(即,目标意图)来诱发特殊的生物电信号,根据用户的自定义选择,意识任务包括但不限于包括:意识想象、意识眨眼、意识面部表情、意识心跳等操作中的至少两种。同时,智能手机指令信号采集装置对用户选定的至少两种生物电信号进行采集,信号采集装置通过生物电信号采集传感器采集用户的生物电信号(模拟信号),然后将采集的生物电信号通过高精度放大器进行电压放大,放大后的电压又经过频域、空域滤波以滤除杂波提高信号的信噪比,然后,模拟信号在经过数模转换成数字信号后,再通过无线传输模块传输到智能手机。智能手机从信号采集装置发送的生物电信号中提取出多维度的信号特征进行模板保存。当用户第二次佩戴信号采集装置后,进行与第一此同样的意识任务便可以诱发出同样的生物电信号,信号经过信号处理后提取出来的多维度特征与第一次的模板相匹配,相似度达到某个阈值后认为是同一用户并解锁手机。
进一步的,该***还包括服务器,该服务器用于构建分类器以及对该分类器进行优化训练和更新。
具体的,分类器可通过服务器在线学习的方法得到,并进行优化训练。电子装置60指令信号采集装置70采集作为样本的不同应用场景下用户的不同意图对应的至少一种生物电信号,并将采集的至少一种生物电信号发送给服务器。服务器从至少一个电子装置60发送的至少一种生物电信号中提取特征数据,将提取的特征数据输入分类器进行有监督的分类,并判断分类精度是否达到预设的阈值若分类精度达到阈值,则输出最优分类器并发送给控制装置,以用于用户意图识别,若分类精度未达到阈值,则将提取的特征数据加入到样本数据库内,并更新分类器。
可选的,电子装置60获取用户在电子装置60执行的操作与用户的意图不符时输入的反馈信息,并将反馈信息发送给服务器,服务器根据反馈信息,更新分类器,并将更新后的分类器发送给电子装置60,以用于用户意图识别。可以理解的,电子装置60为用户提供信息反馈接口,通过该信息反馈接口,在电子装置60执行的操作与用户意图不符时,用户可将反馈信息输入电子装置60。其中反馈信息可以但不限于包括:用户的真实意图或用户的意图对应的真实操作。
可选的,上述分类器的构建、优化训练及更新也可由电子装置60完成。
本实施例中,通过根据当前的应用场景,对与当前的应用场景相匹配的至少一种生物电信号进行采集,并从采集的至少一种生物电信号中提取特征数据,然后通过分类器根据提取的特征数据识别用户的意图并将其转换为对应的机器控制指令,从而实现对电子装置的控制,并在实现了基于多模式生物电信号融合的人机交互同时,可使得意图识别相对于当前的应用场景更具有针对性。进一步的,在将上述装置控制***应用于解锁时,由于能够实现通过生物电信号快速解锁电子装置,其过程可以做到完全不依赖双手,解锁时的意识任务内容也无法被他人窥见,因此具有较高的安全性。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个***,或一些特征数据可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个可读存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的可读存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上为对本申请所提供的装置控制方法、***、电子装置及计算机可读存储介质的描述,对于本领域的技术人员,依据本申请实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本申请的限制。

Claims (16)

1.一种装置控制方法,应用于电子装置,其特征在于,所述方法包括:
根据当前的应用场景,确定待采集的用户的生物电信号的种类;
通过生物电信号采集器,对确定的至少一种生物电信号进行采集,并从采集的至少一种生物电信号中提取特征数据;
将提取的特征数据输入分类器,以识别所述用户的意图;
将所述分类器输出的数据转换为对应的机器控制指令,并执行所述机器控制指令对应的操作。
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
采集作为样本的不同应用场景下所述用户的不同意图对应的至少一种生物电信号;
从采集的至少一种生物电信号中提取特征数据;
将提取的特征数据输入所述分类器进行有监督的分类,并判断分类精度是否达到预设的阈值;
若所述分类精度达到所述阈值,则输出最优分类器,以用于用户意图识别;
若所述分类精度未达到所述阈值,则将提取的特征数据加入到样本数据库内,并更新所述分类器。
3.如权利要求2所述的方法,其特征在,所述从采集的至少一种生物电信号中提取特征数据,具体包括:
通过高精度放大器对采集的至少一种生物电信号进行电压放大;
对电压放大后的生物电信号进行频域滤波;
对频域滤波后的生物电信号进行空域滤波;
评估空域滤波后的生物电信号的强度是否达到预设强度;
若未达到所述预设强度,则对所述强度小于所述预设强度的生物电信号重新进行采集;
若达到所述预设强度,则从空域滤波后的生物电信号中提取所述特征数据。
4.如权利要求3所述的方法,其特征在于,所述对电压放大后的生物电信号进行频域滤波,具体包括:
通过陷波器消除所述电压放大后的生物电信号中的工业噪声;
通过带通滤波器对消除工业噪声后的生物电信号进行滤波,所述带通滤波器是具有线性相位的有限长脉冲响应滤波器,且所述带通滤波器与待滤波的所述生物电信号的频率特征相匹配。
5.如权利要求3所述的方法,其特征在于,所述对频域滤波后的生物电信号进行空域滤波,具体包括:
将所有导联的瞬时信号均值作为参考信号,对所述频域滤波后的生物电信号进行空域滤波,其中采用的公式为:
其中,为空域滤波后的信号,Xi为空域滤波前原始信号。
6.如权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述用户在所述操作与所述用户的意图不符时输入的反馈信息;
根据所述反馈信息,更新所述分类器。
7.如权利要求1至6中的任一项所述的方法,其特征在于,当所述机器控制指令用于触发解锁密码设置操作时,所述执行所述机器控制指令对应的操作,具体包括:
输出用于解锁的目标意图的提示信息,并通过所述生物电信号采集器,根据所述用户的选择操作,采集所述用户的眼电、脑电、心电和肌点中的任意两种第一生物电信号;
从所述第一生物电信号中提取第一特征数据,并保存在所述电子装置中;
当所述当前的应用场景为解锁场景时,所述方法还包括:
当解锁任务被触发时,通过所述生物电信号采集器,采集所述用户的第二生物电信号,所述第二生物电信号的种类与所述第一生物电信号相同;
从所述第二生物电信号中提取第二特征数据,并当所述第二特征数据与所述第一特征数据的匹配度大于预设匹配度时,执行解锁操作。
8.一种装置控制方法,其特征在于,所述方法包括:
被控装置根据当前的应用场景,确定待采集的用户的生物电信号的种类,并将确定的种类信息发送给控制装置;
所述控制装置通过生物电信号采集器,根据所述确定的种类信息,对至少一种生物电信号进行采集,从采集的至少一种生物电信号中提取特征数据,将提取的特征数据输入分类器,以识别所述用户的意图,将所述分类器输出的数据转换为对应的机器控制指令,并将所述机器控制指令发送给所述被控装置;
所述被控装置响应于所述机器控制指令,执行对应的操作。
9.如权利要求8所述的方法,其特征在于,所述方法还包括:
所述被控装置指令所述控制装置通过生物电信号采集器,采集作为样本的不同应用场景下所述用户的不同意图对应的至少一种生物电信号,并将采集的至少一种生物电信号发送给服务器;
所述服务器从所述采集的至少一种生物电信号中提取特征数据,将提取的特征数据输入所述分类器进行有监督的分类,并判断分类精度是否达到预设的阈值若所述分类精度达到所述阈值,则输出最优分类器并发送给所述控制装置,以用于用户意图识别,若所述分类精度未达到所述阈值,则将提取的特征数据加入到样本数据库内,并更新所述分类器。
10.如权利要求9所述的方法,其特征在于,所述方法还包括:
所述被控装置获取所述用户在所述操作与所述用户的意图不符时输入的反馈信息,并将所述反馈信息发送给所述服务器;
所述服务器根据所述反馈信息,更新所述分类器,并将更新后的分类器发送给所述控制装置。
11.如权利要求8所述的方法,其特征在于,当所述机器控制指令用于触发解锁密码设置操作时,所述被控装置响应于所述机器控制指令,执行对应的操作,具体包括:
所述被控装置输出用于解锁的目标意图的提示信息,并根据所述用户的选择操作,向所述控制装置发送待采集的所述用户的眼电、脑电、心电和肌点中的任意两种第一生物电信号的第一描述信息;
所述控制装置根据所述第一描述信息,通过所述生物电信号采集器,采集所述任意两种第一生物电信号,从所述第一生物电信号中提取第一特征数据,并将所述第一特征数据发送给所述被控装置进行保存;
当所述当前的应用场景为解锁场景时,所述方法还包括:
当解锁任务被触发时,所述被控装置向所述控制装置发送第二生物电信号的第二描述信息,所述第二生物电信号的种类与所述第一生物电信号相同;
所述控制装置通过所述生物电信号采集器,根据所述第二描述信息,采集所述第二生物电信号,从所述第二生物电信号中提取第二特征数据,并将所述第二特征数据与所述第一特征数据进行匹配,当所述第二特征数据与所述第一特征数据的匹配度大于预设匹配度时,向所述被控装置发送解锁指令;
所述被控装置响应于所述解锁指令,执行解锁操作。
12.一种电子装置,其特征在于,所述装置包括:
确定模块,用于根据当前的应用场景,确定待采集的用户的生物电信号的种类;
采集模块,用于通过生物电信号采集器,对确定的至少一种生物电信号进行采集,并从采集的至少一种生物电信号中提取特征数据;
识别模块,用于将提取的特征数据输入分类器,以识别用户的意图;
转换模块,用于将所述分类器输出的数据转换为对应的机器控制指令;
执行模块,用于执行所述机器控制指令对应的操作。
13.一种电子装置,具有触摸屏,所述电子装置包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时,实现如权利要求1至7中的任意一项所述的装置控制方法。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现如权利要求1至7中的任意一项所述的装置控制方法。
15.一种装置控制***,其特征在于,所述***包括:电子装置和信号采集装置;
所述信号采集装置包括:采集器、微处理单元、数据传输单元和固定带;
所述微处理单元,用于根据所述电子装置发送的待采集的用户的至少一种生物电信号的种类信息,控制所述采集器采集所述至少一种生物电信号,并将采集的电信号经过预处理后,通过所述数据传输单元发送给所述电子装置;
所述电子装置,用于根据当前的应用场景,确定所述种类信息并发送给所述信号采集装置;以及从经过预处理的生物电信号中提取特征数据,将提取的特征数据输入分类器,以识别所述用户的意图,将所述分类器输出的数据转换为对应的机器控制指令,并执行所述机器控制指令对应的操作。
16.如权利要求15所述的***,其特征在于,
当所述机器控制指令用于触发解锁密码设置操作时,所述电子装置,还用于输出用于解锁的目标意图的提示信息,并根据所述用户的选择操作,向所述信号采集装置发送待采集的所述用户的眼电、脑电、心电和肌点中的任意两种第一生物电信号的第一描述信息;
所述微处理单元,还用于控制所述采集器根据所述第一描述信息,采集所述任意两种第一生物电信号并进行预处理,将经过预处理的第一生物电信号通过所述数据传输单元发送给所述电子装置;
所述电子装置,还用于从所述经过预处理的第一生物电信号中提取第一特征数据并保存;
当所述当前的应用场景为解锁场景,且,解锁任务被触发时,所述电子装置,还用于向所述信号采集装置发送第二生物电信号的第二描述信息,所述第二生物电信号的种类与所述第一生物电信号相同;
所述微处理单元,还用于控制所述采集器根据所述第二描述信息,采集所述第二生物电信号并进行预处理,将预处理过的第二生物电信号通过所述数据传输单元发送给所述电子装置;
所述电子装置,还用于从所述第二生物电信号中提取第二特征数据,并将所述第二特征数据与所述第一特征数据进行匹配,当所述第二特征数据与所述第一特征数据的匹配度大于预设匹配度时,执行解锁操作。
CN201910156093.XA 2019-03-01 2019-03-01 装置控制方法、***、电子装置及计算机可读存储介质 Pending CN110221684A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910156093.XA CN110221684A (zh) 2019-03-01 2019-03-01 装置控制方法、***、电子装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910156093.XA CN110221684A (zh) 2019-03-01 2019-03-01 装置控制方法、***、电子装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN110221684A true CN110221684A (zh) 2019-09-10

Family

ID=67822377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910156093.XA Pending CN110221684A (zh) 2019-03-01 2019-03-01 装置控制方法、***、电子装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110221684A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110879552A (zh) * 2019-11-29 2020-03-13 联想(北京)有限公司 一种控制方法及控制***
CN111144363A (zh) * 2019-12-31 2020-05-12 北京理工大学 一种基于场景和物体信息的第一视角下的行为识别方法
CN112075938A (zh) * 2020-06-03 2020-12-15 深圳市润谊泰益科技有限责任公司 分布式数据采集***、方法及存储介质
CN112163210A (zh) * 2020-10-09 2021-01-01 Oppo广东移动通信有限公司 解锁控制、终端加密的方法、装置、终端及存储介质
CN114153266A (zh) * 2021-11-12 2022-03-08 苏州维伟思医疗科技有限公司 一种数据时间同步方法、装置及计算机可读存储介质
CN114783585A (zh) * 2022-06-17 2022-07-22 苏州景昱医疗器械有限公司 程控设备、程控***、电子设备和计算机可读存储介质
CN115314080A (zh) * 2022-09-29 2022-11-08 北京脑陆科技有限公司 数据传输方法、装置、***、计算机设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102306303A (zh) * 2011-09-16 2012-01-04 北京工业大学 一种基于小训练样本的脑电信号特征提取方法
CN103699226A (zh) * 2013-12-18 2014-04-02 天津大学 一种基于多信息融合的三模态串行脑-机接口方法
CN104586387A (zh) * 2015-01-19 2015-05-06 秦皇岛市惠斯安普医学***有限公司 一种时、频、空域多参数脑电特征提取与融合方法
CN104615250A (zh) * 2015-02-11 2015-05-13 中国兵器科学研究院 一种基于脑机接口的二维光标快速控制方法
CN107212883A (zh) * 2017-05-24 2017-09-29 天津理工大学 一种基于脑电控制的机械臂写字装置及控制方法
CN107411935A (zh) * 2017-07-18 2017-12-01 西安交通大学 一种用于软体康复机械手的多模式脑机接口控制方法
CN207234755U (zh) * 2017-10-12 2018-04-13 北京翼石科技有限公司 一种用于动物情绪脑电分析的信号发射装置
CN108319928A (zh) * 2018-02-28 2018-07-24 天津大学 一种基于多目标微粒群算法优化的深度学习模型及应用
CN108875344A (zh) * 2018-06-25 2018-11-23 Oppo(重庆)智能科技有限公司 一种电子设备控制方法、电子设备控制装置及电子设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102306303A (zh) * 2011-09-16 2012-01-04 北京工业大学 一种基于小训练样本的脑电信号特征提取方法
CN103699226A (zh) * 2013-12-18 2014-04-02 天津大学 一种基于多信息融合的三模态串行脑-机接口方法
CN104586387A (zh) * 2015-01-19 2015-05-06 秦皇岛市惠斯安普医学***有限公司 一种时、频、空域多参数脑电特征提取与融合方法
CN104615250A (zh) * 2015-02-11 2015-05-13 中国兵器科学研究院 一种基于脑机接口的二维光标快速控制方法
CN107212883A (zh) * 2017-05-24 2017-09-29 天津理工大学 一种基于脑电控制的机械臂写字装置及控制方法
CN107411935A (zh) * 2017-07-18 2017-12-01 西安交通大学 一种用于软体康复机械手的多模式脑机接口控制方法
CN207234755U (zh) * 2017-10-12 2018-04-13 北京翼石科技有限公司 一种用于动物情绪脑电分析的信号发射装置
CN108319928A (zh) * 2018-02-28 2018-07-24 天津大学 一种基于多目标微粒群算法优化的深度学习模型及应用
CN108875344A (zh) * 2018-06-25 2018-11-23 Oppo(重庆)智能科技有限公司 一种电子设备控制方法、电子设备控制装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐鲁强等: ""脑电Laplacian空域滤波的改进算法"", 《计算机应用研究》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110879552A (zh) * 2019-11-29 2020-03-13 联想(北京)有限公司 一种控制方法及控制***
CN110879552B (zh) * 2019-11-29 2021-08-17 联想(北京)有限公司 一种控制方法及控制***
CN111144363A (zh) * 2019-12-31 2020-05-12 北京理工大学 一种基于场景和物体信息的第一视角下的行为识别方法
CN111144363B (zh) * 2019-12-31 2023-02-28 北京理工大学 一种基于场景和物体信息的第一视角下的行为识别方法
CN112075938A (zh) * 2020-06-03 2020-12-15 深圳市润谊泰益科技有限责任公司 分布式数据采集***、方法及存储介质
CN112075938B (zh) * 2020-06-03 2024-01-05 深圳市润谊泰益科技有限责任公司 分布式数据采集***、方法及存储介质
CN112163210A (zh) * 2020-10-09 2021-01-01 Oppo广东移动通信有限公司 解锁控制、终端加密的方法、装置、终端及存储介质
CN114153266A (zh) * 2021-11-12 2022-03-08 苏州维伟思医疗科技有限公司 一种数据时间同步方法、装置及计算机可读存储介质
CN114153266B (zh) * 2021-11-12 2023-10-27 苏州维伟思医疗科技有限公司 一种数据时间同步方法、装置及计算机可读存储介质
CN114783585A (zh) * 2022-06-17 2022-07-22 苏州景昱医疗器械有限公司 程控设备、程控***、电子设备和计算机可读存储介质
CN115314080A (zh) * 2022-09-29 2022-11-08 北京脑陆科技有限公司 数据传输方法、装置、***、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN110221684A (zh) 装置控制方法、***、电子装置及计算机可读存储介质
KR102302640B1 (ko) 신체 조직 전기 신호의 검출 및 사용
Song et al. Design of a flexible wearable smart sEMG recorder integrated gradient boosting decision tree based hand gesture recognition
EP3389474B1 (en) Drowsiness onset detection
Lin et al. EEG-based brain-computer interface for smart living environmental auto-adjustment
EP3215910A1 (en) Modular wearable device for conveying affective state
CN107106063A (zh) 智能音频头戴式耳机***
CN107145239A (zh) 一种基于脑念传感器的智能***及其控制方法
CN103885445A (zh) 一种脑控动物机器人***以及动物机器人的脑控方法
CN108108603A (zh) 登录方法及装置和电子设备
WO2020006263A1 (en) System and methods for brain health monitoring and seizure detection and prediction
CN108874130A (zh) 播放控制方法及相关产品
CN108261274A (zh) 一种用于假肢手控制与感知的双向残肢接口***
CN103294192A (zh) 一种基于运动想象的led灯开关控制装置及其控制方法
Jagadish et al. A novel system architecture for brain controlled IoT enabled environments
CN108670275A (zh) 信号处理方法及相关产品
Dai et al. [Retracted] Application Analysis of Wearable Technology and Equipment Based on Artificial Intelligence in Volleyball
CN105487661A (zh) 一种终端控制方法及装置
CN108108974A (zh) 支付方法及装置和电子设备
Yang et al. Survey on emotion sensing using mobile devices
CN206400210U (zh) 脑电波控制的智能ar眼镜设备
Anupama et al. Real-time EEG based object recognition system using Brain Computer Interface
CN114246594A (zh) 脑电信号处理方法、背景脑电预测模型的训练方法及装置
Suk et al. A probabilistic approach to spatio-spectral filters optimization in Brain-Computer Interface
CN207164699U (zh) 一种基于脑念传感器的智能***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190910

RJ01 Rejection of invention patent application after publication