CN106569606A - 一种基于自然手势识别的智能家居红外控制***与方法 - Google Patents

一种基于自然手势识别的智能家居红外控制***与方法 Download PDF

Info

Publication number
CN106569606A
CN106569606A CN201610979839.3A CN201610979839A CN106569606A CN 106569606 A CN106569606 A CN 106569606A CN 201610979839 A CN201610979839 A CN 201610979839A CN 106569606 A CN106569606 A CN 106569606A
Authority
CN
China
Prior art keywords
infrared
signal
module
information
smart home
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610979839.3A
Other languages
English (en)
Inventor
朱向阳
于洋
盛鑫军
郭伟超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Everwin Precision Technology Co Ltd
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201610979839.3A priority Critical patent/CN106569606A/zh
Publication of CN106569606A publication Critical patent/CN106569606A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于自然手势识别的智能家居红外控制***和方法,通过臂带采集人体表面肌电信息和前臂的运动信息,采集到的数据通过蓝牙传送到手机客户端或PC端,客户端的处理软件对两者进行融合、处理,对手部动作模式进行分类识别,进而映射成控制***设备的16进制控制字并通过蓝牙传输到红外发射模块;红外发射模块接收到控制字后,其内部的8051单片机会根据具体的控制字进行编码,产生控制脉冲,驱动红外二极管产生调制在38kHz载波上红外信号,从而控制家庭以及办公场所各类可以用红外进行控制的设备,这就将由sEMG/IMU信息反应的手腕部动作与智能家居相结合,提高和优化人与服务设备的互动体验。

Description

一种基于自然手势识别的智能家居红外控制***与方法
技术领域
本发明涉及智能家居领域,尤其涉及一种基于自然手势识别的智能家居红外控制***与方法。
背景技术
人们通常希望通过更加直观的方式与周围的服务设备进行交互,运用人体动作手势就是一种直观、有效且容易接受的方式。随着现代信号测量与处理技术的发展,通过解码人体动作手势控制***设备,用人的“意念”进行人机交互成为可能。表面肌电信号(sEMG)是一种伴随着人体骨骼肌收缩在人体皮肤表面产生的微弱生物电信号,通常情况下,表面肌电信号的数量级在mV与μV之间。通常认为,人体的表面肌电信号与人的动作存在一定的对应关系,因而,通过对表面肌电信号进行分析与解码,可以反映人的动作模式。表面肌电信号不仅存在于健康人的肌肉处,同时对于有一定肌肉残留的截肢患者其动作模式与表面肌电信号之间也同样存在对应关系。因此,运用表面肌电信号进行手势解码,不仅适用于健全人,同样也适用于截肢患者。
IMU是惯性测量单元的缩写,包括加速度计、磁力计、陀螺仪信息,它可以很好地表征人体的动作模式,尤其是对于动作幅度较大的动作有良好的识别能力,能够很好地补充sEMG在手势动作识别上的劣势,更加准确地完成手势动作的识别。
此外,在我们的家庭中,很多设备是靠红外信号进行控制的,而且每种设备都配有一种遥控器,使用起来极为不方便,因此,本发明发明一套基于自然手势识别(sEMG与IMU信息)的智能家居红外控制***与方法。
因此,本领域的技术人员致力于开发一种基于自然手势识别的智能家居红外控制***与方法,就是将sEMG、IMU以及红外信号三者进行结合,提高和优化人与服务设备的互动体验。
发明内容
有鉴于现有技术的上述缺陷,本发明所要解决的技术问题是如何融合sEMG和IMU采集的信息,识别人体手腕部动作进而实现智能家居的红外控制。
为实现上述目的,本发明提供了一种基于自然手势识别的智能家居红外控制***,包括信号采集模块、信号融合与处理模块和红外发射模块,所述信号采集模块包括表面肌电电极、IMU模块、信号预处理模块、蓝牙模块以及电源管理模块;所述信号融合与处理模块包括智能设备和APP软件模块,所述APP软件模块被配置为将采集到的信号进行模式识别得到手腕部动作模式,进而将动作模式对应的命令发送给所述红外发射模块;所述信号采集模块与所述智能设备之间通过所述蓝牙模块传递数据。
进一步地,所述表面肌电电极为表面镀金的贴片金属电极,所述信号采集模块采用8通道采集,每个通道的所述表面肌电电极包括三片的镀金电极片,且均匀分布。
进一步地,所述表面肌电电极均匀的分布在人体前臂肘关节下方5-8cm处,各通道之间通过柔性总线进行通讯,通过硬度较高的硅胶带进行机械连接。
进一步地,所述IMU模块采用MPU-9150模块,被配置为与肌电信息融合,通过姿态解算识别手部的运动姿态信息。
进一步地,所述信号预处理模块包括前置放大电路、高通滤波电路、低通滤波电路以及A/D转换电路。
进一步地,所述电源管理模块给所述采集模块和所述红外发射模块供电,所述电源管理模块采用两块3.7V的锂电池,其中,所述电源管理模块被配置为通过电源管理芯片产生3.3V的电压为单片机、A/D转换芯片供电,通过电压反转芯片产生±2.5V的电压,用于产生肌电信号的正负信号。
进一步地,所述APP软件模块对手势动作模式的识别包括对肌电信号和IMU信息的处理,并将两者结合;所述对肌电信号的处理采用线性判别分析分类器,对手腕部动作进行分类与判别;所述对IMU信息的处理,采用姿态解算算法,实时解算前臂和手掌的空间姿态和运动信息。
进一步地,所述蓝牙模块采用cc254x模块,红外信号的编码通过所述cc254x模块内集成的单片机进行。
本发明还提供了一种基于自然手势识别的智能家居红外控制方法,包括以下步骤:
S1、采集表面肌电信号和IMU信息;
S2、对原始信号进行预处理并通过蓝牙发送;
S3、进行模式识别与姿态解算,识别手腕部动作模式;
S31、数据分割,进行分窗处理;
S32、对分窗数据进行特征提取,并进行特征降维;
S33、分类器训练与测试;
S34、输出控制命令;
S4、红外发射模块接收主机控制命令;
S5、红外模块进行红外编码并发送控制指令,驱动红外二极管;
S6、***设备红外接收器接收红外控制指令。
进一步地,在所述步骤S1中,8通道的肌电电极均匀的分布在前臂肘关节下方5-8cm处,采集手臂运动信息的MPU-9015模块集成在其中一个通道的肌电电极模块中。
进一步地,在所述步骤S2中,对原始信号进行预处理包括对原始信号进行放大、带通滤波和A/D转换,转换以后的数字量信息通过蓝牙模块直接将数据发送至智能设备,待APP软件模块对数据进行分析处理。
进一步地,在所述步骤S3中,对于肌电信号的处理采用模式识别的方式;首先,将采集到的肌电信号进行分窗处理,窗长取200ms,滑移增益取50ms;然后,对每一个数据窗内的数据提取特征值,时域特征集为Hudgins特征集,包括绝对平均值,波形长度,过零点数以及波形符号变化数;这些特征值组成一个4维的特征向量;在步骤S3中,分类器被配置为用户根据规定的动作模式按照APP软件模块的提示进行训练,确定LDA分类器的样本均值向量和总体协方差矩阵;训练后的分类器对新的肌电信号进行模式分类,确定具体的动作模式;动作模式根据控制要求的不同进行选取,包括数量和类别;在步骤S3中,根据肌电信息和IMU信息对手势动作模式进行判别分类后,APP软件模块通过蓝牙模块发送控制字到红外发射模块。
进一步地,在所述步骤S4中,红外发射模块的cc254x模块接收蓝牙信息,读取控制字;在所述步骤S5中,cc254x模块根据接收到的控制字,按位判断编码信息并进行相应的编码,用控制脉冲驱动红外二极管,从而产生调制在38kHz载波上的红外信号;在所述步骤S5中,红外发射模块佩戴在镜框脚上或是耳朵上,且红外二极管朝向前方,对准被控设备;在步骤S6中,***设备的红外接收器接收来自红外发射模块的红外信息,进而控制设备做出相应的反应。
本发明所述的智能家居的红外控制方法包括以下步骤:
(1)采集表面肌电信号和IMU信息;
(2)对获取的数据信息进行解码并映射到相应的手腕部动作模式;
(3)将手腕部动作模式对应的控制信息发送给红外发射模块;
(4)红外发射模块根据接收到的信息发送相应的红外信号进而控制***设备。
为了解决以上技术问题,提出一种基于自然手势识别的智能家居红外控制***。本***主要包含以下几个模块:sEMG和IMU信号采集模块,信号融合与处理模块,红外发射模块等。
所述sEMG和IMU信号采集模块包括表面肌电电极、IMU模块、信号预处理模块、蓝牙模块以及电源管理模块。它可以采集多通道(通常为4到8通道)的表面肌电信号以及IMU(包括加速度计、陀螺仪和磁力计)信息,为后续的手势识别采集必要的肌电与运动信息。
所述信号融合与处理模块主要包括手机APP软件,sEMG与IMU信息通过信号采集模块的蓝牙模块传输到手机,手机APP软件将采集到的信号进行处理、分析,进行模式识别得到手腕部动作模式,进而将动作模式对应的命令发送给红外发射模块。
所述红外发射模块主要包括蓝牙4.0模块、电源管理模块以及红外二极管。红外发射模块接受来自蓝牙主机(即手机)的控制命令,根据控制命令进行相应的红外编码,将编码脉冲发送给红外二极管,从而达到通过红外信号控制***设备的目的。该模块体积小,可以佩戴在镜框上面,控制某种设备时只需注释该设备即可,此种佩戴方法和控制方式更加自然。
优选的,sEMG和IMU信号采集模块中的肌电电极为表面镀金的贴片金属电极,镀金是为了保持皮肤与电极之间良好的导通性能,保证肌电信号的质量。每个通道的肌电电极包括三片的镀金电极片,且均匀分布。
优选的,通常采用4到8通道的多通道肌电信号,本***中采用8通道的表面肌电,肌电电极均匀的分布在人体前臂肘关节下方5-8cm处附近,该处肌肉分布密集且多为肌腹位置,有利于保证肌电信号质量。各通道之间通过柔性总线进行通讯,通过硬度较高的硅胶带进行机械连接。
优选的,IMU模块采用MPU-9150模块,可以提供9轴加速度计、3轴陀螺仪和1轴磁力计信息,能够精确地获取手部的运动姿态信息,与肌电信息融合,使得手势识别更为准确。该模块集成在肌电采集臂带(即信号采集模块)中,可以有效识别手臂的旋转、摆动等信息,充分发挥IMU信息的优势,补足肌电信号的劣势。
优选的,信号预处理模块主要包括前置放大电路、高通滤波电路、低通滤波电路以及A/D转换电路。由于采集到的sEMG与IMU信息量级较小,故需要进行放大;高通滤波电路是为了滤除低频噪声成分,消除运动伪迹,通常截止频率为20Hz;低通滤波电路是为了消除高频噪声,截止频率一般为450Hz;采集到的原始信号均为模拟量,故需要进行A/D转换,采样频率在1-2kHz之间。
优选的,蓝牙模块用于臂带与手机APP之间的数据通讯,将采集到的sEMG和IMU的信息无线传输至手机。
优选的,电源管理模块用于给臂带中各个模块供电,采用两块3.7V的锂电池为整个信号采集装置供电,其中,需要通过电源管理芯片产生3.3V的电压为单片机、A/D转换芯片供电,通过电压反转芯片产生±2.5V的电压,用于产生肌电信号的正负信号。
优选的,手机APP软件用于信号处理与手势动作模式的识别,同时,提供用户优良的操作交互界面,用于手势动作的训练与测试。
优选的,手机APP软件对手势动作模式的识别分为两部分,一部分是对肌电信号的处理,采用线性判别分析(LDA)分类器,对手腕部动作进行分类与判别;另一部分是对IMU信息的处理,采用姿态解算算法,实时解算物体(即前臂和手掌)的空间姿态和运动信息。两者结合,对于手腕部动作的识别可以达到很高的识别率,同时,运用自然地手腕部动作控制家用电器、办公设备等***设备可以极大地提高控制的合理性和用户体验。
优选的,红外发射模块的蓝牙4.0模块用于跟手机的无线通讯,该蓝牙模块采用cc254x模块,该模块体积小、功耗低,只需一颗纽扣电池供电即可。该模块集成了一片8051单片机,可以利用该单片机进行红外信号的编码。
优选的,红外二极管一般选用波长为940nm或是850nm的二极管,为了提高红外信号的发射效率,红外二极管的控制信号需要调制在38kHz载波上。
为了解决以上技术问题,本发明还提供了一种基于自然手势识别的智能家居红外控制方法,包括以下步骤:
S1、采集表面肌电信号和IMU信息;
S2、对原始信号进行预处理并通过蓝牙发送;
S3、进行模式识别与姿态解算,识别手腕部动作模式;
S31、数据分割,进行分窗处理;
S32、对分窗数据进行特征提取,并进行特征降维;
S33、分类器训练与测试;
S34、输出控制命令;
S4、红外发射模块接收主机控制命令;
S5、红外模块进行红外编码并发送控制指令,驱动红外二极管;
S6、***设备红外接收器接收红外控制指令。
优选的,在步骤S1中,8通道的肌电电极均匀的分布在前臂肘关节下方5-8cm处附近,采集手臂运动信息的MPU-9015模块集成在其中一个肌电电极模块当中。
优选的,在步骤S2中,对原始信号进行预处理,主要包括对原始信号进行放大,通常放大倍数为100-1000之间;进行带通滤波,通频带为20-450Hz;进行A/D转换,将采集到的模拟量按1-2kHz的采样频率采样得到sEMG和IMU的数字量信息。数字量信息通过蓝牙模块直接将数据发送至手机端或是PC端,待用户终端软件对数据进行分析处理。
优选的,在步骤S3中,对于肌电信号的处理采用模式识别的方式。首先,将采集到的肌电信号进行分窗处理,窗长取200ms,滑移增益取50ms;然后,对每一个数据窗内的数据提取特征值,这里提取常用的时域特征集Hudgins特征集,包括绝对平均值(MAV),波形长度(WL),过零点数(ZC)以及波形符号变化数(SSC)。这些特征值组成一个4维的特征向量。
优选的,在步骤S3中,分类器需要首先进行训练,即用户需要根据规定的动作模式按照手机APP的提示进行短暂的训练,这些数据用于训练分类器,确定LDA分类器的样本均值向量和总体协方差矩阵这两个参数。训练完成之后,便可以利用训练确定的分类器对新的肌电信号进行模式分类,确定具体的动作模式。动作模式可以根据控制要求的不同进行选取,包括数量和类别。
优选的,在步骤S3中,根据肌电信息和IMU信息对手势动作模式进行判别分类后,客户端软件会通过手机蓝牙发送控制字(红外编码对应的十六进制数)到红外发射模块。
优选的,在步骤S4中,红外发射模块的cc254x模块接收蓝牙信息,读取控制字。
优选的,在步骤S5中,cc254x根据接收到的控制字,按位判断编码信息并进行相应的编码,用控制脉冲驱动红外二极管,从而产生调制在38kHz载波上的红外信号。
优选的,在步骤S5中,红外发射模块佩戴在镜框脚上或是耳朵上,且红外二极管朝向前方,对准被控设备。
优选的,在步骤S6中,***设备的红外接收器接收来自红外发射模块的红外信息,进而控制设备做出相应的反应。
本发明提出一种基于自然手势识别的智能家居红外控制***和方法,通过臂带采集人体表面肌电信息和前臂的运动信息,采集到的数据通过蓝牙传送到手机客户端或是PC端,客户端的处理软件对两者进行融合、处理,对手部动作模式进行分类识别,进而映射成控制***设备的16进制控制字并通过蓝牙传输到红外发射模块;红外发射模块接收到控制字后,其内部的8051单片机会根据具体的控制字进行编码,产生控制脉冲,驱动红外二极管产生调制在38kHz载波上红外信号。从而控制家庭以及办公场所各类可以用红外进行控制的设备,这就将由sEMG/IMU信息反应的手腕部动作与智能家居相结合。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明,以充分地了解本发明的目的、特征和效果。
附图说明
图1为本发明的一个较佳实施例的***方案示意图;
图2为本发明的一个较佳实施例的红外控制***结构示意图;
图3为本发明的一个较佳实施例的放大、滤波电路示意图;
图4为本发明的一个较佳实施例的红外控制***方法流程图;
图5为本发明的一个较佳实施例的模式识别信号处理流程图;
图6为本发明的一个较佳实施例的红外发射模块结构示意图;
图7为本发明的一个较佳实施例的红外发射模块电路图示意图;
图8为本发明的一个较佳实施例的红外发射模块佩戴位置示意图;
图9为本发明的一个较佳实施例的红外发射模块单片机编码示意图。
具体实施方式
下面结合附图来对本发明作进一步详细说明。
如图1和图2所示,本发明揭示了一种基于自然手势识别的智能家居红外控制***000,该***包括四个部分,分别是sEMG和IMU信号采集模块100、信号融合与处理模块200、红外发射模块300以及***设备400。信号采集模块100是一种肌电和IMU的采集臂带,信号融合与处理模块200是指手机APP或是PC端处理软件,红外发射模块300主要为cc254x蓝牙模块,***设备400包括电视机、空调等可以用红外进行控制的电器。图1中,该***的工作过程如下所述:人体大脑产生指挥手部动作的意图,这一意图会以神经冲动电信号的形式传达至前臂肌肉,肌肉收缩在人体皮肤表面产生肌电信号,同时,手臂和手部的动作也会产生运动信息,这一运动信息由臂带集成的IMU模块(MPU9150)捕获。这两种信号经预处理后通过臂带的蓝牙模块传输至手机APP或是PC端200的处理软件中,经信息融合进行模式识别后识别人体手部动作,手机将这一动作对应的控制指令通过蓝牙发送给红外发射模块300,模块300接收控制指令后进行红外编码,编码脉冲发送给红外二极管产生控制***设备400的红外信号。外设400可以包括电视机、空调、投影仪等可以通过红外进行控制的电器。至此,一套完整的基于自然手势识别的智能家居红外控制***搭建完成。该种控制方式可以有效地避免电器之间遥控器不通用的问题,将各种设备的控制集成到一起,并且可以将这种控制方式同时应用在健全人和残疾人身上,控制更加自然、便捷。
信号采集模块100用于采集表面肌电信号和IMU信号,这些数据为后续进行手势识别提供必要的信息。信号采集模块100是一个可以采集8通道表面肌电信号和IMU信息的传感装置,其中,IMU信息包括9轴加速度信息、3轴陀螺仪和1轴磁力计信息。该装置佩戴于前臂肘关节下方5-8cm处附近,各个电极通道之间均匀分布,每个肌电通道都包含3片贴片电极片,该电极片表面镀金,以提高皮肤和电极之间的导通性能。IMU模块集成在臂带主控板上,采用MPU-9150模块。臂带选用STM32作为主控芯片,采用3.7V锂电池进行供电,内部集成的蓝牙模块可以将数据实时传送到处理分析软件当中。
由臂带采集到的原始肌电信号和IMU信号需要进行滤波和放大,图3所示为臂带各电极模块对肌电信号进行滤波放大的电路图。图中三片电极片,其中一片作为另外两片电极片的参考,另外两片电极信号进行差分处理,以消除固有噪声。前置放大器选用INA326A,前置放大后进行高通滤波,截止频率为20Hz,其中C2为10μF,R2为2.7k;高通滤波后进行二级放大,采用AD8603作为放大器,二级放大后进行低通滤波,截止频率为450Hz,其中C3为0.33μF,R3为1k。一般情况下,经放大后的肌电信号放大倍数在100-1000之间。
如图4所示,本发明提供了一种基于自然手势识别的智能家居红外控制***的方法,包括以下步骤:
S1、采集表面肌电信号和IMU信息。
S2、对原始信号进行预处理并通过蓝牙发送。
在步骤S1、S2中,用户根据动作模式的设置作相应的规定动作,佩戴在前臂的臂带采集前臂肌肉的肌电信号以及IMU信息,采集到的信号经滤波、放大、A/D转换后经蓝牙传输至手机APP或是PC端。sEMG和IMU信号采集装置具体参考图3及其对应的描述。
S3、进行模式识别与姿态解算,识别手腕部动作模式。
在步骤S3中,关键问题是根据采集到的sEMG和IMU信息对手部动作进行解码,整个过程分为训练和测试两个过程,如图5。首先,根据手机APP的提示用户按照一定的动作模式进行训练,数据经过分窗处理、特征提取与特征降维后确定LDA分类器的样本均值向量和总体协方差矩阵两个参数,训练完成后即可进行测试。用户根据之前训练的动作模式,按照事先对应好的动作模式与控制指令之间的关系,做相应的动作手势。新采集到的肌电信号经数据分窗、特征提取与特征降维、LDA分类器分类后输出分类结果。而对于IMU信息,采用姿态检测算法,可以解算出手臂旋转的角度、加速度、速度以及位移等信息,并与肌电信号模式识别的分类结果进行综合考量,输出最终的分类结果,进而输出对应的控制指令。
S4、红外发射模块接收主机控制命令。
在步骤S4中,红外发射模块采用cc254x蓝牙模块,该模块是一种低功耗蓝牙(BLE)模块,可以用纽扣电池供电,不工作时处于休眠状态,因此可工作很长时间而无需更换电池。该模块另外一个特点是它搭载了一枚8051的单片机,当接收到蓝牙主机传来的指令时,可以按照需要生成编码脉冲。如图6,红外发射模块由cc254x蓝牙模块310、红外二极管320以及电源模块330组成。cc254x蓝牙模块协议栈中的***函数会检测***特征值的变化,而从机收到主机数据是通过将数据读入特征值实现的。
S5、红外发射模块进行红外编码并发送控制指令,驱动红外二极管。
在步骤S5中,红外发射模块中cc254x蓝牙模块的电路图参考图7。红外二极管接在P1.1引脚处,单片机产生的控制脉冲由P1.1输出。如图8,红外发射模块可佩戴于眼镜侧面,当用户想要控制某种设备时只需目光直视该设备,佩戴臂带一侧手臂做相应的手势即可,控制方便自然。对于没有配戴眼镜的用户,可以对红外发射模块的外形进行适当调整,佩戴在一侧耳朵上,同样也可以实现以上效果。
对于cc254x模块的红外编码方式如图9。手机APP通过蓝牙发送控制指令即16进制的控制字给BLE模块,接收到控制字后单片机会按位判断是“0”还是“1”,判断完成后会将“0”和“1”对应的编码数值存入定时器的寄存器中,形成一个用于存储控制字数据的数组;为了产生调制在38kHz载波上的调制红外信号,采用图9中的控制策略,定时器3用于产生38kHz的载波,启动cc254x模块的红外发射功能,这样,定时器1可以接受来自定时器3的输出信号作为自身的时钟信号;定时器1根据控制字的不同,即调用上文中的控制字数组,实时更新定时器1寄存器的数值,输出门控信号;最后,定时器1通道1产生的门控信号与定时器3通道1产生的载波信号做“与”运算,产生最终的调制后的红外控制波形,驱动红外二极管。
对于不同的被控对象,其红外编码格式不尽相同,针对这一问题,可以建立不同型号设备的红外编码库,通过手机APP对设备型号的设置,完成不同红外编码格式的选择。
本发明提供了一种基于自然手势识别的智能家居红外控制***与方法,用户可以通过一定的控制手势实现对红外设备的控制。该***与方法是通过检测人体表面肌电信号和IMU信息,识别手部的动作模式,并将识别结果通过蓝牙发送给红外发射模块,经红外发射模块编码后驱动红外二极管,进而控制红外设备。本发明无论对于健全者还是手部功能有缺陷的残疾人,都可以极大地改变他们的生活方式,提高生活质量。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于自然手势识别的智能家居红外控制***,其特征在于,包括信号采集模块、信号融合与处理模块和红外发射模块,所述信号采集模块包括表面肌电电极、IMU模块、信号预处理模块、蓝牙模块以及电源管理模块;所述信号融合与处理模块包括智能设备和APP软件模块,所述APP软件模块被配置为将采集到的信号进行模式识别得到手腕部动作模式,进而将动作模式对应的命令发送给所述红外发射模块;所述信号采集模块与所述智能设备之间通过所述蓝牙模块传递数据。
2.如权利要求1所述的基于自然手势识别的智能家居红外控制***,其特征在于,所述IMU模块采用MPU-9150模块,被配置为与肌电信息融合,通过姿态解算识别手部的运动姿态信息。
3.如权利要求1所述的基于自然手势识别的智能家居红外控制***,其特征在于,所述信号预处理模块包括前置放大电路、高通滤波电路、低通滤波电路以及A/D转换电路。
4.如权利要求1所述的基于自然手势识别的智能家居红外控制***,其特征在于,所述APP软件模块对手势动作模式的识别包括对肌电信号和IMU信息的处理,并将两者结合;所述对肌电信号的处理采用线性判别分析分类器,对手腕部动作进行分类与判别;所述对IMU信息的处理,采用姿态解算算法,实时解算前臂和手掌的空间姿态和运动信息。
5.如权利要求1所述的基于自然手势识别的智能家居红外控制***,其特征在于,所述蓝牙模块采用cc254x模块,红外信号的编码通过所述cc254x模块内集成的单片机进行。
6.一种基于自然手势识别的智能家居红外控制方法,其特征在于,包括以下步骤:
S1、采集表面肌电信号和IMU信息;
S2、对原始信号进行预处理并通过蓝牙发送;
S3、进行模式识别与姿态解算,识别手腕部动作模式;
S31、数据分割,进行分窗处理;
S32、对分窗数据进行特征提取,并进行特征降维;
S33、分类器训练与测试;
S34、输出控制命令;
S4、红外发射模块接收主机控制命令;
S5、红外模块进行红外编码并发送控制指令,驱动红外二极管;
S6、***设备红外接收器接收红外控制指令。
7.如权利要求6所述的基于自然手势识别的智能家居红外控制方法,其特征在于,在所述步骤S1中,8通道的肌电电极均匀的分布在前臂肘关节下方5-8cm处,采集手臂运动信息的MPU-9015模块集成在其中一个通道的肌电电极模块中。
8.如权利要求6所述的基于自然手势识别的智能家居红外控制方法,其特征在于,在所述步骤S2中,对原始信号进行预处理包括对原始信号进行放大、带通滤波和A/D转换,转换以后的数字量信息通过蓝牙模块直接将数据发送至智能设备,待APP软件模块对数据进行分析处理。
9.如权利要求6所述的基于自然手势识别的智能家居红外控制方法,其特征在于,在所述步骤S3中,对于肌电信号的处理采用模式识别的方式;首先,将采集到的肌电信号进行分窗处理,窗长取200ms,滑移增益取50ms;然后,对每一个数据窗内的数据提取特征值,时域特征集为Hudgins特征集,包括绝对平均值,波形长度,过零点数以及波形符号变化数;这些特征值组成一个4维的特征向量;在步骤S3中,分类器被配置为用户根据规定的动作模式按照APP软件模块的提示进行训练,确定LDA分类器的样本均值向量和总体协方差矩阵;训练后的分类器对新的肌电信号进行模式分类,确定具体的动作模式;动作模式根据控制要求的不同进行选取,包括数量和类别;在步骤S3中,根据肌电信息和IMU信息对手势动作模式进行判别分类后,APP软件模块通过蓝牙模块发送控制字到红外发射模块。
10.如权利要求6所述的基于自然手势识别的智能家居红外控制方法,其特征在于,在所述步骤S4中,红外发射模块的cc254x模块接收蓝牙信息,读取控制字;在所述步骤S5中,cc254x模块根据接收到的控制字,按位判断编码信息并进行相应的编码,用控制脉冲驱动红外二极管,从而产生调制在38kHz载波上的红外信号;在所述步骤S5中,红外发射模块佩戴在镜框脚上或是耳朵上,且红外二极管朝向前方,对准被控设备;在步骤S6中,***设备的红外接收器接收来自红外发射模块的红外信息,进而控制设备做出相应的反应。
CN201610979839.3A 2016-11-08 2016-11-08 一种基于自然手势识别的智能家居红外控制***与方法 Pending CN106569606A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610979839.3A CN106569606A (zh) 2016-11-08 2016-11-08 一种基于自然手势识别的智能家居红外控制***与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610979839.3A CN106569606A (zh) 2016-11-08 2016-11-08 一种基于自然手势识别的智能家居红外控制***与方法

Publications (1)

Publication Number Publication Date
CN106569606A true CN106569606A (zh) 2017-04-19

Family

ID=58540325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610979839.3A Pending CN106569606A (zh) 2016-11-08 2016-11-08 一种基于自然手势识别的智能家居红外控制***与方法

Country Status (1)

Country Link
CN (1) CN106569606A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107553499A (zh) * 2017-10-23 2018-01-09 上海交通大学 一种多轴机械臂的自然手势运动控制***和方法
CN107728788A (zh) * 2017-10-31 2018-02-23 吉林大学 一种基于红外超声三维定位体感交互装置
CN107943285A (zh) * 2017-11-10 2018-04-20 上海交通大学 一种基于生物肌电的人机交互腕环、***及方法
CN108491077A (zh) * 2018-03-19 2018-09-04 浙江大学 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法
CN108606882A (zh) * 2018-03-23 2018-10-02 合肥工业大学 基于肌电和加速度自适应控制的智能轮椅控制***
CN109491504A (zh) * 2018-11-08 2019-03-19 郑州大学 一种基于手势肌电信号的投影交互***
CN110989834A (zh) * 2019-11-26 2020-04-10 广东美的厨房电器制造有限公司 烹饪设备及其手势控制方法
CN112603758A (zh) * 2020-12-21 2021-04-06 上海交通大学宁波人工智能研究院 一种基于sEMG与IMU信息融合的手势识别方法
CN113021349A (zh) * 2021-03-24 2021-06-25 季华实验室 远程操作控制方法及装置、***、设备、存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101777250A (zh) * 2010-01-25 2010-07-14 中国科学技术大学 家用电器的通用遥控装置及方法
CN103035115A (zh) * 2012-12-10 2013-04-10 Tcl通力电子(惠州)有限公司 一种基于智能终端手势识别的家居设备控制***及方法
CN103440498A (zh) * 2013-08-20 2013-12-11 华南理工大学 基于lda算法的表面肌电信号识别方法
CN103616882A (zh) * 2013-12-14 2014-03-05 胡三清 牙控智能家居
CN103654774A (zh) * 2014-01-02 2014-03-26 北京思睿博创科技有限公司 穿戴式移动手环
CN103853333A (zh) * 2014-03-21 2014-06-11 上海威璞电子科技有限公司 一种手势控制玩具的方案
CN105005383A (zh) * 2015-07-10 2015-10-28 昆山美莱来工业设备有限公司 一种利用手势操控移动机器人的可穿戴臂环
CN105955306A (zh) * 2016-07-20 2016-09-21 西安中科比奇创新科技有限责任公司 可穿戴设备、基于可穿戴设备的无人机控制方法及***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101777250A (zh) * 2010-01-25 2010-07-14 中国科学技术大学 家用电器的通用遥控装置及方法
CN103035115A (zh) * 2012-12-10 2013-04-10 Tcl通力电子(惠州)有限公司 一种基于智能终端手势识别的家居设备控制***及方法
CN103440498A (zh) * 2013-08-20 2013-12-11 华南理工大学 基于lda算法的表面肌电信号识别方法
CN103616882A (zh) * 2013-12-14 2014-03-05 胡三清 牙控智能家居
CN103654774A (zh) * 2014-01-02 2014-03-26 北京思睿博创科技有限公司 穿戴式移动手环
CN103853333A (zh) * 2014-03-21 2014-06-11 上海威璞电子科技有限公司 一种手势控制玩具的方案
CN105005383A (zh) * 2015-07-10 2015-10-28 昆山美莱来工业设备有限公司 一种利用手势操控移动机器人的可穿戴臂环
CN105955306A (zh) * 2016-07-20 2016-09-21 西安中科比奇创新科技有限责任公司 可穿戴设备、基于可穿戴设备的无人机控制方法及***

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107553499A (zh) * 2017-10-23 2018-01-09 上海交通大学 一种多轴机械臂的自然手势运动控制***和方法
CN107728788A (zh) * 2017-10-31 2018-02-23 吉林大学 一种基于红外超声三维定位体感交互装置
CN107943285B (zh) * 2017-11-10 2021-01-01 上海交通大学 一种基于生物肌电的人机交互腕环、***及方法
CN107943285A (zh) * 2017-11-10 2018-04-20 上海交通大学 一种基于生物肌电的人机交互腕环、***及方法
CN108491077A (zh) * 2018-03-19 2018-09-04 浙江大学 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法
CN108491077B (zh) * 2018-03-19 2020-06-16 浙江大学 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法
CN108606882B (zh) * 2018-03-23 2019-09-10 合肥工业大学 基于肌电和加速度自适应控制的智能轮椅控制***
CN108606882A (zh) * 2018-03-23 2018-10-02 合肥工业大学 基于肌电和加速度自适应控制的智能轮椅控制***
CN109491504A (zh) * 2018-11-08 2019-03-19 郑州大学 一种基于手势肌电信号的投影交互***
CN110989834A (zh) * 2019-11-26 2020-04-10 广东美的厨房电器制造有限公司 烹饪设备及其手势控制方法
CN110989834B (zh) * 2019-11-26 2022-12-23 广东美的厨房电器制造有限公司 烹饪设备及其手势控制方法
CN112603758A (zh) * 2020-12-21 2021-04-06 上海交通大学宁波人工智能研究院 一种基于sEMG与IMU信息融合的手势识别方法
CN113021349A (zh) * 2021-03-24 2021-06-25 季华实验室 远程操作控制方法及装置、***、设备、存储介质

Similar Documents

Publication Publication Date Title
CN106569606A (zh) 一种基于自然手势识别的智能家居红外控制***与方法
CN104134060B (zh) 基于肌电信号和运动传感器的手语翻译和显示发声***
CN101201696B (zh) 基于p300脑电电位的中文输入bci***
CN100594858C (zh) 一种脑电肌电联合控制的电动假手的控制方法
CN107553499A (zh) 一种多轴机械臂的自然手势运动控制***和方法
CN102499797B (zh) 假肢控制方法及***
WO2020118797A1 (zh) 假肢控制方法、装置、***、设备和存储介质
CN101987047B (zh) 基于语音与肌电信息识别的假肢控制***和方法
CN102866775A (zh) 基于多模式融合的脑机接口控制***及方法
CN103793058A (zh) 一种主动式脑机交互***运动想象任务分类方法及装置
CN103777752A (zh) 基于手臂肌肉电流检测和运动传感器的手势识别设备
CN110058691A (zh) 基于嵌入式的可穿戴无线干电极脑电采集处理***及方法
CN105797257A (zh) 生物反馈训练***、方法及智能终端
CN101987048A (zh) 假肢控制方法和***
CN101897640A (zh) 一种新型的基于运动想象脑电控制的智能轮椅***
CN110495893B (zh) 一种运动意图连续脑肌电多层次动态融合识别***及方法
CN106569607A (zh) 一种基于肌电及运动传感器的头部动作识别***
CN108958482B (zh) 一种基于卷积神经网络的相似性动作识别装置及方法
CN102968072A (zh) 基于校正/训练的眼电控制***和方法
CN101590648A (zh) 基于脑-机接口的服务机器人***
CN106377253A (zh) 一种肌电信号和惯性信息同步采集装置
CN105962935A (zh) 用于运动学习功能改善的脑电神经反馈训练***及其方法
CN104825256B (zh) 一种带有感知反馈功能的假肢***
CN105411580A (zh) 一种基于触听觉诱发电位的脑控轮椅***
CN106200988A (zh) 一种可穿戴式手语识别装置及手语翻译方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20170502

Address after: 200240 Dongchuan Road, Shanghai, No. 800, No.

Applicant after: Shanghai Jiao Tong University

Applicant after: Shenzhen Everwin Precision Technology Co., Ltd.

Address before: 200240 Dongchuan Road, Shanghai, No. 800, No.

Applicant before: Shanghai Jiao Tong University

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170419