CN108874142A - 一种基于手势的无线智能控制装置及其控制方法 - Google Patents

一种基于手势的无线智能控制装置及其控制方法 Download PDF

Info

Publication number
CN108874142A
CN108874142A CN201810666579.3A CN201810666579A CN108874142A CN 108874142 A CN108874142 A CN 108874142A CN 201810666579 A CN201810666579 A CN 201810666579A CN 108874142 A CN108874142 A CN 108874142A
Authority
CN
China
Prior art keywords
gesture
control
terminal
information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810666579.3A
Other languages
English (en)
Other versions
CN108874142B (zh
Inventor
杜国铭
冯大志
李美娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Top Technology Co Ltd
Original Assignee
Harbin Top Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Top Technology Co Ltd filed Critical Harbin Top Technology Co Ltd
Priority to CN201810666579.3A priority Critical patent/CN108874142B/zh
Publication of CN108874142A publication Critical patent/CN108874142A/zh
Application granted granted Critical
Publication of CN108874142B publication Critical patent/CN108874142B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本发明提出了一种基于手势的无线智能控制装置及其控制方法,包括图像信息获取装置、中央控制装置、第一通信装置、至少一个第二通信装置、至少一个终端控制装置和至少一个终端设备。本发明通过使用手势的直接捕捉,消除了对外部设备的依赖,可以在较大的范围内,通过特定的手势,控制多个电器的多种功能并且各个功能之间互相没有干扰与冲突。同时本发明对于网络没有依赖,对于手机APP没有依赖。

Description

一种基于手势的无线智能控制装置及其控制方法
技术领域
本发明属于手势识别技术领域,特别是涉及一种基于手势的无线智能控制装置及其控制方法。
背景技术
无线控制技术目前的应用方向广泛,应用在军事,工业,农业,商业以及民用等领域。无线控制技术的优点在于利用无线遥控设备,使用先进的电子设备与无线通信技术,进行远端的控制。这种控制方式拥有减少现场的布线,节约成本,易于拓展等优点。
无线控制技术在传输上有近低功耗近距离传输,远距离传输等不同的传输方式,通过不同的通信协议以及不同的承载硬件,有着不同的通信特性从而实现不同应用场景的无线通信。例如蓝牙传输,红外传输,zigbee传输,以及时下比较受欢迎的NB-IOT,LoRa等。
基于无线传输的控制器的控制方式大多数依赖按键式的控制器以及触摸屏控制器等设备。
手势控制是一项新兴的控制技术,手势控制的优点在于可以通过非接触的方式,替代传统的实体控制器,使用摄像头传感器的方案捕捉用户的命令输出,通过结合人工智能的图像算法分析手势输出从而生成控制命令。手势控制的相关方案有依赖于电磁场、雷达波、超声波等近场的控制方案;通过深度传感器(结构光,ToF(飞行时间),Stereo(双目))的控制方案;基于单目传感器(RGB,灰度)的控制方案;基于红外摄像头等传感器的控制方案。
熊兆王提出了《手势控制方法及***》,使用了一种近场拍摄设备,通过计算机分析处理手部的影像以及手指的态样得出手势。电子科技大学提出了《一种用于智能家居***的3D动态手势识别方法》,使用了Kinect深度摄像头,通过人脸识别等技术进行手势识别。NexHome使用了WiFi的传输方式以及智能APP的操控方式实现了智慧楼宇以及智慧家庭的无线控制解决方案。熊兆王的方法中使用了一个近场的拍摄设备,这样大大限制了手势控制的优势,减少了控制距离。电子科技大学提出的方法中,使用Kinect深度摄像头进行手势的识别,这种方法首先在摄像头上的成本就比较高,同时对于手势的识别方法比较简单,不能满足同时控制多个智能家居的方式。控制方式过于简单,会造成很高的误识别率。同时单个Kinect摄像头的水平视角有限,只有57度,只能捕捉较小范围内的动作。NexHome的方案中,依赖手持或固定的控制器,对于设备进行控制时,需要有网络的连接,将控制器、服务器与需要操作的设备进行连接,然后才能实现控制功能。
发明内容
本发明为了解决现有的技术问题,提出一种基于手势的无线智能控制装置及其控制方法。本发明通过使用手势的直接捕捉,消除了对外部设备的依赖,可以在较大的范围内,通过特定的手势,控制多个电器的多种功能并且各个功能之间互相没有干扰与冲突。同时本发明对于网络没有依赖,对于手机APP没有依赖。
本发明的目的通过以下技术方案实现:一种基于手势的无线智能控制装置,包括图像信息获取装置、中央控制装置、第一通信装置、至少一个第二通信装置、至少一个终端控制装置和至少一个终端设备;所述图像信息获取装置与中央控制装置连接,所述中央控制装置通过USB串口与第一通信装置连接,所述第一通信装置与每个第二通信装置无线通信,每个所述第二通信装置均通过UART接口与相应的终端控制装置连接,每个所述终端控制装置均与相应的终端设备连接;所述图像信息获取装置用于获取动作发起者的手势信息;所述中央控制装置用于对实时获取的手势信息进行读取并分析,通过分析得出相应的手势控制命令,将所述控制命令通过第一通信装置和第二通信装置传输给终端控制装置;所述终端控制装置用于对手势控制命令解码并操作终端设备执行,同时将控制命令的执行状态反馈给中央控制装置。
进一步地,所述图像信息获取装置包括大视场短焦单目灰度摄像头和小视场长焦单目灰度摄像头;所述大视场短焦单目灰度摄像头用于对全景的捕捉,将整个场景捕捉到画面中,从而对整个画面进行分析来定位动作发起者;所述小视场长焦单目灰度摄像头用于捕捉动作发起者的局部手势动作信息。
进一步地,所述图像信息获取装置还包括红外补光器和双自由度云台;所述红外补光器用于当自然光不充分的情况下,红外补光器自动打开,小视场长焦单目灰度摄像头接收红外补光器在物体上的反射光线,捕捉手势动作的灰度图像信息;所述小视场长焦单目灰度摄像头由双自由度云台搭载,所述双自由度云台在水平与竖直两个自由度上分别进行180度与90度的旋转,从而能够捕捉到任意位置的手势动作信息。
本发明还提出一种所述的无线智能控制装置的控制方法,所述控制方法包括图像获取阶段、图像信息处理阶段和手势命令处理阶段;所述图像获取阶段对应图像获取状态,所述图像信息处理阶段对应图像信息处理状态,所述手势命令处理阶段对应手势命令处理状态;
所述图像获取阶段通过大视场短焦单目灰度摄像头获取全景图像,经过USB传输给中央控制装置进行全景图像的信息处理,通过全景图像信息的处理结果调用双自由度云台进行旋转,从而通过小视场长焦单目灰度摄像头获取包含动态手势的实时图像信息;通过获取激活手势,将所述无线智能控制装置的状态转换成图像信息处理状态;在没有获得激活手势的情况下,所述无线智能控制装置仍然处于图像获取状态;
所述图像信息处理阶段通过小视场长焦单目灰度摄像头获取实时数据,通过分析图像中的静态手势与动态手势,获取动作发起者通过手势输出的控制命令信息;如果获得了有效的手势,控制装置将转换到手势命令处理状态;如果未获得完整的手势,控制装置继续处于图像信息处理状态;如果控制装置未获得有效的手势,将转换到图像获取状态;
所述手势命令处理阶段,所述中央控制装置与终端控制装置协同工作控制终端设备完成与手势控制命令对应的功能,并且记录终端设备的运行状态与命令完成情况的信息,完成整个过程后所述无线智能控制装置将转换到图像获取状态。
进一步地,所述图像获取阶段具体为:首先所述无线智能控制装置通过USB接口获取全景的图像信息,对于全景图像进行信息的提取以及处理,通过姿态分析,寻找发出激活动作的发起者位置,通过对激活动作发起者的尺度进行计算,找到用户手部的位置,确认感兴趣区域ROI,通过所述感兴趣区域ROI在全景图像中的位置计算动作发起者手部在空间上的位置,通过空间位置的信息调整双自由度云台,使双自由度云台的水平方向与竖直方向调整到使搭载的小视场长焦单目灰度摄像头捕捉到计算出的感兴趣区域ROI,从而开始获取手势的实时图像信息。
进一步地,所述图像信息处理阶段具体为:通过图像处理的算法对手势的实时图像进行计算,获取动作发起者的静态手势与动态手势,所述静态手势为一个握拳与手掌的序列组合,所述组合的构成是伸出五指,然后握拳,然后再伸出五指;当无线智能控制装置识别了所述序列组合后将给出成功的提示音并开始动态手势的分析;如果所述序列组合中有一个环节失败,无线智能控制装置将发出错误提示音并重新开始等待激活序列;所述动态手势为动作发起者伸出五指在空中画出一个轨迹,无线智能控制装置能够跟踪并识别所述轨迹,然后根据轨迹判断所述动态手势是否与无线智能控制装置中的模板成功配对;至此为一个完整的手势识别过程。
进一步地,所述动态手势通过两个手势组合来定义一个操作,第一个手势选择需要控制的终端设备,第二个手势选择需要控制的终端设备的功能。
进一步地,所述手势命令处理阶段具体为:由图像信息处理阶段生成的手势控制命令信息触发手势命令处理状态,所述手势控制命令信息经过中央控制装置分析会按照通信协议的格式进行编码,经过编码的数据包通过无线传输到达终端控制装置,所述终端控制装置根据通信协议再将所述手势控制命令信息解码,然后传达到终端设备,并将终端设备的运行状态与指令完成情况的信息返回到中央控制装置中。
本发明的有益效果为:
1、摆脱了传统设备需要手持或寻找实体按键遥控器进行无线控制的缺陷。
2、低功率无线控制方法节省了布线的工程量以及优化了***的拓展性。
3、与深度传感器为基础的手势控制方案相比,降低了***的成本。
4、解决了固定角度传感器为基础的控制方案中,控制范围过小的问题。
5、可以在光照条件不好的环境以及黑暗的环境中进行操作。
6、不需要手套等可穿戴设备的辅助来完成手势的识别。
附图说明
图1为一种基于手势的无线智能控制装置结构图;
图2为图像信息获取装置示意图;
图3为基于手势的无线智能控制装置的状态转换图;
图4为图像获取流程图;
图5为图像信息处理流程图;
图6为本发明具体实施例基于手势的智能家居控制装置结构图。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
结合图1-图5,本发明提出一种基于手势的无线智能控制装置,包括图像信息获取装置、中央控制装置、第一通信装置、至少一个第二通信装置、至少一个终端控制装置和至少一个终端设备;所述图像信息获取装置与中央控制装置连接,所述中央控制装置通过USB串口与第一通信装置连接,所述第一通信装置与每个第二通信装置无线通信,每个所述第二通信装置均通过UART接口与相应的终端控制装置连接,每个所述终端控制装置均与相应的终端设备连接;所述图像信息获取装置用于获取动作发起者的手势信息;所述中央控制装置用于对实时获取的手势信息进行读取并分析,通过分析得出相应的手势控制命令,将所述控制命令通过第一通信装置和第二通信装置传输给终端控制装置;所述终端控制装置用于对手势控制命令解码并操作终端设备执行,同时将控制命令的执行状态反馈给中央控制装置。
所述图像信息获取装置包括大视场短焦单目灰度摄像头和小视场长焦单目灰度摄像头;所述大视场短焦单目灰度摄像头用于对全景的捕捉,将整个场景捕捉到画面中,从而对整个画面进行分析来定位动作发起者;所述小视场长焦单目灰度摄像头用于捕捉动作发起者的局部手势动作信息。采用小视场长焦单目灰度摄像头的优点为最大限度的提高手部在整个图像中的面积比例,从而可以更加精确的提取到手势的信息,达到一个高精度的识别、处理指标。
所述图像信息获取装置还包括红外补光器和双自由度云台;所述红外补光器用于当自然光不充分的情况下,例如阴天与夜晚时没有灯光的室内环境,红外补光器自动打开,小视场长焦单目灰度摄像头接收红外补光器在物体上的反射光线,捕捉手势动作的灰度图像信息;所述小视场长焦单目灰度摄像头由双自由度云台搭载,所述双自由度云台在水平与竖直两个自由度上分别进行180度与90度的旋转,从而能使摄像头的中心对准范围内的任意一点,达到捕捉任意位置的手势信息的目的。大视场短焦单目灰度摄像头与小视场长焦单目灰度摄像头分别通过独立的USB线与中央控制装置连接。
如图2所示,图2为图像信息获取装置示意图,其中侧视示意图中,由于视角关系,大视场短焦单目灰度摄像头与红外补光器被云台搭载的小视场长焦单目灰度摄像头挡住,故没有在图中体现。黑色实线表示大视场短焦单目灰度摄像头的视场范围,最小约束为水平与垂直视角需要覆盖所需检测的空间。云台搭载的小视场长焦单目灰度摄像头可以在水平与垂直方向分别进行180度与90度的旋转。
中央控制装置为一个迷你PC主机,通过USB与两个摄像头连接从而操作摄像头进行图像信息的读取;中央控制装置同时使用USB串口与第一通信装置连接。中央控制装置通过对实时读取的图像信息进行分析,通过分析得出相应的手势控制命令,将命令通过通信装置传输给终端控制装置。终端控制装置连接第二通信装置与终端设备,通过单片机等嵌入式可以实现控制功能的设备进行对传输信息的编码解码工作,并实现对于终端设备的控制。本发明中的通信装置为TI(德州仪器)公司的cc2530芯片,芯片具有无线通信的功能。
结合图3,本发明还提出一种所述的无线智能控制装置的控制方法,控制方法简述为定位动作发起者的位置,从而定位动作发起者手势的位置,利用双自由度云台摄像头进行局部捕捉,然后通过对不同手势组合的识别、分析、处理生成指令信息,通过物联网传达信息并完成对相关设备的操作。所述控制方法包括图像获取阶段、图像信息处理阶段和手势命令处理阶段;所述图像获取阶段对应图像获取状态,所述图像信息处理阶段对应图像信息处理状态,所述手势命令处理阶段对应手势命令处理状态;
所述图像获取阶段通过大视场短焦单目灰度摄像头获取全景图像,经过USB传输给中央控制装置进行全景图像的信息处理,通过全景图像信息的处理结果调用双自由度云台进行旋转,从而通过小视场长焦单目灰度摄像头获取包含动态手势的实时图像信息;通过获取激活手势,将所述无线智能控制装置的状态转换成图像信息处理状态;在没有获得激活手势的情况下,所述无线智能控制装置仍然处于图像获取状态;
所述图像信息处理阶段通过小视场长焦单目灰度摄像头获取实时数据,通过分析图像中的静态手势与动态手势,获取动作发起者通过手势输出的控制命令信息;如果获得了有效的手势,控制装置将转换到手势命令处理状态;如果未获得完整的手势,控制装置继续处于图像信息处理状态;如果控制装置未获得有效的手势,将转换到图像获取状态;
所述手势命令处理阶段,所述中央控制装置与终端控制装置协同工作控制终端设备完成与手势控制命令对应的功能,并且记录终端设备的运行状态与命令完成情况的信息,完成整个过程后所述无线智能控制装置将转换到图像获取状态。
结合图4,所述图像获取阶段具体为:首先所述无线智能控制装置通过USB接口获取全景的图像信息,对于全景图像进行信息的提取以及处理,通过姿态分析,寻找发出激活动作的发起者位置,通过对激活动作发起者的尺度进行计算,找到用户手部的位置,确认感兴趣区域ROI,通过所述感兴趣区域ROI在全景图像中的位置计算动作发起者手部在空间上的位置,通过空间位置的信息调整双自由度云台,使双自由度云台的水平方向与竖直方向调整到使搭载的小视场长焦单目灰度摄像头捕捉到计算出的感兴趣区域ROI,从而开始获取手势的实时图像信息。
结合图5,所述图像信息处理阶段具体为:通过图像处理的算法对手势的实时图像进行计算,获取动作发起者的静态手势与动态手势,所述静态手势为一个握拳与手掌的序列组合,所述组合的构成是伸出五指,然后握拳,然后再伸出五指;当无线智能控制装置识别了所述序列组合后将给出成功的提示音并开始动态手势的分析;如果所述序列组合中有一个环节失败,无线智能控制装置将发出错误提示音并重新开始等待激活序列;所述动态手势为动作发起者伸出五指在空中画出一个轨迹,无线智能控制装置能够跟踪并识别所述轨迹,然后根据轨迹判断所述动态手势是否与无线智能控制装置中的模板成功配对;至此为一个完整的手势识别过程。所述图像处理的算法为静态手势序列检测方法、手势实时跟踪方法和动态手势检测方法等。
所述动态手势通过两个手势组合来定义一个操作,第一个手势选择需要控制的终端设备,第二个手势选择需要控制的终端设备的功能。这种设计即满足了同时控制多个设备的需求,又可以重复利用相同的手势,减少了用户对于过多手势记忆的困难。
所述手势命令处理阶段具体为:由图像信息处理阶段生成的手势控制命令信息触发手势命令处理状态,所述手势控制命令信息经过中央控制装置分析会按照通信协议的格式进行编码,经过编码的数据包通过无线传输到达终端控制装置,所述终端控制装置根据通信协议再将所述手势控制命令信息解码,然后传达到终端设备,并将终端设备的运行状态与指令完成情况的信息返回到中央控制装置中。
整个过程是一个由手势指令触发的循环,如果没有触发,***中央控制装置处于等待状态;当有手势触发的情况下,中央控制装置开始对手势指令开始处理。中央控制装置将开始对这一个指令进行编码,整个数据的长度为8个字节,包括报头报尾、地址、功能、信息编号、数据与校验等,数据格式如表1所示。由于通信是双向的,即上行——由中央控制装置发送到终端控制装置与下行——终端控制装置发向中央控制装置,故通信数据内容根据上行和下行两种编码形式。下行如表2所示,上行如表3所示,上下行的编码主要的区分在数据码。
表格 数据报格式
报文单元 开始 地址 功能码 信息编号 数据 校验 结束
字节数 1 2 1 1 1 1 1
描述 3A(:) 区分信息 功能码与数据的XOR 23(#)
缩写 SD ADDR FN CNT DA CD ED
表格 下行数据编码内容
功能码FN 描述 数据
01 查询所有终端开机状态 00
02 控制灯 01为开,00为关,02为选中
03 调节灯亮度 01为加,00为减
04 调节灯色调 01为加,00为减
05 开关窗帘 01为开,00为关,02为选中,03为停止
06 控制多媒体播放/停止 01为播放,00为停止,02为选中
07 控制多媒体声音 01为增,02为减
08 控制多媒体切换 01向前切换,00向后切换
09 确认收到回复 接收到的功能码
10 查询落地灯状态 00
11 查询窗帘状态 00
12 查询多媒体状态 00
表格 上行数据编码内容
为了***的安全性,每个数据在接收后需要进行校验工作,第一个校验位地址校验,需要校验接收端收到的地址与指令需要操作的设备地址相同;第二个校验为信息的完整性校验,即整个信息的异或与接收到信息中的校验位相同;第三个校验位信息编号校验,即与终端设备控制器中存储的上一条指令的信息编号比较,若不相同为通过。
中央控制装置在发送指令后将等待一个终端控制装置返回的校验确认信息,如果没有等到这个信息或者终端设备校验失败将进入一个重新发送的状态,即将上一条发送的信息重新编码并发送;当连续重发同一条信息的次数超过阈值时,将舍弃这条信息并继续处理其他信息。终端控制装置收到手势指令并校验成功后,会根据相关的功能码以及数据码对终端设备进行操作;操作后将对于终端设备的运行状态以及中央控制装置指定的操作内容通过上行的通信协议进行编码,然后发送给中央控制装置。中央控制装置接收到终端控制装置返回的设备运行状态后会发送一个确认信息。如果终端控制装置没有收到这个确认信息时,会自动重发设备的运行状态。中央控制装置收到终端设备的运行状态信息时会将***内存储的设备信息进行更新,从而可以根据这个运行信息进行下一次的操作。收到确认信息表明一个完整的手势信息提取以及处理流程已经结束,***自动转换成图像获取状态。
下面以智能家居的应用方向解释本发明的具体实施方案:
结合图6,该方案采取本发明中的控制装置及控制方法,将摄像头安放在客厅上方,通过两个摄像头的相互协作将整个客厅变为可操控的空间。将图像获取装置与中央控制装置连接,作为处理核心;电动的窗帘,灯具以及多媒体设备等与终端控制装置相连作为控制单元;然后为处理核心以及终端控制装置分别配置通信装置,构成本发明中描述的硬件装置。
该方案控制方法为获取用户的激活手势,然后通过不同用户手势的组合控制不同设备的功能。由于需要控制多种设备的多种功能,该方案需要设计每种设备的开启手势。开启手势确定需要操纵的设备后,使用通用的开启,停止,增加,减少与切换等功能性的手势操纵设备的具体功能。一个完整的操作流程需要用户进行激活手势,设备选择手势以及设备操作手势的组合来完成。
以上对本发明所提供的一种基于手势的无线智能控制装置及其控制方法,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于手势的无线智能控制装置,其特征在于,包括图像信息获取装置、中央控制装置、第一通信装置、至少一个第二通信装置、至少一个终端控制装置和至少一个终端设备;所述图像信息获取装置与中央控制装置连接,所述中央控制装置通过USB串口与第一通信装置连接,所述第一通信装置与每个第二通信装置无线通信,每个所述第二通信装置均通过UART接口与相应的终端控制装置连接,每个所述终端控制装置均与相应的终端设备连接;所述图像信息获取装置用于获取动作发起者的手势信息;所述中央控制装置用于对实时获取的手势信息进行读取并分析,通过分析得出相应的手势控制命令,将所述控制命令通过第一通信装置和第二通信装置传输给终端控制装置;所述终端控制装置用于对手势控制命令解码并操作终端设备执行,同时将控制命令的执行状态反馈给中央控制装置。
2.根据权利要求1所述的装置,其特征在于:所述图像信息获取装置包括大视场短焦单目灰度摄像头和小视场长焦单目灰度摄像头;所述大视场短焦单目灰度摄像头用于对全景的捕捉,将整个场景捕捉到画面中,从而对整个画面进行分析来定位动作发起者;所述小视场长焦单目灰度摄像头用于捕捉动作发起者的局部手势动作信息。
3.根据权利要求2所述的装置,其特征在于:所述图像信息获取装置还包括红外补光器和双自由度云台;所述红外补光器用于当自然光不充分的情况下,红外补光器自动打开,小视场长焦单目灰度摄像头接收红外补光器在物体上的反射光线,捕捉手势动作的灰度图像信息;所述小视场长焦单目灰度摄像头由双自由度云台搭载,所述双自由度云台在水平与竖直两个自由度上分别进行180度与90度的旋转,从而能够捕捉到任意位置的手势动作信息。
4.根据权利要求1-3中任一项所述的无线智能控制装置的控制方法,其特征在于:所述控制方法包括图像获取阶段、图像信息处理阶段和手势命令处理阶段;所述图像获取阶段对应图像获取状态,所述图像信息处理阶段对应图像信息处理状态,所述手势命令处理阶段对应手势命令处理状态;
所述图像获取阶段通过大视场短焦单目灰度摄像头获取全景图像,经过USB传输给中央控制装置进行全景图像的信息处理,通过全景图像信息的处理结果调用双自由度云台进行旋转,从而通过小视场长焦单目灰度摄像头获取包含动态手势的实时图像信息;通过获取激活手势,将所述无线智能控制装置的状态转换成图像信息处理状态;在没有获得激活手势的情况下,所述无线智能控制装置仍然处于图像获取状态;
所述图像信息处理阶段通过小视场长焦单目灰度摄像头获取实时数据,通过分析图像中的静态手势与动态手势,获取动作发起者通过手势输出的控制命令信息;如果获得了有效的手势,控制装置将转换到手势命令处理状态;如果未获得完整的手势,控制装置继续处于图像信息处理状态;如果控制装置未获得有效的手势,将转换到图像获取状态;
所述手势命令处理阶段,所述中央控制装置与终端控制装置协同工作控制终端设备完成与手势控制命令对应的功能,并且记录终端设备的运行状态与命令完成情况的信息,完成整个过程后所述无线智能控制装置将转换到图像获取状态。
5.根据权利要求4所述的方法,其特征在于:所述图像获取阶段具体为:首先所述无线智能控制装置通过USB接口获取全景的图像信息,对于全景图像进行信息的提取以及处理,通过姿态分析,寻找发出激活动作的发起者位置,通过对激活动作发起者的尺度进行计算,找到用户手部的位置,确认感兴趣区域ROI,通过所述感兴趣区域ROI在全景图像中的位置计算动作发起者手部在空间上的位置,通过空间位置的信息调整双自由度云台,使双自由度云台的水平方向与竖直方向调整到使搭载的小视场长焦单目灰度摄像头捕捉到计算出的感兴趣区域ROI,从而开始获取手势的实时图像信息。
6.根据权利要求4所述的方法,其特征在于:所述图像信息处理阶段具体为:通过图像处理的算法对手势的实时图像进行计算,获取动作发起者的静态手势与动态手势,所述静态手势为一个握拳与手掌的序列组合,所述组合的构成是伸出五指,然后握拳,然后再伸出五指;当无线智能控制装置识别了所述序列组合后将给出成功的提示音并开始动态手势的分析;如果所述序列组合中有一个环节失败,无线智能控制装置将发出错误提示音并重新开始等待激活序列;所述动态手势为动作发起者伸出五指在空中画出一个轨迹,无线智能控制装置能够跟踪并识别所述轨迹,然后根据轨迹判断所述动态手势是否与无线智能控制装置中的模板成功配对;至此为一个完整的手势识别过程。
7.根据权利要求6所述的方法,其特征在于:所述动态手势通过两个手势组合来定义一个操作,第一个手势选择需要控制的终端设备,第二个手势选择需要控制的终端设备的功能。
8.根据权利要求4所述的方法,其特征在于:所述手势命令处理阶段具体为:由图像信息处理阶段生成的手势控制命令信息触发手势命令处理状态,所述手势控制命令信息经过中央控制装置分析会按照通信协议的格式进行编码,经过编码的数据包通过无线传输到达终端控制装置,所述终端控制装置根据通信协议再将所述手势控制命令信息解码,然后传达到终端设备,并将终端设备的运行状态与指令完成情况的信息返回到中央控制装置中。
CN201810666579.3A 2018-06-26 2018-06-26 一种基于手势的无线智能控制装置及其控制方法 Active CN108874142B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810666579.3A CN108874142B (zh) 2018-06-26 2018-06-26 一种基于手势的无线智能控制装置及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810666579.3A CN108874142B (zh) 2018-06-26 2018-06-26 一种基于手势的无线智能控制装置及其控制方法

Publications (2)

Publication Number Publication Date
CN108874142A true CN108874142A (zh) 2018-11-23
CN108874142B CN108874142B (zh) 2019-08-06

Family

ID=64294761

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810666579.3A Active CN108874142B (zh) 2018-06-26 2018-06-26 一种基于手势的无线智能控制装置及其控制方法

Country Status (1)

Country Link
CN (1) CN108874142B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109996371A (zh) * 2019-04-24 2019-07-09 深圳尚一互联技术有限公司 用于智能手环的手势控制灯光的方法
CN111123986A (zh) * 2019-12-25 2020-05-08 四川云盾光电科技有限公司 一种基于手势进行二自由度转台控制的控制装置
CN112154402A (zh) * 2019-08-29 2020-12-29 深圳市大疆创新科技有限公司 可穿戴设备及其控制方法、识别手势的方法和控制***
CN112188105A (zh) * 2020-09-30 2021-01-05 苏州臻迪智能科技有限公司 跟踪拍摄方法、装置、智能设备及计算机可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101520838A (zh) * 2008-02-27 2009-09-02 中国科学院自动化研究所 自动跟踪和自动变焦的虹膜图像获取方法
CN102932212A (zh) * 2012-10-12 2013-02-13 华南理工大学 一种基于多通道交互方式的智能家居控制***
CN202939756U (zh) * 2012-11-29 2013-05-15 长安大学 双视频头目标入侵记录***
CN103760976A (zh) * 2014-01-09 2014-04-30 华南理工大学 基于Kinect的手势识别智能家居控制方法及***
CN103984315A (zh) * 2014-05-15 2014-08-13 成都百威讯科技有限责任公司 一种家用多功能智能机器人
CN104977904A (zh) * 2014-04-04 2015-10-14 浙江大学 一种可见即可控的智能家居控制***及控制方法
CN105955041A (zh) * 2016-05-25 2016-09-21 北京行云时空科技有限公司 可穿戴设备与智能家居交互控制方法、***及可穿戴设备
CN107087107A (zh) * 2017-05-05 2017-08-22 中国科学院计算技术研究所 基于双摄像头的图像处理装置及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101520838A (zh) * 2008-02-27 2009-09-02 中国科学院自动化研究所 自动跟踪和自动变焦的虹膜图像获取方法
CN102932212A (zh) * 2012-10-12 2013-02-13 华南理工大学 一种基于多通道交互方式的智能家居控制***
CN202939756U (zh) * 2012-11-29 2013-05-15 长安大学 双视频头目标入侵记录***
CN103760976A (zh) * 2014-01-09 2014-04-30 华南理工大学 基于Kinect的手势识别智能家居控制方法及***
CN104977904A (zh) * 2014-04-04 2015-10-14 浙江大学 一种可见即可控的智能家居控制***及控制方法
CN103984315A (zh) * 2014-05-15 2014-08-13 成都百威讯科技有限责任公司 一种家用多功能智能机器人
CN105955041A (zh) * 2016-05-25 2016-09-21 北京行云时空科技有限公司 可穿戴设备与智能家居交互控制方法、***及可穿戴设备
CN107087107A (zh) * 2017-05-05 2017-08-22 中国科学院计算技术研究所 基于双摄像头的图像处理装置及方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109996371A (zh) * 2019-04-24 2019-07-09 深圳尚一互联技术有限公司 用于智能手环的手势控制灯光的方法
CN112154402A (zh) * 2019-08-29 2020-12-29 深圳市大疆创新科技有限公司 可穿戴设备及其控制方法、识别手势的方法和控制***
WO2021035646A1 (zh) * 2019-08-29 2021-03-04 深圳市大疆创新科技有限公司 可穿戴设备及其控制方法、识别手势的方法和控制***
US11782514B2 (en) 2019-08-29 2023-10-10 SZ DJI Technology Co., Ltd. Wearable device and control method thereof, gesture recognition method, and control system
CN111123986A (zh) * 2019-12-25 2020-05-08 四川云盾光电科技有限公司 一种基于手势进行二自由度转台控制的控制装置
CN112188105A (zh) * 2020-09-30 2021-01-05 苏州臻迪智能科技有限公司 跟踪拍摄方法、装置、智能设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN108874142B (zh) 2019-08-06

Similar Documents

Publication Publication Date Title
CN108874142B (zh) 一种基于手势的无线智能控制装置及其控制方法
CN106440192B (zh) 一种家电控制方法、装置、***及智能空调
JP6968154B2 (ja) 制御システムならびに制御処理方法および装置
CN109491263B (zh) 智能家居设备控制方法、装置、***及存储介质
US20190302714A1 (en) Systems and methods to operate controllable devices with gestures and/or noises
WO2020244573A1 (zh) 一种语音指令的处理方法、设备及控制***
CN104410883B (zh) 一种移动可穿戴非接触式交互***与方法
CN105760106B (zh) 一种智能家居设备交互方法和装置
JP5567206B2 (ja) コンピューティングデバイスインターフェース
US8537231B2 (en) User interface system based on pointing device
CN104049721B (zh) 信息处理方法及电子设备
EP2639672A2 (en) Gesture input apparatus, control program, computer-readable recording medium, electronic device, gesture input system, and control method of gesture input apparatus
CN106970535B (zh) 一种控制方法及电子设备
CN106488629A (zh) 一种投影控制型智能灯***
CN109542233B (zh) 一种基于动态手势和人脸识别的灯具控制***
CN102932212A (zh) 一种基于多通道交互方式的智能家居控制***
CN102547172B (zh) 一种遥控电视机
WO2007012253A1 (fr) Appareil de conditionnement d'air par soufflage intelligent et procédé de soufflage intelligent de celui-ci
CN104869299A (zh) 一种提示方法和装置
US11968412B1 (en) Bandwidth estimation for video streams
CN109581886B (zh) 设备控制方法、装置、***及存储介质
CN106095421A (zh) 一种虚拟现实设备的控制方法及***
CN203966055U (zh) 无线交互投影***
CN209417675U (zh) 一种按摩椅手势控制装置
WO2018023515A1 (zh) 一种手势及情感识别家居控制***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant