CN104102335A - 一种手势控制方法、装置和*** - Google Patents

一种手势控制方法、装置和*** Download PDF

Info

Publication number
CN104102335A
CN104102335A CN201310130673.4A CN201310130673A CN104102335A CN 104102335 A CN104102335 A CN 104102335A CN 201310130673 A CN201310130673 A CN 201310130673A CN 104102335 A CN104102335 A CN 104102335A
Authority
CN
China
Prior art keywords
gesture
controlled plant
manipulation
control center
gesture control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310130673.4A
Other languages
English (en)
Other versions
CN104102335B (zh
Inventor
刘海军
林立东
周云军
黄峥
缪川扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201310130673.4A priority Critical patent/CN104102335B/zh
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to HUE13882158A priority patent/HUE043509T2/hu
Priority to KR1020157032564A priority patent/KR101969624B1/ko
Priority to JP2016506752A priority patent/JP6126738B2/ja
Priority to US14/784,435 priority patent/US10013067B2/en
Priority to DK13882158.2T priority patent/DK2988210T3/en
Priority to EP13882158.2A priority patent/EP2988210B1/en
Priority to PCT/CN2013/083690 priority patent/WO2014169566A1/zh
Publication of CN104102335A publication Critical patent/CN104102335A/zh
Application granted granted Critical
Publication of CN104102335B publication Critical patent/CN104102335B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)
  • Image Analysis (AREA)
  • Details Of Television Systems (AREA)

Abstract

本发明公开了一种手势控制方法、装置和***，在进行手势控制时，手势控制中心识别针对受控设备的手势，并向受控设备发送识别出的手势对应的操控信息；受控设备根据收到的操控信息执行相应操作。采用本发明的手势控制技术，可以保证只需要一套如手势控制中心这样的手势识别设备即可实现对多个设备的手势操控，实现了手势的统一，避免了不同设备在手势识别过程中可能产生的误操作，也避免了重复资源的消耗；还为不支持手势识别操控的设备提供了方便的操控方式，也为设备节省了加装手势识别部件的成本，这都能有效提高用户满意度。

Description

一种手势控制方法、装置和***
技术领域
本发明涉及通信领域，具体涉及一种手势控制方法、装置和***。
背景技术
数字多媒体和网络的发展，丰富了人们日常生活中的娱乐体验。人们能够通过遥控器、手势等控制一个设备的播放，例如控制切换上一频道、下一频道节目等。
传统的对多个设备的控制方法，通常为分别使用设备各自的遥控器进行控制，而这些遥控器往往是互不通用的，遥控器大多不具备网络功能，例如传统的电视机、音响；也有一些支持网络的遥控器，例如在具有计算和网络能力的设备(如手机、PAD等)上加载支持互通协议的软件，基于该软件控制另一设备。
上述的设备控制方式不够方便，表现有：人们需要在一堆遥控器中挑选出对应设备的那一个遥控器进行设备控制，并且随着要控制的设备的不同还需要不断地更换遥控器，或者只能由熟悉电脑操作的人来操作PAD、手机等以便进行设备控制，或者以简单的手势来控制单一的设备。可见，为了对不同设备进行控制，人们往往要学习如何使用不同的操控工具，操作过于繁琐。人们更希望使用更简单、更自然的操作方式来控制设备，基于该需求，手势控制应运而生，手势控制是当前比较新颖的一种控制方式，进行手势控制时，一台设备上的摄像头监视手势动作并进行识别，根据识别出的手势动作所对应的控制命令对该设备进行控制。
目前，为了实现手势控制，受控设备要安装有摄像头，用于实现手势控制中的视觉识别。在实际应用环境中，就可能有多个支持手势控制的设备分别具有各自的摄像头、手势识别软件，这既耗费了较多的重复资源，也容易在手势识别过程中造成误操作，例如机顶盒将针对电视机的手势指示理解为对自身的操控。另外，有很多设备并没有安装摄像头、手势识别软件，这种设备无法实现手势控制。
发明内容
有鉴于此，本发明的主要目的在于提供一种手势控制方法、装置和***，
为达到上述目的，本发明的技术方案是这样实现的：
一种手势控制方法，该方法包括：
手势控制中心识别针对受控设备的手势，并向受控设备发送识别出的手势对应的操控信息；受控设备根据收到的操控信息执行相应操作。
识别所述手势之前，手势控制中心还识别视觉范围内的受控设备。
手势控制中心识别视觉范围内的受控设备时，识别并记录受控设备的设备标识、设备地址、设备位置中至少之一。
手势控制中心识别针对受控设备的手势时，识别手势对应的操控命令、手势指向的受控设备。
手势控制中心识别手势指向的受控设备时，
利用手势与手势控制中心的视频采集模块的角度进行计算；或，
在测量出手势、受控设备、手势控制中心之间的距离后，用三角公式进行计算。
手势控制中心发送操控信息时，发送操控命令，或是发送手势动作特征数据；和/或，
受控设备收到的操控信息是操控命令时，执行操控命令对应的操作；受控设备收到的操控信息是手势动作特征数据时，分析收到的手势动作特征数据以得到对应的操控命令，并执行操控命令对应的操作。
受控设备建立与手势控制中心的连接，基于该连接以会话方式利用消息完成操控。
一种手势控制装置，该装置包括视频采集模块、识别模块、控制模块；其中，
所述视频采集模块，用于捕获针对受控设备的手势；
所述识别模块，用于识别所述手势；
所述控制模块，用于向受控设备发送识别出的手势对应的操控信息。
该装置还包括测距模块，用于结合所述视频采集模块识别出视觉范围内的受控设备，并计算出所述装置与受控设备之间的距离。
该装置还包括数据存储模块，用于在识别视觉范围内的受控设备时，记录识别出的受控设备的设备标识、设备地址、设备位置中至少之一。
所述识别模块包括图像识别模块和手势识别模块；其中，
所述图像识别模块，用于识别手势对应的操控命令；
所述手势识别模块，用于识别手势指向的受控设备。
所述手势识别模块在识别手势指向的受控设备时，用于：
利用手势与所述视频采集模块的角度进行计算；或，
在测量出手势、受控设备、所述装置之间的距离后，使用三角公式进行计算。
所述控制模块在发送操控信息时，用于发送操控命令，或是发送手势动作特征数据。
所述装置包括网络服务模块，用于建立与受控设备的连接，基于该连接以会话方式利用消息完成操控。
一种手势控制***，该***包括手势控制中心、受控设备；其中，
所述手势控制中心，用于识别针对受控设备的手势，并向受控设备发送识别出的手势对应的操控信息；
所述受控设备，用于根据收到的操控信息执行相应操作。
所述手势控制中心在发送操控信息时，用于发送操控命令，或是发送手势动作特征数据；和/或，
所述受控设备收到的操控信息是操控命令时，用于执行操控命令对应的操作；所述受控设备收到的操控信息是手势动作特征数据时，用于分析收到的手势动作特征数据以得到对应的操控命令，并执行操控命令对应的操作。
所述受控设备根据收到的操控信息执行操作时，用于建立与手势控制中心的连接，基于该连接以会话方式利用消息完成操控。
采用本发明的手势控制技术，可以保证只需要一套如手势控制中心这样的手势识别设备即可实现对多个设备的手势操控，实现了手势的统一，避免了不同设备在手势识别过程中可能产生的误操作，也避免了重复资源的消耗；还为不支持手势识别操控的设备提供了方便的操控方式，也为设备节省了加装手势识别部件的成本，这都能有效提高用户满意度。
附图说明
图1为本发明一实施例的手势控制***示意图；
图2为本发明另一实施例的手势控制***示意图；
图3为本发明实施例实现手势控制时使用的条码的示意图；
图4为本发明实施例实现手势控制时使用的二维码的示意图；
图5为本发明实施例的手势控制流程图；
图6为本发明实施例的手势控制中心与受控设备之间的消息流程示意图；
图7为本发明实施例的手势控制流程简图；
图8为本发明实施例确定手势指向的受控设备的原理示意图。
具体实施方式
本发明所要解决的技术问题是，应用能够统一控制受控设备的装置实现对受控设备的控制。
上述的能够统一控制受控设备的装置为手势控制中心，具有手势识别能力、网络能力，能够识别手势、识别手势所针对的受控设备，并将手势转换成操控命令或存储手势动作特征；手势控制中心还能够与受控设备互相连接，并向受控设备发送包含操控命令或手势动作特征的消息。
手势控制中心可以执行包含以下步骤的操作：
步骤一，手势控制中心识别视觉范围内的受控设备；
步骤二，手势控制中心识别手势；
步骤三，手势控制中心向手势指向的受控设备发送操控信息；
步骤四，受控设备根据收到的操控信息执行相应操作。
进一步地，步骤一中，手势控制中心识别视觉范围内的受控设备时，可以识别受控设备的设备标识、设备地址、设备位置等信息中至少之一，并记录这些信息。
进一步地，步骤二中，手势控制中心识别手势时，可以识别手势对应的操控命令、手势指向的受控设备，如：通过分析手势的动作特征进行识别。
进一步地，步骤三中，手势控制中心可以发送操控命令，或是发送手势动作特征数据。发送的手势动作特征数据可以由受控设备进一步分析以得到对应的操控命令。
进一步地，步骤四中，受控设备可以建立与手势控制中心的连接，基于该连接以会话方式利用消息完成操控。
进一步地，操控命令、手势动作特征数据可以是协议指令，即某一应用协议中规定的协议消息及对应的参数。
下面将结合附图和实施例对本发明进行详细描述。
参见图1，图1示出了本发明一实施例的装置场景，其中包括各装置及其相互关系。
图1中由左至右示出了四个设备：家庭存储服务器、DVD播放机、电视、手势控制中心，所有设备放置的关系是：手势控制中心与其它任何设备中间没有遮挡，这种情况下，手势控制中心发出的光线能够不被阻挡而直接照射到设备上。当然，这里不限定手势控制中心发出的光线是惟一角度的。
上述四个设备上都设置有网络接口(例如支持IEEE802.11b/g/n的网络接口，或者支持IEEE802.3的网络接口)，从而可以连接到IP网络等通信网络。各个设备内包含有通信模块，该通信模块具有业务能力，用于与其它设备互相发现、连接，并能与其它设备发送、接收消息，以及处理操控命令、或转交操控命令等。上述业务能力可以使用现有的通用即插即用(UPnP)技术实现，也可以使用多播域名***(mDNS)和基于域名***的服务发现(DNS-SD)技术实现，可以用在IP网络中，以单播、多播查询方式，按照预先定义的报文格式响应查询、提供功能调用。例如，UPnP技术规定了媒体显示设备(如TV)、服务器(如DVD播放器、家庭存储服务器)如何响应查询、提供哪些调用功能。
手势控制中心还包含具有图像、视频采集能力的视频采集模块(如摄像头，下面以摄像头为例)，以及测距模块。手势控制中心还包括识别模块、数据存储模块、控制模块、网络服务模块等。手势控制中心的摄像头能够完成的功能有：对摄像头视觉范围内的设备拍照，并识别出设备标签上的信息；捕获用户的手势动作并识别出对应的操作目标、操控命令、或手势动作特征数据。测距模块类似手持激光红外线测距仪，利用红外线等光线的传播和反射计算手势控制中心与受控设备之间的距离。通常，可以选择精度在2毫米左右的测距模块。控制模块能够向受控设备发送识别出的手势对应的操控信息，使得受控设备能够根据收到的操控信息执行相应操作。识别模块可以包括图像识别模块和手势识别模块，分别实现图像识别和手势识别。
手势控制中心可以识别其视觉范围内的设备，实现方法是摄像头、测距模块在三维空间内旋转采集图像，在采集的图像中查找预定义的标签图形并进行分析。如图1所示，手势控制中心的摄像头通过拍照的方式采集到一幅图像，图像中有三个受控设备：电视、DVD播放机和家庭存储服务器，这三个受控设备上粘贴或印刷、镶嵌了条形码或二维码等标签。手势控制中心的图像识别模块对图像进行分析后，识别出图像中有若干标签，对标签分别进行识别并存储识别出的标签信息，然后对标签所在的受控设备进行距离测量，将测到的距离和标签信息一起存储。
与图1类似，图2中也有三个受控设备：电视、DVD播放机、家庭存储服务器；另外还包括三个具有图像、视频采集能力的摄像头，这三个摄像头属于手势控制中心。图2中的手势控制中心不具有测距功能。图2中所有设备的放置关系是：手势控制中心与其它任何设备中间没有遮挡，即手势控制中心发出的光线能够直接照射到受控设备。
上述的三个摄像头之间的相互空间位置关系是确定的，即手势控制中心记录了三个摄像头之间的相互距离、摄像头方向的相互角度。通常，三个摄像头不位于同一直线上，彼此之间的相互角度也不能平行或超过90度。三个摄像头之间能够相互通讯，能够相互交换采集的图像、视频或将各自采集到的图像、视频发送到指定的设备上。
基于上述的位置关系(三个摄像头之间的相互距离、角度)，对落入三个摄像头采集范围的受控设备、手势，摄像头采集到其相对角度(例如相对水平的角度)后，即可通过数学坐标变换和三角公式计算出受控设备、手势的位置以及手势方向。
上述的条码如图3所示，条码标签上的信息为“dvdplayer-192.1.1.1”，表示该条码标签对应的受控设备是DVD播放机，网络地址为192.1.1.1。所述条码标签可以粘贴或印刷、镶嵌在DVD播放机上。
上述的二维码如图4所示，二维码标签上的信息为“tv-192.1.1.2”，表示该二维码标签对应的受控设备是电视，网络地址为192.1.1.2。所述二维码标签可以粘贴或印刷、镶嵌在电视上。
除了上述的条码、二维码以外，标签信息还可以包含更多的内容，例如受控设备的简称、自定义名称等。比如：直接将文字标注在受控设备上，由手势控制中心根据标注在受控设备上的文字识别受控设备。
为了识别受控设备、手势、手势指向的受控设备，手势控制中心的识别模块中可以建立数学空间三维坐标系，其中的坐标原点可选在手势控制中心上，也可以选在自定义的一个空间位置点上，当然这一点要存储在手势控制中心中。对图2所示的情形，坐标原点还可以选在三个摄像头中的一个上。手势控制中心内的识别模块负责测量、标识、计算出受控设备的位置，测量、标识、计算出手势指向的受控设备。
下面，结合图1、图5，描述手势控制中心的工作流程。
1、手势控制中心识别受控设备。
手势控制中心在启动时或周期地通过摄像头采集视觉范围内的图像，然后对采集到的图像进行识别，检查是否有可识别的受控设备。如果具体的识别方法涉及图2、图3所示的条码、二维码，则可以先确定图像中是否有条码、二维码，在确定条码、二维码区域后，识别条码、二维码所标识的信息。
2、手势控制中心与识别出的受控设备进行确认。
在识别出受控设备后，手势控制中心可以与受控设备通过网络交互，例如使用现有的UPnP协议或DNS-SD查找该受控设备，以确认该受控设备的地址、功能等信息。
3、手势控制中心准备识别手势。
手势控制中心的视频采集模块(如摄像头)监视视频区域内的图像，进行手势采集。
手势动作的识别可采用直方图法或隐马尔科夫模型法。首先用户的手势动作要落在摄像头捕获范围内，这样摄像头能够生成手势视频并交给识别模块，识别模块通过颜色、轮廓、结构光分析等方法从收到的手势视频的手势图像中识别出手的位置，检测分割出手势对象，提取出手势特征，跟踪到手势运动；然后对手指方向、运动方向序列进行处理，最后完整地识别出手势动作，此时可采用与预定义的手势动作空间对比等方法，确定用户的手势动作意图。
上述的手势动作的识别，还包括识别出手势指向的受控设备。
本实施例中确定手势指向的受控设备的一种方法是利用手势与受控角度进行计算。比如：以用户为坐标中心，受控设备与用户手势存在角度。手势控制中心在识别手势时，能够标识出用户手势延伸线与各受控设备之间的角度、距离。
具体而言，手势控制中心可以先识别出手臂，以手肘作为坐标原点。举例没有任何受控设备的场景：若手掌自左到右运动，则角度变化为从0°到360°，若手掌自上向下运动，则角度变化为从0°到180°。这里，识别模块所要计算的是受控设备、手掌、手肘这三点所构成的三角形中，手肘-各受控设备这条线和手肘-手掌(即手臂)这条线的夹角。手臂与某个受控设备的夹角的角度越小，表示手势的指向越趋向于这个受控设备。夹角角度大小的具体意义如下：
0°-90°：表示手势指向的可能是用户期望操控的受控设备；如果是0°则可断定是指向这一确定的受控设备；
90°到180°：表示手势指向的很可能不是用户期望操控的受控设备；
在计算出各个受控设备与手势的角度后，手势控制中心从中确定角度最小的手势对应的受控设备，判定这一设备即是用户所用操控的受控设备。
实际应用中，也可以在测量出手势、受控设备、手势控制中心之间的距离后，计算以下三条线的长度：受控设备、手掌、手肘这三点所构成的三角形中，手肘-受控设备这条线和手肘-手掌(手臂)这条线、手掌-受控设备这条线。在长度的计算方面，识别模块可以直接测量上述三条线的长度，也可以在测量基准距离后按比例计算。然后利用三角公式计算上述的角度，进行判断。
图8示意了如何确定手势指向的受控设备：手掌-手臂这条线指向了一个方向，与此同时，手掌-手臂这条线与手肘-设备这条线之间构成夹角，如图8中，示意了手肘-DVD播放机这条线与手掌-手臂这条线之间的夹角，还示意了手肘-电视这条线与手掌-手臂这条线之间的夹角。手势控制中心通过对这两个夹角进行比较，确定用户是想通过手势控制DVD播放机。图8中还示意了前述的三角形(共有两个三角形)，作为另一种计算角度的方法，可以分别对这两个三角形进行三角公式计算。图8所示方法可以应用于针对更多受控设备的手势控制。
实际应用中，还可能涉及到测量对象(如手掌、手臂、受控设备)的中心点选取等问题，这些都可以通过数学运算确定。
4、手势控制中心识别出手势动作对应的操控命令后，发送操控命令消息到对应的受控设备。
手势控制中心内定义、存储了手势动作与指令消息的对应关系。当手势控制中心通过识别确定了操控命令、操控命令对应的受控设备后，可以通过与受控设备之间的网络连接将操控命令发送给受控设备。
操控命令可以是通用的指令，如播放媒体、关机等，也可以是设备专用的指令，如更换频道、增大音量等，还可以是协议指令，即某一应用协议中规定的指令，例如UPnP等协议中的媒体内容共享等。
5、接收到操控命令消息的受控设备执行操控命令。
受控设备通过网络连接接收到操控命令并执行。如步骤4所述，受控设备根据指令的具体内容，执行内部程序，或者与其它设备通讯、协同完成操控命令。
如果指令消息中包含的是手势动作的特征数据，则受控设备对特征数据进行分析、计算，得到对应的指令并执行。
总体而言，在如图6所示的手势控制中心与受控设备之间进行交互的消息流程中，手势控制中心的操作分为两大步，分别是完成受控设备的视觉发现，以及操控命令的发送。
具体而言，首先，手势控制中心扫描视觉范围内的受控设备，对扫描到的受控设备的标签进行识别、存储。这时不需要使用网络。
在识别出受控设备后，手势控制中心可以与受控设备通过网络交互，例如使用现有的UPnP协议或DNS-SD查找该受控设备，以确认该受控设备的地址、功能等信息。
接下来，当手势控制中心识别出手势动作时，对手势动作进行分析，分析出动作对象、动作意图并将动作意图映射成操控命令或手势动作特征数据。
之后，手势控制中心发送操控命令给手势指向的受控设备。这时需要手势控制中心与手势指向的受控设备之间存在网络连接，并可以使用UPnP协议等协议报文发送网络消息。
如果上述手势是预定义的协同手势，例如连续对电视、DVD播放机进行手势操作，则手势控制中心分别识别手势动作并将对应的操控命令发送给相应的受控设备。
最后，收到操控命令的受控设备执行操控命令对应的操作。
所述操控命令可以是通用的指令，如播放媒体、关机等，也可以是设备专用的指令，如更换频道、增大音量等，还可以是协议指令，即某一应用协议中规定的指令，例如UPnP等协议中的媒体内容共享，DVD播放机在电视上播放内容等。
需要说明的是，受控设备不限于上述的电视、播放机、存储服务器等，也可以是电脑、音响、音箱、投影仪、机顶盒等，甚至工业领域中的汽车、机床、轮船等。并且，受控设备可以是现有技术中的安装有摄像头，能够基于视觉识别独立实现手势控制的设备，也可以是没有安装摄像头的其它设备。
另外，手势控制中心的摄像头可以是各种规格的，例如可以是固定焦距或可变焦距的，旋转空间可以是上下左右各个角度的，或只支持左右角度。测距模块可以使用激光红外线测距，也可以用其它波段的光线测距。可以使用前述的三摄像头测距，也可以使用更多摄像头测距(如：用加权调整等方法)。
结合以上描述可见，本发明的手势控制技术可以表示如图7所示的流程，该流程包括以下步骤：
步骤710：手势控制中心识别针对受控设备的手势以及手势指向的受控设备；
步骤720：手势控制中心向手势指向的受控设备发送操控信息，受控设备根据收到的操控信息执行相应操作。
综上所述可见，采用本发明的手势控制技术，可以保证只需要一套如手势控制中心这样的手势识别设备即可实现对多个设备的手势操控，实现了手势的统一，避免了不同设备在手势识别过程中可能产生的误操作，也避免了重复资源的消耗；还为不支持手势识别操控的设备提供了方便的操控方式，也为设备节省了加装手势识别部件的成本，这都能有效提高用户满意度。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (17)

1.一种手势控制方法，其特征在于，该方法包括：
手势控制中心识别针对受控设备的手势，并向受控设备发送识别出的手势对应的操控信息；受控设备根据收到的操控信息执行相应操作。
2.根据权利要求1所述的方法，其特征在于，识别所述手势之前，手势控制中心还识别视觉范围内的受控设备。
3.根据权利要求2所述的方法，其特征在于，手势控制中心识别视觉范围内的受控设备时，识别并记录受控设备的设备标识、设备地址、设备位置中至少之一。
4.根据权利要求1至3任一项所述的方法，其特征在于，手势控制中心识别针对受控设备的手势时，识别手势对应的操控命令、手势指向的受控设备。
5.根据权利要求4所述的方法，其特征在于，手势控制中心识别手势指向的受控设备时，
利用手势与手势控制中心的视频采集模块的角度进行计算；或，
在测量出手势、受控设备、手势控制中心之间的距离后，用三角公式进行计算。
6.根据权利要求4所述的方法，其特征在于，
手势控制中心发送操控信息时，发送操控命令，或是发送手势动作特征数据；和/或，
受控设备收到的操控信息是操控命令时，执行操控命令对应的操作；受控设备收到的操控信息是手势动作特征数据时，分析收到的手势动作特征数据以得到对应的操控命令，并执行操控命令对应的操作。
7.根据权利要求1所述的方法，其特征在于，受控设备建立与手势控制中心的连接，基于该连接以会话方式利用消息完成操控。
8.一种手势控制装置，其特征在于，该装置包括视频采集模块、识别模块、控制模块；其中，
所述视频采集模块，用于捕获针对受控设备的手势；
所述识别模块，用于识别所述手势；
所述控制模块，用于向受控设备发送识别出的手势对应的操控信息。
9.根据权利要求8所述的装置，其特征在于，该装置还包括测距模块，用于结合所述视频采集模块识别出视觉范围内的受控设备，并计算出所述装置与受控设备之间的距离。
10.根据权利要求9所述的装置，其特征在于，该装置还包括数据存储模块，用于在识别视觉范围内的受控设备时，记录识别出的受控设备的设备标识、设备地址、设备位置中至少之一。
11.根据权利要求8至10任一项所述的装置，其特征在于，所述识别模块包括图像识别模块和手势识别模块；其中，
所述图像识别模块，用于识别手势对应的操控命令；
所述手势识别模块，用于识别手势指向的受控设备。
12.根据权利要求11所述的装置，其特征在于，所述手势识别模块在识别手势指向的受控设备时，用于：
利用手势与所述视频采集模块的角度进行计算；或，
在测量出手势、受控设备、所述装置之间的距离后，使用三角公式进行计算。
13.根据权利要求11所述的装置，其特征在于，所述控制模块在发送操控信息时，用于发送操控命令，或是发送手势动作特征数据。
14.根据权利要求8所述的装置，其特征在于，所述装置包括网络服务模块，用于建立与受控设备的连接，基于该连接以会话方式利用消息完成操控。
15.一种手势控制***，其特征在于，该***包括手势控制中心、受控设备；其中，
所述手势控制中心，用于识别针对受控设备的手势，并向受控设备发送识别出的手势对应的操控信息；
所述受控设备，用于根据收到的操控信息执行相应操作。
16.根据权利要求15所述的***，其特征在于，
所述手势控制中心在发送操控信息时，用于发送操控命令，或是发送手势动作特征数据；和/或，
所述受控设备收到的操控信息是操控命令时，用于执行操控命令对应的操作；所述受控设备收到的操控信息是手势动作特征数据时，用于分析收到的手势动作特征数据以得到对应的操控命令，并执行操控命令对应的操作。
17.根据权利要求15或16所述的***，其特征在于，所述受控设备根据收到的操控信息执行操作时，用于建立与手势控制中心的连接，基于该连接以会话方式利用消息完成操控。
CN201310130673.4A 2013-04-15 2013-04-15 一种手势控制方法、装置和*** Active CN104102335B (zh)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN201310130673.4A CN104102335B (zh) 2013-04-15 2013-04-15 一种手势控制方法、装置和***
KR1020157032564A KR101969624B1 (ko) 2013-04-15 2013-09-17 제스처 제어 방법, 장치 및 시스템
JP2016506752A JP6126738B2 (ja) 2013-04-15 2013-09-17 手振り制御方法、装置およびシステム
US14/784,435 US10013067B2 (en) 2013-04-15 2013-09-17 Gesture control method, apparatus and system
HUE13882158A HUE043509T2 (hu) 2013-04-15 2013-09-17 Kézmozdulat-vezérlõ eljárás, berendezés és rendszer
DK13882158.2T DK2988210T3 (en) 2013-04-15 2013-09-17 Process, device and system for gesture management
EP13882158.2A EP2988210B1 (en) 2013-04-15 2013-09-17 Gesture control method, apparatus and system
PCT/CN2013/083690 WO2014169566A1 (zh) 2013-04-15 2013-09-17 一种手势控制方法、装置和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310130673.4A CN104102335B (zh) 2013-04-15 2013-04-15 一种手势控制方法、装置和***

Publications (2)

Publication Number Publication Date
CN104102335A true CN104102335A (zh) 2014-10-15
CN104102335B CN104102335B (zh) 2018-10-02

Family

ID=51670543

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310130673.4A Active CN104102335B (zh) 2013-04-15 2013-04-15 一种手势控制方法、装置和***

Country Status (8)

Country Link
US (1) US10013067B2 (zh)
EP (1) EP2988210B1 (zh)
JP (1) JP6126738B2 (zh)
KR (1) KR101969624B1 (zh)
CN (1) CN104102335B (zh)
DK (1) DK2988210T3 (zh)
HU (1) HUE043509T2 (zh)
WO (1) WO2014169566A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104699244A (zh) * 2015-02-26 2015-06-10 小米科技有限责任公司 智能设备的操控方法及装置
WO2016062191A1 (zh) * 2014-10-21 2016-04-28 中兴通讯股份有限公司 信息发布方法、信息接收方法、装置及信息共享***
CN105630142A (zh) * 2014-11-07 2016-06-01 中兴通讯股份有限公司 一种发布和传递识别信息的方法和装置及信息识别***
CN105807549A (zh) * 2014-12-30 2016-07-27 联想(北京)有限公司 一种电子设备
WO2017101659A1 (zh) * 2015-12-16 2017-06-22 华为技术有限公司 一种控制方法及装置
CN107436678A (zh) * 2016-05-27 2017-12-05 富泰华工业（深圳）有限公司 手势控制***及方法
CN108259671A (zh) * 2018-01-30 2018-07-06 深圳市科迈爱康科技有限公司 翻译内容传送方法和***
CN108389459A (zh) * 2018-03-15 2018-08-10 湖南工业大学 一种基于虚拟现实的印刷模拟***
CN108605400A (zh) * 2015-12-14 2018-09-28 飞利浦照明控股有限公司 一种控制照明设备的方法
CN109934152A (zh) * 2019-03-08 2019-06-25 浙江理工大学 一种针对手语图像的改进小弯臂图像分割方法
CN111880422A (zh) * 2020-07-20 2020-11-03 Oppo广东移动通信有限公司 设备控制方法及装置、设备、存储介质
CN112698716A (zh) * 2019-10-23 2021-04-23 上海博泰悦臻电子设备制造有限公司 基于手势识别的车内设置、控制方法、***、介质及设备
CN113223344A (zh) * 2021-05-25 2021-08-06 湖南汽车工程职业学院 一种基于大数据的艺术设计用专业教学展示***
CN115778046A (zh) * 2023-02-09 2023-03-14 深圳豪成通讯科技有限公司 基于数据分析的智能安全帽调节控制方法和***

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160162039A1 (en) * 2013-07-21 2016-06-09 Pointgrab Ltd. Method and system for touchless activation of a device
US10484827B2 (en) 2015-01-30 2019-11-19 Lutron Technology Company Llc Gesture-based load control via wearable devices
CN105681859A (zh) * 2016-01-12 2016-06-15 东华大学 基于人体骨骼追踪控制智能电视的人机交互方法
EP3529675B1 (de) 2016-10-21 2022-12-14 Trumpf Werkzeugmaschinen GmbH + Co. KG Innenraum-personenortung-basierte fertigungssteuerung in der metallverarbeitenden industrie
KR20190077423A (ko) 2016-10-21 2019-07-03 트룸프 베르크초이그마쉬넨 게엠베하 + 코. 카게 금속가공 산업에서의 내부 추적 시스템에 기초한 제조 프로세스 제어
EP3681150A4 (en) 2017-09-04 2021-01-13 Kajita, Hiroki MULTI-POINT-OF-VIEW VIDEO IMAGE VIEWING SYSTEM AND CAMERA SYSTEM
US10296102B1 (en) * 2018-01-31 2019-05-21 Piccolo Labs Inc. Gesture and motion recognition using skeleton tracking
US20210049998A1 (en) * 2018-03-15 2021-02-18 Sony Corporation Information processing apparatus, information processing method, and program
US11003629B2 (en) * 2018-10-31 2021-05-11 EMC IP Holding Company LLC Dual layer deduplication for application specific file types in an information processing system
US11543888B2 (en) 2019-06-27 2023-01-03 Google Llc Intent detection with a computing device
US11144128B2 (en) * 2019-11-20 2021-10-12 Verizon Patent And Licensing Inc. Systems and methods for controlling video wall content using air gestures
US11978283B2 (en) 2021-03-16 2024-05-07 Snap Inc. Mirroring device with a hands-free mode
US11809633B2 (en) * 2021-03-16 2023-11-07 Snap Inc. Mirroring device with pointing based navigation
US11798201B2 (en) 2021-03-16 2023-10-24 Snap Inc. Mirroring device with whole-body outfits
US11734959B2 (en) 2021-03-16 2023-08-22 Snap Inc. Activating hands-free mode on mirroring device
US11908243B2 (en) 2021-03-16 2024-02-20 Snap Inc. Menu hierarchy navigation on electronic mirroring devices
US20230076716A1 (en) * 2021-09-03 2023-03-09 Apple Inc. Multi-device gesture control

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1184982A1 (en) * 2000-08-24 2002-03-06 Sony International (Europe) GmbH Remote control device
JP2012048560A (ja) * 2010-08-27 2012-03-08 Tokyo Metropolitan Univ 情報提示システム、情報提示プログラム、及び情報提示方法
WO2012099584A1 (en) * 2011-01-19 2012-07-26 Hewlett-Packard Development Company, L.P. Method and system for multimodal and gestural control
CN102915111A (zh) * 2012-04-06 2013-02-06 寇传阳 一种腕上手势操控***和方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060125968A1 (en) * 2004-12-10 2006-06-15 Seiko Epson Corporation Control system, apparatus compatible with the system, and remote controller
KR101651975B1 (ko) * 2005-03-04 2016-08-29 애플 인크. 다기능 휴대용 장치
US9465450B2 (en) * 2005-06-30 2016-10-11 Koninklijke Philips N.V. Method of controlling a system
US8599132B2 (en) * 2008-06-10 2013-12-03 Mediatek Inc. Methods and systems for controlling electronic devices according to signals from digital camera and sensor modules
US20120068857A1 (en) * 2010-09-22 2012-03-22 Apple Inc. Configurable remote control
US9423878B2 (en) * 2011-01-06 2016-08-23 Blackberry Limited Electronic device and method of displaying information in response to a gesture
CN102810023B (zh) 2011-06-03 2015-09-23 联想(北京)有限公司 识别手势动作的方法及终端设备
US9152376B2 (en) * 2011-12-01 2015-10-06 At&T Intellectual Property I, L.P. System and method for continuous multimodal speech and gesture interaction
CN102778954B (zh) * 2012-06-29 2016-05-11 Tcl集团股份有限公司 一种手势操作管理方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1184982A1 (en) * 2000-08-24 2002-03-06 Sony International (Europe) GmbH Remote control device
JP2012048560A (ja) * 2010-08-27 2012-03-08 Tokyo Metropolitan Univ 情報提示システム、情報提示プログラム、及び情報提示方法
WO2012099584A1 (en) * 2011-01-19 2012-07-26 Hewlett-Packard Development Company, L.P. Method and system for multimodal and gestural control
CN102915111A (zh) * 2012-04-06 2013-02-06 寇传阳 一种腕上手势操控***和方法

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016062191A1 (zh) * 2014-10-21 2016-04-28 中兴通讯股份有限公司 信息发布方法、信息接收方法、装置及信息共享***
CN105630142A (zh) * 2014-11-07 2016-06-01 中兴通讯股份有限公司 一种发布和传递识别信息的方法和装置及信息识别***
CN105807549A (zh) * 2014-12-30 2016-07-27 联想(北京)有限公司 一种电子设备
RU2633367C2 (ru) * 2015-02-26 2017-10-12 Сяоми Инк. Способ и устройство для оперирования и управления интеллектуальным устройством
WO2016134591A1 (zh) * 2015-02-26 2016-09-01 小米科技有限责任公司 智能设备的操控方法及装置
US10007354B2 (en) 2015-02-26 2018-06-26 Xiaomi Inc. Method and apparatus for controlling smart device
CN104699244B (zh) * 2015-02-26 2018-07-06 小米科技有限责任公司 智能设备的操控方法及装置
CN104699244A (zh) * 2015-02-26 2015-06-10 小米科技有限责任公司 智能设备的操控方法及装置
US11224111B2 (en) 2015-12-14 2022-01-11 Signify Holding B.V. Method and system for controlling a lighting device based on a location and an orientation of a user input device relative to the lighting device
CN108605400A (zh) * 2015-12-14 2018-09-28 飞利浦照明控股有限公司 一种控制照明设备的方法
WO2017101659A1 (zh) * 2015-12-16 2017-06-22 华为技术有限公司 一种控制方法及装置
CN107436678B (zh) * 2016-05-27 2020-05-19 富泰华工业（深圳）有限公司 手势控制***及方法
CN107436678A (zh) * 2016-05-27 2017-12-05 富泰华工业（深圳）有限公司 手势控制***及方法
CN108259671A (zh) * 2018-01-30 2018-07-06 深圳市科迈爱康科技有限公司 翻译内容传送方法和***
CN108389459A (zh) * 2018-03-15 2018-08-10 湖南工业大学 一种基于虚拟现实的印刷模拟***
CN109934152A (zh) * 2019-03-08 2019-06-25 浙江理工大学 一种针对手语图像的改进小弯臂图像分割方法
CN109934152B (zh) * 2019-03-08 2021-02-09 浙江理工大学 一种针对手语图像的改进小弯臂图像分割方法
CN112698716A (zh) * 2019-10-23 2021-04-23 上海博泰悦臻电子设备制造有限公司 基于手势识别的车内设置、控制方法、***、介质及设备
CN111880422A (zh) * 2020-07-20 2020-11-03 Oppo广东移动通信有限公司 设备控制方法及装置、设备、存储介质
CN111880422B (zh) * 2020-07-20 2024-01-05 Oppo广东移动通信有限公司 设备控制方法及装置、设备、存储介质
CN113223344A (zh) * 2021-05-25 2021-08-06 湖南汽车工程职业学院 一种基于大数据的艺术设计用专业教学展示***
CN113223344B (zh) * 2021-05-25 2022-08-23 湖南汽车工程职业学院 一种基于大数据的艺术设计用专业教学展示***
CN115778046A (zh) * 2023-02-09 2023-03-14 深圳豪成通讯科技有限公司 基于数据分析的智能安全帽调节控制方法和***

Also Published As

Publication number Publication date
US20160266653A1 (en) 2016-09-15
EP2988210A4 (en) 2016-05-25
EP2988210A1 (en) 2016-02-24
KR101969624B1 (ko) 2019-04-16
US10013067B2 (en) 2018-07-03
JP6126738B2 (ja) 2017-05-10
WO2014169566A1 (zh) 2014-10-23
EP2988210B1 (en) 2018-11-28
JP2016518657A (ja) 2016-06-23
CN104102335B (zh) 2018-10-02
HUE043509T2 (hu) 2019-08-28
DK2988210T3 (en) 2019-02-25
KR20150143724A (ko) 2015-12-23

Similar Documents

Publication Publication Date Title
CN104102335A (zh) 一种手势控制方法、装置和***
CN110333836B (zh) 信息的投屏方法、装置、存储介质和电子装置
JP5325191B2 (ja) センサー利用位置決めに基づく方向付けサービス開始システム及び方法
US9158391B2 (en) Method and apparatus for controlling content on remote screen
US20140313228A1 (en) Image processing device, and computer program product
CN112132901A (zh) 一种点云标注的方法、装置、电子设备及存储介质
CN110852332B (zh) 训练样本的生成方法、装置、存储介质及电子设备
CN110276251B (zh) 一种图像识别方法、装置、设备及存储介质
US9436274B2 (en) System to overlay application help on a mobile device
CN107741783B (zh) 电子转账方法及***
CN104866084B (zh) 手势识别方法、装置和***
WO2015010571A1 (zh) 目标操作方法、***及设备
CN104301199A (zh) 一种信息处理方法、装置及***
CN111400426A (zh) 一种机器人位置部署方法、装置、设备和介质
CN110619807A (zh) 生成全局热力图的方法和装置
CN104239842B (zh) 一种实现视觉识别的方法、装置和***
CN111629332B (zh) 楼宇信息模型与物联网设备的关联方法、装置及移动终端
US20190266793A1 (en) Apparatus, systems, and methods for tagging building features in a 3d space
CN111832579A (zh) 地图兴趣点数据处理方法、装置、电子设备以及可读介质
CN110163914B (zh) 基于视觉的定位
CN114338897B (zh) 对象的分享方法、装置、电子设备以及存储介质
CN103513660A (zh) 一种终端定位方法及***、移动终端
CN103401990B (zh) 利用手机传感器和网络进行物体标记及提取的方法和***
WO2022089548A1 (zh) 服务机器人及其控制方法、移动机器人及其控制方法
CN115328318A (zh) 一种场景物体的交互方法、装置和设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant