CN104866084B - 手势识别方法、装置和*** - Google Patents

手势识别方法、装置和*** Download PDF

Info

Publication number
CN104866084B
CN104866084B CN201410065600.6A CN201410065600A CN104866084B CN 104866084 B CN104866084 B CN 104866084B CN 201410065600 A CN201410065600 A CN 201410065600A CN 104866084 B CN104866084 B CN 104866084B
Authority
CN
China
Prior art keywords
gesture
gesture recognition
gestures
list
supported
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410065600.6A
Other languages
English (en)
Other versions
CN104866084A (zh
Inventor
刘海军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201410065600.6A priority Critical patent/CN104866084B/zh
Priority to US15/121,579 priority patent/US10591999B2/en
Priority to PCT/CN2014/089183 priority patent/WO2015127787A1/zh
Priority to EP14883845.1A priority patent/EP3112984A4/en
Publication of CN104866084A publication Critical patent/CN104866084A/zh
Application granted granted Critical
Publication of CN104866084B publication Critical patent/CN104866084B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了手势识别方法、装置和***；本发明公开的一种手势识别方法包括：手势识别装置在网络中发布支持的手势的清单、和/或所述支持的手势对应的指令的清单。本发明公开的另一种手势识别方法包括：手势识别控制装置通过网络获取手势识别装置支持的手势的清单、和/或所述支持的手势对应的指令的清单。

Description

手势识别方法、装置和***
技术领域
本发明涉及通信与信息领域的识别技术，尤其涉及手势识别方法、装置和***。
背景技术
数字多媒体和网络的发展，丰富了用户日常生活中的娱乐体验。目前的技术让用户在家里能够观看高清电视，电视节目的来源可能来自数字光盘、有线电视、互联网等等，能够体验立体声、5.1声道、7.1声道乃至更逼真的声音效果，而且用户还能够使用平板电子设备、手机来实现这些体验，相关技术还包括，用户能够通过网络在不同设备之间转移数字内容以进行播放，以及通过遥控器、手势控制一个设备的播放，例如控制切换上一频道、下一频道节目等等。
传统的对多个设备的控制中常见的是，分别使用遥控器控制对应的设备，而这些遥控器往往是互不通用的，遥控器大多不具备网络功能，例如传统的电视机、音响；也有一些支持网络的遥控器，例如在具有计算和网络通信能力的设备如手机、平板电脑（PAD）上加载支持互通协议的软件，来控制另一设备。
随着技术的发展，多个设备之间的内容播放共享、转移需求越来越多，上述操控方式显得并不够方便，例如：用户需要在一堆遥控器中挑选出对应设备的遥控器并随着控制不同的设备而不断地更换遥控器，或者，由熟悉电脑基本操作的人来操作PAD、手机来控制设备，或者以简单的手势来控制单一的设备。为了使用不同设备往往要学习使用不同的操控工具。
手势控制是当前比较新颖的一种方式：一台设备上的摄像头监视手势动作并进行分析识别，最后转换成对该设备的控制；或者用户使用可穿戴设备，通过在手上、手臂上以及身体上穿戴类似指环、手表、背心等等类似的设备，识别用户动作，实现对设备的控制。
相关技术和一些产品能够让用户使用手势来操控设备，例如，通过在电视机上增加一个摄像头，采集、识别人的手势，然后按照预先定义的手势与操控命令对应关系，达到手势操控电视机的效果，已经实现的操控包括更换频道、改变音量等。
手势识别这样的技术和产品，一种方式是要求***控的设备要具有一个摄像头（用于计算机视觉识别）。在某些环境中如家庭环境中，现在可能有设备并不具备摄像头，例如由于设备尺寸原因、成本原因，但是这些设备希望也能够由用户通过手势来操作，希望另外的摄像头把手势信息传达给本设备，从而达到用户使用手势来控制本设备。另一种方式是可穿戴设备与另一设备配对连接使用，常见的是一对一地连接后使用。
通过网络在不同设备之间传递控制信息，已经有相关技术能够实现设备之间的互相发现和控制，例如相关的通用即插即用（UPnP，Universal Plug and Play）技术规定了设备之间如何发送、接收网络消息来实现发现和控制，该技术以网络地址及数字编码作为设备的标识，是一种机器标识，最终的控制需要用户根据设备的机器标识进行选择再操作。
综上所述，如何帮助用户使用更简单、更自然的操作方式来控制在较小范围内的更多设备，使用户不需要学习掌握更多的使用方法，还能够降低企业生产、用户消费的成本，相关技术尚无有效解决方案。
发明内容
本发明实施例提供手势识别方法、装置和***，根据所发布的支持的手势的清单、和/或所述支持的手势对应的指令的清单，能够快速方便地控制不具有手势识别能力的设备。
本发明实施例提供一种手势识别方法，所述方法包括：
手势识别装置在网络中发布支持的手势的清单、和/或所述支持的手势对应的指令的清单。
本发明实施例还提供一种手势识别方法，所述方法包括：
手势识别控制装置通过网络获取手势识别装置支持的手势的清单、和/或所述支持的手势对应的指令的清单。
本发明实施例还提供一种手势识别装置，所述手势识别装置包括：
发布单元，用于在网络中发布支持的手势的清单、和/或所述支持的手势对应的指令的清单。
本发明实施例还提供一种手势识别控制装置，所述手势识别控制装置包括：
收发单元，用于通过网络获取手势识别装置支持的手势的清单、和/或所述支持的手势对应的指令的清单。
本发明所述还提供一种手势识别***，所述手势识别***包括以上所述的手势识别装置、和/或以上所述的手势识别控制装置。
本发明实施例的技术方案，由于在网络中发布支持的手势的清单、和/或所述支持的手势对应的指令的清单；从而，能够帮助用户使用更简单、更自然的操作方式来控制在较小范围内的设备，包括不具有视觉识别能力的设备，用户不需要学习掌握多个设备的控制使用方法即可对设备进行快速方便地控制，还能够降低企业生产、用户消费的成本。
附图说明
图1为本发明实施例中手势识别方法的示意图一；
图2为本发明实施例中手势识别方法的示意图二；
图3为本发明实施例中手势识别装置的组成示意图；
图4为本发明实施例中手势识别控制装置的组成示意图；
图5a是本发明实施例中的一个场景的示意图；
图5b为本发明实施例中手势识别装置和手势识别控制装置的工作流程图；
图6为本发明实施例中实现手势控制时的消息交互示意图。
具体实施方式
下面将结合附图和实施例对本发明作进一步详细描述。
本发明实施例记载一种手势识别方法，如图1所示，手势识别装置在网络中发布支持的手势的清单、和/或所述支持的手势对应的指令的清单。
需要指出的是，所述手势识别装置设置于待操控设备中，所述待操控设备可以为任意常规设备，且无需具有视觉识别能力；手势的清单的一个示例为：1=伸出一个手指；2=伸出二个手指；10=伸出拳头；对于支持的手势对应的指令的清单，一个示例为：1=伸出一个手指，开始指令；2=伸出二个手指，结束指令；10=伸出拳头，关机指令；对于不同的待操控设备，可以预设相同的清单，也可以预设不同的清单。
在一个实施方式中，手势识别装置还接收被采集到的手势；
执行所述采集到的手势对应的指令，或转发所述被采集到的手势。
手势识别装置通过执行指令，实现对手势识别装置所处的待操控设备的控制，例如开始、结束等。手势识别装置也可以只发布所采集的手势，也就是说，由手势识别控制装置负责采集手势，以使手势识别装置接收手势识别控制装置发布的手势。这里所述的手势，用计算机图像数据来表示，包括图像的特征数据。手势识别装置接收到手势时，确定与所接收的手势对应的指令，并执行所确定的指令，以实现对手势识别装置所处的待操控设备的控制。
由于在一些使用场景中可能有多个待操控设备，相应地，每个待操控设备中都设置手势识别装置，由于每个手势识别装置所支持的手势可能不同，因此，当手势识别装置接收到被采集到的手势时，需要先确定是否支持所接收的手势；相应地，在一个实施方式中，所述执行所述采集到的手势对应的指令，或转发所述被采集到的手势，包括：
所述手势识别装置确定支持所述被采集到的手势时，确定所述被采集到的手势对应的指令，并执行所确定的指令；
所述手势识别装置根据预设策略，转发所述被采集到的手势；这里，所述的转发可以通过在网络中发送消息的方式实现，或通过手势识别装置之间的通信接口实现；所述在网络中发送的消息包括多播、广播和单播消息；所述预设策略包括以下策略的至少一个：接收到的被采集到的手势为预设特定手势时，转发所述被采集到的手势；不支持所述被采集到的手势时，转发所述被采集到的手势。
在一个实施方式中，所述手势识别装置还接收被采集到的手势，确定与所述被采集到的手势对应的指令，执行所确定的指令；或，
所述手势识别装置还接收被采集到的手势所对应的指令，并执行所述指令。
本实施方式中，手势识别装置所接收到的被采集到的手势，为手势识别装置自身所支持的手势，因此，直接确定所接收的手势对应的指令，并执行指令即可。
在一个实施方式中，所述手势识别装置发布支持的手势的清单、和/或所述支持的手势对应的指令的清单，包括：
所述手势识别装置在网络中发布支持的手势的清单、和/或所述支持的手势对应的指令的清单；
或者，所述手势识别装置在接收到查询手势识别能力的请求消息后，在网络中发布支持的手势的清单、和/或所述支持的手势对应的指令的清单；例如，可以在网络中以单播、多播或广播消息的形式进行发布。
其中，所述手势识别装置发布的支持的手势的清单、和/或所述支持的手势对应的指令的清单时，可以周期性发布，也可以非周期性发布；所述手势的清单包括以下信息至少之一：手势编号、手势文字描述信息和数字图形信息；手势识别装置可以设置于待操控设备中，利用自身的视觉识别能力进行手势识别，或者，手势识别装置可以作为可穿戴设备进行手势识别，相应地，所述手势的类型包括：计算机视觉识别手势和穿戴设备手势。
本发明实施例还记载一种手势识别方法，如图2所示，手势识别控制装置通过网络获取手势识别装置支持的手势的清单、和/或所述支持的手势对应的指令的清单。
其中，所述手势识别装置设置于待操控设备中；所述手势识别装置发布的支持的手势的清单、和/或所述支持的手势对应的指令的清单，与所述手势识别装置所处的待操控设备对应。
在一个实施方式中，所述手势识别控制装置采集手势，将所采集的手势发送至手势识别装置；以使手势识别装置接收被采集到的手势；
当所述手势识别装置确定所述被采集到的手势为所述手势识别装置自身支持的手势时，确定所述被采集到的手势的所对应的指令；
执行所确定的指令。
在一个实施方式中，所述手势识别控制装置还采集手势；
所述手势识别控制装置根据以下信息至少之一：所述手势识别装置支持的手势的清单、所采集到的手势的指向和所采集到的手势的意图信息；确定支持所采集到的手势的手势识别装置，将所采集到的手势发送至所确定的手势识别装置；以使所述手势识别装置接收被采集到的手势，确定与所述被采集到的手势对应的指令，执行所确定的指令；例如，当根据采集到的手势的指向确定目标手势识别装置（支持所采集到的手势的手势识别装置）时，所述目标手势识别装置的位置与所述采集到的手势的指向对应；所述采集到的手势的意图信息包括所采集到的手势的目标手势识别装置：所述意图信息，可以根据对所采集到的手势进行识别、解析得到。
或者，所述手势识别控制装置根据以下信息至少之一：所述手势识别装置支持的手势对应的指令的清单、所采集到的手势的指向和所采集到的手势的意图信息；确定支持所采集到的手势的手势识别装置，并确定对应所确定的手势识别装置的指令，将所确定的指令发送至对应的手势识别装置；以使所述手势识别装置接收被采集到的手势所对应的指令，并执行所述指令。
在一个实施方式中，所述手势识别控制装置通过网络接收手势识别装置发布的支持的手势的清单、和/或所述支持的手势对应的指令的清单；
或者，所述手势识别控制装置通过网络向所述手势识别装置发送手势识别能力请求消息，以接收所述手势识别装置发布的支持的手势的清单、和/或所述支持的手势对应的指令的清单。
所述手势的清单包括以下信息至少之一：手势编号、手势文字描述信息和数字图形信息；所述手势的类型包括：计算机视觉识别手势和穿戴设备手势。
本发明实施例还记载一种计算机可读介质，所述计算机可读介质中存储有计算机程序，所述计算机程序用于执行图1或图2所示的手势识别方法。
本发明实施例记载一种手势识别装置，如图3所示，所述手势识别装置包括：
发布单元31，用于在网络中发布支持的手势的清单、和/或所述支持的手势对应的指令的清单。
其中，所述手势识别装置还包括：
第一接收单元32，用于接收被采集到的手势；
第一执行单元33，用于执行所述被采集到的手势对应的指令，或触发所述发布单元31转发所述被采集到的手势。
其中，所述第一执行单元33，还用于在确定支持所述被采集到的手势时，确定所述被采集到的手势对应的指令，并执行所确定的指令；或，
根据预设策略，触发所述发布单元31转发所述被采集到的手势。
其中，所述手势识别装置还包括：第二接收单元34和第二执行单元35；其中，
所述第二接收单元34，用于接收被采集到的手势；或，接收被采集到的手势所对应的指令；
所述第二执行单元35，用于确定与所述被采集到的手势对应的指令，执行所确定的指令；或者，执行所述第二接收单元34所接收到的被采集的手势对应的指令。
其中，所述发布单元31，还用于在网络中以消息的形式发布支持的手势的清单、和/或所述支持的手势对应的指令的清单；
或者，在接收到查询手势识别能力的请求消息后，在网络中以消息的形式发布支持的手势的清单、和/或所述支持的手势对应的指令的清单。
其中，所述手势的清单包括以下信息至少之一：手势编号、手势文字描述信息和数字图形信息。
其中，所述手势的类型包括：计算机视觉识别手势和穿戴设备手势。
所述发布单元31、第一接收单元32、第一执行单元33、第二接收单元34、第二执行单元35、所述第二确定单元36和所述第二执行单元37均可由所述手势识别装置中的中央处理器（CPU，Central Processing Unit）、数字信号处理器（DSP，Digital SignalProcessor）或现场可编程门阵列（FPGA，Field Programmable Gate Array）实现。
本发明实施例还记载一种手势识别控制装置，如图4所示，所述手势识别控制装置包括：
收发单元41，用于通过网络获取手势识别装置支持的手势的清单、和/或所述支持的手势对应的指令的清单。
其中，所述手势识别控制装置还包括：
第一识别单元42，用于采集手势，将所采集的手势发送至所述手势识别装置。
其中，所述手势识别控制装置还包括：第二识别单元43或第三识别单元44；其中，
所述第二识别单元43，用于采集手势；
确定所采集到的手势对应的手势识别装置；
所述收发单元41，还用于将所述采集到的手势发送至所述确定的手势识别装置；
所述第三识别单元44，用于确定支持所采集到的手势的手势识别装置，并确定对应所确定的手势识别装置的指令；
所述收发单元41，还用于将所述第三识别单元44所确定的指令发送至对应的手势识别装置。
其中，所述收发单元41，还用于通过网络接收手势识别装置发布的支持的手势的清单、和/或所述支持的手势对应的指令的清单；或，
通过网络向所述手势识别装置发送手势识别能力请求消息，以接收所述手势识别装置发布的支持的手势的清单、和/或所述支持的手势对应的指令的清单。
其中，所述手势的清单包括以下信息至少之一：手势编号、手势文字描述信息和数字图形信息。
其中，所述手势的类型包括：计算机视觉识别手势和穿戴设备手势。
所述收发单元41、第一识别单元42、第二识别单元43和第三识别单元44均可由所述手势识别装置中的CPU、DSP或FPGA实现。
本发明实施例还记载一种手势识别***，所述手势识别***包括图3所示的手势识别装置、和/或图4所示的手势识别控制装置；需要说明的是，所述***包括的装置可以设置于单个设备上，也可以设置于多个设备上。
下面再结合具体使用场景对本发明实施例记载的方法进行说明，图5a是本发明实施例中的一个场景的示意图，如图5a所示的四个设备，分别是手势识别控制装置、电视机、DVD播放机和家庭存储服务器。其中，电视机、家庭存储服务器支持手势控制，但没有摄像头以支持手势识别，为说明上的方便，DVD播放机不支持手势控制，只能用传统遥控器来控制。
四个设备上都有网络接口，例如支持IEEE802.11b/g/n，或者支持IEEE802.3，从而可以连接到网际协议（IP，Internet Protocol）网络，四个设备中任一设备能够与其他设备通信，以及处理操控指令、或转交操控指令。
这种四个设备在网络上的互相发现、连接、发送与接收消息的能力，可以使用相关的通用即插即用（UPnP）技术实现，也可以使用多播域名***（mDNS）或基于域名***的服务发现（DNS-SD）技术实现，这一类技术用在IP网络中，以单播、多播查询方式，按照预先定义的报文格式响应查询、提供功能调用。例如，UPnP技术规定了媒体显示设备（如电视机）、服务器（如DVD播放机、家庭存储服务器）如何响应查询、提供哪些调用功能。
手势识别控制装置通过摄像头进行图像、视频采集，通过红外进行测距，以实现图像识别；还可实现数据存储、控制和网络服务的功能。
本发明实施例中，手势识别控制装置也可以是一种可穿戴设备，例如戴在手上的指环式设备、戴在手臂上的手表式设备，这种可穿戴设备能够识别出用户的手指、手臂动作，并且也具备网络功能。
本发明实施例中，手势识别控制装置能够识别其视觉范围内的待操控设备，进而识别出采集到的手势的指向、或采集到的手势的手势意图，从而能够确定目标手势识别装置，将采集到的手势或采集到的手势对应的指令，发给目标手势识别装置。在一个实施方式中，手势识别控制装置使用摄像头、红外测距的方式在三维空间内旋转采集图像，在采集的图像中分析查找预定义的标签图形并进行分析，这里，预定义的标签图形可以为预先存储在手势识别控制装置的图像、图形，也可以是接收到的来自待操控设备中的手势识别装置发送的图像、图形。手势识别控制装置对标签图像进行分析后，识别出标签图像中的标识（例如，二维码、标识设备地址、名称和空间位置的语言文字等），对标签所对应的待操控设备进行位置测量，将待操控设备的位置和待操控设备的标识进行存储。
在本发明实施例中，手势识别控制装置还接收到来自电视机、DVD播放机和家庭存储服务器等待操控设备发来的特征图像，如各种角度的设备照片数据等，然后把待操控设备照片数据从捕获的全景图像中检索出来，测量并记录待操控设备的位置；所述从照片数据中检索、测量待操控设备的操作可以使用计算机视觉中的特征检测与匹配等技术实现。因此，手势识别控制装置能够识别其视觉范围内的待操控设备，从而确定手势或手势对应的指令发给哪一个手势识别装置
在本发明实施例中，电视机、家庭存储服务器等待操控设备在开机时，待操控设备中的手势识别装置以多播方式发送报文，报文中包括：
手势识别装置的惟一标识，例如网络地址、或不同于网络地址的标识，例如字符串等；
手势识别装置支持的手势编号，例如1表示5指张开，2表示两个指头，10表示拳头，20表示摇动手臂，等等；
手势识别装置支持的手势对应的控制指令，例如1表示开机，10表示关机，等等；
报文中还可以包括：手势识别装置支持的手势的手势参数，例如手势动作持续时间。
图5b为本发明实施例中手势识别装置和手势识别控制装置的工作流程图，如图5b所示，包括以下步骤：
步骤501，待控制设备中的手势识别装置启动或收到查询请求。
步骤502，手势识别装置发出手势识别能力消息。
所述手势识别能力消息包括一组手势描述信息，例如支持的手势对应的指令的清单，或者支持的手势的清单；手势的清单中的手势采用的描述信息包括：手势编号、手势文字描述信息或数字图形信息（例如特征图像）的形式进行描述。
手势识别装置可以广播或多播消息的形式主动发出手势识别能力消息；也可以在接收到查询待操控设备是否支持视觉识别的查询消息时，以单播、多播户广播消息的形式发出手势识别能力消息。
步骤503，手势识别控制装置接收手势识别能力消息。
步骤504，手势识别控制装置采集手势。
这里，所述的采集可以通过计算机视觉方式，例如通过摄像头捕获手势图像数据对手势进行分析识别，也可以是通过穿戴设备采集手势运动数据对手势进行分析识别。
步骤505，手势识别控制装置确定所采集手势的目标操控设备，并确定采集到的手势对应的指令、或采集到的手势的描述信息。
手势识别控制装置采集到手势后，确定采集到的手势的目标操控设备，即确定采集到的手势是用来控制哪个待操控设备的，手势识别控制装置根据以下信息至少之一：所述手势识别装置支持的手势的清单、所采集到的手势的指向和所采集到的手势的意图信息；确定支持所采集到的手势的手势识别装置（设置于目标操控设备中）；当确定采集到的手势的目标操控设备时，根据步骤503中目标操控设备中的手势识别装置发送的手势识别能力消息，确定与所采集到的手势对应的指令或手势的描述信息，例如手势的特征图像。
步骤506，手势识别控制装置将所确定的指令或手势的描述信息发送至目标操控设备中的手势识别装置。
步骤507，目标操控设备中的手势识别装置执行所接收的指令，或根据手势的描述信息进行二次识别，从而确定对应的执行，并执行指令。
手势识别装置控制自身所处的设备响应所接收的指令，从而，实现了对设备的手势控制。
本实施例中，能够避免用户多个手势识别装置根据用户实施的手势进行误操作，例如当多个设备中的手势识别装置均支持同一手势（对应关机指令），而用户本意只是要关闭一个设备，这样，通过上述步骤中对目标手势操控设备的确认，能够避免对用户实施手势的错误响应。
图6是本发明实施例中实现手势控制时的消息交互示意图，设备1和设备2中分别设置有以上所述的手势识别装置，手势识别控制设备中设置有以上所述的手势识别控制装置；如图6所示，包括以下步骤：
步骤601，设备1发出多播消息。
多播消息中包括设备1支持的手势对应的指令的清单。
从而，使网络中的手势识别控制设备接收到了设备1支持的手势对应的指令的清单。
步骤602，手势识别控制设备向设备2发出查询手势识别能力的请求消息。
步骤602中发出的消息同样使用广播、多播、或单播消息的形式发出。
步骤603，设备2发出单播消息。
单播消息中包括设备2支持的手势对应的指令的清单。
步骤604，手势识别控制设备采集手势。
步骤605，手势识别控制设备向设备1发送手势控制指令。
这一控制命令的发出，是因为手势识别控制设备在步骤604采集到用户的手势是要操控设备1，并且确定设备1支持采集到的手势。
从而，实现了设备1虽然不具备摄像头、穿戴设备等部件，仍然支持手势控制。
其中，上述的设备1和设备2可以为电视机、播放机、存储服务器等待控制设备，而本发明实施例中所述的待操控设备并不仅限于上述提到的设备，其他设备例如电脑、音响、音箱、投影仪、机顶盒等等都可以作为待操控设备，甚至工业上其它设备如汽车、机床、轮船等等都可以由本发明实施例记载的手势识别控制装置来操控。
上述实施例中，手势识别控制装置的摄像头可以是各种规格，例如可以是固定焦距或变焦距的，旋转空间可以是上下左右各个角度的，或只支持左右角度，只需要配置的一摄像头，具有实施例中描述的各种能力。手势识别控制装置可以使用激光红外线测距，也可以用其它波段的光测距，可以使用3摄像头计算测距，也可以使用更多摄像头用加权调整等方法测距。
上述流程，是实现本发明的实施例，并不是限定只能用上述实施例来实现，本方实施例中也不限定具体流程执行的方法，本发明实施例还可以用类似的方式实现，例如将装置替换为单元、更改本发明实施例中记载的各种消息的名称、类型等，这仅仅是命名形式的变化，仍然属于本发明的保护范围。
为了清楚起见，本发明实施例中没有示出和描述设备的所有的常规特征。当然，应当理解，在任何实际设备的研制中，必需做出特定实现方式的决定以便实现研制者的特定目标，例如符合与应用及业务相关的约束，这些特定的目标随着不同的实现方式而变化，并且随着不同的研制者而变化。而且，应当理解，这种研制工作是复杂和耗时的，但是尽管如此，对于受到本发明公开内容启发的普通技术人员而言所进行的技术工作是常规的。
根据这里描述的主题，能够利用各种类型的操作***、计算平台、计算机程序、和/或通用机器来制造、操作和/或执行各种部件、***、装置、处理步骤和/或数据结构。此外，本领域的普通技术人员将会明白，也可以利用不太通用的装置，而不脱离这里公开的发明构思的范围和精神实质。其中，所包含的方法由计算机、装置或机器执行，并且该方法可以被存储为机器可读的指令，它们可以存储在确定的介质上，例如计算机存储装置，包括但不限于ROM（例如，只读存储器、FLASH存储器、转移装置等）、磁存储介质（例如，磁带、磁盘驱动器等）、光学存储介质（例如，CD-ROM、DVD-ROM、纸卡、纸带等）以及其他熟知类型的程序存储器。此外，应当认识到，该方法可以利用软件工具的选择由人类操作者执行，而不需要人或创造性的判断。
上述实施例，网络相关的，可适用于基于IEEE802.3、IEEE802.11b/g/n、电力线网路（POWELINE）、电缆（CABLE）、公共交换电话网络（PSTN，Public Switched TelephoneNetwork）、第三代合作伙伴计划（3GPP，3rd Generation Partnership Project，）网络、3GPP2网络等通讯网络所支持的IP网络，各装置的操作***可适用于UNIX类操作***、WINDOWS类操作***、ANDROID类操作***、IOS操作***，对消费者接口可适用于JAVA语言接口等。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（ROM，Read-Only Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (23)

1.一种手势识别方法，其特征在于，所述方法包括：
手势识别装置在网络中发布支持的手势的清单、和/或所述支持的手势对应的指令的清单；
所述手势识别装置根据所述发布的清单，接收被采集到的手势，执行所述被采集到的手势对应的指令，或转发所述被采集到的手势；
其中，不同所述手势识别装置支持的手势的清单相同或不相同；
所述转发所述被采集到的手势包括：通过网络转发所述被采集到的手势，或通过手势识别装置之间的通信接口转发所述被采集到的手势。
2.如权利要求1所述的手势识别方法，其特征在于，所述执行所述被采集到的手势对应的指令，或转发所述被采集到的手势，包括：
所述手势识别装置确定支持所述被采集到的手势时，确定所述被采集到的手势对应的指令，并执行所确定的指令；或，
所述手势识别装置根据预设策略，转发所述被采集到的手势。
3.如权利要求1所述的手势识别方法，其特征在于，所述方法还包括：
所述手势识别装置接收被采集到的手势，确定与所述被采集到的手势对应的指令，执行所确定的指令；或，
所述手势识别装置接收被采集到的手势所对应的指令，并执行所述指令。
4.如权利要求1所述的手势识别方法，其特征在于，所述手势识别装置发布支持的手势的清单、和/或所述支持的手势对应的指令的清单，包括：
所述手势识别装置在网络中发布支持的手势的清单、和/或所述支持的手势对应的指令的清单；
或者，所述手势识别装置在接收到查询手势识别能力的请求消息后，在网络中发布支持的手势的清单、和/或所述支持的手势对应的指令的清单。
5.如权利要求1所述的手势识别方法，其特征在于，
所述手势的清单包括以下信息至少之一：手势编号、手势文字描述信息和数字图形信息。
6.如权利要求1至5任一项所述的手势识别方法，其特征在于，
所述手势的类型包括：计算机视觉识别手势和穿戴设备手势。
7.一种手势识别方法，其特征在于，所述方法包括：
手势识别控制装置通过网络获取手势识别装置发布支持的手势的清单、和/或发布所述支持的手势对应的指令的清单；
所述手势识别控制装置采集手势，根据所述发布的清单，将所采集的手势发送至手势识别装置；
其中，不同所述手势识别装置支持的手势的清单相同或不相同。
8.如权利要求7所述的手势识别方法，其特征在于，所述方法还包括：
确定支持所采集到的手势的手势识别装置，将所采集到的手势发送至所确定的手势识别装置；或，
确定对应所确定的手势识别装置的指令，将所确定的指令发送至对应的手势识别装置。
9.如权利要求7所述的手势识别方法，其特征在于，所述手势识别控制装置通过网络获取手势识别装置支持的手势的清单、和/或所述支持的手势对应的指令的清单，包括：
所述手势识别控制装置通过网络接收手势识别装置发布的支持的手势的清单、和/或所述支持的手势对应的指令的清单；或，
所述手势识别控制装置通过网络向所述手势识别装置发送手势识别能力请求消息，以接收所述手势识别装置发布的支持的手势的清单、和/或所述支持的手势对应的指令的清单。
10.如权利要求7所述的手势识别方法，其特征在于，
所述手势的清单包括以下信息至少之一：手势编号、手势文字描述信息和数字图形信息。
11.如权利要求7至10任一项所述的手势识别方法，其特征在于，
所述手势的类型包括：计算机视觉识别手势和穿戴设备手势。
12.一种手势识别装置，其特征在于，所述手势识别装置包括：
发布单元，用于在网络中发布支持的手势的清单、和/或所述支持的手势对应的指令的清单；
第一接收单元，用于根据所述发布的清单，接收被采集到的手势；
第一执行单元，用于执行所述被采集到的手势对应的指令，或触发所述发布单元转发所述被采集到的手势；
其中，不同发布单元发布的所述支持的手势的清单相同或不相同；
所述转发所述被采集到的手势包括：通过网络转发所述被采集到的手势，或通过手势识别装置之间的通信接口转发所述被采集到的手势。
13.如权利要求12所述的手势识别装置，其特征在于，
所述第一执行单元，还用于在确定支持所述被采集到的手势时，确定所述被采集到的手势对应的指令，并执行所确定的指令；或，
根据预设策略，触发所述发布单元转发所述被采集到的手势。
14.如权利要求12所述的手势识别装置，其特征在于，所述手势识别装置还包括：第二接收单元和第二执行单元；其中，
所述第二接收单元，用于接收被采集到的手势；或，接收被采集到的手势所对应的指令；
所述第二执行单元，用于确定与所述被采集到的手势对应的指令，执行所确定的指令；或者，执行所述第二接收单元所接收到的被采集的手势对应的指令。
15.如权利要求12所述的手势识别装置，其特征在于，
所述发布单元，还用于在网络中以消息的形式发布支持的手势的清单、和/或所述支持的手势对应的指令的清单；
或者，在接收到查询手势识别能力的请求消息后，在网络中以消息的形式发布支持的手势的清单、和/或所述支持的手势对应的指令的清单。
16.如权利要求12所述的手势识别装置，其特征在于，
所述手势的清单包括以下信息至少之一：手势编号、手势文字描述信息和数字图形信息。
17.如权利要求12至16任一项所述的手势识别装置，其特征在于，
所述手势的类型包括：计算机视觉识别手势和穿戴设备手势。
18.一种手势识别控制装置，其特征在于，所述手势识别控制装置包括：
收发单元，用于通过网络获取手势识别装置发布支持的手势的清单、和/或发布所述支持的手势对应的指令的清单；
第一识别单元，用于采集手势，根据所述发布的清单，将所采集的手势发送至所述手势识别装置；
其中，不同所述手势识别装置支持的手势的清单相同或不相同。
19.如权利要求18所述的手势识别控制装置，其特征在于，所述手势识别控制装置还包括：第二识别单元或第三识别单元；其中，
所述第二识别单元，用于确定所采集到的手势对应的手势识别装置；
所述收发单元，还用于将所述采集到的手势发送至所述确定的手势识别装置；
所述第三识别单元，确定支持所采集到的手势的手势识别装置，并确定对应所确定的手势识别装置的指令；
所述收发单元，还用于将所述第三识别单元所确定的指令发送至对应的手势识别装置。
20.如权利要求18所述的手势识别控制装置，其特征在于，
所述收发单元，还用于通过网络接收手势识别装置发布的支持的手势的清单、和/或所述支持的手势对应的指令的清单；或，
通过网络向所述手势识别装置发送手势识别能力请求消息，以接收所述手势识别装置发布的支持的手势的清单、和/或所述支持的手势对应的指令的清单。
21.如权利要求18所述的手势识别控制装置，其特征在于，
所述手势的清单包括以下信息至少之一：手势编号、手势文字描述信息和数字图形信息。
22.如权利要求18至21任一项所述的手势识别控制装置，其特征在于，
所述手势的类型包括：计算机视觉识别手势和穿戴设备手势。
23.一种手势识别***，其特征在于，所述手势识别***包括权利要求12至17任一项所述的手势识别装置、和/或权利要求18至22任一项所述的手势识别控制装置。
CN201410065600.6A 2014-02-25 2014-02-25 手势识别方法、装置和*** Active CN104866084B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201410065600.6A CN104866084B (zh) 2014-02-25 2014-02-25 手势识别方法、装置和***
US15/121,579 US10591999B2 (en) 2014-02-25 2014-10-22 Hand gesture recognition method, device, system, and computer storage medium
PCT/CN2014/089183 WO2015127787A1 (zh) 2014-02-25 2014-10-22 手势识别方法、装置、***及计算机存储介质
EP14883845.1A EP3112984A4 (en) 2014-02-25 2014-10-22 Hand gesture recognition method, device, system, and computer storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410065600.6A CN104866084B (zh) 2014-02-25 2014-02-25 手势识别方法、装置和***

Publications (2)

Publication Number Publication Date
CN104866084A CN104866084A (zh) 2015-08-26
CN104866084B true CN104866084B (zh) 2021-04-30

Family

ID=53911968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410065600.6A Active CN104866084B (zh) 2014-02-25 2014-02-25 手势识别方法、装置和***

Country Status (4)

Country Link
US (1) US10591999B2 (zh)
EP (1) EP3112984A4 (zh)
CN (1) CN104866084B (zh)
WO (1) WO2015127787A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105589550A (zh) * 2014-10-21 2016-05-18 中兴通讯股份有限公司 信息发布方法、信息接收方法、装置及信息共享***
CN104699244B (zh) * 2015-02-26 2018-07-06 小米科技有限责任公司 智能设备的操控方法及装置
US9818031B2 (en) * 2016-01-06 2017-11-14 Orcam Technologies Ltd. Crowd-sourced vision-based information collection
CN105872690B (zh) * 2016-05-31 2019-04-26 微鲸科技有限公司 智能电视控制***和控制方法
CN109213309A (zh) * 2017-06-30 2019-01-15 中兴通讯股份有限公司 一种手势识别方法及装置、***
CN109213307A (zh) * 2017-06-30 2019-01-15 中兴通讯股份有限公司 一种手势识别方法及装置、***
CN108259671B (zh) * 2018-01-30 2020-01-03 深圳市科迈爱康科技有限公司 翻译内容传送方法和***
KR20210079061A (ko) * 2019-12-19 2021-06-29 엘지전자 주식회사 정보 처리 방법 및 정보 처리 장치
CN112379775A (zh) * 2020-11-13 2021-02-19 深圳市幕工坊科技有限公司 一种投影幕手势控制***及投影幕

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100199232A1 (en) * 2009-02-03 2010-08-05 Massachusetts Institute Of Technology Wearable Gestural Interface
US20120272194A1 (en) * 2011-04-21 2012-10-25 Nokia Corporation Methods and apparatuses for facilitating gesture recognition
CN103329066A (zh) * 2011-01-19 2013-09-25 惠普发展公司，有限责任合伙企业 用于多模式手势控制的方法和***

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9268404B2 (en) * 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
US20130022950A1 (en) * 2011-07-22 2013-01-24 Muniz Simas Fernando Moreira Method and system for generating behavioral studies of an individual
CN102307309A (zh) 2011-07-29 2012-01-04 杭州电子科技大学 一种基于自由视点的体感交互导播***及方法
CN103294374A (zh) 2012-02-23 2013-09-11 中兴通讯股份有限公司 一种触摸屏解锁方法及装置
US9389690B2 (en) * 2012-03-01 2016-07-12 Qualcomm Incorporated Gesture detection based on information from multiple types of sensors
CN102662462B (zh) 2012-03-12 2016-03-30 中兴通讯股份有限公司 电子装置、手势识别方法及手势应用方法
CN102625173B (zh) 2012-03-21 2014-12-10 中兴通讯股份有限公司 一种视频节目切换的方法、***及相关设备
CN102722321A (zh) 2012-05-22 2012-10-10 中兴通讯股份有限公司 双摄像头切换的方法及装置
CN103455136A (zh) 2012-06-04 2013-12-18 中兴通讯股份有限公司 一种基于手势控制的输入方法、装置及***
CN103488406B (zh) 2012-06-11 2016-09-07 中兴通讯股份有限公司 调整移动终端屏幕键盘的方法、装置及移动终端
CN102799355A (zh) 2012-06-18 2012-11-28 中兴通讯股份有限公司 信息处理方法及装置
CN103543926A (zh) 2012-07-17 2014-01-29 中兴通讯股份有限公司 在移动终端锁屏状态下进入功能界面的方法及移动终端
CN102968612A (zh) 2012-07-27 2013-03-13 中国工商银行股份有限公司 一种银行身份识别方法及***
CN103577793B (zh) 2012-07-27 2017-04-05 中兴通讯股份有限公司 手势识别方法及装置
CN103576966A (zh) 2012-08-09 2014-02-12 中兴通讯股份有限公司 一种电子设备及控制所述电子设备的方法及装置
CN103677591A (zh) 2012-08-30 2014-03-26 中兴通讯股份有限公司 终端自定义手势的方法及其终端
CN102866777A (zh) 2012-09-12 2013-01-09 中兴通讯股份有限公司 一种数字媒体内容播放转移的方法及播放设备及***
CN102929508B (zh) 2012-10-11 2015-04-01 中兴通讯股份有限公司 一种电子地图触控方法和装置
CN102932212A (zh) 2012-10-12 2013-02-13 华南理工大学 一种基于多通道交互方式的智能家居控制***
CN103093196B (zh) 2013-01-14 2014-08-27 大连理工大学 一种基于手势的汉字交互输入与识别方法
CN103208002B (zh) 2013-04-10 2016-04-27 桂林电子科技大学 基于手轮廓特征的手势识别控制方法和***
CN103303224B (zh) 2013-06-18 2015-04-15 桂林电子科技大学 车载设备手势控制***及其使用方法
CN103345064B (zh) 2013-07-16 2015-08-26 深圳市智帽科技开发有限公司 一种集成3d识别的帽子及帽子的3d识别方法
CN103442177A (zh) 2013-08-30 2013-12-11 程治永 一种基于手势识别的ptz摄像机控制***及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100199232A1 (en) * 2009-02-03 2010-08-05 Massachusetts Institute Of Technology Wearable Gestural Interface
CN103329066A (zh) * 2011-01-19 2013-09-25 惠普发展公司，有限责任合伙企业 用于多模式手势控制的方法和***
US20120272194A1 (en) * 2011-04-21 2012-10-25 Nokia Corporation Methods and apparatuses for facilitating gesture recognition

Also Published As

Publication number Publication date
CN104866084A (zh) 2015-08-26
US10591999B2 (en) 2020-03-17
EP3112984A4 (en) 2017-02-22
US20170262061A1 (en) 2017-09-14
EP3112984A1 (en) 2017-01-04
WO2015127787A1 (zh) 2015-09-03

Similar Documents

Publication Publication Date Title
CN104866084B (zh) 手势识别方法、装置和***
CN104866083B (zh) 手势识别方法、装置和***
JP6772379B2 (ja) インスタント通信メッセージに基づくタスク管理
EP3329352B1 (en) User terminal apparatus and controlling method thereof
EP3204837B1 (en) Docking system
EP2804393B1 (en) Remote control method, intelligent terminal and intelligent remote control system
KR101706479B1 (ko) 사물인터넷 제어방법, 단말 및 피제어 기기
US10013067B2 (en) Gesture control method, apparatus and system
KR20180132158A (ko) 디지털 미디어 콘텐츠 관리 시스템 및 방법
US20220239718A1 (en) Communication Protocol Switching Method, Apparatus, and System
EP3309670B1 (en) Method for responding to operation track and operation track response apparatus
EP2661144A2 (en) Method and system for managing module identification information, and device supporting the same
JP6283749B2 (ja) 機器接続を促す方法および装置
WO2015165257A1 (zh) 语音识别方法、装置、***及计算机存储介质
WO2017088331A1 (zh) 控制装置及运作方法
TWI458291B (zh) 實像網控裝置及其相關方法
WO2016062191A1 (zh) 信息发布方法、信息接收方法、装置及信息共享***
CN104284246A (zh) 一种传输数据的方法及终端
KR102102396B1 (ko) 이동 단말기
US20160117553A1 (en) Method, device and system for realizing visual identification
CN106358064A (zh) 控制电视机的方法及设备
JP2014068206A (ja) 情報処理端末、情報処理方法、及び機器制御システム
CN110719514A (zh) 设备的控制方法及***、终端
KR20170064417A (ko) 소스 디바이스의 컨텐츠 공유 방법 및 시스템
US9733887B2 (en) Wireless transfer device and methods

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant