CN106802717A - 空间手势遥控方法及电子设备 - Google Patents

空间手势遥控方法及电子设备 Download PDF

Info

Publication number
CN106802717A
CN106802717A CN201710048134.4A CN201710048134A CN106802717A CN 106802717 A CN106802717 A CN 106802717A CN 201710048134 A CN201710048134 A CN 201710048134A CN 106802717 A CN106802717 A CN 106802717A
Authority
CN
China
Prior art keywords
special characteristic
module
instruction
area
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710048134.4A
Other languages
English (en)
Inventor
黄源浩
肖振中
许宏淮
王献冠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Orbbec Co Ltd
Original Assignee
Shenzhen Orbbec Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Orbbec Co Ltd filed Critical Shenzhen Orbbec Co Ltd
Priority to CN201710048134.4A priority Critical patent/CN106802717A/zh
Publication of CN106802717A publication Critical patent/CN106802717A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content

Abstract

本发明提供了一种空间手势遥控方法及电子设备,该方法包括以下步骤:建立三维操控空间,三维操控空间包括三维坐标系和以三维坐标系原点为中心点的虚拟边界面,虚拟边界面被划分为多个指令区域;采集用户的连续帧深度图像;根据深度图像识别用户的手掌区域;根据连续帧深度图像跟踪手掌区域的特定特征的运动;根据特定特征穿越指令区域时的穿越信息来触发指令;执行指令。该电子设备包括操控空间建立模块、采集模块、第一识别模块、跟踪模块、触发模块和执行模块。本发明只需在电视机前在空间中挥动手部进行以对电视机进行操控,并不限定手掌的形态,使人们对电视机的遥控更加方便、舒适,并且,本发明还具有较高的精准度和较快的响应速度。

Description

空间手势遥控方法及电子设备
技术领域
本发明涉及手势识别技术领域,特别是涉及一种空间手势遥控方法及电子设备。
背景技术
深度相机能够获取物体的深度图像,因而,对深度图像中的目标区域,可以直接获取其空间位置信息,进一步根据深度图像可以实现3D物体重建、手势识别手势操控等功能。
传统电视机利用遥控器通过红外技术对电视机进行遥控,该遥控器为一实体的装置,其上设置有多个按键来对电视机进行不同的控制,随着电视遥控器的操控按键越来越简化,电视遥控器仅保留下一些基本操控的按键,例如开关机,确定、退出,频道加减和音量加减等。
现有的遥控器需要安装电池,当遥控器电池电量用尽时,必须要更换电池才能实现遥控,如果遥控器丢失,则无法对电视机进行遥控,若遥控器所在位置距离较远时,还必须将遥控器取来才能使用,因而,人们使用遥控器对电视机的遥控仍然存在不便。
发明内容
本发明提供一种空间手势遥控方法及电子设备,能够解决现有技术存在的使用遥控器对电视机进行遥控存在不便的问题。
为解决上述技术问题,本发明采用的一个技术方案是:提供一种空间手势遥控方法,该方法包括以下步骤:建立三维操控空间,其中,所述三维操控空间包括三维坐标系和以所述三维坐标系原点为中心点的虚拟边界面,所述虚拟边界面被划分为多个指令区域;采集用户的连续帧深度图像;根据所述深度图像识别用户的手掌区域;根据所述连续帧深度图像跟踪所述手掌区域的特定特征的运动;根据所述特定特征穿越所述指令区域时的穿越信息来触发指令;执行所述指令。
其中,所述建立三维操控空间的步骤之后,还包括:获取所述虚拟边界面上各个点在所述三维坐标系中的第一位置信息;所述跟踪所述手掌区域的特定特征的运动的步骤包括:从所述手掌区域中识别所述特定特征;获取所述连续帧深度图像中所述特定特征在所述三维坐标系中的多个第二位置信息。
其中,所述根据所述特定特征穿越所述指令区域时的穿越信息来触发指令的步骤中,所述穿越信息包括所述特定特征所穿越的指令区域;所述根据所述特定特征穿越所述指令区域时的穿越信息来触发指令的步骤为:根据多个所述第二位置信息与所述第一位置信息的关系来确定所述特定特征穿过的所述指令区域,从而触发指令。
其中,所述根据所述特定特征穿越所述指令区域时的穿越信息来触发指令的步骤中,所述穿越信息包括所述特定特征所穿越的指令区域以和所述特定特征穿越所述指令区域时的穿越方向;所述根据所述特定特征穿越所述指令区域时的穿越信息来触发指令的步骤为:根据多个所述第二位置信息与所述第一位置信息的关系来确所述特定特征穿过的所述指令区域以及所述特定特征穿过所述指令区域的方向,从而触发指令。
其中,所述特定特征为所述手掌区域的重心、质心或者手掌区域的边缘上的点。
为解决上述技术问题,本发明采用的另一个技术方案是:提供一种种空间手势遥控的电子设备,该电子设备包括操控空间建立模块、采集模块、第一识别模块、跟踪模块、触发模块和执行模块;操控空间建立模块用于建立三维操控空间,其中,所述三维操控空间包括三维坐标系和以所述三维坐标系原点为中心点的虚拟边界面,所述虚拟边界面被划分为多个指令区域;采集模块与所述操控空间建立模块连接,用于采集用户的连续帧深度图像;第一识别模块与所述采集模块连接,用于根据所述深度图像识别用户的手掌区域;跟踪模块与所述第一识别模块连接,用于根据所述连续帧深度图像跟踪所述手掌区域的特定特征的运动;触发模块与所述跟踪模块连接,用于根据所述特定特征穿越所述指令区域时的穿越信息来触发指令;执行模块与所述触发模块连接,用于执行所述指令。
其中,所述电子设备进一步包括:第一获取模块,与所述操控空间建立模块连接,用于获取所述虚拟边界面上各个点在所述三维坐标系中的第一位置信息;所述跟踪模块进一步包括第二识别模块和第二获取模块,所述第二识别模块与所述第一识别模块连接,用于从所述手掌区域中识别所述特定特征,所述第二获取模块与所述第二识别模块连接,用于获取所述连续帧深度图像中所述特定特征在所述三维坐标系中的多个第二位置信息。
其中,所述穿越信息包括所述特定特征所穿越的指令区域;所述触发模块与所述第二获取模块连接,用于根据多个所述第二位置信息与所述第一位置信息的关系来确定所述特定特征穿过的所述指令区域,从而触发指令。
其中,所述穿越信息包括所述特定特征所穿越的指令区域以和所述特定特征穿越所述指令区域时的穿越方向;所述触发模块与所述第二获取模块连接,用于根据多个所述第二位置信息与所述第一位置信息的关系来确所述特定特征穿过的所述指令区域以及所述特定特征穿过所述指令区域的方向,从而触发指令。
其中,所述特定特征为所述手掌区域的重心、质心或者手掌区域的边缘上的点。
本发明的有益效果是:区别于现有技术的情况,本发明通过在一个被划分有多个指令区域的虚拟边界面形成的三维操控空间上进行手势遥控,并通过采集用户连续帧深度图像来获取用户手掌区域的特定特征的动作,并根据该该特定特征穿越指令区域时的穿越信息来触发指令,以实现空间手势对电视机进行遥控,具有较快的响应速度。并且,本发明无需借助遥控器等实体装置来进行控制,人们只需要在电视机前在空间中挥动手部进行特定的手势动作对电视机进行操控,避免了需要换电池或者寻找遥控器等的麻烦,从而使得人们对电视机的遥控更加方便,并且,本发明还具有较高的精准度。另外,本发明只需要跟踪手掌区域的特定特征,而对手部形态(张开或闭合等)无需特别限定,可以实现自然操控,使用户在操控期间,免于频繁完成特定的手势动作,只需手部整体移动即可触发指令,操控较为自然舒适。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种空间手势遥控方法的流程示意图;
图2是本发明第一实施例中建立的三维操控空间的示意图;
图3是本发明第二实施例提供的一种空间手势遥控方法的流程示意图;
图4是本发明第二实施例中手掌区域的特定特征的运动示意图;
图5是本发明第三实施例提供的一种空间手势遥控方法的流程示意图;
图6是本发明第三实施例中手掌区域的特定特征的运动示意图;
图7是本发明第一实施例提供的空间手势遥控的电子设备的结构示意图;
图8是本发明第二实施例提供的空间手势遥控的电子设备的结构示意图;
图9是本发明实施例提供的一种手势遥控的电子设备的实体装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1,图1是本发明实施例提供的一种空间手势遥控方法的流程示意图。
本实施例提供的空间手势遥控方法包括以下步骤:
S11、建立三维操控空间,其中,三维操控空间包括三维坐标系和以三维坐标系原点为中心点的虚拟边界面,虚拟边界面被划分为多个指令区域。
如图2所示,图2是本发明第一实施例中建立的三维操控空间的示意图。具体地,三维操控空间的建立可以是在获取了建立三维操控空间的指令之后进行建立,以防止后续手势遥控过程中误识别了用户并非用于手势遥控的手势动作,以更加精确地进行手势识别。其中,该指令可以是一个特定的手势动作。例如,手掌从张开到握拳的手势动作。
举例而言,先采集用户连续帧的深度图像,其中,深度图像可以通过深度相机来进行采集,通过深度图像可以获取物体在空间的空间位置信息。其中,连续帧的深度图像是指在一个特定的时间段内,一系列连续的深度图像。
在获取了建立三维操控空间的指令之后,以深度图像中特定点为原点建立三维坐标系。该三维坐标系具有xyz三轴,用户朝向需要控制的设备(例如电视机)的方向为y轴正方向,x轴与y轴所在平面平行于地面,z轴垂直与x轴与y轴所在的平面。朝向图2中右方的方向为x轴的正方向,朝向图2中的上方的方向为z轴的正方向。
其中,特定点可以是用户的手部中心点,可以理解的是,在其他一些实施例中,还可以是手掌区域的最高点,或者手掌区域的最左或者最右的点等等。
然后,再以特定点为中心建立虚拟边界面,并获取虚拟边界面上的点在三维坐标系上的位置信息。
本实施例的虚拟边界面为一个球面,该球面以特定点为球心,以R为半径。
本实施例的三维操控空间呈球形,可以理解地,在其它一些实施例中,三维操控空间可以是方体,例如正方体或者长方体等,此时,虚拟边界面则为方体的面,例如正方体或者长方体的六个面。
最后,将虚拟边界面划分多个指令区域。具体地,本发明在球面上划分多个指令区域,例如本实施例划分的指令区域有x轴正方向穿越的指令区域A、x轴负方向穿越的指令区域B,z轴正方向穿越的指令区域C,z轴负方向穿越的指令区域D,y轴正方向穿越的指令区域E和y轴负方向穿越的指令区域F。指令区域A、指令区域B、指令区域C,指令区域D,指令区域E和指令区域F构成整个虚拟边界面。
本实施例的三维操控空间即为具有多个指令区域的球面围成的空间,该三维操控空间是一个虚拟的空间。
S12、采集用户的连续帧深度图像。
具体地,深度图像可以由深度相机进行采集,进一步地,还可以通过RGBD相机采集用户连续帧的RGBD图像。
S13、根据深度图像识别用户的手掌区域。
其中,步骤S13中,可以根据手掌的特征来识别出手掌区域,例如,手指的特征,手掌位于上肢端部的特征等。
S14、根据连续帧深度图像跟踪手掌区域的特定特征的运动。
具体地,特定特征可以是手掌区域的重心、质心或者手掌区域的边缘上的点。本实施例以手掌区域的重心为例进行说明,根据连续帧深度图像来跟踪手掌的重心的运动。
S15、根据特定特征穿越指令区域时的穿越信息来触发指令。
具体地,可以在建立三维空间的时候,定义不同的穿越信息触发对应不同的指令,因而,在手势遥控的时候,则根据特定特征穿越指令区域时的穿越信息来确定触发了哪一个指令。
S16、执行指令。
区别与现有技术,本发明通过在一个被划分有多个指令区域的虚拟边界面形成的三维操控空间上进行手势遥控,并通过采集用户连续帧深度图像来获取用户手掌区域的特定特征的动作,并根据该该特定特征穿越指令区域时的穿越信息来触发指令,以实现空间手势对电视机进行遥控,具有较快的响应速度。并且,本发明无需借助遥控器等实体装置来进行控制,人们只需要在电视机前在空间中挥动手部进行特定的手势动作对电视机进行操控,避免了需要换电池或者寻找遥控器等的麻烦,从而使得人们对电视机的遥控更加方便,并且,本发明还具有较高的精准度。另外,本发明只需要跟踪手掌区域的特定特征动运动,而对手部形态(张开或闭合等)无需特别限定,可以实现自然操控,使用户在操控期间,手掌能免于频繁完成特定的手势动作,只需手部整体移动即可触发指令,操控较为自然舒适。
请参阅图3,图3是本发明第二实施例提供的一种空间手势遥控方法的流程示意图。
S21、建立三维操控空间,其中,三维操控空间包括三维坐标系和以三维坐标系原点为中心点的虚拟边界面,虚拟边界面被划分为多个指令区域。
具体地,建立三维操控空间的方式可以与第一实施例中的方式相同,再次不再赘述。
S22、获取虚拟边界面上各个点在三维坐标系中的第一位置信息。
其中,第一位置信息即坐标值,例如,点g的坐标值为(x,y,z),如图2所示。
S23、采集用户的连续帧深度图像。
S24、根据深度图像识别用户的手掌区域。
S25、从手掌区域中识别手掌区域的重心。
具体地,手掌区域的重心可以根据手掌区域计算而得。
S26、获取连续帧深度图像中特定特征在三维坐标系中的多个第二位置信息。
具体地,由于手掌区域的重心在运动,因而在连续帧深度图像中,第二位置信息随着运动而发生变化,第二位置信息为手掌区域的重心的运动轨迹上的点在三维坐标系中的坐标值,因此,在连续帧深度图像中,第二位置信息有连续变化的多个。
如图4所示,图4是本发明第二实施例中手掌区域的特定特征的运动示意图。图4中手掌区域的重心的运动轨迹为从左到右的直线。为了方便说明,本实施例选取了手掌区域的重心的运动轨迹上的4个点为,具体地,手掌区域的重心依次经过点g1(x1,y1,z1),点g2(x2,y2,z2),点g(x,y,z)和点g3(x3,y3,z3)。
S27、根据第二位置信息与第一位置信息的关系来确定特定特征穿过的指令区域,从而触发指令。
举例而言,在建立三维操控空间时,定义手掌区域的中心穿越指令区域A触发的指令为Aa,指令Aa对应频道增加;定义手掌区域的重心穿越指令区域B触发指令Bb,指令Bb对应频道减少;定义手掌区域的重心穿越指令区域C触发指令Cc,指令Cc对应音量增加;定义手掌区域的重心穿越指令区域D触发指令Dd,指令Dd对应音量减弱;定义手掌区域的重心穿越指令区域E触发指令Ee,指令Ee对应确定;定义手掌区域的重心穿越指令区域F触发指令Ff,指令Ff对应退出等。
本实施例中,点g1,点g2、点g和点g3的第二位置信息即点g1,点g2、点g和点g3的三维坐标值(x1,y1,z1)、(x2,y2,z2)、(x,y,z)和(x3,y3,z3),将该4个点的三维坐标值与虚拟边界面上各点的坐标值比较,可以得出,手掌区域的重心经过的点g(x,y,z)的坐标值与指令区域A上的一个点的坐标值相同,因而可以判断手掌区域的重心穿越了指令区域A,因而触发指令Aa。
S28、执行指令。
步骤S28中,由于指令Aa对应频道增加,因此相应地,执行频道增加的指令。
请参阅图5,图5是本发明第三实施例提供的一种空间手势遥控方法的流程示意图。
S31、建立三维操控空间,其中,三维操控空间包括三维坐标系和以三维坐标系原点为中心点的虚拟边界面,虚拟边界面被划分为多个指令区域。
具体地,建立三维操控空间的方式可以与第一实施例中的方式相同,再次不再赘述。
S32、获取虚拟边界面上各个点在三维坐标系中的第一位置信息。
S33、采集用户的连续帧深度图像。
S34、根据深度图像识别用户的手掌区域。
S35、从手掌区域中识别手掌区域的边缘上的点。
其中,手掌区域的边缘上的点为手掌区域的边缘上任意的点。可以从深度图像中根据手掌区域的特征识别出手掌区域的轮廓,从而确定手掌区域的边缘。
S36、持续获取特定特征在三维坐标系中的多个第二位置信息。
具体地,由于手掌区域在运动,因而在连续帧深度图像中,手掌区域的边缘上有多个点,并且,随着手掌区域的运动,同一个点的第二位置信息也会发生变化,第二位置信息为手掌区域边缘上的多个点的多个运动轨迹上的点在三维坐标系中的坐标值,因此,同一个手掌区域的边缘由多个点,在一个深度图像中具有多个第二位置信息,而手掌区域的边缘上同一个点在连续帧深度图像中,第二位置信息具有连续变化的多个。
S37、根据多个第二位置信息与第一位置信息的关系来确特定特征穿过的指令区域以及特定特征穿过指令区域的方向,从而触发指令。
例如,在建立三维操控空间时,定义手掌区域的边缘上的点从三维操控空间内部穿越指令区域A到达三维操控空间外触发的指令为Aa,指令Aa对应频道增加;定义手掌区域的边缘上的点从三维操控空间内部穿越指令区域B到达三维操控空间外触发指令Bb,指令Bb对应频道减少;定义手掌区域的边缘上的点从三维操控空间内部穿越指令区域C到达三维操控空间外触发指令Cc,指令Cc对应音量增加;定义手掌区域的边缘上的点从三维操控空间内部穿越指令区域D到达三维操控空间外触发指令Dd,指令Dd对应音量减弱;定义手掌区域边缘上的点从三维操控空间内部穿越指令区域E到达三维操控空间外触发指令Ee,指令Ee对应确定;定义手掌区域的边缘上的点从三维操控空间内部穿越指令区域F到达三维操控空间外部触发指令Ff,指令Ff对应退出等。
此外,还定义了手掌区域的边缘上的点从三维操控空间外穿过指令区域A到达三维操控空间内触发指令Aa’,指令Aa’可以对应亮度增加,或者,定义手掌区域的边缘上的点从三维操控空间外穿过指令区域B到达三维操控空间内触发指令Bb’,指令Bb’可以对应亮度减小等等。
举例而言,如图6所示,图6是本发明第三实施例中手掌区域的特定特征的运动示意图。本实施例中,点h1,点h、和点h2的第二位置信息即点h1,点h、和点h2的三维坐标值(x4,y4,z4)、(x5,y5,z5)和(x6,y6,z6),将该3个点的三维坐标值与虚拟边界面上各点的坐标值比较,可以得出,手掌区域的边缘上的一个点先经过的点h1(x4,y4,z4)在三维操控空间内部,点h(x5,y5,z5)在三维操控空间的虚拟边界面上,且在指令区域A上,手掌区域的边缘上的该点后经过的点h3(x6,y6,z6)在三维操控空间外,因此,可以确定该手掌区域的边缘上的点从三维操控空间的内部穿越指令区域A到达三维操控空间的外部,因此,触发指令Aa。
S38、执行指令。
步骤S38中,由于指令Aa对应频道增加,因此相应地,执行频道增加的指令。
如图7所示,图7是本发明第一实施例提供的空间手势遥控的电子设备的结构示意图。
具体地,本发明的电子设备包括操控空间建立模块10、采集模块11、第一识别模块12、跟踪模块13、触发模块14和执行模块15。
具体地,操控空间建立模块10用于建立三维操控空间,其中,三维操控空间包括三维坐标系和以三维坐标系原点为中心点的虚拟边界面,虚拟边界面被划分为多个指令区域。
采集模块11与操控空间建立模块10连接,用于采集用户的连续帧深度图像。
第一识别模块12与采集模块11连接,用于根据深度图像识别用户的手掌区域。
跟踪模块13与第一识别模块12连接,用于根据连续帧深度图像跟踪手掌区域的特定特征的运动。
触发模块14与跟踪模块13连接,用于根据特定特征穿越指令区域时的穿越信息来触发指令。
执行模块15与触发模块14连接,用于执行指令。
如图8所示,图8是本发明第二实施例提供的空间手势遥控的电子设备的结构示意图。
具体地,本发明的电子设备包括操控空间建立模块20、采集模块21、第一识别模块22、跟踪模块23、触发模块24、执行模块25和第一获取模块26。
具体地,操控空间建立模块20用于建立三维操控空间,其中,三维操控空间包括三维坐标系和以三维坐标系原点为中心点的虚拟边界面,虚拟边界面被划分为多个指令区域。
第一获取模块26与操控空间建立模块20连接,用于获取虚拟边界面上各个点在三维坐标系中的第一位置信息。
采集模块21与操控空间建立模块20连接,用于采集用户的连续帧深度图像。
第一识别模块22与采集模块21连接,用于根据深度图像识别用户的手掌区域。
跟踪模块23进一步包括第二识别模块230和第二获取模块231,第二识别模块230与第一识别模块22连接,用于从手掌区域中识别特定特征,其中,特定特征可以是为手掌区域的重心、质心或者手掌区域的边缘上的点。第二获取模块231与第二识别模块230连接,用于获取连续帧深度图像中特定特征在三维坐标系中的多个第二位置信息。
具体地,在一个实施例中,穿越信息包括特定特征所穿越的指令区域。触发模块24与第二获取模块231连接,用于根据多个第二位置信息与第一位置信息的关系来确定特定特征穿过的指令区域,从而触发指令。
另一个实施例中,穿越信息包括特定特征所穿越的指令区域以和特定特征穿越指令区域时的穿越方向。触发模块24与第二获取模块231连接,用于根据多个第二位置信息与第一位置信息的关系来确特定特征穿过的指令区域以及特定特征穿过指令区域的方向,从而触发指令。
执行模块25与触发模块24连接,用于执行指令。
请参阅图9,图9是本发明实施例提供的一种手势遥控的电子设备的实体装置的结构示意图。本实施方式的装置可以执行上述方法中的步骤,相关内容请参见上述方法中的详细说明,在此不再赘述。
该智能电子设备包括处理器31、与处理器31耦合的存储器32。
存储器32用于存储操作***和设置的程序。
处理器31用于建立三维操控空间,其中,所述三维操控空间包括三维坐标系和以所述三维坐标系原点为中心点的虚拟边界面,所述虚拟边界面被划分为多个指令区域;采集用户的连续帧深度图像;根据所述深度图像识别用户的手掌区域;根据所述连续帧深度图像跟踪所述手掌区域的特定特征的运动;根据所述特定特征穿越所述指令区域时的穿越信息来触发指令;执行所述指令。
处理器31还用于获取所述虚拟边界面上各个点在所述三维坐标系中的第一位置信息;从所述手掌区域中识别所述特定特征;获取所述连续帧深度图像中所述特定特征在所述三维坐标系中的多个第二位置信息。
处理器31还用于根据多个所述第二位置信息与所述第一位置信息的关系来确定所述特定特征穿过的所述指令区域,从而触发指令。
处理器31还用于根据多个所述第二位置信息与所述第一位置信息的关系来确所述特定特征穿过的所述指令区域以及所述特定特征穿过所述指令区域的方向,从而触发指令。
在本发明所提供的几个实施方式中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本发明各个实施方式中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述,本发明的空间手势遥控具有较快的响应速度,较高的精准度,能使人们对电视机的遥控更加方便。
以上所述仅为本发明的实施方式,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种空间手势遥控方法,其特征在于,包括以下步骤:
建立三维操控空间,其中,所述三维操控空间包括三维坐标系和以所述三维坐标系原点为中心点的虚拟边界面,所述虚拟边界面被划分为多个指令区域;
采集用户的连续帧深度图像;
根据所述深度图像识别用户的手掌区域;
根据所述连续帧深度图像跟踪所述手掌区域的特定特征的运动;
根据所述特定特征穿越所述指令区域时的穿越信息来触发指令;
执行所述指令。
2.根据权利要求1所述的空间手势遥控方法,其特征在于,所述建立三维操控空间的步骤之后,还包括:
获取所述虚拟边界面上各个点在所述三维坐标系中的第一位置信息;
所述跟踪所述手掌区域的特定特征的运动的步骤包括:
从所述手掌区域中识别所述特定特征;
获取所述连续帧深度图像中所述特定特征在所述三维坐标系中的多个第二位置信息。
3.根据权利要求2所述的空间手势遥控方法,其特征在于,所述根据所述特定特征穿越所述指令区域时的穿越信息来触发指令的步骤中,所述穿越信息包括所述特定特征所穿越的指令区域;
所述根据所述特定特征穿越所述指令区域时的穿越信息来触发指令的步骤为:根据多个所述第二位置信息与所述第一位置信息的关系来确定所述特定特征穿过的所述指令区域,从而触发指令。
4.根据权利要求2所述的空间手势遥控方法,其特征在于,所述根据所述特定特征穿越所述指令区域时的穿越信息来触发指令的步骤中,所述穿越信息包括所述特定特征所穿越的指令区域以和所述特定特征穿越所述指令区域时的穿越方向;
所述根据所述特定特征穿越所述指令区域时的穿越信息来触发指令的步骤为:根据多个所述第二位置信息与所述第一位置信息的关系来确所述特定特征穿过的所述指令区域以及所述特定特征穿过所述指令区域的方向,从而触发指令。
5.根据权利要求1所述的空间手势遥控方法,其特征在于,所述特定特征为所述手掌区域的重心、质心或者手掌区域的边缘上的点。
6.一种空间手势遥控的电子设备,其特征在于,包括:
操控空间建立模块,用于建立三维操控空间,其中,所述三维操控空间包括三维坐标系和以所述三维坐标系原点为中心点的虚拟边界面,所述虚拟边界面被划分为多个指令区域;
采集模块,与所述操控空间建立模块连接,用于采集用户的连续帧深度图像;
第一识别模块,与所述采集模块连接,用于根据所述深度图像识别用户的手掌区域;
跟踪模块,与所述第一识别模块连接,用于根据所述连续帧深度图像跟踪所述手掌区域的特定特征的运动;
触发模块,与所述跟踪模块连接,用于根据所述特定特征穿越所述指令区域时的穿越信息来触发指令;
执行模块,与所述触发模块连接,用于执行所述指令。
7.根据权利要求6所述的电子设备,其特征在于,所述电子设备进一步包括:第一获取模块,与所述操控空间建立模块连接,用于获取所述虚拟边界面上各个点在所述三维坐标系中的第一位置信息;
所述跟踪模块进一步包括第二识别模块和第二获取模块,所述第二识别模块与所述第一识别模块连接,用于从所述手掌区域中识别所述特定特征,所述第二获取模块与所述第二识别模块连接,用于获取所述连续帧深度图像中所述特定特征在所述三维坐标系中的多个第二位置信息。
8.根据权利要求7所述的电子设备,其特征在于,所述穿越信息包括所述特定特征所穿越的指令区域;
所述触发模块与所述第二获取模块连接,用于根据多个所述第二位置信息与所述第一位置信息的关系来确定所述特定特征穿过的所述指令区域,从而触发指令。
9.根据权利要求7所述的电子设备,其特征在于,所述穿越信息包括所述特定特征所穿越的指令区域以和所述特定特征穿越所述指令区域时的穿越方向;
所述触发模块与所述第二获取模块连接,用于根据多个所述第二位置信息与所述第一位置信息的关系来确所述特定特征穿过的所述指令区域以及所述特定特征穿过所述指令区域的方向,从而触发指令。
10.根据权利要求6所述的电子设备,其特征在于,所述特定特征为所述手掌区域的重心、质心或者手掌区域的边缘上的点。
CN201710048134.4A 2017-01-20 2017-01-20 空间手势遥控方法及电子设备 Pending CN106802717A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710048134.4A CN106802717A (zh) 2017-01-20 2017-01-20 空间手势遥控方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710048134.4A CN106802717A (zh) 2017-01-20 2017-01-20 空间手势遥控方法及电子设备

Publications (1)

Publication Number Publication Date
CN106802717A true CN106802717A (zh) 2017-06-06

Family

ID=58987149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710048134.4A Pending CN106802717A (zh) 2017-01-20 2017-01-20 空间手势遥控方法及电子设备

Country Status (1)

Country Link
CN (1) CN106802717A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107241643A (zh) * 2017-08-03 2017-10-10 沈阳建筑大学 一种多媒体音量调节方法及***
CN109871123A (zh) * 2019-01-21 2019-06-11 广东精标科技股份有限公司 一种基于手势或眼神控制的教学方法
CN111898489A (zh) * 2020-07-15 2020-11-06 北京百度网讯科技有限公司 用于标注手掌位姿的方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102449577A (zh) * 2009-06-01 2012-05-09 微软公司 虚拟桌面坐标变换
CN102860031A (zh) * 2010-04-09 2013-01-02 索尼公司 用于识别运动图像内容中包含的静止图像的装置和方法
CN102982557A (zh) * 2012-11-06 2013-03-20 桂林电子科技大学 基于深度相机的空间手势姿态指令处理方法
CN104199547A (zh) * 2014-08-29 2014-12-10 福州瑞芯微电子有限公司 人机交互式虚拟触控装置、***及方法
CN104898879A (zh) * 2009-05-26 2015-09-09 美国智能科技有限公司 用于数据输入的方法及装置
CN105590098A (zh) * 2015-12-22 2016-05-18 北京百度网讯科技有限公司 图像识别方法及装置
CN105630134A (zh) * 2014-10-27 2016-06-01 乐视致新电子科技(天津)有限公司 识别操作事件的方法和装置
US20170003877A1 (en) * 2015-07-01 2017-01-05 Le Holdings (Beijing) Co., Ltd. Method and device for motion-sensing key positioning

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104898879A (zh) * 2009-05-26 2015-09-09 美国智能科技有限公司 用于数据输入的方法及装置
CN102449577A (zh) * 2009-06-01 2012-05-09 微软公司 虚拟桌面坐标变换
CN102860031A (zh) * 2010-04-09 2013-01-02 索尼公司 用于识别运动图像内容中包含的静止图像的装置和方法
CN102982557A (zh) * 2012-11-06 2013-03-20 桂林电子科技大学 基于深度相机的空间手势姿态指令处理方法
CN104199547A (zh) * 2014-08-29 2014-12-10 福州瑞芯微电子有限公司 人机交互式虚拟触控装置、***及方法
CN105630134A (zh) * 2014-10-27 2016-06-01 乐视致新电子科技(天津)有限公司 识别操作事件的方法和装置
US20170003877A1 (en) * 2015-07-01 2017-01-05 Le Holdings (Beijing) Co., Ltd. Method and device for motion-sensing key positioning
CN105590098A (zh) * 2015-12-22 2016-05-18 北京百度网讯科技有限公司 图像识别方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107241643A (zh) * 2017-08-03 2017-10-10 沈阳建筑大学 一种多媒体音量调节方法及***
CN109871123A (zh) * 2019-01-21 2019-06-11 广东精标科技股份有限公司 一种基于手势或眼神控制的教学方法
CN111898489A (zh) * 2020-07-15 2020-11-06 北京百度网讯科技有限公司 用于标注手掌位姿的方法、装置、电子设备及存储介质
CN111898489B (zh) * 2020-07-15 2023-08-08 北京百度网讯科技有限公司 用于标注手掌位姿的方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN102193626B (zh) 手势识认装置、手势识认装置的控制方法
US10949671B2 (en) Augmented reality system capable of manipulating an augmented reality object and an augmented reality method using the same
US9933851B2 (en) Systems and methods for interacting with virtual objects using sensory feedback
KR20230164185A (ko) 가상 및 그래픽 요소들을 제어하기 위한 매핑된 손 영역들 사이의 양손 상호 작용들
CN102662577B (zh) 一种基于三维显示的光标操作方法及移动终端
US10719993B1 (en) Augmented reality system and method with space and object recognition
CN111694428B (zh) 基于Kinect的手势与轨迹远程控制机器人***
CN106104421A (zh) 一种指环式无线指感控制器、控制方法及控制***
KR102051309B1 (ko) 지능형 인지기술기반 증강현실시스템
CN107765855A (zh) 一种基于手势识别控制机器人运动的方法和***
CN107168530A (zh) 虚拟场景中的对象处理方法和装置
CN105107200B (zh) 基于实时深度体感交互与增强现实技术的变脸***及方法
CN106802717A (zh) 空间手势遥控方法及电子设备
CN109800676A (zh) 基于深度信息的手势识别方法及***
CN106468917B (zh) 一种可触摸现场实时视频图像的远程呈现交互方法和***
CN110013671A (zh) 动作执行方法和装置、存储介质及电子装置
WO2020186826A1 (zh) 基于智能手环的游戏控制方法、智能手环及存储介质
CN111966217A (zh) 基于手势和眼动的无人机控制方法和***
WO2022119697A1 (en) Head-related transfer function
CN111552383A (zh) 虚拟增强现实交互设备的手指识别方法、***及交互设备
CN109395375A (zh) 一种基于增强现实与移动交互的三维游戏接口设计方法
Kabir et al. A novel dynamic hand gesture and movement trajectory recognition model for non-touch HRI interface
US20180260031A1 (en) Method for controlling distribution of multiple sub-screens and device using the same
CN106502416B (zh) 一种智能识别双手手势的模拟驾驶***及其控制方法
CN106325480A (zh) 基于视线追踪的鼠标控制设备及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170606

RJ01 Rejection of invention patent application after publication