CN109726646B - 一种手势识别方法和***、显示方法和*** - Google Patents

Abstract

本发明实施例涉及一种手势识别方法和***、显示方法和***。本发明实施例通过获取多个初始图像，对每个初始图像分别进行预处理，得到与每个初始图像对应的目标图像，分别对每个目标图像中的手势特征元素的特征信息进行提取，得到特征信息集合，基于特征信息集合和预设的特征模板参数计算每个手势特征元素对应的在大屏幕上的投射信息，其中，在大屏幕上设置至少一组图像采集设备，每一组图像采集设备包括至少两个采集装置，且，至少两个采集装置的连线的中心点与大屏幕的中心点重合，且在大屏幕的中心点垂直线的反向延长线上设置反向采集装置的技术方案，避免了现有技术中大屏幕手势识别精度低的技术问题，实现了多维度图像共同成像的技术效果。

Description

一种手势识别方法和***、显示方法和***

技术领域

本发明实施例涉及显示技术领域，尤其涉及一种手势识别方法和***、显示方法和***。

背景技术

随着互联网技术的发展与普及，人机交互已在我们生活中得到广泛的应用。

在现有技术中，主要是小屏幕的交互的应用。小屏幕的人机交互比如手机，pad，笔记本电脑等设备，人机交互技术给我们带来了新颖的、梦幻般的操控体验。而人机交互是基于对手势的识别。

但是，现有技术中的手势识别的方法仅应用于小屏幕。而现有的大屏手势识别主要是识别2D的肢体行为，例如手在一个平面中的滑动，并且识别度不高。因此，怎样实现精准的应用于大屏幕的手势识别成为了亟待解决的问题。

发明内容

本发明所要解决的技术问题是针对现有技术中所存在的上述缺陷，提供一种手势识别方法和***、显示方法和***，用以解决现有技术中存在无法实现大屏幕中的精准的手势识别的问题。

根据本发明实施例的一个方面，本发明实施例提供了一种手势识别方法，在所述大屏幕上设置至少一组图像采集设备，每一组所述图像采集设备包括至少两个采集装置，且，所述至少两个采集装置的连线的中心点与所述大屏幕的中心点重合，且在所述大屏幕的中心点垂直线的反向延长线上设置反向采集装置，且手势操作者位于所述大屏幕与所述反向采集装置之间，所述方法包括：

获取所述反向采集装置和每个采集装置采集到的，与所述手势操作者对应的多个初始图像；

对每个所述初始图像分别进行预处理，得到与每个所述初始图像对应的目标图像；

分别对每个所述目标图像中的手势特征元素的特征信息进行提取，得到特征信息集合；

基于所述特征信息集合和预设的特征模板参数计算每个所述手势特征元素对应的在所述大屏幕上的投射信息。

进一步地，所述对每个所述初始图像分别进行预处理，得到与每个所述初始图像对应的目标图像，具体包括：

对每个所述初始图像中的手势进行定位处理，得到所述手势在每个所述初始图像中的区域信息；

基于所述区域信息从每个所述初始图像中提取手势区域；

基于手势分割法对所述手势区域对应的图像进行处理，得到与每个所述初始图像对应的目标图像。

进一步地，所述分别对每个所述目标图像中的手势特征元素的特征信息进行提取，得到特征信息集合，具体包括：

基于多尺度模型分别提取每个所述目标图像对应的特征图像；

分别获取每个所述特征图像中的手势特征元素对应的特征信息，得到所述特征信息集合。

进一步地，所述基于所述特征信息集合和预设的特征模板参数计算每个所述手势特征元素对应的投射信息，具体包括：

将每个所述目标图像中相同的特征元素对应的特征信息进行叠加，得到所述相同的特征元素的叠加特征信息；

基于旋转矩阵公式对所述相同的特征元素的叠加特征信息和特征模板参数进行计算，得到所述相同的特征元素对应的位置变换信息；

基于所述位置变换信息，以及预设的投射比例系数和调整系数计算，得到所述相同的特征元素对应的在所述大屏幕上的投射信息。

进一步地，基于式1计算所述反向采集装置与所述大屏幕之间的距离R，式1：

R＝(sw/2)/tan(θ/2)

其中，sw为所述大屏幕的宽度，θ为所述反向采集装置的视场角。

根据本发明实施例提供的一个方面，本发明实施例还提供了一种显示方法，应用于大屏幕，所述显示方法包括如上所述的手势识别方法，还包括：

基于每个所述投射信息和所述大屏幕对应的尺寸信息，分别计算每个所述投射信息在所述大屏幕中的映射位置；

基于每个所述映射位置对手势进行显示。

根据本发明实施例提供的一个方面，本发明实施例还提供了一种手势识别***，应用于大屏幕，所述***包括：获取模块、预处理模块、提取模块和计算模块，其中，

所述获取模块用于：获取反向采集装置和每个采集装置采集到的，与手势操作者对应的多个初始图像；

所述预处理模块用于：对每个所述初始图像分别进行预处理，得到与每个所述初始图像对应的目标图像；

所述提取模块用于：分别对每个所述目标图像中的手势特征元素的特征信息进行提取，得到特征信息集合；

所述计算模块用于：基于所述特征信息集合和预设的特征模板参数计算每个所述手势特征元素对应的在大屏幕上的投射信息；

其中，在所述大屏幕上设置至少一组图像采集设备，每一组所述图像采集设备包括至少两个采集装置，且，所述至少两个采集装置的连线的中心点与所述大屏幕的中心点重合，且在所述大屏幕的中心点垂直线的反向延长线上设置反向采集装置，且所述手势操作者位于所述大屏幕与所述反向采集装置之间。

进一步地，所述预处理模块具体用于：

对每个所述初始图像中的手势进行定位处理，得到所述手势在每个所述初始图像中的区域信息；

基于所述区域信息从每个所述初始图像中提取手势区域；

基于手势分割法对所述手势区域对应的图像进行处理，得到与每个所述初始图像对应的目标图像。

进一步地，所述提取模块具体用于：

基于多尺度模型分别提取每个所述目标图像对应的特征图像；

分别获取每个所述特征图像中的手势特征元素对应的特征信息，得到所述特征信息集合。

进一步地，所述计算模块具体用于：

将每个所述目标图像中相同的特征元素对应的特征信息进行叠加，得到所述相同的特征元素的叠加特征信息；

基于旋转矩阵公式对所述相同的特征元素的叠加特征信息和特征模板参数进行计算，得到所述相同的特征元素对应的位置变换信息；

基于所述位置变换信息，以及预设的投射比例系数和调整系数计算，得到所述相同的特征元素对应的在所述大屏幕上的投射信息。

根据本发明实施例提供的一个方面，本发明实施例还提供了一种显示***，所述显示***包括如上所述的手势识别***，还包括：显示模块，其中，

计算模块还用于：基于每个所述投射信息和所述大屏幕对应的尺寸信息，分别计算每个所述投射信息在所述大屏幕中的映射位置；

所述显示模块用于：基于每个所述映射位置对手势进行显示。

本发明实施例的有益效果在于，由于采用了获取反向采集装置和每个采集装置采集到的，与手势操作者对应的多个初始图像，对每个初始图像分别进行预处理，得到与每个初始图像对应的目标图像，分别对每个目标图像中的手势特征元素的特征信息进行提取，得到特征信息集合，基于特征信息集合和预设的特征模板参数计算每个手势特征元素对应的在大屏幕上的投射信息，其中，在大屏幕上设置至少一组图像采集设备，每一组图像采集设备包括至少两个采集装置，且，至少两个采集装置的连线的中心点与大屏幕的中心点重合，且在大屏幕的中心点垂直线的反向延长线上设置反向采集装置，且手势操作者位于大屏幕与反向采集装置之间的技术方案，避免了现有技术中大屏幕手势识别精度低的技术问题，实现了多维度图像共同成像的技术效果。

附图说明

图1为本发明实施例提供的一种手势识别方法的流程示意图；

图2为本发明实施例提供的一种显示方法的流程示意图；

图3为本发明实施例提供的一种手势识别***的模块示意图；

图4为本发明实施例提供的一种显示***的模块示意图；

附图标识：

1、获取模块；2、预处理模块；3、提取模块；4、计算模块；5、显示模块。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、接口、技术之类的具体细节，以便透彻理解本发明。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的***以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

本发明实施例提供了一种手势识别方法和***、显示方法和***。

根据本发明实施例的一个方面，本发明实施例提供了一种手势识别方法。

请参阅图1，图1为本发明实施例提供的一种手势识别方法的流程示意图。

如图1所示，该手势识别方法包括：

S1：获取反向采集装置和每个采集装置采集到的，与手势操作者对应的多个初始图像。

需要说明的是，本实施例提供的手势识别方法应用于大屏幕。且在该方法进行之前，优先对该方法运行的硬件框架进行搭建。具体的：

在大屏幕上设置至少一组图像采集设备，每一组图像采集设备包括至少两个采集装置，且，至少两个采集装置的连线的中心点与大屏幕的中心点重合，且在大屏幕的中心点垂直线的反向延长线上设置反向采集装置，且手势操作者位于大屏幕与反向采集装置之间。

如：当对用户(即手势操作者)的手势进行识别时，用户正对大屏幕，在大屏幕上设置多个采集装置，大屏幕位于用户的正前方，反向采集装置则设置在用户的正后方，与大屏幕正对的位置。且，反向采集装置设置在与中心点垂直线平行的竖直线上，且竖直线上存在点A，连接大屏幕的中心点和点A的线与水平线平行，分别与竖直线和中心点垂直线垂直。

优选地，采集装置和反向采集装置均为摄像头，分别用于对初始图像进行获取。即，当用户正对大屏幕，需要对用户的手势进行识别时，则通过设置在大屏幕上的摄像头和设置在于大屏幕相对的物体(如墙壁)上设置的摄像头分别对用户的图像进行采集。

优选地，摄像头的数量为五个。其中，四个摄像头设置在大屏幕上(即两组图像采集设备)，一个摄像头设置在于大屏幕相对的物体上。且，五个摄像头的型号相同。

优选地，依次连接四个摄像头，得到一个正方形，且每个摄像头到大屏幕中心点的距离均相等。

优选地，在执行该方法前，由五个摄像头分别对用户对应的图像进行采集，得到五个样本图像，将五个样本图像分别与预设的有效图像位置信息进行匹配，如果五个样本图像对应的位置信息均在有效图像位置信息范围内，则将五个图像分别标记为初始图像。

优选地，反向采集装置设置的具***置是基于式1进行确定的，式1：

R＝(sw/2)/tan(θ/2)

其中，sw为大屏幕的宽度，θ为反向采集装置的视场角。

S2：对每个初始图像分别进行预处理，得到与每个初始图像对应的目标图像。

在该步骤中，当共有五个摄像头，得到五个初始图像时，则分别对五个初始图像进行预处理，得到五个目标图像。

优选地，S2具体包括：

S2-1：对每个初始图像中的手势进行定位处理，得到手势在每个初始图像中的区域信息。

如：当有五个初始图像，则对五个初始图像中的手势A均进行定位，得到手势A在五个初始图像中的区域信息。

S2-2：基于区域信息从每个初始图像中提取手势区域。

如：当获悉手势A在五个初始图像中的区域信息(如坐标)时，则从五个初始图像中分别提取手势区域，得到五个手势区域。

S2-3：基于手势分割法对手势区域对应的图像进行处理，得到与每个初始图像对应的目标图像。

如：对五个手势区域对应的图像进行手势分割法处理后，得到五个目标图像。

即：先进行定位，确定每个初始图像中的手势的区域信息。其中，区域信息包括：坐标信息。再根据坐标信息将手势区域从每个初始图像中提取出来。最后基于手势分割法对提取出的手势区域对应的图像进行处理，得到每个初始图像对应的目标图像。如：基于手势分割法的手部旋转或弯曲，以及手势形状本身存在的凹陷区域，更加精准的计算出这个手势的旋转弯曲度，以及凹陷的程度。

优选地，在S2-2之后，S2-3之前，还可包括去干扰的步骤。即，在提取出手势区域后，先对提取出的手势区域对应的图像进行去除背景干扰的处理，以便将有效手势进行区分。

S3：分别对每个目标图像中的手势特征元素的特征信息进行提取，得到特征信息集合。

在该步骤中，当有五个目标图像时，则将五个目标图像中的手势特征元素的特征信息均进行提取，得到特征信息集合。

优选地，S3具体包括：

S3-1：基于多尺度模型分别提取每个目标图像对应的特征图像。

其中，特征图像是指包括手势特征的图像。手势特征包括：手的轮廓，手指的数量，手指和手掌的角度。采用提取的手势之间的数量位置，以及指尖和掌心的连线，采用距离公式计算指尖到掌心的距离，再用反余弦公式计算指尖和掌心连线的夹角，将距离和夹角作为选择的特征。

S3-2：分别获取每个特征图像中的手势特征元素对应的特征信息，得到特征信息集合。

其中，特征信息包括四个采集装置的信息，四个采集装置的特征属性信息，以及一个反向采集装置的基本信息(反向采集装置的基本信息包括反向采集装置的信息和反向采集装置对应的特征属性信息)。

如：采集装置的信息的集合Set_CID＝{CID|CID∈采集装置的唯一标识}；

采集装置的特征属性信息集合Set_EVAttr＝{EVAttr|EVAttr∈手势描述信息}；

例如：Set_EVAttr＝{特征图像在对应的采集设备中的坐标，手势匹配的唯一标识，特征图像对应的采集设备的序号，手势的名称}。

反向采集装置的基本信息Set_MID＝{(MID₁，Set_MAttrl)，…，(M/D_n，Set_MAttrn)}，其中n＝4。

S4：基于特征信息集合和预设的特征模板参数计算每个手势特征元素对应的在大屏幕上的投射信息。

通过S1至S3的步骤，得到了特征信息集合，特征信息集合中包括每个手势特征元素对应的信息。则，在该步骤中，将每个手势特征元素对应的信息和特征模板参数进行匹配，通过测量两者之间的相识度以完成识别的任务(即得到投射信息)。

优选地，S4具体包括：

S4-1：将每个目标图像中相同的特征元素对应的特征信息进行叠加，得到相同的特征元素的叠加特征信息。

由于目标图像包括特征图像，特征图像由多个手势特征元素组成，且同一个手势特征元素不同的特征图像中对应的特征信息可能相同，也可能不同。当为均不相同时，如：

五个特征图像中，均包含手势特征元素B，手势特征元素B在五个特征图像中的特征信息分别为B1、B2、B3、B4、B5，则先将B1、B2、B3、B4进行叠加成像计算处理，得到B1-4，然后再将B1-4和B5进行叠加成像计算处理，得到B1-5。再对B1-5和特征模板参数进行计算，得到B对应的位置变换信息。再基于位置变换信息、投射比例系数和调整系数，得到B对应的投射信息。

当然，也可以直接对B1、B2、B3、B4、B5进行叠加成像计算处理，得到B1-5。

也就是说，S4-1包括两种方式，一种为：

S4-1-1：将特征信息集合中的由采集装置获取的相同的特征元素对应的特征信息进行叠加成像计算，得到中间特征信息。

S4-1-2：将中间特征信息与反向装置采集到的相同的特征元素对应的特征信息进行叠加成像计算，得到相同的特征元素的叠加特征信息。

另一种为：将由采集装置获取的每个相同的特征元素对应的特征信息，和由反向装置采集到的相同的特征元素对应的特征信息同时进行叠加成像计算，得到相同的特征元素的叠加特征信息。

S4-2：基于旋转矩阵公式对相同的特征元素的叠加特征信息和特征模板参数进行计算，得到相同的特征元素对应的位置变换信息。

S4-3：基于位置变换信息，以及预设的投射比例系数和调整系数计算，得到相同的特征元素对应的在大屏幕上的投射信息。

如：第一手势特征元素对应的投射信息P(x，y，z)＝ΔM*λ₁*λ₂。

其中，λ₁为投射比例系数，λ₂为调整系数。λ₁是基于R进行确定的。调整系数即为调优系数。

具体地，S4可基于下述方式实现：

1、根据各个采集装置得到的特征图像，分别组成当前的采集装置的二元集合数据：

Set_CID＝{(CID₁，Obj₁)，...，(CID_m，Obj_m)}；

其中，CID₁为采集装置1的信息，如角度，识别度等，为采集装置1采集到的手势的属性。

2、特征属性信息的二元集合数据：

其中，Set_EVAttr＝{(EVAttr₁，Obj₁)，...，(EVAttr_m，Obj_m)}；

其中，EVAttr₁为第一采集装置对应的坐标信息，位移信息，旋转信息等，Obj₁为第一采集装置对应的具体信息，如坐标的数值，位移的多少，旋转的角度等。

3、找出采集装置a的相关特征数据，Set_CID(a)＝(CID_a，Obj_a)和Set_EVAttr(a)＝(EVAttr_a，Obj_a)；

4、获取采集装置a和反向采集装置中相关的属性：Set_MID(a)＝(CID_a，Set_MAttra)；

5、获取同一特征图像在不同采集装置中的特征信息：

Set_ID(a)＝(CID_a，Obj_a，EVAttr_a，Set_MAttra)；

6、计算具体到一个采集装置a中的一个特征图像α的一组特征信息值为，

Attr_(a)＝Get_Atrr(CIDa，Attr_(a，α))

7、通过不同的采集设备中的同一个特征信息值，以及该装置的位置属性，共同计算大屏上的信息，使用函数：

CalP(Attr_(a，α)，Attr_(b，α)，...，Attr_(m，α)，Obj_a)＝P_α；

上述公式中，每个手势特征元素的实际位置变换ΔM，计算方式是根据一个采集设备a中的一个特征图像α的属性组Attr_(a，α)的值，计算组成的手势特征元素点集：

s(x，y，z)＝{p₁，p₂，p₃，p₄，...p_n，}

其中，手势特征元素点是利用旋转矩阵公式：M＝M_X(θ)·M_y(θ)·M_z(θ)

8、计算不同的手势特征元素点的实际位置变换ΔM，根据属性Objm属性中正对大屏的采集装置(即反向采集装置)和屏幕的距离R及所得投射比例系数λ1和调优系数λ2计算各个特征元素在大屏的投射。

点P(x，y，z)＝ΔM*λ₁*λ₂，多个特征元素点构成了点集S(x，y，z)。

9、从而得到大屏幕上的手势特征元素的集合：

Set_Attr()＝{(P_(α)，P_(β)，P_(γ)，..，P_(ω))}。

根据本发明实施例的另一个方面，本发明实施例还提供了一种显示方法，应用于大屏幕。

请参阅图2，图2为本发明实施例提供的一种显示方法的流程示意图。

如图2所示，该方法包括上述实施例中的手势识别方法，具体地：

S1：获取反向采集装置和每个采集装置采集到的，与手势操作者对应的多个初始图像。

S2：对每个初始图像分别进行预处理，得到与每个初始图像对应的目标图像。

S3：分别对每个目标图像中的手势特征元素的特征信息进行提取，得到特征信息集合。

S4：基于特征信息集合和预设的特征模板参数计算每个手势特征元素对应的在大屏幕上的投射信息。

S5：基于每个投射信息和大屏幕对应的尺寸信息，分别计算每个投射信息在大屏幕中的映射位置。

S6：基于每个映射位置对手势进行显示。

当然，S1-S4的方案可由与大屏幕分开的服务器单独执行，而S5-S6由大屏幕中的处理器执行。当然，S1-S6也均可由于大屏幕一体集成的处理器执行。当然，S1-S6也均可由服务器单独执行。

根据本发明实施例的另一个方面，本发明实施例提供了一种手势识别***，应用于大屏幕。

请参阅图3，图3为本发明实施例提供的一种手势识别***的模块示意图。

如图3所示，该***包括：获取模块、预处理模块、提取模块和计算模块，其中，

获取模块用于：获取反向采集装置和每个采集装置采集到的，与手势操作者对应的多个初始图像；

预处理模块用于：对每个初始图像分别进行预处理，得到与每个初始图像对应的目标图像；

提取模块用于：分别对每个目标图像中的手势特征元素的特征信息进行提取，得到特征信息集合；

计算模块用于：基于特征信息集合和预设的特征模板参数计算每个手势特征元素对应的在大屏幕上的投射信息；

其中，在大屏幕上设置至少一组图像采集设备，每一组图像采集设备包括至少两个采集装置，且，至少两个采集装置的连线的中心点与大屏幕的中心点重合，且在大屏幕的中心点垂直线的反向延长线上设置反向采集装置，且手势操作者位于大屏幕与反向采集装置之间。

在一种可能实现的技术方案中，预处理模块具体用于：

对每个初始图像中的手势进行定位处理，得到手势在每个初始图像中的区域信息；

基于区域信息从每个初始图像中提取手势区域；

基于手势分割法对手势区域对应的图像进行处理，得到与每个初始图像对应的目标图像。

在一种可能实现的技术方案中，提取模块具体用于：

基于多尺度模型分别提取每个目标图像对应的特征图像；

分别获取每个特征图像中的手势特征元素对应的特征信息，得到所述特征信息集合。

在一种可能实现的技术方案中，计算模块具体用于：

将每个目标图像中相同的特征元素对应的特征信息进行叠加，得到相同的特征元素的叠加特征信息；

基于旋转矩阵公式对相同的特征元素的叠加特征信息和特征模板参数进行计算，得到相同的特征元素对应的位置变换信息；

基于位置变换信息，以及预设的投射比例系数和调整系数计算，得到相同的特征元素对应的在所述大屏幕上的投射信息。

根据本发明实施例的另一个方面，本发明实施例提供了一种显示***。

请参阅图4，图4为本发明实施例提供的一种显示***的模块示意图。

如图4所示，该***包括上述实施例所述的手势识别***，还包括：显示模块，其中，

计算模块还用于：基于每个投射信息和大屏幕对应的尺寸信息，分别计算每个投射信息在大屏幕中的映射位置；

显示模块用于：基于每个映射位置对手势进行显示。

本发明实施例通过获取反向采集装置和每个采集装置采集到的，与手势操作者对应的多个初始图像，对每个初始图像分别进行预处理，得到与每个初始图像对应的目标图像，分别对每个目标图像中的手势特征元素的特征信息进行提取，得到特征信息集合，基于特征信息集合和预设的特征模板参数计算每个手势特征元素对应的在大屏幕上的投射信息，其中，在大屏幕上设置至少一组图像采集设备，每一组图像采集设备包括至少两个采集装置，且，至少两个采集装置的连线的中心点与大屏幕的中心点重合，且在大屏幕的中心点垂直线的反向延长线上设置反向采集装置，且手势操作者位于大屏幕与反向采集装置之间的技术方案，避免了现有技术中大屏幕手势识别精度低的技术问题，实现了多维度图像共同成像的技术效果。

读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

还应理解，在本发明各实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种手势识别方法，应用于大屏幕，其特征在于，在所述大屏幕上设置至少一组图像采集设备，每一组所述图像采集设备包括至少两个采集装置，且，所述至少两个采集装置的连线的中心点与所述大屏幕的中心点重合，且在所述大屏幕的中心点垂直线的反向延长线上设置反向采集装置，且手势操作者位于所述大屏幕与所述反向采集装置之间，所述方法包括：

获取所述反向采集装置和每个采集装置采集到的，与所述手势操作者对应的多个初始图像；

对每个所述初始图像分别进行预处理，得到与每个所述初始图像对应的目标图像；

分别对每个所述目标图像中的手势特征元素的特征信息进行提取，得到特征信息集合；

基于所述特征信息集合和预设的特征模板参数计算每个所述手势特征元素对应的在所述大屏幕上的投射信息；

所述基于所述特征信息集合和预设的特征模板参数计算每个所述手势特征元素对应的投射信息，具体包括：

将每个所述目标图像中相同的特征元素对应的特征信息进行叠加，得到所述相同的特征元素的叠加特征信息；

基于旋转矩阵公式对所述相同的特征元素的叠加特征信息和特征模板参数进行计算，得到所述相同的特征元素对应的位置变换信息；

基于所述位置变换信息，以及预设的投射比例系数和调整系数计算，得到所述相同的特征元素对应的在所述大屏幕上的投射信息。

2.根据权利要求1所述的手势识别方法，其特征在于，所述对每个所述初始图像分别进行预处理，得到与每个所述初始图像对应的目标图像，具体包括：

对每个所述初始图像中的手势进行定位处理，得到所述手势在每个所述初始图像中的区域信息；

基于所述区域信息从每个所述初始图像中提取手势区域；

基于手势分割法对所述手势区域对应的图像进行处理，得到与每个所述初始图像对应的目标图像。

3.根据权利要求1所述的手势识别方法，其特征在于，所述分别对每个所述目标图像中的手势特征元素的特征信息进行提取，得到特征信息集合，具体包括：

基于多尺度模型分别提取每个所述目标图像对应的特征图像；

分别获取每个所述特征图像中的手势特征元素对应的特征信息，得到所述特征信息集合。

4.根据权利要求1至3中任一项所述的手势识别方法，其特征在于，基于式1计算所述反向采集装置与所述大屏幕之间的距离R，式1：

R＝(sw/2)/tan(θ/2)

其中，sw为所述大屏幕的宽度，θ为所述反向采集装置的视场角。

5.一种显示方法，应用于大屏幕，其特征在于，所述方法包括权利要求1-4中任一项所述的手势识别方法，所述方法还包括：

基于每个所述投射信息和所述大屏幕对应的尺寸信息，分别计算每个所述投射信息在所述大屏幕中的映射位置；

基于每个所述映射位置对手势进行显示。

6.一种手势识别***，应用于大屏幕，其特征在于，所述***包括：获取模块、预处理模块、提取模块和计算模块，其中，

所述获取模块用于：获取反向采集装置和每个采集装置采集到的，与手势操作者对应的多个初始图像；

所述预处理模块用于：对每个所述初始图像分别进行预处理，得到与每个所述初始图像对应的目标图像；

所述提取模块用于：分别对每个所述目标图像中的手势特征元素的特征信息进行提取，得到特征信息集合；

所述计算模块用于：基于所述特征信息集合和预设的特征模板参数计算每个所述手势特征元素对应的在大屏幕上的投射信息；

其中，在所述大屏幕上设置至少一组图像采集设备，每一组所述图像采集设备包括至少两个采集装置，且，所述至少两个采集装置的连线的中心点与所述大屏幕的中心点重合，且在所述大屏幕的中心点垂直线的反向延长线上设置反向采集装置，且所述手势操作者位于所述大屏幕与所述反向采集装置之间；

所述计算模块具体用于：

将每个所述目标图像中相同的特征元素对应的特征信息进行叠加，得到所述相同的特征元素的叠加特征信息；

基于旋转矩阵公式对所述相同的特征元素的叠加特征信息和特征模板参数进行计算，得到所述相同的特征元素对应的位置变换信息；

基于所述位置变换信息，以及预设的投射比例系数和调整系数计算，得到所述相同的特征元素对应的在所述大屏幕上的投射信息。

7.根据权利要求6所述的手势识别***，其特征在于，所述预处理模块具体用于：

对每个所述初始图像中的手势进行定位处理，得到所述手势在每个所述初始图像中的区域信息；

基于所述区域信息从每个所述初始图像中提取手势区域；

基于手势分割法对所述手势区域对应的图像进行处理，得到与每个所述初始图像对应的目标图像。

8.根据权利要求6所述的手势识别***，其特征在于，所述提取模块具体用于：

基于多尺度模型分别提取每个所述目标图像对应的特征图像；

分别获取每个所述特征图像中的手势特征元素对应的特征信息，得到所述特征信息集合。

9.一种显示***，其特征在于，所述***包括6至8中任一项所述的手势识别***，还包括：显示模块，其中，

计算模块还用于：基于每个所述投射信息和所述大屏幕对应的尺寸信息，分别计算每个所述投射信息在所述大屏幕中的映射位置；

所述显示模块用于：基于每个所述映射位置对手势进行显示。

Images