CN106054627B - 基于手势识别的控制方法、装置及空调 - Google Patents

Abstract

本发明涉及了一种基于手势识别的控制方法、装置及空调。其中，该控制方法包括以下步骤：获取手势图像；提取所述手势图像中的手势信息；根据所述手势信息查找比对预存的手势模型，得到匹配手势模型；根据所述匹配手势模型对应的控制命令对要控制的设备进行控制。其中，所述手势信息包括伸出手指的数量，和/或手指方向，和/或手背方向。其通过人手的手指数量、方向或者手心方向作为手势判断参数进行手势识别，其能够通过图形的形式进行识别，而不用大量的轨迹的判断，大大降低手势识别复杂程度，也就能够提高手势识别的效率。同时提供的控制装置及包含该装置的空调也具有前述的优点。

Description

基于手势识别的控制方法、装置及空调

技术领域

本发明涉及设备控制技术领域，尤其涉及一种基于手势识别的控制方法、装置及空调。

背景技术

在工业4.0的大背景下，机器视觉在工业上的发展突飞猛进，手势识别在机器视觉领域占据着很大的比重，显得非常重要。因为手势是人和机器沟通的最便利、最自然的途径。传统的控制方法已经不能够满足用户的更直观、方便、自然的要求了。在空调的控制上更是如此，对手势控制的需求强烈。

但是一般使用动作轨迹作为控制手势的控制方式，控制手势识别计算量大，手势匹配效率低。

发明内容

基于此，有必要针对传统技术中，手势匹配检索效率低的问题，提供一种能够有效缩短手势识别检索路径的基于手势识别的控制方法、装置及包含该装置的空调。

为实现本发明目的提供的一种基于手势识别的控制方法，包括以下步骤：

获取手势图像；

提取所述手势图像中的手势信息；

根据所述手势信息查找比对预存的手势模型，得到匹配手势模型；

根据所述匹配手势模型对应的控制命令对要控制的设备进行控制；

其中，所述手势信息包括伸出手指的数量，和/或手指方向，和/或手背方向。

作为一种基于手势识别的控制方法的可实施方式，所述要控制的设备为空调。

作为一种基于手势识别的控制方法的可实施方式，所述手指方向包括垂直方向的上和下两个方向；所述手背方向包括水平方向的前和后两个方向。

作为一种基于手势识别的控制方法的可实施方式，所述手势图像为通过摄像机采集的一帧图像。

作为一种基于手势识别的控制方法的可实施方式，当所述手势信息包括伸出手指的数量，手指方向，及手背方向中的两种以上时，在进行匹配手势模型查找时，将每种所述手势信息作为一个手势信息查找比对层，采用分层的方式逐层根据不同的手势信息进行所述匹配手势模型的查找。

作为一种基于手势识别的控制方法的可实施方式，当所述手势信息中包括伸出手指的数量、手指方向和手背方向时，所述根据所述手势信息查找比对预存的手势模型，得到匹配手势模型包括以下步骤：

分别对所述伸出手指的数量、手指方向和手背方向进行标识设定，得到当前手势图像的伸出手指的数量标识、手指方向标识以及手背方向标识或者手心方向标识；

将所述伸出手指的数量标识、所述手指方向标识以所述手背方向标识或者手心方向标识按照预设顺序进行组合，得到所述手势信息标识；

将所述手势信息标识与所述预存的手势模型中的手势信息标识分层进行比对，得到相匹配的匹配手势模型；

其中，每种所述手势信息为一个手势信息查找比对层。

基于同一发明构思的一种基于手势识别的控制装置，包括：

图像获取模块，用于获取手势图像；

信息提取模块，用于提取所述手势图像中的手势信息；

信息比对模块，用于根据所述手势信息查找比对预存的手势模型，得到匹配手势模型；

控制模块，根据所述匹配手势模型对应的控制命令对要控制的设备进行控制；

其中，所述手势信息包括伸出手指的数量，和/或手指方向，和/或手背方向。

作为一种基于手势识别的控制装置的可实施方式，所述要控制的设备为空调。

作为一种基于手势识别的控制装置的可实施方式，所述手指方向包括垂直方向的上和下两个方向；所述手背方向包括水平方向的前和后两个方向。

作为一种基于手势识别的控制装置的可实施方式，所述手势信息包括伸出手指的数量，手指方向，及手背方向中的两种以上，在进行匹配手势模型查找时，将每种所述手势信息作为一个手势信息查找比对层，所述信息比对模块，采用分层的方式逐层根据不同的手势信息进行所述匹配手势模型的查找。

作为一种基于手势识别的控制装置的可实施方式，所述手势信息中包括伸出手指的数量、手指方向和手背方向，所述信息比对模块包括：

信息标识子模块，用于分别对所述伸出手指的数量、手指方向和手背方向进行标识设定，得到当前手势图像的伸出手指的数量标识、手指方向标识以及手背方向标识或者手心方向标识；

标识组合子模块，用于将所述伸出手指的数量标识、所述手指方向标识以所述手背方向标识或者手心方向标识按照预设顺序进行组合，得到所述手势信息标识；

模型匹配子模块，用于将所述手势信息标识与所述预存的手势模型中的手势信息标识分层进行比对，得到相匹配的匹配手势模型；

其中，每种所述手势信息为一个手势信息查找比对层。

本发明同时还提供一种空调，设置有前述任一项所述的基于手势识别的控制装置。

本发明的有益效果包括：本发明提供的一种基于手势识别的控制方法，通过人手的手指数量、方向或者手心方向作为手势判断参数进行手势识别，其能够通过图形的形式进行识别，而不用大量的轨迹的判断，从而大大降低手势识别复杂程度，也就能够提高手势识别的效率，相应的，通过手势对空调等设备的控制会更加迅速。而且，增加手指以及方向参数后，能够利用的控制手势的数量较多，能够满足要求。且在手势信息采集的过程中，手指相对其他手势形状的变化识别度更高。本发明同时提供的基于手势识别的控制装置，及包含该装置的空调也具有前述的优点。

附图说明

图1为利用手势对空调进行控制的示意图；

图2为本发明一种基于手势识别的控制方法的一具体实施例的流程图；

图3为本发明一种基于手势识别的控制方法的一具体实施例中手势模型种类划分示意图；

图4为本发明一种基于手势识别的控制方法的一具体实施例中进行手势模型匹配的流程图；

图5为本发明一种基于手势识别的控制装置的一具体实施例的结构示意图；

图6为本发明一种基于手势识别的控制方法的一具体实施例中信息比对模块构成示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图对本发明的基于手势识别的控制方法、装置以及设置有基于手势识别的控制装置的空调的具体实施方式进行说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

首先，如图1所示，本发明的基于手势识别的控制方法是应用在控制设备中。在要控制的设备(图1中的空调02)中设置本发明的控制方法后，使用者01站在设备前面就可以利用一些特定的手势对设备进行控制。如控制空调的温度调高、降低，以及用手势控制空调关闭等。当然，要通过手势对设备进行控制时，设备本身会配置有与其控制部件通讯连接的图像获取设备，如摄像头。使用者的手势会被图像获取设备获得，并传输到设备内部进行处理。或者图像设备自身首先对图像进行一定的处理后再将一些特定的数据传输给设备内部的控制单元，以使设备能够识别使用者的手势指令，并根据手势指令对设备进行控制。

如在空调中可使用装配有OmniVision公司生产的ov2659镜头传感器的摄像头作为图像获取设备。

具体的，本发明基于手势识别的控制方法的一实施例，如图2所示，包括以下步骤：

S100，获取手势图像。

本发明实施例中获取的手势图像只要一帧图像就可以，而不需要连续采集多帧手势图像。其后续的各步骤都基于一帧图像的处理结果进行。当然，如果出于图像信息提取的必要，也可事先采集一帧背景图像，以便采用比较的方式对所述手势图像中的有效信息进行提取。但是使用的手势图像还是只是一帧图像。

另外，对于设备手势图像的获取的时机，作为一种可实施方式，可在设备中设置距离传感器，当检测到一定距离范围内时，则开启设备(如空调)的手势识别功能，并拍摄(获取)手势图像。而拍摄所述手势图像的时候，还可以设定当检测到使用达到一定范围内一定时间后拍摄。如检测到使用者到达一米(距离可根据具体使用场景设定)范围内后，在3秒钟(也可以设置为其他时间，如5秒等)的时候开始拍摄照片。更佳地，可以连续或者每间隔一定时间(如0.5秒)拍摄一张图片，将拍摄的一组照片作为当前进行手势识别的照片组，并对照片组进行选择，将清晰度最高，或者手形图像最明显的图片作为最终的手势图像。

S200，提取所述手势图像中的手势信息。

所述手势信息包括伸出手指的数量，和/或手指方向，和/或手背方向。即，可单独用伸出手指的数量作为手势信息，也可单独用手指方向或手背方向(或手心方向)作为手势信息。其中，伸出手指的数量包括0，1，2，3，4，5，即有六个不同的信息，在手势识别中，一般一个信息会对应一个控制动作。因此，如果只采用伸出手指的数量作为提取的手势信息的话，则可通过手势对空调执行六种控制。而对于采用手指方向作为参考参数的话，则可进行的控制动作的数量要根据具体的划分得出。因为，对于方向，可根据需要在360度范围内间隔一定角度进行划分。如每间隔30度划分一个角度方向，则划分出12个不同的方向，则单纯采用手指方向作为手势信息，可对设备进行12中不同的控制。

但是，考虑到使用者操作的便捷性及识别的准确度，角度的划分不宜过于密集。较佳的，可在平面内划分按角度等分出8个方向，便于识别和操作。

考虑到图像采集装置一般是安装在设备较高的位置，对于手背方向，较佳的，可包括上、下、前、后四个方向。其中。上下是指使用者(人)站立时的高度方向的上下。而前后是指相对设备的距离(距离近的为前或者距离远的为前都可以)。

当然，为了更好、更全面的对设备进行控制，三种参数伸出手指的数量，手指方向，以及手背方向可任选两种组合使用。更佳的，也可同时使用三种参数对作为手势识别的参数。

还需要说明的是，与手背相对应的，在其他实施例中，当然也可采用手心方向作为一个手势信息的参数，而代替前述的手背方向。很容易理解，手背方向和手心方向在判断方式等方面都是基本相同的。

S300，根据所述手势信息查找比对预存的手势模型，得到匹配手势模型。

需要说明的是，步骤S200提取出手势信息后，可先保存在缓存中。而设备中预存的手势模型一般存储在设备的存储芯片中。在进行比对时，可直接使用缓存中的手势信息与预存的进行比对。

S400，根据所述匹配手势模型对应的控制命令对要控制的设备进行控制。

查找到匹配手势模型后，即确定了要对设备进行的控制，则可通过设备的控制单元(主控芯片)对设备进行控制。即发送控制命令给设备相应的部件。

本发明实施例的基于手势识别的控制方法，通过人手的手指数量、方向或者手心方向作为手势判断参数进行手势识别，其能够通过图形的形式进行识别，而不用大量的轨迹的判断，从而大大降低手势识别复杂程度，也就能够提高手势识别的效率，相应的，通过手势对空调等设备的控制会更加迅速。而且，增加手指以及方向参数后，能够利用的控制手势的数量较多，能够满足要求。且在手势信息采集的过程中，手指相对其他手势形状的变化识别度更高。

在其中一个实施例的基于手势识别的控制方法中，手势信息中包含手指方向也包含手背方向或手指方向。其中，手指方向包括垂直方向的上和下两个方向。这两个方向便于使用者操作。而且一般设备的图像采集装置安装在靠上的位置，并采集其斜前下方的图像，在对所采集的图像进行分析的时候，手指方向向上或者向下会更容易辨识。手背方向或手心方向包括水平方向的前和后两个方向。同样，对于图像采集装置获取的图像，对前后方向的手背位置更容易辨识。因此，采用手指上下和手背前后作为手势识别参数，尤其是手指上下和手背前后的方式，图像处理速度更快，手势识别效率更高。

更佳的，当手势信息包括伸出手指的数量，手指方向，及手背方向中的两种以上时，在进行匹配手势模型查找时，将每种所述手势信息作为一个手势信息查找比对层，可采用分层的方式逐层根据不同的手势信息进行匹配手势模型的查找。

当手势信息包括伸出手指的数量，手指方向，及手背方向中的两种以上时，相应的，预存的手势模型中也会包含两种以上参数。而且，在预存手势模型时，可分多个子库进行存储如。具体的，如图3所示，假设同时选择手指方向、伸出手指的数量以及手背方向作为手势的参考参数，且手指方向包括上、下两种，手背方向包括前后两种，伸出手指的数量包括零手指，一手指，二手指，三手指，四手指和五手指六种。因此，组合后的手势共包括零手指上前(零手指伸出、手指方向向上、手背方向向前)，……，五手指上前；以及零手指下前(零手指伸出、手指方向向下、手背方向向前)，……，五手指下前，共24种。当然，对于零手指伸出的情况在进行图像分析的时候与有手指伸出稍有不同。在其他实施例中，可以选择放弃使用零手指伸出的手势。如图所示，在进行预设的手势模型存储时，可以首先根据手指方向的不同将手势模型分为两个大类并存储在两个不同的子库中。从而在进行匹配手势模型的检索(查找)时，可首先判断手指的方向，判断完成后则可进一步的在相应的子库中继续进行手势模型的比对。在本实例中，判断完手指方向之后，要继续判断手势信息中手背的方向，并根据判断结果继续在两个更小的子库中查找相匹配的伸出手指个数。这样，在前两层(手指方向层，手背方向层)的比对中，每次比对都能排除一半的预设的手势模型，这就大大缩短了匹配手势模型查找的时间，加快手势识别的进度。

需要指出的是，图3所示的实施例中，是将手指方向作为了第一层划分参数，将手背方向作为了第二次划分参数。在其他实施例中，完全可以将手背方向作为第一层划分参数，将手指方向作为二层划分参数。甚至也可以将伸出手指的个数作为第一层划分参数，而将手指方向或者手背方向作为第二层划分参数。

在另一实施例中，手势信息中也包括伸出手指的数量、手指方向和手背方向三种。其采用设定标识位，并使用标识位组合的方式进行匹配手势模型的比对和查找。具体的，在这一实施例中，如图4所示，步骤S300，根据所述手势信息查找比对预存的手势模型，得到匹配手势模型包括以下步骤：

S310，分别对伸出手指的数量、手指方向和手背方向进行标识设定，得到当前手势图像的伸出手指的数量标识、手指方向标识以及手背方向标识或者手心方向标识。

如对于手指方向fingerD的上下两个参数值可分别设置为标识1和标识0，即，判断出手指方向向上时，则fingerD＝1；而判断出手指方向向下时，则fingerD＝0。对于手背方向trickD的前后两个参数值也可设定为1和0，即，判断出手背方向向前时，则trickD＝1，判断出手背方向向后时，则trickD＝0。而对于伸出手指个数fingerC的六个参数值0，1，2，3，4，5，可分别设定为0，1，2，3，4，5，即有一个手指伸出，则fingerC＝1，有6个手指伸出，则fingerC＝6。

S320，将所述伸出手指的数量标识、所述手指方向标识以所述手背方向标识或者手心方向标识按照预设顺序进行组合，得到所述手势信息标识。

所述预设顺序是指，标识的排列顺序。如对于手势“三手指上后”(三个手指伸出fingerC＝3，手指方向向上fingerD＝1且手背方向向后trickD＝0)，按照手指方向、手背方向到伸出手指数量的顺序可得到手势信息标识为“103”。

S330，将所述手势信息标识与所述预存的手势模型中的手势信息标识进行比对，得到相匹配的匹配手势模型。

当然，在使用标识位机型手势模式识别时，所述预存的手势模型也是以标识位存储的，每一种标识位组合就代表一种手势，如“110”，“101”，“014”等。再进行手势模型识别的时候只需要进行数组比对就可以了，识别效率更高。

如上述基于手势识别的控制方法可以使用德州仪器公司生产的AM3354处理器，在linux***中运行。

基于同一发明构思，还提供一种基于手势识别的控制装置，由于此***解决问题的原理与前述一种方法基于手势识别的控制方法相似，因此，该装置的实施可以按照前述方法的具体步骤实现，重复之处不再赘述。

如图5所示，其中一个实施例的基于手势识别的控制装置，包括图像获取模块100、信息提取模块200、信息比对模块300以及控制模块400。

其中，图像获取模块100，用于获取手势图像；信息提取模块200，用于提取所述手势图像中的手势信息；信息比对模块300，用于根据所述手势信息查找比对预存的手势模型，得到匹配手势模型；控制模块400，根据所述匹配手势模型对应的控制命令对要控制的设备进行控制。

而本发明实施例中的手势信息包括伸出手指的数量，和/或手指方向，和/或手背方向。即，所述手势信息可由伸出手指的数量、手指方向和手背方向(手心方向)中的一种或者两种或者三种参数构成。当然，也可能额外还包括一些其他的参数。

通过人手的手指数量、方向或者手心方向作为手势判断参数进行手势识别，其能够通过图形的形式进行识别，而不用大量的轨迹的判断，从而大大降低手势识别复杂程度，也就能够提高手势识别的效率，相应的，通过手势对空调等设备的控制会更加迅速。而且，增加手指以及方向参数后，能够利用的控制手势的数量较多，能够满足要求。且在手势信息采集的过程中，手指相对其他手势形状的变化识别度更高。

本发明的基于手势识别的控制装置可设置在空调等设备中，从而实现空调等设备的手势控制。

在其中一个实施例的基于手势识别的控制装置中，所述手指方向包括垂直方向的上和下两个方向。所述手背方向包括水平方向的前和后两个方向。根据一般设备中图像获取装置的设置位置，从所获取的图像中容易判断上下方向的手指方向以及前后方向的手背方向。因此，使用上下方向的手指方向和前后方向的手背方向作为手势识别的判断参数能够提高手势识别的准确度。

且用于手势信息提取的所述手势图像可以为通过图像采集设备(如摄像机)采集的一帧图像。本发明实施例的基于手势识别的控制装置能够通过一帧图像进行手势的判断，而不需要同时对多帧图像进行识别来进行手势的识别。而预存的手势模型是建立的静态模型。降低手势识别的难度，从而能够更快速、准确的进行手势的识别与判断。

在其中一个实施例中，采用标识位的方式机型手势模型的搜索与识别。如手势信息中包括伸出手指的数量、手指方向和手背方向三种参数。则，如图6所示，信息比对模块300包括：信息标识子模块310、标识组合子模块320以及模型匹配子模块330。

其中，信息标识子模块310，用于分别对所述伸出手指的数量、手指方向和手背方向进行标识设定，得到当前手势图像的伸出手指的数量标识、手指方向标识以及手背方向标识或者手心方向标识；标识组合子模块320，用于将所述伸出手指的数量标识、所述手指方向标识以所述手背方向标识或者手心方向标识按照预设顺序进行组合，得到所述手势信息标识；模型匹配子模块330，用于将所述手势信息标识与所述预存的手势模型中的手势信息标识进行比对，得到相匹配的匹配手势模型。

本发明实施例的基于手势识别的控制装置采用不同的标识位对具体参数值进行标识，并以标识位组合的方式确定一个完整的手势信息。从而在后续进行手势模型识别的时候只需要按位进行数字或者其他标识符的比对即可。也能够提高手势模型识别的效率。

较佳地，当所述手势信息包括伸出手指的数量，手指方向，及手背方向中的两种以上时，在进行匹配手势模型查找时，将每种所述手势信息作为一个手势信息查找比对层，所述信息比对模块，采用分层的方式逐层根据不同的手势信息进行所述匹配手势模型的查找。

需要说明的是，在进行分层查找时，所述预存的手势模模型在设备中就是分为多个子库进行存储的。查找开始后，首先确定要当前手势信息可能对应的手势模型应该在哪个大库中，并排除其他库中所有的预存的手势模型。在进行下一层查找的时候，则在已经确定的大库中进一步确定在哪个子库中，这样一层一层的进行查找，手势模型搜索路径短，速度快。

同时，还提供一种空调，该空调中设置有前述任一实施例的基于手势识别的控制装置。使用者能够通过手势对空调进行控制。

本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分流程可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种基于手势识别的控制方法，其特征在于，包括以下步骤：

获取手势图像，包括：

通过从达到一定范围内一定时间后拍摄的照片中获取所述手势图像；或

通过从连续或间隔一定时间拍摄的照片组中获取所述手势图像；

提取所述手势图像中的手势信息，其中，所述手势信息包括伸出手指的数量、手指方向和手背方向中的两种以上；

根据所述手势信息查找比对预存的手势模型，得到匹配手势模型，包括：

分别对所述伸出手指的数量、手指方向和手背方向进行标识设定，得到当前手势图像的伸出手指的数量标识、手指方向标识和手背方向标识；

将所述伸出手指的数量标识、手指方向标识和手背方向标识按照预设顺序进行组合，得到手势信息标识；

将所述手势信息标识与所述预存的手势模型中的手势信息标识进行比对，得到相匹配的所述匹配手势模型；

其中，将每种所述手势信息作为一个手势信息查找比对层，采用分层的方式逐层根据不同的手势信息进行所述匹配手势模型的查找；

根据所述匹配手势模型对应的控制命令对要控制的设备进行控制。

2.根据权利要求1所述的基于手势识别的控制方法，其特征在于，所述要控制的设备为空调。

3.根据权利要求1所述的基于手势识别的控制方法，其特征在于，所述手指方向包括垂直方向的上和下两个方向；所述手背方向包括水平方向的前和后两个方向。

4.根据权利要求1所述的基于手势识别的控制方法，其特征在于，所述手势图像为通过摄像机采集的一帧图像。

5.一种基于手势识别的控制装置，其特征在于，包括：

图像获取模块，用于获取手势图像，包括：通过从达到一定范围内一定时间后拍摄的照片中获取所述手势图像；或通过从连续或间隔一定时间拍摄的照片组中获取所述手势图像；

信息提取模块，用于提取所述手势图像中的手势信息，其中，所述手势信息包括伸出手指的数量，手指方向和手背方向中的两种以上；

信息比对模块，用于根据所述手势信息查找比对预存的手势模型，得到匹配手势模型，包括：

信息标识子模块，用于分别对所述伸出手指的数量、手指方向和手背方向进行标识设定，得到当前手势图像的伸出手指的数量标识、手指方向标识和手背方向标识；

标识组合子模块，用于将所述伸出手指的数量标识、手指方向标识和手背方向标识按照预设顺序进行组合，得到手势信息标识；

模型匹配子模块，用于将所述手势信息标识与所述预存的手势模型中的手势信息标识进行比对，得到相匹配的所述匹配手势模型；

其中，将每种所述手势信息作为一个手势信息查找比对层，所述信息比对模块，采用分层的方式逐层根据不同的手势信息进行所述匹配手势模型的查找；

控制模块，根据所述匹配手势模型对应的控制命令对要控制的设备进行控制。

6.根据权利要求5所述的基于手势识别的控制装置，其特征在于，所述要控制的设备为空调。

7.根据权利要求5所述的基于手势识别的控制装置，其特征在于，所述手指方向包括垂直方向的上和下两个方向；所述手背方向包括水平方向的前和后两个方向。

8.一种空调，其特征在于，设置有权利要求5至7任一项所述的基于手势识别的控制装置。

Images