CN104407694A - 一种结合人脸和手势控制的人机交互方法及装置 - Google Patents

Abstract

本发明涉及一种结合人脸和手势控制的人机交互方法及装置，该方法用于与人机交互装置进行交互，人机交互装置获取人手区域信息和人脸区域信息，根据人手区域和人脸区域分别计算并设置开启人机交互的人手中心点和人脸中心点，通过人手中心点和人脸中心点的运动轨迹，分别判断是静态变化手势或动态变化手势、静态人脸动作或动态人脸动作。人机交互装置识别并获得与动作对应的控制指令，控制指令用于控制终端设备完成相应的操作。该人机交互方法在传统的人机交互方法的基础上进行了改进，解决了传统人机交互方法中存在的问题；相比于传统的人机交互方法，该方法步骤设计更为合理有效，作用明显，效果显著，具有很高的实用价值。

Description

一种结合人脸和手势控制的人机交互方法及装置

技术领域

本发明涉及一种结合人脸和手势控制的人机交互方法及装置，属于人工智能与图像处理技术领域。

背景技术

随着科技的发展，各种智能设备的应用越来越广泛。人与智能设备之间的人机交互也越来越多，人机交互方式有接触式和非接触式两种，接触式的人机交互方式较为成熟和完善，而非接触式的人机交互操作方式则处于研究起步阶段。近年来，非接触式的人机交互方式一直是人机交互方式中研究的热点和难点问题，研究好非接触式的人机交互方式具有很高使用价值，尤其是应用到一些特殊要求的场合下则意义更为重大。

人脸与人体的其他生物特征一样与生俱来，它具有唯一性和不易复制的良好特性。人脸作为一种三维物体，受光照变化、姿态、表情和其他因素的共同影响。人脸识别是近年来模式识别、图像处理、机器视觉、神经网络以及认知科学等领域研究的热点课题之一。

手势是一种直观的、自然地交互方式，表达方式快捷，表达意义丰富，是人类相互交流信息的重要工具。手势识别是按照某种规则识别出手势表达的内容，具有很强的一致性和扩展性。在应用方面，手势识别***可以实现聋哑人与正常人交流，也可以在应用软件中直接操作软件或虚拟对象。从手的结构来看，手势包含手指和手掌；从手在三维空间的移动来分，可以在水平，垂直，深度三个方向移动。不同数量的手指结合不同方向的移动再加上手掌的变化可以组合成不同的手势，可以实现控制，移动等不同的运用。近年来，如何将人脸和手势结合起来达到更好的人与人或人机交互，是研究的热点和难点问题。

发明内容

为解决上述问题，本发明提供一种结合人脸和手势控制的人机交互方法，该方法能够更为精准得获取手势控制信息，且该方法丰富了人机交互的多样性，实现更为有效的人机交互操作。

本发明还提供一种用于实现上述结合人脸和手势控制的人机交互方法的装置。

术语说明：

1、深度信息，是指深度图像具有的物体三维特征信息，深度图像不同与通常所处理的二维图像，深度图像中的像素代表了一个相对的深度信息，因此每个像素都包含了三维坐标系下各个坐标值的信息，深度图像数据反映了景物表面的三维信息。

2、图像形态学处理，是指将数字形态学作为工具从图像中提取对于表达和描绘区域形状有用处的图像分量，比如边界、骨架以及凸壳，还包括用于预处理或后处理的形态学过滤、细化和修剪等。

本发明的技术方案如下：

一种结合人脸和手势控制的人机交互方法，该方法包括：通过人体的动作集实现与人机交互装置的操作，所述动作集包括单纯人手动作、单纯人脸动作及人手与人脸结合的动作；

人机交互装置分别获取人脸区域信息和人手区域信息，其中，所述人手区域位于人体与所述人机交互装置之间；所述人手动作为人手区域内的人手动作，所述人脸动作为人脸区域内的人脸动作；

所述人机交互装置根据人手区域信息计算并设置开启人机交互动作的人手中心点，所述人手中心点作为人手区域在三维空间运动的参考基点，通过判断人手中心点在三维空间内的运动轨迹，来确定人手动作为静态变化手势或动态变化手势；所述人机交互装置根据人脸区域信息计算并设置开启人机交互动作的人脸中心点，所述人脸中心点作为人脸区域在三维空间运动的参考基点，通过判断人脸中心点在三维空间内的运动轨迹，来确定人脸动作为静态脸部动作或动态脸部动作；

所述人机交互装置识别并获得与动作集里的动作相对应的控制指令，所述控制指令用于控制终端设备完成相应操作。

优选的，所述人机交互装置获取人手区域信息的过程包括：

首先，所述人机交互装置根据获取的人脸区域信息计算并得到人体的肤色特征，再根据人手深度信息和肤色特征获取人手区域信息，最后根据优化算法并结合图像形态学处理，对人手区域信息进行优化处理。

进一步优选的，所述优化算法为Blob labeling算法。

优选的，所述人手中心点设置为手掌的最大内切圆圆心或整个手的最小外接圆圆心；所述人脸中心点设置为人脸最小外接圆圆心或最大内切圆圆心。

优选的，所述人手中心点在三维空间内的运动轨迹，是通过判断人手中心点在三维坐标系内的位移与阈值的大小关系，确定人手动作是静态变化手势还是动态变化手势：人手中心点在三维空间内对应一个三维坐标，通过判断该人手中心点运动轨迹在三维坐标系内X轴Y轴Z轴的组合位移向量，若该组合位移向量的值小于预先设定的阈值，则人手动作为静态变化手势，若该组合位移向量的值大于预先设定的阈值，则人手动作为动态变化手势。

进一步优选的，所述静态变化手势包括识别手指伸缩个数的结合确定的手势、以手的轮廓与外接圆面积比参数确定的手势、以手的有效凸缺陷加有效凸缺陷特征角的个数确定的手势、以本征图像的一维特征向量确定的手势；所述动态变化手势包括单纯人手中心点的位移确定的动态变化手势、人手中心点的位移结合手势变化确定的动态变化手势。此设计的好处在于，动态变化手势除了包括单纯人手中心点上下、左右、前后的位移变化带来的手势控制，还包括结合人手中心点的位置变化和手指或手掌的姿态变化带来的手势控制，减少了手势识别时间，增加了人机交互过程中人机交互装置操作的多样性。

优选的，所述人脸中心点在三维空间内的运动轨迹，是通过判断人脸中心点在三维坐标系内的位移与阈值的大小关系，确定人脸动作是静态脸部动作还是动态脸部动作：人脸中心点在三维空间内对应一个三维坐标，通过判断该人脸中心点运动轨迹在三维坐标系内X轴Y轴Z轴的组合位移向量，若该组合位移向量的值小于预先设定的阈值，则人脸动作为静态脸部动作，若该组合位移向量的值大于预先设定的阈值，则人脸动作为动态脸部动作。

进一步优选的，所述静态脸部动作包括人脸五官变化的动作，所述动态脸部动作包括人脑袋位置变化引起的动作。

优选的，所述人机交互方法还包括人机交互装置定时获取并更新肤色特征的过程。此设计的目的在于，在进行人机交互的过程中，人机交互装置的光照变化难免对肤色产生影响，通过设置定时提取图像装置，定时更新肤色特征，以便人机交互装置能够准确检测到人手区域的手势动作。

一种用于实现结合人脸和手势控制的人机交互方法的装置，包括依次连接的图像获取模块、动作处理模块、功能实现模块和终端设备；所述图像获取模块分别获取人脸区域信息和人手区域信息后，由动作处理模块根据人脸区域信息和人手区域信息计算并设置开启人机交互动作的人脸中心点和人手中心点，动作处理模块通过人脸中心点和人手中心点的运动轨迹结合手势和脸部动作判断来识别人体的动作集后传输给功能实现模块，功能实现模块加载有与该动作信息相对应的控制指令，该控制指令进行终端设备的操作。

优选的，该装置还包括定时提取模块，所述定时提取模块用以对图像获取模块获取的人脸区域信息定时获取并更新肤色特征。

本发明的有益效果在于：

1.本人机交互方法改变了传统单纯获取手势图像进行终端设备操作的方式，通过将人脸信息与人手信息结合起来，相应地丰富了人机交互装置的控制指令，实现了控制终端设备操作的多样性。

2.本人机交互方法改变了传统单纯获取手势图像进行终端设备操作的方式，通过在人机交互过程中加入人脸信息这一因素，使人机交互装置通过获取肤色特征能够进行更为精确地定位人手区域，在精确的人手区域内进行的手势动作能够使人机交互装置进行更为有效的终端设备操作，解决了传统人机交互过程中手势识别度不高而带来的误操作、反复操作等问题。

3.本人机交互方法区别于传统人机交互装置对手势动作不进行区分识别的单一做法，在人机交互装置进行动作识别前，先对手势动作和人脸动作进行划分识别为静态变化手势还是动态变化手势，静态脸部动作还是动态脸部动作，提高了手势动作和人脸动作识别的有效性；同时，静态变化手势或动态变化手势，静态脸部动作或动态脸部动作能够更容易分类定义不同手势、人脸下的操作动作，提高了人机交互装置的实用性和控制性。

4.本人机交互方法通过增加定时获取并更新肤色特征的设计，其目的是为了减少图像获取设备光照对肤色的影响，进而获得更为准确的人手区域，对手势动作的识别会更为准确无误。

5.本人机交互方法在传统人机交互方法的基础上进行了改进，解决了传统人机交互方法中存在的问题；相比于传统的人机交互方法，该方法步骤设计更为合理有效，其作用更为明显，效果更为显著，具有更高的实用价值。

附图说明

图1为人机交互过程中人机交互装置的结构示意图；

图2为人机交互过程中人机交互装置各部分的结构框图；

图3为人机交互过程中交互方法的流程示意图。

具体实施方式

下面通过实施例并结合附图对本发明做进一步说明，但不限于此。

实施例1：

一种结合人脸和手势控制的人机交互方法，所述方法包括：

首先根据人机交互装置获取的图像锁定人脸区域，这一过程可根据生理学知识，比如人脸的长宽比范围(0.9，2.0)结合Adaboost算法，来获取较为可靠的人脸区域，然后根据获取的人脸区域得到肤色特征，此过程由图像获取装置后期处理来获得肤色特征，

其次，在实际操作过程中，人手区域位于人体与人机交互装置之间；根据人手深度信息结合肤色特征来获取人手区域信息，接着根据Blob labeling优化算法并结合图像形态学处理的操作,进行去噪处理，进一步得到更为精确的人手区域信息。

人机交互装置根据人手区域信息计算并设置开启人机交互动作的人手中心点，该人手中心点为手掌的最大内切圆圆心，以此人手中心点作为人手区域在三维空间运动的参考基点；人机交互装置根据人脸区域信息计算并设置开启人机交互动作的人脸中心点，将人脸中心点选为人脸最小外接圆的圆心；

判断人手中心点在三维空间内的运动轨迹，通过判断人手中心点在三维坐标内位移与人机交互装置预先设定的阈值M的大小关系，具体过程是：该人手中心点在三维空间内对应一个三维坐标，通过判断该人手中心点运动轨迹在三维坐标系内X轴Y轴Z轴的组合位移向量，若该组合位移向量的值小于预先设定的阈值M，则人手动作为静态变化手势，若该组合位移向量的值大于预先设定的阈值M，则人手动作为动态变化手势。

静态变化手势包括以手指伸缩个数的结合确定的手势，如伸出三个手指；或以手的轮廓与外接圆面积比参数确定的手势，如握拳；或以手的有效凸缺陷加有效凸缺陷特征角的个数确定的手势；或以本征图像的一维特征向量确定的手势；动态变化手势包括人手中心点的位移确定的动态变化手势，如人手左右移动或前后移动或上下移动；人手中心点的位移结合手势变化确定的动态变化手势，如人手左右移动的同时又伸出三根手指或人手前后移动的同时握拳。

动态变化手势除了包括单纯人手中心点上下、左右、前后的位移变化带来的手势控制，还包括结合人手中心点的位置变化和手指或手掌的姿态变化带来的手势控制，增加了人机交互过程中人机交互装置操作的多样性。

人脸中心点在三维空间内的运动轨迹，是通过判断人脸中心点在三维坐标系内的位移与人机交互装置预先设定的阈值N的大小关系，确定人脸动作是静态脸部动作还是动态脸部动作。具体过程是：人脸中心点在三维空间内对应一个三维坐标，通过判断该人脸中心点运动轨迹在三维坐标系内X轴Y轴Z轴的组合位移向量，若该组合位移向量的值小于预先设定的阈值N，则人脸动作为静态脸部动作，如单纯人脸五官的变化，例如眨眼或张嘴或皱眉；若该组合位移向量的值大于预先设定的阈值N，则人脸动作为动态脸部动作，人脑袋位置变化引起的动作，如抬头、低头、伸头、转脸等。

最终，人机交互装置识别并获得与动作集里的动作相对应的控制指令，控制指令用于控制终端的终端设备完成相应的操作，如抓取、拿放、开关、启动、暂停等动作。人机交互装置将相应指令预先存储于数据库中，当人展现某一动作时，人机交互装置识别并从数据库中调取与该动作相对应的控制指令，该控制指令控制终端设备实现特定的操作动作。

实施例2：

一种结合人脸和手势控制的人机交互方法，其方法步骤如实施例1所述，其不同之处在于，根据整个人手的最小外接圆圆心，以此圆心为人机交互手势的人手中心点；将人脸中心点选为人脸最大内切圆的圆心。

实施例3：

一种结合人脸和手势控制的人机交互方法，其方法步骤如实施例1所述，其不同之处在于，该人机交互方法还包括人机交互装置定时获取并更新肤色特征的过程。在进行人机交互的过程中，人机交互装置的光照变化难免对肤色产生影响，通过设置定时提取图像装置，定时更新肤色特征，以便人机交互装置能够准确检测到人手区域的手势动作。

实施例4：

一种用于结合人脸和手势控制的人机交互方法的装置，包括依次连接的图像获取模块、动作处理模块、功能实现模块和终端设备；所述图像获取模块分别获取人脸区域信息和人手区域信息后，由动作处理模块根据人脸区域信息和人手区域信息计算并设置开启人机交互动作的人脸中心点和人手中心点，动作处理模块通过人脸中心点和人手中心点的运动轨迹结合手势和脸部动作判断来识别人体的动作集后传输给功能实现模块，功能实现模块加载有与该动作信息相对应的控制指令，该控制指令进行终端设备的操作。

该装置还包括定时提取模块，所述定时提取模块用以对图像获取模块获取的人脸区域信息定时获取并更新肤色特征。通过定时更新肤色特征，以便人机交互装置能够准确检测到人手区域的手势动作。

Claims (10)

1.一种结合人脸和手势控制的人机交互方法，该方法包括：通过人体的动作集实现与人机交互装置的操作，所述动作集包括单纯人手动作、单纯人脸动作及人手与人脸结合的动作；

人机交互装置分别获取人脸区域信息和人手区域信息，其中，所述人手区域位于人体与所述人机交互装置之间；所述人手动作为人手区域内的人手动作，所述人脸动作为人脸区域内的人脸动作；

所述人机交互装置根据人手区域信息计算并设置开启人机交互动作的人手中心点，所述人手中心点作为人手区域在三维空间运动的参考基点，通过判断人手中心点在三维空间内的运动轨迹，来确定人手动作为静态变化手势或动态变化手势；所述人机交互装置根据人脸区域信息计算并设置开启人机交互动作的人脸中心点，所述人脸中心点作为人脸区域在三维空间运动的参考基点，通过判断人脸中心点在三维空间内的运动轨迹，来确定人脸动作为静态脸部动作或动态脸部动作；

所述人机交互装置识别并获得与动作集里的动作相对应的控制指令，所述控制指令用于控制终端设备完成相应操作。

2.如权利要求1所述的结合人脸和手势控制的人机交互方法，其特征在于，所述人机交互装置获取人手区域信息的过程包括：

首先，所述人机交互装置根据获取的人脸区域信息计算并得到人体的肤色特征，再根据人手深度信息和肤色特征获取人手区域信息，最后根据优化算法并结合图像形态学处理，对人手区域信息进行优化处理。

3.如权利要求2所述的结合人脸和手势控制的人机交互方法，其特征在于，所述优化算法为Blob labeling算法。

4.如权利要求1所述的结合人脸和手势控制的人机交互方法，其特征在于，所述人手中心点设置为手掌的最大内切圆圆心或整个手的最小外接圆圆心；所述人脸中心点设置为人脸最小外接圆圆心或最大内切圆圆心。

5.如权利要求1所述的结合人脸和手势控制的人机交互方法，其特征在于，所述人手中心点在三维空间内的运动轨迹，是通过判断人手中心点在三维坐标系内的位移与阈值的大小关系，确定人手动作是静态变化手势还是动态变化手势：人手中心点在三维空间内对应一个三维坐标，通过判断该人手中心点运动轨迹在三维坐标系内X轴Y轴Z轴的组合位移向量，若该组合位移向量的值小于预先设定的阈值，则人手动作为静态变化手势，若该组合位移向量的值大于预先设定的阈值，则人手动作为动态变化手势。

6.如权利要求5所述的结合人脸和手势控制的人机交互方法，其特征在于，所述静态变化手势包括识别手指伸缩个数的结合确定的手势、以手的轮廓与外接圆面积比参数确定的手势、以手的有效凸缺陷加有效凸缺陷特征角的个数确定的手势、以本征图像的一维特征向量确定的手势；所述动态变化手势包括单纯人手中心点的位移确定的动态变化手势、人手中心点的位移结合手势变化确定的动态变化手势。

7.如权利要求1所述的结合人脸和手势控制的人机交互方法，其特征在于，所述人脸中心点在三维空间内的运动轨迹，是通过判断人脸中心点在三维坐标系内的位移与阈值的大小关系，确定人脸动作是静态脸部动作还是动态脸部动作：人脸中心点在三维空间内对应一个三维坐标，通过判断该人脸中心点运动轨迹在三维坐标系内X轴Y轴Z轴的组合位移向量，若该组合位移向量的值小于预先设定的阈值，则人脸动作为静态脸部动作，若该组合位移向量的值大于预先设定的阈值，则人脸动作为动态脸部动作。

8.如权利要求7所述的结合人脸和手势控制的人机交互方法，其特征在于，所述静态脸部动作包括人脸五官变化的动作，所述动态脸部动作包括人脑袋位置变化引起的动作；所述人机交互方法还包括人机交互装置定时获取并更新肤色特征的过程。

9.一种用于实现权利要求1至8任一项所述的结合人脸和手势控制的人机交互方法的装置，其特征在于，包括依次连接的图像获取模块、动作处理模块、功能实现模块和终端设备；所述图像获取模块分别获取人脸区域信息和人手区域信息后，由动作处理模块根据人脸区域信息和人手区域信息计算并设置开启人机交互动作的人脸中心点和人手中心点，动作处理模块通过人脸中心点和人手中心点的运动轨迹结合手势和脸部动作判断来识别人体的动作集后传输给功能实现模块，功能实现模块加载有与该动作信息相对应的控制指令，该控制指令进行终端设备的操作。

10.如权利要求9所述的用于实现权利要求1至8任一项所述的结合人脸和手势控制的人机交互方法的装置，其特征在于，该装置还包括定时提取模块，所述定时提取模块用以对图像获取模块获取的人脸区域信息定时获取并更新肤色特征。