CN103336577A - 一种基于人脸表情识别的鼠标控制方法 - Google Patents

Abstract

本发明公开了一种基于人脸表情识别的鼠标控制方法，特点是包括以下步骤：获取模板图像、实时获取待匹配的人脸图像、获取待匹配的人脸图像与每幅模板图像之间的相似度、判定将对鼠标执行的操作和控制鼠标执行操作；优点是通过模板匹配的方法来识别不同的人脸表情，即根据所识别出的模板图像与待匹配的人脸图像进行互相关比较来实现对鼠标点击和移动的控制，处理速度快，整个鼠标控制过程可在微秒和毫秒级以内完成，实时效果好，选用的摄像头无论分辨率高低，均可以达到较快的匹配效果，而且还可以根据个人的喜好和习惯来定义各种不同的人脸图像作为模板图像，使用灵活度强，选择多样。

Description

一种基于人脸表情识别的鼠标控制方法

技术领域

本发明涉及一种鼠标控制方法，尤其是涉及一种基于人脸表情识别的鼠标控制方法。

背景技术

目前，人们在使用计算机时，一般通过手动控制鼠标设备，而对于一些特殊群体如无手的残疾人士来说，这种传统的使用鼠标的方式会带给他们很多的不便。为了使人机交互更加智能和便捷，更为方便特殊群体使用电脑，人们研究开发了多种无需手动控制鼠标的方法，比如有依赖于人的手势识别的控制方法，但是这种方法不能够方便无手残疾人士使用，其他的一些方法有采用舌头动作的方式，但是实时性不高，而且对于控制人的舌头来控制鼠标这种方式，检测精度不是很高，很容易受干扰，具有很大的局限性。

发明内容

本发明所要解决的技术问题是提供一种实时度高、使用灵活度强且成本较低的基于人脸表情识别的鼠标控制方法。

本发明解决上述技术问题所采用的技术方案为：一种基于人脸表情识别的鼠标控制方法，包括以下步骤：

1）获取模板图像：通过摄像头采集四幅具有不同特征的人脸图像，然后对采集到的每幅人脸图像进行灰度转换和镜像转换处理，得到处理后的人脸图像，再在每幅处理后的人脸图像中设定一个具有显著特征的感兴趣区域，将每幅处理后的人脸图像中的感兴趣区域作为一幅模板图像，并设定第一幅模板图像用于代表鼠标左键单击，第二幅模板图像用于代表鼠标右键单击，第三幅模板图像用于代表鼠标左键双击，第四幅模板图像用于代表鼠标移动；

2）实时获取待匹配的人脸图像：通过摄像头实时捕获人脸图像，对实时捕获到的人脸图像进行灰度转换和镜像转换处理，得到待匹配的人脸图像；

3）获取待匹配的人脸图像与每幅模板图像之间的相似度：利用归一化互相关方法对待匹配的人脸图像与每幅模板图像进行互相关处理，得到每幅模板图像对应的互相关矩阵，将第一幅模板图像对应的互相关矩阵中的最大值作为待匹配的人脸图像与第一幅模板图像之间的第一相似度，将第二幅模板图像对应的互相关矩阵中的最大值作为待匹配的人脸图像与第二幅模板图像之间的第二相似度，将第三幅模板图像对应的互相关矩阵中的最大值作为待匹配的人脸图像与第三幅模板图像之间的第三相似度，将第四幅模板图像对应的互相关矩阵中的最大值作为待匹配的人脸图像与第四幅模板图像之间的第四相似度；

4）判定将对鼠标执行的操作：首先，找出第一相似度、第二相似度和第三相似度中的最大相似度；其次，根据最大相似度和第四相似度，判定将对鼠标执行的动作指令，具体过程为：如果最大相似度大于或等于预先设定的点击阈值，且第四相似度小于预先设定的移动阈值，则判定将对鼠标执行点击操作，然后按照最大相似度对应的模板图像所代表的鼠标动作来执行具体的点击动作，即当最大相似度对应第一幅模板图像时执行鼠标左键单击的动作，当最大相似度对应第二幅模板图像时执行鼠标右键单击的动作，当最大相似度对应第三幅模板图像时执行鼠标左键双击的动作；如果第四相似度大于或等于预先设定的移动阈值，且最大相似度小于预先设定的点击阈值，则判定将对鼠标执行移动操作；如果最大相似度大于或等于预先设定的点击阈值，且第四相似度大于或等于预先设定的移动阈值，则判定将对鼠标执行持续在移动的同时保持左键持续按压状态的拖拽动作；

5）控制鼠标执行操作：根据第一相似度、第二相似度、第三相似度和第四相似度在各自所对应的互相关矩阵中的位置，得到第一相似度、第二相似度、第三相似度和第四相似度各自所对应的到互相关矩阵的中心位置的横向矢量位移和纵向矢量位移；当判定结果为将对鼠标执行移动操作时，利用正割函数将第四相似度所对应的横向矢量位移和纵向矢量位移的数值限定在(-1,1)之间，然后再分别乘以鼠标的灵敏度后传入鼠标控制API函数中，执行相应的鼠标移动动作；当判定结果为将对鼠标执行点击操作时，将第一相似度、第二相似度、第三相似度各自所对应的互相关矩阵的中心位置的横向矢量位移和纵向矢量位移均设置为0，然后根据左键单击、右键单击及左键双击的指令分别设定对应的鼠标控制API函数中的参数。

所述的步骤1）中以人脸图像中嘴巴张开的感兴趣区域为代表鼠标左键单击的第一幅模板图像，以人脸图像中右眼闭上的感兴趣区域为代表鼠标右键单击的第二幅模板图像，以人脸图像中左眼闭上的感兴趣区域为代表鼠标左键双击的第三幅模板图像，以人脸图像中鼻子为主的感兴趣区域为代表鼠标移动的第四幅模板图像。

所述的步骤4）中预先设定的点击阈值为0.8。

所述的步骤4）中预先设定的移动阈值为0.6。

与现有技术相比，本发明的优点在于：通过模板匹配的方法来识别不同的人脸表情，即根据所识别出的模板图像与待匹配的人脸图像进行互相关比较来实现对鼠标点击动作和移动动作的判定，然后结合鼠标API控制函数实现鼠标的控制，处理速度快，整个鼠标控制过程可在微秒和毫秒级以内完成，实时效果好，选用的摄像头无论分辨率高低，均可以达到较快的匹配效果，而且还可以根据个人的喜好和习惯来定义各种不同的人脸图像作为模板图像，使用灵活度强，选择多样。

附图说明

图1为本发明方法的总体实现框图；

图2为本实施例中获取的代表鼠标左键单击的模板图像的示意图（框内部分）；

图3为本实施例中获取的代表鼠标右键单击的模板图像的示意图（框内部分）；

图4为本实施例中获取的代表鼠标左键双击的模板图像的示意图（框内部分）；

图5为本实施例中获取的代表鼠标移动的模板图像的示意图（框内部分）。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

一种基于人脸表情识别的鼠标控制方法，其总体实现框图如图1所示，其具体包括以下步骤：

1）获取模板图像：通过摄像头采集四幅具有不同特征的人脸图像，然后对采集到的每幅人脸图像进行灰度转换和镜像转换处理，得到处理后的人脸图像，再在每幅处理后的人脸图像中设定一个具有显著特征的感兴趣区域，将每幅处理后的人脸图像中的感兴趣区域作为一幅模板图像，并设定第一幅模板图像用于代表鼠标左键单击，第二幅模板图像用于代表鼠标右键单击，第三幅模板图像用于代表鼠标左键双击，第四幅模板图像用于代表鼠标移动。

在本实施例中设定处理后的人脸图像中嘴巴张开的感兴趣区域作为代表鼠标左键单击的第一幅模板图像（如图2所示）。

设定处理后的人脸图像中右眼闭上的感兴趣区域作为代表鼠标右键单击的第二幅模板图像（如图3所示）。

设定处理后的人脸图像中左眼闭上的感兴趣区域作为代表鼠标左键双击的第三幅模板图像（如图4所示）。

设定处理后的人脸图像中包含鼻子的感兴趣区域作为代表鼠标移动的第四幅模板图像。当人脸移动时，鼻子随之移动，进而用来实现对鼠标移动动作的控制（如图5所示）。

2）实时获取待匹配的人脸图像：通过摄像头实时捕获人脸图像，对实时捕获到的人脸图像进行灰度转换和镜像转换处理，得到待匹配的人脸图像。

3）获取待匹配的人脸图像与每幅模板图像之间的相似度：利用归一化互相关方法对待匹配的人脸图像与每幅模板图像进行互相关处理，得到每幅模板图像对应的互相关矩阵，将第一幅模板图像对应的互相关矩阵中的最大值作为待匹配的人脸图像与第一幅模板图像之间的第一相似度，将第二幅模板图像对应的互相关矩阵中的最大值作为待匹配的人脸图像与第二幅模板图像之间的第二相似度，将第三幅模板图像对应的互相关矩阵中的最大值作为待匹配的人脸图像与第三幅模板图像之间的第三相似度，将第四幅模板图像对应的互相关矩阵中的最大值作为待匹配的人脸图像与第四幅模板图像之间的第四相似度。

4）判定将对鼠标执行的操作：首先，找出第一相似度、第二相似度和第三相似度中的最大相似度；其次，根据最大相似度和第四相似度，判定将对鼠标执行的动作指令，具体过程为：如果最大相似度大于或等于预先设定的点击阈值，且第四相似度小于预先设定的移动阈值，则判定将对鼠标执行点击操作，然后按照最大相似度对应的模板图像所代表的鼠标动作来执行具体的点击动作，即当最大相似度对应第一幅模板图像时执行鼠标左键单击的动作，当最大相似度对应第二幅模板图像时执行鼠标右键单击的动作，当最大相似度对应第三幅模板图像时执行鼠标左键双击的动作；如果第四相似度大于或等于预先设定的移动阈值，且最大相似度小于预先设定的点击阈值，则判定将对鼠标执行移动操作；如果最大相似度大于或等于预先设定的点击阈值，且第四相似度大于或等于预先设定的移动阈值，则判定将对鼠标执行持续在移动的同时保持左键持续按压状态的拖拽动作。

在本实施例中，步骤4）中预先设定的点击阈值综合精度和准确度取值为0.8，预先设定的移动阈值综合精度和准确度取值为0.6。

5）控制鼠标执行操作：控制鼠标执行操作：根据第一相似度、第二相似度、第三相似度和第四相似度在各自所对应的互相关矩阵中的位置，得到第一相似度、第二相似度、第三相似度和第四相似度各自所对应的到互相关矩阵的中心位置的横向矢量位移和纵向矢量位移；当判定结果为将对鼠标执行移动操作时，利用正割函数将第四相似度所对应的横向矢量位移和纵向矢量位移的数值限定在(-1,1)之间，然后再分别乘以鼠标的灵敏度后传入鼠标控制API函数中，执行相应的鼠标移动动作；当判定结果为将对鼠标执行点击操作时，将第一相似度、第二相似度、第三相似度各自所对应的互相关矩阵的中心位置的横向矢量位移和纵向矢量位移均设置为0，然后根据左键单击、右键单击及左键双击的指令分别设定对应的鼠标控制API函数中的参数。

具体的实施过程原理如下：

模板采集：通过摄像头采集四幅不同表情的人脸图像，采集到的人脸图像经过灰度和镜像转换，在处理后的人脸图像中选定一个感兴趣区域，将感兴趣区域作为需要的模板图像，四幅模板图像构成的模板图像集为Γ={L,R,D,M}，其中，L为代表左键单击的模板图像，R为代表右键单击的模板图像，D为代表左键双击的模板图像，M为代表鼠标移动的模板图像，模板图像集Γ={L,R,D,M}事先采集并保存好，供后续的人脸表情识别过程直接调用。

人脸图像实时捕获：摄像头实时捕获人脸图像，设任意时刻捕获到的人脸图像为I，将捕获到的人脸图像I进行灰度转换和镜像转换，得到待匹配的人脸图像J。

模板匹配：读出预先设置好的四幅模板图像，对上述实时捕获到的并处理过后的人脸图像J和模板图像集里的每一幅模板图像分别进行模板匹配，通过归一化互相关方法对两者进行相关比较，把互相关矩阵中最大的数值作为相似度，得到S₁、S₂、S₃和S₄四个相似度，其中，S₁为鼠标左键单击的模板图像L和处理后的待匹配的人脸图像J的匹配结果，S₂为鼠标右键单击的模板图像R和处理后的待匹配的人脸图像J的匹配结果，S₃为鼠标左键双击的模板图像D和处理后的待匹配的人脸图像J的匹配结果，S₄为鼠标移动的模板图像M和处理后的待匹配的人脸图像J的匹配结果。上述归一化互相关方法的计算过程为： $R_{(x,y)}=\frac{\underset{i=0}{\overset{m-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{n-1}{\mathrm{\Σ}}}[I(x+i,y+j)-{\stackrel{\‾}{I}}_{(x,y)}][T(i,j)-\stackrel{\‾}{T}]}{\sqrt{\underset{i=0}{\overset{m-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{n-1}{\mathrm{\Σ}}}{\left[I(x+i,y+j-{\stackrel{\‾}{I}}_{(x,y)})\right]}^2\underset{i=0}{\overset{m-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{n-1}{\mathrm{\Σ}}}{[T(i,j)-\stackrel{\‾}{T}]}^2}},$ 其中，I(x+i,y+j)表示待匹配的人脸图像J中坐标位置为(x+i,y+j)的像素点的灰度值，即表示待匹配的人脸图像J中以坐标位置为(x,y)的像素点为左上角像素点且大小与模板图像T同样大小的子图I_(x,y)中坐标位置为(i,j)的像素点的灰度值，

为待匹配的人脸图像J中以坐标位置为(x,y)的像素点为左上角像素点且大小与模板图像T同样大小的子图I_(x,y)中所有像素点的平均灰度值，T(i,j)为模板图像T中坐标位置为(i,j)的像素点的灰度值，

为模板图像T中所有像素点的平均灰度值，R_(x,y)为待匹配的人脸图像中以坐标位置为(x,y)的像素点为左上角的像素点且大小与模板图像T同样大小的子图I_(x,y)与模板图像T的互相关结果，然后通过逐一位置像素匹配相关，最后得到待匹配的人脸图像J和模板图像T互相关的一个互相关矩阵R，互相关矩阵R的宽为M-m+1，高为N-n+1，则有0≤x≤M-m+1，0≤y≤N-n+1，m,n分别为模板图像T的宽度和高度，M,N分别为待匹配的人脸图像J的宽度和高度，该互相关矩阵R存放着待匹配的人脸图像中每一位置处的像素的匹配值，互相关矩阵R中最大的匹配值R_m表示待匹配的人脸图像J和模板图像T的最大匹配程度，并将该值确定为待匹配的人脸图像J和模板图像T的相似度S；找到最大匹配值R_m在互相关矩阵R中的位置(x_m,y_m)，设其距互相关矩阵R的中心位置(x₀,y₀)的矢量位移为(dx,dy)，(x₀,y₀)为((M-m+1)/2,(N-n+1)/2)，则有：dx=x_m-x₀=x_m-(M-m+1)/2，dy=y_m-y₀=y_m-(N-n+1)/2，其中，dx和dy的绝对值大小分别代表横向矢量位移和纵向矢量位移的数值，正负符号表示位移的方向。

判定将对鼠标执行的操作：根据归一化互相关得到的相似度S来进行鼠标控制指令的判定，找出S₁、S₂和S₃中的最大值，并记为S_m。

如果S_m≥T₁，同时S₄<T₂，则当前的待匹配的人脸图像J和代表点击的模板图像的相似度较高，鼠标应该执行点击操作，具体的点击操作为S_m对应的模板图像所对应的鼠标点击操作；如果S₄≥T₂，同时S_m<T₁，则设置鼠标API函数执行移动动作；如果S_m≥T₁，同时S₄≥T₂，则设置鼠标API函数执行左键单击和移动同时进行的拖拽动作。在此，T₁为点击阈值，其值为0.8，T₂为移动阈值，值为0.6。

控制鼠标执行操作：针对得到的不同的鼠标控制判决结果，调用鼠标控制API函数，执行相应的鼠标动作，其中，鼠标的移动是根据待匹配的人脸图像中人的嘴巴位置到互相关矩阵R的中心位置的相对横向位移dx和相对纵向位移dy来决定；如果采用人的鼻子作为代表移动的第四幅模板图像，则根据待匹配的人脸图像中的人的鼻子位置到互相关矩阵R的中心位置的相对位移来判定鼠标移动的距离和方向。具体过程如下：

当dx小于0，dy小于0时，表明最佳匹配位置在中心位置左上方，鼠标应该向左上方移动；当dx小于0，dy大于0时，表明最佳匹配位置在中心位置左下方，鼠标应该向左下方移动；当dx大于0，dy小于0时，表明最佳匹配位置在中心位置右上方，鼠标应该向右上方移动；当dx大于0，dy大于0时，表明最佳匹配位置在中心位置右下方，鼠标应该向右下方移动。

在此，鼠标实际横向移动距离x的具体值为利用正割函数将横向矢量位移Δx限定在(-1,1)之间，即Δx=tanh(dx)，然后再与鼠标的灵敏度A相乘得到的数值，即x=Δx×A，鼠标实际纵向移动距离y的具体值为利用正割函数将纵向矢量位移Δy限定在(-1,1)之间，即Δy=tanh(dy)，然后再与鼠标的灵敏度A相乘得到的数值，即y=Δy×A，此处鼠标的灵敏度A设为10。

上述流程需要设定***参数，包括摄像头的分辨率、模板图像的大小、点击阈值T₁、移动阈值T₂及定时器周期时间。其中，摄像头的分辨率是在摄像头所能实现的范围下选定的，一般选取普通摄像头常用的分辨率，如640×480，定时器周期时间τ（微秒级或毫秒级）表示整个***运行时，第一次鼠标动作和下一次鼠标动作的间隔时间，即在一个定时器周期时间τ内，完成一次鼠标动作的判定和执行。

Claims (4)

1.一种基于人脸表情识别的鼠标控制方法，其特征在于包括以下步骤：

1）获取模板图像：通过摄像头采集四幅具有不同特征的人脸图像，然后对采集到的每幅人脸图像进行灰度转换和镜像转换处理，得到处理后的人脸图像，再在每幅处理后的人脸图像中设定一个具有显著特征的感兴趣区域，将每幅处理后的人脸图像中的感兴趣区域作为一幅模板图像，并设定第一幅模板图像用于代表鼠标左键单击，第二幅模板图像用于代表鼠标右键单击，第三幅模板图像用于代表鼠标左键双击，第四幅模板图像用于代表鼠标移动；

2）实时获取待匹配的人脸图像：通过摄像头实时捕获人脸图像，对实时捕获到的人脸图像进行灰度转换和镜像转换处理，得到待匹配的人脸图像；

3）获取待匹配的人脸图像与每幅模板图像之间的相似度：利用归一化互相关方法对待匹配的人脸图像与每幅模板图像进行互相关处理，得到每幅模板图像对应的互相关矩阵，将第一幅模板图像对应的互相关矩阵中的最大值作为待匹配的人脸图像与第一幅模板图像之间的第一相似度，将第二幅模板图像对应的互相关矩阵中的最大值作为待匹配的人脸图像与第二幅模板图像之间的第二相似度，将第三幅模板图像对应的互相关矩阵中的最大值作为待匹配的人脸图像与第三幅模板图像之间的第三相似度，将第四幅模板图像对应的互相关矩阵中的最大值作为待匹配的人脸图像与第四幅模板图像之间的第四相似度；

4）判定将对鼠标执行的操作：首先，找出第一相似度、第二相似度和第三相似度中的最大相似度；其次，根据最大相似度和第四相似度，判定将对鼠标执行的动作指令，具体过程为：如果最大相似度大于或等于预先设定的点击阈值，且第四相似度小于预先设定的移动阈值，则判定将对鼠标执行点击操作，然后按照最大相似度对应的模板图像所代表的鼠标动作来执行具体的点击动作，即当最大相似度对应第一幅模板图像时执行鼠标左键单击的动作，当最大相似度对应第二幅模板图像时执行鼠标右键单击的动作，当最大相似度对应第三幅模板图像时执行鼠标左键双击的动作；如果第四相似度大于或等于预先设定的移动阈值，且最大相似度小于预先设定的点击阈值，则判定将对鼠标执行移动操作；如果最大相似度大于或等于预先设定的点击阈值，且第四相似度大于或等于预先设定的移动阈值，则判定将对鼠标执行持续在移动的同时保持左键持续按压状态的拖拽动作；

5）控制鼠标执行操作：根据第一相似度、第二相似度、第三相似度和第四相似度在各自所对应的互相关矩阵中的位置，得到第一相似度、第二相似度、第三相似度和第四相似度各自所对应的到互相关矩阵的中心位置的横向矢量位移和纵向矢量位移；当判定结果为将对鼠标执行移动操作时，利用正割函数将第四相似度所对应的横向矢量位移和纵向矢量位移的数值限定在（-1,1）之间，然后再分别乘以鼠标的灵敏度后传入鼠标控制API函数中，执行相应的鼠标移动动作；当判定结果为将对鼠标执行点击操作时，将第一相似度、第二相似度、第三相似度各自所对应的互相关矩阵的中心位置的横向矢量位移和纵向矢量位移均设置为0，然后根据左键单击、右键单击及左键双击的指令分别设定对应的鼠标控制API函数中的参数。

2.根据权利要求1所述的一种基于人脸表情识别的鼠标控制方法，其特征在于所述的步骤1）中以人脸图像中嘴巴张开的感兴趣区域为代表鼠标左键单击的第一幅模板图像，以人脸图像中右眼闭上的感兴趣区域为代表鼠标右键单击的第二幅模板图像，以人脸图像中左眼闭上的感兴趣区域为代表鼠标左键双击的第三幅模板图像，以人脸图像中鼻子为主的感兴趣区域为代表鼠标移动的第四幅模板图像。

3.根据权利要求1所述的一种基于人脸表情识别的鼠标控制方法，其特征在于所述的步骤4）中预先设定的点击阈值为0.8。

4.根据权利要求1所述的一种基于人脸表情识别的鼠标控制方法，其特征在于所述的步骤4）中预先设定的移动阈值为0.6。

Images