CN102200834B

CN102200834B - 面向电视控制的指尖鼠标交互方法

Info

Publication number: CN102200834B
Application number: CN2011101380409A
Authority: CN
Inventors: 姜小波; 石任重
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2011-05-26
Filing date: 2011-05-26
Publication date: 2012-10-31
Anticipated expiration: 2031-05-26
Also published as: CN102200834A

Abstract

本发明公开一种面向电视控制的指尖鼠标交互方法。这种电视交互式***，其特征在于包括以下步骤：利用电视机内置摄像头采集图像，通过对采集的图像进行图像检测得到手势区域，利用手势区域的特征定位出指尖并得到指尖的运动坐标，继而电视机内的执行装置根据指尖的坐标运动轨迹和停留时间来完成对应的鼠标指针的移动和点击操作。利用上述方法可用手势运动来进行电视的遥控操作，使得电视的人机交互方式更加智能和自然。这种远距离自然的遥控方式对三网融合趋势下的电视应用领域具有显著的推动作用。

Description

面向电视控制的指尖鼠标交互方法

技术领域

本发明涉及一种电视遥控技术，具体涉及面向电视控制的指尖鼠标交互方法和***。

背景技术

近年来，随着三网融合和电视智能化发展趋势，电视迅速成为家庭的智能信息终端。这对电视的人机交互技术提出了新的要求。电视具备了上网，信息处理的功能。电视人机交互需要文字输入和鼠标点击功能。传统的利用红外线的按键式遥控器无法满足电视发展带来的新的交互需求。更智能化、自然的人机交互方式是电视的迫切需求，电视人机交互的研究成为一个研究热点。

现有技术存在的问题：

1. 目前的电视遥控器无论在外形还是输入的操作上都是千篇一律，各大电视生产公司的产品不能突出自己的特色。

2. 随着电视功能的多元化，遥控器的设计也越来越复杂，按键的急剧增加，使得电视的遥控操作越来越不方便。

3. 随着电器化设备的普及，各种设备会配有不同的遥控器，比如电视、空调、DVD、投影机等，电视用户会为了寻找遥控器而手忙脚乱。

4. 目前的手势遥控器还只满足于换台、调节音量这些简单的操作，还无法满足精确的指尖鼠标控制功能。

因此，提供一种利用指尖鼠标进行电视机遥控操作的方法以及利用该方法实现自然的人机交互遥控***将是非常必要的。

发明内容

本发明的目的在于克服现有技术存在的上述缺陷，提供一种面向电视控制的指尖鼠标交互方法，由电视内置的处理芯片和图像采集装置构成的***，通过手势图像采集、手势图像检测、食指指尖定位、操作指令执行四个步骤实现一种无需附属设备直接使用人手作为输入工具的自然的人机交互方法。

一种面向电视控制的指尖鼠标交互方法，其包括以下步骤：

步骤一，利用电视机内置的摄像头采集图像，获得RGB图像；

步骤二，对所述RGB图像进行灰度图转换得到灰度图像，同时保留原图像；

步骤三，对所述灰度图像进行直方图统计，然后进行灰度直方图均衡化；

步骤四，利用模板匹配的方法对手势的拳头图像进行检测，若未找到拳头图像，则返回步骤一，若找到拳头图像则记录下拳头***矩形框的坐标；

步骤五，将灰度图像中的拳头区域映射到步骤二中保留的RGB图像中；

步骤六，对RGB图像拳头上方的食指区域和拳头区域进行HSV色彩空间转换；

步骤七，对拳头区域进行H分量直方图统计；

步骤八，根据拳头区域的H分量直方图统计结果设定阈值，继而对拳头上方食指区域的像素进行阈值处理，根据阈值处理后剩下的像素总个数来判断是否存在食指，若剩下的像素总个数没有达到预先设定的阈值, 则认为食指不存在, 同时返回步骤一，若剩下的像素总个数达到了预先设定的阈值, 则认为食指存在, 继而记录下食指轮廓坐标；

步骤九，利用食指的几何特征，对食指轮廓进行指尖定位，获得指尖的坐标值；

步骤十，根据指尖坐标的变化，产生虚拟鼠标指令，完成相应的人机交互操作。

上述的一种面向电视控制的指尖鼠标交互方法中，步骤三中灰度直方图均衡化的目的是在不影响灰度图像整体对比度的基础上增强局部的对比度。

上述的一种面向电视控制的指尖鼠标交互方法中，步骤四中的拳头图像检测包括特征提取与特征匹配，采用Haar特征框遍历整个图像进行检测，检测算法则采用AdaBoost算法，遍历框对拳头图像进行搜索，一旦特征匹配成功则跳出搜索步骤，进入下一步骤。

上述的一种面向电视控制的指尖鼠标交互方法中，步骤六所述HSV色彩空间中，H分量描述物体的颜色类型，即色调；S为饱和度；V为亮度。

上述的一种面向电视控制的指尖鼠标交互方法中，步骤八首先根据拳头区域H分量直方图统计的结果设定阈值, 利用拳头与食指的H分量分布一致性的特征, 继而可以对拳头上方的食指区域像素进行阈值处理。

上述的一种面向电视控制的指尖鼠标交互方法中，步骤九中食指的几何特征为类圆柱特征。

上述的一种面向电视控制的指尖鼠标交互方法中，步骤十中，根据指尖的滑动模拟鼠标指针的运动，根据指尖在某点的停留时间来模拟鼠标点击操作。

上述的一种面向电视控制的指尖鼠标交互方法中，步骤二至步骤九的处理过程都是通过FPGA来完成。

上述方法中，步骤一通过电视机的图像采集装置不断采集图像数据更新数据缓存，用于获取用户手势图像数据，作为待检测的手势。步骤二中，电视屏幕的光线容易发生变化，这对彩色图像的分割与检测产生了很大的影响，利用图像的灰度信息可以降低这种影响。步骤三中灰度直方图均衡化，可以增强局部的对比度，有利于后续手势图像的检测；步骤四中手势图像检测，采用离线训练的方式得到手势图像的特征库，将待检测的手势特征与特征库中模板的特征进行匹配，从而得出检测结果，由于检测的过程是通过遍历整个图像而进行的目标搜索，因此省去了图像分割的步骤。步骤五中由于灰度图像转换的不可逆性，灰度图像拳头检测的区域必须映射到RGB彩色图像中，为食指的检测做准备。步骤六中只对RGB图像拳头上方的食指区域和拳头区域进行HSV色彩空间转换，其它区域皆设置为背景，这样可以减少计算量，提高处理速度。步骤八中在同一帧图像中，不存在光照变化的影响，因此拳头和食指的肤色信息会高度保持一致，这样利用拳头区域直方图统计设定的阈值可以很好的对食指区域进行分割。步骤九：指尖定位，手指形状的类圆柱特征，为指尖的定位提供了简单的几何特征，从而获得指尖点的坐标值。步骤十根据指尖坐标的变化情况模拟鼠标指针的运动，通过判断指尖坐标停留的时间模拟鼠标的点击操作，最终通过电视机内的人机交互***执行相应的指令。

与现有技术相比，本发明具有如下优点和技术效果：本发明提出了一种自然的面向电视控制的指尖鼠标交互方法，该方法通过采用具有高检测率、受光照影响小、实时检测的基于haar特征的AdaBoost算法，并根据拳头的肤色特征实现食指的分割和指尖的定位，并产生相应的电视控制信号。该方法最大限度的降低了电视屏幕光线变化的影响。这种遥控方式将会显著的推动电视人机交互应用领域的发展。

附图说明

图1是指尖鼠标交互方法的手势示意图， S1指拳头区域和S2指拳头上方的食指区域。

图2是指尖鼠标交互方法的图像处理单元的结构框图。

图3示例的是指尖鼠标交互方法的数据处理流程图。

具体实施方式

以下结合附图对本发明的实施作进一步说明，但本发明的实施和保护范围不限于此。

图1是指尖鼠标交互方法的手势示意图，图中是一只竖立食指的拳头图像模型。S1指拳头区域，通过模板匹配的方法检测到拳头，然后记录下拳头***矩形框的坐标值，S2指拳头上方的食指区域，S2区域中的食指检测是通过S1中的拳头图像与食指肤色分布相一致来实现的。图中的两个用虚线围成的矩形框是拳头检测完成后进行后续图像处理的区域。

图2的图像处理单元包括拳头检测、离线训练拳头特征值、食指分割指尖定位三个过程。

一、拳头检测

包括三个步骤：灰度图转换、灰度直方图均衡化、拳头区域检测。其中灰度图转换和直方图均衡化属于预处理部分，而本文的拳头检测方法跳过了传统的先分割再检测的步骤，采用遍历搜索的方法直接从预处理步骤进入检测步骤。这是因为，对于远距离的手势检测，目标区域只占到了整幅图像的很小一部分比例，因此利用传统的分割方法可能会把目标区域当做背景处理掉；同时由于人脸和人手的肤色一致性，在分割的时候也会带来很大的干扰。预处理部分的灰度直方图均衡化可以增强局部的对比度，为特征值的选取提供了有利条件。

拳头区域检测环节采用基于Haar特征AdaBoost分类算法进行检测，该算法需要离线建立特征模板库，其中特征值是通过建立样本库，利用AdaBoost算法训练得到。该样本库包括1383幅在不同光照环境下采集的不同人的肤色和年龄的拳头正样本，7820幅不包括拳头的任一图像的负样本。AdaBoost算法的检测率可以达到95%以上，而且满足实时性的要求，理论证明，只要样本库足够大，检测率可以无限接近于1。AdaBoost算法自身的优点，使得指尖鼠标交互方法具有很强的鲁棒性。

Haar特征值是基于相邻区域分别将各像素的灰度值求和，然后比较各区域灰度和的差值，它属于表观特征。Haar特征类似于矩形框，由于矩形框的平移和可放缩的尺度特征，因此一副样本图片的Haar特征数量巨大，训练的目的正是利用AdaBoost算法筛选出满足要求的Haar特征，这些满足要求的特征通常位于那些相邻区域灰度和的差值相差大的区域，也就是那些局部对比度明显的区域。Haar特征值的计算是利用积分图的思想，该方法只需要知道矩形框对应顶点像素的积分和，然后利用简单的加减运算就可以求出。

拳头检测是利用一种搜索框通过遍历来的方法来实现的，该搜索框一个矩形框，里面有通过AdaBoost算法训练得到的满足要求的Haar特征框。搜索框的遍历是通过尺度的平移和放缩来完成的，一旦搜索框检测的区域与训练得到的特征模板库匹配，则表示检测的区域为拳头图像，立即用矩形框将其标识并跳出检测步骤；若搜索框遍历了整幅图像，都没有找到满足要求的目标区域，则表示图像中没有拳头，***重新回到步骤一。

二、食指分割与指尖定位

由图1可知，食指位于S2区域，本发明根据检测到的拳头(S1区域)信息，利用拳头与食指的肤色一致性特征来实现对食指的分割。食指的检测是先通过拳头检测，然后再进行食指分割两个步骤来完成的。为什么不直接训练整个手势，仅通过手势检测这一步骤就实现手势(S1和S2区域)检测？实验证明，由于食指只占S2区域的很小一部分，剩下的部分都为背景，因此训练的时候正样本会引入大量背景，大量的负样本被当成正样本一起训练，最终的结果会导致检测率严重降低。

由于人的肤色在HSV色彩空间中具有聚类的特征，因此在HSV色彩空间中可以实现对食指的分割。首先对S1和S2区域进行HSV色彩空间转换，然后只采用色调成分(H分量)作为食指分割的特征，由RGB色彩空间转换到HSV色彩空间的计算公式如下：

若

，则

经过HSV色彩空间转换后，继而对S1区域进行H分量直方图统计，由于S1区域几乎都被拳头占据，又由于肤色的聚类特性，因此S1区域的直方图统计结果会呈现明显的聚类特征。根据每个H分量值的频数统计结果，就可以得到一个用于进行S2区域食指分割的阈值。由于S2区域只占整幅图像的很小一部分，因此对于S2区域进行阈值分割操作简单，处理速度快。同时，由于拳头和食指的肤色一致性，这样就能够对食指进行精确的分割。拳头和食指位于同一副图中，拳头的检测算法又具有很强的鲁棒性，这样光照的变化对食指的分割影响很小。

最终类圆柱模型的食指在2D投影平面上会类似一个棍棒模型，而指尖总是分布在棍棒的顶点上，利用这个几何特征就能实现指尖的定位。这样就可以获得指尖位于图像中的坐标值，从而与电视中的虚拟鼠标指针完成对应。这样，通过指尖的移动就可以实现鼠标的指针移动，同时，还可以利用指尖的停留时间来判断虚拟鼠标的点击动作。

图3的指尖鼠标交互方法数据处理流程图，具体包括如下步骤：

步骤一，图像采集，利用电视机中的内置摄像头采集图像，获得RGB图像，用于获取用户手势图像数据，作为待检测的手势。

步骤二，灰度图转换，对所述RGB图像进行灰度图转换得到灰度图像，同时保留原图像；电视屏幕的光线容易发生变化，这对彩色图像的分割与检测产生了很大的影响，利用图像的灰度信息可以降低这种影响。

步骤三，灰度直方图均衡化，对所述灰度图像进行直方图统计，然后进行灰度直方图均衡化；该步骤可以增强局部的对比度，有利于后续手势图像的检测。

步骤四，手势图像检测，利用模板匹配的方法对手势的拳头图像进行检测，若未找到拳头图像，则返回步骤一，若找到拳头图像则记录下拳头***矩形框的坐标；由于检测的过程是通过遍历整个图像而进行的目标搜索，因此省去了图像分割的步骤。

步骤五，拳头区域标记，将灰度图像中的拳头区域映射到步骤二中保留的RGB图像中；由于灰度图像转换的不可逆性，灰度图像拳头检测的区域必须映射到RGB彩色图像中，为食指的检测做准备。

步骤六，标记区域HSV色彩空间转换，对RGB图像拳头上方的食指区域和拳头区域进行HSV色彩空间转换；这里只对RGB图像拳头上方的食指区域和拳头区域进行HSV色彩空间转换，其它区域皆设置为背景，这样可以减少计算量，提高处理速度。

步骤七，H分量直方图统计，对拳头区域进行H分量直方图统计，根据统计的结果自动设定阈值参数。

步骤八，食指区域分割，根据拳头区域的H分量直方图统计结果设定阈值，继而对拳头上方食指区域的像素进行阈值处理，根据阈值处理后剩下的像素总个数来判断是否存在食指，若剩下的像素总个数没有达到预先设定的阈值, 则认为食指不存在, 同时返回步骤一，若剩下的像素总个数达到了预先设定的阈值, 则认为食指存在, 继而记录下食指轮廓坐标；这里由于在同一帧图像中，不存在光照变化的影响，因此拳头和食指的肤色信息会高度保持一致，这样利用拳头区域直方图统计设定的阈值可以很好的对食指区域进行分割。

步骤九，指尖定位，利用食指的几何特征，对食指轮廓进行指尖定位，获得指尖的坐标值；手指形状的类圆柱特征，为指尖的定位提供了简单的几何特征。

步骤十，指尖鼠标指令，根据指尖坐标的变化情况，产生虚拟鼠标指令，完成相应的人机交互操作。

利用上述的方法，就可以用指尖来进行电视的遥控操作，同时借助电视内的遥控操作***，使得电视的遥控操作变得简单而自然。因此，面向电视控制的指尖鼠标交互方法，是一种非接触式的自然而又便捷的电视遥控方法。

Claims

1. 一种面向电视控制的指尖鼠标交互方法，其特征在于包括以下步骤：

步骤一，利用电视机中的内置摄像头采集图像，获得RGB图像；

步骤七，对拳头区域进行H分量直方图统计；

2. 根据权利要求1所述的一种面向电视控制的指尖鼠标交互方法，其特征是步骤三中灰度直方图均衡化的目的是在不影响灰度图像整体对比度的基础上增强局部的对比度。

3. 根据权利要求1所述的一种面向电视控制的指尖鼠标交互方法，其特征是步骤四中的拳头图像检测包括特征提取与特征匹配，采用Haar特征框遍历整个图像进行检测，检测算法则采用AdaBoost算法，遍历框对拳头图像进行搜索，一旦特征匹配成功则跳出搜索步骤，进入下一步骤。

4. 根据权利要求1所述的一种面向电视控制的指尖鼠标交互方法，其特征是步骤六所述HSV色彩空间中，H分量描述物体的颜色类型，即色调；S为饱和度；V为亮度。

5. 根据权利要求1所述的一种面向电视控制的指尖鼠标交互方法，其特征是步骤八首先根据拳头区域H分量直方图统计的结果设定阈值, 利用拳头与食指的H分量分布一致性的特征, 继而可以对拳头上方的食指区域像素进行阈值处理。

6. 根据权利要求1所述的一种面向电视控制的指尖鼠标交互方法，其特征是步骤九中食指的几何特征为类圆柱特征。

7. 根据权利要求1所述的一种面向电视控制的指尖鼠标交互方法，其特征是步骤十中，根据指尖的滑动模拟鼠标指针的运动，根据指尖在某点的停留时间来模拟鼠标点击操作。

8. 根据权利要求1~7任一项所述的一种面向电视控制的指尖鼠标交互方法, 其特征是步骤二至步骤九的处理过程都是通过FPGA来完成。