CN103092439A - 一种改进的红外交互触点识别方法 - Google Patents

Abstract

一种改进的红外交互触点识别方法，包括以下步骤：(1)基于随机采样一致性对摄像头坐标定位；从集合S中随机采样5组点对应关系，1计算出这5组点对应关系相应的射影矩阵H_C，如果H_C的一致集C_C超过预先设定的阈值T，则认为当前一致集中的点对应关系都满足理想点对应关系的要求；否则，重复上述步骤，直到一致集能够满足条件；根据一致集中点对应的关系，利用直接线性变换求出最终射影矩阵H；（2）采用动态参数法进行屏幕边界触点检测。

Description

一种改进的红外交互触点识别方法

技术领域

本发明涉及一种触点识别方法，特别涉及一种适用于红外多点触摸交互***的触点识别方法。

背景技术

多点触摸交互***作为一种新型的人机交互***，能在没有传统输入设备的情况下由电脑使用者透过数只手指达至图像应用控制。这种崭新的交互方式建立了人与机器自然的交互界面，实现了多点、多用户在同一时间直接与环境进行互动，增强了用户体验。为使用户获得良好的交互体验，需要准确、迅速得进行触点跟踪和识别，因此触点识别技术是交互***实现的关键。

目前基于计算机视觉的触点识别技术主要有：激光平面技术（LLP）、受抑全内反射(FTIR)技术和背部红外照明(DI)技术。LLP有搭设简单、设备便宜、不需要封闭装置等优点，但没有真正的压感，并且很容易出现触点阻拦的情况。FTIR由于其结构特点限制，只适合于单张桌面上只有手指或者笔输入的情况，需要兼容层并且无法识别物体的标示。DI以环境搭设简单、可识别触点的种类多、多屏拼接的扩展性好等特性而受到众多研究者的欢迎，目前DI技术已然成为多点触摸开发者的首选。

由于外界环境光和噪声的影响，基于DI技术的采集图像会有光斑，且红外光照难以均匀，即使采取多摄像头拼接也难以在显示屏边缘获得好的识别效果。在这种特定环境下，现有的触点识别解决方案无法满足识别的准确度要求，需要采用新方法解决此问题。

发明内容

本发明的目的就在于解决现有DI技术的缺陷，设计、研究一种基于背部红外照明技术识别触点的改进方法。利用随机采样一致性对摄像头坐标进行定位，可以大大的减小误差，并采用动态参数实现屏幕边界触点检测，可以成功地识别屏幕边角的触点，能提高处理速度。

本发明的技术方案是：一种改进的红外（背部红外照明）交互触点识别方法，其特征在于包括以下步骤：

(1)基于随机采样一致性对摄像头坐标定位；

(1-1)设S为定位过程中所有的投影仪与摄像头像素点形成的两平面对应关系的集合，其中包含了可能存在误差的点对；

射影变换公式x_i′＝Hx_i（式1）

其中x_i和x_i′是一系列给定的两平面之间二维点的坐标序列，H为射影变换矩阵；

(1-2)从集合S中随机采样5组点对应关系，根据（式1）计算出这5组点对应关系

相应的射影矩阵H_C，初始化H_C对应的一致集C_C0＝0；

(1-3)计算S中所有的点对应关系

并进行下述判断：

(1-3-1)计算H_Cx_i;

(1-3-2)如果||H_Cx_i-x_i′||＜σ，则C_Ci+1＝C_Ci+1，其中σ为容许误差；

(1-4)如果H_C的一致集C_C超过预先设定的阈值T,则认为当前一致集中的点对应关系都满足理想点对应关系的要求；否则，重复上述步骤，直到一致集能够满足条件；

(1-5)根据一致集中点对应的关系，利用直接线性变换求出最终射影矩阵H；

（2）采用动态参数法进行屏幕边界触点检测

为每个像素点确定图像增强系数A_(X，Y)和图像亮度阈值T_(X，Y)，这需要建立图像亮度B_(X，Y)与A_(X，Y)、T_(X，Y)的对应关系；采用基于参数矩阵的动态规划方法，可以得出B_(X，Y)与A_(X，Y)、T_(X，Y)满足下列关系：

$A_{(X,Y)}=A_{\max }-(B_{(X,Y)}-B_{\min })\×\frac{A_{\max }-A_{\min }}{B_{\max }-B_{\min }}$    （式2）

$T_{(X,Y)}=T_{\min }-(B_{(X,Y)}-B_{\min })\×\frac{T_{\max }-T_{\min }}{B_{\max }-B_{\min }}$    （式3）

其中B_max、B_min是桌面像素点亮度的最大值和最小值，A_max、A_min是允许的最大和最小图像增强系数，T_max、T_min是允许的最大和最小图像亮度阈值，根据桌面环境来设置设定这三种值；

（3）采用双阈值二值化算法去噪

（3-1）设置两个图像亮度阈值T_upper、T_lower（T_upper>T_lower），二值化后的桌面像素点亮度的最大值和最小值为B_upper、B_lower（B_upper>B_lower）；

（3-2）从位置(0,0)处开始遍历图像各像素点；

（3-3）当像素点(x,y)的亮度值B_(X,Y)>T_upper时，标记此点亮度值B_(X,Y)=B_upper，转到（3-4）；否则标记此点亮度值B_(X，Y)=B_lower；若到图像底部，则返回；

（3-4）对于该点八邻域内像素点(x+i,y+j),其中(i,j＝0,±1;i²+j²≠0)，若B_(x+i，y+j)＞T_lower，则B_(x+i，y+j)＝B_upper，否则B_(x+i，y+j)＝B_lower；对于点(x+i,y+j)执行递归（3-4）直至周围没有亮度点的值大于T_lower的点，转到（3-3）；

(4)采用径向对称法来进行触点检测和识别：

首先对像素点(原始图像)用梯度算子计算梯度图，然后分别对梯度图上的每一点计算一定范围的累积方向映射图和幅值映射图，最后通过卷积求和得到最终的径向对称强度值SN。

具体算法如下：

（4-1）输入分割好的像素点二值化图，用水平和垂直sobel梯度算子卷积，得出这两个方向的梯度图G；

（4-2）根据摄像头与投影仪上手指触点的平均距离设置最小和最大累积半径，min_r＜n＜max_r，初始化累积相关像素点方向映射图O_n和幅值映射图M_n；

（4-3）每个触点的径向对称结果S_n与映射图之间满足下列关系：

S_n＝F_n*A_n       （式4）

$F_n=\frac{M_n}{k_n}{\left(\frac{O_n}{k_n}\right)}^{\mathrm{\α}}$ 保留      （式5）

其中A_n为固定尺寸的二维高斯窗口，（式5）为F_n的计算公式，α为径向控制参数，k_n为尺度因子，二者用于归一化不同半径尺度；

（4-4）对最小和最大半径中的每一个n：根据（式4）计算卷积S_n；（4-5）对S_n累加求得SN。

本发明的有益效果在于：

1.利用随机采样一致性对摄像头坐标进行定位，可以大大的减小误差，并且径向失真小和切向畸变较小，能自动完成，不需要人工干预，进而达到良好的映***度。

2.采用动态参数实现屏幕边界触点检测，可以成功地识别屏幕边角的触点，也不会产生手指划过不同触摸区域时出现的轨迹断续现象，同时由于本算法与参数的动态化情况无关，只在程序启动时计算，因此能提高处理速度。

3.采用双阈值二值化算法对图像进行去噪时，当亮度值大于24时才认为是亮点，然后再递归地将周围亮度值大于10的像素点作为亮点，这样便既可以消除噪点的干扰，同时又可把更多的点判定为亮点，有利于之后判定有效触点。

4.采用径向对称法触点识别时，利用手指的形状特点，将触点区域类似指尖的可疑点准确排除，形成了稳定、鲁棒的触点检测方法，开销小，搭设简单，在低信噪比条件下能保持很好的可靠性。本发明的其他优点和效果在实施例中还会继续体现。

附图说明

图1——触点识别算法流程图。

图2——投影仪摄像机***的几何映射过程图。

图3——物理棋盘格图。

图4——摄像机坐标定位效果图。

图5——各像素点亮度值、阈值、增强系数图。

图6——采用动态参数方法的识别效果图。图6(a)为原始图像，标示出了手指触摸区域，分别在桌面中心位置和边角。图6(b)为动态参数处理后的图像。

图7——图7(a)和图7(b)均为亮点区域各亮度值像素点数量统计图。图7(a)和图7(b)都采用亮度值为10的阈值，将亮度值大于10的像素点标记为亮点，则都有部分区域二值化后被识别为亮点。

图8——两种二值化算法识别效果对比图。图8(a)是采用简单的二值化后的图像，图8(b)采用双阈值二值化后，消除了之前的噪点的图像。

图9——径向对称变换算法框图。

图10——（a）和(b)径向对称指尖检测效果图，是径向对称法对类似圆形物体的检测。

具体实施方式

下面结合附图和实施例，对本发明所述的技术方案作进一步的阐述。

图1为本发明算法流程图。在图1中，程序启动时首先对屏幕进行摄像头坐标定位，校准得到准确的坐标位置后，开始采集得到背景帧，然后连续不断地采集图像帧并与背景帧相减，得到差值图像。通过对该差值图像进行平滑、高通滤波、图像增强等处理后，采用动态参数法进行屏幕边界触点检测，再进行二值化去噪处理，从而能得到包含很多亮点区域的图像，采用径向对称法来触点检测和识别，经过触点的有效性判断后将触点信息传送给上层程序处理。

（1）摄像头坐标定位

摄像头坐标定位是摄像头后续操作的基础,投影仪与摄像机***的几何映射过程如图2所示。计算机输入给投影仪的待投射图像P中的某一点M(X,Y)，投射到投影仪屏幕上时在点P处成像并经过屏幕反射。被摄像机捕获时，生成图像中I(R,C)像素点。本发明采用基于随机采样一致性对摄像头坐标定位，使用如图3所示物理棋盘格（7×5，共有35个点），投影仪投射已知棋盘网格，摄像机拍摄到含投射图的场景，通过射影变换求解投影图到场景图中目标区域的映射关系，同时计算场景图到投影图的反变换，计算变换回的结果跟实际结果之间的差别，然后利用随机采样一致性方法求出最小误差点对。图4为摄像头捕捉到的投影仪投射的棋盘，并根据射影变换矩阵计算映射关系，绿色网格即为PC中原始投射图在场景图中的新位置，可以看到虽然摄像头和投影仪投射的图像不平行，造成了几何形变，但是映射建立的还是非常准确的。

（2）屏幕边界触点检测

传统DI方式中一个主要的问题是光照不均匀导致桌面边角的触点信号强度很低而无法识别。鉴于此问题，本发明采用动态参数法进行屏幕边界触点检测。为此，分析图像中心310×10像素区域的像素亮度值，设置31个10×10像素的触点区域，对每个触点区域设置合适的阈值和增强系数以达到识别触点的目的。在图5中，点线是各像素点的亮度值，可以看出两侧较暗；双折线是各像素点的增强系数，与亮度值相反，两侧增强系数较大；单折线是各像素点的阈值，与亮度的变化一致。根据亮度值、图像增强系数和阈值的关系来设定相应的值。通过这种方法，可以成功地识别桌面边角的触点，也不会产生手指划过不同触点区域时出现的轨迹断续现象。图6(a)为原始图像，标示出了手指触摸区域，分别在桌面中心位置和边角。图6(b)为动态参数处理后的图像，可以看出已识别出边角的触点。

（3）双阈值二值化

噪点主要来源于两个方面：一是环境光照的突变，一是手指触摸桌面时手臂对成像的影响。在统计分析同一区域触点和噪点周围20×20像素区域各亮度值的像素点数量后发现：如果图7(a)和图7(b)都采用亮度值为10的阈值，将亮度值大于10的像素点标记为亮点，则都有部分区域二值化后被识别为亮点；若采用亮度值24作为阈值，虽然可以不识别图7(b)中的噪点为亮点，但图7(a)识别到的亮点区域面积很小，不利于后续判断是否为有效触点和识别触点形状；如果采用两个阈值，当亮度值大于24时才认为是亮点，然后再递归地将周围亮度值大于10的像素点作为亮点，便既可以消除噪点的干扰，同时又可把更多的点判定为亮点，有利于之后判定有效触点。采用双阈值二值化算法有效地消除了噪点。图8(a)是采用简单的二值化后的图像，图像中有少量环境噪点，采用双阈值二值化后，消除了之前的噪点(图8(b)圆圈标注处)。

（4）径向对称法

手指在平面上运动时，其形状特征大致保持不变，整个指尖可以看作平行线和圆形基元的组合。设二值化得到的目标区域为1，背景区域为0，指尖区域具有明显的特征：(1)指尖末端近似于圆形，其直径为手指宽度；(2)以指尖外接圆圆心为中心的搜索区域内，指尖被一段占多数的非1像素和占小部分的非0像素构成的闭合区域包围。

本发明提出利用径向对称法先对分割好的手前景区域做预处理，然后得到梯度图并进行径向对称变换得到可能的指尖位置，最后利用手指的颜色信息进行排除，整个过程可用图9描述。

通过改变灰度梯度方向，可以分别针对亮对称区域和暗对称区域进行检测，假设灰度梯度的正方向是从暗指向亮的，只需通过计算梯度方向与其相应的映射点位置就可以检测近似圆形的几个候选点。

然而，在实际使用中，很可能出现背景存在和皮肤颜色类似的圆形物体。同时，人手本身也存在一些可能被判为指尖的类似圆形的部位。因此，还需排除一定的候选点。分析手指形状可以看到，由于手指为细长棒状，因此以指尖为圆心的圆，会贯穿手指，与手指相交的弧度处于一定范围内。对于单独的圆点，此圆不会出现相交的情况；对于手指弯曲凸出的关节，此弧度会大于普通的手指。据此，我们可以对筛选出的候选指尖做进一步的筛选。

弧度和探测圆的半径的选取以及手指的粗细有关，根据指尖圆形直径，也即手指的宽度d的大小，确定一个自适应的探测圆半径R。用θ表示手指与探测圆形重合形成的扇形的角度，如（式6）所示。正常手指的θ分布在30度至60度之间，大于此范围，或是重合范围为0的候选点，即可排除。

$\mathrm{\θ}=2\×\arcsin \left(\frac{d}{2R}\right)$      （式6）

从图10（a）(b)中可以看到径向对称法对类似圆形物体的检测，以及候选点的排除过程都非常有效。

本发明请求保护的范围并不仅仅局限于本具体实施方式的描述。

Claims (3)

1.一种改进的红外交互触点识别方法，其特征在于包括以下步骤：

(1)基于随机采样一致性对摄像头坐标定位；

(1-1)设S为定位过程中所有的投影仪与摄像头像素点形成的两平面对应关系的集合，其中包含了可能存在误差的点对；

射影变换公式x_i′＝Hx_i     （式1）

其中x_i和x_i′是一系列给定的两平面之间二维点的坐标序列，H为射影变换矩阵；

(1-2)从集合S中随机采样5组点对应关系，根据（式1）计算出这5组点对应关系

相应的射影矩阵H_C，初始化H_C对应的一致集C_C0＝0；

(1-3)计算S中所有的点对应关系

并进行下述判断：

(1-3-1)计算H_Cx_i;

(1-3-2)如果||H_Cx_i-x_i′||＜σ，则C_Ci+1＝C_Ci+1，其中σ为容许误差；

(1-4)如果H_C的一致集C_C超过预先设定的阈值T,则认为当前一致集中的点对应关系都满足理想点对应关系的要求；否则，重复上述步骤，直到一致集能够满足条件；

(1-5)根据一致集中点对应的关系，利用直接线性变换求出最终射影矩阵H；

（2）采用动态参数法进行屏幕边界触点检测

为每个像素点确定图像增强系数A_(X，Y)和图像亮度阈值T_(X，Y)，这需要建立图像亮度B_(X，Y)与A_(X，Y)、T_(X，Y)的对应关系；采用基于参数矩阵的动态规划方法，可以得出B_(X，Y)与A_(X，Y)、T_(X，Y)满足下列关系：

$A_{(X,Y)}=A_{\max }-(B_{(X,Y)}-B_{\min })\×\frac{A_{\max }-A_{\min }}{B_{\max }-B_{\min }}$    （式2）

$T_{(X,Y)}=T_{\min }-(B_{(X,Y)}-B_{\min })\×\frac{T_{\max }-T_{\min }}{B_{\max }-B_{\min }}$    （式3）

其中B_max、B_min是桌面像素点亮度的最大值和最小值，A_max、A_min是允许的最大和最小图像增强系数，T_max、T_min是允许的最大和最小图像亮度阈值，根据桌面环境来设置设定这三种值；

（3）采用双阈值二值化算法去噪

（3-1）设置两个图像亮度阈值T_upper、T_lower（T_upper>T_lower），二值化后的桌面像素点亮度的最大值和最小值为B_upper、B_lower（B_upper>B_lower）；

（3-2）从位置(0,0)处开始遍历图像各像素点；

（3-3）当像素点(x,y)的亮度值B_(X,Y)>T_upper时，标记此点亮度值B_(X,Y)=B_upper，转到（3-4）；否则标记此点亮度值B_(X，Y)=B_lower；若到图像底部，则返回；

（3-4）对于该点八邻域内像素点(x+i,y+j),其中(i,j＝0,±1;i²+j²≠0)，若B_(x+i，y+j)＞T_lower，则B_(x+i，y+j)＝B_upper，否则B_(x+i，y+j)＝B_lower；对于点(x+i,y+j)执行递归（3-4）直至周围没有亮度点的值大于T_lower的点，转到（3-3）；

(4)采用径向对称法来进行触点检测和识别：

首先对像素点(原始图像)用梯度算子计算梯度图，然后分别对梯度图上的每一点计算一定范围的累积方向映射图和幅值映射图，最后通过卷积求和得到最终的径向对称强度值SN。

2.根据权利要求1所述的改进的红外交互触点识别方法，其特征在于步骤(4)的具体算法如下：

（4-1）输入分割好的像素点二值化图，用水平和垂直sobel梯度算子卷积，得出这两个方向的梯度图G；

（4-2）根据摄像头与投影仪上手指触点的平均距离设置最小和最大累积半径，min_r＜n＜max_r，初始化累积相关像素点方向映射图O_n和幅值映射图M_n；

（4-3）每个触点的径向对称结果S_n与映射图之间满足下列关系：

Sn＝F_n*A_n        （式4）

$F_n=\frac{M_n}{k_n}{\left(\frac{O_n}{k_n}\right)}^{\mathrm{\α}}$       （式5）

其中A_n为固定尺寸的二维高斯窗口，（式5）为F_n的计算公式，α为径向控制参数，k_n为尺度因子，二者用于归一化不同半径尺度；

（4-4）对最小和最大半径中的每一个n：根据（式4）计算卷积S_n；

（4-5）对S_n累加求得SN。

3.根据权利要求1或2所述的改进的红外交互触点识别方法，其特征在于根据指尖圆形直径，也即手指的宽度d的大小，确定一个自适应的探测圆半径R；用θ表示手指与探测圆形重合形成的扇形的角度；正常手指的θ分布在30度至60度之间，大于此范围，或是重合范围为0的候选点，即可排除。

Images