CN103279225B - 投影式人机交互***及触控识别方法 - Google Patents

Abstract

本发明涉及人机交互技术领域，特别涉及一种投影式人机交互***及触控识别方法。该触控识别方法，包括步骤：单应性映射以及感兴趣区域提取：将摄像头拍摄的图像映射到投影仪图像平面，并提取按键边缘区域；按键形变检测：从所述感兴趣区域中检测按键的边缘，并计算指尖上的边缘偏移H_offset；触控判断：通过检测出的按键的边缘偏移判断指尖是否与投影平面发生了触碰。本发明具有识别速度快、精度高以及鲁棒性高等特点。

Description

投影式人机交互***及触控识别方法

技术领域

本发明涉及人机交互技术领域，特别涉及一种投影式人机交互***及触控识别方法。

背景技术

目前大多数便携式电子设备(例如手机、平板电脑等)都采用液晶显示器(LCD)作为人机界面的主要输出设备。由于受到便携式电子设备自身体积的限制，显示屏幕都做得比较小，这不便于用户在界面上进行人机交互。比如iPhone等智能手机上的虚拟键盘按键都比较小、而且很紧凑，用户使用起来有一种束手束脚的感觉，很容易点错按键，这极大地影响了人机交互的速度以及舒适度。如果采用大尺寸的显示屏幕，一方面可以获得高质量的显示图像，另一方面人机交互也更舒适、更方便。因此，大屏幕的手机在市场上更受欢迎。但是，显示屏幕的尺寸变大导致电子设备的便携性变差。投影式的人机交互***具有自身体积小、显示屏幕大的特点。具有投影功能的便携式电子设备(比如手机)，对消费者有很大的吸引力。在实际应用中，用户将手机界面投影到的物体表面，在物体表面上可以获得较大交互界面。目前的投影手机，例如三星的i8530，并不支持投影界面上的人机交互(例如手势识别、触控识别)。本发明利用手机上的单摄像头进行触控识别，并不需要嵌入其他的传感器设备，是一种低成本解决方案。

传统的触控识别核心思想是：前景分割，指尖提取，然后估计指尖与投影面之间的距离，判断指尖是否与交互界面发生了触碰。采用单摄像头检测测控的难度较大：不仅需要摄像头拍摄的2D图像中检测指尖，还需要测量指尖的3D坐标。其中，基于2D图像的投影屏幕上的指尖提取难点在于：1)投影图像会改变人手的颜色，在提取人手时，基于人手颜色特征方法失效；2)投影图像使得手与背景的对比度下降，手的轮廓变模糊，所以基于人手轮廓特征的方法效果也不好；3)另外，投影图像随时间发生变化，因此，不能采用背景差分提取前景。对于指尖的3D坐标提取，原理上可以采用结构光的方法。但是结构光的投影会影响到图像的显示质量，另外3D重建的复杂度较高，不适用于实时人机交互***。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是如何实现基于单摄像头的投影式人机交互***中的准确、实时、快速以及高鲁棒性的触控检测。

(二)技术方案

为解决上述问题，本发明提供一种投影式人机交互***，包括：投影模块，用于将人机交互界面投影到投影平面上；图像采集模块，用于监测投影区域中的人机交互动作，采集图像传输至控制与处理模块；控制与处理模块，用于配置所述投影模块的参数，并产生所述人机交互界面，将其传输至所述投影模块，以及，用于配置所述图像采集模块的参数，接收并处理所采集的图像，从中提取人机交互信息。

优选地，还包括：姿态感知模块，用于检测人机交互过程中所述***的姿态变化。

优选地，当所述***的姿态发生变化时，重新标定基于投影平面的、从摄像头图像平面到投影仪图像平面的单应性矩阵。

优选地，所述控制与处理模块还用于控制所述姿态感知模块，接收并分析姿态感知数据，当所述***的姿态发生变化时重新标定所述单应性矩阵。

优选地，所述姿态感知模块采用以下姿态传感器：加速度计、磁力计或陀螺仪。

本发明还提供一种基于上述任一种投影式人机交互***的触控识别方法，包括步骤：S1：单应性映射以及感兴趣区域提取：将摄像头拍摄的图像映射到投影仪图像平面，并提取按键边缘区域；S2：按键形变检测：从所述感兴趣区域中检测按键的边缘，并计算指尖上的边缘偏移H_offset；S3：触控判断：通过检测出的按键的边缘偏移判断指尖是否与投影平面发生了触碰。

优选地，所述步骤S2中的按键形变检测通过结合图像梯度的幅度以及梯度的方向判断检测出的边缘点是否属于按键的边缘的方式实现。

优选地，所述步骤S2中的按键边缘偏移量的估计方法为：以原始按键边缘点所在位置的径向为搜索路径，从原始边缘点出发检测到的第一个边缘点作为匹配的偏移边缘点，通过下述公式计算按键边缘的平均偏移量：

$H_{offset}=\frac{\underset{i}{\Σ}{\mathrm{\Δb}}_i}{K},{\mathrm{\Δb}}_i>b_{min}$

其中，Δbi为一个边缘像素点的偏移量，b_min是一个正阈值，K是偏移量大于b_min的边缘像素点的个数。

优选地，所述步骤S3中的触控判定准则为：

1)如果H_offset<h_min，不判定为触碰；

2)如果h_min<Hoff_set<h_max，判定为触碰；

3)如果Hoff_set>h_max，判定为手指悬空；

其中，h_min和h_max为触控判定阈值。

(三)有益效果

本发明的基于单摄像头的投影式人机交互***及触控识别方法中，通过按键边缘形变判断按键上方是否有指尖，并进一步通过按键边缘的偏移量估计指尖距离投影平面的距离，从而进行触控识别，这是一种新的、具有广泛应用的触控识别方法。

在识别方法中，将摄像头图像映射到投影仪图像平面，提高了按键边缘的检测精确度；同时，结合图像梯度的幅度以及梯度的方向，提出了一种按键边缘检测方法，能够减小噪声、手指边缘以及手指阴影的影响，准确、快速的检测出图形按键的边缘。另外，图像处理都是基于感兴趣区域，因而具有运算复杂度小、检测的精度更高的特点。因此，本触控识别方法具有速度快、精度高以及鲁棒性高等特点。

附图说明

图1为本发明一个实施例的基于单摄像头的投影式人机交互***框图；

图2为本发明另一个实施例的基于单摄像头的投影式人机交互***框图；

图3为本发明一个实施例的投影式人机交互***的工作流程图；

图4为本发明另一个实施例的投影式人机交互***的工作流程图；

图5为本发明实施例的在“投影仪-摄像头”***中投影像素点被指尖反射示意图；

图6为本发明实施例的指尖引起的按键边缘偏移示意图；

图7为本发明实施例的触控识别检测框图；

图8为本发明实施例的边缘检测示意图；

图9为本发明实施例的按键边缘匹配示意图；

图10为本发明实施例的触控判定对应的最小指尖高度以及最大指尖高度示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本发明实施例公开了一种基于单摄像头的投影式人机交互***，如图1所示，该人机交互***由投影模块103、图像采集模块104以及控制与处理模块102组成。

投影模块103，作为交互***的输出显示设备，将人机界面投影到日常生活中的物理平面(比如桌面、墙面、地面等)上。投影模块可以是基于DLP、LCoS、LCD以及Laser等技术的投影仪。

图像采集模块104，能够实时监测投影区域中的人机交互动作，采集图像传输至控制与处理模块102。为降低***成本，本实施例中，图像采集模块104采用的是普通RGB摄像头或者黑白摄像头。

控制与处理模块102，主要有2个功能：1)配置投影模块103的参数，并产生投影图像(人机界面)，通过数据通路将图像传输至投影模块103；2)配置图像采集模块104的参数，接收并处理摄像头采集的图像，从中提取出人机交互信息。

优选的，如图2所示，所述投影式人机交互***也可以包含姿态感知模块205。

姿态感知模块205，采用加速度计、磁力计、陀螺仪等姿态传感器实时检测交互过程中***的姿态变化。当***的姿态发生变化时，重新标定基于投影平面的、从摄像头图像平面到投影仪图像平面的单应性矩阵H_cp。

控制与处理模块202可以控制姿态感知模块205，接收并分析姿态感知数据，当***姿态发生变化时重新标定单应性矩阵H_cp。

在进行人机交互时，***的工作流程300如图2所示，包括：

步骤301，标定单应性矩阵H_cp。从摄像头图像平面到投影仪图像平面的像素映射关系可以用单应性矩阵进行描述。

优选的，可以采用棋盘格的方法标定单应性矩阵，标定过程为：1)向物理平面投影棋盘格，拍摄平面上的棋盘格图像P_c；2)检测P_c中的棋盘角点，得到投影图像平面与摄像头图像平面之间角点的映射关系；3)计算单应性矩阵H_cp。

步骤302，图像采集模块采集投影区域中的人机交互图像。

步骤303，进行触控识别。

步骤304，根据检测到的触控操作，做出响应，并更新交互界面。

优选的，如果投影式人机交互***中包括姿态感知模块，那么***的工作流程如图4所示，还包含步骤405，利用姿态感知***的数据判断***姿态是否发生了变化。如果***姿态发生了变化，需要重新标定单应性矩阵。

本发明实施例中还公开了一种基于单摄像头的投影式人机交互***的触控识别方法。

在人机界面中，投影到手指上按键边缘会发生偏移。本发明通过图形按键的边缘形变判断按键上方是否有指尖，并进一步通过按键边缘的偏移量估计指尖距离投影平面的距离，从而进行触控识别。

首先，从模型上进一步说明手指对投影像素点(按键)的影响。如图5所示，定义指尖上表面到投影平面之间的距离Δd为指尖的高度。根据“投影仪-摄像头”***模型，投射到投影平面上的点满足公式(1)，投射到指尖上表面上的像素点m_p满足公式(2)：

$m_c={\mathrm{\&gamma;K}}_c(R-\frac{{\mathrm{tn}}^T}{d})K_p^{-1}{m}_p---\left(1\right)$

${m_c}^{\&prime;}={\mathrm{\&gamma;K}}_c(R-\frac{{\mathrm{tn}}^T}{d-\mathrm{\&Delta;}d})K_p^{-1}{m}_p---\left(2\right)$

其中，R和t分别是从投影仪坐标系到摄像头坐标系的旋转矩阵和平移矩阵(又被称为投影仪摄像头***的外参数矩阵)，K_c和K_p分别是摄像头和投影仪的内参数矩阵，n为投影平面的归一化的法向向量，d为投影仪坐标系原点到投影平面的距离；m_p＝(x_p,y_p,1)^T是投影仪图像平面上成像点的齐次坐标，m_c＝(x_c,y_c,1)^T是投影仪上像素点mp经投影平面反射后，在摄像头图像平面上成像点的齐次坐标，m’_c＝(x_c,y_c,1)^T是投影仪上像素点m_p经手指上表面反射后，在摄像头图像平面上成像点的齐次坐标，γ是非零的归一化因子。另外，单应性矩阵可表示为：

$H_{pc}=K_c(R-\frac{{\mathrm{tn}}^T}{d})K_p^{-1}---\left(3\right)$

在摄像头图像平面上，如果投影图像中的像素点投射到指尖上，那么其位置将会从mc偏移到m’_c。通过单应性矩阵H_cp，将图像映射到投影仪图像平面处理可以降低匹配难度。

$\begin{array}{c}{m_p}^{\&prime;}=H_{pc}^{-1}{m_c}^{\&prime;}\\ ={\mathrm{\&gamma;K}}_p{(R-\frac{{\mathrm{tn}}^T}{d})}^{-1}(R-\frac{{\mathrm{tn}}^T}{d-\mathrm{\&Delta;}d})K_p^{-1}{m}_p\end{array}---\left(4\right)$

在投影仪图像平面上，像素点的偏移表示为：

$\begin{array}{c}{{\mathrm{\&Delta;m}}_p}^{\&prime;}={m_p}^{\&prime;}-m_p\\ -{\mathrm{\&gamma;K}}_p{(R-\frac{{\mathrm{tn}}^T}{d})}^{-1}(R-\frac{{\mathrm{tn}}^T}{d-\mathrm{\&Delta;}d})K_p^{-1}{m}_p-m_p\end{array}---\left(5\right)$

在绝大多数的应用环境中，Δd相比于d很小，因此公式(5)可以简化为：

${{\mathrm{\&Delta;m}}_p}^{\&prime;}\&ap;K_p{(R-\frac{{\mathrm{tn}}^T}{d})}^{-1}{\mathrm{tn}}^T{K}_p^{-1}{m}_p\&CenterDot;\frac{\mathrm{\&Delta;}d}{d^2}---\left(6\right)$

通过公式(6)，可以总结出像素点的偏移量(以下简称像素偏移)具有以下几个性质：

1.在投影图像平面上，像素偏移与指尖的高度近似成线性关系；

2.像素偏移与投影图像的像素坐标m_p有关；

3.像素偏移与投影仪到投影平面的距离平方成反比。

另外，公式(6)告诉我们，可以通过检测投影像素点在指尖上的偏移量(单位：pixels)来推测指尖的高度，而且指尖的高度与像素偏移近似成线性关系。利用公式(6)计算指尖的高度，但是这一工作在很多时候没有必要，因为从某种程度上可以将像素偏移当作指尖的高度，即：

Δd≈χ·Δm_p'(7)

其中，χ为***参数和投影平面参数决定的、将像素偏移量转换为指尖高度的系数。

优选的，按键可以是方形、圆形按键。图6(a)是摄像头拍摄到的原始图形按键。如图6(b)所示，当手指敲击按键时，投影到手指上的按键边沿发生了偏移。本发明充分利用这一特点，通过检测按键边缘的偏移进行触控识别。但是，当手指悬空时，投影到手指上的按键边沿也会发生偏移，如图6(c)所示。因此，该方法需要解决的一个问题是判断按键的形变是由指尖悬空引起，还是指尖敲击按键引起。

本发明实施例中，还公开了上述触控识别方法的识别流程，下面以按键作为交互对象说明触控识别流程。

触控识别方法分为三个阶段：1)单应性映射以及感兴趣区域(regionofinterest,ROI)提取；2)按键形变检测；3)触控判断。如图7所示，单应性映射以及感兴趣区域(regionofinterest,ROI)提取指的是将摄像头拍摄图像映射到PDP平面，并提取按键边缘区域；按键形变检测指的是从ROI区域中检测按键边缘，并计算指尖上的按键边缘偏移；最后，通过检测出的按键边缘偏移判断指尖是否与投影面发生了触碰。下面，分别对每一阶段的实现进行介绍。

1.单应性映射以及ROI提取

首先，摄像头拍摄包含投影区域以及人机交互动作的图像，接着将RGB图像转换成灰度图。然后，利用标定过程中测量的单应性矩阵Hcp，将图像从CIP平面映射到PDP平面。然后，从映射后的图像中提取感兴趣图像区域(ROI)，ROI定义为以原始按键边缘为中心的邻近区域(±ΔL的区域)。由于手指的影响，按键边缘会偏离原始位置，因此，需要保证ΔL大于按键边缘偏移量。相比于整幅图像，在ROI中检测按键边缘具有以下优势：1)运算复杂度小；2)检测的精度更高；3)在整幅图像中，检测出边缘之后需要与按键对应，判断检测到的是哪个按键的边缘，这个过程中可能发生匹配出错的现象，而在ROI中检测到的边缘都有明确的按键与之对应，不需要进行匹配。

优选的，感兴趣区域(ROI)也可以是整幅图像，以便从图像中获取最大信息。

2.按键形变检测

基于边缘检测的思路，可以检测出按键轮廓，从而估计出按键的形变。不过，由于1)摄像头引起的噪声、环境中的噪声；2)手指边缘的影响以及手指阴影的影响，经典的边缘提取算法(例如canny算法、基于Laplace算子的边缘检测等)并不适用于检测按键边缘。如图8(c)所示，即为采用canny算子的边缘检测结果，可以看到指尖的边缘以及阴影也被检测出来了。本发明实施例中公开了一种类似于canny检测的算法，该算法的分为三个步骤：

1)计算ROI图像f(x,y)在每一个位置(x,y)的梯度，梯度的幅度为：

$g(x,y)=\left|G_x\right|+\left|G_y\right|=\left|\frac{\&part;f}{\&part;x}\right|+\left|\frac{\&part;f}{\&part;y}\right|---\left(8\right)$

梯度的方向是：

α(x,y)＝arctan(G_x/G_y)(9)

可以利用传统的边缘检测算子(例如Sobel,Prewitt,Roberts等)计算梯度的幅度以及方向。

2)连接按键边缘点。如果图像中的像素点满足不等式：

g(x,y)>E,and|α(x,y)-α₀(x,y)|<A(10)

那么该点是按键的边缘上的像素点。其中，E和A是非负的阈值，α₀(x,y)是(x,y)处原始按键边缘的垂直方向(即梯度方向)。但是，由于噪声以及手指边缘的影响，某些按键边缘点可能被漏检。此时，我们在按键边缘的原始位置填充该漏检的像素点，然后将所有的按键边缘点连接起来。从图8(b)中看到，手指边缘以及手指的阴影也满足公式(10)中的第一个不等式(梯度幅度满足要求)，因此，需要通过梯度的方向，判断是否属于按键边缘。图8(d)是结合梯度幅度约束和梯度方向约束，检测到的按键边缘，可以看到该检测结果基本抑制了手指边缘和手指阴影的影响。

3)通过检测到的按键边缘，估计按键的形变程度。采用按键边缘偏移Hoff_set描述按键的形变程度，按键边缘偏移指的是按键边缘相对于原始位置的平均偏移。

优选的，选用按键说明交互对象形变的定量描述方法。按键是由许多像素点组成，这些像素点满足像素偏移性质1、2、3。定义：从投影图像平面上检测到的按键边缘点相对于原始按键边缘点的平均像素偏移量，称为按键边缘偏移。采用按键边缘偏移可以准确地描述按键边缘在指尖上的形变大小。下面，介绍按键边缘偏移的数学描述方式，以及如何通过原始按键边缘以及形变后的按键边缘计算按键边缘偏移。

假设在投影图像平面上，原始按键边缘点的集合为B，即

B＝{b₁,b₂...b_i...b_N},andb_i＝(x_i,y_i)(11)

其中，这些边缘点都以像素为单位进行量化，即xi和yi为整数。

按键由于手指或其他因素的影响发生了形变，为了量化按键边缘的像素偏移，需要将原始的边缘点与形变后的边缘点匹配起来。本发明提出的匹配方法为：以原始按键边缘点所在位置的径向为搜索路径，检测与之匹配的偏移边缘点。图9以方形按键和圆形按键为例，说明了如何将原始按键边缘点与形变后的按键边缘点进行匹配。

按照上述匹配方法，可以找出与原始按键边缘点集合B对应的形变按键边缘点集合B’，B’表示为：

B'＝{b₁',b₂'...b_i'...b'_N},andb_i'＝(x_i',y_i')(12)

在欧几里得空间下，可以计算出每一个边缘像素点的偏移量Δbi

Δb_i＝||b′_i-b_i||₂(13)

按键边缘偏移可以表示为

$H_{offset}=\frac{\underset{i}{\&Sigma;}{\mathrm{\&Delta;b}}_i}{K},{\mathrm{\&Delta;b}}_i>b_{min}---\left(14\right)$

其中，Δbi为一个边缘像素点的偏移量，b_min是一个正阈值，K是偏移量大于b_min的边缘像素点的个数。

按键边缘偏移描述的是在边缘像素点偏移的平均值，该参数能够很好地描述在指尖上的按键边缘的平均偏移量。将按键边缘偏移带入公式(6)，可以计算出投影在手上的边缘像素点的平均高度。

3.触控判断

最后，通过与按键偏移量对应的两个阈值h_max和h_min来判断指尖是否与投影面接触。本发明申请采用一个阈值范围来定义触碰。如图10所示，***假定用户指尖与投影面接触时，指尖高度在Δd_min与Δd_max之间。如果指尖高度大于Δd_max，判定指尖处于悬空状态；如果指尖高度大于Δd_min，而且小于Δd_max，判定指尖与投影平面接触。公式(6)描述了指尖高度与指尖上的按键边缘偏移量之间的关系，利用该公式，可以通过Δd_min、Δd_max计算出对应的h_min、h_max。在检测出按键边缘偏移量H_offset之后，通过阈值h_max和h_min来判断触碰，判定准则如下：

1)如果H_offset<h_min，不判定为触碰(因为，该按键边缘虽然存在偏移但是偏移量太小，可能是噪声等因素引起的，不具有手指触碰的偏移特征)；

2)如果h_min<H_offset<h_max，判定为触碰；

3)如果H_offset>h_max，判定为手指悬空。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本发明的保护范围。

Claims (8)

1.一种基于单摄像头的触控识别方法，其特征在于，包括步骤：

S1：单应性映射以及感兴趣区域提取：将摄像头拍摄的图像映射到投影仪图像平面，并提取按键边缘区域；

S2：按键形变检测：从所述感兴趣区域中检测按键的边缘，并计算按键边缘的平均偏移量H_offset；

S3：触控判断：通过检测出的按键边缘的平均偏移量判断指尖是否与投影平面发生了触碰；

所述步骤S2中的按键边缘的平均偏移量的估计方法为：以原始按键边缘点所在位置的径向为搜索路径，从原始按键边缘点出发检测到的第一个边缘像素点作为匹配的偏移边缘像素点，通过下述公式计算按键边缘的平均偏移量：

$H_{ofset}=\frac{\underset{i}{\&Sigma;}{\mathrm{\&Delta;b}}_i}{K},{\mathrm{\&Delta;b}}_i>b_{\min }$

其中，Δb_i为一个边缘像素点的偏移量，b_min是一个正阈值，K是偏移量Δb_i大于b_min的边缘像素点的个数。

2.根据权利要求1所述的触控识别方法，其特征在于，所述步骤S2中的按键形变检测通过结合图像梯度的幅度以及梯度的方向判断检测出的边缘点是否属于按键的边缘的方式实现。

3.根据权利要求1所述的触控识别方法，其特征在于，所述步骤S3中的触控判定准则为：

1)如果H_offset<h_min，不判定为触碰；

2)如果h_min<H_offset<h_max，判定为触碰；

3)如果H_offset>h_max，判定为手指悬空；

其中，h_min和h_max为触控判定阈值。

4.一种采用如权利要求1-3任一项所述的触控识别方法的投影式人机交互***，其特征在于，包括：

投影模块，用于将人机交互界面投影到投影平面上；

图像采集模块，用于监测投影区域中的人机交互动作，采集图像传输至控制与处理模块；

控制与处理模块，用于配置所述投影模块的参数，并产生所述人机交互界面，将其传输至所述投影模块，以及，用于配置所述图像采集模块的参数，接收并处理所采集的图像，从中提取人机交互信息。

5.根据权利要求4所述的投影式人机交互***，其特征在于，还包括：

姿态感知模块，用于检测人机交互过程中所述***的姿态变化。

6.根据权利要求5所述的投影式人机交互***，其特征在于，当所述***的姿态发生变化时，重新标定基于投影平面的、从摄像头图像平面到投影仪图像平面的单应性矩阵。

7.根据权利要求6所述的投影式人机交互***，其特征在于，所述控制与处理模块还用于控制所述姿态感知模块，接收并分析姿态感知数据，当所述***的姿态发生变化时重新标定所述单应性矩阵。

8.根据权利要求5所述的投影式人机交互***，其特征在于，所述姿态感知模块采用以下姿态传感器：加速度计、磁力计或陀螺仪。