CN103955316A - 一种指尖触碰检测***及方法 - Google Patents

Abstract

本发明提供了一种指尖触碰检测***和方法，该***包括投影界面处理单元，用于接收外部输入的人机交互界面信息，并将人机交互界面信息输出给投影单元；投影单元，用于将人机交互界面信息投影至投影平面；图像传感单元，用于采集投影区域图像，并将投影区域图像发送给图像处理单元；图像处理单元，用于判断投影区域图像中是否含有指尖，并在含有指尖时计算指尖与人机交互界面的距离及其在人机交互界面中的位置信息；触碰检测单元，包括判断执行模块、成像面上光心映射位置计算模块、指尖最低点获取模块、阴影前端点获取模块以及指尖触碰判断模块，用于判断触碰及输出触碰消息。该发明能够实现低成本、低功耗、高精度的触碰检测。

Description

一种指尖触碰检测***及方法

技术领域

本发明涉及计算机技术领域，具体涉及一种指尖触碰检测***及方法。

背景技术

近年来，随着智能手机、平板电脑及谷歌眼睛的出现，人们与数字世界的沟通越趋紧密，而这也进一步促进了智能设备的微型化。受传统显示设备体积的限制，依靠传统显示器的智能设备已无法进一步微型化，人们因而将注意力转移至投影式显示设备中。

为了实现对投影屏幕触碰动作的判断，近年来出现了许多新的人机交互***及方法，主要分为两类，一类是在投影图像中隐含条纹式结构光并通过条纹的偏移量来判断是否发生触碰事件。该***主要缺陷在于需要具有高帧率的投影设备隐含条纹结构光来实现触碰判断。另一类是在投影人机交互界面图像的同时，采用深度相机采集投影面和触控物的空间信息，计算出投影面和触控物间距离后，通过距离阈值判断触碰事件是否发生。该***的缺陷是需要使用深度传感器采集深度信息，而深度传感器的分辨率目前还较低，从而导致该***精度不高。另外，采用深度传感器还将导致***的成本较高、体积较大、功耗较高。

发明内容

针对现有技术的不足，本发明提供一种指尖触碰检测***及方法，能够实现低成本、低功耗、高精度的触碰检测。

为实现上述目的，本发明通过以下技术方案予以实现：

一种指尖触碰检测***，该***包括：

投影界面处理单元，用于接收外部输入的人机交互界面信息，并将接收的人机交互界面信息输出给投影单元；

投影单元，用于将人机交互界面信息投影至投影平面；

图像传感单元，用于采集投影平面上的投影区域图像，并将采集到的投影区域图像发送给图像处理单元；

图像处理单元用于判断投影区域图像内是否含有指尖，并在含有指尖时计算指尖与人机交互界面的距离及其在人机交互界面中的位置信息；若所述指尖与人机交互界面的距离小于等于第一门限值，输出触碰信息至触碰检测单元；否则输出含指尖的投影区域图像和指尖在人机交互界面中的位置信息至触碰检测单元；

图像处理单元还用于获取***内参数、***固有外参数、***可变外参数和投影单元与图像传感单元间的单应性矩阵，并将所述***内参数、***固有外参数、***可变外参数和投影单元与图像传感单元间的单应性矩阵输出至触碰检测单元；

其中***内参数为投影单元和图像传感单元的光心位置参数；***固有外参数为投影单元和图像传感单元间相对空间位置和姿态关系参数；***可变外参数为图像传感单元及投影单元与投影平面之间的相对空间位置与姿态关系参数；

触碰检测单元，包括判断执行模块、成像面上光心映射位置计算模块、指尖最低点获取模块、阴影前端点获取模块以及指尖触碰判断模块，其中，

判断执行模块，用于当接收来自图像处理单元的输出信息为触碰信息时，直接输出触碰信息，若接收来自图像处理单元的输出信息为含指尖的投影区域图像和指尖在人机交互界面中的位置信息时，执行成像面上光心映射位置计算模块；

成像面上光心映射位置计算模块，用于接收图像处理单元输出的***固有外参数、***可变外参数、***固有内参数以及投影单元与图像传感单元间单应性矩阵，将所述接收到的参数通过几何计算获取图像传感单元平面上过图像传感单元光心且垂直于投影平面的直线与投影面的交点b以及过投影单元光心与图像传感单元光心的直线与投影面的交点a位置信息，并将以上两交点信息输出至所述指尖最低点获取模块及所述阴影前端点获取模块；

指尖最低点获取模块，用于接收图像处理单元输出的含指尖的投影区域图像和指尖在人机交互界面中的位置信息以及来自所述成像面上光心映射位置计算模块输出的交点b的位置信息，利用指尖在人机交互界面中可能发生触碰的区域信息及指尖的颜色信息获取指尖并对指尖进行边缘检测获取指尖边缘，对指尖边缘进行圆拟合拟合出圆心o，连接圆心o与交点b，直线ob与指尖边缘交点即定义为指尖最低点f,设其在图像传感单元成像面上的坐标为并将指尖最低点f的位置信息输出至所述阴影前端点获取模块；

阴影前端点获取模块，用于接收图像处理单元输出的含指尖的投影区域图像和指尖在人机交互界面中的位置信息及接收来自所述成像面上光心映射位置计算模块输出的交点a的位置信息、所述指尖最低点获取模块输出的指尖最低点f的位置信息，利用阴影在HSV颜色空间中的特征获取指尖阴影区域，通过连接交点a与指尖最低点f，连线与阴影边缘处交点即为阴影前端点s，设其在图像传感单元成像面上的坐标为并输出指尖最低点f及阴影前端点s位置信息至所述指尖触碰判断模块；

指尖触碰判断模块，用于接收所述图像处理单元输出的投影单元与图像传感单元间单应性矩阵，以及来自所述阴影前端点获取模块输出的指尖最低点位置、阴影前端点位置，通过投影单元与图像传感单元间单应性矩阵计算出阴影前端点在投影单元平面上的位置利用图像处理单元输出的***固有内、外参数可获取图像传感单元与投影单元间的旋转矩阵R及平移矩阵T，计算出同一坐标系下的投影单元光心位置及图像传感单元光心位置，设统一到图像传感单元光心坐标系下，图像传感单元光心为(0,0,0)，投影单元光心为T_c→p，指尖最低点为阴影前端点为其中R_p→c为3x3由投影单元坐标系到图像传感单元坐标系的旋转矩阵，T_c→p为1x3由图像传感单元坐标系到投影单元坐标系的平移矩阵，f_c、f_p分别为图像传感单元与投影单元焦距，和分别为经过图像传感单元与投影单元内参数校正后的和根据图像传感单元成像面上指尖最低点位置、投影单元成像面上阴影前端点位置及图像传感单元光心与投影单元光心位置，则空间中过投影单元光心、投影单元平面上阴影前端点的直线[x^c,y^c,z^c]＝λ₁v₁+T_c→p与过图像传感单元光心、图像传感单元平面上指尖最低点的直线[x^c,y^c,z^c]＝λ₂v₂交点的空间坐标为λ₂'v₂，并将该交点位置作为指尖位置，其中 $v_1=(x_s^{p\′},y_s^{p\′},f_p),v_2=(x_f^{c\′},y_f^{c\′},f_c),$ λ₁、λ₂为比例系数，则λ₂'为定值且满足 $\left(\begin{array}{c}{{\mathrm{\λ}}^{\′}}_1\\ {{\mathrm{\λ}}^{\′}}_2\end{array}\right)={\left(\begin{array}{cc}{\left|\right|v_1\left|\right|}^2& -v_1^t{v}_2\\ -v_2^t{v}_1& {\left|\right|v_2\left|\right|}^2\end{array}\right)}^{-1}\left(\begin{array}{c}-v_1^t{T}_{c\→p}\\ v_2^t{T}_{c\→p}\end{array}\right),$ 是v₁的转置矩阵，是v₂的转置矩阵，最后通过***可变外参数计算出投影面方程，以法向量n^c和单点p^c表示，计算获取上述交点与投影面间距离当距离小于第二门限值时，判断为触碰操作；当发生触碰操作时，指尖触碰判断模块还将根据接收的图像传感单元与投影单元之间的单应性矩阵，继而计算获得触碰点在投影的人机交互界面中的坐标位置，并输出指尖触碰信息，指尖触碰信息至少包括指尖触碰原始投影的人机交互界面中的位置坐标信息；

控制单元，用于控制***中的所有其他单元，并协调所有其他单元的工作；控制单元还可控制***处于***固有内、外参数获取状态、***可变参数获取状态以及指尖获取与碰触操作状态。

其中，当外部输入的人机交互界面中存在具有明显特征的点、线或面信息时，所述投影界面处理单元还用于从外部输入的人机交互界面信息中提取第一特征信息，并把第一特征信息输出至图像处理单元,其中第一特征信息包括特征点、线和面，以及特征点、线和面在界面中的坐标位置；

所述图像处理单元用于从图像传感单元输出的投影区域图像上提取第二特征信息，其中第二特征信息包括特征点、线和面；

图像处理单元将第二特征信息和所述第一特征信息进行比对，根据第二特征信息相对于第一特征信息中的特征点、线或面是否发生形变，判断投影区域内是否含有指尖，并计算形变处的指尖离人机交互界面的距离及其在投影区域中的位置信息。

其中，当外部输入的人机交互界面中不存在具有明显特征的点、线或面信息时，所述投影界面处理单元还用于从外部输入的人机交互界面信息中提取第三特征信息，并把第三特征信息输出至图像处理单元,其中第三特征信息包括投影的人机交互界面的边界；

所述图像处理单元用于从图像传感单元输出的投影区域图像上提取第四特征信息，其中第四特征信息包括人机交互界面的边界；

图像处理单元将第三特征信息和所述第四特征信息进行比对，根据第三特征信息相对于第四特征信息是否发生形变，判断投影区域内是否含有指尖，并计算形变处的指尖离人机交互界面的距离以及指尖在人机交互界面中的位置信息。

其中，在所述投影界面处理单元和投影单元之间设置有投影接口模块，用于对接收的人机交互界面信息进行形状预失真校正处理。

其中，在所述图像传感单元和图像处理单元之间设置有图像传感接口模块，用于对采集的图像进行光学畸变校正处理。

一种基于所述指尖触碰检测***的指尖触碰检测方法，该方法包括：

步骤S1：投影界面处理单元接收外部输入的人机交互界面信息，并将接收的人机交互界面信息输出给投影单元；

步骤S2：投影单元将人机交互界面信息投影至投影平面；

步骤S3：图像传感单元采集投影平面上的投影区域图像，并将该投影区域图像发送给图像处理单元；

步骤S4：图像处理单元获取***内参数、***固有外参数和***可变外参数，并利用所述***固有外参数和***可变外参数计算投影单元与图像传感单元间的单应性矩阵；

其中***内参数为投影单元和图像传感单元的光心位置参数；***固有外参数为投影单元和图像传感单元间相对空间位置和姿态关系参数；***可变外参数为图像传感单元及投影单元与投影平面之间的相对空间位置与姿态关系参数；

步骤S5：图像处理单元判断投影区域图像上是否含有指尖，并在含有指尖时计算指尖与人机交互界面的距离；若所述指尖与人机交互界面的距离小于等于第一门限值，输出触碰信息至碰触检测单元；否则输出含指尖的投影区域图像和指尖在人机交互界面中的位置信息至触碰检测单元；

步骤S6：当触碰检测单元接收来自图像处理单元的输出信息为触碰信息时，直接输出触碰信息，若接收来自图像处理单元的输出信息为含指尖的投影区域图像和指尖在人机交互界面中的位置信息时，获取指尖位置，判断指尖是否触碰，若触碰则输出触碰信息，具体为：接收图像处理单元输出的***固有外参数、***可变外参数、***固有内参数以及投影单元与图像传感单元间单应性矩阵，将所述接收到的参数通过几何计算获取图像传感单元平面上过图像传感单元光心且垂直于投影平面的直线与投影面的交点b以及过投影单元光心与图像传感单元光心的直线与投影面的交点a位置信息；利用指尖在人机交互界面中可能发生触碰的区域信息及指尖的颜色信息获取指尖并对指尖进行边缘检测获取指尖边缘，对指尖边缘进行圆拟合拟合出圆心o，连接圆心o与交点b，直线ob与指尖边缘交点即定义为指尖最低点f,设其在图像传感单元成像面上的坐标为利用阴影在HSV颜色空间中的特征获取指尖阴影区域，通过连接交点a与指尖最低点f，连线与阴影边缘处交点即为阴影前端点s，设其在图像传感单元成像面上的坐标为通过投影单元与图像传感单元间单应性矩阵计算出阴影前端点在投影单元平面上的位置利用图像处理单元输出的***固有内、外参数可获取图像传感单元与投影单元间的旋转矩阵R及平移矩阵T，计算出同一坐标系下的投影单元光心位置及图像传感单元光心位置，设统一到图像传感单元光心坐标系下，图像传感单元光心为(0,0,0)，投影单元光心为T_c→p，指尖最低点为阴影前端点为其中R_p→c为3x3由投影单元坐标系到图像传感单元坐标系的旋转矩阵，T_c→p为1x3由图像传感单元坐标系到投影单元坐标系的平移矩阵，f_c、f_p分别为图像传感单元与投影单元焦距，和分别为经过图像传感单元与投影单元内参数校正后的和根据图像传感单元成像面上指尖最低点位置、投影单元成像面上阴影前端点位置及图像传感单元光心与投影单元光心位置，则空间中过投影单元光心、投影单元平面上阴影前端点的直线[x^c,y^c,z^c]＝λ₁v₁+T_c→p与过图像传感单元光心、图像传感单元平面上指尖最低点的直线[x^c,y^c,z^c]＝λ₂v₂交点的空间坐标为λ₂'v₂，并将该交点位置作为指尖位置，其中 $v_1=(x_s^{p\′},y_s^{p\′},f_p),v_2=(x_f^{c\′},y_f^{c\′},f_c),$ λ₁、λ₂为比例系数，则λ₂'为定值且满足 $\left(\begin{array}{c}{{\mathrm{\λ}}^{\′}}_1\\ {{\mathrm{\λ}}^{\′}}_2\end{array}\right)={\left(\begin{array}{cc}{\left|\right|v_1\left|\right|}^2& -v^t{v}_1\\ -v_2^{t}v& \left|\right|v\left|\right|_2^1\end{array}\right)}_2^{-1}\left(\begin{array}{c}-v_1^t{}_2{T}_{c\→p}\\ v_2^t{T}_{c\→p}\end{array}\right),$ 是v₁的转置矩阵，是v₂的转置矩阵，最后通过***可变外参数计算出投影面方程，以法向量n^c和单点p^c表示，计算获取上述交点与投影面间距离当距离小于第二门限值时，判断为触碰操作；当发生触碰操作时，指尖触碰判断模块还将根据接收的图像传感单元与投影单元之间的单应性矩阵，继而计算获得触碰点在投影的人机交互界面中的坐标位置，并输出指尖触碰信息，指尖触碰信息至少包括指尖触碰原始投影的人机交互界面中的位置坐标信息。

其中，步骤S4中所述图像处理单元判断投影区域图像上是否含有指尖包括：

当外部输入的人机交互界面中存在具有明显特征的点、线或面信息时，所述投影界面处理单元还用于从外部输入的人机交互界面信息中提取第一特征信息，并把第一特征信息输出至图像处理单元,其中第一特征信息包括特征点、线和面，以及特征点、线和面在界面中的坐标位置；

所述图像处理单元用于从图像传感单元输出的投影区域图像上提取第二特征信息，其中第二特征信息包括特征点、线和面；

图像处理单元将第二特征信息和所述第一特征信息进行比对，根据第二特征信息相对于第一特征信息中的特征点、线或面是否发生形变，判断投影区域内是否含有指尖，并计算形变处的指尖离人机交互界面的距离及其在投影区域中的位置信息。

其中，步骤S4中所述图像处理单元判断投影区域图像是否含有指尖包括：

当外部输入的人机交互界面中不存在具有明显特征的点、线或面信息时，所述投影界面处理单元还用于从外部输入的人机交互界面信息中提取第三特征信息，并把第三特征信息输出至图像处理单元,其中第三特征信息包括投影的人机交互界面的边界；

所述图像处理单元用于从图像传感单元输出的投影区域图像上提取第四特征信息，其中第四特征信息包括人机交互界面的边界；

图像处理单元将第三特征信息和所述第四特征信息进行比对，根据第三特征信息相对于第四特征信息是否发生形变，判断投影区域内是否含有指尖，并计算形变处的指尖离人机交互界面的距离及其在投影区域中的位置信息。

其中，在所述投影界面处理单元将接收的人机交互界面信息输出给投影单元之前，对接收的人机交互界面信息进行形状预失真校正处理。

其中，在图像传感单元将采集的图像发送给图像处理单元之前，对采集的图像进行光学畸变校正处理。

本发明至少具有如下的有益效果：

1、本发明仅利用一个普通的投影单元和一个普通的图像传感单元即可完成对指尖是否触碰投影平面的判断，实现了低成本、低功耗、高精度的触摸检测，另外，由于本发明不需要采用深度传感器，因此***的体积也较小。

2、本发明所述的指尖触碰检测算法不受人机交互界面中特征信息的影响，即便交互界面中没有明显的点、线或其它规则图形或图像等基本特征单元，该算法也能很好的实施。

3、本发明所述的指尖触碰检测检测算法不依赖于图像特征信息，投影仪无需投射显性或者隐性的结构光，因此对图像传感单元及投影单元的采集帧率要求不高，使得算法更具普适性；

4、本发明所述的指尖触碰检测检测算法通过计算指尖与投影面间距离作为触碰判断的依据，因此该触碰检测算法受指尖自身厚度影响不大，触碰检测准确度高。

当然，实施本发明的任一方法或产品不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的指尖碰触检测***的结构示意图；

图2为本发明实施例的有触控物和无触控物的特征条纹形变示意图；

图3为本发明实施例的投影单元光心和图像处理单元光心相对投影面的位置示意图；

图4为本发明实施例的指尖最低点及阴影前端点位置示意图；

图5为本发明实施例触碰判断方法的原理图；

图6为本发明实施例的指尖触碰检测方法的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提出了一种指尖触碰检测***，参见图1，包括：

投影界面处理单元101，用于接收外部输入的人机交互界面信息，并将接收的人机交互界面信息输出给投影单元；

投影单元102，用于将人机交互界面信息投影至投影平面；

图像传感单元103，用于采集投影平面上的投影区域图像，并将该投影区域图像发送给图像处理单元；

图像处理单元104用于判断投影区域图像内是否含有指尖，并在含有指尖时计算指尖与人机交互界面的距离以及指尖在人机交互界面中的位置信息；若所述指尖与人机交互界面的距离小于等于第一门限值，输出触碰信息至触碰检测单元；否则输出含指尖的投影区域图像和指尖在人机交互界面中的位置信息至触碰检测单元；

图像处理单元104还用于获取***内参数、***固有外参数、***可变外参数和投影单元与图像传感单元间的单应性矩阵，并将所述***内参数、***固有外参数、***可变外参数和投影单元与图像传感单元间的单应性矩阵输出至触碰检测单元；

其中***内参数为投影单元和图像传感单元的光心位置参数；***固有外参数为投影单元和图像传感单元间相对空间位置和姿态关系参数；***可变外参数为图像传感单元及投影单元与投影平面之间的相对空间位置与姿态关系参数；

触碰检测单元105，包括判断执行模块、成像面上光心映射位置计算模块、指尖最低点获取模块、阴影前端点获取模块以及指尖触碰判断模块，其中，

判断执行模块，用于当接收来自图像处理单元的输出信息为触碰信息时，直接输出触碰信息，若接收来自图像处理单元的输出信息为含指尖的投影区域图像和指尖在人机交互界面中的位置信息时，执行成像面上光心映射位置计算模块；

成像面上光心映射位置计算模块，用于接收图像处理单元输出的***固有外参数、***可变外参数、***固有内参数以及投影单元与图像传感单元间单应性矩阵，将所述接收到的参数通过几何计算获取图像传感单元平面上过图像传感单元光心且垂直于投影平面的直线与投影面的交点b以及过投影单元光心与图像传感单元光心的直线与投影面的交点a位置信息，如图3所示，并将以上两交点信息输出至所述指尖最低点获取模块及所述阴影前端点获取模块；

指尖最低点获取模块，用于接收图像处理单元输出的含指尖的投影区域图像和指尖在人机交互界面中的位置信息以及来自所述成像面上光心映射位置计算模块输出的交点b的位置信息，利用指尖在人机交互界面中可能发生触碰的区域信息及指尖的颜色信息获取指尖并对指尖进行边缘检测获取指尖边缘，对指尖边缘进行圆拟合拟合出圆心o，连接圆心o与交点b，直线ob与指尖边缘交点即定义为指尖最低点f,设其在图像传感单元成像面上的坐标为并将指尖最低点f的位置信息输出至所述阴影前端点获取模块；

阴影前端点获取模块，用于接收图像处理单元输出的含指尖的投影区域图像和指尖在人机交互界面中的位置信息及接收来自所述成像面上光心映射位置计算模块输出的交点a的位置信息、所述指尖最低点获取模块输出的指尖最低点f的位置信息，如图4所示，利用阴影在HSV颜色空间中的特征获取指尖阴影区域，通过连接交点a与指尖最低点f，连线与阴影边缘处交点即为阴影前端点s，设其在图像传感单元成像面上的坐标为并输出指尖最低点f及阴影前端点s位置信息至所述指尖触碰判断模块；

指尖触碰判断模块，用于接收所述图像处理单元输出的投影单元与图像传感单元间单应性矩阵，以及来自所述阴影前端点获取模块输出的指尖最低点位置、阴影前端点位置，通过投影单元与图像传感单元间单应性矩阵计算出阴影前端点在投影单元平面上的位置利用图像处理单元输出的***固有内、外参数可获取图像传感单元与投影单元间的旋转矩阵R及平移矩阵T，计算出同一坐标系下的投影单元光心位置及图像传感单元光心位置，设统一到图像传感单元光心坐标系下，图像传感单元光心为(0,0,0)，投影单元光心为T_c→p，指尖最低点为阴影前端点为其中R_p→c为3x3由投影单元坐标系到图像传感单元坐标系的旋转矩阵，T_c→p为1x3由图像传感单元坐标系到投影单元坐标系的平移矩阵，f_c、f_p分别为图像传感单元与投影单元焦距，和分别为经过图像传感单元与投影单元内参数校正后的和根据图像传感单元成像面上指尖最低点位置、投影单元成像面上阴影前端点位置及图像传感单元光心与投影单元光心位置，则空间中过投影单元光心、投影单元平面上阴影前端点的直线[x^c,y^c,z^c]＝λ₁v₁+T_c→p与过图像传感单元光心、图像传感单元平面上指尖最低点的直线[x^c,y^c,z^c]＝λ₂v₂交点的空间坐标为λ₂'v₂，并将该交点位置作为指尖位置，其中 $v_1=(x_s^{p\′},y_s^{p\′},f_p),v_2=(x_f^{c\′},y_f^{c\′},f_c),$ λ₁、λ₂为比例系数，则λ₂'为定值且满足 $\left(\begin{array}{c}{{\mathrm{\λ}}^{\′}}_1\\ {{\mathrm{\λ}}^{\′}}_2\end{array}\right)={\left(\begin{array}{cc}{\left|\right|v_1\left|\right|}^2& -v_1^t{v}_2\\ -v_2^t{v}_1& {\left|\right|v_2\left|\right|}^2\end{array}\right)}^{-1}\left(\begin{array}{c}-v_1^t{T}_{c\→p}\\ v_2^t{T}_{c\→p}\end{array}\right),$ 是v₁的转置矩阵，是v₂的转置矩阵，最后通过***可变外参数计算出投影面方程，以法向量n^c和单点p^c表示，计算获取上述交点与投影面间距离当距离小于第二门限值时，判断为触碰操作；当发生触碰操作时，指尖触碰判断模块还将根据接收的图像传感单元与投影单元之间的单应性矩阵，继而计算获得触碰点在投影的人机交互界面中的坐标位置，并输出指尖触碰信息，指尖触碰信息至少包括指尖触碰原始投影的人机交互界面中的位置坐标信息。

当外部输入的人机交互界面中存在具有明显特征的点、线或面信息时，所述投影界面处理单元101还用于从外部输入的人机交互界面信息中提取第一特征信息，并把第一特征信息输出至图像处理单元,其中第一特征信息包括特征点、线和面，以及特征点、线和面在界面中的坐标位置；

所述图像处理单元104用于从图像传感单元103输出的投影区域图像上提取第二特征信息，其中第二特征信息包括特征点、线和面；

图像处理单元104将第二特征信息和所述第一特征信息进行比对，根据第二特征信息相对于第一特征信息中的特征点、线或面发生的形变，计算形变处的指尖离人机交互界面的距离以及指尖在人机交互界面中的位置信息。

当外部输入的人机交互界面中不存在具有明显特征的点、线或面信息时，所述投影界面处理单元101还用于从外部输入的人机交互界面信息中提取第三特征信息，并把第三特征信息输出至图像处理单元104,其中第三特征信息包括投影的人机交互界面的边界；

所述图像处理单元104用于从图像传感单元输出的投影区域图像上提取第四特征信息，其中第四特征信息包括人机交互界面的边界；

图像处理单元104将第三特征信息和所述第四特征信息进行比对，根据第三特征信息相对于第四特征信息是否发生形变，判断投影区域内是否含有指尖，并计算形变处的指尖离人机交互界面的距离以及指尖在人机交互界面中的位置信息。

其中，在所述投影界面处理单元101和投影单元102之间设置有投影接口模块，其属于接口单元106，用于对接收的人机交互界面信息进行形状预失真校正处理。投影接口模块用于接收来自投影界面处理单元101输出的投影数据，并基于***固有内参数中的投影单元的光学畸变参数，对从投影界面处理单元输出的要投影界面图像进行光学畸变预失真校正处理，以消除投影单元光学组件特性带来的光学畸变失真，校正后的投影界面图像输出至投影单元。

其中，在所述图像传感单元103和图像处理单元104之间设置有图像传感接口模块，其属于接口单元106，用于对采集的图像进行光学畸变校正处理。

图像传感接口模块用于接收来自图像处理单元104输出的***固有内参数中的图像传感单元的光学畸变参数；图像传感接口模块还用于接收图像传感单元103的图像数据，并基于***固有内参数中图像传感单元的光学畸变参数，实现对图像传感单元103采集的图像进行光学畸变校正处理，以消除由于图像传感单元103中光学组件特性带来的光学畸变失真，再把校正后的图像输出至图像处理单元104。

控制单元107，用于控制***中的所有其他单元，并协调所有其他单元的工作；控制单元还可控制***处于***固有内、外参数获取状态、***可变参数获取状态以及指尖获取与碰触操作状态。

图像处理单元用于接收投影界面处理单元输出的明显特征的点、线或面等特征信息,并利用***固有内、外参数和***可变外参数，计算获取投影单元平面与图像传感单元平面之间的单应性矩阵(也简称为投影单元与图像传感单元间的单应性矩阵)，从而计算这些特征信息在图像传感单元平面上成像时的二维坐标信息(也即在投影区域中没有用户手或其它触控物操作时，图像传感单元采集投影面上投影的人机交互界面中的特征信息在图像传感器单元平面上的坐标信息)，称为第一特征信息。该单元还接收来自图像传感接口模块输出的图像数据，并提取该图像中的明显特征点、线或面等特征信息，称为第二特征信息，利用投影界面中已有的明显特征信息，计算在投影区域中由于出现操作物(手或其它触控物)和没有出现操作物时，第二特征信息相对于第一特征信息中的特征点、线或面发生形变的大小来计算指尖在投影面中的位置(如图2所示，投影的人机交互界面上没有手或触控物时，以及有手或触控物时的示意图)。当人机交互界面中不存在明显特征点、线或面等信息时(如图2a所示)，投影仪投影的人机交互界面边界为可利用的特征信息，利用结构光原理根据边界条纹形变处的形变大小测量形变处手指离投影面的距离，如果该测量距离值小于或等于第一门限值，可以直接判断该区域有指尖触碰，并计算在人机交互界面中的触碰位置坐标，输出触碰信息至触碰检测单元，若该测量距离值大于第一门限值，则整个投影界面为可能发生触碰的区域并将该信息输出至触碰检测单元；当人机交互界面中存在具有明显特征的点、线或面等信息时(如图2b所示)，同样可根据上述原理利用条纹偏移大小计算条纹变形处手指离投影面距离，当测量距离值小于或等于第一门限值时输出触碰信息至触碰检测单元，若该测量距离值大于第一门限值则根据特征条纹信息输出手指在投影的人机交互界面中可能发生触碰的区域信息(即指尖位置信息，且该位置信息随条纹信息的增加而更精确)至触碰检测单元；所述图像处理单元还在控制单元的控制协调下，计算获取***固有内参数(即图像传感单元及投影单元的内参数，主要指由于它们各自的光学组件特性带来的光学畸变参数)，并存储***固有内参数至非易失性存储器，以及输出***固有内参数至接口单元；所述图像处理单元针对接收来自图像传感单元的图像数据提取相应的特征信息,并与投影界面处理单元输出的特征信息进行匹配处理，计算获取图像传感单元与投影单元间的位置与姿态关系(称为***固有外参数)，以及人机交互***与投影平面之间的位置与姿态关系(称为***可变外参数)；所述图像处理单元还把获取的***可变外参数中的投影平面与投影单元间的位置、姿态关系参数输出至投影界面处理单元。

***通过投影界面处理单元接收人机交互界面信息，并将经过处理后的该界面信息送至投影单元投影到日常的一些平面上，比如桌面、墙面、纸张、手掌、手臂等，准确投影显示人机界面，然后用户可以在该投影的人机界面上进行类似触摸屏幕的裸手操作，而图像传感单元则采集投影区域的图像，识别人机交互操作，并输出相应的交互操作的信息，其中关键需要识别人手在投影界面上是否触碰，以及触碰点在投影的人机界面中的位置，其中控制单元则协调控制***中的所有其它单元的工作。

本实施例是根据图像传感单元及投影单元与手指间距离远远大于手指厚度，因此遮挡投影光线产生阴影前端的指尖点与图像传感单元拍摄到的指尖最低点二者可近似为同一点，即图5中A、B两点可近似为同一点。基于上述原理，本发明通过以直线PA与CB的交点作为指尖位置。若将指尖近似为四分之一球体，则指尖最低点位于过图像传感单元光心与指尖球心且垂直于投影面的平面上，在图像传感单元所采集的图像上，该平面在过点b(点b为过图像传感单元光心且垂直于投影平面的直线与投影面的交点)的直线上。如图4所示，指尖最低点获取模块中以过指尖拟合圆圆心o与点b的直线ob与指尖边缘交点作为指尖最低点。为计算PA与CB交点，PA与CB需共面，因此PM与CB共面，则M点在PCB平面上，对应在图像传感单元采集图像上为过直线PC与投影面的交点a与指尖最低点f的直线上，即为直线af与阴影边缘的交点s。根据点f、s的坐标利用双目原理计算出PM与CB的交点坐标，因此该算法能较好的计算出指尖位置，受指尖厚度影响较小从而使得精度较高。

更一般的，若f并非指尖最低点，直线af与阴影边缘交点s依然在该指尖点与直线PC所成平面上，PM与CB交点依然可以表征指尖位置。

本发明实施例在***触碰操作获取过程中，控制单元控制整个***处于触碰操作获取状态，图像处理单元中的指尖获取模块接收来自图像传感单元采集的投影区域的图像，根据特征信息，在图像中获取手指指尖的位置信息，并把该结果输出至触碰检测单元；所述触碰检测单元接收从图像处理单元获取的指尖位置信息，计算出指尖最低点及其相应的阴影前端点，还从图像处理单元接收***固有内、外参数，利用“双目测距原理”，可计算出指尖最低点相对图像传感单元的位置关系，最后利用***可变外参数中图像传感单元相对投影面的位置与姿态关系参数，从而计算出指尖相对投影平面的距离，如果距离值在一个门限值范围内，则判断为触碰操作。针对发生触碰操作时，还需计算该触碰点在投影界面中的位置，本实施例优选的以指尖最低点位置作为指尖触碰点位置。当触碰事件发生时，利用从图像处理单元中获取的图像传感单元与投影单元之间的单应性矩阵计算指尖最低点在原始投影界面中的坐标位置，触碰检测单元输出触碰操作与相应触碰点在人机交互界面中的位置坐标信息。最后指尖触碰模块输出触碰点在人机交互界面中的位置坐标。

考虑到投影平面为非固定平面时，会存在投影平面相对人机交互***发生旋转或平移，此时，可以通过图像处理单元实时的获取***可变外参数，即获得投影平面相对人机交互***的相对位置和姿态信息，当发现其相对位置和姿态发生变化时，重新获取变化后的***可变外参数，并把***可变外参数再次输出至投影界面处理模块，所述投影界面处理模块更新这些参数，并基于该新的参数进行投影形状预失真处理，以实现对投影平面实时的跟踪。

需要说明的是在本发明的所有实施例中，除了可以处理手触碰投影平面的情况，针对其它的触控物也是完全可以的，其原理相同，在此不赘述。

本发明实施例仅利用一个普通的投影器件和一个普通的图像传感器件即可完成对指尖是否触碰投影平面的判断，实现了低成本、低功耗、高精度的触摸检测，另外，由于本发明不需要采用深度传感器，因此***的体积也较小。

本发明实施例的指尖触碰检测算法不受人机交互界面中特征信息的影响，即便交互界面中没有明显的点、线或其它规则图形或图像等基本特征单元，该算法也能很好的实施。

本发明实施例所述的指尖触碰检测检测算法不依赖于图像特征信息，投影仪无需投射显性或者隐性的结构光，因此对图像传感单元及投影单元的采集帧率要求不高，使得算法更具普适性；

本发明实施例所述的指尖触碰检测检测算法通过计算指尖与投影面间距离作为触碰判断的依据，因此该触碰检测算法受指尖自身厚度影响不大，触碰检测准确度高。

本发明的另一个实施例还提出了一种指尖触碰检测方法，参见图6，该方法包括：

步骤601：投影界面处理单元接收外部输入的人机交互界面信息，并将接收的人机交互界面信息输出给投影单元。

在本步骤中，在所述投影界面处理单元将接收的人机交互界面信息输出给投影单元之前，对接收的人机交互界面信息进行形状预失真校正处理。

步骤602：投影单元将人机交互界面信息投影至投影平面。

步骤603：图像传感单元采集投影平面上的投影区域图像，并将投影区域图像发送给图像处理单元。

在本步骤中，在图像传感单元将采集的图像发送给图像处理单元之前，对采集的图像进行光学畸变校正处理。

步骤604：图像处理单元获取***内参数、***固有外参数和***可变外参数，并利用所述***固有外参数和***可变外参数计算投影单元与图像传感单元间的单应性矩阵。

其中***内参数为投影单元和图像传感单元的光心位置参数；***固有外参数为投影单元和图像传感单元间相对空间位置和姿态关系参数；***可变外参数为图像传感单元及投影单元与投影平面之间的相对空间位置与姿态关系参数。

步骤605：图像处理单元判断投影区域图像中是否含有指尖，并在含有指尖时计算指尖与人机交互界面的距离以及指尖在人机交互界面中的位置信息；若所述指尖与人机交互界面的距离小于等于第一门限值，输出触碰信息至碰触检测单元；否则输出含指尖的投影区域图像和指尖在人机交互界面中位置信息至触碰检测单元。

在本步骤中，当外部输入的人机交互界面中存在具有明显特征的点、线或面信息时，所述投影界面处理单元还用于从外部输入的人机交互界面信息中提取第一特征信息，并把第一特征信息输出至图像处理单元,其中第一特征信息包括特征点、线和面，以及特征点、线和面在界面中的坐标位置。

所述图像处理单元用于从图像传感单元输出的投影区域图像上提取第二特征信息，其中第二特征信息包括特征点、线和面。

图像处理单元将第二特征信息和所述第一特征信息进行比对，根据第二特征信息相对于第一特征信息中的特征点、线或面发生的形变，计算形变处的指尖离人机交互界面的距离以及指尖在人机交互界面中的位置信息。

当外部输入的人机交互界面中不存在具有明显特征的点、线或面信息时，所述投影界面处理单元还用于从外部输入的人机交互界面信息中提取第三特征信息，并把第三特征信息输出至图像处理单元,其中第三特征信息包括投影的人机交互界面的边界。

所述图像处理单元用于从图像传感单元输出的投影区域图像上提取第四特征信息，其中第四特征信息包括人机交互界面的边界。

图像处理单元将第三特征信息和所述第四特征信息进行比对，根据第三特征信息相对于第四特征信息是否发生形变，判断投影区域内是否含有指尖，并计算形变处的指尖离人机交互界面的距离以及指尖在人机交互界面中的位置信息。

步骤606：当触碰检测单元接收来自图像处理单元的输出信息为触碰信息时，直接输出触碰信息，若接收来自图像处理单元的输出信息为含指尖的投影区域图像和指尖在人机交互界面中位置信息时，获取指尖位置，判断指尖是否触碰，若触碰则输出触碰信息，具体为：接收图像处理单元输出的***固有外参数、***可变外参数、***固有内参数以及投影单元与图像传感单元间单应性矩阵，将所述接收到的参数通过几何计算获取图像传感单元平面上过图像传感单元光心且垂直于投影平面的直线与投影面的交点b以及过投影单元光心与图像传感单元光心的直线与投影面的交点a位置信息；利用指尖在人机交互界面中可能发生触碰的区域信息及指尖的颜色信息获取指尖并对指尖进行边缘检测获取指尖边缘，对指尖边缘进行圆拟合拟合出圆心o，连接圆心o与交点b，直线ob与指尖边缘交点即定义为指尖最低点f,设其在图像传感单元成像面上的坐标为利用阴影在HSV颜色空间中的特征获取指尖阴影区域，通过连接交点a与指尖最低点f，连线与阴影边缘处交点即为阴影前端点s，设其在图像传感单元成像面上的坐标为通过投影单元与图像传感单元间单应性矩阵计算出阴影前端点在投影单元平面上的位置利用图像处理单元输出的***固有内、外参数可获取图像传感单元与投影单元间的旋转矩阵R及平移矩阵T，计算出同一坐标系下的投影单元光心位置及图像传感单元光心位置，设统一到图像传感单元光心坐标系下，图像传感单元光心为(0,0,0)，投影单元光心为T_c→p，指尖最低点为阴影前端点为其中R_p→c为3x3由投影单元坐标系到图像传感单元坐标系的旋转矩阵，T_c→p为1x3由图像传感单元坐标系到投影单元坐标系的平移矩阵，f_c、f_p分别为图像传感单元与投影单元焦距，和分别为经过图像传感单元与投影单元内参数校正后的和根据图像传感单元成像面上指尖最低点位置、投影单元成像面上阴影前端点位置及图像传感单元光心与投影单元光心位置，则空间中过投影单元光心、投影单元平面上阴影前端点的直线[x^c,y^c,z^c]＝λ₁v₁+T_c→p与过图像传感单元光心、图像传感单元平面上指尖最低点的直线[x^c,y^c,z^c]＝λ₂v₂交点的空间坐标为λ₂'v₂，并将该交点位置作为指尖位置，其中 $v_1=(x_s^{p\′},y_s^{p\′},f_p),v_2=(x_f^{c\′},y_f^{c\′},f_c),$ λ₁、λ₂为比例系数，则λ₂'为定值且满足 $\left(\begin{array}{c}{{\mathrm{\λ}}^{\′}}_1\\ {{\mathrm{\λ}}^{\′}}_2\end{array}\right)={\left(\begin{array}{cc}{\left|\right|v_1\left|\right|}^2& -v^t{v}_1\\ -v_2^{t}v& \left|\right|v\left|\right|_2^1\end{array}\right)}_2^{-1}\left(\begin{array}{c}-v_1^t{}_2{T}_{c\→p}\\ v_2^t{T}_{c\→p}\end{array}\right),$ 是v₁的转置矩阵，是v₂的转置矩阵，最后通过***可变外参数计算出投影面方程，以法向量n^c和单点p^c表示，计算获取上述交点与投影面间距离当距离小于第二门限值时，判断为触碰操作；当发生触碰操作时，指尖触碰判断模块还将根据接收的图像传感单元与投影单元之间的单应性矩阵，继而计算获得触碰点在投影的人机交互界面中的坐标位置，并输出指尖触碰信息，指尖触碰信息至少包括指尖触碰原始投影的人机交互界面中的位置坐标信息。

本实施例是根据图像传感单元及投影单元与手指间距离远远大于手指厚度，因此遮挡投影光线产生阴影前端的指尖点与图像传感单元拍摄到的指尖最低点二者可近似为同一点，即图5中A、B两点可近似为同一点。基于上述原理，本发明通过以直线PA与CB的交点作为指尖位置。若将指尖近似为四分之一球体，则指尖最低点位于过图像传感单元光心与指尖球心且垂直于投影面的平面上，在图像传感单元所采集的图像上，该平面在过点b(点b为过图像传感单元光心且垂直于投影平面的直线与投影面的交点)的直线上。如图4所示，指尖最低点获取模块中以过指尖拟合圆圆心o与点b的直线ob与指尖边缘交点作为指尖最低点。为计算PA与CB交点，PA与CB需共面，因此PM与CB共面，则M点在PCB平面上，对应在图像传感单元采集图像上为过直线PC与投影面的交点a与指尖最低点f的直线上，即为直线af与阴影边缘的交点s。根据点f、s的坐标利用双目原理计算出PM与CB的交点坐标，因此该算法能较好的计算出指尖位置，受指尖厚度影响较小从而使得精度较高。

更一般的，若f并非指尖最低点，直线af与阴影边缘交点s依然在该指尖点与直线PC所成平面上，PM与CB交点依然可以表征指尖位置。

本实施例在***触碰操作获取过程中，控制单元控制整个***处于触碰操作获取状态，图像处理单元中的指尖获取模块接收来自图像传感单元采集的投影区域的图像，根据特征信息，在图像中获取手指指尖的位置信息，并把该结果输出至触碰检测单元；所述触碰检测单元接收从图像处理单元获取的指尖位置信息，计算出指尖最低点及其相应的阴影前端点，还从图像处理单元接收***固有内、外参数，利用“双目测距原理”，可计算出指尖最低点相对图像传感单元的位置关系，最后利用***可变外参数中图像传感单元相对投影面的位置与姿态关系参数，从而计算出指尖相对投影平面的距离，如果距离值在一个门限值范围内，则判断为触碰操作。针对发生触碰操作时，还需计算该触碰点在投影界面中的位置，本实施例优选的以指尖最低点位置作为指尖触碰点位置。当触碰事件发生时，利用从图像处理单元中获取的图像传感单元与投影单元之间的单应性矩阵计算指尖最低点在原始投影界面中的坐标位置，触碰检测单元输出触碰操作与相应触碰点在人机交互界面中的位置坐标信息。最后指尖触碰模块输出触碰点在人机交互界面中的位置坐标。

考虑到投影平面为非固定平面时，会存在投影平面相对人机交互***发生旋转或平移，此时，可以通过图像处理单元实时的获取***可变外参数，即获得投影平面相对人机交互***的相对位置和姿态信息，当发现其相对位置和姿态发生变化时，重新获取变化后的***可变外参数，并把***可变外参数再次输出至投影界面处理模块，所述投影界面处理模块更新这些参数，并基于该新的参数进行投影形状预失真处理，以实现对投影平面实时的跟踪。

本发明实施例仅利用一个普通的投影器件和一个普通的图像传感器件即可完成对指尖是否触碰投影平面的判断，实现了低成本、低功耗、高精度的触摸检测，另外，由于本发明不需要采用深度传感器，因此***的体积也较小。

本发明实施例所述的指尖触碰检测算法不受人机交互界面中特征信息的影响，即便交互界面中没有明显的点、线或其它规则图形或图像等基本特征单元，该算法也能很好的实施。

本发明实施例所述的指尖触碰检测检测算法不依赖于图像特征信息，投影仪无需投射显性或者隐性的结构光，因此对图像传感单元及投影单元的采集帧率要求不高，使得算法更具普适性。

本发明实施例所述的指尖触碰检测检测算法通过计算指尖与投影面间距离作为触碰判断的依据，因此该触碰检测算法受指尖自身厚度影响不大，触碰检测准确度高。

需要说明的是在本发明的所有实施例中，除了可以处理手触碰投影平面的情况，针对其它的触控物也是完全可以的，其原理相同，在此不赘述。

以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种指尖触碰检测***，其特征在于，该***包括：

投影界面处理单元，用于接收外部输入的人机交互界面信息，并将接收的人机交互界面信息输出给投影单元；

投影单元，用于将人机交互界面信息投影至投影平面；

图像传感单元，用于采集投影平面上的投影区域图像，并将采集到的投影区域图像发送给图像处理单元；

图像处理单元用于判断投影区域图像内是否含有指尖，并在含有指尖时计算指尖与人机交互界面的距离及其在人机交互界面中的位置信息；若所述指尖与人机交互界面的距离小于等于第一门限值，输出触碰信息至触碰检测单元；否则输出含指尖的投影区域图像和指尖在人机交互界面中的位置信息至触碰检测单元；

图像处理单元还用于获取***内参数、***固有外参数、***可变外参数和投影单元与图像传感单元间的单应性矩阵，并将所述***内参数、***固有外参数、***可变外参数和投影单元与图像传感单元间的单应性矩阵输出至触碰检测单元；

其中***内参数为投影单元和图像传感单元的光心位置参数；***固有外参数为投影单元和图像传感单元间相对空间位置和姿态关系参数；***可变外参数为图像传感单元及投影单元与投影平面之间的相对空间位置与姿态关系参数；

触碰检测单元，包括判断执行模块、成像面上光心映射位置计算模块、指尖最低点获取模块、阴影前端点获取模块以及指尖触碰判断模块，其中，

判断执行模块，用于当接收来自图像处理单元的输出信息为触碰信息时，直接输出触碰信息，若接收来自图像处理单元的输出信息为含指尖的投影区域图像和指尖在人机交互界面中的位置信息时，执行成像面上光心映射位置计算模块；

成像面上光心映射位置计算模块，用于接收图像处理单元输出的***固有外参数、***可变外参数、***固有内参数以及投影单元与图像传感单元间单应性矩阵，将所述接收到的参数通过几何计算获取图像传感单元平面上过图像传感单元光心且垂直于投影平面的直线与投影面的交点b以及过投影单元光心与图像传感单元光心的直线与投影面的交点a位置信息，并将以上两交点信息输出至所述指尖最低点获取模块及所述阴影前端点获取模块；

指尖最低点获取模块，用于接收图像处理单元输出的含指尖的投影区域图像和指尖在人机交互界面中的位置信息以及来自所述成像面上光心映射位置计算模块输出的交点b的位置信息，利用指尖在人机交互界面中可能发生触碰的区域信息及指尖的颜色信息获取指尖并对指尖进行边缘检测获取指尖边缘，对指尖边缘进行圆拟合拟合出圆心o，连接圆心o与交点b，直线ob与指尖边缘交点即定义为指尖最低点f，设其在图像传感单元成像面上的坐标为并将指尖最低点f的位置信息输出至所述阴影前端点获取模块；

阴影前端点获取模块，用于接收图像处理单元输出的含指尖的投影区域图像和指尖在人机交互界面中的位置信息及接收来自所述成像面上光心映射位置计算模块输出的交点a的位置信息、所述指尖最低点获取模块输出的指尖最低点f的位置信息，利用阴影在HSV颜色空间中的特征获取指尖阴影区域，通过连接交点a与指尖最低点f，连线与阴影边缘处交点即为阴影前端点s，设其在图像传感单元成像面上的坐标为并输出指尖最低点f及阴影前端点s位置信息至所述指尖触碰判断模块；

指尖触碰判断模块，用于接收所述图像处理单元输出的投影单元与图像传感单元间单应性矩阵，以及来自所述阴影前端点获取模块输出的指尖最低点位置、阴影前端点位置，通过投影单元与图像传感单元间单应性矩阵计算出阴影前端点在投影单元平面上的位置利用图像处理单元输出的***固有内、外参数可获取图像传感单元与投影单元间的旋转矩阵R及平移矩阵T，计算出同一坐标系下的投影单元光心位置及图像传感单元光心位置，设统一到图像传感单元光心坐标系下，图像传感单元光心为(0,0,0)，投影单元光心为T_c→p，指尖最低点为阴影前端点为其中R_p→c为3x3由投影单元坐标系到图像传感单元坐标系的旋转矩阵，T_c→p为1x3由图像传感单元坐标系到投影单元坐标系的平移矩阵，f_c、f_p分别为图像传感单元与投影单元焦距，和分别为经过图像传感单元与投影单元内参数校正后的和根据图像传感单元成像面上指尖最低点位置、投影单元成像面上阴影前端点位置及图像传感单元光心与投影单元光心位置，则空间中过投影单元光心、投影单元平面上阴影前端点的直线[x^c,y^c,z^c]＝λ₁v₁+T_c→p与过图像传感单元光心、图像传感单元平面上指尖最低点的直线[x^c,y^c,z^c]＝λ₂v₂交点的空间坐标为λ₂'v₂，并将该交点位置作为指尖位置，其中 $v_1=(x_s^{p\′},y_s^{p\′},f_p),v_2=(x_f^{c\′},y_f^{c\′},f_c),$ λ₁、λ₂为比例系数，则λ₂'为定值且满足 $\left(\begin{array}{c}{{\mathrm{\λ}}^{\′}}_1\\ {{\mathrm{\λ}}^{\′}}_2\end{array}\right)={\left(\begin{array}{cc}{\left|\right|v_1\left|\right|}^2& -v_1^t{v}_2\\ -v_2^t{v}_1& {\left|\right|v_2\left|\right|}^2\end{array}\right)}^{-1}\left(\begin{array}{c}-v_1^t{T}_{c\→p}\\ v_2^t{T}_{c\→p}\end{array}\right),$ 是v₁的转置矩阵，是v₂的转置矩阵，最后通过***可变外参数计算出投影面方程，以法向量n^c和单点p^c表示，计算获取上述交点与投影面间距离当距离小于第二门限值时，判断为触碰操作；当发生触碰操作时，指尖触碰判断模块还将根据接收的图像传感单元与投影单元之间的单应性矩阵，继而计算获得触碰点在投影的人机交互界面中的坐标位置，并输出指尖触碰信息，指尖触碰信息至少包括指尖触碰原始投影的人机交互界面中的位置坐标信息；

控制单元，用于控制***中的所有其他单元，并协调所有其他单元的工作；控制单元还可控制***处于***固有内、外参数获取状态、***可变参数获取状态以及指尖获取与碰触操作状态。

2.根据权利要求1所述的***，其特征在于，当外部输入的人机交互界面中存在具有明显特征的点、线或面信息时，所述投影界面处理单元还用于从外部输入的人机交互界面信息中提取第一特征信息，并把第一特征信息输出至图像处理单元,其中第一特征信息包括特征点、线和面，以及特征点、线和面在界面中的坐标位置；

所述图像处理单元用于从图像传感单元输出的投影区域图像上提取第二特征信息，其中第二特征信息包括特征点、线和面；

图像处理单元将第二特征信息和所述第一特征信息进行比对，根据第二特征信息相对于第一特征信息中的特征点、线或面是否发生形变，判断投影区域内是否含有指尖，并计算形变处的指尖离人机交互界面的距离及其在投影区域中的位置信息。

3.根据权利要求1所述的***，其特征在于，当外部输入的人机交互界面中不存在具有明显特征的点、线或面信息时，所述投影界面处理单元还用于从外部输入的人机交互界面信息中提取第三特征信息，并把第三特征信息输出至图像处理单元,其中第三特征信息包括投影的人机交互界面的边界；

所述图像处理单元用于从图像传感单元输出的投影区域图像上提取第四特征信息，其中第四特征信息包括人机交互界面的边界；

图像处理单元将第三特征信息和所述第四特征信息进行比对，根据第三特征信息相对于第四特征信息是否发生的形变，判断投影区域内是否含有指尖，并计算形变处的指尖离人机交互界面的距离以及指尖在人机交互界面中的位置信息。

4.根据权利要求1所述的***，其特征在于，在所述投影界面处理单元和投影单元之间设置有投影接口模块，用于对接收的人机交互界面信息进行形状预失真校正处理。

5.根据权利要求1所述的***，其特征在于，在所述图像传感单元和图像处理单元之间设置有图像传感接口模块，用于对采集的图像进行光学畸变校正处理。

6.一种基于权利要求1所述的指尖触碰检测***的指尖触碰检测方法，其特征在于，该方法包括：

步骤S1：投影界面处理单元接收外部输入的人机交互界面信息，并将接收的人机交互界面信息输出给投影单元；

步骤S2：投影单元将人机交互界面信息投影至投影平面；

步骤S3：图像传感单元采集投影平面上的投影区域图像，并将该投影区域图像发送给图像处理单元；

步骤S4：图像处理单元获取***内参数、***固有外参数和***可变外参数，并利用所述***固有外参数和***可变外参数计算投影单元与图像传感单元间的单应性矩阵；

其中***内参数为投影单元和图像传感单元的光心位置参数；***固有外参数为投影单元和图像传感单元间相对空间位置和姿态关系参数；***可变外参数为图像传感单元及投影单元与投影平面之间的相对空间位置与姿态关系参数；

步骤S5：图像处理单元判断投影区域图像上是否含有指尖，并在含有指尖时计算指尖与人机交互界面的距离；若所述指尖与人机交互界面的距离小于等于第一门限值，输出触碰信息至碰触检测单元；否则输出含指尖的投影区域图像和指尖在人机交互界面中的位置信息至触碰检测单元；

步骤S6：当触碰检测单元接收来自图像处理单元的输出信息为触碰信息时，直接输出触碰信息，若接收来自图像处理单元的输出信息为含指尖的投影区域图像和指尖在人机交互界面中的位置信息时，获取指尖位置，判断指尖是否触碰，若触碰则输出触碰信息，具体为：接收图像处理单元输出的***固有外参数、***可变外参数、***固有内参数以及投影单元与图像传感单元间单应性矩阵，将所述接收到的参数通过几何计算获取图像传感单元平面上过图像传感单元光心且垂直于投影平面的直线与投影面的交点b以及过投影单元光心与图像传感单元光心的直线与投影面的交点a位置信息；利用指尖在人机交互界面中可能发生触碰的区域信息及指尖的颜色信息获取指尖并对指尖进行边缘检测获取指尖边缘，对指尖边缘进行圆拟合拟合出圆心o，连接圆心o与交点b，直线ob与指尖边缘交点即定义为指尖最低点f,设其在图像传感单元成像面上的坐标为利用阴影在HSV颜色空间中的特征获取指尖阴影区域，通过连接交点a与指尖最低点f，连线与阴影边缘处交点即为阴影前端点s，设其在图像传感单元成像面上的坐标为通过投影单元与图像传感单元间单应性矩阵计算出阴影前端点在投影单元平面上的位置利用图像处理单元输出的***固有内、外参数可获取图像传感单元与投影单元间的旋转矩阵R及平移矩阵T，计算出同一坐标系下的投影单元光心位置及图像传感单元光心位置，设统一到图像传感单元光心坐标系下，图像传感单元光心为(0,0,0)，投影单元光心为T_c→p，指尖最低点为阴影前端点为其中R_p→c为3x3由投影单元坐标系到图像传感单元坐标系的旋转矩阵，T_c→p为1x3由图像传感单元坐标系到投影单元坐标系的平移矩阵，f_c、f_p分别为图像传感单元与投影单元焦距，和分别为经过图像传感单元与投影单元内参数校正后的和根据图像传感单元成像面上指尖最低点位置、投影单元成像面上阴影前端点位置及图像传感单元光心与投影单元光心位置，则空间中过投影单元光心、投影单元平面上阴影前端点的直线[x^c,y^c,z^c]＝λ₁v₁+T_c→p与过图像传感单元光心、图像传感单元平面上指尖最低点的直线[x^c,y^c,z^c]＝λ₂v₂交点的空间坐标为λ₂'v₂，并将该交点位置作为指尖位置，其中 $v_1=(x_s^{p\′},y_s^{p\′},f_p),v_2=(x_f^{c\′},y_f^{c\′},f_c),$ λ₁、λ₂为比例系数，则λ₂'为定值且满足 $\left(\begin{array}{c}{{\mathrm{\λ}}^{\′}}_1\\ {{\mathrm{\λ}}^{\′}}_2\end{array}\right)={\left(\begin{array}{cc}{\left|\right|v_1\left|\right|}^2& -v^t{v}_1\\ -v_2^{t}v& \left|\right|v\left|\right|_2^1\end{array}\right)}_2^{-1}\left(\begin{array}{c}-v_1^t{}_2{T}_{c\→p}\\ v_2^t{T}_{c\→p}\end{array}\right),$ 是v₁的转置矩阵，是v₂的转置矩阵，最后通过***可变外参数计算出投影面方程，以法向量n^c和单点p^c表示，计算获取上述交点与投影面间距离当距离小于第二门限值时，判断为触碰操作；当发生触碰操作时，指尖触碰判断模块还将根据接收的图像传感单元与投影单元之间的单应性矩阵，继而计算获得触碰点在投影的人机交互界面中的坐标位置，并输出指尖触碰信息，指尖触碰信息至少包括指尖触碰原始投影的人机交互界面中的位置坐标信息。

7.根据权利要求6所述的方法，其特征在于，步骤S4中所述图像处理单元判断投影区域图像上是否含有指尖包括：

当外部输入的人机交互界面中存在具有明显特征的点、线或面信息时，所述投影界面处理单元还用于从外部输入的人机交互界面信息中提取第一特征信息，并把第一特征信息输出至图像处理单元,其中第一特征信息包括特征点、线和面，以及特征点、线和面在界面中的坐标位置；

所述图像处理单元用于从图像传感单元输出的投影区域图像上提取第二特征信息，其中第二特征信息包括特征点、线和面；

图像处理单元将第二特征信息和所述第一特征信息进行比对，根据第二特征信息相对于第一特征信息中的特征点、线或面是否发生形变，判断投影区域内是否含有指尖，并计算形变处的指尖离人机交互界面的距离及其在投影区域中的位置信息。

8.根据权利要求6所述的方法，其特征在于，步骤S4中所述图像处理单元判断投影区域图像是否含有指尖包括：

当外部输入的人机交互界面中不存在具有明显特征的点、线或面信息时，所述投影界面处理单元还用于从外部输入的人机交互界面信息中提取第三特征信息，并把第三特征信息输出至图像处理单元,其中第三特征信息包括投影的人机交互界面的边界；

所述图像处理单元用于从图像传感单元输出的投影区域图像上提取第四特征信息，其中第四特征信息包括人机交互界面的边界；

图像处理单元将第三特征信息和所述第四特征信息进行比对，根据第三特征信息相对于第四特征信息是否发生形变，判断投影区域内是否含有指尖，并计算形变处的指尖离人机交互界面的距离及其在投影区域中的位置信息。

9.根据权利要求6所述的方法，其特征在于，在所述投影界面处理单元将接收的人机交互界面信息输出给投影单元之前，对接收的人机交互界面信息进行形状预失真校正处理。

10.根据权利要求6所述的方法，其特征在于，在图像传感单元将采集的图像发送给图像处理单元之前，对采集的图像进行光学畸变校正处理。