CN101520700A

CN101520700A - 一种基于摄像头的三维定位触摸装置及其定位方法

Info

Publication number: CN101520700A
Application number: CN200810220671A
Authority: CN
Inventors: 卢如西; 钟杰婷
Original assignee: Vtron Technologies Ltd
Current assignee: Vtron Technologies Ltd
Priority date: 2008-12-31
Filing date: 2008-12-31
Publication date: 2009-09-02

Abstract

本发明公开了一种基于摄像头的多点三维定位触摸装置及其定位方法，首先，对图像处理模块中的摄像头进行标定；摄像头从覆盖整个所述显示屏的表面以及其正前方空间的范围进行图像拍摄；对拍摄的图像进行图像预处理，根据目标物的颜色与大小，捕捉目标物；根据目标物在图像中的坐标，确定目标物的空间坐标；根据目标物的空间坐标，确定目标物在显示屏上的对应的坐标；在显示屏上进行显示或执行相应操作。本发明与现有技术相比，有以下优点：结构简单，基于一个或以上的摄像头；实现多点定位；能在显示屏表面和前方空间实现三维定位触摸；适用范围广；操作灵活。

Description

一种基于摄像头的三维定位触摸装置及其定位方法

技术领域

本发明涉及交互式电子显示***领域，特别涉及一种基于摄像头的多点三维定位触摸装置及其方法。

背景技术

电子显示***的定位装置作为一种新型的计算机输入设备，使人机交互更为直观，由于给用户带来极大的便利性，电子显示***的定位技术除了应用于个人便携式信息产品外，应用领域已遍及信息家电、公共信息、电子游戏、办公自动化设备等各个领域。现有电子显示***的定位装置有多种形式，且各自存在不足。如公开号为CN1942853A的中国发明专利公开了一种具有透明电容传感介质的触摸定位面板，其电容传感介质分布在不同的电极层，层内的电极互相平行，层与层之间的电极互相垂直，从而组成了显示屏定位的像素阵列；当屏幕被触摸时，电容传感节点产生电容变化，就会被监控电路检测到，从而得到了定位信息。这种触摸定位内部结构复杂，成本较高，且表面容易刮花，造成永久性损坏，随着屏幕尺寸增加，复杂程度和价格将成倍增加，所以多用于小尺寸触摸定位。此外还有采用诸如电阻式定位、电容式定位、电磁式定位的触摸屏.这些只能使用在前投影机场合，而不能使用在当今时兴的等离子和液晶大屏幕显示器或电视机上；另外，采用超声波定位技术的触摸屏不宜超过200cm。

公开号为CN1746837A的中国发明专利公开了一种基于三个摄像头的交互式显示***，通过摄像头拍摄到的角度信息，传送给主图像信号处理器，再由主图像信号处理器分析计算遮挡位置坐标。该专利所公开的技术方案主要缺点是：要接触触到摸屏表面才能实现定位，不能实现在触摸屏外部不接触到触摸屏表面进行定位，从而使其技术方案在实际应用中缺乏灵活性、适用性不好。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种能实现多点三维定位、适用范围广、操作灵活、结构简单的多点三维定位触摸装置及方法。

本发明的目的通过下述技术方案实现：

一种基于摄像头的多点三维定位触摸装置，包括显示屏，它还设有依次连接的图像处理模块、接口模块、计算机模块，其中图像处理模块包括至少一个摄像头，且该图像处理模块的拍摄范围覆盖整个所述显示屏的表面以及其正前方空间。

所述的摄像头包括镜头、CCD图像传感器或CMOS图像传感器以及图像处理芯片。

所述接口模块可以采用串行接口或USB接口。

一种基于摄像头的多点三维定位触摸装置的定位方法，包括：

1)对图像处理模块中的摄像头进行标定；

2)摄像头从覆盖整个所述显示屏的表面以及其正前方空间的范围进行图像拍摄；

3)对拍摄的图像进行图像预处理，根据目标物的颜色与大小，捕捉目标物；

4)根据目标物在图像中的坐标，确定目标物的空间坐标；

5)根据目标物的空间坐标，判断手势动作；或者根据目标物的空间坐标，确定目标物在显示屏上的对应的坐标；

6)在显示屏上进行显示或执行相应操作。

所述图像预处理包括图像二值化、根据目标物大小、颜色排除干扰、确定目标物在图像中的坐标。

所述步骤(3)、(4)、(5)中，对图像的预处理、目标物在图像中的坐标计算、目标物的空间坐标计算以及目标物在屏幕上的对应的坐标计算有几种方式：

①所述的摄像头读取图像数据，并通过接口模块将数据传输至计算机模块中，计算机模块进行图像的预处理、目标物在图像中的坐标计算、目标物的空间坐标计算以及目标物在屏幕上的对应的坐标计算；

②所述的图像处理模块将读取的来自所述摄像头的图像数据进行图像的预处理，并通过接口模块将处理后数据送至计算机模块，由计算机模块对其进行目标物在图像中的坐标、目标物的空间坐标计算以及目标物在屏幕上的对应的坐标计算；

③所述图像处理模块对读取的来自所述摄像头的图像数据进行图像的预处理、目标物在图像中的坐标计算、目标物的空间坐标计算以及目标物在屏幕上的对应的坐标计算，然后将目标物在屏幕上的对应的坐标通过接口模块送至计算机模块。

本发明与现有技术相比，有以下优点：结构简单，基于一个或以上的摄像头；实现多点定位；能在显示屏表面和前方空间实现三维定位触摸；适用范围广；操作灵活。

附图说明

图1是本发明装置的定位硬件的结构示意图；

图2是本发明装置的工作流程示意图；

图3是本发明实施例的世界坐标系和摄像头图像平面坐标系示意图；

图4是本发明实施例的目标物结构示意图。

具体实施方式

下面结合附图及实施例对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例1

图1示出了本发明装置的定位硬件的结构，所述定位硬件的结构包括图像模块组件、USB接口3、计算机模块4、显示屏5，所述图像组件包括两个摄像头1和2，所述摄像头1和2分别设置于显示屏的两个角上，或设置于使摄像头1和2组合的拍摄范围能覆盖到整个显示屏表面以及前方空间的任意边位置，摄像头的放置是不固定的；所述摄像头是指包括镜头、CCD图像传感器或CMOS图像传感器、图像处理芯片的完整摄像头。

参见图2所示为本发明装置的工作流程示意图，其包括：

1)对图像处理模块中的摄像头进行标定；

4)根据目标物在图像中的坐标，确定目标物的空间坐标；

6)在显示屏上进行显示或执行相应操作。

参见图3所示，为本实施例的世界坐标系和摄像头图像平面坐标系。所述世界坐标系为应在环境中选取的一个基准坐标系，用于描述摄像机的位置。图像平面坐标系为以像素点为单位的图像平面坐标系。如图3所示，本实施例选取以摄像头1为原点0，显示屏的水平边方向为X轴，显示屏的垂直边方向为Y轴，垂直于显示屏方向为Z轴。其中，P(X，Y，Z)为目标物体的世界坐标。对摄像头1，本实施例选取图像的左下方的像素点为原点O₁，图像的水平边方向为x₁轴，图像的垂直边方向为y₁轴。其中，P₁(x₁，y₁)为目标物在摄像头1拍摄图像中成像坐标。对摄像头2，本实施例选取图像的左下方的像素点为原点O₂，图像的水平边方向为x₂轴，图像的垂直边方向为y₂轴。其中P₂(x₂，y₂)为目标物在摄像头2拍摄图像中成像坐标。

世界坐标系和摄像头1的图像平面坐标系的转换关系如公式(1)所示：

S_{1} [\begin{matrix} x_{1} \\ y_{1} \\ 1 \end{matrix}] = [\begin{matrix} a_{1} & a_{2} & a_{3} & a_{4} \\ a_{5} & a_{6} & a_{7} & a_{8} \\ a_{9} & a_{10} & a_{11} & 1 \end{matrix}] [\begin{matrix} X \\ Y \\ Z \\ 1 \end{matrix}] - - - (1)

其中s₁为非零参数，a₁，a₂......，a₁₁为***转换矩阵的元素，与摄像头1的光轴中心、焦距等内部参数，以及与摄像机1的放置位置外部参数有关。

世界坐标系和摄像头2的图像平面坐标系的转换关系如公式(2)所示：

S_{2} [\begin{matrix} x_{2} \\ y_{2} \\ 1 \end{matrix}] = [\begin{matrix} b_{1} & b_{2} & b_{3} & b_{4} \\ b_{5} & b_{6} & b_{7} & b_{8} \\ b_{9} & b_{10} & b_{11} & 1 \end{matrix}] [\begin{matrix} X \\ Y \\ Z \\ 1 \end{matrix}] - - - (2)

其中s₂为非零参数，b₁，b₂......，b₁₁为***转换矩阵的元素，与摄像头2的光轴中心、焦距等内部参数，以及与摄像机2的放置位置外部参数有关。

确定a₁，a₂......，a₁₁以及b₁，b₂......，b₁₁等转换矩阵的元素，称为摄像头的标定。其标定方法是通过黑白相间的方格模板进行多角度的图像采集，选取方格模板中6个已知点，分别代入公式(1)和公式(2)，用最小二乘法确定转换矩阵的元素，完成摄像头1和摄像头2的标定。

本实施例中，选取的目标物如图4的操作笔的笔头，摄像头要捕捉的是操作笔的笔头。其笔头为一个涂有特殊颜色的球体，目的在于与应用环境中的其他物体区分，以及其在两个摄像头中成像形状差异不大。操作笔的笔杆为一个半径比笔头小的圆柱棒，其颜色要与笔头能明显区分，以免干扰摄像头捕捉操作笔的笔头图像。

所述步骤(3)中的图像预处理包括图像二值化、根据目标物大小、颜色排除干扰、确定目标物在图像中的坐标。图像二值化，就是设定一个灰度阈值，然后将图像中各个像素的灰度值与该阈值进行比较，如果大于该阈值，则将该像素点处理成黑色；反之，则将该像素点处理成白色。本实施例中，将目标物的灰度值设定为阈值，完成图像的二值化，此时，目标物在图像中会被处理成白色。

设操作笔的笔头半径大小的圆的面积为A，那么，设定一个大小包含含A的数值范围，例如：

到

。在二值化的拍摄图像中，将满足该范围的白色区域确定为目标物的成像，进一步排除其他不满足该大小范围的物体的影响，最后求出目标物在拍摄图像中的位置坐标P₁(x₁，y₁)和P₂(x₂，y₂)。

将目标物在摄像头1拍摄的图像1中的坐标P₁(x₁，y₁)以及目标物在摄像头2拍摄的图像2中的坐标P₂(x₂，y₂)代入已知转换矩阵的元素的公式(1)和公式(2)中求解出目标物相应的空间坐标P(X，Y，Z)。

根据空间坐标，可以确定手势动作。例如，放大、缩小：在t1时刻，检测到两个目标物，目标物1的空间坐标点为p1(x1，y1，z1)，目标物2的空间坐标点为p2(x2，y2，z2)，两个目标物之间的距离为D1；在t2时刻，检测到目标物1的空间坐标为p3(x3，y3，z3)，目标物2的空间坐标为p4(x4，y4，z4)，两个目标物的之间的距离为D2，确定缩放比例A＝D2/D1。若A>1，则判断为放大手势；若A<1，则判断为缩小手势；旋转：检测到一个目标物的空间坐标p1(x，y，z)没有变，另一个目标物在围绕其做顺时针画弧运动，从原来的p2(x2，y2，z2)运动到p3(x3，y3，z3)，可以算出对应线段p1p2与线段p1p3间的夹角度数B，从而判断为以p1(x1，y1，z1)为中心，旋转B度的手势动作；左键单击：检测到目标物在空间的坐标为p(x，y，0)，且触摸时间在0-t1范围内，则判断为在p(x，y，0)处进行左键单击(t1为较短的时间段，具体大小可以根据实际需要进行调整)；右键单击：检测到目标物在屏幕的坐标为p(x，y，0)，且触摸时间在t1-t2范围内，判断为在p(x，y，0)处进行右键单击(t2大于t1，具体大小可以根据实际需要进行调整)；双击：检测到目标物进行了两次触摸，目标物第一次触摸时的空间坐标为p1(x1，y1，0)，第二次触摸时在屏幕的坐标为p2(x2，y2，0)，同时，两次触摸时间均在0-t1范围内，且两次触摸的时间间隔在设定的时间间隔内、两次触摸的坐标差在设定的坐标差范围内，判断为在坐标点p2(x2，y2，0)处进行双击(t1为较短的时间段，设定的时间间隔，设定的坐标差范围，具体大小均可以根据实际需要进行调整)。

由于建立的世界坐标系以摄像头1为原点0，显示屏的水平边方向为X轴，显示屏的垂直边方向为Y轴，垂直于显示屏方向为Z轴，所以目标物在显示屏所在平面的对应坐标为上述所求的空间坐标P(X，Y，Z)的X轴坐标和Y轴坐标的组合P_屏(X，Y)。

根据显示屏幕的长宽值，确定是否将目标物对应在屏幕上的点显示或执行相应操作。例如：屏幕的水平长度值为A，垂直宽度值为B，那么当目标物在显示屏所在平面的对应坐标P_屏(X，Y)满足0≤X≤A且0≤Y≤B时，将目标物对应在屏幕上的点显示或执行相应操作；否则，当X>A或X<0或Y>B或Y<0时，不执行显示或任何操作。

同时，目标物个数可以是一个或者一个以上，各个目标物在屏幕上的对应坐标可以经过上述步骤确定。

上述实施例是以两个摄像头实现多点三维定位触摸，但本发明的实施方式并不受上述实施例的限制，可以采用一个摄像头，通过采集比实施例1多一倍或以上的已知点，确定转换矩阵的元素，同样可以实现多点三维定位触摸；或，通过在上述实施例的基础上增加摄像头，利用本发明所阐述的方法，同样可以实现多点三维定位触摸，随着摄像头的增加，其定位精度也随之提高，因此，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1、一种基于摄像头的多点三维定位触摸装置，包括显示屏，其特征在于：它还设有依次连接的图像处理模块、接口模块、计算机模块，其中图像处理模块包括至少一个摄像头，且该图像处理模块的拍摄范围覆盖整个所述显示屏的表面以及其正前方空间。

2、根据权利要求1所述的一种基于摄像头的多点三维定位触摸装置，其特征在于：所述的摄像头包括镜头、CCD图像传感器或CMOS图像传感器以及图像处理芯片。

3、根据权利要求1所述的一种基于摄像头的多点三维定位触摸装置，其特征在于：所述接口模块可以采用串行接口或USB接口或网络接口。

4、一种基于摄像头的多点三维定位触摸装置的定位方法，其特征在于：

(1)对图像处理模块中的摄像头进行标定；

(2)摄像头从覆盖整个所述显示屏的表面以及其正前方空间的范围进行图像拍摄；

(3)对拍摄的图像进行图像预处理，根据目标物的颜色与大小，捕捉目标物；

(4)根据目标物在图像中的坐标，确定目标物的空间坐标；

(5)根据目标物的空间坐标，判断手势动作；或者根据目标物的空间坐标，确定目标物在显示屏上的对应的坐标(这是功能之一，但是，不是唯一，手势动作判定时不一定要找到显示屏上的对应位置)；

(6)在显示屏上进行显示或执行相应操作。

5、根据权利要求4所述的一种基于摄像头的多点三维定位触摸装置的定位方法，其特征在于：所述图像预处理包括图像二值化、根据目标大小颜色排出干扰以及确定目标物在图像中的坐标。

6、根据权利要求4或5所述的一种基于摄像头的多点三维定位触摸装置的定位方法，其特征在于：所述的摄像头读取图像数据，并通过接口模块将数据传输至计算机模块中，计算机模块进行图像的预处理、目标物在图像中的坐标计算、目标物的空间坐标计算以及目标物在屏幕上的对应的坐标计算。

7、根据权利要求4或5所述的一种基于摄像头的多点三维定位触摸装置的定位方法，其特征在于：所述的图像处理模块将读取的来自所述摄像头的图像数据进行图像的预处理，并通过接口模块将处理后数据送至计算机模块，由计算机模块对其进行目标物在图像中的坐标、目标物的空间坐标计算以及目标物在屏幕上的对应的坐标计算。

8、根据权利要求4或5所述的一种基于摄像头的多点三维定位触摸装置的定位方法，其特征在于：所述图像处理模块对读取的来自所述摄像头的图像数据进行图像的预处理、目标物在图像中的坐标计算、目标物的空间坐标计算以及目标物在屏幕上的对应的坐标计算，然后将目标物在屏幕上的对应的坐标通过接口模块送至计算机模块。

9、根据权利要求4所述的一种基于摄像头的多点三维定位触摸装置的定位方法，其特征在于：所述的手势动作包括放大、缩小、点击、双击。