CN101963848A - 一种判断目标点是否属于平面的方法和鼠标及触摸屏 - Google Patents

Abstract

一种判断目标点是否属于平面的方法和鼠标及触摸屏，所述的方法是：两个或两个以上摄像头对平面上或平面两侧的目标点进行拍摄，如果目标点对应不同摄像头的同像点的位置相同，则该点属于平面；否则，该点不属于平面。一种与键盘融合的手指鼠标，将鼠标和键盘完美地融合在一起，用户使用鼠标时，手指不需要佩戴任何附加设备，而手不必离开键盘，直接在键盘表面移动，控制屏幕上光标的移动。这样用户在使用键盘和鼠标时更加方便。一种光学触摸屏，其成本低，定位精确。

Description

一种判断目标点是否属于平面的方法和鼠标及触摸屏

技术领域：

本发明涉及一种判断目标点是否属于平面方法，进而对目标点定位的方法和应用此方法的与键盘融合的手指鼠标以及触摸屏。

背景技术：

自从操作***进入图形用户界面以来，由于需要对显示器上所显示的光标(cursor)进行控制，所以鼠标成为除了键盘以外，最重要的***输入装置之一。

光电鼠标(optical mouse)与计算机间常是利用COM、PS/2或USB接口来相互连接，而显示器上所显示的光标会随着光电鼠标移动而移动。

现有光电鼠标的结构包括壳体、发光二极管、光透镜、光接收处理装置、按键以及印刷电路板，发光二极管是设置在壳体内，并朝壳体底部的一开口发射光线，故当此光电鼠标放置在桌面或鼠标垫上后，光线照射到桌面或鼠标垫上即会反射光线，，光透镜用来聚集自发光二极管所发射并被桌面或鼠标垫反射的反射光线。光接收处理装置接收光透镜聚集后的反射光线，且光接收处理装置具有一光传感器单元以及图像处理单元；光传感器单元是由电荷耦合组件(CCD)所构成，因此能够获取经由光透镜聚集后的图像，典型的光处理装置芯片是美国AGILENT公司的HDNS-2000、HDNS-2051等光电鼠标专用光接收处理装置芯片，该类光接收处理装置芯片如HDNS-2000型芯片每秒可以从感光窗拾取1500帧图像。接着，由图像处理单元对于光传感器在不同时间所提取的图像加以比较其差异处，由此判断鼠标移动的位移量、速度等，并将其转换为计算机相对应坐标(ΔX，ΔY)的电信号后送至计算机上，以控制光标的移动。

当鼠标的按键，被使用者按压时，按键即会联动微型开关，以控制光标进行点选(click)动作，由于光电鼠标是采用光学技术来进行移动位置的判定，因此具有不易沾染灰尘、分辨率高、移动顺滑等优点，故已逐渐取代传统式的滚轮鼠标。

然而，光电鼠标的使用者需要一定的空间来握持鼠标沿一平面移动，才能有效控制光标移动，因此必定占去相当多空间，使用上并非十分方便，尤其对于常常随身携带的笔记本电脑，要求其尽量轻便、小巧，而鼠标则会占用一定的空间或重量，携带、使用时不够方便。

如果既需要打字，又需要使用鼠标时，使用者的手不得不在键盘和鼠标之间来回移动，这会降低用户的工作效率。

尤其重要者，长时间操作移动鼠标不但易使手腕部位的肌肉疲劳和手指关节酸痛，严重更可能因长期累积而造成运动伤害。

触摸屏作为一种最新的电脑输入设备，它是目前最简单、方便、自然的一种人机交互方式。触摸屏的应用范围非常广阔，主要是公共信息的查询；如电信局、税务局、银行、电力等部门的业务查询；城市街头的信息查询；此外应用于领导办公、工业控制、军事指挥、电子游戏、点歌点菜、多媒体教学、房地产预售等。

从技术原理来区别触摸屏，可分为五个基本种类：矢量压力传感技术触摸屏、电阻技术触摸屏、电容技术触摸屏、红外线技术触摸屏、表面声波技术触摸屏。其中矢量压力传感技术触摸屏已退出历史舞台；红外线技术触摸屏价格低廉，但其外框易碎，容易产生光干扰，曲面情况下失真；电容技术触摸屏设计构思合理，但其图像失真问题很难得到根本解决；电阻技术触摸屏的定位准确，但其价格颇高，且怕刮易损；表面声波触摸屏解决了以往触摸屏的各种缺陷，清晰不容易被损坏，适于各种场合，缺点是屏幕表面如果有水滴和尘土会使触摸屏变的迟钝，甚至不工作。

电阻触摸屏的主要部分是一块与显示器表面非常配合的电阻薄膜屏，这是一种多层的复合薄膜，它以一层玻璃或硬塑料平板作为基层，表面涂有一层透明氧化金属(透明的导电电阻)导电层，上面再盖有一层外表面硬化处理、光滑防擦的塑料层、它的内表面也涂有一层涂层、在他们之间有许多细小的(小于1/1000英寸)的透明隔离点把两层导电层隔开绝缘。当手指触摸屏幕时，两层导电层在触摸点位置就有了接触，电阻发生变化，在X和Y两个方向上产生信号，然后送触摸屏控制器，控制器侦测到这一接触并计算出(X，Y)的位置，再根据模拟鼠标的方式运作。

电容触摸屏是是一块四层复合玻璃屏，玻璃屏的内表面和夹层各涂有一层ITO，最外层是一薄层矽土玻璃保护层，夹层ITO涂层作为工作面，四个角上引出四个电极，内层ITO为屏蔽层以保证良好的工作环境。当手指触摸在金属层上时，由于人体电场，用户和触摸屏表面形成以一个耦合电容，对于高频电流来说，电容是直接导体，于是手指从接触点吸走一个很小的电流。这个电流分从触摸屏的四角上的电极中流出，并且流经这四个电极的电流与手指到四角的距离成正比，控制器通过对这四个电流比例的精确计算，得出触摸点的位置。

电容屏反光严重，而且，电容技术的四层复合触摸屏对各波长光的透光率不均匀，存在色彩失真的问题，由于光线在各层间的反射，还造成图像字符的模糊。电容屏在原理上把人体当作一个电容器元件的一个电极使用，当有导体靠近与夹层ITO工作面之间耦合出足够量容值的电容时，流走的电流就足够引起电容屏的误动作。当较大面积的手掌或手持的导体物靠近电容屏而不是触摸时就能引起电容屏的误动作，在潮湿的天气，这种情况尤为严重，手扶住显示器、手掌靠近显示器7厘米以内或身体靠近显示器15厘米以内就能引起电容屏的误动作。电容屏的另一个缺点用戴手套的手或手持不导电的物体触摸时没有反应，这是因为增加了更为绝缘的介质。电容屏更主要的缺点是漂移：当环境温度、湿度改变时，环境电场发生改变时，都会引起电容屏的漂移，造成不准确。例如：开机后显示器温度上升会造成漂移：用户触摸屏幕的同时另一只手或身体一侧靠近显示器会漂移；电容触摸屏附近较大的物体搬移后回漂移，你触摸时如果有人围过来观看也会引起漂移；电容屏的漂移原因属于技术上的先天不足，环境电势面(包括用户的身体)虽然与电容触摸屏离得较远，却比手指头面积大的多，他们直接影响了触摸位置的测定。

红外触摸屏是利用X、Y方向上密布的红外线矩阵来检测并定位用户的触摸。红外触摸屏在显示器的前面安装一个电路板外框，电路板在屏幕四边排布红外发射管和红外接收管，一一对应形成横竖交叉的红外线矩阵。用户在触摸屏幕时，手指就会挡住经过该位置的横竖两条红外线，因而可以判断出触摸点在屏幕的位置。任何触摸物体都可改变触点上的红外线而实现触摸屏操作。

表面声波触摸屏的三个角分别粘贴着X，Y方向的发射和接收声波的换能器(换能器：由特殊陶瓷材料制成的，分为发射换能器和接收换能器。是把控制器通过触摸屏电缆送来的电信号转化为声波能和由反射条纹汇聚成的表面声波能变为电信号。)，四个边刻着反射表面超声波的反射条纹。当手指或软性物体触摸屏幕，部分声波能量被吸收，于是改变了接收信号，经过控制器的处理得到触摸的X，Y坐标。

光学触摸屏：安装在屏幕顶部左上角的CCD摄像头，通过LED灯发射出光线，经过四周反射条反射，进入右上角的CCD摄像头中.同理，右上角的CCD摄像头发射的光线传入左侧的CCD摄像头中.密布的光线在触摸区域内形成一张光线网，经过多次反射的光线之间的空间在1MM以内。当触摸一点时，该点的射出光线和接收光线组成一个夹角，同时两端的CCD摄像头与这两条光线以及两个摄像头之间构成的直线又会组成两个夹角，这样该点的准确坐标被控制器录入，实现触摸反应。

发明内容：

本发明的目的在于公开一种判断一个点是否属于一个平面的方法，和运用此方法的鼠标装置和触摸屏装置；避免现有鼠标的不足之处，提供一种与键盘融合的、用手指的移动直接控制显示器屏幕上光标移动的新型的鼠标装置，使计算机控制更加方便，从而更加实用；使触摸屏成本低、定位准确，对屏幕亮度没有影响。

本发明目的可以通过以下技术实现：一种用于判断一个目标点是否属于一个平面的方法，两个或两个以上摄像头对平面上和平面两侧的目标点进行拍摄，图像识别单元从上述摄像头拍摄到的图像中识别出目标点的图像，如果目标点对应不同摄像头的同像点的位置是相同的，则该目标点属于这个平面，否则，该目标点位于平面的两侧。

所述用于判断一个目标点是否属于一个平面的方法，判断目标点对应不同摄像头的同像点的位置是否相同的方法有下述两种：a将多个摄像头拍摄的图像叠加比较，如果目标点的图像位置重合，则表明位置相同，否则，位置不同；b根据成像点的位置与平面上实际位置的对应关系，从目标点的像在图像中的位置，计算出其同像点在平面上的实际位置，比较从多个摄像头拍摄的图像所计算出来的同像点的位置。

一种鼠标装置，包括左键、右键，其特征是：包括：

两个或两个以上摄像头：对工作平面和工作平面上方的运动物体进行拍摄；图像识别单元：用于从工作平面背景图像中识别出运动物体的图像；

判断单元：用于判断运动物体是否与工作平面接触；

计算单元：如果运动物体与工作平面接触，计算出接触部位的像的运动的速度或者接触部位沿工作平面运动的速度；

控制通信单元：把接触部位沿工作平面运动的速度或者接触部位图像的运动的速度和左键、右键击键信息传送给主机***，控制屏幕上光标的移动或进行相关操作。

所述的鼠标装置，其所述运动物体是用户的手指。

所述的鼠标装置，其所述工作平面是键盘表面。

所述的鼠标装置，其所述键盘表面是平滑的。

所述的鼠标装置，其所述键盘上相邻的两排按键之间安装有起托放手指作用指托。

所述的鼠标装置，其左键、右键位于指托上，或者位于标准键盘上空格键附近。

一种触摸屏，其包括：

两个或两个以上摄像头：用于对屏幕表面和屏幕一侧的运动物体进行拍摄；

图像识别单元：用于从屏幕背景图像中识别出运动物体的图像；

判断单元：用于判断物体是否与屏幕表面接触；

计算单元：如果物体与屏幕表面接触，计算出接触部位相对于参照物的位置和在屏幕上的坐标，或者物体接触部位的运动的速度；

控制单元：根据物体接触部位的位置或运动的速度，进行对应的操作。

所述的触摸屏，以屏幕的边缘为参照物。

本发明与现有技术相比，避免了现有鼠标的不足之处，提供一种与键盘融合的、用手指的移动直接控制显示器屏幕上光标移动的新型的鼠标装置，使计算机控制更加方便，从而更加实用；使触摸屏成本低、定位准确，对屏幕亮度没有影响。

附图说明

图1为本发明的判断点是否属于平面的方法示意图；

图2为本发明的摄像头2拍摄的图像示意图；

图3为本发明的摄像头1拍摄的图像示意图；

图4为本发明的与键盘融合的手指鼠标的示意图；

图5为本发明的触摸屏示意图；

图6为本发明的同时具备鼠标与触摸屏的***示意图。

图中标号说明：1为摄像头，2为摄像头，3为点，4为摄像头2的同像点，5为摄像头1的同像点，6为参照物，a、b、c为参照物上的三个参照点，11为屏幕参照物，10为键盘参照物，7为指托，8为左键，9为右键。

空间中的一个实物点，在摄像头的感光物质上的成像点称为像点，一个空间点和一个位于平面上的点，如果它们的成像点位置相同，则平面上的点称为空间点的同像点。属于平面上的点和其对应的同像点的位置实际上是重合的，而位于平面两侧的点和其同像点的实际位置是不重合的。当空间点位于平面两侧时，其同像点在平面上的位置和摄像头的位置有关，两个位置不同的摄像头，该空间点对应这两个摄像头的同像点在平面上的位置是不同的。同像点的位置还和平面的位置有关，同一点，对应于同一摄像机的在不同平面的同像点的位置也是不同的。

点在平面上的位置指的是其与参照物的相对位置。像点的位置是像点相对于参照物的像的相对位置。参照物位于平面上，必须包括至少3个不在一条直线上的点，这3个点可以确定平面的位置。参照物可以是有形的标志，如平面的纹理或平面上的图案；也可以是一个虚拟的标志。使用有形的标志时，参照物的成像位置可通过图像识别的方法得出。使用虚拟参照物时，虚拟参照物的实际位置应当是已知的，虚拟参照物的像的位置可以从理论上计算出来，如果虚拟参照物的位置不是已知的，或者无法计算出其成像位置，则不能作为参照物。虚拟标志有多种，例如：在平面上划出一个固定的工作区域，计算出这个区域边缘的成像位置以及区域边缘的实际位置，以此为参照物。

如图1所示，用两个摄像头1、2对一个点3进行拍摄，取平面上某个标志为参照物6，该标志包含至少3个不在同一直线上的点a、b、c。4、5分别是点3对应摄像头2、1的同像点。从图2，图3可以看出，点4、点5相对于参照物6的位置是不同的。

平面上每个点都对应一个成像点，平面点的位置和成像点的位置是一一对应的，当摄像头的位置是固定的，则位置对应关系也是固定不变的，可以提前计算或测量出来；当摄像头的位置是变化的，则位置对应关系也是变化的，此时，要计算对应关系，需要在平面上取参照物，参照物至少包括不在一条直线上的三个点，其位置和大小已知且不变。先将摄像头放置在标准位置，对参照物拍摄，将参照物的标准图像位置记录下来，然后，当摄像头的位置变化时，对参照物拍照并记录下参照物的像的位置，并和标准参照物图像位置比较，从而计算出像点和实际点的位置对应关系。根据位置对应关系，可以从像点的位置计算出同像点的位置。

图像处理单元从摄像头拍摄到的图像中识别出目标点的图像，根据它们的位置对应关系，计算出目标点的同像点在平面上的位置，如果从上述摄像头拍摄的图像中计算出的同像点的位置都是相同的，也就是说：目标点的与不同摄像头对应的同像点在平面上的位置是相同的，则该点属于这个平面，否则，该点位于平面两侧。

或者，图像识别单元识别出目标点的图像后，将多个摄像头的图像叠加，比较目标点的图像位置是否重合，如果是重合的，表明：目标点的与不同摄像头对应的同像点在平面上的位置是相同的，则该目标点位于平面上，否则，该点位于平面两侧。

一种鼠标装置，包括左键、右键；还包括下列构成部件：

两个或两个以上摄像头：对工作平面和工作平面上方的运动物体进行拍摄；以工作平面上的某个标志为参照物，参照物至少包含三个不在一条直线上的点；

图像识别单元：从工作平面背景图像中识别出运动物体的图像；

判断单元：通过比较多个摄像头中运动物体的同像点位置是否相同，判断出运动物体是否与工作平面接触；

计算单元：如果运动物体与工作平面接触，计算出接触部位的像的运动速度或者接触部位的实际运动速度。

计算像的运动速度比较简单，直接对图像进行简单的测量和运算即可。

计算物体的实际运动速度比较复杂：根据接触部位像的位置和接触部位的实际位置的对应关系，计算出接触部位的实际位置，进一步计算出一段时间间隔内接触部位的位移，从而计算出接触部位沿工作平面运动的速度；像的位置与实际位置是一一对应的，对应关系的计算方式有两种：

如果摄像头的各项参数和与工作平面的相对位置、相对高度都是固定的，则像的位置与接触部位实际位置的对应关系是个常数，一次性算出或测出对应关系，可以作为常数使用。

如果摄像头的参数和与工作平面的相对位置、相对高度不是固定的，则像的位置与实际位置的对应关系是变化的，这种情况下，参照物的大小和位置必须是个已知常数，先测量出参照物的大小和位置的数值，再通过图像识别的方法得出参照物的像的大小和位置的数值，得出参照物的实际位置和大小与像的位置和大小的比例关系。接下来通过图像识别得出接触部位的像相对于参照物的像的大小和位置，根据上一步骤得出的比例关系，计算出接触部位在工作平面上的实际位置。

控制通信单元：把接触部位沿工作平面运动的运动信息和左右键击键信息传送给主机***，控制屏幕上光标的移动或进行相关操作，如果运动物体有多个，则多个运动物体的不同运动状态代表不同的操作。

一种触摸屏，包括下列部件：

两个或两个以上摄像头，对屏幕表面和屏幕一侧的运动物体进行拍摄；以屏幕上的某个标志为参照物，如屏幕的边缘；

图像识别单元：从屏幕背景图像中识别出运动物体的图像；

判断单元：判断物体是否与屏幕表面接触；

计算单元：如果运动物***与工作平面接触，则根据接触部位像的位置和接触部位的实际位置的对应关系，计算出接触部位的实际位置，进一步计算出一段时间间隔内接触部位的位移，从而计算出接触部位沿屏幕表面运动的速度；像的位置与实际位置是一一对应的，根据像的位置计算实际位置的计算方式有两种：

如果摄像头的各项参数和与工作平面的相对位置、相对高度都是固定，则像的位置与实际位置的对应关系是个常数，对应关系一次算出或测出，可以多次使用。

如果摄像头的参数和与工作平面的相对位置、相对高度不是固定的，则像的位置与实际位置的对应关系是变化的，这种情况下，参照物的大小和位置必须是个已知常数，先测量出参照物的大小和位置的数值，再通过图像识别的方法得出参照物的像的大小和位置的数值，得出参照物的实际位置和大小与像的位置和大小的比例关系。接下来通过图像识别得出接触部位的像相对于参照物的像的大小和位置，根据上一步骤得出的比例关系，计算出运动物体在屏幕表面上的实际位置。

控制单元：根据物体的位置或运动速度，进行对应的操作。

具体实施方式

实施例1与键盘结合的手指鼠标，如图4所示：

包括下列单元：

两个摄像头摄像头1、摄像头2：对键盘表面和键盘上方手指的移动进行拍摄，摄像头略高出键盘表面，位置位于标准键盘功能键的上方，‘F’和‘J’键的上方，摄像头对准键盘的中央，视野覆盖键盘中央区域。两个摄像头同步工作，它们的参数是相同的，工作时，摄像头的各项参数是固定的，如光轴的方向，焦距，位置，高度等。

图像识别单元：从键盘背景图像中识别出手指的图像和参照物的图像，摄像头的参数是固定的，所以，键盘的背景图像是是一个常数，不会变化，同时，用户手指的形状也大致相同，所以，从键盘背景图像中识别出手指的图像非常容易。通常，手指与键盘表面接触的部位是指尖，指尖一般位于最接近摄像头的位置或最靠近键盘的位置，指尖具有明显的特征，如指甲、轮廓边缘等，根据这些特征，图像识别单元从手指图像中进一步识别出指尖的图像，并找到对应点或者对应部位，对应点指的是一个实物点分别在两个摄像头中的成像点，多个对应点构成对应部位。由后续单元对指尖上的对应点进行处理。图像识别技术目前相当成熟，在此不再赘述。

判断单元：判断手指是否与键盘表面接触。以标准键盘上方的数字键‘6’、‘T’和‘Y’为参照物，摄像头的位置和参数是固定的，所以其成像点位置和实际位置也是固定的，可视为常数。

手指在键盘上的运动分成三类：1、击键动作：手指由上向下运动，方向和键盘表面大致垂直，同时，一般有按键被按下的电信号；2、有效动作：手指贴着键盘表面移动，一根手指贴着键盘表面移动为光标动作，此时，手指的移动控制光标的移动；多根手指贴着键盘表面移动时，根据不同的手势，代表不同的操作，手势的意义，由用户自定义。如两个手指同时向下移动，代表滚动条向下移动；四根手指向下移动，代表窗口最小化操作；两根手指相向运动，表示关闭一个程序；两根手指背向运动，表示打开一个程序。3、其他动作：除了垂直运动和贴着键盘表面运动之外的移动，这类动作常常是用户的习惯动作或无意的动作。

当手指的指尖位于键盘表面时，相接触的指尖部分(或者指尖对应点)对应两个摄像头的同像点的位置(相对于参照物的位置)是相同的；如果高于键盘表面，则指尖对应于两个摄像头的同像点的位置不同，根据指尖像(或者指尖对应点)的对应不同摄像头的同像点位置是否相同，判断单元即可判断出指尖是否贴着键盘表面。如果指尖不在键盘表面，则表明手指的动作是1击键动作或3其他动作，此时，鼠标***不做任何处理。如果指尖贴在键盘表面，且没有按键被按下的电信号，则表明手指的动作属于2有效动作，则鼠标的计算单元开始工作。

计算单元：计算出手指指尖沿键盘表面运动的速度，包括速率和方向。同一摄像头在两个时刻拍摄的图像中，手指指尖的像(或者指尖对应点)的距离除以两个时刻的时间间隔，算出手指指尖的像的运动速度，从而计算出手指指尖的运动速度。

控制通信单元：把手指指尖的运动速度信息，手势信息和左右键的击键信息发送给主机***，执行相应的操作。

和普通键盘上各个按键之间存在间隙不同，本发明中键盘的表面是平滑的，以便于手指的移动。同时，在键盘中央的上下两排按键之间安装有起托放手指作用的固定支架，称为指托，当用户的手指在键盘表面移动时，其它手指可放在指托上，这既能避免其它手指错误地按下按键，也为手指的移动提供了支撑点和着力点。左右键可以安装在指托上，用食指、中指或无名指操作，也可安装在标准键盘的空格键附近，由大拇指操作。

当使用键盘输入时，用户按正常的方式上下击键，和普通键盘的使用方式一样；当使用鼠标时，手不需要离开键盘，其它手指放在指托上保持静止，某一根手指贴着键盘表面移动，光标会随着手指而移动，左右键的操作方式和普通鼠标是一致的；需要手势操作时，多根手指贴着键盘同时移动，即可执行自定义的相应操作。

目前，台式机的键盘和鼠标是分离的，操作时，用户的手需要在键盘和鼠标之间来回移动，很不方便。笔记本电脑上用的鼠标装置一般是触控杆或触摸板，触控杆占用的体积小，携带方便，但是使用方式和常规的鼠标差异太大，使用不习惯。触摸板占用的体积大，而且其和键盘实际上也是分离的。本发明公开的鼠标和键盘完美地融合起来，不占用键盘体积，携带非常方便，使用时手不需要离开键盘，同时，用手指直接控制光标的移动，比常规鼠标的使用方式更加方便。

实施例2触摸屏，如图5所示：

包括两个摄像头，摄像头的位置在屏幕上方的两个角上，摄像头的高度高出屏幕表面，其视野覆盖了整个屏幕。摄像头的各项参数都是固定的，如焦距，光轴的方位，高度，位置等。以屏幕的至少两条相交的边缘为参照物，参照物的成像位置和实际位置都是固定，可视为常数。摄像头对屏幕表面和屏幕一侧的图像进行拍摄，两个摄像头同步工作。

图像识别单元，从屏幕的背景图像中识别出物体(触摸体)的图像，在两个摄像头的图像中确定对应点。屏幕的背景图像是屏幕上正常显示的图像，一般是变化的且位于屏幕表面，而物体图像除了接触面外，其余都是位于屏幕的一侧，根据这个特点可将背景图像和物体图像区分开。

判断单元：判断出物体是否和屏幕接触，如果物体没有和屏幕接触，则物体对应两个摄像头的同像点的相对位置(相对参照物)都不相同；如果物体和屏幕接触，则在对应两个摄像头中的物体同像点位置是相同的。

计算单元：计算出运动物体沿屏幕表面运动的速度，包括速率和方向，当有多个物体接触时，分别计算出其位置和速度。

控制通信单元：把运动物体的运动速度信息，多点触控信息发送给主机***，执行相应的操作。

实施例3同时实现与键盘融合的手指鼠标和触摸屏的笔记本电脑，如图6所示：

鼠标和触摸屏是计算机上常见的输入设备，在上述两个实施例中，鼠标和触摸屏用到的原理是一致的，其主要的部件也是相同的，所以它们能够融合在一套***中，也就是一套***同时具有触摸屏和鼠标功能。

在笔记本电脑屏幕上方的两个角上，安装两个摄像头，摄像头的高度高出屏幕表面，其视野覆盖屏幕表面和键盘，屏幕和键盘上的每个点都能确保被两个摄像头拍摄到。两个摄像头对屏幕表面和屏幕一侧以及键盘表面和键盘上方的物体进行拍摄，两个摄像头同步拍摄。

键盘表面是平滑的，以方便手指的移动，上下两排按键之间的间隙安装指托，指托是起托放手指作用的固定支架，当用户的手指在键盘表面移动时，其它手指可放在指托上，这样既能避免其它手指错误地按下按键，也为手指的移动提供了支撑点和着力点。左右键可以安装在指托上，用食指、中指或无名指操作，也可安装在标准键盘的空格键附近，由大拇指操作。

图像识别单元从屏幕和键盘背景中识别出手指的图像，不同用户手指的图像不会有太大的差异，所以识别的成功率很高。

以屏幕的边缘作为屏幕参照物，以键盘表面的电源灯、‘F3’和‘F6’键作为键盘参照物。这两个参照物的实际位置和成像位置的计算方法不同：由于摄像头相对于屏幕的位置和高度都是固定的，所以屏幕参照物在摄像头感光物质上的成像位置和大小是固定，一旦确定后就可以视作常数直接使用。其实际位置和大小也是固定的，可以作为常数使用。由于笔记本电脑的屏幕可以开合，所以摄像头的位置相对于键盘是变化的，键盘参照物在摄像头感光物质上的成像位置和大小因此也是变化的，其具体成像位置和大小由图像识别单元实时识别，并计算得出。键盘参照物的实际位置和大小是常数，可以在生产调试阶段测量得出。

判断单元，判断手指的操作类型。在识别出手指图像后，首先计算出手指图像(通常是指尖)相对于键盘的同像点的相对位置，如果对应两个摄像头的相对于键盘参照物的同像点的位置相同，则表明手指在键盘表面，如果此时没有键盘按键被按下的电信号，则表明手指在操作鼠标；如果对应两个摄像头的相对于键盘参照物的同像点的位置不同，则继续和屏幕参照物比较，如果手指(通常是指尖)对应两个摄像头的相对于屏幕参照物的同像点的相对位置相同，则表明手指在操作触摸屏；否则，手指既不是操作键盘，也不是操作鼠标。

计算单元，如果手指是操作鼠标，则计算出手指(通常是指尖)贴着键盘表面的运动速度；如果手指是操作触摸屏，则计算出手指(通常是指尖)在屏幕表面的位置和手指(通常是指尖)的运动速度。

通信和控制单元，把手指的运动信息，手势信息和左右键点击信息发送给主机***，如果手指是操作鼠标，则光标随着手指而移动，或者根据自定义的手势含义，执行相应的手势操作；如果手指是操作触摸屏，则执行屏幕触摸点位置上的程序功能，或者按照自定义的手势含义，执行相应的手势操作。

一套***实现了两项功能，既有触摸屏，也有鼠标，所以具有很高的性价比。键盘和鼠标结合在一起，使用户的使用和操作更加方便。

Claims (10)

1.一种用于判断一个目标点是否属于一个平面的方法，其特征是：两个或两个以上摄像头对平面上和平面两侧的目标点进行拍摄，图像识别单元从上述摄像头拍摄到的图像中识别出目标点的图像，如果目标点对应不同摄像头的同像点的位置是相同的，则该目标点属于这个平面，否则，该目标点位于平面的两侧。

2.根据权利要求1所述的判断方法，其特征是：判断目标点对应不同摄像头的同像点的位置是否相同的方法有下述两种：a将多个摄像头拍摄的图像叠加比较，如果目标点的图像位置重合，则表明位置相同，否则，位置不同；b根据成像点的位置与平面上实际位置的对应关系，从目标点的像在图像中的位置，计算出其同像点在平面上的实际位置，比较从多个摄像头拍摄的图像计算出来的同像点的位置。

3.一种鼠标装置，包括左键、右键，其特征是：包括：

两个或两个以上摄像头：对工作平面和工作平面上方的运动物体进行拍摄；图像识别单元：用于从工作平面背景图像中识别出运动物体的图像；

判断单元：用于判断运动物体是否与工作平面接触；

计算单元：如果运动物体与工作平面接触，计算出接触部位的像的运动的速度或者接触部位沿工作平面运动的速度；

控制通信单元：把接触部位沿工作平面运动的速度或者接触部位图像的运动的速度和左键、右键击键信息传送给主机***，控制屏幕上光标的移动或进行相关操作。

4.根据权利要求3所述的鼠标装置，其特征是：所述运动物体是用户的手指。

5.根据权利要求3所述的鼠标装置，其特征是：所述工作平面是键盘表面。

6.根据权利要求5所述的鼠标装置，其特征是：所述键盘表面是平滑的。

7.根据权利要求5所述的鼠标装置，其特征是；所述键盘上相邻的两排按键之间安装有起托放手指作用指托。

8.根据权利要求3所述的鼠标装置，其特征是：左键、右键位于指托上，或者位于标准键盘上空格键附近。

9.一种触摸屏，其特征是：包括：

两个或两个以上摄像头：用于对屏幕表面和屏幕一侧的运动物体进行拍摄；图像识别单元：用于从屏幕背景图像中识别出运动物体的图像；

判断单元：用于判断物体是否与屏幕表面接触；

计算单元：如果物体与屏幕表面接触，计算出接触部位相对于参照物的位置和在屏幕上的坐标，或者物体接触部位的运动的速度；

控制单元：根据物体接触部位的位置或运动的速度，进行对应的操作。

10.根据权利要求9所述的触摸屏，其特征是：以屏幕的边缘为参照物。

Images