CN104049747A - 一种用手指直接控制光标的鼠标装置 - Google Patents

一种用手指直接控制光标的鼠标装置 Download PDF

Info

Publication number
CN104049747A
CN104049747A CN201410109161.4A CN201410109161A CN104049747A CN 104049747 A CN104049747 A CN 104049747A CN 201410109161 A CN201410109161 A CN 201410109161A CN 104049747 A CN104049747 A CN 104049747A
Authority
CN
China
Prior art keywords
finger
keyboard
camera
cursor
mouse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410109161.4A
Other languages
English (en)
Other versions
CN104049747B (zh
Inventor
胡世曦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201410109161.4A priority Critical patent/CN104049747B/zh
Publication of CN104049747A publication Critical patent/CN104049747A/zh
Application granted granted Critical
Publication of CN104049747B publication Critical patent/CN104049747B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种用手指直接控制光标的鼠标装置,包括一个或多个摄像头、左键、右键,其工作方法是,摄像头连续拍摄手指的图像,通过对图像进行分析,基于立体视觉或视差原理或者投影法或者两参照点法或者平行交点判断出手指是否贴着工作平面,如果是,则在连续的视频流中,根据手指在多帧图像中的位置变化,控制光标做相应移动;如果否,则光标不移动。这种鼠标使用手指直接控制光标移动,具有使用方便,重量轻,体积小,便于携带的特点。可以与键盘结合,用于笔记本电脑时,可以取代触摸板。

Description

一种用手指直接控制光标的鼠标装置
技术领域:本发明涉及一种用手指直接控制光标的鼠标装置。 
背景技术:
自从操作***进入图形用户界面以来,由于需要对显示器上所显示的光标(cursor)进行控制,所以鼠标成为出了键盘以外,最重要的***输入装置之一。 
光电鼠标(optical mouse)与计算机间常是利用COM、PS/2或USB接口来相互连接,而显示器上所显示的光标会随着光电鼠标所移动的轨迹移动。 
现有光电鼠标的结构包括壳体、发光二极管、光透镜、光接收处理装置、按键以及印刷电路板,发光二极管是设置在壳体内,并朝壳体底部的一开口发射光线,故当此光电鼠标放置在如桌面或鼠标垫上后,光线照射到鼠标垫上即会反射光线,并由此呈现出鼠标垫上的图像,光透镜用来聚集自发光二极管所发射并由此鼠标垫上反射的反射光线。 
光接收处理装置接收有光透镜聚集后的反射光线,且光接收处理装置具有一光传感器以及以图像处理单元,光传感器单元是有电荷耦合组件(CCD)所构成,因此能够获取经由光透镜聚集后的图像,典型的光处理装置芯片是美国AGILENT公司的HDNS-2000、HDNS-2051等光电鼠标专用光接收处理装置芯片,该类光接收处理装置芯片如HDNS-2000型芯片每秒可以从感光窗拾取1500帧图像。接着,由图像处理单元对于光传感器在不同时间所提取的图像加以比较其差异处,由此判断鼠标移动到位移量、速度等,并将其转换为计算机想对应坐标(ΔX,ΔY)的电信号后送至计算机上以控制光标的移动。 
按键则是部分凸露于壳体外,当被使用者按压是,按键即会联动以微型开关,以控制光标进行点选(click)动作,印刷电路板是用来承载上述构件并是上述构件彼此间相互电连接。 
由于光电鼠标是采用光学技术来进行移动位置的判定,因此具有不易沾染灰尘、分辨率高、移动顺滑等优点,故已逐渐取代传统式的滚轮鼠标。 
然而,光电鼠标的使用者需要一定的空间来握持鼠标沿一平面移动,才能有效控制光标移动,因此必定占去相当多空间,使用上并非十分方便,尤其对于常常随身携带的笔记本电脑,要求其尽量轻便、小巧,而鼠标则会占用一定的空间或重量,携带、使用时不够方便。 
如果既需要打字,又需要使用鼠标时,使用者的手不得不在键盘和鼠标之间来回移动,这会降低用户的工作效率。 
尤其重要者,长时间操作移动鼠标不但易使手腕部位的肌肉疲劳和手指关节酸痛,严重更可能因长期累积而造成运动伤害。 
发明内容:
本发明的目的在于公开一种用手指直接控制光标的鼠标装置。 
为避免现有鼠标的不足之处而提供一种与键盘融合的、用手指的移动直接控制显示器屏幕上光标移动的新型的鼠标装置,所要解决的技术问题是使鼠标的使用和携带更加方便,从而更加实用。 
本发明包括一个或多个摄像头、左键、右键,其工作方法是,摄像头连续拍摄手指的图像,通过对图像进行分析,基于立体视觉或视差原理或者投影法或者两参照点法判断出手指是否贴着工作平面,如果是,则在连续的视频流中,根据手指图像的位置变化,在摄像头拍摄的连续图像中,根据手指图像的位置变化,控制光标做相应移动;如果否,则光标不移动;或者用平行法判断手指是否贴着键盘表面,如果是,则计算出手指位置,根据手指位置的移动,控制光标移动。 
工作平面是键盘表面。 
键盘表面是平滑的。 
指托安装在键盘上相邻的两排按键之间,指托是起托放手指作用的固定支架。 
左右键位于指托上,或者位于标准键盘空格键附近,左右键的作用和普通光电鼠标中的一样。 
摄像头可以是带有多个分摄像头的3d摄像头,也可以是外接式或内置式摄像头。 
摄像头可以是红外摄像头。 
可以用光源对手指进行照明,在黑暗环境中,使用光源进行照明。 
判断是否位于工作平面的方法是: 
先确定工作平面。通过分析图像,计算出距离或者坐标,进而确定平面位置或者方程,或者摄像头相对与平面的位置。取摄像头坐标系,在工作平面上取点,计算出点的坐标。最少取不在直线上的三个点,根据三点确定一个平面的原理,确定平面的方程f。或者取平面坐标系,确定摄像头相对与平面的位置。 
再判断指尖是否位于工作平面上。确定手指指尖的位置,判断手指指尖是否位于工作平面。 
如果摄像头与工作平面的位置是固定的,则在计算出平面位置后,只需重复判断指尖是否位于平面。如果摄像头的位置出现变化,则待摄像头静止后,重复上述两个步骤,重新计算平面位置,并判断指尖是否位于工作平面。 
利用立体视觉法或视差原理判断是否位于工作平面,通常包括图像获取、摄像机标定、特征提取、图像匹配、分析计算等步骤。立体视觉或视差法发展较为成熟,有比较多的应用,有多种方法可以判断是否位于工作平面,这里不一一列举,下面给出两种简化、具体的计算方法。 
摄像头对准工作平面上手指的运动区域,多个摄像头同步工作,连续拍摄手指运动以及工作平面背景图像。两个摄像头的光轴平行,内部参数一致。从摄像头的图像中,识别出手指,并建立在多个摄像头图像中手指的对应关系,由于多个摄像头的角度不同,其提取出的图像中,手指图像存在一定差异,可以通过灰度分布的相关性或特征分布的相似性等方法找到彼此对应的部分,例如指尖在多帧图像中的对应部分,然后计算出手指比如指尖与摄像头的距离,并判断出手指例如指尖是否位于工作平面上。 
手指与摄像头的距离的计算方法如图2所示:设空间一点P(x,y,z)在两个平行放置的完全相同的摄像机中的成像点分别是(x1,y1),(x2,y2),则在知道基线长B,B为两摄像头光轴的距离,以及焦距f的情况下,可以计算出P点与成像平面的距离 
Z=f×B/(x2-x1)=f×B/Δx 
如果摄像头相对工作平面的位置是固定的,那么图像上的像点P’(x’,y’),会对应着键盘上的某个物点P(x,y),P’与P的距离L是唯一,且固定的,图像上每一个像点都有相应的L,在鼠标工作前,需要计算出每一个像点的对应的L,作为已知量,保存在鼠标内部。每个像素点需要保存一个向量[x,y,1],如果摄像头有n个象素,就保存n个向量。 
如果Z=L,则P点位于工作平面上;否则,P点不在工作平面上。 
如果摄像头与工作平面的相对位置是变化的,则待摄像头静止后,通过对摄像头图像进行分析,找到平面上的三个不在一条直线上的三个参照点,计算出参照点与摄像头的距离,确定平面的方程,再计算出手指比如指尖与摄像头的距离,从而判断出手指指尖是否位于平面上。 
另一种计算方法如图3所示: 
两个摄像头在同一平面上,内部参数相投,两摄像头的投影中心连线的距离为B,焦距为f。设空间点坐标为P(x,y,z),分别在左右摄像头上获取点P的图像,他们的坐标分别为P1(x1,y1)和Pr(xr,yr)。P点的图像坐标Y相同,即Y=y1=yr。两个图像中,D=x1-xr。则可以计算出P点在空间的坐标。 
x=Bx1/D; 
y=By/D 
z=Bf/D 
用视差法或三维视觉方法还有很多,都可以使用,类似方法在此不一一赘述。 
判断是否位于工作平面的方法也可以是两参照点法: 
在平面上取两个参照点,工作时,拍摄参照点和目标点的图像,从图像上计算出两个参照点和目标点在图像上的距离,比较两个摄像头所拍摄的图像中,距离是否相同,如果相同,则目标点位于工作平面上;或者通过像与物的对应关系,从像的位置计算出目标点的位置,如果从两个摄像头拍摄的图像所计算出来的目标点的位置相同,则目标点位于工作平面上,否则不在平面上。 
也可以便用投影法判断手指是否贴着键盘表面,摄像头拍摄到手指及其阴影的图像,分析阴影的状态,判断手指是否位于工作平面上,如指尖阴影是否与指尖连接,如果是,则手指贴着键盘表面;如果否,则手指没有接触键盘表面。 
平行交点法指的是摄像头光轴与工作平面(如键盘)平行或者接近于平行,多个摄像头位于工作平面边缘,位置高于工作平面,能拍摄到平面或平面上方的物体。首先通过摄像头的图像,判断手指是否贴着键盘表面,如果贴着键盘表面时,通过多个个摄像头拍摄的图像的交点,计算出手指的位置。平行交点法的实现方法有很多种: 
当物体靠近键盘表面时,它会在摄像头的感光材料中,在一个平行于键盘表面的一个狭窄的区域成像,这个区域为有效成像区域。当物体的位置离开键盘表面时,在感光材料中成像的区域偏离有效成像区域,离开键盘表面越远,则距离有效成像区域越远。 
当物体靠近键盘表面时,摄像头所拍的图像中,物体图像位于图像中的特定区域,称为图像有效区域,该区域通常是一个平行于键盘表面的线状或狭长带状区域。物体离开键盘表面时,物体图像位置不在有效区域,离开越远,则物体图像偏离有效区域越远。通过分析手指图像是否位于图像有效区域,可以判断出手指,通常是指尖,是否接触键盘。 
平行交点法判断物体是否在键盘表面也可以采用其它方法,如通过一个发射机构(如红外光源),发射出类似于红外线的光线,光线(可见光或不可见光)平行并贴着键盘表面,当键盘表面有物体时,物体反射光线,感光材料就会接受到反射光线。反过来,如果感光材料接收到这种光线,则表明有物体在键盘表面上。 
通过多个摄像头拍摄到的手指的图像,图像对应的交点,在摄像头位置和参数已知时,可以计算出手指的位置。如图4所示是一种计算方法: 
x/(B-y)=f/y1 
x/y=f/y2 
从这个方程中可以算出P点坐标x,y。其中B为两个摄像头的距离,y1,y2为两个摄像头中P点图像的距离。 
平行交点法计算位置也可以采用另一种方法,如图5所示,两个摄像头和物体P构成一个三角形,其中两个摄像头的距离B是已知的,通过分析两个摄像头的图像,可以确定夹角α、θ,进一步能确定P的位置。 
平行交点法也可以或者在键盘上贴有反射条,光线(可见光或不可见光)射到反射条上,反射条反射光线,在感光材料上形成一条亮线。当手指贴着键盘表面时,光线被遮挡,在反射条上形成阴影,感光材料上形成的就不是一条亮线,而是被阴影或者手指遮挡切成一段段的亮线,根据阴影的位置,可以用三角函数出手指的位置。通过手指位置的变化,控制光标移动。如果手指不贴着键盘表面,在反射条上没有阴影,或者反射条没有受到遮挡,在感光材料形成的就是一条亮线。反射条的位置一般是贴着键盘表面安装。 
或者摄像头拍摄稍高于键盘表面的背景,当背景被手指遮挡时,表明手指贴着键盘表面,通过背景被遮挡的位置,计算出手指的位置。通过手指位置的变化,控制光标移动。 
平行交点法计算位置的其它方法不一一列举。当物体(如手指指尖)贴在工作平面(如键盘)表面时,计算出物体的位置,然后根据位置变化,光标做跟随移动。 
本发明的一个优选方案中,取键盘表面为工作平面,取键盘上的三个按键:左上角的esc 键、右上角的F12键、右下角的Ctrl键的右上角为参照点,取摄像头为坐标系,算出三个参照点的坐标,进而确定键盘表面的平面方程。为了方便图像特征提取,可以用三个键上的文字作为参照点特征,也可以使用文字直接作为参照点。 
本发明的另一个优选方案中,取键盘表面为工作平面,取键盘上的两个参照点:左上角的esc键、右上角的F12键的右上角为参照点,匹配两个摄像头图像中的参照点,同时匹配两个摄像头所拍摄图像中的手指指尖的图像,分别在两个摄像头拍摄的图像中,测量出指尖与两个参照点的距离,如果对应的距离相同,则指尖位于工作平面上。否则,指尖不在工作平面上。在取参照点时,参照点需要满足两个条件:1、参照点位于工作平面上;2、手指指尖只在两个参照点连线的一侧运动。 
如果手指(例如指尖)位于工作平面上,则通过同一摄像头中两幅连续图像中的手指(例如指尖)位置的差异或者运动情况,控制光标的运动。 
多根手指同时贴着键盘表面移动时,不同的移动方式,可以定义不同的操作。例如左右食指同时向下,表示向下翻页;左右食指反向移动,代表放大操作。 
附图说明:
图1与键盘融合的鼠标的示意图 
1 左键 
2 右键 
3 摄像头 
4 摄像头 
5 左摄像头的视野 
6 右摄像头的视野 
7 指托 
图2计算方法示意图 
1 左摄像头的成像平面 
2 右摄像头的成像平面 
3 左摄像头的镜头 
4 右摄像头的镜头 
5 左摄像头的光轴 
6 右摄像头的光轴 
图3另一种计算方法示意图 
图4平行交点法一种计算方法示意图 
图5平行交点法另一种计算方法示意图
具体实施方式
实施例1与笔记本电脑键盘结合的手指鼠标1 
该手指鼠标应用与笔记本电脑,包括下列单元: 
两个摄像头:摄像头的参数相同,光轴平行。摄像头位于笔记本电脑屏幕上方的边框中,成左右排列。摄像头向下对准键盘中部,工作时,两个摄像头同步、连续拍摄,每秒拍摄100帧图像。 
左键、右键位于键盘空格键附近。 
键盘表面是平滑的。 
键盘表面可以视为一个平面。 
指托安装在键盘上相邻的两排按键之间的空隙位置,指托是起托放手指作用的固定支架,在手指运动时,为手掌提供支撑。 
在三维坐标系中,取键盘表面为xoy,屏幕旋转轴为x轴,键盘左上角为原点,摄像头位于一个绕x轴旋转的圆周上。对于一个笔记本电脑,其物理大小、摄像头在笔记本上的位置、两个摄像头之间的距离等可以视为常量,所以摄像头在三维坐标系中的坐标可以计算出来,根据屏幕的打开角度,可以计算出摄像头在三维坐标系中的坐标,屏幕打开角度大小的计算方法可以使用一个角度传感器来测量;也可以在键盘上取一个大小、位置已知的参照物,在不同角度时,参照物图像大小或位置不同,在工作前,建立两者的对应关系,在工作时,摄像头拍摄的参照物图像,根据其大小或位置得到屏幕的角度,进一步算出摄像头的坐标。 
用户在每次打开笔记本时,屏幕打开的角度和上次打开的角度可能不一样,所以每次使用前,要重新计算摄像头的坐标。在工作时,屏幕的位置通常是固定的,摄像头坐标不变。 
上述计算可以直接或间接算出键盘表面每个点与摄像头的距离Z,通过视差法或三维视觉,计算出指尖与摄像头的距离L,Z=L,则指尖位于键盘表面。 
或者取摄像头坐标系,左上角的esc键、右上角的F12键、右下角的Ctrl键的右上角为键盘表面的参照点,计算出摄像头与参照点的距离,求出键盘表面的平面公式,再从图像中找到指尖,通过视差法计算出指尖坐标,判断指尖是否位于平面。 
用户的键盘操作和鼠标操作都在键盘上完成,手指在键盘上的运动分成三类:1、击键动作:手指由上向下运动,方向和键盘表面大致垂直,同时,一般有按键被按下的电信号;2、有效动作:手指贴着键盘表面移动,一根手指贴着键盘表面移动为光标动作, 此时,手指的移动控制光标的移动;多根手指贴着键盘表面移动时,根据不同的手势,代表不同的操作,手势的意义,可以自定义。如两个手指同时向下移动,代表滚动条向下移动;四根手指向下移动,代表窗口最小化操作;两根手指相向运动,表示关闭一个程序;两根手指背向运动,表示打开一个程序。3、其他动作:除了垂直运动和贴着键盘表面运动之外的移动,这类动作常常是用户的习惯动作或无意的动作。通过对用户的使用习惯进行分析,用户操作键盘的动作和无意的动作都不是贴着键盘表面的。 
鼠标需要判断上述三种用户动作,具体地说,是需要识别出第2类,有效动作。判断方法是:判断手指是否贴着键盘表面,如果是第2类有效动作,鼠标进行响应;对第一类或第三类无效动作,鼠标不予响应。 
另外取一个时间作为无效阈值,进一步区分第1类动作和第2类动作,避免操作键盘时,鼠标出现误操作。当手指按下键盘按键时,从这一时刻起到无效阈值期间,手指鼠标停止响应,光标保持原来的位置。采用无效阈值,当用户在键盘上连续、快速按下按键时,鼠标停止工作。无效阈值取值为0.2秒,也可以根据用户的使用习惯进行调整,比如取0.1秒或0.5秒。无效阈值可以作为一个辅助手段,避免在用户按键是,出现误操作。当用户在按键输入文字时,在一个较短时间内,如0.2秒内,鼠标不会响应。或者检测到手指的运动是上下运动时,时间阈值内,光标不响应。 
和普通键盘上各个按键之间存在间隙不同,本发明中键盘的表面是平滑的,以便于手指的移动。同时,在键盘中央的上下两排按键之间安装有起托放手指作用的固定支架,称为指托,当用户的手指在键盘表面移动时,其它手指可放在指托上,这既能避免其它手指错误地按下按键,也为手指的移动提供了支撑点和着力点。左右键可以安装在指托上,用食指、中指或无名指操作,也可安装在标准键盘的空格键附近,由大拇指操作。 
使用手指鼠标时,用户的键盘操作和鼠标操作都在键盘上完成,当使用键盘输入时,用户按正常的方式上下击键,和普通键盘的使用方式一样;当使用鼠标时,手不需要离开键盘,其它手指放在指托上保持静止,食根手指贴着键盘表面移动,光标会随着食指移动,左右键的操作方式和普通鼠标是一致的;需要手势操作时,多根手指贴着键盘同时移动,即可执行自定义的相应操作。 
手指鼠标可以取代笔记本电脑上的触摸板。 
实施例2与笔记本电脑键盘结合的手指鼠标2 
包括一个摄像头,一个光源,左键,右键。摄像头安装在笔记本屏幕上方的边框的 中间位置,对准键盘中央;光源位于摄像头旁边,对准键盘;左右键位于键盘空格键附近。 
使用投影法判断手指是否与键盘接触。工作时,光源对准键盘提供照明,使手指在键盘上形成阴影。摄像头拍摄手指运动的连续图像,每秒拍摄100帧图像,在摄像头拍摄的每一帧图像中,识别出手指以及手指的阴影,进一步识别出手指指尖及其阴影,在图像上计算手指的指尖和其的指尖两者的距离,如果该距离小于一个阈值或者为0,则表明手指和键盘表面接触。如果手指与键盘接触,则从前后两帧图像中手指的位置变化,控制屏幕上光标的运动。 
实施例3与台式电脑键盘结合的手指鼠标1 
如图1所示。 
在键盘上安装一个支架,两个摄像头平行安装于支架上,对准键盘,支架与键盘的位置关系是已知的,且固定的,本实施例其它方面同实施例1。 
实施例4与台式电脑键盘结合的手指鼠标2 
两个外接式摄像头安装在台式机的屏幕上方的边框中,成左右排列,对准键盘,摄像头之间的距离是已知量,摄像头通过usb接口与***连接。此例中,摄像头和键盘表面的距离是不固定且变化无规律,应通过三维测量、三维重建等技术计算出键盘平面位置,并测量手指指尖坐标,基于双目视觉的三维测量、三维重建技术已经比较成熟,此处不一一列举。判断指尖是否贴着键盘表面,如果是,则判断根据指尖的运动情况,控制光标运动。 
鼠标左右键安装在键盘空格键附近,由大拇指操作。 
目前,台式机的键盘和鼠标以及屏幕是分离的,操作时,用户的手需要在键盘和鼠标之间来回移动,很不方便。笔记本电脑上用的鼠标装置一般是触控杆或触摸板,触控杆占用的体积小,携带方便,但是使用方式和常规的鼠标差异太大,使用不便。触摸板占用的体积大,而其和键盘实际上也是分离的。本发明公开的鼠标和键盘完美地融合起来,不占用键盘体积,携带非常方便,使用时手不需要离开键盘,同时,用手指直接控制光标的移动,比常规鼠标的使用方式更加方便。 
实施例5与平板电脑外接键盘结合的手指鼠标 
在用平板电脑工作时,往往需要使用外接键盘,此时,使用手指鼠标,能去掉通常的光电鼠标,显著提高便携性和使用方便性。 
在平板电脑的边框,内置安装两个摄像头,两个摄像头的内部参数一致,光轴平行。或者一个3D摄像头。外接键盘的空格键外侧安装鼠标左键右键,在外接键盘的左、右上角画两个小红点为参照点,摄像头的角度能拍摄整个键盘范围的图像。工作时,摄像头拍摄手指和参照点图像,测量出手指指尖和参照点的图像距离,如果两个摄像头中对应的距离相同,则手指指尖位于键盘表面。进一步分析连续图像,通过指尖在连续图像的相对位置的变化,控制屏幕光标的位置移动;如果距离不同,则不作后续处理。左键右键的功能和普通光电鼠标的功能一致。 
键盘和平板电脑的相对位置可以是变化的。 
实施例6与台式电脑键盘结合的手指鼠标3 
键盘边缘安装两个参数一致的摄像头,一个位于F4键附近,一个位于F6键附近,摄像头位置、光轴角度固定且已知,摄像头光轴略高并紧贴着于键盘表面,光轴平行于键盘表面,两个摄像头光轴相互平行。左右键位于键盘空格键附近。 
由于光轴平行于键盘表面,且紧贴着键盘表面,所以,键盘表面的物体成像于中心位置,则图像有效区域是一个平行于键盘表面,位于图像中心的带状水平(如果键盘水平放置)区域,设其高度为3个像素。 
在图像中,如果在这个3个像素高的图像有效区域中有图像时,表明手指在键盘表面,此时,在两个摄像头所成图像中,取手指图像的中心点,测量出其位置,则可以求出手指指尖所处的位置。 
根据手指指尖位置的变化,控制光标的移动。左右键的使用方法和普通鼠标一致。 
以上所述,仅是本发明的较佳实施例,并非对本发明做任何形式上的限制,任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内,可以利用上述揭示的方法及技术内容做出些许的更改,但是凡是未脱离本发明技术方案的内容,依据本发明技术实质对以上实施例所做的任何简单修改、等同变化与修饰,均属于本发明技术方案的范围内。 

Claims (10)

1.一种用手指直接控制光标的鼠标装置,包括一个或多个摄像头、左键、右键,其工作方法是,摄像头拍摄手指运动的连续图像,通过对图像进行分析,基于立体视觉或视差原理或者投影法或者两参照点法判断出手指是否贴着工作平面,如果是,则在摄像头拍摄的连续图像中,根据手指图像的位置变化,控制光标做相应移动;如果否,则光标不移动;或者采用平行交点法,判断手指是否贴着键盘表面,如果是,则计算出手指位置,根据手指位置的移动,控制光标移动。
2.根据权利要求1所述的鼠标装置,其特征是:工作平面是键盘表面。
3.根据权利要求2所述的鼠标装置,其特征是:键盘表面是平滑的。
4.根据权利要求2所述的鼠标装置,其特征是:在键盘上相邻的两排按键之间安装指托,指托是起托放手指作用的固定支架。
5.根据权利要求1所述的鼠标装置,其特征是:左右键位于指托上,或者位于键盘空格键附近。
6.根据权利要求1所述的鼠标装置,其特征是:安装有反射条。
7.根据权利要求1所述的鼠标装置,其特征是:摄像头是红外摄像头,或者带有多个分摄像头的3D摄像头,或者是外接式摄像头,或者是内嵌式摄像头。
8.根据权利要求1所述的鼠标装置,其特征是:用光源对手指进行照明。
9.根据权利要求1所述的鼠标装置,其特征是:当检测到按键被按下时,或者是手指做上下运动时,取一段时间阈值,处于该阈值内,光标不响应,时间阈值取值为0.1秒-0.5秒。
10.根据权利要求1所述的鼠标装置,其特征是:多根手指同时贴着键盘表面移动时,不同的移动方式,定义不同的操作。
CN201410109161.4A 2014-01-24 2014-03-17 一种用手指直接控制光标的鼠标装置 Expired - Fee Related CN104049747B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410109161.4A CN104049747B (zh) 2014-01-24 2014-03-17 一种用手指直接控制光标的鼠标装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN201410044519 2014-01-24
CN201410044519X 2014-01-24
CN201410044519.X 2014-01-24
CN201410109161.4A CN104049747B (zh) 2014-01-24 2014-03-17 一种用手指直接控制光标的鼠标装置

Publications (2)

Publication Number Publication Date
CN104049747A true CN104049747A (zh) 2014-09-17
CN104049747B CN104049747B (zh) 2017-02-08

Family

ID=51502715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410109161.4A Expired - Fee Related CN104049747B (zh) 2014-01-24 2014-03-17 一种用手指直接控制光标的鼠标装置

Country Status (1)

Country Link
CN (1) CN104049747B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104991648A (zh) * 2015-07-20 2015-10-21 江苏惠通集团有限责任公司 屏幕输入***
CN106020519A (zh) * 2016-07-14 2016-10-12 胡世曦 一种新型鼠标
CN106066704A (zh) * 2016-06-04 2016-11-02 胡世曦 一种采用射频技术的鼠标
CN109983764A (zh) * 2016-11-21 2019-07-05 精工爱普生株式会社 投影仪***
CN117472189A (zh) * 2023-12-27 2024-01-30 大连三通科技发展有限公司 具有实物感的打字或触控的实现方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030132913A1 (en) * 2002-01-11 2003-07-17 Anton Issinski Touchless computer input device to control display cursor mark position by using stereovision input from two video cameras
CN101776953A (zh) * 2009-12-29 2010-07-14 胡世曦 一种光学定位方法和与键盘融合的手指鼠标
CN103487938A (zh) * 2013-08-28 2014-01-01 成都理想境界科技有限公司 头戴显示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030132913A1 (en) * 2002-01-11 2003-07-17 Anton Issinski Touchless computer input device to control display cursor mark position by using stereovision input from two video cameras
CN101776953A (zh) * 2009-12-29 2010-07-14 胡世曦 一种光学定位方法和与键盘融合的手指鼠标
CN101963848A (zh) * 2009-12-29 2011-02-02 胡世曦 一种判断目标点是否属于平面的方法和鼠标及触摸屏
CN103487938A (zh) * 2013-08-28 2014-01-01 成都理想境界科技有限公司 头戴显示装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104991648A (zh) * 2015-07-20 2015-10-21 江苏惠通集团有限责任公司 屏幕输入***
CN104991648B (zh) * 2015-07-20 2018-05-11 江苏惠通集团有限责任公司 屏幕输入***
CN106066704A (zh) * 2016-06-04 2016-11-02 胡世曦 一种采用射频技术的鼠标
CN106020519A (zh) * 2016-07-14 2016-10-12 胡世曦 一种新型鼠标
CN109983764A (zh) * 2016-11-21 2019-07-05 精工爱普生株式会社 投影仪***
CN117472189A (zh) * 2023-12-27 2024-01-30 大连三通科技发展有限公司 具有实物感的打字或触控的实现方法
CN117472189B (zh) * 2023-12-27 2024-04-09 大连三通科技发展有限公司 具有实物感的打字或触控的实现方法

Also Published As

Publication number Publication date
CN104049747B (zh) 2017-02-08

Similar Documents

Publication Publication Date Title
CN110308789B (zh) 用于与***设备的混合现实交互的方法和***
US10324566B2 (en) Enhanced interaction touch system
US9268413B2 (en) Multi-touch touchscreen incorporating pen tracking
US8842076B2 (en) Multi-touch touchscreen incorporating pen tracking
US10203765B2 (en) Interactive input system and method
KR102335132B1 (ko) 하나의 단일 감지 시스템을 이용하는 멀티 모드 제스처 기반의 상호작용 시스템 및 방법
KR101851264B1 (ko) 가상 멀티터치 마우스와 스타일러스 장치를 위한 시스템 및 그 방법
CN101776953A (zh) 一种光学定位方法和与键盘融合的手指鼠标
US10452206B2 (en) Projection video display device and video display method
US9494415B2 (en) Object position determination
US20120249422A1 (en) Interactive input system and method
US9454260B2 (en) System and method for enabling multi-display input
CN104049747A (zh) 一种用手指直接控制光标的鼠标装置
US9213440B2 (en) System and method for remote touch detection
CN102520799A (zh) 一种光学键盘
US20170170826A1 (en) Optical sensor based mechanical keyboard input system and method
JP6528964B2 (ja) 入力操作検出装置、画像表示装置、プロジェクタ装置、プロジェクタシステム、及び入力操作検出方法
CN102163092B (zh) 一种手指鼠标
TW201342158A (zh) 光學式觸控感測裝置
CN104142739A (zh) 一种基于光学鼠标传感阵列的激光点追踪***及方法
TW201409286A (zh) 鍵盤裝置及電子裝置
US20130265283A1 (en) Optical operation system
KR102101565B1 (ko) 미디어 안내장치
TW201349056A (zh) 以光學方法驅動之高解析度與高敏感度游標控制器
KR20130136314A (ko) 터치 패널 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170208