CN103838378A - 一种基于瞳孔识别定位的头戴式眼睛操控*** - Google Patents
一种基于瞳孔识别定位的头戴式眼睛操控*** Download PDFInfo
- Publication number
- CN103838378A CN103838378A CN201410097054.4A CN201410097054A CN103838378A CN 103838378 A CN103838378 A CN 103838378A CN 201410097054 A CN201410097054 A CN 201410097054A CN 103838378 A CN103838378 A CN 103838378A
- Authority
- CN
- China
- Prior art keywords
- image
- pupil
- control system
- keyboard
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
- Position Input By Displaying (AREA)
Abstract
本发明公开了一种基于瞳孔识别定位的头戴式眼睛操控***,该***是专门为眼睛健全的运动障碍残疾人发明的一个控制***。包括如下步骤:1)计算机首先输出一个用户界面,包括文字显示框和简易键盘,投影到头戴式显示器上,残疾人观察到显示屏中键盘上的不同按键,眼球的中心位置就会发生变化。2)摄像头将捕捉到眼球图像,通过USB接口或者蓝牙接口,将图像信息传送到PC机中,利用获取到的眼球图像。3)采用图像预处理和瞳孔定位算法,根据前期校正过程中所建立的用户眼睛特征与设备显示屏所呈现内容之间的关系,利用眼球映射模型来计算视线的方向,判断出用户所看的键盘上的按键。4)输出键盘按键所对应的信息到文字显示框或改变键盘界面状态。本发明不受外界光源影响,可以快速、准确地跟踪眼球的运动,并实时、准确地显示用户视线选择的按键信息。
Description
技术领域
专门为眼睛健全的运动障碍残疾人发明的一个控制***。利用瞳孔定位算法或者叫视线追踪算法)和头戴式眼睛操控装置,用户能够通过眼球动作来进行电脑的操作,实现人机互动。
背景技术
目前,国际社会公认的全球残疾人比例大约是全球总人口的10%。而就中国国家***于2006进行的第二次中国残疾人抽样调查结果显示,全国各类残疾人的总数达到8296万人,以当时的中国人口总数计算,中国残疾人占全国总人口的比例为6.34%。其中,肢体残疾2412万人,占各类残疾人总数的29.07%,是人数最高的残疾类型。
眼睛控制***可以应用于许多领域,例如当前科技发展的主流领域——人机交互。人机交互的未来研究方向是多通道的人机交互,如同语音、自然语言和手势输入等,视线交互(也就是视线控制)也存在着非精确性,和其他的交互手段集合在一起,它可以提供隐性的约束信息和控制条件,从而消除在单一通道输入带来的可能的错误,提高精度,实现全方面的人机交互。通过与其它通道相结合,眼睛操控技术在人机交互领域有着广阔的应用前景。使用眼睛控制***,可以实现计算机 、机器人、虚拟人和汽车等的智能化,让它们可以理解人的意图,了解人的状态,自动地对人做出反应。
眼睛控制***是专门为眼睛健全的运动障碍患者研发的一个控制***。利用瞳孔定位算法(或者叫视线追踪算法)和头戴式眼睛操控装置,用户能够通过眼球动作来控制电脑。对于帮助高位截瘫、肌肉萎缩、中风、肢体损伤等残疾人使用电脑有十分重要的意义。
近代视线追踪技术的迅猛发展大概是从20世纪60年代开始。一直以来,美国和日本在这方面的研究都远远处在世界领先水平,而且已经将视线追踪技术广泛推向实用化和商业化。1988年末,美国弗吉尼亚大学推出的商用Erica***是一种基于图象处理方法和红外电视的应用***。它有非常高的处理速度,很强的实用性,用于帮助只能控制眼睛肌肉的重度残废人进行控制、通信、娱乐等,因此深受广大残疾人的欢迎。
2010年11月11日Tobii TX 300眼动仪以300 Hz频率收集注视数据,并允许较大的头动范围。该***专为有更高采样频率要求的研究如眼球运动而设计,如扫视、校正扫视、凝视、瞳孔大小变化和眨眼。
当今所有先进的战斗机和攻击机都把头盔式瞄准具和显示器作为其武器***的一部分。目前欧洲、以色列、俄罗斯和美国Kopin, 瑞典Saab公司已经相继研制头盔式瞄准具和显示器,其中有的已经投入作战使用。
2012年4月,Google发布了号称Project Glass的智能眼镜,尽管只发布了一个演示视频,但据猜测应该采用了视网膜投影显示器和视线追踪技术显示图像和进行控制。这一些控制***价格都较昂贵,实现困难、精度不高。
国内学者采用常规的Hough算法,不能准确瞳孔识别定位。同时,没有使用校正模块,导致精度不高。本专利采用改进的Hough算法和校正功能,提高精度、实现容易。
发明内容
本发明的要解决的技术问题是为眼睛健全的运动障碍患者研发的一个控制***。利用瞳孔定位算法(或者叫视线追踪算法)和头戴式眼睛操控装置,用户能够通过眼球动作来控制电脑。
为解决上述技术问题本发明的一种基于瞳孔识别定位的头戴式眼睛操控***,包括PC机,与PC机相连接的摄像头,头戴式显示器,其特征在于包括如下步聚:
1)利用PC机输出一个用户界面,所述的用户界面包括文字显示框和简易键盘,所述的用户界面投影到头戴式显示器上;眼睛观察显示屏中显示的键盘上的不同按键,眼球的中心位置会相应地发生变化;
2)摄像头将捕捉到眼球的中心位置变化的图像,通过USB接口或者蓝牙接口,将图像信息传送到PC机中;
3)PC机对传送过来的图像信息分别通过预处理模块、改进型hough算法处理模块、光斑检测算法处理模块、眨眼检测处理模块、坐标转换及校正算法处理模块进行处理并计算出视线的方向,确定眼睛所观察的显示屏上所显示的键盘上的按键;
4)PC机输出键盘按键所对应的信息到文字显示框或改变键盘界面状态。
作为对本技术方案的进一步改进,改进型hough算法处理模块的处理过程中,将***进行过处理的图像信息实现瞳孔粗定位、图像截取、图像滤波、常规hough算法、改进型hough算法的整合。
作为对本技术方案的进一步改进,预处理模块处理过程中,对数据进行预处理,主要包括视频读取、彩色图像转化为灰度图像、灰度图像进行二值化。
首先,图像的二值化有利于图像的进一步处理,使图像变得简单,而且数据量减小,能凸显出感兴趣的目标的轮廓。其次,要进行二值图像的处理与分析,首先要把灰度图像二值化,得到二值化图像(转换为黑白图像)作为对本技术方案的进一步改进,光斑检测算法处理模块,***采用的是OpenCV函数库中所提供的基于最小二乘法的椭圆拟合函数,处理过程包括:
1)读取改进型hough算法中截取的瞳孔区域图像并采用极高的阈值对图像进行二值化处理;
2)利用OpenCV函数库中所提供的轮廓检测函数,获取普尔钦斑边缘点的集合;
3)利用该集合进行椭圆拟合,得到普尔钦斑的中心坐标。
作为对本技术方案的进一步改进,所述的椭圆拟合算法包括以下步骤:
1)在普尔钦斑边缘点中随机选取6个;
2)利用最小二乘法计算椭圆参数;
3)遍历所有边缘点,求取各个点到已得到的椭圆之间的距离,如果小于某阈值,则称该边缘点为匹配点,记录该边缘点的编号;
4)遍历完所有点之后,求取对于该拟合椭圆的匹配点的总个数;
5)比较匹配点总个数与匹配点最大值;
6)重复以上过程,获得最优椭圆参数,就可得到普尔钦斑的中心坐标。
作为对本技术方案的进一步改进,眨眼检测处理模块中要设置两个标志(一个是判断瞳孔位置标志,另外一个普尔钦斑标志),眨眼检测算法待两个标志都从消失状态恢复到存在状态时,才判定为眨眼,并启动相应功能。
眨眼是眼部运动可被利用的重要行为之一,合理利用眨眼,可以弥补眼球移动功能性的不足。在实时检测过程中,改进型hough算法或光斑识别算法难免会因干扰而将瞳孔或光斑误判断为消失,所以要设置两个标志。此外,为避免由于眨眼过程中闭眼时间过长而产生多次眨眼判断的问题,眨眼检测算法待两个标志都从消失状态恢复到存在状态时,才判定为眨眼,并启动相应功能。
作为对本技术方案的进一步改进,坐标转换及校正算法处理模块的坐标转换包括以下两个过程:
1)从截取出的瞳孔图像中产生的瞳孔中心坐标和光斑中心坐标转换到原眼部图像坐标的过程;
2)从眼部图像坐标转换到键盘光标坐标的过程。
作为对本技术方案的进一步改进,坐标转换及校正算法处理模块的校正算法处理包括以下步骤:
1)开启校正功能后,简易键盘界面会变成一个校正界面;
2)然后依次在界面中产生五个点,分别是正中间、右上角、左上角、左下角、右下角;
3)当产生一个点时,对该点眨一下眼启动该点的校正程序,同时开始计时,一定时间后结束计时,该点消失并产生下一个校正点等待眨眼;
4)在该校正点的校正时间内记录一系列视线向量,取这一系列视线向量的平均值作为该校正点的修正向量;
5)正中间校正点产生的修正向量用于对所有视线方向参数进行修正;利用右上角校正点和左上角校正点的修正向量在纵向Y轴方向的平均值即可计算出眼部图像坐标转换到键盘图像坐标时光标向上运动的放大倍数;类比得到向左、向下和向右运动的放大倍数。
作为对本技术方案的进一步改进,简易键盘采用15键键盘实现完整的数字输入功能。
本发明的***方案: 计算机首先输出一个用户界面(包括文字显示框和简易键盘)投影到头戴式显示器上,残疾人观察到显示屏中键盘上的不同按键,眼球的中心位置就会发生变化,此时,摄像头将捕捉到眼球图像,通过USB接口或者蓝牙接口,将图像信息传送到PC机中,利用获取到的眼球图像,采用图像预处理和瞳孔定位算法,再根据前期校正过程中所建立的用户眼睛特征与设备显示屏所呈现内容之间的关系,利用眼球映射模型来计算视线的方向,判断出用户所看的键盘上的按键,最后输出键盘按键所对应的信息到文字显示框或改变键盘界面状态。
附图说明
图1 是基于瞳孔识别定位的头戴式眼睛操控硬件***框图。
图2是基于瞳孔识别定位的头戴式眼睛操控软件***框图。
图3 是基于瞳孔识别定位的头戴式眼睛操控技术硬件***组成示意图。
图4 是基于瞳孔识别定位的头戴式眼睛操控软件流程图。
图5是基于瞳孔识别定位的头戴式眼睛操控软件界面图。
具体实施方式
实施例:
本发明的***功能说明图如图1所示,本发明的基于瞳孔识别定位的头戴式眼睛操控***,包括如下步聚:
1)计算机首先输出一个用户界面(包括文字显示框和简易键盘)投影到头戴式显示器上,残疾人观察到显示屏中键盘上的不同按键,眼球的中心位置就会发生变化;
2)摄像头将捕捉到眼球图像,通过USB接口或者蓝牙接口,将图像信息传送到PC机中,利用获取到的眼球图像;
3)采用图像预处理和瞳孔定位算法,根据前期校正过程中所建立的用户眼睛特征与设备显示屏所呈现内容之间的关系,利用眼球映射模型来
计算视线的方向,判断出用户所看的键盘上的按键;
4)输出键盘按键所对应的信息到文字显示框或改变键盘界面状态。
本发明可根据上述提供的***功能说明图与***功能流程图,本发明主要由硬件***与软件***两个部分组成:
1. 硬件***
头戴式的实现难度相对较低,精度可达0.1度角,可搭配头戴式显示器,在一些特殊的应用如增强现实\虚拟现实中有很大作用。采用头戴式方案。本发明硬件***,头戴式显示器(HMD)以VGA接口连接电脑,传输实时影像,让人得以观察电脑上的信息。摄像头以USB接口连接电脑,传输视线信息,通过图像识别得出瞳孔中心和光斑中心,从而得出人的注视点。形成一个完整的信息环,实现信息的双向传输,如图3所示。
微距红外摄像头子***,具有手动调焦镜头,使用红外敏感的CMOS传感器,自动弱光增强功能,带USB接口,视频分辨率640*480,以红外LED提供照明,如图3所示。
2. 软件***
本发明可根据上述提供的***功能可开发出基于OpenCV与VC++的眼睛控制***应用软件。
该应用软件按模块化的方法编写程序。主要划分为预处理算法、改进型hough算法、光斑识别算法、眨眼检测算法和坐标转换及校正算法五个模块。其中改进型hough算法是本程序的核心模块也是实现视线追踪的关键部份。软件实现的流程图如图4所示。
预处理模块
对数据进行预处理,主要包括视频读取、彩色图像转化为灰度图像、灰度图像进行二值化。首先,图像的二值化有利于图像的进一步处理,使图像变得简单,而且数据量减小,能凸显出感兴趣的目标的轮廓。其次,要进行二值图像的处理与分析,首先要把灰度图像二值化,得到二值化图像。
(2)改进型hough算法处理模块
在该模块中,***将从HMD中读取的相应的图像经过预处理,然后***实现瞳孔粗定位、图像截取、图像滤波、常规hough算法、改进型hough算法的整合。
(3)光斑检测算法
***采用的是OpenCV函数库中所提供的基于最小二乘法的椭圆拟合函数。首先,读取改进型hough算法中截取的瞳孔区域图像并采用极高的阈值对图像进行二值化处理。接着,利用OpenCV函数库中所提供的轮廓检测函数,获取普尔钦斑边缘点的集合。然后,利用该集合进行椭圆拟合,得到普尔钦斑的中心坐标。
椭圆拟合算法的原理如下:在所有边缘点中随机选取6个;利用最小二乘法计算椭圆参数;遍历所有边缘点,求取各个点到已得到的椭圆之间的距离,如果小于某阈值,则称该边缘点为匹配点,记录该边缘点的编号,遍历完所有点之后,求取对于该拟合椭圆的匹配点的总个数;比较匹配点总个数与匹配点最大值;重复以上过程,获得最优椭圆参数,就可得到普尔钦斑的中心坐标。
(4)眨眼检测模块
眨眼是眼部运动可被利用的重要行为之一,合理利用眨眼,可以弥补眼球移动功能性的不足。在实时检测过程中,改进型hough算法或光斑识别算法难免会因干扰而将瞳孔或光斑误判断为消失,所以要设置两个标志。此外,为避免由于眨眼过程中闭眼时间过长而产生多次眨眼判断的问题,眨眼检测算法待两个标志都从消失状态恢复到存在状态时,才判定为眨眼,并启动相应功能。
(5) 坐标转换及校正算法
坐标转换包括两个主要过程:一、从截取出的瞳孔图像中产生的瞳孔中心坐标和光斑中心坐标转换到原眼部图像坐标的过程;二、从眼部图像坐标转换到键盘光标坐标的过程。
由于用户每次使用本***时,摄像头捕捉到的眼睛图像在画面中的位置都不同,所以为了让本***有更好的适应性和通用性,就需要一个校正功能。
开启校正功能后,会在原键盘界面会变成一个校正界面。然后依次在界面中产生五个点,分别是正中间、右上角、左上角、左下角、右下角。当产生一个点时,眨一下眼启动该点的校正程序,同时开始计时,一定时间后结束计时,该点消失并产生下一个校正点等待眨眼。在该校正点的校正时间内记录一系列视线向量,取这一系列视线向量的平均值作为该校正点的修正向量。正中间校正点产生的修正向量用于对所有视线方向参数进行修正;利用右上角校正点和左上角校正点的修正向量在Y轴方向(纵向)的平均值即可计算出眼部图像坐标转换到键盘图像坐标时光标向上运动的放大倍数;类比得到向左、向下和向右运动的放大倍数。
本发明运用眼睛控制文字输出的形式设计,硬件采用单一红外光源和单摄像头的头戴式眼睛控制装置,主程序基于Microsoft Visual C++ 6.0软件和OpenCV,采用以改进型Hough算法和瞳孔角膜反射方法为核心的瞳孔定位算法,用户界面包含一个文字显示框和一个简易键盘。
各模块整合及调试
基于瞳孔识别定位的头戴式眼睛操控***应用软件的构建是以需求分析为依据,根据实际生产应用要求,综合考虑***可用性、准确性、实时性和***界面、功能扩充与操作维护等方面的性能进行构建。***的物理配置:其中界面程序采用美国Microsoft公司的Visual C++ 6.0集成开发环境进行开发;核心程序采用美国的Microsoft公司的Visual C++ 6.0与OpenCV 1.0软件进行实验运行。
通过摄像机拍摄眼球的图片识别出瞳孔的位置,进而利用瞳孔所注视的方向来进行发送控制命令等。在此通过一个模拟键盘来实现该功能,主程序界面如下图所示,用户界面分为四个部分,左上为程序控制区,上中为字符显示区,右上为眼睛图片显示区,下为键盘区,如图5所示。
主程序的基本流程是:在一个定时器的消息响应函数中,定时读取摄像机所拍摄的眼睛图像,通过图像处理求出瞳孔的坐标,然后将瞳孔坐标值转化为键盘区的光标坐标值(转换方法见图像处理部分),通过绿色光标在键盘区的位置来确定眼睛目前注视的是哪一个按键(用绿色细边框矩形表示眼睛注视此按键)。当注视时间长度达到一定值时(程序中可调整,一般为1~3秒)表示按下此键,该按键用蓝色粗边框矩形表示被按下,与此同时在字符显示区显示被按下的键所代表的字符或执行相应的功能。
测试结果显示,测试者每组的输入速度,在每秒10个数字到每秒15个数字之间,平均输入速度为每秒12个数字(四舍五入)。每组的正确输入率都在80%以上,平均正确输入率为87%。主要的错误集中在键盘边缘处的按键。而键盘中央按键“6”的正确率为90%。另外,输入速度受***运行速度和摄像头帧率影响。
Claims (9)
1.一种基于瞳孔识别定位的头戴式眼睛操控***,包括PC机,与PC机相连接的摄像头,头戴式显示器,其特征在于包括如下步聚:
1)利用PC机输出一个用户界面,所述的用户界面包括文字显示框和简易键盘,所述的用户界面投影到头戴式显示器上;眼睛观察显示屏中显示的键盘上的不同按键,眼球的中心位置会相应地发生变化;
2)摄像头将捕捉到眼球的中心位置变化的图像,通过USB接口或者蓝牙接口,将图像信息传送到PC机中;
3)PC机对传送过来的图像信息分别通过预处理模块、改进型hough算法处理模块、光斑检测算法处理模块、眨眼检测处理模块、坐标转换及校正算法处理模块进行处理并计算出视线的方向,确定眼睛所观察的显示屏上所显示的键盘上的按键;
4)PC机输出键盘按键所对应的信息到文字显示框或改变键盘界面状态;
5)接入红外发光二极管作一个红外光源,该光源会在眼球角膜外表面上形成反射点,称为普尔钦斑。
2.根据权利要求1所述的一种基于瞳孔识别定位的头戴式眼睛操控***,其特征在于:改进型hough算法处理模块的处理过程中,将***进行过处理的图像信息实现如下步骤:
1)对经过预处理的图像进行粗定位,获得瞳孔粗定位中心;
2)使用较高的阈值对瞳孔区域图像进行二值化处理;
3) OpenCV函数库中所提供的Hough变换圆形检测函数对瞳孔二值化图像进行常规的Hough变换,得到一个圆心,在此称此圆心为Hough圆心;
4)分析粗定位中心和Hough圆心的距离,当两者距离小于某个阈值时,将粗定位中心作为瞳孔定位的最终中心;
5)当两者距离大于某个阈值时,取两者坐标的中点,将此中点作为瞳孔定位的最终中心。
3.根据权利要求1所述的一种基于瞳孔识别定位的头戴式眼睛操控***,其特征在于:预处理模块处理过程中,对数据进行预处理,主要包括视频读取、彩色图像转化为灰度图像、灰度图像进行二值化。
4.根据权利要求1所述的一种基于瞳孔识别定位的头戴式眼睛操控***,其特征在于:光斑检测算法处理模块,***采用的是OpenCV函数库中所提供的基于最小二乘法的椭圆拟合函数,处理过程包括:
1)读取改进型hough算法中截取的瞳孔区域图像并采用极高的阈值对图像进行二值化处理;
2)利用OpenCV函数库中所提供的轮廓检测函数,获取普尔钦斑边缘点的集合;
3)利用该集合进行椭圆拟合,得到普尔钦斑的中心坐标。
5.根据权利要求4所述的一种基于瞳孔识别定位的头戴式眼睛操控***,其特征在于:所述的椭圆拟合算法包括以下步骤:
1)在普尔钦斑边缘点中随机选取6个;
2)利用最小二乘法计算椭圆参数;
3)遍历所有边缘点,求取各个点到已得到的椭圆之间的距离,如果小于某阈值,则称该边缘点为匹配点,记录该边缘点的编号;
4)遍历完所有点之后,求取对于该拟合椭圆的匹配点的总个数;
5)比较匹配点总个数与匹配点最大值;
6)重复以上过程,获得最优椭圆参数,就可得到普尔钦斑的中心坐标。
6.根据权利要求1所述的一种基于瞳孔识别定位的头戴式眼睛操控***,其特征在于:所述的眨眼检测处理模块中要设置两个标志,一个是判断瞳孔位置标志,另外一个普尔钦斑标志,眨眼检测算法待两个标志都从消失状态恢复到存在状态时,才判定为眨眼,并启动相应功能。
7.根据权利要求1所述的一种基于瞳孔识别定位的头戴式眼睛操控***,其特征在于:坐标转换及校正算法处理模块的坐标转换包括以下两个过程:
1)从截取出的瞳孔图像中产生的瞳孔中心坐标和光斑中心坐标转换到原眼部图像坐标的过程;
2)从眼部图像坐标转换到键盘光标坐标的过程。
8.根据权利要求1所述的一种基于瞳孔识别定位的头戴式眼睛操控***,其特征在于:坐标转换及校正算法处理模块的校正算法处理包括以下步骤:
1)开启校正功能后,简易键盘界面会变成一个校正界面;
2)然后依次在界面中产生五个点,分别是正中间、右上角、左上角、左下角、右下角;
3)当产生一个点时,对该点眨一下眼启动该点的校正程序,同时开始计时,一定时间后结束计时,该点消失并产生下一个校正点等待眨眼;
4)在该校正点的校正时间内记录一系列视线向量,取这一系列视线向量的平均值作为该校正点的修正向量;
5)正中间校正点产生的修正向量用于对所有视线方向参数进行修正;利用右上角校正点和左上角校正点的修正向量在纵向Y轴方向的平均值即可计算出眼部图像坐标转换到键盘图像坐标时光标向上运动的放大倍数;类比得到向左、向下和向右运动的放大倍数。
9.根据权利要求1所述的一种基于瞳孔识别定位的头戴式眼睛操控***,其特征在于:简易键盘采用15键键盘实现完整的数字输入功能。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410097054.4A CN103838378B (zh) | 2014-03-13 | 2014-03-13 | 一种基于瞳孔识别定位的头戴式眼睛操控*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410097054.4A CN103838378B (zh) | 2014-03-13 | 2014-03-13 | 一种基于瞳孔识别定位的头戴式眼睛操控*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103838378A true CN103838378A (zh) | 2014-06-04 |
CN103838378B CN103838378B (zh) | 2017-05-31 |
Family
ID=50801972
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410097054.4A Expired - Fee Related CN103838378B (zh) | 2014-03-13 | 2014-03-13 | 一种基于瞳孔识别定位的头戴式眼睛操控*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103838378B (zh) |
Cited By (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104090371A (zh) * | 2014-06-19 | 2014-10-08 | 京东方科技集团股份有限公司 | 一种3d眼镜及3d显示*** |
CN105513280A (zh) * | 2016-01-15 | 2016-04-20 | 苏州大学 | 疲劳驾驶检测方法 |
CN105590092A (zh) * | 2015-11-11 | 2016-05-18 | ***股份有限公司 | 一种识别图像中瞳孔的方法和装置 |
CN105892691A (zh) * | 2016-06-07 | 2016-08-24 | 京东方科技集团股份有限公司 | 代步工具的控制方法和控制装置、代步工具*** |
CN106200901A (zh) * | 2016-06-24 | 2016-12-07 | 联想(北京)有限公司 | 一种头戴式眼追踪装置的校正方法及头戴式眼追踪装置 |
CN106778641A (zh) * | 2016-12-23 | 2017-05-31 | 北京七鑫易维信息技术有限公司 | 视线估计方法及装置 |
CN106740581A (zh) * | 2017-01-03 | 2017-05-31 | 青岛海信移动通信技术股份有限公司 | 一种车载设备的控制方法、ar装置及ar*** |
CN107380064A (zh) * | 2017-07-04 | 2017-11-24 | 上海青研科技有限公司 | 一种基于增强现实技术的车载视线追踪装置 |
CN107427208A (zh) * | 2015-03-03 | 2017-12-01 | 感官运动仪器创新传感器有限公司 | 用于通过透镜***提供无漂移的眼部跟踪的头戴式眼部跟踪设备和方法 |
CN107506030A (zh) * | 2017-08-16 | 2017-12-22 | 陈乾 | 视控仪 |
CN107516093A (zh) * | 2017-09-25 | 2017-12-26 | 联想(北京)有限公司 | 一种眼睛瞳孔中心点的确定方法和电子设备 |
CN107526163A (zh) * | 2016-10-11 | 2017-12-29 | 谢培树 | 眼睛操作的数字眼镜 |
CN108030498A (zh) * | 2017-12-13 | 2018-05-15 | 上海青研科技有限公司 | 一种基于眼动数据的心理干预*** |
CN108153424A (zh) * | 2015-06-03 | 2018-06-12 | 塔普翊海(上海)智能科技有限公司 | 头显设备的眼动和头动交互方法 |
CN108519676A (zh) * | 2018-04-09 | 2018-09-11 | 杭州瑞杰珑科技有限公司 | 一种头戴式助视装置 |
CN108681403A (zh) * | 2018-05-18 | 2018-10-19 | 吉林大学 | 一种采用视线跟踪的小车控制方法 |
CN108742510A (zh) * | 2018-06-20 | 2018-11-06 | 首都医科大学附属北京儿童医院 | 适用于低龄患儿的斜视度及水平扭转角检测仪 |
CN108960045A (zh) * | 2017-05-22 | 2018-12-07 | 宏达国际电子股份有限公司 | 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体 |
CN109739353A (zh) * | 2018-12-27 | 2019-05-10 | 重庆上丞科技有限公司 | 一种基于手势、语音、视线追踪识别的虚拟现实交互*** |
CN109782902A (zh) * | 2018-12-17 | 2019-05-21 | 中国科学院深圳先进技术研究院 | 一种操作提示方法及眼镜 |
CN109933205A (zh) * | 2019-03-25 | 2019-06-25 | 一汽轿车股份有限公司 | 一种车载眼神交互装置 |
CN110140166A (zh) * | 2016-11-03 | 2019-08-16 | 埃利亚斯·库利 | 用于向计算机提供免手工输入的*** |
US10419655B2 (en) | 2015-04-27 | 2019-09-17 | Snap-Aid Patents Ltd. | Estimating and using relative head pose and camera field-of-view |
CN110262673A (zh) * | 2019-06-26 | 2019-09-20 | 广东技术师范大学 | 一种眼睛控制键盘打字的方法 |
CN110377158A (zh) * | 2019-07-22 | 2019-10-25 | 北京七鑫易维信息技术有限公司 | 基于变化视场范围的眼球追踪的校准方法及电子设备 |
CN111339982A (zh) * | 2020-03-05 | 2020-06-26 | 西北工业大学 | 一种基于特征的多级瞳孔中心定位技术实现方法 |
WO2020216106A1 (zh) * | 2019-04-24 | 2020-10-29 | 洪浛檩 | 一种穿戴式计算设备和一种人机交互方法 |
CN112022641A (zh) * | 2020-09-10 | 2020-12-04 | 深圳职业技术学院 | 一种辅助转眼运动的方法及*** |
CN112656483A (zh) * | 2020-12-21 | 2021-04-16 | 中南大学湘雅医院 | 一种可视化便携式胆道镜取石钳 |
CN112698725A (zh) * | 2020-12-30 | 2021-04-23 | 山东大学 | 一种基于眼动仪跟踪的穿透式屏幕***的实现方法 |
CN112804796A (zh) * | 2021-02-09 | 2021-05-14 | 中国人民解放军海军特色医学中心 | 基于视线追踪技术控制的智能床头灯及其调控方法 |
CN112965607A (zh) * | 2021-04-14 | 2021-06-15 | 杭州艾斯凯尔科技有限公司 | 一种眼镜鼠标及其控制方法 |
CN113031757A (zh) * | 2019-12-25 | 2021-06-25 | 大众问问(北京)信息科技有限公司 | 一种设备交互方法、装置及电子设备 |
CN113359975A (zh) * | 2021-05-19 | 2021-09-07 | 杭州小派智能科技有限公司 | 一种基于眼动交互技术的医护方法、***和电子设备 |
CN113821108A (zh) * | 2021-11-23 | 2021-12-21 | 齐鲁工业大学 | 基于多模态交互技术的机器人远程控制***及控制方法 |
CN114035673A (zh) * | 2020-11-18 | 2022-02-11 | 武汉联影医疗科技有限公司 | 超声眼动控制***及方法 |
CN114556270A (zh) * | 2019-10-17 | 2022-05-27 | 微软技术许可有限责任公司 | 放大用户界面的眼睛注视控制 |
CN114615947A (zh) * | 2019-10-10 | 2022-06-10 | 迈迪新球株式会社 | 基于视线检测的智能眼镜显示装置及其方法 |
CN114830015A (zh) * | 2019-12-19 | 2022-07-29 | 依视路国际公司 | 用于确定配戴着眼睛配戴物的受试者的至少一个几何形态参数的值的方法 |
CN117598782A (zh) * | 2023-09-28 | 2024-02-27 | 杭州盛星医疗科技有限公司 | 用于经皮穿刺手术的手术导航方法、装置、设备及介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101077232A (zh) * | 2007-06-07 | 2007-11-28 | 南京航空航天大学 | 一种用于穿戴式计算机的人机交互头盔 |
CN101080691A (zh) * | 2004-12-14 | 2007-11-28 | 松下电器产业株式会社 | 信息提示装置及信息提示方法 |
US20090243968A1 (en) * | 2008-03-31 | 2009-10-01 | Brother Kogyo Kabushiki Kaisha | Head mount display and head mount display system |
CN202758141U (zh) * | 2012-01-19 | 2013-02-27 | 谷歌公司 | 电子装置及头戴式装置 |
CN103246350A (zh) * | 2013-05-14 | 2013-08-14 | 中国人民解放军海军航空工程学院 | 基于感兴趣区实现辅助信息提示的人机接口设备及方法 |
WO2013117999A1 (en) * | 2012-02-06 | 2013-08-15 | Sony Ericsson Mobile Communications Ab | Gaze tracking with projector |
-
2014
- 2014-03-13 CN CN201410097054.4A patent/CN103838378B/zh not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101080691A (zh) * | 2004-12-14 | 2007-11-28 | 松下电器产业株式会社 | 信息提示装置及信息提示方法 |
CN101077232A (zh) * | 2007-06-07 | 2007-11-28 | 南京航空航天大学 | 一种用于穿戴式计算机的人机交互头盔 |
US20090243968A1 (en) * | 2008-03-31 | 2009-10-01 | Brother Kogyo Kabushiki Kaisha | Head mount display and head mount display system |
CN202758141U (zh) * | 2012-01-19 | 2013-02-27 | 谷歌公司 | 电子装置及头戴式装置 |
WO2013117999A1 (en) * | 2012-02-06 | 2013-08-15 | Sony Ericsson Mobile Communications Ab | Gaze tracking with projector |
CN103246350A (zh) * | 2013-05-14 | 2013-08-14 | 中国人民解放军海军航空工程学院 | 基于感兴趣区实现辅助信息提示的人机接口设备及方法 |
Cited By (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104090371A (zh) * | 2014-06-19 | 2014-10-08 | 京东方科技集团股份有限公司 | 一种3d眼镜及3d显示*** |
CN107427208A (zh) * | 2015-03-03 | 2017-12-01 | 感官运动仪器创新传感器有限公司 | 用于通过透镜***提供无漂移的眼部跟踪的头戴式眼部跟踪设备和方法 |
US10419655B2 (en) | 2015-04-27 | 2019-09-17 | Snap-Aid Patents Ltd. | Estimating and using relative head pose and camera field-of-view |
US11019246B2 (en) | 2015-04-27 | 2021-05-25 | Snap-Aid Patents Ltd. | Estimating and using relative head pose and camera field-of-view |
US10594916B2 (en) | 2015-04-27 | 2020-03-17 | Snap-Aid Patents Ltd. | Estimating and using relative head pose and camera field-of-view |
CN108153424B (zh) * | 2015-06-03 | 2021-07-09 | 塔普翊海(上海)智能科技有限公司 | 头显设备的眼动和头动交互方法 |
CN108170279B (zh) * | 2015-06-03 | 2021-07-30 | 塔普翊海(上海)智能科技有限公司 | 头显设备的眼动和头动交互方法 |
CN108153424A (zh) * | 2015-06-03 | 2018-06-12 | 塔普翊海(上海)智能科技有限公司 | 头显设备的眼动和头动交互方法 |
CN108170279A (zh) * | 2015-06-03 | 2018-06-15 | 塔普翊海(上海)智能科技有限公司 | 头显设备的眼动和头动交互方法 |
CN105590092A (zh) * | 2015-11-11 | 2016-05-18 | ***股份有限公司 | 一种识别图像中瞳孔的方法和装置 |
CN105513280A (zh) * | 2016-01-15 | 2016-04-20 | 苏州大学 | 疲劳驾驶检测方法 |
CN105892691A (zh) * | 2016-06-07 | 2016-08-24 | 京东方科技集团股份有限公司 | 代步工具的控制方法和控制装置、代步工具*** |
CN106200901B (zh) * | 2016-06-24 | 2019-03-29 | 联想(北京)有限公司 | 一种头戴式眼追踪装置的校正方法及头戴式眼追踪装置 |
CN106200901A (zh) * | 2016-06-24 | 2016-12-07 | 联想(北京)有限公司 | 一种头戴式眼追踪装置的校正方法及头戴式眼追踪装置 |
CN107526163A (zh) * | 2016-10-11 | 2017-12-29 | 谢培树 | 眼睛操作的数字眼镜 |
CN110140166B (zh) * | 2016-11-03 | 2022-06-24 | 埃利亚斯·库利 | 用于向计算机提供免手工输入的*** |
CN110140166A (zh) * | 2016-11-03 | 2019-08-16 | 埃利亚斯·库利 | 用于向计算机提供免手工输入的*** |
CN106778641A (zh) * | 2016-12-23 | 2017-05-31 | 北京七鑫易维信息技术有限公司 | 视线估计方法及装置 |
CN106740581A (zh) * | 2017-01-03 | 2017-05-31 | 青岛海信移动通信技术股份有限公司 | 一种车载设备的控制方法、ar装置及ar*** |
CN108960045A (zh) * | 2017-05-22 | 2018-12-07 | 宏达国际电子股份有限公司 | 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体 |
CN107380064B (zh) * | 2017-07-04 | 2022-08-19 | 上海青研科技有限公司 | 一种基于增强现实技术的车载视线追踪装置 |
CN107380064A (zh) * | 2017-07-04 | 2017-11-24 | 上海青研科技有限公司 | 一种基于增强现实技术的车载视线追踪装置 |
CN107506030A (zh) * | 2017-08-16 | 2017-12-22 | 陈乾 | 视控仪 |
CN107516093A (zh) * | 2017-09-25 | 2017-12-26 | 联想(北京)有限公司 | 一种眼睛瞳孔中心点的确定方法和电子设备 |
CN108030498A (zh) * | 2017-12-13 | 2018-05-15 | 上海青研科技有限公司 | 一种基于眼动数据的心理干预*** |
CN108519676A (zh) * | 2018-04-09 | 2018-09-11 | 杭州瑞杰珑科技有限公司 | 一种头戴式助视装置 |
CN108681403A (zh) * | 2018-05-18 | 2018-10-19 | 吉林大学 | 一种采用视线跟踪的小车控制方法 |
CN108742510A (zh) * | 2018-06-20 | 2018-11-06 | 首都医科大学附属北京儿童医院 | 适用于低龄患儿的斜视度及水平扭转角检测仪 |
CN108742510B (zh) * | 2018-06-20 | 2023-06-06 | 首都医科大学附属北京儿童医院 | 适用于低龄患儿的斜视度及水平扭转角检测仪 |
CN109782902A (zh) * | 2018-12-17 | 2019-05-21 | 中国科学院深圳先进技术研究院 | 一种操作提示方法及眼镜 |
CN109739353A (zh) * | 2018-12-27 | 2019-05-10 | 重庆上丞科技有限公司 | 一种基于手势、语音、视线追踪识别的虚拟现实交互*** |
CN109933205A (zh) * | 2019-03-25 | 2019-06-25 | 一汽轿车股份有限公司 | 一种车载眼神交互装置 |
WO2020216106A1 (zh) * | 2019-04-24 | 2020-10-29 | 洪浛檩 | 一种穿戴式计算设备和一种人机交互方法 |
CN110262673A (zh) * | 2019-06-26 | 2019-09-20 | 广东技术师范大学 | 一种眼睛控制键盘打字的方法 |
CN110377158A (zh) * | 2019-07-22 | 2019-10-25 | 北京七鑫易维信息技术有限公司 | 基于变化视场范围的眼球追踪的校准方法及电子设备 |
CN114615947A (zh) * | 2019-10-10 | 2022-06-10 | 迈迪新球株式会社 | 基于视线检测的智能眼镜显示装置及其方法 |
CN114556270A (zh) * | 2019-10-17 | 2022-05-27 | 微软技术许可有限责任公司 | 放大用户界面的眼睛注视控制 |
CN114556270B (zh) * | 2019-10-17 | 2024-05-24 | 微软技术许可有限责任公司 | 放大用户界面的眼睛注视控制 |
CN114830015A (zh) * | 2019-12-19 | 2022-07-29 | 依视路国际公司 | 用于确定配戴着眼睛配戴物的受试者的至少一个几何形态参数的值的方法 |
CN113031757A (zh) * | 2019-12-25 | 2021-06-25 | 大众问问(北京)信息科技有限公司 | 一种设备交互方法、装置及电子设备 |
CN111339982A (zh) * | 2020-03-05 | 2020-06-26 | 西北工业大学 | 一种基于特征的多级瞳孔中心定位技术实现方法 |
CN112022641A (zh) * | 2020-09-10 | 2020-12-04 | 深圳职业技术学院 | 一种辅助转眼运动的方法及*** |
CN114035673A (zh) * | 2020-11-18 | 2022-02-11 | 武汉联影医疗科技有限公司 | 超声眼动控制***及方法 |
CN112656483A (zh) * | 2020-12-21 | 2021-04-16 | 中南大学湘雅医院 | 一种可视化便携式胆道镜取石钳 |
CN112698725B (zh) * | 2020-12-30 | 2022-02-11 | 山东大学 | 一种基于眼动仪跟踪的穿透式屏幕***的实现方法 |
CN112698725A (zh) * | 2020-12-30 | 2021-04-23 | 山东大学 | 一种基于眼动仪跟踪的穿透式屏幕***的实现方法 |
CN112804796A (zh) * | 2021-02-09 | 2021-05-14 | 中国人民解放军海军特色医学中心 | 基于视线追踪技术控制的智能床头灯及其调控方法 |
CN112965607A (zh) * | 2021-04-14 | 2021-06-15 | 杭州艾斯凯尔科技有限公司 | 一种眼镜鼠标及其控制方法 |
CN113359975A (zh) * | 2021-05-19 | 2021-09-07 | 杭州小派智能科技有限公司 | 一种基于眼动交互技术的医护方法、***和电子设备 |
CN113821108A (zh) * | 2021-11-23 | 2021-12-21 | 齐鲁工业大学 | 基于多模态交互技术的机器人远程控制***及控制方法 |
CN117598782A (zh) * | 2023-09-28 | 2024-02-27 | 杭州盛星医疗科技有限公司 | 用于经皮穿刺手术的手术导航方法、装置、设备及介质 |
CN117598782B (zh) * | 2023-09-28 | 2024-06-04 | 苏州盛星医疗器械有限公司 | 用于经皮穿刺手术的手术导航方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN103838378B (zh) | 2017-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103838378A (zh) | 一种基于瞳孔识别定位的头戴式眼睛操控*** | |
CN103713737B (zh) | 用于智能眼镜的虚拟键盘*** | |
CN103347437B (zh) | 3d映射环境中的凝视检测 | |
CN105389539B (zh) | 一种基于深度数据的三维手势姿态估计方法及*** | |
CN104808340B (zh) | 头戴式显示装置及其控制方法 | |
CN102915111A (zh) | 一种腕上手势操控***和方法 | |
CN103019377A (zh) | 基于头戴式可视显示设备的输入方法及装置 | |
CN102622916A (zh) | 人体穴位投影演示方法及装置 | |
CN107423392A (zh) | 基于ar技术的字、词典查询方法、***及装置 | |
CN107885124A (zh) | 一种增强现实环境中的脑眼协同控制方法及*** | |
CN103207709A (zh) | 一种多点触摸***及方法 | |
CN109375765A (zh) | 眼球追踪交互方法和装置 | |
CN105589551A (zh) | 一种用于移动设备人机交互的眼动跟踪方法 | |
CN103279188A (zh) | 一种基于Kinect无接触性操作控制PPT的方法 | |
CN104038799A (zh) | 一种面向立体电视的手势操控方法 | |
CN110442233A (zh) | 一种基于手势交互的增强现实键鼠*** | |
CN109471533A (zh) | 一种vr/ar教室内的学生端***及其使用方法 | |
Xiong et al. | Eye control system base on ameliorated hough transform algorithm | |
CN107422844A (zh) | 一种信息处理方法及电子设备 | |
CN109376621A (zh) | 一种样本数据生成方法、装置以及机器人 | |
CN110472546B (zh) | 一种婴幼儿非接触式眼动特征提取装置及方法 | |
US20230256327A1 (en) | Visual guidance-based mobile game system and mobile game response method | |
CN203950270U (zh) | 体感识别装置及通过其控制鼠标键盘操作的人机交互*** | |
CN115185365A (zh) | 一种无线控制的眼睛控制***及其控制方法 | |
CN115390739A (zh) | 基于手掌触控的远程交互输入方法及装置、电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170531 Termination date: 20180313 |