CN109008944A - 视线计测装置、视线计测程序及视线计测方法 - Google Patents
视线计测装置、视线计测程序及视线计测方法 Download PDFInfo
- Publication number
- CN109008944A CN109008944A CN201810579930.5A CN201810579930A CN109008944A CN 109008944 A CN109008944 A CN 109008944A CN 201810579930 A CN201810579930 A CN 201810579930A CN 109008944 A CN109008944 A CN 109008944A
- Authority
- CN
- China
- Prior art keywords
- face
- dimensional
- eyeball
- center
- calculation part
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 29
- 238000004364 calculation method Methods 0.000 claims abstract description 105
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 99
- 230000009466 transformation Effects 0.000 claims abstract description 11
- 210000001508 eye Anatomy 0.000 claims description 49
- 238000005286 illumination Methods 0.000 claims description 11
- 241000208340 Araliaceae Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 238000001028 reflection method Methods 0.000 abstract description 13
- 238000005259 measurement Methods 0.000 abstract description 9
- 238000012545 processing Methods 0.000 description 14
- 210000001747 pupil Anatomy 0.000 description 14
- 239000004615 ingredient Substances 0.000 description 11
- 210000004087 cornea Anatomy 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 238000013519 translation Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000010355 oscillation Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000000162 simple eye Anatomy 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Ophthalmology & Optometry (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
通过角膜反射法视线检测部，根据脸图像的时间序列计算摄像机坐标中的三维的视线向量的时间序列。通过脸位置姿势推定部，推定脸的三维的位置姿势的时间序列。通过眼球中心坐标变换部，计算三维脸形状模型的坐标系中的所述眼球中心的三维位置的时间序列。通过固定参数计算部，计算三维脸形状模型的坐标系中的所述眼球中心的三维位置作为固定参数。通过眼球中心方式视线检测部，利用由固定参数计算部计算出的眼球中心的三维位置，在摄像机坐标系中，计算从眼球中心的三维位置朝向瞳孔中心的三维位置的三维的视线向量。由此，能够以简单的结构不进行校准就精度良好地进行视线计测。
Description
技术领域
本发明涉及视线计测装置、程序及方法，尤其涉及从摄像了脸的图像计测视线向量的视线计测装置、程序及方法。
背景技术
在以往，已知如下视线计测装置(日本专利第5163982号公报)：对于观察规定的画面的被实验者，获取来自规定的光源的光反射了的眼球的图像即眼球图像，根据所述眼球图像，算出将角膜的曲率中心与瞳孔的瞳孔中心连结的轴即光轴，在某时刻，对一眼球及另一眼球各自的光轴与视轴之间的偏差候补的初始值进行设定，在另一时刻，对于所述一眼球及所述另一眼球，利用该另一时刻算出的光轴及所述某时刻设定的所述偏差候补，算出新的偏差候补，根据算出的偏差候补决定一眼球及另一眼球各自的光轴与视轴之间的最优的偏差，基于所述光轴与所述视轴之间的偏差，算出被实验者的所述画面上的注视点。
另外，已知在个人校准时注视单点的视线计测法(大野健彦，“利用单点校准进行的视觉计测及其应用(日语：1点キャリブレーションによる視線計測とその応用)”，社团法人信息处理学会研究报告，2006-HI-117(10)，2006年1月)。
发明概要
发明要解决的课题
在上述日本专利第5163982号公报所述的技术中，由于需要两台摄像机和两个光源，因此装置变得较大。
另外，在上述“利用单点校准进行的视觉计测及其应用”所述的技术中，为了校准，需要让使用者观察坐标已知的点。
发明内容
本发明为了解决上述的问题点而提出的，其目的在于提供能够以简单的结构不进行校准就精度良好地进行视线计测的视线计测装置、程序及方法。
用于解决上述课题的手段
为了达成上述的目的，第一方式的视线计测装置构成为包含：第一视线向量计算部，该第一视线向量计算部根据脸图像的时间序列，利用所述脸图像上的脸的眼睛的角膜反射像、所述脸图像上的脸的眼睛的瞳孔中心位置、以及预先确定的三维眼球模型，计算摄像机坐标系中的三维的视线向量的时间序列，所述脸图像表示通过对被观察者的所述脸进行摄像的摄像部而在从光照射部对所述被观察者的眼睛照射光时被摄像的所述脸的图像；脸位置姿势推定部，该脸位置姿势推定部基于所述脸图像的时间序列和预先确定的三维脸形状模型，推定所述脸的三维的位置姿势的时间序列；眼球中心位置计算部，该眼球中心位置计算部基于通过所述脸位置姿势推定部推定的所述脸的三维的位置姿势的时间序列、以及通过所述第一视线向量计算部计算出的所述视线向量的时间序列，计算所述三维脸形状模型的坐标系中的眼球中心的三维位置的时间序列；固定参数计算部，该固定参数计算部基于通过所述眼球中心位置计算部计算出的所述三维脸形状模型的坐标系中的所述眼球中心的三维位置的时间序列，计算所述三维脸形状模型的坐标系中的所述眼球中心的三维位置并将该三维位置作为固定参数；以及第二视线向量计算部，该第二视线向量计算部基于表示通过所述摄像部摄像的所述脸的脸图像上的所述脸的眼睛的瞳孔中心位置、通过所述固定参数计算部计算出的所述眼球中心的三维位置、以及通过所述脸位置姿势推定部推定的所述脸的三维的位置姿势，在所述摄像机坐标系中，计算从所述眼球中心的三维位置朝向瞳孔中心的三维位置的三维的视线向量。
另外，第二方式的视线计测程序，用于使计算机作为第一视线向量计算部、脸位置姿势推定部、眼球中心位置计算部、固定参数计算部、第二视线向量计算部发挥功能，其中，所述第一视线向量计算部根据脸图像的时间序列，利用所述脸图像上的脸的眼睛的角膜反射像、所述脸图像上的脸的眼睛的瞳孔中心位置、以及预先确定的三维眼球模型，计算摄像机坐标系中的三维的视线向量的时间序列，所述脸图像表示通过对被观察者的所述脸进行摄像的摄像部而在从光照射部对所述被观察者的眼睛照射光时被摄像的所述脸的图像，所述脸位置姿势推定部基于所述脸图像的时间序列和预先确定的三维脸形状模型，推定所述脸的三维的位置姿势的时间序列，所述眼球中心位置计算部基于通过所述脸位置姿势推定部推定的所述脸的三维的位置姿势的时间序列、以及通过所述第一视线向量计算部计算出的所述视线向量的时间序列，计算所述三维脸形状模型的坐标系中的眼球中心的三维位置的时间序列，所述固定参数计算部基于通过所述眼球中心位置计算部计算出的所述三维脸形状模型的坐标系中的所述眼球中心的三维位置的时间序列，计算所述三维脸形状模型的坐标系中的所述眼球中心的三维位置并将该三维位置作为固定参数，所述第二视线向量计算部基于表示通过所述摄像部摄像的所述脸的脸图像上的所述脸的眼睛的瞳孔中心位置、通过所述固定参数计算部计算出的所述眼球中心的三维位置、以及通过所述脸位置姿势推定部推定的所述脸的三维的位置姿势，在所述摄像机坐标系中，计算从所述眼球中心的三维位置朝向瞳孔中心的三维位置的三维的视线向量。
另外，在第三方式的视线计测方法中，通过第一视线向量计算部，根据脸图像的时间序列，利用所述脸图像上的脸的眼睛的角膜反射像、所述脸图像上的脸的眼睛的瞳孔中心位置、以及预先确定的三维眼球模型，计算摄像机坐标系中的三维的视线向量的时间序列，所述脸图像表示通过对被观察者的所述脸进行摄像的摄像部而在从光照射部对所述被观察者的眼睛照射光时被摄像的所述脸的图像，通过脸位置姿势推定部，基于所述脸图像的时间序列和预先确定的三维脸形状模型，推定所述脸的三维的位置姿势的时间序列；通过眼球中心位置计算部，基于通过所述脸位置姿势推定部推定的所述脸的三维的位置姿势的时间序列、以及通过所述第一视线向量计算部计算出的所述视线向量的时间序列，计算所述三维脸形状模型的坐标系中的眼球中心的三维位置的时间序列，通过固定参数计算部，基于通过所述眼球中心位置计算部计算出的所述三维脸形状模型的坐标系中的所述眼球中心的三维位置的时间序列，计算所述三维脸形状模型的坐标系中的所述眼球中心的三维位置作为固定参数，通过第二视线向量计算部，基于表示通过所述摄像部摄像的所述脸的脸图像上的所述脸的眼睛的瞳孔中心位置、通过所述固定参数计算部计算出的所述眼球中心的三维位置、以及通过所述脸位置姿势推定部推定的所述脸的三维的位置姿势，在所述摄像机坐标系中，计算从所述眼球中心的三维位置朝向瞳孔中心的三维位置的三维的视线向量。
发明效果
根据本发明的一方式的视线计测装置、程序及方法，根据利用角膜反射像计算出的视线向量，计算三维脸形状模型的坐标系中的眼球中心的三维位置作为固定参数，计算从眼球中心的三维位置朝向瞳孔中心的三维位置的三维的视线向量。由此，获得如下效果：能够以简单的结构不进行校准就精度良好地进行视线计测。
附图说明
图1是表示第一实施方式的视线计测装置的结构的框图。
图2是表示各坐标系的关系的图。
图3是表示第一实施方式的视线计测装置的角膜反射法视线检测部的结构的框图。
图4是用于对使用了角膜反射法的视线检测方法进行说明的图。
图5是用于说明对外观上的瞳孔中心的三维位置进行计算的方法的图。
图6是表示第一实施方式的视线计测装置的眼球中心计算处理程序的内容的流程图。
图7是表示第一实施方式的视线计测装置中的进行使用了角膜反射法的视线检测的处理的流程的流程图。
图8是表示第一实施方式的视线推定装置中的视线计测处理程序的内容的流程图。
图9是表示第二实施方式的视线计测装置的结构的框图。
图10A是用于对使用了瞳孔中心和眼球中心的视线计测方法进行说明的图。
图10B是用于对使用了瞳孔中心和角膜反射像的视线计测方法进行说明的图。
具体实施方式
以下，参照附图对本发明的实施方式进行详细地说明。另外，在本实施方式中，以将本发明的技术应用于视线计测装置的情况为例进行说明，该视线计测装置根据被摄像的脸图像来推定视线向量。
＜本发明的实施方式的概要＞
在本发明的实施方式中，利用单眼摄像机方式的司机监视器实现视线检测。在此，与使用了三维眼球模型的代表性的视线检测相关的现有技术有如下技术。
(方式1)根据外眦和内眦推测的眼球中心和瞳孔中心来计算视线(图10A)。
(方式2)使用根据角膜反射像计算出的角膜曲率中心和瞳孔中心来计算视线(图10B)。
(方式3)切换上述的(方式1)和(方式2)来计算视线。
在上述的(方式1)中，抗变换但眼球中心推定法有问题，视线精度较低。
在上述的(方式2)中，视线精度虽然高，但仅限于能够得到角膜反射像的情况，因此能够计测的范围窄，抗变换性较低。
在上述的(方式3)中，在使用(方式2)的情况下视线精度提高，但在使用(方式1)的情况下视线精度不改变。
因此，在本发明的实施方式中，使用由上述的(方式2)计算的视线，将脸形状模型的坐标系中的眼球中心参数作为固定参数来求出，在上述的(方式1)中，使用脸形状模型的坐标系中的眼球中心参数，使视线精度提高。由此，眼球中心位置精度提高，因此，在上述的(方式3)中，即使在使用(方式1)的情况下，视线精度也提高。另外，在上述的(方式2)中提出了不需要校准的方式，但需要多个摄像机和多个光源，另一方面，在本发明的实施方式中，能够通过一个摄像机和一个光源而不需要校准。
＜第一实施方式＞
＜视线计测装置的结构＞
如图1所示，第一实施方式的视线计测装置10具备：由对包含作为对象的被实验者的脸的图像进行摄像的CCD摄像机等构成的图像摄像部12；对被实验者的眼睛照射光的照射部13；进行图像处理的计算机14；以及由CRT等构成的输出部16。
图像摄像部12是一个摄像机，照射部13是例如一个近红外LED。在本实施方式中，以图像摄像部12的摄像方向与照射部13的照射方向配置为同轴的情况为例进行说明。另外，作为图像摄像部12的摄像方向与照射部13的照射方向配置为同轴的方法，考虑例如使用半反射镜的方法等。
计算机14构成为包含CPU、存储后述的眼球中心计算处理程序及视线计测处理程序的程序的ROM、存储数据等的RAM、及将它们连接的总线。将该计算机14按基于软件和硬件而确定的每个功能实现单元进行分割后的功能框进行说明，如图1所示，计算机14具备：图像输入部20、脸形状模型存储部22、脸位置姿势推定部24、角膜反射法视线检测部28、摄像机坐标系眼球中心坐标计算部30、眼球中心坐标变换部32、固定参数计算部33、固定参数存储部34以及眼球中心方式视线检测部36。
图像输入部20输入作为从图像摄像部12输出的浓淡图像的脸图像。脸形状模型存储部22存储三维的脸形状模型。脸位置姿势推定部24从作为图像输入部20的输出的脸图像推定脸的三维的位置姿势。角膜反射法视线检测部28根据作为图像输入部20的输出的脸图像的时间序列，使用角膜反射法(参照图10B)，计算摄像机坐标系中的视线向量的时间序列。摄像机坐标系眼球中心坐标计算部30基于通过角膜反射法视线检测部28计算出的视线向量的时间序列，计算摄像机坐标系中的眼球中心坐标的时间序列。眼球中心坐标变换部32基于摄像机坐标系中的眼球中心坐标的时间序列和脸的三维的位置姿势的时间序列，变换成脸形状模型坐标系中的眼球中心坐标的时间序列。固定参数计算部33基于脸形状模型坐标系中的眼球中心坐标的时间序列，计算脸形状模型坐标系中的眼球中心坐标作为固定参数。固定参数存储部34对通过固定参数计算部33得到的脸形状模型坐标系中的眼球中心坐标进行存储。眼球中心方式视线检测部36基于作为图像输入部20的输出的脸图像和存储于固定参数存储部34中的脸形状模型坐标系中的眼球中心坐标，使用瞳孔中心和眼球中心，计算摄像机坐标系中的视线向量。另外，角膜反射法视线检测部28是第一视线向量计算部的一例，眼球中心方式视线检测部36是第二视线向量计算部的一例。摄像机坐标系眼球中心坐标计算部30及眼球中心坐标变换部32是眼球中心位置计算部的一例。
图像输入部20由例如A/D转换器、存储单画面的图像数据的图像存储器等构成。
在脸形状模型存储部22存储与预先求出的三维的脸形状模型相关的信息(例如，各脸特征点的三维坐标)。
脸位置姿势推定部24从脸图像提取与三维的脸形状模型的各脸特征点对应的特征点。
例如，使用图像模式来求出与预先求出的所有的脸特征点分别对应的脸图像上的特征点的位置。
脸位置姿势推定部24基于与提取的脸特征点对应的特征点，如以下所说明那样，作为脸的三维的位置姿势，推定摄像机坐标系(参照图2)中的脸的旋转和脸形状模型的原点位置(Xc，Yc，Zc)。
首先，脸形状模型坐标系(参照图2)中的(Xmi，Ymi，Zmi)与摄像机坐标系中的相同点(Xci，Yci，Zci)的关系由以下的(1)式表示。
【数学式1】
根据图像的透视投影的式，将由像素单位表示的焦点距离设为f，得到以下的(2)式。
(xi，yi)＝(f Xci/Zci，f Yci/Zci)···(2)
另外，要求解的位置姿势的变量是和(Xc，Yc，Zc)，脸形状模型坐标系(参照图2)中的(Xmi，Ymi，Zmi)是固定值。因此，若使用适当初始值作为最初的和(Xc，Yc，Zc)，之后使用上一帧的推定值，则能够使用 和(Xc，Yc，Zc)数值计算(xi，yi)。
因此，能够计算平方误差值e＝Σi＝0～N-1((xi-xoi)2+((yi-yoi)2)，作为使e最小化的非线性最优化问题，求出本帧的和(Xc，Yc，Zc)，作为摄像机坐标系中的脸的旋转及脸形状模型的原点位置(Xc，Yc，Zc)的推定结果。
另外，非线性最优化的具体的手法能够应用扩展卡尔曼滤波器、最速下降法、Newton法(牛顿法)、Gauss-Newton法(高斯牛顿法)、Levenberg-Marquardt法(列文伯格-马夸尔特法)等。
另外，三维的脸形状模型的原点位置在计算上能够任意地设定，但优选的是，作为合理的设计指针，使用靠近人体的左右头部摆动、上下头部摆动动作时的旋转中心的部位作为原点位置。
在该情况下，在收集脸形状模型的数据时，测定各人的头部摆动旋转中心的距眼睛的上下距离(y)、深度距离(z)，作为它们的平均值进行设定。左右方向(x)放在三维的脸形状模型的左右对称面上即可。
脸位置姿势推定部24将推定出的摄像机坐标系中的脸的旋转作为用于将摄像机坐标系变换到脸形状模型的坐标系的旋转成分R，将脸形状模型原点位置(Xc，Yc，Zc)作为用于将摄像机坐标系变换到脸形状模型的坐标系的平移成分t。
如图3所示，角膜反射法视线检测部28具备眼球模型存储部40、角膜反射像位置推定部42、角膜曲率中心计算部44以及视线向量计算部46。
在眼球模型存储部40存储有：脸形状模型坐标系中的假设的眼球中心坐标E′、与角膜曲率对应的球体及表示眼球的球体的位置关系及尺寸、瞳孔中心坐标与角膜曲率中心坐标的距离s、角膜曲率中心坐标与眼球中心坐标的距离t、角膜反射像中心坐标与角膜曲率中心坐标的距离r(参照图4)。
角膜反射像位置推定部42根据脸图像，计算脸图像上的角膜反射像中心的二维坐标，根据脸图像上的角膜反射像中心的二维坐标和脸形状模型坐标系中的假设的眼球中心坐标E′来推定从摄像机位置C朝向角膜反射像中心P的三维向量p。
角膜曲率中心计算部44使用三维向量p、角膜反射像中心P与角膜曲率中心A的距离r，按照以下的式子，推定从摄像机位置C朝向角膜曲率中心A的三维向量a。
【数学式2】
视线向量计算部46根据脸图像，计算脸图像上的瞳孔中心(外观上的瞳孔中心)B的二维坐标。视线向量计算部46使用脸图像上的瞳孔中心(外观上的瞳孔中心)B的二维坐标、三维向量a、角膜反射像中心P与角膜曲率中心A的距离r来求出从摄像机位置C朝向外观上的瞳孔中心B的三维向量b。在此，如图5所示，外观上的瞳孔中心B的候补存在两处，因此将Z位于摄像机侧的一方(＝较小的一方)选作外观上的瞳孔中心B即可。
然后，视线向量计算部46使用三维向量b和三维向量p，计算角膜反射像中心P与外观上的瞳孔中心B的距离u。视线向量计算部46使用三维向量p和三维向量b，按照以下的式子，计算三维向量p与三维向量b的角度ε。
【数学式3】
视线向量计算部46使用角膜反射像中心P与角膜曲率中心A的距离r及角膜反射像中心P与外观上的瞳孔中心B的距离u(＝||b－p||)，按照以下的式子，计算三维向量p与从外观上的瞳孔中心B朝向角膜曲率中心A的三维向量的角度θ。
【数学式4】
视线向量计算部46使用三维向量p与三维向量b的角度ε的计算结果以及三维向量p与从外观上的瞳孔中心B朝向角膜曲率中心A的三维向量的角度θ的计算结果，按照以下的式子，计算从外观上的瞳孔中心B朝向角膜曲率中心A的三维向量以及从真的瞳孔中心B′朝向眼球中心E的三维向量的角度ψ。在以下的式子中，r是角膜曲率半径，s是AB’间的距离，n1是空气的折射率，n2是位于角膜的内侧的水晶体的折射率。
【数学式5】
视线向量计算部46通过三维向量p与从外观上的瞳孔中心B朝向角膜曲率中心A的三维向量的角度θ、以及从外观上的瞳孔中心B朝向角膜曲率中心A的三维向量与从真的瞳孔中心B′朝向眼球中心E的三维向量的角度ψ的和，计算视线向量的角度(＝θ+ψ)。
视线向量计算部46基于视线向量的角度(＝θ+ψ)、从摄像机位置C朝向角膜反射像中心P的三维向量p、从摄像机位置C向外观上的瞳孔中心B的三维向量b，求出视线向量d。其中，即使是-(θ+ψ)，式子也成立，因此选择视线向量d的y成分大于三维向量p的y成分，或者rd接近B即可。
摄像机坐标系眼球中心坐标计算部30基于视线向量d、从摄像机位置C朝向角膜曲率中心A的三维向量a、角膜曲率中心A与眼球中心E的距离t，按照以下的式子，计算摄像机坐标系中的眼球中心坐标e。
【数学式6】
e＝a+td
眼球中心坐标变换部32基于摄像机坐标系中的眼球中心坐标e、用于将摄像机坐标系变换为脸形状模型的坐标系的旋转成分R及平移成分t，变换为脸形状模型坐标系中的眼球中心坐标e′。
【数学式7】
e′＝Re+t
固定参数计算部33基于对于脸图像的时间序列通过眼球中心坐标变换部32得到的脸形状模型坐标系中的眼球中心坐标e′的时间序列，计算脸形状模型坐标系中的眼球中心坐标e′作为固定参数，存储于固定参数存储部34。
例如，计算脸形状模型坐标系中的眼球中心坐标e′的时间序列的平均，设为固定参数。或者，也可以基于脸形状模型坐标系中的眼球中心坐标e′的时间序列，求解使眼球中心坐标e′的分散最小化的最优化问题，从而计算脸形状模型坐标系中的眼球中心坐标e′作为固定参数。
眼球中心方式视线检测部36根据脸图像，通过图形匹配，提取表示眼睛的瞳孔的区域，检测提取出的表示瞳孔的区域的中心作为脸图像上的眼睛的瞳孔中心的二维坐标。
眼球中心方式视线检测部36基于存储于固定参数存储部34的脸形状模型坐标系中的眼球中心坐标和用于将摄像机坐标系变换为脸形状模型的坐标系的旋转成分R及平移成分t，变换为摄像机坐标系中的眼球中心的三维位置。
具体而言，眼球中心方式视线检测部36使用通过脸位置姿势推定部24推定出的用于将摄像机坐标系变换为脸形状模型的坐标系的旋转成分R及平移成分t，将脸形状模型坐标系的眼睛的眼球中心坐标变换为摄像机坐标系中的眼睛的眼球中心坐标。
另外，眼球中心方式视线检测部36基于脸图像上的眼睛的瞳孔中心的二维坐标和摄像机的焦点距离参数，推定摄像机坐标系中的眼睛的瞳孔中心的三维位置。
眼球中心方式视线检测部36根据摄像机坐标系中的眼球中心的三维位置，计算摄像机坐标系中的朝向眼睛的瞳孔中心的三维位置的视线向量，并通过输出部16输出。
＜视线计测装置的动作＞
接着，对视线计测装置10的动作进行说明。首先，在通过照射部13将近红外光向被实验者的眼睛照射时，由图像摄像部12对被实验者的脸图像连续地摄像。
并且，在计算机14中，执行图6所示的眼球中心计算处理程序。首先，在步骤S100中，计算机14获取由图像摄像部12摄像的脸图像。
然后，在步骤S102中，计算机14从脸图像提取脸上的特征点。计算机14推定摄像机坐标系(参照图2)中的脸的旋转和脸形状模型原点位置(Xc，Yc，Zc)作为摄像机坐标系中的脸的三维的位置姿势，并设为用于将摄像机坐标系向脸形状模型的坐标系变换的旋转成分R及平移成分t。
然后，在步骤S106中，计算机14根据上述步骤S100中获取的脸图像，利用角膜反射法，计算摄像机坐标系中的视线向量d。
在步骤S108中，计算机14基于视线向量d、从摄像机位置C朝向角膜曲率中心A的三维向量a、角膜曲率中心A与眼球中心E的距离t，计算摄像机坐标系中的眼球中心坐标e。
在步骤S110中，计算机14基于摄像机坐标系中的眼球中心坐标e、上述步骤S102中推定的用于将摄像机坐标系变换成脸形状模型的坐标系的旋转成分R及平移成分t，变换成脸形状模型坐标系中的眼球中心坐标e′。
在步骤S111中，计算机14判定关于规定数的帧图像是否重复执行了上述步骤S100～S110的处理。在关于规定数的帧图像未重复执行上述步骤S100～S110的处理的情况下，计算机14返回上述步骤S100。另一方面，在关于规定数的帧图像重复执行了上述步骤S100～S110的处理的情况下，计算机14过渡到步骤S112。
在步骤S112中，计算机14基于上述步骤S110中重复得到的脸形状模型坐标系中的眼球中心坐标e′，计算脸形状模型坐标系中的眼球中心坐标e′作为固定参数并存储于固定参数存储部34，结束眼球中心计算处理程序。另外，计算机14也停止由照射部13进行的光的照射。
上述步骤S106通过图7所示的处理程序来实现。
首先，在步骤S120中，计算机14根据脸图像，计算脸图像上的角膜反射像中心的二维坐标。计算机14根据脸图像上的角膜反射像中心的二维坐标和脸形状模型坐标系中的假设的眼球中心坐标E′，推定从摄像机位置C朝向角膜反射像中心P的三维向量p。
在步骤S122中，计算机14利用在上述步骤S120中推定的三维向量p、角膜反射像中心P与角膜曲率中心A的距离r，推定从摄像机位置C朝向角膜曲率中心A的三维向量a。
在步骤S124中，计算机14根据脸图像，计算脸图像上的瞳孔中心(外观上的瞳孔中心)B的二维坐标。并且，在步骤S126中，计算机14利用脸图像上的瞳孔中心(外观上的瞳孔中心)B的二维坐标、在上述步骤S122中推定的三维向量a、角膜反射像中心P与眼球中心E的距离r，求出从摄像机位置C朝向外观上的瞳孔中心B的三维向量b。
然后，在步骤S128中，计算机14利用上述步骤S124中求出的三维向量b和在上述步骤S120中推定的三维向量p，计算角膜反射像中心P与外观上的瞳孔中心B的距离u。另外，计算机14利用三维向量p和三维向量b，计算三维向量p与三维向量b的角度ε。另外，计算机14利用角膜反射像中心P与角膜曲率中心A的距离r以及角膜反射像中心P与外观上的瞳孔中心B的距离u(＝|b-p|)，计算三维向量p与从外观上的瞳孔中心B朝向角膜曲率中心A的三维向量的角度θ。另外，计算机14利用三维向量p与三维向量b的角度ε的计算结果、三维向量p与从外观上的瞳孔中心B朝向角膜曲率中心A的三维向量的角度θ的计算结果，计算出从外观上的瞳孔中心B朝向角膜曲率中心A的三维向量与从真的瞳孔中心B′朝向眼球中心E的三维向量的角度ψ。
然后，计算机14根据上述计算出的角度θ和角度ψ的和，计算视线向量的角度，该角度θ是三维向量p与从外观上的瞳孔中心B朝向角膜曲率中心A三维向量的角度，该角度ψ是从外观上的瞳孔中心B朝向角膜曲率中心A的三维向量与从真的瞳孔中心B′朝向眼球中心E的三维向量的角度。
然后，在步骤S130中，计算机14基于上述步骤S128中计算出的视线向量的角度、从摄像机位置C朝向角膜反射像中心P的三维向量p、从摄像机位置C朝向外观上的瞳孔中心B的三维向量b，求出视线向量d，结束该处理程序。
并且，在利用图像摄像部12对被实验者的脸图像连续地摄像时，在计算机14中，对于每个摄像的脸图像执行图8所示的视线计测处理程序。首先，在步骤S140中，计算机14获取由图像摄像部12摄像的脸图像。
在步骤S142中，计算机14从脸图像提取脸上的特征点。计算机14推定摄像机坐标系(参照图2)中的脸的旋转和脸形状模型原点位置(Xc，Yc，Zc)作为摄像机坐标系中的脸的三维的位置姿势，并设为用于将摄像机坐标系变换为脸形状模型的坐标系的旋转成分R及平移成分t。
在步骤S144中，计算机14利用在上述步骤S142中推定出的用于将摄像机坐标系变换为脸形状模型的坐标系的旋转成分R及平移成分t，将存储于固定参数存储部34的脸形状模型坐标系的眼睛的眼球中心坐标变换为摄像机坐标系中的眼睛的眼球中心坐标。
另外，在步骤S146中，计算机14通过图形匹配，从上述步骤S140中得到的脸图像提取表示眼睛的瞳孔的区域，检测提取的表示瞳孔的区域的中心作为脸图像上的眼睛的瞳孔中心的二维坐标。然后，计算机14基于脸图像上的眼睛的瞳孔中心的二维坐标和摄像机的焦点距离参数，推定摄像机坐标系中的眼睛的瞳孔中心的三维位置。
在步骤S148中，计算机14基于在上述步骤S144中得到的摄像机坐标系中的眼睛的眼球中心的三维位置和在上述步骤S146中得到的摄像机坐标系中的眼睛的瞳孔中心的三维位置，计算从摄像机坐标系中的眼球中心的三维位置朝向摄像机坐标系中的眼睛的瞳孔中心的三维位置的视线向量，通过输出部16输出，结束视线计测处理程序。
如以上说明的，第一实施方式的视线计测装置根据利用角膜反射像而计算出的视线向量，计算三维脸形状模型的坐标系中的眼球中心的三维位置作为固定参数。视线计测装置计算从眼球中心的三维位置朝向瞳孔中心的三维位置的三维的视线向量。由此，能够以简单的结构不进行校准而精度良好地进行视线计测。
另外，眼球中心在脸模型坐标系中不随时间变化，因此视线计测装置存储眼球中心作为固定参数。由此，不进行在视线检测中通常进行的校准就实现精度较高的视线计测。另外，由于不需要校准，因此使用者的使用性较好。
＜第二实施方式＞
接着，对第二实施方式进行说明。另外，对于与第一实施方式相同的结构的部分，标记相同符号而省略说明。
第二实施方式与第一实施方式的不同之处在于，作为固定参数，不仅推定脸形状模型坐标系中的眼球中心坐标，还推定脸形状模型的结构参数。
＜第二实施方式的概要＞
在第二实施方式中，利用脸形状模型坐标系中的眼球中心坐标e为不动点(坐标值不变化)来推定脸形状模型的结构参数(真的瞳孔中心B′与角膜曲率中心A的距离s、角膜曲率中心A与眼球中心E的距离t、角膜反射像中心P与角膜曲率中心A的距离r)。
＜视线计测装置的结构＞
第二实施方式的视线计测装置210的计算机214具备：图像输入部20、脸形状模型存储部22、脸位置姿势推定部24、角膜反射法视线检测部28、摄像机坐标系眼球中心坐标计算部30、眼球中心坐标变换部32、固定参数计算部33、眼球结构参数计算部232、固定参数存储部34以及眼球中心方式视线检测部36。
眼球结构参数计算部232基于脸形状模型坐标系的眼睛的眼球中心坐标的时间序列，以使以下的式所示的目标函数最优化的方式，计算如下脸形状模型的结构参数：真的瞳孔中心B′与角膜曲率中心A的距离s、角膜曲率中心A与眼球中心E的距离t、角膜反射像中心P与角膜曲率中心A的距离r，其中，脸形状模型坐标系的眼睛的眼球中心坐标的时间序列是对脸图像的时间序列通过眼球中心坐标变换部32而得到的。
【数学式8】
其中，
另外，E表示平均。
具体而言，以s、t、r对上述的目标函数进行偏微分，求出偏微分变0的参数即可。
固定参数存储部34存储通过眼球中心坐标变换部32得到的脸形状模型坐标系中的眼球中心坐标作为固定参数。固定参数存储部34存储通过眼球结构参数计算部232计算出的真的瞳孔中心B′与角膜曲率中心A的距离s、角膜曲率中心A与眼球中心E的距离t、角膜反射像中心P与角膜曲率中心A的距离r作为固定参数。
在固定参数存储部34存储了真的瞳孔中心B′与角膜曲率中心A的距离s、角膜曲率中心A与眼球中心E的距离t、角膜反射像中心P与角膜曲率中心A的距离r后，再次，角膜反射法视线检测部28利用角膜反射法计算摄像机坐标系中的视线向量，摄像机坐标系眼球中心坐标计算部30计算摄像机坐标系中的眼球中心坐标e。此时，在角膜曲率中心计算部44、视线向量计算部46、摄像机坐标系眼球中心坐标计算部30中，使用通过眼球结构参数计算部232计算出的真的瞳孔中心B′与角膜曲率中心A的距离s、角膜曲率中心A与眼球中心E的距离t、角膜反射像中心P与角膜曲率中心A的距离r。
另外，第二实施方式的视线计测装置的其他结构及作用与第一实施方式相同，因此省略说明。
如此，眼球中心在脸模型坐标系中不随时间变化，因此眼球结构参数也同样地不随时间变化。视线计测装置210使用该眼球结构参数和图像观测量建立求出眼球中心的式子，利用显示眼球中心不随时间变动的评价函数，从而能够求出眼球结构参数。
另外，在上述的实施方式中，对图像摄像部12的摄像方向与照射部13的照射方向配置为同轴的情况为例进行了说明，但不限定于此。在图像摄像部12的摄像方向与照射部13的照射方向未配置为同轴的情况下，进行对应于图像摄像部12的摄像方向与照射部13的照射方向的差异的近似计算即可。
Claims (7)
1.一种视线计测装置，包含：
第一视线向量计算部，该第一视线向量计算部根据脸图像的时间序列，利用所述脸图像上的脸的眼睛的角膜反射像、所述脸图像上的脸的眼睛的瞳孔中心位置、以及预先确定的三维眼球模型，计算摄像机坐标系中的三维的视线向量的时间序列，所述脸图像表示通过对被观察者的所述脸进行摄像的摄像部而在从光照射部对所述被观察者的眼睛照射光时被摄像的所述脸的图像；
脸位置姿势推定部，该脸位置姿势推定部基于所述脸图像的时间序列和预先确定的三维脸形状模型，推定所述脸的三维的位置姿势的时间序列；
眼球中心位置计算部，该眼球中心位置计算部基于通过所述脸位置姿势推定部推定的所述脸的三维的位置姿势的时间序列、以及通过所述第一视线向量计算部计算出的所述视线向量的时间序列，计算所述三维脸形状模型的坐标系中的眼球中心的三维位置的时间序列；
固定参数计算部，该固定参数计算部基于通过所述眼球中心位置计算部计算出的所述三维脸形状模型的坐标系中的所述眼球中心的三维位置的时间序列，计算所述三维脸形状模型的坐标系中的所述眼球中心的三维位置并将该三维位置作为固定参数；以及
第二视线向量计算部，该第二视线向量计算部基于表示通过所述摄像部摄像的所述脸的脸图像上的所述脸的眼睛的瞳孔中心位置、通过所述固定参数计算部计算出的所述眼球中心的三维位置、以及通过所述脸位置姿势推定部推定的所述脸的三维的位置姿势，在所述摄像机坐标系中，计算从所述眼球中心的三维位置朝向瞳孔中心的三维位置的三维的视线向量。
2.根据权利要求1所述的视线计测装置，其中，
还包含眼球结构参数计算部，该眼球结构参数计算部基于通过所述眼球中心位置计算部计算出的所述三维脸形状模型的坐标系中的所述眼球中心的三维位置的时间序列，利用所述三维脸形状模型的坐标系中的所述眼球中心的三维位置不变化的情况，计算眼球结构参数并将该眼球结构参数作为固定参数。
3.根据权利要求1或2所述的视线计测装置，其中，
所述第一视线向量计算部包含：
角膜反射像位置推定部，该角膜反射像位置推定部基于所述脸的眼睛的角膜反射像和所述三维眼球模型，推定所述角膜反射像的三维位置；以及
角膜曲率中心计算部，该角膜曲率中心计算部基于所述角膜反射像的三维位置，计算角膜曲率中心的三维位置，
所述第一视线向量计算部基于所述角膜反射像的三维位置和所述角膜曲率中心的三维位置，计算所述摄像机坐标系中的三维的视线向量。
4.根据权利要求1～3中任一项所述的视线计测装置，其中，
所述眼球中心位置计算部包含：
摄像机坐标系眼球中心坐标计算部，该摄像机坐标系眼球中心坐标计算部基于通过所述第一视线向量计算部计算出的所述视线向量，计算摄像机坐标系中的所述眼球中心的三维位置；以及
脸坐标系眼球中心坐标变换部，该脸坐标系眼球中心坐标变换部基于通过所述脸位置姿势推定部推定的所述脸的三维的位置姿势，将所述摄像机坐标系中的所述眼球中心的三维位置变换为所述三维脸形状模型的坐标系中的所述眼球中心的三维位置。
5.根据权利要求1～4中任一项所述的视线计测装置，其中，
所述第二视线向量计算部基于表示通过所述摄像部摄像的所述脸的脸图像上的所述脸的眼睛的瞳孔中心位置和与所述摄像部相关的参数，计算所述瞳孔中心位置的三维位置，
基于通过所述脸位置姿势推定部推定的所述脸的三维的位置姿势，将通过所述固定参数计算部计算出的所述眼球中心的三维位置变换为所述摄像机坐标系中的所述眼球中心的三维位置，
在所述摄像机坐标系中，计算从所述眼球中心的三维位置朝向所述瞳孔中心的三维位置的三维的视线向量。
6.一种视线计测程序，用于使计算机作为第一视线向量计算部、脸位置姿势推定部、眼球中心位置计算部、固定参数计算部、第二视线向量计算部发挥功能，其中，
所述第一视线向量计算部根据脸图像的时间序列，利用所述脸图像上的脸的眼睛的角膜反射像、所述脸图像上的脸的眼睛的瞳孔中心位置、以及预先确定的三维眼球模型，计算摄像机坐标系中的三维的视线向量的时间序列，所述脸图像表示通过对被观察者的所述脸进行摄像的摄像部而在从光照射部对所述被观察者的眼睛照射光时被摄像的所述脸的图像，
所述脸位置姿势推定部基于所述脸图像的时间序列和预先确定的三维脸形状模型，推定所述脸的三维的位置姿势的时间序列，
所述眼球中心位置计算部基于通过所述脸位置姿势推定部推定的所述脸的三维的位置姿势的时间序列、以及通过所述第一视线向量计算部计算出的所述视线向量的时间序列，计算所述三维脸形状模型的坐标系中的眼球中心的三维位置的时间序列，
所述固定参数计算部基于通过所述眼球中心位置计算部计算出的所述三维脸形状模型的坐标系中的所述眼球中心的三维位置的时间序列，计算所述三维脸形状模型的坐标系中的所述眼球中心的三维位置并将该三维位置作为固定参数，
所述第二视线向量计算部基于表示通过所述摄像部摄像的所述脸的脸图像上的所述脸的眼睛的瞳孔中心位置、通过所述固定参数计算部计算出的所述眼球中心的三维位置、以及通过所述脸位置姿势推定部推定的所述脸的三维的位置姿势，在所述摄像机坐标系中，计算从所述眼球中心的三维位置朝向瞳孔中心的三维位置的三维的视线向量。
7.一种视线计测方法，其中，
通过第一视线向量计算部，根据脸图像的时间序列，利用所述脸图像上的脸的眼睛的角膜反射像、所述脸图像上的脸的眼睛的瞳孔中心位置、以及预先确定的三维眼球模型，计算摄像机坐标系中的三维的视线向量的时间序列，所述脸图像表示通过对被观察者的所述脸进行摄像的摄像部而在从光照射部对所述被观察者的眼睛照射光时被摄像的所述脸的图像，
通过脸位置姿势推定部，基于所述脸图像的时间序列和预先确定的三维脸形状模型，推定所述脸的三维的位置姿势的时间序列；
通过眼球中心位置计算部，基于通过所述脸位置姿势推定部推定的所述脸的三维的位置姿势的时间序列、以及通过所述第一视线向量计算部计算出的所述视线向量的时间序列，计算所述三维脸形状模型的坐标系中的眼球中心的三维位置的时间序列，
通过固定参数计算部，基于通过所述眼球中心位置计算部计算出的所述三维脸形状模型的坐标系中的所述眼球中心的三维位置的时间序列，计算所述三维脸形状模型的坐标系中的所述眼球中心的三维位置作为固定参数，
通过第二视线向量计算部，基于表示通过所述摄像部摄像的所述脸的脸图像上的所述脸的眼睛的瞳孔中心位置、通过所述固定参数计算部计算出的所述眼球中心的三维位置、以及通过所述脸位置姿势推定部推定的所述脸的三维的位置姿势，在所述摄像机坐标系中，计算从所述眼球中心的三维位置朝向瞳孔中心的三维位置的三维的视线向量。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017114763A JP6800091B2 (ja) | 2017-06-09 | 2017-06-09 | 視線計測装置及びプログラム |
| JP2017-114763 | 2017-06-09 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109008944A true CN109008944A (zh) | 2018-12-18 |
| CN109008944B CN109008944B (zh) | 2022-03-25 |
Family
ID=62567486
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810579930.5A Active CN109008944B (zh) | 2017-06-09 | 2018-06-07 | 视线计测装置、rom及视线计测方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10783663B2 (zh) |
| EP (1) | EP3413234B1 (zh) |
| JP (1) | JP6800091B2 (zh) |
| CN (1) | CN109008944B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6840697B2 (ja) * | 2018-03-23 | 2021-03-10 | 株式会社豊田中央研究所 | 視線方向推定装置、視線方向推定方法、及び視線方向推定プログラム |
| CN109002796B (zh) * | 2018-07-16 | 2020-08-04 | 阿里巴巴集团控股有限公司 | 一种图像采集方法、装置和***以及电子设备 |
| TWI704501B (zh) * | 2018-08-09 | 2020-09-11 | 宏碁股份有限公司 | 可由頭部操控的電子裝置與其操作方法 |
| US11170521B1 (en) * | 2018-09-27 | 2021-11-09 | Apple Inc. | Position estimation based on eye gaze |
| SE1851597A1 (en) * | 2018-12-17 | 2020-06-02 | Tobii Ab | Gaze tracking via tracing of light paths |
| JP7283841B2 (ja) * | 2019-03-28 | 2023-05-30 | 株式会社豊田中央研究所 | 視線計測装置 |
| CN112528713A (zh) * | 2019-09-19 | 2021-03-19 | 北京七鑫易维信息技术有限公司 | 一种注视点估计方法、***、处理器及设备 |
| CN111061373B (zh) * | 2019-12-18 | 2024-04-16 | 京东方科技集团股份有限公司 | 一种眼球追踪校准方法、装置及可佩戴式设备 |
| CN112288855A (zh) * | 2020-10-29 | 2021-01-29 | 张也弛 | 一种操作者眼睛注视模型的建立方法及装置 |
| CN112308932B (zh) * | 2020-11-04 | 2023-12-08 | 中国科学院上海微***与信息技术研究所 | 一种注视检测方法、装置、设备及存储介质 |
| CN113723293B (zh) * | 2021-08-30 | 2024-01-05 | 中国科学院上海微***与信息技术研究所 | 一种视线方向的确定方法、装置、电子设备及存储介质 |
| CN113992907B (zh) * | 2021-10-29 | 2023-11-07 | 南昌虚拟现实研究院股份有限公司 | 眼球参数校验方法、***、计算机及可读存储介质 |
| CN114067420B (zh) * | 2022-01-07 | 2023-02-03 | 深圳佑驾创新科技有限公司 | 一种基于单目摄像头的视线测量方法及装置 |
| WO2023139975A1 (ja) * | 2022-01-21 | 2023-07-27 | 日本電気株式会社 | 眼球運動測定装置、眼球運動測定プログラムを格納した非一時的なコンピュータ可読媒体及び眼球運動測定方法 |
| CN115147462B (zh) * | 2022-07-08 | 2023-07-21 | 浙江大学 | 一种基于三维眼球模型和卡尔曼滤波的注视特征跟踪方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030123027A1 (en) * | 2001-12-28 | 2003-07-03 | International Business Machines Corporation | System and method for eye gaze tracking using corneal image mapping |
| CN101419664A (zh) * | 2007-10-25 | 2009-04-29 | 株式会社日立制作所 | 视线方向计测方法和视线方向计测装置 |
| CN101677762A (zh) * | 2008-02-28 | 2010-03-24 | 松下电器产业株式会社 | 视线检测装置以及视线检测方法 |
| CN102125422A (zh) * | 2010-01-12 | 2011-07-20 | 北京科技大学 | 视线追踪***中基于瞳孔-角膜反射的视线估计方法 |
| CN102149325A (zh) * | 2008-09-26 | 2011-08-10 | 松下电器产业株式会社 | 视线方向判定装置及视线方向判定方法 |
| CN102830793A (zh) * | 2011-06-16 | 2012-12-19 | 北京三星通信技术研究有限公司 | 视线跟踪方法和设备 |
| JP2013252301A (ja) * | 2012-06-07 | 2013-12-19 | Toyota Central R&D Labs Inc | 眼球中心推定装置及びプログラム |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4032994B2 (ja) * | 2003-02-26 | 2008-01-16 | トヨタ自動車株式会社 | 視線方向検出装置および視線方向検出方法 |
| JP2007004448A (ja) | 2005-06-23 | 2007-01-11 | Honda Motor Co Ltd | 視線検出装置 |
| JP2008136789A (ja) * | 2006-12-05 | 2008-06-19 | Nec Corp | 眼球パラメータ推定装置及び方法 |
| JP5163982B2 (ja) | 2008-06-16 | 2013-03-13 | 国立大学法人神戸大学 | 視線計測装置、視線計測プログラム、視線計測方法、および視線計測装置用ディスプレイ |
| JP2010151951A (ja) | 2008-12-24 | 2010-07-08 | Mitsubishi Electric Engineering Co Ltd | 特定方向画像表示システム |
| JP5873362B2 (ja) * | 2012-03-13 | 2016-03-01 | 日本放送協会 | 視線誤差補正装置、そのプログラム及びその方法 |
| US10878237B2 (en) * | 2016-06-29 | 2020-12-29 | Seeing Machines Limited | Systems and methods for performing eye gaze tracking |
-
2017
- 2017-06-09 JP JP2017114763A patent/JP6800091B2/ja active Active
-
2018
- 2018-06-07 US US16/002,455 patent/US10783663B2/en active Active
- 2018-06-07 CN CN201810579930.5A patent/CN109008944B/zh active Active
- 2018-06-07 EP EP18176601.5A patent/EP3413234B1/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030123027A1 (en) * | 2001-12-28 | 2003-07-03 | International Business Machines Corporation | System and method for eye gaze tracking using corneal image mapping |
| CN101419664A (zh) * | 2007-10-25 | 2009-04-29 | 株式会社日立制作所 | 视线方向计测方法和视线方向计测装置 |
| CN101677762A (zh) * | 2008-02-28 | 2010-03-24 | 松下电器产业株式会社 | 视线检测装置以及视线检测方法 |
| CN102149325A (zh) * | 2008-09-26 | 2011-08-10 | 松下电器产业株式会社 | 视线方向判定装置及视线方向判定方法 |
| CN102125422A (zh) * | 2010-01-12 | 2011-07-20 | 北京科技大学 | 视线追踪***中基于瞳孔-角膜反射的视线估计方法 |
| CN102830793A (zh) * | 2011-06-16 | 2012-12-19 | 北京三星通信技术研究有限公司 | 视线跟踪方法和设备 |
| JP2013252301A (ja) * | 2012-06-07 | 2013-12-19 | Toyota Central R&D Labs Inc | 眼球中心推定装置及びプログラム |
Non-Patent Citations (1)
| Title |
|---|
| LI SUN 等: ""Real-Time Gaze Estimation with Online Calibration"", 《IEEE MULTIMEDIA》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3413234B1 (en) | 2023-11-08 |
| JP2019000136A (ja) | 2019-01-10 |
| US10783663B2 (en) | 2020-09-22 |
| JP6800091B2 (ja) | 2020-12-16 |
| US20180357790A1 (en) | 2018-12-13 |
| EP3413234A1 (en) | 2018-12-12 |
| CN109008944B (zh) | 2022-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109008944A (zh) | 视线计测装置、视线计测程序及视线计测方法 | |
| JP4517049B2 (ja) | 視線検出方法および視線検出装置 | |
| CN109558012B (zh) | 一种眼球追踪方法及装置 | |
| CN109690553A (zh) | 执行眼睛注视跟踪的***和方法 | |
| EP3339943A1 (en) | Method and system for obtaining optometric parameters for fitting eyeglasses | |
| US9323075B2 (en) | System for the measurement of the interpupillary distance using a device equipped with a screen and a camera | |
| US20150029322A1 (en) | Method and computations for calculating an optical axis vector of an imaged eye | |
| US9628697B2 (en) | Method and device for measuring an interpupillary distance | |
| US6659611B2 (en) | System and method for eye gaze tracking using corneal image mapping | |
| US11294455B2 (en) | Method and device for determining gaze placement, computer readable storage medium | |
| EP2649932A1 (en) | Method for detecting point of gaze and device for detecting point of gaze | |
| CN105764405A (zh) | 基于主观距离计量测量眼睛屈光不正的***和方法 | |
| JP6881755B2 (ja) | 視線検出校正方法、システム、及びコンピュータプログラム | |
| JP2014052758A (ja) | 視線計測方法 | |
| US20150049952A1 (en) | Systems and methods of measuring facial characteristics | |
| CN105354822B (zh) | 自动识别读写场景中读写元素位置的智能装置及应用 | |
| JP2019215688A (ja) | 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム | |
| KR20170054511A (ko) | 피검자에게 안경을 맞추기 위해 피검자의 광학적 파라미터들을 정밀하게 결정하는 방법, 및 고정형 비디오 센터링 시스템 | |
| JP2016099759A (ja) | 顔検出方法、顔検出装置、及び顔検出プログラム | |
| JP7255436B2 (ja) | 眼球構造推定装置 | |
| JP7283841B2 (ja) | 視線計測装置 | |
| CN113723293B (zh) | 一种视线方向的确定方法、装置、电子设备及存储介质 | |
| Kang et al. | A robust extrinsic calibration method for non-contact gaze tracking in the 3-D space | |
| JP3711053B2 (ja) | 視線測定装置及びその方法と、視線測定プログラム及びそのプログラムを記録した記録媒体 | |
| CN108600742B (zh) | 一种基于立体显示的中央眼测试***及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |