CN109656373A - 一种注视点定位方法及定位装置、显示设备和存储介质 - Google Patents

一种注视点定位方法及定位装置、显示设备和存储介质 Download PDF

Info

Publication number
CN109656373A
CN109656373A CN201910002204.1A CN201910002204A CN109656373A CN 109656373 A CN109656373 A CN 109656373A CN 201910002204 A CN201910002204 A CN 201910002204A CN 109656373 A CN109656373 A CN 109656373A
Authority
CN
China
Prior art keywords
coordinate
pupil
eye
image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910002204.1A
Other languages
English (en)
Other versions
CN109656373B (zh
Inventor
薛亚冲
张�浩
陈丽莉
孙建康
楚明磊
何惠东
张硕
李纲
彭项君
赵晨曦
吕耀宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910002204.1A priority Critical patent/CN109656373B/zh
Publication of CN109656373A publication Critical patent/CN109656373A/zh
Priority to PCT/CN2019/089627 priority patent/WO2020140387A1/en
Priority to US16/634,227 priority patent/US11205070B2/en
Application granted granted Critical
Publication of CN109656373B publication Critical patent/CN109656373B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供一种注视点定位方法及定位装置、显示设备和存储介质，涉及智能显示技术领域，能够解决现有技术中由于全局性的瞳孔中心与注视点的映射关系而导致注视点的定位精度较低，用户体验较差的问题。所述方法包括：获取多幅标定眼部图像；获取标定眼部图像的瞳孔中心坐标；获取每个区域的瞳孔中心与标定点的映射比；获取实时眼部图像；获取实时眼部图像的瞳孔中心坐标；根据实时眼部图像的瞳孔中心坐标在目标屏幕上的位置，获取与实时眼部图像的瞳孔中心坐标对应的映射比；获取实时眼部图像的瞳孔中心坐标与对应的映射比的乘积，将乘积得到的坐标作为实时眼部图像的瞳孔中心坐标对应的实时注视点坐标。本发明用于显示设备。

Description

一种注视点定位方法及定位装置、显示设备和存储介质
技术领域
本发明涉及智能显示技术领域，尤其涉及一种注视点定位方法及定位装置、显示设备和存储介质。
背景技术
随着虚拟现实(Virtual Reality，VR)技术的发展，非侵入式视线追踪技术在虚拟现实交互、注视点渲染等方面的应用也得到了重视。目前，在视线追踪***中普遍采用的是非线性映射模型和基于交比映射的方法，这两种方法都存在有明显的缺点，即在瞳孔进行运动时，都默认瞳孔的运动是全局性质的，即瞳孔中心与注视点的映射关系是全局性质的，这样导致注视点的定位精度较低，用户体验较差。
发明内容
本发明的实施例提供一种注视点定位方法及定位装置、显示设备和存储介质，能够解决现有技术中由于全局性的瞳孔中心与注视点的映射关系而导致注视点的定位精度较低，用户体验较差的问题。
为达到上述目的，本发明的实施例采用如下技术方案：
一方面，本发明实施例提供一种注视点定位方法，所述方法包括：获取目标对象分别注视多个标定点时的多幅标定眼部图像；获取所述标定眼部图像的瞳孔中心坐标；根据多个所述标定眼部图像的瞳孔中心坐标将目标屏幕分成多个区域，获取每个区域的瞳孔中心与标定点的映射比；获取目标对象的实时眼部图像；获取所述实时眼部图像的瞳孔中心坐标；根据所述实时眼部图像的瞳孔中心坐标在所述目标屏幕上的位置，获取与所述实时眼部图像的瞳孔中心坐标对应的映射比；获取所述实时眼部图像的瞳孔中心坐标与对应的映射比的乘积，将所述乘积得到的坐标作为所述实时眼部图像的瞳孔中心坐标对应的实时注视点坐标。
可选的，所述根据多个所述标定眼部图像的瞳孔中心坐标将目标屏幕分成多个区域，获取每个区域的瞳孔中心与标定点的映射比具体包括：多个所述标定眼部图像的瞳孔中心坐标中包括一个位于中心的中心瞳孔坐标和其余位于所述中心瞳孔坐标***一周的***瞳孔坐标，以所述中心瞳孔坐标为端点、经过任意一个所述***瞳孔坐标的射线将所述目标屏幕分成多个区域，每个区域中包含一个由所述中心瞳孔坐标和相邻两个所述***瞳孔坐标组成的第一三角形；所述中心瞳孔坐标对应的标定点和相邻两个所述***瞳孔坐标对应的标定点组成一个第二三角形，获取所述第二三角形三个边长与对应的第一三角形的三个边长的比值的平均值，将所述平均值作为所述第一三角形所在区域的瞳孔中心与标定点的映射比。
可选的，多个所述***瞳孔坐标以所述中心瞳孔坐标为中心、呈正多边形分布在所述中心瞳孔坐标***一周。
可选的，在获取目标眼部图像的瞳孔中心坐标之后，所述方法还包括：对所述目标眼部图像的瞳孔中心坐标进行修正；其中，所述目标眼部图像为所述标定眼部图像或所述实时眼部图像。
可选的，所述对所述目标眼部图像的瞳孔中心坐标进行修正具体包括：获取目标对象的眼球半径；获取所述眼球半径与所述目标眼部图像的瞳孔中心坐标的x轴坐标的乘积、以及所述眼球半径的平方与所述目标眼部图像的瞳孔中心坐标的y轴坐标的平方的差值的开方值，并获取所述乘积与所述开方值的比值，将所述比值作为修正后的所述目标眼部图像的瞳孔中心坐标的x轴坐标；获取所述眼球半径与所述目标眼部图像的瞳孔中心坐标的y轴坐标的乘积、以及所述眼球半径的平方与所述目标眼部图像的瞳孔中心坐标的y轴坐标的平方的差值的开方值，并获取所述乘积与所述开方值的比值，将所述比值作为修正后的所述目标眼部图像的瞳孔中心坐标的y轴坐标；其中，所述修正后的所述目标眼部图像的瞳孔中心坐标的x轴坐标与修正前的所述目标眼部图像的瞳孔中心坐标的x轴坐标的正负一致；所述修正后的所述目标眼部图像的瞳孔中心坐标的y轴坐标与修正前的所述目标眼部图像的瞳孔中心坐标的y轴坐标的正负一致。
可选的，获取目标眼部图像的瞳孔中心坐标具体包括：对所述目标眼部图像进行灰度转换；对转换后的目标眼部图像进行二值化处理和开运算处理，并提取处理后的目标眼部图像的瞳孔轮廓；对所述瞳孔轮廓采用质心法获取瞳孔中心坐标；其中，所述目标眼部图像为所述标定眼部图像或所述实时眼部图像。
可选的，在所述对转换后的目标眼部图像进行二值化处理之前，所述方法还包括：对转换后的目标眼部图像进行去噪处理；所述对转换后的目标眼部图像进行二值化处理和开运算处理具体为：对去噪后的目标眼部图像进行二值化处理和开运算处理。
另一方面，本发明实施例提供一种注视点定位装置，所述装置包括：第一获取单元，用于获取目标对象分别注视多个标定点时的多幅标定眼部图像；第二获取单元，用于获取所述标定眼部图像的瞳孔中心坐标；第三获取单元，用于根据多个所述标定眼部图像的瞳孔中心坐标将目标屏幕分成多个区域，获取每个区域的瞳孔中心与标定点的映射比；所述第一获取单元还用于获取目标对象的实时眼部图像；所述第二获取单元还用于获取所述实时眼部图像的瞳孔中心坐标；所述第三获取单元还用于根据所述实时眼部图像的瞳孔中心坐标在所述目标屏幕上的位置，获取与所述实时眼部图像的瞳孔中心坐标对应的映射比；第四获取单元，用于获取所述实时眼部图像的瞳孔中心坐标与对应的映射比的乘积，将所述乘积得到的坐标作为所述实时眼部图像的瞳孔中心坐标对应的实时注视点坐标。
可选的，所述第三获取单元具体用于：多个所述标定眼部图像的瞳孔中心坐标中包括一个位于中心的中心瞳孔坐标和其余位于所述中心瞳孔坐标***一周的***瞳孔坐标，以所述中心瞳孔坐标为端点、经过任意一个所述***瞳孔坐标的射线将所述目标屏幕分成多个区域，每个区域中包含一个由所述中心瞳孔坐标和相邻两个所述***瞳孔坐标组成的第一三角形；所述中心瞳孔坐标对应的标定点和相邻两个所述***瞳孔坐标对应的标定点组成一个第二三角形，获取所述第二三角形三个边长与对应的第一三角形的三个边长的比值的平均值，将所述平均值作为所述第一三角形所在区域的瞳孔中心与标定点的映射比。
可选的，多个所述***瞳孔坐标以所述中心瞳孔坐标为中心、呈正多边形分布在所述中心瞳孔坐标***一周。
可选的，所述装置还包括：修正单元，用于对所述目标眼部图像的瞳孔中心坐标进行修正；其中，所述目标眼部图像为所述标定眼部图像或所述实时眼部图像。
可选的，所述修正单元具体用于：获取目标对象的眼球半径；获取所述眼球半径与所述目标眼部图像的瞳孔中心坐标的x轴坐标的乘积、以及所述眼球半径的平方与所述目标眼部图像的瞳孔中心坐标的y轴坐标的平方的差值的开方值，并获取所述乘积与所述开方值的比值，将所述比值作为修正后的所述目标眼部图像的瞳孔中心坐标的x轴坐标；获取所述眼球半径与所述目标眼部图像的瞳孔中心坐标的y轴坐标的乘积、以及所述眼球半径的平方与所述目标眼部图像的瞳孔中心坐标的y轴坐标的平方的差值的开方值，并获取所述乘积与所述开方值的比值，将所述比值作为修正后的所述目标眼部图像的瞳孔中心坐标的y轴坐标；其中，所述修正后的所述目标眼部图像的瞳孔中心坐标的x轴坐标与修正前的所述目标眼部图像的瞳孔中心坐标的x轴坐标的正负一致；所述修正后的所述目标眼部图像的瞳孔中心坐标的y轴坐标与修正前的所述目标眼部图像的瞳孔中心坐标的y轴坐标的正负一致。
可选的，所述第二获取单元具体用于：对所述目标眼部图像进行灰度转换；对转换后的目标眼部图像进行二值化处理和开运算处理，并提取处理后的目标眼部图像的瞳孔轮廓；对所述瞳孔轮廓采用质心法获取瞳孔中心坐标；其中，所述目标眼部图像为所述标定眼部图像或所述实时眼部图像。
可选的，所述第二获取单元具体用于：对转换后的目标眼部图像进行去噪处理；对去噪后的目标眼部图像进行二值化处理和开运算处理。
再一方面，本发明实施例提供一种显示设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序，以实现如上述任意一种所述的注视点定位方法。
另一方面，本发明实施例提供一种存储介质，其上存储有计算机指令，所述计算机指令被运行时，执行上述任意一项所述的注视点定位方法的一个或多个步骤。
本发明实施例提供的注视点定位方法及定位装置、显示设备和存储介质，所述方法包括：获取目标对象分别注视多个标定点时的多幅标定眼部图像；获取标定眼部图像的瞳孔中心坐标；根据多个标定眼部图像的瞳孔中心坐标将目标屏幕分成多个区域，获取每个区域的瞳孔中心与标定点的映射比；获取目标对象的实时眼部图像；获取实时眼部图像的瞳孔中心坐标；根据实时眼部图像的瞳孔中心坐标在目标屏幕上的位置，获取与实时眼部图像的瞳孔中心坐标对应的映射比；获取实时眼部图像的瞳孔中心坐标与对应的映射比的乘积，将乘积得到的坐标作为实时眼部图像的瞳孔中心坐标对应的实时注视点坐标。相较于现有技术，本发明实施例通过建立不同区域的瞳孔中心与对应标定点之间的映射关系，这样在获取实时的瞳孔中心坐标后，可根据实时瞳孔中心坐标的位置，获取对应的映射比，进而获取对应的实时注视点坐标，此种计算实时注视点坐标的方法由于考虑了瞳孔在眼球不同区域运动的不同情况，瞳孔中心与注视点的映射关系随瞳孔位置的不同而不同，因而提高了注视点定位精度，进而提高了用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的注视点定位方法流程图一；
图2为本发明实施例提供的显示设备结构示意图；
图3为本发明实施例提供的瞳孔中心坐标获取方法流程图；
图4为本发明实施例提供的瞳孔位置误差示意图；
图5为本发明实施例提供的瞳孔中心坐标修正方法流程图；
图6为本发明实施例提供的瞳孔中心坐标修正原理示意图；
图7为本发明实施例提供的目标屏幕区域划分示意图；
图8为本发明实施例提供的注视点定位方法流程图二；
图9为本发明实施例提供的注视点定位装置框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种注视点定位方法，如图1所示，所述方法包括：
步骤101、获取目标对象分别注视多个标定点时的多幅标定眼部图像。
其中，标定点显示在显示设备的目标屏幕上，目标对象可以是使用所述显示设备的用户。所述显示设备可以是虚拟现实(VR)设备、增强现实(AR)设备或混合现实(MR)设备等，本发明实施例对此不做限定。
多幅所述标定眼部图像为人眼注视显示设备的屏幕(即目标屏幕)上的多个初始的标定点时拍摄的眼部图像。在实际应用中，一般采用5点标定法、7点标定法或9点标定法，即初始标定点为5个、7个或9个，标定眼部图像为5幅、7幅或9幅。
因VR头显中环境相对封闭和黑暗，为了将人眼中的瞳孔与虹膜区域分离出来，一般会采用红外光源进行补光，即所述标定眼部图像是在红外光源照射下的眼部图像。具体的，参考图2所示，所述显示设备中设置有高速红外相机11、两个菲涅尔透镜12、多个红外光源13、以及壳体14；高速红外相机11设置于菲涅尔透镜12正下方，相机中心轴线指向人眼区域中心位置，相机采样频率一般为100Hz；多个红外光源13以正多边形的形状分布于菲涅尔透镜12周围，红外光源13的波长一般为850nm，红外光源13可以为眼部提供均匀的补光，利于将瞳孔从虹膜区域分割出来，获得较为清晰的瞳孔图像。
步骤102、获取标定眼部图像的瞳孔中心坐标。
其中，瞳孔中心坐标的获取方式有多种，示例的，可以采用边缘检测、图形拟合、角点检测、质心法等方法中的一种或几种组合来获取，本发明实施例对此不做限定。
需要说明的是，获取的瞳孔中心坐标与目标屏幕上的标定点坐标使用的是同一坐标系，即瞳孔中心坐标示出了瞳孔中心在目标屏幕上的位置。
步骤103、根据多个标定眼部图像的瞳孔中心坐标将目标屏幕分成多个区域，获取每个区域的瞳孔中心与标定点的映射比。
本发明实施例对于目标屏幕的分区方式、分区数量以及不同区域映射比的具体计算方法等均不作限定，本领域技术人员可以根据实际情况进行设定。示例的，可以在保证不存在重叠区域的情况下，利用多个标定眼部图像的瞳孔中心坐标将目标屏幕分成多个三角形区域、四边形区域或不规则区域等。
步骤104、获取目标对象的实时眼部图像。
所述实时眼部图像是目标对象使用显示设备时，在红外光源照射下拍摄的眼部图像。
步骤105、获取实时眼部图像的瞳孔中心坐标。
步骤106、根据实时眼部图像的瞳孔中心坐标在目标屏幕上的位置，获取与实时眼部图像的瞳孔中心坐标对应的映射比。
具体的，由于目标屏幕已经被分成多个区域，因而在获取到实时眼部图像的瞳孔中心坐标后，只需判断实时眼部图像的瞳孔中心坐标在目标屏幕上的位置属于哪一区域，获取该区域的映射比，即为与实时眼部图像的瞳孔中心坐标对应的映射比。
步骤107、获取实时眼部图像的瞳孔中心坐标与对应的映射比的乘积，将该乘积得到的坐标作为实时眼部图像的瞳孔中心坐标对应的实时注视点坐标。
这样一来，相较于现有技术，本发明实施例通过建立不同区域的瞳孔中心与对应标定点之间的映射关系，这样在获取实时的瞳孔中心坐标后，可根据实时瞳孔中心坐标的位置，获取对应的映射比，进而获取对应的实时注视点坐标，此种计算实时注视点坐标的方法由于考虑了瞳孔在眼球不同区域运动的不同情况，瞳孔中心与注视点的映射关系随瞳孔位置的不同而不同，因而提高了注视点定位精度，进而提高了用户体验。
在本发明的另一些实施例中，获取目标眼部图像的瞳孔中心坐标具体包括：对目标眼部图像进行灰度转换；对转换后的目标眼部图像进行二值化处理和开运算处理，并提取处理后的目标眼部图像的瞳孔轮廓；对瞳孔轮廓采用质心法获取瞳孔中心坐标；其中，目标眼部图像为标定眼部图像或实时眼部图像。
为了便于对目标眼部图像进行处理，获取更为准确的瞳孔中心坐标，在对转换后的目标眼部图像进行二值化处理之前，所述方法还包括：对转换后的目标眼部图像进行去噪处理；对转换后的目标眼部图像进行二值化处理和开运算处理具体为：对去噪后的目标眼部图像进行二值化处理和开运算处理。
在本发明的再一些实施例中，如图3所示，获取目标眼部图像的瞳孔中心坐标的方法包括：
步骤301、对目标眼部图像进行灰度转换；其中，目标眼部图像为标定眼部图像或实时眼部图像。
步骤302、对转换后的目标眼部图像进行去噪处理。
所述去噪处理可以是进行高斯滤波处理。
步骤303、对去噪后的目标眼部图像进行二值化处理和开运算处理。
二值化处理时选取的阈值可以为经验值，获得的二值化图像中瞳孔部分灰度值为0，之后对二值化图像采取开运算，去除瞳孔中的白色空洞。
步骤304、提取处理后的目标眼部图像的瞳孔轮廓。
步骤305、对瞳孔轮廓采用质心法获取瞳孔中心坐标。
人眼在注视显示设备的屏幕上非中心区域的某一点时，红外相机采集到的平面图像的瞳孔中心坐标与实际的瞳孔中心注视该点时的坐标存在着一定的误差，这是由于瞳孔并非是在平面上移动，而是在眼球表面这个近似球面上移动，这样就导致根据获取的标定眼部图像或实时眼部图像定位的瞳孔中心坐标存在误差，为了提高瞳孔中心坐标定位的准确性，就需要对获取的瞳孔中心坐标进行修正。
参考图4所示，眼球41上的瞳孔42在相机图像上的位置43与在眼球展开平面上的位置44之间存在差异，因而在对瞳孔中心坐标进行修正时，需要在相机图像平面与眼球表面展开形成的平面之间建立相应的坐标转换关系，将由相机图像获得的瞳孔中心坐标转换到眼球表面展开形成的平面中的瞳孔中心坐标。
参考图5所示，对目标眼部图像(标定眼部图像或实时眼部图像)的瞳孔中心坐标进行修正的方法包括：
步骤501、获取目标对象的眼球半径。
由于人们在13岁后，人眼大小基本不再变化，眼球直径一般为24mm，因此眼球半径r一般为12mm。
步骤502、获取眼球半径与目标眼部图像的瞳孔中心坐标的x轴坐标的乘积、以及眼球半径的平方与目标眼部图像的瞳孔中心坐标的y轴坐标的平方的差值的开方值，并获取该乘积与该开方值的比值，将该比值作为修正后的目标眼部图像的瞳孔中心坐标的x轴坐标；其中，修正后的目标眼部图像的瞳孔中心坐标的x轴坐标与修正前的目标眼部图像的瞳孔中心坐标的x轴坐标的正负一致。
参考图6所示，瞳孔在目标眼部图像中的坐标为(x，y)，在眼球展开形成的平面61上的坐标为(x′，y′)；由相似三角形判定定理可得：则其中x′即为修正后的目标眼部图像的瞳孔中心坐标的x轴坐标；x′正负性与x的正负性一致。
步骤503、获取眼球半径与目标眼部图像的瞳孔中心坐标的y轴坐标的乘积、以及眼球半径的平方与目标眼部图像的瞳孔中心坐标的y轴坐标的平方的差值的开方值，并获取该乘积与该开方值的比值，将该比值作为修正后的目标眼部图像的瞳孔中心坐标的y轴坐标；其中，修正后的目标眼部图像的瞳孔中心坐标的y轴坐标与修正前的目标眼部图像的瞳孔中心坐标的y轴坐标的正负一致。
参考图6所示，由相似三角形判定定理可得：则其中y′即为修正后的目标眼部图像的瞳孔中心坐标的y轴坐标；y′正负性与y的正负性一致。
在本发明的另一些实施例中，根据多个标定眼部图像的瞳孔中心坐标将目标屏幕分成多个区域，获取每个区域的瞳孔中心与标定点的映射比具体包括：多个标定眼部图像的瞳孔中心坐标中包括一个位于中心的中心瞳孔坐标和其余位于中心瞳孔坐标***一周的***瞳孔坐标，以中心瞳孔坐标为端点、经过任意一个***瞳孔坐标的射线将目标屏幕分成多个区域，每个区域中包含一个由中心瞳孔坐标和相邻两个***瞳孔坐标组成的第一三角形；中心瞳孔坐标对应的标定点和相邻两个***瞳孔坐标对应的标定点组成一个第二三角形，获取第二三角形三个边长与对应的第一三角形的三个边长的比值的平均值，将该平均值作为第一三角形所在区域的瞳孔中心与标定点的映射比。
其中，多个***瞳孔坐标可以以中心瞳孔坐标为中心、呈正多边形分布在中心瞳孔坐标***一周。
以7个标定点为例，对于目标屏幕的区域划分和各区域映射比的介绍如下：
如图7所示，显示设备的屏幕中包含七个标定点，分别为A、B、C、D、E、F、O，O位于坐标原点，A、B、C、D、E、F分别位于正六边形的顶点处，七个标定点的坐标分别为(xA，yA)，(xB，yB)，(xC，yC)，(xD，yD)，(xE，yE)，(xF，yF)，(xO，yO)，当瞳孔以A-B-C-D-E-F-O的顺序依次注视这七个标定点时，会得到七幅标定眼部图像，这样可以得到瞳孔中心对应的七个坐标，分别为A(xa，ya)，B(xb，yb)，C(xc，yc)，D(xd，yd)，E(xe，ye)，F(xf，yf)，O(xo，yo)，再将这七个坐标进行修正，得到修正后的七个瞳孔中心坐标分别为A′(x′A，y′A)，B′(x′B，y′B)，C′(x′C，y′C)，D′(x′D，y′D)，E′(x′E，y′E)，F′(x′F，y′F)，O′(x′O，y′O)。修正后的七个瞳孔中心坐标在目标屏幕上的分布如图7所示，以六个顶点分别与原点的连线为间隔将目标屏幕分为六个区域，每个区域的映射比为目标屏幕上的瞳孔中心坐标形成的第一三角形与对应的标定点形成的第二三角形的三条对应边的比值的平均值。具体的，每个第二三角形的一条边与对应的第一三角形的一条边的比值用h表示，则 那么区域①的映射比同理， 至此得到所有区域的映射比。
本发明再一实施例提供一种注视点定位方法，如图8所示，所述方法包括：
步骤801、获取目标对象分别注视多个标定点时的多幅标定眼部图像。
步骤802、获取标定眼部图像的瞳孔中心坐标。
步骤803、对标定眼部图像的瞳孔中心坐标进行修正。
步骤804、根据修正后的多个标定眼部图像的瞳孔中心坐标将目标屏幕分成多个区域，获取每个区域的瞳孔中心与标定点的映射比。
步骤805、获取目标对象的实时眼部图像。
步骤806、获取实时眼部图像的瞳孔中心坐标。
步骤807、对实时眼部图像的瞳孔中心坐标进行修正。
步骤808、根据修正后的实时眼部图像的瞳孔中心坐标在目标屏幕上的位置，获取与实时眼部图像的瞳孔中心坐标对应的映射比。
步骤809、获取修正后的实时眼部图像的瞳孔中心坐标与对应的映射比的乘积，将该乘积得到的坐标作为实时眼部图像的瞳孔中心坐标对应的实时注视点坐标。
假设修正后的实时眼部图像的瞳孔中心坐标为(x′，y′)，则获取该瞳孔中心坐标对应的映射比的具体方法为：若x′>x′O且则该瞳孔中心坐标位于区域②，其对应的映射比为h2，则实时注视点坐标G(x，y)＝h2*(x′，y′)；若x′>x′O且 则该瞳孔中心坐标位于区域③，其对应的映射比为h3，则实时注视点坐标G(x，y)＝h3*(x′，y′)；若x′<x′O且则瞳孔中心坐标位于区域⑤，其对应的映射比为h5，则实时注视点坐标G(x，y)＝h5*(x′，y′)；若x′＜x′O且 则瞳孔中心坐标位于区域⑥，其对应的映射比为h6，则实时注视点坐标G(x，y)＝h6*(x′，y′)；对于剩余情况，若y′>y′O，则瞳孔中心坐标位于区域①，其对应的映射比为h1，则实时注视点坐标G(x，y)＝h1*(x′，y′)；若y′＜y′O，则瞳孔中心坐标位于区域④，其对应的映射比为h4，则实时注视点坐标G(x，y)＝h4*(x′，y′)。
本发明另一实施例提供一种注视点定位装置，如图9所示，所述装置包括：
第一获取单元901，用于获取目标对象分别注视多个标定点时的多幅标定眼部图像。
第二获取单元902，用于获取标定眼部图像的瞳孔中心坐标。
第三获取单元903，用于根据多个标定眼部图像的瞳孔中心坐标将目标屏幕分成多个区域，获取每个区域的瞳孔中心与标定点的映射比。
第一获取单元901还用于获取目标对象的实时眼部图像。
第二获取单元902还用于获取实时眼部图像的瞳孔中心坐标。
第三获取单元903还用于根据实时眼部图像的瞳孔中心坐标在目标屏幕上的位置，获取与实时眼部图像的瞳孔中心坐标对应的映射比。
第四获取单元904，用于获取实时眼部图像的瞳孔中心坐标与对应的映射比的乘积，将乘积得到的坐标作为实时眼部图像的瞳孔中心坐标对应的实时注视点坐标。
进一步的，第三获取单元903具体用于：
多个标定眼部图像的瞳孔中心坐标中包括一个位于中心的中心瞳孔坐标和其余位于中心瞳孔坐标***一周的***瞳孔坐标，以中心瞳孔坐标为端点、经过任意一个***瞳孔坐标的射线将目标屏幕分成多个区域，每个区域中包含一个由中心瞳孔坐标和相邻两个***瞳孔坐标组成的第一三角形。
中心瞳孔坐标对应的标定点和相邻两个***瞳孔坐标对应的标定点组成一个第二三角形，获取第二三角形三个边长与对应的第一三角形的三个边长的比值的平均值，将平均值作为第一三角形所在区域的瞳孔中心与标定点的映射比。
进一步的，多个***瞳孔坐标以中心瞳孔坐标为中心、呈正多边形分布在中心瞳孔坐标***一周。
进一步的，所述装置还包括：修正单元905，用于对目标眼部图像的瞳孔中心坐标进行修正；其中，目标眼部图像为标定眼部图像或实时眼部图像。
进一步的，修正单元905具体用于：获取目标对象的眼球半径；
获取眼球半径与目标眼部图像的瞳孔中心坐标的x轴坐标的乘积、以及眼球半径的平方与目标眼部图像的瞳孔中心坐标的y轴坐标的平方的差值的开方值，并获取乘积与开方值的比值，将比值作为修正后的目标眼部图像的瞳孔中心坐标的x轴坐标；
获取眼球半径与目标眼部图像的瞳孔中心坐标的y轴坐标的乘积、以及眼球半径的平方与目标眼部图像的瞳孔中心坐标的y轴坐标的平方的差值的开方值，并获取乘积与开方值的比值，将比值作为修正后的目标眼部图像的瞳孔中心坐标的y轴坐标；
其中，修正后的目标眼部图像的瞳孔中心坐标的x轴坐标与修正前的目标眼部图像的瞳孔中心坐标的x轴坐标的正负一致；修正后的目标眼部图像的瞳孔中心坐标的y轴坐标与修正前的目标眼部图像的瞳孔中心坐标的y轴坐标的正负一致。
进一步的，第二获取单元902具体用于：对目标眼部图像进行灰度转换；对转换后的目标眼部图像进行二值化处理和开运算处理，并提取处理后的目标眼部图像的瞳孔轮廓；对瞳孔轮廓采用质心法获取瞳孔中心坐标；其中，目标眼部图像为标定眼部图像或实时眼部图像。
进一步的，第二获取单元902具体用于：对转换后的目标眼部图像进行去噪处理；对去噪后的目标眼部图像进行二值化处理和开运算处理。
上述注视点定位装置中各模块的介绍可以参考注视点定位方法中各步骤介绍，在此不再赘述。
本发明再一实施例提供一种显示设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序，以实现如上述任意一种所述的注视点定位方法。
本发明另一实施例提供一种存储介质，其上存储有计算机指令，所述计算机指令被运行时，执行上述任意一项所述的注视点定位方法的一个或多个步骤。
本发明实施例通过建立不同区域的瞳孔中心与对应标定点之间的映射关系，这样在获取实时的瞳孔中心坐标后，可根据实时瞳孔中心坐标的位置，获取对应的映射比，进而获取对应的实时注视点坐标，此种计算实时注视点坐标的方法由于考虑了瞳孔在眼球不同区域运动的不同情况，瞳孔中心与注视点的映射关系随瞳孔位置的不同而不同，因而提高了注视点定位精度，进而提高了用户体验。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (16)

1.一种注视点定位方法，其特征在于，所述方法包括：
获取目标对象分别注视多个标定点时的多幅标定眼部图像；
获取所述标定眼部图像的瞳孔中心坐标；
根据多个所述标定眼部图像的瞳孔中心坐标将目标屏幕分成多个区域，获取每个区域的瞳孔中心与标定点的映射比；
获取目标对象的实时眼部图像；
获取所述实时眼部图像的瞳孔中心坐标；
根据所述实时眼部图像的瞳孔中心坐标在所述目标屏幕上的位置，获取与所述实时眼部图像的瞳孔中心坐标对应的映射比；
获取所述实时眼部图像的瞳孔中心坐标与对应的映射比的乘积，将所述乘积得到的坐标作为所述实时眼部图像的瞳孔中心坐标对应的实时注视点坐标。
2.根据权利要求1所述的注视点定位方法，其特征在于，
所述根据多个所述标定眼部图像的瞳孔中心坐标将目标屏幕分成多个区域，获取每个区域的瞳孔中心与标定点的映射比具体包括：
多个所述标定眼部图像的瞳孔中心坐标中包括一个位于中心的中心瞳孔坐标和其余位于所述中心瞳孔坐标***一周的***瞳孔坐标，以所述中心瞳孔坐标为端点、经过任意一个所述***瞳孔坐标的射线将所述目标屏幕分成多个区域，每个区域中包含一个由所述中心瞳孔坐标和相邻两个所述***瞳孔坐标组成的第一三角形；
所述中心瞳孔坐标对应的标定点和相邻两个所述***瞳孔坐标对应的标定点组成一个第二三角形，获取所述第二三角形三个边长与对应的第一三角形的三个边长的比值的平均值，将所述平均值作为所述第一三角形所在区域的瞳孔中心与标定点的映射比。
3.根据权利要求2所述的注视点定位方法，其特征在于，多个所述***瞳孔坐标以所述中心瞳孔坐标为中心、呈正多边形分布在所述中心瞳孔坐标***一周。
4.根据权利要求1所述的注视点定位方法，其特征在于，在获取目标眼部图像的瞳孔中心坐标之后，所述方法还包括：
对所述目标眼部图像的瞳孔中心坐标进行修正；
其中，所述目标眼部图像为所述标定眼部图像或所述实时眼部图像。
5.根据权利要求4所述的注视点定位方法，其特征在于，所述对所述目标眼部图像的瞳孔中心坐标进行修正具体包括：
获取目标对象的眼球半径；
获取所述眼球半径与所述目标眼部图像的瞳孔中心坐标的x轴坐标的乘积、以及所述眼球半径的平方与所述目标眼部图像的瞳孔中心坐标的y轴坐标的平方的差值的开方值，并获取所述乘积与所述开方值的比值，将所述比值作为修正后的所述目标眼部图像的瞳孔中心坐标的x轴坐标；
获取所述眼球半径与所述目标眼部图像的瞳孔中心坐标的y轴坐标的乘积、以及所述眼球半径的平方与所述目标眼部图像的瞳孔中心坐标的y轴坐标的平方的差值的开方值，并获取所述乘积与所述开方值的比值，将所述比值作为修正后的所述目标眼部图像的瞳孔中心坐标的y轴坐标；
其中，所述修正后的所述目标眼部图像的瞳孔中心坐标的x轴坐标与修正前的所述目标眼部图像的瞳孔中心坐标的x轴坐标的正负一致；所述修正后的所述目标眼部图像的瞳孔中心坐标的y轴坐标与修正前的所述目标眼部图像的瞳孔中心坐标的y轴坐标的正负一致。
6.根据权利要求1所述的注视点定位方法，其特征在于，获取目标眼部图像的瞳孔中心坐标具体包括：
对所述目标眼部图像进行灰度转换；
对转换后的目标眼部图像进行二值化处理和开运算处理，并提取处理后的目标眼部图像的瞳孔轮廓；
对所述瞳孔轮廓采用质心法获取瞳孔中心坐标；
其中，所述目标眼部图像为所述标定眼部图像或所述实时眼部图像。
7.根据权利要求6所述的注视点定位方法，其特征在于，在所述对转换后的目标眼部图像进行二值化处理之前，所述方法还包括：对转换后的目标眼部图像进行去噪处理；
所述对转换后的目标眼部图像进行二值化处理和开运算处理具体为：对去噪后的目标眼部图像进行二值化处理和开运算处理。
8.一种注视点定位装置，其特征在于，所述装置包括：
第一获取单元，用于获取目标对象分别注视多个标定点时的多幅标定眼部图像；
第二获取单元，用于获取所述标定眼部图像的瞳孔中心坐标；
第三获取单元，用于根据多个所述标定眼部图像的瞳孔中心坐标将目标屏幕分成多个区域，获取每个区域的瞳孔中心与标定点的映射比；
所述第一获取单元还用于获取目标对象的实时眼部图像；
所述第二获取单元还用于获取所述实时眼部图像的瞳孔中心坐标；
所述第三获取单元还用于根据所述实时眼部图像的瞳孔中心坐标在所述目标屏幕上的位置，获取与所述实时眼部图像的瞳孔中心坐标对应的映射比；
第四获取单元，用于获取所述实时眼部图像的瞳孔中心坐标与对应的映射比的乘积，将所述乘积得到的坐标作为所述实时眼部图像的瞳孔中心坐标对应的实时注视点坐标。
9.根据权利要求8所述的注视点定位装置，其特征在于，
所述第三获取单元具体用于：
多个所述标定眼部图像的瞳孔中心坐标中包括一个位于中心的中心瞳孔坐标和其余位于所述中心瞳孔坐标***一周的***瞳孔坐标，以所述中心瞳孔坐标为端点、经过任意一个所述***瞳孔坐标的射线将所述目标屏幕分成多个区域，每个区域中包含一个由所述中心瞳孔坐标和相邻两个所述***瞳孔坐标组成的第一三角形；
所述中心瞳孔坐标对应的标定点和相邻两个所述***瞳孔坐标对应的标定点组成一个第二三角形，获取所述第二三角形三个边长与对应的第一三角形的三个边长的比值的平均值，将所述平均值作为所述第一三角形所在区域的瞳孔中心与标定点的映射比。
10.根据权利要求9所述的注视点定位装置，其特征在于，多个所述***瞳孔坐标以所述中心瞳孔坐标为中心、呈正多边形分布在所述中心瞳孔坐标***一周。
11.根据权利要求8所述的注视点定位装置，其特征在于，所述装置还包括：
修正单元，用于对所述目标眼部图像的瞳孔中心坐标进行修正；
其中，所述目标眼部图像为所述标定眼部图像或所述实时眼部图像。
12.根据权利要求11所述的注视点定位装置，其特征在于，所述修正单元具体用于：
获取目标对象的眼球半径；
获取所述眼球半径与所述目标眼部图像的瞳孔中心坐标的x轴坐标的乘积、以及所述眼球半径的平方与所述目标眼部图像的瞳孔中心坐标的y轴坐标的平方的差值的开方值，并获取所述乘积与所述开方值的比值，将所述比值作为修正后的所述目标眼部图像的瞳孔中心坐标的x轴坐标；
获取所述眼球半径与所述目标眼部图像的瞳孔中心坐标的y轴坐标的乘积、以及所述眼球半径的平方与所述目标眼部图像的瞳孔中心坐标的y轴坐标的平方的差值的开方值，并获取所述乘积与所述开方值的比值，将所述比值作为修正后的所述目标眼部图像的瞳孔中心坐标的y轴坐标；
其中，所述修正后的所述目标眼部图像的瞳孔中心坐标的x轴坐标与修正前的所述目标眼部图像的瞳孔中心坐标的x轴坐标的正负一致；所述修正后的所述目标眼部图像的瞳孔中心坐标的y轴坐标与修正前的所述目标眼部图像的瞳孔中心坐标的y轴坐标的正负一致。
13.根据权利要求8所述的注视点定位装置，其特征在于，所述第二获取单元具体用于：
对所述目标眼部图像进行灰度转换；
对转换后的目标眼部图像进行二值化处理和开运算处理，并提取处理后的目标眼部图像的瞳孔轮廓；
对所述瞳孔轮廓采用质心法获取瞳孔中心坐标；
其中，所述目标眼部图像为所述标定眼部图像或所述实时眼部图像。
14.根据权利要求13所述的注视点定位装置，其特征在于，所述第二获取单元具体用于：
对转换后的目标眼部图像进行去噪处理；
对去噪后的目标眼部图像进行二值化处理和开运算处理。
15.一种显示设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至7中任意一项所述的注视点定位方法。
16.一种存储介质，其上存储有计算机指令，其特征在于，所述计算机指令被运行时，执行权利要求1至7中任意一项所述的注视点定位方法的一个或多个步骤。
CN201910002204.1A 2019-01-02 2019-01-02 一种注视点定位方法及定位装置、显示设备和存储介质 Active CN109656373B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910002204.1A CN109656373B (zh) 2019-01-02 2019-01-02 一种注视点定位方法及定位装置、显示设备和存储介质
PCT/CN2019/089627 WO2020140387A1 (en) 2019-01-02 2019-05-31 Method, apparatus, display device and storage medium for positioning gaze point
US16/634,227 US11205070B2 (en) 2019-01-02 2019-05-31 Method, an apparatus, a display device and a storage medium for positioning a gaze point

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910002204.1A CN109656373B (zh) 2019-01-02 2019-01-02 一种注视点定位方法及定位装置、显示设备和存储介质

Publications (2)

Publication Number Publication Date
CN109656373A true CN109656373A (zh) 2019-04-19
CN109656373B CN109656373B (zh) 2020-11-10

Family

ID=66118292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910002204.1A Active CN109656373B (zh) 2019-01-02 2019-01-02 一种注视点定位方法及定位装置、显示设备和存储介质

Country Status (3)

Country Link
US (1) US11205070B2 (zh)
CN (1) CN109656373B (zh)
WO (1) WO2020140387A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263745A (zh) * 2019-06-26 2019-09-20 京东方科技集团股份有限公司 一种人眼瞳孔定位的方法及装置
CN110275608A (zh) * 2019-05-07 2019-09-24 清华大学 人眼视线追踪方法
CN110705504A (zh) * 2019-10-14 2020-01-17 京东方科技集团股份有限公司 视线定位方法、显示装置、电子设备以及存储介质
CN111061373A (zh) * 2019-12-18 2020-04-24 京东方科技集团股份有限公司 一种眼球追踪校准方法、装置及可佩戴式设备
WO2020140387A1 (en) * 2019-01-02 2020-07-09 Boe Technology Group Co., Ltd. Method, apparatus, display device and storage medium for positioning gaze point
CN112051920A (zh) * 2019-06-05 2020-12-08 京东方科技集团股份有限公司 视线落点确定方法和装置
CN112308932A (zh) * 2020-11-04 2021-02-02 中国科学院上海微***与信息技术研究所 一种注视检测方法、装置、设备及存储介质
CN113208558A (zh) * 2021-04-30 2021-08-06 南昌虚拟现实研究院股份有限公司 眼球追踪方法、装置、电子设备及存储介质
CN113870639A (zh) * 2021-09-13 2021-12-31 上海市精神卫生中心（上海市心理咨询培训中心） 一种基于虚拟现实的训练评估方法及***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102520796A (zh) * 2011-12-08 2012-06-27 华南理工大学 一种基于逐步回归分析映射模型的视线跟踪方法
CN103176607A (zh) * 2013-04-16 2013-06-26 重庆市科学技术研究院 一种眼控鼠标实现方法及***
CN103514462A (zh) * 2012-06-27 2014-01-15 株式会社读卖广告社 注视线测定方法、注视线测定装置、眼球回旋点测定方法及着眼点测定装置
CN103809737A (zh) * 2012-11-13 2014-05-21 华为技术有限公司 一种人机交互方法及装置
CN105812778A (zh) * 2015-01-21 2016-07-27 成都理想境界科技有限公司 双目ar头戴显示设备及其信息显示方法
CN106056092A (zh) * 2016-06-08 2016-10-26 华南理工大学 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
US9957650B1 (en) * 2015-06-14 2018-05-01 Tammy L. Roussell Tactile sewing system and methods of use

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6598971B2 (en) * 2001-11-08 2003-07-29 Lc Technologies, Inc. Method and system for accommodating pupil non-concentricity in eyetracker systems
US8970452B2 (en) 2011-11-02 2015-03-03 Google Inc. Imaging method
US9075453B2 (en) * 2011-12-29 2015-07-07 Khalifa University of Science, Technology & Research (KUSTAR) Human eye controlled computer mouse interface
KR101613091B1 (ko) 2014-04-24 2016-04-20 한국과학기술연구원 시선 추적 장치 및 방법
CN105138965B (zh) 2015-07-31 2018-06-19 东南大学 一种近眼式视线跟踪方法及其***
CN109863502A (zh) 2016-11-10 2019-06-07 纽诺创科技术公司 将图像拍摄设备与人类用户相关联以分析认知能力的方法和***
EP3407255A1 (en) * 2017-05-22 2018-11-28 HTC Corporation Eye tracking method, electronic device, and non-transitory computer readable storage medium
CN109656373B (zh) 2019-01-02 2020-11-10 京东方科技集团股份有限公司 一种注视点定位方法及定位装置、显示设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102520796A (zh) * 2011-12-08 2012-06-27 华南理工大学 一种基于逐步回归分析映射模型的视线跟踪方法
CN103514462A (zh) * 2012-06-27 2014-01-15 株式会社读卖广告社 注视线测定方法、注视线测定装置、眼球回旋点测定方法及着眼点测定装置
CN103809737A (zh) * 2012-11-13 2014-05-21 华为技术有限公司 一种人机交互方法及装置
CN103176607A (zh) * 2013-04-16 2013-06-26 重庆市科学技术研究院 一种眼控鼠标实现方法及***
CN105812778A (zh) * 2015-01-21 2016-07-27 成都理想境界科技有限公司 双目ar头戴显示设备及其信息显示方法
US9957650B1 (en) * 2015-06-14 2018-05-01 Tammy L. Roussell Tactile sewing system and methods of use
CN106056092A (zh) * 2016-06-08 2016-10-26 华南理工大学 基于虹膜与瞳孔的用于头戴式设备的视线估计方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11205070B2 (en) 2019-01-02 2021-12-21 Beijing Boe Optoelectronics Technology Co., Ltd. Method, an apparatus, a display device and a storage medium for positioning a gaze point
WO2020140387A1 (en) * 2019-01-02 2020-07-09 Boe Technology Group Co., Ltd. Method, apparatus, display device and storage medium for positioning gaze point
CN110275608A (zh) * 2019-05-07 2019-09-24 清华大学 人眼视线追踪方法
CN112051920A (zh) * 2019-06-05 2020-12-08 京东方科技集团股份有限公司 视线落点确定方法和装置
CN112051920B (zh) * 2019-06-05 2023-12-19 京东方科技集团股份有限公司 视线落点确定方法和装置
CN110263745B (zh) * 2019-06-26 2021-09-07 京东方科技集团股份有限公司 一种人眼瞳孔定位的方法及装置
CN110263745A (zh) * 2019-06-26 2019-09-20 京东方科技集团股份有限公司 一种人眼瞳孔定位的方法及装置
CN110705504B (zh) * 2019-10-14 2022-07-08 京东方科技集团股份有限公司 视线定位方法、显示装置、电子设备以及存储介质
CN110705504A (zh) * 2019-10-14 2020-01-17 京东方科技集团股份有限公司 视线定位方法、显示装置、电子设备以及存储介质
CN111061373A (zh) * 2019-12-18 2020-04-24 京东方科技集团股份有限公司 一种眼球追踪校准方法、装置及可佩戴式设备
CN111061373B (zh) * 2019-12-18 2024-04-16 京东方科技集团股份有限公司 一种眼球追踪校准方法、装置及可佩戴式设备
CN112308932A (zh) * 2020-11-04 2021-02-02 中国科学院上海微***与信息技术研究所 一种注视检测方法、装置、设备及存储介质
CN112308932B (zh) * 2020-11-04 2023-12-08 中国科学院上海微***与信息技术研究所 一种注视检测方法、装置、设备及存储介质
CN113208558A (zh) * 2021-04-30 2021-08-06 南昌虚拟现实研究院股份有限公司 眼球追踪方法、装置、电子设备及存储介质
CN113208558B (zh) * 2021-04-30 2022-10-21 南昌虚拟现实研究院股份有限公司 眼球追踪方法、装置、电子设备及存储介质
CN113870639A (zh) * 2021-09-13 2021-12-31 上海市精神卫生中心（上海市心理咨询培训中心） 一种基于虚拟现实的训练评估方法及***

Also Published As

Publication number Publication date
US11205070B2 (en) 2021-12-21
CN109656373B (zh) 2020-11-10
US20210073509A1 (en) 2021-03-11
WO2020140387A1 (en) 2020-07-09

Similar Documents

Publication Publication Date Title
CN109656373A (zh) 一种注视点定位方法及定位装置、显示设备和存储介质
US9983709B2 (en) Eye tracking using structured light
CN106959759B (zh) 一种数据处理方法及装置
Lai et al. Hybrid method for 3-D gaze tracking using glint and contour features
US20170123488A1 (en) Tracking of wearer&#39;s eyes relative to wearable device
Nitschke et al. Display-camera calibration using eye reflections and geometry constraints
CN106056092A (zh) 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
CN109766007A (zh) 一种显示设备的注视点补偿方法及补偿装置、显示设备
EP4383193A1 (en) Line-of-sight direction tracking method and apparatus
CN101339606A (zh) 一种人脸关键器官外轮廓特征点定位与跟踪的方法及装置
US10838490B2 (en) Translating combinations of user gaze direction and predetermined facial gestures into user input instructions for near-eye-display (NED) devices
US10852823B2 (en) User-specific eye tracking calibration for near-eye-display (NED) devices
US11825064B2 (en) Light field display method and system, storage medium and display panel
CN107145224B (zh) 基于三维球面泰勒展开的人眼视线跟踪方法和装置
CN109947253A (zh) 眼球追踪的模型建立方法、眼球追踪方法、设备、介质
CN110770636A (zh) 具有矫正视力缺陷、增强视力和感知能力的可穿戴图像处理和控制***
CN105593896B (zh) 图像处理装置、图像显示装置、图像处理方法
CN109885169A (zh) 基于三维眼球模型的眼球参数标定和视线方向跟踪方法
US20220365342A1 (en) Eyeball Tracking System and Method based on Light Field Sensing
CN108235778A (zh) 基于云端计算的标定方法、装置、电子设备和计算机程序产品
EP4206979A1 (en) Virtual reality system foveated rendering method and system based on single eyeball tracking
CN109308472A (zh) 一种基于虹膜投影匹配函数的三维视线估计方法
Nitschke Image-based eye pose and reflection analysis for advanced interaction techniques and scene understanding
CN109917908A (zh) 一种ar眼镜的图像获取方法及***
El Hafi et al. Model-based approach for gaze estimation from corneal imaging using a single camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant