CN112926523B - 基于虚拟现实的眼球追踪方法、*** - Google Patents

基于虚拟现实的眼球追踪方法、*** Download PDF

Info

Publication number
CN112926523B
CN112926523B CN202110340595.5A CN202110340595A CN112926523B CN 112926523 B CN112926523 B CN 112926523B CN 202110340595 A CN202110340595 A CN 202110340595A CN 112926523 B CN112926523 B CN 112926523B
Authority
CN
China
Prior art keywords
tracking
eye
infrared light
light source
eyes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110340595.5A
Other languages
English (en)
Other versions
CN112926523A (zh
Inventor
吴涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xiaoniao Kankan Technology Co Ltd
Original Assignee
Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xiaoniao Kankan Technology Co Ltd filed Critical Qingdao Xiaoniao Kankan Technology Co Ltd
Priority to CN202110340595.5A priority Critical patent/CN112926523B/zh
Publication of CN112926523A publication Critical patent/CN112926523A/zh
Priority to PCT/CN2021/118285 priority patent/WO2022205789A1/zh
Application granted granted Critical
Publication of CN112926523B publication Critical patent/CN112926523B/zh
Priority to US17/878,023 priority patent/US11640201B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明提供一种基于虚拟现实的眼球追踪方法、***首先通过显示器向用户双眼呈现眼球校准数据，再通过眼球校准数据获取用户的双眼瞳距；进而通过左追踪相机拍摄点亮的左红外光源的反射红外光线，通过右追踪相机拍摄点亮的右红外光源的反射红外光线，如此得以在每一特定帧中形成单眼的追踪数据，并根据双眼瞳距与单眼追踪数据计算出在特定帧中另一单眼的追踪数据；从而将单眼的追踪数据与另一单眼的追踪数据按特定帧的时间顺序排列形成双眼的追踪数据以完成眼球追踪，由于左红外光源与右红外光源在同一特定帧中仅能点亮一个故不存在相互干扰的情况，能够解决双眼球追踪中的光源发出的光线容易相互干扰、计算结果误差大的问题。

Description

基于虚拟现实的眼球追踪方法、***
技术领域
本发明涉及虚拟现实技术领域，更为具体地，涉及一种基于虚拟现实的眼球追踪方法、***。
背景技术
由于科技的进步，市场需求的多元化发展，虚拟现实***正变得越来越普遍，应用在许多领域，如电脑游戏、健康和安全、工业和教育培训。举几个例子，混合虚拟现实***正在被整合到移动通讯设备、游戏机、个人电脑、电影院、主题公园、大学实验室、学生教室、医院锻炼健身室等生活各个角落。
一般而言，虚拟现实是一种在呈现给用户之前以某种方式进行调整的现实形式，可能包括虚拟现实(VR)、增强现实(AR)、混合现实(MR)、或某种组合和/或衍生组合。
典型的虚拟现实***包括一个或多个用于向用户呈现和显示内容的设备。例如，一种虚拟现实***可以包含由用户佩戴并配置为向用户输出虚拟现实内容的头戴显示器(HMD)。目前比较流行的是一体机配置的虚拟现实***，即移动计算处理单元，图像图形渲染器等各种硬件设备都集成在一体机设备中。由于目前虚拟现实一体机设备在许多领域场景下应用和普及，有些场景下对虚拟现实一体机设备呈现的渲染内容的图像清晰度等质量参数要求比较高，对虚拟现实一体机设备的移动端的处理能力和渲染能力带来了不小的挑战。
现有的眼球追踪技术主要是通过在虚拟现实一体机屏幕的左，右眼位置上分别安装两个眼球追踪模块，并且在两个眼球追踪模块中均采用相同的光源，导致在标定或者使用时，两个眼球追踪模块中的光源发出的光线容易会相互干扰，特别是佩戴近视眼镜的用户，使其计算结果的误差增大，影响眼球追踪的位置精度。
因此，亟需一种能够有效避免在标定或者使用时，两个眼球追踪模块光源容易相互干扰的问题，提高追踪精度和稳定性的基于虚拟现实的眼球追踪方法、***。
发明内容
鉴于上述问题，本发明的目的是提供一种基于虚拟现实的眼球追踪方法、***，以解决虚拟现实一体机屏幕的左，右眼位置上分别安装两个眼球追踪模块，并且在两个眼球追踪模块中均各自布置有相同的光源，导致在标定或者使用时，两个眼球追踪模块中的光源发出的光线容易会相互干扰，特别是佩戴近视眼镜的用户，使其计算结果的误差增大，影响眼球追踪的位置精度的问题。
本发明提供的一种基于虚拟现实的眼球追踪方法，包括：
通过显示器向用户双眼呈现眼球校准数据；
通过所述眼球校准数据获取用户的双眼瞳距；
通过左追踪相机拍摄点亮的左红外光源的反射红外光线，以及，通过右追踪相机拍摄点亮的右红外光源的反射红外光线，以在每一特定帧中形成单眼的追踪数据，并根据所述双眼瞳距与所述单眼追踪数据计算出在所述特定帧中另一单眼的追踪数据；其中，所述左红外光源与所述右红外光源在同一特定帧中仅能点亮一个；
将单眼的追踪数据与另一单眼的追踪数据按所述特定帧的时间顺序排列形成双眼的追踪数据以完成眼球追踪。
优选地，通过所述眼球校准数据获取用户的双眼瞳距的过程，包括：
通过摄像头捕捉用户根据所述校准数据调整双眼的动作以获取用户校准图像；
对所述用户校准图像进行定位剖析获取用户双眼质心之间的距离以生成双眼瞳距。
优选地，通过所述眼球校准数据获取用户的双眼瞳距的过程，包括：
通过所述左追踪相机拍摄用户根据所述眼球校准数据调整左眼的动作形成左眼校准数据；通过所述右追踪相机拍摄用户根据所述眼球校准数据调整右眼的动作形成右眼校准数据；
根据所述左追踪相机与所述右追踪相机的相对位置关系对所述左眼校准数据和所述右眼校准数据进行拟合处理以获取用户双眼质心之间的距离生成双眼瞳距。
优选地，通过左追踪相机拍摄点亮的左红外光源的反射红外光线，以及，通过右追踪相机拍摄点亮的右红外光源的反射红外光线，以在每一特定帧中形成单眼的追踪数据的过程，包括：
使所述左红外光源与所述右红外光源分别向用户的左眼、右眼发射红外光线，使所述红外光线在用户左眼、右眼中形成反射红外光线；
按照特定帧次依次捕捉所述反射红外光线并通过计算机视觉技术根据所述反射红外光线的相对位置以在每一特定帧中形成单眼的追踪数据。
优选地，所述左红外光源与所述右红外光源按照所述特定帧的奇偶帧次数依次交替点亮。
本发明还提供一种基于虚拟现实的眼球追踪***，用于实现前述的基于虚拟现实的眼球追踪方法，包括设置在虚拟现实一体机中的显示器、内置在所述虚拟现实一体机中的处理器、单眼追踪模块和红外光源，其中，所述处理器包括瞳距获取模块和追踪计算模块；所述单眼追踪模块包括左追踪相机和右追踪相机；所述红外光源包括左红外光源和右红外光源；
所述显示器用于向用户双眼呈现眼球校准数据；
所述瞳距获取模块用于获取用户的双眼瞳距；
所述左追踪相机用于拍摄点亮的左红外光源的反射红外光线，所述右追踪相机用于拍摄点亮的右红外光源的反射红外光线，以在每一特定帧中形成单眼的追踪数据；其中，所述左红外光源与所述右红外光源在同一特定帧中仅能点亮一个；
所述追踪计算模块用于根据所述双眼瞳距与所述单眼追踪数据计算出在所述特定帧中另一单眼的追踪数据，还用于将单眼的追踪数据与另一单眼的追踪数据按所述特定帧的时间顺序排列形成双眼的追踪数据以完成眼球追踪。
优选地，所述左追踪相机与所述右追踪相机内置在所述虚拟现实一体机中与用户的左眼、右眼相对应的位置；
所述左红外光源、所述右红外光源分别设置在所述左追踪相机与所述右追踪相机的四周。
优选地，所述左追踪相机还用于拍摄用户根据所述眼球校准数据调整左眼的动作形成左眼校准数据，所述右追踪相机还用于拍摄用户根据所述眼球校准数据调整右眼的动作形成右眼校准数据，以使所述瞳距获取模块用于获取所述左眼校准数据和所述右眼校准数据，根据所述左追踪相机与所述右追踪相机的相对位置关系对所述左眼校准数据和所述右眼校准数据进行拟合处理以获取用户双眼质心之间的距离生成双眼瞳距。
优选地，还包括摄像头，
所述摄像头用于捕捉用户根据所述校准数据调整双眼的动作以获取用户校准图像，以使所述瞳距获取模块对所述用户校准图像进行定位剖析获取用户双眼质心之间的距离以生成双眼瞳距。
优选地，所述左追踪相机与所述右追踪相机的拍摄帧率为60Hz。
从上面的技术方案可知，本发明提供的基于虚拟现实的眼球追踪方法、***首先通过显示器向用户双眼呈现眼球校准数据，再通过眼球校准数据获取用户的双眼瞳距；进而通过左追踪相机拍摄点亮的左红外光源的反射红外光线，通过右追踪相机拍摄点亮的右红外光源的反射红外光线，如此得以在每一特定帧中形成单眼的追踪数据，并根据双眼瞳距与单眼追踪数据计算出在特定帧中另一单眼的追踪数据；其中，左红外光源与右红外光源在同一特定帧中仅能点亮一个；从而将单眼的追踪数据与另一单眼的追踪数据按特定帧的时间顺序排列形成双眼的追踪数据以完成眼球追踪，由于左红外光源与右红外光源在同一特定帧中仅能点亮一个故不存在相互干扰的情况，能够解决双眼球追踪中的光源发出的光线容易相互干扰、计算结果误差大，影响眼球追踪的位置精度的问题。
附图说明
通过参考以下结合附图的说明书内容，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
图1为根据本发明实施例的基于虚拟现实的眼球追踪方法的流程图；
图2为根据本发明实施例的基于虚拟现实的眼球追踪***的示意图。
具体实施方式
虚拟现实一体机屏幕的左，右眼位置上分别安装两个眼球追踪模块，并且在两个眼球追踪模块中各自布置有相同的光源，导致在标定或者使用时，两个眼球追踪模块中的光源发出的光线容易会相互干扰，特别是佩戴近视眼镜的用户，使其计算结果的误差增大，影响眼球追踪的位置精度。
针对上述问题，本发明提供一种基于虚拟现实的眼球追踪方法、***，以下将结合附图对本发明的具体实施例进行详细描述。
为了说明本发明提供的基于虚拟现实的眼球追踪方法、***，图1对本发明实施例的基于虚拟现实的眼球追踪方法进行了示例性标示；图2对本发明实施例的基于虚拟现实的眼球追踪***进行了示例性标示。
以下示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术和设备可能不作详细讨论，但在适当情况下，所述技术和设备应当被视为说明书的一部分。
如图1所示，本发明提供的本发明实施例的基于虚拟现实的眼球追踪方法，包括：
S110：通过显示器向用户双眼呈现眼球校准数据；
S120：通过眼球校准数据获取用户的双眼瞳距；
S130：通过左追踪相机拍摄点亮的左红外光源的反射红外光线，以及，通过右追踪相机拍摄点亮的右红外光源的反射红外光线，以在每一特定帧中形成单眼的追踪数据，并根据双眼瞳距与单眼追踪数据计算出在特定帧中另一单眼的追踪数据；其中，该左红外光源与右红外光源在同一特定帧中仅能点亮一个；
S140：将单眼的追踪数据与另一单眼的追踪数据按特定帧的时间顺序排列形成双眼的追踪数据以完成眼球追踪。
如图1所示，在步骤S120中通过眼球校准数据获取用户的双眼瞳距的过程，可以包括：
S1-121：通过摄像头捕捉用户根据校准数据调整双眼的动作以获取用户校准图像；
S1-122：对用户校准图像进行定位剖析获取用户双眼质心之间的距离以生成双眼瞳距。
如图1所示，在步骤S120中通过眼球校准数据获取用户的双眼瞳距的过程，还可以包括：
S2-121：通过左追踪相机拍摄用户根据眼球校准数据调整左眼的动作形成左眼校准数据；通过右追踪相机拍摄用户根据眼球校准数据调整右眼的动作形成右眼校准数据；
S2-122：根据左追踪相机与右追踪相机的相对位置关系对左眼校准数据和右眼校准数据进行拟合处理以获取用户双眼质心之间的距离生成双眼瞳距。
如图1所示，在步骤S130中，通过左追踪相机拍摄点亮的左红外光源的反射红外光线，以及，通过右追踪相机拍摄点亮的右红外光源的反射红外光线，以在每一特定帧中形成单眼的追踪数据的过程，包括：
S131：使左红外光源与右红外光源分别向用户的左眼、右眼发射红外光线，使红外光线在用户左眼、右眼中形成反射红外光线；
S132：按照特定帧次依次捕捉反射红外光线并通过计算机视觉技术根据反射红外光线的相对位置以在每一特定帧中形成单眼的追踪数据。
如图1所示的实施例，步骤S130为通过左追踪相机拍摄点亮的左红外光源的反射红外光线，以及，通过右追踪相机拍摄点亮的右红外光源的反射红外光线，以在每一特定帧中形成单眼的追踪数据，并根据双眼瞳距与单眼追踪数据计算出在特定帧中另一单眼的追踪数据；其中，左红外光源与右红外光源在同一特定帧中仅能点亮一个；具体的，在整个步骤S130的全过程中可以始终只有左红外光源点亮，也可以只有右红外光源点亮，还可以左红外光源、右红外光源交错随机点亮，在本实施例中左红外光源与右红外光源按照特定帧的奇偶帧次数依次交替点亮，在此以左红外光源先亮为例说明，即第一帧左红外光源先亮，第二帧右红外光源亮，换句话说在本实施例中为奇数次的特定帧中左红外光源亮，为偶数次的特定帧中右红外光源亮，在一个红外光源亮的时候另一个红外光源必须为熄灭状态，具体的，当左红外光源点亮时左追踪相机拍摄用户左眼球中的反射红外光线以获取左眼追踪数据，此时右红外光源为熄灭状态，与之对应的右追踪相机可以拍摄也可以不拍摄，即使拍摄了，由于此时右红外光源为熄灭状态，故拍摄的数据也不会清晰因此即使与左追踪相机同步拍摄其数据也无参考作用；但在该特定帧(本实施例的奇数帧)中虽未拍摄到右红外光源的反射红外光线，但根据步骤S120获取的双眼瞳距与单眼追踪数据(本实施例中的左眼追踪数据)计算出在特定帧中另一单眼(本实施例中奇数帧右眼)的追踪数据，从而获取该特定帧中左、右眼双眼的追踪数据。
如图1所示，步骤S140为将单眼的追踪数据与另一单眼的追踪数据按特定帧的时间顺序排列形成双眼的追踪数据以完成眼球追踪，当步骤S130获取特定帧中左、右眼双眼的追踪数据之后，将左眼的追踪数据与右眼的追踪数据按照第一帧、第二帧、第三帧的顺序依次排列以形成双眼的追踪数据完成眼球追踪。
如上所述，本发明提供的基于虚拟现实的眼球追踪方法首先通过显示器向用户双眼呈现眼球校准数据，再通过眼球校准数据获取用户的双眼瞳距；进而通过左追踪相机拍摄点亮的左红外光源的反射红外光线，通过右追踪相机拍摄点亮的右红外光源的反射红外光线，如此得以在每一特定帧中形成单眼的追踪数据，并根据双眼瞳距与单眼追踪数据计算出在特定帧中另一单眼的追踪数据；其中，左红外光源与右红外光源在同一特定帧中仅能点亮一个；从而将单眼的追踪数据与另一单眼的追踪数据按特定帧的时间顺序排列形成双眼的追踪数据以完成眼球追踪，由于左红外光源与右红外光源在同一特定帧中仅能点亮一个故不存在相互干扰的情况，能够解决双眼球追踪中的光源发出的光线容易相互干扰、计算结果误差大，影响眼球追踪的位置精度的问题。
如图2所示，本发明还提供一种基于虚拟现实的眼球追踪100，用于实现前述的基于虚拟现实的眼球追踪方法，其包括设置在虚拟现实一体机中的显示器110、内置在虚拟现实一体机中的处理器120、单眼追踪模块130和红外光源140，其中，处理器120包括瞳距获取模块121和追踪计算模块122；该单眼追踪模块130包括左追踪相机131和右追踪相机132；该红外光源140包括左红外光源141和右红外光源142；
该显示器110用于向用户双眼呈现眼球校准数据；
该瞳距获取模块121用于获取用户的双眼瞳距；
该左追踪相机131用于拍摄点亮的左红外光源141的反射红外光线，右追踪相机132用于拍摄点亮的右红外光源142的反射红外光线以在每一特定帧中形成单眼的追踪数据；其中，该左红外光源141与该右红外光源142在同一特定帧中仅能点亮一个；
该追踪计算模块122用于根据双眼瞳距与单眼追踪数据计算出在特定帧中另一单眼的追踪数据，还用于将单眼的追踪数据与另一单眼的追踪数据按特定帧的时间顺序排列形成双眼的追踪数据以完成眼球追踪。
如图2所示的实施例，该左追踪相机131与右追踪相机132的位置不作具体限制，在本实施例中，该左追踪相机131与该右追踪相机132内置在虚拟现实一体机中与用户的左眼、右眼相对应的位置；该左红外光源141、该右红外光源142分别设置在左追踪相机131与该右追踪相机132的四周；
在一个具体实施例中，该左追踪相机131还用于拍摄用户根据眼球校准数据调整左眼的动作形成左眼校准数据，该右追踪相机132还用于拍摄用户根据眼球校准数据调整右眼的动作形成右眼校准数据，以使该瞳距获取模块121用于获取左眼校准数据和右眼校准数据，根据左追踪相机与右追踪相机的相对位置关系对左眼校准数据和右眼校准数据进行拟合处理以获取用户双眼质心之间的距离生成双眼瞳距。
在另一具体实施例中，如图2所示的基于虚拟现实的眼球追踪***还包括摄像头(图中未示出)，该摄像头用于捕捉用户根据校准数据调整双眼的动作以获取用户校准图像，以使瞳距获取模块121对用户校准图像进行定位剖析获取用户双眼质心之间的距离以生成双眼瞳距，进而根据双眼瞳距与单眼追踪数据计算出在特定帧中另一单眼的追踪数据完成眼球追踪。
通过上述实施方式可以看出，本发明提供的，基于虚拟现实的眼球追踪方法、***首先通过显示器向用户双眼呈现眼球校准数据，再通过眼球校准数据获取用户的双眼瞳距；进而通过左追踪相机拍摄点亮的左红外光源的反射红外光线，通过右追踪相机拍摄点亮的右红外光源的反射红外光线，如此得以在每一特定帧中形成单眼的追踪数据，并根据双眼瞳距与单眼追踪数据计算出在特定帧中另一单眼的追踪数据；其中，左红外光源与右红外光源在同一特定帧中仅能点亮一个；从而将单眼的追踪数据与另一单眼的追踪数据按特定帧的时间顺序排列形成双眼的追踪数据以完成眼球追踪，由于左红外光源与右红外光源在同一特定帧中仅能点亮一个故不存在相互干扰的情况，能够解决双眼球追踪中的光源发出的光线容易相互干扰、计算结果误差大，影响眼球追踪的位置精度的问题。
如上参照附图以示例的方式描述了根据本发明提出的基于虚拟现实的眼球追踪方法、***。但是，本领域技术人员应当理解，对于上述本发明所提出的基于虚拟现实的眼球追踪方法、***，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (10)

1.一种基于虚拟现实的眼球追踪方法，其特征在于，包括：
通过显示器向用户双眼呈现眼球校准数据；
通过所述眼球校准数据获取用户的双眼瞳距；
通过左追踪相机拍摄点亮的左红外光源的反射红外光线，以及，通过右追踪相机拍摄点亮的右红外光源的反射红外光线，以在每一特定帧中形成单眼的追踪数据，并根据所述双眼瞳距与所述单眼追踪数据计算出在所述特定帧中另一单眼的追踪数据；其中，所述左红外光源与所述右红外光源在同一特定帧中仅能点亮一个；
将单眼的追踪数据与另一单眼的追踪数据按所述特定帧的时间顺序排列形成双眼的追踪数据以完成眼球追踪。
2.如权利要求1所述的基于虚拟现实的眼球追踪方法，其特征在于，通过所述眼球校准数据获取用户的双眼瞳距的过程，包括：
通过摄像头捕捉用户根据所述校准数据调整双眼的动作以获取用户校准图像；
对所述用户校准图像进行定位剖析获取用户双眼质心之间的距离以生成双眼瞳距。
3.如权利要求1所述的基于虚拟现实的眼球追踪方法，其特征在于，通过所述眼球校准数据获取用户的双眼瞳距的过程，包括：
通过所述左追踪相机拍摄用户根据所述眼球校准数据调整左眼的动作形成左眼校准数据；通过所述右追踪相机拍摄用户根据所述眼球校准数据调整右眼的动作形成右眼校准数据；
根据所述左追踪相机与所述右追踪相机的相对位置关系对所述左眼校准数据和所述右眼校准数据进行拟合处理以获取用户双眼质心之间的距离生成双眼瞳距。
4.如权利要求1所述的基于虚拟现实的眼球追踪方法，其特征在于，通过左追踪相机拍摄点亮的左红外光源的反射红外光线，以及，通过右追踪相机拍摄点亮的右红外光源的反射红外光线，以在每一特定帧中形成单眼的追踪数据的过程，包括：
使所述左红外光源与所述右红外光源分别向用户的左眼、右眼发射红外光线，使所述红外光线在用户左眼、右眼中形成反射红外光线；
按照特定帧次依次捕捉所述反射红外光线并通过计算机视觉技术根据所述反射红外光线的相对位置以在每一特定帧中形成单眼的追踪数据。
5.如权利要求4所述的基于虚拟现实的眼球追踪方法，其特征在于，
所述左红外光源与所述右红外光源按照所述特定帧的奇偶帧次数依次交替点亮。
6.一种基于虚拟现实的眼球追踪***，其特征在于，用于实现如权利要求1-5任一项所述的基于虚拟现实的眼球追踪方法，包括设置在虚拟现实一体机中的显示器、内置在所述虚拟现实一体机中的处理器、单眼追踪模块和红外光源，其中，所述处理器包括瞳距获取模块和追踪计算模块；所述单眼追踪模块包括左追踪相机和右追踪相机；所述红外光源包括左红外光源和右红外光源；
所述显示器用于向用户双眼呈现眼球校准数据；
所述瞳距获取模块用于获取用户的双眼瞳距；
所述左追踪相机用于拍摄点亮的左红外光源的反射红外光线，所述右追踪相机用于拍摄点亮的右红外光源的反射红外光线，以在每一特定帧中形成单眼的追踪数据；其中，所述左红外光源与所述右红外光源在同一特定帧中仅能点亮一个；
所述追踪计算模块用于根据所述双眼瞳距与所述单眼追踪数据计算出在所述特定帧中另一单眼的追踪数据，还用于将单眼的追踪数据与另一单眼的追踪数据按所述特定帧的时间顺序排列形成双眼的追踪数据以完成眼球追踪。
7.如权利要求6所述的基于虚拟现实的眼球追踪***，其特征在于，
所述左追踪相机与所述右追踪相机内置在所述虚拟现实一体机中与用户的左眼、右眼相对应的位置；
所述左红外光源、所述右红外光源分别设置在所述左追踪相机与所述右追踪相机的四周。
8.如权利要求7所述的基于虚拟现实的眼球追踪***，其特征在于，
所述左追踪相机还用于拍摄用户根据所述眼球校准数据调整左眼的动作形成左眼校准数据，所述右追踪相机还用于拍摄用户根据所述眼球校准数据调整右眼的动作形成右眼校准数据，以使所述瞳距获取模块用于获取所述左眼校准数据和所述右眼校准数据，根据所述左追踪相机与所述右追踪相机的相对位置关系对所述左眼校准数据和所述右眼校准数据进行拟合处理以获取用户双眼质心之间的距离生成双眼瞳距。
9.如权利要求7所述的基于虚拟现实的眼球追踪***，其特征在于，还包括摄像头，
所述摄像头用于捕捉用户根据所述校准数据调整双眼的动作以获取用户校准图像，以使所述瞳距获取模块对所述用户校准图像进行定位剖析获取用户双眼质心之间的距离以生成双眼瞳距。
10.如权利要求7所述的基于虚拟现实的眼球追踪***，其特征在于，
所述左追踪相机与所述右追踪相机的拍摄帧率为60Hz。
CN202110340595.5A 2021-03-30 2021-03-30 基于虚拟现实的眼球追踪方法、*** Active CN112926523B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110340595.5A CN112926523B (zh) 2021-03-30 2021-03-30 基于虚拟现实的眼球追踪方法、***
PCT/CN2021/118285 WO2022205789A1 (zh) 2021-03-30 2021-09-14 基于虚拟现实的眼球追踪方法、***
US17/878,023 US11640201B2 (en) 2021-03-30 2022-07-31 Virtual reality-based eyeball tracking method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110340595.5A CN112926523B (zh) 2021-03-30 2021-03-30 基于虚拟现实的眼球追踪方法、***

Publications (2)

Publication Number Publication Date
CN112926523A CN112926523A (zh) 2021-06-08
CN112926523B true CN112926523B (zh) 2022-07-26

Family

ID=76176602

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110340595.5A Active CN112926523B (zh) 2021-03-30 2021-03-30 基于虚拟现实的眼球追踪方法、***

Country Status (3)

Country Link
US (1) US11640201B2 (zh)
CN (1) CN112926523B (zh)
WO (1) WO2022205789A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112416125A (zh) * 2020-11-17 2021-02-26 青岛小鸟看看科技有限公司 Vr头戴式一体机
CN112926523B (zh) * 2021-03-30 2022-07-26 青岛小鸟看看科技有限公司 基于虚拟现实的眼球追踪方法、***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170034681A (ko) * 2015-09-21 2017-03-29 현대자동차주식회사 시선 추적 장치 및 방법
CN106659541A (zh) * 2014-03-19 2017-05-10 直观外科手术操作公司 集成眼球凝视跟踪用于立体观看器的医疗装置、***和方法
EP3215914A1 (en) * 2014-11-06 2017-09-13 INTEL Corporation Improved calibration for eye tracking systems
CN108351514A (zh) * 2015-11-02 2018-07-31 欧库勒斯虚拟现实有限责任公司 使用结构光的眼睛追踪
CN109542240A (zh) * 2019-02-01 2019-03-29 京东方科技集团股份有限公司 眼球追踪装置及追踪方法
CN110502100A (zh) * 2019-05-29 2019-11-26 中国人民解放军军事科学院军事医学研究院 基于眼动跟踪的虚拟现实交互方法及装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2011235567B2 (en) 2010-04-01 2015-02-05 Enermotion Inc. A system and method for storing thermal energy as auxiliary power in a vehicle
WO2013176265A1 (ja) * 2012-05-25 2013-11-28 国立大学法人静岡大学 瞳孔検出方法、角膜反射検出方法、顔姿勢検出方法及び瞳孔追尾方法
US9361519B2 (en) * 2014-03-28 2016-06-07 Intel Corporation Computational array camera with dynamic illumination for eye tracking
CN104834381B (zh) * 2015-05-15 2017-01-04 中国科学院深圳先进技术研究院 用于视线焦点定位的可穿戴设备及视线焦点定位方法
CN105496351B (zh) * 2015-12-30 2017-11-14 深圳市莫廷影像技术有限公司 一种双目验光装置
KR101780669B1 (ko) * 2016-11-16 2017-09-21 (주)스코넥엔터테인먼트 단일 카메라를 이용한 양안 촬영 장치
CN106768361B (zh) * 2016-12-19 2019-10-22 北京小鸟看看科技有限公司 与vr头戴设备配套的手柄的位置追踪方法和***
CN106598260A (zh) * 2017-02-06 2017-04-26 上海青研科技有限公司 眼球追踪装置、采用该眼球追踪装置的vr设备和ar设备
CN106874895B (zh) * 2017-03-31 2019-02-05 北京七鑫易维信息技术有限公司 一种视线追踪装置及头戴式显示设备
CN207650482U (zh) * 2017-11-13 2018-07-24 北京七鑫易维信息技术有限公司 消除干扰光的双目视线追踪设备
KR102523433B1 (ko) * 2018-01-10 2023-04-19 삼성전자주식회사 깊이 정보를 결정하는 방법 및 광학 시스템
US10867408B1 (en) * 2018-07-23 2020-12-15 Apple Inc. Estimation of spatial relationships between sensors of a multi-sensor device
KR102469762B1 (ko) * 2018-11-16 2022-11-22 한국전자통신연구원 시운동 반사에 의해 움직이는 동공과 객체 간의 근접 깊이 및 동공 중심 위치를 측정하는 동공 추적 장치 및 동공 추적 방법
CN112099615B (zh) * 2019-06-17 2024-02-09 北京七鑫易维科技有限公司 注视信息确定方法、装置、眼球追踪设备及存储介质
US11475641B2 (en) * 2020-07-21 2022-10-18 Microsoft Technology Licensing, Llc Computer vision cameras for IR light detection
CN112926521B (zh) * 2021-03-30 2023-01-24 青岛小鸟看看科技有限公司 基于光源亮灭的眼球追踪方法、***
CN112926523B (zh) * 2021-03-30 2022-07-26 青岛小鸟看看科技有限公司 基于虚拟现实的眼球追踪方法、***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106659541A (zh) * 2014-03-19 2017-05-10 直观外科手术操作公司 集成眼球凝视跟踪用于立体观看器的医疗装置、***和方法
EP3215914A1 (en) * 2014-11-06 2017-09-13 INTEL Corporation Improved calibration for eye tracking systems
KR20170034681A (ko) * 2015-09-21 2017-03-29 현대자동차주식회사 시선 추적 장치 및 방법
CN108351514A (zh) * 2015-11-02 2018-07-31 欧库勒斯虚拟现实有限责任公司 使用结构光的眼睛追踪
CN109542240A (zh) * 2019-02-01 2019-03-29 京东方科技集团股份有限公司 眼球追踪装置及追踪方法
CN110502100A (zh) * 2019-05-29 2019-11-26 中国人民解放军军事科学院军事医学研究院 基于眼动跟踪的虚拟现实交互方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Eyemotion: Classifying facial expressions in VR using eye-tracking cameras;Steven Hickson等;《arxiv.org》;20170728;1-10页 *
The effect of eye position on the view of virtual geometry;J. Adam Jones;《2014 IEEE Virtual Reality (VR)》;20140402;1-2页 *
Using biomechanics to investigate the effect of VR on eye vergence system;JulieIskander等;《Applied Ergonomics》;20190703;1-8页 *
虚拟现实环境中目标形态对移动操作方式的效率影响研究;徐昌;《中国优秀博硕士学位论文全文数据库（硕士）信息科技辑》;20190615;1-60页 *

Also Published As

Publication number Publication date
CN112926523A (zh) 2021-06-08
WO2022205789A1 (zh) 2022-10-06
US11640201B2 (en) 2023-05-02
US20220374076A1 (en) 2022-11-24

Similar Documents

Publication Publication Date Title
US11755106B1 (en) Glint-assisted gaze tracker
CN109477966B (zh) 具有内-外位置跟踪、用户身体跟踪和环境跟踪的用于虚拟现实和混合现实的头戴式显示器
Plopski et al. Corneal-imaging calibration for optical see-through head-mounted displays
CN105992965B (zh) 响应于焦点移位的立体显示
JP2021144227A (ja) 視線追跡情報に基づく画像領域内の適応パラメータ
CN108136258A (zh) 基于跟踪眼部运动来调整图像帧
Kinateder et al. Using an augmented reality device as a distance-based vision aid—promise and limitations
CN113208884B (zh) 视觉检测与视觉训练设备
CN111603134B (zh) 眼球运动测试的装置及方法
Bruder et al. Distance estimation in large immersive projection systems, revisited
CN106415364A (zh) 立体渲染至眼睛位置
WO2003079272A1 (en) Materials and methods for simulating focal shifts in viewers using large depth of focus displays
CN112926523B (zh) 基于虚拟现实的眼球追踪方法、***
WO2018013968A1 (en) Posture analysis systems and methods
US11570426B2 (en) Computer-readable non-transitory storage medium, web server, and calibration method for interpupillary distance
CN105943327B (zh) 具有防眩晕设备的视力锻炼保健***
CN112926521B (zh) 基于光源亮灭的眼球追踪方法、***
US11774759B2 (en) Systems and methods for improving binocular vision
US11715176B2 (en) Foveated rendering method and system of virtual reality system based on monocular eyeball tracking
CN113138664A (zh) 基于光场感知的眼球追踪***、方法
Singh Near-field depth perception in optical see-though augmented reality
US20230233072A1 (en) System and method for the diagnosis and treatment of amblyopia using a 3d display
TW202017368A (zh) 智慧眼鏡、系統及其使用方法
US11517195B2 (en) Panum's area measurement method, apparatus, and wearable display device
CN113855987B (zh) 三维内容助眠方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant