CN113419350A - 虚拟现实显示设备、画面呈现方法、装置及存储介质 - Google Patents

虚拟现实显示设备、画面呈现方法、装置及存储介质 Download PDF

Info

Publication number
CN113419350A
CN113419350A CN202110679823.1A CN202110679823A CN113419350A CN 113419350 A CN113419350 A CN 113419350A CN 202110679823 A CN202110679823 A CN 202110679823A CN 113419350 A CN113419350 A CN 113419350A
Authority
CN
China
Prior art keywords
virtual reality
display screen
display device
image element
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110679823.1A
Other languages
English (en)
Other versions
CN113419350B (zh
Inventor
周伟彪
林明田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Tencent Computer Systems Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110679823.1A priority Critical patent/CN113419350B/zh
Publication of CN113419350A publication Critical patent/CN113419350A/zh
Priority to EP22824061.0A priority patent/EP4354201A1/en
Priority to PCT/CN2022/096642 priority patent/WO2022262581A1/zh
Priority to US18/144,939 priority patent/US11860375B2/en
Application granted granted Critical
Publication of CN113419350B publication Critical patent/CN113419350B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/14—Beam splitting or combining systems operating by reflection only
    • G02B27/144—Beam splitting or combining systems operating by reflection only using partially transparent surfaces without spectral selectivity
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/004—Optical devices or arrangements for the control of light using movable or deformable optical elements based on a displacement or a deformation of a fluid
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0875—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more refracting elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1066—Beam splitting or combining systems for enhancing image performance, like resolution, pixel numbers, dual magnifications or dynamic range, by tiling, slicing or overlapping fields of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/12—Fluid-filled or evacuated lenses
    • G02B3/14—Fluid-filled or evacuated lenses of variable focal length
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Multimedia (AREA)

Abstract

本申请关于一种虚拟现实显示设备、画面呈现方法、装置及存储介质，涉及虚拟现实技术领域。虚拟现实显示设备包括：主透镜、半反射透镜、第一显示屏、第二显示屏、变焦组件以及眼动跟踪摄像头；主透镜设置在第一显示屏的正前方，且与第一方向垂直；半反射透镜设置在主透镜和所述第一显示屏之间，且与第一方向之间呈一倾斜角度；眼动跟踪摄像头指向眼球位置；第二显示屏面向半反射透镜，且第二显示屏发出的光线经过半反射透镜反射后沿第一方向传播；变焦组件设置在第二显示屏正面；变焦组件具有至少两个焦段；本方案可以提高VR设备对不同立体影像环境的模拟效果，从而提高VR显示效果。

Description

虚拟现实显示设备、画面呈现方法、装置及存储介质
技术领域
本申请涉及虚拟现实技术领域，特别涉及一种虚拟现实显示设备、画面呈现方法、装置及存储介质。
背景技术
随着虚拟现实(Virtual Reality，VR)技术的不断发展，为了提高用户的VR体现，VR显示设备可以基于用户的眼动情况，对现实的内容进行调整。
在相关技术中，VR现实设备中设置有固定的显示屏和眼动跟踪摄像头。用户使用VR显示设备时，VR显示设备通过眼动跟踪摄像头确定用户双目的对焦位置，并实时调整主显示屏中的内容的清晰度，通过视觉欺骗的办法使用户产生相对应的远近景视觉感受。
然后，上述方案只能通过图像内容清晰度的调整来模拟远近景，仅能满足用户短时间的使用体验，由于与自然生理反应相背离，很容易造成用户的视觉疲劳，导致VR显示效果较差。
发明内容
本申请实施例提供了一种虚拟现实显示设备、画面呈现方法、装置及存储介质，可以提高VR设备对不同立体影像环境的模拟效果，从而提高VR显示效果，该技术方案如下。
一方面，提供了一种虚拟现实显示设备，所述虚拟现实显示设备包括：主透镜、半反射透镜、第一显示屏、第二显示屏、变焦组件以及眼动跟踪摄像头；
所述主透镜设置在所述第一显示屏的正前方，且与第一方向垂直；所述第一方向是所述第一显示屏发出的光线的传播方向；
所述半反射透镜设置在所述主透镜和所述第一显示屏之间，且所述半反射透镜与所述第一方向之间呈一倾斜角度；
所述眼动跟踪摄像头指向所述虚拟现实显示设备被佩戴时的眼球位置；
所述第二显示屏面向所述半反射透镜，且所述第二显示屏发出的光线经过所述半反射透镜反射后沿所述第一方向传播；
所述变焦组件设置在所述第二显示屏正面；所述变焦组件具有至少两个焦段；所述第二显示屏用于基于所述眼动跟踪摄像头跟踪获得的眼球焦点位置进行图像展示，所述变焦组件用于基于所述眼球焦点位置调整焦段。
又一方面，提供了一种虚拟现实画面呈现方法，所述方法由上述的虚拟现实显示设备执行，所述方法包括：
通过所述虚拟现实显示设备中的第一显示屏显示虚拟现实场景的第一图像元素；
通过所述虚拟现实显示设备中的第二显示屏显示所述虚拟现实场景的第二图像元素；所述第二图像元素经过所述虚拟现实显示设备中的变焦组件的变焦，以及经过半反射透镜反射后，与所述第一图像元素叠加呈现所述虚拟现实场景的场景画面；
响应于所述虚拟现实显示设备的佩戴者的眼球焦点位置发生改变，通过所述第二显示屏显示更新后的所述第二图像元素；所述第二图像元素经过所述变焦组件变焦，以及经过半反射透镜反射后，与所述第一图像元素叠加呈现所述虚拟现实场景的场景画面；
其中，所述第二图像元素的成像位置，以及所述第二图像元素中包含的图像子元素各自的清晰度与所述眼球焦点位置相关。
再一方面，提供了一种虚拟现实画面呈现方法，所述装置用于上述的虚拟现实显示设备中，所述装置包括：
第一显示模块，用于通过所述虚拟现实显示设备中的第一显示屏显示虚拟现实场景的第一图像元素；
第二显示模块，用于通过所述虚拟现实显示设备中的第二显示屏显示所述虚拟现实场景的第二图像元素；所述第二图像元素经过所述虚拟现实显示设备中的变焦组件的变焦，以及经过半反射透镜反射后，与所述第一图像元素叠加呈现所述虚拟现实场景的场景画面；
所述第二显示模块，还用于响应于所述虚拟现实显示设备的佩戴者的眼球焦点位置发生改变，通过所述第二显示屏显示更新后的所述第二图像元素；所述第二图像元素经过所述变焦组件变焦，以及经过半反射透镜反射后，与所述第一图像元素叠加呈现所述虚拟现实场景的场景画面；
其中，所述第二图像元素的成像位置，以及所述第二图像元素中包含的图像子元素各自的清晰度与所述眼球焦点位置相关。
在一种可能的实现方式中，所述装置还包括：
焦段调整模块，用于响应于虚拟现实显示设备的佩戴者的眼球焦点位置发生改变，基于变化后的所述眼球焦点位置，调整所述变焦组件的焦段，以改变所述第二显示屏显示的图像元素的成像位置。
在一种可能的实现方式中，所述焦段调整模块，用于，
响应于虚拟现实显示设备的佩戴者的眼球焦点位置发生改变，基于变化后的所述眼球焦点位置，获取所述变焦组件中的液态镜头各自的目标开关状态；
将所述液态镜头的开关状态调整至所述目标开关状态，以调整所述变焦组件的焦段。
在一种可能的实现方式中，所述装置还包括：
目标元素确定模块，用于响应于所述虚拟现实显示设备的佩戴者的眼球焦点位置发生改变，基于变化后的所述眼球焦点位置，确定所述第二图像元素中的目标图像子元素；
图像元素生成模块，用于基于高清晰度的所述目标图像子元素，以及虚化后的其它图像子元素，生成更新后的所述第二图像元素；
其中，所述其它图像子元素是所述第二图像元素中除了所述目标图像子元素之外的图像子元素。
再一方面，提供了一种虚拟现实显示设备，所述虚拟现实显示设备是如上所述的虚拟现实显示设备；所述虚拟现实显示设备包含存储器，所述存储器中存储有至少一条计算机指令，所述至少一条计算机指令由所述虚拟现实显示设备中的处理器加载并执行以实现上述的虚拟现实画面呈现方法。
又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条计算机指令，所述至少一条计算机指令由虚拟现实显示设备中的处理器加载并执行以实现如上所述的虚拟现实画面呈现方法；其中，所述虚拟现实显示设备是如上述方面所述的虚拟现实显示设备。
又一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。虚拟现实显示设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该虚拟现实显示设备执行上述虚拟现实画面呈现方法；其中，所述虚拟现实显示设备是如上述方面所述的虚拟现实显示设备。
本申请实施例提供的技术方案带来的有益效果至少包括：
通过一个半反射透镜，以旁路的方式将第二显示屏显示的反射叠加到主光轴上，并且，通过变焦组件对第二显示屏发出的光线进行至少两种焦段的变焦，结合第一显示屏显示的图像，可以实现基于用户的眼球焦点位置，同时在不同成像位置展示不同景深的图像元素，并且，在不同的时刻，第二显示屏显示的图像的成像位置可以随着用户的眼球焦点位置改变，从而可以提高VR设备对不同立体影像环境的模拟效果，从而提高VR显示效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种虚拟现实显示设备的结构示意图；
图2是图1所示实施例涉及的一种VR场景示意图；
图3是根据一示例性实施例示出的一种虚拟现实显示设备的结构示意图；
图4是本申请涉及的对焦距离与收敛距离对照图；
图5是本申请涉及的视觉对焦平面距离与景深覆盖范围示意图；
图6是本申请一个示例性的实施例涉及的虚拟现实显示设备的构架图示意；
图7至图9是本申请实施例涉及的三个焦段的成像位置图；
图10是根据一示例性实施例示出的虚拟现实画面呈现方法的流程示意图；
图11是根据一示例性实施例示出的虚拟现实画面呈现装置的结构方框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
随着VR显示技术的不断发展，为了提升VR显示设备的使用体验，VR显示设别需要能够尽量贴近人的自然生理视觉习惯，以减少因为VR显示设备在实际使用中因为和人类自然的生理视觉习惯不匹配而带来的生理不适，从而降低使用VR显示设备用户的晕动症，视觉疲劳甚至造成生理性的伤害等，并最终可以增加用户的VR显示设备使用时长，使其能更好的融入用户的日常生活中。
基于上述需求，本申请后续各个实施例提供一种虚拟现实(VR)显示设备，其能够提供基于用户的眼球焦点位置，在多种不同的成像位置上显示图像。
图1是根据一示例性实施例示出的一种虚拟现实显示设备的结构示意图。如图1所示，该虚拟现实显示设备包括：主透镜101、半反射透镜102、第一显示屏103、第二显示屏104、变焦组件105以及眼动跟踪摄像头106；
该主透镜101设置在该第一显示屏103的正前方，且与第一方向垂直；该第一方向是该第一显示屏103发出的光线的传播方向；
该半反射透镜102设置在该主透镜101和该第一显示屏103之间，且该半反射透镜102与该第一方向之间呈一倾斜角度；
该眼动跟踪摄像头106指向该虚拟现实显示设备被佩戴时的眼球位置；
该第二显示屏104面向该半反射透镜102，且该第二显示屏104发出的光线经过该半反射透镜102反射后沿该第一方向传播；
该变焦组件105设置在该第二显示屏104正面；该变焦组件105具有至少两个焦段。
其中，该第二显示屏104用于基于该眼动跟踪摄像头106跟踪获得的眼球焦点位置进行图像展示，该变焦组件105用于基于该眼球焦点位置调整焦段。
其中，上述眼球焦点位置可以是用户的眼睛观察的焦点位置，其可以是表示用户当前聚焦的景深。
用户在使用VR显示设备时，会观察到一个VR构建的虚拟环境，而VR显示设备的目的是构建一个能尽可能接近真实环境的场景，特别是在游戏场景中，用户可以通过VR显示设备进入一个人为构建的场景环境，去体验游戏给用户带来的经历。一般而言为提升游戏体验和场景的真实性，用户会处于一个立体的影像环境中，因而用户可以很容易看到至少包括远、中、近三个景深的场景。
请参考图2，其示出了本申请实施例涉及的一种VR场景示意图。如图2所示，近景可以是以用户为中心，虚像呈现位置在0.5m左右的景物，如游戏中用户的手21及拿在手上的道具22，或者游戏中的操作台及桌面等。中景可以是以用户为中心，虚像呈现在1～5m左右的景物，例如游戏场景中的室内环境的家具，近身的对手23等。远景可以时以用户为中心，虚像在5m～无穷远的景物，例如游戏场景中远处的景物，射击游戏中的射击目标24等。而针对这些不同景深的景物，在真实环境下，为看清这些不同景深的物体，用户需要调整两眼瞳孔的相对角度，以便对这些景物做对焦，从而保证可以看清这些景物。
而本申请实施例所示的VR显示设备，可以通过第一显示屏持续显示中景的图像元素，并通过第二显示屏和变焦组件配合，基于用户的眼球焦点位置，在不同的时刻，在不同的成像位置对不同景深的图像元素进行高清显示，从而能够时刻在用户眼球聚焦的成像位置，以较高的清晰度显示对应景深的图像元素，从而提高对立体的VR场景的营造效果，同时能够贴近人的自然生理视觉习惯，避免给用户带来身体不适的问题。
综上所述，本申请实施例所示的方案，通过一个半反射透镜，以旁路的方式将第二显示屏显示的反射叠加到主光轴上，并且，通过变焦组件对第二显示屏发出的光线进行至少两种焦段的变焦，结合第一显示屏显示的图像，可以实现基于用户的眼球焦点位置，同时在不同成像位置展示不同景深的图像元素，并且，在不同的时刻，第二显示屏显示的图像的成像位置可以随着用户的眼球焦点位置改变，从而可以提高VR设备对不同立体影像环境的模拟效果，从而提高VR显示效果。
图3是根据一示例性实施例示出的一种种虚拟现实显示设备的结构示意图。如图3所示，该虚拟现实显示设备包括：主透镜101、半反射透镜102、第一显示屏103、第二显示屏104、变焦组件105以及眼动跟踪摄像头106；
该主透镜101设置在该第一显示屏103的正前方，且与第一方向垂直；该第一方向是该第一显示屏103发出的光线的传播方向。
其中，上述第一方向也可以被称为虚拟现实显示设备的主光轴的延伸方向。
在本申请实施例中，主透镜101也称为VR光学透镜模块。为了让用户能在VR设备中清晰且自然的看到显示的影像，VR显示设备中需要一套光学透镜***，在本申请所示的方案中，主透镜101的设置方案可以包含且不限于单镜片方案、多镜片组方案、树脂镜片方案、玻璃镜片方案、非球面镜方案、菲尼尔镜片方案或复合镜方案等。
半反射透镜102设置在该主透镜101和该第一显示屏103之间，且该半反射透镜102与该第一方向之间呈一倾斜角度。
在本申请实施例中，半反射透镜也可以称为分光镜或者分束器，其是一种将一束光分成两束光或多束光的光学装置，通常是由金属膜或介质膜构成。
半反射透镜最常见的形状是立方体，由两个三角形玻璃棱镜制成，两个三角形玻璃棱镜使用聚酯，环氧树脂或聚氨酯类粘合剂在基体上胶合在一起。通过调整树脂层的厚度，可以使得通过一个“端口”(即立方体的面)入射的光的(一定波长)的一半被反射，另一半由于全部内反射而被继续传输。
另一种设计中，也可以使用半镀银镜、一片玻璃或塑料、以及透明薄的金属涂层来实现半反射透镜，其中，金属涂层可以实现为铝蒸气沉积铝。通过控制沉积物的厚度，可以使得以45度角入射并且不被涂层吸收的部分光线(通常为一半)被透射，其余部分被反射。上述金属涂层也可以使用二向色光学涂层来代替。
此外，也可以通过二向色镜像棱镜组件来实现上述半反射透镜，二向色镜像棱镜组件使用二向色光学涂层将入射光束分成多个光谱不同的输出光束。
本申请实施例对于半反射透镜的实现形式不做限定。
在本申请实施例中，第一显示屏103发出的光线一部分被半反射透镜102反射，另一部分透过半反射透镜102之后继续沿原方向传播，被半反射透镜102反射的部分传播至用户的眼睛处，从而在用户眼睛的正前方形成第一显示屏103显示的图像对应的虚像，因此，第一显示屏103显示的图像能够透过主透镜101和半反射透镜102被用户观察到。
该眼动跟踪摄像头106指向该虚拟现实显示设备被佩戴时的眼球位置。
在一种可能的实现方式中，该眼动跟踪摄像头设置在该第一显示屏中。
在本申请实施例中，为了能够更准确的采集用户的眼球影像，从而更准确的进行眼动跟踪，眼动跟踪摄像头可以设置在第一显示屏中，从而能够从用户的眼睛的正面采集眼球影像。
在一种可能的实现方式中，该第一显示屏中包含挖孔区域，该眼动跟踪摄像头设置在该挖空区域中；
或者，该眼动跟踪摄像头是该第一显示屏的屏下摄像头。
在本申请实施例中，眼动跟踪摄像头可以通过挖孔的方式设置在第一显示屏中，也就是将眼动跟踪摄像头设置在第一显示屏上的挖孔中。或者，眼动跟踪摄像头也可以通过屏下方式设置在第一显示屏中，也就是说，眼动跟踪摄像头透过第一显示屏采集用户的眼睛的眼球影像。
在一种可能的实现方式中，眼动跟踪摄像头设置在该第一显示屏的屏幕中心位置。
在本申请实施例中，第一显示屏103也称为主显示屏，第一显示屏103主要有两个方面的功能，一是负责为VR显示设备提供较大的视场角(Field of View，FOV)，即可观测角度，一般而言，主显示屏的POV可以大于等于100°(但不限于)，第一显示屏103可以在任何景深状态下均处于工作状态，以保证用户眼睛的余光观测区域均为与显示场景同步，虽然无须看清，但能提供较良好和自然的视觉感受；二是负责显示中景景深影像，比如，第一显示屏103的对焦平面可以设计为1D(Diopter，屈光度)附近(0.8～1.5D间)。当第一显示屏103中心位置摆放眼动跟踪摄像头，且眼动跟踪摄像头为挖孔式设置时，需要在该第一显示屏103中做挖孔处理，类似于手机前摄像头的挖孔方案。第一显示屏103的屏幕包括但不限于薄膜晶体管液晶显示器(Thin Film Transistor Liquid Crystal Display，TFTLCD)及有源矩阵有机发光二极管(Active-matrix Organic Light Emitting Diode，AMOLED)等。
在本申请实施例中，该虚拟现实显示设备还包括配合眼动跟踪摄像头106使用的光源107，该光源107用于照射虚拟现实显示设备被佩戴时的眼球位置。
其中，上述光源107可以是红外光源，比如红外LED光源。相应的，眼动跟踪摄像头106可以是采集红外光线的摄像头。
本申请实施例中的眼球追踪方案中可以选用红外摄像头，通过拍摄用户眼球的图像，来识别眼球瞳孔的位置，而与之配合的红外LED在VR使用的暗态环境内去照射眼球。本申请实施例所示的方案中，对眼球运动识别的技术包含但不限于瞳孔角膜反射法、视网膜影像法、眼球建模法、视网膜反射光强度法、以及角膜反射光强度法等等。
瞳孔角膜反射法：使用一种近红外光源(比如880nm的近红外光)对眼部发射近红外光，近红外光会在眼睛角膜处产生反射，然后通过高速捕捉的红外摄像头来采集这些带有反射的眼睛的图像，并在图像中识别出瞳孔和角膜，并通过角膜中心和瞳孔中心的连线进行眼动追踪。
视网膜影像法：识别视网膜上不规则的毛血管、中央凹等生理结构形成的图案，通过计算视网膜图像变化来进行眼动追踪。
眼球建模法：对眼睛建模后计算视觉中心，从而进行眼动追踪的方法。其中，对眼睛建模的方法可以包括利用结构光对眼睛建模，以及利用光场相机对眼睛建模等。
视网膜反射光强度法：利用激光透过角膜、瞳孔、晶状体最终打在视网膜上，视网膜会对入射的激光反射，然后外部光敏传感器通过检测视网膜反射光强度确定眼球运动的方向。
角膜的反射光强度法：角膜外壁较为光滑，如果在眼睛的一侧发射一束激光到角膜上时会被角膜反射。当激光刚好射在角膜中心时(角膜中心是最高点)，激光的反射强度最大，因此通过光敏传感器检测角膜反射光的强度，可以确定眼球运动的方向。
眼动追踪摄像头可以穿过主显示屏中的开孔布置，为能更准确的捕捉眼睛运动，可以将其布置在眼球瞳孔中心和透镜光学中心及显示器三者连线的主光轴上。
此外，当主屏幕为AMOLED的方案时，第一显示屏103也可以做不开孔处理，眼动追踪摄像头可以采用屏下摄像头方案。此时，第二显示屏104及变焦组件105可以只在两个焦段工作，即覆盖近景和远景即可。
在另一种可能的实现方式中，上述眼动追踪摄像头也可以设置在第一显示屏103之外，比如，设置在第一显示屏103的侧边，使得从用户眼球位置发出的光线经过主透镜101之后，可以不经过半反射透镜102，而直接到达眼动追踪摄像头；或者，上述眼动追踪摄像头也可以设置在主透镜101的侧面，使得从用户眼球位置发出的光线不经过主透镜101而直接到达眼动追踪摄像头。
第二显示屏104面向该半反射透镜102，且该第二显示屏104发出的光线经过该半反射透镜102反射后沿该第一方向传播。
其中，上述倾斜角度可以45°，或者，也可以是接近45°，比如，按照第二显示屏104的安装方向，该倾斜角度可以是40°或者50°等等，只要保证第二显示屏104发出的光线经过半反射透镜102反射后，能够沿第一方向传播即可。
第二显示屏104包括但不限于TFTLCD，AMOLED，微型有机发光二极管(OrganicLight-Emitting Diode，MicroOLED)显示屏等，其尺寸及显示覆盖范围可以与第一显示屏103保持一致或不同，其配合变焦组件105的FOV也可以保持与第一显示屏103的FOV一致或不同。在本申请实施例中，为实现VR显示设备的小型化及构架紧凑，结合人眼生理构造特性，本申请所示的方案可以选择采用较小尺寸的显示屏做为第二显示屏，并选择小于主屏幕的FOV，比如，第一显示屏103的FOV覆盖110°范围，第二显示屏104的FOV覆盖60°范围。用户在对近景影像及远景影像做特定点的对焦观察时，其可以较清晰观察到的锥形视觉范围FOV＜60°内的景象。
半反射透镜102也称分光镜，是用于将入射光以指定比率分割为两条不同光束的光学组件，当半反射镜沿光轴成一定角度(比如45°)角摆放时，可将VR显示设备的主光轴做侧向延伸，为第二显示屏的显示图像增加通路，而不影响主显示屏显示的图像，另外通过图像叠加也避免了用户可以看到主显示屏上的眼睛追踪模块开孔。
在本申请实施例中，第二显示屏104发出的光线一部分透过半反射透镜102之后继续沿原方向传播，另一部分被半反射透镜102反射后，沿主光轴方向传播并穿过主透镜101，因此，第二显示屏104显示的图像也能够透过主透镜101和半反射透镜102被用户观察到。
该变焦组件105设置在该第二显示屏104正面；该变焦组件105具有至少两个焦段。
其中，该第二显示屏104用于基于该眼动跟踪摄像头106跟踪获得的眼球焦点位置进行图像展示，该变焦组件105用于基于该眼球焦点位置调整焦段。
在本申请实施例中，第二显示屏104发出的光线首先经过变焦组件105进行变焦后，入射到半反射透镜102；在不同的焦段下，经过变焦组件105变焦后的光线经过半反射透镜102后，其成像位置也不相同，也就是说，其成像位置距离人眼的距离的远近是不同的。
在此基础上，通过眼动跟踪摄像头106跟踪获得的眼球焦点位置对变焦组件105的焦段，以及第二显示屏104显示的内容进行控制，可以在不同的成像位置显示不同效果的图像(比如显示清晰的远景、清晰的近景或者清晰的中景)，再结合第一显示屏103显示的图像，可以达到同时显示多种成像位置的图像，并且其中第二显示屏104显示的图像的成像位置可以随眼球焦点位置进行改变的效果。
在一种可能的实现方式中，该变焦组件105为液态变焦组件。
在本申请实施例中，为了简化机械结构，以便在狭小的VR显示设备内部进行布置，可以采用液态变焦组件作为上述变焦组件105。
液态变焦组件又称为液态镜头/液态镜头组，其原理是通过改变透光液体的表面形状(比如将平面改变为凹面或者凸面)，使得透过液体的光线的折射角度发生变化，从而调整其焦距的。
与传统透镜有所不同，液态镜头是一种使用一种或多种液体制成的无机械连接的光学元件，可以通过外部控制改变光学元件的内部参数，有着传统光学透镜无法比拟的性能。简单来说就是透镜的介质由玻璃变为液体，更准确地来说就是一种动态调整透镜折射率或通过改变其表面形状来改变焦距的新型光学元件。其材质是可以改变形状的光学液态材料。玻璃镜头的焦距取决于其材质和曲率半径。液态镜头也遵从相同的基本原理，但其独特之处在于可以改变液体的曲率半径，从而改变焦距。这种半径变化采用电控方式，能够实现毫秒级的变化。
液态变焦组件具有体积小的优点，能够适应狭小的装配空间。
在一种可能的实现方式中，该变焦组件105包含单个液态镜头105a，或者，该变焦组件105包含叠加设置的至少两个液态镜头105a。
在一种可能的实现方式中，该液态镜头105a的焦段由该液态镜头105a的开关状态进行控制。
也就是说，单个液态镜头105a的具有两种不同的焦段，这两种不同的焦段由液态镜头105a的开关状态进行控制。其中，上述单个液态镜头105a的开关状态可以实现两种焦段；当变焦组件105包含叠加设置的至少两个液态镜头105a时，上述至少两个液态镜头105a的不同开关状态的组合，可以实现多种不同的焦段。
在本申请实施例中，变焦组件105实现为液态镜头组时，液态镜头组可为一枚或若干枚液态镜头组构成，从而构建不少于三个景深焦段范围。
在本申请实施例的一种示例性的方案中，为快速切换焦段及保证各器件的一致性，减少误差带来的视觉差异影响设备的整体感受，可以选取两枚液态镜头组成镜头组，每枚镜头只选用两个状态即on和off，从而实现三种状态：on+on，on+off，off+off，对应三种不同的焦段。
在一种可能的实现方式中，该变焦组件具有的至少两个焦段中，每相邻两个焦段之间存在部分重叠。
在一种可能的实现方式中，该虚拟现实显示设备还包括处理器108，该处理器108分别与该第一显示屏103、该第二显示屏104、该变焦组件105以及该眼动跟踪摄像头106电性相连。
在一种可能的实现方式中，上述第一显示屏103用于显示VR场景中，对应场景视角范围内的指定景深(比如中景)处的图像元素，而第二显示屏104则用于显示VR场景中，对应场景视角范围内的未被第一显示屏103显示的图像元素，比如，近景和远景处的图像元素。
可选的，当第一显示屏103为挖孔屏(挖孔中设置眼动跟踪摄像头106)时，第一显示屏103中的挖孔处的固定景深的图像元素也不会被显示，为了弥补该缺陷，当第一显示屏103为挖孔屏时，第二显示屏104还显示VR场景中，对应上述指定景深，且处于挖孔位置的图像元素。
在本申请实施例中，在虚拟现实显示设备运行并展示VR场景的过程中，处理器108可以获取眼动跟踪摄像头106跟踪采集的眼球图像，并识别出用户的眼球焦点位置，根据眼球焦点位置确定用户当前关注的景深，并确定对应的变焦组件的焦段，以及确定第二显示屏104中显示的图像元素的显示效果，然后，处理器108控制第二显示屏104显示图像元素，并控制变焦组件调整焦段，从而以用户当前关注的景深位置作为成像位置来呈现第二显示屏104显示的图像元素，由于该第二显示屏104显示的图像元素是基于用户的眼球焦点位置进行优化的，可以通过更高的清晰度展示用户当前关注的景深出的图像内容，从而在贴近用户的自然生理视觉习惯的前提下达到更好的图像显示效果。
其中，上述处理器108控制第二显示屏104显示图像元素，并控制变焦组件调整焦段的过程可以参考后续实施例中的描述。
可选的，虚拟现实显示设备的电路部分结构可以包括中央处理单元(CPU，CentralProcessing Unit)，即上述处理器108、包括随机存取存储器(Random Access Memory，RAM)和只读存储器(Read-Only Memory，ROM)的***存储器，以及连接***存储器和中央处理单元的***总线。该虚拟现实显示设备还包括帮助虚拟现实显示设备内的各个器件之间传输信息的基本输入/输出***，和用于存储操作***、应用程序和其他程序模块的大容量存储设备。
上述大容量存储设备通过连接到***总线的大容量存储控制器(未示出)连接到中央处理单元。大容量存储设备及其相关联的计算机可读介质为虚拟现实显示设备提供非易失性存储。也就是说，大容量存储设备可以包括诸如硬盘、存储卡之类的计算机可读介质(未示出)。
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、闪存或其他固态存储其技术，光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的***存储器和大容量存储设备可以统称为存储器。
虚拟现实显示设备可以通过连接在所述***总线上的网络接口单元连接到互联网或者其它网络设备。
上述存储器还包括至少一条计算机指令，上述至少一条计算机指令存储于存储器中，中央处理器通过执行该至少一条计算机指令来实现本申请后续的虚拟现实画面呈现方法的全部或者部分步骤。
综上所述，本申请实施例所示的方案，通过一个半反射透镜，以旁路的方式将第二显示屏显示的反射叠加到主光轴上，并且，通过变焦组件对第二显示屏发出的光线进行至少两种焦段的变焦，结合第一显示屏显示的图像，可以实现基于用户的眼球焦点位置，同时在不同成像位置展示不同景深的图像元素，并且，在不同的时刻，第二显示屏显示的图像的成像位置可以随着用户的眼球焦点位置改变，从而可以提高VR设备对不同立体影像环境的模拟效果，从而提高VR显示效果。
本申请实施例所示的方案，从用户自然视觉生理机制的研究入手，在保证用户有较良好的视觉体验的情况下，尽可能的贴近人的自然视觉生理机制，以减少用户的视觉疲劳，提高VR显示设备的使用体验，不因为疲劳而影响用户对于设备的长期使用，避免破坏其使用VR显示设备时的沉浸感破坏。请参考图4和图5，其中，图4示出了本申请涉及的对焦距离与收敛距离对照图；图5示出了本申请涉及的视觉对焦平面距离与景深覆盖范围示意图。由图4和图5所示图表可以看出，当VR显示设备的显示屏通过一定的光学设计后的对应对焦平面距离，会对应一个用户可以舒适对焦并能够看清的距离范围，由此可以得出不同焦平面的视觉距离对应的景深范围值。
在VR显示设备的使用场景及日常的生活***面只能对应一个景深距离范围，当出现VR呈现的物体不在景深距离范围时，会出现突然看不清这样很突兀的情况，极大的影响用户的沉浸感，且对于在VR游戏中的用户会有极大的影响。由此，针对以上数据的梳理可见，一个较好的VR显示设备应该具备三个(甚至更多)景深范围的焦平面设计。0.5M(2D)段，负责近景的显示，0.4～0.67m，展示游戏道具，操作台面等影像。1.0m(1D)，负责展示中景的显示，0.67～2m，展示近身环境下的场景内容。2m(0.5D)，负责展示远景的显示，2m至无穷远处展示离自己较远的景物。由于考虑到眼动追踪摄像头可能存在追踪偏差，为不影响各景深间切换不连续带来的沉浸感破坏，在本申请实施例中，选择了焦段上的重合，以保证衔接连续。例如，近景焦段2D对应0.4m～0.67m，近景焦段1.2D对应0.58～1.4m，近景焦段0.5D对应1m～无穷远，这样从0.4m～无穷远的三个焦段中，每相邻两个焦段之间存在重叠，而在焦段切换过程中，焦段与焦段之间切换时，都有一定的重叠余量。此外，相邻两个焦段之间存在重叠的设计，也能够抵消VR显示设备装配上的误差的影响。
基于上述图1或图3所示的虚拟现实显示设备，请参考图6，其示出了本申请一个示例性的实施例涉及的虚拟现实显示设备的构架图示意。如图6所示，本申请实施例采用了双屏的设计，为了更好的实现眼睛追踪，主显示屏61采用挖孔屏设计(也可采用屏下摄像头方案)用于显示1D范围的图像。而挖孔屏可以保证眼动追踪摄像头62可以摆放在主光轴上，能最大限度的保证对于用户双眼对焦位置的侦测。另外在主光轴上设置了一块半反射透镜63(也称分光镜/分束器)，用以在主光轴上增加一条旁路光轴。在此旁路光轴上，摆放一块副显示屏64(副屏可与主屏显示范围不同)，为使整机设计中更紧凑，且利用眼球生理特性，本申请实施例选择主屏FOV维100°～110°，而副屏FOV为60°～70°左右。副显示屏前增加一个液态镜头组65，实现不少于三段的光学变焦功能。
在本申请实施例中，采用了两枚液态镜头组成液态镜头组65的方案。为设备更为稳定，选用液态镜头的on及off两个状态，两枚镜头组合即可最简单的实现off+off，on+off，on+on的三种组合，由此配合实现三个焦段。请参考图7至图9，其示出了本申请实施例涉及的三个焦段的成像位置图。
参考图7至图9，主屏显示部分主要负责提供较大的FOV和常规状态下的中景显示部分，但由于采用了开孔屏，在屏幕中央有影像缺陷，因而需要副屏和液态镜头组配合将该缺陷补齐。
如图7所示，主显示屏显示中景图像，中景图像在中景位置形成虚像71，当用户双眼向内对焦(这里的向内对焦，可以是指用户双眼焦点位置相比于虚像71的位置来说是偏向内部的，也就是用户双眼焦点位置位于图7中的虚像71左侧)观察近景时，液态镜头调整焦距，使得副显示屏上显示的图像在用户双眼向内对焦的位置形成近景影像(比如，提高近景图像元素的清晰度，并对中景和远景图像元素作虚化处理)的虚像72，配合用户瞳孔的转动，使得用户舒适且清晰的观察到近景场景细节。
如图8所示，当用户双眼观察中景时，主显示屏显示显示的中景图像的虚像71位置不变，液态镜头调整焦距，使得副显示屏上显示的图像在用户双眼对焦的位置形成中景影像(比如，提高中景图像元素的清晰度，并对远景和近景图像元素作虚化处理)的虚像72，副显示屏显示的中景影像的虚像72与主显示屏显示的中景影像的虚像71叠加，从而实现了配合用户瞳孔的转动，使得用户舒适且清晰的观察到中景场景细节。
如图9所示，当用户双眼向外对焦(这里的向外对焦，可以是指用户双眼焦点位置相比于虚像71的位置来说是偏向外部的，也就是用户双眼焦点位置位于图9中的虚像71右侧)观察远景时，主显示屏显示显示的中景图像的虚像71位置不变，液态镜头调整焦距，使得副显示屏上显示的图像在用户双眼对焦的位置形成远景影像(比如，提高远景图像元素的清晰度，并对中景和近景图像元素作虚化处理)的虚像72，配合用户瞳孔的转动，使得用户舒适且清晰的观察到远景场景细节。
通过上述方案，能够适配各不同景深情况下的瞳孔可聚焦范围，并保证了双眼的自然舒适，既能提升VR显示设备的显示质量，同时也能进一步缓解用户双眼疲劳程度。
也就是说，通过本申请实施例所示的方案，可以实现VR显示设备的多景深适配，以符合双眼生理特性，提升视觉体验降低疲劳程度。
此外，本申请所示的VR显示设备中的眼球追踪***可以实时侦测用户双眼对焦位置，并配合液态镜头基于对应焦段的影像输出，保证了各段影像的清晰和连续。
另外，本申请实施例充分利用液态镜头的特性，可快速实现变焦，且没有运动机械结构可以减少设备寿命风险。
图10是根据一示例性实施例示出的一种虚拟现实画面呈现方法的流程示意图。该方法可以由虚拟现实显示设备执行，比如，该虚拟现实显示设备的结构可以参考图1、图3或图6所示的结构。如图10所示，该虚拟现实画面呈现方法可以包括如下步骤。
步骤1001，通过该虚拟现实显示设备中的第一显示屏显示虚拟现实场景的第一图像元素。
在本申请实施例中，虚拟现实场景中的图像元素可以按照不同的景深进行划分并分别在虚拟现实显示设备中不同的显示屏上进行显示。
其中，虚拟现实显示设备中的主显示屏可以显示固定景深的图像元素，比如，固定显示中景景深对应的图像元素。
步骤1002，通过该虚拟现实显示设备中的第二显示屏显示该虚拟现实场景的第二图像元素；该第二图像元素经过该虚拟现实显示设备中的变焦组件的变焦，以及经过半反射透镜反射后，与该第一图像元素叠加呈现该虚拟现实场景的场景画面。
在本申请实施例中，副显示屏显示VR场景中，主显示屏显示的图像元素之外的其它图像元素，比如，当主显示屏显示中景的图像元素时，副显示屏显示包括且不限于近景的图像元素、远景的图像元素、以及主显示屏的挖孔部分对应的中景的图像元素等等。其中，主显示屏和副显示屏分别显示的图像分别经过分光镜的透传和反射之后叠加成完整的VR场景的场景画面。
步骤1003，响应于该虚拟现实显示设备的佩戴者的眼球焦点位置发生改变，通过该第二显示屏显示更新后的该第二图像元素；该第二图像元素经过该变焦组件变焦，以及经过半反射透镜反射后，与该第一图像元素叠加呈现该虚拟现实场景的场景画面。
其中，该第二图像元素的成像位置，以及该第二图像元素中包含的图像子元素各自的清晰度与该眼球焦点位置相关。
在一种可能的实现方式中，响应于虚拟现实显示设备的佩戴者的眼球焦点位置发生改变，基于变化后的该眼球焦点位置，调整该变焦组件的焦段，以改变该第二显示屏显示的图像元素的成像位置。
在本申请实施例中，当虚拟现实显示设备通过眼动追踪摄像头追踪确定佩戴者的眼球焦点位置，以确定佩戴者当前注意的景深；当佩戴者的眼球焦点位置(关注的景深位置)发生变化时，虚拟现实显示设备可以相应的调整第二图像元素的在副显示屏中的显示效果，以及，调整变焦组件的焦段，使得副显示屏中显示的图像元素经过分光镜反射之后，能够在佩戴者当前关注的景深位置成像，且以更好的清晰度显示佩戴者当前关注的景深位置的图像元素。
例如，以虚拟现实显示设备中的变焦组件具有分别对应近景、中景、远景的三个焦段为例，虚拟现实显示设备在展示虚拟现实场景时，可以执行以下步骤：
S1，获取当前虚拟现实场景中各个图像元素的景深。
比如，虚拟现实显示设备可以从各个图像元素的属性中读取景深，或者，虚拟现实显示设备也可以根据各个图像元素在虚拟现实场景中的位置实时计算对应的景深。
S2，将虚拟现实场景中的各个图像元素划分为四类，分别为近景图像元素、远景图像元素、主显示屏挖孔位置的中景图像元素、以及主显示屏非挖孔位置的中景图像元素。
随着虚拟现实场景的变化，虚拟显示场景中的各个图像元素与用户对应的虚拟角色之间的距离也相应会发生变化，因此，上述四类图像元素的划分情况也会随之发生变化。
S3，在主显示屏中显示主显示屏非挖孔位置的中景图像元素，并在副显示屏中叠加显示近景图像元素、远景图像元素、主显示屏挖孔位置的中景图像元素。
S4，根据佩戴者的眼球焦点位置，对副显示屏中叠加显示近景图像元素、远景图像元素、以及主显示屏挖孔位置的中景图像元素的清晰度分别进行调整。
例如，当佩戴者的眼球焦点位置位于近景位置时，提高近景图像元素的清晰度，同时对远景图像元素、以及主显示屏挖孔位置的中景图像元素进行虚化处理；再例如，当佩戴者的眼球焦点位置位于远景位置时，提高远景图像元素的清晰度，同时对近景图像元素、以及主显示屏挖孔位置的中景图像元素进行虚化处理。
S5，根据佩戴者的眼球焦点位置，对变焦组件的焦段进行调整，以使得副显示屏中显示的图像元素的虚像成像在眼球焦点位置。
在一种可能的实现方式中，该响应于虚拟现实显示设备的佩戴者的眼球焦点位置发生改变，基于变化后的该眼球焦点位置，调整该变焦组件的焦段，包括：
响应于虚拟现实显示设备的佩戴者的眼球焦点位置发生改变，基于变化后的该眼球焦点位置，获取该变焦组件中的液态镜头的目标开关状态；
将该液态镜头的开关状态调整至该目标开关状态，以调整该变焦组件的焦段。
在本申请实施例中，当上述变焦组件由至少两个液态镜头组成时，虚拟现实显示设备可以通过佩戴者的眼球焦点位置对应的景深，确定变焦组件的焦段，并通过调节至少两个液态镜头的开关状态的方式调节变焦组件的焦段，从而将副显示屏显示的图像元素准确成像在佩戴者的眼球当前聚焦的景深位置。
在一种可能的实现方式中，响应于该虚拟现实显示设备的佩戴者的眼球焦点位置发生改变，基于变化后的该眼球焦点位置，确定该第二图像元素中的目标图像子元素；
基于高清晰度的该目标图像子元素，以及虚化后的其它图像子元素，生成更新后的该第二图像元素；
其中，该其它图像子元素是该第二图像元素中除了该目标图像子元素之外的图像子元素。
在本申请实施例中，虚拟现实显示设备可以通过佩戴者的眼球焦点位置对应的景深，确定副显示屏中需要高清显示的图像元素，以及需要虚化显示的图像元素，也就是说，虚拟现实显示设备可以通过副显示屏，对佩戴者当前关注的景深位置的图像元素进行高清显示，以保证佩戴者的视觉体验，同时，对其他景深的图像元素进行虚化显示，以降低图像显示时的渲染资源效果，提高显示性能。
综上所述，本申请实施例所示的方案，通过一个半反射透镜，以旁路的方式将第二显示屏显示的反射叠加到主光轴上，并且，通过变焦组件对第二显示屏发出的光线进行至少两种焦段的变焦，结合第一显示屏显示的图像，可以实现基于用户的眼球焦点位置，同时在不同成像位置展示不同景深的图像元素，并且，在不同的时刻，第二显示屏显示的图像的成像位置可以随着用户的眼球焦点位置改变，从而可以提高VR设备对不同立体影像环境的模拟效果，从而提高VR显示效果。
图11是根据一示例性实施例示出的一种虚拟现实画面呈现装置的结构方框图。该虚拟现实画面呈现装置可以用于虚拟现实显示设备中，以执行图10所示实施例中的部分或者全部步骤，其中，该虚拟现实显示设备的结构可以参考图1、图3或图6所示的结构。该虚拟现实画面呈现装置包括：
第一显示模块1101，用于通过所述虚拟现实显示设备中的第一显示屏显示虚拟现实场景的第一图像元素；
第二显示模块1102，用于通过所述虚拟现实显示设备中的第二显示屏显示所述虚拟现实场景的第二图像元素；所述第二图像元素经过所述虚拟现实显示设备中的变焦组件的变焦，以及经过半反射透镜反射后，与所述第一图像元素叠加呈现所述虚拟现实场景的场景画面；
所述第二显示模块1102，还用于响应于所述虚拟现实显示设备的佩戴者的眼球焦点位置发生改变，通过所述第二显示屏显示更新后的所述第二图像元素；所述第二图像元素经过所述变焦组件变焦，以及经过半反射透镜反射后，与所述第一图像元素叠加呈现所述虚拟现实场景的场景画面；
其中，所述第二图像元素的成像位置，以及所述第二图像元素中包含的图像子元素各自的清晰度与所述眼球焦点位置相关。
在一种可能的实现方式中，所述装置还包括：
焦段调整模块，用于响应于虚拟现实显示设备的佩戴者的眼球焦点位置发生改变，基于变化后的所述眼球焦点位置，调整所述变焦组件的焦段，以改变所述第二显示屏显示的图像元素的成像位置。
在一种可能的实现方式中，所述焦段调整模块，用于，
响应于虚拟现实显示设备的佩戴者的眼球焦点位置发生改变，基于变化后的所述眼球焦点位置，获取所述变焦组件中的液态镜头的目标开关状态；
将所述液态镜头的开关状态调整至所述目标开关状态，以调整所述变焦组件的焦段。
在一种可能的实现方式中，所述装置还包括：
目标元素确定模块，用于响应于所述虚拟现实显示设备的佩戴者的眼球焦点位置发生改变，基于变化后的所述眼球焦点位置，确定所述第二图像元素中的目标图像子元素；
图像元素生成模块，用于基于高清晰度的所述目标图像子元素，以及虚化后的其它图像子元素，生成更新后的所述第二图像元素；
其中，所述其它图像子元素是所述第二图像元素中除了所述目标图像子元素之外的图像子元素。
综上所述，本申请实施例所示的方案，通过一个半反射透镜，以旁路的方式将第二显示屏显示的反射叠加到主光轴上，并且，通过变焦组件对第二显示屏发出的光线进行至少两种焦段的变焦，结合第一显示屏显示的图像，可以实现基于用户的眼球焦点位置，同时在不同成像位置展示不同景深的图像元素，并且，在不同的时刻，第二显示屏显示的图像的成像位置可以随着用户的眼球焦点位置改变，从而可以提高VR设备对不同立体影像环境的模拟效果，从而提高VR显示效果。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括计算机程序(指令)的存储器，上述程序(指令)可由计算机设备的处理器执行以完成本申请各个实施例所示的方法。例如，所述非临时性计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个实施例所示的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (15)

1.一种虚拟现实显示设备，其特征在于，所述虚拟现实显示设备包括：主透镜、半反射透镜、第一显示屏、第二显示屏、变焦组件以及眼动跟踪摄像头；
所述主透镜设置在所述第一显示屏的正前方，且与第一方向垂直；所述第一方向是所述第一显示屏发出的光线的传播方向；
所述半反射透镜设置在所述主透镜和所述第一显示屏之间，且所述半反射透镜与所述第一方向之间呈一倾斜角度；
所述眼动跟踪摄像头指向所述虚拟现实显示设备被佩戴时的眼球位置；
所述第二显示屏面向所述半反射透镜，且所述第二显示屏发出的光线经过所述半反射透镜反射后沿所述第一方向传播；
所述变焦组件设置在所述第二显示屏正面；所述变焦组件具有至少两个焦段；所述第二显示屏用于基于所述眼动跟踪摄像头跟踪获得的眼球焦点位置进行图像展示，所述变焦组件用于基于所述眼球焦点位置调整焦段。
2.根据权利要求1所述的虚拟现实显示设备，其特征在于，所述变焦组件为液态变焦组件。
3.根据权利要求2所述的虚拟现实显示设备，其特征在于，所述变焦组件包含单个液态镜头，或者，所述变焦组件包含叠加设置的至少两个液态镜头。
4.根据权利要求1至3任一所述的虚拟现实显示设备，其特征在于，所述变焦组件具有的至少两个焦段中，每相邻两个焦段之间存在部分重叠。
5.根据权利要求1所述的虚拟现实显示设备，其特征在于，所述眼动跟踪摄像头设置在所述第一显示屏中。
6.根据权利要求5所述的虚拟现实显示设备，其特征在于，
所述第一显示屏中包含挖孔区域，所述眼动跟踪摄像头设置在所述挖空区域中；
或者，
所述眼动跟踪摄像头是所述第一显示屏的屏下摄像头。
7.根据权利要求5所述的虚拟现实显示设备，其特征在于，眼动跟踪摄像头设置在所述第一显示屏的屏幕中心位置。
8.根据权利要求1所述的虚拟现实显示设备，其特征在于，所述虚拟现实显示设备还包括处理器，所述处理器分别与所述第一显示屏、所述第二显示屏、所述变焦组件以及所述眼动跟踪摄像头电性相连。
9.一种虚拟现实画面呈现方法，其特征在于，所述方法由权利要求1至8任一所述的虚拟现实显示设备执行，所述方法包括：
通过所述虚拟现实显示设备中的第一显示屏显示虚拟现实场景的第一图像元素；
通过所述虚拟现实显示设备中的第二显示屏显示所述虚拟现实场景的第二图像元素；所述第二图像元素经过所述虚拟现实显示设备中的变焦组件的变焦，以及经过半反射透镜反射后，与所述第一图像元素叠加呈现所述虚拟现实场景的场景画面；
响应于所述虚拟现实显示设备的佩戴者的眼球焦点位置发生改变，通过所述第二显示屏显示更新后的所述第二图像元素；所述第二图像元素经过所述变焦组件变焦，以及经过半反射透镜反射后，与所述第一图像元素叠加呈现所述虚拟现实场景的场景画面；
其中，所述第二图像元素的成像位置，以及所述第二图像元素中包含的图像子元素各自的清晰度与所述眼球焦点位置相关。
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
响应于虚拟现实显示设备的佩戴者的眼球焦点位置发生改变，基于变化后的所述眼球焦点位置，调整所述变焦组件的焦段，以改变所述第二显示屏显示的图像元素的成像位置。
11.根据权利要求10所述的方法，其特征在于，所述响应于虚拟现实显示设备的佩戴者的眼球焦点位置发生改变，基于变化后的所述眼球焦点位置，调整所述变焦组件的焦段，包括：
响应于虚拟现实显示设备的佩戴者的眼球焦点位置发生改变，基于变化后的所述眼球焦点位置，获取所述变焦组件中的液态镜头的目标开关状态；
将所述液态镜头的开关状态调整至所述目标开关状态，以调整所述变焦组件的焦段。
12.根据权利要求9所述的方法，其特征在于，所述方法还包括：
响应于所述虚拟现实显示设备的佩戴者的眼球焦点位置发生改变，基于变化后的所述眼球焦点位置，确定所述第二图像元素中的目标图像子元素；
基于高清晰度的所述目标图像子元素，以及虚化后的其它图像子元素，生成更新后的所述第二图像元素；
其中，所述其它图像子元素是所述第二图像元素中除了所述目标图像子元素之外的图像子元素。
13.一种虚拟现实画面呈现装置，其特征在于，所述装置用于如权利要求1至8任一所述的虚拟现实显示设备中，所述装置包括：
第一显示模块，用于通过所述虚拟现实显示设备中的第一显示屏显示虚拟现实场景的第一图像元素；
第二显示模块，用于通过所述虚拟现实显示设备中的第二显示屏显示所述虚拟现实场景的第二图像元素；所述第二图像元素经过所述虚拟现实显示设备中的变焦组件的变焦，以及经过半反射透镜反射后，与所述第一图像元素叠加呈现所述虚拟现实场景的场景画面；
所述第二显示模块，还用于响应于所述虚拟现实显示设备的佩戴者的眼球焦点位置发生改变，通过所述第二显示屏显示更新后的所述第二图像元素；所述第二图像元素经过所述变焦组件变焦，以及经过半反射透镜反射后，与所述第一图像元素叠加呈现所述虚拟现实场景的场景画面；
其中，所述第二图像元素的成像位置，以及所述第二图像元素中包含的图像子元素各自的清晰度与所述眼球焦点位置相关。
14.一种虚拟现实显示设备，其特征在于，所述虚拟现实显示设备是如权利要求1至8任一所述的虚拟现实显示设备；
所述虚拟现实显示设备包含存储器，所述存储器中存储有至少一条计算机指令，所述至少一条计算机指令由所述虚拟现实显示设备中的处理器加载并执行以实现如权利要求9至12任一所述的虚拟现实画面呈现方法。
15.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条计算机指令，所述至少一条计算机指令由虚拟现实显示设备中的处理器加载并执行以实现如权利要求9至12任一所述的虚拟现实画面呈现方法；
其中，所述虚拟现实显示设备是如权利要求1至8任一所述的虚拟现实显示设备。
CN202110679823.1A 2021-06-18 2021-06-18 虚拟现实显示设备、画面呈现方法、装置及存储介质 Active CN113419350B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110679823.1A CN113419350B (zh) 2021-06-18 2021-06-18 虚拟现实显示设备、画面呈现方法、装置及存储介质
EP22824061.0A EP4354201A1 (en) 2021-06-18 2022-06-01 Virtual reality display device, image presentation method, storage medium and program product
PCT/CN2022/096642 WO2022262581A1 (zh) 2021-06-18 2022-06-01 虚拟现实显示设备、画面呈现方法、存储介质及程序产品
US18/144,939 US11860375B2 (en) 2021-06-18 2023-05-09 Virtual reality display device and method for presenting picture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110679823.1A CN113419350B (zh) 2021-06-18 2021-06-18 虚拟现实显示设备、画面呈现方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN113419350A true CN113419350A (zh) 2021-09-21
CN113419350B CN113419350B (zh) 2023-05-23

Family

ID=77789297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110679823.1A Active CN113419350B (zh) 2021-06-18 2021-06-18 虚拟现实显示设备、画面呈现方法、装置及存储介质

Country Status (4)

Country Link
US (1) US11860375B2 (zh)
EP (1) EP4354201A1 (zh)
CN (1) CN113419350B (zh)
WO (1) WO2022262581A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114268786A (zh) * 2021-12-22 2022-04-01 小派科技（上海）有限责任公司 用于虚拟现实装置的光学***和虚拟现实装置
CN114911445A (zh) * 2022-05-16 2022-08-16 歌尔股份有限公司 虚拟现实设备的显示控制方法、虚拟现实设备及存储介质
WO2022262581A1 (zh) * 2021-06-18 2022-12-22 腾讯科技（深圳）有限公司 虚拟现实显示设备、画面呈现方法、存储介质及程序产品
WO2023116541A1 (zh) * 2021-12-22 2023-06-29 华为技术有限公司 眼动追踪装置、显示设备及存储介质
CN117706790A (zh) * 2024-02-05 2024-03-15 奥琳光学科技(苏州)有限公司 一种虚拟现实设备及周边视网膜离焦调节方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104125405A (zh) * 2014-08-12 2014-10-29 罗天明 基于眼球追踪和自动对焦***的图像感兴趣区域提取方法
CN104914575A (zh) * 2014-09-29 2015-09-16 北京蚁视科技有限公司 带有屈光度检测装置的微透镜阵列式近眼显示器
CN105653227A (zh) * 2016-03-22 2016-06-08 北京全景思维科技有限公司 跟踪眼球焦距的头戴式虚拟现实显示设备及显示方法
CN105929537A (zh) * 2016-04-08 2016-09-07 北京骁龙科技有限公司 一种头戴式显示器及其目镜***
CN106950694A (zh) * 2017-03-28 2017-07-14 哈尔滨医科大学 一种外接式改善视力头戴vr装置
CN107272204A (zh) * 2017-06-27 2017-10-20 浙江唯见科技有限公司 自动对焦、多焦面vr显示***
CN108124509A (zh) * 2017-12-08 2018-06-05 深圳前海达闼云端智能科技有限公司 图像显示方法、穿戴式智能设备及存储介质
EP3419287A1 (en) * 2017-06-19 2018-12-26 Nagravision S.A. An apparatus and a method for displaying a 3d image
CN109557677A (zh) * 2017-09-26 2019-04-02 歌尔科技有限公司 显示设备和方法
CN110325895A (zh) * 2017-02-21 2019-10-11 脸谱科技有限责任公司 聚焦调整多平面头戴式显示器
US20190317320A1 (en) * 2018-04-11 2019-10-17 Korea Institute Of Science And Technology Multi-focal augmented reality device
CN111948823A (zh) * 2020-08-21 2020-11-17 香港理工大学 一种可抑制近视加深的虚拟现实设备及其光路结构

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205103763U (zh) * 2015-09-01 2016-03-23 陈科枫 一种增强现实***
US10445860B2 (en) * 2015-12-08 2019-10-15 Facebook Technologies, Llc Autofocus virtual reality headset
CN108886612B (zh) * 2016-02-11 2021-05-25 奇跃公司 减少深度平面之间切换的多深度平面显示***
CN108089332B (zh) * 2017-12-15 2021-04-20 歌尔光学科技有限公司 Vr头戴显示设备及显示方法
CN113419350B (zh) * 2021-06-18 2023-05-23 深圳市腾讯计算机***有限公司 虚拟现实显示设备、画面呈现方法、装置及存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104125405A (zh) * 2014-08-12 2014-10-29 罗天明 基于眼球追踪和自动对焦***的图像感兴趣区域提取方法
CN104914575A (zh) * 2014-09-29 2015-09-16 北京蚁视科技有限公司 带有屈光度检测装置的微透镜阵列式近眼显示器
CN105653227A (zh) * 2016-03-22 2016-06-08 北京全景思维科技有限公司 跟踪眼球焦距的头戴式虚拟现实显示设备及显示方法
CN105929537A (zh) * 2016-04-08 2016-09-07 北京骁龙科技有限公司 一种头戴式显示器及其目镜***
CN110325895A (zh) * 2017-02-21 2019-10-11 脸谱科技有限责任公司 聚焦调整多平面头戴式显示器
CN106950694A (zh) * 2017-03-28 2017-07-14 哈尔滨医科大学 一种外接式改善视力头戴vr装置
EP3419287A1 (en) * 2017-06-19 2018-12-26 Nagravision S.A. An apparatus and a method for displaying a 3d image
CN107272204A (zh) * 2017-06-27 2017-10-20 浙江唯见科技有限公司 自动对焦、多焦面vr显示***
CN109557677A (zh) * 2017-09-26 2019-04-02 歌尔科技有限公司 显示设备和方法
CN108124509A (zh) * 2017-12-08 2018-06-05 深圳前海达闼云端智能科技有限公司 图像显示方法、穿戴式智能设备及存储介质
US20190317320A1 (en) * 2018-04-11 2019-10-17 Korea Institute Of Science And Technology Multi-focal augmented reality device
CN111948823A (zh) * 2020-08-21 2020-11-17 香港理工大学 一种可抑制近视加深的虚拟现实设备及其光路结构

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022262581A1 (zh) * 2021-06-18 2022-12-22 腾讯科技（深圳）有限公司 虚拟现实显示设备、画面呈现方法、存储介质及程序产品
US11860375B2 (en) 2021-06-18 2024-01-02 Tencent Technology (Shenzhen) Company Limited Virtual reality display device and method for presenting picture
CN114268786A (zh) * 2021-12-22 2022-04-01 小派科技（上海）有限责任公司 用于虚拟现实装置的光学***和虚拟现实装置
WO2023116541A1 (zh) * 2021-12-22 2023-06-29 华为技术有限公司 眼动追踪装置、显示设备及存储介质
CN114911445A (zh) * 2022-05-16 2022-08-16 歌尔股份有限公司 虚拟现实设备的显示控制方法、虚拟现实设备及存储介质
CN117706790A (zh) * 2024-02-05 2024-03-15 奥琳光学科技(苏州)有限公司 一种虚拟现实设备及周边视网膜离焦调节方法
CN117706790B (zh) * 2024-02-05 2024-05-24 奥琳光学科技(苏州)有限公司 一种虚拟现实设备及周边视网膜离焦调节方法

Also Published As

Publication number Publication date
CN113419350B (zh) 2023-05-23
EP4354201A1 (en) 2024-04-17
WO2022262581A1 (zh) 2022-12-22
US11860375B2 (en) 2024-01-02
US20230273447A1 (en) 2023-08-31

Similar Documents

Publication Publication Date Title
US11710469B2 (en) Depth based foveated rendering for display systems
CN113419350B (zh) 虚拟现实显示设备、画面呈现方法、装置及存储介质
JP7096836B2 (ja) ディスプレイシステムのための深度ベース中心窩化レンダリング
US9791926B2 (en) Light management for image and data control
US10048750B2 (en) Content projection system and content projection method
US9961335B2 (en) Pickup of objects in three-dimensional display
JP2019091051A (ja) 表示装置、およびフォーカスディスプレイとコンテキストディスプレイを用いた表示方法
US10271722B2 (en) Imaging to facilitate object observation
US8988463B2 (en) Sympathetic optic adaptation for see-through display
CN109983755A (zh) 基于眼睛跟踪自动聚焦的图像捕获***、设备和方法
JP2023518421A (ja) 網膜結像および追跡のためのシステムおよび方法
US9961257B2 (en) Imaging to facilitate object gaze
CN204595327U (zh) 头戴式显示装置
US10901214B2 (en) Method and device for controlling display of image and head-mounted display
CN104898276A (zh) 头戴式显示装置
WO2018076202A1 (zh) 能够进行人眼追踪的头戴式可视设备及人眼追踪方法
CN107991775B (zh) 能够进行人眼追踪的头戴式可视设备及人眼追踪方法
JP2020515090A (ja) 画像レンダラと光コンバイナとを用いる表示装置および表示方法
CN204595328U (zh) 头戴式显示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40051842

Country of ref document: HK

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220216

Address after: 518057 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 floors

Applicant after: Shenzhen Tencent Computer System Co.,Ltd.

Address before: 518057 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 floors

Applicant before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

GR01 Patent grant
GR01 Patent grant