CN107516335A - 虚拟现实的图形渲染方法和装置 - Google Patents

虚拟现实的图形渲染方法和装置 Download PDF

Info

Publication number
CN107516335A
CN107516335A CN201710691256.5A CN201710691256A CN107516335A CN 107516335 A CN107516335 A CN 107516335A CN 201710691256 A CN201710691256 A CN 201710691256A CN 107516335 A CN107516335 A CN 107516335A
Authority
CN
China
Prior art keywords
image
angle
resolution
human eye
resolution ratio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710691256.5A
Other languages
English (en)
Inventor
戴天荣
张信
蔡磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Optical Technology Co Ltd
Original Assignee
Goertek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Inc filed Critical Goertek Inc
Priority to CN201710691256.5A priority Critical patent/CN107516335A/zh
Publication of CN107516335A publication Critical patent/CN107516335A/zh
Priority to PCT/CN2018/096858 priority patent/WO2019033903A1/zh
Priority to US16/638,734 priority patent/US10859840B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了虚拟现实的图形渲染方法和装置，根据获取的头戴式虚拟现实设备的空间位置信息与方向信息，按照第一角度分辨率渲染生成与空间位置信息与方向信息对应的第一图像，根据获取的人眼注视点在显示屏上的位置信息，按照第二角度分辨率渲染生成与人眼注视点位置对应的第二图像，将第一图像和第二图像合成为第三图像。由于本申请对虚拟现实画面进行渲染时，采用的第一角度分辨率和第二角度分辨率是较低角度分辨率，可以有效降低GPU的计算量，提高图像渲染效率。

Description

虚拟现实的图形渲染方法和装置
技术领域
本申请涉及虚拟现实技术领域，尤其涉及一种虚拟现实的图形渲染方法和装置。
背景技术
现有的虚拟现实(简称VR)设备需要支持的显示分辨率要求越来越高，从1k，2k到4k，未来甚至需要支持8k，16k的屏幕分辨率，以消除显示的纱窗效应，增强虚拟环境下的显示效果的真实性。但是另一个方面，越来越高的显示分辨率，对VR设备的图形处理单元(简称GPU)的3D图形渲染能力也提出越来越大的挑战。当GPU性能不足时，图形渲染质量与图形渲染输出帧率之间则需要进行妥协，要么降低图形渲染的画质要求，要么降低渲染输出帧率。而对于VR应用场景来说，输出帧率是一个关键指标，当输出帧率不足时会导致用户眩晕。另一方面即使GPU性能足够，因为图形渲染的计算负载很重，这会导致VR设备电流消耗较大，并产生持续发热的问题。
因此，对VR产品设计中的主动与被动散热等设计提出较高要求，有效降低GPU的渲染工作量成为解决上述各方面问题的一个重要方向。
发明内容
为了解决上述问题，本申请提供一种虚拟现实的图形渲染方法和装置，可以减少图形渲染的计算量，提高图形渲染的输出帧率。
本申请提供一种虚拟现实的图形渲染方法，包括：
根据获取的头戴式虚拟现实设备的空间位置信息与方向信息，按照第一角度分辨率渲染生成与所述空间位置信息与方向信息对应的第一图像，所述第一角度分辨率小于显示屏的角度分辨率，所述第一图像为对应于虚拟现实设备视场角的整体图像，角度分辨率是指在视场角范围内，每度视场角对应的像素点个数；
根据获取的人眼注视点在显示屏上的位置信息，按照第二角度分辨率渲染生成与人眼注视点位置对应的第二图像，所述第二角度分辨率等于显示屏的角度分辨率，所述第二图像为所述人眼注视点位置周围的局部图像；
将第一图像和第二图像合成为第三图像。
可选地，所述第一角度分辨率是根据预设的百分比乘以显示屏的角度分辨率得到，预设的百分比根据所需要的图形渲染质量与图形渲染计算量之间的平衡点进行确定。
可选地，所述第二角度分辨率为虚拟现实设备的显示屏角度分辨率，根据预设的局部图像水平视场角和垂直视场角乘以第二角度分辨率得到局部图像的分辨率，预设的局部图像水平视场角和垂直视场角是根据所需要的注视点渲染效果的图像范围进行确定的。
可选地，根据获取的人眼注视点在显示屏上的人眼注视点位置信息，按照第二角度分辨率生成与所述人眼注视点位置对应的第二图像，包括：
根据人眼注视点位置信息，结合头戴式虚拟现实设备的方向信息，确定人眼注视点方向信息；
根据人眼注视点位置信息和人眼注视点方向信息，按照第二角度分辨率生成与所述人眼注视点位置信息和人眼注视点方向信息对应的第二图像。
可选地，将第一图像和第二图像合成为第三图像，包括：
通过插值方法将第一图像的分辨率重建为与显示屏的分辨率相同；
根据人眼注视点位置信息，将第二图像覆盖到高分辨率重建后的第一图像中的与人眼注视点位置信息相对应的位置，得到第三图像；
对第三图像的拼接边界进行平滑融合处理。
可选地，将第一图像的低分辨率重建为与显示屏的分辨率相同的高分辨率，包括：
对低分辨率的第一图像进行空间转化，得到其YCbCr空间图像，其中Y是非线性亮度分量，Cb是蓝色色差分量，Cr是红色色差分量，对Cb、Cr分量利用插值方法进行重建；
构造用于训练的数据库，即高分辨率图像块Xh和低分辨率图像块Xl，并组合成数据库X；
对数据库X利用稀疏编码方法生成字典D，并分解为高分辨率图像的字典Dh和低分辨率图像的字典Dl；
利用Dl和低分辨率的第一图像2倍上采样的图像对应的特征图像来求解稀疏系数；
通过稀疏系数和Dh，求解低分辨率的第一图像3倍上采样的图像，即Y分量；
将Y、Cb、Cr组合得到YCbCr图像，并转化为RGB图像，进行存储，就得到了高分辨率重建后的第一图像。
可选地，对第三图像的拼接边界进行平滑融合处理，包括：
利用公式加权平滑公式Y＝Y1*(1-d)+Y2*d，将第三图像的拼接边界处的YUV颜色编码数据平滑处理到整个图像YUV颜色编码数据，其中，Y1和Y 2分别是拼接边界处相邻图像YUV颜色编码数据的值，Y是拼接边界处重叠后的图像YUV颜色编码数据的值，d为权值；
将非拼接边界处的YUV颜色编码数据直接复制到整个图像YUV颜色编码数据中进行过渡处理。
本申请还提供一种虚拟现实的图形渲染装置，包括：
第一图像生成模块，用于根据获取的头戴式虚拟现实设备的空间位置信息与方向信息，按照第一角度分辨率渲染生成与所述空间位置信息与方向信息对应的第一图像，所述第一角度分辨率小于显示屏的角度分辨率，所述第一图像为对应于虚拟现实设备视场角的整体图像，角度分辨率是指在视场角范围内，每度视场角对应的像素点个数；
第二图像生成模块，用于根据获取的人眼注视点在显示屏上的位置信息，按照第二角度分辨率渲染生成与人眼注视点位置对应的第二图像，所述第二角度分辨率等于显示屏的角度分辨率，所述第二图像为所述人眼注视点位置周围的局部图像；
第三图像生成模块，用于将第一图像和第二图像合成为第三图像。
可选地，所述第一角度分辨率是根据预设的百分比乘以显示屏的角度分辨率得到，预设的百分比根据所需要的图形渲染质量与图形渲染计算量之间的平衡点进行确定。
可选地，所述第二角度分辨率为虚拟现实设备的显示屏角度分辨率，根据预设的局部图像水平视场角和垂直视场角乘以第二角度分辨率得到局部图像的分辨率，预设的局部图像水平视场角和垂直视场角是根据所需要的注视点渲染效果的图像范围进行确定的。
本申请实施例根据获取的头戴式虚拟现实设备的空间位置信息与方向信息，按照第一角度分辨率渲染生成与所述空间位置信息与方向信息对应的第一图像，所述第一角度分辨率小于显示屏的角度分辨率，所述第一图像为对应于虚拟现实设备FOV的整体图像；根据获取的人眼注视点在显示屏上的位置信息，按照第二角度分辨率渲染生成与所述人眼注视点位置对应的第二图像，所述第二角度分辨率等于显示屏的角度分辨率，所述第二图像为所述人眼注视点位置周围的局部图像；将第一图像和第二图像合成为第三图像。本申请通过GPU对虚拟现实画面进行渲染时，采用较低角度分辨率渲染生成整体图像，对人眼注视点周围局部图像采用与显示屏相同的角度分辨率渲染生成局部清晰图像，然后将整体图像和局部清晰图像进行融合，生成一个最终图像发送给虚拟现实显示屏用于显示，可以有效降低GPU的计算量，提高图像渲染效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的虚拟现实的图形渲染方法的流程示意图；
图2为本申请实施例采用的视场角示意图；
图3为本申请实施例采用的图像合成示意图；
图4为本申请一实施例提供的虚拟现实的图形渲染装置结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
应当理解，尽管在本申请实施例中可能采用术语第一、第二、第三等来描述XXX，但这些XXX不应限于这些术语。这些术语仅用来将XXX彼此区分开。例如，在不脱离本申请实施例范围的情况下，第一XXX也可以被称为第二XXX，类似地，第二XXX也可以被称为第一XXX。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者***中还存在另外的相同要素。
虚拟现实是指一种将虚拟化技术加到用户感官上再来观察世界的方式，通过科学技术模拟仿真后再叠加到现实世界被用户所感知，从而达到超现实的感官体验。
本申请的一种应用场景举例如下：
用户移动佩戴虚拟现实(Virtual Reality，VR)头显的头部，由传感器(IMU九轴传感器、空间位置传感器等)生成头部的空间位置与方向信息，传递头部位置与方向信息到VR游戏引擎,VR游戏引擎进行游戏状态更新，VR游戏引擎根据游戏状态与最新的头部位置与方向信息，通过图形应用程序编程接口(Application Programming Interface，API)接口，向图形处理器(Graphics Processing Unit，GPU)提交图形渲染指令，GPU渲染完成并输出对应左右眼的2幅2D图像，发送至VR显示屏进行显示。由于每一帧单眼图像渲染会输出一幅2D图像，其分辨率和视场角(Field of Vision，FOV)与VR设备的显示屏的分辨率和FOV相同，因其分辨率较高，且VR对渲染精度的要求也比较高，因此渲染计算量非常大。
本申请解决的技术问题是如何降低VR设备的图形处理单元GPU的图形渲染计算量。其中，VR设备包括头戴式VR设备。
图1为本申请一实施例提供的虚拟现实的图形渲染方法的流程示意图，如图1所示，包括:
101、获取VR设备的空间位置信息与方向信息，获取人眼注视点在显示屏上的人眼注视点位置信息；
本申请实施例中，主要可以通过空间定位技术获取头戴式VR设备的空间位置信息与方向信息。目前的VR设备的空间定位方式主要有两种，一种是只支持3自由度(3DOF，Degree of Freedom)的基本空间定位，另一种是支持6DOF的空间定位。3DOF定位仅输出头显的方向信息(pitch，yaw,roll)，这种情况下进行图形渲染时使用固定的位置作为头显的空间位置信息；6DOF定位除了输出方向信息还输出空间位置信息(x,y,z)。空间定位技术可以是现有技术中任一可以实现头戴式VR设备的空间位置信息与方向信息获取的技术，本申请对此不作限定。通常3DOF信息由9轴传感器获得，6DOF中的空间位置信息可以由基于激光/红外摄像头的outside-in方案获得，也可以由基于计算视觉的inside-out方案(SLAM)获得。例如，在用户的头戴式VR设备上安装有摄像头，使得摄像头所采集的图像随着头部的移动而发生移动，图像中的物体或图像中的特征点或物体边缘随着头部的移动而发生移动；通过摄像头连续采集的周围物体的图像，通过对物体图像进行分析，获取图片中位置连续变化的信息，由此可以获取头戴式VR设备的空间位置信息与方向信息。
由于人眼的视场角是有限的，一般而言，映在人眼视网膜上的图像，只有中心部分能分辨清楚，这部分通常叫分辨视域，约视场角8度到15度。从视场角15到30度之间部分称为有效视域，在有效视域中用户能看清物体的存在和动作，虽然不需要转动头部也能看清楚，但是分辨力已经下降了。视场角超过30度的周边部分称为诱导视野，只能感觉物体的存在，不能看清楚是什么物体。
本申请实施例中，通过上述人眼特性，采用人眼追踪技术获取人眼注视点在显示屏上的人眼注视点位置信息。例如，可以利用电子/光学等各种检测手段获取用户当前“注视方向”的技术。它是利用眼球转动时相对位置不变的某些眼部结构和特征作为参照，在位置变化特征和这些不变特征之间提取视线变化参数，而后通过几何模型或映射模型获取视线方向。
其中，根据人眼提取的特征一般有3类：1)瞳孔中心与角膜反射的向量；2)角膜反射矩阵；3)虹膜的椭圆边界。目前基于眼睛视频分析的视频追踪***(VOG)普遍使用瞳孔-角膜反射方法，通过追踪瞳孔中心和角膜反射的相对位置获得视线方向。角膜反射是光源(一般是近红外光源)在角膜表面反射形成的虚像，相机获取到的眼睛图像中的瞳孔经过角膜折射后形成的虚像。例如，捕获的眼睛图像，经图像处理提取瞳孔中心与光斑位置信息，提取出平面视线方向参数，然后由建立好的数学模型将平面信息转化为人眼空间视线信息数据。
本申请实施例中，可以预先在头戴VR设备内预置视线映射关系。视线映射关系为人眼空间视线信息数据与头戴VR设备上的图像显示源的左右像素点对的坐标之间的映射关系(亦可称为视线-屏幕坐标映射关系)。
本实施例中获取人眼注视点在显示屏上的人眼注视点位置信息具体为：
视线追踪***记录用户注视某一目标物时的人眼空间视线信息数据。具体为：在用户通过头戴VR设备看外界环境时，视线追踪***实时追踪用户眼球的视线变化，当用户注视某一目标物时，视线追踪***计算此时用户的人眼空间视线信息数据，从而根据传送的人眼空间视线信息数据及视线映射关系，获得对应的图像显示源像素点对的坐标位置数据，即为人眼注视点位置信息。
102、根据VR设备的空间位置信息与方向信息，按照第一角度分辨率渲染生成与所述空间位置信息与方向信息对应的第一图像；
本申请实施例采用的第一角度分辨率小于显示屏的角度分辨率，所述第一图像为对应于虚拟现实设备视场角的整体图像，角度分辨率是指在视场角范围内，每度视场角对应的像素点个数；假设VR设备的显示分辨率为单眼1200*1080，水平FOV为100度，垂直FOV为90度，则水平角度分辨率为1200/100＝12像素/度；垂直角度分辨率为：1080/90＝12像素/度。因此，本发明实施例所述的第一角度分辨率是根据预设的百分比乘以显示屏的角度分辨率得到，预设的百分比根据所需要的图形渲染质量与图形渲染计算量之间的平衡点进行确定。
需要说明的是，如果对图形渲染质量要求高，则图形渲染计算量自然大，此时，会降低图形渲染输出帧率，如果为了提高图形渲染输出帧率，必然要降低图形渲染计算量，也就是要降低图形渲染质量，因此，图形渲染质量与图形渲染计算量之间是成反比关系，也就是在实际应用中，图形渲染质量与图形渲染计算量是需要进行妥协，要么降低图形渲染的质量要求，要么降低图形渲染计算量，在实现本发明的过程中，根据大量的用户VR体验的反馈信息，当VR设备的输出帧率小于一定的输出帧率阈值时才会导致用户眩晕，因此，本发明实施例中，可以根据输出帧率阈值确定对应的图形渲染计算量阈值，根据图形渲染计算量阈值确定对应的图形渲染质量阈值，由此可以得到，图形渲染计算量阈值和图形渲染质量阈值就是上述图形渲染质量与图形渲染计算量之间的平衡点之间的平衡点，根据这个平衡点预设计算第一角度分辨率的百分比。
图2为本申请实施例采用的视场角示意图，如图2所示，假设VR设备的显示分辨率为单眼1200*1080，水平FOV为100度，垂直FOV为90度，水平角度分辨率为1200/100＝12个像素点。假设第一角度分辨率为原分辨率的1/3，即分辨率为400×360，在GPU渲染程序中输入VR设备的空间位置信息与方向信息、水平FOV为100度、垂直FOV为90度以及分辨率400×360，GPU生成第一图像，因此，第一图像是整体的低分辨率图像，按照正常渲染精度，但以较低分辨率进行渲染，从而可以大幅减少渲染计算量。
103、根据人眼注视点位置信息，按照第二角度分辨率渲染生成与所述人眼注视点位置信息对应的第二图像；
人眼注视点的基本运动方式有注视和跳动，注视时一般持续时间在100ms以上才能看清物体。而在眼球追踪***中，摄像头的帧率通常在60Hz以上，每帧图像的捕获以及算法计算耗时，通常在30ms以下。因此在决定局部图像的FOV时，通常只考虑注视分辨视域时有效视域和诱导视野内的拼接线对视觉的干扰效应，而不考虑人眼转动速度因素。
本申请实施例中先根据人眼注视点位置信息确定第二图像的区域范围，其中，第二图像为所述人眼注视点位置周围的局部图像根据第二图像的区域范围，按照第二角度分辨率渲染生成对应的第二图像。
其中，第二角度分辨率为虚拟现实设备的显示屏角度分辨率，根据预设的局部图像水平视场角和垂直视场角乘以第二角度分辨率得到局部图像的分辨率；由于局部图像越小，注视点渲染效果越差，因为视野内离注视点较近区域的显示清晰度会对人的观察效果产生影响；局部图像越大，低清晰度的***区域离的越远，对观察效果的影响越小；因此，预设的局部图像水平视场角和垂直视场角是根据所需要的注视点渲染效果的图像范围进行确定的。
需要说明的是，如果没有使用注视点渲染技术的，整个图像画面相当清晰，但是GPU的计算量和功耗都相当大。如果使用了注视点渲染技术，则只有眼球注视的地方画面清晰，其他地方则相对模糊，这样一来，GPU的计算量大幅度降低了。这里，眼球注视的地方画面清晰其实就是利用眼球追踪***得到人眼注视点，在人眼注视点周围的局部图像的渲染效果会好一些，而其他地方的渲染效果会以注视点为圆形逐渐降低，因此，可以根据所需要的注视点渲染效果的图像范围来确定局部图像水平视场角和垂直视场角。
举例来说，由于第二图像是整体图像的局部图片，使用的渲染FOV要比原整体FOV要小，比如水平40度，垂直36度。由于第二图像是人眼注视点周围的局部清晰图，因此需要保持原来的清晰度，即角度分辨率(如12像素/度)不变，则对应的分辨率为480×432(12×40＝480，12×36＝432)。采用人眼注视点位置信息与头部方向信息计算出新的方向信息。
需要说明的是，按照第二角度分辨率渲染生成对应的第二图像时，需要根据人眼注视点位置信息，结合头戴式虚拟现实设备的方向信息，确定人眼注视点方向信息；进而根据头部位置信息和人眼注视点方向信息，按照第二角度分辨率渲染生成与所述人眼注视点位置信息和人眼注视点方向信息对应的第二图像。举例来说，一般VR图形渲染时，提交给GPU的头部方向信息，也就是人眼直视前方时注视点所对应的方向信息，此时注视点位于VR透镜光轴与显示平面的交点O，交点O在显示平面上的位置为已知信息。人眼到光轴与显示平面交点O的矢量设为V1(即头部方向信息)，V1与显示平面垂直，设注视点为F(已知)，在显示平面的交点O到注视点F的矢量为V2(V2＝F–O)，人眼到注视点F的矢量V3＝V1+V2，V3即为所求的人眼注视点方向信息。
104、将第一图像和第二图像合成为第三图像。
具体实现时包括：
通过插值等方法将第一图像的分辨率重建为与显示屏的分辨率相同，也就是说，将第一图像的分辨率通过插值等方法进行原来的高分辨率重建；
根据人眼注视点位置信息，将第二图像覆盖到高分辨率重建后的第一图像中的与人眼注视点位置信息相对应的位置(可以是矩形覆盖，或者处理成圆形再覆盖)，得到第三图像；图3为本申请实施例采用的图像合成示意图，如图3所示，局部清晰图像为第二图像，整体低清晰度图像为第一图像。
对第三图像的拼接边界进行平滑融合处理，例如对第三图像的边界区域通过低通滤波等方法进行平滑融合处理。
在一种可选的实施方式中，将第一图像的分辨率通过插值等方法进行原来的高分辨率重建的具体实现过程包括：
对低分辨率的第一图像进行空间转化，得到其YCbCr空间图像，其中Y是非线性亮度分量，Cb是蓝色色差分量，Cr是红色色差分量，对Cb、Cr分量利用插值方法进行重建；
构造用于训练的数据库，即高分辨率图像块Xh和低分辨率图像块Xl，并组合成数据库X；
对数据库X利用稀疏编码方法生成字典D，并分解为高分辨率图像的字典Dh和低分辨率图像的字典Dl；
利用Dl和低分辨率的第一图像2倍上采样的图像对应的特征图像来求解稀疏系数；
通过稀疏系数和Dh，求解低分辨率的第一图像3倍上采样的图像，即Y分量；
将Y、Cb、Cr组合得到YCbCr图像，并转化为RGB图像，进行存储，就得到了高分辨率重建后的第一图像。
其中，上述插值方法可以是双三次插值方法。
上述对Y分量记为lIm，进行2倍上采样，得到对应的近似2倍高分辨率图像fIm，它对应的采样数据作为对应Dh的来源，而fIm进行1/3下采样的结果lfIm，再进行2倍上采样的结果作为Dl的数据源l2bfIm；对应lfIm的是逐点采样3x3的图像块，其重叠采样部分overlap＝2，而对应fIm则是采样9x9的图像块，相应重叠部分为3*overlap，对应l2bfIm则是采样6x6的图像块，相应重叠部分为2*overlap；Xh是对当前块减去均值得到的结果，而Xl是对l2bfIm求解其特征图。
上述对Xh和Xl分别进行归一化，拼接成一个数据X，并进行归一化，然后利用稀疏编码Sparse Coding方法进行训练，最终将得到的D再拆分成Dh和Dl。
上述可以通过滤波器求解相应的特征图像，进行6x6的采样得到四组采样数据，而采样过程中对应于给定的低分辨率彩色图像的lIm的重叠部分overlap，fIm的特征图像的图像块的重叠部分为2*overlap，然后利用该数据得到对应图像块的稀疏系数α。
上述利用α以及Dh求解得到Xh后，增加fIm的均值得到最终高分辨率图像块；而对于边界，对给定的低分辨率彩色图像通过插值进行3倍上采样得到最终边界图像块；将最终高分辨率图像块和最终边界图像块合成Y分量，其中对于重叠图像块取均值。
因此，本实施例的高分辨率重建方法可以在没有高分辨率图像库的前提下，直接通过自身的低分辨率图像，构造近似高分辨率图像，然后建立采样块，并得到相应的训练字典，然后借助此时训练的低分辨率图像的字典Dl，通过稀疏表示理论求出相应的稀疏系数，最后将该稀疏系数复用于高分辨率图像的字典Dh，重建得到高分辨率图像。
在一种可选的实施方式中，对第三图像的拼接边界进行平滑融合处理具体包括：
利用公式加权平滑公式Y＝Y1*(1-d)+Y2*d，将第三图像的拼接边界处的YUV颜色编码数据平滑处理到整个图像YUV颜色编码数据，其中，Y1和Y 2分别是拼接边界处相邻图像YUV颜色编码数据的值，Y是拼接边界处重叠后的图像YUV颜色编码数据的值，d为权值；
将非拼接边界处的YUV颜色编码数据直接复制到整个图像YUV颜色编码数据中进行过渡处理。
需要说明的是，本申请的技术方案可以在GPU程序的外部实现注视点渲染，也就是说，在GPU程序不需要支持注视点渲染的情况下，也能在3D引擎的插件中实现本申请实施例所述的注视点渲染所需的输出图像(第三图像)。
本申请实施例根据获取的头戴式虚拟现实设备的空间位置信息与方向信息，按照第一角度分辨率渲染生成与所述空间位置信息与方向信息对应的第一图像，所述第一角度分辨率小于显示屏的角度分辨率，所述第一图像为对应于虚拟现实设备FOV的整体图像；根据获取的人眼注视点在显示屏上的位置信息，按照第二角度分辨率渲染生成与所述人眼注视点位置对应的第二图像，所述第二角度分辨率等于显示屏的角度分辨率，所述第二图像为所述人眼注视点位置周围的局部图像；将第一图像和第二图像合成为第三图像。本申请通过GPU对虚拟现实画面进行渲染时，采用较低角度分辨率渲染生成整体图像，对人眼注视点周围局部图像采用与显示屏相同的角度分辨率渲染生成局部清晰图像，然后将整体图像和局部清晰图像进行融合，生成一个最终图像发送给虚拟现实显示屏用于显示，可以有效降低GPU的计算量，提高图像渲染效率。
图4为本申请一实施例提供的虚拟现实的图形渲染装置结构示意图，如图4所示，包括：
第一图像生成模块，用于根据获取的头戴式虚拟现实设备的空间位置信息与方向信息，按照第一角度分辨率渲染生成与所述空间位置信息与方向信息对应的第一图像，所述第一角度分辨率小于显示屏的角度分辨率，所述第一图像为对应于虚拟现实设备视场角的整体图像，角度分辨率是指在视场角范围内，每度视场角对应的像素点个数；
第二图像生成模块，用于根据获取的人眼注视点在显示屏上的位置信息，按照第二角度分辨率渲染生成与人眼注视点位置对应的第二图像，所述第二角度分辨率等于显示屏的角度分辨率，所述第二图像为所述人眼注视点位置周围的局部图像；
第三图像生成模块，用于将第一图像和第二图像合成为第三图像。
其中，所述第一角度分辨率是根据预设的百分比乘以显示屏的角度分辨率得到，预设的百分比根据所需要的图形渲染质量与图形渲染计算量之间的平衡点进行确定。
其中，所述第二角度分辨率为虚拟现实设备的显示屏角度分辨率，根据预设的局部图像水平视场角和垂直视场角乘以第二角度分辨率得到局部图像的分辨率，预设的局部图像水平视场角和垂直视场角是根据所需要的注视点渲染效果的图像范围进行确定的。
其中，所述第二图像生成模块具体用于：
根据人眼注视点位置信息，结合头戴式虚拟现实设备的方向信息，确定人眼注视点方向信息；
根据人眼注视点位置信息和人眼注视点方向信息，按照第二角度分辨率生成与所述人眼注视点位置信息和人眼注视点方向信息对应的第二图像。
其中，所述第三图像生成模块具体用于：
将第一图像的分辨率重建为与显示屏的分辨率相同，具体实现参考上述图1实施例中的相关描述；
根据人眼注视点位置信息，将第二图像覆盖到高分辨率重建后的第一图像中的与人眼注视点位置信息相对应的位置，得到第三图像；
对第三图像的拼接边界进行平滑融合处理，具体实现参考上述图1实施例中的相关描述。
本申请实施例所述的装置可以根据获取的头戴式虚拟现实设备的空间位置信息与方向信息，按照第一角度分辨率渲染生成与所述空间位置信息与方向信息对应的第一图像，所述第一角度分辨率小于显示屏的角度分辨率，所述第一图像为对应于虚拟现实设备FOV的整体图像；根据获取的人眼注视点在显示屏上的位置信息，按照第二角度分辨率渲染生成与所述人眼注视点位置对应的第二图像，所述第二角度分辨率等于显示屏的角度分辨率，所述第二图像为所述人眼注视点位置周围的局部图像；将第一图像和第二图像合成为第三图像。本申请通过GPU对虚拟现实画面进行渲染时，采用较低角度分辨率渲染生成整体图像，对人眼注视点周围局部图像采用与显示屏相同的角度分辨率渲染生成局部清晰图像，然后将整体图像和局部清晰图像进行融合，生成一个最终图像发送给虚拟现实显示屏用于显示，可以有效降低GPU的计算量，提高图像渲染效率。
本发明实施例中，上述虚拟现实的图形渲染装置的结构中包括图形处理器和存储器，所述存储器用于存储支持上述虚拟现实的图形渲染装置执行上述图1所示实施例中虚拟现实的图形渲染方法的程序，所述图形处理器被配置为用于执行所述存储器中存储的程序。
所述程序包括一条或多条计算机指令，其中，所述一条或多条计算机指令供所述图形处理器调用执行。
本发明实施例还提供了一种计算机存储介质，用于储存虚拟现实的图形渲染装置所用的计算机软件指令，所述计算机软件指令包含了用于执行上述虚拟现实的图形渲染方法为虚拟现实的图形渲染装置所涉及的程序。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种虚拟现实的图形渲染方法，其特征在于，包括：
根据获取的头戴式虚拟现实设备的空间位置信息与方向信息，按照第一角度分辨率渲染生成与所述空间位置信息与方向信息对应的第一图像，所述第一角度分辨率小于显示屏的角度分辨率，所述第一图像为对应于虚拟现实设备视场角的整体图像，角度分辨率是指在视场角范围内，每度视场角对应的像素点个数；
根据获取的人眼注视点在显示屏上的位置信息，按照第二角度分辨率渲染生成与人眼注视点位置信息对应的第二图像，所述第二角度分辨率等于显示屏的角度分辨率，所述第二图像为所述人眼注视点位置周围的局部图像；
将第一图像和第二图像合成为第三图像。
2.根据权利要求1所述的方法，其特征在于，所述第一角度分辨率是根据预设的百分比乘以显示屏的角度分辨率得到，预设的百分比根据所需要的图形渲染质量与图形渲染计算量之间的平衡点进行确定。
3.根据权利要求1所述的方法，其特征在于，所述第二角度分辨率为虚拟现实设备的显示屏角度分辨率，根据预设的局部图像水平视场角和垂直视场角乘以第二角度分辨率得到局部图像的分辨率，预设的局部图像水平视场角和垂直视场角是根据所需要的注视点渲染效果的图像范围进行确定的。
4.根据权利要求1所述的方法，其特征在于，根据获取的人眼注视点在显示屏上的人眼注视点位置信息，按照第二角度分辨率生成与所述人眼注视点位置对应的第二图像，包括：
根据人眼注视点位置信息，结合头戴式虚拟现实设备的方向信息，确定人眼注视点方向信息；
根据人眼注视点位置信息和人眼注视点方向信息，按照第二角度分辨率生成与所述人眼注视点位置信息和人眼注视点方向信息对应的第二图像。
5.根据权利要求1所述的方法，其特征在于，将第一图像和第二图像合成为第三图像，包括：
将第一图像的低分辨率重建为与显示屏的分辨率相同的高分辨率；
根据人眼注视点位置信息，将第二图像覆盖到高分辨率重建后的第一图像中的与人眼注视点位置信息相对应的位置，得到第三图像；
对第三图像的拼接边界进行平滑融合处理。
6.根据权利要求5所述的方法，其特征在于，将第一图像的低分辨率重建为与显示屏的分辨率相同的高分辨率，包括：
对低分辨率的第一图像进行空间转化，得到其YCbCr空间图像，其中Y是非线性亮度分量，Cb是蓝色色差分量，Cr是红色色差分量，对Cb、Cr分量利用插值方法进行重建；
构造用于训练的数据库，即高分辨率图像块Xh和低分辨率图像块Xl，并组合成数据库X；
对数据库X利用稀疏编码方法生成字典D，并分解为高分辨率图像的字典Dh和低分辨率图像的字典Dl；
利用Dl和低分辨率的第一图像2倍上采样的图像对应的特征图像来求解稀疏系数；
通过稀疏系数和Dh，求解低分辨率的第一图像3倍上采样的图像，即Y分量；
将Y、Cb、Cr组合得到YCbCr图像，并转化为RGB图像，进行存储，就得到了高分辨率重建后的第一图像。
7.根据权利要求5所述的方法，其特征在于，对第三图像的拼接边界进行平滑融合处理，包括：
利用公式加权平滑公式Y＝Y1*(1-d)+Y2*d，将第三图像的拼接边界处的YUV颜色编码数据平滑处理到整个图像YUV颜色编码数据，其中，Y1和Y 2分别是拼接边界处相邻图像YUV颜色编码数据的值，Y是拼接边界处重叠后的图像YUV颜色编码数据的值，d为权值；
将非拼接边界处的YUV颜色编码数据直接复制到整个图像YUV颜色编码数据中进行过渡处理。
8.一种虚拟现实的图形渲染装置，其特征在于，包括：
第一图像生成模块，用于根据获取的头戴式虚拟现实设备的空间位置信息与方向信息，按照第一角度分辨率渲染生成与所述空间位置信息与方向信息对应的第一图像，所述第一角度分辨率小于显示屏的角度分辨率，所述第一图像为对应于虚拟现实设备视场角的整体图像，角度分辨率是指在视场角范围内，每度视场角对应的像素点个数；
第二图像生成模块，用于根据获取的人眼注视点在显示屏上的位置信息，按照第二角度分辨率渲染生成与人眼注视点位置对应的第二图像，所述第二角度分辨率等于显示屏的角度分辨率，所述第二图像为所述人眼注视点位置周围的局部图像；
第三图像生成模块，用于将第一图像和第二图像合成为第三图像。
9.根据权利要求8所述的装置，其特征在于，所述第一角度分辨率是根据预设的百分比乘以显示屏的角度分辨率得到，预设的百分比根据所需要的图形渲染质量与图形渲染计算量之间的平衡点进行确定。
10.根据权利要求8所述的装置，其特征在于，所述第二角度分辨率为虚拟现实设备的显示屏角度分辨率，根据预设的局部图像水平视场角和垂直视场角乘以第二角度分辨率得到局部图像的分辨率，预设的局部图像水平视场角和垂直视场角是根据所需要的注视点渲染效果的图像范围进行确定的。
CN201710691256.5A 2017-08-14 2017-08-14 虚拟现实的图形渲染方法和装置 Pending CN107516335A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710691256.5A CN107516335A (zh) 2017-08-14 2017-08-14 虚拟现实的图形渲染方法和装置
PCT/CN2018/096858 WO2019033903A1 (zh) 2017-08-14 2018-07-24 虚拟现实的图形渲染方法和装置
US16/638,734 US10859840B2 (en) 2017-08-14 2018-07-24 Graphics rendering method and apparatus of virtual reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710691256.5A CN107516335A (zh) 2017-08-14 2017-08-14 虚拟现实的图形渲染方法和装置

Publications (1)

Publication Number Publication Date
CN107516335A true CN107516335A (zh) 2017-12-26

Family

ID=60723302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710691256.5A Pending CN107516335A (zh) 2017-08-14 2017-08-14 虚拟现实的图形渲染方法和装置

Country Status (3)

Country Link
US (1) US10859840B2 (zh)
CN (1) CN107516335A (zh)
WO (1) WO2019033903A1 (zh)

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108635851A (zh) * 2018-05-16 2018-10-12 网易（杭州）网络有限公司 一种游戏画面的处理方法和装置
CN108665521A (zh) * 2018-05-16 2018-10-16 京东方科技集团股份有限公司 图像渲染方法、装置、***、计算机可读存储介质及设备
CN108828779A (zh) * 2018-08-28 2018-11-16 北京七鑫易维信息技术有限公司 一种头戴式显示设备
WO2019033903A1 (zh) * 2017-08-14 2019-02-21 歌尔股份有限公司 虚拟现实的图形渲染方法和装置
CN109712224A (zh) * 2018-12-29 2019-05-03 青岛海信电器股份有限公司 虚拟场景的渲染方法、装置及智能设备
CN109727305A (zh) * 2019-01-02 2019-05-07 京东方科技集团股份有限公司 虚拟现实***画面处理方法、装置及存储介质
CN109727316A (zh) * 2019-01-04 2019-05-07 京东方科技集团股份有限公司 虚拟现实图像的处理方法及其***
CN109741289A (zh) * 2019-01-25 2019-05-10 京东方科技集团股份有限公司 一种图像融合方法和vr设备
CN109766011A (zh) * 2019-01-16 2019-05-17 北京七鑫易维信息技术有限公司 一种图像渲染方法和装置
CN109886876A (zh) * 2019-02-25 2019-06-14 昀光微电子（上海）有限公司 一种基于人眼视觉特征的近眼显示方法
CN110163943A (zh) * 2018-11-21 2019-08-23 深圳市腾讯信息技术有限公司 图像的渲染方法和装置、存储介质、电子装置
WO2019169908A1 (en) * 2018-03-06 2019-09-12 Boe Technology Group Co., Ltd. Image processing method and apparatus, virtual reality apparatus, and computer-program product
CN110267025A (zh) * 2019-07-03 2019-09-20 京东方科技集团股份有限公司 虚拟3d显示的渲染方法、装置以及其显示方法、***
CN110324601A (zh) * 2018-03-27 2019-10-11 京东方科技集团股份有限公司 渲染方法、计算机产品及显示装置
CN110378914A (zh) * 2019-07-22 2019-10-25 北京七鑫易维信息技术有限公司 基于注视点信息的渲染方法及装置、***、显示设备
CN110827380A (zh) * 2019-09-19 2020-02-21 北京铂石空间科技有限公司 图像的渲染方法、装置、电子设备及计算机可读介质
WO2020038407A1 (zh) * 2018-08-21 2020-02-27 腾讯科技（深圳）有限公司 一种图像渲染方法、装置及图像处理设备、存储介质
CN110913199A (zh) * 2018-09-14 2020-03-24 北京恒信彩虹信息技术有限公司 一种vr图像传输方法
CN111290581A (zh) * 2020-02-21 2020-06-16 京东方科技集团股份有限公司 虚拟现实显示方法、显示装置及计算机可读介质
CN111292236A (zh) * 2018-12-06 2020-06-16 托比股份公司 使用交叉分辨率调整而减少中央凹注视渲染中的混叠伪像
CN111338591A (zh) * 2020-02-25 2020-06-26 京东方科技集团股份有限公司 一种虚拟现实显示设备及显示方法
CN111476104A (zh) * 2020-03-17 2020-07-31 重庆邮电大学 动态眼位下ar-hud图像畸变矫正方法、装置、***
US10768879B2 (en) 2018-03-06 2020-09-08 Beijing Boe Optoelectronics Technology Co., Ltd. Image processing method and apparatus, virtual reality apparatus, and computer-program product
CN111768352A (zh) * 2020-06-30 2020-10-13 Oppo广东移动通信有限公司 图像处理方法及装置
CN111785229A (zh) * 2020-07-16 2020-10-16 京东方科技集团股份有限公司 一种显示方法、装置及***
CN111930233A (zh) * 2020-08-05 2020-11-13 聚好看科技股份有限公司 一种全景视频图像显示方法及显示设备
CN112313944A (zh) * 2019-11-28 2021-02-02 深圳市大疆创新科技有限公司 图像处理方法、装置、设备及存储介质
CN112578564A (zh) * 2020-12-15 2021-03-30 京东方科技集团股份有限公司 一种虚拟现实显示设备及显示方法
CN112672131A (zh) * 2020-12-07 2021-04-16 聚好看科技股份有限公司 一种全景视频图像显示方法及显示设备
CN112703464A (zh) * 2018-07-20 2021-04-23 托比股份公司 基于用户注视的分布式注视点渲染
CN112887646A (zh) * 2021-01-22 2021-06-01 京东方科技集团股份有限公司 图像处理方法及装置、扩展现实***、计算机设备及介质
CN113223183A (zh) * 2021-04-30 2021-08-06 杭州小派智能科技有限公司 一种基于已有vr内容的渲染方法和***
CN113362449A (zh) * 2021-06-01 2021-09-07 聚好看科技股份有限公司 一种三维重建方法、装置及***
WO2021184533A1 (zh) * 2020-03-20 2021-09-23 深圳市博盛医疗科技有限公司 一种自动优化3d立体感的方法、***及介质
WO2021233016A1 (zh) * 2020-05-20 2021-11-25 京东方科技集团股份有限公司 图像处理方法、vr设备、终端、显示***和计算机可读存储介质
CN114450942A (zh) * 2019-09-30 2022-05-06 京瓷株式会社 摄像机、平视显示器***以及移动体
CN114531904A (zh) * 2020-09-09 2022-05-24 京东方科技集团股份有限公司 Ar/vr图像显示方法、ar/vr图像显示设备和计算机程序产品
CN114554173A (zh) * 2021-11-17 2022-05-27 北京博良胜合科技有限公司 基于Cloud XR的云端简化注视点渲染的方法以及装置
WO2022110903A1 (zh) * 2020-11-25 2022-06-02 上海哔哩哔哩科技有限公司 全景视频渲染方法及***
CN114578940A (zh) * 2020-11-30 2022-06-03 华为技术有限公司 一种控制方法、装置和电子设备
CN114721144A (zh) * 2021-01-04 2022-07-08 宏碁股份有限公司 裸视立体显示器及其控制方法
CN116012474A (zh) * 2022-12-13 2023-04-25 昆易电子科技(上海)有限公司 仿真测试图像生成、回注方法及***、工控机、装置
WO2023202216A1 (zh) * 2022-04-19 2023-10-26 京东方科技集团股份有限公司 图像处理方法、装置及存储介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109741463B (zh) * 2019-01-02 2022-07-19 京东方科技集团股份有限公司 虚拟现实场景的渲染方法、装置及设备
CN112017267B (zh) * 2019-05-28 2023-07-25 上海科技大学 基于机器学习的流体快速合成方法、装置、***和介质
CN111190486B (zh) * 2019-12-27 2023-07-25 季华实验室 一种基于眼睛控制的分区显示方法及装置
GB2595872B (en) * 2020-06-09 2023-09-20 Sony Interactive Entertainment Inc Gaze tracking apparatus and systems
CN114071150B (zh) * 2020-07-31 2023-06-16 京东方科技集团股份有限公司 图像压缩方法及装置、图像显示方法及装置和介质
CN113209604A (zh) * 2021-04-28 2021-08-06 杭州小派智能科技有限公司 一种大视角vr渲染的方法和***
CN113242384B (zh) * 2021-05-08 2023-04-18 聚好看科技股份有限公司 一种全景视频显示方法及显示设备
CN113885822A (zh) * 2021-10-15 2022-01-04 Oppo广东移动通信有限公司 图像数据的处理方法、装置、电子设备以及存储介质
CN116958386A (zh) * 2022-04-12 2023-10-27 华为云计算技术有限公司 一种数据处理的方法、***和设备
CN118037557A (zh) * 2022-11-01 2024-05-14 华为技术有限公司 一种图像数据的处理方法及相关设备
CN117095149B (zh) * 2023-10-18 2024-02-02 广东图盛超高清创新中心有限公司 用于超高清vr现场制作的实时图像处理方法
CN117499614B (zh) * 2023-11-21 2024-04-26 北京视睿讯科技有限公司 一种3d显示方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722865A (zh) * 2012-05-22 2012-10-10 北京工业大学 一种超分辨率稀疏重建方法
CN103003847A (zh) * 2010-05-16 2013-03-27 诺基亚公司 用于渲染基于位置的用户界面的方法和装置
CN104618648A (zh) * 2015-01-29 2015-05-13 桂林长海发展有限责任公司 一种全景视频拼接***及拼接方法
CN105425399A (zh) * 2016-01-15 2016-03-23 中意工业设计（湖南）有限责任公司 一种根据人眼视觉特点的头戴设备用户界面呈现方法
CN106327584A (zh) * 2016-08-24 2017-01-11 上海与德通讯技术有限公司 一种用于虚拟现实设备的图像处理方法及装置
CN106485790A (zh) * 2016-09-30 2017-03-08 珠海市魅族科技有限公司 一种画面显示的方法以及装置
CN106648049A (zh) * 2016-09-19 2017-05-10 上海青研科技有限公司 一种基于眼球追踪及眼动点预测的立体渲染方法
CN106856009A (zh) * 2015-12-09 2017-06-16 想象技术有限公司 视网膜凹式渲染

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3478606B2 (ja) * 1994-10-12 2003-12-15 キヤノン株式会社 立体画像表示方法および装置
US9058053B2 (en) * 2012-10-26 2015-06-16 The Boeing Company Virtual reality display system
CN106652004A (zh) 2015-10-30 2017-05-10 北京锤子数码科技有限公司 基于头戴式可视设备对虚拟现实进行渲染的方法及装置
US9910282B2 (en) 2015-12-28 2018-03-06 Oculus Vr, Llc Increasing field of view of head-mounted display using a mirror
US10157448B2 (en) * 2016-02-12 2018-12-18 Qualcomm Incorporated Foveated video rendering
CN105979224A (zh) 2016-06-23 2016-09-28 青岛歌尔声学科技有限公司 一种头戴显示器、视频输出设备和视频处理方法、***
CN106412563A (zh) 2016-09-30 2017-02-15 珠海市魅族科技有限公司 一种图像显示方法以及装置
CN107516335A (zh) * 2017-08-14 2017-12-26 歌尔股份有限公司 虚拟现实的图形渲染方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103003847A (zh) * 2010-05-16 2013-03-27 诺基亚公司 用于渲染基于位置的用户界面的方法和装置
CN102722865A (zh) * 2012-05-22 2012-10-10 北京工业大学 一种超分辨率稀疏重建方法
CN104618648A (zh) * 2015-01-29 2015-05-13 桂林长海发展有限责任公司 一种全景视频拼接***及拼接方法
CN106856009A (zh) * 2015-12-09 2017-06-16 想象技术有限公司 视网膜凹式渲染
CN105425399A (zh) * 2016-01-15 2016-03-23 中意工业设计（湖南）有限责任公司 一种根据人眼视觉特点的头戴设备用户界面呈现方法
CN106327584A (zh) * 2016-08-24 2017-01-11 上海与德通讯技术有限公司 一种用于虚拟现实设备的图像处理方法及装置
CN106648049A (zh) * 2016-09-19 2017-05-10 上海青研科技有限公司 一种基于眼球追踪及眼动点预测的立体渲染方法
CN106485790A (zh) * 2016-09-30 2017-03-08 珠海市魅族科技有限公司 一种画面显示的方法以及装置

Cited By (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019033903A1 (zh) * 2017-08-14 2019-02-21 歌尔股份有限公司 虚拟现实的图形渲染方法和装置
US10859840B2 (en) 2017-08-14 2020-12-08 Goertek Inc. Graphics rendering method and apparatus of virtual reality
WO2019169908A1 (en) * 2018-03-06 2019-09-12 Boe Technology Group Co., Ltd. Image processing method and apparatus, virtual reality apparatus, and computer-program product
US10768879B2 (en) 2018-03-06 2020-09-08 Beijing Boe Optoelectronics Technology Co., Ltd. Image processing method and apparatus, virtual reality apparatus, and computer-program product
EP3776200A4 (en) * 2018-03-27 2022-04-20 Boe Technology Group Co., Ltd. DISPLAY METHOD, COMPUTER PRODUCT AND DISPLAY DEVICE
US11436787B2 (en) 2018-03-27 2022-09-06 Beijing Boe Optoelectronics Technology Co., Ltd. Rendering method, computer product and display apparatus
CN110324601A (zh) * 2018-03-27 2019-10-11 京东方科技集团股份有限公司 渲染方法、计算机产品及显示装置
US11392197B2 (en) 2018-05-16 2022-07-19 Beijing Boe Optoelectronics Technology Co., Ltd. Image rendering method, device, system, storage medium, image display method and computer device
WO2019218783A1 (zh) * 2018-05-16 2019-11-21 京东方科技集团股份有限公司 图像渲染方法、装置、***、存储介质、图像显示方法、计算机设备
CN108635851B (zh) * 2018-05-16 2021-07-27 网易（杭州）网络有限公司 一种游戏画面的处理方法和装置
CN108635851A (zh) * 2018-05-16 2018-10-12 网易（杭州）网络有限公司 一种游戏画面的处理方法和装置
CN108665521A (zh) * 2018-05-16 2018-10-16 京东方科技集团股份有限公司 图像渲染方法、装置、***、计算机可读存储介质及设备
CN108665521B (zh) * 2018-05-16 2020-06-02 京东方科技集团股份有限公司 图像渲染方法、装置、***、计算机可读存储介质及设备
CN112703464A (zh) * 2018-07-20 2021-04-23 托比股份公司 基于用户注视的分布式注视点渲染
CN112703464B (zh) * 2018-07-20 2024-05-24 托比股份公司 基于用户注视的分配式注视点渲染
US11295528B2 (en) 2018-08-21 2022-04-05 Tencent Technology (Shenzhen) Company Limited Image rendering method and apparatus, image processing device, and storage medium
WO2020038407A1 (zh) * 2018-08-21 2020-02-27 腾讯科技（深圳）有限公司 一种图像渲染方法、装置及图像处理设备、存储介质
CN108828779A (zh) * 2018-08-28 2018-11-16 北京七鑫易维信息技术有限公司 一种头戴式显示设备
CN110913199B (zh) * 2018-09-14 2021-06-11 东方梦幻虚拟现实科技有限公司 一种vr图像传输方法
CN110913199A (zh) * 2018-09-14 2020-03-24 北京恒信彩虹信息技术有限公司 一种vr图像传输方法
CN110163943A (zh) * 2018-11-21 2019-08-23 深圳市腾讯信息技术有限公司 图像的渲染方法和装置、存储介质、电子装置
CN111292236B (zh) * 2018-12-06 2023-09-15 托比股份公司 一种减少中央凹注视渲染中的混叠伪像的方法和计算***
CN111292236A (zh) * 2018-12-06 2020-06-16 托比股份公司 使用交叉分辨率调整而减少中央凹注视渲染中的混叠伪像
CN109712224B (zh) * 2018-12-29 2023-05-16 海信视像科技股份有限公司 虚拟场景的渲染方法、装置及智能设备
CN109712224A (zh) * 2018-12-29 2019-05-03 青岛海信电器股份有限公司 虚拟场景的渲染方法、装置及智能设备
CN109727305A (zh) * 2019-01-02 2019-05-07 京东方科技集团股份有限公司 虚拟现实***画面处理方法、装置及存储介质
CN109727305B (zh) * 2019-01-02 2024-01-12 京东方科技集团股份有限公司 虚拟现实***画面处理方法、装置及存储介质
CN109727316B (zh) * 2019-01-04 2024-02-02 京东方科技集团股份有限公司 虚拟现实图像的处理方法及其***
CN109727316A (zh) * 2019-01-04 2019-05-07 京东方科技集团股份有限公司 虚拟现实图像的处理方法及其***
CN109766011A (zh) * 2019-01-16 2019-05-17 北京七鑫易维信息技术有限公司 一种图像渲染方法和装置
CN109741289B (zh) * 2019-01-25 2021-12-21 京东方科技集团股份有限公司 一种图像融合方法和vr设备
CN109741289A (zh) * 2019-01-25 2019-05-10 京东方科技集团股份有限公司 一种图像融合方法和vr设备
CN109886876A (zh) * 2019-02-25 2019-06-14 昀光微电子（上海）有限公司 一种基于人眼视觉特征的近眼显示方法
CN110267025B (zh) * 2019-07-03 2021-04-13 京东方科技集团股份有限公司 虚拟3d显示的渲染方法、装置以及其显示方法、***
CN110267025A (zh) * 2019-07-03 2019-09-20 京东方科技集团股份有限公司 虚拟3d显示的渲染方法、装置以及其显示方法、***
CN110378914A (zh) * 2019-07-22 2019-10-25 北京七鑫易维信息技术有限公司 基于注视点信息的渲染方法及装置、***、显示设备
CN110827380A (zh) * 2019-09-19 2020-02-21 北京铂石空间科技有限公司 图像的渲染方法、装置、电子设备及计算机可读介质
CN110827380B (zh) * 2019-09-19 2023-10-17 北京铂石空间科技有限公司 图像的渲染方法、装置、电子设备及计算机可读介质
CN114450942A (zh) * 2019-09-30 2022-05-06 京瓷株式会社 摄像机、平视显示器***以及移动体
CN112313944A (zh) * 2019-11-28 2021-02-02 深圳市大疆创新科技有限公司 图像处理方法、装置、设备及存储介质
CN111290581B (zh) * 2020-02-21 2024-04-16 京东方科技集团股份有限公司 虚拟现实显示方法、显示装置及计算机可读介质
CN111290581A (zh) * 2020-02-21 2020-06-16 京东方科技集团股份有限公司 虚拟现实显示方法、显示装置及计算机可读介质
CN111338591A (zh) * 2020-02-25 2020-06-26 京东方科技集团股份有限公司 一种虚拟现实显示设备及显示方法
CN111476104B (zh) * 2020-03-17 2022-07-01 重庆邮电大学 动态眼位下ar-hud图像畸变矫正方法、装置、***
CN111476104A (zh) * 2020-03-17 2020-07-31 重庆邮电大学 动态眼位下ar-hud图像畸变矫正方法、装置、***
WO2021184533A1 (zh) * 2020-03-20 2021-09-23 深圳市博盛医疗科技有限公司 一种自动优化3d立体感的方法、***及介质
WO2021233016A1 (zh) * 2020-05-20 2021-11-25 京东方科技集团股份有限公司 图像处理方法、vr设备、终端、显示***和计算机可读存储介质
US11838494B2 (en) 2020-05-20 2023-12-05 Beijing Boe Optoelectronics Technology Co., Ltd. Image processing method, VR device, terminal, display system, and non-transitory computer-readable storage medium
CN111768352B (zh) * 2020-06-30 2024-05-07 Oppo广东移动通信有限公司 图像处理方法及装置
CN111768352A (zh) * 2020-06-30 2020-10-13 Oppo广东移动通信有限公司 图像处理方法及装置
CN111785229A (zh) * 2020-07-16 2020-10-16 京东方科技集团股份有限公司 一种显示方法、装置及***
CN111785229B (zh) * 2020-07-16 2022-04-15 京东方科技集团股份有限公司 一种显示方法、装置及***
CN111930233A (zh) * 2020-08-05 2020-11-13 聚好看科技股份有限公司 一种全景视频图像显示方法及显示设备
CN114531904A (zh) * 2020-09-09 2022-05-24 京东方科技集团股份有限公司 Ar/vr图像显示方法、ar/vr图像显示设备和计算机程序产品
WO2022110903A1 (zh) * 2020-11-25 2022-06-02 上海哔哩哔哩科技有限公司 全景视频渲染方法及***
CN114578940A (zh) * 2020-11-30 2022-06-03 华为技术有限公司 一种控制方法、装置和电子设备
CN112672131A (zh) * 2020-12-07 2021-04-16 聚好看科技股份有限公司 一种全景视频图像显示方法及显示设备
CN112672131B (zh) * 2020-12-07 2024-02-06 聚好看科技股份有限公司 一种全景视频图像显示方法及显示设备
CN112578564A (zh) * 2020-12-15 2021-03-30 京东方科技集团股份有限公司 一种虚拟现实显示设备及显示方法
CN114721144A (zh) * 2021-01-04 2022-07-08 宏碁股份有限公司 裸视立体显示器及其控制方法
CN112887646B (zh) * 2021-01-22 2023-05-26 京东方科技集团股份有限公司 图像处理方法及装置、扩展现实***、计算机设备及介质
CN112887646A (zh) * 2021-01-22 2021-06-01 京东方科技集团股份有限公司 图像处理方法及装置、扩展现实***、计算机设备及介质
CN113223183A (zh) * 2021-04-30 2021-08-06 杭州小派智能科技有限公司 一种基于已有vr内容的渲染方法和***
CN113223183B (zh) * 2021-04-30 2023-03-10 杭州小派智能科技有限公司 一种基于已有vr内容的渲染方法和***
CN113362449A (zh) * 2021-06-01 2021-09-07 聚好看科技股份有限公司 一种三维重建方法、装置及***
CN114554173A (zh) * 2021-11-17 2022-05-27 北京博良胜合科技有限公司 基于Cloud XR的云端简化注视点渲染的方法以及装置
CN114554173B (zh) * 2021-11-17 2024-01-30 北京博良胜合科技有限公司 基于Cloud XR的云端简化注视点渲染的方法以及装置
WO2023202216A1 (zh) * 2022-04-19 2023-10-26 京东方科技集团股份有限公司 图像处理方法、装置及存储介质
CN116012474B (zh) * 2022-12-13 2024-01-30 昆易电子科技(上海)有限公司 仿真测试图像生成、回注方法及***、工控机、装置
CN116012474A (zh) * 2022-12-13 2023-04-25 昆易电子科技(上海)有限公司 仿真测试图像生成、回注方法及***、工控机、装置

Also Published As

Publication number Publication date
US20200183166A1 (en) 2020-06-11
US10859840B2 (en) 2020-12-08
WO2019033903A1 (zh) 2019-02-21

Similar Documents

Publication Publication Date Title
CN107516335A (zh) 虚拟现实的图形渲染方法和装置
US11250241B2 (en) Face image processing methods and apparatuses, and electronic devices
KR102641272B1 (ko) 재투영된 프레임을 위한 모션 스무딩
CN107317987B (zh) 虚拟现实的显示数据压缩方法和设备、***
US10169846B2 (en) Selective peripheral vision filtering in a foveated rendering system
US11188149B2 (en) Image display device using retinal scanning display unit and method thereof
CN109741289B (zh) 一种图像融合方法和vr设备
CN108780578A (zh) 用于增强现实***的直接光补偿技术
CN106959759A (zh) 一种数据处理方法及装置
CN109844819A (zh) 用于动态遮挡处置的***和方法
CN108334832A (zh) 一种基于生成对抗网络的视线估计方法
CN110378914A (zh) 基于注视点信息的渲染方法及装置、***、显示设备
CN109613982A (zh) 头戴式ar显示设备的显示交互方法
WO2021204449A1 (en) Method for eye gaze tracking
CN109885169A (zh) 基于三维眼球模型的眼球参数标定和视线方向跟踪方法
CN105593896B (zh) 图像处理装置、图像显示装置、图像处理方法
Bruder et al. Voronoi-Based Foveated Volume Rendering.
US11798127B2 (en) Spatial positioning of targeted object magnification
US20180182093A1 (en) Methods and systems for simulating the effects of vision defects
Nikolov et al. Gaze-contingent display using texture mapping and opengl: system and applications
CN110097644B (zh) 一种基于混合现实的表情迁移方法、装置、***和处理器
EP1330785B1 (en) Dynamic depth-of-field emulation based on eye-tracking
CN117058749B (zh) 一种多摄像头透视方法、装置、智能眼镜及存储介质
Zhou Accurate depth based post-processing for perception enhancement in real time three-dimensional graphics
CN112698725B (zh) 一种基于眼动仪跟踪的穿透式屏幕***的实现方法

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201030

Address after: 261061 north of Yuqing East Street, east of Dongming Road, Weifang High tech Zone, Weifang City, Shandong Province (Room 502, Geer electronic office building)

Applicant after: GoerTek Optical Technology Co.,Ltd.

Address before: 261031 No. 268 Dongfang Road, Weifang hi tech Industrial Development Zone, Shandong, Weifang

Applicant before: GOERTEK Inc.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: 261061 east of Dongming Road, north of Yuqing East Street, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronics office building)

Applicant after: GoerTek Optical Technology Co.,Ltd.

Address before: 261061 East of Dongming Road, Weifang High-tech Zone, Weifang City, Shandong Province, North of Yuqing East Street (Room 502, Goertek Office Building)

Applicant before: GoerTek Optical Technology Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171226