CN108241211A - 一种头戴显示设备及图像渲染方法 - Google Patents

一种头戴显示设备及图像渲染方法 Download PDF

Info

Publication number
CN108241211A
CN108241211A CN201611218181.0A CN201611218181A CN108241211A CN 108241211 A CN108241211 A CN 108241211A CN 201611218181 A CN201611218181 A CN 201611218181A CN 108241211 A CN108241211 A CN 108241211A
Authority
CN
China
Prior art keywords
display equipment
data texturing
eye data
frame image
left eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611218181.0A
Other languages
English (en)
Other versions
CN108241211B (zh
Inventor
张毅
刘扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Idealsee Technology Co Ltd
Original Assignee
Chengdu Idealsee Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Idealsee Technology Co Ltd filed Critical Chengdu Idealsee Technology Co Ltd
Priority to CN201611218181.0A priority Critical patent/CN108241211B/zh
Publication of CN108241211A publication Critical patent/CN108241211A/zh
Application granted granted Critical
Publication of CN108241211B publication Critical patent/CN108241211B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种头戴显示设备及图像渲染方法,包括:图形处理器GPU,用于对待显示场景进行场景绘制,生成左眼纹理数据和右眼纹理数据;硬件合成模块,用于根据所述左眼纹理数据和所述右眼纹理数据进行纹理合成,生成当前帧图像。上述方案中,通过将场景绘制和纹理合成分配在不同的硬件模块上执行,由专用的硬件合成模块执行纹理合成任务,从而解决现有技术中存在的由于GPU纹理合成不及时导致屏幕撕裂的技术问题,保证纹理合成任务的实时性。

Description

一种头戴显示设备及图像渲染方法
技术领域
本发明涉及可穿戴头戴显示设备领域,尤其涉及一种头戴显示设备及图像渲染方法。
背景技术
VR(Virtual Reality;虚拟现实)显示或者AR(Augmented Reality;增强现实)显示主要分为两个步骤:第一步是通过GPU(Graphics Processing Unit;图形处理器)进行离线的场景渲染,即通过GPU将需要显示的场景绘制到左右眼纹理上;第二步是将渲染后的纹理提交给GPU进行在线的纹理合成,同时进行反畸变处理和异步时间扭曲Timewarp,最终合成显示在屏幕上。
一般来讲,上述两个步骤通过复用GPU实现,由于场景绘制属于比较繁琐的任务,而纹理合成又属于实时任务,因此,可以通过设置不同的优先级来区分这两个任务,给场景绘制任务正常的优先级,给纹理合成任务更高的优先级,从而保证在需要将左眼纹理数据和右眼纹理数据合成到屏幕时,可以使得GPU及时从场景绘制任务中切换到纹理合成任务,从而将左眼纹理数据和右眼纹理数据合成到屏幕缓存中进行显示。
然而,复用GPU通常会导致GPU负载过高,在一些对实时性要求比较高的场景下,需要GPU和显示控制器同时读写屏幕缓存中的数据,如果GPU纹理合成不及时,可能会出现GPU向屏幕缓存写入数据和显示控制器从屏幕缓存读取数据的时序出错,导致屏幕撕裂(即,显示器把两帧或更多帧显示在同一画面),可见,现有技术中需要一种新的渲染方式,以保证纹理合成任务的实时性。
发明内容
本发明的目的是提供一种头戴显示设备及图像渲染方法,用于解决现有技术中存在的由于GPU纹理合成不及时导致屏幕撕裂的技术问题。
为了实现上述发明目的,本发明实施例第一方面提供一种头戴显示设备,包括:
图形处理器GPU,用于对待显示场景进行场景绘制,生成左眼纹理数据和右眼纹理数据;
硬件合成模块,用于根据所述左眼纹理数据和所述右眼纹理数据进行纹理合成,生成当前帧图像。
可选的,所述头戴显示设备还包括显示控制器;
所述显示控制器用于产生垂直同步VSYNC信号;
所述硬件合成模块用于读取所述VSYNC信号,并根据所述VSYNC信号进行纹理合成。
可选的,所述头戴显示设备还包括中央处理器CPU;
所述CPU用于向所述硬件合成模块发送左眼纹理编号和右眼纹理编号;
所述硬件合成模块用于根据所述左眼纹理编号和所述右眼纹理编号,获得所述左眼纹理数据和所述右眼纹理数据的缓存地址,并基于所述缓存地址,从所述头戴显示设备的纹理缓存中读取所述左眼纹理数据和所述右眼纹理数据。
可选的,所述头戴显示设备还包括传感器;
所述传感器用于在用户佩戴所述头戴显示设备时,检测用于表征用户的头部转动的方向信息;
所述硬件合成模块用于根据所述方向信息,对所述左眼纹理数据和所述右眼纹理数据进行方向校正,并根据校正后的左眼纹理数据和右眼纹理数据合成中间帧图像。
可选的,所述头戴显示设备还包括传感器;
所述传感器用于在用户佩戴所述头戴显示设备时,检测用于表征用户在空间中的位置的用户位置信息;
所述硬件合成模块用于根据所述用户位置信息和物体在所述当前帧图像中的图像位置信息,对所述物体在下一帧图像中的位置进行估计,生成中间帧图像。
可选的,所述硬件合成模块用于确定所述当前帧图像中的运动物体,以及所述运动物体在包括所述当前帧图像在内的相邻N帧图像中的运动轨迹,并根据所述运动轨迹对所述运动物体在下一帧图像中的位置进行估计,生成中间帧图像,N为大于等于2的正整数。
可选的,所述硬件合成模块还用于根据所述头戴显示设备的透镜信息对所述左眼纹理数据和所述右眼纹理数据进行畸变校正,并根据畸变校正后的左眼纹理数据和右眼纹理数据合成所述当前帧图像。
可选的,所述硬件合成模块为现场可编程门阵列FPGA、专用集成电路ASIC或另一GPU。
本发明实施例第二方面提供一种图像渲染方法,包括:
头戴显示设备的图形处理器GPU对待显示场景进行场景绘制,生成左眼纹理数据和右眼纹理数据;
所述头戴显示设备的硬件合成模块根据所述左眼纹理数据和所述右眼纹理数据进行纹理合成,生成当前帧图像。
可选的,所述方法还包括:
所述硬件合成模块读取所述头戴显示设备的垂直同步VSYNC信号,并根据所述VSYNC信号进行纹理合成。
本发明实施例中的一个或者多个技术方案,至少具有如下技术效果或者优点:
本发明实施例的方案中,头戴显示设备包括GPU和硬件合成模块,GPU用于对待显示场景进行场景绘制,生成左眼纹理数据和右眼纹理数据,硬件合成模块用于对左眼纹理数据和右眼纹理数据进行纹理合成,生成当前帧图像,通过将场景绘制和纹理合成分配在不同的硬件模块上执行,由专用的硬件合成模块执行纹理合成任务,避免了场景绘制任务和纹理合成任务复用GPU,降低了GPU的负载,从而解决现有技术中存在的由于GPU纹理合成不及时导致屏幕撕裂的技术问题,保证纹理合成任务的实时性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图:
图1为本发明实施例提供的头戴显示设备的功能模块示意图;
图2为本发明实施例提供的头戴显示设备的另一功能模块示意图;
图3为本发明实施例提供的图像渲染方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例中,头戴显示设备(英文全称:Head Mount Display;英文简称:HMD)通过向眼睛发送光学信号,可以实现VR、AR(Augmented Reality;增强现实)、MR(Mixreality;混合现实)等不同效果,例如:头戴显示设备可以为VR一体机、穿透式HMD等等。
请参考图1,图1为本发明实施例提供的头戴显示设备的功能模块示意图,该头戴显示设备包括:图形处理器GPU10,用于对待显示场景进行场景绘制,生成左眼纹理数据和右眼纹理数据;硬件合成模块11,用于根据所述左眼纹理数据和所述右眼纹理数据进行纹理合成,生成当前帧图像。
具体的,GPU10根据头戴显示设备的传感器检测到的最新的方向信息,绘制待显示场景,生成左眼纹理数据和右眼纹理数据,传感器可以为陀螺仪、加速度计和磁力计中的一种或多种,头戴显示设备通过融合三种传感器的数据来得出最终的方向信息,该方向信息用于表征用户头部的转动。然后,GPU10将绘制结果,即左眼纹理数据和右眼纹理数据输出到头戴显示设备的纹理缓存中,使得硬件合成模块11在需要进行纹理合成时,从纹理缓存中读取左眼纹理数据和右眼为纹理数据,进行纹理合成,生成当前帧图像,并将当前帧图像写入头戴显示设备的帧缓冲存储器中,然后,头戴显示设备的显示控制器从帧缓冲存储器中取出数据,并显示在屏幕上。
其中,硬件合成模块11可以为FPGA(Field-Programmable Gate Array;现场可编程门阵列),ASIC(Application Specific Integrated Circuits;专用集成电路)或者另一GPU。帧缓冲存储器,又称帧缓存(FrameBuffer)、显存或屏幕缓存,它是屏幕所显示画面的一个直接映象,帧缓存的每一存储单元对应屏幕上的一个像素,整个帧缓存对应一帧图像,硬件合成模块11通过不停的向帧缓存中写入数据,显示控制器就自动的从帧缓存中取出数据并在屏幕上显示出来。
本发明实施例中,GPU10用于场景绘制,硬件合成模块11用于纹理合成,通过将场景绘制和纹理合成分配在不同的硬件模块上执行,由专用的硬件合成模块11执行纹理合成任务,避免了场景绘制任务和纹理合成任务复用GPU10,降低了GPU10的负载,从而解决现有技术中存在的由于GPU10纹理合成不及时导致屏幕撕裂的技术问题,保证纹理合成任务的实时性。
进一步,现有技术中GPU绘制一帧场景的过程中,由于GPU需要兼做纹理合成任务,由于纹理合成的优先级更高,会不时打断GPU当前的绘制任务,这样GPU就会频繁的切换任务,导致GPU的缓存使用率很低,降低了GPU的渲染效率,本发明实施例中,通过将场景绘制和纹理合成分配在不同的硬件模块上执行,可以减少任务切换带来的GPU10的缓存开销,提高GPU10的渲染效率。
本发明实施例中,如图2所示,头戴显示设备还包括显示控制器12,用于产生VSYNC(Vertical Synchronization;垂直同步)信号,在整个屏幕完成一次刷新后,显示控制器12会产生VSYNC信号,VSYNC信号的作用是让GPU10的运算速度和屏幕刷新频率一致,以输出稳定的画面质量。GPU10在执行纹理合成任务时,需要进行VSYNC信号同步,具体的,在VSYNC信号产生后,CPU控制GPU10进行下一帧图像的渲染,如果CPU或GPU10的资源被占用,就可能会出现CPU或GPU10调度不及时,使得GPU10向帧缓存写入数据和显示控制器12从帧缓存读取数据的时序出错,进而引起显示撕裂问题。
而本发明实施例中,硬件合成模块11直接读取VSYNC信号,并根据VSYNC信号进行纹理合成,通过硬件合成模块11同步VSYNC信号进行纹理合成,可以使硬件合成模块11生成帧的速率与屏幕刷新频率一致,并且,GPU渲染管线一般包括应用程序处理阶段,几何形状处理阶段,光栅化处理阶段,而硬件合成模块11的渲染管线包括像素处理阶段,可见,硬件合成模块11采用更短的渲染管线,相比GPU10渲染一帧图像的时间,硬件合成模块11进行纹理合成的时间非常短,从而避免由于上述CPU或GPU10调度不及时,引起的屏幕显示撕裂问题,保证纹理合成的实时性。
本发明实施例中,头戴显示设备还包括中央处理器CPU13,CPU13在控制GPU10进行场景绘制后,可以向硬件合成模块11发送最新的左眼纹理编号(即纹理ID)和右眼纹理编号,则硬件合成模块11在需要读取纹理数据时,根据所述左眼纹理编号和右眼纹理编号,获得左眼纹理数据和右眼纹理数据的缓存地址,并基于缓存地址,从头戴显示设备中的纹理缓存中读取所述左眼纹理数据和右眼纹理数据,然后将左眼纹理数据和右眼纹理数据合成当前帧图像,并写入帧缓存中。当获取到下一帧图像的纹理数据后,硬件合成模块11释放上一帧数据的纹理数据,并开始新的纹理合成。
本发明实施例中,硬件合成模块11还可以根据上一帧图像(即当前帧图像)的左眼纹理数据和右眼纹理数据,生成中间帧图像,使得头戴显示设备可以保持在较低帧率运行,也就是说,通过***中间帧图像,在GPU10的渲染帧率较低,或者VR内容的帧率较低的情况下,头戴显示设备的渲染质量也不会有明显的下降,接下来,对以下几种生成中间帧图像的方式进行说明,在具体实施过程中,不限于以下几种实施方式。
一种可能的实施方式为,头戴显示设备还包括传感器14,传感器14可以为陀螺仪、加速度计和磁力计中的一种或多种,传感器14用于在用户佩戴头戴显示设备时,检测用于表征用户的头部转动的方向信息,然后,所述硬件合成模块11用于根据所述方向信息,对所述左眼纹理数据和所述右眼纹理数据进行方向校正,并根据校正后的左眼纹理数据和右眼纹理数据合成中间帧图像。
具体来讲,在使用头戴显示设备时,如果用户头部转动过快,而GPU10渲染一帧图像的时间太长,就会造场景渲染的延迟,也就是说,用户的头已经转过去了,但是相应的图像还没有渲染出来,或者渲染的是上一帧的图像,画面就会产生抖动。为了解决上述问题,本发明实施例中,所述硬件合成模块11用于根据所述方向信息,对上一帧图像(即当前帧图像)的左眼纹理数据和右眼纹理数据进行方向校正,并根据校正后的左眼纹理数据和右眼纹理数据合成中间帧图像,然后将中间帧图像显示出来,从而有效减少显示画面的抖动。其中,方向信息为传感器14检测的用户头部转动的方向信息。
由于相比GPU10渲染一帧图像的时间,硬件合成模块11生成中间帧图像的时间非常短,并且通过硬件合成模块11生成中间帧图像,不会抢占GPU10的资源,因此不会影响GPU10的场景绘制任务,并且,由于硬件合成模块11可以直接读取显示控制器12的VSYNC信号,并根据VSYNC信号进行纹理合成,因此,在GPU10的渲染帧率较低,或者VR内容的帧率较低的情况下,硬件合成模块11可以同步VSYNC信号进行纹理合成,使得硬件合成模块11的帧率与屏幕刷新频率一致,从而减少显示画面抖动。
另一种可能的实施方式为,传感器14还用于在用户佩戴头戴显示设备时,检测用于表征用户在空间中的位置的用户位置信息;然后,所述硬件合成模块11用于根据所述用户位置信息和物体在所述当前帧图像中的图像位置信息,对所述物体在下一帧图像中的位置进行估计,生成中间帧图像。
具体来讲,用户佩戴头戴显示设备在空间中移动时,头戴显示设备可以确定用户在空间中的位置,然后根据用户在空间中的位置渲染相应的场景。如果头戴显示设备的渲染速度跟不上用户的移动速度,就会导致显示画面不流畅。为了解决上述问题,本发明实施例中,所述硬件合成模块11用于根据传感器14检测到的用户位置信息和物体在所述当前帧图像中的图像位置信息,对所述物体在下一帧图像中的位置进行估计,生成中间帧图像,然后将中间帧图像显示出来,从而提升显示画面的流畅性。
由于相比GPU10渲染一帧图像的时间,硬件合成模块11生成中间帧图像的时间非常短,因此,通过硬件合成模块11根据用户的位置信息对下一帧图像中物体的位置进行估计,生成当前帧图像,并将当前帧图像显示出来,可以使得头戴显示设备的渲染速度与用户的移动速度匹配,从而提升显示画面的流畅性。
第三种可能的实施方式为,对于显示场景中运动的物体,所述硬件合成模块11还用于确定所述当前帧图像中运动物体,以及所述运动物体在包括所述当前帧图像在内的相邻N帧图像中的运动轨迹,并根据所述运动轨迹对所述运动物体在下一帧图像中的位置进行估计,生成中间帧图像,N为大于等于2的正整数。
其中,N的取值可以根据头戴显示设备的运算量进行设置,N的值越大,运算量越大,位置估计越准确。举例来讲:N的取值可以为2,假设当前帧图像中的运动物体为篮球,在当前帧图像和当前帧图像的前一帧图像中,篮球的运动轨迹为从下向上移,则硬件合成模块11会根据该运动轨迹对篮球在下一帧图像中的位置进行预测,从而确定篮球在下一帧图像中的位置,生成中间帧图像,相比当前帧图像,中间帧图像中的篮球从下向上移,然后将中间帧图像显示出来,使得场景中篮球的运动变得更加流畅。
可见,在上述几种实施方式中,通过***中间帧图像,在GPU10的渲染帧率较低,或者VR内容的帧率较低的情况下,头戴显示设备的渲染质量也不会有明显的下降,使得头戴显示设备可以保持在较低的帧率运行。
本发明实施例中,硬件合成模块11还用于根据所述头戴显示设备的透镜信息对所述左眼纹理数据和所述右眼纹理数据进行畸变校正,并根据畸变校正后的左眼纹理数据和右眼纹理数据合成所述当前帧图像。其中,所述透镜信息包括透镜组的放大倍数和畸变参数等等,硬件合成模块11可以根据放大倍数和畸变参数等对左眼纹理数据和右眼纹理数据进行畸变校正,然后再合成到帧缓存中,以减小图像失真。
在另一实施例中,在生成中间帧图像之前,硬件合成模块11也可以对纹理数据进行畸变校正,然后,根据畸变校正后的额纹理数据合成中间帧图像,其中,中间帧图像可以为根据前述三种实施方式中的任一种实施方式,生成的图像,在此不作限制。
基于同一发明构思,本发明实施例还提供一种图像渲染方法,如图3所示,包括:
步骤30,头戴显示设备的图形处理器GPU对待显示场景进行场景绘制,生成左眼纹理数据和右眼纹理数据;
步骤31,所述头戴显示设备的硬件合成模块根据所述左眼纹理数据和所述右眼纹理数据进行纹理合成,生成当前帧图像。
可选的,所述方法还包括:
所述硬件合成模块读取所述头戴显示设备的垂直同步VSYNC信号,并根据所述VSYNC信号进行纹理合成。
可选的,所述方法还包括:
所述头戴显示设备的中央处理器CPU向所述硬件合成模块发送左眼纹理编号和右眼纹理编号;
所述硬件合成模块根据所述左眼纹理编号和所述右眼纹理编号,获得所述左眼纹理数据和所述右眼纹理数据的缓存地址,并基于所述缓存地址,从所述头戴显示设备的纹理缓存中读取所述左眼纹理数据和所述右眼纹理数据。
可选的,所述方法还包括:
在用户佩戴所述头戴显示设备时,所述头戴显示设备的传感器检测表征用户的头部转动的方向信息;
所述硬件合成模块根据所述方向信息,对所述左眼纹理数据和所述右眼纹理数据进行方向校正,并根据校正后的左眼纹理数据和右眼纹理数据合成中间帧图像。
可选的,所述方法还包括:
在用户佩戴所述头戴显示设备时,所述头戴显示设备的传感器检测表征用户在空间中的位置的用户位置信息;
所述硬件合成模块根据所述用户位置信息和物体在所述当前帧图像中的图像位置信息,对所述物体在下一帧图像中的位置进行估计,生成中间帧图像。
可选的,所述方法还包括:
所述硬件合成模块确定所述当前帧图像中运动物体,以及所述运动物体在包括所述当前帧图像在内的相邻N帧图像中的运动轨迹,并根据所述运动轨迹对所述运动物体在下一帧图像中的位置进行估计,生成中间帧图像,N为大于等于2的正整数。
可选的,所述方法还包括:
所述硬件合成模块根据所述头戴显示设备的透镜信息对所述左眼纹理数据和所述右眼纹理数据进行畸变校正,并根据畸变校正后的左眼纹理数据和右眼纹理数据合成所述当前帧图像。
前述图1实施例中的头戴显示设备中的各种变化方式和具体实例同样适用于本实施例的图像渲染方法,通过前述对头戴显示设备的详细描述,本领域技术人员可以清楚的知道本实施例中图像渲染方法的实施方法,所以为了说明书的简洁,在此不再详述。
基于同一发明构思,本发明实施例还提供一种分体设备,包括主机和头戴显示设备,主机包括图形处理器GPU,用于对待显示场景进行场景绘制,生成左眼纹理数据和右眼纹理数据;头戴显示设备包括硬件合成模块,用于根据所述左眼纹理数据和所述右眼纹理数据进行纹理合成,生成当前帧图像。主机和头戴显示设备可以通过HDMI(HighDefinition Multimedia Interface;高清晰度多媒体接口)、MHL(Mobile High-Definition Link;高清影音标准接口)或者USB3.0(Universal Serial Bus;通用串行总线)有线连接或无线连接。
本发明实施例中的一个或者多个技术方案,至少具有如下技术效果或者优点:
本发明实施例的方案中,头戴显示设备包括GPU和硬件合成模块,GPU用于对待显示场景进行场景绘制,生成左眼纹理数据和右眼纹理数据,硬件合成模块用于对左眼纹理数据和右眼纹理数据进行纹理合成,生成当前帧图像,通过将场景绘制和纹理合成分配在不同的硬件模块上执行,由专用的硬件合成模块执行纹理合成任务,避免了场景绘制任务和纹理合成任务复用GPU,降低了GPU的负载,从而解决现有技术中存在的由于GPU纹理合成不及时导致屏幕撕裂的技术问题,保证纹理合成任务的实时性。
本说明书中公开的所有特征,或公开的所有方法或过程中的步骤,除了互相排斥的特征和/或步骤以外,均可以以任何方式组合。
本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征,除非特别叙述,均可被其他等效或具有类似目的的替代特征加以替换。即,除非特别叙述,每个特征只是一系列等效或类似特征中的一个例子而已。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合,以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (10)

1.一种头戴显示设备,其特征在于,包括:
图形处理器GPU,用于对待显示场景进行场景绘制,生成左眼纹理数据和右眼纹理数据;
硬件合成模块,用于根据所述左眼纹理数据和所述右眼纹理数据进行纹理合成,生成当前帧图像。
2.如权利要求1所述的头戴显示设备,其特征在于,所述头戴显示设备还包括显示控制器;
所述显示控制器用于产生垂直同步VSYNC信号;
所述硬件合成模块用于读取所述VSYNC信号,并根据所述VSYNC信号进行纹理合成。
3.如权利要求2所述的头戴显示设备,其特征在于,所述头戴显示设备还包括中央处理器CPU;
所述CPU用于向所述硬件合成模块发送左眼纹理编号和右眼纹理编号;
所述硬件合成模块用于根据所述左眼纹理编号和所述右眼纹理编号,获得所述左眼纹理数据和所述右眼纹理数据的缓存地址,并基于所述缓存地址,从所述头戴显示设备的纹理缓存中读取所述左眼纹理数据和所述右眼纹理数据。
4.如权利要求1-3中任一项所述的头戴显示设备,其特征在于,所述头戴显示设备还包括传感器;
所述传感器用于在用户佩戴所述头戴显示设备时,检测用于表征用户的头部转动的方向信息;
所述硬件合成模块用于根据所述方向信息,对所述左眼纹理数据和所述右眼纹理数据进行方向校正,并根据校正后的左眼纹理数据和右眼纹理数据合成中间帧图像。
5.如权利要求1-3中任一项所述的头戴显示设备,其特征在于,所述头戴显示设备还包括传感器;
所述传感器用于在用户佩戴所述头戴显示设备时,检测用于表征用户在空间中的位置的用户位置信息;
所述硬件合成模块用于根据所述用户位置信息和物体在所述当前帧图像中的图像位置信息,对所述物体在下一帧图像中的位置进行估计,生成中间帧图像。
6.如权利要求1-3中任一项所述的头戴显示设备,其特征在于,所述硬件合成模块用于确定所述当前帧图像中的运动物体,以及所述运动物体在包括所述当前帧图像在内的相邻N帧图像中的运动轨迹,并根据所述运动轨迹对所述运动物体在下一帧图像中的位置进行估计,生成中间帧图像,N为大于等于2的正整数。
7.如权利要求1-3中任一项所述的头戴显示设备,其特征在于,所述硬件合成模块还用于根据所述头戴显示设备的透镜信息对所述左眼纹理数据和所述右眼纹理数据进行畸变校正,并根据畸变校正后的左眼纹理数据和右眼纹理数据合成所述当前帧图像。
8.如权利要求1所述的头戴显示设备,其特征在于,所述硬件合成模块为现场可编程门阵列FPGA、专用集成电路ASIC或另一GPU。
9.一种图像渲染方法,其特征在于,包括:
头戴显示设备的图形处理器GPU对待显示场景进行场景绘制,生成左眼纹理数据和右眼纹理数据;
所述头戴显示设备的硬件合成模块根据所述左眼纹理数据和所述右眼纹理数据进行纹理合成,生成当前帧图像。
10.如权利要求9所述的方法,其特征在于,所述方法还包括:
所述硬件合成模块读取所述头戴显示设备的垂直同步VSYNC信号,并根据所述VSYNC信号进行纹理合成。
CN201611218181.0A 2016-12-26 2016-12-26 一种头戴显示设备及图像渲染方法 Active CN108241211B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611218181.0A CN108241211B (zh) 2016-12-26 2016-12-26 一种头戴显示设备及图像渲染方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611218181.0A CN108241211B (zh) 2016-12-26 2016-12-26 一种头戴显示设备及图像渲染方法

Publications (2)

Publication Number Publication Date
CN108241211A true CN108241211A (zh) 2018-07-03
CN108241211B CN108241211B (zh) 2020-09-15

Family

ID=62701378

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611218181.0A Active CN108241211B (zh) 2016-12-26 2016-12-26 一种头戴显示设备及图像渲染方法

Country Status (1)

Country Link
CN (1) CN108241211B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945138A (zh) * 2017-12-08 2018-04-20 京东方科技集团股份有限公司 一种图片处理方法和装置
CN109754380A (zh) * 2019-01-02 2019-05-14 京东方科技集团股份有限公司 一种图像处理方法及图像处理装置、显示装置
CN111190560A (zh) * 2019-12-24 2020-05-22 青岛小鸟看看科技有限公司 获取硬件垂直同步信号的方法、装置、设备及存储介质
CN114095655A (zh) * 2021-11-17 2022-02-25 海信视像科技股份有限公司 一种串流数据的显示方法及设备
WO2022170621A1 (en) * 2021-02-12 2022-08-18 Qualcomm Incorporated Composition strategy searching based on dynamic priority and runtime statistics

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049926A (zh) * 2012-12-24 2013-04-17 广东威创视讯科技股份有限公司 分布式三维渲染***
CN103439793A (zh) * 2013-07-18 2013-12-11 成都理想境界科技有限公司 一种头戴显示装置hmd
WO2016073557A1 (en) * 2014-11-04 2016-05-12 The University Of North Carolina At Chapel Hill Minimal-latency tracking and display for matching real and virtual worlds
WO2016118306A1 (en) * 2015-01-20 2016-07-28 Microsoft Technology Licensing, Llc Wearable display with bonded graphite heatpipe
CN106154553A (zh) * 2016-08-01 2016-11-23 全球能源互联网研究院 一种电力巡检智能头盔双目显示***及其实现方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049926A (zh) * 2012-12-24 2013-04-17 广东威创视讯科技股份有限公司 分布式三维渲染***
CN103439793A (zh) * 2013-07-18 2013-12-11 成都理想境界科技有限公司 一种头戴显示装置hmd
WO2016073557A1 (en) * 2014-11-04 2016-05-12 The University Of North Carolina At Chapel Hill Minimal-latency tracking and display for matching real and virtual worlds
WO2016118306A1 (en) * 2015-01-20 2016-07-28 Microsoft Technology Licensing, Llc Wearable display with bonded graphite heatpipe
CN106154553A (zh) * 2016-08-01 2016-11-23 全球能源互联网研究院 一种电力巡检智能头盔双目显示***及其实现方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945138A (zh) * 2017-12-08 2018-04-20 京东方科技集团股份有限公司 一种图片处理方法和装置
WO2019109699A1 (zh) * 2017-12-08 2019-06-13 京东方科技集团股份有限公司 图片处理方法和装置
CN107945138B (zh) * 2017-12-08 2020-04-03 京东方科技集团股份有限公司 一种图片处理方法和装置
US11615509B2 (en) 2017-12-08 2023-03-28 Beijing Boe Optoelectronics Technology Co., Ltd. Picture processing method and device
CN109754380A (zh) * 2019-01-02 2019-05-14 京东方科技集团股份有限公司 一种图像处理方法及图像处理装置、显示装置
CN109754380B (zh) * 2019-01-02 2021-02-02 京东方科技集团股份有限公司 一种图像处理方法及图像处理装置、显示装置
US11463669B2 (en) * 2019-01-02 2022-10-04 Beijing Boe Optoelectronics Technology Co., Ltd. Image processing method, image processing apparatus and display apparatus
CN111190560A (zh) * 2019-12-24 2020-05-22 青岛小鸟看看科技有限公司 获取硬件垂直同步信号的方法、装置、设备及存储介质
WO2021129334A1 (zh) * 2019-12-24 2021-07-01 青岛小鸟看看科技有限公司 获取硬件垂直同步信号的方法、装置、设备及存储介质
CN111190560B (zh) * 2019-12-24 2022-09-06 青岛小鸟看看科技有限公司 获取硬件垂直同步信号的方法、装置、设备及存储介质
WO2022170621A1 (en) * 2021-02-12 2022-08-18 Qualcomm Incorporated Composition strategy searching based on dynamic priority and runtime statistics
CN114095655A (zh) * 2021-11-17 2022-02-25 海信视像科技股份有限公司 一种串流数据的显示方法及设备

Also Published As

Publication number Publication date
CN108241211B (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
CN108241211A (zh) 一种头戴显示设备及图像渲染方法
CN110050250B (zh) 显示器同步的图像规整
US6157395A (en) Synchronization of frame buffer swapping in multi-pipeline computer graphics display systems
JP5492232B2 (ja) グラフィックコンテンツの外部ディスプレイへのミラーリング
US7889202B2 (en) Transparent multi-buffering in multi-GPU graphics subsystem
US11164357B2 (en) In-flight adaptive foveated rendering
CA3010471C (en) Display buffering methods and systems
US9911397B2 (en) Extending the range of variable refresh rate displays
US20130128120A1 (en) Graphics Pipeline Power Consumption Reduction
KR20130138143A (ko) 디스플레이 미러링을 위한 시스템 및 방법
US11164496B2 (en) Interrupt-free multiple buffering methods and systems
TWI698834B (zh) 用於圖形處理之方法及裝置
US10186008B2 (en) Stereoscopic view processing
TWI498849B (zh) 圖形驅動程式層級解耦顯像以及顯示的方法
TW201901615A (zh) 改善圖像品質的方法及虛擬實境裝置
TW202121220A (zh) 借助於合成器生成一系列訊框方法和裝置
TW200821984A (en) Work based clock management for display sub-system
CN112399095A (zh) 视频处理方法、装置和***
JP2024502273A (ja) 時間的中心窩レンダリング
US20120154411A1 (en) Multiple display frame rendering method and apparatus
US9412194B2 (en) Method for sub-pixel texture mapping and filtering
JP2019532319A (ja) 合成ユーザ・インタフェース
US8872896B1 (en) Hardware-based system, method, and computer program product for synchronizing stereo signals
US11978372B1 (en) Synchronized dual eye variable refresh rate update for VR display
CA2757867C (en) Concurrent graphic content on multiple displays

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant