CN106658170A - 一种降低虚拟现实延迟的方法和装置 - Google Patents

一种降低虚拟现实延迟的方法和装置 Download PDF

Info

Publication number
CN106658170A
CN106658170A CN201611187048.3A CN201611187048A CN106658170A CN 106658170 A CN106658170 A CN 106658170A CN 201611187048 A CN201611187048 A CN 201611187048A CN 106658170 A CN106658170 A CN 106658170A
Authority
CN
China
Prior art keywords
image information
unit
sub
resolution
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611187048.3A
Other languages
English (en)
Inventor
柳春青
陈炜
魏建兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou Rockchip Electronics Co Ltd
Original Assignee
Fuzhou Rockchip Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou Rockchip Electronics Co Ltd filed Critical Fuzhou Rockchip Electronics Co Ltd
Priority to CN201611187048.3A priority Critical patent/CN106658170A/zh
Publication of CN106658170A publication Critical patent/CN106658170A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明公开了一种降低虚拟现实延迟的方法和装置，采用异步时间扭曲技术，在当前帧渲染完成时直接将当前帧对应的图像信息送往显示单元直接显示，当前帧未渲染完成时，则获取已渲染的上一帧对应的图像信息送往显示单元，有效由于当前帧未渲染完成出现画面抖动的现象。此外，本发明还根据第一图像信息和第二图像信息确定对应的补偿帧信息，并将补偿帧信息***到两帧图像之间，来提升屏幕的刷新率，使画面更加清晰流畅，有效提高了用户体验。

Description

一种降低虚拟现实延迟的方法和装置
技术领域
本发明涉及计算机技术安全领域，特别涉及一种降低虚拟现实延迟的方法和装置。
背景技术
随着虚拟现实技术的兴起，VR产品的渐渐进入人们的视野。当前，VR热潮正处于爆发前期，VR产品存在着诸多技术缺陷待解决，如晕眩感太强等，即用户使用一段时间VR产品后会出现头晕、恶心、甚至呕吐等症状。究其原因，这是因为视觉大脑对运动的认知不同步造成的，根本原因就是受到VR中的“延迟”的影响。
VR是一整套***集合，包括传感器采集数据、传输数据、引擎处理、最终显示输出，这其中任何一个步骤都有可能形成延迟。这里说的“延迟”特指“Motion-To-PhotonLatency(运动的光子延迟)”，是指从用户运动开始到相应画面显示到屏幕上所花的时间。延时问题是VR所面对的最大挑战，当然这也是VR整体需要解决主要问题。延迟不仅影响用户体验，更有甚者，会导致用户因为不适应出现呕吐等症状，因而找出产生延时这一问题的根源和解决方法是十分关键的。
发明内容
为此，需要提供一种降低虚拟现实延迟的技术手段，用以解决VR产品延迟时间长，导致用户体验差、容易出现头晕、恶心、甚至等症状的问题。
为实现上述目的，发明人提供了一种降低虚拟现实延迟的装置，所述装置包括数据采集单元、渲染单元、判断单元、处理单元、显示单元、补偿帧确定单元、***单元；
所述数据采集单元用于获取图像信息；
所述渲染单元用于对第一图像信息进行渲染；
所述判断单元用于判断第一图像信息是否渲染完成，若是则处理单元用于将第一图像信息发送至显示单元直接显示，所述第一图像信息为当前帧图像信息；否则处理单元用于将第二帧图像信息发送至显示单元，所述第二图像信息为当前帧上一帧且已渲染完成的图像信息；
所述补偿帧确定单元用于根据第一图像信息和第二图像信息确定对应的补偿帧信息；
所述***单元用于将补偿帧信息***第一图像信息和第二图像信息之间；
所述显示单元用于显示第一图像信息或第二图像信息，以及用于显示补偿帧信息。
进一步地，所述装置还包括图像分割单元和分辨率确定单元；
所述图像分割单元用于将当前帧图像分割成若干子块，所述子块还包括中央子块和周围子块，所述周围子块位于中央子块的四周；
所述分辨率确定单元用于确定第一分辨率和第二分辨率，所述第二分辨率小于第一分辨率；
所述渲染单元用于获取第一图像信息并进行渲染包括：
渲染单元用于采用第一分辨率对中央子块的图像信息进行渲染，并采用第二分辨率对周围子块的图像信息进行渲染。
进一步地，所述当前帧图像被等分3行3列总计9个子块，则第2行第2列的子块为中央子块，其他子块为周围子块。
进一步地，所述第一分辨率根据显示单元的分辨率确定，所述第二分辨率为第一分辨率的50％～75％。
进一步地，所述显示单元为OLED显示屏。
发明人还提供了一种降低虚拟现实延迟的方法，所述方法应用于降低虚拟现实延迟的装置，所述装置包括数据采集单元、渲染单元、判断单元、处理单元、显示单元、补偿帧确定单元、***单元；所述方法包括以下步骤：
数据采集单元获取图像信息；
渲染单元对第一图像信息进行渲染；
判断单元判断第一图像信息是否渲染完成，若是则处理单元将第一图像信息发送至显示单元直接显示，所述第一图像信息为当前帧图像信息；否则处理单元将第二帧图像信息发送至显示单元，所述第二图像信息为当前帧上一帧且已渲染完成的图像信息；
补偿帧确定单元根据第一图像信息和第二图像信息确定对应的补偿帧信息；
***单元将补偿帧信息***第一图像信息和第二图像信息之间；
显示单元依次显示第一图像信息、补偿帧图像信息以及第二图像信息。
进一步地，所述装置还包括图像分割单元和分辨率确定单元；所述方法包括：
图像分割单元将当前帧图像分割成若干子块，所述子块还包括中央子块和周围子块，所述周围子块位于中央子块的四周；
分辨率确定单元确定第一分辨率和第二分辨率，所述第二分辨率小于第一分辨率；
渲染单元对第一图像信息进行渲染包括：
渲染单元采用第一分辨率对中央子块的图像信息进行渲染，并第二分辨率对周围子块的图像信息进行渲染。
进一步地，所述当前帧图像被等分3行3列总计9个子块，则第2行第2列的子块为中央子块，其他子块为周围子块。
进一步地，所述第一分辨率根据显示单元的分辨率确定，所述第二分辨率为第一分辨率的50％～75％。
进一步地，所述显示单元为OLED显示屏。
上述技术方案所述的降低虚拟现实延迟的方法和装置，采用异步时间扭曲技术，在当前帧渲染完成时直接将当前帧对应的图像信息送往显示单元直接显示，当前帧未渲染完成时，则获取已渲染的上一帧对应的图像信息送往显示单元，有效防止由于当前帧未渲染完成出现画面抖动的现象。此外，本发明还根据第一图像信息和第二图像信息确定对应的补偿帧信息，并将补偿帧信息***到两帧图像之间，来提升屏幕的刷新率，使画面更加清晰流畅，有效提高了用户体验。
附图说明
图1为本发明一实施方式涉及的降低虚拟现实延迟的装置的示意图；
图2为本发明一实施方式涉及的降低虚拟现实延迟的方法的流程图；
图3为本发明另一实施方式涉及的降低虚拟现实延迟的方法的流程图；
图4为本发明另一实施方式涉及的降低虚拟现实延迟的方法的流程图；
附图标记说明：
101、数据采集单元；
102、渲染单元；
103、判断单元；
104、处理单元；
105、显示单元；
106、补偿帧确定单元；
107、***单元；
108、图像分割单元；
109、分辨率确定单元。
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。
请参阅图1，本发明一实施方式所述的降低虚拟现实延迟的装置的示意图。所述装置可以用于缩短VR产品的延迟时间，提高用户感官体验。所述装置包括数据采集单元101、渲染单元102、判断单元103、处理单元104、显示单元105、补偿帧确定单元106、***单元107；
所述数据采集单元101用于获取图像信息；
所述渲染单元102用于对第一图像信息进行渲染；
所述判断单元103用于判断第一图像信息是否渲染完成，若是则处理单元104用于将第一图像信息发送至显示单元105直接显示，所述第一图像信息为当前帧图像信息；否则处理单元104用于将第二帧图像信息发送至显示单元105，所述第二图像信息为当前帧上一帧且已渲染完成的图像信息；
所述补偿帧确定单元106用于根据第一图像信息和第二图像信息确定对应的补偿帧信息；
所述***单元107用于将补偿帧信息***第一图像信息和第二图像信息之间；
所述显示单元105用于显示第一图像信息或第二图像信息，以及用于显示补偿帧信息。
在使用降低虚拟现实延迟的装置时，首先数据采集单元101获取图像信息。所述数据采集单元为具有图像采集功能的电子元件，可以为图像传感器等。采集的图像信息为运动图像信息，包括多帧图像。
而后渲染单元102对第一图像信息进行渲染。所述第一图像信息为当前帧图像信息，当前帧为正在进行处理的这一帧图像，属于数据采集单元所采集的图像信息的一部分。在VR产品中，需要对图像信息进行渲染，进而将渲染后的图像信息发送给显示单元进行显示，从而将虚拟现实场景呈现给用户。
在本实施方式中，所述装置还包括图像分割单元108和分辨率确定单元109。所述图像分割单元108用于将当前帧图像分割成若干子块，所述子块还包括中央子块和周围子块，所述周围子块位于中央子块的四周；所述分辨率确定单元109用于确定第一分辨率和第二分辨率，所述第二分辨率小于第一分辨率。所述渲染单元102用于获取第一图像信息并进行渲染包括：渲染单元102用于采用第一分辨率对中央子块的图像信息进行渲染，并采用第二分辨率对周围子块的图像信息进行渲染。所述第一分辨率根据显示单元的分辨率确定，所述第二分辨率为第一分辨率的50％～75％。这样，在中央子块仍然保留完整的分辨率(显示单元100％的分辨率)进行渲染的情况下，用户所感知的效果并不会发生明显变化，同时周围子块采用较低分辨率进行渲染，可以有效降低所需要渲染的图像数量，缩短延迟时间。
进一步地，所述当前帧图像被等分3行3列总计9个子块，则第2行第2列的子块为中央子块，其他子块为周围子块。当然，图像划分的数量以及中央子块的确定可以根据实际需要决定，例如在某些实施例中，也可以将当前图像等分为4行4列总计16个子块，以中间4个子块所围成的面积作为中央子块，其余为周围子块。
而后判断单元103判断第一图像信息是否渲染完成，若是则处理单元104将第一图像信息发送至显示单元105直接显示；否则处理单元104将第二帧图像信息发送至显示单元105。如果当前帧图像信息渲染未能及时完成，会出现画面抖动现象，给用户带来不良体验。为解决这一问题，将调用第二图像信息出来重新显示，同时加上运动变化，保持帧率。所述第二图像信息为当前帧上一帧且已渲染完成的图像信息。
为了提升图像刷新率，增强用户体验，在本实施方式中，补偿帧确定单元106根据第一图像信息和第二图像信息确定对应的补偿帧信息；而后***单元107将补偿帧信息***第一图像信息和第二图像信息之间；显示单元105显示第一图像信息或第二图像信息，以及显示补偿帧信息。刷新率就是屏幕每秒钟画面被刷新的次数，即每秒能显示多少幅图像，刷新频率的单位是赫兹(Hz)，一般来说，刷新频率越高越好，图象就越稳定，对眼睛的影响也越小。现有主流的屏幕是60Hz，那每帧就是16.67ms；如果提升到90Hz，那每帧就是11.11ms。
假设刷新率为60Hz，并不是代表每帧就有16.67ms的延迟，而是说屏幕图像每16.67ms才更新一次，如果当前帧无法在16.67ms内完成渲染，比如当前帧渲染花了17ms，那么就会拖到下一帧进行提交。这时候的延迟就变成了16.67*2＝33.33ms(即需要33.33ms后才会显示刷新出当前帧图像信息)。如果刷新率为90Hz，并不是代表每帧就有11.11ms的延迟，而是说屏幕图像每11.11ms更新一次。由此可见，将屏幕刷新率提升到90Hz大大降低了延时时间。
为了提升屏幕刷新率，本发明采用插帧倍频技术动态映像***，在传统的两帧图像之间加插一帧运动补偿帧，将普通60Hz刷新率提升至90Hz。这样，运动画面更加清晰流畅，从而达到清除上一帧图像的残影、提高动态清晰度的效果，将影像拖尾降至人眼难以感知的程度。具体地，运动补偿帧可以采用相关算法通过当前帧图像信息以及当前帧的上一帧图像信息通过帧预测得到。当补偿帧预测完成后，显示单元依次显示第二图像信息、补偿帧信息、第一图像信息。
在本实施方式中，所述显示单元为OLED显示屏。传统的显示屏通常为LCD显示屏，LCD在运动时会有拖影，像素从一个值转变到另一个值需要十几毫秒，而OLED的像素切换时间在1毫秒以下。采用OLED显示屏替代LCD显示屏，可以有效减少延迟时间。
在某些实施例中，为了方便对图像信息的渲染、显示，所述装置还包括缓存单元。进一步地，显示单元与渲染单元共用同一块缓存单元，GPU直接到在缓存单元中进行渲染，使更新的画面经过1帧即可显示，快速触发。相较于显示单元与渲染单元分别设立有对应的缓存单元的方式，本方案可以有效避免图像信息在两个缓存单元之间传输的时间，有效缩短延迟。
以及发明人还提供了一种降低虚拟现实延迟的方法，请参阅图2，所述方法包括以下步骤：
首先进入步骤S201数据采集单元获取图像信息。所述数据采集单元为具有图像采集功能的电子元件，可以为图像传感器等。采集的图像信息为运动图像信息，包括多帧图像。
而后进入步骤S202渲染单元对第一图像信息进行渲染。所述第一图像信息为当前帧图像信息，当前帧为正在进行处理的这一帧图像，属于数据采集单元所采集的图像信息的一部分。在VR产品中，需要对图像信息进行渲染，进而将渲染后的图像信息发送给显示单元进行显示，从而将虚拟现实场景呈现给用户。
请参阅图4，在本实施方式中，所述装置还包括图像分割单元和分辨率确定单元。对图像信息的渲染具体可以通过以下方式实现：首先进入步骤S401图像分割单元将当前帧图像分割成若干子块，所述子块还包括中央子块和周围子块，所述周围子块位于中央子块的四周；而后进入步骤S402分辨率确定单元确定第一分辨率和第二分辨率，所述第二分辨率小于第一分辨率；而后进入步骤S403渲染单元采用第一分辨率对中央子块的图像信息进行渲染，并采用第二分辨率对周围子块的图像信息进行渲染。所述第一分辨率根据显示单元的分辨率确定，所述第二分辨率为第一分辨率的50％～75％。这样，在中央子块仍然保留完整的分辨率(显示单元100％的分辨率)进行渲染的情况下，用户所感知的效果并不会发生明显变化，同时周围子块采用较低分辨率进行渲染，可以有效降低所需要渲染的图像数量，缩短延迟时间。对第二图像信息以及对其他帧图像信息的渲染与对第一图像信息的渲染类似，此处不再赘述。
进一步地，所述当前帧图像被等分3行3列总计9个子块，则第2行第2列的子块为中央子块，其他子块为周围子块。当然，图像划分的数量以及中央子块的确定可以根据实际需要决定，例如在某些实施例中，也可以将当前图像等分为4行4列总计16个子块，以中间4个子块所围成的面积作为中央子块，其余为周围子块。
而后进入步骤S203判断单元判断第一图像信息是否渲染完成，若是则进入步骤S204处理单元将第一图像信息发送至显示单元直接显示；否则进入步骤S205处理单元将第二帧图像信息发送至显示单元。如果当前帧图像信息渲染未能及时完成，会出现画面抖动现象，给用户带来不良体验。为解决这一问题，将调用第二图像信息出来重新显示，同时加上运动变化，保持帧率。所述第二图像信息为当前帧上一帧且已渲染完成的图像信息。
为了提升图像刷新率，增强用户体验，请参阅图3,所述方法还包括以下步骤：首先进入步骤S301补偿帧确定单元根据第一图像信息和第二图像信息确定对应的补偿帧信息；而后进入步骤S302***单元将补偿帧信息***第一图像信息和第二图像信息之间；而后进入步骤S303显示单元显示第一图像信息或第二图像信息，以及显示补偿帧信息。刷新率就是屏幕每秒钟画面被刷新的次数，即每秒能显示多少幅图像，刷新频率的单位是赫兹(Hz)，一般来说，刷新频率越高越好，图象就越稳定，对眼睛的影响也越小。现有主流的屏幕是60Hz，那每帧就是16.67ms；如果提升到90Hz，那每帧就是11.11ms。
假设刷新率为60Hz，并不是代表每帧就有16.67ms的延迟，而是说屏幕图像每16.67ms才更新一次，如果当前帧无法在16.67ms内完成渲染，比如当前帧渲染花了17ms，那么就会拖到下一帧进行提交。这时候的延迟就变成了16.67*2＝33.33ms(即需要33.33ms后才会显示刷新出当前帧图像信息)。如果刷新率为90Hz，并不是代表每帧就有11.11ms的延迟，而是说屏幕图像每11.11ms更新一次。由此可见，将屏幕刷新率提升到90Hz大大降低了延时时间。
为了提升屏幕刷新率，本发明采用插帧倍频技术动态映像***，在传统的两帧图像之间加插一帧运动补偿帧，将普通60Hz刷新率提升至90Hz。这样，运动画面更加清晰流畅，从而达到清除上一帧图像的残影、提高动态清晰度的效果，将影像拖尾降至人眼难以感知的程度。具体地，运动补偿帧可以采用相关算法通过当前帧图像信息以及当前帧的上一帧图像信息通过帧预测得到。当补偿帧预测完成后，显示单元依次显示第二图像信息、补偿帧信息、第一图像信息。
在本实施方式中，所述显示单元为OLED显示屏。传统的显示屏通常为LCD显示屏，LCD在运动时会有拖影，像素从一个值转变到另一个值需要十几毫秒，而OLED的像素切换时间在1毫秒以下。采用OLED显示屏替代LCD显示屏，可以有效减少延迟时间。
在某些实施例中，为了方便对图像信息的渲染、显示，所述装置还包括缓存单元。进一步地，显示单元与渲染单元共用同一块缓存单元，GPU直接到在缓存单元中进行渲染，使更新的画面经过1帧即可显示，快速触发。相较于显示单元与渲染单元分别设立有对应的缓存单元的方式，本方案可以有效避免图像信息在两个缓存单元之间传输的时间，有效缩短延迟。
上述技术方案所述的降低虚拟现实延迟的方法和装置，采用异步时间扭曲技术，在当前帧渲染完成时直接将当前帧对应的图像信息送往显示单元直接显示，当前帧未渲染完成时，则获取已渲染的上一帧对应的图像信息送往显示单元，有效防止由于当前帧未渲染完成出现画面抖动的现象。此外，本发明还根据第一图像信息和第二图像信息确定对应的补偿帧信息，并将补偿帧信息***到两帧图像之间，来提升屏幕的刷新率，使画面更加清晰流畅，有效提高了用户体验。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外，在本文中，“大于”、“小于”、“超过”等理解为不包括本数；“以上”、“以下”、“以内”等理解为包括本数。
本领域内的技术人员应明白，上述各实施例可提供为方法、装置、或计算机程序产品。这些实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机设备可读取的存储介质中，用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备，包括但不限于：个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等；所述的存储介质，包括但不限于：RAM、ROM、磁碟、磁带、光盘、闪存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。
上述各实施例是参照根据实施例所述的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到计算机设备的处理器以产生一个机器，使得通过计算机设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机设备以特定方式工作的计算机设备可读存储器中，使得存储在该计算机设备可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机设备上，使得在计算机设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。

Claims (10)

1.一种降低虚拟现实延迟的装置，其特征在于，所述装置包括数据采集单元、渲染单元、判断单元、处理单元、显示单元、补偿帧确定单元、***单元；
所述数据采集单元用于获取图像信息；
所述渲染单元用于对第一图像信息进行渲染；
所述判断单元用于判断第一图像信息是否渲染完成，若是则处理单元用于将第一图像信息发送至显示单元直接显示，所述第一图像信息为当前帧图像信息；否则处理单元用于将第二帧图像信息发送至显示单元，所述第二图像信息为当前帧上一帧且已渲染完成的图像信息；
所述补偿帧确定单元用于根据第一图像信息和第二图像信息确定对应的补偿帧信息；
所述***单元用于将补偿帧信息***第一图像信息和第二图像信息之间；
所述显示单元用于显示第一图像信息或第二图像信息，以及用于显示补偿帧信息。
2.如权利要求1所述的降低虚拟现实延迟的装置，其特征在于，所述装置还包括图像分割单元和分辨率确定单元；
所述图像分割单元用于将当前帧图像分割成若干子块，所述子块还包括中央子块和周围子块，所述周围子块位于中央子块的四周；
所述分辨率确定单元用于确定第一分辨率和第二分辨率，所述第二分辨率小于第一分辨率；
所述渲染单元用于获取第一图像信息并进行渲染包括：
渲染单元用于采用第一分辨率对中央子块的图像信息进行渲染，并采用第二分辨率对周围子块的图像信息进行渲染。
3.如权利要求2所述的降低虚拟现实延迟的装置，其特征在于，所述当前帧图像被等分3行3列总计9个子块，则第2行第2列的子块为中央子块，其他子块为周围子块。
4.如权利要求2所述的降低虚拟现实延迟的装置，其特征在于，所述第一分辨率根据显示单元的分辨率确定，所述第二分辨率为第一分辨率的50％～75％。
5.如权利要求1所述的降低虚拟现实延迟的装置，其特征在于，所述显示单元为OLED显示屏。
6.一种降低虚拟现实延迟的方法，其特征在于，所述方法应用于降低虚拟现实延迟的装置，所述装置包括数据采集单元、渲染单元、判断单元、处理单元、显示单元、补偿帧确定单元、***单元；所述方法包括以下步骤：
数据采集单元获取图像信息；
渲染单元对第一图像信息进行渲染；
判断单元判断第一图像信息是否渲染完成，若是则处理单元将第一图像信息发送至显示单元直接显示，所述第一图像信息为当前帧图像信息；否则处理单元将第二帧图像信息发送至显示单元，所述第二图像信息为当前帧上一帧且已渲染完成的图像信息；
补偿帧确定单元根据第一图像信息和第二图像信息确定对应的补偿帧信息；
***单元将补偿帧信息***第一图像信息和第二图像信息之间；
显示单元显示第一图像信息、补偿帧图像信息以及第二图像信息。
7.如权利要求6所述的降低虚拟现实延迟的方法，其特征在于，所述装置还包括图像分割单元和分辨率确定单元；所述方法包括：
图像分割单元将当前帧图像分割成若干子块，所述子块还包括中央子块和周围子块，所述周围子块位于中央子块的四周；
分辨率确定单元确定第一分辨率和第二分辨率，所述第二分辨率小于第一分辨率；
渲染单元对第一图像信息进行渲染包括：
渲染单元采用第一分辨率对中央子块的图像信息进行渲染，并第二分辨率对周围子块的图像信息进行渲染。
8.如权利要求7所述的降低虚拟现实延迟的方法，其特征在于，所述当前帧图像被等分3行3列总计9个子块，则第2行第2列的子块为中央子块，其他子块为周围子块。
9.如权利要求7所述的降低虚拟现实延迟的方法，其特征在于，所述第一分辨率根据显示单元的分辨率确定，所述第二分辨率为第一分辨率的50％～75％。
10.如权利要求6所述的降低虚拟现实延迟的方法，其特征在于，所述显示单元为OLED显示屏。
CN201611187048.3A 2016-12-20 2016-12-20 一种降低虚拟现实延迟的方法和装置 Pending CN106658170A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611187048.3A CN106658170A (zh) 2016-12-20 2016-12-20 一种降低虚拟现实延迟的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611187048.3A CN106658170A (zh) 2016-12-20 2016-12-20 一种降低虚拟现实延迟的方法和装置

Publications (1)

Publication Number Publication Date
CN106658170A true CN106658170A (zh) 2017-05-10

Family

ID=58834226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611187048.3A Pending CN106658170A (zh) 2016-12-20 2016-12-20 一种降低虚拟现实延迟的方法和装置

Country Status (1)

Country Link
CN (1) CN106658170A (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108289175A (zh) * 2018-02-05 2018-07-17 黄淮学院 一种低延迟虚拟现实显示方法及显示***
CN108632598A (zh) * 2018-05-25 2018-10-09 小派科技（上海）有限责任公司 降低vr设备mtp延时的方法及装置
CN108921951A (zh) * 2018-07-02 2018-11-30 京东方科技集团股份有限公司 虚拟现实图像显示方法及其装置、虚拟现实设备
CN109167989A (zh) * 2018-10-19 2019-01-08 广州土圭垚信息科技有限公司 一种vr视频处理方法及***
CN109545122A (zh) * 2019-01-02 2019-03-29 京东方科技集团股份有限公司 Vr显示的补偿方法及补偿装置、显示***
CN109658326A (zh) * 2017-10-11 2019-04-19 深圳市中兴微电子技术有限公司 一种图像显示方法及装置、计算机可读存储介质
GB2568476A (en) * 2017-11-15 2019-05-22 Advanced Risc Mach Ltd Method of image production
CN109819232A (zh) * 2019-02-19 2019-05-28 京东方科技集团股份有限公司 一种图像处理方法及图像处理装置、显示装置
CN109874003A (zh) * 2019-02-28 2019-06-11 京东方科技集团股份有限公司 Vr显示控制方法、vr显示控制装置和显示装置
CN110709803A (zh) * 2017-11-14 2020-01-17 深圳市柔宇科技有限公司 数据处理方法及装置
CN110855972A (zh) * 2019-11-21 2020-02-28 Oppo广东移动通信有限公司 图像处理方法以及电子设备和存储介质
CN111601077A (zh) * 2020-05-08 2020-08-28 杭州海康威视数字技术股份有限公司 数据帧渲染方法及装置
US10779011B2 (en) * 2017-07-31 2020-09-15 Qualcomm Incorporated Error concealment in virtual reality system
CN111679739A (zh) * 2020-06-04 2020-09-18 京东方科技集团股份有限公司 可读存储介质、虚拟现实设备及其控制方法、控制装置
CN111752520A (zh) * 2020-06-28 2020-10-09 Oppo广东移动通信有限公司 图像显示方法、装置、电子设备和计算机可读存储介质
CN111836117A (zh) * 2019-04-15 2020-10-27 深信服科技股份有限公司 一种补帧数据的发送方法、装置及相关组件
CN113132714A (zh) * 2019-12-31 2021-07-16 精工爱普生株式会社 电路装置、电子设备和移动体
CN113140173A (zh) * 2020-01-17 2021-07-20 华为技术有限公司 显示驱动器及控制方法、显示控制电路***、电子设备
CN113596569A (zh) * 2021-07-22 2021-11-02 歌尔光学科技有限公司 图像处理方法、装置和计算机可读存储介质
CN113689815A (zh) * 2021-08-23 2021-11-23 Tcl华星光电技术有限公司 驱动电路及显示装置
US11217004B2 (en) * 2017-04-17 2022-01-04 Intel Corporation Graphics system with additional context
CN113946400A (zh) * 2021-10-29 2022-01-18 四川长虹教育科技有限公司 在智能交互大屏上降低Windows端书写延迟的方法
CN113971633A (zh) * 2021-10-25 2022-01-25 深圳蓝普视讯科技有限公司 一种倒装芯片空间像素排布结构和像素复用方法、***、装置和存储介质
CN114125301A (zh) * 2021-11-29 2022-03-01 卡莱特云科技股份有限公司 一种虚拟现实技术拍摄延迟处理方法及装置
WO2022227902A1 (zh) * 2021-04-27 2022-11-03 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105530533A (zh) * 2014-10-21 2016-04-27 霍尼韦尔国际公司 低等待时间的增强现实显示器
CN105872698A (zh) * 2016-03-31 2016-08-17 宇龙计算机通信科技(深圳)有限公司 播放方法、播放***和虚拟现实终端
CN105898338A (zh) * 2015-12-18 2016-08-24 乐视致新电子科技（天津）有限公司 全景视频播放方法及装置
CN105892683A (zh) * 2016-04-29 2016-08-24 上海乐相科技有限公司 一种显示方法及目标设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105530533A (zh) * 2014-10-21 2016-04-27 霍尼韦尔国际公司 低等待时间的增强现实显示器
CN105898338A (zh) * 2015-12-18 2016-08-24 乐视致新电子科技（天津）有限公司 全景视频播放方法及装置
CN105872698A (zh) * 2016-03-31 2016-08-17 宇龙计算机通信科技(深圳)有限公司 播放方法、播放***和虚拟现实终端
CN105892683A (zh) * 2016-04-29 2016-08-24 上海乐相科技有限公司 一种显示方法及目标设备

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11217004B2 (en) * 2017-04-17 2022-01-04 Intel Corporation Graphics system with additional context
US10779011B2 (en) * 2017-07-31 2020-09-15 Qualcomm Incorporated Error concealment in virtual reality system
CN109658326A (zh) * 2017-10-11 2019-04-19 深圳市中兴微电子技术有限公司 一种图像显示方法及装置、计算机可读存储介质
CN110709803A (zh) * 2017-11-14 2020-01-17 深圳市柔宇科技有限公司 数据处理方法及装置
US11062492B2 (en) 2017-11-15 2021-07-13 Arm Limited Method of image production
GB2568476B (en) * 2017-11-15 2020-02-19 Advanced Risc Mach Ltd Method of image production
GB2568476A (en) * 2017-11-15 2019-05-22 Advanced Risc Mach Ltd Method of image production
CN108289175A (zh) * 2018-02-05 2018-07-17 黄淮学院 一种低延迟虚拟现实显示方法及显示***
CN108632598A (zh) * 2018-05-25 2018-10-09 小派科技（上海）有限责任公司 降低vr设备mtp延时的方法及装置
CN108921951B (zh) * 2018-07-02 2023-06-20 京东方科技集团股份有限公司 虚拟现实图像显示方法及其装置、虚拟现实设备
CN108921951A (zh) * 2018-07-02 2018-11-30 京东方科技集团股份有限公司 虚拟现实图像显示方法及其装置、虚拟现实设备
CN109167989B (zh) * 2018-10-19 2020-08-21 广州土圭垚信息科技有限公司 一种vr视频处理方法及***
CN109167989A (zh) * 2018-10-19 2019-01-08 广州土圭垚信息科技有限公司 一种vr视频处理方法及***
US11302280B2 (en) 2019-01-02 2022-04-12 Beijing Boe Optoelectronics Technology Co., Ltd. Compensation method and compensation device for VR display and display device
CN109545122A (zh) * 2019-01-02 2019-03-29 京东方科技集团股份有限公司 Vr显示的补偿方法及补偿装置、显示***
WO2020140808A1 (zh) * 2019-01-02 2020-07-09 京东方科技集团股份有限公司 Vr显示的补偿方法及补偿装置和显示装置
CN109819232B (zh) * 2019-02-19 2021-03-26 京东方科技集团股份有限公司 一种图像处理方法及图像处理装置、显示装置
CN109819232A (zh) * 2019-02-19 2019-05-28 京东方科技集团股份有限公司 一种图像处理方法及图像处理装置、显示装置
US11341655B2 (en) 2019-02-19 2022-05-24 Beijing Boe Optoelectronics Technology Co., Ltd. Image processing method, image processing apparatus and display device
CN109874003A (zh) * 2019-02-28 2019-06-11 京东方科技集团股份有限公司 Vr显示控制方法、vr显示控制装置和显示装置
CN109874003B (zh) * 2019-02-28 2021-09-14 京东方科技集团股份有限公司 Vr显示控制方法、vr显示控制装置和显示装置
CN111836117B (zh) * 2019-04-15 2022-08-09 深信服科技股份有限公司 一种补帧数据的发送方法、装置及相关组件
CN111836117A (zh) * 2019-04-15 2020-10-27 深信服科技股份有限公司 一种补帧数据的发送方法、装置及相关组件
CN110855972A (zh) * 2019-11-21 2020-02-28 Oppo广东移动通信有限公司 图像处理方法以及电子设备和存储介质
CN110855972B (zh) * 2019-11-21 2021-07-27 Oppo广东移动通信有限公司 图像处理方法以及电子设备和存储介质
CN113132714A (zh) * 2019-12-31 2021-07-16 精工爱普生株式会社 电路装置、电子设备和移动体
CN113132714B (zh) * 2019-12-31 2023-09-08 精工爱普生株式会社 电路装置、电子设备和移动体
US11935489B2 (en) 2020-01-17 2024-03-19 Huawei Technologies Co., Ltd. Display driver and control method, display control circuit system, and electronic device
CN113140173A (zh) * 2020-01-17 2021-07-20 华为技术有限公司 显示驱动器及控制方法、显示控制电路***、电子设备
CN111601077A (zh) * 2020-05-08 2020-08-28 杭州海康威视数字技术股份有限公司 数据帧渲染方法及装置
CN111679739B (zh) * 2020-06-04 2024-04-09 京东方科技集团股份有限公司 可读存储介质、虚拟现实设备及其控制方法、控制装置
CN111679739A (zh) * 2020-06-04 2020-09-18 京东方科技集团股份有限公司 可读存储介质、虚拟现实设备及其控制方法、控制装置
CN111752520A (zh) * 2020-06-28 2020-10-09 Oppo广东移动通信有限公司 图像显示方法、装置、电子设备和计算机可读存储介质
WO2022227902A1 (zh) * 2021-04-27 2022-11-03 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备及可读存储介质
CN113596569A (zh) * 2021-07-22 2021-11-02 歌尔光学科技有限公司 图像处理方法、装置和计算机可读存储介质
CN113689815A (zh) * 2021-08-23 2021-11-23 Tcl华星光电技术有限公司 驱动电路及显示装置
CN113971633B (zh) * 2021-10-25 2022-12-06 深圳蓝普视讯科技有限公司 一种倒装芯片空间像素复用方法、***、装置和存储介质
CN113971633A (zh) * 2021-10-25 2022-01-25 深圳蓝普视讯科技有限公司 一种倒装芯片空间像素排布结构和像素复用方法、***、装置和存储介质
CN113946400A (zh) * 2021-10-29 2022-01-18 四川长虹教育科技有限公司 在智能交互大屏上降低Windows端书写延迟的方法
CN113946400B (zh) * 2021-10-29 2023-04-25 四川长虹教育科技有限公司 在智能交互大屏上降低Windows端书写延迟的方法
CN114125301B (zh) * 2021-11-29 2023-09-19 卡莱特云科技股份有限公司 一种虚拟现实技术拍摄延迟处理方法及装置
CN114125301A (zh) * 2021-11-29 2022-03-01 卡莱特云科技股份有限公司 一种虚拟现实技术拍摄延迟处理方法及装置

Similar Documents

Publication Publication Date Title
CN106658170A (zh) 一种降低虚拟现实延迟的方法和装置
CN110460831B (zh) 显示方法、装置、设备及计算机可读存储介质
CN108921951A (zh) 虚拟现实图像显示方法及其装置、虚拟现实设备
CN108876700B (zh) 一种提升vr显示效果的方法和电路
CN109285211B (zh) 画面渲染方法、装置、终端及存储介质
CN112596843B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US11341655B2 (en) Image processing method, image processing apparatus and display device
CN108282648A (zh) 一种vr渲染方法、装置、穿戴式设备及可读存储介质
CN109920040A (zh) 显示场景处理方法和装置、存储介质
US11810524B2 (en) Virtual reality display device and control method thereof
CN110704768A (zh) 基于图形处理器的网页渲染方法以及装置
CN110324601A (zh) 渲染方法、计算机产品及显示装置
US9972139B2 (en) Image processing apparatus, image processing method and program
CN112130790A (zh) 一种画面刷新方法、装置及计算机可读存储介质
CN112102172A (zh) 图像处理方法、设备、显示***及存储介质
CN109845282A (zh) 图像数据处理方法及传输装置、图像显示方法及存储介质
WO2023000598A1 (zh) 增强现实设备的帧率调整方法、***、设备及存储介质
CN113839998B (zh) 图像数据传输方法、装置、设备、存储介质及程序产品
US20140306958A1 (en) Stereoscopic rendering system
CN113870799B (zh) 一种电子墨水屏设备的***显示方法和存储设备
CN109933383A (zh) 调整游戏app运行帧率的方法及设备
CN106407009A (zh) 一种图片显示方法和装置
CN113315999A (zh) 虚拟现实优化方法、装置、设备及存储介质
CN113101158A (zh) 一种基于vr的双眼视像融合训练方法和装置
CN115129279B (zh) 图像绘制方法、装置、电子设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170510

RJ01 Rejection of invention patent application after publication