CN108289175B - 一种低延迟虚拟现实显示方法及显示*** - Google Patents

一种低延迟虚拟现实显示方法及显示*** Download PDF

Info

Publication number
CN108289175B
CN108289175B CN201810114055.3A CN201810114055A CN108289175B CN 108289175 B CN108289175 B CN 108289175B CN 201810114055 A CN201810114055 A CN 201810114055A CN 108289175 B CN108289175 B CN 108289175B
Authority
CN
China
Prior art keywords
video frame
nth
virtual
residual error
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810114055.3A
Other languages
English (en)
Other versions
CN108289175A (zh
Inventor
王春华
韩栋
曾步衢
周安琪
林鑫
闫卓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huanghuai University
Original Assignee
Huanghuai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huanghuai University filed Critical Huanghuai University
Priority to CN201810114055.3A priority Critical patent/CN108289175B/zh
Publication of CN108289175A publication Critical patent/CN108289175A/zh
Application granted granted Critical
Publication of CN108289175B publication Critical patent/CN108289175B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种低延迟虚拟现实显示方法及显示***，该方法和***主要是根据全景现实视频最新采集的视频帧即第N个视频帧，然后根据第N‑1视频帧生成第N个虚拟视频帧，计算虚拟视频帧与第N个视频帧之间的残差，根据残差、用户运动信息及第N个视频帧又生成第N+1个虚拟视频帧，并对其进行渲染，然后根据渲染结果对显示器的屏幕进行刷新，进而提高屏幕刷新频率，降低全景真实图像与虚拟图像的延迟率，克服视频抖动问题。

Description

一种低延迟虚拟现实显示方法及显示***
技术领域
本发明属于虚拟现实显示领域，特别涉及一种低延迟虚拟现实显示方法及显示方法。
背景技术
虚拟现实***是本领域所公知的，这种***针对一用户产生响应于该用户运动的虚拟世界。近年来，虚拟现实技术迅速发展，其包括用于穿戴的各种类型的虚拟眼镜以及多个显示器。虚拟世界由三维模型组成，通过计算机生成或从真实世界场景中捕获，然后将捕获的图像通过显示器进行显示。随着科技的不断发展，虚拟现实***不断涌现，但是真实图像与虚拟渲染图像之间仍然存在着延迟，为了解决上述技术问题，现有专利公开了一些虚拟现实低延迟显示***，以上***有通过检测人体姿势数据、虚拟相机姿势之其之间的变化对场景3D模型转换成的2D投影进行渲染并进行的技术，也有通过对最新的应用帧进行二次渲染得到时间帧，并通过时间帧的渲染结果刷新显示屏的技术，以上技术一定程度上解决了低延迟问题，但是在对虚拟的视频帧进行渲染或补偿时，达不到与现实视频帧非常相似的效果，还是会存在虚拟视频的抖动现象。
发明内容
为了解决现有技术中存在的问题，本发明提供了一种低延迟虚拟现实显示方法和显示***，该显示方法能够很好地解决真实场景与虚拟视频的延迟问题并且克服了现有技术存在的视频抖动现象。
本发明具体技术方案如下：
本发明提供一种低延迟虚拟现实显示方法，该方法包括如下步骤：
S1：实时获取全景现实视频；
S2：对获取的全景现实视频进行处理，获得组成全景现实视频的N个视频帧，N≥2；
S3：根据全景现实视频的第N个视频帧、残差和用户运动信息生成第N+1个虚拟视频帧，并对其进行渲染；
S4：读取虚拟视频帧对应的渲染结果对显示器的屏幕进行更新。
进一步的改进，所述残差为第N个视频帧与第N个虚拟视频帧的残差，所述用户运动信息为用户头部旋转信息。
进一步的改进，所述方法还包括：
S5：判断第N个视频帧和第N-1个视频帧内运动目标图像相对于背景图像是否发生了平移，如果未发生平移不做处理；如果发生了平移，进行步骤S6；
S6：计算第N个视频帧和第N-1个视频帧之间的平移向量；
S7：根据平移向量对步骤S3获得的第N+1个虚拟视频帧进行二次补偿渲染，并进行步骤S4。
进一步的改进，所述平移向量的计算方法为：
S61：将第N-1个视频帧的运动目标图像分割成k个子块，k≥1，记录每一子块的大小，将第N个视频帧中的运动目标图像按照每一第k子块的大小也分割成k个子块；
S62：计算第N-1个视频帧的运动目标图像第k个子块与第N个视频帧的运动目标图像第k个子块的像素灰度差H；
S63：对所述像素灰度差做加权处理，获得平移向量。
进一步的改进，步骤S3包括：
S31：根据第N-1个视频帧和用户运动信息生成第N个虚拟视频帧；
S32：计算第N个视频帧与第N个虚拟视频帧的残差；
S33：根据第N-1个视频帧、用户运动信息和残差重新生成第N个虚拟视频帧；
S34：计算重新生成的第N个虚拟视频帧和第N个视频帧的相似度，并与阈值进行判断，如果相似度大于阈值，进行步骤S35；
S35：根据第N个视频帧、用户运动信息和残差生成第N+1个虚拟视频帧。
进一步的改进，步骤S3还包括：
S36：如果步骤S34判断相似度不大于阈值，计算重新生成的第N个虚拟视频帧与第N个视频帧的第二残差；
S37：将步骤S32获得的残差和步骤S36获得的第二残差进行加权处理，获得重构残差，然后反复进行步骤S33和S34，直至重新生成的第N个虚拟视频帧和第N个视频帧的相似度大于阈值，并且获取此时的重构残差；
S38：根据第N个视频帧、用户运动信息和步骤S37最后获得的重构残差生成第N+1个虚拟视频帧。
进一步的改进，步骤S34相似度的计算方法包括：
S341：分别分离出重新生成的第N个虚拟视频帧和第N个视频帧的运动目标图像和背景图像；
S342：分别将各运动目标图像和背景图像分割成多个子块，分别计算分离出重新生成的第N个虚拟视频帧中运动目标图像偏差F1、背景图像偏差F2，第N个视频帧中运动目标图像偏差F3和背景图像偏差F4；
S343：根据运动目标图像偏差和背景图像偏差分别计算重新生成的第N个虚拟视频帧和第N个视频帧的帧内偏差y和y1；
S344：计算相似度
Figure GDA0002758598130000041
进一步的改进，
Figure GDA0002758598130000042
其中a表示第N个虚拟视频帧中运动目标图像面积与整个视频帧总面积的比率，b表示第N个视频帧中运动目标图像面积与整个视频帧总面积的比率。
进一步的改进，运动目标图像偏差F1、背景图像偏差F2、运动目标图像偏差F3和背景图像偏差F4均通过如下公式计算：
Figure GDA0002758598130000043
Si为子块第i个像素的灰度值，G为子块的像素总数，m为子块的个数，Fn表示图像偏差，n＝1、2、3、4。
本发明另一方面提供一种低延迟虚拟现实显示***，该显示***包括：
用户可视的至少一个显示器；
用于捕捉用户运动信息并形成全景现实视频的摄像机；
与摄像机相连且用于接收全景现实视频的接收单元；
与接收单元相连用于对获取的全景现实视频进行处理，获得组成全景现实视频的N个视频帧的全景显示视频处理单元，N≥2；
用于根据全景现实视频的第N个视频帧、残差和用户运动信息生成第N+1个虚拟视频帧并对其进行渲染的虚拟视频帧生成单元；
与显示器相连并用于读取虚拟视频帧对应的渲染结果对显示器的屏幕进行更新的更新单元。
本提供一种低延迟虚拟现实显示方法及显示***，该方法和***主要是根据全景现实视频最新采集的视频帧即第N个视频帧，然后根据第N-1视频帧生成第N个虚拟视频帧，计算虚拟视频帧与第N个视频帧之间的残差，根据残差、用户运动信息及第N个视频帧又生成第N+1个虚拟视频帧，并对其进行渲染，然后根据渲染结果对显示器的屏幕进行刷新，进而提高屏幕刷新频率，降低全景真实图像与虚拟图像的延迟率，克服视频抖动问题。
附图说明
图1为实施例1一种低延迟虚拟现实显示方法的流程图；
图2为实施例2一种低延迟虚拟现实显示方法的流程图；
图3为实施例2平移向量计算方法的流程图；
图4为实施例3步骤S3的流程图；
图5为实施例3步骤S34相似度的计算方法的流程图；
图6为实施例4一种低延迟虚拟现实显示***的结构框图。
具体实施方式
下面结合附图和以下实施例对本发明作进一步详细说明。
实施例1
本发明实施例1提供一种低延迟虚拟现实显示方法，如图1所示，该方法包括如下步骤：
S1：实时获取全景现实视频；
S2：对获取的全景现实视频进行处理，获得组成全景现实视频的N个视频帧，N≥2；
S3：根据全景现实视频的第N个视频帧、残差和用户运动信息生成第N+1个虚拟视频帧，并对其进行渲染，所述残差为第N个视频帧与第N个虚拟视频帧的残差，所述用户运动信息为用户头部旋转信息；
S4：读取虚拟视频帧对应的渲染结果对显示器的屏幕进行更新。
本提供一种低延迟虚拟现实显示方法，该方法主要是根据全景现实视频最新采集的视频帧即第N个视频帧，然后根据第N-1视频帧生成第N个虚拟视频帧，计算虚拟视频帧与第N个视频帧之间的残差，根据残差、用户运动信息及第N个视频帧又生成第N+1个虚拟视频帧，并对其进行渲染，然后根据渲染结果对显示器的屏幕进行刷新，进而提高屏幕刷新频率，降低全景真实图像与虚拟图像的延迟率，克服视频抖动问题。
实施例2
本发明实施例2提供一种低延迟虚拟现实显示方法，该方法与实施例1的基本相同，不同的是，如图2所示，所述方法还包括：
S5：判断第N个视频帧和第N-1个视频帧内运动目标图像相对于背景图像是否发生了平移，如果未发生平移不做处理；如果发生了平移，进行步骤S6；
S6：计算第N个视频帧和第N-1个视频帧之间的平移向量；
S7：根据平移向量对步骤S3获得的第N+1个虚拟视频帧进行二次补偿渲染，并进行步骤S4；
如图3所示，所述平移向量的计算方法如下：
S61：将第N-1个视频帧的运动目标图像分割成k个子块，k≥1，记录每一子块的大小，将第N个视频帧中的运动目标图像按照每一第k个子块的大小分割成k个子块；
S62：计算第N-1个视频帧的运动目标图像第k个子块与第N个视频帧的运动目标图像第k个子块的像素灰度差H；
S63：对所述像素灰度差做加权处理，获得平移向量。
本发明进一步对用户的姿势数据进行分析考察，如果用户的头部发生了相对位移，那么我们计算相邻两帧之间的平移向量，通过平移向量进一步对获得的第N+1虚拟视频帧进行二次补偿渲染，然后根据二次补偿渲染结果对显示器的屏幕进行刷新，进而显著降低延迟，降低虚拟视频的抖动，提高用户虚拟现实体验。
实施例3
本发明实施例3提供一种低延迟虚拟现实显示方法，该方法与实施例1的基本相同，不同的是，如图4所示，步骤S3具体包括：
S31：根据第N-1个视频帧和用户运动信息生成第N个虚拟视频帧；
S32：计算第N个视频帧与第N个虚拟视频帧的残差；
S33：根据第N-1个视频帧、用户运动信息和残差重新生成第N个虚拟视频帧；
S34：计算重新生成的第N个虚拟视频帧和第N个视频帧的相似度，并与阈值进行判断，如果相似度大于阈值，进行步骤S35；
S35：根据第N个视频帧、用户运动信息和残差生成第N+1个虚拟视频帧；
S36：如果步骤S34判断相似度不大于阈值，计算重新生成的第N个虚拟视频帧与第N个视频帧的第二残差；
S37：将步骤S32获得的残差和步骤S36获得的第二残差进行加权处理，获得重构残差，然后反复进行步骤S33和S34，直至重新生成的第N个虚拟视频帧和第N个视频帧的相似度大于阈值，并且获取此时的重构残差；
S38：根据第N个视频帧、用户运动信息和步骤S37最后获得的重构残差生成第N+1个虚拟视频帧；
如图5所示，S34相似度的计算方法包括：
S341：分别分离出重新生成的第N个虚拟视频帧和第N个视频帧的运动目标图像和背景图像；
S342：分别将各运动目标图像和背景图像分割成多个子块，分别计算分离出重新生成的第N个虚拟视频帧中运动目标图像偏差F1、背景图像偏差F2，第N个视频帧中运动目标图像偏差F3和背景图像偏差F4，运动目标图像偏差F1、背景图像偏差F2、运动目标图像偏差F3和背景图像偏差F4均通过如下公式计算：
Figure GDA0002758598130000081
Figure GDA0002758598130000082
Si为子块第i个像素的灰度值，G为子块的像素总数，m为子块的个数，Fn表示图像偏差，n＝1、2、3、4；
S343：根据运动目标图像偏差和背景图像偏差分别计算重新生成的第N个虚拟视频帧和第N个视频帧的帧内偏差y和y1，
Figure GDA0002758598130000083
Figure GDA0002758598130000084
其中a表示第N个虚拟视频帧中运动目标图像面积与整个视频帧总面积的比率，b表示第N个视频帧中运动目标图像面积与整个视频帧总面积的比率；
S344：计算相似度
Figure GDA0002758598130000085
本发明进一步对步骤S3进行限定，首先根据采集的第N-1个视频帧生成第N个虚拟视频帧，然后将第N个虚拟视频帧与采集的第N个视频帧进行比较，计算残差，重新根据第N-1个视频帧、用户运动信息和残差重新生成第N个虚拟视频帧，判断第N个虚拟视频帧与采集的第N个视频帧是否相似，如果相似，通过第N个视频帧、用户运动信息和残差生成第N+1个虚拟视频帧；如果不相似，计算重新生成的第N个虚拟视频帧与第N个视频帧的第二残差，将残差和第二残差做加权处理，然后获得重构残差，在根据重新获得重构残差、第N-1个视频帧和用户运动信息获得新的第N个虚拟视频帧，即对重构残差进行迭代，直至获得的重构残差保证重新生成的第N个虚拟视频帧和第N个视频帧的相似度大于阈值，然后根据最后获得重构残差、第N个视频帧、用户运动信息生成第N+1个虚拟视频帧，并进行渲染，根据渲染结果刷新显示器屏幕，继而有效地降低了延迟，提高虚拟现实体验。
实施例4
本发明实施例4提供一种低延迟虚拟现实显示***，如图6所示，该显示***包括：
用户可视的至少一个显示器1；
用于捕捉用户运动信息并形成全景现实视频的摄像机2；
与摄像机相连且用于接收全景现实视频的接收单元3；
与接收单元相连用于对获取的全景现实视频进行处理，获得组成全景现实视频的N个视频帧的全景显示视频处理单元4，N≥2；
用于根据全景现实视频的第N个视频帧、残差和用户运动信息生成第N+1个虚拟视频帧并对其进行渲染的虚拟视频帧生成单元5；
与显示器相连并用于读取虚拟视频帧对应的渲染结果对显示器的屏幕进行更新的更新单元6。
本提供一种低延迟虚拟现实显示***，该***主要是根据全景现实视频最新采集的视频帧即第N个视频帧，然后根据第N-1视频帧生成第N个虚拟视频帧，计算虚拟视频帧与第N个视频帧之间的残差，根据残差、用户运动信息及第N个视频帧又生成第N+1个虚拟视频帧，并对其进行渲染，然后根据渲染结果对显示器的屏幕进行刷新，进而提高屏幕刷新频率，降低全景真实图像与虚拟图像的延迟率，克服视频抖动问题。
本发明不局限于上述最佳实施方式，任何人在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是具有与本申请相同或相近似的技术方案，均落在本发明的保护范围之内。

Claims (8)

1.一种低延迟虚拟现实显示方法，其特征在于，所述方法包括如下步骤：
S1：实时获取全景现实视频；
S2：对获取的全景现实视频进行处理，获得组成全景现实视频的N个视频帧，N≥2；
S3：根据全景现实视频的第N个视频帧、残差和用户运动信息生成第N+1个虚拟视频帧，并对其进行渲染；所述残差为第N个视频帧与第N个虚拟视频帧的残差，所述用户运动信息为用户头部旋转信息；
S4：读取虚拟视频帧对应的渲染结果对显示器的屏幕进行更新。
2.如权利要求1所述的低延迟虚拟现实显示方法，其特征在于，所述方法还包括：
S5：判断第N个视频帧和第N-1个视频帧内运动目标图像相对于背景图像是否发生了平移，如果未发生平移不做处理；如果发生了平移，进行步骤S6；
S6：计算第N个视频帧和第N-1个视频帧之间的平移向量；
S7：根据平移向量对步骤S3获得的第N+1个虚拟视频帧进行二次补偿渲染，并进行步骤S4。
3.如权利要求2所述的低延迟虚拟现实显示方法，其特征在于，所述平移向量的计算方法为：
S61：将第N-1个视频帧的运动目标图像分割成k个子块，k≥1，记录每一子块的大小，将第N个视频帧中的运动目标图像按照每一第k子块的大小也分割成k个子块；
S62：计算第N-1个视频帧的运动目标图像第k个子块与第N个视频帧的运动目标图像第k个子块的像素灰度差H；
S63：对所述像素灰度差做加权处理，获得平移向量。
4.如权利要求1所述的低延迟虚拟现实显示方法，其特征在于，步骤S3包括：
S31：根据第N-1个视频帧和用户运动信息生成第N个虚拟视频帧；
S32：计算第N个视频帧与第N个虚拟视频帧的残差；
S33：根据第N-1个视频帧、用户运动信息和残差重新生成第N个虚拟视频帧；
S34：计算重新生成的第N个虚拟视频帧和第N个视频帧的相似度，并与阈值进行判断，如果相似度大于阈值，进行步骤S35；
S35：根据第N个视频帧、用户运动信息和残差生成第N+1个虚拟视频帧。
5.如权利要求4所述的低延迟虚拟现实显示方法，其特征在于，步骤S3还包括：
S36：如果步骤S34判断相似度不大于阈值，计算重新生成的第N个虚拟视频帧与第N个视频帧的第二残差；
S37：将步骤S32获得的残差和步骤S36获得的第二残差进行加权处理，获得重构残差，然后反复进行步骤S33和S34，直至重新生成的第N个虚拟视频帧和第N个视频帧的相似度大于阈值，并且获取此时的重构残差；
S38：根据第N个视频帧、用户运动信息和步骤S37最后获得的重构残差生成第N+1个虚拟视频帧。
6.如权利要求5所述的低延迟虚拟现实显示方法，其特征在于，步骤S34相似度的计算方法包括：
S341：分别分离出重新生成的第N个虚拟视频帧和第N个视频帧的运动目标图像和背景图像；
S342：分别将各运动目标图像和背景图像分割成多个子块，分别计算分离出重新生成的第N个虚拟视频帧中运动目标图像偏差F1、背景图像偏差F2，第N个视频帧中运动目标图像偏差F3和背景图像偏差F4；运动目标图像偏差F1、背景图像偏差F2、运动目标图像偏差F3和背景图像偏差F4均通过如下公式计算：
Figure FDA0002758598120000031
Si为子块第i个像素的灰度值，G为子块的像素总数，m为子块的个数，Fn表示图像偏差，n＝1、2、3、4；
S343：根据运动目标图像偏差和背景图像偏差分别计算重新生成的第N个虚拟视频帧和第N个视频帧的帧内偏差y和y1；
S344：计算相似度
Figure FDA0002758598120000032
7.如权利要求6所述的低延迟虚拟现实显示方法，其特征在于，
Figure FDA0002758598120000033
Figure FDA0002758598120000034
其中a表示第N个虚拟视频帧中运动目标图像面积与整个视频帧总面积的比率，b表示第N个视频帧中运动目标图像面积与整个视频帧总面积的比率。
8.一种低延迟虚拟现实显示***，其特征在于，所述显示***包括：
用户可视的至少一个显示器(1)；
用于捕捉用户运动信息并形成全景现实视频的摄像机(2)；
与摄像机相连且用于接收全景现实视频的接收单元(3)；
与接收单元相连用于对获取的全景现实视频进行处理，获得组成全景现实视频的N个视频帧的全景显示视频处理单元(4)，N≥2；
用于根据全景现实视频的第N个视频帧、残差和用户运动信息生成第N+1个虚拟视频帧并对其进行渲染的虚拟视频帧生成单元(5)；所述残差为第N个视频帧与第N个虚拟视频帧的残差，所述用户运动信息为用户头部旋转信息
与显示器相连并用于读取虚拟视频帧对应的渲染结果对显示器的屏幕进行更新的更新单元(6)。
CN201810114055.3A 2018-02-05 2018-02-05 一种低延迟虚拟现实显示方法及显示*** Active CN108289175B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810114055.3A CN108289175B (zh) 2018-02-05 2018-02-05 一种低延迟虚拟现实显示方法及显示***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810114055.3A CN108289175B (zh) 2018-02-05 2018-02-05 一种低延迟虚拟现实显示方法及显示***

Publications (2)

Publication Number Publication Date
CN108289175A CN108289175A (zh) 2018-07-17
CN108289175B true CN108289175B (zh) 2020-12-08

Family

ID=62836454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810114055.3A Active CN108289175B (zh) 2018-02-05 2018-02-05 一种低延迟虚拟现实显示方法及显示***

Country Status (1)

Country Link
CN (1) CN108289175B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765356A (zh) * 2018-07-26 2018-11-06 杭州拓叭吧科技有限公司 一种防眩晕的模拟驾驶***、方法及其驾驶舱
US10871939B2 (en) * 2018-11-07 2020-12-22 Nvidia Corporation Method and system for immersive virtual reality (VR) streaming with reduced audio latency
CN110688012B (zh) * 2019-10-08 2020-08-07 深圳小辣椒科技有限责任公司 一种实现与智能终端、与vr设备交互的方法和装置
CN115309256A (zh) * 2021-05-07 2022-11-08 华为技术有限公司 一种显示方法与电子设备
CN114827575B (zh) * 2022-03-10 2024-04-30 晋江市博感电子科技有限公司 一种vr显示控制方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6445815B1 (en) * 1998-05-08 2002-09-03 Canon Kabushiki Kaisha Measurement of depth image considering time delay
CN105404393A (zh) * 2015-06-30 2016-03-16 指点无限（美国）有限公司 低延迟虚拟现实显示***
CN105892683A (zh) * 2016-04-29 2016-08-24 上海乐相科技有限公司 一种显示方法及目标设备
CN106598253A (zh) * 2016-12-23 2017-04-26 北京搜狐新媒体信息技术有限公司 一种数据预测方法及装置
CN107274472A (zh) * 2017-06-16 2017-10-20 福州瑞芯微电子股份有限公司 一种提高vr播放帧率的方法和装置
CN108139815A (zh) * 2016-02-22 2018-06-08 谷歌有限责任公司 用于虚拟现实内容的显示的场景和对象的分立时间扭曲

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110183301A1 (en) * 2010-01-27 2011-07-28 L-3 Communications Corporation Method and system for single-pass rendering for off-axis view
CN106658170A (zh) * 2016-12-20 2017-05-10 福州瑞芯微电子股份有限公司 一种降低虚拟现实延迟的方法和装置
CN106782268B (zh) * 2017-01-04 2020-07-24 京东方科技集团股份有限公司 显示***和用于显示面板的驱动方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6445815B1 (en) * 1998-05-08 2002-09-03 Canon Kabushiki Kaisha Measurement of depth image considering time delay
CN105404393A (zh) * 2015-06-30 2016-03-16 指点无限（美国）有限公司 低延迟虚拟现实显示***
CN108139815A (zh) * 2016-02-22 2018-06-08 谷歌有限责任公司 用于虚拟现实内容的显示的场景和对象的分立时间扭曲
CN105892683A (zh) * 2016-04-29 2016-08-24 上海乐相科技有限公司 一种显示方法及目标设备
CN106598253A (zh) * 2016-12-23 2017-04-26 北京搜狐新媒体信息技术有限公司 一种数据预测方法及装置
CN107274472A (zh) * 2017-06-16 2017-10-20 福州瑞芯微电子股份有限公司 一种提高vr播放帧率的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
增强现实运动头部目标跟踪中的误差消除方法;王卉;《计算机仿真》;20140531;第31卷(第5期);第428-431页 *
虚拟现实视频传输架构和关键技术;郭宗明等;《中兴通讯技术》;第19-23页;20171231;第23卷(第6期);第19-23页 *

Also Published As

Publication number Publication date
CN108289175A (zh) 2018-07-17

Similar Documents

Publication Publication Date Title
CN108289175B (zh) 一种低延迟虚拟现实显示方法及显示***
US11024002B2 (en) Generating gaze corrected images using bidirectionally trained network
US10593025B2 (en) Method and system for reconstructing obstructed face portions for virtual reality environment
US8102428B2 (en) Content-aware video stabilization
TWI659335B (zh) 圖形處理方法和裝置、虛擬實境系統和計算機儲存介質
CN108921050B (zh) 一种基于移动端的虚拟现实图像处理***
US11501118B2 (en) Digital model repair system and method
US9262950B2 (en) Augmented reality extrapolation techniques
WO2010022351A2 (en) System and method for low bandwidth image transmission
CN113994366A (zh) 用于视频超分辨率的多阶段多参考自举
US9407797B1 (en) Methods and systems for changing duty cycle to reduce judder effect
Li et al. Depth-aware stereo video retargeting
CN112862901A (zh) 基于多视视频与时空神经辐射场的实验动物视场模拟方法
US10979690B1 (en) Systems and methods for using depth information to extrapolate two-dimensional images
TWI813098B (zh) 用於新穎視圖合成之神經混合
CN112887646B (zh) 图像处理方法及装置、扩展现实***、计算机设备及介质
CN110769323A (zh) 一种视频通信方法、***、装置和终端设备
KR20190011212A (ko) 출력면을 제공하는 방법 및 데이터 처리 시스템
JP2001128195A (ja) 立体画像補正装置、立体画像表示装置および立体画像補正処理プログラムを記録した記録媒体
CN106909904B (zh) 一种基于可学习形变场的人脸正面化方法
Jeelani et al. Expanding synthetic real-world degradations for blind video super resolution
Ye et al. Real3d-portrait: One-shot realistic 3d talking portrait synthesis
JP6799468B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
CN112954313A (zh) 一种对全景图像感知质量的计算方法
CN109658326B (zh) 一种图像显示方法及装置、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant