CN113888685A - 一种头戴设备的控制方法、一种画面渲染方法 - Google Patents

一种头戴设备的控制方法、一种画面渲染方法 Download PDF

Info

Publication number
CN113888685A
CN113888685A CN202111151283.6A CN202111151283A CN113888685A CN 113888685 A CN113888685 A CN 113888685A CN 202111151283 A CN202111151283 A CN 202111151283A CN 113888685 A CN113888685 A CN 113888685A
Authority
CN
China
Prior art keywords
rendering
picture
head
content range
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111151283.6A
Other languages
English (en)
Inventor
邱绪东
陶洪焰
张超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Goertek Technology Co Ltd
Qingdao Goertek Co Ltd
Original Assignee
Qingdao Goertek Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Goertek Technology Co Ltd filed Critical Qingdao Goertek Technology Co Ltd
Priority to CN202111151283.6A priority Critical patent/CN113888685A/zh
Priority to US18/552,240 priority patent/US20240019702A1/en
Priority to PCT/CN2021/129158 priority patent/WO2023050533A1/zh
Publication of CN113888685A publication Critical patent/CN113888685A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0181Adaptation to the pilot/driver
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B2027/0192Supplementary details
    • G02B2027/0198System for aligning or maintaining alignment of an image in a predetermined direction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

本申请公开了一种头戴设备的控制方法、装置和头戴设备,还公开了一种画面渲染方法、装置及电子设备,该控制方法包括:向云端发送包含姿态数据的渲染请求,并接收第一渲染画面;其中,所述第一渲染画面为所述云端基于所述姿态数据进行渲染得到的画面;获取第一目标时刻至第二目标时刻真实的姿态变化数据;其中,所述第一目标时刻为发送所述渲染请求的时刻、所述第二目标时刻为接收到所述第一渲染画面的时刻;基于所述姿态变化数据对所述第一渲染画面进行渲染补偿得到第二渲染画面。由此可见,本申请考虑到了头戴设备与云端之间网络传输和云端画面渲染过程中用户的姿态变化,基于此进行渲染补偿,提高了渲染补偿的准确度。

Description

一种头戴设备的控制方法、一种画面渲染方法
技术领域
本申请涉及虚拟现实技术领域,更具体地说,涉及一种头戴设备的控制方法、装置和一种头戴设备和一种计算机可读存储介质,还涉及到一种画面渲染方法、装置及电子设备和一种计算机可读存储介质。
背景技术
串流技术为网络上使用实时压缩和传输影音的技术,其核心是将应用程序、数据处理和数据存储放在服务器端,用户只需要通过头戴设备就能访问服务器端的应用程序和数据,实现大服务器瘦头戴设备。
在相关技术中,头戴设备对从服务器接收到的渲染画面进行ATW补偿,即基于用户的历史姿态数据预测头戴设备接收到渲染画面的时刻与实际显示画面的时刻之间的用户姿态变化,进而进行渲染补偿。但是,头戴设备与服务器之间的网络传输和画面渲染也需要消耗时间,相关技术中没有考虑到上述时间内的用户姿态变化,导致渲染补偿的准确性较差。
因此,如何提高渲染补偿的准确度是本领域技术人员需要解决的技术问题。
发明内容
本申请的目的在于提供一种头戴设备的控制方法、装置及一种电子设备和一种计算机可读存储介质,提高了渲染补偿的准确度。
为实现上述目的,本申请提供了一种头戴设备的控制方法,应用于所述头戴设备,包括:
向云端发送包含姿态数据的渲染请求,并接收第一渲染画面;其中,所述第一渲染画面为所述云端基于所述姿态数据进行渲染得到的画面;
获取第一目标时刻至第二目标时刻真实的姿态变化数据;其中,所述第一目标时刻为发送所述渲染请求的时刻、所述第二目标时刻为接收到所述第一渲染画面的时刻;
基于所述姿态变化数据对所述第一渲染画面进行渲染补偿得到第二渲染画面。
其中,还包括:
对所述第二渲染画面进行ATW补偿得到第三渲染画面,在第三目标时刻,将所述第三渲染画面通过所述头戴设备展示。
其中,所述姿态变化数据具体为所述第一目标时刻至所述第二目标时刻所述头戴设备的旋转角度,所述获取第一目标时刻至第二目标时刻真实的姿态变化数据,包括:
记录所述第一目标时刻至所述第二目标时刻真实的角速度数据,对所述角速度数据进行积分运算得到所述第一目标时刻至所述第二目标时刻所述头戴设备的旋转角度。
其中,所述基于姿态变化数据对所述第一渲染画面进行渲染补偿得到第二渲染画面,包括:
基于所述旋转角度计算旋转矩阵,并利用所述旋转矩阵调整所述第一渲染画面,得到第二渲染画面;其中,所述第一渲染画面与所述第二渲染画面的画面内容范围相同。
其中,所述第一渲染画面为所述云端基于扩展画面内容范围进行渲染得到的画面,所述扩展画面内容范围为对所述姿态数据对应的画面内容范围进行扩展得到的范围;
相应的,所述基于姿态变化数据对所述第一渲染画面进行渲染补偿得到第二渲染画面,包括:
基于所述姿态数据和所述旋转角度确定目标画面内容范围,并根据所述目标画面内容范围在所述第一渲染画面中截取第二渲染画面。
其中,所述扩展画面内容范围为对所述姿态数据对应的画面内容范围向每个方向扩展目标长度得到的范围。
其中,所述目标长度为根据所述头戴设备与所述云端之间的最大延迟、所述头戴设备的最大旋转速度和所述云端的渲染速度计算得到的长度。
为实现上述目的,本申请提供了一种画面渲染方法,应用于云端,包括:
接收头戴设备发送的渲染请求,并确定所述渲染请求中的姿态数据对应的画面内容范围;
对所述画面内容范围进行扩展得到扩展画面内容范围,并基于所述扩展画面内容范围进行渲染得到第一渲染画面;
将所述第一渲染画面发送至所述头戴设备,以便所述头戴设备对所述第一渲染画面进行渲染补偿得到第二渲染画面。
其中,对所述画面内容范围进行扩展得到扩展画面内容范围,包括:
对所述画面内容范围向每个方向扩展目标长度得到扩展画面内容范围。
其中,还包括:
根据所述头戴设备与所述云端之间的最大延迟、所述头戴设备的最大旋转速度和所述云端的渲染速度计算所述目标长度。
为实现上述目的,本申请提供了一种头戴设备的控制装置,应用于所述头戴设备,包括:
接收模块,用于向云端发送包含姿态数据的渲染请求,并接收第一渲染画面;其中,所述第一渲染画面为所述云端基于所述姿态数据进行渲染得到的画面;
获取模块,用于获取第一目标时刻至第二目标时刻真实的姿态变化数据;其中,所述第一目标时刻为发送所述渲染请求的时刻、所述第二目标时刻为接收到所述第一渲染画面的时刻;
渲染补偿模块,用于基于所述姿态变化数据对所述第一渲染画面进行渲染补偿得到第二渲染画面。
为实现上述目的,本申请提供了一种画面渲染装置,应用于云端,包括:
确定模块,用于接收头戴设备发送的渲染请求,并确定所述渲染请求中的姿态数据对应的画面内容范围;
渲染模块,用于对所述画面内容范围进行扩展得到扩展画面内容范围,并基于所述扩展画面内容范围进行渲染得到第一渲染画面;
发送模块,用于将所述第一渲染画面发送至所述头戴设备,以便所述头戴设备对所述第一渲染画面进行渲染补偿得到第二渲染画面。
为实现上述目的,本申请提供了一种头戴设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上述头戴设备的控制方法的步骤。
为实现上述目的,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述头戴设备的控制方法的步骤。
为实现上述目的,本申请提供了一种电子设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上述画面渲染方法的步骤。
为实现上述目的,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述画面渲染方法的步骤。
通过以上方案可知,本申请提供的一种头戴设备的控制方法,包括:向云端发送包含姿态数据的渲染请求,并接收第一渲染画面;其中,所述第一渲染画面为所述云端基于所述姿态数据进行渲染得到的画面;获取第一目标时刻至第二目标时刻真实的姿态变化数据;其中,所述第一目标时刻为发送所述渲染请求的时刻、所述第二目标时刻为接收到所述第一渲染画面的时刻;基于所述姿态变化数据对所述第一渲染画面进行渲染补偿得到第二渲染画面。
本申请提供的头戴设备的控制方法,记录发送渲染请求的时刻至接收到第一渲染画面的时刻之间头戴设备真实的姿态变化数据,并基于此计算头戴设备在接收到第一渲染画面的时刻相对于发送渲染请求的时刻的旋转角度,基于姿态变化数据对第一渲染画面进行渲染补偿得到第二渲染画面,降低了用户的延迟感觉。由此可见,本申请提供的头戴设备的控制方法,考虑到了头戴设备与云端之间网络传输和云端画面渲染过程中用户的姿态变化,基于此进行渲染补偿,提高了渲染补偿的准确度。本申请还公开了一种头戴设备的控制装置及一种头戴设备和一种计算机可读存储介质,同样能实现上述技术效果。本申请还提供了一种画面渲染方法、装置及一种电子设备和一种计算机可读存储介质,同样能实现上述技术效果。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
图1为根据一示例性实施例示出的一种头戴设备的控制***的架构图;
图2为根据一示例性实施例示出的第一种头戴设备的控制方法的流程图;
图3为根据一示例性实施例示出的一种角速度与时间的对应关系示意图;
图4为根据一示例性实施例示出的第二种头戴设备的控制方法的流程图;
图5为根据一示例性实施例示出的第三种头戴设备的控制方法的流程图;
图6为根据一示例性实施例示出的一种扩展画面内容范围的示意图;
图7为根据一示例性实施例示出的一种画面渲染方法的流程图;
图8为根据一示例性实施例示出的一种头戴设备的控制装置的结构图;
图9为根据一示例性实施例示出的一种画面渲染装置的结构图;
图10为根据一示例性实施例示出的一种头戴设备或电子设备的内部结构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。另外,在本申请实施例中,“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
为了便于理解本申请提供的显示方法,下面对其使用的***进行介绍。参见图1,其示出了本申请实施例提供的一种显示***的架构图,如图1所示,包括头戴设备10和云端20,头戴设备10和云端20之间通过网络连接。
本实施例采用云串流技术,无需将应用下载和安装到头戴设备10,使用串流软件在云端20运行应用,云端10将压缩后的数据通过串流协议发送到头戴设备10,并处理头戴设备10上传的交互数据,使得用户只需要通过头戴设备10就能访问服务器端的应用程序和数据。
具体的,云端20作为存放应用和计算数据的服务器,集成内容服务器,控制服务等,提供各种数据计算处理能力,包括对下行和上行数据进行解压和压缩、对头戴设备10的请求进行响应等。
头戴设备10仅作为输入和显示的设备存在,提供给用户无差别的体验,无需感知运行的应用是存在于本地还是云端。头戴设备10上部署显示设备,可以包括HMD(中文全称:头部显示器,英文全称:Head Mounted Display),其在硬件上包括显示屏、处理器、传感器、摄像机、无线通信模块、存储、电池、镜片等,主要负责收集头部的姿态数据和显示云端20的渲染结果。头戴设备上可以设置有IMU(中文全称:惯性测量单元,英文全称:Inertialmeasurement unit),用于测量头部的姿态数据,例如三轴姿态角、角速度、加速度等。
本申请实施例公开了一种头戴设备的控制方法,提高了渲染补偿的准确度。
参见图2,根据一示例性实施例示出的第一种头戴设备的控制方法的流程图,如图2所示,包括:
S101:向云端发送包含姿态数据的渲染请求,并接收第一渲染画面;其中,所述第一渲染画面为所述云端基于所述姿态数据进行渲染得到的画面;
本实施例中的执行为上一实施例中的头戴设备。在具体实施中,采集姿态数据,并向云端发送渲染请求,云端基于该姿态数据进行渲染得到第一渲染画面,返回至头戴设备。
S102:获取第一目标时刻至第二目标时刻真实的姿态变化数据;其中,所述第一目标时刻为发送所述渲染请求的时刻、所述第二目标时刻为接收到所述第一渲染画面的时刻;
可以理解的是,在理想的情况下,头戴设备发送至云端的姿态数据为实时的姿态数据,但是在现实情况下,网络传输和画面渲染都需要耗费时间,因此头戴设备接收到的第一渲染画面为发送渲染请求的时刻对应的画面,而并非接收到第一渲染画面的时刻实际对应的画面。因此,在本实施例中,头戴设备记录发送渲染请求的时刻至接收到第一渲染画面的时刻之间的姿态数据,并基于此计算姿态变化数据,以便后续步骤进行渲染补偿。
作为一种优选实施方式,所述姿态变化数据具体为所述第一目标时刻至所述第二目标时刻所述头戴设备的旋转角度,本步骤可以包括:记录所述第一目标时刻至所述第二目标时刻真实的角速度数据,对所述角速度数据进行积分运算得到所述第一目标时刻至所述第二目标时刻所述头戴设备的旋转角度。在具体实施中,如图3所示,记录角速度与时间的对应关系,T1为第一目标时刻,即发送渲染请求的时刻,T2为第二目标时刻,即接收到第一渲染画面的时刻,对T1至T2之间的角速度进行积分运算,得到旋转角度θ。
S103:基于所述姿态变化数据对所述第一渲染画面进行渲染补偿得到第二渲染画面。
在具体实施中,头戴设备基于姿态变化数据对第一渲染画面进行渲染补偿得到第二渲染画面。
作为一种优选实施方式,本实施例还包括:对所述第二渲染画面进行ATW补偿得到第三渲染画面,在第三目标时刻,将所述第三渲染画面通过所述头戴设备展示。需要说明的是,第三目标时刻为头戴设备实际显示渲染画面的时刻,第二目标时刻与第三目标时刻之间还是存在时间损耗,对于这段时间内用户的姿态变化,通过ATW进行再次补偿,即根据用户在第二目标时刻的姿态数据预测用户在第三目标时刻的姿态数据,进而对第二渲染画面进行再次补偿。
本申请实施例提供的头戴设备的控制方法,记录发送渲染请求的时刻至接收到第一渲染画面的时刻之间头戴设备真实的姿态变化数据,并基于此计算头戴设备在接收到第一渲染画面的时刻相对于发送渲染请求的时刻的旋转角度,基于姿态变化数据对第一渲染画面进行渲染补偿得到第二渲染画面,降低了用户的延迟感觉。由此可见,本申请实施例提供的头戴设备的控制方法,考虑到了头戴设备与云端之间网络传输和云端画面渲染过程中用户的姿态变化,基于此进行渲染补偿,提高了渲染补偿的准确度。
本申请实施例公开了一种头戴设备的控制方法,相对于上一实施例,本实施例对技术方案作了进一步的说明和优化。具体的:
参见图4根据一示例性实施例示出的第二种头戴设备的控制方法的流程图,如图4所示,包括:
S201:向云端发送包含姿态数据的渲染请求,并接收第一渲染画面;其中,所述第一渲染画面为所述云端基于所述姿态数据对应的渲染范围进行渲染得到的画面;
在本实施例中,云端基于接收到的姿态数据确定对应的渲染范围,并基于此进行渲染得到第一渲染画面。也即,第一渲染画面为发送渲染请求的时刻对应的真实画面。
S202:记录第一目标时刻至第二目标时刻真实的角速度数据,对所述角速度数据进行积分运算得到所述第一目标时刻至所述第二目标时刻所述头戴设备的旋转角度;
S203:基于所述旋转角度计算旋转矩阵,并利用所述旋转矩阵调整所述第一渲染画面,得到第二渲染画面;其中,所述第一渲染画面与所述第二渲染画面的画面内容范围相同。
在本步骤中,基于计算得到的旋转角度调整旋转矩阵,并利用该旋转矩阵对第一渲染画面进行角度变化得到第二渲染画面。也即,第一渲染画面与第二渲染画面虽然画面内容范围相同,但是角度不同,视觉效果上进行了旋转,可以理解为调整了头戴设备的虚拟场景中的位置和角度。
S204:对所述第二渲染画面进行ATW补偿得到第三渲染画面,在第三目标时刻,将所述第三渲染画面通过所述头戴设备展示。
由此可见,本实施例只需要利用旋转矩阵对第一渲染画面进行简单的角度变化即可得到显示的第二渲染画面,视觉上具有旋转效果的同时,不需要复杂的运算,提高了渲染补偿的效率。
本申请实施例公开了一种头戴设备的控制方法,相对于第一个实施例,本实施例对技术方案作了进一步的说明和优化。具体的:
参见图5,根据一示例性实施例示出的第三种头戴设备的控制方法的流程图,如图5所示,包括:
S301:向云端发送包含姿态数据的渲染请求,并接收第一渲染画面;其中,所述第一渲染画面为所述云端基于扩展画面内容范围进行渲染得到的画面,所述扩展画面内容范围为对所述姿态数据对应的画面内容范围进行扩展得到的范围;
在本实施例中,云端基于接收到的姿态数据确定对应的画面内容范围,并对其进行扩展得到扩展画面内容范围,基于此进行渲染得到第一渲染画面。也即,第一渲染画面的画面内容范围大于发送渲染请求的时刻对应的真实画面。
作为一种优选实施方式,所述扩展画面内容范围为对所述姿态数据对应的画面内容范围向每个方向扩展目标长度得到的范围。在具体实施中,对姿态数据对应的画面内容范围分别向上、下、左、右扩展目标长度得到扩展渲染范围。例如,如图6所示,姿态数据对应的画面内容范围为S,图中的实线部分,目标长度为a,扩展画面内容范围为图中的虚线部分。
优选的,所述目标长度为根据所述头戴设备与所述云端之间的最大延迟、所述头戴设备的最大旋转速度和所述云端的渲染速度计算得到的长度。在具体实施中,根据头戴设备与云端之间的最大延迟和云端的渲染速度计算第二目标时刻与第一目标时刻的时间差,将该时间差与头戴设备的最大旋转速度的乘积对应到图像中,得到在最大延迟和云端渲染时间内头戴设备的最大旋转范围,即目标长度。
S302:记录第一目标时刻至第二目标时刻真实的角速度数据,对所述角速度数据进行积分运算得到所述第一目标时刻至所述第二目标时刻所述头戴设备的旋转角度;
S303:基于所述姿态数据和所述旋转角度确定目标画面内容范围,并根据所述目标画面内容范围在所述第一渲染画面中截取第二渲染画面。
在本步骤中,基于旋转角度确定需要渲染补偿的范围,其与采集的姿态数据对应的画面内容范围之和为目标画面内容范围,根据该目标画面内容范围在第一渲染画面进行截取得到第二渲染画面,也即第二渲染画面为头戴设备接收到第一渲染画面的时刻对应的真实画面。
S304:对所述第二渲染画面进行ATW补偿得到第三渲染画面,在第三目标时刻,将所述第三渲染画面通过所述头戴设备展示。
在本实施例中,云端渲染的第一渲染画面大于发送渲染请求的时刻对应的真实画面,头戴设备基于旋转角度在在第一渲染画面进行截取得到第二渲染画面,实现了渲染补偿。由此可见,第二渲染画面为头戴设备接收到第一渲染画面的时刻对应的真实画面,提高了渲染补偿的效率。
本实施例介绍云端画面渲染的过程,具体的:
参见图7,根据一示例性实施例示出的一种画面渲染方法的流程图,如图7所示,包括:
S401:接收头戴设备发送的渲染请求,并确定所述渲染请求中的姿态数据对应的画面内容范围;
本实施例的执行主体为云端,在本步骤中,云端基于接收到的姿态数据确定对应的画面内容范围。
S402:对所述画面内容范围进行扩展得到扩展画面内容范围,并基于所述扩展画面内容范围进行渲染得到第一渲染画面;
在本步骤中,云端对上一步骤确定的画面内容范围进行扩展得到扩展画面内容范围,基于此进行渲染得到第一渲染画面。也即,第一渲染画面的画面内容范围大于发送渲染请求的时刻对应的真实画面。
作为一种优选实施方式,对所述画面内容范围进行扩展得到扩展画面内容范围,包括:对所述画面内容范围向每个方向扩展目标长度得到扩展画面内容范围。优选的,本实施例还包括:对所述画面内容范围进行扩展得到扩展画面内容范围,包括:对所述画面内容范围向每个方向扩展目标长度得到扩展画面内容范围。
S403:将所述第一渲染画面发送至所述头戴设备,以便所述头戴设备对所述第一渲染画面进行渲染补偿得到第二渲染画面。
下面对本申请实施例提供的一种头戴设备的控制装置进行介绍,应用于头戴设备,下文描述的一种头戴设备的控制装置与上文描述的一种头戴设备的控制方法可以相互参照。
参见图8,根据一示例性实施例示出的一种头戴设备的控制装置的结构图,如图8所示,包括:
接收模块801,用于向云端发送包含姿态数据的渲染请求,并接收第一渲染画面;其中,所述第一渲染画面为所述云端基于所述姿态数据进行渲染得到的画面;
获取模块802,用于获取第一目标时刻至第二目标时刻真实的姿态变化数据;其中,所述第一目标时刻为发送所述渲染请求的时刻、所述第二目标时刻为接收到所述第一渲染画面的时刻;
渲染补偿模块803,用于基于所述姿态变化数据对所述第一渲染画面进行渲染补偿得到第二渲染画面。
本申请实施例提供的头戴设备的控制装置,记录发送渲染请求的时刻至接收到第一渲染画面的时刻之间头戴设备真实的姿态变化数据,并基于此计算头戴设备在接收到第一渲染画面的时刻相对于发送渲染请求的时刻的旋转角度,基于姿态变化数据对第一渲染画面进行渲染补偿得到第二渲染画面,降低了用户的延迟感觉。由此可见,本申请实施例提供的头戴设备的控制装置,考虑到了头戴设备与云端之间网络传输和云端画面渲染过程中用户的姿态变化,基于此进行渲染补偿,提高了渲染补偿的准确度。
在上述实施例的基础上,作为一种优选实施方式,还包括:
展示模块,用于对所述第二渲染画面进行ATW补偿得到第三渲染画面,在第三目标时刻,将所述第三渲染画面通过所述头戴设备展示。
在上述实施例的基础上,作为一种优选实施方式,所述姿态变化数据具体为所述第一目标时刻至所述第二目标时刻所述头戴设备的旋转角度,所述获取模块802具体为记录所述第一目标时刻至所述第二目标时刻真实的角速度数据,对所述角速度数据进行积分运算得到所述第一目标时刻至所述第二目标时刻所述头戴设备的旋转角度的模块。
在上述实施例的基础上,作为一种优选实施方式,所述渲染补偿模块803具体为基于所述旋转角度计算旋转矩阵,并利用所述旋转矩阵调整所述第一渲染画面,得到第二渲染画面;其中,所述第一渲染画面与所述第二渲染画面的画面内容范围相同。
在上述实施例的基础上,作为一种优选实施方式,所述第一渲染画面为所述云端基于扩展画面内容范围进行渲染得到的画面,所述扩展画面内容范围为对所述姿态数据对应的画面内容范围进行扩展得到的范围;
相应的,所述渲染补偿模块803具体为基于所述姿态数据和所述旋转角度确定目标画面内容范围,并根据所述目标画面内容范围在所述第一渲染画面中截取第二渲染画面的模块。
在上述实施例的基础上,作为一种优选实施方式,所述扩展画面内容范围为对所述姿态数据对应的画面内容范围向每个方向扩展目标长度得到的范围。
在上述实施例的基础上,作为一种优选实施方式,所述目标长度为根据所述头戴设备与所述云端之间的最大延迟、所述头戴设备的最大旋转速度和所述云端的渲染速度计算得到的长度。
下面对本申请实施例提供的一种画面渲染装置进行介绍,应用于云端,下文描述的一种画面渲染装置与上文描述的一种画面渲染方法可以相互参照。
参见图9,根据一示例性实施例示出的一种画面渲染装置的结构图,如图9所示,包括:
确定模块901,用于接收头戴设备发送的渲染请求,并确定所述渲染请求中的姿态数据对应的画面内容范围;
渲染模块902,用于对所述画面内容范围进行扩展得到扩展画面内容范围,并基于所述扩展画面内容范围进行渲染得到第一渲染画面;
发送模块903,用于将所述第一渲染画面发送至所述头戴设备,以便所述头戴设备对所述第一渲染画面进行渲染补偿得到第二渲染画面。
在上述实施例的基础上,作为一种优选实施方式,所述渲染模块902具体为对所述画面内容范围向每个方向扩展目标长度得到扩展画面内容范围的模块。
在上述实施例的基础上,作为一种优选实施方式,还包括:
计算模块,用于根据所述头戴设备与所述云端之间的最大延迟、所述头戴设备的最大旋转速度和所述云端的渲染速度计算所述目标长度。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
基于上述程序模块的硬件实现,且为了实现本申请实施例的方法,本申请实施例还提供了一种头戴设备和一种电子设备,图10为根据一示例性实施例示出的一种头戴设备或电子设备的内部结构图,如图10所示,包括:
通信接口1,能够与其它设备比如网络设备等进行信息交互;
处理器2,与通信接口1连接,以实现与其它设备进行信息交互,用于运行计算机程序时,执行上述一个或多个技术方案提供的头戴设备的控制方法或画面渲染方法。而所述计算机程序存储在存储器3上。
当然,实际应用时,其中的各个组件通过总线***4耦合在一起。可理解,总线***4用于实现这些组件之间的连接通信。总线***4除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图10中将各种总线都标为总线***4。
本申请实施例中的存储器3用于存储各种类型的数据以支持头戴设备或电子设备的操作。这些数据的示例包括:用于在头戴设备或电子设备上操作的任何计算机程序。
可以理解,存储器3可以是易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(ROM,Read Only Memory)、可编程只读存储器(PROM,Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM,Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM,Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM,ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM,Compact Disc Read-Only Memory);磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM,Random AccessMemory),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(SRAM,Static Random Access Memory)、同步静态随机存取存储器(SSRAM,Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM,Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM,SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM,Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM,Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM,SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM,Direct Rambus Random Access Memory)。本申请实施例描述的存储器2旨在包括但不限于这些和任意其它适合类型的存储器。
上述本申请实施例揭示的方法可以应用于处理器2中,或者由处理器2实现。处理器2可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器2中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器2可以是通用处理器、DSP,或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器2可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤,可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中,该存储介质位于存储器3,处理器2读取存储器3中的程序,结合其硬件完成前述方法的步骤。
处理器2执行所述程序时实现本申请实施例的各个方法中的相应流程,为了简洁,在此不再赘述。
在示例性实施例中,本申请实施例还提供了一种存储介质,即计算机存储介质,具体为计算机可读存储介质,例如包括存储计算机程序的存储器3,上述计算机程序可由处理器2执行,以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台电子设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (16)

1.一种头戴设备的控制方法,其特征在于,应用于所述头戴设备,包括:
向云端发送包含姿态数据的渲染请求,并接收第一渲染画面;其中,所述第一渲染画面为所述云端基于所述姿态数据进行渲染得到的画面;
获取第一目标时刻至第二目标时刻真实的姿态变化数据;其中,所述第一目标时刻为发送所述渲染请求的时刻、所述第二目标时刻为接收到所述第一渲染画面的时刻;
基于所述姿态变化数据对所述第一渲染画面进行渲染补偿得到第二渲染画面。
2.根据权利要求1所述的控制方法,其特征在于,还包括:
对所述第二渲染画面进行ATW补偿得到第三渲染画面,在第三目标时刻,将所述第三渲染画面通过所述头戴设备展示。
3.根据权利要求1所述的控制方法,其特征在于,所述姿态变化数据具体为所述第一目标时刻至所述第二目标时刻所述头戴设备的旋转角度,所述获取第一目标时刻至第二目标时刻真实的姿态变化数据,包括:
记录所述第一目标时刻至所述第二目标时刻真实的角速度数据,对所述角速度数据进行积分运算得到所述第一目标时刻至所述第二目标时刻所述头戴设备的旋转角度。
4.根据权利要求3所述的控制方法,其特征在于,所述基于姿态变化数据对所述第一渲染画面进行渲染补偿得到第二渲染画面,包括:
基于所述旋转角度计算旋转矩阵,并利用所述旋转矩阵调整所述第一渲染画面,得到第二渲染画面;其中,所述第一渲染画面与所述第二渲染画面的画面内容范围相同。
5.根据权利要求3所述的控制方法,其特征在于,所述第一渲染画面为所述云端基于扩展画面内容范围进行渲染得到的画面,所述扩展画面内容范围为对所述姿态数据对应的画面内容范围进行扩展得到的范围;
相应的,所述基于姿态变化数据对所述第一渲染画面进行渲染补偿得到第二渲染画面,包括:
基于所述姿态数据和所述旋转角度确定目标画面内容范围,并根据所述目标画面内容范围在所述第一渲染画面中截取第二渲染画面。
6.根据权利要求5所述的控制方法,其特征在于,所述扩展画面内容范围为对所述姿态数据对应的画面内容范围向每个方向扩展目标长度得到的范围。
7.根据权利要求6所述的控制方法,其特征在于,所述目标长度为根据所述头戴设备与所述云端之间的最大延迟、所述头戴设备的最大旋转速度和所述云端的渲染速度计算得到的长度。
8.一种画面渲染方法,其特征在于,应用于云端,包括:
接收头戴设备发送的渲染请求,并确定所述渲染请求中的姿态数据对应的画面内容范围;
对所述画面内容范围进行扩展得到扩展画面内容范围,并基于所述扩展画面内容范围进行渲染得到第一渲染画面;
将所述第一渲染画面发送至所述头戴设备,以便所述头戴设备对所述第一渲染画面进行渲染补偿得到第二渲染画面。
9.根据权利要求8所述的画面渲染方法,其特征在于,对所述画面内容范围进行扩展得到扩展画面内容范围,包括:
对所述画面内容范围向每个方向扩展目标长度得到扩展画面内容范围。
10.根据权利要求9所述的画面渲染方法,其特征在于,所述对所述画面内容范围向每个方向扩展目标长度得到扩展画面内容范围之前,还包括:
根据所述头戴设备与所述云端之间的最大延迟、所述头戴设备的最大旋转速度和所述云端的渲染速度计算所述目标长度。
11.一种头戴设备的控制装置,其特征在于,应用于所述头戴设备,包括:
接收模块,用于向云端发送包含姿态数据的渲染请求,并接收第一渲染画面;其中,所述第一渲染画面为所述云端基于所述姿态数据进行渲染得到的画面;
获取模块,用于获取第一目标时刻至第二目标时刻真实的姿态变化数据;其中,所述第一目标时刻为发送所述渲染请求的时刻、所述第二目标时刻为接收到所述第一渲染画面的时刻;
渲染补偿模块,用于基于所述姿态变化数据对所述第一渲染画面进行渲染补偿得到第二渲染画面。
12.一种画面渲染装置,其特征在于,应用于云端,包括:
确定模块,用于接收头戴设备发送的渲染请求,并确定所述渲染请求中的姿态数据对应的画面内容范围;
渲染模块,用于对所述画面内容范围进行扩展得到扩展画面内容范围,并基于所述扩展画面内容范围进行渲染得到第一渲染画面;
发送模块,用于将所述第一渲染画面发送至所述头戴设备,以便所述头戴设备对所述第一渲染画面进行渲染补偿得到第二渲染画面。
13.一种头戴设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至7任一项所述头戴设备的控制方法的步骤。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述头戴设备的控制方法的步骤。
15.一种电子设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求8至10任一项所述画面渲染方法的步骤。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求8至10任一项所述画面渲染方法的步骤。
CN202111151283.6A 2021-09-29 2021-09-29 一种头戴设备的控制方法、一种画面渲染方法 Pending CN113888685A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111151283.6A CN113888685A (zh) 2021-09-29 2021-09-29 一种头戴设备的控制方法、一种画面渲染方法
US18/552,240 US20240019702A1 (en) 2021-09-29 2021-11-06 Control method for head-mounted device and image rendering method
PCT/CN2021/129158 WO2023050533A1 (zh) 2021-09-29 2021-11-06 一种头戴设备的控制方法、一种画面渲染方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111151283.6A CN113888685A (zh) 2021-09-29 2021-09-29 一种头戴设备的控制方法、一种画面渲染方法

Publications (1)

Publication Number Publication Date
CN113888685A true CN113888685A (zh) 2022-01-04

Family

ID=79008004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111151283.6A Pending CN113888685A (zh) 2021-09-29 2021-09-29 一种头戴设备的控制方法、一种画面渲染方法

Country Status (3)

Country Link
US (1) US20240019702A1 (zh)
CN (1) CN113888685A (zh)
WO (1) WO2023050533A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114979615A (zh) * 2022-05-11 2022-08-30 闪耀现实(无锡)科技有限公司 用于在头戴显示设备显示画面的方法、装置及电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366391B (zh) * 2013-06-26 2016-07-06 广州市动景计算机科技有限公司 动态图像的画面渲染方法及画面渲染装置
US11049476B2 (en) * 2014-11-04 2021-06-29 The University Of North Carolina At Chapel Hill Minimal-latency tracking and display for matching real and virtual worlds in head-worn displays
CN106998409B (zh) * 2017-03-21 2020-11-27 华为技术有限公司 一种图像处理方法、头戴显示器以及渲染设备
CN110751711B (zh) * 2019-09-03 2023-06-30 南京睿悦信息技术有限公司 应用于移动端虚拟/增强现实的远程扩展渲染***
CN213461894U (zh) * 2020-09-14 2021-06-15 秀加科技(北京)有限公司 一种xr-扩展现实***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114979615A (zh) * 2022-05-11 2022-08-30 闪耀现实(无锡)科技有限公司 用于在头戴显示设备显示画面的方法、装置及电子设备
WO2023217198A1 (zh) * 2022-05-11 2023-11-16 闪耀现实(无锡)科技有限公司 用于在头戴显示设备显示画面的方法、装置及电子设备

Also Published As

Publication number Publication date
WO2023050533A1 (zh) 2023-04-06
US20240019702A1 (en) 2024-01-18

Similar Documents

Publication Publication Date Title
EP3606082B1 (en) Panoramic video playback method and client terminal
US20120293613A1 (en) System and method for capturing and editing panoramic images
CN111627116B (zh) 图像渲染控制方法、装置及服务器
EP3926441B1 (en) Output of virtual content
US9838687B1 (en) Apparatus and method for panoramic video hosting with reduced bandwidth streaming
CN107831902B (zh) 一种运动控制方法及其设备、存储介质、终端
WO2016004258A1 (en) Automatic generation of video and directional audio from spherical content
CN108632631B (zh) 一种全景视频中视频分片的下载方法和装置
KR20150091112A (ko) 캡처된 비디오의 배향을 조정하기 위한 시스템 및 방법
CN110996097B (zh) Vr多媒体的体验质量确定方法及装置
US20200376375A1 (en) Method and apparatus for performing client side latency enhancement with aid of cloud game server side image orientation control
CN112333491A (zh) 视频处理方法、显示装置和存储介质
CN112907652A (zh) 相机姿态获取方法、视频处理方法、显示设备和存储介质
CN113888685A (zh) 一种头戴设备的控制方法、一种画面渲染方法
CN108924534B (zh) 全景图像的展示方法、客户端、服务器及存储介质
CN112752119A (zh) 一种时延误差校正方法、终端设备、服务器及存储介质
CN114445600A (zh) 一种特效道具的展示方法、装置、设备及存储介质
CN111064981B (zh) 一种视频串流的***及方法
US20230206575A1 (en) Rendering a virtual object in spatial alignment with a pose of an electronic device
US11910068B2 (en) Panoramic render of 3D video
CN115880403A (zh) 针对动作捕捉数据的处理方法和***
JP6655751B1 (ja) 映像表示制御装置、方法およびプログラム
WO2020184188A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN116137025A (zh) 视频图像矫正方法及装置、计算机可读介质和电子设备
CN114690894A (zh) 一种实现显示处理的方法、装置、计算机存储介质及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination