CN111627116A - 图像渲染控制方法、装置及服务器 - Google Patents
图像渲染控制方法、装置及服务器 Download PDFInfo
- Publication number
- CN111627116A CN111627116A CN202010473505.5A CN202010473505A CN111627116A CN 111627116 A CN111627116 A CN 111627116A CN 202010473505 A CN202010473505 A CN 202010473505A CN 111627116 A CN111627116 A CN 111627116A
- Authority
- CN
- China
- Prior art keywords
- rendering
- image
- visual angle
- angle information
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 570
- 238000000034 method Methods 0.000 title claims abstract description 88
- 230000000007 visual effect Effects 0.000 claims description 158
- 238000005070 sampling Methods 0.000 claims description 24
- 230000033001 locomotion Effects 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 abstract description 30
- 238000004904 shortening Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 5
- 238000010295 mobile communication Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请提出了一种图像渲染控制方法、装置及服务器，由于在获取第一历史帧的渲染图像期间，可以利用第一历史帧的第二渲染视角信息，预测未来帧的预渲染视角信息，并据此生成相应的预渲染图像后进行存储，这样，在获取针对待渲染对象的当前帧的第一渲染视角信息后，可以直接从预选存储的预渲染图像中，检测与第一渲染视角信息相匹配的第一预渲染图像，从而依据该第一预渲染图像，直接快速且准确地得到当前帧的目标渲染图像，不需要渲染操作，极大缩短了与上一帧图像渲染的时间间隔，即减少了相邻帧图像渲染的延时，提高了图像渲染效率，进而提高了用户对虚拟现实场景的体验感受。
Description
技术领域
本申请主要涉及图像处理技术领域，更具体地说是涉及一种图像渲染控制方法、装置及服务器。
背景技术
如今，随着5G网络(第五代移动通信网络)的发展和普及，使得AR(AugmentedReality，增强现实)/VR(Virtual Reality，虚拟现实)设备应用中能够采用云渲染技术对复杂模型进行图像渲染，从而使设备佩戴者能够实时看到该复杂模型的细节信息，提高用户体验。
其中，云渲染技术是将3D程序放在远程的服务器中渲染，用户通过终端发起控制指令，由服务器响应该控制指令，执行相应的渲染任务，并将渲染结果画面反馈至用户终端进行显示。
然而，现有基于云渲染技术的图像渲染控制过程中，服务器通常是在利用模型数据，完成一帧图像的渲染，并将得到的渲染图像传输至用户终端后，才会获取下一帧渲染视角信息继续进行图像渲染，这就会使得每一帧图像的渲染都会产生一定延时，导致整个模型的渲染花费时间较长，用户等待时间过长、体验较差。
发明内容
有鉴于此，为了减少相邻帧图像渲染延时，提高模型渲染效率，本申请提供了以下技术方案：
一方面，本申请提出了一种图像渲染控制方法，所述方法包括：
获取针对待渲染对象的当前帧的第一渲染视角信息；
检测存在与所述第一渲染视角信息相匹配的第一预渲染图像，其中，所述第一预渲染图像是依据第一预渲染视角信息，利用所述待渲染对象的模型数据进行图像渲染得到的，所述第一预渲染视角信息是依据在第一历史帧获取的第二渲染视角信息得到的；
依据所述第一预渲染图像，得到当前帧的目标渲染图像。
可选的，所述方法还包括：
检测未存在与所述第一渲染视角信息相匹配的第一预渲染图像，依据所述第一渲染视角信息，利用所述模型数据进行图像渲染，得到当前帧的目标渲染图像；
在输出所述当前帧的目标渲染图像之前，依据所述第一渲染视角信息，得到至少一个未来帧的第二预渲染视角信息；
依据所述至少一个未来帧的第二预渲染视角信息，利用所述模型数据进行图像渲染，得到相应未来帧的第二预渲染图像；
将所述至少一个未来帧的第二预渲染视角信息，与相应的所述第二预渲染图像进行关联存储。
可选的，所述检测存在与所述第一渲染视角信息相匹配的第一预渲染图像，包括：
调取在第一历史帧获取的第二渲染视角信息得到多个预渲染视角信息；
获取所述第一渲染视角信息与调取的各个预渲染视角信息的进行比较；
将比较结果满足条件的预渲染视角信息确定为第一预渲染视角信息；
获取所述第一预渲染视角信息关联存储的第一预渲染图像。
可选的，所述渲染视角信息为多自由度渲染视角，所述依据所述第一渲染视角信息，得到至少一个未来帧的第二预渲染视角信息，包括：
利用多个历史帧各自的多自由度渲染视角，得到帧间的多自由度渲染运动方向；
获取当前帧的第一多自由度渲染视角所构成的多维球形空间；
基于所述多自由度渲染运动方向，在所述多维球形空间范围进行数据采样，确定至少一个多自由度预渲染视角为至少一个未来帧的第二多自由度渲染视角。
可选的，所述渲染视角信息为多自由度渲染视角，所述依据所述第一渲染视角信息，得到至少一个未来帧的第二预渲染视角信息，包括：
基于当前帧的第一多自由度渲染视角，预测下一未来帧的多自由度渲染视角的多维球形空间范围；
在所述多维球形空间范围内进行数据采样，得到至少一个未来帧的第二多自由度预渲染视角。
可选的，所述在所述多维球形空间范围内进行数据采样，得到至少一个未来帧的第二多自由度预渲染视角，包括：
获取服务器的可调度资源信息；
基于所述可调度资源信息，在所述多维球形空间范围内进行数据采样，得到至少一个未来帧的第二多自由度预渲染视角；
其中，所述第二多自由度预渲染视角的数量能够随着所述可调度资源信息的变化而改变。
可选的，所述依据所述第一预渲染图像，得到当前帧的目标渲染图像，包括：
若所述第一预渲染视角信息与所述第一渲染视角存在差异，依据所述第一预渲染视角信息，对所述第一预渲染图像进行修正，得到当前帧的目标渲染图像。
可选的：
若所述第一预渲染视角信息与所述第一渲染视角存在差异，将所述第一预渲染视角及所述目标渲染图像发送至电子设备，以使得所述电子设备能够依据所述第一预渲染视角信息，对所述目标渲染图像进行修正。
又一方面，本申请还提出了一种图像渲染控制装置，所述装置包括：
渲染视角信息获取模块，用于获取针对待渲染对象的当前帧的第一渲染视角信息；
检测模块，用于检测存在与所述第一渲染视角信息相匹配的第一预渲染图像，其中，所述第一预渲染图像是依据第一预渲染视角信息，利用所述待渲染对象的模型数据进行图像渲染得到的，所述第一预渲染视角信息是依据在第一历史帧获取的第二渲染视角信息得到的；
目标渲染图像得到模块，用于依据所述第一预渲染图像，得到当前帧的目标渲染图像。
又一方面，本申请还提出了一种服务器，所述服务器包括：
通信接口；
存储器，用于存储实现如上述的图像渲染控制方法的程序；
处理器，用于调用并加载所述存储器的程序，以实现如上述的图像渲染控制方法的各步骤。
由此可见，本申请提出了一种图像渲染控制方法、装置及服务器，由于在获取第一历史帧的渲染图像期间，可以利用第一历史帧的第二渲染视角信息，预测未来帧的预渲染视角信息，并据此生成相应的预渲染图像后进行存储，这样，在获取针对待渲染对象的当前帧的第一渲染视角信息后，可以直接从预选存储的预渲染图像中，检测与第一渲染视角信息相匹配的第一预渲染图像，从而依据该第一预渲染图像，直接快速且准确地得到当前帧的目标渲染图像，不需要渲染操作，极大缩短了与上一帧图像渲染的时间间隔，即减少了相邻帧图像渲染的延时，提高了图像渲染效率，进而提高了用户对虚拟现实场景的体验感受。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1示出了实现本申请提出的图像渲染控制方法的一可选***的结构示意图；
图2示出了一种云渲染应用场景的流程图；
图3示出了本申请提出的图像渲染控制方法的一可选示例的流程示意图；
图4示出了本申请提出的图像渲染控制方法的又一可选示例的流程示意图；
图5示出了本申请提出的图像渲染控制方法的又一可选示例的流程示意图；
图6示出了本申请提出的图像渲染控制方法的又一可选示例的流程示意图；
图7示出了本申请提出的图像渲染控制方法的又一可选示例的流程示意图；
图8示出了本申请提出的图像渲染控制方法中，一多自由渲染视角的多维球形空间示意图；
图9示出了本申请提出的图像渲染控制装置的一可选示例的结构示意图；
图10示出了本申请提出的图像渲染控制装置的又一可选示例的结构示意图；
图11示出了实现本申请提出的图像渲染控制方法的服务器的一可选示例的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。而且，本申请中使用的“***”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法，若其他词语可实现相同的目的，也可以通过其他表达来替换该词语。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。以下术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
另外，本申请中使用了流程图用来说明根据本申请的实施例的***所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
参照图1，为适用于本申请提出的图像渲染控制方法的一可选***的结构示意图，该***可以适用于各种云渲染应用场景，如图1所示，该***可以包括至少一个电子设备100以及至少一个服务器200，其中：
电子设备100可以用于在使用者佩戴该电子设备的情况下，获取针对待渲染对象的连续多帧各自对应的渲染视角信息。
本实施例中，电子设备100可以包括各种类型的AR(Augmented Reality，增强现实)设备、VR(Virtual Reality，虚拟现实)设备等，如VR智能眼镜、头盔、手柄等等，本申请对电子设备100的具体设备类型不做限定，对于不同使用者来说，其观看虚拟场景中待渲染对象所使用的电子设备，可以根据实际需求、使用习惯等确定，本申请对此不做一一详述。
服务器200可以是支持云计算，实现云渲染的服务设备，即部署在云端的云服务器，具体可以是一个或多个服务器构成，本申请对该服务器200的具体组成结构不做限定。本申请中，其可以执行本申请下文各实施例提出的图像渲染控制方法及装置，具体实现过程可以参照下文实施例相应部分的描述。
在实际应用中，为了提高互动体验及对虚拟世界的控制，在云渲染应用场景下，参照图2所示的云渲染应用场景的流程图，通常需要电子设备100采集不同时刻的渲染视角信息发送至服务器200，由服务器200依据该渲染视角信息，利用模型数据进行图像渲染，得到待渲染对象的模型在该渲染视角下的渲染图像后，经过压缩后反馈至电子设备100，再由电子设备100对压缩后的渲染图像进行解压缩后进行显示。
其中，电子设备100采集到到不同时刻的渲染视角信息可以是多自由度(degreeof freedom，dof)空间位姿，如3dof空间位姿、6dof空间位姿等，3dof可以指3个转动角度的自由度，如佩戴电子设备的使用者头部的不同方向的转动，但其无法检测头部的前后左右的空间位移，可以适用于观看VR电影的应用场景；6dof可以是在3dof基础上，增加了佩戴电子设备使用者身体移动带来的上下前后左右移动的变化，能够更好地实现对使用者的追踪定位，如游戏应用场景下，能够使电子设备使用者在跨越障碍、躲避怪兽、登山等场景互动，得到更加真实、沉浸式的体验感受。
基于此，电子设备100可以包含多种类型的传感器，用于感应该电子设备100的不同自由度的空间位姿，以构成相应帧的渲染视角信息，关于渲染视角信息的具体检测过程不做详述。
针对背景技术部分描述的现有技术，需要将渲染的一帧图像传输至电子设备后，才会获取下一帧的渲染视角信息，完成下一帧图像的渲染，导致整个待渲染对象的三维模型渲染所消耗的时间较长，使得用户在云渲染应用场景中的体验差。本申请为了提高模型渲染效率，提出在云渲染过程中使用预渲染手段，即在对某一帧图像渲染期间，直接预测未来帧的预渲染视角信息，并依据该预渲染视角信息，利用模型数据进行图像渲染，得到该未来帧的预渲染图像，这样，在到达该未来帧，获取该未来帧电子设备真实的渲染视角信息后，可以直接利用该未来帧的预渲染图像，得到目标渲染图像，不用再花费时间渲染该未来帧的目标渲染图像，极大缩短了获取该未来帧的目标渲染图像的渲染时间，达到了减少相邻帧图像渲染的延时，提高整个三维模型渲染效率，从而提高用户在云渲染应用场景中的体验的技术效果。具体实现过程可以参照下文实施例相应部分的描述。
参照图3，为本申请实施例提出的图像渲染控制方法的一可选示例的流程示意图，该方法可以应用于上述服务器，图3所示，该图像渲染控制方法可以包括但并不局限于以下步骤：
步骤S11，获取针对待渲染对象的当前帧的第一渲染视角信息；
结合上文对云渲染应用场景的描述，用户通过电子设备(如上述AR设备或VR设备等，下文不再一一解释)或其他终端，通过与服务器交互，确定当前需要渲染呈现的待渲染对象，如整个虚拟场景或其包含的某个虚拟对象等，以使得服务器得到该待渲染对象的模型数据后，该用户佩戴电子设备，与当前呈现的虚拟场景进行交互过程中，电子设备中的各传感器可以采集第一渲染视角信息，如3dof空间姿态、6dof空间姿态等多自由度空间姿态数据，实时上传至服务器，以使得服务器得到针对待渲染对象的当前帧的第一渲染视角信息，服务器可以由此确定需要给用户呈现、待渲染对象哪个渲染视角下的渲染图像。
可见，步骤S11可以是服务器通过无线通信网络，如5G(第五代移动通信)/6G(第五代移动通信)网络、WIFI(Wireless-Fidelity，无线局域网)网络等，直接或间接接收用户佩戴电子设备期间，电子设备采集并发送的当前帧的第一渲染视角信息。
需要说明，关于第一渲染视角信息的采集，并不局限于电子设备配置的多种类型的传感器采集，也可以结合配置在用户所在空间的其他采集设备，如摄像头等图像采集设备、智能手环等，对佩戴该电子设备的用户进行多自由度空间位姿数据的采集，以确定当前帧需要的针对待渲染对象的第一渲染视角信息。
为了保证用户与虚拟场景的互动实时性及可靠性，由于用户佩戴电子设备后，在虚拟场景中的视角通常会不断变化，也就是说，用户佩戴电子设备后身体至少一个部位或发生移动，如头部、身体、眼睛、手部等，需要连续采集不同帧的渲染视角信息，按照下文描述的各步骤完成相应帧的图像渲染。
其中，帧通常是指影像动画中最小单位的单幅影像画面，一帧就是一幅静止的画面，连续的帧能够形成动画，如呈现动态的游戏场景、播放VR电影等，帧数就是1秒时间里传输的图片的帧数，可以理解为图形处理器每秒钟能够刷新次数，因此，完成待渲染对象的三维模型的渲染所需要帧数，可以根据实际对虚拟场景(其可以包含待渲染对象)的显示要求确定，本申请对此不做限定。
步骤S12，检测存在与第一渲染视角信息相匹配的第一预渲染图像；
结合上文对本申请发明构思的描述，本申请在当前帧的某一历史帧(可以将其记为第一历史帧)的图像渲染期间，对当前帧的图像进行了预渲染，即在获取该第一历史帧的第二渲染视角信息后，依据该第二渲染视角信息，得到当前帧的第一预渲染视角信息，并依据该第一预渲染视角信息，利用待渲染对象的模型数据进行图像渲染，得到当前帧的第一预渲染图像，并对该第一预渲染图像进行存储。
这样，在获取当前帧实际采集到的第一渲染视角信息后，可以从预先存储的预渲染图像中，检测是否存在与该第一渲染视角信息相匹配的第一预渲染图像，若存在，可以不用再进行图像渲染处理，直接按照下文步骤描述的方式，快速且准确得到当前帧的目标渲染图像；若不存在第一预渲染图像，再利用该第一渲染视角信息，利用待渲染对象的模型数据进行图像渲染，得到当前帧的目标渲染图像。
在本实施例实际应用中，结合上文对本申请发明构思的描述，若当前不存在第一预渲染图像，可能当前帧的上一帧是虚拟现实预渲染帧数的最后一帧，这种情况下，可以利用第一渲染视角信息，继续获取未来帧的预渲染视角信息，并渲染得到相应未来帧的预渲染图像，具体实现过程可以参照下文相应实施例的描述。
其中，虚拟现实预渲染帧数可以指最大预渲染帧数，即服务器渲染完后不显示出来，预选多存储几帧的渲染图像，提高帧率稳定性，但对该最大预渲染帧数的数值不做限定。通过预渲染方式能够使得头部转动和呈现的画面一致，在一定程度上降低了用户佩戴头戴式电子设备期间的眩晕和不适感，对于用户其他身体部位的运动，采用预渲染方式也能够提高用户对虚拟现实场景的沉浸式感受。
步骤S13，依据该第一预渲染图像，得到当前帧的目标渲染图像。
通常情况下，预先得到的当前帧的第一预渲染视角信息，与实际采集到的第一渲染视角信息之间是存在一定差异的，这就会导致依据第一预渲染视角信息，得到的第一预渲染图像，与实际需要的当前帧的渲染图像之间也会存在差异，需要对该第一预渲染图像进行校准，以得到当前帧的目标渲染图像，本申请对该校准过程所使用的校准方法不做限定。
应该理解，相对于传统的依据第一渲染视角信息，渲染得到当前帧的目标渲染图像所花费的时间，本申请这种直接调取第一预渲染图像，并对其进行校准所花费的时间要多，所以，本实施例提出的获取当前帧的目标渲染图像的过程，相对于现有的预渲染方式，提高了获取渲染图像的效率，且保证了所获取的渲染图像的可靠性及准确性。
在一些实施例中，若预先得到的当前帧的第一预渲染视角信息，与实际采集到的第一渲染视角信息相同，那么，就不需要对第一预渲染图像进行校准，可以直接将该第一预渲染图像确定为当前帧的目标渲染图像，其相对于传统的图像渲染方法，极大缩短了获取相邻帧渲染图像之间的时间间隔，提高了图像渲染效率。
综上所述，服务器在获取第一历史帧的渲染图像期间，得到该第一历史帧的第二渲染视角信息后，将据此预测未来帧(即相对于该第一历史帧来说的未来帧，其可能包含当前帧)的预渲染视角信息，并据此生成相应的预渲染图像后进行存储，这样，在获取针对待渲染对象的当前帧的第一渲染视角信息后，本实施例不需要依据该第一渲染视角信息进行模型渲染，得到当前帧的目标渲染图像，可以直接从预选存储的预渲染图像中，检测与第一渲染视角信息相匹配的第一预渲染图像，从而依据该第一预渲染图像，直接快速且准确地得到当前帧的目标渲染图像，极大缩短了与上一帧图像渲染的时间间隔，即减少了相邻帧图像渲染的延时，提高了图像渲染效率，进而提高了用户对虚拟现实场景的体验感受。
参照图4，为本申请实施例提出的图像渲染控制方法的又一可选示例的流程示意图，该方法仍可以应用于服务器，如图4所示，本实施例提出的图像渲染控制方法可以包括：
步骤S21，获取针对待渲染对象的当前帧的第一渲染视角信息；
步骤S22，检测是否存在与第一渲染视角信息相匹配的第一预渲染图像，如果存在，进入步骤S23，如果不存在，执行步骤S24；
步骤S23，依据该第一预渲染图像，得到当前帧的目标渲染图像；
关于预先存储第一预渲染图像的情况下，获取当前帧的目标渲染图像的过程，可以参照上文实施例相应部分的描述，本实施例不再赘述。
步骤S24，依据第一渲染视角信息，利用待渲染对象的模型数据进行图像渲染，得到当前帧的目标渲染图像；
应该理解，待渲染对象的三维模型在不同渲染视角下的待渲染数据不同，该待渲染数据可以是用于渲染相应渲染视角下的三维模型画面所需的模型数据，因此，经过云渲染后得到的相应渲染图像也会存在一定差异，但获取不同渲染视角下的渲染图像所使用的渲染手段类似，通常都需要将三维模型数据投影到二维平面上，得到相应的二维投影点数据，以此构成二维平面上的渲染图像，本申请对如何依据渲染视角信息，实现对待渲染对象的模型渲染的过程不做详述。
步骤S25，在输出当前帧的目标渲染图像之前，依据第一渲染视角信息，得到至少一个未来帧的第二预渲染视角信息；
结合上文对本申请发明构思的描述，若未检测到当前帧的第一预渲染图像，可能是在历史帧的图像渲染过程中，预先渲染得到的未来帧可能获取的预渲染视角信息，并据此得到的相应的预渲染图像已经调取完，也就是说，在历史帧预先得到的预渲染图像的预渲染帧数，不大于当前帧与该历史帧的帧数差，也意味着当前也不存在未来帧的预渲染图像，需要继续重新预渲染。
当然，在实际应用中，也不用等预先渲染的预渲染图像被调用完后，再获取后续帧的预渲染图像，也可以在调用若干个预渲染图像后，直接按照本实施例描述的方式，重新预测未来帧的预渲染图像。
基于上述分析，本实施例获取当前帧的第一渲染视角信息后，可以直接预测至少一个未来帧的第二预渲染视角信息，关于预渲染视角信息的预测，如可以依据运动学模型或者服务器可调配的资源等实现，本申请对具体的预测实现方法不做限定。
如步骤S25的描述，本实施例可以在将当前帧的目标渲染图像传输至电子设备之前，就开始预测未来帧的第二预渲染视角信息，具体可以在获取当前帧的第一渲染视角信息后，按照上述方式进行图像渲染的同时，来预测未来帧的第二预渲染视角信息，或者是在对当前帧的渲染图像进行压缩处理的同时，预测未来帧的第二预渲染视角信息，以减少相邻帧图像渲染的延时。
步骤S26，依据至少一个未来帧的第二预渲染视角信息，利用上述模型数据进行图像渲染，得到相应未来帧的第二预渲染图像；
关于如何依据第二预渲染视角信息，利用模型数据进行图像渲染，得到相应的预渲染图像的过程，与上述步骤S24实现过程类似，本申请不做详述。
步骤S27，将至少一个未来帧的第二预渲染视角信息，与相应的第二预渲染图像进行关联存储。
本申请对预测得到的至少一个未来帧的第二预渲染视角信息，以及相应帧的第二预渲染图像的具体存储方式不做限定，如存储表方式等。
结合上文实施例的描述，在达到某一未来帧，即某一未来帧成为当前帧的情况下，可以按照上述方式，利用在该未来帧实际采集的渲染视角信息，从存储的多个第二预渲染视角信息各自对应的第二预渲染图像中，调取与该渲染视角信息匹配的第二预渲染视角信息所对应的第二预渲染图像，进而据此确定该未来帧的目标渲染图像，不需要再在该未来帧进行图像渲染操作，具体实现过程可以参照上文实施例相应部分的描述。
具体的，参照图5所示的图像渲染控制方法的流程示意图，以当前帧为第k帧为例进行说明，相对于改进前的现有技术(如图5改进箭头上方所示的流程)，每一帧都需要进行图像渲染操作，导致每一帧相对于上一帧来说延时较长。而本申请提出的改进后的方案，服务器接收到第k帧的渲染视角信息后，可以按照上述方式据此预测未来帧的预渲染图像，具体以预测第k+1帧的预渲染图像为例进行说明，可以利用第k帧的渲染视角信息，预测第k+1帧的预渲染视角信息，进而经过渲染操作得到的第k+1帧的预渲染图像，由于该预渲染过程是在处理第k帧渲染图像过程中实现的，不会影响第k+1帧图像处理，且在到达第k+1帧，获取相应的渲染视角信息后，直接调取在第k帧已经得到的预渲染图像，不再花费时间渲染，也就缩短了第k+1帧渲染图像的延时。
需要说明，在第k帧图像渲染处理过程中，并不局限于预渲染第k+1帧图像，根据需要还可以预渲染未来的i帧各自对应的预渲染图像，具体实现过程与上文k+1帧预渲染图像的获取过程类似，本申请不做一一详述。
综上所述，在本实施例中，获取待渲染对象的当前帧的第一渲染视角信息，即实际采集到的渲染视角信息后，可以先检测当前是否存储有与该第一渲染视角信息相匹配的第一预渲染图像，若存在，直接利用该第一预渲染图像，快速得到当前帧的目标渲染图像，省去了图像渲染操作所花费的时间，提高了模型渲染效率；若不存在第一预渲染图像，再依据该第一渲染视角信息，利用模型数据进行图像渲染，得到当前帧的目标渲染图像，保证不会遗漏未渲染的某一帧图像，而且，在输出渲染的到当前帧的目标渲染图像之前，本实施例将利用当前帧的第一渲染视角信息，预测至少一个未来帧的第二预渲染视角信息，进而利用相应模型数据进行图像渲染，得到相应未来帧的第二预渲染图像后存储，使得到达未来帧后，可以继续调用相匹配的第二预渲染图像，得到该未来帧的目标渲染图像，有效减少了整个图像渲染延时，提高了待渲染对象的整个三维模型渲染效率。
参照图6，为本申请实施例提出的图像渲染控制方法的又一可选示例的流程示意图，本实施例可以是对上文实施例描述的图像渲染控制方法的一可选细化实现方式，但并不局限于本实施例描述的这种细化实现方式。如图6所示，该方法可以包括：
步骤S31，获取针对待渲染对象的当前帧的第一渲染视角信息；
步骤S32，调取在第一历史帧获取的第二渲染视角信息得到多个预渲染视角信息；
关于在第一历史帧预测得到多个未来帧各自的预渲染视角信息，以及相应的预渲染图像，并对其进行存储的过程，可以参照上文实施例相应部分的描述，本实施例不再赘述。
步骤S33，将第一渲染视角信息与调取的各个预渲染视角信息的进行比较；
步骤S34，将比较结果满足条件的预渲染视角信息确定为第一预渲染视角信息；
本实施例实际应用中，由于预测的预渲染视角信息，与相应帧实际采集到的渲染视角信息可能会有一定差异，这种情况下，可以通过校准预渲染图像的方式，得到实际的目标渲染图像，为了减少校准工作量，提高校准后的目标渲染图像的可靠性，可以渲染与实际采集的渲染视角信息差距较小的预渲染视角信息为第一预渲染视角信息。
因此，本申请实施例可以获取第一渲染视角信息与调取的各个预渲染视角信息的差值，若该差值小于视角阈值(其是一个相对较小的数值，但并不限定其具体数值大小)，可以认为第一渲染视角信息与相应预渲染视角信息的比较结果满足条件，将满足条件的该预渲染视角信息确定为第一预渲染视角信息，即与第一渲染视角信息相匹配的第一预渲染视角信息。
步骤S35，获取第一预渲染视角信息关联存储的第一预渲染图像；
步骤S36，依据该第一预渲染图像，得到当前帧的目标渲染图像。
由于在第一历史帧已经存储了多个预渲染视角信息与多个预渲染图像，以及两者之间的关联关系，这样，在得到与当前帧的第一渲染视角信息相匹配的第一预渲染视角信息后，可以按照该关联关系，调取与该第一预渲染视角信息关联存储的预渲染图像，即为第一预渲染图像，之后，可以利用该第一预渲染图像，直接快速得到当前帧的目标渲染图像，具体实现过程不做详述。
由此可见，获取待渲染对象的当前帧的第一渲染视角信息，可以将其与预测的多个预渲染视角信息进行比较，选择出比较结果满足条件的第一预渲染视角信息，得到与其关联存储的第一预渲染图像后，直接利用该该第一预渲染图像，直接快速得到当前帧的目标渲染图像，不需要渲染操作，减少了当前帧图像渲染的延时，提高了模型渲染效率，进而提高了用户体验。
在一些实施例中，结合上述分析，由于实际采集到的某一帧的渲染视角信息，与***到的该帧的预渲染视角信息往往会存在一定差距，使得相应的预渲染图像，与该帧实际的目标渲染图像不同，需要对该预渲染图像进行校准，此时，本实施例可以对该预渲染图像进行ATW(异步时间扭曲，Asynchronous Timewarp)处理，来得到相应的目标渲染图像。
其中，ATW是一种生成中间帧的技术，可以用来修正图像帧，应用于虚拟现实领域，可以用来减少虚拟现实场景的画面抖动，以及因运动过快而造成场景渲染延迟等问题，通过填充中间帧，即使在帧率下降的情况下，也不会使渲染质量有明显下降。
在本实施例实际应用中，在第一预渲染视角信息与所述第一渲染视角存在差异，或者说是在差异超过误差阈值(即允许存在的误差数值)的情况下，服务器可以采用ATW技术，依据第一预渲染视角信息，对第一预渲染图像进行修正，得到当前帧的目标渲染图像。如可以利用上述差异包含的各自由度变化位姿，对二维的预渲染图像进行修正，通常不会花费太多***资源，杜宇复杂的场景，可以用较少的计算生成一个新的图像帧。
当然，本申请实际应用中，在第一预渲染视角信息与所述第一渲染视角存在差异，或该差异超过误差阈值的情况下，服务器也可以将第一预渲染视角及目标渲染图像(此时其可以是预渲染图像)发送至电子设备，以使得电子设备采用ATW技术，依据第一预渲染视角信息，对目标渲染图像进行修正。可见，这相对于现有的渲染图像回传流程不同，不仅要传输渲染图像，还需要传输相应的预渲染视角信息，结合上文对预渲染技术的描述，可以先压缩处理后再传输，具体压缩处理过程不做详述。
参照图7，为本申请实施例提出的图像渲染控制方法的又一可选示例的流程示意图，本实施例可以是对上文实施例描述的图像渲染控制方法的又一可选细化实现方式，本实施例主要对上述各实施例中，如何利用当前帧实际采集到的渲染视角信息，得到至少一个未来帧的第二预渲染视角信息的实现过程进行细化，以该渲染视角信息为多自由度渲染视角，如上述3dof/6dof空间位姿对应的视角，如图7所示，该实现过程可以包括：
步骤S41，利用多个历史帧各自的多自由度渲染视角，得到帧间的多自由度渲染运动方向；
本实施例可以利用多个历史帧各自的多自由度渲染视角的变化，来确定用户佩戴电子设备的运动方向，即确定帧间的多自由度渲染运动方向，以作为后续预测渲染视角的预测方向，具体实现过程不做详述。
步骤S42，获取当前帧的第一多自由度渲染视角所构成的多维球形空间范围；
步骤S43，基于多自由度渲染运动方向，在该多维球形空间范围进行数据采样，确定至少一个多自由度预渲染视角为至少一个未来帧的第二多自由度渲染视角。
参照图8所示的多自由度球形空间示意图，本申请可以依据多自由度渲染视角包括的每一个自由度空间姿态在相邻两帧之间的变化，确定相应的多维度球形空间范围，如3/6维球形空间范围，具体构建过程不做详述。之后，考虑到相邻两帧之间的多自由度运动的局限性，在预测未来帧的多自由度渲染视角时，可以直接从当前帧的多维球形空间范围内，通过数据采样方式，得到至少一个未来帧的第二多自由度渲染视角。
其中，在数据采样过程中，采样间隔越小，越有利于快速且可靠地获取未来帧的渲染图像，本申请对上述数据采样的采样间隔不做限定，可以根据实际情况进行调整。
在又一些实施例中，按照上述实施例描述的利用当前帧实际采集到的渲染视角信息，得到至少一个未来帧的第二预渲染视角信息的实现过程的发明构思，本申请还可以根据运动学模型(如上文得到的帧间的多自由度渲染运动方向)，基于当前帧的第一多自由度渲染视角，预测下一未来帧(即相邻下一帧)的多自由度渲染视角的多维球形空间范围，再在该下一未来帧的多维球形空间范围内进行数据采样，得到至少一个未来帧的第二多自由度预渲染视角，具体实现过程本申请不做详述。
在上述各实施例中，对于上述在多维球形空间范围内进行数据采样，得到至少一个未来帧的第二多自由度预渲染视角的执行步骤，可以根据云端计算资源自适应调整，采样得到若干个预渲染视角，具体的可以获取服务器的可调度资源信息，并基于该可调度资源信息，在多维球形空间范围内进行数据采样，得到至少一个未来帧的第二多自由度预渲染视角，应该理解，第二多自由度预渲染视角的数量能够随着可调度资源信息的变化而改变，本申请对第二多自由度预渲染视角的数量的数值不做限定。
综上，在本申请实施例中，在预测下一帧可能的渲染视角的过程中，可以考虑相邻帧之间多自由度渲染视角变化的局限性，依据帧间的多自由度渲染运动方向，对当前帧或预测的下一帧的多自由度渲染视角下的多维度空间范围内的数据进行采样，得到至少一个未来帧的第二多自由度渲染视角，提前实现对未来帧的图像预渲染，以供后续到达未来帧时调取，达到提高模型渲染效率的目的。
参照图9，为本申请实施例提出的图像渲染控制装置的一可选示例的结构示意图，该装置可以应用于上述服务器，如图9所示，该图像渲染控制装置可以包括：
渲染视角信息获取模块210，用于获取针对待渲染对象的当前帧的第一渲染视角信息；
检测模块220，用于检测存在与所述第一渲染视角信息相匹配的第一预渲染图像；
其中，所述第一预渲染图像是依据第一预渲染视角信息，利用所述待渲染对象的模型数据进行图像渲染得到的，所述第一预渲染视角信息是依据在第一历史帧获取的第二渲染视角信息得到的。
在一些实施例中，该检测模块220可以包括：
预渲染视角调取单元，用于调取在第一历史帧获取的第二渲染视角信息得到多个预渲染视角信息；
视角比较单元，用于将所述第一渲染视角信息与调取的各个预渲染视角信息的进行比较；
预渲染视角确定单元，用于将比较结果满足条件的预渲染视角信息确定为第一预渲染视角信息；
预渲染图像获取单元，用于获取所述第一预渲染视角信息关联存储的第一预渲染图像。
目标渲染图像得到模块230，用于依据所述第一预渲染图像，得到当前帧的目标渲染图像。
在一种可能的实现方式中，该目标渲染图像得到模块230可以包括：
图像修正单元，用于在第一预渲染视角信息与所述第一渲染视角存在差异的情况下，依据所述第一预渲染视角信息，对所述第一预渲染图像进行修正，得到当前帧的目标渲染图像。
在又一种可能的实现方式中，上述装置还可以包括：
数据传输模块，用于在第一预渲染视角信息与所述第一渲染视角存在差异的情况下，将所述第一预渲染视角及所述目标渲染图像发送至电子设备，以使得所述电子设备能够依据所述第一预渲染视角信息，对所述目标渲染图像进行修正。
在一些实施例中，如图10所示，在上述实施例的基础上，图像渲染控制装置还可以包括：
图像渲染模块240，用于检测未存在与所述第一渲染视角信息相匹配的第一预渲染图像，依据所述第一渲染视角信息，利用所述模型数据进行图像渲染，得到当前帧的目标渲染图像；
预渲染视角得到模块250，用于在输出所述当前帧的目标渲染图像之前，依据所述第一渲染视角信息，得到至少一个未来帧的第二预渲染视角信息；
在一种可能的实现方式中，若上述渲染视角信息为多自由度渲染视角，该预渲染视角得到模块250可以包括：
多自由度渲染运动方向得到单元，用于利用多个历史帧各自的多自由度渲染视角，得到帧间的多自由度渲染运动方向；
多维球形空间范围获取单元，用于获取当前帧的第一多自由度渲染视角所构成的多维球形空间范围；
第一数据采样单元，用于基于所述多自由度渲染运动方向，在所述多维球形空间范围进行数据采样，确定至少一个多自由度预渲染视角为至少一个未来帧的第二多自由度渲染视角。
在又一种可能的实现方式中，若上述渲染视角信息为多自由度渲染视角，该预渲染视角得到模块250也可以包括：
多维球形空间范围预测单元，用于基于当前帧的第一多自由度渲染视角，预测下一未来帧的多自由度渲染视角的多维球形空间范围；
第二数据采样单元，用于在所述多维球形空间范围内进行数据采样，得到至少一个未来帧的第二多自由度预渲染视角。
对于上述可能的实施例中，上述第一数据采样单元和/或第二数据采样单元可以包括：
可调度资源信息获取单元，用于获取服务器的可调度资源信息；
多自由度预渲染视角得到单元，用于基于所述可调度资源信息，在所述多维球形空间范围内进行数据采样，得到至少一个未来帧的第二多自由度预渲染视角；
其中，所述第二多自由度预渲染视角的数量能够随着所述可调度资源信息的变化而改变。
预渲染模块260，用于依据所述至少一个未来帧的第二预渲染视角信息，利用所述模型数据进行图像渲染，得到相应未来帧的第二预渲染图像；
存储模块270，用于将所述至少一个未来帧的第二预渲染视角信息，与相应的所述第二预渲染图像进行关联存储。
需要说明的是，关于上述各装置实施例中的各种模块、单元等，均可以作为程序模块存储在存储器中，由处理器执行存储在存储器中的上述程序模块，以实现相应的功能，关于各程序模块及其组合所实现的功能，以及达到的技术效果，可以参照上述方法实施例相应部分的描述，本实施例不再赘述。
本申请还提供了一种存储介质，其上可以存储计算机程序，该计算机程序可以被处理器调用并加载，以实现上述实施例描述的图像渲染控制方法的各个步骤。
参照图11，为实现本申请提出的图像渲染控制方法的服务器的一可选示例的硬件结构示意图，该服务器可以包括通信接口31、存储器32和处理器33，其中：
通信接口31、存储器32和处理器33的数量均可以为至少一个，且通信接口31、存储器32和处理器33均可以连接通信总线，以通过该通信总线实现相互之间的数据交互，具体实现过程可以依据具体应用场景的需求确定，本申请不做详述。
通信接口31可以包括能够利用无线通信网络实现数据交互的接口，如WIFI模块、5G/6G(第五代移动通信网络/第六代移动通信网络)模块等通信模块的接口，该通信接口31还可以包括实现服务器内部组成部件之间的数据交互的数据接口，如USB接口、串/并口等，本申请对该通信接口31包含的具体内容不做限定。
在本申请实施例中，存储器32可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件或其他易失性固态存储器件。处理器33，可以为中央处理器(Central Processing Unit，CPU)、特定应用集成电路(application-specificintegrated circuit，ASIC)、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件等。
在本实施例实际应用中，存储器32可以用于存储实现上述任一方法实施例描述的图像渲染控制方法的程序；处理器33可以加载并执行存储器32中存储的程序，以实现本申请上述任一方法实施例提出的图像渲染控制方法的各个步骤，具体实现过程可以参照上文相应实施例相应部分的描述，不再赘述。
应该理解的是，图11所示的服务器的结构并不构成对本申请实施例中服务器的限定，在实际应用中，服务器可以包括比图11所示的更多或更少的部件，或者组合某些部件，本申请在此不做一一列举。
本说明书中各个实施例采用递进或并列的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、服务器而言，由于其与实施例公开的方法对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种图像渲染控制方法，所述方法包括：
获取针对待渲染对象的当前帧的第一渲染视角信息；
检测存在与所述第一渲染视角信息相匹配的第一预渲染图像，其中，所述第一预渲染图像是依据第一预渲染视角信息，利用所述待渲染对象的模型数据进行图像渲染得到的，所述第一预渲染视角信息是依据在第一历史帧获取的第二渲染视角信息得到的；
依据所述第一预渲染图像，得到当前帧的目标渲染图像。
2.根据权利要求1所述的方法，所述方法还包括：
检测未存在与所述第一渲染视角信息相匹配的第一预渲染图像，依据所述第一渲染视角信息，利用所述模型数据进行图像渲染，得到当前帧的目标渲染图像；
在输出所述当前帧的目标渲染图像之前，依据所述第一渲染视角信息，得到至少一个未来帧的第二预渲染视角信息；
依据所述至少一个未来帧的第二预渲染视角信息，利用所述模型数据进行图像渲染，得到相应未来帧的第二预渲染图像；
将所述至少一个未来帧的第二预渲染视角信息，与相应的所述第二预渲染图像进行关联存储。
3.根据权利要求1或2所述的方法，所述检测存在与所述第一渲染视角信息相匹配的第一预渲染图像，包括：
调取在第一历史帧获取的第二渲染视角信息得到多个预渲染视角信息；
将所述第一渲染视角信息与调取的各个预渲染视角信息的进行比较；
将比较结果满足条件的预渲染视角信息确定为第一预渲染视角信息；
获取所述第一预渲染视角信息关联存储的第一预渲染图像。
4.根据权利要求2所述的方法，所述渲染视角信息为多自由度渲染视角，所述依据所述第一渲染视角信息，得到至少一个未来帧的第二预渲染视角信息，包括：
利用多个历史帧各自的多自由度渲染视角，得到帧间的多自由度渲染运动方向；
获取当前帧的第一多自由度渲染视角所构成的多维球形空间范围；
基于所述多自由度渲染运动方向，在所述多维球形空间范围进行数据采样，确定至少一个多自由度预渲染视角为至少一个未来帧的第二多自由度渲染视角。
5.根据权利要求2所述的方法，所述渲染视角信息为多自由度渲染视角，所述依据所述第一渲染视角信息，得到至少一个未来帧的第二预渲染视角信息，包括：
基于当前帧的第一多自由度渲染视角，预测下一未来帧的多自由度渲染视角的多维球形空间范围；
在所述多维球形空间范围内进行数据采样，得到至少一个未来帧的第二多自由度预渲染视角。
6.根据权利要求5所述的方法，所述在所述多维球形空间范围内进行数据采样，得到至少一个未来帧的第二多自由度预渲染视角，包括：
获取服务器的可调度资源信息；
基于所述可调度资源信息，在所述多维球形空间范围内进行数据采样，得到至少一个未来帧的第二多自由度预渲染视角；
其中，所述第二多自由度预渲染视角的数量能够随着所述可调度资源信息的变化而改变。
7.根据权利要求3所述的方法，所述依据所述第一预渲染图像，得到当前帧的目标渲染图像，包括：
若所述第一预渲染视角信息与所述第一渲染视角存在差异，依据所述第一预渲染视角信息，对所述第一预渲染图像进行修正，得到当前帧的目标渲染图像。
8.根据权利要求3所述的方法，所述方法还包括：
若所述第一预渲染视角信息与所述第一渲染视角存在差异，将所述第一预渲染视角及所述目标渲染图像发送至电子设备，以使得所述电子设备能够依据所述第一预渲染视角信息，对所述目标渲染图像进行修正。
9.一种图像渲染控制装置，所述装置包括：
渲染视角信息获取模块，用于获取针对待渲染对象的当前帧的第一渲染视角信息；
检测模块，用于检测存在与所述第一渲染视角信息相匹配的第一预渲染图像，其中，所述第一预渲染图像是依据第一预渲染视角信息，利用所述待渲染对象的模型数据进行图像渲染得到的，所述第一预渲染视角信息是依据在第一历史帧获取的第二渲染视角信息得到的；
目标渲染图像得到模块，用于依据所述第一预渲染图像，得到当前帧的目标渲染图像。
10.一种服务器，所述服务器包括：
通信接口；
存储器，用于存储实现如权利要求1～8任一项所述的图像渲染控制方法的程序；
处理器，用于调用并加载所述存储器的程序，以实现如权利要求1～8任一项所述的图像渲染控制方法的各步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010473505.5A CN111627116B (zh) | 2020-05-29 | 2020-05-29 | 图像渲染控制方法、装置及服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010473505.5A CN111627116B (zh) | 2020-05-29 | 2020-05-29 | 图像渲染控制方法、装置及服务器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111627116A true CN111627116A (zh) | 2020-09-04 |
| CN111627116B CN111627116B (zh) | 2024-02-27 |
Family
ID=72259202
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010473505.5A Active CN111627116B (zh) | 2020-05-29 | 2020-05-29 | 图像渲染控制方法、装置及服务器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111627116B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113316020A (zh) * | 2021-05-28 | 2021-08-27 | 上海曼恒数字技术股份有限公司 | 一种渲染方法、装置、介质及设备 |
| CN113485776A (zh) * | 2021-08-02 | 2021-10-08 | 竞技世界（北京）网络技术有限公司 | 一种在多线程渲染中实体的处理方法及装置 |
| US20210360155A1 (en) * | 2017-04-24 | 2021-11-18 | Intel Corporation | Object pre-encoding for 360-degree view for optimal quality and latency |
| CN113721874A (zh) * | 2021-07-29 | 2021-11-30 | 阿里巴巴（中国）有限公司 | 虚拟现实画面显示方法及电子设备 |
| WO2022033389A1 (zh) * | 2020-08-11 | 2022-02-17 | 中兴通讯股份有限公司 | 一种图像处理的方法、装置、电子设备及存储介质 |
| CN114077508A (zh) * | 2022-01-19 | 2022-02-22 | 维塔科技(北京)有限公司 | 一种远程图像渲染方法、装置、电子设备以及介质 |
| WO2022063260A1 (zh) * | 2020-09-25 | 2022-03-31 | 华为云计算技术有限公司 | 一种渲染方法、装置及设备 |
| CN114489538A (zh) * | 2021-12-27 | 2022-05-13 | 炫彩互动网络科技有限公司 | 云游戏vr的终端显示方法 |
| CN115942049A (zh) * | 2022-08-26 | 2023-04-07 | 北京博雅睿视科技有限公司 | 一种面向vr视频的视角切换方法、装置、设备及介质 |
| WO2024055462A1 (zh) * | 2022-09-16 | 2024-03-21 | 如你所视(北京)科技有限公司 | Vr场景的处理方法、装置、电子设备和存储介质 |
| CN117834949A (zh) * | 2024-03-04 | 2024-04-05 | 清华大学 | 基于边缘智能的实时交互预渲染方法及其装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106502427A (zh) * | 2016-12-15 | 2017-03-15 | 北京国承万通信息科技有限公司 | 虚拟现实***及其场景呈现方法 |
| WO2017131977A1 (en) * | 2016-01-25 | 2017-08-03 | Microsoft Technology Licensing, Llc | Frame projection for augmented reality environments |
| CN107274472A (zh) * | 2017-06-16 | 2017-10-20 | 福州瑞芯微电子股份有限公司 | 一种提高vr播放帧率的方法和装置 |
| CN108171783A (zh) * | 2018-03-20 | 2018-06-15 | 联想(北京)有限公司 | 图像渲染方法、***以及电子设备 |
| CN110136082A (zh) * | 2019-05-10 | 2019-08-16 | 腾讯科技（深圳）有限公司 | 遮挡剔除方法、装置及计算机设备 |
| CN110351480A (zh) * | 2019-06-13 | 2019-10-18 | 歌尔科技有限公司 | 用于电子设备的图像处理方法、装置及电子设备 |
| CN111051959A (zh) * | 2017-09-01 | 2020-04-21 | 奇跃公司 | 使用来自先前视角的渲染内容和非渲染内容生成新帧 |
-
2020
- 2020-05-29 CN CN202010473505.5A patent/CN111627116B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017131977A1 (en) * | 2016-01-25 | 2017-08-03 | Microsoft Technology Licensing, Llc | Frame projection for augmented reality environments |
| CN106502427A (zh) * | 2016-12-15 | 2017-03-15 | 北京国承万通信息科技有限公司 | 虚拟现实***及其场景呈现方法 |
| CN107274472A (zh) * | 2017-06-16 | 2017-10-20 | 福州瑞芯微电子股份有限公司 | 一种提高vr播放帧率的方法和装置 |
| CN111051959A (zh) * | 2017-09-01 | 2020-04-21 | 奇跃公司 | 使用来自先前视角的渲染内容和非渲染内容生成新帧 |
| CN108171783A (zh) * | 2018-03-20 | 2018-06-15 | 联想(北京)有限公司 | 图像渲染方法、***以及电子设备 |
| CN110136082A (zh) * | 2019-05-10 | 2019-08-16 | 腾讯科技（深圳）有限公司 | 遮挡剔除方法、装置及计算机设备 |
| CN110351480A (zh) * | 2019-06-13 | 2019-10-18 | 歌尔科技有限公司 | 用于电子设备的图像处理方法、装置及电子设备 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11800232B2 (en) * | 2017-04-24 | 2023-10-24 | Intel Corporation | Object pre-encoding for 360-degree view for optimal quality and latency |
| US20210360155A1 (en) * | 2017-04-24 | 2021-11-18 | Intel Corporation | Object pre-encoding for 360-degree view for optimal quality and latency |
| WO2022033389A1 (zh) * | 2020-08-11 | 2022-02-17 | 中兴通讯股份有限公司 | 一种图像处理的方法、装置、电子设备及存储介质 |
| WO2022063260A1 (zh) * | 2020-09-25 | 2022-03-31 | 华为云计算技术有限公司 | 一种渲染方法、装置及设备 |
| CN113316020B (zh) * | 2021-05-28 | 2023-09-15 | 上海曼恒数字技术股份有限公司 | 一种渲染方法、装置、介质及设备 |
| CN113316020A (zh) * | 2021-05-28 | 2021-08-27 | 上海曼恒数字技术股份有限公司 | 一种渲染方法、装置、介质及设备 |
| CN113721874A (zh) * | 2021-07-29 | 2021-11-30 | 阿里巴巴（中国）有限公司 | 虚拟现实画面显示方法及电子设备 |
| CN113485776A (zh) * | 2021-08-02 | 2021-10-08 | 竞技世界（北京）网络技术有限公司 | 一种在多线程渲染中实体的处理方法及装置 |
| CN113485776B (zh) * | 2021-08-02 | 2024-04-05 | 竞技世界（北京）网络技术有限公司 | 一种在多线程渲染中实体的处理方法及装置 |
| CN114489538A (zh) * | 2021-12-27 | 2022-05-13 | 炫彩互动网络科技有限公司 | 云游戏vr的终端显示方法 |
| CN114077508A (zh) * | 2022-01-19 | 2022-02-22 | 维塔科技(北京)有限公司 | 一种远程图像渲染方法、装置、电子设备以及介质 |
| CN115942049A (zh) * | 2022-08-26 | 2023-04-07 | 北京博雅睿视科技有限公司 | 一种面向vr视频的视角切换方法、装置、设备及介质 |
| WO2024055462A1 (zh) * | 2022-09-16 | 2024-03-21 | 如你所视(北京)科技有限公司 | Vr场景的处理方法、装置、电子设备和存储介质 |
| CN117834949A (zh) * | 2024-03-04 | 2024-04-05 | 清华大学 | 基于边缘智能的实时交互预渲染方法及其装置 |
| CN117834949B (zh) * | 2024-03-04 | 2024-05-14 | 清华大学 | 基于边缘智能的实时交互预渲染方法及其装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111627116B (zh) | 2024-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111627116B (zh) | 图像渲染控制方法、装置及服务器 | |
| US10586395B2 (en) | Remote object detection and local tracking using visual odometry | |
| US20200112625A1 (en) | Adaptive streaming of virtual reality data | |
| JP6131950B2 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
| CN107911737B (zh) | 媒体内容的展示方法、装置、计算设备及存储介质 | |
| CN109743626B (zh) | 一种图像显示方法、图像处理方法和相关设备 | |
| EP3691280B1 (en) | Video transmission method, server, vr playback terminal and computer-readable storage medium | |
| CN115409940A (zh) | 终端、接收方法、分发装置及分发方法 | |
| CN110996097B (zh) | Vr多媒体的体验质量确定方法及装置 | |
| CN111583350A (zh) | 图像处理方法、装置、***及服务器 | |
| AU2018416431B2 (en) | Head-mounted display and method to reduce visually induced motion sickness in a connected remote display | |
| CN106375682B (zh) | 影像处理方法、装置与可移动设备、无人机遥控器及*** | |
| KR102503337B1 (ko) | 이미지 디스플레이 방법, 장치 및 시스템 | |
| CN109978945B (zh) | 一种增强现实的信息处理方法和装置 | |
| CN109766006B (zh) | 虚拟现实场景的显示方法、装置及设备 | |
| CN112073632A (zh) | 图像处理方法、设备及存储介质 | |
| CN115131528A (zh) | 虚拟现实场景确定方法、装置及*** | |
| KR20210055381A (ko) | 스마트 디스플레이를 통해 증강 현실 컨텐츠를 제공하는 장치, 방법 및 컴퓨터 프로그램 | |
| CN114690894A (zh) | 一种实现显示处理的方法、装置、计算机存储介质及终端 | |
| JP2017183816A (ja) | 動画配信サーバ、動画出力装置、動画配信システム、及び動画配信方法 | |
| WO2023079987A1 (ja) | 配信装置、配信方法、およびプログラム | |
| US20230410444A1 (en) | Display system for displaying mixed reality space image andprocessing method for use of display system | |
| CN116612221A (zh) | 基于云渲染的大空间ar内容生成方法和*** | |
| CN117768599A (zh) | 处理图像的方法、装置、***、电子设备和存储介质 | |
| CN117999787A (zh) | 多视图视频数据的呈现 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |