CN116319790A - 全真场景的渲染方法、装置、设备和存储介质 - Google Patents

Abstract

本公开涉及一种全真场景的渲染方法、装置、设备和存储介质。全真场景的渲染方法应用于客户端，包括：将目标全真场景的渲染请求发送至云端，所述云端用于根据所述渲染请求和相关资源渲染出所述目标全真场景，并实时采集渲染过程中生成的至少一个画面得到视频数据；通过拉流的方式从目标地址下载所述视频数据并显示，以完成所述目标全真场景的渲染，其中，所述目标地址为所述云端将所述视频数据通过推流的方式推送到的地址。本公开提供的方法能够快速的完成全真场景的渲染，渲染出流畅且清晰的全真场景，极大的提升了用户的沉浸式体验。

Description

全真场景的渲染方法、装置、设备和存储介质

技术领域

本公开涉及数据处理技术领域，尤其涉及一种全真场景的渲染方法、装置、设备和存储介质。

背景技术

在全真场景下，为了以一个全新的视角给用户提供一种不同的沉浸式体验，往往需要营造出沉浸式的真实场景，以展示出大量丰富多彩的细节，这就需要设备具有非常强大的硬件能力来支持全真场景的画面渲染。

但是，因设备配置的硬件性能不同，设备可以承载流畅性的能力不同，尤其是在性能较差的设备上进行全真场景的渲染时，因设备硬件能力不足，而无法渲染出流畅且清晰的全真场景，导致用户无法沉浸式地体验全真场景。

发明内容

为了解决上述技术问题，本公开提供了一种全真场景的渲染方法，能够快速的完成全真场景的渲染，渲染出流畅且清晰的全真场景，极大的提升了用户的沉浸式体验。

根据本公开的一方面，提供了一种全真场景的渲染方法，应用于客户端，包括：

将目标全真场景的渲染请求发送至云端，所述云端用于根据所述渲染请求和相关资源渲染出所述目标全真场景，并实时采集渲染过程中生成的至少一个画面得到视频数据；

通过拉流的方式从目标地址下载所述视频数据并显示，以完成所述目标全真场景的渲染，其中，所述目标地址为所述云端将所述视频数据通过推流的方式推送到的地址。

根据本公开的另一方面，提供了一种全真场景的渲染方法，应用于云端，包括：

接收客户端发送的目标全真场景的渲染请求；

根据所述渲染请求和相关资源渲染出所述目标全真场景，并实时采集渲染过程中生成的至少一个画面得到视频数据；

将所述视频数据通过推流的方式推送至目标地址，所述客户端用于通过拉流的方式从所述目标地址下载所述视频数据并显示，以完成所述目标全真场景的渲染。

根据本公开的另一方面，提供了一种全真场景的渲染装置，应用于客户端，包括：

发送模块，用于将目标全真场景的渲染请求发送至云端，所述云端用于根据所述渲染请求和相关资源渲染出所述目标全真场景，并实时采集渲染过程中生成的至少一个画面得到视频数据；

拉流模块，用于通过拉流的方式从目标地址下载所述视频数据并显示，以完成所述目标全真场景的渲染，其中，所述目标地址为所述云端将所述视频数据通过推流的方式推送到的地址。

根据本公开的另一方面，提供了一种全真场景的渲染装置，应用于云端，包括：

接收模块，用于接收客户端发送的目标全真场景的渲染请求；

渲染模块，用于根据所述渲染请求和相关资源渲染出所述目标全真场景，并实时采集渲染过程中生成的至少一个画面得到视频数据；

推流模块，用于将所述视频数据通过推流的方式推送至目标地址，所述客户端用于通过拉流的方式从所述目标地址下载所述视频数据并显示，以完成所述目标全真场景的渲染。

根据本公开的另一方面，提供了一种电子设备，所述电子设备包括：处理器；以及存储程序的存储器，其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据上述全真场景的渲染方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行根据全真场景的渲染方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述全真场景的渲染方法。

本公开实施例提供的技术方案与现有技术相比具有如下优点：

本公开实施例提供了一种全真场景的渲染方法，应用于客户端，包括：将目标全真场景的渲染请求发送至云端，所述云端用于根据所述渲染请求和相关资源渲染出所述目标全真场景，并实时采集渲染过程中生成的至少一个画面得到视频数据；通过拉流的方式从目标地址下载所述视频数据并显示，以完成所述目标全真场景的渲染，其中，所述目标地址为所述云端将所述视频数据通过推流的方式推送到的地址。本公开提供的方法能够高效快速的完成全真场景的渲染，降低了设备性能的影响，对于性能较差的设备可以最大限度的渲染出流畅且清晰的全真场景，极大的提升了用户的沉浸式体验。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的全真场景的渲染***结构图；

图2为本公开实施例提供的全真场景的渲染方法流程图；

图3为本公开实施例提供的全真场景的渲染方法流程图；

图4为本公开实施例提供的全真场景的渲染方法流程图；

图5为本公开实施例提供的全真场景的渲染装置的结构示意图；

图6为本公开实施例提供的全真场景的渲染装置的结构示意图；

图7为本公开实施例提供的电子设备的结构示意图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

在对本公开实施例进行详细说明之前，首先对本公开中涉及到的相关名词进行解释说明。

全真环境/全真场景：是应用程序(如教育应用程序)的客户端在终端上运行时显示(或提供)的虚拟场景，可以为用户提供真实的沉浸式体验。该虚拟场景可以是对真实的世界进行仿真模拟的一种场景，或者，还可以是虚构的一种场景，还或者是半真实半虚构的一种场景。可理解的是，本公开提供的全真场景是三维(3D)的，可以理解为三维虚拟场景。

RTC：是实时通信(Real time communication)的简称，是一种实时交互的音视频通信技术。

现如今要展现全真场景下更加逼真、丰富的3D画面，往往对设备的性能要求更高，因此同一全真场景在不同性能的设备上的表现也不同。尤其现有的各种设备性能参差不齐的情况下，低端设备渲染全真场景时往往会出现渲染卡顿、屏幕画面黑屏、异常退出等等情况。而这些情况对于低端设备的用户体验产生了极大的负面影响。

目前，现有的方案1是根据设备类型不同，对场景所使用的资源、画质、阴影效果等进行调整。对于硬件性能较差的设备，多是通过加载较低分辨率、较差的画质以及使用较差的阴影效果，来减轻渲染所需的硬件开销，从而一定程度上提高画面渲染的流畅度，给用户体验也带来一些提升。方案1虽然在一定程度上可以提升画面渲染的流畅度，但是是以牺牲画面清晰度及细节效果来换取渲染的流畅性的，难以满足对画面清晰度有需求用户，导致用户沉浸式体验较差。其次，方案1是针对不同设备类型，对加载的资源、画质、贴图、阴影等效果进行调整的，因此，在软件代码内部，需要对加载的调整逻辑进行多次判断，增加了代码复杂度，也因此可能会增加代码的出错率，可实施行比较差。

现有的方案2为了达到更好的渲染性能，多是通过改造渲染管线，来对场景中的阴影效果、遮挡、光照等渲染技术进行优化，从而从渲染流程减少运行时对硬件的性能要求，以此来提升渲染的流畅度和用户体验。但是方案2涉及到对渲染管线进行改造，改造人员对渲染技术需要非常熟悉，学习成本比较高，因此技术难度较高，实现的复杂度较大。其次，通过改造来定制渲染管线后，会影响原本的渲染管线流程，可能会对正常的渲染流程带来不同程度上的异常。

针对上述技术问题，本公开实施例提供了一种全真场景的渲染方法，应用于客户端，客户端可以是各种类型的电子设备，具体的，客户端将目标全真场景的渲染请求发送至云端，云端硬件配置较高，可以采用正常的渲染流程根据渲染请求和相关资源渲染出目标全真场景，同时在渲染的过程中进行视渲染画面的采集得到视频数据，并通过RTC推流的方式将视频数据推送至目标地址，随后客户端通过RTC拉流的方式从目标地址拉取视频数据，以实时快速的获取目标全真场景的视频流，从而可以流畅的加载出真实的全真场景，流畅渲染出清晰、丰富多彩的细节，该种渲染方法，可以在不需要消耗过多硬件性能的情况下，使用户在使用较低性能的设备时依然可以体验到流畅的全真场景画面，极大的提升了用户的沉浸式体验效果。具体通过下述一个或多个实施例进行详细说明。

图1为本公开实施例提供的全真场景的渲染***结构图，在对本公开实施例提供的全真场景的渲染方法进行详细说明前，优先对全真场景的渲染***(以下简称渲染***)结构/架构进行详细说明，具体的，参见图1，渲染***包括客户端、云端和业务后端，其中：

云端(云端服务器)：用于为客户端提供云端服务，云端服务是实际部署和加载场景的容器。云端包括多个机器，每个机器上部署至少一个应用程序，可通过云端服务调用，例如，加载场景的应用程序。云端包括部署加载模块、调度分配模块、渲染采集模块和推流模块，其中，部署加载模块用于场景部署和加载，调度分配模块用于资源调度和分配服务，渲染采集模块用于场景渲染和视频数据采集，推流模块用于将视频数据RTG推流至远端地址。云端进行渲染的流程如下：云端在接收到业务后端发送的调度任务时，会锁定或者解锁机器，来启动或者关闭机器上的应用程序进程，该运行在机器上的应用程序设备性能是较为高端且稳定的，以保证快速、流畅、清晰的渲染出真实且细节的全真场景，并同时实时采集渲染画面，将其作为视频数据，通过RTC推流至远端地址，以保证客户端实时、高效的从远端地址拉取到视频数据并显示。

业务后端：可以看作云端用于处理客户端业务的业务后台，用于接收客户端的启动渲染任务或关闭任务，对任务调度进行管理和分配，请求云端以此调度任务锁定或者解锁机器资源，并向客户端反馈任务状态。业务后端包括管理模块、请求转发模块、释放转发模块和建立关联模块，其中，管理模块用于管理任务队列，请求转发模块用于向云端转发客户端发送的渲染请求，释放转发模块用于向云端转发不同客户端发送的关闭请求，建立关联模块用于向客户端传输用于建立链接的绑定信息，链接是指客户端同机器的传输链接。业务后端进行业务处理的流程如下：当接收到客户端发送的渲染请求以请求云端服务时，若此时云端存在运行状态为空闲状态的机器，会接收到云端服务返回的机器锁定信息，若此时云端不存在运行状态为空闲状态的机器，则需要业务后端开始管理任务队列，以便在下次云端有机器释放(解除锁定)后处于空闲状态时，可以及时为管理任务队列中的渲染请求分配机器，以便即时锁定机器。

客户端：是实际接受渲染的终端。客户端包括拉流模块和处理模块，其中，拉流模块用于通过RTC拉流从远端地址拉取视频数据，处理模块用于向业务后台发送渲染请求、关闭请求等，还用于接收业务后端反馈的锁定信息，以便即时锁定云端机器。客户端进行渲染的流程如下：在和云端机器请求连接成功后，通过RTC拉流从远端地址拉取视频数据，可以使得用户观看到云端启动和渲染的高质量实时画面，在结束观看时，通过业务后端向云端服务关闭请求，结束场景渲染和实时推流。

图2为本公开实施例提供的全真场景的渲染方法流程图。该方法可适用于不同设备类型的客户端流畅且清晰的渲染出复杂全真场景的应用场景，以方便用户沉浸式体验全真场景。该全真场景的渲染方法可以由全真场景的渲染装置执行，该装置可以采用软件和/或硬件的方式实现，该装置可配置于电子设备中，电子设备即为上述渲染***中的客户端，具体包括但不限于智能手机、掌上电脑、平板电脑、便携式可穿戴设备、智能家居设备(例如台灯)等具备显示屏的电子设备。

如图2所示，该方法具体可以包括如下步骤S210至S220：

S210、将目标全真场景的渲染请求发送至云端，所述云端用于根据所述渲染请求和相关资源渲染出所述目标全真场景，并实时采集渲染过程中生成的至少一个画面得到视频数据。

可选的，在执行S210将目标全真场景的渲染请求发送至云端之前，需要生成渲染请求，具体通过如下步骤实现：

响应于所述目标全真场景的场景启动操作，获取所述客户端的设备信息；若所述设备信息符合预设标准，则将所述客户端确定为低端设备。

可理解的，显示目标全真场景的启动界面，所述启动界面包括场景启动标识，响应于所述场景启动标识的触发操作，执行场景启动操作。场景启动操作是指开始准备请求渲染场景，也就是用户点击场景启动标识后，开始准备目标全真场景的渲染。响应于目标全真场景的场景启动操作，获取客户端的设备信息，设备信息包括设备处理器、内存等硬件信息，并根据预先确定的判断标准，对硬件情况进行判断，判断客户端的设备类型，设备类型包括低端设备、中端设备和高端设备，不同设备类型具有不同的判断标准，判断标准包括预设标准，预设标准用于区分低端设备和中高端设备(中端设备和高端设备)，若设备信息符合预设标准，说明客户端属于低端设备，也就是客户端仅依靠自身设备无法流畅且清晰的渲染出目标全真场景，若设备信息不符合预设标准，说明客户端属于中高端设备，中高端设备在一定程度上可以依靠自身设备流畅且清晰的渲染出目标全真场景，其中，预设标准包括内存和处理器两个参数的标准，具体参数标准的设定可根据用户需求自行确定，在此不作限定。

可选的，所述上述S210中将目标全真场景的渲染请求发送至云端，具体通过如下步骤实现：

在确定所述客户端为低端设备的情况下，生成针对所述目标全真场景的渲染请求，并将所述渲染请求发送至云端。

可理解的，若判断客户端属于低端设备，则需要开启云端远程渲染，可直接生成针对目标全真场景的渲染请求，并将渲染请求通过业务后端发送至云端，渲染请求包括目标全真场景的相关信息和启动云端服务的请求信息，目标全真场景的相关信息包括场景名称、场景标识、客户端对应的用户标识和唯一标识码，例如，在教育场景下，场景名称为课程名称，场景标识为课节标识，比如，要在云远程端渲染的是语文课程第三讲的教育场景。

可理解的，若判断客户端属于中高端设备，则可以根据用户需求确定是否开启云端远程渲染以及开启云端远程渲染的时机。一种可行的场景，中高端设备可通过人机交互的方式自行触发是否开启云端远程渲染，若中高端设备的负载因其他任务进程存在过载的情况，可以开启云端远程渲染以减少过载情况。另一种可行的场景，中高端设备在自行完成部分全真场景的渲染后，开启云端远程渲染来继续完成剩余部分全真场景的渲染，其他可行的应用场景不作限定。

S220、通过拉流的方式从目标地址下载所述视频数据并显示，以完成所述目标全真场景的渲染。

其中，所述目标地址为所述云端将所述视频数据通过推流的方式推送到的地址。

可理解的，云端接收业务后端的渲染请求后，会为客户端锁定当前空闲的云端机器，利用该云端机器启动其上部署的云端服务根据渲染请求和相关资源渲染出目标全真场景，并实时采集渲染过程中生成的至少一个渲染画面得到视频数据，随后云端服务将实时采集到的视频数据，通过RTC直播推流的方式，推送到预设地址，该被推送的预设地址即为目标地址，也可以理解为推流地址。

可理解的，在上述S210的基础上，确定云端将视频数据推送到目标地址后，启动云端远程渲染的客户端，通过链接对应的RTC频道，采用拉流的方式从目标地址下载视频数据，也就是通过RTC频道拉取云端服务推流的实时渲染画面，并显示视频数据，以完成目标全真场景的云端远程渲染，实现客户端的高性能渲染。其中，每个和云端建立云端远程渲染的客户端都存在对应的RTC频道，云端为客户端分配云端机器并锁定后，业务后端确定机器锁定(机器同客户端建立绑定关系)后，将RTC频道返回给客户端，建立客户端和机器用户传输视频数据的链接，以便客户端基于RTC频道拉取视频数据，机器锁定可以理解为给机器打上客户端的用户标识，例如将客户端1和机器1建立绑定关系，表示已为机器1分配客户端1的渲染任务，该种情况下机器1处于非空闲状态。

可选的，将渲染请求发送至云端后，云端开始执行渲染任务，该种情况下，客户端可以向云端发送场景关闭请求，以指示云端停止/中断渲染任务，具体通过如下步骤实现：

响应于所述目标全真场景的场景关闭操作，生成关闭请求；将所述关闭请求发送至所述云端，所述云端用于根据所述关闭请求停止对渲染过程中生成的至少一个画面的采集和所述视频数据的推送。

可理解的，显示所述目标全真场景的显示界面，所述显示界面包括场景关闭标识，响应于所述场景关闭标识的触发操作，执行场景关闭操作，也就是客户端观看完视频数据中的全真场景后，或者在观看视频数据中全真场景的过程中，需要关闭全真场景时，点击了显示界面的场景关闭标识。该种情况下，响应于目标全真场景的场景关闭操作，生成针对目标全真场景的关闭请求，关闭请求是指关闭全真场景的请求，并向业务后端发送关闭请求，业务后端在接收到关闭请求时，将关闭请求转发给云端，以使云端服务停止/中断渲染任务，具体的，停止/中断渲染任务包括：停止对渲染过程中生成的至少一个渲染画面的采集和/或视频数据的推送以及解除锁定的机器，以供下一客户端进行云端远程渲染。

本公开实施例提供了一种全真场景的渲染方法，应用于客户端，采用云端推流客户端拉流，类似于直播的形式，一定程度上可以实现客户端和云端的同步渲染，有效减少用户观看目标全真场景的渲染等待时间。其次，客户端在不消耗过多硬件性能的基础上，从目标地址拉取RTC视频数据，即可体验到流畅、清晰且真实的3D渲染画面，也就是不需要在客户端上进行实际渲染，因此该渲染过程不受设备性能的影响，可实施性比较强。

在上述实施例的基础上，图3为本公开实施例提供的全真场景的渲染方法流程图，应用于上述渲染***中的云端，具体包括如图3所示的如下步骤S310至S330：

S310、接收客户端发送的目标全真场景的渲染请求。

可理解的，基于业务后端接收客户端发送的针对目标全真场景的渲染请求。可理解的是，业务后端可以监测云端各机器的运行状况，具体可以通过对云端反馈的机器锁定结果进行监测，若云端反馈锁定机器失败，则说明云端不存在处于空闲状态的机器，若云端反馈锁定机器成功，则云端存在处于空闲状态的机器。若业务后端通过监测确定云端存在处于空闲状态的机器或者接收到云端反馈的锁定机器成功的信息时，可直接将客户端发送渲染请求转发至云端。

S320、根据所述渲染请求和相关资源渲染出所述目标全真场景，并实时采集渲染过程中生成的至少一个画面得到视频数据。

可理解的，在上述S310的基础上，根据渲染请求加载相关资源以渲染出目标全真场景，云端的设备情况支持其采用正常的渲染流程，因此具体的渲染流程不作限定。启动对目标全真场景的渲染后，云端服务开始通过截屏或其他可获得渲染画面的方式，采集当前云端服务针对目标全真场景的启动、加载和渲染的实时渲染画面得到视频流。具体的，渲染请求中还可以包括画面的采集帧数以及预设分辨率，例如，在渲染过程中每一秒按照预设分辨率进行截屏采集20帧画面，20帧画面可以组成一个视频数据。另外，还可以控制推流的视频数据的时长，例如，在上述示例的基础上，得到具有一秒时长的视频数据就向目标地址推流，或者得到三秒时长的视频数据后再向目标地址推流，此时，三秒时长的视频数据包括60帧画面，具体推流的视频数据的时长以及采集的帧数在此不作限定，可根据用户需求自行确定。

其中，所述云端包括用于渲染的多个机器，所述渲染请求包括用户标识。

可选的，上述S320中根据所述渲染请求和相关资源渲染出所述目标全真场景，具体通过如下步骤实现：

查询所述多个机器的运行状态，得到当前查询结果；若所述当前查询结果为所述多个机器中存在运行状态为空闲状态的目标机器，则将所述渲染请求确定为目标请求；根据所述目标请求中的用户标识建立所述目标机器同所述客户端的关联关系；建立关联关系后，通过所述目标机器根据相关资源渲染出所述目标全真场景。

可理解的，云端服务接收到业务后端的渲染请求后，查询多个机器的运行状态，得到当前的查询结果，运行状态包括空闲状态和非空闲状态，非空闲状态是指已分配其它任务无法再执行新任务，也就是机器当前有正在执行的任务。确定运行状态时还可以查询机器的负载情况，若机器执行当前任务占用的内存较少，还可以根据每个渲染任务占用内存情况为该机器分配新的渲染任务，具体确定机器运行状态的方式不作限定。若当前的查询结果为多个机器中存在运行状态为空闲状态的目标机器，则将渲染请求确定为目标请求，目标请求是指待处理请求，随后根据目标请求中的用户标识建立目标机器同发出目标请求的客户端的关联关系，也就是为客户端锁定当前空闲的机器，建立绑定关系，并将该机器对应的RTC频道号返回给业务后端，以供机器和客户端建立用于传输视频数据的传输链接。建立客户端同目标机器的关联关系后，云端服务启动目标机器上的应用程序，开始根据相关资源进行目标全真场景的渲染，以渲染出流畅且清晰的目标全真场景。

可选的，上述查询所述多个机器的运行状态后，基于多个机器的不同运行状态由不同的处理方式，在所有机器都处于非空闲状态的情况下，为客户端确定目标机器具体通过如下步骤实现：

若所述当前查询结果为所述多个机器中不存在运行状态为空闲状态的目标机器，则将所述渲染请求加入待处理队列中，并确定下一次查询所述多个机器的运行状态的时刻，以得到下一次查询结果；若所述下一次查询结果为所述多个机器中存在运行状态为空闲状态的第一机器或者，在进行下一次查询前接收到第一机器解除关联关系的信息，则将所述第一机器确定为目标机器，并将所述待处理队列中所述渲染请求确定为目标请求。

可理解的，若当前查询结果为多个机器中不存在运行状态为空闲状态的目标机器，也就是云端当前没有空闲的机器，为客户端锁定机器失败，则需要业务后端开启排队队列，将渲染请求加入待处理队列中，并定时查询机器的运行状态，以及时为队列中的待启动渲染任务分配机器，同时根据设置的定时查询的时间确定下一次查询多个机器的运行状态的时刻，以得到下一次查询结果。若下一次查询结果为多个机器中存在运行状态为空闲状态的第一机器，也就是当前有空闲的机器可分配渲染任务，该种情况可能是第一机器完成了渲染任务，或者，在进行下一次查询前接收到第一机器解除关联关系的信息，也就是在下一次查询运行状态的时刻之前就接收到第一机器解除锁定的信息，该种情况是指，客户端在渲染中自行关闭渲染场景，上述两种可能的情况下，可以将第一机器确定为目标机器，目标机器是指待执行渲染任务的机器，上述两种情况出现的第一机器是指不同情况下出现的当前空闲的机器。随后将待处理队列中渲染请求确定为目标请求，渲染请求可以是待处理队列中按时间或优先级等其他方式排序的首个渲染请求，确定目标机器和目标请求后的流程参见上述实施例，在此不做赘述。

其中，所述渲染请求还包括所述目标全真场景的场次标识。

可选的，上述S320中根据相关资源渲染出所述目标全真场景，具体通过如下步骤实现：

根据所述场次标识下载相关资源和/或，从预先存储的渲染资源中读取所述场次标识对应的相关资源；加载所述相关资源渲染出所述目标全真场景。

可理解的，建立客户端同目标机器的关联关系后，开始在云端进行全真3D场景的资源下载和部署，以及加载并渲染出目标全真场景。

S330、将所述视频数据通过推流的方式推送至目标地址，所述客户端用于通过拉流的方式从所述目标地址下载所述视频数据并显示，以完成所述目标全真场景的渲染。

可理解的，在上述S320的基础上，得到渲染的部分视频数据就可以推流至目标地址，以供客户端从目标地址拉取视频数据并显示，也就是在整个目标全真场景的渲染过程中，渲染和推流同步进行，也就是一边渲染一边推流，以便在客户端为用户提供快速、流畅且清晰的场景内容。

可选的，在上述S320和/或S330的执行过程中，也就是云端可以在渲染过程中，得到部分视频数据后就推送至目标地址，以供客户端拉取并显示，相当于客户端实时或同步观看场景到场景渲染的过程，减少用户的等待时间，该种情况下，S320和S330可能会同时执行，例如，整个渲染是不间断持续进行的，S320完成当前部分视频的生成后就立即进行下一部分视频数据的生成，S330就将当前部分视频数据RTC推流至目标地址，此时，S320和S330同时执行，具体执行流程参见上述实施例，在此不作赘述。在云端执行渲染任务的过程中，客户端若关闭场景，云端也需要停止正在执行的渲染任务，具体通过如下步骤实现：

接收所述客户端发送的关闭请求；根据所述关闭请求停止对渲染过程中生成的至少一个画面的采集和所述视频数据的推送，并将所述目标机器同所述客户端的关联关系解除。

可理解的，在渲染过程中，接收客户端通过业务后端发送的关闭请求，关闭请求用于指示机器中断/停止渲染任务，具体的，停止画面的采集、视频数据的生成以及视频数据的推流，并将目标机器同客户端的关联关系解除，释放客户端和目标机器用于传输视频数据的传输链接。

本公开实施例提供了一种全真场景的渲染方法，应用于云端，云端为客户端分配执行渲染任务且具有高设备性能的机器，启动机器通过正常的渲染流程快速加载出目标全真场景，无需对渲染流程进行改造，就能渲染出流畅且清晰的画面。同时对渲染出的画面进行截屏采集得到视频数据，再通过RTC推流到目标地址，以供客户端通过RTC拉取目标地址上的视频数据，使得客户端无需消耗过多硬件性能，就能沉浸式体验流畅且清晰的全真场景画面。在渲染过程中对渲染画面进行实时采集和即时推流，使得用户在较短的时间内就能观看到目标全真场景的渲染画面，从而大幅提升了用户全真沉浸式场景的体验效果。

图4为本公开实施例提供的全真场景的渲染方法流程图，应用于上述渲染***，具体包括如图4所述的如下步骤S410至S490：

S410、客户端启动目标全真场景。

S420、客户端在根据设备信息确定为低端设备的情况下，向业务后端发送目标全真场景的渲染请求，以启动云端的渲染服务。

S430、云端建立当前空闲的目标机器同客户端的关联关系。

S440、云端启动目标机器上部署的应用程序开始渲染目标应用场景。

S450、云端在渲染过程中采集应用程序的至少一个渲染画面得到视频数据。

S460、云端将视频数据通过RTC推流到目标地址。

S470、客户端通过RTC拉取目标全真场景的视频数据并显示。

S480、客户端关闭目标全真场景，并通过业务后端向云端发起关闭请求。

S490、云端基于关闭请求关闭客户端和目标机器用于传输视频数据的传输链接、解除目标机器同客户端的关联关系、停止渲染画面的采集以及视频数据的RTC推流。

可理解的，上述S410至S490的具体实现过程，参见上述实施例，在此不作赘述。

图5为本公开实施例提供的全真场景的渲染装置的结构示意图。本公开实施例提供的全真场景的渲染装置应用于上述渲染***中的客户端，可以执行全真场景的渲染方法实施例提供的处理流程，如图5所示，全真场景的渲染装置500包括发送模块510和拉流模块520，其中：

发送模块510，用于将目标全真场景的渲染请求发送至云端，所述云端用于根据所述渲染请求和相关资源渲染出所述目标全真场景，并实时采集渲染过程中生成的至少一个画面得到视频数据；

拉流模块520，用于通过拉流的方式从目标地址下载所述视频数据并显示，以完成所述目标全真场景的渲染，其中，所述目标地址为所述云端将所述视频数据通过推流的方式推送到的地址。

可选的，装置500还用于：

响应于所述目标全真场景的场景启动操作，获取所述客户端的设备信息；

若所述设备信息符合预设标准，则将所述客户端确定为低端设备；

可选的，发送模块510用于：

在确定所述客户端为低端设备的情况下，生成针对所述目标全真场景的渲染请求，并将所述渲染请求发送至云端。

可选的，装置500还用于：

响应于所述目标全真场景的场景关闭操作，生成关闭请求；

将所述关闭请求发送至所述云端，所述云端用于根据所述关闭请求停止对渲染过程中生成的至少一个画面的采集和所述视频数据的推送。

本实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

图6为本公开实施例提供的全真场景的渲染装置的结构示意图。本公开实施例提供的全真场景的渲染装置应用于上述渲染***中的云端，可以执行全真场景的渲染方法实施例提供的处理流程，如图6所示，全真场景的渲染装置600包括接收模块610、渲染模块620和推流模块630，其中：

接收模块610，用于接收客户端发送的目标全真场景的渲染请求；

渲染模块620，用于根据所述渲染请求和相关资源渲染出所述目标全真场景，并实时采集渲染过程中生成的至少一个画面得到视频数据；

推流模块630，用于将所述视频数据通过推流的方式推送至目标地址，所述客户端用于通过拉流的方式从所述目标地址下载所述视频数据并显示，以完成所述目标全真场景的渲染。

其中，所述云端包括用于渲染的多个机器，所述渲染请求包括用户标识。

可选的，渲染模块620具体用于：

查询所述多个机器的运行状态，得到当前查询结果；

若所述当前查询结果为所述多个机器中存在运行状态为空闲状态的目标机器，则将所述渲染请求确定为目标请求；

根据所述目标请求中的用户标识建立所述目标机器同所述客户端的关联关系；

建立关联关系后，通过所述目标机器根据相关资源渲染出所述目标全真场景。

可选的，装置600还用于：

若所述当前查询结果为所述多个机器中不存在运行状态为空闲状态的目标机器，则将所述渲染请求加入待处理队列中，并确定下一次查询所述多个机器的运行状态的时刻，以得到下一次查询结果；

若所述下一次查询结果为所述多个机器中存在运行状态为空闲状态的第一机器或者，在进行下一次查询前接收到第一机器解除关联关系的信息，则将所述第一机器确定为目标机器，并将所述待处理队列中所述渲染请求确定为目标请求。

其中，所述渲染请求还包括所述目标全真场景的场次标识。

可选的，渲染模块620具体用于：

根据所述场次标识下载相关资源和/或，从预先存储的渲染资源中读取所述场次标识对应的相关资源；

加载所述相关资源渲染出所述目标全真场景。

可选的，装置600还用于：

接收所述客户端发送的关闭请求；

根据所述关闭请求停止对渲染过程中生成的至少一个画面的采集和所述视频数据的推送，并将所述目标机器同所述客户端的关联关系解除。

本实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

本公开示例性实施例还提供一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器。所述存储器存储有能够被所述至少一个处理器执行的计算机程序，所述计算机程序在被所述至少一个处理器执行时用于使所述电子设备执行根据本公开实施例的方法。

本公开示例性实施例还提供一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被计算机的处理器执行时用于使所述计算机执行根据本公开实施例的方法。

参考图7，现将描述可以作为本公开的服务器或客户端的电子设备400的结构框图，其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图7所示，电子设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

电子设备700中的多个部件连接至I/O接口705，包括：输入单元706、输出单元707、存储单元708以及通信单元709。输入单元706可以是能向电子设备700输入信息的任何类型的设备，输入单元706可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入。输出单元707可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元704可以包括但不限于磁盘、光盘。通信单元709允许电子设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙TM设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。

计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理。例如，在一些实施例中，全真场景的渲染方法或全真场景的渲染方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到电子设备700上。在一些实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行全真场景的渲染方法。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

如本公开使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (12)

1.一种全真场景的渲染方法，其特征在于，应用于客户端，包括：

将目标全真场景的渲染请求发送至云端，所述云端用于根据所述渲染请求和相关资源渲染出所述目标全真场景，并实时采集渲染过程中生成的至少一个画面得到视频数据；

通过拉流的方式从目标地址下载所述视频数据并显示，以完成所述目标全真场景的渲染，其中，所述目标地址为所述云端将所述视频数据通过推流的方式推送到的地址。

2.根据权利要求1所述的方法，其特征在于，在将目标全真场景的渲染请求发送至云端前，所述方法还包括：

响应于所述目标全真场景的场景启动操作，获取所述客户端的设备信息；

若所述设备信息符合预设标准，则将所述客户端确定为低端设备；

所述将目标全真场景的渲染请求发送至云端，包括：

在确定所述客户端为低端设备的情况下，生成针对所述目标全真场景的渲染请求，并将所述渲染请求发送至云端。

3.根据权利要求1或2所述的方法，其特征在于，将渲染请求发送至云端后，所述方法还包括：

响应于所述目标全真场景的场景关闭操作，生成关闭请求；

将所述关闭请求发送至所述云端，所述云端用于根据所述关闭请求停止对渲染过程中生成的至少一个画面的采集和所述视频数据的推送。

4.一种全真场景的渲染方法，其特征在于，应用于云端，包括：

接收客户端发送的目标全真场景的渲染请求；

根据所述渲染请求和相关资源渲染出所述目标全真场景，并实时采集渲染过程中生成的至少一个画面得到视频数据；

将所述视频数据通过推流的方式推送至目标地址，所述客户端用于通过拉流的方式从所述目标地址下载所述视频数据并显示，以完成所述目标全真场景的渲染。

5.根据权利要求4所述的方法，其特征在于，所述云端包括用于渲染的多个机器，所述渲染请求包括用户标识，所述根据所述渲染请求和相关资源渲染出所述目标全真场景，包括：

查询所述多个机器的运行状态，得到当前查询结果；

若所述当前查询结果为所述多个机器中存在运行状态为空闲状态的目标机器，则将所述渲染请求确定为目标请求；

根据所述目标请求中的用户标识建立所述目标机器同所述客户端的关联关系；

建立关联关系后，通过所述目标机器根据相关资源渲染出所述目标全真场景。

6.根据权利要求5所述的方法，其特征在于，查询所述多个机器的运行状态后，所述方法还包括：

若所述当前查询结果为所述多个机器中不存在运行状态为空闲状态的目标机器，则将所述渲染请求加入待处理队列中，并确定下一次查询所述多个机器的运行状态的时刻，以得到下一次查询结果；

若所述下一次查询结果为所述多个机器中存在运行状态为空闲状态的第一机器或者，在进行下一次查询前接收到第一机器解除关联关系的信息，则将所述第一机器确定为目标机器，并将所述待处理队列中所述渲染请求确定为目标请求。

7.根据权利要求5所述的方法，其特征在于，所述渲染请求还包括所述目标全真场景的场次标识，所述根据相关资源渲染出所述目标全真场景，包括：

根据所述场次标识下载相关资源和/或，从预先存储的渲染资源中读取所述场次标识对应的相关资源；

加载所述相关资源渲染出所述目标全真场景。

8.根据权利要求5所述的方法，其特征在于，所述方法还包括：

接收所述客户端发送的关闭请求；

根据所述关闭请求停止对渲染过程中生成的至少一个画面的采集和所述视频数据的推送，并将所述目标机器同所述客户端的关联关系解除。

9.一种全真场景的渲染装置，其特征在于，应用于客户端，包括：

发送模块，用于将目标全真场景的渲染请求发送至云端，所述云端用于根据所述渲染请求和相关资源渲染出所述目标全真场景，并实时采集渲染过程中生成的至少一个画面得到视频数据；

拉流模块，用于通过拉流的方式从目标地址下载所述视频数据并显示，以完成所述目标全真场景的渲染，其中，所述目标地址为所述云端将所述视频数据通过推流的方式推送到的地址。

10.一种全真场景的渲染装置，其特征在于，应用于云端，包括：

接收模块，用于接收客户端发送的目标全真场景的渲染请求；

渲染模块，用于根据所述渲染请求和相关资源渲染出所述目标全真场景，并实时采集渲染过程中生成的至少一个画面得到视频数据；

推流模块，用于将所述视频数据通过推流的方式推送至目标地址，所述客户端用于通过拉流的方式从所述目标地址下载所述视频数据并显示，以完成所述目标全真场景的渲染。

11.一种电子设备，其特征在于，所述电子设备包括：

处理器；以及

存储程序的存储器，

其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据权利要求1至8任一所述的全真场景的渲染方法。

12.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行根据权利要求1至8任一所述的全真场景的渲染方法。

Images