CN115883922A - 一种视频编码渲染的方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种视频编码渲染的方法、装置、设备及存储介质，通过采集视频数据，对获取到的视频数据压缩生成视频数据包；将所述视频数据包上传至服务器，所述服务器用于将所述视频数据包分发至对应的客户端；获取所述服务器分发至对应的客户端的视频数据；将从服务器获取到的视频数据进行解码处理，得到每一帧的图像数据；对得到的图像数据进行渲染绘制处理。在保证质量的前提下对视频数据进行硬编码处理提高了编码效率及压缩率，优化了渲染效率并减少性能消耗，保证视频播放的流畅度。

Description

一种视频编码渲染的方法、装置、设备及存储介质

技术领域

本申请涉及人造***的行为的设计领域，特别是涉及一种视频编码渲染的方法、装置、设备及存储介质。

背景技术

当今移动互联网快速发展的时代，原有的图文等信息传递方式不能满足用户需求。随着智能设备的普及和信息技术的发展。短视频、直播门槛降低同时迅速崛起，它们更好的传递信息满足了用户的需求。与此同时，普通用户在视频制作到观看的整个过程中面对几个关键问题：录制手机耗电发烫的、传输过程产生流量消耗弱网络耗时、播放时卡顿。因此，提供优质的视频处理方案显得额外重要，客户端需要提供给用户低的性能消耗、更小的视频文件及清晰流畅的观看体验。

目前iOS平台主流的H265并未有处理B帧比较好的方案，编码或解码效率较低。现有技术中，OpenGL ES（为以手持和嵌入式为目标的高级3D图形应用程序编程接口）实现一段渲染的代码，OpenGL ES (OpenGL for Embedded Systems) 是 OpenGL 三维图形 API的子集。CPU在帧数据的回调中写入数据到缓冲区buffer，之后GPU需要从buffer中读取帧数据写入的数据，当下一个帧数据写入buffer时，必须等待上一个帧数据渲染完毕，即不支持多线程，异步操作，还有着臃肿的特性、易造成阻塞。因此，如何提高编码效率降低手机消耗、增强压缩率减小视频文件大小、增强视频渲染性能、提高流畅度是本领域技术人员亟待解决的技术问题。

发明内容

基于上述问题，本申请提供了一种视频编码渲染的方法、装置、设备及存储介质，以优化了渲染效率、减少性能消耗，保证视频播放的流畅度。

本申请实施例公开了如下技术方案：一种视频编码渲染方法，包括：

采集视频数据；

对获取到的视频数据压缩生成视频数据包；

将所述视频数据包上传至服务器，所述服务器用于将所述视频数据包分发至对应的客户端；

获取所述服务器分发至对应的客户端的视频数据；

将从服务器获取到的视频数据进行解码处理，得到每一帧的图像数据；

对得到的图像数据进行渲染绘制处理。

可选的，所述采集视频数据包括：

开启采集装置，设置设备输出信号输出调，得到视频数据。

可选的，所述对获取到的视频数据压缩生成视频数据包，包括：

将获取到的视频数据转化为视频核心库类型图像数据帧；

对所述视频核心库类型图像数据帧的每一帧进行编码处理确定视频数据包。

可选的，所述对获取到的视频数据压缩生成视频数据包之前，还包括：

创建编码器，设置编码宽高、格式及编码帧数据回调；

设置编码器属性、设置关键帧间隔、设置码率、设置取消编码B帧；

向编码器发送编码启动指令。

可选的，所述对所述视频核心库类型图像数据帧的每一帧进行编码处理，确定视频数据包，包括：

对所述视频核心库类型图像数据帧的每一帧进行初步编码，得到初步编码结果；

响应于初步编码成功，触发回调函数；

根据所述初步编码结果和所述回调函数确定回调数据；

判断所述回调数据的每一帧是否为关键帧，响应于判断结果为关键帧，***开始码、前后视频参数集、序列参数集和图像参数集，进行编码完成视频数据流，得到初步编码结果。

可选的，所述对获取到的视频数据压缩生成视频数据包，之后还包括：

响应于获取到编码停止指令，销毁所述编码器。

可选的，所述对得到的图像数据进行渲染绘制处理，包括：

创建渲染图层并设置设备参数；

根据所述设备参数创建渲染命令编码器；

根据所述渲染命令编码器对所述得到的图像数据进行渲染绘制。

本申请实施例还提供一种视频编码渲染的装置，包括：

视频数据采集模块，用于采集视频数据；

视频数据包生成模块，用于对获取到的视频数据压缩生成视频数据包；

上传模块，用于将所述视频数据包上传至服务器，所述服务器用于将所述视频数据包分发至对应的客户端；

分发数据获取模块，用于获取所述服务器分发至对应的客户端的视频数据；

解码处理模块，用于将从服务器获取到的视频数据进行解码处理，得到每一帧的图像数据；

渲染处理模块，用于对得到的图像数据进行渲染绘制处理。

所述装置还包括：

第一设置模块，用于创建编码器，设置编码宽高、格式及编码帧数据回调；

第二设置模块，用于设置编码器属性设置关键帧间隔、设置码率、设置取消编码B帧；

指令发送模块，用于向编码器发送编码启动指令。

所述装置还包括：

编码器销毁模块，响应于获取到编码停止指令，用于销毁所述编码器。

本申请实施例还提供一种计算机设备，所述计算机设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行如上所述的一种视频编码渲染的方法的步骤。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的一种视频编码渲染的方法的步骤。

相较于现有技术，本申请具有以下有益效果：本申请通过采集视频数据，对获取到的视频数据压缩生成视频数据包；将所述视频数据包上传至服务器，所述服务器用于将所述视频数据包分发至对应的客户端；获取所述服务器分发至对应的客户端的视频数据；将从服务器获取到的视频数据进行解码处理，得到每一帧的图像数据；对得到的图像数据进行渲染绘制处理。利用iOS VideoToolbox(硬件编解码工具库)采用特殊处理的H.265-HEVC(高效视频编码)格式在保证质量的前提下，对视频数据进行硬编码处理，提高了编码效率及压缩率，并且传统的OpenGL ES是以手持和嵌入式为目标的3D图形应用程序编程接口，渲染单线程不支持异步、效率低、卡顿还臃肿，而通过Apple Metal实现渲染完全避免了OpenGL ES的这些缺点，优化了渲染效率、减少性能消耗，保证视频播放的流畅度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种视频编码渲染的方法流程图；

图2为本申请实施例提供的一种视频编码渲染的装置结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

发明人经过研究发现，现有技术中在编解码方面，为了编码效率及更小的压缩率，越来越多的视频源采用硬编码H265格式进行编码处理，生成视频流。因此在实际应用场景中，需要客户端支持对H265视频流进行编解码处理。然后在增强视频渲染性能基本的实现流程中，通过图形处理器 (Graphic Processing Unit，GPU)将视频流数据解码存储在显存中，解析为 YUV数据，从显存拷贝到内存，在中央处理器(Central Processing Unit，CPU)中将YUV数据转换成RGB数据后，将RGB数据的视频流拷贝到显存中，并在GPU中进行渲染绘制处理。当前主流的如ffmpeg，ffmpeg是一套可以用来记录、转换数字音频和视频，并能将其转化为流的开源计算机程序，这个开源库是一个非常优秀的库，支持各大平台使用，优势是支持格式很多，由于库比较成熟，调用非常简单，编码的H265格式的视频数据没有经过各种适应场景的特殊处理。现在常用OpenGL ES实现视频数据渲染。ffmpeg是软解码使用CPU进行编码，需要通过大量计算实现，处理速度较慢，对CUP的消耗非常大，需要单独做硬件优化才行。

目前iOS平台主流的H265并未有处理B帧比较好的方案，编码或解码效率较低。OpenGL ES实现一段渲染的代码。CPU在帧数据的回调中写入数据到buffer，之后GPU会从buffer中读取帧数据写入的数据，当下一个帧数据写入buffer时，必须等待上一个帧数据渲染完毕，缺点为不支持多线程，异步操作，还有着臃肿的特性、易造成阻塞。

由此，可以引出本发明核心的目的在于，提高编码效率降低手机消耗、增强压缩率、减小视频文件大小、增强视频渲染性能提高流畅度。利用iOS VideoToolbox 采用特殊处理的H.265-HEVC格式，在保证质量的前提下，对视频数据进行硬编码处理，实现提高编码效率及压缩率，并且传统的OpenGL ES渲染单线程不支持异步、效率低、卡顿还臃肿，而通过Apple Metal实现渲染完全，避免了OpenGL ES 的这些缺点，优化了渲染效率、减少性能消耗，保证视频播放的流畅度。其中，Apple Metal用于实现与图形处理器并行，渲染高级3D图形和计算数据，视频从录制到播放的整个过程可以简化为五个步骤：采集、编码、传输、解码、渲染。

这些步骤实现过程中，首先采集到的图像的每一帧数据过大不方便直接传输，需要使用VideoToolbox（视频工具箱）对每一帧的数据进行硬编码压缩后再进行传输，然后再对传输后的数据进行硬解码，形成每一帧图像数据，最后通过Metal 实现每一帧图像数据的渲染，其中Metal是现有技术已经发布的一套操作GPU的编程API。H265视频数据中包含I帧、P帧、B帧，在编码过程中 I帧是完整而密集的，因此I帧可能会导致视频数据过大，其中合理控制I帧间隔可以实现压缩率的提升，同时不开启B帧，因为B帧的存在会导致时间戳同步较为复杂，从而降低了编解码效率。Metal会申请多个buffer对应多个Frame（一帧图像），然后根据GPU的渲染回调，实时更新buffer的缓存；Metal更加切合现有设计中的CPU和GPU交互，减少CPU负载，支持多线程执行，资源控制和同异步控制。

本申请实施例提供的方法由后台***执行，例如可以由后台服务器执行。所述后台服务器可以是一台服务器设备，也可以是由多台服务器组成的服务器集群。

本申请实施例提供了一种视频编码渲染的方法，包括步骤101~步骤106。参见图1，该图1为本申请实施例提供的一种视频编码渲染的方法流程图。

步骤101：采集视频数据。

在实际应用场景中，***控制开启采集装置，设置设备输出信号输出调，得到视频数据。视频采集实时一帧图像采集获取图像信息。开启设备摄像头，获取输出设备输出数据，设置输出调，拿到视频数据，其中，视频数据可以为核心媒体库类型图像数据帧，其中开启设备摄像头可以通过iOS提供的一个用于管理和协调的输入设备到输出设备之间的数据流实现。

步骤102：对获取到的视频数据压缩生成视频数据包。

视频编码将获取到的每一帧数据进行压缩，生产特定格式的二进制视频数据包。将获取到的核心媒体库类型图像数据帧，转化为视频核心库类型图像数据帧，然后VideoToolbox对每一帧进行H265编码，形成视频流。

在一种可能的实现方式中，所述对获取到的视频数据压缩生成视频数据包包括以下步骤，步骤A1-A7：

A1、通过创建一个用于管理协调输入设备到输出设备之间数据流的对象，创建编码器设置编码宽高、格式及编码帧数据回调等。

A2、设置上述数据流对象的相关属性，示例性的，可以设置编码器属性，设置关键帧间隔、设置码率、设置取消编码B帧。

A3、调用上述数据流的对象准备解码和编码，在实际应用场景中，可以生成提醒指令，告诉编码器编码开始了。

即***向编码器发送编码启动指令，对所述视频核心库类型图像数据帧的每一帧进行初步编码，得到初步编码结果。

A4、调用上述数据流的对象进行解码和编码，编码成功后触发回调函数。

即响应于初步编码成功，触发回调函数。

A5、获取到编码后的回调数据并进行处理，如果是关键帧，则***开始码、vps、sps和pps再编码完成H265视频数据流。

A6、调用停止编码器。

A7、最后调用销毁编码器。

在实际应用场景中，***可以上述数据流的对象完成解码，停止编码器。最后调用上述数据流的对象进行销毁，销毁编码器。

步骤103：将所述视频数据包上传至服务器。

视频数据通过网络上传到服务器，然后服务器再分发到对应的客户端。

步骤104：获取所述服务器分发至对应的客户端的视频数据。

步骤105：将对服务器获取到的视频数据进行解码处理，得到每一帧的图像数据。

将对服务器获取到的视频数据进行处理，创建解码器并设置相应参数，完成最终解码工作并得到视频的图像帧数据。即控制客户端获取到视频流数据，通过VideoToolbox进行解码，得到若干个视频核心库类型图像数据帧。

步骤106：对得到的图像数据进行渲染绘制处理。

在一种可能的实现方式中，所述对得到的图像数据进行渲染绘制处理可以包括以下步骤，B1-B7：

B1、通过与图形处理器并行，渲染高级3D图形和计算数据的图层，创建渲染图层。

B2、调用创建***默认设备对象，获取GPU设备，提供创建缓存、纹理等的接口。

B3、设置YUV（亮度，色度和浓度）与RGB（三原色Red, Green, Blue）的变换矩阵。

B4、通过渲染管道对象，设置渲染管道。

B5、通过渲染纹理对象，设置纹理数据像素颜色格式、图像宽高等。

B6、通过着色器处理设置顶点、纹理坐标和光栅化。

B7、得到以上设置好的设备参数，创建编码3D图形渲染指令，完成渲染。

由此，本申请实施例体提供的方法中VideoToolbox编码无B帧的H265视频流，实现了提高编码效率、降低手机消耗、增强压缩率和减小视频文件大小。Meatal支持多线程执行，资源控制和同异步控制增强视频渲染性能提高流畅度。

以上为本申请实施例提供一种视频编码渲染方法的一些具体实现方式，基于此，本申请还提供了对应的装置。下面将从功能模块化的角度对本申请实施例提供的装置进行介绍。请参考图2，图2为本申请实施例所提供的一种视频编码渲染装置的结构示意图。

本实施例中，该装置可以包括：

视频数据采集模块201，用于采集视频数据；

视频数据包生成模块202，用于对获取到的视频数据压缩生成视频数据包；

上传模块203，用于将所述视频数据包上传至服务器，所述服务器用于将所述视频数据包分发至对应的客户端；

分发数据获取模块204，用于获取所述服务器分发至对应的客户端的视频数据；

解码处理模块205，用于将从服务器获取到的视频数据进行解码处理，得到每一帧的图像数据；

渲染处理模块206，用于对得到的图像数据进行渲染绘制处理。

所述装置还包括：

第一设置模块，用于创建编码器，设置编码宽高、格式及编码帧数据回调；

第二设置模块，用于设置编码器属性、设置关键帧间隔、设置码率、设置取消编码B帧；

指令发送模块，用于向编码器发送编码启动指令。

所述装置还包括：

编码器销毁模块，响应于获取到编码停止指令，用于销毁所述编码器。

本申请实施例还提供一种计算机设备，所述计算机设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行如上所述的一种视频编码渲染的方法的步骤。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的一种视频编码渲染的方法的步骤。

需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***或装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

应当理解，在本申请中，“至少一个（项）”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a，b或c中的至少一项（个），可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种视频编码渲染方法，其特征在于，包括：

采集视频数据；

对获取到的视频数据压缩生成视频数据包；

将所述视频数据包上传至服务器，所述服务器用于将所述视频数据包分发至对应的客户端；

获取所述服务器分发至对应的客户端的视频数据；

将从服务器获取到的视频数据进行解码处理，得到每一帧的图像数据；

对得到的图像数据进行渲染绘制处理。

2.根据权利要求1所述的方法，其特征在于，所述采集视频数据包括：

开启采集装置，设置设备输出信号输出调，得到视频数据。

3.根据权利要求1所述的方法，其特征在于，所述对获取到的视频数据压缩生成视频数据包，包括：

将获取到的视频数据转化为视频核心库类型图像数据帧；

对所述视频核心库类型图像数据帧的每一帧进行编码处理，确定视频数据包。

4.根据权利要求1所述的方法，其特征在于，所述对获取到的视频数据压缩生成视频数据包之前，还包括：

创建编码器，设置编码宽高、格式及编码帧数据回调；

设置编码器属性、设置关键帧间隔、设置码率、设置取消编码B帧；

向编码器发送编码启动指令。

5.根据权利要求3所述的方法，其特征在于，所述对所述视频核心库类型图像数据帧的每一帧进行编码处理，确定视频数据包，包括：

对所述视频核心库类型图像数据帧的每一帧进行初步编码，得到初步编码结果；

响应于初步编码成功，触发回调函数；

根据所述初步编码结果和所述回调函数确定回调数据；

判断所述回调数据的每一帧是否为关键帧，响应于判断结果为关键帧，***开始码、前后视频参数集、序列参数集和图像参数集，进行编码完成视频数据流，得到初步编码结果。

6.根据权利要求4所述的方法，其特征在于，所述对获取到的视频数据压缩生成视频数据包，之后还包括：

响应于获取到编码停止指令，销毁所述编码器。

7.根据权利要求1所述的方法，其特征在于，所述对得到的图像数据进行渲染绘制处理，包括：

创建渲染图层并设置设备参数；

根据所述设备参数创建渲染命令编码器；

根据所述渲染命令编码器对所述得到的图像数据进行渲染绘制。

8.一种视频编码渲染装置，其特征在于，包括：

视频数据采集模块，用于采集视频数据；

视频数据包生成模块，用于对获取到的视频数据压缩生成视频数据包；

上传模块，用于将所述视频数据包上传至服务器，所述服务器用于将所述视频数据包分发至对应的客户端；

分发数据获取模块，用于获取所述服务器分发至对应的客户端的视频数据；

解码处理模块，用于将从服务器获取到的视频数据进行解码处理，得到每一帧的图像数据；

渲染处理模块，用于对得到的图像数据进行渲染绘制处理。

9.一种计算机设备，其特征在于，所述计算机设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行如权利要求1-7任一项所述的视频编码渲染方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的视频编码渲染方法的步骤。

Images