CN110784713B - 一种可变有效图像尺寸的编码及解码方法 - Google Patents

Abstract

本发明公开了一种可变有效图像尺寸的编码及解码方法。它具体包括如下步骤：(1)编码器中：分析文件每帧的复杂度，将文件按复杂度来切段，评估每段适合的有效图像尺寸，并写入配置文件中，Resize模块根据配置文件中的帧级高宽设置决定图像是否resize，编码内核负责编码，码流合成器将编码内核出来的视频流和图像有效区域的信息打包成最终视频流输出；(2)解码器中：视频流解析器分析当前帧是否带有有效图像尺寸信息，解码内核负责解码，Resize模块根据有效图像尺寸和视频编码图像尺寸来决定是否resize。本发明的有益效果是：不改变编码图像尺寸，既保证观看效果，且适用于任何编解码器内核，对于编码器和解码器内核也没有任何影响，保证了其稳定性。

Description

一种可变有效图像尺寸的编码及解码方法

技术领域

本发明涉及视频处理相关技术领域，尤其是指一种可变有效图像尺寸的编码及解码方法。

背景技术

在实际应用中，给编码器设置固定图像尺寸、码率或最大码率，这样会导致视频中复杂段质量很差，出现很多块，影响观看。如果复杂段采用更小编码图像尺寸来编码，可以改善观看效果，但是同一视频，编码图像尺寸的变化将要求编码器和解码器删除、重建，这将使得编码装置和解码装置很可能不稳定性，并且播放时可能卡顿，特别是有硬件编码器和解码器情况下（NVidia编解码器创建有时候需要2-3秒以上）。

发明内容

本发明是为了克服现有技术中存在上述的不足，提供了一种稳定性好的可变有效图像尺寸的编码及解码方法。

为了实现上述目的，本发明采用以下技术方案：

一种可变有效图像尺寸的编码及解码方法，具体包括如下步骤：

（1）编码器中：分析文件每帧的复杂度，将文件按复杂度来切段，评估每段适合的有效图像尺寸，并写入配置文件中，Resize模块根据配置文件中的帧级高宽设置决定图像是否resize，编码内核负责编码，码流合成器将编码内核出来的视频流和图像有效区域的信息打包成最终视频流输出；

（2）解码器中：视频流解析器分析当前帧是否带有有效图像尺寸信息，解码内核负责解码，Resize模块根据有效图像尺寸和视频编码图像尺寸来决定是否resize。

编码器在视频中复杂段将改变有效图像尺寸、无效区域填黑，从而不改变编码图像尺寸，这样既保证观看效果，且适用于任何编解码器内核，对于编码器和解码器内核也没有任何影响，保证了其稳定性。这个编解码器还可用于其它想改变有效图像尺寸的场合，比方说网络实时转码或实时通讯场合。

作为优选，在步骤（1）中，编码的具体步骤如下：

（11）一帧编码开始，读取配置文件，根据配置文件中的帧级高宽设置判断当前帧是否有有效图像尺寸改变的信息设置，如果没有则直接进入到下一步；如果有则为当前帧更新有效图像尺寸，然后进入到下一步；

（12）判断有效图像尺寸和编码图像尺寸是否相等，如果相等则直接到编码内核继续进行编码，然后进入到下一步；如果不相等则通过Resize模块将图像帧resize到有效图像尺寸，放置编码图像内存左上角，编码图像内存其它区域填黑色，然后将编码图像内存送给编码内核，编码内核将这帧编成IDR帧，以IDR帧型编码，然后进入到下一步；

（13）判断当前帧的有效图像尺寸是否更新，如果不更新则码流合成器输出编码内核给的码流；如果更新则有效图像尺寸信息按照HEVC中sei的user_data_unregisterd格式打包，码流合成器将编码内核输出码流和有效图像尺寸信息打包成新的视频码率输出。

作为优选，在步骤（11）中，配置文件中的帧级高宽设置方法如下：

先以固定Qp场景自适应加IDR帧配置转码，转完后计算两个IDR帧之间的所有帧平均压缩像素压缩比bpp和给定码率的平均像素压缩比bitrate_bpp；

如果bitrate_bpp≥bpp，采用原来的高宽；

如果bpp>bitrate_bpp≥0.5*bpp，有效图像的高不变，宽采用新宽：

如果bitrate_bpp<0.5*bpp，有效图像的高宽都需要采用新高宽，新宽：

new_width = (old_width/2+15)/16*16

新高：

。

作为优选，在步骤（2）中，解码的具体步骤如下：

（21）一帧解码开始，视频流解析器解析码流，查看视频帧是否带有有效图像尺寸信息，如果有，更新有效图像尺寸信息，进入到解码内核；如果没有，则直接进入到解码内核；

（22）解码内核进行解码操作；

（23）判断有效图像尺寸和编码图像尺寸是否一致，如果不一致，通过Resize模块将有效图像尺寸的图像resize到编码图像尺寸，再输出视频图像；如果一致，则直接输出视频图像。

本发明的有益效果是：不改变编码图像尺寸，既保证观看效果，且适用于任何编解码器内核，对于编码器和解码器内核也没有任何影响，保证了其稳定性。

附图说明

图1是本发明的编码框架图；

图2是本发明的编码流程图；

图3是本发明的解码框架图；

图4是本发明的解码流程图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步的描述。

一种可变有效图像尺寸的编码及解码方法，具体包括如下步骤：

（1）编码器中：分析文件每帧的复杂度，将文件按复杂度来切段，评估每段适合的有效图像尺寸，并写入配置文件中，Resize模块根据配置文件中的帧级高宽设置决定图像是否resize，编码内核负责编码，码流合成器将编码内核出来的视频流和图像有效区域的信息打包成最终视频流输出，如图1所示；

如图2所示，编码的具体步骤如下：

（11）一帧编码开始，读取配置文件，根据配置文件中的帧级高宽设置判断当前帧是否有有效图像尺寸改变的信息设置，如果没有则直接进入到下一步；如果有则为当前帧更新有效图像尺寸，然后进入到下一步；

配置文件中的帧级高宽设置方法如下：

先以固定Qp场景自适应加IDR帧配置转码，转完后计算两个IDR帧之间的所有帧平均压缩像素压缩比bpp和给定码率的平均像素压缩比bitrate_bpp；

如果bitrate_bpp≥bpp，采用原来的高宽；

如果bpp>bitrate_bpp≥0.5*bpp，有效图像的高不变，宽采用新宽：

如果bitrate_bpp<0.5*bpp，有效图像的高宽都需要采用新高宽，新宽：

new_width = (old_width/2+15)/16*16

新高：

。

（12）判断有效图像尺寸和编码图像尺寸是否相等，如果相等则直接到编码内核继续进行编码，然后进入到下一步；如果不相等则通过Resize模块将图像帧resize到有效图像尺寸，放置编码图像内存左上角，编码图像内存其它区域填黑色，然后将编码图像内存送给编码内核，编码内核将这帧编成IDR帧，以IDR帧型编码，然后进入到下一步；

（13）判断当前帧的有效图像尺寸是否更新，如果不更新则码流合成器输出编码内核给的码流；如果更新则有效图像尺寸信息按照HEVC中sei的user_data_unregisterd格式打包，码流合成器将编码内核输出码流和有效图像尺寸信息打包成新的视频码率输出。

（2）解码器中：视频流解析器分析当前帧是否带有有效图像尺寸信息，解码内核负责解码，Resize模块根据有效图像尺寸和视频编码图像尺寸来决定是否resize，如图3所示；

如图4所示，解码的具体步骤如下：

（21）一帧解码开始，视频流解析器解析码流，查看视频帧是否带有有效图像尺寸信息，如果有，更新有效图像尺寸信息，进入到解码内核；如果没有，则直接进入到解码内核；

（22）解码内核进行解码操作；

（23）判断有效图像尺寸和编码图像尺寸是否一致，如果不一致，通过Resize模块将有效图像尺寸的图像resize到编码图像尺寸，再输出视频图像；如果一致，则直接输出视频图像。

这里需要说明的是：有效图像尺寸是指实际图像尺寸，编码图像尺寸是指实际图像尺寸加上填黑色的其它区域尺寸。在步骤（11）中，配置文件中的帧级高宽设置公式里面，除以16的部分是整除、小数部分去除的意思，所以后面必须乘以16。

编码器在视频中复杂段将改变有效图像尺寸、无效区域填黑，从而不改变编码图像尺寸，这样既保证观看效果，且适用于任何编解码器内核，对于编码器和解码器内核也没有任何影响，保证了其稳定性。这个编解码器还可用于其它想改变有效图像尺寸的场合，比方说网络实时转码或实时通讯场合。

Claims (3)

1.一种可变有效图像尺寸的编码及解码方法，其特征是，具体包括如下步骤：

（1）编码器中：分析文件每帧的复杂度，将文件按复杂度来切段，评估每段适合的有效图像尺寸，并写入配置文件中，Resize模块根据配置文件中的帧级高宽设置决定图像是否resize，编码内核负责编码，码流合成器将编码内核出来的视频流和图像有效区域的信息打包成最终视频流输出；编码的具体步骤如下：

（11）一帧编码开始，读取配置文件，根据配置文件中的帧级高宽设置判断当前帧是否有有效图像尺寸改变的信息设置，如果没有则直接进入到下一步；如果有则为当前帧更新有效图像尺寸，然后进入到下一步；

（12）判断有效图像尺寸和编码图像尺寸是否相等，如果相等则直接到编码内核继续进行编码，然后进入到下一步；如果不相等则通过Resize模块将图像帧resize到有效图像尺寸，放置编码图像尺寸左上角，编码图像尺寸其它区域填黑色，然后将编码图像尺寸送给编码内核，编码内核将这帧编成IDR帧，以IDR帧型编码，然后进入到下一步；

（13）判断当前帧的有效图像尺寸是否更新，如果不更新则码流合成器输出编码内核给的码流；如果更新则有效图像尺寸信息按照HEVC中sei的user_data_unregisterd格式打包，码流合成器将编码内核输出码流和有效图像尺寸信息打包成新的视频码率输出；

（2）解码器中：视频流解析器分析当前帧是否带有有效图像尺寸信息，解码内核负责解码，Resize模块根据有效图像尺寸和视频编码图像尺寸来决定是否resize。

2.根据权利要求1所述的一种可变有效图像尺寸的编码及解码方法，其特征是，在步骤（11）中，配置文件中的帧级高宽设置方法如下：

先以固定Qp场景自适应加IDR帧配置转码，转完后计算两个IDR帧之间的所有帧平均压缩像素压缩比bpp和给定码率的平均像素压缩比bitrate_bpp；

如果bitrate_bpp≥bpp，采用原来的高宽；

如果bpp>bitrate_bpp≥0.5*bpp，有效图像的高不变，宽采用新宽：

如果bitrate_bpp<0.5*bpp，有效图像的高宽都需要采用新高宽，新宽：

new_width = (old_width/2+15)/16*16

新高：

。

3.根据权利要求1所述的一种可变有效图像尺寸的编码及解码方法，其特征是，在步骤（2）中，解码的具体步骤如下：

（21）一帧解码开始，视频流解析器解析码流，查看视频帧是否带有有效图像尺寸信息，如果有，更新有效图像尺寸信息，进入到解码内核；如果没有，则直接进入到解码内核；

（22）解码内核进行解码操作；

（23）判断有效图像尺寸和编码图像尺寸是否一致，如果不一致，通过Resize模块将有效图像尺寸的图像resize到编码图像尺寸，再输出视频图像；如果一致，则直接输出视频图像。

Images