CN101969559A - 视频码流的转换压缩方法与*** - Google Patents

Abstract

本发明公开了一种视频码流的转换压缩方法与***。其中，该方法包括：视频解码，对输入码流进行解码，生成解码图像；在解码图像中选取训练集生成场景图像；基于所述场景图像，对所述解码图像进行再编码。本方法利用了监控视频固有的全局场景图像特性对视频码流转换压缩，解决了在同等转换压缩码率下，传统全解全编方法转换压缩质量较差的问题。此外，本方法不使用面向对象的方法，不进行前/背景的分割，仍然保持以块或宏块为单位进行转换压缩，解决了传统面向对象方法复杂度过大以及难以进行客观质量评价的问题。

Description

视频码流的转换压缩方法与***

技术领域

本发明涉及数字媒体处理技术领域中的视频码流转换压缩技术，尤其涉及基于场景建模的视频码流的转换压缩方法与***。

背景技术

随着视频会议、视频监控等应用的不断发展，长时间(几周甚至几个月)拍摄的视频码流的过高存储代价成为一个急需解决的问题，而对视频码流进行转换压缩就是可以解决这个问题的一个重要方法。

目前用于解决长期拍摄的视频存储问题的转换压缩技术主要采用面向对象的方法。例如，面向对象的长期拍摄的监控视频转换压缩方法往往将待转换压缩视频划分为前景对象和背景区域，然后按照不同条件进行转换压缩，以实现更大的压缩效率。例如，对背景区域只通过传输一帧背景图像码流来完成，或对划分出来的背景区域进行低质量的编码。该方法依赖于前背景分割技术，但这种前背景划分几乎不可能做到完全准确，低质量转换压缩的背景区域很可能是需要被高质量转换压缩的，因而忽略背景区域的转换压缩质量是不符合一些监控视频应用对转换压缩质量的需求。如上问题导致面向对象方法在客观质量评价时整体PSNR(峰值信噪比)较低，不能满足多数监控视频应用对客观转换压缩质量的要求(如司法证据与侦查线索)，因而急需一种不依赖于前背景分割的转换压缩方法。常见的不依赖于前背景分割的方法即是完全解码后再在保证码率降低的编码参数(如量化参数)下完全编码(称为传统全解全编方法)，但是，这种方法会导致编码质量损失过大。

发明内容

本发明的目的在于提供一种视频码流的转换压缩方法与***。

本发明一种视频码流的转换压缩方法，包括：解码步骤，视频解码，对输入码流进行解码，生成解码图像；场景建模步骤，在解码图像中选取训练集生成场景图像；再编码步骤，基于所述场景图像，对所述解码图像进行再编码。

上述转换压缩方法，优选所述解码步骤中，所述解码为对输入码流进行全部解码；和/或对输入码流进行独立的部分解码。

上述转换压缩方法，优选转换压缩方法，所述场景建模步骤中，选取所述解码图像的任意子集，采用平均值算法、中值算法或背景建模算法生成一帧或多帧场景图像。

上述转换压缩方法，优选所述再编码步骤中，所述对解码图像进行再编码具体包括：将所述场景图像编入码流，并标志该场景图像在播放时不输出；参考所述场景图像，对所述解码图像进行像素或亚像素精度的全局运动估计，得到全局运动矢量；基于所述场景图像和所述全局运动矢量，选择性地使用原始模式、差分模式对每一个解码图像决进行再编码。

上述转换压缩方法，优选所述再编码步骤中，所述对解码图像进行再编码具体还包括：对所述场景图像进行编码压缩，生成场景图像码流；对所述场景图像码流进行解码重构，以获取重构的场景图像；对解码图像和所述重构的背景图像进行差分，计算差分结果，依据所述差分结果获取差分图像；对所述差分图像进行编码压缩。

上述转换压缩方法，优选所述再编码步骤中，所述对解码图像进行再编码具体包括：将所述场景图像编入码流并作为后续图像的长期参考帧或者背景帧，然后编码其他解码图像，其中在码流中标明所述场景图像在解码时不显示输出。

本发明还提供了一种视频码流的转换压缩***，包括：解码模块，用于对输入码流进行解码，生成解码图像；场景建模模块，用于在解码图像中选取训练集生成场景图像；再编码模块，用于基于所述场景图像，对所述解码图像进行再编码。

上述转换压缩***，优选所述解码模块中，所述解码为对输入码流进行全部解码；和/或对输入码流进行独立的部分解码。

上述转换压缩***，优选所述场景建模模块中，选取所述解码图像的任意子集，采用平均值算法、中值算法或背景建模算法生成一帧或多帧场景图像。

上述转换压缩***，优选所述对解码图像进行再编码具体也包括：用于将所述场景图像编入码流，并标志该场景图像在播放时不输出的单元；用于参考所述场景图像，对所述解码图像进行像素或亚像素精度的全局运动估计，得到全局运动矢量的单元；用于基于所述场景图像和所述全局运动矢量，选择性地使用原始模式、差分模式对每一个解码图像块进行再编码的单元。

上述转换压缩***，优选所述对解码图像进行再编码具体也包括：用于对所述场景图像进行编码压缩，生成场景图像码流的单元；用于对所述场景图像码流进行解码重构，以获取重构的场景图像的单元；用于对解码图像和所述重构的背景图像进行差分，计算差分结果，依据所述差分结果获取差分图像的单元；用于对所述差分图像进行编码压缩单元。

上述转换压缩***，优选所述再编码模块中，所述对解码图像进行再编码具体也包括：用于将所述场景图像编入码流并作为后续图像的长期参考帧或者背景帧，然后编码其他解码图像的单元，其中在码流中标明所述场景图像在解码时不显示输出。

相对于现有技术而言，本发明具有如下优势：

第一，利用了监控视频固有的全局场景图像特性对视频码流转换压缩，解决了在同等转换压缩码率下，传统全解全编方法转换压缩质量较差的问题。此外，本方法不使用面向对象的方法，不进行前/背景的分割，仍然保持以块或宏块为单位进行转换压缩，解决了传统面向对象方法复杂度过大以及难以进行客观质量评价的问题。

第二，不使用面向对象的方法，仍然保持以块或宏块为单位进行转换压缩，解决了传统面向对象方法复杂度过大的问题。

第三，不进行前/背景的分割，不主观上侧重对特定区域的转换压缩，解决了传统面向对象方法难以进行客观质量评价的问题。

附图说明

图1A是本发明视频码流的转换压缩方法实施实例的步骤流程图；

图1B是本发明视频码流的转换压缩***实施实例的结构框图；

图2是本发明视频码流的转换压缩方法原理的结构框架图；

图3是可以用于实施本发明的一种背景建模原理框图；

图4是基于背景建模的差分模式选择方法原理框图；

图5是基于背景建模的差分模式选择方法中差分模式下的工作原理框图；

图6是基于背景建模的静态摄像机视频编码方法的工作原理框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明中，利用视频序列中存在的一定时间内场景固定的特点，在转换压缩时对解码视频中相对固定的场景，采用了一种背景建模的方法，进而生成场景图像加以描述。最后使用场景图像对解码图像进行再编码

参照图1A，图1A是本发明所述视频码流转换压缩方法的具体实施实例的步骤流程图，包括如下步骤：

视频解码步骤S1：对输入码流进行解码，它还可以独立解码一部分视频图像，包括但不限于一部分I帧图像或者某一个或多个图像组。

场景建模步骤S2：对解码图像的一个子集使用场景建模算法建立场景图像。具体的建模算法包含但不限于取输入解码图像的平均值，取输入图像的中值，以及如图2所示的基于分段权重的平均值算法。

视频再编码步骤S3：为每一帧待转换压缩的解码图像指定一帧或多帧场景图像，然后使用编码重建的场景图像对解码图像进行再编码。所指定的场景图像可以是使用整个视频解码图像的任意子集生成的。

另一方面，本发明还提供了一种视频码流转换压缩***的实施实例。参照图1B，包括：解码模块20，用于对输入码流进行解码，生成解码图像；场景建模模块22，用于在解码图像中选取训练集生成场景图像；再编码模块24，用于基于所述场景图像，对所述解码图像进行再编码。

由于采取以上技术方法，本发明与面向对象以及基于前景/背景分割的视频转换压缩方法的区别在于：第一，不进行对象或前景/背景的分割；第二，以块或宏块为单位进行转换压缩；第三，不主观上侧重对特定区域的转换压缩。

参照图2，本发明可以在如图2所示的转换压缩框架下完成。

如图2所示，实施本发明的视频码流转换压缩方法在包括接受输入码流的视频解码模块、接受所述解码图像缓存输出的场景建模模块、接受所述场景建模输出的场景图像以及视频解码模块输出的解码图像的视频再编码模块

下面本发明对图2所述的基于场景模型的视频压缩方法及所涉及的各操作的功能作用和实施方法进行详细的描述：

一、视频解码模块

对输入视频码流进行转换压缩过程中，首先要使用视频解码器对输入码流进行解码，该解码的对象包括全部解码图像，另外也可以独立解码一部分图像，如一部分I帧图像或者某一个或多个图像组，输出传递给场景建模模块和视频再编码模块。在本发明的具体实施过程中，我们在视频解码器中可以使用两个并行执行的解码器，此时，一个负责解码全部视频并直接输出给解码图像缓存单元，另一个解码器负责解码当前码流中的一个指定的子集(如I帧)，并作为训练图像集输出给场景图像建模单元；我们在视频解码器中也可以仅仅使用一个解码器，再选择性的将场景建模所需要的解码图像输出。

二、场景建模模块

对输入的解码图像序列，选取一个训练图像集，建模生成一帧场景图像传递给视频再编码模块。场景图像可以是使用整个视频解码图像的任意子集训练而成。即用于生成背景图像的解码图像可以是当前待编码的解码图像之前、之后的任意图像。以亮度分量为例，所用建模方法包含但不局限于平均值算法，中值算法，以及如图3所示的背景建模算法，该算法的主要思想是，对于每一个像素点，在训练集内找到它的像素集合，然后开始遍历。对于每一个像素值，根据这个像素集合内当前像素值与下一个相邻像素值之间的差，利用当前时刻生成的动态阈值，如果差的绝对值大于阈值，则判定当前数据段结束，开始下一个数据段。于是，就将整个当前像素位置的像素集合划分为若干数据段，每一段的权重为该段数据集合的大小。图3中总平均值、每个新建数据段的平均值和权重均初始化为0，阈值初始化为训练集内前两帧数据的差平方的像素级平均值。当前数据段号为i时，设任意数据段j的权重为W_j(正整数)，像素和为Sum_j(正整数)，数据段j内所有相邻像素的差平方和为T_j(正整数)，则当前总平均值AVG_i(正有理数)、当前阈值Th_j(正有理数)计算如公式(1)、(2)：

${\mathrm{AVG}}_i=\underset{j=1}{\overset{i}{\mathrm{\Σ}}}({\mathrm{Sum}}_j\×W_j)/\underset{j=1}{\overset{i}{\mathrm{\Σ}}}\left({W_j}^2\right)---\left(1\right)$

${\mathrm{Th}}_i=\underset{j=1}{\overset{i}{\mathrm{\Σ}}}(T_j\×W_j)/\underset{j=1}{\overset{i}{\mathrm{\Σ}}}\left({W_j}^2\right)---\left(2\right)$

该模块每当选择一个新的训练图像集，便重新进行场景建模，生成一帧场景图像，完成场景图像更新。色度分量的建模过程是相同的。

三、视频再编码模块

本发明所述的视频再编码器从解码图像缓存单元读取解码图像，然后为每一帧待转换压缩的解码图像指定一帧或多帧场景图像，然后使用指定的场景图像对该解码图像进行再编码。

使用场景图像编码对应的解码图像的编码方法包括但不限于如下三类方法：1)在现有编码器(包含但不局限于MPEG-1/2/4、H.263、H.264/AVC、VC1、AVS、JPEG、JPEG2000、MJPEG)的基础上，为每个宏块的编码过程引入基于背景模型的可选差分模式的编码方法，引入该模式后的编解码过程如图4所示，其中差分模式下的编码过程如图5所示。该方法包括如下步骤：背景图像编码步骤，将背景图像编入码流并标志为该图像在播放时不输出；全局运动估计步骤，对解码图像参考背景图像进行像素或亚像素精度的全局运动估计，得到全局运动矢量；模式选择步骤，基于所述重构的背景图像和所述全局运动矢量，选择性地使用原始模式、差分模式对每一个解码图像块进行再编码。2)在现有编码器(包含但不局限于MPEG-1/2/4、H.263、H.264/AVC、VC1、AVS、JPEG、JPEG2000、MJPEG)的基础上，为每个宏块的编码过程引入直接编码输入图像与建模生成的背景图像差分结果的方法，该方法的编解码过程如图6所示。该方法包括如下步骤：背景建模步骤，对输入的视频序列，选取一个训练图像集，建模生成背景图像；背景图像编码步骤，采用编码器，对所述背景图像使用I、P、B等传统图像类型进行编码压缩，生成背景图像码流；重构步骤，采用解码器，对所述背景图像码流进行解码重构，以获取重构的背景图像；差分图像计算步骤，对所述输入视频序列中的图像和所述重构的背景图像进行差分，计算差分结果，依据所述差分结果获取差分图像；差分图像编码步骤，对所述差分图像进行编码压缩。3)使用现有编码器(包含但不局限于MPEG-1/2/4、H.263、H.264/AVC、VC1、AVS、JPEG、JPEG2000、MJPEG)的现有技术，将背景图像编入码流并作为后续图像的长期参考帧或者背景帧，然后编码其他解码图像，其中在码流中标明背景图像在解码时不显示输出。

对于第三类编码器，以H.264/AVC为例：使用H.264/AVC编码器将背景图像编码为I帧，让后使用其重建图像作为后续图像长期参考帧，其中在码流中标明背景图像在解码时不显示输出。此时生成的码流可以直接被H.264/AVC解码器解码。再以AVS为例，使用AVS编码器将背景图像编码为G帧，在码流中标明该G帧在解码时不显示输出。此时生成的码流可以直接被AVS解码器解码。

下面举一个实例来说明本发明一种视频码流的转换压缩***可能的实现方式。设定输入视频为YUV4:2:0格式，设定视频段长度为1000帧图像。视频解码器中采用两路并行执行的解码器，一路直接解码图像，另一路仅仅解码其中的I帧图像输出给背景图像建模单元。背景图像建模单元采用如图2所示的建模方法，而解码图像缓存一个视频段，于是整个***只有一个视频段的时间延迟(40s)。在转换压缩解码图像时，采用如图3所示的基于AVS的编码器在Shenzhan profile下进行再编码，背景图像的量化QP为0。针对上述实现，进行了如下性能测试：在8个3000帧标清(720×576)或CIF(352×288)的室内/室外场景的静止摄像机序列上，与传统的全解全编为H.264/AVC的编码方法相比较，本发明的转换压缩方法与***在使用H.264/AVC编码器作为内置编码器后，在1Mbps的标清视频码流上，在转换压缩为500kbps时具有0.92～1.53dB的性能增益；在转换压缩400kbps的标清视频码流上，在转换压缩为200kbps时具有0.92～1.53dB的性能增益。

以上对本发明所提供的一种视频码流的转换压缩方法与***进行详细介绍，本文中应用了具体实施实例对本发明的原理及实施方式进行了阐述，以上实施实例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种视频码流的转换压缩方法，其特征在于，包括：

解码步骤，视频解码，对输入码流进行解码，生成解码图像；

场景建模步骤，在解码图像中选取训练集生成场景图像；

再编码步骤，基于所述场景图像，对所述解码图像进行再编码。

2.根据权利要求1所述的转换压缩方法，其特征在于，

所述解码步骤中，所述解码为对输入码流进行全部解码；和/或

对输入码流进行独立的部分解码。

3.根据权利要求1所述的转换压缩方法，其特征在于，

所述场景建模步骤中，选取所述解码图像的任意子集，采用平均值算法、中值算法或背景建模算法生成一帧或多帧场景图像。

4.根据权利要求1所述的转换压缩方法，其特征在于，所述再编码步骤中，所述对解码图像进行再编码具体包括：

将所述场景图像编入码流，并标志该场景图像在播放时不输出；

参考所述场景图像，对所述解码图像进行像素或亚像素精度的全局运动估计，得到全局运动矢量；

基于所述场景图像和所述全局运动矢量，选择性地使用原始模式、差分模式对每一个解码图像块进行再编码。

5.根据权利要求1所述的转换压缩方法，其特征在于，所述再编码步骤中，所述对解码图像进行再编码具体还包括：

对所述场景图像进行编码压缩，生成场景图像码流；

对所述场景图像码流进行解码重构，以获取重构的场景图像；

对解码图像和所述重构的背景图像进行差分，计算差分结果，依据所述差分结果获取差分图像；

对所述差分图像进行编码压缩。

6.根据权利要求1所述的转换压缩方法，其特征在于，所述再编码步骤中，所述对解码图像进行再编码具体包括：

将所述场景图像编入码流并作为后续图像的长期参考帧或者背景帧，然后编码其他解码图像，其中在码流中标明所述场景图像在解码时不显示输出。

7.一种视频码流的转换压缩***，其特征在于，包括：

解码模块，用于对输入码流进行解码，生成解码图像；

场景建模模块，用于在解码图像中选取训练集生成场景图像；

再编码模块，用于基于所述场景图像，对所述解码图像进行再编码。

8.根据权利要求7所述的转换压缩***，其特征在于，

所述解码模块中，所述解码为对输入码流进行全部解码；和/或

对输入码流进行独立的部分解码。

9.根据权利要求7所述的转换压缩***，其特征在于，

所述场景建模模块中，选取所述解码图像的任意子集，采用平均值算法、中值算法或背景建模算法生成一帧或多帧场景图像。

10.根据权利要求7所述的转换压缩***，其特征还在于，所述对解码图像进行再编码具体也包括：

用于将所述场景图像编入码流，并标志该场景图像在播放时不输出的单元；

用于参考所述场景图像，对所述解码图像进行像素或亚像素精度的全局运动估计，得到全局运动矢量的单元；

用于基于所述场景图像和所述全局运动矢量，选择性地使用原始模式、差分模式对每一个解码图像块进行再编码的单元。

11.根据权利要求7所述的转换压缩***，其特征还在于，所述对解码图像进行再编码具体也包括：

用于对所述场景图像进行编码压缩，生成场景图像码流的单元；

用于对所述场景图像码流进行解码重构，以获取重构的场景图像的单元；

用于对解码图像和所述重构的背景图像进行差分，计算差分结果，依据所述差分结果获取差分图像的单元；

用于对所述差分图像进行编码压缩单元。

12.根据权利要求7所述的转换压缩***，其特征在于，所述再编码模块中，所述对解码图像进行再编码具体也包括：

用于将所述场景图像编入码流并作为后续图像的长期参考帧或者背景帧，然后编码其他解码图像的单元，其中在码流中标明所述场景图像在解码时不显示输出。

Images