CN104135662B - 用于在有限带宽和发射速率条件下对视频文件的改进型h.264压缩编码方法 - Google Patents

Abstract

用于在有限带宽和发射速率条件下对视频文件的改进型H.264压缩编码方法，涉及数字图像处理领域，是为了解决现有的无线移动通信网络的视频下载传输方法适应网络资源受限，以及为了适应高速、高画质的传输的需求。其方法：初始阶段，对每一帧的图像进行预压缩，通过复数小波变换提取图像在不同方向的特征，同时减少信息的冗余；帧间预测阶段，根据经过小波变化得到的方向性特征，判断帧间图像之间的空间相关性，降低运动向量计算的复杂度和维度，得到P帧和B帧；帧内预测阶段，剔除掉细节特征，只对整体特征进行预测和整数余弦变换，得到I帧。本发明适用于在有限带宽和发射速率条件下对视频文件的改进型H.264压缩编码。

Description

用于在有限带宽和发射速率条件下对视频文件的改进型 H.264压缩编码方法

技术领域

本发明涉及数字图像处理领域，具体涉及H.264压缩编码技术。

背景技术

视频编码的目的是为了实现视频的压缩。根据香农信息论的观点，用信息熵来表征数据的信息，其余信息均为冗余。大量碎片式的冗余依然存在于视频信息中，因此，去除冗余也成为了视频编码技术中的核心内容，以便达到压缩的目的，视频编码技术主要针对的冗余有以下几类：

(1)、帧与帧之间的时间冗余。人的视觉是有一个短暂的停留效应，闪过的景象不会立即消失，故如果画面闪现频率高于人类的这个值，人眼就不会感到帧与帧之间的停顿，一般视频会采用25帧/秒以上的帧采样率。所以，两个连续帧之间的时间间隔将小于1/25＝0.04秒，于是当视频中运动物体的速度不致过快时，相邻两帧之间的相关度就会非常高，形成冗余。

(2)、每一帧内部的空间冗余。一副图像就是一帧，空间冗余也存在于视频帧中。

(3)、普遍存在的统计冗余。我们日常生活中的信号，在其对应信号空间中的取值有序性的规律的概率是很小的，而通常会在一个或几个特殊点取到极大值或极小值。所以，可以通过为概率较大的取值点分配较短码字，为概率较小的分配较长码字，这样来提高压缩效率。

(4)、基于人眼的视觉冗余。***极广，内容丰富多彩，想要其中所有的信息都被人眼接收这是几乎不可能办到的事情。因此，可以针对人眼感知的盲区，将其适当精简，来消去视觉冗余。

综上所述，视频压缩编码技术应该具有如下特征：

1)、算法简单：视频图像的分辨率高，帧速率快，因此，处理的数据量极大，为了使得算法的处理时间减少，需要降低其复杂度；

2)、实用性强：应能够广泛支持目前大多数的应用场景，如需要高分辨率的数字电视等；

3)、多维度处理：利用图像在时间、空间和频率空间的冗余性对图像进行压缩。

现有的方案及其优缺点：数字视频编解码行业如雨后春笋般迅猛成长，考虑到兼容性的和互通性的问题，不同的视频编解码厂家都做出了巨大贡献。视频编解码技术的标准化问题显得日益重要，各大国际组织在数字视频编解码标准化方面展开了许多工作并制定了一系列视频编解码标准。

MPEG-X系列标准时MPEG组织从1990年开始定义完成的视频压缩算法，采用了块方式的运动补偿、离散余弦变换(DCT)、量化等技术。速率从MPEG-1的1.5Mbps，MPEG-2的3～100Mbit/s的动态码率。1999年MPEG-4被推出，旨在为国际互联网络或移动通信设备上实时传输音、视频信号而制定的MPEG标准，将众多多媒体应用集成于一个完整框架内，为多媒体通信及应用环境提供标准算法和工具，从而建立起一种能被多媒体传输、存储、检索等应用领域普遍采用的统一数据格式。

MPEG-4采用基于对象方式压缩，较之前标准压缩比极大提高，压缩倍数为450倍(静态图像可达到800倍)，分辨率输入可从320X240到1280X1204，这是同质量的MPEG-1和MJEPG的10倍多。

H.26X系列标准是由ITU-T提出的另一种视频编码方式，目前应用最成熟的就是H.264。H.264是ITU-T的VCEG(视频编码专家组)和ISO/IEC的MPEG(活动图像编码专家组)的联合视频组(JVT：joint video team)开发的一个新的数字视频编码标准，它既是ITU-T的H.264，又是ISO/IEC的MPEG-4的第10部分，于2003年3月正式发布。H.264加强了对各种信道的适应能力，采用网络友好的结构和语法，有利于对误码率和丢包的处理，在相同的重建图像质量下，能够比H.263节约一半左右的码率。H.264的码流结构的网络适应性强，增加了差错恢复能力，能够很好地适应IP和无线网络。

但是，任何一种视频编解码标准在追求更高的压缩比和分别率的同时，其算法的复杂度对实时应用产生了制约，很难满足在无线信道环境下，对信道获取和占用时间、随机接入时延的要求。同时，无线信道的传输要求码流本身具有很强的错误恢复能力。无线通信要求视频的压缩编码支持自适应参数设置，可以在信道容量或者功率受限的情况下，通过牺牲部分画质，而不带来明显的用户体验的降低。

发明内容

本发明是为了解决现有的无线移动通信网络的视频下载传输方法适应网络资源受限，以及为了适应高速、高画质的传输的需求，从而提供一种用于在有限带宽和发射速率条件下对视频文件的改进型H.264压缩编码方法。

用于在有限带宽和发射速率条件下对视频文件的改进型H.264压缩编码方法，在频宽受限的无线信道环境下，对于每一帧图像的视频的压缩编码，均包括以下步骤：

步骤一、初始化：判断当前帧图像是否为起始帧，即：判断当前帧图像是否为视频流的第一帧或者编码流的第一帧，如果判断结果为是，则执行步骤一一；若判断结果为否，则执行步骤一二；

步骤一一、对当前帧图像进行复数小波变化，得到当前帧的水平、垂直和45°角方向信息，并执行步骤四；

步骤一二、对当前帧图像进行复数小波变化，得到当前帧水平、垂直和45°角方向信息，执行步骤二；

步骤二、预测方式选择：根据当前帧图像和参考帧图像的方向特征相关性，判断采用的预测方式，若采用的是帧间预测方式，则执行步骤三；若采用的是帧内预测方式，则执行步骤四；所述参考帧图像是将前一帧图像通过去块效应滤波器，重建原始图像和各方向的特征信息后获得的图像；

步骤三、在水平、垂直方向上分别对当前帧进行偏移相关性操作，并根据峰值判断当前帧图像相对于参考帧图像的运动主方向，计算运动向量，并执行步骤四；

步骤四、若当前帧图像采用的是帧间预测，则执行步骤四一；若当前帧图像采用的是帧内预测，执行步骤四二；

步骤四一、根据运动向量和参考帧图像，将小波变换后的主成分图像压缩为残差信号，去掉细节特征，即：去掉对角方向的信息，并执行步骤五；

步骤四二、对主成分图像执行H.264的帧内预测模式选择，同时去掉细节特征，即：去掉对角方向的信息，执行步骤五；

步骤五、对预测之后的当前帧图像做整数余弦变换和量化，执行步骤六；

步骤六、判断当前帧图像是否为视频流或者编码流的最后一帧，如果判断判断结果为否，则执行步骤六一；如果判断结果为是，则执行六二；

步骤六一、对当前帧图像进行逆量化和逆变换，同时对当前帧图像进行熵编码，并在不同的传输协议下打包发送，完成当前帧图像的压缩编码；

步骤六二、直接进行熵编码，打包发送，完成当前帧图像的压缩编码。

它还包括：步骤七、在完成步骤六一后，通过去块效应滤波器，重建原始图像和各方向的特征信息，作为下一帧的参考帧。

步骤二中的预测方式选择过程具体为：

在水平和垂直方向分别进行分段的相关性操作，在水平方向的操作具体为：

步骤二一、根据水平方向特征图像的分辨率，将水平方向特征图像在水平方向上进行N等分，并执行步骤二二；N为正整数；

步骤二二、在第n等分区间的子图像上进行n-1单位的偏移，与参考帧的对应区间的图像进行相关性操作，计算互相关值，获得N个互相关值；

步骤二三、将获得的N个互相关值做归一化操作，判断是否有50％以上的互相关值大于0.5，如果判断结果为是，则执行步骤二四；如果判断结果为否，则执行步骤二五；

步骤二四、确定执行帧间预测，计算初始水平运动偏移量等于N个区间偏移量和互相关值相乘的加权和形式；

步骤二五、确定执行帧内预测。

步骤一一或步骤一二中使用的复数小波变化方法具体为：根据视频图像的画质要求和应用场景，使用不同类型的小波提取方向性图像。

步骤一一或步骤一二中使用的复数小波变化采用Haar或dbN小波实现。

本发明是一种用于在有限带宽和发射速率条件下对视频文件的改进型H.264压缩编码方法，解决了现有无线移动通信网络的视频下载传输方案适应网络资源受限的问题。适应了高速、高画质的传输的需求。

附图说明

图1是本发明使用的H.264视频压缩编码分层结构示意图；

图2是本发明用于在有限带宽和发射速率条件下对视频文件的改进型H.264压缩编码结构示意图；

图3是本发明中使用的CABAC熵编码流程示意图；

图4是本发明中的完整视频传输方案流程示意图；

具体实施方式

具体实施方式一、用于在有限带宽和发射速率条件下对视频文件的改进型H.264压缩编码方法，它由以下步骤实现：

步骤一、初始化：当前帧是否为起始帧，若是视频流的第一帧或者编码流的第一帧，执行步骤一一，若不是，执行步骤一二；

步骤一一、对图像进行复数小波变化，得到水平、垂直和45°角方向信息，执行步骤四；

步骤一二、对图像进行复数小波变化，得到水平、垂直和45°角方向信息，执行步骤二；

步骤二、预测行为选择：根据当前帧和参考帧的方向特征相关性，判断采用的预测方式，若是选择帧间预测，执行步骤三，若是选择帧内预测，执行步骤四；

步骤二一、根据水平方向特征图像的分辨率，在水平方向上进行N等分，执行步骤二二；

步骤二二、在第n等分区间的子图像上进行n-1单位的偏移，与参考图像的对应区间的图像进行相关性操作，计算互相关值；

步骤二三、得到N个互相关值，做归一化操作，如果有50％以上的互相关值大于0.5，执行步骤二四，如果没有，则执行步骤二五；

步骤二四、确定执行帧间预测，计算初始水平运动偏移量等于N个区间偏移量和互相关值相乘的加权和形式；

步骤二五、确定执行帧内预测；

步骤三、在水平、垂直方向上分别进行偏移相关性操作，根据峰值判断当前帧相当于参考帧的运动主方向，计算运动向量，执行步骤四；

步骤四、若是当前帧采用的是帧间预测，执行步骤四一，若是采用帧内预测，执行步骤四二；

步骤四一、根据运动向量和参考帧，将小波变换后的主成分图像压缩为残差信号，去掉细节特征，即对角方向的信息，执行步骤五；

步骤四二、对主成分图像执行H.264的帧内预测模式选择过程，同时去掉细节特征，执行步骤五；

步骤五、对预测之后的当前帧做整数余弦变换和量化，执行步骤六；

步骤六、若当前帧不是视频流或者编码流的最后一帧，执行六一、若是执行六二；

步骤六一、对当前帧进行逆量化和逆变换的过程，同时对其进行熵编码，根据不同的传输协议打包发送，执行步骤七；

步骤六二、直接进行熵编码，打包发送，完成视频的压缩编码工作。

步骤七、通过去块效应滤波器，重建原始图像和各方向的特征信息，作为下一帧的参考帧使用。

本发明在初始阶段，对每一帧的图像进行预压缩，通过复数小波变换提取图像在不同方向的特征，同时减少信息的冗余；帧间预测阶段，根据经过小波变化得到的方向性特征，判断帧间图像之间的空间相关性，降低运动向量计算的复杂度和维度，得到P帧和B帧；帧内预测阶段，剔除掉细节特征，只对整体特征进行预测和整数余弦变换，得到I帧。

本发明的压缩编码方法复杂度得以大幅度降低，传输速度得以大幅度提高。且允许根据不同的传输要求进行传输，解决了现有无线移动通信网络的视频下载传输方案适应网络资源受限的问题。

Claims (5)

1.用于在有限带宽和发射速率条件下对视频文件的改进型H.264压缩编码方法，其特征是：在频宽受限的无线信道环境下，对于每一帧图像的视频的压缩编码，均包括以下步骤：

步骤一、初始化：判断当前帧图像是否为起始帧，即：判断当前帧是否为视频流的第一帧或者编码流的第一帧，如果判断结果为是，则执行步骤一一；若判断结果为否，则执行步骤一二；

步骤一一、对当前帧图像进行复数小波变化，得到当前帧图像的水平、垂直和45°角方向信息，并执行步骤四；

步骤一二、对当前帧图像进行复数小波变化，得到当前帧图像的水平、垂直和45°角方向信息，执行步骤二；

步骤二、预测方式选择：根据当前帧图像和参考帧图像的方向特征相关性，判断采用的预测方式，若采用的是帧间预测方式，则执行步骤三；若采用的是帧内预测方式，则执行步骤四；所述参考帧图像是将前一帧图像通过去块效应滤波器，重建原始图像和各方向的特征信息后获得的图像；

步骤三、在水平、垂直方向上分别对当前帧图像进行偏移相关性操作，并根据峰值判断当前帧图像相对于参考帧图像的运动主方向，计算运动向量，并执行步骤四；

步骤四、若当前帧图像采用的是帧间预测，则执行步骤四一；若当前帧图像采用的是帧内预测，执行步骤四二；

步骤四一、根据运动向量和参考帧图像，将小波变换后的主成分图像压缩为残差信号，去掉细节特征，即：去掉对角方向的信息，并执行步骤五；

步骤四二、对主成分图像执行H.264的帧内预测模式选择，同时去掉细节特征，即：去掉对角方向的信息，执行步骤五；

步骤五、对预测之后的当前帧做整数余弦变换和量化，执行步骤六；

步骤六、判断当前帧图像是否为视频流或者编码流的最后一帧，如果判断结果为否，则执行步骤六一；如果判断结果为是，则执行六二；

步骤六一、对当前帧图像进行逆量化和逆变换，同时对当前帧图像进行熵编码，并在不同的传输协议下打包发送，完成当前帧图像的压缩编码；

步骤六二、直接进行熵编码，打包发送，完成当前帧图像的压缩编码。

2.根据权利要求1所述的用于在有限带宽和发射速率条件下对视频文件的改进型H.264压缩编码方法，其特征在于它还包括：

步骤七、在完成步骤六一后，通过去块效应滤波器，重建原始图像和各方向的特征信息，作为下一帧的参考帧。

3.根据权利要求1所述的用于在有限带宽和发射速率条件下对视频文件的改进型H.264压缩编码方法，其特征在于步骤二中的预测方式选择过程具体为：

在水平方向进行分段的相关性操作，在水平方向的操作具体为：

步骤二一、根据水平方向特征图像的分辨率，将水平方向特征图像在水平方向上进行N等分，并执行步骤二二；N为正整数；

步骤二二、在第n等分区间的子图像上进行n-1单位的偏移，与参考帧的对应区间的图像进行相关性操作，计算互相关值，获得N个互相关值；

步骤二三、将获得的N个互相关值做归一化操作，判断是否有50％以上的互相关值大于0.5，如果判断结果为是，则执行步骤二四；如果判断结果为否，则执行步骤二五；

步骤二四、确定执行帧间预测，计算初始水平运动偏移量等于N个区间偏移量和互相关值相乘的加权和形式；

步骤二五、确定执行帧内预测。

4.根据权利要求1所述的用于在有限带宽和发射速率条件下对视频文件的改进型H.264压缩编码方法，其特征在于步骤一一或步骤一二中使用的复数小波变化方法具体为：根据视频图像的画质要求和应用场景，使用不同类型的小波提取方向性图像。

5.根据权利要求1所述的用于在有限带宽和发射速率条件下对视频文件的改进型H.264压缩编码方法，其特征在于步骤一一或步骤一二中使用的复数小波变化采用Haar或dbN小波实现。