CN101848393B - 可伸缩视频稀疏信息处理*** - Google Patents

Abstract

一种信息处理技术领域的可伸缩视频稀疏信息处理***，包括：时域分解模块、双多分辨率几何分解模块、熵编码模块、比特流多路复用器模块和率失真优化控制模块，其中：时域分解模块和双多分辨率几何分解模块相连传输时域高频和时域低频视频帧信息，双多分辨率几何分解模块和熵编码模块相连传输双多分辨率几何变换后的分解系数信息，熵编码模块和比特流多路复用器模块相连传输配置的多层比特流信息，率失真优化控制模块与时域分解模块相连传输运动估计控制信息，率失真优化控制模块与熵编码模块相连传输编码控制信息。本发明兼容性强，压缩率大，编码效率高，码字开销小，可以获得更佳的视觉效果，具有广泛的应用性。

Description

可伸缩视频稀疏信息处理***

技术领域

本发明涉及的是一种信息处理技术领域的***，具体是一种可伸缩视频稀疏信息处理***。

背景技术

在网络视频信息处理和传输中，由于网络架构和终端的异构性，不同类型的网络具有不同的信道特性，这些因素使得不同的用户或者同一用户在不同时刻得到的带宽不尽相同。为了使视频比特流能够适应不同的网络信道环境，人们提出了SVC(可伸缩视频信息处理)技术，即“一次编码，按需截取”的嵌入式视频信息技术，解码器按用户所需将不同时空分辨率/码率的码流提供给终端。

现有技术中基于3-D Wavelet(三维小波)方案的WSVC***中，视频帧在通过了时域分解模块后，得到的时域高频帧和时域低频帧输入到后端的二维小波变换模块中进行分解，得到的系数再输入到子带编码模块中进行嵌入式编码。小波变换由于其特有的多分辨率信号空间表达方式以及基于提升算法的快速分解及完美重建方法，使之能够天然地成为可伸缩视频信息处理中时空分级的重要工具；此外，小波变换过后的系数也能使用如EBCOT(优化截断的嵌入式块编码)或ESCOT(优化截断的嵌入式子带编码)等嵌入式编码技术，获得精细的分级效果。

但近些年来，诸多信号分析领域的文献指出，小波变换在一般的二维信号上并不能提供最“稀疏”的信号表示方法。由于二维可分离小波基是通过水平和垂直方向的一维小波基的张量积得到的，因此只能达到“点奇异”函数族的最佳逼近。而在自然图像和视频中存在大量的“线奇异”函数，直接采用二维可分离小波变换会产生大量不可忽略的系数。因此如果要在低码率的情况下实现更高的视频编解码效率，必须采用不可分离的二维基函数来对信号进行稀疏表示。此外，生理学也指出，视觉大脑皮层的接收场具有局域、定向和带通特性，因此新的二维变换的基函数也应该要满足这些特性。

经对现有文献检索发现，M.N.Do和M.Vetterli在2005年第12期的《IEEE Transactionson Image Processing》(《电气和电子工程师协会图像处理汇刊》)的论文“The contourlettransform：an efficient directional multiresolution image representation(轮廓波变换：一种有效的方向多分辨率图像表达方式)”中提出的Contourlet(轮廓波变换)是第一个离散二维不可分方向滤波器组在图像分解和表示中的成功应用。它使用了双滤波器组结构，首先用拉普拉斯金字塔滤波器组将信号分解到多尺度子空间中去，然后在带通子空间中使用DFB(方向滤波器组)将分布于同方向上的奇异点合并为一个系数，最终的效果就是Contourlet的基函数具有随尺度而长宽比变化的“长条形”结构。方向滤波器组的设计始于Bamberger和Smith于1992年第4期的《IEEE Transactions on Signal Processing(电气和电子工程师协会图像处理汇刊)》的论文“Afilter bank for the directional decomposition of images：theory and design”(“用于图像方向分解的滤波器组：理论和设计”)中的开创工作，Do和Vetterli简化了方向滤波器组的设计方法，采用了基于Quincunx Sampling(五株采样)的方法来设计方向滤波器组。但是该类技术的缺点是：由于拉普拉斯金字塔滤波器组具有的冗余性，使得Contourlet不适合直接用于对图像和视频进行压缩的信息处理过程。

又经检索发现，Eslami和Radha在2007年第4期的《IEEE Transactions on ImageProcessing(电气和电子工程师协会图像处理汇刊)》的论文“A New Family of NonredundantTransforms Using Hybrid Wavelets and Directional Filter Banks(基于混合小波和方向滤波器组的一族非冗余变换)”中提出了基于多尺度非冗余小波的Contourlet变换(Wavelet-basedContourlet Transform，以下简称为WBCT)。WBCT与Contourlet的不同之处在于使用了小波变换将信号分解到多尺度子空间，因此消除了冗余性，适合在对图像和视频进行压缩的信息处理过程中使用。然而，这些***存在的缺陷在于，都使用了均匀分解的方向滤波器组，这种滤波器组使用了满二叉树结构。自然图像频谱中的方向特性显然不可能是均匀分布的，而均匀的方向分解可能导致某些频谱分布较为密集的方向的能量泄漏到相邻子带去，因此这种均匀的方向分解显然不是最优的图像分解方式。此外，由于图像的边缘和纹理都位于不同的尺度空间内，并且随着其曲率的变化的快慢，其方向分辨率也在发生着变化，而在既有的多尺度几何分解方法中，方向分辨率往往取决于尺度分辨率。

发明内容

本发明的目的在于克服现有技术中存在的上述不足，提供一种可伸缩视频稀疏信息处理***。本发明提出了一种针对图像和视频的双多分辨率几何分解方式，在同等码率的条件下，能够将信号能量更加集中地聚集在低频子带内，从而实现对信号的稀疏表达，并最终表现为更大的压缩率，且接收端恢复出来的视频帧的质量高。

本发明是通过以下技术方案实现的：

本发明包括：时域分解模块、双多分辨率几何分解模块、熵编码模块、比特流多路复用器模块和率失真优化控制模块，其中：时域分解模块和双多分辨率几何分解模块相连传输时域高频和时域低频视频帧信息，双多分辨率几何分解模块和熵编码模块相连传输双多分辨率几何变换后的分解系数信息，熵编码模块和比特流多路复用器模块相连传输配置的多层比特流信息，率失真优化控制模块与时域分解模块相连传输运动估计控制信息，率失真优化控制模块与熵编码模块相连传输编码控制信息。

所述的时域分解模块对视频帧进行基于运动补偿的时域分解，包括：运动估计子模块、运动补偿时域滤波子模块和模式及运动矢量编码子模块，其中：运动估计子模块输入原始视频帧，运动估计子模块与运动补偿时域滤波子模块相连传输基于宏块的运动矢量信息，运动估计子模块与模式及运动矢量编码子模块相连传输基于宏块的运动矢量信息，运动补偿时域滤波子模块与模式及运动矢量编码子模块相连传输宏块的最优化尺寸信息，运动补偿时域滤波子模块与率失真优化控制模块相连传输运动估计控制信息，运动补偿时域滤波子模块与双多分辨率几何分解模块相连传输时域高频和时域低频视频帧信息。

所述的双多分辨率几何分解模块进行多尺度非均匀方向分解，包括：二维过完备小波分解子模块、相位一致性检测子模块、非均匀方向滤波器组设计子模块、空间分解子模块和分解模式编码子模块，其中：二维过完备小波分解子模块与时域分解模块相连传输时域高频和时域低频视频帧信息，二维过完备小波变换子模块和相位一致性检测子模块相连传输二维过完备小波分解系数，相位一致性检测子模块和非均匀方向滤波器组设计子模块相连传输相位一致性系数，非均匀方向滤波器组设计子模块分别与空间分解子模块和分解模式编码子模块相连传输非均匀二叉树结构的方向滤波器组信息，空间分解子模块和熵编码模块相连传输变换过后的非均匀方向分解系数信息，空间分解子模块与时域分解模块相连传输时域高频和时域低频视频帧信息。

所述的二维过完备小波分解子模块将视频帧分解为四个同样大小但包含不同频带信息的子带，包括：一维行方向分解单元和一维列方向分解单元，其中：一维行方向分解单元与时域分解模块相连传输时域低频和时域高频视频帧信息，一维行方向分解单元与一维列方向分解单元相连传输L(低通)子带和H(高通)子带，一维列方向分解单元与相位一致性检测子模块相连传输LL(低低)子带、LH(低高)子带、HL(高低)子带和HH(高高)子带。

所述的空间分解子模块将视频帧分解为不同尺度下的非均匀的方向子带，包括：二维小波分解单元和卷积滤波单元，其中：二维小波分解单元与时域分解单元相连传输时域低频和时域高频视频帧信息，二维小波分解单元与卷积滤波单元相连传输二维小波分解后的多尺度子带信息，卷积滤波单元与熵编码模块相连传输非云集方向分解系数信息。

所述的二维过完备小波分解单元与二维小波分解单元的区别在于：前者包括亚抽样操作，而后者不包括亚抽样操作。

所述的熵编码模块将双多分辨率几何分解模块处理得到的子带系数进行二进制压缩编码，包括：位平面编码子模块和算术编码子模块，其中：位平面编码子模块与双多分辨率几何分解模块相连传输分均匀方向分解系数信息，位平面编码子模块与算术编码子模块相连传输位平面数值和对应的上下文标志信息，算术编码子模块与比特流多路复用器相连传输经过有损压缩后的二进制码流，位平面编码子模块与率失真优化控制模块相连传输熵编码的码率工作点参数。

所述的率失真优化控制模块包括：运动估计参数控制子模块和编码工作点参数控制子模块，其中：运动估计参数控制子模块与时域分解模块相连传输运动估计控制信息，编码工作点参数控制子模块与熵编码模块相连传输熵编码的码率工作点参数。

所述的比特流多路复用器模块将在不同码率工作点参数条件下编码处理生成的可伸缩视频码流进行简单合并。

与现有技术相比，本发明的有益效果是：针对视频帧中二维频谱的方向特性，可以选用更加灵活的任意多尺度和多方向分解方式对图像进行自适应的变换，最终得到适应于“线奇异”的自然图像和视频信号的更稀疏的子带系数，有利于可伸缩视频信息的压缩和传输；本发明能够无缝地与WSVC(基于小波变换的可伸缩视频信息处理)***结合，并且在SVC应用同样的码率工作点的情况下，与单纯用WSVC得到的结果进行比较，由于在双多分辨率几何分解模块后端输出的系数较之普通的小波分解更加稀疏(即非零系数的数量要比普通的小波分解得到的非零系数的数量要少很多)，因此能够获得具有更大压缩率的可伸缩视频码流；在视觉质量上，与现有的WSVC***比较，本发明***能最多获得1.2dB的客观效果上的提升，以及更高的结构相似度，最终得到更佳的视觉效果。

附图说明

图1是本发明的***组成连接示意图。

图2是二维过完备小波分解子模块的一个方向分解的示意图。

图3是二维小波分解单元的一个方向分解的示意图。

图4是测试图像Foreman的HH子带示意图。

图5是图4分解为32个区间后的每个区间内的相位一致性分布直方图。

图6是图5经合并为8个子带后得到的近似均匀的相位一致性分布直方图。

图7是图6对应的非均匀二叉树结构示意图。

图8是实施例滤波器组实现示意图；

其中：图(a)是方向分辨率为1的滤波器组实现示意图；图(b)是方向分辨率为2的滤波器组实现示意图。

图9是实施例的自适应方向滤波器组结构示意图。

图10是实施例分解得到的子带分布图。

图11是实施例的四方向均匀分解的示意图。

具体实施方式

以下结合附图对本发明的***进一步描述：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例

如图1所示，本实施例包括：时域分解模块、双多分辨率几何分解模块、熵编码模块、比特流多路复用器模块和率失真优化控制模块，其中：时域分解模块和双多分辨率几何分解模块相连传输时域高频和时域低频视频帧信息，双多分辨率几何分解模块和熵编码模块相连传输双多分辨率几何变换后的分解系数信息，熵编码模块和比特流多路复用器模块相连传输配置的多层比特流信息，率失真优化控制模块与时域分解模块相连传输运动估计控制信息，率失真优化控制模块与熵编码模块相连传输编码控制信息。

所述的时域分解模块对视频帧进行基于运动补偿的时域分解，包括：运动估计子模块、运动补偿时域滤波子模块和模式及运动矢量编码子模块，其中：运动估计子模块输入原始视频帧，运动估计子模块与运动补偿时域滤波子模块相连传输基于宏块的运动矢量信息，运动估计子模块与模式及运动矢量编码子模块相连传输基于宏块的运动矢量信息，运动补偿时域滤波子模块与模式及运动矢量编码子模块相连传输宏块的最优化尺寸信息，运动补偿时域滤波子模块与率失真优化控制模块相连传输运动估计控制信息，运动补偿时域滤波子模块与双多分辨率几何分解模块相连传输时域高频和时域低频视频帧信息。

所述的运动估计子模块用于在相邻前后两帧间相同大小的宏块内寻找最优的运动矢量。

所述的运动补偿时域滤波子模块用于对原始视频帧进行运动补偿后的一维时域小波分解，将原始视频帧进行时间分级。

所述的模式及运动矢量编码子模块用于对宏块搜索模式进行UVLC(通用可变长)编码，并且将运动矢量统一转化为4×4的运动场。

所述的双多分辨率几何分解模块进行多尺度非均匀方向分解，包括：二维过完备小波分解子模块、相位一致性检测子模块、非均匀方向滤波器组设计子模块、空间分解子模块和分解模式编码子模块，其中：二维过完备小波分解子模块与时域分解模块相连传输时域高频和时域低频视频帧信息，二维过完备小波变换子模块和相位一致性检测子模块相连传输二维过完备小波分解系数，相位一致性检测子模块和非均匀方向滤波器组设计子模块相连传输相位一致性系数，非均匀方向滤波器组设计子模块分别与空间分解子模块和分解模式编码子模块相连传输非均匀二叉树结构的方向滤波器组信息，空间分解子模块和熵编码模块相连传输变换过后的非均匀方向分解系数信息，空间分解子模块与时域分解模块相连传输时域高频和时域低频视频帧信息。

所述的二维过完备小波分解子模块将视频帧分解为四个同样大小但包含不同频带信息的子带，包括：一维行方向分解单元和一维列方向分解单元，其中：一维行方向分解单元与时域分解模块相连传输时域低频和时域高频视频帧信息，一维行方向分解单元与一维列方向分解单元相连传输L子带和H子带，一维列方向分解单元与相位一致性检测子模块相连传输LL子带、LH子带、HL子带和HH子带。

所述的一维行方向分解单元在行方向上将一帧视频信号进行二通道小波滤波器组滤波，得到L子带和H子带。

所述的一维列方向分解单元在列方向上将一帧视频信号进行二通道小波滤波器组滤波，得到L子带和H子带。

所述的相位一致性检测子模块对二维过完备小波分解后的高频子带进行基于二维Gabor小波的边界检测的相位一致性分布统计。

所述的非均匀方向滤波器组设计子模块生成适应于各个小波高频子带的相位一致性分布的非均匀方向滤波器组。

所述的空间分解子模块将视频帧分解为不同尺度下的非均匀的方向子带，包括：二维小波分解单元和卷积滤波单元，其中：二维小波分解单元与时域分解单元相连传输时域低频和时域高频视频帧信息，二维小波分解单元与卷积滤波单元相连传输二维小波分解后的多尺度子带信息，卷积滤波单元与熵编码模块相连传输非云集方向分解系数信息。

所述的卷积滤波单元用于将高频小波子带系数(即LH、HL、HH子带的系数)和非均匀方向滤波器进行卷积，得到具有非均匀方向特征的稀疏的子带系数。

所述的二维过完备小波分解单元与二维小波分解单元的区别在于：前者包括亚抽样操作，而后者不包括亚抽样操作。

所述的熵编码模块将双多分辨率几何分解模块处理得到的子带系数进行二进制压缩编码，包括：位平面编码子模块和算术编码子模块，其中：位平面编码子模块与双多分辨率几何分解模块相连传输分均匀方向分解系数信息，位平面编码子模块与算术编码子模块相连传输位平面数值和对应的上下文标志信息，算术编码子模块与比特流多路复用器相连传输经过有损压缩后的二进制码流，位平面编码子模块与率失真优化控制模块相连传输熵编码的码率工作点参数。

所述的位平面编码子模块用于将经过量化后的子带系数在长、宽和时间轴上划分为独立的立方体编码块(64×64×4)进行独立编码和根据码率工作点的率失真特性进行分层组织。

所述的算术编码子模块用于对位平面数值和对应的上下文标志进行算术编码。

所述的率失真优化控制模块包括：运动估计参数控制子模块和编码工作点参数控制子模块，其中：运动估计参数控制子模块与时域分解模块相连传输运动估计控制信息，编码工作点参数控制子模块与熵编码模块相连传输熵编码的码率工作点参数。

所述的比特流多路复用器模块将在不同码率工作点参数条件下编码处理生成的可伸缩视频码流进行简单合并。

下面详细介绍本实施例中各模块的具体工作过程：

本实施例中运动估计子模块的具体工作过程为：输入***的原始视频流中的每一个视频帧按照Y(亮度)、U(色度)和V(浓度)的顺序输入到时域分解模块的运动估计子模块内进行运动估计。运动估计是基于宏块来进行的，随着输入的原始视频帧的不同大小，来设置不同的初始宏块大小：对于CIF(通用影像传输格式，大小为352×288)，使用大小为32×32的宏块；对于QCIF(四分之一大小通用影像传输格式，大小为176×144)，使用大小为16×16的宏块；对于4CIF(四倍大小通用影像传输格式，大小为704×576)，使用大小为64×64的宏块。在具体进行运动估计的时候，在每一个初始宏块中，可以在16×16大小宏块的整像素搜索、16×8大小宏块的半像素搜索、8×16大小宏块的半像素搜索和8×8大小宏块的四分之一像素搜索等四种工作模式之中，来确定最优估计的运动矢量和最优的搜索工作模式。

最优估计的运动矢量可由最小化如下的拉格朗日率失真(R-D)代价函数来获取：

$J(\mathrm{mv},{\mathrm{\λ}}_{\mathrm{SAD}})=D_{\mathrm{SAD}}(S_i,\mathrm{mv})+{\mathrm{\λ}}_{\mathrm{SAD}}\×R\left(\mathrm{mv}\right),$

其中：失真函数为

mv代表运动矢量，R(mv)代表传输mv所需的比特数，S_cur和S_ref分别代表当前正在进行运动估计的宏块和作为运动估计计算参考所需的宏块。

最优的搜索工作模式可由最小化如下的拉格朗日率失真(R-D)代价函数来获取：

$J(\mathrm{mode},{\mathrm{\λ}}_{\mathrm{SAD}})=(\underset{\mathrm{block}}{\underset{\mathrm{each}}{\mathrm{\Σ}}}{D}_{\mathrm{SAD}}(S_i,\mathrm{mv})+{\mathrm{\λ}}_{\mathrm{SAD}}\×R\left(\mathrm{mv}\right))+{\mathrm{\λ}}_{\mathrm{SAD}}\×R\left(\mathrm{mode}\right),$

其中：mode代表具体使用的搜索工作模式，R(mode)代表传输mode所需的比特数。

本实施例中运动补偿时域滤波子模块的具体工作过程为：在运动估计子模块得到了运动矢量信息后，运动补偿时域滤波子模块对原始视频帧进行基于提升算法的时域小波分解以实现可伸缩视频的时间分级。基于提升算法的时域小波分解方法包括***、预测和更新三个阶段。在***阶段，原始视频帧被分解为奇数帧{F_2i+1}和偶数帧{F_2i}两组不相交的集合；在预测阶段，奇数帧减去相邻偶数帧的预测得到一个时域高频帧；在更新阶段，偶数帧加上该时域高频帧的更新，得到一个时域低频帧。所谓预测和更新过程，可以理解为就是相邻的奇数帧和偶数帧之间的经过运动矢量补偿后的像素映射操作。在本实施例中，使用5/3小波来进行基于提升算法的时域小波分解操作，具体分解过程如下：

1)***：偶数帧A_i＝F_2i，奇数帧B_i＝F_2i+1；

2)预测阶段：高频帧

$H_i\left(x\right)=B_i\left(x\right)-\frac{1}{2}[A_{i-1}(x+{\mathrm{mv}}_{2i+\mathrm{1,2}i}\left(x\right))+A_i(x+{\mathrm{mv}}_{2i+\mathrm{1,2}i+2}\left(x\right))],$

3)更新阶段：低频帧

$L_i\left(x\right)=A_i\left(x\right)+\frac{1}{4}[H_{i-1}(x+{\mathrm{mv}}_{2i,2i-1}\left(x\right))+H_i(x+{\mathrm{mv}}_{2i,2i+1}\left(x\right))],$

其中：mv_a，b代表由F_a帧中的某一个宏块指向F_b帧中对应的宏块的运动矢量。

本实施例中二维过完备小波分解子模块的具体工作过程为：二维过完备小波分解子模块首先对时域分解模块中输出的时域高频和低频帧进行处理。二维过完备小波分解和合成过程如下所示：

$\left\{\begin{array}{c}{a}_{j+1}\left[n\right]=a_j*{\stackrel{\‾}{h}}_j\left[n\right]\\ d_{j+1}\left[n\right]=a_j*{\stackrel{\‾}{g}}_j\left[n\right]\\ a_j\left[n\right]=\frac{1}{2}(a_{j+1}*{\tilde{h}}_j[n]+d_{j+1}*{\tilde{g}}_j[n\left]\right)\end{array}\right.,$

其中：

[n]和[n]分别代表分解和合成端所需的低通滤波器，

[n]和

[n]则代表对应的高通滤波器，符号*代表卷积。为了满足完美重构条件，高通滤波器

[n]和

[n]需要满足

本实施例选取双正交“9-7”滤波器组，即使用如表1所示的系数的滤波器组。

表1

图2给出了二维过完备小波分解子模块的一个方向分解的示意图：在滤波过程中，首先在行方向上对输入的视频帧进行低通和高通滤波，得到L子带和H子带，然后在L子带和H子带上进行列方向的低通和高通滤波，将图像分解到LL、LH、HL、HH四个子带中去；其中：LL子带包含了图像中最主要的低频能量，LH子带包含了基本垂直相位的高频系数，HL子带包含了基本水平相位的高频系数，HH子带包含了基本对角相位的高频系数。

本实施例中相位一致性检测子模块的具体工作过程为：二维过完备小波分解子模块将视频帧分解到LL、LH、HL和HH四个子带内之后，相位一致性检测子模块对LH、HL和HH三个高频子带进行基于二维Gabor小波的边界检测的相位一致性分布统计。本实施例选用PeterKovesi的方法来计算相位一致性，即：

其中：W_d(x)表示权重因子，体现相位一致性的频率越多这个权重因子越大，A_dn(x)代表二维Gabor小波分量的方向d上的分量的模，相位敏感函数

用于对点x处的相位进行定位，T_dn表示权重，在式中用来消除噪声对判决结果带来的影响，∈是一个微小的常数，用来避免分母为零。

本实施例中非均匀方向滤波器组设计子模块的具体工作过程为：非均匀方向滤波器组设计子模块在得到了相位一致性检测子模块输出的相位一致性系数之后，根据设定的初始方向分辨率r＝2^-n和尺度s上所需的最终子带数目l_s(l_s≤2ⁿ，s＝1，2，…)，将初始的2ⁿ个方向区间中相位PC(x)分布最稀疏的两个相邻区间进行合并，每进行一次合并，其对应的两个叶子节点就合并消失，这两个叶子节点所属的父节点变成了新的叶子节点，并且新的区间的方向分辨率就是原来的两倍，直至最终l_s个区间内的相位一致性分布接近均匀为止。此时每个方向区间一一对应于二叉树结构中的一个叶子节点。为了清晰地说明这个问题，图4～图7分别展示了测试图像Foreman的HH子带，将相位[-π/2，π/2]分解成32个区间后每个区间内的相位一致性分布直方图，经过合并为8个子带后得到的近似均匀的相位一致性分布直方图和对应的非均匀二叉树结构。在每一个尺度s＝1，2，…内，根据其第i个方向子带(0＜i≤l_s)的方向分辨率r_i(T_i即2的该节点深度的幂次的倒数)，使用五株采样扇形滤波器组或平行四边形滤波器组，得到适应于该视频帧的尺度s内LH、HL和HH子带的非均匀二叉树结构的方向滤波器组，并将二叉树传入到后端的分解模式编码子模块进行编码。当节点的深度是1或者2时，那么只需要采用五株采样扇形滤波器组即可，图8(a)和图8(b)分别给出了节点深度为1和2时候的扇形滤波器组实现图，该扇形滤波器组分别采用

和

的五株采样矩阵；当节点的深度大于或等于3时，那么则在采用五株采样扇形滤波器的基础上，再采用将滤波器组的通带往相应方向(x轴和y轴的正方向或负方向)进行推挤的平行四边形滤波器组，其中采样矩阵为的平行四边形滤波器组将图像在纵坐标不变的情况下投影到和x轴正方向夹角为45度的方向上，采样矩阵为的平行四边形滤波器组将图像在纵坐标不变的情况下投影到和x轴负方向夹角为45度的方向上，采样矩阵为

的平行四边形滤波器组将图像在横坐标不变的情况下投影到和y轴正方向夹角为45度的方向上，采样矩阵为

的平行四边形滤波器组将图像在横坐标不变的情况下投影到和y轴负方向夹角为45度的方向上。在本实施例中，图9给出了使用基于测试视频序列Foreman得到的适应于其中某一帧的非均匀二叉树结构的方向滤波器组实现图，其中包括了深度为1、2、3的非均匀二叉树结构滤波器组的结点。

本实施例中空间分解子模块的具体工作过程为：空间分解子模块在得到了非均匀方向滤波器组设计子模块输出的非均匀二叉树结构的方向滤波器组信息之后，首先对该视频帧进行总共k个尺度的二维普通小波变换，二维普通小波变换和二维过完备小波变换的基本原理和方法相同，区别在于二维普通小波的滤波过程存在亚抽样和补零的步骤以消除冗余和实现可伸缩视频的空间分级。本实施例选取双正交“9-7”滤波器组，图3是二维小波变换单元的一个方向分解的示意图。空间分解子模块在对视频帧经过了k个尺度的普通小波变换后，得到3k+1个小波子带，然后在3k个高频子带中使用非均匀方向滤波器组进行进一步的卷积滤波，最终连同低频子带一道得到

个子带。这些子带具有互相独立的尺度分辨率和方向分辨率。图10给出了测试视频序列Foreman中的某一帧分解得到的子带的分布图。

本实施例中熵编码模块的具体工作过程为：在得到了空间分解子模块输出的多尺度非均匀方向子带系数后，使用3-D ESCOT(优化截断的三维嵌入式子带编码)编码模块作为熵编码模块对子带系数进行编码。该模块具体又可分为两个子模块：位平面编码子模块和算术编码子模块。位平面编码子模块首先将经过量化后的子带系数在长、宽和时间轴上划分为独立的立方体编码块(64×64×4)进行独立编码，输出位平面上的数值D和对应的上下文标记CX，它们再被送入算术编码子模块根据合理的信源概率模型和率失真优化控制模块中的编码工作点参数子模块传输过来的码率参数进行有损压缩的算术编码。整个位平面编码过程中使用了四种编码原语(即Zero Coding(零编码)、Sign Coding(符号编码)、Magnitude Refinement Coding(量值改进编码)和Run-Length Coding(游程编码))来为位平面数值D生成上下文标记CX。在本实施例中，为突出子带的方向性，对Zero Coding部分做了修改。由于每个编码块均自适应地使用了可能不同的方向分解模式，本发明针对每一个编码块设置了新的Zero Coding上下文模型表。图11是实施例的四方向均匀分解的示意图，表2给出了适应于图11中描述的四方向均匀分解模式的Zero Coding上下文模型表。

本实施例中比特流多路复用器模块的具体工作过程为：在得到了所需配置的不同码率工作点参数条件下的可伸缩视频码流后，比特流多路(复用)器将它们简单地合并成为一个总的码流。

本实施例提出的图像的双多分辨率几何分解技术能够同时独立地控制尺度分辨率和方向分辨率，自适应地针对不同的输入视频帧选取不同拓扑结构的方向滤波器组对图像进行子带分解和发送处理，最终得到更为稀疏的子带系数。

表2

实施效果

依据以上步骤，采用测试视频序列harbour_4cif_60.yuv(大小为4CIF，即704×576的4:2:0格式，帧率为60帧每秒(60Hz)的YUV文件)，总共编码90帧。本实施例在微软亚洲研究院的WSVC(基于小波变换的可伸缩视频信息处理)参考软件Vidwav中加入了双多分辨率几何分解模块，并替换了原有的小波分解模块，对该测试视频进行发送和接收处理。具体设置参数如下：

时间可分级级别设置为5级(支持60Hz，30Hz，15Hz，7.5Hz，3.75Hz的帧率)，GOP(图像群组)大小设置为32；空间可分级级别设置为3级(支持4CIF，CIF，QCIF)；

使用拉格郎日乘子法来最优化运动矢量，其中拉格朗日乘数λ和搜索范围SR设定为：4CIF：λ＝128，SR＝128，CIF：λ＝32，SR＝64，QCIF：λ＝16，SR＝32。

对于4CIF，在512kbps～3072kbps的码率范围内，每隔256kbps设定一个工作点。对于CIF，在128kbps～768kbps的码率范围内，每隔64kbps设定一个工作点。对于QCIF，在32kbps～192kbps的码率范围内，每隔16kbps设定一个工作点。

对输入视频进行5级小波分解，从最粗糙到最精细的4级小波高频子带上再将其分解为1，2，4，8个方向子带。

在解码器的后处理端中的消除振铃效应滤波器中，滤波器系数权重设置为0.35，衰减参数设定为3.0。

使用了PSNR(峰值信噪比)和SSIM(结构相似度)指标，对基于多尺度方向自适应描述和基于小波变换的可伸缩视频编码方法获得的最终视频序列与原始的未经过发送和接收处理的视频序列进行了比较。其中PSNR指标常用于衡量经过处理后的视频的客观品质，数值越高其客观品质越好；SSIM指标用于衡量两幅图像的结构相似度，其值介于0～1之间，1表示完全相同，越接近1，表示结构相似度越高。

当解码工作点为4CIF&512kbps时，本实施例***和WSVC***得到的PSNR分别为：25.33dB和24.18dB；SSIM分别为：0.737和0.685；

当解码工作点为4CIF&1024kbps时，本实施例***和WSVC***得到的PSNR分别为：28.97dB和28.65dB；SSIM分别为：0.875和0.863；

当解码工作点为4CIF&1536kbps时，本实施例***和WSVC***得到的PSNR分别为：30.62dB和30.37dB；SSIM分别为：0.909和0.904；

当解码工作点为4CIF&2048kbps时，本实施例***和WSVC***得到的PSNR分别为：31.70dB和31.51dB；SSIM分别为：0.927和0.926；

当解码工作点为CIF&128kbps时，本实施例***和WSVC***得到的PSNR分别为：25.54dB和24.58dB；SSIM分别为：0.796和0.715；

当解码工作点为CIF&256kbps时，本实施例***和WSVC***得到的PSNR分别为：28.22dB和27.71dB；SSIM分别为：0.890和0.855；

当解码工作点为CIF&384kbps时，本实施例***和WSVC***得到的PSNR分别为：29.61dB和29.22dB；SSIM分别为：0.919和0.898；

当解码工作点为CIF&512kbps时，本实施例***和WSVC***得到的PSNR分别为：30.57dB和30.30dB；SSIM分别为：0.936和0.922。

由上述数据可知：较之已有的WSVC***，本实施例***能够有效地提高视频的客观质量，并且在结构上更加接近原始的视频序列。

Claims (5)

1.一种可伸缩视频稀疏信息处理***，其特征在于，包括：时域分解模块、双多分辨率几何分解模块、熵编码模块、比特流多路复用器模块和率失真优化控制模块，其中：时域分解模块和双多分辨率几何分解模块相连传输时域高频和时域低频视频帧信息，双多分辨率几何分解模块和熵编码模块相连传输双多分辨率几何变换后的分解系数信息，熵编码模块和比特流多路复用器模块相连传输配置的多层比特流信息，率失真优化控制模块与时域分解模块相连传输运动估计控制信息，率失真优化控制模块与熵编码模块相连传输编码控制信息；

所述的双多分辨率几何分解模块包括：二维过完备小波分解子模块、相位一致性检测子模块、非均匀方向滤波器组设计子模块、空间分解子模块和分解模式编码子模块，其中：二维过完备小波分解子模块与时域分解模块相连传输时域高频和时域低频视频帧信息，二维过完备小波分解子模块和相位一致性检测子模块相连传输二维过完备小波分解系数，相位一致性检测子模块和非均匀方向滤波器组设计子模块相连传输相位一致性系数，非均匀方向滤波器组设计子模块分别与空间分解子模块和分解模式编码子模块相连传输非均匀二叉树结构的方向滤波器组信息，空间分解子模块和熵编码模块相连传输变换过后的非均匀方向分解系数信息，空间分解子模块与时域分解模块相连传输时域高频和时域低频视频帧信息；

所述的相位一致性检测子模块对二维过完备小波分解后的高频子带进行基于二维Gabor小波的边界检测的相位一致性分布统计；

所述的非均匀方向滤波器组设计子模块生成适应于各个小波高频子带的相位一致性分布的非均匀方向滤波器组；

所述的空间分解子模块包括：二维小波分解单元和卷积滤波单元，其中：二维小波分解单元与时域分解模块相连传输时域低频和时域高频视频帧信息，二维小波分解单元与卷积滤波单元相连传输二维小波分解后的多尺度子带信息，卷积滤波单元与熵编码模块相连传输非均匀方向分解系数信息；

所述的卷积滤波单元用于将高频小波子带系数和非均匀方向滤波器进行卷积，得到具有非均匀方向特征的稀疏的子带系数。

2.根据权利要求1所述的可伸缩视频稀疏信息处理***，其特征是，所述的时域分解模块包括：运动估计子模块、运动补偿时域滤波子模块和模式及运动矢量编码子模块，其中：运动估计子模块输入原始视频帧，运动估计子模块与运动补偿时域滤波子模块相连传输基于宏块的运动矢量信息，运动估计子模块与模式及运动矢量编码子模块相连传输基于宏块的运动矢量信息，运动补偿时域滤波子模块与模式及运动矢量编码子模块相连传输宏块的最优化尺寸信息，运动补偿时域滤波子模块与率失真优化控制模块相连传输运动估计控制信息，运动补偿时域滤波子模块与双多分辨率几何分解模块相连传输时域高频和时域低频视频帧信息。

3.根据权利要求1所述的可伸缩视频稀疏信息处理***，其特征是，所述的二维过完备小波分解子模块包括：一维行方向分解单元和一维列方向分解单元，其中：一维行方向分解单元与时域分解模块相连传输时域低频和时域高频视频帧信息，一维行方向分解单元与一维列方向分解单元相连传输L子带和H子带，一维列方向分解单元与相位一致性检测子模块相连传输LL子带、LH子带、HL子带和HH子带。

4.根据权利要求1或2所述的可伸缩视频稀疏信息处理***，其特征是，所述的率失真优化控制模块包括：运动估计参数控制子模块和编码工作点参数控制子模块，其中：运动估计参数控制子模块与时域分解模块相连传输运动估计控制信息，编码工作点参数控制子模块与熵编码模块相连传输熵编码的码率工作点参数。

5.根据权利要求1所述的可伸缩视频稀疏信息处理***，其特征是，所述的比特流多路复用器模块将在不同码率工作点参数条件下编码处理生成的可伸缩视频码流进行简单合并。

Images