CN103347188A - 一种分布式视频编码非关键帧压缩感知编解码方法 - Google Patents

Abstract

本发明公开了一种分布式视频编码非关键帧压缩感知编解码方法。该方法根据重构关键帧中图像块的DCT系数特性，为非关键帧中对应图像块压缩感知计算所需要的测量值数目，根据需要的测量数目将图像块划分为不同的类型，依据图像块的类型选择不同编码方式。本发明降低了分布式视频编码非关键帧压缩感知编解码的复杂度，提高了非关键帧重构图像的质量。

Description

一种分布式视频编码非关键帧压缩感知编解码方法

技术领域

本发明涉及分布式视频编码和压缩感知编码技术领域，特别涉及一种分布式视频编码非关键帧压缩感知编解码方法。

背景技术

传统的视频编码基于混合编码框架，编码端充分去除视频信号中的冗余信息，其特点是编码复杂，而解码简单，所以其非常适合于视频信号一次(一个)编码而多次(多个)解码的应用场合。然而由于受一些应用场合的限制，视频编码端的计算能力、内存容量、耗电量等资源有限，而解码端则不受限制，所以对视频编码提出了新的要求：编码简单，解码可以较复杂。分布式视频编码方法正是基于这种需求提出来的。

分布式视频编码将待编码视频序列分为视频组（简称为GoP），将每个GoP中的第一帧作为关键帧（简称为K帧），其他帧作为非关键帧。编码端将关键帧和非关键帧独立编码，在解码端关键帧独立解码，利用图像帧间的相关性，由重构的关键帧产生非关键帧的边信息来联合进行非关键帧重构解码。目前分布式视频编码有多种方式，为了进一步简化编码，可将压缩感知理论引入到分布式视频编码中，构成分布式压缩感知视频编码。在分布式压缩感知视频编码中，关键帧可仍用传统帧内编解码方法进行编解码，而非关键帧采用压缩感知编码,所以这里将非关键帧简称为CS帧。

在对CS帧编码前,先将图像分成大小相同的w×w块,令n=w×w，图像块经扫描后变换成n×1的向量，用一n×n的测量矩阵对图像块进行测量,得到n个测量值。根据图像块的稀疏度，从n个测量值中随机选择m＜n个测量值发送到接收端。接收端用收到的测量数据、采用合适的方法便可重构出一定质量的图像块数据。重构图像块的质量与接收到的测量值的数量有关：总体上，收到的测量值越多，重构图像的质量就越好，但是，被测量数据的稀疏度决定了重构视频必需的最少测量值数量。视频数据越稀疏，需要的测量值数目越少，压缩率也就越高。

由此可见，根据图像块的稀疏度确定每个图像块的测量值个数（需要传送的测量值数目）是视频压缩感知的一项重要工作。然而，为每个图像块精确分配测量值的个数是一个复杂的工作，不适合在分布式视频编码的编码端进行，只能在接收端进行。目前已有一些解决方案。方案之一是采用试探式方法对所需测量值数目进行多次请求。发送端首先传送m₁个测量值到接收端，接收端将其字典里每个原子块的m₁测量值与收到的m₁测量值进行比较，如果能找到接近的块，就用字典里原子块的数据作为m₁测量值的重构数据；如果在接收端的字典里没有找到接近的原子块，就请求发送端再传送m₂个测量数据，解码端用m1+m2个测量值，采用压缩感知重构方法重构图像块数据；如果估计重构图像块质量没有达到要求，继续请求再传输一些测量值，接收端用更多的测量值进行重构，直到图像质量达到要求为止。此方案虽然能够通过多次传输测量值来控制CS帧的重构质量，但试探性方法使***反馈次数多、***延时大，也增加了接收端的复杂度。另一个解决方案是由接收端首先通过重构前一个GoP关键帧来建立字典，用字典中的原子（图像块）来估计当前待编码CS帧中块的稀疏度，并通过反馈信道将信息反馈给发送端，由发送端根据收到的信息来确定块重构需要的测量值数目。该方案虽然能够分配CS帧中每个块的测量值数目，但分配过程在编码端进行，增加编码端的复杂度，而且，用前一个GoP的字典估计后一个GoP中CS帧的稀疏度，在分配测量值数目时会有较大的偏差。而本发明能够解决上面问题。

发明内容

本发明目的在于克服现有方法的不足，提供了一种分布式视频编码非关键帧压缩感知编码方法。该方法可以同时降低编码端和解码端的复杂度，根据接收端重构关键帧相同位置图像块内容特性分配待编码非关键帧图像块压缩感知所需要的测量值数目，简化编码方法，提高非关键帧的重构质量。

本发明解决其技术问题所采用的技术方案是：本发明在编码端对非关键帧进行分块测量，每个块需要传送的测量值的数目由接收端关键帧相同位置对应块的DCT系数分布确定，根据所需测量值数目确定每个块的编码方式并进行测量，接收端联合由重构帧构建的重构边信息帧进行重构。

方法流程：

本发明提供一种分布式视频编码非关键帧压缩感知编解码方法，包括如下步骤：

步骤1：接收端将重构关键帧进行分块，根据分块的DCT系数分布计算发送端待编码非关键帧相同位置对应分块的压缩感知测量因子，将待编码非关键帧压缩感知总的测量值数目根据各块的测量因子分配给帧内各图像块，并反馈到发送端；计算分配过程如下：

（1）设一帧图像的最大分块数为B，块的尺寸为w×w，设置4个由小到大的阈值T_m,(m=1,...,4),块测量因子α_i，i=1,...,B,分配给非关键帧各块的总的测量值个数为M，每块的测量值个数C_i；

（2）对重构关键帧中分块的DCT系数的绝对值进行排序，块内DCT系数绝对值的最大值为D；

（3）若D≤T₁，则α_i等于0；

若T₁＜D≤T₂，则α_i等于块内D与DCT系数绝对值之差小于等于

的DCT系数个数；

若T₂＜D≤T₃，则α_i为块内D与DCT系数绝对值之差小于等于

的DCT系数个数；

若T₃＜D≤T₄，则α_i为块内D与DCT系数绝对值之差小于等于

的DCT系数个数；

若D＞T₄，则α_i为块内DCT系数绝对值大于T₄的DCT系数个数；

（4）接收端根据α_i值计算发送端待编码非关键帧对应块的压缩感知测量值数目C_i，其方法为：

（41）第i个块的测量值数目

（42）若C_i≥w²，C_i=w²。

步骤2：发送端根据C_i的大小，将待编码非关键帧相同位置对应块划分为二种类型：极度稀疏块和正常稀疏块，分别标为‘V’块和‘N’块，划分方法如下：

（1）若块的测量值数目等于0，则将该块划分为极度稀疏块；

（2）若块的测量值数目大于0，则将该块划分为正常稀疏块。

步骤3：发送端根据块类型对待编码块数据分别采用二种编码方式：标记为‘V’的块使用‘V’编码方式，标记为‘N’的块使用‘N’编码方式，方法如下：

（1）‘V’编码方式，即不需要在编码端对此块进行压缩感知测量，只传送块类型信息到接收端；

（2）‘N’编码方式，即构造一个大小为C_i×w²的测量矩阵对待编码数据进行压缩感知测量，将块类

型信息和测量数据一同传送到接收端。

步骤4：接收端由非关键帧前后两个关键帧联合计算出重构该非关键帧的边信息帧：

根据输入的两帧图像，采用运动估计、插值或其他方法，计算出能引导非关键帧重构的数据帧均可作为重构边信息帧。

步骤5：接收端接收到非关键帧的各分块数据后，采用对应方法进行与块类型相对应的图像块重构，其方法如下：

（1）若接收到‘V’类型块,将边信息帧中的对应块数据复制作为该块的重构块数据;

（2）若接收到‘N’类型块，将边信息帧中对应块的DCT系数作为块重构时的迭代初值，对接收到的测量值进行压缩感知重构，得到重构块数据。

有益结果：

1.本发明简化了测量值数目的计算，降低了发送端和接收端的复杂度。

2.本发明降低了CS帧的编码延迟，提高了CS帧重构质量（PSNR）。

附图说明

图1是本发明采用的GoP结构示意图。

图2是一种分布式视频编解码***示意图。

图3是根据输入图像计算分配待编码CS帧图像块需要传送的测量值数目的过程图。

图4是计算图像块测量因子的流程图。

图5是根据测量值数目对CS帧进行块类型标记的示意图。

图6是发送端CS帧图像块压缩感知编码过程流程图。

图7是接收端CS帧重构过程流程图。

具体实施方式

下面结合附图对发明的技术方案进行详细说明：

分布式视频编码将待编码视频序列分为视频组（简称为GoP）如图1所示，本发明设置的GoP长度为2，将每个GoP的第一帧作为关键帧，简称K帧，其后续的一帧作为非关键帧，采用压缩感知编码，故简称CS帧，设当前要编码的GoP中的关键帧为X_t，非关键帧为X_t+1，下一个GoP中的关键帧为X_t+2，以此类推。

***设置一组参数：一帧图像的最大分块数为B，块的尺寸为w×w，设置4个由小到大的阈值Tm,(m=1,...,4)，块测量因子α_i，i=1,...,B,分配给非关键帧各块的总的测量值个数为M，每块的测量值个数C_i；

图2给出了一种CS帧采用压缩感知的分布式视频编解码***。编码端将关键帧和CS帧独立编码，在解码端关键帧独立解码，利用图像帧间的相关性，由重构的关键帧产生重构CS帧的边信息来联合进行CS重构解码。

关键帧编码[201]和解码重构[202]可采用任何方法，如H.264/AVC的帧内编码,也可采用压缩感知编码,接收端解码关键帧，得到

接收端[203]处理单元接收重构的关键帧图像,对其进行分块后计算分配待编码CS帧相同位置对应块的测量值数目，并反馈给发送端（具体步骤见图3，图4）；发送端CS帧编码器[204]将CS帧分块，每块根据反馈的测量值数目信息，对块进行分类并采用压缩感知对分块进行测量编码（具体步骤见图6）后，发送到接收端等待重构解码；接收端首先根据接收到的CS帧前后重构的关键帧，计算产生[206]重构CS帧所需要的边信息帧S_t+1；接收端CS重构单元[206]取相应接收块的数据，联合对应的边信息，采用重构方法计算得到重构图像块数据（具体步骤见图7），所有块重构完后组合得到重构的CS帧

CS帧编码重构的具体步骤如下：

步骤1（如图3所示）：接收端将重构关键帧进行分块，根据分块的DCT系数分布计算发送端待编码非关键帧相同位置对应分块的压缩感知测量因子，将待编码非关键帧压缩感知总的测量值数目根据各块的测量因子分配给帧内各图像块，并反馈到发送端；计算分配过程如下：

[301]和[302]完成图像输入和分块，[303]计算各块的测量因子，[304]根据测量因子，完成分块测量值数目的分配；其中，计算块测量因子的具体方法如下（如图4所示）：

（1）对块进行DCT变换；

（2）对分块的DCT系数的绝对值进行排序，得到块内DCT系数绝对值的最大值为D；

（3）若D≤T₁，则α_i等于0；

若T1＜D≤T₂，则α_i等于块内D与DCT系数绝对值之差小于等于的DCT系数个数；

若T₂＜D≤T₃，则α_i为块内D与DCT系数绝对值之差小于等于

的DCT系数个数；

若T₃＜D≤T₄，则α_i为块内D与DCT系数绝对值之差小于等于

的DCT系数个数；

若D＞T₄，则α_i为块内DCT系数绝对值大于T₄的DCT系数个数；

（4）得到块的测量因子α_i。

根据α_i值计算发送端待编码CS帧对应块的压缩感知测量值数目C_i，其方法为：

（1）第i个块的测量值数目

（2）若C_i≥w²，C_i=w²；

步骤2：CS编码器[204]根据C_i的大小，将待编码CS帧相同位置对应块划分为二种类型：极度稀疏块和正常稀疏块，分别标为‘V’块和‘N’块，划分方法如下：

（1）若块的测量值数目等于0，则将该块划分为极度稀疏块；

（2）若块的测量值数目大于0，则将该块划分为正常稀疏块；

如图5所示，表示极度稀疏块，□表示正常稀疏块，

表示测量值数目达到可能的极限的正常稀疏块。

步骤3：CS编码器[204]根据每个块的类型，分别采用二种编码方式：标记为‘V’的块使用‘V’编码方式，标记为‘N’的块使用‘N’编码方式，方法如下（如图7所示）：

（1）‘V’编码方式，即不需要在编码端对此块进行压缩感知测量，只传送块类型信息到接收端；

（2）‘N’编码方式，即构造一个大小为C_i×w²的测量矩阵对待编码数据进行压缩感知测量，将块类型信息和测量数据一同传送到接收端；

步骤4：接收端由CS帧前后两个关键帧联合计算出重构该CS帧的边信息帧（如图2[205]单元）：

根据输入的两帧图像，采用运动估计、插值或其他方法，计算出能引导非关键帧重构的数据帧均可作为重构边信息帧。

步骤5：接收端接收到CS帧的各分块数据后，采用对应方法进行与块类型相对应的图像块重构，其方法如下（如图7所示）：

（1）若接收到‘V’类型块,将边信息帧中的对应块数据复制作为该块的重构块数据;

（2）若接收到‘N’类型块，将边信息帧中对应块的DCT系数作为块重构时的迭代初值，对接收到的测量值进行压缩感知重构，得到重构块数据；

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入本发明要求保护的范围内，本发明要求保护的范围是由所附的权利要求书其等效物界定。

Claims (6)

1.一种分布式视频编码非关键帧压缩感知编解码方法，其特征在于：所述方法包括下列步骤：

步骤1：接收端将重构关键帧进行分块，根据分块的DCT系数分布计算发送端待编码非关键帧相同位置对应分块的压缩感知测量因子，将待编码非关键帧压缩感知所需要的总的测量值数目M根据块测量因子分配给各图像块，并反馈到发送端；

步骤2：发送端根据待编码非关键帧对应分块分配到的测量值数目C_i的大小，将编码块分为二种类型：极度稀疏块和正常稀疏块，分别标为‘V’块和‘N’块；

步骤3：发送端根据块类型对其分别采用二种编码方式中的一种：标记为‘V’的块使用‘V’编码方式，标记为‘N’的块使用‘N’编码方式；

步骤4：接收端由非关键帧前后两个关键帧联合计算出重构该非关键帧的边信息帧；

步骤5：接收端接收到非关键帧的分块测量数据后，联合重构边信息帧，采用对应方法进行与块类型相对应的图像块重构，全部块重构完后重组得到非关键帧的重构帧。

2.根据权利要求1所述的一种分布式视频编码非关键帧压缩感知编解码方法，其特征是，在步骤1中所述的分块的压缩感知测量因子的计算方法如下：

（1）设一帧图像的最大分块数为B，块的尺寸为w×w，设置4个由小到大的阈值Tm,(m=1,...,4)，块测量因子α_i，i=1,...,B,分配给非关键帧各块的总测量值个数为M，每块的测量值个数C_i；

（2）对重构关键帧中分块的DCT系数的绝对值进行排序，块内DCT系数绝对值的最大值为D；

（3）若D≤T₁，则α_i等于0；

若T₁＜D≤T₂，则α_i等于块内D与DCT系数绝对值之差小于等于

的DCT系数个数；

若T₂＜D≤T₃，则α_i为块内D与DCT系数绝对值之差小于等于

的DCT系数个数；

若T₃＜D≤T₄，则α_i为块内D与DCT系数绝对值之差小于等于

的DCT系数个数；

若D＞T₄，则α_i为块内DCT系数绝对值大于T₄的DCT系数个数；

（4）接收端根据α_i值计算发送端待编码非关键帧对应块的压缩感知测量值数目C_i，其方法为：

（41）第i个块的测量值数目

（42）若C_i≥w²，C_i=w²。

3.根据权利要求1所述的一种分布式视频编码非关键帧压缩感知编解码方法，其特征是：在步骤2中所述将待编码非关键帧相同位置对应块划分为二种类型，其方法为：

（1）若块的测量值数目C_i等于0，则将该块划分为极度稀疏块；

（2）若块的测量值数目C_i大于0，则将该块划分为正常稀疏块。

4.根据权利要求1所述的一种分布式视频编码非关键帧压缩感知编解码方法，其特征是：在步骤3中所述的‘V’编码方式和‘N’编码方式的编码方式如下：

（1）‘V’编码方式，即不需要在编码端对此块进行压缩感知测量，只传送块类型信息到接收端；

（2）‘N’编码方式，即构造一个大小为C_i×w²的测量矩阵对待编码数据进行压缩感知测量，将块类型信息和测量数据一同传送到接收端。

5.根据权利要求1所述的一种分布式视频编码非关键帧压缩感知编解码方法，其特征是：在步骤4中所述非关键帧的边信息帧的产生方法如下：

根据输入的两帧图像，采用运动估计、插值或其他方法，计算出能引导非关键帧重构的数据帧均可作为重构边信息帧。

6.根据权利要求1所述的一种分布式视频编码非关键帧压缩感知编解码方法，其特征是：在步骤5所述联合重构边信息帧，采用对应方法进行与块类型相对应的图像块重构，其方法如下：

（1）若接收到‘V’类型块,将边信息帧中的对应块数据复制作为该块的重构块数据;

（2）若接收到‘N’类型块，将边信息帧中对应块的DCT系数作为块重构时的迭代初值，对接收到的测量值进行压缩感知重构，得到重构块数据。

Images