CN106559670A - 一种改进的分块视频压缩感知算法 - Google Patents

Abstract

本发明涉及计算机视觉领域，特指一种改进的分块视频压缩感知算法。将视频采集和压缩编码有机结合起来同时进行，为利用视频时间轴上的冗余，对参考帧和非参考帧使用不同的采样策略，对于参考帧，先进行分块，然后进行固定高采样率测量；对于非参考帧，将分块后和参考帧对应块作比较然后调整采样策略。非参考帧的采样可以为参考帧提供更多的信息，使得在采样数目很少的情况下得到更高的视频质量。同时算法可以根据视频帧内部的纹理复杂程度自适应地调整采样速率，优化资源配置。相对于一般的压缩采样算法，可以减少采样值，得到的结果既符合人眼观察又有高的信噪比。

Description

一种改进的分块视频压缩感知算法

技术领域

本发明涉及计算机视觉领域，特指一种改进的分块视频压缩感知算法。

背景技术

在可视化通信中，由于设备内存小和网络带宽较窄的原因，如何进行数据压缩已成为视频监控的关键，为了获得高质量的视频图像，需从压缩算法上寻求解决的途径。

近年来，压缩感知在信号处理领域有突出的优点和广阔的应用前景。压缩感知算法打破了信号采样速率必须遵循奈奎斯特采样定理的原则，降低了信号采集对硬件的要求。另一方面，压缩感知框架允许将信号采集和压缩结合起来，直接得到压缩过的信号，可以将信号加密的内容加入到这个过程中来。

与图像不同的是，视频是一个三维信号，不但在空间域上有稀疏性，视频帧之间的相似性也需要考虑到算法的设计中来。使用3D小波变换作为信号展开的基底，重构时一次将所有视频帧进行重构，这种算法需要的计算复杂度太高。Jing Zheng等注意到视频帧之间的相似性，对参考帧进行了常规的压缩感知，对于非参考帧只对参考帧和非参考帧之间的残差进行采样，重构时再将其叠加得到最终的结果。但是由于非参考帧依赖于参考帧的恢复质量，如果参考帧的恢复质量较差时，视频质量将急剧下降。Z.Liu等提出了视频帧采样时分块处理，然后利用相关块判断小块之间差别，然后采用不同的采样策略，有效地提高了算法效率，但是后面帧始终依赖前面帧的重构质量，会有误差累积的问题出现。

针对上述存在的问题，本发明提出一种新的改进的分块视频压缩感知算法，在分块采样的框架下，根据相关块的差别进行调整采样策略，并用后面帧的采样补偿前面帧，使后面帧的质量不完全依赖前面帧，还能提高前面帧的质量，使整个视频质量得到提高。

发明内容

本发明要解决的技术问题在于：针对视频压缩这个特定问题，为了提高压缩后视频结果既符合人眼观察又有高的信噪比，提出了一种改进的分块视频压缩感知算法。

该算法的技术方案具体包括如下步骤：

(1)参考帧的固定高采样率测量；

(2)非参考帧的变采样率测量；

(3)小块分类、采样和重构。

作为本发明技术方案的进一步改进，所述步骤1)中，采用块采样模式，将参考帧不重叠分块得到K个B×B大小的图像块，并对各个图像块用相同的M×N维测量矩阵Φ单独采样；

设为t时刻帧中的第k个小块，将其拉伸为一个向量的形式，块大小为n×n，称为的相关块，它们位于不同帧的相同位置；

对于第i(i＝1,2,...,K)个图像块其测量向量可以表示为：

式中R_M×N是M*N维测量矩阵，则整个参考帧的采样过程可以表示为Y_t-1＝ΦX_t-1，其中X_t-1∈R_N×K和Y_t-1∈R_M×K的列向量分别为各图像块的像素向量和测量向量。

作为本发明技术方案的进一步改进，所述步骤(2)中,先将小块和参考帧中相同位置的小块进行比较，然后根据结果调整采样，具体如下：

设为t时刻帧中的第k个小块，将其拉伸为一个向量的形式，块大小为n×n，称为的相关块，它们位于不同帧的相同位置；将相关块的差别作为判断小块类型的依据，根据的l₁范数以及的方差调整采样。

作为本发明技术方案的进一步改进，所述步骤3)包括：

在对参考帧进行采样时，先将视频帧划分为不重叠的大小为n×n的小块，然后对每个小块进行正常采样，即

在对非参考帧采样时，同样先将视频帧划分为不重叠的大小为n×n的小块，然后采集小块很小一块测量值，其中Φ_p为非参考帧的测量矩阵，为Φ₀的一部分，M_p＜＜M₀；然后与参考帧中小块的测量进行比较，计算y_r的l₁范数和方差并以此作为小块分类的依据；

L＝σ(y_r)+λ||y_r||₁ (2)

式中λ是一个归一化常数，用于调节方差σ(y_r)和l₁范数两个指标之间的比重；

M₀为固定高采样，M₁为额外采样，M₂为帧间差值采样，M₃为常规压缩采样，根据L的值将小块分为以下3类：

(1)如果L＜T₁，T₁为标准视频序列的图像块设定的阈值，两个小块之间的空域变化小到足以忽略，将小块标记为静态块；

(2)如果T₁≤L＜T₂，T₂为标准视频序列的图像块设定的阈值，T₁＜T₂，则将该小块被标记为变化较小的块，对小块的差异进行测量，设定M₂＜M₀；

在重构阶段，先恢复出小块残差，然后再加上最终得到重构结果；如果为变化比较小的小块，则无论为什么类型，将当前块调整为变化比较大的小块，以有效避免重建误差的积累；

(3)如果L≥T₂，将标记为变化比较大的块或动态块，并对小块进行正常测量；

式中：M₃＞＞M₀；

在重构阶段，首先查看测量值的数目来分辨当前小块的类型，正常块和变化比较大的块使用正常的压缩感知算法进行测量，但假设不足以很好地恢复出原小块，则检查 小块为的相关块，如果小块中含有不动块，不动块为含有纹理一致的小块，则相关块的测量值将可以被所用，将两个小块和一起恢复，即

对于变化较小的块，非参考帧的小块由于只有小块的残差测量值可用，依赖于参考帧的重构结果，即

与现有技术相比，本发明具有以下有益效果：

将视频采集和压缩编码有机结合起来同时进行，为利用视频时间轴上的冗余，对参考帧和非参考帧使用不同的采样策略，对于参考帧，先进行分块，然后进行固定高采样率测量；对于非参考帧，将分块后和参考帧对应块作比较然后调整采样策略。非参考帧的采样可以为参考帧提供更多的信息，使得在采样数目很少的情况下得到更高的视频质量。同时算法可以根据视频帧内部的纹理复杂程度自适应地调整采样速率，优化资源配置。相对于一般的压缩采样算法，可以减少采样值，得到的结果既符合人眼观察又有高的信噪比。

附图说明

图1是实施例所述改进的分块视频压缩感知算法流程图。

图2是实施例所述各方法与改进的分块视频压缩感知算法效果对比图。

具体实施方式

现以普通单帧图像为例，结合附图对本发明做进一步详细说明。

本发明提出一种改进的分块视频压缩感知算法，该算法的具体步骤如下：

第一步：参考帧的固定高采样率测量：

对于n×n的单帧图像，若将其作为一个n²×1的向量直接采样，则需要m×n²的测量矩阵以获得m个测量值，n是单帧图像的边尺寸长度，m是测量矩阵的个数，在这种情况下，测量矩阵的存储和计算都很大，因此本发明采用块采样模式，将参考帧不重叠分块得到K个B×B大小的图像块，并对各个图像块用相同的M×N维测量矩阵Φ单独采样。设为t时刻帧中的第k个小块，将其拉伸为一个向量的形式，块大小为n×n，称为的相关块，它们位于不同帧的相同位置。对于第i(i＝1,2,...,K)个图像块其测量向量可以表示为：

式中R_M×N是M*N维测量矩阵，K是图像块的总数，M为取比(mN)/n²小的最大整数，则整个参考帧的采样过程可以表示为Y_t-1＝ΦX_t-1，其中X_t-1∈R_N×K和Y_t-1∈R_M×K的列向量分别为各图像块的像素向量和测量向量。

第二步：非参考帧的变采样率测量；

对于非参考帧，先将小块和参考帧中相同位置的小块进行比较，然后根据结果调整采样，具体如下：

设为t时刻帧中的第k个小块，将其拉伸为一个向量的形式，块大小为n×n，称为的相关块，它们位于不同帧的相同位置。由于相邻帧之间的相似性，相关块的差别可以反应出相关块之间的关系，将这个差别作为判断小块类型的依据。但是由于在视频获取阶段小块是未知的，只能获得小块的测量值。测量空间的距离可以很好地反应出原始信号的距离，因此小块测量值的差别可以在某种程度上反应出相关块之间的关系。本发明采用了两种指标，一种是y_r的l₁范数，另一种是y_r的方差。l₁范数可以体现y_r的强度，即两个小块之间的像素变化量，而方差可以体现小块残差的稀疏性，根据上述两种指标调整采样。

第三步：小块分类、采样和重构；

在对参考帧进行采样时，由于没有先验信息，先将视频帧划分为不重叠的大小为n×n的小块，然后对每个小块进行正常采样，即其中Φ₀为参考帧的测量矩阵。

在对非参考帧采样时，同样先将视频帧划分为不重叠的大小为n×n的小块，然后采集小块很小一块的测量值，其中Φ_p为非参考帧的测量矩阵，为Φ₀的一部分，M_p＜＜M₀。然后与参考帧中小块的测量进行比较，计算y_r的l₁范数和方差σ(y_r)并以此作为小块分类的依据。

L＝σ(y_r)+λ||yr||₁ (2)

式中λ是一个归一化常数，用于调节方差σ(y_r)和l₁范数||y_r||₁两个指标之间的比重。

M₀为固定高采样，M₁为额外采样，M₂为帧间差值采样，M₃为常规压缩采样。根据L的值将小块分为以下3类：

(1)如果L＜T₁，T₁为标准视频序列的图像块设定的阈值，两个小块之间的空域变化小到足以忽略，然后称小块为静态块，由于这两个区块的纹理几乎相同，不需要重新对此小块进行测量，可以直接使用小块的测量值。但是如果的测量不足以重建出令人满意的结果，这两个小块的重构质量都将受到影响，所以额外的测量是必要的，将对这个小块进行额外的测量，以确保在有限数量测量下的恢复质量，高度相似小块的测量值可以相互交换，同时进行恢复。

(2)如果T₁≤L＜T₂，T₂为标准视频序列的图像块设定的阈值，T₁＜T₂，那么该块将被标记为变化较小的块。因为两个小块的测量差异较小，两块之间还是有很强的相关性，说明这两个小块之间的残差将是一个非常稀疏的信号，比小块本身的稀疏性要强很多。因此将对小块的差别进行测量，由于小块差的稀疏性很强，只需要很少的测量值即可恢复出比较满意的结果，因此设定M₂＜M₀。

在重构阶段，可以先恢复出小块残差，然后再加上最终得到重构结果。当前块的重构质量将依赖于的质量，如果没有得到很好的重建，重建造成的误差会累积到当前块甚至会累积到下一帧的小块。为了避免误差积累，必须对小块进行类型调整。如果为变化比较小的小块，则无论为什么类型，将当前块调整为变化比较大的小块。这样可以有效避免误差的积累。

(3)如果L≥T₂，这说明两个小块的相关性很低，纹理发生了很大的变化。将标记为变化比较大的块或动态块，为了保证重构质量，将对小块进行正常测量，但是测量值的数量将得到很大的提高，

式中：M₃＞＞M₀，比较难获得比M₀多的测量值，实际上(1)-(2)类两种小块分配的测量值都比正常测量的数目M₀要少很多，所以M₃可以远大于M₀，变化比较大的区域的恢复质量可以得到保证。

在测量阶段为了获得更高的测量效率，设计了自适应的测量算法，对不同情况下的小块使用不同的测量算法，所以必须设计对应的重构算法以获得最好的重构结果。首先不同类型的块都被赋予了不同数目的测量值，因此在重构阶段，首先查看测量值的数目就可以分辨当前小块的类型，有参考帧的普通块，非参考帧的不动块，变化小的块和变化较大的块。

正常块和变化比较大的块使用正常的压缩感知算法进行了测量，但是假设不足以很好地恢复出原小块，检查这些小块为的相关块，如果这些小块中含有不动块，也就是含有纹理一致的小块，那么相关块的测量值将可以被所用，可以将两个小块一起恢复。在这种策略下，小块获得了更多的测量值，恢复质量将获得提高。

对于变化较小的块，非参考帧的小块由于只有小块的残差测量值可用，依赖于参考帧的重构结果，即但是，可能下一帧这个小块会变为不动块，这样就可以获得更好的效果。

本发明中提出的方法实际上可嵌入FPGA实现，开发具有视频压缩功能的相机或摄像机。以上实施例仅起到解释本发明技术方案的作用，本发明所要求的保护范围并不局限于上述实施例所述的实现***和具体实施步骤。因此，仅对上述实施例中具体的公式及算法进行简单替换，但其实质内容仍与本发明所述方法相一致的技术方案，均应属于本发明的保护范围。

Claims (4)

1.一种改进的分块视频压缩感知算法，其特征是，包括如下步骤：

1)参考帧的固定高采样率测量；

2)非参考帧的变采样率测量；

3)小块分类、采样和重构。

2.根据权利要求1所述的一种改进的分块视频压缩感知算法，其特征在于，所述步骤1)中，采用块采样模式，将参考帧不重叠分块得到K个B×B大小的图像块，并对各个图像块用相同的M×N维测量矩阵Φ单独采样；

设为t时刻帧中的第k个小块，将其拉伸为一个向量的形式，块大小为n×n，称为的相关块，它们位于不同帧的相同位置；

对于第i(i＝1,2,...,K)个图像块其测量向量可以表示为：

$y_{t-1}^i={\mathrm{\Φx}}_{t-1}^i---\left(1\right)$

式中R_M×N是M*N维测量矩阵，则整个参考帧的采样过程可以表示为Y_t-1＝ΦX_t-1，其中X_t-1∈R_N×K和Y_t-1∈R_M×K的列向量分别为各图像块的像素向量和测量向量。

3.根据权利要求1所述的一种改进的分块视频压缩感知算法，其特征是，所述步骤(2)中,先将小块和参考帧中相同位置的小块进行比较，然后根据结果调整采样，具体如下：

设为t时刻帧中的第k个小块，将其拉伸为一个向量的形式，块大小为n×n，称为的相关块，它们位于不同帧的相同位置；将相关块的差别作为判断小块类型的依据，根据的l₁范数以及的方差调整采样。

4.根据权利要求2或3所述的一种改进的分块视频压缩感知算法，其特征是，所述步骤3)包括：

在对参考帧进行采样时，先将视频帧划分为不重叠的大小为n×n的小块，然后对每个小块进行正常采样，即

在对非参考帧采样时，同样先将视频帧划分为不重叠的大小为n×n的小块，然后采集小块很小一块测量值，其中Φ_p为非参考帧的测量矩阵，为Φ₀的一部分，M_p＜＜M₀；然后与参考帧中小块的测量进行比较，计算y_r的l₁范数和方差并以此作为小块分类的依据；

L＝σ(y_r)+λ|y_r||₁ (2)

式中λ是一个归一化常数，用于调节方差σ(y_r)和l₁范数两个指标之间的比重；

M₀为固定高采样，M₁为额外采样，M₂为帧间差值采样，M₃为常规压缩采样，根据L的值将小块分为以下3类：

(1)如果L＜T₁，T₁为标准视频序列的图像块设定的阈值，两个小块之间的空域变化小到足以忽略，将小块标记为静态块；

(2)如果T₁≤L＜T₂，T₂为标准视频序列的图像块设定的阈值，T₁＜T₂，则将该小块被标记为变化较小的块，对小块的差异进行测量，设定M₂＜M₀；

在重构阶段，先恢复出小块残差，然后再加上最终得到重构结果；如果为变化比较小的小块，则无论为什么类型，将当前块调整为变化比较大的小块，以有效避免重建误差的积累；

(3)如果L≥T₂，将标记为变化比较大的块或动态块，并对小块进行正常测量；

$y={\mathrm{\Φ}}_3{x}_t^k---\left(3\right)$

式中：M₃＞＞M₀；

在重构阶段，首先查看测量值的数目来分辨当前小块的类型，正常块和变化比较大的块使用正常的压缩感知算法进行测量，但假设不足以很好地恢复出原小块，则检查小块为的相关块，如果小块中含有不动块，不动块为含有纹理一致的小块，则相关块的测量值将可以被所用，将两个小块和一起恢复，即

对于变化较小的块，非参考帧的小块由于只有小块的残差测量值可用，依赖于参考帧的重构结果，即