CN109255822A - 一种多尺度编码和多重约束的超时间分辨率压缩感知重建方法 - Google Patents

Abstract

本发明公开了一种基于多尺度编码孔径和多重正则约束的时间压缩重建方法，利用目标场景的运动特性作为融合依据，采用多尺度编码孔径和多约束正则重建的方法，实现快速运动场景的压缩感知视频序列图像的超时间分辨率复原。该方法可以同时保证目标运动前景和静态背景的清晰度，有效提高重建算法的运动效率；算法依据目标场景的稀疏特性采用多尺度的观测矩阵实现孔径的两次编码，可以实现CACTI的快速重建；利用目标场景的变换域稀疏特性作为先验知识构建重建正则约束项，利用ADMM算法求解多正则约束的问题，相比现有的重建算法，该算法对噪声和运动模糊有较强的鲁棒性，可以提高算法在高噪声或高帧频条件下视频压缩感知的重建效果。

Description

一种多尺度编码和多重约束的超时间分辨率压缩感知重建 方法

技术领域

本发明涉及光场调制和计算成像技术领域，具体涉及一种基于多尺度编码孔径和多重正则约束的时间压缩重建方法。

背景技术

面向高速运动目标的跟踪成像***受限于传感器的像元尺寸和读取电路，易出现由于曝光时间过长引起的运动模糊，或相机帧频过低导致的时间欠采样，从而引起运动混叠。CACTI时间压缩孔径编码成像方法(CACTI，Coded Aperture Compressive TemporalImager)的提出有效的提高了高速运动目标的捕获能力，为关键事件的记录分析提供了有效手段，该方法已成为压缩感知领域的一个重要研究方向。

CACTI是基于孔径编码原理的快速成像方式，该方法采用了一个主动编码元件对时间进行机械变换，通过获取的多个低时空分辨率的压缩图像，经过广义交替投影法进行重建，可以提高视频的时间分辨率8～148倍。与混合相机、相机阵列、编码曝光成像和DLP(Digital Light Processing)等技术相比，该技术在不改变成像器件的性能指标和积分时间的前提下，无需高精度和高速的曝光控制，就可以获得高帧频的图像序列，突破了现有成像器件对光学***成像性能的限制。

CACTI的成像性能受重构算法的影响显著，而重构算法与观测矩阵、目标的稀疏度和压缩率紧密相关。现有的重构算法主要包括三类：

第一类，基于变换域的重构算法，典型算法包括GAP及其改进算法。该算法利用加权l_2,1范数替代l₁范数求解凸优化问题，在满足RIP等距条件的情况下，可以收敛到理想解，适用于自然图像和视频的压缩感知。该算法具有收敛速度快、运算效率高、适应性强的特点。

GAP算法的缺点在于，算法中采用了变化域和加权l_2,1范数，增加了计算的复杂度，同时对于不同稀疏度的图像需要选择合适的加权系数和变化域才能达到理想的效果。

第二类，基于重建的重构算法，典型算法如OMP和TV算法。其中OMP算法算法运算效率较低；TV算法通过TV正则项替换加权l_2,1范数约束项，可以达到接近GAP算法的性能，简化了算法的运算。但是该算法利用了单帧图像的信息，适用于目标稀疏度较低的自然场景，对于实况记录和目标场景监控等应用，算法性能还有待进一步提高。

第三类，基于学习的重构算法，典型算法如基于GMM(Gaussian Mixture Model)的反演算法。该算法利用在线或离线字典学习方式，针对特定视频序列重构效果有了一定的提升。其中在线更新的GMM算法对于不同的视频和目标运动特征具有鲁棒性，尤其是简单运动情况，重构效果提升明显。对于快速、复杂的运动情况，离线更新的GMM算法更为实用。但是其比较的GAP算法没有针对特定场景进行优化，尤其是加权系数采用了默认值，因此，需要根据实际使用场景进行算法选择。另外，采用并行计算的GMM算法运算速度优于GAP算法，但是对于串行计算场合，速度仍慢于GAP算法。

综合分析，目前CACTI成像方法存在以下问题：第一，由于采用运动编码孔径方式，***需要增加高分辨率掩膜或空间光调制器，降低了成像***的光通量，使得成像结果对噪声更加敏感。第二，现有算法重构过程大都利用帧内信息，没有充分利用帧间的冗余信息。

发明内容

有鉴于此，本发明提供了一种基于多尺度编码孔径和多重正则约束的时间压缩重建方法，以目标场景的运动特性为依据，利用变换域和TV正则的融合算法实现时间超分辨率压缩感知与重建，算法可以同时提高运动目标和静态背景的清晰度，并对噪声具有较强的鲁棒性，适用于目标监视和实况记录设备的视频压缩感知。

一种超时间分辨率压缩感知重建方法，包括如下步骤：

步骤1，对低分辨率编码矩阵进行上采样，得到高分辨率矩阵；将该高分辨率矩阵与同等尺度随机矩阵相乘，得到多尺度编码矩阵；CACTI成像***基于该多尺度编码矩阵获得运动场景的编码混叠图像；

步骤2，利用步骤1中的低分辨率矩阵对编码混叠图像基于TV正则的视频压缩感知进行图像重构，得到重构图像序列：

步骤3，将步骤2得到的重构图像进行上采样，得到重构图像序列的初始估计，基于该重构图像序列的初始估计求取帧间运动矢量；

步骤4、利用帧间运动矢量，对混叠图像进行基于多重约束的视频压缩感知重构，其中，采用ADMM算法重构图像，即求解以下公式的约束问题，得到待求解的重构图像x：

其中，y为混叠图像，Φ为多尺度编码矩阵，W为帧间运动矢量，x为待估计原始图像序列，x为待估计单帧图像，x^(t)表示图像序列的第t次迭代估计结果；ω为变换域对应的系数，表示l_2,1范数的加权群，定义为N为单次观测混叠图像可重构图像序列包含图像的帧数，k表示此序列中的第k帧；θ表示交替乘子算法中的***变量，此处表示帧间随x迭代更新后获取的帧间运动矢量；θ₁表示当前待估计图像与后一帧图像间的运动矢量θ_k表示第k帧与k+1帧之间的运动矢量； 分别表示垂直和水平方向的梯度。

较佳的，低分辨率矩阵采用局部哈达玛矩阵或块循环矩阵。

较佳的，随机矩阵可选取高斯随机矩阵或伯努利矩阵。

较佳的，低分辨率矩阵与高分辨率矩阵之间为整数倍关系，高分辨率矩阵的尺度为低分辨率矩阵的4-32倍。

较佳的，所述步骤3中获得帧间运动矢量方法为：

由初始估计的重构图像序列逐点计算其SIFT值，得到SIFT密度图像f_i，帧间运动矢量w表示为：

其中，f_i和f_i+1表示相邻帧的SIFT密度图像；w(p)表示p点处的运动矢量；t′为截断阈值，用于加速运算；s_u,s_v分别表示SIFT流，在哈尔小波基下的小波系数；λ₁、λ₂表示加权系数；u(p)和v(p)分别表示运动矢量w(p)的垂直和水平分量；α,d分别表示截断函数加权系数和阈值。

较佳的，所述多重约束权重系数采用如下公式获得：

其中，u,v分别为当前像素点的垂直和水平运动分量，T为运动矢量的阈值；η₁,η₂分别为多重约束中变换域和||TV(x)||的权重系数，γ为归一化算子，使

较佳的，采用交替投影算法对步骤4中的所述约束问题求解。

本发明具有如下有益效果：

(1)本发明提出的时间压缩感知重建方法，利用目标场景的运动特性作为融合依据，采用多尺度编码孔径和多约束正则重建的方法，实现快速运动场景的压缩感知视频序列图像的超时间分辨率复原。该方法可以同时保证目标运动前景和静态背景的清晰度，有效提高重建算法的运动效率。

(2)本发明提出一种多尺度编码孔径方法，算法依据目标场景的稀疏特性采用多尺度的观测矩阵实现孔径的两次编码，可以实现CACTI的快速重建。

(3)本发明提出一种多正则化方法，利用目标场景的变换域稀疏特性作为先验知识构建重建正则约束项，利用ADMM算法求解多正则约束的问题，相比现有的重建算法，该算法对噪声和运动模糊有较强的鲁棒性，可以提高算法在高噪声或高帧频条件下视频压缩感知的重建效果。

附图说明

图1为基于运动特性的多重约束时间压缩感知重建方法流程图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提供了一种基于多尺度编码孔径和多重正则约束的时间压缩感知重建方法，能够在高噪声和高压缩率条件下，实现视频压缩感知的快速时间超分辨率重建，重建结果兼顾运动目标和静态背景的清晰度和纹理信息。

本方法的基本原理是基于多尺度编码孔径压缩感知和多正则约束的超分辨率重建方法，利用不同变换域和全变分约束对不同运动特性的目标场景的复原效果差异，利用稀疏特性作为先验知识构建多个正则约束项，联合重建出最优结果。算法的关键步骤：首先，利用低分辨率和高分辨率观测矩阵组合形成多尺度观测矩阵，控制DMD实现对运动场景的孔径编码；通过改进的ADMM+TV算法快速重建出低分辨率视频序列；其次，利用SIFT Flow算法求取帧间运动矢量和多重约束权重值；最后，利用多正则约束重建出视频序列的最优估计，基于运动特性的多重约束重建的成像***成像具体步骤：

步骤1，对低分辨率孔径编码矩阵进行上采样，得到高分辨率矩阵；将该高分辨率矩阵与同等尺度随机矩阵相乘，得到多尺度编码矩阵；其中，低分辨率矩阵可采用局部哈达玛矩阵或块循环矩阵；随机矩阵可选取高斯随机矩阵或伯努利矩阵；低分辨率孔径编码矩阵是指比CACTI成像***一般使用的孔径编码矩阵的尺度要低的孔径编码矩阵；为了便于实现，低分辨率矩阵与高分辨率矩阵之间存在整数倍关系，通常选取4-32倍；CACTI成像***利用多尺度编码矩阵获得运动场景的编码混叠图像，具体为：多尺度编码矩阵由低分辨率矩阵和高分辨率矩阵的矩阵相乘获得，其中高分辨率编码矩阵的元素对应编码元件的最小物理尺寸，低分辨率矩阵的元素为高分辨率矩阵元素的整数倍。CACTI利用编码压缩的原理，在孔径位置采用主动编码单元来实现视频序列的压缩测量。编码元件放置在孔径处，其编码模式由多尺度编码矩阵控制。上述过程表示成线性矩阵形式：

y＝Φx+n (1)

其中n为***成像噪声，Φ为时变的传递函数，其表达式为：

步骤2，低分辨率矩阵有助于降低矩阵运算的维数，提高运算效率，为了获取运动场景之间的运动信息作为先验约束知识实现高精度重构，同时降低算法的运算时间，因此首先利用步骤1中的低分辨率矩阵对编码混叠图像采用基于TV正则的视频压缩感知进行图像重构：

按照成像模型可以由一帧编码混叠图像y重构出N_F帧图像，重构算法需要求解公式(1)，采用ADMM的TV正则化算法进行求解，

其中，x表示待求解图像；x^(t)表示第t次迭代得到的待求解图像x；

给定中间量z时，其解为：

x^(t+1)＝z^(t)+Φ^T(ΦΦ^T)^-1(y-Φz^(t)) (4)

给定x时，将噪声考虑进求解过程，更新z表示为：

ρ^(t+1):＝ρ^(t)+(θ^(t+1)-b^(t+1)) (7)

其中， 分别表示垂直和水平方向的梯度。

步骤3，帧间运动矢量估计与多重约束权重系数计算：

为了便于矩阵运算，使运动矢量矩阵与高分辨率重建图像矩阵尺度一致，将步骤2得到的低分辨率图像序列进行上采样，得到高分辨率图像序列的初始估计，求取帧间运动矢量。

其中，求取帧间运动矢量的方法为：由初始估计的重构图像序列逐点计算其SIFT值，得到SIFT密度图像f_i，帧间运动矢量w可以表示为：

其中，f_i和f_i+1表示相邻帧的SIFT密度图像；w(p)表示p点处的运动矢量；t′为截断阈值，用于加速运算；s_u,s_v分别表示SIFT流，在哈尔小波基下的小波系数；λ₁、λ₂表示加权系数；u(p)和v(p)分别表示运动矢量w(p)的垂直和水平分量；α,d分别表示截断函数加权系数和阈值。

传统的SIFT流计算公式包括SIFT描述符恒常性约束项、垂直和水平运动分量的一阶范数约束项和运动一致性约束项，由于SIFT流计算代价函数中包含l₁范数的运动位移项，所以搜索范围受到限制，导致较大位移时，存在较大误差。本发明提出的小波稀疏约束SIFT流估计算法，利用小波变换域稀疏性，以及旋转和平移不变性，可以实现复杂运动场景的帧间运动估计。

由于SIFT描述符基于像素点及其邻域***内的像素，因此采用低分辨率矩阵进行初始图像序列的估计，并估计帧间运动矢量的结果可以真实反映速度场变化趋势。

采用如下公式获得多重约束权重系数：

其中，η₁,η₂分别为多重约束中变换域和||TV(x)||的权重系数，u,v分别为当前像素点的垂直和水平运动分量，T为运动矢量的阈值；γ为归一化算子，使

步骤4，利用帧间运动矢量，对混叠图像进行基于多重约束的视频压缩感知重构：

基于交替方向乘子法(ADMM)的稀疏优化算法对求解带约束的最小化模型具有很大优势，基于ADMM+TV的重建算法其本质仍是依赖于当前帧的TV正则算法，重建结果中静态背景的重建效果较差；基于GAP+Wavelet/DCT算法虽然采用了加权凸集群，利用了单次观测的重建帧之间的冗余信息，但是其重建结果还有待进一步提升。因此本发明综合利用图像变换域的加权凸集群和全变分作为先验知识约束重构过程，可以保证整个视场的清晰度，提高重构精度。

采用ADMM算法重构图像，其等价于下面的约束问题：

其中，y为混叠图像，Φ为多尺度编码矩阵，W为帧间运动矢量，x为待估计原始图像序列，x为待估计单帧图像，x^(t)表示图像序列的第t次迭代估计结果；ω为变换域对应的系数，表示l_2,1范数的加权群，定义为N为单次观测混叠图像可重构图像序列包含图像的帧数，k表示此序列中的第k帧；θ表示交替乘子算法中的***变量，此处表示帧间随x迭代更新后获取的帧间运动矢量；θ₁表示当前待估计图像与后一帧图像间的运动矢量θ_k表示第k帧与k+1帧之间的运动矢量； 分别表示垂直和水平方向的梯度。

采用交替投影算法对公式(11)进行求解：

其中λ_i,i＝1,2,3为正则系数；t为迭代次数；M为帧间运动矢量对应的空间转换矩阵。上式可以采用交替迭代方法更新θ和x。上式将整个视频序列的超分辨率重建视为一个优化问题，进行联合求解。θ_i ^(t)表示第t帧与t+1帧之间的运动矢量的第t次迭代结果。

像质评价：计算步骤4中重构图像序列的成像质量，采用主观评价和客观评价指标相结合的方式，客观评价指标采用融合评价指标。

其中，p_i表示每幅图像失真的程度或概率；q_i表示对应不同评价指标的评价分数，包括相似度SSIM、信噪比PSNR、重构误差MSE和盲评价指标BIQI；λ_i为归一化系数，对于SSIM和PSNR其值为正，对于MSE和BIQI其值为负；s表示时间压缩率，N表示评价指标数量。如果不满足要求，重新设定运动特性判别阈值，返回步骤3。如果满足使用需求，则输出重构结果。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种超时间分辨率压缩感知重建方法，其特征在于，包括如下步骤：

步骤1，对低分辨率编码矩阵进行上采样，得到高分辨率矩阵；将该高分辨率矩阵与同等尺度随机矩阵相乘，得到多尺度编码矩阵；CACTI成像***基于该多尺度编码矩阵获得运动场景的编码混叠图像；

步骤2，利用步骤1中的低分辨率矩阵对编码混叠图像基于TV正则的视频压缩感知进行图像重构，得到重构图像序列：

步骤3，将步骤2得到的重构图像进行上采样，得到重构图像序列的初始估计，基于该重构图像序列的初始估计求取帧间运动矢量；

步骤4、利用帧间运动矢量，对混叠图像进行基于多重约束的视频压缩感知重构，其中，采用ADMM算法重构图像，即求解以下公式的约束问题，得到待求解的重构图像x：

其中，y为混叠图像，Φ为多尺度编码矩阵，W为帧间运动矢量，x为待估计原始图像序列，x为待估计单帧图像，x^(t)表示图像序列的第t次迭代估计结果；ω为变换域对应的系数，表示l_2,1范数的加权群，定义为N为单次观测混叠图像可重构图像序列包含图像的帧数，k表示此序列中的第k帧；θ表示交替乘子算法中的***变量，此处表示帧间随x迭代更新后获取的帧间运动矢量；θ₁表示当前待估计图像与后一帧图像间的运动矢量θ_k表示第k帧与k+1帧之间的运动矢量； 分别表示垂直和水平方向的梯度。

2.如权利要求1所述的一种超时间分辨率压缩感知重建方法，其特征在于，其中，低分辨率矩阵采用局部哈达玛矩阵或块循环矩阵。

3.如权利要求1或2所述的一种超时间分辨率压缩感知重建方法，其特征在于，随机矩阵可选取高斯随机矩阵或伯努利矩阵。

4.如权利要求1或2所述的一种超时间分辨率压缩感知重建方法，其特征在于，低分辨率矩阵与高分辨率矩阵之间为整数倍关系，高分辨率矩阵的尺度为低分辨率矩阵的4-32倍。

5.如权利要求1所述的一种超时间分辨率压缩感知重建方法，其特征在于，所述步骤3中获得帧间运动矢量方法为：

由初始估计的重构图像序列逐点计算其SIFT值，得到SIFT密度图像f_i，帧间运动矢量w表示为：

其中，f_i和f_i+1表示相邻帧的SIFT密度图像；w(p)表示p点处的运动矢量；_t′为截断阈值，用于加速运算；s_u,s_v分别表示SIFT流，在哈尔小波基下的小波系数；λ₁、λ₂表示加权系数；u(p)和v(p)分别表示运动矢量w(p)的垂直和水平分量；α,d分别表示截断函数加权系数和阈值。

6.如权利要求1或5所述的一种超时间分辨率压缩感知重建方法，其特征在于，所述多重约束权重系数采用如下公式获得：

其中，u,v分别为当前像素点的垂直和水平运动分量，T为运动矢量的阈值；η₁,η₂分别为多重约束中变换域和||TV(x)||的权重系数，γ为归一化算子，使

7.如权利要求1所述的一种超时间分辨率压缩感知重建方法，其特征在于，采用交替投影算法对步骤4中的所述约束问题求解。