CN116245726A - 基于深度学习框架的压缩感知偏振超分辨成像方法 - Google Patents

Abstract

基于深度学***面偏振探测器在较低采样率下获得的图像实现超分辨率偏振图像的重建，生成高分辨率无偏振马赛克的S0、DOLP和AOP图像。本方法在去偏振马赛克的基础上，生成的S0、DOLP和AOP图像分辨率远高于偏振探测器原始分辨率；利用深度学习网络建立起原始偏振图像与S0、DOLP和AOP偏振特性图像之间的映射关系，直接由原始偏振马赛克图像生成高分辨率无马赛克S0、DOLP和AOP图像。本发明可有效地避免二次误差。

Description

基于深度学习框架的压缩感知偏振超分辨成像方法

技术领域

本发明涉及计算成像和偏振探测技术领域，特别涉及一种基于深度学习和压缩感知的偏振超分辨率重建方法。

背景技术

偏振成像技术适用于多种复杂环境中对低对比度目标成像，除在军事领域广泛应用外，在工业检测、农业监察、生物医学、大气监测、公安侦察等方面也具有极大的潜力。

分焦平面偏振探测器是偏振成像领域的新兴技术，它将4个不同偏振方向的亚波长金属光栅集成在4个相邻像素中，从而形成一个超像素。由于分焦平面偏振探测器可同时采集多个偏振角度信息，且结构简单、集成度高、性能稳定、实时性好，因此在偏振探测领域得到广泛应用。然而，分焦平面偏振探测器相邻像元上分布着不同的偏振方向，会采集到马赛克式的偏振图像，从而导致偏振成像分辨率损失和瞬时视场缺失。因此在偏振成像领域，如何去除分焦平面偏振成像中的马赛克效果是一直以来研究的重点。

压缩感知理论突破了奈奎斯特采样频率对信号采样的限制，在较低的采样率下同时对信号进行获取和压缩，并重建出高维信号。利用压缩感知技术可以使低分辨率探测器在有限***的带宽下实现高分辨率探测。结合深度学***面偏振成像的分辨率有着极大的优势。

2020年Garrett C.Sargent[Garrett C.Sargent,Bradley M.Ratliff,andVijayan K.Asari,"Conditional generative adversarial network demosaicingstrategy for division of focal plane polarimeters,"Opt.Express 28,38419-38443(2020)]等人提出使用条件生成对抗网络(cGAN)，来去除偏振图像的马赛克。其中，生成器中加入U-Net架构，判别器中加入PatchGAN架构，这种网络结构提高了高频内容的生成概率，最终可输出全分辨率偏振特征图像。该方法利用深度学***面偏振成像分辨率损失的问题，使得生成图像的分辨率与分焦平面偏振探测器的分辨率一致。然而此类方法无法进一步提升偏振成像的分辨率，对于红外等探测谱段仍然无法满足高分辨率成像需求。

发明内容

本发明为了解决现有技术存在的无法进一步提升偏振成像的分辨率，对于红外等探测谱段仍然无法满足高分辨率成像需求的问题，提供一种基于深度学***面偏振相机马赛克的基础上，同时实现高于原有分焦平面偏振探测器分辨率的超分辨率重建。

为了解决现有技术存在的问题，本发明提供的技术方案是：

基于深度学习框架的压缩感知偏振超分辨成像方法，该方法包括以下三步骤：压缩编码采样、超分辨率重建和去偏振马赛克；其中超分辨率重建和去偏振马赛克阶段由两层生成对抗网络来实现；

第一步，压缩编码采样：利用数字微镜阵列DMD对成像场景进行压缩感知编码测量采样；首先将成像场景投映到DMD上，通过DMD对成像场景进行独立的分块编码，分块后的每一块区域各自成像在分焦平面偏振探测器的一个像元上，分焦平面偏振探测器对编码后的图像信息采集，生成原始偏振马赛克图像I_(mos，k)；

第二步，超分辨率重建：原始偏振马赛克图像中相邻像素之间的偏振方向是不同的，按照偏振度为0°、45°、90°、135°的像素为一个超像元进行分割，之后重组成一维的测量值向量y_Ki；并且将对应的编码掩模重组成用于重建的测量矩阵Φ；将测量向量y_Ki与测量矩阵Φ与作为输入数据，送入到第一层生成对抗网络的生成器G₀中进行压缩感知重构，生成伪高分辨率图像I_HRmos，将生成的伪图像与真实的高分辨率偏振图像在鉴别器D₀中进行辨别真假，根据损失函数对G₀和D₀中的网络参数迭代更新，使生成图像不断向真实高分辨率偏振图像趋近；

第三步，去偏振马赛克：将第二阶段G₀生成的图像I_HRmos输入第二层生成对抗网络的生成器G₁中，建立起偏振马赛克图像与偏振特性之间的映射关系，从而生成去偏振马赛克后的S0、DOLP和AOP图像，将生成的S0、DOLP和AOP图像与真实的S0、DOLP和AOP图像在鉴别器D₁进行评价，根据损失函数对G₁和D₁中的网络参数迭代更新，使生成图像不断向真实高分辨率S0、DOLP和AOP图像趋近。

本发明的有益效果如下：

1、本发明将压缩感知理论与生成对抗网络相结合，形成了一种基于深度学***面偏振探测器在较低采样率下获得的图像实现超分辨率偏振图像的重建，生成高分辨率无偏振马赛克的S0、DOLP和AOP图像。与以往深度学习去偏振成像马赛克的方法不同，本方法在去偏振马赛克的基础上，生成的S0、DOLP和AOP图像分辨率远高于偏振探测器原始分辨率。

2、偏振成像的最终目的是为了得到偏振特性图像，以往偏振成像是利用原始低分辨率偏振图像重建出不同偏振方向的高分辨率强度图像，然后依据公式计算得到偏振特性图像。而本发明利用深度学习网络建立起原始偏振图像与S0、DOLP和AOP偏振特性图像之间的映射关系，直接由原始偏振马赛克图像生成高分辨率无马赛克S0、DOLP和AOP图像。此过程不仅减少了训练任务，而且由于重建出来的偏振方向图像本身也带有重建误差，本发明不需要由重建的偏振方向图像再次计算获得偏振特性图像的过程，可有效地避免二次误差。

附图说明

图1为本发明基于深度学习框架的压缩感知偏振超分辨成像方法的流程图；

图2为DMD编码采样原理图，其中1为目标场景，2为望远物镜，3为数字微镜阵列DMD，4为投影镜头，5为分焦平面偏振探测器；

图3为测量值重组示意图，其中a为DMD上加载的编码掩膜，b为DMD微镜与分焦平面偏振探测器的超像元对应的区域，c为编码掩膜a的向量形式，d为偏振探测器采集的结果，e为编码向量c的重组列向量组，f为DMD微镜与分焦平面偏振探测器像元对应的区域b的向量形式；

图4为图2中分焦平面偏振探测器5的微偏振阵列排布；

图5为第一层对抗生成网络的生成器G₀结构图；

图6为第一层对抗生成网络的鉴别器D₀结构图；

图7为第二层对抗生成网络的生成器G₁结构图；

图8为残差模块结构图；

图9为第二层对抗生成网络的鉴别器D₁结构图；

图10为偏振探测器拍摄的原始偏振图像I_(mos，k)；

图11为第一层生成对抗网络生成的高分辨率偏振马赛克图像I_HRmos；

图12为利用图9原始偏振图像I_(mos，k)解算得到的S0图像；

图13为利用图10高分辨率偏振马赛克图像I_HRmos解算得到的S0图像；

图14为利用图9原始偏振图像I_(mos，k)解算得到的DOLP图像；

图15为利用图10高分辨率偏振马赛克图像I_HRmos解算得到的DOLP图像为；

图16利用图9原始偏振图像I_(mos，k)解算得到的AOP图像；

图17为利用图10高分辨率偏振马赛克图像I_HRmos解算得到的AOP图像。

具体实施方式

以下结合附图对本发明做进一步详细说明。

基于深度学习框架的压缩感知偏振超分辨成像方法，实现的具体步骤如下：

第一步，压缩编码采样，包括以下几步：

步骤1、数字微镜阵列DMD对成像场景进行编码，首先将成像场景投映到DMD上，通过DMD对成像场景进行独立的分块编码，分块后的每一块区域各自成像在分焦平面偏振探测器的一个像元上，通过分焦平面偏振相机获得压缩采样的偏振马赛克原始图像I_(mos，k)，得到的偏振马赛克原始图像数量等于编码测量次数T，用k表示第k次测量。

步骤2、获得重构图像的训练集数据：

2.1、原始偏振马赛克图像I_(mos，k)相邻像素之间的偏振度是不同的，将获得的原始偏振马赛克图像I_(mos，k)按照偏振度为0°、45°、90°、135°的像素为一个超像元区域进行分割，超像元的值转换成一维的测量值向量y_i，y_i表示第i个超像元；同时将对应的编码掩膜矩阵进行重组，产生用于重建的编码矩阵M_i。

2.2、将不同偏振编码图像上相同位置的T个超像元测量值向量y_i组合成一个向量y_Ki，编码矩阵M_i组合成测量矩阵Φ，y_Ki和Φ作为生成器的输入数据。

第二步，超分辨率重建，包括以下步骤：

步骤1、将测量向量y_Ki与测量矩阵Φ输入第一层生成对抗网络的生成器G₀，通过全连接层对y_Ki进行线性映射，获得初始重建结果

之后/>

经过四个卷积层后重建生成输出结果

其中，测量值y_Ki与测量矩阵Φ对超像元区域的图像块进行初步的重建利用一个全连接网络来实现。

表达式为

表达式中，

表示初始重建结果，W_p表示全连接层权重参数矩阵，b_i表示偏置。

生成器G₀由一个全连接层和四个卷积层构成，全连接层用来对压缩采样信息进行初步的重建；前两个卷积层对图像进行特征的提取，第三个卷积层是亚像素卷积层，对图像的分辨率进行提升，第四个卷积层输出重建结果。前三个卷积层的激活函数为ReLU，第四层的激活函数为双曲正切函数tanh。

步骤2、将步骤1的重建结果

与真实图像块输入进第一层生成对抗网络的鉴别器D₀进行判别。鉴别器D₀有4个卷积层前三个卷积层的激活函数为Leaky-ReLU。第四层的结果作为鉴别器D₀的输出，激活函数为Sigmoid函数。

步骤3、计算出生成器G₀与鉴别器D₀的损失函数，根据计算出的损失利用Adam优化器对生成器G₀与鉴别器D₀分别进行交替的重建训练，同时更新生成器G₀与鉴别器D₀内部的参数。

其中，生成器G₀的对抗损失为：

生成器G₀的内容损失为：

公式中生成器G₀总损失函数为：

判别器D₀损失函数为：

公式中，φ是预先训练的VGG-16，

为低分辨率图像，/>

为高分辨率图像，C、H、W分别表示通道数、图像长度、图像宽度。

步骤4、当训练结果的误差达到设定误差时，重建迭代训练完成，保存生成器G₀与鉴别器D₀。

步骤5、将重构完成的图像块拼接成完整的偏振成像场景图像I_HRmos，此时I_HRmos是带有偏振马赛克的高分辨率偏振强度图像。

第三步，去偏振马赛克，包括以下步骤：

步骤1、将高分辨率偏振马赛克强度图像I_HRmos输入第二层生成对抗网络中的生成器G₁中。I_HRmos相邻像素上的偏振方向都不相同，每个超像素上都包含0°、45°、90°、135°的偏振度。利用I_HRmos中不同偏振方向强度信息与S0、DOLP和AOP之间的关系，建立高分辨率偏振马赛克强度图像I_HRmos与高分辨率偏振特性图像的映射关系，生成S0、DOLP和AOP的偏振特性图像I_S0、I_DOLP、I_AOP。

其中，G₁含有两个卷积层和两个残差模块，一个卷积层用于初步的特征提取，一个卷积层用于结果输出。卷积层的激活函数为ReLU，输出卷积层激活函数为双曲正切函数tanh。

I_HRmos中不同偏振方向强度信息与S₀、DOLP和AOP之间的关系为

步骤2、将步骤1的生成结果与真实的S0、DOLP和AOP的偏振特性图像输入到第二层生成对抗网络中的鉴别器D₁进行判别。鉴别器D₁由5个卷积层组成，前四个卷积层的激活函数为Leaky-ReLU。第五层卷积的激活函数为Sigmoid函数。

步骤3、计算出生成器G₁与鉴别器D₁的损失函数，根据计算出的损失利用Adam优化器函数对生成器G₁与鉴别器D₁分别进行交替的重建训练，同时更新生成器G₁与鉴别器D₁内部的参数。

其中，生成器G₁的对抗损失函数为:

生成器G₁的L1平滑损失函数为：

L_smooth-L1＝smooth_L1(H-G₁(I_HRmos)) (10)

生成器G₁的像素损失函数为：

公式中生成器G₁总损失函数为：

判别器D₁损失函数为:

公式中，d表示图像的梯度，H是预期的高分辨率无马赛克偏振图像。

步骤4、当训练结果的误差达到设定误差时，重建迭代训练完成，输出最后的重建结果，保存生成器G₁与鉴别器D₁。

实施例：

如图1所示，基于深度学习和压缩感知的偏振超分辨成像方法，流程步骤如下：

第一步，压缩编码采样，包括以下几步：

步骤1、数字微镜阵列DMD对成像场景进行编码，通过分焦平面偏振相机获得压缩采样的偏振马赛克原始图像I_(mos，k)，得到的偏振马赛克原始图像数量等于编码测量次数T，用k表示第k次测量。本实施例子中DMD尺寸以1920×1080为例来进行说明，偏振分焦平面探测器分辨率为960×540。

其中DMD对成像场景进行压缩感知编码测量采样，如图2所示，偏振成像***由目标场景1、望远物镜2、数字微镜阵列DMD3、投影镜头4、分焦平面偏振探测器5组成。首先将目标场景1投映到数字微镜阵列DMD3的1920×1080个微镜上，通过加载随机编码矩阵控制数字微镜阵列DMD3上每一个微镜，实现对成像场景独立的分块编码，然后分焦平面偏振探测器5采集编码后的图像信息，生成原始偏振马赛克图像I_(mos，k)。

步骤2、获得重构图像的训练集数据：

2.1、测量值重组过程如图3所示，数字微镜阵列DMD3上加载的编码掩膜a转换成一维列向量c，数字微镜阵列DMD3的微镜与偏振探测器像元对应的区域b所示的是一块4×4的微镜区域，每2×2个微镜各被成像在分焦平面偏振探测器5的一个像元上。4×4个微镜区域投影在分焦平面偏振探测器的一个大小为2×2的超像元上，一个超像元里包含着偏振度为0°、45°、90°、135°的偏振信息。

测量值重组过程中将编码掩模a的向量形式c按照DMD微镜与偏振探测器像元对应关系重新排列成向量组e，将向量组e构成用于重建的编码矩阵M_i，将DMD微镜与偏振探测器像元对应的区域b的向量形式f与编码矩阵M_i相乘得到偏振探测采集的结果d。原始偏振马赛克图像I_(mos，k)相邻像素之间的偏振度是不同的，如图4所示，将获得的原始偏振马赛克图像I_(mos，k)按照偏振度为0°、45°、90°、135°的像素为一个超像元区域进行分割，偏振探测采集的结果d是一个超像元的向量形式，将超像元转换成一维的测量值向量y_i。y_i表示第i个超像元，这里总数为I＝480*270。

2.2、将不同偏振编码图像上相同位置的T个超像元的测量值向量y_i组合成一个向量y_Ki，编码矩阵M_i组合成测量矩阵Φ。y_Ki和Φ作为生成器的输入数据，训练时选用采样次数为8、4、1，对应的采样率分别为0.5、0.25、0.0625。

第二步，超分辨率重建，包括以下步骤：

步骤1、将测量向量y_Ki和Φ输入进第一层生成对抗网络的生成器G₀，通过全连接层对y_Ki进行线性映射，获得初始重建结果

之后/>

经过四个卷积层后重建生成输出结果

测量值y_Ki与测量矩阵Φ对图像块进行初步的重建利用一个全连接网络来实现。

表达式为

其中，

表示初始重建结果，W_p表示全连接层权重参数矩阵，b_i表示偏置。

如图5所示，生成器G₀由一个全连接层和四个卷积层构成，全连接层用来对压缩采样信息进行初步的重建。第一个卷积层为64个3×3大小的卷积核，第一层的激活函数为ReLU，采样步长为1。第二个卷积层为32个2×2大小的卷积核，第二层的激活函数为ReLU，采样步长为2。第三层为亚像素卷积层为16个2×2大小的卷积核，第三层的激活函数为ReLU，采样步长为2。第四个卷积层为8个1×1大小的卷积核，采样步长为1，第四层的结果作为生成器G₀的输出，激活函数为双曲正切函数tanh。所有的卷积层输出分别经过批量归一化层处理后输入激活函数，并且卷积层均采用适当的零填充。

步骤2、将步骤1的重建结果

与真实图像块输入进第一层生成对抗网络的鉴别器D₀进行评价。如图6所示，鉴别器D₀有4个卷积层，第一个卷积层有1个4×4大小的卷积核，第一层的激活函数为Leaky-LURe，采样步长为1。第二个卷积层有16个3×3大小的卷积核，第二层的激活函数为Leaky-ReLU，采样步长为1。第三个卷积层有32个2×2大小的卷积核，第三层的激活函数为Leaky-ReLU，采样步长为1。第四个卷积层有64个2×2大小的卷积核，第四层的结果作为鉴别器D₀的输出，激活函数为Sigmoid函数，采样步长为1，所有的卷积层输出分别经过批量归一化层处理后输入激活函数。卷积层均采用适当的零填充。

步骤3、计算出生成器G₀与鉴别器D₀的损失函数，根据计算出的损失函数对生成器G₀与鉴别器D₀分别有Adam优化器进行交替的重建训练，同时更新生成器G₀与鉴别器D₀内部的参数。

其中，生成器G₀的对抗损失为：

生成器G₀的内容损失为：

公式中生成器G₀总损失函数为：

判别器D₀损失函数为：

公式中，φ是预先训练的VGG-16，

为低分辨率图像，/>

为高分辨率图像，C、H、W分别表示通道数、图像长度、图像宽度。

步骤4、当训练结果的误差达到设定误差时，重建迭代训练完成，保存生成器G₀与鉴别器D₀。

步骤5、将重构完成的I个大小为4×4的图像块拼接成完整的分辨率为1920×1080的偏振成像场景图像I_HRmos。如图11所示，此时I_HRmos是带有偏振马赛克的高分辨率强度图像。

第三步，去偏振马赛克，包括以下步骤：

步骤1、将高分辨率偏振马赛克强度图像I_HRmos输入第二层生成对抗网络中的生成器G₁中。I_HRmos相邻像素上的偏振方向都不相同，每个超像素上都包含0°、45°、90°、135°的偏振度。利用I_HRmos中不同偏振方向强度信息与S₀、DOLP和AOP之间的关系，建立高分辨率偏振马赛克强度图像I_HRmos与高分辨率偏振特性图像的映射关系，生成S₀、DOLP和AOP的偏振特性图像I_S0、I_DOLP、I_AOP。

如图7所示，生成器G₁有2个卷积层和2个残差模块，第一个卷积层有256个3×3大小的卷积核，第一层的激活函数为ReLU，采样的步长为1。第二层为残差模块主要进行特征提取。第三层为残差模块主要进行对特征的映射，残差块结构如图8所示。第四层为包含16个3×3大小的卷积核的卷积层，第四层的结果作为生成器G₁的输出，激活函数为双曲正切函数tanh。所有的卷积层输出分别经过批量归一化层处理后输入激活函数。为了保持残差重建网络中各中间特征图的尺寸大小一致，所有卷积层均采用适当的零填充。

I_HRmos中不同偏振方向强度信息与S₀、DOLP和AOP之间的关系为

利用偏振度与S0、DoLP和AOP之间的关系通过深度学习网络就可以建立起它们之间的非线性映射关系。

步骤2、将步骤1的重建结果与真实的S0、DOLP和AOP的偏振特性图像输入到第二层生成对抗网络中的鉴别器D₁进行评价。

如图9所示，鉴别器D₁由五个卷积层和一个全连接层组成，第一个卷积层为16个28×28大小的卷积核，第一层的激活函数为Leaky-ReLU，采样步长为2。第二个卷积层有32个7×7大小的卷积核，第二层的激活函数为Leaky-ReLU，采样步长为2。第三个卷积层有48个5×5大小的卷积核，第三层的激活函数为Leaky-ReLU，采样步长为1。第四个卷积层有64个3×3大小的卷积核，第四层的激活函数为Leaky-ReLU，采样步长为1。第五个卷积层有128个3×3大小的卷积核，采样步长为1，第五层的结果作为鉴别器D₁的输出，激活函数为Sigmoid函数，采样步长为1。所有的卷积层输出分别经过批量归一化层处理后输入激活函数。卷积层均采用适当的零填充。

步骤3、计算出生成器G₁与鉴别器D₁的损失函数，根据计算出的损失函数对生成器G₁与鉴别器D₁分别有Adam优化器进行交替的重建训练，同时更新生成器G₁与鉴别器D₁内部的参数。

其中，生成器G₁的对抗损失函数为:

生成器G₁的L1平滑损失函数为：

L_smooth-L1＝smooth_L1(H-G₁(I_HRmos)) (24)

生成器G₁的像素损失函数为：

公式中生成器G₁总损失函数为：

/>

判别器D₁损失函数为:

公式中，d表示图像的梯度，H是预期的高分辨率无马赛克偏振图像。

步骤4、当训练结果的误差达到设定误差时，重建迭代训练完成，输出最后的重建结果，保存生成器G₁与鉴别器D₁。

最终整体的网络输出分辨率为1920×1080的高分辨率S0、DOLP和AOP图像。

如图10、11所示偏振探测器拍摄的原始偏振图像I_(mos，k)经过第一层生成对抗网络得到高分辨率偏振马赛克图像I_HRmos，高分辨率偏振马赛克图像I_HRmos的分辨率高于原始偏振图像I_(mos，k)的分辨率，高分辨率偏振马赛克图像I_HRmos具有更丰富的细节特征。图12、14、16分别是S0、DOLP、AOP图像，这些图像是利用传统偏振去马赛克方法由原始偏振图像I_(mos，k)得到不同偏振方向强度图像，然后依据公式计算得到偏振特性图像。图13、16、17分别是本发明方法生成的S0、DOLP、AOP图像，可以看出本方法生成的偏振特性图像质量远高于传统偏振去马赛克方法得到的图像。

应当理解的是，上述针对DMD尺寸为1920×1080，分焦平面偏振探测器分辨率为960×540，2倍超分辨率图像重建为实施例来进行较为详细的描述，并不能因此而认为是对本发明专利保护范围的限制，偏振探测领域的技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (4)

1.基于深度学习框架的压缩感知偏振超分辨成像方法，其特征是，该方法包括以下三步：压缩编码采样、超分辨率重建和去偏振马赛克；其中超分辨率重建和去偏振马赛克阶段由两层生成对抗网络来实现；

第一步，压缩编码采样：利用数字微镜阵列DMD对成像场景进行压缩感知编码测量采样；首先将成像场景投映到DMD上，通过DMD对成像场景进行独立的分块编码，分块后的每一块区域各自成像在分焦平面偏振探测器的一个像元上，分焦平面偏振探测器对编码后的图像信息采集，生成原始偏振马赛克图像I_(mos，k)；

第二步，超分辨率重建：原始偏振马赛克图像中相邻像素之间的偏振方向是不同的，按照偏振度为0°、45°、90°、135°的像素为一个超像元进行分割，之后重组成一维的测量值向量y_Ki；并且将对应的编码掩模重组成用于重建的测量矩阵Φ；将测量向量y_Ki与测量矩阵Φ与作为输入数据，送入到第一层生成对抗网络的生成器G₀中进行压缩感知重构，生成伪高分辨率图像I_HRmos，将生成的伪图像与真实的高分辨率偏振图像在鉴别器D₀中进行辨别真假，根据损失函数对G₀和D₀中的网络参数迭代更新，使生成图像不断向真实高分辨率偏振图像趋近；

第三步，去偏振马赛克：将第二步G₀生成的图像I_HRmos输入第二层生成对抗网络的生成器G₁中，建立起偏振马赛克图像与偏振特性之间的映射关系，从而生成去偏振马赛克后的S0、DOLP和AOP图像，将生成的S0、DOLP和AOP图像与真实的S0、DOLP和AOP图像在鉴别器D₁进行评价，根据损失函数对G₁和D₁中的网络参数迭代更新，使生成图像不断向真实高分辨率S0、DOLP和AOP图像趋近。

2.根据权利要求1所述的基于深度学习框架的压缩感知偏振超分辨成像方法，其特征在于，所述第一步压缩编码采样的具体步骤为：

步骤1、数字微镜阵列DMD对成像场景进行编码，首先将成像场景投映到DMD上，通过DMD对成像场景进行独立的分块编码，分块后的每一块区域各自成像在分焦平面偏振探测器的一个像元上，通过分焦平面偏振相机获得压缩采样的偏振马赛克原始图像I_(mos，k)，得到的偏振马赛克原始图像数量等于编码测量次数T，用k表示第k次测量；

步骤2、获得重构图像的训练集数据：

2.1、原始偏振马赛克图像I_(mos，k)相邻像素之间的偏振度是不同的，将获得的原始偏振马赛克图像I_(mos，k)按照偏振度为0°、45°、90°、135°的像素为一个超像元区域进行分割，超像元的值转换成一维的测量值向量y_i，y_i表示第i个超像元；同时将对应的编码掩膜矩阵进行重组，产生用于重建的编码矩阵M_i；

2.2、将不同偏振编码图像上相同位置的T个超像元测量值向量y_i组合成一个向量y_Ki，编码矩阵M_i组合成测量矩阵Φ，y_Ki和Φ作为生成器的输入数据。

3.根据权利要求1所述的基于深度学习框架的压缩感知偏振超分辨成像方法，其特征在于，所述第二步超分辨率重建，具体包括以下步骤：

步骤1、将测量向量y_Ki与测量矩阵Φ输入第一层生成对抗网络的生成器G₀，通过全连接层对y_Ki进行线性映射，获得初始重建结果

之后/>

经过四个卷积层后重建生成输出结果

其中，测量值y_Ki与测量矩阵Φ对超像元区域的图像块进行初步的重建利用一个全连接网络来实现；

表达式为

表达式中，

表示初始重建结果，W_p表示全连接层权重参数矩阵，b_i表示偏置；

生成器G₀由一个全连接层和四个卷积层构成，全连接层用来对压缩采样信息进行初步的重建；前两个卷积层对图像进行特征的提取，第三个卷积层是亚像素卷积层，对图像的分辨率进行提升，第四个卷积层输出重建结果；前三个卷积层的激活函数为ReLU，第四层的激活函数为双曲正切函数tanh；

步骤2、将步骤1的重建结果

与真实图像块输入进第一层生成对抗网络的鉴别器D₀进行判别；鉴别器D₀有4个卷积层前三个卷积层的激活函数为Leaky-ReLU；第四层的结果作为鉴别器D₀的输出，激活函数为Sigmoid函数；

步骤3、计算出生成器G₀与鉴别器D₀的损失函数，根据计算出的损失利用Adam优化器对生成器G₀与鉴别器D₀分别进行交替的重建训练，同时更新生成器G₀与鉴别器D₀内部的参数；

其中，生成器G₀的对抗损失为：

生成器G₀的内容损失为：

公式中生成器G₀总损失函数为：

判别器D₀损失函数为：

公式中，φ是预先训练的VGG-16，

为低分辨率图像，/>

为高分辨率图像，C、H、W分别表示通道数、图像长度、图像宽度；

步骤4、当训练结果的误差达到设定误差时，重建迭代训练完成，保存生成器G₀与鉴别器D₀；

步骤5、将重构完成的图像块拼接成完整的偏振成像场景图像I_HRmos，此时I_HRmos是带有偏振马赛克的高分辨率偏振强度图像。

4.根据权利要求1所述的基于深度学习框架的压缩感知偏振超分辨成像方法，其特征在于，所述第三步去偏振马赛克，具体包括以下步骤：

步骤1、将高分辨率偏振马赛克强度图像I_HRmos输入第二层生成对抗网络中的生成器G₁中；I_HRmos相邻像素上的偏振方向都不相同，每个超像素上都包含0°、45°、90°、135°的偏振度；利用I_HRmos中不同偏振方向强度信息与S0、DOLP和AOP之间的关系，建立高分辨率偏振马赛克强度图像I_HRmos与高分辨率偏振特性图像的映射关系，生成S0、DOLP和AOP的偏振特性图像I_S0、I_DOLP、I_AOP；

其中，G₁含有两个卷积层和两个残差模块，一个卷积层用于初步的特征提取，一个卷积层用于结果输出；卷积层的激活函数为ReLU，输出卷积层激活函数为双曲正切函数tanh；

I_HRmos中不同偏振方向强度信息与S₀、DOLP和AOP之间的关系为

步骤2、将步骤1的生成结果与真实的S0、DOLP和AOP的偏振特性图像输入到第二层生成对抗网络中的鉴别器D₁进行判别；鉴别器D₁由5个卷积层组成，前四个卷积层的激活函数为Leaky-ReLU；第五层卷积的激活函数为Sigmoid函数；

步骤3、计算出生成器G₁与鉴别器D₁的损失函数，根据计算出的损失利用Adam优化器函数对生成器G₁与鉴别器D₁分别进行交替的重建训练，同时更新生成器G₁与鉴别器D₁内部的参数；

其中，生成器G₁的对抗损失函数为:

生成器G₁的L1平滑损失函数为：

L_smooth-L1＝smooth_L1(H-G₁(I_HRmos))(10)

生成器G₁的像素损失函数为：

公式中生成器G₁总损失函数为：

判别器D₁损失函数为:

公式中，d表示图像的梯度，H是预期的高分辨率无马赛克偏振图像；

步骤4、当训练结果的误差达到设定误差时，重建迭代训练完成，输出最后的重建结果，保存生成器G₁与鉴别器D₁。

Images