CN116245726A - 基于深度学习框架的压缩感知偏振超分辨成像方法 - Google Patents
基于深度学习框架的压缩感知偏振超分辨成像方法 Download PDFInfo
- Publication number
- CN116245726A CN116245726A CN202310071614.8A CN202310071614A CN116245726A CN 116245726 A CN116245726 A CN 116245726A CN 202310071614 A CN202310071614 A CN 202310071614A CN 116245726 A CN116245726 A CN 116245726A
- Authority
- CN
- China
- Prior art keywords
- polarization
- image
- resolution
- mosaic
- generator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010287 polarization Effects 0.000 title claims abstract description 161
- 238000003384 imaging method Methods 0.000 title claims abstract description 54
- 238000013135 deep learning Methods 0.000 title claims abstract description 21
- 238000005070 sampling Methods 0.000 claims abstract description 36
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000013507 mapping Methods 0.000 claims abstract description 13
- 230000028161 membrane depolarization Effects 0.000 claims abstract description 11
- 230000006835 compression Effects 0.000 claims abstract description 7
- 238000007906 compression Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 74
- 230000004913 activation Effects 0.000 claims description 35
- 239000011159 matrix material Substances 0.000 claims description 26
- 239000013598 vector Substances 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 24
- 238000005259 measurement Methods 0.000 claims description 22
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 230000002999 depolarising effect Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 10
- 101100277917 Caenorhabditis elegans dmd-3 gene Proteins 0.000 description 5
- 238000010606 normalization Methods 0.000 description 4
- 238000005215 recombination Methods 0.000 description 3
- 230000006798 recombination Effects 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000008521 reorganization Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
基于深度学***面偏振探测器在较低采样率下获得的图像实现超分辨率偏振图像的重建,生成高分辨率无偏振马赛克的S0、DOLP和AOP图像。本方法在去偏振马赛克的基础上,生成的S0、DOLP和AOP图像分辨率远高于偏振探测器原始分辨率;利用深度学习网络建立起原始偏振图像与S0、DOLP和AOP偏振特性图像之间的映射关系,直接由原始偏振马赛克图像生成高分辨率无马赛克S0、DOLP和AOP图像。本发明可有效地避免二次误差。
Description
技术领域
本发明涉及计算成像和偏振探测技术领域,特别涉及一种基于深度学习和压缩感知的偏振超分辨率重建方法。
背景技术
偏振成像技术适用于多种复杂环境中对低对比度目标成像,除在军事领域广泛应用外,在工业检测、农业监察、生物医学、大气监测、公安侦察等方面也具有极大的潜力。
分焦平面偏振探测器是偏振成像领域的新兴技术,它将4个不同偏振方向的亚波长金属光栅集成在4个相邻像素中,从而形成一个超像素。由于分焦平面偏振探测器可同时采集多个偏振角度信息,且结构简单、集成度高、性能稳定、实时性好,因此在偏振探测领域得到广泛应用。然而,分焦平面偏振探测器相邻像元上分布着不同的偏振方向,会采集到马赛克式的偏振图像,从而导致偏振成像分辨率损失和瞬时视场缺失。因此在偏振成像领域,如何去除分焦平面偏振成像中的马赛克效果是一直以来研究的重点。
压缩感知理论突破了奈奎斯特采样频率对信号采样的限制,在较低的采样率下同时对信号进行获取和压缩,并重建出高维信号。利用压缩感知技术可以使低分辨率探测器在有限***的带宽下实现高分辨率探测。结合深度学***面偏振成像的分辨率有着极大的优势。
2020年Garrett C.Sargent[Garrett C.Sargent,Bradley M.Ratliff,andVijayan K.Asari,"Conditional generative adversarial network demosaicingstrategy for division of focal plane polarimeters,"Opt.Express 28,38419-38443(2020)]等人提出使用条件生成对抗网络(cGAN),来去除偏振图像的马赛克。其中,生成器中加入U-Net架构,判别器中加入PatchGAN架构,这种网络结构提高了高频内容的生成概率,最终可输出全分辨率偏振特征图像。该方法利用深度学***面偏振成像分辨率损失的问题,使得生成图像的分辨率与分焦平面偏振探测器的分辨率一致。然而此类方法无法进一步提升偏振成像的分辨率,对于红外等探测谱段仍然无法满足高分辨率成像需求。
发明内容
本发明为了解决现有技术存在的无法进一步提升偏振成像的分辨率,对于红外等探测谱段仍然无法满足高分辨率成像需求的问题,提供一种基于深度学***面偏振相机马赛克的基础上,同时实现高于原有分焦平面偏振探测器分辨率的超分辨率重建。
为了解决现有技术存在的问题,本发明提供的技术方案是:
基于深度学习框架的压缩感知偏振超分辨成像方法,该方法包括以下三步骤:压缩编码采样、超分辨率重建和去偏振马赛克;其中超分辨率重建和去偏振马赛克阶段由两层生成对抗网络来实现;
第一步,压缩编码采样:利用数字微镜阵列DMD对成像场景进行压缩感知编码测量采样;首先将成像场景投映到DMD上,通过DMD对成像场景进行独立的分块编码,分块后的每一块区域各自成像在分焦平面偏振探测器的一个像元上,分焦平面偏振探测器对编码后的图像信息采集,生成原始偏振马赛克图像I(mos,k);
第二步,超分辨率重建:原始偏振马赛克图像中相邻像素之间的偏振方向是不同的,按照偏振度为0°、45°、90°、135°的像素为一个超像元进行分割,之后重组成一维的测量值向量yKi;并且将对应的编码掩模重组成用于重建的测量矩阵Φ;将测量向量yKi与测量矩阵Φ与作为输入数据,送入到第一层生成对抗网络的生成器G0中进行压缩感知重构,生成伪高分辨率图像IHRmos,将生成的伪图像与真实的高分辨率偏振图像在鉴别器D0中进行辨别真假,根据损失函数对G0和D0中的网络参数迭代更新,使生成图像不断向真实高分辨率偏振图像趋近;
第三步,去偏振马赛克:将第二阶段G0生成的图像IHRmos输入第二层生成对抗网络的生成器G1中,建立起偏振马赛克图像与偏振特性之间的映射关系,从而生成去偏振马赛克后的S0、DOLP和AOP图像,将生成的S0、DOLP和AOP图像与真实的S0、DOLP和AOP图像在鉴别器D1进行评价,根据损失函数对G1和D1中的网络参数迭代更新,使生成图像不断向真实高分辨率S0、DOLP和AOP图像趋近。
本发明的有益效果如下:
1、本发明将压缩感知理论与生成对抗网络相结合,形成了一种基于深度学***面偏振探测器在较低采样率下获得的图像实现超分辨率偏振图像的重建,生成高分辨率无偏振马赛克的S0、DOLP和AOP图像。与以往深度学习去偏振成像马赛克的方法不同,本方法在去偏振马赛克的基础上,生成的S0、DOLP和AOP图像分辨率远高于偏振探测器原始分辨率。
2、偏振成像的最终目的是为了得到偏振特性图像,以往偏振成像是利用原始低分辨率偏振图像重建出不同偏振方向的高分辨率强度图像,然后依据公式计算得到偏振特性图像。而本发明利用深度学习网络建立起原始偏振图像与S0、DOLP和AOP偏振特性图像之间的映射关系,直接由原始偏振马赛克图像生成高分辨率无马赛克S0、DOLP和AOP图像。此过程不仅减少了训练任务,而且由于重建出来的偏振方向图像本身也带有重建误差,本发明不需要由重建的偏振方向图像再次计算获得偏振特性图像的过程,可有效地避免二次误差。
附图说明
图1为本发明基于深度学习框架的压缩感知偏振超分辨成像方法的流程图;
图2为DMD编码采样原理图,其中1为目标场景,2为望远物镜,3为数字微镜阵列DMD,4为投影镜头,5为分焦平面偏振探测器;
图3为测量值重组示意图,其中a为DMD上加载的编码掩膜,b为DMD微镜与分焦平面偏振探测器的超像元对应的区域,c为编码掩膜a的向量形式,d为偏振探测器采集的结果,e为编码向量c的重组列向量组,f为DMD微镜与分焦平面偏振探测器像元对应的区域b的向量形式;
图4为图2中分焦平面偏振探测器5的微偏振阵列排布;
图5为第一层对抗生成网络的生成器G0结构图;
图6为第一层对抗生成网络的鉴别器D0结构图;
图7为第二层对抗生成网络的生成器G1结构图;
图8为残差模块结构图;
图9为第二层对抗生成网络的鉴别器D1结构图;
图10为偏振探测器拍摄的原始偏振图像I(mos,k);
图11为第一层生成对抗网络生成的高分辨率偏振马赛克图像IHRmos;
图12为利用图9原始偏振图像I(mos,k)解算得到的S0图像;
图13为利用图10高分辨率偏振马赛克图像IHRmos解算得到的S0图像;
图14为利用图9原始偏振图像I(mos,k)解算得到的DOLP图像;
图15为利用图10高分辨率偏振马赛克图像IHRmos解算得到的DOLP图像为;
图16利用图9原始偏振图像I(mos,k)解算得到的AOP图像;
图17为利用图10高分辨率偏振马赛克图像IHRmos解算得到的AOP图像。
具体实施方式
以下结合附图对本发明做进一步详细说明。
基于深度学习框架的压缩感知偏振超分辨成像方法,实现的具体步骤如下:
第一步,压缩编码采样,包括以下几步:
步骤1、数字微镜阵列DMD对成像场景进行编码,首先将成像场景投映到DMD上,通过DMD对成像场景进行独立的分块编码,分块后的每一块区域各自成像在分焦平面偏振探测器的一个像元上,通过分焦平面偏振相机获得压缩采样的偏振马赛克原始图像I(mos,k),得到的偏振马赛克原始图像数量等于编码测量次数T,用k表示第k次测量。
步骤2、获得重构图像的训练集数据:
2.1、原始偏振马赛克图像I(mos,k)相邻像素之间的偏振度是不同的,将获得的原始偏振马赛克图像I(mos,k)按照偏振度为0°、45°、90°、135°的像素为一个超像元区域进行分割,超像元的值转换成一维的测量值向量yi,yi表示第i个超像元;同时将对应的编码掩膜矩阵进行重组,产生用于重建的编码矩阵Mi。
2.2、将不同偏振编码图像上相同位置的T个超像元测量值向量yi组合成一个向量yKi,编码矩阵Mi组合成测量矩阵Φ,yKi和Φ作为生成器的输入数据。
第二步,超分辨率重建,包括以下步骤:
其中,测量值yKi与测量矩阵Φ对超像元区域的图像块进行初步的重建利用一个全连接网络来实现。
生成器G0由一个全连接层和四个卷积层构成,全连接层用来对压缩采样信息进行初步的重建;前两个卷积层对图像进行特征的提取,第三个卷积层是亚像素卷积层,对图像的分辨率进行提升,第四个卷积层输出重建结果。前三个卷积层的激活函数为ReLU,第四层的激活函数为双曲正切函数tanh。
步骤2、将步骤1的重建结果与真实图像块输入进第一层生成对抗网络的鉴别器D0进行判别。鉴别器D0有4个卷积层前三个卷积层的激活函数为Leaky-ReLU。第四层的结果作为鉴别器D0的输出,激活函数为Sigmoid函数。
步骤3、计算出生成器G0与鉴别器D0的损失函数,根据计算出的损失利用Adam优化器对生成器G0与鉴别器D0分别进行交替的重建训练,同时更新生成器G0与鉴别器D0内部的参数。
其中,生成器G0的对抗损失为:
生成器G0的内容损失为:
公式中生成器G0总损失函数为:
判别器D0损失函数为:
步骤4、当训练结果的误差达到设定误差时,重建迭代训练完成,保存生成器G0与鉴别器D0。
步骤5、将重构完成的图像块拼接成完整的偏振成像场景图像IHRmos,此时IHRmos是带有偏振马赛克的高分辨率偏振强度图像。
第三步,去偏振马赛克,包括以下步骤:
步骤1、将高分辨率偏振马赛克强度图像IHRmos输入第二层生成对抗网络中的生成器G1中。IHRmos相邻像素上的偏振方向都不相同,每个超像素上都包含0°、45°、90°、135°的偏振度。利用IHRmos中不同偏振方向强度信息与S0、DOLP和AOP之间的关系,建立高分辨率偏振马赛克强度图像IHRmos与高分辨率偏振特性图像的映射关系,生成S0、DOLP和AOP的偏振特性图像IS0、IDOLP、IAOP。
其中,G1含有两个卷积层和两个残差模块,一个卷积层用于初步的特征提取,一个卷积层用于结果输出。卷积层的激活函数为ReLU,输出卷积层激活函数为双曲正切函数tanh。
IHRmos中不同偏振方向强度信息与S0、DOLP和AOP之间的关系为
步骤2、将步骤1的生成结果与真实的S0、DOLP和AOP的偏振特性图像输入到第二层生成对抗网络中的鉴别器D1进行判别。鉴别器D1由5个卷积层组成,前四个卷积层的激活函数为Leaky-ReLU。第五层卷积的激活函数为Sigmoid函数。
步骤3、计算出生成器G1与鉴别器D1的损失函数,根据计算出的损失利用Adam优化器函数对生成器G1与鉴别器D1分别进行交替的重建训练,同时更新生成器G1与鉴别器D1内部的参数。
其中,生成器G1的对抗损失函数为:
生成器G1的L1平滑损失函数为:
Lsmooth-L1=smoothL1(H-G1(IHRmos)) (10)
生成器G1的像素损失函数为:
公式中生成器G1总损失函数为:
判别器D1损失函数为:
公式中,d表示图像的梯度,H是预期的高分辨率无马赛克偏振图像。
步骤4、当训练结果的误差达到设定误差时,重建迭代训练完成,输出最后的重建结果,保存生成器G1与鉴别器D1。
实施例:
如图1所示,基于深度学习和压缩感知的偏振超分辨成像方法,流程步骤如下:
第一步,压缩编码采样,包括以下几步:
步骤1、数字微镜阵列DMD对成像场景进行编码,通过分焦平面偏振相机获得压缩采样的偏振马赛克原始图像I(mos,k),得到的偏振马赛克原始图像数量等于编码测量次数T,用k表示第k次测量。本实施例子中DMD尺寸以1920×1080为例来进行说明,偏振分焦平面探测器分辨率为960×540。
其中DMD对成像场景进行压缩感知编码测量采样,如图2所示,偏振成像***由目标场景1、望远物镜2、数字微镜阵列DMD3、投影镜头4、分焦平面偏振探测器5组成。首先将目标场景1投映到数字微镜阵列DMD3的1920×1080个微镜上,通过加载随机编码矩阵控制数字微镜阵列DMD3上每一个微镜,实现对成像场景独立的分块编码,然后分焦平面偏振探测器5采集编码后的图像信息,生成原始偏振马赛克图像I(mos,k)。
步骤2、获得重构图像的训练集数据:
2.1、测量值重组过程如图3所示,数字微镜阵列DMD3上加载的编码掩膜a转换成一维列向量c,数字微镜阵列DMD3的微镜与偏振探测器像元对应的区域b所示的是一块4×4的微镜区域,每2×2个微镜各被成像在分焦平面偏振探测器5的一个像元上。4×4个微镜区域投影在分焦平面偏振探测器的一个大小为2×2的超像元上,一个超像元里包含着偏振度为0°、45°、90°、135°的偏振信息。
测量值重组过程中将编码掩模a的向量形式c按照DMD微镜与偏振探测器像元对应关系重新排列成向量组e,将向量组e构成用于重建的编码矩阵Mi,将DMD微镜与偏振探测器像元对应的区域b的向量形式f与编码矩阵Mi相乘得到偏振探测采集的结果d。原始偏振马赛克图像I(mos,k)相邻像素之间的偏振度是不同的,如图4所示,将获得的原始偏振马赛克图像I(mos,k)按照偏振度为0°、45°、90°、135°的像素为一个超像元区域进行分割,偏振探测采集的结果d是一个超像元的向量形式,将超像元转换成一维的测量值向量yi。yi表示第i个超像元,这里总数为I=480*270。
2.2、将不同偏振编码图像上相同位置的T个超像元的测量值向量yi组合成一个向量yKi,编码矩阵Mi组合成测量矩阵Φ。yKi和Φ作为生成器的输入数据,训练时选用采样次数为8、4、1,对应的采样率分别为0.5、0.25、0.0625。
第二步,超分辨率重建,包括以下步骤:
步骤1、将测量向量yKi和Φ输入进第一层生成对抗网络的生成器G0,通过全连接层对yKi进行线性映射,获得初始重建结果之后/>经过四个卷积层后重建生成输出结果测量值yKi与测量矩阵Φ对图像块进行初步的重建利用一个全连接网络来实现。
如图5所示,生成器G0由一个全连接层和四个卷积层构成,全连接层用来对压缩采样信息进行初步的重建。第一个卷积层为64个3×3大小的卷积核,第一层的激活函数为ReLU,采样步长为1。第二个卷积层为32个2×2大小的卷积核,第二层的激活函数为ReLU,采样步长为2。第三层为亚像素卷积层为16个2×2大小的卷积核,第三层的激活函数为ReLU,采样步长为2。第四个卷积层为8个1×1大小的卷积核,采样步长为1,第四层的结果作为生成器G0的输出,激活函数为双曲正切函数tanh。所有的卷积层输出分别经过批量归一化层处理后输入激活函数,并且卷积层均采用适当的零填充。
步骤2、将步骤1的重建结果与真实图像块输入进第一层生成对抗网络的鉴别器D0进行评价。如图6所示,鉴别器D0有4个卷积层,第一个卷积层有1个4×4大小的卷积核,第一层的激活函数为Leaky-LURe,采样步长为1。第二个卷积层有16个3×3大小的卷积核,第二层的激活函数为Leaky-ReLU,采样步长为1。第三个卷积层有32个2×2大小的卷积核,第三层的激活函数为Leaky-ReLU,采样步长为1。第四个卷积层有64个2×2大小的卷积核,第四层的结果作为鉴别器D0的输出,激活函数为Sigmoid函数,采样步长为1,所有的卷积层输出分别经过批量归一化层处理后输入激活函数。卷积层均采用适当的零填充。
步骤3、计算出生成器G0与鉴别器D0的损失函数,根据计算出的损失函数对生成器G0与鉴别器D0分别有Adam优化器进行交替的重建训练,同时更新生成器G0与鉴别器D0内部的参数。
其中,生成器G0的对抗损失为:
生成器G0的内容损失为:
公式中生成器G0总损失函数为:
判别器D0损失函数为:
步骤4、当训练结果的误差达到设定误差时,重建迭代训练完成,保存生成器G0与鉴别器D0。
步骤5、将重构完成的I个大小为4×4的图像块拼接成完整的分辨率为1920×1080的偏振成像场景图像IHRmos。如图11所示,此时IHRmos是带有偏振马赛克的高分辨率强度图像。
第三步,去偏振马赛克,包括以下步骤:
步骤1、将高分辨率偏振马赛克强度图像IHRmos输入第二层生成对抗网络中的生成器G1中。IHRmos相邻像素上的偏振方向都不相同,每个超像素上都包含0°、45°、90°、135°的偏振度。利用IHRmos中不同偏振方向强度信息与S0、DOLP和AOP之间的关系,建立高分辨率偏振马赛克强度图像IHRmos与高分辨率偏振特性图像的映射关系,生成S0、DOLP和AOP的偏振特性图像IS0、IDOLP、IAOP。
如图7所示,生成器G1有2个卷积层和2个残差模块,第一个卷积层有256个3×3大小的卷积核,第一层的激活函数为ReLU,采样的步长为1。第二层为残差模块主要进行特征提取。第三层为残差模块主要进行对特征的映射,残差块结构如图8所示。第四层为包含16个3×3大小的卷积核的卷积层,第四层的结果作为生成器G1的输出,激活函数为双曲正切函数tanh。所有的卷积层输出分别经过批量归一化层处理后输入激活函数。为了保持残差重建网络中各中间特征图的尺寸大小一致,所有卷积层均采用适当的零填充。
IHRmos中不同偏振方向强度信息与S0、DOLP和AOP之间的关系为
利用偏振度与S0、DoLP和AOP之间的关系通过深度学习网络就可以建立起它们之间的非线性映射关系。
步骤2、将步骤1的重建结果与真实的S0、DOLP和AOP的偏振特性图像输入到第二层生成对抗网络中的鉴别器D1进行评价。
如图9所示,鉴别器D1由五个卷积层和一个全连接层组成,第一个卷积层为16个28×28大小的卷积核,第一层的激活函数为Leaky-ReLU,采样步长为2。第二个卷积层有32个7×7大小的卷积核,第二层的激活函数为Leaky-ReLU,采样步长为2。第三个卷积层有48个5×5大小的卷积核,第三层的激活函数为Leaky-ReLU,采样步长为1。第四个卷积层有64个3×3大小的卷积核,第四层的激活函数为Leaky-ReLU,采样步长为1。第五个卷积层有128个3×3大小的卷积核,采样步长为1,第五层的结果作为鉴别器D1的输出,激活函数为Sigmoid函数,采样步长为1。所有的卷积层输出分别经过批量归一化层处理后输入激活函数。卷积层均采用适当的零填充。
步骤3、计算出生成器G1与鉴别器D1的损失函数,根据计算出的损失函数对生成器G1与鉴别器D1分别有Adam优化器进行交替的重建训练,同时更新生成器G1与鉴别器D1内部的参数。
其中,生成器G1的对抗损失函数为:
生成器G1的L1平滑损失函数为:
Lsmooth-L1=smoothL1(H-G1(IHRmos)) (24)
生成器G1的像素损失函数为:
公式中生成器G1总损失函数为:
判别器D1损失函数为:
公式中,d表示图像的梯度,H是预期的高分辨率无马赛克偏振图像。
步骤4、当训练结果的误差达到设定误差时,重建迭代训练完成,输出最后的重建结果,保存生成器G1与鉴别器D1。
最终整体的网络输出分辨率为1920×1080的高分辨率S0、DOLP和AOP图像。
如图10、11所示偏振探测器拍摄的原始偏振图像I(mos,k)经过第一层生成对抗网络得到高分辨率偏振马赛克图像IHRmos,高分辨率偏振马赛克图像IHRmos的分辨率高于原始偏振图像I(mos,k)的分辨率,高分辨率偏振马赛克图像IHRmos具有更丰富的细节特征。图12、14、16分别是S0、DOLP、AOP图像,这些图像是利用传统偏振去马赛克方法由原始偏振图像I(mos,k)得到不同偏振方向强度图像,然后依据公式计算得到偏振特性图像。图13、16、17分别是本发明方法生成的S0、DOLP、AOP图像,可以看出本方法生成的偏振特性图像质量远高于传统偏振去马赛克方法得到的图像。
应当理解的是,上述针对DMD尺寸为1920×1080,分焦平面偏振探测器分辨率为960×540,2倍超分辨率图像重建为实施例来进行较为详细的描述,并不能因此而认为是对本发明专利保护范围的限制,偏振探测领域的技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。
Claims (4)
1.基于深度学习框架的压缩感知偏振超分辨成像方法,其特征是,该方法包括以下三步:压缩编码采样、超分辨率重建和去偏振马赛克;其中超分辨率重建和去偏振马赛克阶段由两层生成对抗网络来实现;
第一步,压缩编码采样:利用数字微镜阵列DMD对成像场景进行压缩感知编码测量采样;首先将成像场景投映到DMD上,通过DMD对成像场景进行独立的分块编码,分块后的每一块区域各自成像在分焦平面偏振探测器的一个像元上,分焦平面偏振探测器对编码后的图像信息采集,生成原始偏振马赛克图像I(mos,k);
第二步,超分辨率重建:原始偏振马赛克图像中相邻像素之间的偏振方向是不同的,按照偏振度为0°、45°、90°、135°的像素为一个超像元进行分割,之后重组成一维的测量值向量yKi;并且将对应的编码掩模重组成用于重建的测量矩阵Φ;将测量向量yKi与测量矩阵Φ与作为输入数据,送入到第一层生成对抗网络的生成器G0中进行压缩感知重构,生成伪高分辨率图像IHRmos,将生成的伪图像与真实的高分辨率偏振图像在鉴别器D0中进行辨别真假,根据损失函数对G0和D0中的网络参数迭代更新,使生成图像不断向真实高分辨率偏振图像趋近;
第三步,去偏振马赛克:将第二步G0生成的图像IHRmos输入第二层生成对抗网络的生成器G1中,建立起偏振马赛克图像与偏振特性之间的映射关系,从而生成去偏振马赛克后的S0、DOLP和AOP图像,将生成的S0、DOLP和AOP图像与真实的S0、DOLP和AOP图像在鉴别器D1进行评价,根据损失函数对G1和D1中的网络参数迭代更新,使生成图像不断向真实高分辨率S0、DOLP和AOP图像趋近。
2.根据权利要求1所述的基于深度学习框架的压缩感知偏振超分辨成像方法,其特征在于,所述第一步压缩编码采样的具体步骤为:
步骤1、数字微镜阵列DMD对成像场景进行编码,首先将成像场景投映到DMD上,通过DMD对成像场景进行独立的分块编码,分块后的每一块区域各自成像在分焦平面偏振探测器的一个像元上,通过分焦平面偏振相机获得压缩采样的偏振马赛克原始图像I(mos,k),得到的偏振马赛克原始图像数量等于编码测量次数T,用k表示第k次测量;
步骤2、获得重构图像的训练集数据:
2.1、原始偏振马赛克图像I(mos,k)相邻像素之间的偏振度是不同的,将获得的原始偏振马赛克图像I(mos,k)按照偏振度为0°、45°、90°、135°的像素为一个超像元区域进行分割,超像元的值转换成一维的测量值向量yi,yi表示第i个超像元;同时将对应的编码掩膜矩阵进行重组,产生用于重建的编码矩阵Mi;
2.2、将不同偏振编码图像上相同位置的T个超像元测量值向量yi组合成一个向量yKi,编码矩阵Mi组合成测量矩阵Φ,yKi和Φ作为生成器的输入数据。
3.根据权利要求1所述的基于深度学习框架的压缩感知偏振超分辨成像方法,其特征在于,所述第二步超分辨率重建,具体包括以下步骤:
步骤1、将测量向量yKi与测量矩阵Φ输入第一层生成对抗网络的生成器G0,通过全连接层对yKi进行线性映射,获得初始重建结果之后/>经过四个卷积层后重建生成输出结果其中,测量值yKi与测量矩阵Φ对超像元区域的图像块进行初步的重建利用一个全连接网络来实现;
生成器G0由一个全连接层和四个卷积层构成,全连接层用来对压缩采样信息进行初步的重建;前两个卷积层对图像进行特征的提取,第三个卷积层是亚像素卷积层,对图像的分辨率进行提升,第四个卷积层输出重建结果;前三个卷积层的激活函数为ReLU,第四层的激活函数为双曲正切函数tanh;
步骤2、将步骤1的重建结果与真实图像块输入进第一层生成对抗网络的鉴别器D0进行判别;鉴别器D0有4个卷积层前三个卷积层的激活函数为Leaky-ReLU;第四层的结果作为鉴别器D0的输出,激活函数为Sigmoid函数;
步骤3、计算出生成器G0与鉴别器D0的损失函数,根据计算出的损失利用Adam优化器对生成器G0与鉴别器D0分别进行交替的重建训练,同时更新生成器G0与鉴别器D0内部的参数;
其中,生成器G0的对抗损失为:
生成器G0的内容损失为:
公式中生成器G0总损失函数为:
判别器D0损失函数为:
步骤4、当训练结果的误差达到设定误差时,重建迭代训练完成,保存生成器G0与鉴别器D0;
步骤5、将重构完成的图像块拼接成完整的偏振成像场景图像IHRmos,此时IHRmos是带有偏振马赛克的高分辨率偏振强度图像。
4.根据权利要求1所述的基于深度学习框架的压缩感知偏振超分辨成像方法,其特征在于,所述第三步去偏振马赛克,具体包括以下步骤:
步骤1、将高分辨率偏振马赛克强度图像IHRmos输入第二层生成对抗网络中的生成器G1中;IHRmos相邻像素上的偏振方向都不相同,每个超像素上都包含0°、45°、90°、135°的偏振度;利用IHRmos中不同偏振方向强度信息与S0、DOLP和AOP之间的关系,建立高分辨率偏振马赛克强度图像IHRmos与高分辨率偏振特性图像的映射关系,生成S0、DOLP和AOP的偏振特性图像IS0、IDOLP、IAOP;
其中,G1含有两个卷积层和两个残差模块,一个卷积层用于初步的特征提取,一个卷积层用于结果输出;卷积层的激活函数为ReLU,输出卷积层激活函数为双曲正切函数tanh;
IHRmos中不同偏振方向强度信息与S0、DOLP和AOP之间的关系为
步骤2、将步骤1的生成结果与真实的S0、DOLP和AOP的偏振特性图像输入到第二层生成对抗网络中的鉴别器D1进行判别;鉴别器D1由5个卷积层组成,前四个卷积层的激活函数为Leaky-ReLU;第五层卷积的激活函数为Sigmoid函数;
步骤3、计算出生成器G1与鉴别器D1的损失函数,根据计算出的损失利用Adam优化器函数对生成器G1与鉴别器D1分别进行交替的重建训练,同时更新生成器G1与鉴别器D1内部的参数;
其中,生成器G1的对抗损失函数为:
生成器G1的L1平滑损失函数为:
Lsmooth-L1=smoothL1(H-G1(IHRmos))(10)
生成器G1的像素损失函数为:
公式中生成器G1总损失函数为:
判别器D1损失函数为:
公式中,d表示图像的梯度,H是预期的高分辨率无马赛克偏振图像;
步骤4、当训练结果的误差达到设定误差时,重建迭代训练完成,输出最后的重建结果,保存生成器G1与鉴别器D1。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310071614.8A CN116245726A (zh) | 2023-01-18 | 2023-01-18 | 基于深度学习框架的压缩感知偏振超分辨成像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310071614.8A CN116245726A (zh) | 2023-01-18 | 2023-01-18 | 基于深度学习框架的压缩感知偏振超分辨成像方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116245726A true CN116245726A (zh) | 2023-06-09 |
Family
ID=86634314
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310071614.8A Pending CN116245726A (zh) | 2023-01-18 | 2023-01-18 | 基于深度学习框架的压缩感知偏振超分辨成像方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116245726A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116563117A (zh) * | 2023-07-11 | 2023-08-08 | 长春理工大学 | 基于计算成像技术的超分辨率共形窗口成像***及方法 |
CN116609942A (zh) * | 2023-07-18 | 2023-08-18 | 长春理工大学 | 一种分孔径压缩感知偏振超分辨率成像***及方法 |
CN116681595A (zh) * | 2023-08-01 | 2023-09-01 | 长春理工大学 | 一种基于多峰psf的远距离计算超分辨率成像装置 |
CN116739958A (zh) * | 2023-08-04 | 2023-09-12 | 长春理工大学 | 一种双谱段偏振超分辨率融合探测方法和*** |
-
2023
- 2023-01-18 CN CN202310071614.8A patent/CN116245726A/zh active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116563117A (zh) * | 2023-07-11 | 2023-08-08 | 长春理工大学 | 基于计算成像技术的超分辨率共形窗口成像***及方法 |
CN116563117B (zh) * | 2023-07-11 | 2023-09-15 | 长春理工大学 | 基于计算成像技术的超分辨率共形窗口成像***及方法 |
CN116609942A (zh) * | 2023-07-18 | 2023-08-18 | 长春理工大学 | 一种分孔径压缩感知偏振超分辨率成像***及方法 |
CN116609942B (zh) * | 2023-07-18 | 2023-09-22 | 长春理工大学 | 一种分孔径压缩感知偏振超分辨率成像方法 |
CN116681595A (zh) * | 2023-08-01 | 2023-09-01 | 长春理工大学 | 一种基于多峰psf的远距离计算超分辨率成像装置 |
CN116681595B (zh) * | 2023-08-01 | 2023-11-03 | 长春理工大学 | 一种基于多峰psf的远距离计算超分辨率成像装置 |
CN116739958A (zh) * | 2023-08-04 | 2023-09-12 | 长春理工大学 | 一种双谱段偏振超分辨率融合探测方法和*** |
CN116739958B (zh) * | 2023-08-04 | 2023-11-03 | 长春理工大学 | 一种双谱段偏振超分辨率融合探测方法和*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ma et al. | Deep tensor admm-net for snapshot compressive imaging | |
CN116245726A (zh) | 基于深度学习框架的压缩感知偏振超分辨成像方法 | |
CN110501072B (zh) | 一种基于张量低秩约束的快照式光谱成像***的重构方法 | |
CN102438102B (zh) | 基于压缩编码孔径的超分辨率成像方法 | |
Peng et al. | Residual pixel attention network for spectral reconstruction from RGB images | |
CN110880162B (zh) | 基于深度学习的快照光谱深度联合成像方法及*** | |
WO2023240857A1 (zh) | 基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质 | |
CN109741407A (zh) | 一种基于卷积神经网络的光谱成像***的高质量重构方法 | |
CN107064005B (zh) | 一种高光谱光场的快照式成像***以及重建算法 | |
CN112911304B (zh) | 基于编码的双路视频压缩装置及压缩视频重建方法 | |
Deng et al. | Sinusoidal sampling enhanced compressive camera for high speed imaging | |
CN116609942B (zh) | 一种分孔径压缩感知偏振超分辨率成像方法 | |
CN116168067B (zh) | 基于深度学习的有监督多模态光场深度估计方法 | |
CN111932452B (zh) | 基于可见光图像增强的红外图像卷积神经网络超分辨方法 | |
Zhao et al. | Super resolution imaging based on a dynamic single pixel camera | |
WO2019162938A1 (en) | System and method for light field imaging | |
CN116797676A (zh) | 一种适用于编码孔径压缩光谱偏振成像重建的方法 | |
US10944923B2 (en) | Code division compression for array cameras | |
CN115496819B (zh) | 一种基于能量集中特性的快速编码光谱成像方法 | |
CN116363014A (zh) | 一种级联自适应光学图像盲复原方法 | |
CN106959161A (zh) | 利用基于随机光栅的压缩感知宽波段高光谱成像***实现消除大气湍流的方法 | |
CN112989593B (zh) | 基于双相机的高光谱低秩张量融合计算成像方法 | |
CN115512199A (zh) | 一种基于图注意和非对称卷积网络的图像压缩模型 | |
JP2021078074A (ja) | 映像処理装置、映像処理方法およびプログラム | |
CN111397733A (zh) | 一种单/多帧快照式光谱成像方法、***及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |