CN112907444B - 一种基于复数域零样本学习的太赫兹图像超分辨重建方法 - Google Patents

一种基于复数域零样本学习的太赫兹图像超分辨重建方法 Download PDF

Info

Publication number
CN112907444B
CN112907444B CN202110167868.0A CN202110167868A CN112907444B CN 112907444 B CN112907444 B CN 112907444B CN 202110167868 A CN202110167868 A CN 202110167868A CN 112907444 B CN112907444 B CN 112907444B
Authority
CN
China
Prior art keywords
resolution
image
complex
thz
terahertz
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110167868.0A
Other languages
English (en)
Other versions
CN112907444A (zh
Inventor
祁峰
王莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Institute of Automation of CAS
Original Assignee
Shenyang Institute of Automation of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Institute of Automation of CAS filed Critical Shenyang Institute of Automation of CAS
Priority to CN202110167868.0A priority Critical patent/CN112907444B/zh
Publication of CN112907444A publication Critical patent/CN112907444A/zh
Application granted granted Critical
Publication of CN112907444B publication Critical patent/CN112907444B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明从物理和数学的角度出发,利用复振幅信息以及复数域神经网络的信息表征能力,并考虑到有监督CNN在不同大小、不同成像***以及样品放置不同焦平面条件下的自适应问题,提出一种基于复数域零样本学习的太赫兹图像超分辨重建方法,通过复数域图像降质模型依次得到仿真的低分辨THz图像、更低分辨THz图像,通过复数域零样本学习的神经网络学习图像的映射关系;从而由得到的映射关系将输入的低分辨THz图像恢复到高分辨图像。本发明提高了THz图像超分辨的自适应能力,相对于移植的光学领域CNN超分辨算法在提高太赫兹***的成像分辨率方面得到了更好的效果;在恢复幅值信息的同时对相位信息也进行了恢复,提高太赫兹成像***的分辨率,提升了成像***的性能。

Description

一种基于复数域零样本学习的太赫兹图像超分辨重建方法
技术领域
本发明涉及太赫兹超分辨率成像领域,具体地说是一种通过零样本学习的复数域神经网络实现重建太赫兹超分辨成像的方法。
背景技术
得益于太赫兹波较强的穿透性、安全性以及谱信息,太赫兹(Terahertz,THz)成像在无损检测、安检、生物医学成像等领域具有广泛的应用前景。太赫兹成像是将太赫兹波通过光学器件照射到检测样品,通过探测器采集样品透射或反射的太赫兹波信息进行成像。由于太赫兹波的波长较长,成像***的焦平面处成像分辨率受限于物理聚焦光束尺寸,且在硬件上很难提升。因此,通过图像处理的方法克服成像***的物理限制,对得到的太赫兹图像数据进行超分辨率重建是十分必要的。
考虑到成像***的降质原理,许多基于去卷积的超辨率重建算法被提出用于提高太赫兹图像的分辨率,如Lucy-Richardson、Wiener等。虽然去卷积的方法可以生成相对高质量的太赫兹图像,但如果图像统计量与图像先验值存在差异时,会导致时间复杂度增加、***噪声放大、分辨率提升受限等问题。由于卷积神经网络(Convolutional NeuralNetwork,CNN)对图像复原和非线性建模的强大映射能力,利用端到端学***与实际模糊程度不同时会导致超分辨性能下降。最近,一种无监督的零样本学习方法被应用于超分辨率重建中。该方法利用单个图像的内部信息递归且不依赖于预先的训练,能够针对不同图像自适应调节参数,得到了优于有监督CNN的超分辨率重建效果。同时,由于单个图像内部的视觉熵要比一般外部图像集合的视觉熵小得多,一个小而简单的CNN就足以完成这个特定于图像的任务。进一步的,相关研究进一步验证了该方法在太赫兹成像中应用的可行性。
发明内容
无监督的零样本学习方法不需要任何额外的信息、属性以及成对的训练数据,通过训练一个CNN,从低分辨率图像及更低分辨率的图像推断复杂的图像特定的高分辨率图像与低分辨率图像之间的映射关系。然后,将学习到的网络应用到低分辨率输入图像上,从而得到高分辨率的输出。同时,考虑到相位信息对太赫兹波成像的物理意义以及复数域神经网络对信号的较强的表征能力,本发明提出一种复数域零样本学习的超分辨率重建算法,充分利用太赫兹成像***探测器采集到的复振幅信息,通过复数域图像降质模型对采集到的低分辨太赫兹图像进一步进行降质处理,用于学习低分辨与更低分辨的太赫兹图像之间的映射,从而实现将低分辨太赫兹图像到高分辨率之间的转换,解决了由于衍射导致的太赫兹成型***分辨率低的问题,提升了CNN对不同太赫兹成像***的自适应性。
本发明为实现上述目的所采用的技术方案是:
一种基于复数域零样本学习的太赫兹图像超分辨重建方法,包括以下步骤:
步骤1:测量或计算太赫兹成像***的点扩散函数的幅度和相位;
步骤2:通过复数域图像降质模型与实际测量的点扩展函数进行卷积操作,依次仿真低分辨THz图像i、更低分辨的图像l;
步骤3:构建轻量级的复值CNN学习网络,学习低分辨THz图像i与更低分辨的图像l之间的映射关系,得到网络模型;
步骤4:将实际的低分辨THz图像输入步骤3得到的网络模型中,获取对应恢复的高分辨率的图像。
所述的太赫兹成像***为反射式或透射式,均能够同时获取成像数据的幅值和相位信息。
所述仿真的THz图像来源于采集的高分辨率图像,适用于不同的像素规格。
所述复数域图像降质模型可以表示为:
相对低分辨率图像=相对高分辨率图像的幅值o*实际测量的点扩展函数PSF(a+jb);
其中,a为点扩散函数PSF的实部,b为PSF的虚部;o为采集的高分辨率图像的幅值。
所述仿真的低分辨THz图像i:
i(x+jy)=o*PSF(a+jb) (1)
其中,a为点扩散函数PSF的实部,b为PSF的虚部;o为原始图像的幅值;x为仿真的低分辨THz图像i的实部,y为i的虚部;
所述仿真的更低分辨的图像l:
l(c+jd)=i(x+jy)*PSF(a+jb) (2)
其中,a为点扩散函数PSF的实部,b为PSF的虚部;i(x+jy)为低分辨的图像的幅值;c为仿真的更低分辨THz图像l的实部,d为l的虚部;
所述构建复值自学习网络,包括依次连接的输入层、卷积层、激活层、输出层。
所述复数卷积操作可转换为:
i(x+jy)*W(A+jB)=(i(x)*W(A)-i(y)*W(B))+j(i(x)*W(B)+i(y)*W(A)) (3)
其中,W(A+jB)为卷积层的复数卷积核,A为W的实部,B为W的虚部。
所述学习低分辨THz图像i与更低分辨的图像l之间的映射关系,包括:
将更低分辨的图像l输入构建的轻量级的复值CNN学习网络,将网络输出的学习图像与低分辨THz图像i比较,计算损失函数并反向传播调整卷积层的复数卷积核W(A+jB),得到网络模型。
本发明与现有技术相比具有以下优点及有益效果:
1.本发明考虑到有监督CNN在不同大小、不同成像***以及样品放置不同焦平面条件下的自适应问题,提出了一种无监督的超分辨算法,用于提高THz图像超分辨的自适应能力;
2.本发明从物理和数学的角度出发,充分利用太赫兹成像***采集到的复振幅信息以及复数域神经网络的信息表征能力,相对于移植的光学领域CNN超分辨算法在提高太赫兹***的成像分辨率方面得到了更好的效果。
3.本发明首次提出了将复数域无监督CNN超分辨重建算法,并将其应用于THz图像超分辨领域,在恢复幅值信息的同时对相位信息也进行了恢复,便于恢复出的数据在其他领域得到更好的应用。
附图说明
图1为本发明的方法流程图;
图2为本发明所提算法的神经网络框架;
图3为复值零样本算法和实值零样本算法对于仿真的太赫兹图像进行超分辨率重建效果对比图;
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。
本发明从物理和数学的角度出发,充分利用太赫兹成像***采集到的复振幅信息以及复数域神经网络的信息表征能力,并考虑到有监督CNN在不同大小、不同成像***以及样品放置不同焦平面条件下的自适应问题,首次提出了一种复数域无监督CNN超分辨重建算法。所提算法提高了THz图像超分辨的自适应能力,相对于移植的光学领域CNN超分辨算法在提高太赫兹***的成像分辨率方面得到了更好的效果;在恢复幅值信息的同时对相位信息也进行了恢复,提高太赫兹成像***的分辨率,提升了成像***的性能。
如图1所示为本发明的方法流程图。首先测量太赫兹成像***的点扩散函数的幅度和相位得到复数的点扩散函数PSF(a+jb);通过复数域图像降质模型与实际测量的点扩展函数PSF(a+jb)仿真低分辨THz图像i(x+jy)=o*PSF(a+jb);通过复数域图像降质模型与实际测量的点扩展函数得到更低分辨的图像l(c+jd)=i(x+jy)*PSF(a+jb);
其中,复数域图像降质模型为:相对低分辨率图像=相对高分辨率图像的幅值*实际测量的点扩展函数PSF(a+jb);
通过一个轻量级的复值自学***比较该方法的超分辨性能通过实现相同网络结构的实值自学习网络学习上述低分辨THz图像与更低分辨的图像幅值之间的映射关系;通过学习到的网络模型将输入的低分辨THz图像恢复成高分辨率的图像,验证算法的有效性;通过计算峰值信噪比、均方误差以及结构相似性将两种方法得到的高分辨率图像进行对比。
实施例1.
如图1所示为本发明的方法流程图。
首先测量太赫兹成像***的点扩散函数的幅度和相位得到复数的点扩散函数PSF(a+jb),通过复数域图像降质模型将采集的高分辨率图像与实际测量的点扩散函数的矩阵进行卷积操作得到仿真的低分辨THz图像i(x+jy):
i(x+jy)=o*PSF(a+jb) (1)
其中,a为点扩散函数PSF的实部,b为PSF的虚部;o为原始图像的幅值;x为仿真的低分辨THz图像i的实部,y为i的虚部;
通过复数域图像降质模型与实际测量的点扩展函数得到更低分辨的图像:
l(c+jd)=i(x+jy)*PSF(a+jb) (2)
其中,a为点扩散函数PSF的实部,b为PSF的虚部;i(x+jy)为低分辨的图像的幅值;c为仿真的更低分辨THz图像l的实部,d为l的虚部;
构建复数域神经网络,包括:依次连接的输入层、卷积层、激活层、输出层。通过如图2所示的五层的复值自学习神经网络学习低分辨THz图像i(x+jy)与更低分辨的图像l(c+jd)之间的映射关系,通过计算损失函数反向传播调整卷积层的复数卷积核W(A+jB),得到网络模型,其中复数卷积操作可转换为:
i(x+jy)*W(A+jB)=(i(x)*W(A)-i(y)*W(B))+j(i(x)*W(B)+i(y)*W(A)) (3)
所用的激活函数为复数域ReLU函数:
其中,为i的特征图的相位。
在本例中选用大小为256*256的多啦A梦卡通图像作为高分辨率的原始样本图像,并且将迭代次数设置为2000次。通过得到的映射关系,从输入的低分辨THz图像中恢复高分辨率的图像,高分辨率的原始样本图像、仿真的低分辨THz图像、复值自学习网络的恢复图像分别如图3中原图、模糊图像、零样本复数所示。
为了公平比较该方法的超分辨性能通过实现相同网络结构的实值自学习网络学习上述低分辨THz图像与更低分辨的图像幅值之间的映射关系;通过学习到的映射关系将输入的低分辨THz图像恢复成高分辨率的图像,验证算法的有效性。实值自学习网络的恢复图像如图3中零样本实数所示。
为了量化本发明所提方法的超分辨能力,通过有参考信号质量评价方法对仿真的低分辨THz数据的超分辨结果进行评价。峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)越高说明图像的失真越小;均方误差(Mean-Square Error,MSE)越小说明恢复的图像与原图像差距越小,恢复效果越好,结构相似(Structural Similarity,SSIM)性越高说明恢复的图像与原图像差距越小。复值零样本与实值零样本超分辨重建的对比数据如表1所示,可见本发明方法具有更好的超分辨重建性能。
表1
本发明通过无监督学习的方法学习低分辨THz图像本身与其降质的更低分辨率图像之间的映射关系,并通过学到的映射恢复该低分辨THz图像的高分辨率图像
本发明不需要任何额外的信息、属性以及成对的训练数据,通过学习图像自身退化对应的映射关系实现THz图像的超分辨重建。
本发明从物理的角度出发,考虑到波动性,充分利用复振幅信息,并结合复数卷积核的表征能力,首次提出实现复数域零样本学习超分辨算法,且在THz图像超分辨中验证了该方法的有效性。
以上所述,仅是本发明的较佳实施例,并非对本发明作任何限制,凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化,均仍属于本发明技术方案的保护范围内。

Claims (3)

1.一种基于复数域零样本学习的太赫兹图像超分辨重建方法,其特征在于,包括以下步骤:
步骤1:测量或计算太赫兹成像***的点扩散函数的幅度和相位;
步骤2:通过复数域图像降质模型与实际测量的点扩展函数进行卷积操作,依次仿真低分辨THz图像i、更低分辨的图像l;
所述复数域图像降质模型表示为:
相对低分辨率图像=相对高分辨率图像的幅值o*实际测量的点扩展函数PSF(a+jb);
其中,a为点扩散函数PSF的实部,b为PSF的虚部;o为采集的高分辨率图像的幅值;
所述仿真的低分辨THz图像i:
i(x+jy)=o*PSF(a+jb) (1)
其中,a为点扩散函数PSF的实部,b为PSF的虚部;o为原始图像的幅值;x为仿真的低分辨THz图像i的实部,y为i的虚部;
所述仿真的更低分辨的图像l:
l(c+jd)=i(x+jy)*PSF(a+jb) (2)
其中,a为点扩散函数PSF的实部,b为PSF的虚部;i(x+jy)为低分辨的图像的幅值;c为仿真的更低分辨THz图像l的实部,d为l的虚部;
步骤3:构建轻量级的复值CNN学习网络,学习低分辨THz图像i与更低分辨的图像l之间的映射关系,得到网络模型;
构建复值自学习网络,包括依次连接的输入层、卷积层、激活层、输出层;所述复数卷积操作可转换为:
i(x+jy)*W(A+jB)=(i(x)*W(A)-i(y)*W(B))+j(i(x)*W(B)+i(y)*W(A)) (3)
其中,W(A+jB)为卷积层的复数卷积核,A为W的实部,B为W的虚部;
所述学习低分辨THz图像i与更低分辨的图像l之间的映射关系,包括:将更低分辨的图像l输入构建的轻量级的复值CNN学习网络,将网络输出的学习图像与低分辨THz图像i比较,计算损失函数并反向传播调整卷积层的复数卷积核W(A+jB),得到网络模型;
步骤4:将实际的低分辨THz图像输入步骤3得到的网络模型中,获取对应恢复的高分辨率的图像。
2.根据权利要求1所述的一种基于复数域零样本学习的太赫兹图像超分辨重建方法,其特征在于,所述的太赫兹成像***为反射式或透射式,均能够同时获取成像数据的幅值和相位信息。
3.根据权利要求1所述的一种基于复数域零样本学习的太赫兹图像超分辨重建方法,其特征在于,所述仿真的THz图像来源于采集的高分辨率图像,适用于不同的像素规格。
CN202110167868.0A 2021-02-07 2021-02-07 一种基于复数域零样本学习的太赫兹图像超分辨重建方法 Active CN112907444B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110167868.0A CN112907444B (zh) 2021-02-07 2021-02-07 一种基于复数域零样本学习的太赫兹图像超分辨重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110167868.0A CN112907444B (zh) 2021-02-07 2021-02-07 一种基于复数域零样本学习的太赫兹图像超分辨重建方法

Publications (2)

Publication Number Publication Date
CN112907444A CN112907444A (zh) 2021-06-04
CN112907444B true CN112907444B (zh) 2024-03-22

Family

ID=76123675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110167868.0A Active CN112907444B (zh) 2021-02-07 2021-02-07 一种基于复数域零样本学习的太赫兹图像超分辨重建方法

Country Status (1)

Country Link
CN (1) CN112907444B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114037609B (zh) * 2021-10-21 2024-04-19 中国科学院沈阳自动化研究所 一种基于学习太赫兹成像逆过程的太赫兹图像超分辨算法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107833180A (zh) * 2017-10-27 2018-03-23 北京大学 一种利用复数域神经网络快速求解非线性电磁逆散射问题的方法
CN110400282A (zh) * 2018-04-24 2019-11-01 中国科学院沈阳自动化研究所 一种高分辨太赫兹图像处理方法
JP2020027504A (ja) * 2018-08-14 2020-02-20 日本電信電話株式会社 物体認識装置、物体認識学習装置、方法、及びプログラム
CN111090102A (zh) * 2018-10-08 2020-05-01 中国科学院沈阳自动化研究所 一种超分辨反射式太赫兹三维目标重建成像方法
CN111260556A (zh) * 2020-01-16 2020-06-09 中国科学院长春光学精密机械与物理研究所 一种基于深度卷积神经网络的傅里叶叠层显微重建方法
CN111696042A (zh) * 2020-06-04 2020-09-22 四川轻化工大学 基于样本学习的图像超分辨重建方法
CN111754403A (zh) * 2020-06-15 2020-10-09 南京邮电大学 一种基于残差学习的图像超分辨率重构方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105931179B (zh) * 2016-04-08 2018-10-26 武汉大学 一种联合稀疏表示与深度学习的图像超分辨率方法及***
US10783612B2 (en) * 2016-09-30 2020-09-22 Kiarash Ahi Method and system for enhancing resolution of terahertz imaging
US11756160B2 (en) * 2018-07-27 2023-09-12 Washington University ML-based methods for pseudo-CT and HR MR image estimation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107833180A (zh) * 2017-10-27 2018-03-23 北京大学 一种利用复数域神经网络快速求解非线性电磁逆散射问题的方法
CN110400282A (zh) * 2018-04-24 2019-11-01 中国科学院沈阳自动化研究所 一种高分辨太赫兹图像处理方法
JP2020027504A (ja) * 2018-08-14 2020-02-20 日本電信電話株式会社 物体認識装置、物体認識学習装置、方法、及びプログラム
CN111090102A (zh) * 2018-10-08 2020-05-01 中国科学院沈阳自动化研究所 一种超分辨反射式太赫兹三维目标重建成像方法
CN111260556A (zh) * 2020-01-16 2020-06-09 中国科学院长春光学精密机械与物理研究所 一种基于深度卷积神经网络的傅里叶叠层显微重建方法
CN111696042A (zh) * 2020-06-04 2020-09-22 四川轻化工大学 基于样本学习的图像超分辨重建方法
CN111754403A (zh) * 2020-06-15 2020-10-09 南京邮电大学 一种基于残差学习的图像超分辨率重构方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
.高分辨雷达/红外成像复合***的空间配准方法;亓琳等;红外与激光工程;第40卷(第06期);1181-1186 *
Image Super-Resolution Based on Convolutional Neural Network;LIU Pengfei,et al;Computer Engineering and Applications;第55 卷(第9期);197-202 *
基于深度学习的单图像超分辨算法比较探究;王梓欣;牟叶;王德睿;;电子技术与软件工程(第07期);104-106 *

Also Published As

Publication number Publication date
CN112907444A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
Zhang et al. Image restoration: From sparse and low-rank priors to deep priors [lecture notes]
Wei Image super‐resolution reconstruction using the high‐order derivative interpolation associated with fractional filter functions
CN110675347B (zh) 一种基于组稀疏表示的图像盲复原方法
Ye et al. CSformer: Bridging convolution and transformer for compressive sensing
CN112435162B (zh) 一种基于复数域神经网络的太赫兹图像超分辨重建方法
CN113376600B (zh) 一种基于RSDNet的行人雷达回波去噪方法
CN113222825B (zh) 基于可见光图像训练的红外图像超分辨率重构方法及应用
CN113538246B (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
Yang et al. License plate image super-resolution based on convolutional neural network
Gu et al. SAR image super-resolution based on noise-free generative adversarial network
CN112163998A (zh) 一种匹配自然降质条件的单图像超分辨率分析方法
CN112347945A (zh) 一种基于深度学习的含噪遥感图像增强方法及***
CN112907444B (zh) 一种基于复数域零样本学习的太赫兹图像超分辨重建方法
Bini Image restoration via DOST and total variation regularisation
CN114202459B (zh) 一种基于深度先验的盲图像超分辨率方法
Tian et al. Image compressed sensing using multi-scale residual generative adversarial network
Wali et al. Recent progress in digital image restoration techniques: a review
Yuan et al. [Retracted] Weather Radar Image Superresolution Using a Nonlocal Residual Network
CN111243047B (zh) 基于自适应非线性网络的图像压缩感知方法及相关产品
Zin et al. Local image denoising using RAISR
Rafi et al. Learning to sense and reconstruct a class of signals
Xiao et al. Image reconstruction based on fused features and perceptual loss encoder-decoder residual network for space optical remote sensing images compressive sensing
CN111784581B (zh) 基于自归一化生成对抗网络的sar图像超分辨率重建方法
Shankar et al. Sparsity constrained regularization for multiframe image restoration
Zamani et al. Elliptical shape recovery from blurred pixels using deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant