CN110852947B - 一种基于边缘锐化的红外图像超分辨方法 - Google Patents

一种基于边缘锐化的红外图像超分辨方法 Download PDF

Info

Publication number
CN110852947B
CN110852947B CN201911046112.XA CN201911046112A CN110852947B CN 110852947 B CN110852947 B CN 110852947B CN 201911046112 A CN201911046112 A CN 201911046112A CN 110852947 B CN110852947 B CN 110852947B
Authority
CN
China
Prior art keywords
image
infrared
infrared image
resolution
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911046112.XA
Other languages
English (en)
Other versions
CN110852947A (zh
Inventor
冯华君
杨一帆
徐之海
李奇
陈跃庭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201911046112.XA priority Critical patent/CN110852947B/zh
Publication of CN110852947A publication Critical patent/CN110852947A/zh
Application granted granted Critical
Publication of CN110852947B publication Critical patent/CN110852947B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种基于边缘锐化的红外图像超分辨方法。利用红外摄像机获得红外图像，建立红外超分辨神经网络结构，网络包括图像处理和图像边缘处理两个子网络，针对于输入网络的红外图像，图像处理网络主要用于恢复图像的结构信息，边缘处理网络用于恢复图像的细节边缘信息；其中图像处理网络分为两个阶段，第一阶段实现红外图像去噪并且实现图像的结构信息恢复，第二阶段实现图像超分辨并实现更多的图像细节结构信息恢复。本发明基于数字红外图像超分辨的要求，通过图像结构和边缘信息的分别处理实现了高倍率的红外图像超分辨。

Description

一种基于边缘锐化的红外图像超分辨方法
技术领域
本发明属于数字成像技术领域的红外图像超分辨算法，具体涉及一种基于边缘锐化的红外图像超分辨方法。
技术背景
随着红外探测技术的发展，采用红外成像技术进行目标识别，提高对目标的智能探测和检测识别能力，在对红外图像的探测过程中，受到目标的边缘轮廓特征干扰的影响，导致红外图像的输出质量不好，降低了目标单帧红外图像的识别和检测能力。
高分辨率图像可以提供比其对应的低分辨率图像更多的细节。这些细节在所有领域都应该是至关重要的。由于硬件设备的局限性，超分辨已广泛应用于许多成像设备。超分辨是在不改变镜头焦距的情况下，把图像进行了数字放大，因此导致了图像质量的下降：然而，图像处理算法(例如图像插值)除锯齿和模糊伪像外不会产生高质量图片。为解决这个问题，过去的几十年中已经提出了许多的改进算法。例如使用插值来增加输入图像的空间分辨率，基于内插的恢复方法旨在搜索相邻像素之间的连接并且逐个填充缺失像素函数或内插核等等。虽然它在低计算复杂度下具有快速处理时间，但是逐步运算的方法不能保证估计的准确性，尤其是在存在噪声的情况下。有些文献提出用神经网络的方法对红外图像进行超分辨，但由于红外图像噪声偏大导致输出图像质量并不高。
发明内容
为了解决背景技术中的问题，本发明提供了一种基于边缘锐化的红外图像超分辨方法，提升了红外图像超分辨的成像质量，针对不同放大倍率图像进行设计，在利用红外图像边缘和锐化进行修复的方式上提出了新的方法。
本发明基于神经网络，在网络中间进行图像的去噪和图像细节的恢复，通过对图像的边缘进行提取以加强图像的细节信息，并且对图像进行锐化处理使输出的图像细节更加丰富。
本发明采用的技术方案包括以下步骤：
步骤1：选取红外相机对场景或对象进行拍摄获得的红外图像和其对应的训练目标图像作为训练集；
步骤2：建立红外图像超分辨神经网络，红外图像超分辨神经网络结构包括图像处理子网络和图像边缘处理子网络；
步骤3：将训练集输入红外图像超分辨神经网络进行训练；
步骤4：将用红外相机对场景或对象进行拍摄获得的待修复红外图像输入步骤3训练后的红外图像超分辨神经网络，得到待修复红外图像的超分辨图像。
所述步骤2具体为：
2.1)图像处理子网络包括阶段一和阶段二两个阶段；
将红外图像输入阶段一进行多组卷积操作后提取的特征和输入的红外图像逐像素相加，获得通过高斯去噪后的模糊图像并恢复红外图像的低频信息；
将阶段一获得的高斯去噪后的图像输入阶段二继续进行多组卷积操作，恢复红外图像的高频信息；
2.2)将红外图像输入图像边缘处理子网络进行卷积操作，提取红外图像的边缘细节特征生成边缘图像；
2.3)将步骤2.2)生成的边缘图像和步骤2.1)阶段二的处理结果进行逐像素相加生成最终的输出图像，即得红外图像的超分辨图像。
所述步骤1中的训练目标图像为：
训练目标图像一：对红外图像进行模糊核为7、方差为3的高斯模糊处理以实现图像的去噪，作为步骤2.1)中图像处理子网络阶段一的训练目标图像；
训练目标图像二：对红外图像用sobel算子进行图像的边缘提取，作为步骤2.2)图像边缘处理子网络的训练目标图像；
训练目标图像三：对红外图像进行锐化处理，作为步骤2.3)的训练目标图像。
所述步骤2.3)获得的红外图像的超分辨图像为输入的红外图像尺寸的2倍或4倍，超分辨图像的分辨率高于输入的红外图像。
本发明的有益效果如下：
(1)本发明基于红外图像超分辨的要求，通过图像卷积网络的结构实现了数字图像任意倍率的超分辨。
(2)本发明第一次在红外图像超分辨的过程中对红外图像进行了去噪处理，并且利用锐化图像和增强图像边缘信息提高了图像的细节，相比于现有的技术，在图像的视觉效果上有明显的提升。
附图说明
图1是红外图像超分辨神经网络结构示意图；
图2是实施例1进行2倍超分辨的输入图；
图3是实施例1的输入图采用双三次插值、VDSR以及本发明方法的对比结果；
图4是实施例1的输入图采用双三次插值、VDSR以及本发明方法的细节对比结果图；
图5是示例性实施例2进行4倍超分辨的输入图；
图6是实施例2的输入图采用双三次插值、VDSR以及本发明方法的对比结果图；
图7是实施例2的输入图采用双三次插值、VDSR以及本发明方法的细节对比结果图。
具体实施方式
下面结合附图和实施例对本发明做近一步描述。
如图1所示，红外图像超分辨神经网络结构包括图像处理子网络和图像边缘处理子网络；
1)图像处理子网络包括阶段一和阶段二两个阶段；
在阶段一，输入的红外图像通过多层卷积层进行图像特征的提取，卷积可以由公式(1)表示：
Fgi＝Convi(I) (1)
其中，Convi(I)表示步长为i的卷积，Fgi表示阶段一第i个卷积提取出的特征，I表示输入图像或特征；
将输入的红外图像和阶段一卷积层提取的特征进行逐像素相加获得高斯去噪图像；将阶段一生成的高斯去噪图像输入到阶段二的多个卷积层当中对图形进行更进一步的特征提取。
2)红外图像输入图像边缘处理子网络，直接进行卷积层提取生成边缘图像。
3)最后将边缘图像与阶段二的处理结果进行逐像素相加，生成最终的输出图像。
在训练阶段将阶段一生成的高斯去噪图像与高斯模糊处理后红外图像的图像进行对比，将图像边缘处理子网络生成的边缘图像与sobel算子提取的图像边缘目标图像进行对比，分别通过计算L1范数作为损失函数。将最后生成的输出图像与锐化后的红外图像进行对比，计算L1范数作为损失函数。将三个损失函数进行加权求和作为整个网络的损失函数，使用Adam优化器对网络参数进行优化
本发明的具体实施例如下：
本发明具体实施包括阶段一和阶段二两个阶段。在阶段一，将红外图片输入网络，用九个步长为1，尺寸为3*3*64的卷积核以及一个步长为1，尺寸为3*3*1的卷积核对图像进行卷积操作，然后与输入的红外图像进行逐像素相加生成高斯去噪图像；同时用五个步长为1，尺寸为3*3*64的卷积核以及一个步长为1，尺寸为3*3*1的卷积核对图像进行卷积操作生成边缘图像。然后用5个步长为1，尺寸为3*3*64的卷积核以及一个步长为1，尺寸为3*3*1的卷积核对阶段一生成的高斯去噪图像进行卷积，得到最后的输出图像。
针对不同缩放倍数的分辨率要求，可以对输入图像进行相应倍率的插值操作，从而得到不同倍率的超分辨图像。
本发明使用图1所示结构，分别对图2、图5所示的红外图像进行2倍分辨率和4倍分辨率成像，并与双三次插值以及VDSR算法对比，说明本发明的有益效果。
如图3～图4、图6～图7所示，对比本发明的方法与双三次插值和VDSR所产生的超分辨图像，不管是2倍分辨率还是4倍分辨率图像，都可以发现本发明的方法生成图像的纹理更加丰富，细节更加明显。
在红外图像超分辨***中，为了重建高分辨率的红外图像，首次提出用边缘提取和图片锐化的损失函数结构的神经网络超分辨算法。同时，将结合了高斯去噪图像损失已达到图像去噪的目的，本发明显著改善了红外图像超分辨的成像质量。

Claims (2)

1.一种基于边缘锐化的红外图像超分辨方法，其特征在于，包括以下步骤：
步骤1：选取红外相机对场景或对象进行拍摄获得的红外图像和其对应的训练目标图像作为训练集；
步骤2：建立红外图像超分辨神经网络，红外图像超分辨神经网络结构包括图像处理子网络和图像边缘处理子网络；
步骤3：将训练集输入红外图像超分辨神经网络进行训练；
步骤4：将用红外相机对场景或对象进行拍摄获得的待修复红外图像输入步骤3训练后的红外图像超分辨神经网络，得到待修复红外图像的超分辨图像；
所述步骤2具体为：
2.1)图像处理子网络包括阶段一和阶段二两个阶段；
将红外图像输入阶段一进行多组卷积操作后提取的特征和输入的红外图像逐像素相加，获得通过高斯去噪后的模糊图像并恢复红外图像的低频信息；
将阶段一获得的高斯去噪后的图像输入阶段二继续进行多组卷积操作，恢复红外图像的高频信息；
2.2)将红外图像输入图像边缘处理子网络进行卷积操作，提取红外图像的边缘细节特征生成边缘图像；
2.3)将步骤2.2)生成的边缘图像和步骤2.1)阶段二的处理结果进行逐像素相加生成最终的输出图像，即得红外图像的超分辨图像；
所述步骤1中的训练目标图像为：
训练目标图像一：对红外图像进行模糊核为7、方差为3的高斯模糊处理以实现图像的去噪，作为步骤2.1)中图像处理子网络阶段一的训练目标图像；
训练目标图像二：对红外图像用sobel算子进行图像的边缘提取，作为步骤2.2)图像边缘处理子网络的训练目标图像；
训练目标图像三：对红外图像进行锐化处理，作为步骤2.3)的训练目标图像。
2.根据权利要求1所述的一种基于边缘锐化的红外图像超分辨方法，其特征在于，所述步骤2.3)获得的红外图像的超分辨图像为输入的红外图像尺寸的2倍或4倍，超分辨图像的分辨率高于输入的红外图像。
CN201911046112.XA 2019-10-30 2019-10-30 一种基于边缘锐化的红外图像超分辨方法 Active CN110852947B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911046112.XA CN110852947B (zh) 2019-10-30 2019-10-30 一种基于边缘锐化的红外图像超分辨方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911046112.XA CN110852947B (zh) 2019-10-30 2019-10-30 一种基于边缘锐化的红外图像超分辨方法

Publications (2)

Publication Number Publication Date
CN110852947A CN110852947A (zh) 2020-02-28
CN110852947B true CN110852947B (zh) 2021-07-20

Family

ID=69599307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911046112.XA Active CN110852947B (zh) 2019-10-30 2019-10-30 一种基于边缘锐化的红外图像超分辨方法

Country Status (1)

Country Link
CN (1) CN110852947B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111932460B (zh) * 2020-08-10 2023-09-22 北京大学深圳医院 Mr图像超分辨率重建方法、装置、计算机设备及存储介质
CN113674176B (zh) * 2021-08-23 2024-04-16 北京市商汤科技开发有限公司 图像修复方法及装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897986A (zh) * 2017-01-23 2017-06-27 浙江大学 一种基于多尺度分析的可见光图像与远红外图像融合方法
CN107392852A (zh) * 2017-07-10 2017-11-24 深圳大学 深度图像的超分辨率重建方法、装置、设备及存储介质
WO2017219263A1 (zh) * 2016-06-22 2017-12-28 中国科学院自动化研究所 基于双向递归卷积神经网络的图像超分辨率增强方法
CN108961180A (zh) * 2018-06-22 2018-12-07 理光软件研究所（北京）有限公司 红外图像增强方法及***

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389552B (zh) * 2017-08-02 2023-03-28 中山大学 一种基于上下文相关多任务深度学习的图像超分辨算法
CN109801215B (zh) * 2018-12-12 2020-04-28 天津津航技术物理研究所 基于对抗生成网络的红外超分辨率成像方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017219263A1 (zh) * 2016-06-22 2017-12-28 中国科学院自动化研究所 基于双向递归卷积神经网络的图像超分辨率增强方法
CN106897986A (zh) * 2017-01-23 2017-06-27 浙江大学 一种基于多尺度分析的可见光图像与远红外图像融合方法
CN107392852A (zh) * 2017-07-10 2017-11-24 深圳大学 深度图像的超分辨率重建方法、装置、设备及存储介质
CN108961180A (zh) * 2018-06-22 2018-12-07 理光软件研究所（北京）有限公司 红外图像增强方法及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Low Resolution Cell Image Edge Segmentation Based on Convolutional Neural Network;Yi Liu等;《IEEE Xplore》;20181018;第321-325页 *
基于模糊集的自适应红外图像边缘锐化算法;管志强等;《光子学报》;20080630;第37卷(第6期);第1281-1284页 *
基于生成对抗网络的单帧红外图像超分辨算法;邵保泰等;《红外与毫米波学报》;20180831;第37卷(第4期);第427-432页 *

Also Published As

Publication number Publication date
CN110852947A (zh) 2020-02-28

Similar Documents

Publication Publication Date Title
Luo et al. Deep constrained least squares for blind image super-resolution
CN109102462B (zh) 一种基于深度学习的视频超分辨率重建方法
Xu et al. Structure-texture aware network for low-light image enhancement
US20080025628A1 (en) Enhancement of Blurred Image Portions
Sada et al. Image deblurring techniques—a detail review
Dudhane et al. Burstormer: Burst image restoration and enhancement transformer
CN110852947B (zh) 一种基于边缘锐化的红外图像超分辨方法
CN114331886A (zh) 一种基于深度特征的图像去模糊方法
CN111353955A (zh) 一种图像处理方法、装置、设备和存储介质
Zhang et al. Deep motion blur removal using noisy/blurry image pairs
CN115345791A (zh) 一种基于注意力机制残差网络模型的红外图像去模糊算法
Chang et al. Beyond camera motion blur removing: How to handle outliers in deblurring
Chi et al. Joint demosaicking and blind deblurring using deep convolutional neural network
Tseng et al. Depth image super-resolution via multi-frame registration and deep learning
Oh et al. Fpanet: Frequency-based video demoireing using frame-level post alignment
Sadaka et al. Efficient super-resolution driven by saliency selectivity
Chen et al. Missing recovery: Single image reflection removal based on auxiliary prior learning
Ollion et al. Joint self-supervised blind denoising and noise estimation
Holla et al. EFID: edge-focused image denoising using a convolutional neural network
Fazlali et al. Atmospheric turbulence removal in long-range imaging using a data-driven-based approach
Tao et al. LEGAN: A low-light image enhancement generative adversarial network for industrial internet of smart-cameras
Lal et al. A comparative study on CNN based low-light image enhancement
CN110349100B (zh) 一种沿模糊路径的比例式像素提取方法
Ye et al. Single-image defocus deblurring by integration of defocus map prediction tracing the inverse problem computation
Lee et al. High-quality non-blind image deconvolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant