CN110503608A - 基于多视角的卷积神经网络的图像去噪方法 - Google Patents

基于多视角的卷积神经网络的图像去噪方法 Download PDF

Info

Publication number
CN110503608A
CN110503608A CN201910632475.5A CN201910632475A CN110503608A CN 110503608 A CN110503608 A CN 110503608A CN 201910632475 A CN201910632475 A CN 201910632475A CN 110503608 A CN110503608 A CN 110503608A
Authority
CN
China
Prior art keywords
image
network
angle
view
denoising
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910632475.5A
Other languages
English (en)
Other versions
CN110503608B (zh
Inventor
徐勇
孙利雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou University
Original Assignee
Guizhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou University filed Critical Guizhou University
Priority to CN201910632475.5A priority Critical patent/CN110503608B/zh
Publication of CN110503608A publication Critical patent/CN110503608A/zh
Application granted granted Critical
Publication of CN110503608B publication Critical patent/CN110503608B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多视角的卷积神经网络的图像去噪方法。本发明用INBN技术代替了BN来加快去噪网络的收敛；该方法能有效地补就BN的不足和加快网络收敛，能处理真实噪声图像、盲噪声以及高斯噪声。本发明仅仅用20层的网络来进行去噪，减少网络的计算代价。此外，本发明用一种新的技术GF技术来更好把线性数据变换为非线性的数据；用Smooth函数来更好地训练去噪模型。此外，它采用多视角的特征融合来增强网络性能。本发明对于现实中灾难救援、航空探险与医疗诊病具有重要意义。

Description

基于多视角的卷积神经网络的图像去噪方法
技术领域
本发明涉及图像处理技术领域，尤其是基于多视角的卷积神经网络的图像去噪方法。
背景技术
数字图像设备已经被广泛地应用到多个领域，如疾病诊断、个人身份识别以及灾难救援。而图像设备在拍摄照片常常遭到相机抖动、低光、雨天雾天等影响，这导致拍摄出来的照片不清晰，图像去噪技术就是把这些不清楚图像还原到高度清晰的图像，这个过程称为可逆过程，它去噪主要依靠的方法为y＝x+μ，其中y是噪声图像，x是复原到的干净图像，μ是噪声。从贝叶斯的角度来看，先验知识对于图像去噪是关键的，同时一些学者在这个方面已经做了很多工作，如稀疏方法对于图像去噪任务有很好的鲁棒性。用非逻辑自适应性来优化稀疏方法并应用在去噪任务上。字典学***滑，这有利于恢复干净的图像。此外，马尔科夫、加权核范数最小化和3维的块匹配过滤器方法是主流的去噪方法。虽然这些方法在图像去噪上已经取得了很好性能，但是这些方法仍然面临着以下挑战：
(1)这些方法需要人为手动设置参数来获得最优的性能；
(2)这些方法需要在测试阶段需要复杂的优化算法，这大大增加这些方法的计算代价；
(3)这种方法只能针对一种情况训练一个模型来解决这个问题，如噪声级别为25的高斯噪声，它们只能有一个模型来解决这个问题，生活中噪声图像是复杂的，这大大限制它们的应用范围。
近年来，深度学习由于图像处理单元(Graphic Processing Unit, GPU)和大数据的原因变得越来越受欢迎。其中卷积神经网络 (Convolutional Neural Network)是典型的深度学习技术，它又称为越来越流行的原因有如下几点：
(1)CNN的结构是end-to-end连接，它是非常灵活的，它可以针对任务的特性来设定结构；
(2)CNN能依靠基本的插件来实现正则化，其基本的插件包括线性修正单元(Rectifier Linear Unit,ReLU)和卷积层(Convolution, Conv)；
(3)CNN依靠GPU来进行并行计算，大大地提高运行效率。
CNN由于具有强大的自学习能力，它不需要手动调参，同时它依靠GPU能快速处理图像，故它也是一种很有效的处理图像复原方法，如：SRCNN网络利用三层进行处理超分辨任务。虽然它在超分辨任务上比传统方法好，但当网络深度超过三层性能就会下降，故此方法缺少灵活性。随后，CNN在图像去噪上也取得突破性的进展，如DnCNN首次将CNN用到图像去噪，并用一个模型来处理多个任务:高斯去噪，超分辨以及恢复压缩图像。FFDNet用噪声映射和噪声图像一同作为去噪网络的输入，该方法有效地处理盲噪声。IRCNN 首次将优化算法和判别方法结合在一起，该方法在处理真实噪声具有一定意义。MLWC将空间域特征与CNN结合来解决超分辨与去噪等任务。何凯明提出反复利用+操作来提升图像去噪的性能。以上这些方法都在图像去噪方面取得一定进展，但是仍然有以下挑战尚未解决：
(1)以上大部分方法使用BN技术，而BN技术很依赖batch的大小，当batch大时，BN技术性能比较好；当batch比较小的时候，BN 技术性能下降。因此BN技术没有很好的鲁棒性；
(2)以上所涉及到方法不能用一个模型处理真实噪声、高斯噪声以及盲噪声等多个任务；
(3)以上所涉及方法部分是靠加深网络层数、部分方法是靠反复地利用+操作来提高去噪性能，这大大增加网络的计算代价。
发明内容
本发明所要解决的技术问题是提供一种基于多视角的卷积神经网络的图像去噪方法，该方法能有效地补就BN的不足和加快网络收敛，能处理真实噪声图像、盲噪声以及高斯噪声。对于现实中灾难救援、航空探险与医疗诊病具有重要意义。
本发明是这样实现的：基于多视角的卷积神经网络的图像去噪方法，包含如下步骤进行：
1)将原图像用FFT算法提取特征后，再进行图像重构，将重构后图像与原图像分块后共同作为去噪网络的输入；
2)重构后图像与原图像分块经过去噪网络，将FFT对应的输出与原图像对应网络输出进行相加后，输出去噪的干净图像。
所述的去噪网络有19层组成，第1层由卷积层和ReLU组成的；第2-18层由卷积层，INBN和GF函数组成，第19层由卷积层组成；经过去噪网络处理，将得到的FFT对应的网络输出与原图像对应网络输出进行相加后，作为第19层卷积层的输入。
所述的网络的输入大小为256×1×40×40，输出大小为 256×1×40×40，卷积大小为3×3，其中256×1×40×40代表batchsize为 256，输出通道为1，高度和宽度为40。
所述的INBN层是一个卷积层的通道一半经过IN，另一半经过 BN之后再通过+操作合并到一起；其中IN的表示如式(1)：
式(1)中，μ为平均值，σ是标准差，ε是常数，H是高度W是深度；
BN的表示如式(2)所示：
(2)代表平均值(3)代表方差(4)代表归一化(5)代表数据重构。
所述的GF函数为GF(x)＝ReLU(x)×Tanh(x)，其中ReLU为φ(x)＝max(0,x)，ReLU的作用就是把线性转化的数据为非线性的数据。
其中，tanh(x)为
使用Smooth函数作为目标函数来训练去噪模型，Smooth函数如式(6)所示：
图像重构：是提取图像的特征后，用特征和模型训练训练的参数进行相乘可以得到特征图。特征图和原图是有区别的，特征图是对原图关键的抽取，比如：一副人脸图像，我们抽取特征，可以用人眼、鼻子、嘴特征等重构一副图像带表示整幅人脸图像。
图像分块：是将整幅图像分成多个小块，这样有助快速提取图像直接的局部特征。
输入是将FFT特征图像与原图进行输入，将特征图像和原图像进行分块。
本发明用INBN技术代替了BN来加快去噪网络的收敛；该方法能有效地补就BN的不足和加快网络收敛，能处理真实噪声图像、盲噪声以及高斯噪声。本发明仅仅用20层的网络来进行去噪，减少网络的计算代价。此外，本发明用一种新的技术GF技术来更好把线性数据变换为非线性的数据；用Smooth函数来更好地训练去噪模型。此外，它采用多视角的特征融合来增强网络性能。本发明对于现实中灾难救援、航空探险与医疗诊病具有重要意义。
附图说明
图1为本发明的网络的整体流程图；
图2为本发明的去噪网络的结构图；
图3为本发明的实施例的原噪声图像与FFT提取空间域特征的图像；
图4为本发明的实施例的原噪声分块图像中2块图；
图5为本发明的实施例的FFT图像分块图像中2块图像；
图6为本发明的实施例的干净图像2块图像。
图7为本发明的实施例的原图像、FFT提取空间特征的图像与恢复的干净图像的比较图。
具体实施方式
本发明的实施例：基于多视角的卷积神经网络的图像去噪方法，本实施将Smooth函数作为训练去噪网络的目标函数。以高斯噪声级别75为例。
包括如下步骤：
1)将原图像经过FFT进行特征提取后进行图像重构，把重构图像分块，也把原图像分块作为网络的输入，如图3所示。
2)重构后图像与原图像分块经过去噪网络，将FFT对应的输出与原图像对应网络输出进行相加后，输出去噪的干净图像。
所述的网络有19层组成，第1层由卷积层和ReLU组成的；第 2-18层由卷积层，INBN和GF函数组成，第19层由卷积层组成；用“+”操作将步骤1，如图2所示得到特征融合到一起后与第19层卷积层相连。
所述的网络的输入大小为256×1×40×40，输出大小为 256×1×40×40，卷积大小为3×3，其中256×1×40×40代表batchsize为 256，输出通道为1，高度和宽度为40。
所述的INBN层是一个卷积层的通道一半经过IN，另一半经过 BN之后再通过cat+操作合并到一起；其中IN的表示如式(1)：
式(1)中，μ为平均值，σ是标准差，ε是常数，H是高度W是深度；
BN的表示如式(2)所示：
(2)代表平均值(3)代表方差(4)代表归一化(5)代表数据重构。
所述的GF函数为GF(x)＝ReLU(x)×Tanh(x)，其中ReLU为φ(x)＝max(0,x)，ReLU的作用就是把线性转化的数据为非线性的数据。
其中，tanh(x)为
本发明使用Smooth函数作为目标函数来训练去噪模型，Smooth 能使图像变得更平滑。

Claims (6)

1.一种基于多视角的卷积神经网络的图像去噪方法，其特征在于，包含如下步骤进行：
1)将原图像用FFT算法提取特征后，再进行图像重构，将重构后图像与原图像分块后共同作为去噪网络的输入；
2)重构后图像与原图像分块经过去噪网络，将FFT对应的网络输出与原图像对应网络输出进行相加后，输出去噪的干净图像。
2.根据权利要求1所述的基于多视角的卷积神经网络的图像去噪方法，其特征在于：所述的去噪网络有19层组成，第1层由卷积层和ReLU组成的；第2-18层由卷积层，INBN和GF函数组成，第19层由卷积层组成；经过去噪网络处理，将得到的FFT对应的网络输出与原图像对应网络输出进行相加后，作为第19层卷积层的输入。
3.根据权利要求1所述的基于多视角的卷积神经网络的图像去噪方法，其特征在于：所述的网络的输入大小为256×1×40×40，输出大小为256×1×40×40，卷积大小为3×3，其中256×1×40×40代表batchsize为256，输出通道为1，高度和宽度为40。
4.根据权利要求2所述的基于多视角的卷积神经网络的图像去噪方法，其特征在于：所述的INBN层是一个卷积层的通道一半经过IN，另一半经过BN之后再通过+操作合并到一起；其中IN的表示如式(1)：
式(1)中，μ为平均值，σ是标准差，ε是常数，H是高度W是深度；
BN的表示如式(2)所示：
(2)代表平均值(3)代表方差(4)代表归一化(5)代表数据重构。
5.根据权利要求2所述的基于多视角的卷积神经网络的图像去噪方法，其特征在于：所述的GF函数为GF(x)＝ReLU(x)×Tanh(x)，其中ReLU为φ(x)＝max(0,x)，ReLU的作用就是把线性转化的数据为非线性的数据。其中，tanh(x)为
6.根据权利要求2所述的基于多视角的卷积神经网络的图像去噪方法，其特征在于：使用Smooth函数作为目标函数来训练去噪模型，Smooth函数如式(6)所示：
CN201910632475.5A 2019-07-13 2019-07-13 基于多视角的卷积神经网络的图像去噪方法 Active CN110503608B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910632475.5A CN110503608B (zh) 2019-07-13 2019-07-13 基于多视角的卷积神经网络的图像去噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910632475.5A CN110503608B (zh) 2019-07-13 2019-07-13 基于多视角的卷积神经网络的图像去噪方法

Publications (2)

Publication Number Publication Date
CN110503608A true CN110503608A (zh) 2019-11-26
CN110503608B CN110503608B (zh) 2023-08-08

Family

ID=68585482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910632475.5A Active CN110503608B (zh) 2019-07-13 2019-07-13 基于多视角的卷积神经网络的图像去噪方法

Country Status (1)

Country Link
CN (1) CN110503608B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111045084A (zh) * 2020-01-06 2020-04-21 中国石油化工股份有限公司 基于预测特征提取的多次波自适应相减方法
CN112634159A (zh) * 2020-12-23 2021-04-09 中国海洋大学 基于盲噪声估计的高光谱图像去噪方法
CN112883759A (zh) * 2019-11-29 2021-06-01 杭州海康威视数字技术股份有限公司 一种生物特征部位图像噪声的检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6207957B1 (en) * 1998-09-18 2001-03-27 The Regents Of The University Of California System to quantify gamma-ray radial energy deposition in semiconductor detectors
CN108460726A (zh) * 2018-03-26 2018-08-28 厦门大学 一种基于增强递归残差网络的磁共振图像超分辨重建方法
CN108986047A (zh) * 2018-07-13 2018-12-11 中国科学技术大学 图像降噪方法
CN109410127A (zh) * 2018-09-17 2019-03-01 西安电子科技大学 一种基于深度学习与多尺度图像增强的图像去噪方法
CN109658344A (zh) * 2018-11-12 2019-04-19 哈尔滨工业大学（深圳） 基于深度学习的图像去噪方法、装置、设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6207957B1 (en) * 1998-09-18 2001-03-27 The Regents Of The University Of California System to quantify gamma-ray radial energy deposition in semiconductor detectors
CN108460726A (zh) * 2018-03-26 2018-08-28 厦门大学 一种基于增强递归残差网络的磁共振图像超分辨重建方法
CN108986047A (zh) * 2018-07-13 2018-12-11 中国科学技术大学 图像降噪方法
CN109410127A (zh) * 2018-09-17 2019-03-01 西安电子科技大学 一种基于深度学习与多尺度图像增强的图像去噪方法
CN109658344A (zh) * 2018-11-12 2019-04-19 哈尔滨工业大学（深圳） 基于深度学习的图像去噪方法、装置、设备和存储介质

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
HAROLD C. BURGER 等: ""Image denoising: Can plain neural networks compete with BM3D"", 《HTTPS://IEEEXPLORE.IEEE.ORG/STAMP/STAMP.JSP?TP=&ARNUMBER=6247952》 *
KUANG GONG: ""PET Image Denoising Using a Deep Neural Network Through Fine Tuning"", 《HTTPS://IEEEXPLORE.IEEE.ORG/STAMP/STAMP.JSP?TP=&ARNUMBER=8502864》 *
孙利雷等: "基于深度学习的乳腺X射线影像分类方法研究", 《计算机工程与应用》 *
新智元: ""【实战】利用卷积自编码器实现图片降噪（代码开源）"", 《HTTPS://WWW.SOHU.COM/A/157810470_473283》 *
胡拓: ""结合图像降噪处理的低剂量CT重建"", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *
马国喻: "一种求解差分方程的好方法――生成函数法", 《北京化工大学学报(自然科学版)》 *
马红强等: "基于改进栈式稀疏去噪自编码器的自适应图像去噪", 《光学学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112883759A (zh) * 2019-11-29 2021-06-01 杭州海康威视数字技术股份有限公司 一种生物特征部位图像噪声的检测方法
CN112883759B (zh) * 2019-11-29 2023-09-26 杭州海康威视数字技术股份有限公司 一种生物特征部位图像噪声的检测方法
CN111045084A (zh) * 2020-01-06 2020-04-21 中国石油化工股份有限公司 基于预测特征提取的多次波自适应相减方法
CN112634159A (zh) * 2020-12-23 2021-04-09 中国海洋大学 基于盲噪声估计的高光谱图像去噪方法
CN112634159B (zh) * 2020-12-23 2022-07-26 中国海洋大学 基于盲噪声估计的高光谱图像去噪方法

Also Published As

Publication number Publication date
CN110503608B (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
WO2023092813A1 (zh) 一种基于通道注意力的Swin-Transformer图像去噪方法及***
Tian et al. Deep learning on image denoising: An overview
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN108520503B (zh) 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法
WO2020087607A1 (zh) 一种基于Bi-Skip-Net的图像去模糊方法
CN111127308B (zh) 用于局部遮挡下单样本人脸识别的镜像特征重排修复方法
Liu et al. Knowledge-driven deep unrolling for robust image layer separation
CN108765338A (zh) 基于卷积自编码卷积神经网络的空间目标图像复原方法
Huang et al. Deep hyperspectral image fusion network with iterative spatio-spectral regularization
CN110782399A (zh) 一种基于多任务cnn的图像去模糊方法
CN111161360B (zh) 基于Retinex理论的端到端网络的图像去雾方法
CN110232653A (zh) 快速轻型超分辨率重建密集残差网络
CN110503608A (zh) 基于多视角的卷积神经网络的图像去噪方法
CN113450290B (zh) 基于图像修补技术的低照度图像增强方法及***
CN111861894A (zh) 基于生成式对抗网络的图像去运动模糊方法
CN112270654A (zh) 基于多通道gan的图像去噪方法
CN116797488A (zh) 一种基于特征融合与注意力嵌入的低照度图像增强方法
CN112991199B (zh) 一种基于残差密集网络的图像高低频分解噪声去除方法
CN111695406A (zh) 一种基于红外线的人脸识别反欺骗方法、***及终端
CN107194380A (zh) 一种复杂场景下人脸识别的深度卷积网络及学习方法
CN104200194B (zh) 一种人脸识别方法
CN114202460A (zh) 面对不同损伤图像的超分辨率高清重建方法和***及设备
CN116703750A (zh) 基于边缘注意力和多阶微分损失的图像去雾方法及***
Yang et al. Deblurring and super-resolution using deep gated fusion attention networks for face images
CN113378980B (zh) 基于自适应上下文注意力机制的口罩遮挡人脸恢复方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant