CN109658344A - 基于深度学习的图像去噪方法、装置、设备和存储介质 - Google Patents
基于深度学习的图像去噪方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN109658344A CN109658344A CN201811338660.5A CN201811338660A CN109658344A CN 109658344 A CN109658344 A CN 109658344A CN 201811338660 A CN201811338660 A CN 201811338660A CN 109658344 A CN109658344 A CN 109658344A
- Authority
- CN
- China
- Prior art keywords
- image
- neural network
- model
- layer
- image denoising
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000013135 deep learning Methods 0.000 title claims abstract description 33
- 238000003860 storage Methods 0.000 title claims description 10
- 238000013528 artificial neural network Methods 0.000 claims abstract description 62
- 238000012549 training Methods 0.000 claims abstract description 42
- 230000006870 function Effects 0.000 claims abstract description 26
- 230000008569 process Effects 0.000 claims abstract description 15
- 238000009826 distribution Methods 0.000 claims abstract description 10
- 230000004913 activation Effects 0.000 claims description 27
- 238000005192 partition Methods 0.000 claims description 10
- 230000003416 augmentation Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 210000004218 nerve net Anatomy 0.000 claims 4
- 230000004438 eyesight Effects 0.000 abstract description 4
- 230000008034 disappearance Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000010606 normalization Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 241000208340 Araliaceae Species 0.000 description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 235000008434 ginseng Nutrition 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 2
- 101001013832 Homo sapiens Mitochondrial peptide methionine sulfoxide reductase Proteins 0.000 description 1
- 102100031767 Mitochondrial peptide methionine sulfoxide reductase Human genes 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学***方差函数作为损失函数，应用在模型训练过程，形成深度学***视觉的图像任务处理过程。
Description
技术领域
本发明涉及模式识别与计算机视觉领域，尤其是一种基于深度学习的图像去噪方法、装置、设备和存储介质。
背景技术
随着互联网迅速发展，图像处理已经被广泛应用到航空探索、大气监控、医疗诊病以及公安侦查等领域。其中图像去噪是图像处理问题的重要组成部分，它一般是通过y＝x+v模型来复原图像，y是噪声图像，x是无噪声图像，v是噪声图像，从贝叶斯角度来看，先验是很重要对于图像去噪。例如：自适应方法和稀疏方法结合能很好地进行图像去噪和减少图像去噪的运算量，例如BM3D方法利用把2维图像转为3维数组和利用稀疏方法来处理3维数据的噪声，而增加梯度直方图方法也是处理图像去噪很有效的方法。虽然以上方法已经获得很好性能，但是它们需要手动调参来获得最优结果，同时它们需要用复杂的优化算法来提高去噪性能。
深度学习技术因为GPU和较强的自学习能力已经成为图像去噪关键技术之一，同时也能解决上述方法不足，但是已有的深度学习方法在高斯噪声图像去噪的方面性能较好，但是这些方法对于真实的噪声图像是无效的，因此需要提出一种基于噪声权值的卷积神经网络的图像去噪方法是很有意义的。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的目的是提供一种能够作用于真实噪声图像的基于深度学习的图像去噪方法、装置、设备和存储介质。
本发明所采用的技术方案是：
第一方面，本发明提供一种基于深度学习的图像去噪方法，包括步骤：
搭建神经网络图像去噪模型，所述神经网络图像去噪模型由多个卷积层和多种激活函数构成；
选取训练集，并设置所述神经网络图像去噪模型的训练参数；
根据所述神经网络图像去噪模型及其训练参数，以最小平方差函数作为损失函数并应用于所述神经网络图像去噪模型进行模型训练，形成深度学习的神经网络图像去噪模型；
将待处理的图像输入到所述神经网络图像去噪模型，输出去噪后的无噪声图像；
所述神经网络图像去噪模型的结构中包括一层去噪图像的权重层。
进一步地，还包括对所述待处理的图像进行预处理，所述预处理具体步骤为：
扩充待处理图像样本；
对所述扩充后的待处理图像样本进行重叠分块；
所述扩充待处理图像样本具体为：将待处理图像样本缩小到原来的1/2、1/3和1/4，再利用双三次插值方法，将缩小的图像扩大到和原来图像一样的大小，将一幅待处理图像样本扩展成具有相关性的4副不同的图像样本。
进一步地，所述神经网络图像去噪模型为19层网络，其中第2层至第16层采用LN横向规范化形式，所述LN具体是将经过卷积层得到特征进行归一化来统一数据的分布。
进一步地，所述神经网络图像去噪模型中第17层为去噪图像的权重，所述权重即根据噪声的分布程度确定的相应的权重。
进一步地，所述神经网络图像去噪模型中包括残差学习过程，具体实现为：将输入与第19层的输出相加。
进一步地，所述多种激活函数包括Sigmoid激活函数、Tanh激活函数和ReLU激活函数；
其中第1层和第17层采用Sigmoid激活函数，第2层至第16层采用Tanh激活函数。
进一步地，所述神经网络图像去噪模型中第18层为1x1的卷积核，其余各层均是3x3的卷积核。
第二方面，本发明提供一种基于深度学习的图像去噪装置，包括：
卷积网络模型搭建装置，用于搭建神经网络图像去噪模型，所述神经网络图像去噪模型由多个卷积层和多种激活函数构成；
训练集选取装置，用于选取训练集，并设置所述神经网络图像去噪模型的训练参数；
图像去噪模型生成装置：根据所述神经网络图像去噪模型及其训练参数，以最小平方差函数作为损失函数并应用于所述神经网络图像去噪模型进行模型训练，形成深度学习的神经网络图像去噪模型；
待处理图像去噪装置，用于将待处理的图像输入到所述神经网络图像去噪模型，输出去噪后的无噪声图像。
第三方面，本发明提供一种基于深度学习的图像去噪的控制设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法。
第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面所述的方法。
本发明的有益效果是：
本发明通过采用搭建一个19层的卷积神经网络，不同于传统的去除噪声的方法需要复杂的优化算法以及需要手动选择参数来提升去除噪声性能，而是将待处理图像输入神经网络图像去噪模型中，进行去除噪声处理，根据噪声的分布程度引入相应的权重到网络模型中，即所谓的注意力机制，用于提高该网络模型在去除噪声方面的性能，使得该模型能够适用于真实噪声的处理。
另外，本发明还通过对待处理图像进行预处理，扩充样本并把噪声图像进行重叠分块，有利用减少计算资源，同时重叠分块图像能更好捕获各块之间的信息，随后，将分块的噪声图像放入模型进行去除噪声处理。为了防止网络模型在训练过程中出现梯度消失或者梯度***的情况，引入残差学习过程，由于训练数据经过卷积操作后，其的分布范围会改变，因此采用LN横向规范化形式将经过卷积层得到特征进行归一化来统一数据的分布，使数据保存在相同的范围，并加快网络收敛速度。
本发明可广泛适用于高斯噪声、真实图像噪声、超分辨等低水平视觉的图像任务处理过程。
附图说明
图1a～图1c是现有技术中利用卷积神经网络搭建的去噪模型；
图2是本发明一种实施方式的基于深度学习的图像去噪方法基本流程图；
图3是本发明一种实施方式的基于深度学习的图像去噪方法整体实现步骤；
图4a～图4d是本发明一种实施方式的扩充图像示意图；
图5是本发明一种实施方式的进行重叠分块后的噪声图像示意图；
图6是本发明一种实施方式的具体的神经网络图像去噪模型结构示意图；
图7是本发明一种实施方式的分块噪声图像经过神经网络图像去噪模型示意图；
图8是本发明一种实施方式的基于深度学习的图像去噪装置结构框图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
如图1a～图1c所示，为现有技术中利用卷积神经网络搭建的去噪模型，可见图1a中DnCNN模型利用卷积，激活函数ReLu以及BN技术提出一种图像去噪方法；图1b中FFDNet模型把噪声映射和无噪声图像同时作为训练去噪模型的类别，该方法能很好地进行仿真噪声的盲去噪；图1c中IRCNN模型优化方法和CNN结合来处理噪声。
其中，DnCNN可以有效地去除均匀高斯噪声，且对一定噪声水平范围的噪声都有抑制作用，然而真实的噪声并不是均匀的高斯噪声，其是信号依赖的，各颜色通道相关的，而且是不均匀的，可能随空间位置变化的，FFDNet使用噪声估计图作为输入，权衡对均布噪声的抑制和细节的保持，从而应对更加复杂的真实场景，但是三种模型均不是针对真实的噪声图像进行处理，因此本发明提供一种能够用于真实噪声图像的图像去噪方法。
实施例一：
如图2所示，为本实施例的基于深度学***方差函数作为损失函数，训练神经网络图像去噪模型，形成深度学习的神经网络图像去噪模型；S4：获取去噪后的无噪声图像，具体为：将待处理的图像输入到所述神经网络图像去噪模型(WCNDN网络)，输出去噪后的无噪声图像。
如图3所示，为本实施例的基于深度学习的图像去噪方法整体实现步骤，具体包括步骤如下所示：
1)对待处理的原图像进行扩充样本。
利用图像分块能够有效减少计算资源，如图4a～4d所示，为本实施例中扩充图像示意图，以高斯噪声为例，本实施例中对待处理的原图像进行扩充样本，即将图像缩小到原来的1/2、1/3和1/4，然后利用双三次插值方法，将缩小的图像扩大到和原来图像一样的大小，这样一幅图像将一幅待处理图像样本扩展成具有相关性的4副不同的图像样本，将待处理的原图像数据集与扩充样本后的不同分辨率图像组成新的数据集，这样主要是扩充数据，有利于本实施例更好地训练神经网络图像去噪模型。
2)利用重叠分块法将图像进行分块。
如果仅仅对图像进行分块处理，然后把处理的图像块进行简单的拼接，容易导致界边处缝的问题。所以，需要在图像分块时使得相邻图像块有一定的重叠，然后选择最优的处理结果填充重叠区域，从而消除接边缝，即采用重叠分块图像能更好捕获各块之间的信息。
本实施例中将新的数据集中每副图像利用重叠分块法进行图像分块，不同图像块图像间鲁棒性更好，如图5所示，为本实施例中进行重叠分块后的噪声图像示意图，假设分块大小为40*40(像素)，图中示出了4个不同分块的示意图。
上述步骤1)和步骤2)都属于对待处理图像进行预处理，预处理具体指：扩充待处理图像样本，并对扩充后的待处理图像样本进行重叠分块。
3)将分块噪声图像输入到神经网络图像去噪模型中，获得去噪后的无噪声图像。
本实施例中神经网络图像去噪模型一共有19个卷积层，称为WCNDN(WeightedConvolutional Neural Denoising Network),具体的网络模型结构示意图如图6所示，包括：
第1层为卷积层，其激活函数为非线性的激活函数Sigmoid激活函数；第2-16层为卷积层，其激活函数为Tanh激活函数，并且采用LN横向规范化形式；第17层为卷积层，其激活函数为Sigmoid激活函数；第18-19为卷积层。
其中上述模型中，第18层为降低参数量采用1x1的卷积核，其余各层均是3x3的卷积核。
由于真实噪声图像中的噪声分布是不均匀的，如果要对不同分布噪声统一处理，就需要很大的时间复杂度，并且图像去噪模型的性能不高。因此把注意力机制融合到本实施例的图像去噪模型中，其中，注意力机制即权重机制，是根据噪声的分布程度来确定相应的权重，同时提高此网络在去除噪声上性能。
本实施例中将18层卷积与第17层卷积相乘，并经过激活函数ReLU后得到的结果作为第19层卷积层的输入，即用第17层与第18层相乘后，先经过激活函数ReLU，后经过第19层来恢复图像，其中第17层为去噪图像的权重，这样可减少去除噪声算法的复杂度并提高去噪方法的性能。
一般来说深度的神经网络不容易收敛，通常采用BN(Batch Normalization)方法来解决这个问题。但是BN方法主要依据batch的大小，当batch比较小的时候，就不太适用，由于训练数据经过卷积操作后，分布范围改变，因此本实施例把LN(Layer Normalization)技术融合到该WCNDN网络中，在网络模型的第2层至第16层采用LN技术，LN具体的是将经过卷积层得到特征进行归一化来统一数据的分布，归一化使数据保存在相同的范围，并加快网络收敛速度，具体的可以理解为LN是横着来进行归一化，它不受batch大小的影响，LN的平均数与方差的计算公式如下所示：
其中公式(1)和(2)中：h表示第h层，nh表示第h层输入的总神经元个数，xi h表示第h层的第i个神经元，μh表示第h层的均值，σh表示第h层的方差，λ是常数，同一层网络共享一个均值和方差。
另外，网络模型训练过程中有时会出现梯度消失或者梯度***，本实施例中引入差学习过程来防止这种情况，本实施例中采用残差学习具体是将最初的输入和第19层的输出相加来增加网络的性能。
下面介绍一下本实施例使用到的三种激活函数。
Sigmoid函数是使用范围最广的一类激活函数，具有指数函数形状，在物理上最接近神经元。它的输出范围在(0,1)之间，即Sigmoid函数将经过卷积运算后的数据直接转换为0-1之间，可以被表示成概率，或者用于数据的归一化，具体的公式为：
Tanh函数由Sigmoid函数衍生而来，与sigmoid函数相比，它的均值为0，这就使得其收敛速度要比sigmoid快，从而可以减少迭代次数，Tanh函数将经过卷积后的数据转换为-1到1之间，具体的公式为：
ReLU函数为线性整流单元或者修正线性单元，是一种分段线性函数，在x>0时不存在饱和问题，从而可以保持梯度不衰减，解决了梯度消失问题，具体公式如下：
上述公式(3)至公式(5)中，x表示卷积核的输出。
训练模型过程中，初始化参数为：将学习率设置为10-4,训练周期设置为50，本实施例采用的数据集是开源数据集，其中训练时采用BSD400,测试时采用BSD68，其余权值初始化均采用MSRA初始化方法。
如图7所示，为本实施例中分块噪声图像经过神经网络图像去噪模型示意图，以图5中第三个图为例，图中可见，经过神经网络图像去噪模型后，输入图像上的噪声被去除，输出的图像是一个去除噪声后的无噪声图像。
实施例二：
如图8所示，为本实施例的一种基于深度学习的图像去噪装置结构框图，包括：
卷积网络模型搭建装置，用于搭建神经网络图像去噪模型，神经网络图像去噪模型由多个卷积层和多种激活函数构成；训练集选取装置，用于选取训练集，并设置神经网络图像去噪模型的训练参数；图像去噪模型生成装置：根神经网络图像去噪模型及其训练参数，以最小平方差函数作为损失函数并应用于所述神经网络图像去噪模型进行模型训练，形成深度学习的神经网络图像去噪模型；待处理图像去噪装置，用于将待处理的图像输入到神经网络图像去噪模型，输出去噪后的无噪声图像。
另一方面，本发明还提供一种基于深度学习的图像去噪的控制设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如实施例一所述的基于深度学习的图像去噪方法。
另一方面，本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行如实施例一所述的基于深度学习的图像去噪方法。
本发明通过采用搭建一个19层的卷积神经网络，不同于传统的去除噪声的方法需要复杂的优化算法以及需要手动选择参数来提升去除噪声性能，而是将待处理图像输入神经网络图像去噪模型中，进行去除噪声处理，根据噪声的分布程度引入相应的权重到网络模型中，即所谓的注意力机制，用于提高该网络模型在去除噪声方面的性能，使得该模型能够适用于真实噪声的处理。
另外，本发明还通过对待处理图像进行预处理，扩充样本并把噪声图像进行重叠分块，有利用减少计算资源，同时重叠分块图像能更好捕获各块之间的信息，随后，将分块的噪声图像放入模型进行去除噪声处理。为了防止网络模型在训练过程中出现梯度消失或者梯度***的情况，引入残差学***视觉的图像任务处理过程。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种基于深度学习的图像去噪方法，其特征在于，包括步骤：
搭建神经网络图像去噪模型，所述神经网络图像去噪模型由多个卷积层和多种激活函数构成；
选取训练集，并设置所述神经网络图像去噪模型的训练参数；
根据所述神经网络图像去噪模型及其训练参数，以最小平方差函数作为损失函数并应用于所述神经网络图像去噪模型进行模型训练，形成深度学习的神经网络图像去噪模型；
将待处理的图像输入到所述神经网络图像去噪模型，输出去噪后的无噪声图像；
所述神经网络图像去噪模型的结构中包括一层去噪图像的权重层。
2.根据权利要求1所述的一种基于深度学习的图像去噪方法，其特征在于，还包括对所述待处理的图像进行预处理，所述预处理具体步骤为：
扩充待处理图像样本；
对所述扩充后的待处理图像样本进行重叠分块；
所述扩充待处理图像样本具体为：将待处理图像样本缩小到原来的1/2、1/3和1/4，再利用双三次插值方法，将缩小的图像扩大到和原来图像一样的大小，将一幅待处理图像样本扩展成具有相关性的4副不同的图像样本。
3.根据权利要求1所述的一种基于深度学习的图像去噪方法，其特征在于，所述神经网络图像去噪模型为19层网络，其中第2层至第16层采用LN横向规范化形式，所述LN具体是将经过卷积层得到特征进行归一化来统一数据的分布。
4.根据权利要求3所述的一种基于深度学习的图像去噪方法，其特征在于，所述神经网络图像去噪模型中第17层为去噪图像的权重，所述权重即根据噪声的分布程度确定的相应的权重。
5.根据权利要求3所述的一种基于深度学习的图像去噪方法，其特征在于，所述神经网络图像去噪模型中包括残差学习过程，具体实现为：将输入与第19层的输出相加。
6.根据权利要求3所述的一种基于深度学习的图像去噪方法，其特征在于，所述多种激活函数包括Sigmoid激活函数、Tanh激活函数和ReLU激活函数；
其中第1层和第17层采用Sigmoid激活函数，第2层至第16层采用Tanh激活函数。
7.根据权利要求3所述的一种基于深度学习的图像去噪方法，其特征在于，所述神经网络图像去噪模型中第18层为1x1的卷积核，其余各层均是3x3的卷积核。
8.一种基于深度学习的图像去噪装置，其特征在于，包括：
卷积网络模型搭建装置，用于搭建神经网络图像去噪模型，所述神经网络图像去噪模型由多个卷积层和多种激活函数构成；
训练集选取装置，用于选取训练集，并设置所述神经网络图像去噪模型的训练参数；
图像去噪模型生成装置：根据所述神经网络图像去噪模型及其训练参数，以最小平方差函数作为损失函数并应用于所述神经网络图像去噪模型进行模型训练，形成深度学习的神经网络图像去噪模型；
待处理图像去噪装置，用于将待处理的图像输入到所述神经网络图像去噪模型，输出去噪后的无噪声图像。
9.一种基于深度学习的图像去噪的控制设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811338660.5A CN109658344B (zh) | 2018-11-12 | 2018-11-12 | 基于深度学习的图像去噪方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811338660.5A CN109658344B (zh) | 2018-11-12 | 2018-11-12 | 基于深度学习的图像去噪方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109658344A true CN109658344A (zh) | 2019-04-19 |
| CN109658344B CN109658344B (zh) | 2022-10-25 |
Family
ID=66110786
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811338660.5A Active CN109658344B (zh) | 2018-11-12 | 2018-11-12 | 基于深度学习的图像去噪方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109658344B (zh) |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110211069A (zh) * | 2019-06-03 | 2019-09-06 | 广东工业大学 | 一种图像去噪模型及训练方法、***、设备、计算机介质 |
| CN110213462A (zh) * | 2019-06-13 | 2019-09-06 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及图像处理电路 |
| CN110322407A (zh) * | 2019-06-03 | 2019-10-11 | 辽宁师范大学 | 基于深度残差网络的图像椒盐噪声去除方法 |
| CN110363139A (zh) * | 2019-07-15 | 2019-10-22 | 上海点积实业有限公司 | 一种数字信号处理方法和*** |
| CN110363288A (zh) * | 2019-07-15 | 2019-10-22 | 上海点积实业有限公司 | 一种神经网络的输入图像生成方法和*** |
| CN110415190A (zh) * | 2019-07-25 | 2019-11-05 | 青岛科技大学 | 基于深度学习去除图像压缩噪声的方法、装置及处理器 |
| CN110458778A (zh) * | 2019-08-08 | 2019-11-15 | 深圳市灵明光子科技有限公司 | 一种深度图像去噪方法、装置及存储介质 |
| CN110473150A (zh) * | 2019-06-24 | 2019-11-19 | 浙江工业大学之江学院 | 基于多特征提取的cnn医学ct图像去噪方法 |
| CN110490824A (zh) * | 2019-08-23 | 2019-11-22 | 广东浪潮大数据研究有限公司 | 图像去噪的方法及装置 |
| CN110503608A (zh) * | 2019-07-13 | 2019-11-26 | 贵州大学 | 基于多视角的卷积神经网络的图像去噪方法 |
| CN110599419A (zh) * | 2019-09-09 | 2019-12-20 | 合肥工业大学 | 一种防止图像边缘信息丢失的图像去噪方法 |
| CN110610467A (zh) * | 2019-09-11 | 2019-12-24 | 杭州当虹科技股份有限公司 | 一种基于深度学习的多帧视频去压缩噪声方法 |
| CN110648292A (zh) * | 2019-09-11 | 2020-01-03 | 昆明理工大学 | 一种基于深度卷积网络的高噪声图像去噪方法 |
| CN110738605A (zh) * | 2019-08-30 | 2020-01-31 | 山东大学 | 基于迁移学习的图像去噪方法、***、设备及介质 |
| CN110782406A (zh) * | 2019-10-15 | 2020-02-11 | 深圳大学 | 一种基于信息蒸馏网络的图像去噪方法及装置 |
| CN110855585A (zh) * | 2019-09-30 | 2020-02-28 | 北京交通大学 | 一种毫米波大规模mimo***的信道估计方法 |
| CN111045084A (zh) * | 2020-01-06 | 2020-04-21 | 中国石油化工股份有限公司 | 基于预测特征提取的多次波自适应相减方法 |
| CN111738956A (zh) * | 2020-06-24 | 2020-10-02 | 哈尔滨工业大学 | 一种基于特征调制的图像去噪*** |
| CN111915502A (zh) * | 2019-05-07 | 2020-11-10 | Fei 公司 | 基于神经网络的图像恢复的采集策略 |
| WO2020252764A1 (en) * | 2019-06-21 | 2020-12-24 | Intel Corporation | Adaptive deep learning model for noisy image super-resolution |
| CN112418408A (zh) * | 2020-12-08 | 2021-02-26 | 中山大学 | 一种基于抑制不相关特征的神经网络可解释性方法 |
| CN113538281A (zh) * | 2021-07-21 | 2021-10-22 | 深圳大学 | 图像去噪方法、装置、计算机设备和存储介质 |
| CN113611568A (zh) * | 2021-09-06 | 2021-11-05 | 辽宁石油化工大学 | 一种基于遗传卷积深度网络的真空断路器 |
| CN113628124A (zh) * | 2020-05-08 | 2021-11-09 | 深圳清华大学研究院 | Isp与视觉任务联合优化方法、***、介质和电子设备 |
| CN114972130A (zh) * | 2022-08-02 | 2022-08-30 | 深圳精智达技术股份有限公司 | 一种去噪神经网络的训练方法、装置及训练设备 |
| CN116385280A (zh) * | 2023-01-09 | 2023-07-04 | 爱芯元智半导体(上海)有限公司 | 一种图像降噪***、方法及降噪神经网络训练方法 |
| CN117095074A (zh) * | 2023-08-23 | 2023-11-21 | 浙江大学 | 一种基于深度学习的医学图像的双重去噪方法及装置 |
| CN117095073A (zh) * | 2023-08-23 | 2023-11-21 | 浙江大学 | 一种基于深度学习的医学图像的去噪方法及装置 |
| CN118096592A (zh) * | 2024-04-23 | 2024-05-28 | 荣耀终端有限公司 | 图像处理方法、电子设备、存储介质及芯片*** |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090033773A1 (en) * | 2005-08-15 | 2009-02-05 | Sony Corporation | Imaging apparatus, noise reduction apparatus, noise reduction method, and noise reduction program |
| US8374457B1 (en) * | 2008-12-08 | 2013-02-12 | Adobe Systems Incorporated | System and method for interactive image-noise separation |
| US20130163869A1 (en) * | 2011-12-21 | 2013-06-27 | Sejong University Industry Academy Cooperation Foundation | Apparatus and method for extracting edge in image |
| CN103236037A (zh) * | 2013-04-03 | 2013-08-07 | 北京航空航天大学 | 基于分层退化模型的无人机实时图像模拟方法 |
| CN106204468A (zh) * | 2016-06-27 | 2016-12-07 | 深圳市未来媒体技术研究院 | 一种基于ReLU卷积神经网络的图像去噪方法 |
| CN107248144A (zh) * | 2017-04-27 | 2017-10-13 | 东南大学 | 一种基于压缩型卷积神经网络的图像去噪方法 |
| CN107507141A (zh) * | 2017-08-07 | 2017-12-22 | 清华大学深圳研究生院 | 一种基于自适应残差神经网络的图像复原方法 |
| WO2017219263A1 (zh) * | 2016-06-22 | 2017-12-28 | 中国科学院自动化研究所 | 基于双向递归卷积神经网络的图像超分辨率增强方法 |
| CN107871332A (zh) * | 2017-11-09 | 2018-04-03 | 南京邮电大学 | 一种基于残差学习的ct稀疏重建伪影校正方法及*** |
| CN107993238A (zh) * | 2017-12-19 | 2018-05-04 | 中科视拓（北京）科技有限公司 | 一种基于注意力模型的头肩部分图像分割方法及装置 |
| CN108229531A (zh) * | 2017-09-29 | 2018-06-29 | 北京市商汤科技开发有限公司 | 对象特征处理方法、装置、存储介质和电子设备 |
| CN108280811A (zh) * | 2018-01-23 | 2018-07-13 | 哈尔滨工业大学深圳研究生院 | 一种基于神经网络的图像去噪方法和*** |
| CN108492272A (zh) * | 2018-03-26 | 2018-09-04 | 西安交通大学 | 基于注意力模型及多任务神经网络的心血管易损斑块识别方法及*** |
| CN108629746A (zh) * | 2018-04-24 | 2018-10-09 | 华中科技大学 | 一种基于相关损失卷积神经网络的雷达图像斑噪抑制方法 |
| CN108717698A (zh) * | 2018-05-28 | 2018-10-30 | 深圳市唯特视科技有限公司 | 一种基于深度卷积生成对抗网络的高质量图像生成方法 |
-
2018
- 2018-11-12 CN CN201811338660.5A patent/CN109658344B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090033773A1 (en) * | 2005-08-15 | 2009-02-05 | Sony Corporation | Imaging apparatus, noise reduction apparatus, noise reduction method, and noise reduction program |
| US8374457B1 (en) * | 2008-12-08 | 2013-02-12 | Adobe Systems Incorporated | System and method for interactive image-noise separation |
| US20130163869A1 (en) * | 2011-12-21 | 2013-06-27 | Sejong University Industry Academy Cooperation Foundation | Apparatus and method for extracting edge in image |
| CN103236037A (zh) * | 2013-04-03 | 2013-08-07 | 北京航空航天大学 | 基于分层退化模型的无人机实时图像模拟方法 |
| WO2017219263A1 (zh) * | 2016-06-22 | 2017-12-28 | 中国科学院自动化研究所 | 基于双向递归卷积神经网络的图像超分辨率增强方法 |
| CN106204468A (zh) * | 2016-06-27 | 2016-12-07 | 深圳市未来媒体技术研究院 | 一种基于ReLU卷积神经网络的图像去噪方法 |
| CN107248144A (zh) * | 2017-04-27 | 2017-10-13 | 东南大学 | 一种基于压缩型卷积神经网络的图像去噪方法 |
| CN107507141A (zh) * | 2017-08-07 | 2017-12-22 | 清华大学深圳研究生院 | 一种基于自适应残差神经网络的图像复原方法 |
| CN108229531A (zh) * | 2017-09-29 | 2018-06-29 | 北京市商汤科技开发有限公司 | 对象特征处理方法、装置、存储介质和电子设备 |
| CN107871332A (zh) * | 2017-11-09 | 2018-04-03 | 南京邮电大学 | 一种基于残差学习的ct稀疏重建伪影校正方法及*** |
| CN107993238A (zh) * | 2017-12-19 | 2018-05-04 | 中科视拓（北京）科技有限公司 | 一种基于注意力模型的头肩部分图像分割方法及装置 |
| CN108280811A (zh) * | 2018-01-23 | 2018-07-13 | 哈尔滨工业大学深圳研究生院 | 一种基于神经网络的图像去噪方法和*** |
| CN108492272A (zh) * | 2018-03-26 | 2018-09-04 | 西安交通大学 | 基于注意力模型及多任务神经网络的心血管易损斑块识别方法及*** |
| CN108629746A (zh) * | 2018-04-24 | 2018-10-09 | 华中科技大学 | 一种基于相关损失卷积神经网络的雷达图像斑噪抑制方法 |
| CN108717698A (zh) * | 2018-05-28 | 2018-10-30 | 深圳市唯特视科技有限公司 | 一种基于深度卷积生成对抗网络的高质量图像生成方法 |
Non-Patent Citations (8)
| Title |
|---|
| CHUNWEI TIAN 等: "Enhanced CNN for image denoising", 《ARXIV》 * |
| KAI ZHANG ET AL.: "Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
| KAIMING HE ET AL.: "Deep Residual Learning for Image Recognition", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
| MARYAM GHOLIZADEH-ANSARI ET AL.: "Low-dose CT Denoising with Dilated Residual Network", 《2018 40TH ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE AND BIOLOGY SOCIETY (EMBC)》 * |
| PENGFEI XIONG ET AL.: "Combining Local and Global Features for 3D Face Tracking", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOPS (ICCVW)》 * |
| 吕晓琪 等: "基于深度卷积神经网络的低剂量CT肺部去噪", 《电子与信息学报》 * |
| 吴从中 等: "结合深度残差学习和感知损失的图像去噪", 《中国图象图形学报》 * |
| 杜军 等: "基于深度学习的肿瘤细胞病理学研究", 《广东医学》 * |
Cited By (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111915502A (zh) * | 2019-05-07 | 2020-11-10 | Fei 公司 | 基于神经网络的图像恢复的采集策略 |
| CN111915502B (zh) * | 2019-05-07 | 2023-04-18 | Fei 公司 | 用于基于神经网络的图像恢复的方法和*** |
| CN110322407A (zh) * | 2019-06-03 | 2019-10-11 | 辽宁师范大学 | 基于深度残差网络的图像椒盐噪声去除方法 |
| CN110211069A (zh) * | 2019-06-03 | 2019-09-06 | 广东工业大学 | 一种图像去噪模型及训练方法、***、设备、计算机介质 |
| CN110213462A (zh) * | 2019-06-13 | 2019-09-06 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及图像处理电路 |
| US12033302B2 (en) | 2019-06-21 | 2024-07-09 | Intel Corporation | Adaptive deep learning model for noisy image super-resolution |
| WO2020252764A1 (en) * | 2019-06-21 | 2020-12-24 | Intel Corporation | Adaptive deep learning model for noisy image super-resolution |
| CN110473150A (zh) * | 2019-06-24 | 2019-11-19 | 浙江工业大学之江学院 | 基于多特征提取的cnn医学ct图像去噪方法 |
| CN110473150B (zh) * | 2019-06-24 | 2023-12-12 | 兰州萃英医疗科技有限公司 | 基于多特征提取的cnn医学ct图像去噪方法 |
| CN110503608A (zh) * | 2019-07-13 | 2019-11-26 | 贵州大学 | 基于多视角的卷积神经网络的图像去噪方法 |
| CN110503608B (zh) * | 2019-07-13 | 2023-08-08 | 贵州大学 | 基于多视角的卷积神经网络的图像去噪方法 |
| CN110363139A (zh) * | 2019-07-15 | 2019-10-22 | 上海点积实业有限公司 | 一种数字信号处理方法和*** |
| CN110363288A (zh) * | 2019-07-15 | 2019-10-22 | 上海点积实业有限公司 | 一种神经网络的输入图像生成方法和*** |
| CN110363139B (zh) * | 2019-07-15 | 2020-09-18 | 上海点积实业有限公司 | 一种数字信号处理方法和*** |
| CN110415190B (zh) * | 2019-07-25 | 2023-03-14 | 青岛科技大学 | 基于深度学习去除图像压缩噪声的方法、装置及处理器 |
| CN110415190A (zh) * | 2019-07-25 | 2019-11-05 | 青岛科技大学 | 基于深度学习去除图像压缩噪声的方法、装置及处理器 |
| CN110458778A (zh) * | 2019-08-08 | 2019-11-15 | 深圳市灵明光子科技有限公司 | 一种深度图像去噪方法、装置及存储介质 |
| CN110490824A (zh) * | 2019-08-23 | 2019-11-22 | 广东浪潮大数据研究有限公司 | 图像去噪的方法及装置 |
| CN110738605A (zh) * | 2019-08-30 | 2020-01-31 | 山东大学 | 基于迁移学习的图像去噪方法、***、设备及介质 |
| CN110738605B (zh) * | 2019-08-30 | 2023-04-28 | 山东大学 | 基于迁移学习的图像去噪方法、***、设备及介质 |
| CN110599419A (zh) * | 2019-09-09 | 2019-12-20 | 合肥工业大学 | 一种防止图像边缘信息丢失的图像去噪方法 |
| CN110648292A (zh) * | 2019-09-11 | 2020-01-03 | 昆明理工大学 | 一种基于深度卷积网络的高噪声图像去噪方法 |
| CN110610467A (zh) * | 2019-09-11 | 2019-12-24 | 杭州当虹科技股份有限公司 | 一种基于深度学习的多帧视频去压缩噪声方法 |
| CN110610467B (zh) * | 2019-09-11 | 2022-04-15 | 杭州当虹科技股份有限公司 | 一种基于深度学习的多帧视频去压缩噪声方法 |
| CN110648292B (zh) * | 2019-09-11 | 2022-06-21 | 昆明理工大学 | 一种基于深度卷积网络的高噪声图像去噪方法 |
| CN110855585A (zh) * | 2019-09-30 | 2020-02-28 | 北京交通大学 | 一种毫米波大规模mimo***的信道估计方法 |
| CN110782406B (zh) * | 2019-10-15 | 2022-10-11 | 深圳大学 | 一种基于信息蒸馏网络的图像去噪方法及装置 |
| CN110782406A (zh) * | 2019-10-15 | 2020-02-11 | 深圳大学 | 一种基于信息蒸馏网络的图像去噪方法及装置 |
| CN111045084A (zh) * | 2020-01-06 | 2020-04-21 | 中国石油化工股份有限公司 | 基于预测特征提取的多次波自适应相减方法 |
| CN113628124B (zh) * | 2020-05-08 | 2024-01-16 | 深圳清华大学研究院 | Isp与视觉任务联合优化方法、***、介质和电子设备 |
| CN113628124A (zh) * | 2020-05-08 | 2021-11-09 | 深圳清华大学研究院 | Isp与视觉任务联合优化方法、***、介质和电子设备 |
| CN111738956A (zh) * | 2020-06-24 | 2020-10-02 | 哈尔滨工业大学 | 一种基于特征调制的图像去噪*** |
| CN112418408A (zh) * | 2020-12-08 | 2021-02-26 | 中山大学 | 一种基于抑制不相关特征的神经网络可解释性方法 |
| CN112418408B (zh) * | 2020-12-08 | 2023-09-05 | 中山大学 | 一种基于抑制不相关特征的神经网络可解释性方法 |
| CN113538281A (zh) * | 2021-07-21 | 2021-10-22 | 深圳大学 | 图像去噪方法、装置、计算机设备和存储介质 |
| CN113538281B (zh) * | 2021-07-21 | 2023-07-11 | 深圳大学 | 图像去噪方法、装置、计算机设备和存储介质 |
| CN113611568A (zh) * | 2021-09-06 | 2021-11-05 | 辽宁石油化工大学 | 一种基于遗传卷积深度网络的真空断路器 |
| CN114972130B (zh) * | 2022-08-02 | 2022-11-18 | 深圳精智达技术股份有限公司 | 一种去噪神经网络的训练方法、装置及训练设备 |
| CN114972130A (zh) * | 2022-08-02 | 2022-08-30 | 深圳精智达技术股份有限公司 | 一种去噪神经网络的训练方法、装置及训练设备 |
| CN116385280A (zh) * | 2023-01-09 | 2023-07-04 | 爱芯元智半导体(上海)有限公司 | 一种图像降噪***、方法及降噪神经网络训练方法 |
| CN116385280B (zh) * | 2023-01-09 | 2024-01-23 | 爱芯元智半导体(上海)有限公司 | 一种图像降噪***、方法及降噪神经网络训练方法 |
| CN117095074A (zh) * | 2023-08-23 | 2023-11-21 | 浙江大学 | 一种基于深度学习的医学图像的双重去噪方法及装置 |
| CN117095073A (zh) * | 2023-08-23 | 2023-11-21 | 浙江大学 | 一种基于深度学习的医学图像的去噪方法及装置 |
| CN117095074B (zh) * | 2023-08-23 | 2024-04-09 | 浙江大学 | 一种基于深度学习的医学图像的双重去噪方法及装置 |
| CN118096592A (zh) * | 2024-04-23 | 2024-05-28 | 荣耀终端有限公司 | 图像处理方法、电子设备、存储介质及芯片*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109658344B (zh) | 2022-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109658344A (zh) | 基于深度学习的图像去噪方法、装置、设备和存储介质 | |
| WO2023092813A1 (zh) | 一种基于通道注意力的Swin-Transformer图像去噪方法及*** | |
| Dong et al. | Denoising prior driven deep neural network for image restoration | |
| McCann et al. | Convolutional neural networks for inverse problems in imaging: A review | |
| CN109949255B (zh) | 图像重建方法及设备 | |
| CN108510485B (zh) | 一种基于卷积神经网络的无参照图像质量评估方法 | |
| Liu et al. | Learning converged propagations with deep prior ensemble for image enhancement | |
| CN109410127B (zh) | 一种基于深度学习与多尺度图像增强的图像去噪方法 | |
| WO2021109876A1 (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN110458765B (zh) | 基于感知保持卷积网络的图像质量增强方法 | |
| CN109118435A (zh) | 一种基于PReLU的深度残差卷积神经网络图像去噪方法 | |
| CN113689517B (zh) | 一种多尺度通道注意力网络的图像纹理合成方法及*** | |
| CN112598597A (zh) | 一种降噪模型的训练方法及相关装置 | |
| Kim et al. | Deeply aggregated alternating minimization for image restoration | |
| Liu et al. | Learning hadamard-product-propagation for image dehazing and beyond | |
| JP2023524252A (ja) | 生成的非線形人間形状モデル | |
| CN112884668A (zh) | 基于多尺度的轻量级低光图像增强方法 | |
| Tolba et al. | Image signature improving by PCNN for Arabic sign language recognition | |
| Chen et al. | Semantic attention and relative scene depth-guided network for underwater image enhancement | |
| CN111401209B (zh) | 一种基于深度学习的动作识别方法 | |
| Kumar et al. | Image Deconvolution using Deep Learning-based Adam Optimizer | |
| WO2019243910A1 (en) | Segmenting irregular shapes in images using deep region growing | |
| Ma et al. | A novel algorithm of image enhancement based on pulse coupled neural network time matrix and rough set | |
| CN106033595A (zh) | 一种基于局部约束的图像盲去模糊方法 | |
| Babu et al. | Review on CNN based image denoising |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |