CN109559290A - 一种深度非对称跳跃连接的图像降噪方法 - Google Patents
一种深度非对称跳跃连接的图像降噪方法 Download PDFInfo
- Publication number
- CN109559290A CN109559290A CN201811533602.8A CN201811533602A CN109559290A CN 109559290 A CN109559290 A CN 109559290A CN 201811533602 A CN201811533602 A CN 201811533602A CN 109559290 A CN109559290 A CN 109559290A
- Authority
- CN
- China
- Prior art keywords
- asymmetric
- jump
- image
- depth
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000013528 artificial neural network Methods 0.000 claims abstract description 7
- 238000003475 lamination Methods 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 claims description 5
- 239000006002 Pepper Substances 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 5
- 238000001514 detection method Methods 0.000 abstract description 2
- 230000011218 segmentation Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000001965 increasing effect Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种深度非对称跳跃连接的图像降噪方法，包括：随机裁切训练图片，并对副本添加噪声信息，形成训练样本；设计非对称跳跃连接深度神经网络，其中包含非对称跳跃连接层；确立非对称跳跃连接层各自的权重因子；进行训练与降噪。构建了一种非对称跳跃连接模型，以进行图像降噪。这种端到端的图像降噪网络能够在简化操作的同时保证降噪效果，对后期的图像理解、检测、分割、识别等任务有良好的作用。
Description
技术领域
本发明属于计算机视觉领域，是图像处理领域中的一项重要应用，尤其是涉及一种深度非对称跳跃连接的图像降噪方法。
背景技术
图像降噪的目标是基于图像已有信息，还原图像中的噪声部分并去噪。目前深度神经网络在计算机视觉与图像处理的任务中发挥着越来越大的作用，一种端到端的图像降噪网络能够在简化操作的同时保证降噪效果，这对后期的图像理解、检测、分割、识别等任务有良好的作用。
伴随国民经济的快速增长，人民生活水平日益提高，数码产品生成的图片成***性增长。在很多场景下图片识别面临因为模糊噪声等问题，使得图片不好的情况。因此找到一种有效的降噪识别方法将会在一定程度上提升准确率，更好的进行图片处理工作。
目前比较流行的全卷积网络在中间卷积层与反卷积层中有很多是没有跳跃连接的，这使得图像在训练学习、梯度反传的过程中，噪声会逐渐被消除或者逐级降低，从表象上来看图像的细节可能会丢失，这对于图像降噪来说是负面的。因此一种用于图像降噪的非对称连接深度神经网络，结合卷积和反卷积操作，通过学习真实图像与训练图像的残差分布，来对图像进行降噪是有意义的。
我们提出的非对称跳跃连接的图像降噪方法有助于获得更好的效果，在一定程度上能够防止梯度消失并且加速训练。
发明内容
本发明提出了一种深度非对称跳跃连接的图像降噪方法。该方法以深度卷积神经网络为基础，结合了残差学习、网络非对称跳跃连接、连接层之间的高斯权重分布等技术，较为准确的进行图像降噪工作，该方法可以在不同场景下有效的进行工作。
其技术解决方案是：
一种深度非对称跳跃连接的图像降噪方法，所述方法包括：
步骤1)，随机裁切图片，并对裁切后图片的副本添加噪声信息，形成训练图片，训练图片的集合构成训练样本；
步骤2)，设计非对称跳跃连接深度神经网络，其中包含非对称跳跃连接层；
步骤3)，确立非对称跳跃连接层各自的权重因子；
步骤4)，进行降噪图片训练；
步骤5)，训练完成后会得到训练模型，以此为基础进行模糊图片降噪。
步骤1)中，固定大小窗口对图像进行随机位置的裁切，并分别添加高斯噪声、椒盐噪声、扫描线干扰或像素化干扰信息。
步骤1)中，训练图片对应的标签图片为没有经过处理的裁切后的原始图。标签图片的集合构成标签样本，标签样本与训练样本一一对应。
所述步骤2)的非对称跳跃连接深度神经网络模型中，包含较多的图像卷积和反卷积操作。
所述步骤2)的非对称跳跃连接深度神经网络模型中，采用图像卷积层非对称跳跃连接图像非卷积层的方式。
所述步骤3)中，采用高斯分布的权重分配对各非对称跳跃连接层进行量化。
所述步骤4)中，降噪图片训练方式是经典的深度学习训练方法。
本发明中，结合深度非对称神经网络和大数据训练，使该降噪方法能够适应多种场景。
本发明在深度卷积神经网络的基础上，结合了残差学习、网络非对称跳跃连接、连接层之间的高斯权重分布等技术，较为准确的进行图像降噪工作，该方法可以在不同场景下有效的进行工作。
本发明能在保障完成基本降噪功能的前提下，结构简单，复杂度低，算法效率高，适合在实际场景中进行降噪工作。
附图说明
附图1是本发明所构建的非对称跳跃连接深度神经网络模型示意图。
具体实施方式
一种深度非对称跳跃连接的图像降噪方法，包括以下步骤：
1)在基于深度非对称跳跃连接的图像降噪方法的具体实例中，对于每张图片我们按照坐标关系随机裁切成64*64大小，每幅图片生成100张裁切图，并对副本添加高斯噪声、椒盐噪声、扫描线干扰、像素化干扰等信息。每张图针对每种干扰会根据不同的参数生成10张训练图片，这样最终会生成一百万张训练集合，这样操作后图像降噪的样本就都获取到了。
2)在本发明的基于深度非对称跳跃连接的图像降噪方法的具体实例中，兼顾网络性能与效率我们把网络的输入大小Input Size设置为64*64，彩色图像进入网络后通过Slice层分离出RGB三个颜色通道的图像，对于每一个颜色通道分别采用12个卷积层与12个反卷积层进行训练学习。在卷积过程中，把前六个卷积层的卷积核、大小(Kernel Size)统一设置成3*3，Stride设置成1*1，Pad设置为1；后六个卷积层的卷积核大小(Kernel Size)统一设置成1*1，Stride设置成1*1，Pad设置为1。将第3、5、7、9个卷积层进行非对称跳跃连接，相应的卷积层连接到对应反卷积层的序号是(3，4)、(5，6)、(7，8)、(9，10)。
3)在本发明的基于深度非对称跳跃连接的图像降噪方法的具体实例中，采用高斯分布的权重分配对各非对称跳跃连接层进行量化。我们将连接的最高层位置设置为中心点，也就是说对于连接层L(L1,L2,L3…,Ln)其权重的均值μ可以分别表示为公式(1):
μ＝(m+n)/2(1)相应的方差σ为：
(2)
每层的权重因子可以用标准分布来表示：
因此残差分布变为：
上面的式子中Yi表示第i层连接的真实图像，Xi表示反卷积修复后的第i层图像，也就是说对于每一幅输入图像经过非对称连接后会产生不同卷积运算后的若干个输出X，与之对应的，标签图像也会有相应的真值图像Y。n表示非对称跳跃连接的起始层，m表示非对称跳跃连接的终止层，α、Υ表示权重系数两者之和为1
4)在本发明的基于深度非对称跳跃连接的图像降噪方法的具体实例中，统一采用随机梯度下降法，训练初始学习率为10-5，迭代次数为50万次。
5)在本发明的基于深度非对称跳跃连接的图像降噪方法的具体实例中，训练完成后会得到训练模型，以此为基础进行模糊图片降噪。
本发明中，结合深度非对称神经网络和大数据训练，使该降噪方法能够适应多种场景。
本发明在深度卷积神经网络的基础上，结合了残差学习、网络非对称跳跃连接、连接层之间的高斯权重分布等技术，较为准确的进行图像降噪工作，该方法可以在不同场景下有效的进行工作。
本发明能在保障完成基本降噪功能的前提下，结构简单，复杂度低，算法效率高，适合在实际场景中进行降噪工作。
上述方式中未述及的技术内容，采取或借鉴已有技术即可实现。需要说明的是，在本说明书的教导下，本领域技术人员还可以作出这样或那样的容易变化方式，诸如等同方式，或明显变形方式。上述的变化方式均应在本发明的保护范围之内。
Claims (8)
1.一种深度非对称跳跃连接的图像降噪方法，所述方法包括：
步骤1)，随机裁切图片，并对裁切后图片的副本添加噪声信息，形成训练图片，训练图片的集合构成训练样本；
步骤2)，设计非对称跳跃连接深度神经网络，其中包含非对称跳跃连接层；
步骤3)，确立非对称跳跃连接层各自的权重因子；
步骤4)，进行降噪图片训练；
步骤5)，训练完成后会得到训练模型，以此为基础进行模糊图片降噪。
2.根据权利要求1所述的基于深度非对称跳跃连接的图像降噪方法，其特征在于：步骤1)中，固定大小窗口对图像进行随机位置的裁切，并分别添加高斯噪声、椒盐噪声、扫描线干扰或像素化干扰信息。
3.根据权利要求1所述的基于深度非对称跳跃连接的图像降噪方法，其特征在于：步骤1)中，训练图片对应的标签图片为没有经过处理的裁切后的原始图。
4.根据权利要求3所述的基于深度非对称跳跃连接的图像降噪方法，其特征在于：标签图片的集合构成标签样本，标签样本与训练样本一一对应。
5.根据权利要求1所述的基于深度非对称跳跃连接的图像降噪方法，其特征在于：所述步骤2)的非对称跳跃连接深度神经网络模型中，包含较多的图像卷积和反卷积操作。
6.根据权利要求1所述的基于深度非对称跳跃连接的图像降噪方法，其特征在于：所述步骤2)的非对称跳跃连接深度神经网络模型中，采用图像卷积层非对称跳跃连接图像非卷积层的方式。
7.根据权利要求1所述的基于深度非对称跳跃连接的图像降噪方法，其特征在于：所述步骤3)中，采用高斯分布的权重分配对各非对称跳跃连接层进行量化。
8.根据权利要求1所述的基于深度非对称跳跃连接的图像降噪方法，其特征在于：所述步骤4)中，降噪图片训练方式是经典的深度学习训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811533602.8A CN109559290A (zh) | 2018-12-14 | 2018-12-14 | 一种深度非对称跳跃连接的图像降噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811533602.8A CN109559290A (zh) | 2018-12-14 | 2018-12-14 | 一种深度非对称跳跃连接的图像降噪方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109559290A true CN109559290A (zh) | 2019-04-02 |
Family
ID=65870043
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811533602.8A Pending CN109559290A (zh) | 2018-12-14 | 2018-12-14 | 一种深度非对称跳跃连接的图像降噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109559290A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110010144A (zh) * | 2019-04-24 | 2019-07-12 | 厦门亿联网络技术股份有限公司 | 语音信号增强方法及装置 |
| CN114781445A (zh) * | 2022-04-11 | 2022-07-22 | 山东省人工智能研究院 | 一种基于可解释性的深度神经网络的心电信号降噪方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107689034A (zh) * | 2017-08-16 | 2018-02-13 | 清华-伯克利深圳学院筹备办公室 | 一种神经网络的训练方法、去噪方法及装置 |
| CN108537746A (zh) * | 2018-03-21 | 2018-09-14 | 华南理工大学 | 一种基于深度卷积网络的模糊可变图像盲复原方法 |
| CN108961186A (zh) * | 2018-06-29 | 2018-12-07 | 赵岩 | 一种基于深度学习的老旧影片修复重制方法 |
-
2018
- 2018-12-14 CN CN201811533602.8A patent/CN109559290A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107689034A (zh) * | 2017-08-16 | 2018-02-13 | 清华-伯克利深圳学院筹备办公室 | 一种神经网络的训练方法、去噪方法及装置 |
| CN108537746A (zh) * | 2018-03-21 | 2018-09-14 | 华南理工大学 | 一种基于深度卷积网络的模糊可变图像盲复原方法 |
| CN108961186A (zh) * | 2018-06-29 | 2018-12-07 | 赵岩 | 一种基于深度学习的老旧影片修复重制方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110010144A (zh) * | 2019-04-24 | 2019-07-12 | 厦门亿联网络技术股份有限公司 | 语音信号增强方法及装置 |
| CN114781445A (zh) * | 2022-04-11 | 2022-07-22 | 山东省人工智能研究院 | 一种基于可解释性的深度神经网络的心电信号降噪方法 |
| CN114781445B (zh) * | 2022-04-11 | 2022-11-18 | 山东省人工智能研究院 | 一种基于可解释性的深度神经网络的心电信号降噪方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110175986B (zh) | 一种基于卷积神经网络的立体图像视觉显著性检测方法 | |
| CN103942758B (zh) | 基于多尺度融合的暗通道先验图像去雾方法 | |
| CN106683104B (zh) | 基于集成深度卷积神经网络的***磁共振图像分割方法 | |
| CN107506822A (zh) | 一种基于空间融合池化的深度神经网络方法 | |
| CN112818862A (zh) | 基于多源线索与混合注意力的人脸篡改检测方法与*** | |
| CN110473185A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN109712095B (zh) | 一种快速边缘保留的人脸美化方法 | |
| CN111612024B (zh) | 特征提取方法、装置、电子设备及计算机可读存储介质 | |
| CN110148088B (zh) | 图像处理方法、图像去雨方法、装置、终端及介质 | |
| CN105956570B (zh) | 基于唇部特征和深度学习的笑脸识别方法 | |
| CN112712546A (zh) | 一种基于孪生神经网络的目标跟踪方法 | |
| CN109035172A (zh) | 一种基于深度学习的非局部均值超声图像去噪方法 | |
| CN109389560A (zh) | 一种自适应加权滤波图像降噪方法、装置及图像处理设备 | |
| CN111179196B (zh) | 一种基于分而治之的多分辨率深度网络图像去高光方法 | |
| CN116681636B (zh) | 基于卷积神经网络的轻量化红外与可见光图像融合方法 | |
| CN112836602B (zh) | 基于时空特征融合的行为识别方法、装置、设备及介质 | |
| CN112733929A (zh) | 一种改进Yolo水下图像小目标和遮挡目标的检测方法 | |
| CN109559290A (zh) | 一种深度非对称跳跃连接的图像降噪方法 | |
| CN110047054A (zh) | 一种基于vgg-19提取特征的gan医学图像降噪方法 | |
| CN108230269B (zh) | 基于深度残差网络的去网格方法、装置、设备及存储介质 | |
| CN104268845A (zh) | 极值温差短波红外图像的自适应双局部增强方法 | |
| CN105913391A (zh) | 一种基于形状可变形态学重构的去雾方法 | |
| CN110992320B (zh) | 一种基于双重交错的医学图像分割网络 | |
| CN115965844A (zh) | 基于视觉显著性先验知识的多聚焦图像融合方法 | |
| CN116416664A (zh) | 一种结合面部动态行为的抑郁症识别***、介质及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190402 |