CN112967210A - 一种基于全卷积孪生网络的无人机图像去噪方法 - Google Patents
一种基于全卷积孪生网络的无人机图像去噪方法 Download PDFInfo
- Publication number
- CN112967210A CN112967210A CN202110471928.8A CN202110471928A CN112967210A CN 112967210 A CN112967210 A CN 112967210A CN 202110471928 A CN202110471928 A CN 202110471928A CN 112967210 A CN112967210 A CN 112967210A
- Authority
- CN
- China
- Prior art keywords
- image
- twin network
- full convolution
- subspace
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 239000000203 mixture Substances 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 21
- 230000004931 aggregating effect Effects 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 9
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 2
- 102000002274 Matrix Metalloproteinases Human genes 0.000 claims 1
- 108010000684 Matrix Metalloproteinases Proteins 0.000 claims 1
- 230000000694 effects Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于全卷积孪生网络的无人机图像去噪方法,首先使用马氏距离在干净和噪声图像组合中计算出相似块组标签;随后建立全卷积孪生网络进行训练。在去噪场景中,孪生网络输出待去噪图像的相似块组,然后通过高斯混合模型构建具有外部信息和内部信息的混合正交字典。最后使用加权稀疏编码框架求解正交字典重构图像块,随后聚合图像块达到最终去噪。本发明利用马氏距离和全卷积孪生网络来寻找相似块组,解决了块匹配算法使用欧式距离寻找相似块组时不够准确且忽略图像块结构的问题。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种基于全卷积孪生网络的无人机图像去噪方法。
背景技术
无人机具有机动性强,效率高等特点,目前在航拍、农业、灾难救援、电力巡检等领域都有着非常广泛的用途。无人机搭载高精度相机获取地面的图像数据,从而帮助人们实时准确地分析信息。但无人机在拍摄的过程中由于机体的震动,拍摄的图像往往带有噪声,因此如何去除噪声获得真实图像的准确信息成为一个难点。图像去噪是指从被噪声污染的图像中恢复干净图像,是提高高级计算机视觉任务(如分类,检测,分割)性能的基础。针对真实图像去噪问题已经产生了许多成功的算法,如BM3D,WNNM等。这些去噪算法主要是依赖图像内部的自相似性来恢复干净图像。通过在噪声图像块邻域内上寻找相似块组成相似块组来进行协同去噪,但受到噪声的干扰,这些寻找到的相似块组并不能很好地表示干净图像块。通常使用欧式距离来寻找相似块组,这忽略了图像块本身的纹理特征,寻找到的相似块组与目标图像块只在色彩上相似,结构不相似。导致去噪结果往往会出现过平滑现象。所以如何快速寻找到能够准确表达干净图像块的相似块组一直是这类图像去噪算法的难题。
发明内容
有鉴于此,本发明的目的在于提供一种基于全卷积孪生网络的无人机图像去噪方法,解决了块匹配算法使用欧式距离寻找相似块组时不够准确且忽略图像块结构的问题。
为实现上述目的,本发明采用如下技术方案:
一种基于全卷积孪生网络的无人机图像去噪方法,包括以下步骤:
步骤S1:获取初始图像数据集,并预处理得到训练噪声图像集;
步骤S2:构建灰度相似块组训练高斯混合模型;
步骤S3:将训练噪声图像集输入进全卷积孪生网络,获得输出特征图;
步骤S4:根据每个噪声参考图像块和正负样本标签的位置从特征图中取出对应的通道向量,并使用Adam优化器最小化损失函数;
步骤S5:重复步骤S3-S4,直至全卷积孪生网络训练完成;
步骤S6:将待去噪图像输入进全卷积孪生网络得到输出特征图,对于所有的参考块与邻域内的所有图像块进行马氏距离计算,选择前M个图像块作为该参考块的相似块组;
步骤S7:通过干净相似块组训练高斯混合模型,得到能够表达干净子空间分布的字典信息;
步骤S8:噪声图像块组求出均值并进行均值减法预处理,使用高斯混合模型对噪声图像块组进行子空间分类,对于子空间k结合外部信息和内部信息构建完整的字典信息;
步骤S9:建立稀疏编码框架迭代T次求解正交字典和稀疏系数矩阵:
步骤S10:通过稀疏表示恢复干净图像块组
步骤S11:聚合所有图像块;
步骤S12:重复步骤S6-S11,直至达到迭代次数,输出最终去噪结果。
进一步的,所述步骤S1具体为:获取初始图像数据集,在初始图像数据集{y(1),y(2),...,y(m)}上随机三次叠加均值为0标准差为σ的高斯噪声得到训练噪声图像集{x(1),x(2),...,x(m)}。
进一步的,所述高斯混合模型具体为:设高斯混合模型子空间K,使用高斯混合模型对干净图像上的所有参考图像块进行子空间分类得出对应的协方差矩阵,进而在参考图像块对应的噪声图像邻域w内使用马氏距离计算出相似块的正负样本标签位置
进一步的,所述步骤S7具体为:设高斯混合模型子空间K,对每个子空间的协方差矩阵进行奇异值分解,得到能够表达干净子空间分布的字典信息Dk,E;
进一步的,所述步骤S9具体为:建立稀疏编码框架迭代T次求解正交字典D(T)和稀疏系数矩阵A(T):
其中D省略了子空间索引k,A是稀疏系数矩阵,λ是正则化系数。
本发明与现有技术相比具有以下有益效果:
1、本发明通过引入马氏距离来解决相似性度量过程中忽略图像块结构的问题;通过寻找与参考块具有相同纹理结构的图像块来进行协同去噪,这种图像块在去噪过程中可以阻止过平滑现象,更好地保留图像块的纹理结构;
2、本发明通过引入全卷积孪生网络来建立起干净参考块与噪声图像块的潜在联系;使得寻找到的相似块组能够更准确表达干净参考块,有助于从噪声图像更准确地恢复干净图像。
附图说明
图1为本发明方法的流程图。
图2为本发明一实施例总的全卷积孪生网络架构图。
图3为本发明实施例中与其他去噪算法的去噪效果对比图。
图4为本发明实施例中与其他去噪算法的去噪效果对比图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1,本发明提供一种基于全卷积孪生网络的无人机图像去噪方法,按以下步骤实现:
步骤S1:在干净图像数据集{y(1),y(2),...,y(m)}上随机三次叠加均值为0标准差为σ=5-10的高斯噪声得到训练噪声图像集{x(1),x(2),...,x(m)}。
优选的,其中训练数据集的数量m=45;
步骤S2:通过构建灰度相似块组训练高斯混合模型,高斯混合模型子空间K=33,使用高斯混合模型对干净图像上的所有参考图像块进行子空间分类得出对应的协方差矩阵,进而在参考图像块对应的噪声图像邻域w内使用马氏距离计算出相似块的正负样本标签位置
优选的,其中正样本标签数M=10,负样本个数为正样本数量的4倍,w=31;
步骤S5:重复步骤S3-S4,直至全卷积孪生网络训练完成;
步骤S7:通过干净相似块组来训练高斯混合模型,假设高斯混合模型子空间K=33,对每个子空间的协方差矩阵进行奇异值分解,得到能够表达干净子空间分布的字典信息Dk,E;
步骤S8:噪声相似块组求出均值μn并进行均值减法预处理,使用高斯混合模型对噪声图像块组Yn进行子空间分类,对于子空间k结合外部信息和内部信息构建完整的字典信息Dk=[Dk,E,Dk,I];
步骤S9:建立稀疏编码框架迭代T次求解正交字典D(T)和稀疏系数矩阵A(T):
其中D省略了子空间索引k,A是稀疏系数矩阵,λ是正则化系数;
步骤S11:聚合所有图像块;
步骤S12:重复步骤S6-S11,直至达到迭代次数,输出最终去噪结果;
实施例1:
本实施例中对真实图像去噪的应用具体步骤如下:
1、在干净图像数据集{y(1),y(2),...,y(m)}上随机三次加入均值为0标准差为σ=5-10的高斯噪声得到训练噪声图像集{x(1),x(2),...,x(m)},其中m=45;
6、重复步骤2)-5)直至满足迭代次数要求。
7、将待去噪图像x输入进训练完成的f,计算出噪声相似块组Yn;8、对Yn进行均值减法预处理,高斯混合模型对Yn进行子空间分类;
8、结合干净相似块组与噪声相似块组Yn构建混合正交字典D;
11、聚合所有图像块;
为了验证本发明方法的有效性,本方法将和DnCNN、PCLR、MC-WNNM、GID等近年来比较流行的去噪算法进行比较。无人机拍摄图像数据集使用Yi Yang等人在Bag-Of-Visual-Words and Spatial Extensions for Land-Use Classification一文中的提出的航拍测试图像,测试图像大小为256×256。图3和图4展示了上述不同去噪算法在无人机拍摄图像的具体去噪效果,通过对比可以发现本发明方法能够在去噪的同时更好地保留图像的纹理结构。
以上所述仅为本发明的较佳实施例,凡依本发明申请专利范围所做的均等变化与修饰,皆应属本发明的涵盖范围。
Claims (6)
1.一种基于全卷积孪生网络的无人机图像去噪方法,其特征在于,包括以下步骤:
步骤S1:获取初始图像数据集,并预处理得到训练噪声图像集;
步骤S2:构建灰度相似块组训练高斯混合模型;
步骤S3:将训练噪声图像集输入进全卷积孪生网络,获得输出特征图;
步骤S4:根据每个噪声参考图像块和正负样本标签的位置从特征图中取出对应的通道向量,并使用Adam优化器最小化损失函数;
步骤S5:重复步骤S3-S4,直至全卷积孪生网络训练完成;
步骤S6:将待去噪图像输入进全卷积孪生网络得到输出特征图,对于所有的参考块与邻域内的所有图像块进行马氏距离计算,选择前M个图像块作为该参考块的相似块组;
步骤S7:通过干净相似块组训练高斯混合模型,得到能够表达干净子空间分布的字典信息;
步骤S8:噪声图像块组求出均值并进行均值减法预处理,使用高斯混合模型对噪声图像块组进行子空间分类,对于子空间k结合外部信息和内部信息构建完整的字典信息;
步骤S9:建立稀疏编码框架迭代T次求解正交字典和稀疏系数矩阵:
步骤S10:通过稀疏表示恢复干净图像块组
步骤S11:聚合所有图像块;
步骤S12:重复步骤S6-S11,直至达到迭代次数,输出最终去噪结果。
2.根据权利要求1所述的一种基于全卷积孪生网络的无人机图像去噪方法,其特征在于,所述步骤S1具体为:获取初始图像数据集,在初始图像数据集{y(1),y(2),...,y(m)}上随机三次叠加均值为0标准差为σ的高斯噪声得到训练噪声图像集{x(1),x(2),...,x(m)}。
5.根据权利要求1所述的一种基于全卷积孪生网络的无人机图像去噪方法,其特征在于,所述步骤S7具体为:设高斯混合模型子空间K,对每个子空间的协方差矩阵进行奇异值分解,得到能够表达干净子空间分布的字典信息Dk,E。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110471928.8A CN112967210B (zh) | 2021-04-29 | 2021-04-29 | 一种基于全卷积孪生网络的无人机图像去噪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110471928.8A CN112967210B (zh) | 2021-04-29 | 2021-04-29 | 一种基于全卷积孪生网络的无人机图像去噪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112967210A true CN112967210A (zh) | 2021-06-15 |
CN112967210B CN112967210B (zh) | 2022-07-05 |
Family
ID=76279614
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110471928.8A Active CN112967210B (zh) | 2021-04-29 | 2021-04-29 | 一种基于全卷积孪生网络的无人机图像去噪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112967210B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113408528A (zh) * | 2021-06-24 | 2021-09-17 | 数贸科技(北京)有限公司 | 商品图像的质量识别方法、装置、计算设备及存储介质 |
CN113781442A (zh) * | 2021-09-13 | 2021-12-10 | 安徽农业大学 | 水稻幼苗植株三维结构模型重构方法 |
CN113793285A (zh) * | 2021-11-17 | 2021-12-14 | 武汉工程大学 | 气动光学效应目标孪生图像的超快复原方法及*** |
CN114170094A (zh) * | 2021-11-17 | 2022-03-11 | 北京理工大学 | 基于孪生网络的机载红外图像超分辨率与噪声去除算法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102663686A (zh) * | 2012-03-19 | 2012-09-12 | 西安电子科技大学 | 基于Treelet变换和高斯尺度混合模型的图像去噪方法 |
CN105046664A (zh) * | 2015-07-13 | 2015-11-11 | 广东工业大学 | 一种基于自适应epll算法的图像去噪方法 |
CN106296591A (zh) * | 2015-05-26 | 2017-01-04 | 南京理工大学 | 基于马氏距离的非局部均匀数字图像去噪方法 |
CN107038730A (zh) * | 2017-03-30 | 2017-08-11 | 湖北工业大学 | 基于高斯尺度结构块分组的稀疏表示图像重建方法 |
US20180240219A1 (en) * | 2017-02-22 | 2018-08-23 | Siemens Healthcare Gmbh | Denoising medical images by learning sparse image representations with a deep unfolding approach |
-
2021
- 2021-04-29 CN CN202110471928.8A patent/CN112967210B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102663686A (zh) * | 2012-03-19 | 2012-09-12 | 西安电子科技大学 | 基于Treelet变换和高斯尺度混合模型的图像去噪方法 |
CN106296591A (zh) * | 2015-05-26 | 2017-01-04 | 南京理工大学 | 基于马氏距离的非局部均匀数字图像去噪方法 |
CN105046664A (zh) * | 2015-07-13 | 2015-11-11 | 广东工业大学 | 一种基于自适应epll算法的图像去噪方法 |
US20180240219A1 (en) * | 2017-02-22 | 2018-08-23 | Siemens Healthcare Gmbh | Denoising medical images by learning sparse image representations with a deep unfolding approach |
CN107038730A (zh) * | 2017-03-30 | 2017-08-11 | 湖北工业大学 | 基于高斯尺度结构块分组的稀疏表示图像重建方法 |
Non-Patent Citations (3)
Title |
---|
Y.CHANG ET AL.: "Two-Stage Convolutional Neural Network for Medical Noise Removal via Image Decomposition", 《IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT》, vol. 69, no. 6, 30 June 2020 (2020-06-30) * |
张杨: "基于块先验的图像去噪算法研究", 《中国优秀硕士学位论文全文数据库(电子期刊)信息科技辑》, no. 03, 15 March 2020 (2020-03-15) * |
张雯雯等: "基于非局部自相似性的低秩稀疏图像去噪", 《计算机应用》, vol. 38, no. 9, 10 September 2018 (2018-09-10) * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113408528A (zh) * | 2021-06-24 | 2021-09-17 | 数贸科技(北京)有限公司 | 商品图像的质量识别方法、装置、计算设备及存储介质 |
CN113408528B (zh) * | 2021-06-24 | 2024-02-23 | 数贸科技(北京)有限公司 | 商品图像的质量识别方法、装置、计算设备及存储介质 |
CN113781442A (zh) * | 2021-09-13 | 2021-12-10 | 安徽农业大学 | 水稻幼苗植株三维结构模型重构方法 |
CN113781442B (zh) * | 2021-09-13 | 2024-05-31 | 安徽农业大学 | 水稻幼苗植株三维结构模型重构方法 |
CN113793285A (zh) * | 2021-11-17 | 2021-12-14 | 武汉工程大学 | 气动光学效应目标孪生图像的超快复原方法及*** |
CN114170094A (zh) * | 2021-11-17 | 2022-03-11 | 北京理工大学 | 基于孪生网络的机载红外图像超分辨率与噪声去除算法 |
CN113793285B (zh) * | 2021-11-17 | 2022-05-10 | 武汉工程大学 | 气动光学效应目标孪生图像的超快复原方法及*** |
CN114170094B (zh) * | 2021-11-17 | 2024-05-31 | 北京理工大学 | 基于孪生网络的机载红外图像超分辨率与噪声去除算法 |
Also Published As
Publication number | Publication date |
---|---|
CN112967210B (zh) | 2022-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112967210B (zh) | 一种基于全卷积孪生网络的无人机图像去噪方法 | |
CN108510532B (zh) | 基于深度卷积gan的光学和sar图像配准方法 | |
Li et al. | Fast accurate fish detection and recognition of underwater images with fast r-cnn | |
Lin et al. | Hyperspectral image denoising via matrix factorization and deep prior regularization | |
CN109671030B (zh) | 一种基于自适应秩估计黎曼流形优化的图像补全方法 | |
CN109598220B (zh) | 一种基于多元输入多尺度卷积的人数统计方法 | |
CN113222011B (zh) | 一种基于原型校正的小样本遥感图像分类方法 | |
CN107169117B (zh) | 一种基于自动编码器和dtw的手绘图人体运动检索方法 | |
CN113269224A (zh) | 一种场景图像分类方法、***及存储介质 | |
CN107292855B (zh) | 一种结合自适应非局部样本和低秩的图像去噪方法 | |
CN116152554A (zh) | 基于知识引导的小样本图像识别*** | |
CN112905828A (zh) | 一种结合显著特征的图像检索器、数据库及检索方法 | |
Lu et al. | Image-specific prior adaptation for denoising | |
CN114005046A (zh) | 基于Gabor滤波器和协方差池化的遥感场景分类方法 | |
CN114119690A (zh) | 一种基于神经网络重建高斯混合模型的点云配准方法 | |
CN117853596A (zh) | 无人机遥感测绘方法及*** | |
CN113378620A (zh) | 监控视频噪声环境下跨摄像头行人重识别方法 | |
Singh et al. | Wavelet based histogram of oriented gradients feature descriptors for classification of partially occluded objects | |
CN112418250A (zh) | 一种复杂3d点云的优化匹配方法 | |
CN108596831B (zh) | 一种基于AdaBoost实例回归的超分辨率重建方法 | |
CN116311504A (zh) | 一种小样本行为识别方法、***及设备 | |
CN113723468B (zh) | 一种三维点云的物体检测方法 | |
CN115100694A (zh) | 一种基于自监督神经网络的指纹快速检索方法 | |
CN111652246B (zh) | 一种基于深度学习的图像自适应稀疏化表征方法及装置 | |
CN112507826B (zh) | 一种端到端生态变化监测方法、终端、计算机设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |