CN108921783A - 一种基于混合损失函数约束的卫星影像超分辨率重建方法 - Google Patents
一种基于混合损失函数约束的卫星影像超分辨率重建方法 Download PDFInfo
- Publication number
- CN108921783A CN108921783A CN201810556589.1A CN201810556589A CN108921783A CN 108921783 A CN108921783 A CN 108921783A CN 201810556589 A CN201810556589 A CN 201810556589A CN 108921783 A CN108921783 A CN 108921783A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- losses
- satellite image
- resolution ratio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 239000000203 mixture Substances 0.000 title claims abstract description 11
- 230000006870 function Effects 0.000 claims abstract description 24
- 230000002708 enhancing effect Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 6
- 230000003321 amplification Effects 0.000 claims description 5
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000000571 coke Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于混合损失函数约束的卫星影像超分辨率重建方法，包括非局部网络构建、L1和L2混合范式约束训练两个过程。非局部网络构建中，对于非目标区域，计算与当前目标区域的特征向量的相关性，通过卷积提取目标有关的描述信息，对当前输入进行信息增强，从而提升网络的表达能力。L1和L2混合范式约束训练过程中，考虑到L1和L2范数在不同层次特征信息稀疏性表达上的特点，分阶段使用这两个范数作为目标损失函数，从而提升网络的收敛速度和性能。本发明极大地增强了深度学习网络的特征表达能力，能够重建纹理细腻的高分辨率卫星影像。
Description
技术领域
本发明属于数字图像处理技术领域，涉及一种卫星图像超分辨率重建方法，具体涉及一种L1和L2混合范式约束非局部性网络的卫星影像超分辨率重建方法。
背景技术
卫星影像的空间分辨率是衡量卫星拍摄能力的一项重要指标，如何在现有硬件水平上获取更高的分辨率己成为各国卫星的发展目标。超分辨率技术在遥感卫星领域的应用，将会提高卫星的空间分辨率，也可以在保持卫星分辨率的条件下，缩小光学仪器的焦距，使卫星相机小型化，减小其体积和重量。
视频卫星是一种新型的遥感卫星，可以捕获连续的动态视频而不是静止图像，因此非常适合船舶和飞机等大型动态目标的观测。与传统遥感卫星相比，视频卫星以牺牲空间分辨率为代价来获得高时间分辨率，因此有必要通过图像超分辨率的手段来恢复其地面分辨率和精细目标结构。
图像超分辨率技术从早期的插值算法到当前基于深度学***移和空间不变模糊的原则，通过信息非迭代融合过程获得高分辨率图像，但是算法要求低分辨率图像序列之间必须满足一定平移关系，否则容易出现“黑色格网”现象。最近，Patrick Hagerty等人提出了一种基于深度学习的方法，在深度神经网络中嵌入高分辨率图像的细节，并在增强相似图像时抽取这些细节。但是该方法没有考虑和利用视频卫星图像存在的大尺度范围下地物地貌的空间相似性特点，对图像自身信息利用不充分，导致超分结果过度依赖于网络模型参数，扩展性较差。
发明内容
为了解决上述技术问题，本发明提供了一种基于混合损失函数约束的卫星影像超分辨率重建方法，在残差网络中***非局部增强块，充分利用卫星影像在空间上的自相似性，获得感受野目标区域之外的有用信息对当前区域进行增强，同时分阶段采用L1和L2范数进行约束，获得精细的重建效果。
本发明所采用的技术方案是：一种基于混合损失函数约束的卫星影像超分辨率重建方法，其特征在于，包括以下步骤：
步骤1：选取若干卫星影像数据作为训练样本，从每帧影像中截取大小为N×N像素的图像块作为数据样本，同时将其下采样n倍得到对应大小为M×M的低分辨率图像块，作为残差网络的输入，其中N＝n×M；
步骤2：通过卷积核提取图像特征；
步骤3：将每个残差块的输出信息传入到非局部块，对输入进行特征增强处理；
步骤4：将获得的特征信息输入到重构层，同时分阶段用L1和L2范数作为网络的损失函数，优化网络的参数，输出得到残差图；
步骤5：同时将原始的输入插值放大，获得与高清图像同等尺寸的插值图像；
步骤6：将插值图像与残差网络学习到的残差图像相加，得到最终的超分辨率输出图像。
本发明因为考虑了非局部的输入信息，同时针对性地采用L1和L2范数进行特征学习，极大的增强了网络的表达能力，能够获得清晰的超分图像。
附图说明
图1为本发明非局部网络块的简图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
请见图1，本发明提供的一种基于混合损失函数约束的卫星影像超分辨率重建方法，其特征在于，包括以下步骤：
步骤1：选取若干卫星影像数据作为训练样本，从每帧影像中截取大小为N×N(本实例N取128)像素的图像块作为数据样本，同时将其下采样得到对应大小为M×M(本实例N取32)的低分辨率图像块，作为残差网络的输入；其中N＝n×M；
步骤2：通过卷积核提取图像特征；
步骤3：将每个残差块的输出信息传入到非局部块，通过增加额外的非局部信息对输入进行特征增强处理；
为了获得较好的效果，非局部块***位置在浅层残差块之后，用于对前面卷积区域感受野的一个增强。
本实施例采用非局部网络对特征进行增强处理，在网络训练的过程中利用算式(1)，通过softmax函数，确定非局部区域和目标区域之间的关联向量，通过权重的方式计算出非局部区域yi对目标区域的贡献Wz*yi；
zi＝Wzyi+xi (1)
其中，xi表示一个残差连接，同时也是非局部块的输入，zi表示通过非局部块增强的信息输出，yi对应着区别于目标区域之外的图像块区域，Wz表示不同的图像块区域对当前目标区域的贡献程度，通过网络自适应学习的方式获得权重。
步骤4：将获得的特征信息输入到重构层，同时分阶段用L1和L2范数作为网络的损失函数，优化网络的参数，输出得到残差图；
由于L1范数的稀疏特性，绝大部分的特征向量系数均为0，只有小部分的特征向量得到了利用。为此，前期用L1作为网络的损失函数用于学习中低频层次的特征，以得到比较光滑的结果。L2范数也具有稀疏性，但其稀疏系数是接近0但不等于0，从而可以获得更多非零特征向量，即能够学习到高频层次的信息。因此，在网络优化后期，采用L2和L1范数联合约束的形式，以便重建更好的结果。
本实施例采用L1和L2混合范式分阶段进行约束，最后再用两个损失函数统一约束，利用算式(2)，对重构图像信号表达误差进行控制；
其中，第一部分||y-Wx||1表示L1损失函数，第二部分表示L2损失，λ表示权重，x对应着网络的初始输入，即低分辨率图像，y是高分辨率监督图像，W表示超分辨率网络中滤波器的参数，同时也是高分辨率图像的重构系数，LOSS代表网络的整体损失函数，包括L1损失函数和L2损失两个部分；
采用亚像素卷积操作重构，获取与放大系数相关的输出层(r2*C，其中r为放大系数，C是输出图像颜色通道数)，重构得到残差图；采用亚像素卷积操作重构，区别于传统的解卷积操作，因而能够最大限度的保留高层次特征的结构信息，获得比较细腻的细节纹理。
步骤5：同时将原始的输入用双立方插值的方法放大，获得与高清图像同等尺寸的插值图像；
步骤6：将插值图像与残差网络学习到的残差相加，得到最终的超分输出图像。
本发明能够从非局部区域中提取与当前目标区域有关的特征信息，对输入信息进行增强，极大的提升了浅层网络的表达能力；同时在保证计算效率的前提下获取性能更佳的超分结果。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
Claims (5)
1.一种基于混合损失函数约束的卫星影像超分辨率重建方法，其特征在于，包括以下步骤：
步骤1：选取若干卫星影像数据作为训练样本，从每帧影像中截取大小为N×N像素的图像块作为数据样本，同时将其下采样n倍得到对应大小为M×M的低分辨率图像块，作为残差网络的输入，其中N＝n×M；
步骤2：通过卷积核提取图像特征；
步骤3：将每个残差块的输出信息传入到非局部块，对输入进行特征增强处理；
步骤4：将获得的特征信息输入到重构层，同时分阶段用L1和L2范数作为网络的损失函数，优化网络的参数，输出得到残差图；
步骤5：同时将原始的输入插值放大，获得与高清图像同等尺寸的插值图像；
步骤6：将插值图像与残差网络学习到的残差图像相加，得到最终的超分辨率输出图像。
2.根据权利要求1所述的基于混合损失函数约束的卫星影像超分辨率重建方法，其特征在于：步骤3中，采用非局部网络对特征进行增强处理，在网络训练的过程中利用算式(1)，通过softmax函数，确定非局部区域和目标区域之间的关联向量，通过权重的方式计算出非局部区域yi对目标区域的贡献；
zi＝Wzyi+xi (1)
其中，xi表示一个残差连接，同时也是非局部块的输入，zi表示通过非局部块增强的信息输出，yi对应着区别于目标区域之外的图像块区域，Wz表示不同的图像块区域对当前目标区域的贡献程度，通过网络自适应学习的方式获得权重。
3.根据权利要求1所述的基于混合损失函数约束的卫星影像超分辨率重建方法，其特征在于：步骤4中，采用L1和L2混合范式分阶段进行约束，最后再用两个损失函数统一约束，利用算式(2)，对重构图像信号表达误差进行控制；
其中，第一部分||y-Wx||1表示L1损失函数，第二部分表示L2损失，λ表示权重；x对应着网络的初始输入，即低分辨率图像；y是高分辨率监督图像，W表示超分辨率网络中滤波器的参数，同时也是高分辨率图像的重构系数，LOSS代表网络的整体损失函数，包括L1损失函数和L2损失两个部分。
4.根据权利要求1所述的基于混合损失函数约束的卫星影像超分辨率重建方法，其特征在于：步骤4中，采用亚像素卷积操作重构，获取与放大系数相关的输出层，重构得到残差图。
5.根据权利要求1所述的基于混合损失函数约束的卫星影像超分辨率重建方法，其特征在于：步骤5中，将原始的输入用双立方插值的方法放大。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810556589.1A CN108921783B (zh) | 2018-06-01 | 2018-06-01 | 一种基于混合损失函数约束的卫星影像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810556589.1A CN108921783B (zh) | 2018-06-01 | 2018-06-01 | 一种基于混合损失函数约束的卫星影像超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108921783A true CN108921783A (zh) | 2018-11-30 |
| CN108921783B CN108921783B (zh) | 2022-04-15 |
Family
ID=64418700
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810556589.1A Active CN108921783B (zh) | 2018-06-01 | 2018-06-01 | 一种基于混合损失函数约束的卫星影像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108921783B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109671022A (zh) * | 2019-01-22 | 2019-04-23 | 北京理工大学 | 一种基于深度特征翻译网络的图片纹理增强超分辨率方法 |
| CN110009568A (zh) * | 2019-04-10 | 2019-07-12 | 大连民族大学 | 满文图像超分辨率重建的生成器构建方法 |
| CN110245310A (zh) * | 2019-03-06 | 2019-09-17 | 腾讯科技（深圳）有限公司 | 一种对象的行为分析方法、装置及存储介质 |
| CN111010566A (zh) * | 2019-12-04 | 2020-04-14 | 杭州皮克皮克科技有限公司 | 一种基于非局部网络的视频压缩失真复原方法及*** |
| CN111353944A (zh) * | 2018-12-20 | 2020-06-30 | 深圳市中兴微电子技术有限公司 | 一种图像重建方法、装置及计算机可读存储介质 |
| TWI733341B (zh) * | 2020-02-20 | 2021-07-11 | 瑞昱半導體股份有限公司 | 用於圖像放大與增強的方法與裝置 |
| CN113313636A (zh) * | 2020-02-27 | 2021-08-27 | 瑞昱半导体股份有限公司 | 用于图像放大与增强的方法与装置 |
| CN118037549A (zh) * | 2024-04-11 | 2024-05-14 | 华南理工大学 | 一种基于视频内容理解的视频增强方法及*** |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102142137A (zh) * | 2011-03-10 | 2011-08-03 | 西安电子科技大学 | 基于高分辨率字典的稀疏表征图像超分辨重建方法 |
| CN105825477A (zh) * | 2015-01-06 | 2016-08-03 | 南京理工大学 | 基于多字典学习与非局部信息融合的遥感图像超分辨率重建方法 |
| WO2017004890A1 (zh) * | 2015-07-08 | 2017-01-12 | 北京大学深圳研究生院 | 基于迭代投影重建的字典类图像超分辨率***及方法 |
| CN106683067A (zh) * | 2017-01-20 | 2017-05-17 | 福建帝视信息科技有限公司 | 一种基于残差子图像的深度学习超分辨率重建方法 |
| CN106952228A (zh) * | 2017-03-10 | 2017-07-14 | 北京工业大学 | 基于图像非局部自相似性的单幅图像的超分辨率重建方法 |
| CN106960416A (zh) * | 2017-03-20 | 2017-07-18 | 武汉大学 | 一种内容复杂性自适应的视频卫星压缩图像超分辨率方法 |
| CN107833183A (zh) * | 2017-11-29 | 2018-03-23 | 安徽工业大学 | 一种基于多任务深度神经网络的卫星图像同时超分辨和着色的方法 |
-
2018
- 2018-06-01 CN CN201810556589.1A patent/CN108921783B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102142137A (zh) * | 2011-03-10 | 2011-08-03 | 西安电子科技大学 | 基于高分辨率字典的稀疏表征图像超分辨重建方法 |
| CN105825477A (zh) * | 2015-01-06 | 2016-08-03 | 南京理工大学 | 基于多字典学习与非局部信息融合的遥感图像超分辨率重建方法 |
| WO2017004890A1 (zh) * | 2015-07-08 | 2017-01-12 | 北京大学深圳研究生院 | 基于迭代投影重建的字典类图像超分辨率***及方法 |
| CN106683067A (zh) * | 2017-01-20 | 2017-05-17 | 福建帝视信息科技有限公司 | 一种基于残差子图像的深度学习超分辨率重建方法 |
| CN106952228A (zh) * | 2017-03-10 | 2017-07-14 | 北京工业大学 | 基于图像非局部自相似性的单幅图像的超分辨率重建方法 |
| CN106960416A (zh) * | 2017-03-20 | 2017-07-18 | 武汉大学 | 一种内容复杂性自适应的视频卫星压缩图像超分辨率方法 |
| CN107833183A (zh) * | 2017-11-29 | 2018-03-23 | 安徽工业大学 | 一种基于多任务深度神经网络的卫星图像同时超分辨和着色的方法 |
Non-Patent Citations (6)
| Title |
|---|
| HONGGANG CHEN等: "Single Image Super-Resolution via Adaptive Transform-Based Nonlocal Self-Similarity Modeling and Learning-Based Gradient Regularization", 《 IEEE TRANSACTIONS ON MULTIMEDIA》 * |
| 向文等: "结合结构自相似性和卷积网络的单幅图像超分辨率", 《计算机应用》 * |
| 李银辉等: "基于L1和L2混合范式的序列图像超分辨率重建", 《计算机应用》 * |
| 沈松等: "基于稀疏表示的超分辨率图像重建", 《电子测量技术》 * |
| 邱康等: "协作稀疏字典学习实现单幅图像超分辨率重建", 《光学学报》 * |
| 陈伟业等: "结合压缩感知与非局部信息的图像超分辨率重建", 《计算机应用》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111353944A (zh) * | 2018-12-20 | 2020-06-30 | 深圳市中兴微电子技术有限公司 | 一种图像重建方法、装置及计算机可读存储介质 |
| CN111353944B (zh) * | 2018-12-20 | 2024-05-28 | 深圳市中兴微电子技术有限公司 | 一种图像重建方法、装置及计算机可读存储介质 |
| US11810265B2 (en) | 2018-12-20 | 2023-11-07 | Sanechips Technology Co., Ltd. | Image reconstruction method and device, apparatus, and non-transitory computer-readable storage medium |
| CN109671022B (zh) * | 2019-01-22 | 2022-11-18 | 北京理工大学 | 一种基于深度特征翻译网络的图片纹理增强超分辨率方法 |
| CN109671022A (zh) * | 2019-01-22 | 2019-04-23 | 北京理工大学 | 一种基于深度特征翻译网络的图片纹理增强超分辨率方法 |
| CN110245310A (zh) * | 2019-03-06 | 2019-09-17 | 腾讯科技（深圳）有限公司 | 一种对象的行为分析方法、装置及存储介质 |
| CN110245310B (zh) * | 2019-03-06 | 2023-10-13 | 腾讯科技（深圳）有限公司 | 一种对象的行为分析方法、装置及存储介质 |
| CN110009568A (zh) * | 2019-04-10 | 2019-07-12 | 大连民族大学 | 满文图像超分辨率重建的生成器构建方法 |
| CN111010566A (zh) * | 2019-12-04 | 2020-04-14 | 杭州皮克皮克科技有限公司 | 一种基于非局部网络的视频压缩失真复原方法及*** |
| US11416966B2 (en) | 2020-02-20 | 2022-08-16 | Realtek Semiconductor Corp. | Method and system for image scaling and enhancement |
| TWI733341B (zh) * | 2020-02-20 | 2021-07-11 | 瑞昱半導體股份有限公司 | 用於圖像放大與增強的方法與裝置 |
| CN113313636A (zh) * | 2020-02-27 | 2021-08-27 | 瑞昱半导体股份有限公司 | 用于图像放大与增强的方法与装置 |
| CN118037549A (zh) * | 2024-04-11 | 2024-05-14 | 华南理工大学 | 一种基于视频内容理解的视频增强方法及*** |
| CN118037549B (zh) * | 2024-04-11 | 2024-06-28 | 华南理工大学 | 一种基于视频内容理解的视频增强方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108921783B (zh) | 2022-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108921783A (zh) | 一种基于混合损失函数约束的卫星影像超分辨率重建方法 | |
| CN107123089B (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及*** | |
| CN106683067B (zh) | 一种基于残差子图像的深度学习超分辨率重建方法 | |
| CN107025632B (zh) | 一种图像超分辨率重建方法及*** | |
| WO2021022929A1 (zh) | 一种单帧图像超分辨率重建方法 | |
| CN109741256A (zh) | 基于稀疏表示和深度学习的图像超分辨率重建方法 | |
| CN109671023A (zh) | 一种人脸图像超分辨率二次重建方法 | |
| CN114119444B (zh) | 一种基于深度神经网络的多源遥感图像融合方法 | |
| CN103455988B (zh) | 基于结构自相似性与稀疏表示的超分辨率图像重构方法 | |
| CN110136060B (zh) | 基于浅层密集连接网络的图像超分辨率重建方法 | |
| CN109146787B (zh) | 一种基于插值的双相机光谱成像***的实时重建方法 | |
| CN106920220A (zh) | 基于暗原色和交替方向乘子法优化的湍流图像盲复原方法 | |
| Chen et al. | Single image super-resolution using deep CNN with dense skip connections and inception-resnet | |
| Xiao et al. | A dual-UNet with multistage details injection for hyperspectral image fusion | |
| CN103136728B (zh) | 基于字典学习和非局部总变差的图像超分辨方法 | |
| CN112837224A (zh) | 一种基于卷积神经网络的超分辨率图像重建方法 | |
| CN106920214A (zh) | 空间目标图像超分辨率重建方法 | |
| CN110288526A (zh) | 一种基于深度学习的图像重建算法提升单像素相机成像质量的优化方法 | |
| CN107833182A (zh) | 基于特征提取的红外图像超分辨率重建方法 | |
| CN110349085A (zh) | 一种基于生成对抗网络的单幅图像超分辨特征增强方法 | |
| CN114998141B (zh) | 基于多分支网络的空间环境高动态范围成像方法 | |
| CN112163998A (zh) | 一种匹配自然降质条件的单图像超分辨率分析方法 | |
| WO2020231016A1 (en) | Image optimization method, apparatus, device and storage medium | |
| CN116934592A (zh) | 一种基于深度学习的图像拼接方法、***、设备及介质 | |
| CN109064402A (zh) | 基于增强非局部总变分模型先验的单幅图像超分辨率重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |