CN108346133B - 一种面向视频卫星超分辨率重建的深度学习网络训练方法 - Google Patents
一种面向视频卫星超分辨率重建的深度学习网络训练方法 Download PDFInfo
- Publication number
- CN108346133B CN108346133B CN201810214943.2A CN201810214943A CN108346133B CN 108346133 B CN108346133 B CN 108346133B CN 201810214943 A CN201810214943 A CN 201810214943A CN 108346133 B CN108346133 B CN 108346133B
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- super
- deep learning
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000013135 deep learning Methods 0.000 title claims abstract description 22
- 230000006870 function Effects 0.000 claims description 27
- 230000000873 masking effect Effects 0.000 claims description 8
- 230000003068 static effect Effects 0.000 claims description 6
- 235000009508 confectionery Nutrition 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 4
- 230000006872 improvement Effects 0.000 abstract description 2
- 238000005259 measurement Methods 0.000 abstract description 2
- 230000001737 promoting effect Effects 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 15
- 238000010606 normalization Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种面向视频卫星超分辨率重建的深度学习网络训练方法,首先,构建由高分辨率静态卫星影像组成的训练样本集,然后构建面向超分辨重建的CNN网络结构和设置网络训练参数,最后建立深度CNN训练的损失函数。本发明方法顾及了目标边缘和像素灰度值对重建误差度量的影响程度,因而改善了深度CNN网络的训练效果,最终促进了基于深度学习的图像超分辨率方法性能的提升。
Description
技术领域
本发明属于机器学习技术领域,涉及一种深度学习网络训练方法,具体涉及一种面向视频卫星超分辨率重建的深度学习网络训练方法。
技术背景
近年来兴起的视频卫星通过采集连续的动态视频,为大型动态目标的实时观测提供了有效手段,从而极大地弥补了传统的遥感卫星动态观测能力的不足。视频卫星时间分辨率的提升是以牺牲空间分辨率为代价,一般而言,视频卫星的空间分辨率要低于同期的执行静态或序列影像作业的遥感卫星。例如,我国“吉林一号”上光学星的静态影像的地面分辨率达到0.72米,而视频星的动态视频的地面分辨率只有1.12米。因此,通过超分辨率技术提高视频卫星影像的空间分辨率具有重要的科学和应用价值。
近年来,多个领域获得成功应用的深度学习技术被引入图像的超分辨率重建中,取得了比传统的字典学习方法更好的效果。典型的基于深度卷积神经网络(CNN)的超分辨率方法通过大量图像样本训练一个CNN模型,然后将待超分的低分辨率观测图像输入模型,从而预测出一幅高分辨率图像作为输出结果。训练样本由低分辨率/高分辨率图像对构成,在对应的高分辨率图像的监督下,CNN网络对低分辨率图像不断地执行迭代计算,直到生成的重建图像与监督图像之间的误差小于容允门限。这种重建图像与监督图像之间误差的度量方式在深度学习中被称为损失函数,也即深度学习网络训练的优化目标函数。损失函数在深度学习中起着至关重要的作用,它是继网络结构外对学习性能影响最大的因素,不同的损失函数定义方式会带来完全不同的深度学习效果。
现有的基于深度CNN的超分辨率方法,将重建图像和监督图像的最小均方误差(MSE)作为损失函数。这种损失函数的定义方式尽管计算简单,但在视频卫星的超分辨率应用场合,同时也存在明显的局限。首先,它没有对卫星影像中地物目标的边缘给予特殊考虑,而实际上,加强不同类型地物边缘轮廓的清晰度对于卫星影像的判读具有更大价值。其次,根据亮度掩蔽效应,不同灰度级的像素允许的可察觉失真(或重建误差)是不一样的,灰度值越高的像素容允更大的失真,反之亦然;但常规的MSE误差度量函数计算的是绝对误差,并没有考虑像素本身灰度的相对影响。因此,有必要为CNN的训练过程构造更合理的损失函数,以提高基于深度CNN的图像超分辨率性能。
发明内容
为了解决上述技术问题,本发明提供了一种面向视频卫星超分辨率重建的深度学习网络训练方法。
本发明所采用的技术方案是:一种面向视频卫星超分辨率重建的深度学习网络训练方法,其特征在于,包括以下步骤:
步骤1:构建由高分辨率静态卫星影像组成的训练样本集;
步骤2:构建面向超分辨重建的CNN网络结构和设置网络训练参数;
步骤3:建立深度CNN训练的损失函数。
本发明提出的边缘增强和灰度掩蔽的MSE损失函数,顾及了目标边缘和像素灰度值在重建误差度量中的影响,因而改善了深度CNN网络的训练效果,最终促进了基于深度学习图像超分辨率方法性能的提升。具体而言,本发明具有以下优点和积极效果:
(1)通过强化目标边缘重建误差在损失函数中的比重,使得网络训练过程倾向于维持放大图像中目标边缘的保真度;
(2)通过引入灰度加权掩蔽项,度量灰度归一化后的相对误差而非绝对误差,使得失真更符合人眼的主观感知,因而在同等总体误差下失真不易被察觉。
附图说明
图1:本发明实施例的流程图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合实施例对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
视频卫星的动态视频存在固有的空间分辨率不足和模糊的局限,采用其自身的影像作为训练样本无法提供充足的高频信息,严重制约了重建高分辨率图像的细节还原程度。相比于动态卫星视频,在同样的传感器采样和信道传输吞吐量的条件下,静态卫星影像的空间分辨率要高得多、地物细节更为丰富。因此,采用空间分辨率更高的静态卫星影像代替动态视频作为视频卫星超分辨率重建的训练样本。
现有的基于深度CNN的训练中,采用重建图像和监督图像的最小均方误差MSE作为损失函数。这种度量方式将目标的边缘和平坦区域同等对待,不利于突出目标的边缘轮廓;此外,只是简单地对不同灰度级的重建误差进行累加,也有违灰度级高的像素允许更大的处理失真的亮度掩蔽规律。因此,本实施例提出边缘增强的加权MSE损失函数作为深度学***坦区域的误差;另一方面,对误差进行灰度掩蔽加权,度量灰度归一化后的相对误差。具体实施上,利用边缘提取算子将图像转化为边缘图像,度量边缘图像的重建误差;同时,将每个像素的重建误差除以像素自身的灰度,抵消灰度值的影响。
请见图1,本发明提供的一种面向视频卫星超分辨率重建的深度学习网络训练方法,包括以下步骤:
步骤1:构建由高分辨率静态卫星影像组成的训练样本集;
步骤1.1:选择空间分辨率优于预设阈值M(本实施例取0.5米)的高分辨率卫星图像(如0.31米的WorldView-3),数量大于预设阈值N(本实施例为五百幅以上),作为高分辨率图像块;
步骤1.2:将每幅图像均匀切分成kxk,k为预设阈值(本实施例取128x128)像素的图像块,得到十万数量级以上的图像块;
步骤1.3:将每个图像块采用高斯核函数进行模糊处理,然后将边长缩小L倍,L为预设阈值(本实施例取1倍),得到下采样的图像块,作为低分辨率图像块;
步骤1.4:将上述形成的高低分辨率图像块样本对,分别作为训练算法的输入图像(低分辨率图像块)和监督图像(高分辨率图像块)。
步骤2:构建面向超分辨重建的CNN网络结构和设置网络训练参数;
为获得训练速度和精度的平衡,本步骤包含如下要点:
(1)CNN网络由3层构成,每层的节点数分别为64,32,1;
(2)头两层的学习速率设为10-4,最后一层设为10-5。
步骤3:建立深度CNN训练的损失函数,体现边缘增强和灰度掩蔽的思想;
本实施例的深度CNN训练的损失函数定义如下:
令{Xi,Yi}为训练样本对,其中Xi是低分辨率输入图像,Yi是高分辨率监督图像。Zi是深度学习网络重建后的高分辨率图像。对于n个训练样本,加权MSE损失函数定义为:
这里||.||2为矩阵的L-2范数,用于灰度加权掩蔽的除法运算为逐像素操作的点除运算。
边缘增强的加权MSE损失函数定义为:
这里F()为边缘增强算子。
总体损失函数由上述二者加权组成,即
L=wL1+(1-w)L2
这里w为加权系数,实践中根据实验结果确定。
边缘增强算子F()的操作过程规定如下:
对输入图像用Canny算子提取边缘,得到二值化的边缘图像,然后将输入图像乘以二值化的边缘图像,得到增强后的边缘图像,也即将目标的边缘部分保留图像的原有像素值,而非边缘部分的像素值置为零。
应当理解的是,本说明书未详细阐述的部分均属于现有技术。
应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。
Claims (4)
1.一种面向视频卫星超分辨率重建的深度学习网络训练方法,其特征在于,包括以下步骤:
步骤1:构建由高分辨率静态卫星影像组成的训练样本集;
步骤2:构建面向超分辨重建的CNN网络结构和设置网络训练参数;
步骤3:建立深度CNN训练的损失函数;所述深度CNN训练的损失函数定义如下:
令{Xi,Yi}为训练样本对,其中Xi是低分辨率输入图像,Yi是高分辨率监督图像;Zi是深度学习网络重建后的高分辨率图像;对于n个训练样本,加权MSE损失函数定义为:
这里||.||2为矩阵的L-2范数,用于灰度加权掩蔽的除法运算为逐像素操作的点除运算;
边缘增强的加权MSE损失函数定义为:
这里F()为边缘增强算子;
总体损失函数由所述L1和L2二者加权组成,即:
L=wL1+(1-w)L2
这里w为加权系数。
2.根据权利要求1所述的面向视频卫星超分辨率重建的深度学习网络训练方法,其特征在于,步骤1的具体实现包括以下子步骤:
步骤1.1:选择空间分辨率优于预设阈值M的高分辨率卫星图像,数量大于预设阈值N,作为高分辨率图像块;
步骤1.2:将每幅图像均匀切分成kxk像素的图像块,得到若干图像块;其中k为预设阈值;
步骤1.3:将每个图像块采用高斯核函数进行模糊处理,然后将边长缩小L倍,L为预设阈值,得到下采样的图像块,作为低分辨率图像块;
步骤1.4:由上述形成的低分辨率图像块和高分辨率图像块组成样本对,将所述样本对中的低分辨率图像块和高分辨率图像块分别作为训练算法的输入图像和监督图像。
3.根据权利要求1所述的面向视频卫星超分辨率重建的深度学习网络训练方法,其特征在于:步骤2中,CNN网络由3层构成,每层的节点数分别为64、32、1;CNN网络的头两层的学习速率设为10-4,最后一层设为10-5。
4.根据权利要求1所述的面向视频卫星超分辨率重建的深度学习网络训练方法,其特征在于:所述边缘增强算子F(),对输入图像用Canny算子提取边缘,得到二值化的边缘图像,然后将输入图像乘以二值化的边缘图像,得到增强后的边缘图像,也即将目标的边缘部分保留图像的原有像素值,而非边缘部分的像素值置为零。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810214943.2A CN108346133B (zh) | 2018-03-15 | 2018-03-15 | 一种面向视频卫星超分辨率重建的深度学习网络训练方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810214943.2A CN108346133B (zh) | 2018-03-15 | 2018-03-15 | 一种面向视频卫星超分辨率重建的深度学习网络训练方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108346133A CN108346133A (zh) | 2018-07-31 |
CN108346133B true CN108346133B (zh) | 2021-06-04 |
Family
ID=62957621
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810214943.2A Active CN108346133B (zh) | 2018-03-15 | 2018-03-15 | 一种面向视频卫星超分辨率重建的深度学习网络训练方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108346133B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109525859B (zh) * | 2018-10-10 | 2021-01-15 | 腾讯科技(深圳)有限公司 | 模型训练、图像发送、图像处理方法及相关装置设备 |
CN111046893B (zh) * | 2018-10-12 | 2024-02-02 | 富士通株式会社 | 图像相似性确定方法和装置、图像处理方法和装置 |
CN110334807B (zh) * | 2019-05-31 | 2021-09-28 | 北京奇艺世纪科技有限公司 | 深度学习网络的训练方法、装置、设备和存储介质 |
CN111489292B (zh) * | 2020-03-04 | 2023-04-07 | 北京集朗半导体科技有限公司 | 视频流的超分辨率重建方法及装置 |
CN111523392B (zh) * | 2020-03-26 | 2023-06-06 | 北京航天自动控制研究所 | 一种基于卫星正射影像全姿态的深度学习样本制备方法及识别方法 |
CN112508786B (zh) * | 2020-12-03 | 2022-04-29 | 武汉大学 | 面向卫星图像的任意尺度超分辨率重建方法及*** |
CN112907443B (zh) * | 2021-02-05 | 2023-06-16 | 深圳市优象计算技术有限公司 | 一种面向卫星相机的视频超分辨率重建方法及*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016132146A1 (en) * | 2015-02-19 | 2016-08-25 | Magic Pony Technology Limited | Visual processing using sub-pixel convolutions |
CN106228512A (zh) * | 2016-07-19 | 2016-12-14 | 北京工业大学 | 基于学习率自适应的卷积神经网络图像超分辨率重建方法 |
CN106960416A (zh) * | 2017-03-20 | 2017-07-18 | 武汉大学 | 一种内容复杂性自适应的视频卫星压缩图像超分辨率方法 |
CN107194872A (zh) * | 2017-05-02 | 2017-09-22 | 武汉大学 | 基于内容感知深度学习网络的遥感图像超分辨率重建方法 |
-
2018
- 2018-03-15 CN CN201810214943.2A patent/CN108346133B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016132146A1 (en) * | 2015-02-19 | 2016-08-25 | Magic Pony Technology Limited | Visual processing using sub-pixel convolutions |
CN106228512A (zh) * | 2016-07-19 | 2016-12-14 | 北京工业大学 | 基于学习率自适应的卷积神经网络图像超分辨率重建方法 |
CN106960416A (zh) * | 2017-03-20 | 2017-07-18 | 武汉大学 | 一种内容复杂性自适应的视频卫星压缩图像超分辨率方法 |
CN107194872A (zh) * | 2017-05-02 | 2017-09-22 | 武汉大学 | 基于内容感知深度学习网络的遥感图像超分辨率重建方法 |
Non-Patent Citations (2)
Title |
---|
基于卷积神经网络的图像超分辨率重建及其视觉改进;卢昱璇;《中国优秀硕士学位论文全文数据库信息科技辑》;20161015(第10期);第28-49页 * |
基于深度学习的图像超分辨率重建算法研究;黄冬冬;《中国优秀硕士学位论文全文数据库信息科技辑》;20180215(第02期);第I138-1596页 * |
Also Published As
Publication number | Publication date |
---|---|
CN108346133A (zh) | 2018-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108346133B (zh) | 一种面向视频卫星超分辨率重建的深度学习网络训练方法 | |
CN108921799B (zh) | 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法 | |
CN108986050B (zh) | 一种基于多分支卷积神经网络的图像和视频增强方法 | |
CN111709895B (zh) | 基于注意力机制的图像盲去模糊方法及*** | |
Xiao et al. | An enhancement method for X-ray image via fuzzy noise removal and homomorphic filtering | |
CN109685743B (zh) | 基于噪声学习神经网络模型的图像混合噪声消除方法 | |
CN109961396B (zh) | 一种基于卷积神经网络的图像超分辨率重建方法 | |
CN109033945B (zh) | 一种基于深度学习的人体轮廓提取方法 | |
CN110349087B (zh) | 基于适应性卷积的rgb-d图像高质量网格生成方法 | |
CN111861884B (zh) | 一种基于深度学习的卫星云图超分辨率重建方法 | |
CN110675462A (zh) | 一种基于卷积神经网络的灰度图像彩色化方法 | |
Chen et al. | Single image super-resolution using deep CNN with dense skip connections and inception-resnet | |
CN112419150B (zh) | 一种基于双边上采样网络的任意倍数图像超分辨率重建方法 | |
CN117036281A (zh) | 一种缺陷图像的智能生成方法及其*** | |
Shen et al. | RSHAN: Image super-resolution network based on residual separation hybrid attention module | |
CN112837220B (zh) | 一种提高红外图像分辨率的方法及其用途 | |
Deng et al. | Efficient test-time adaptation for super-resolution with second-order degradation and reconstruction | |
CN113450275A (zh) | 基于元学习的画质增强***及方法、存储介质 | |
CN111401209B (zh) | 一种基于深度学习的动作识别方法 | |
Qiu et al. | A GAN-based motion blurred image restoration algorithm | |
CN115018726A (zh) | 一种基于U-Net的图像非均匀模糊核的估计方法 | |
CN113012079B (zh) | 低亮度车底图像增强方法、装置及存储介质 | |
Hameed et al. | Contrast enhancement on pap smear cell images: A comparison | |
Ooi et al. | Enhanced dense space attention network for super-resolution construction from single input image | |
Han et al. | Image enhancement based on spatial multi-scale homomorphic filtering and local entropy guided image filtering |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |