CN115565082A - 一种卫星遥感图像云噪声去除方法、***和装置 - Google Patents

一种卫星遥感图像云噪声去除方法、***和装置 Download PDF

Info

Publication number
CN115565082A
CN115565082A CN202211292326.7A CN202211292326A CN115565082A CN 115565082 A CN115565082 A CN 115565082A CN 202211292326 A CN202211292326 A CN 202211292326A CN 115565082 A CN115565082 A CN 115565082A
Authority
CN
China
Prior art keywords
cloud
image
remote sensing
neural network
satellite remote
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211292326.7A
Other languages
English (en)
Inventor
周仿荣
钱国超
文刚
王国芳
耿浩
马御棠
潘浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of Yunnan Power Grid Co Ltd
Original Assignee
Electric Power Research Institute of Yunnan Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of Yunnan Power Grid Co Ltd filed Critical Electric Power Research Institute of Yunnan Power Grid Co Ltd
Priority to CN202211292326.7A priority Critical patent/CN115565082A/zh
Publication of CN115565082A publication Critical patent/CN115565082A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及深度学习技术领域，具体涉及一种卫星遥感图像云噪声去除方法、***和装置，通过构建训练数据集和测试数据集，对所述有云图像进行HIS颜色空间变换，构建双通道生成对抗神经网络，训练双通道生成对抗神经网络，最后根据测试数据集的RGB颜色空间和HIS颜色空间的卫星遥感图像输入到训练好的双通道生成对抗神经网络中的双通道生成器网络，得到去除云噪声的卫星遥感图像，本发明通过对双通道生成对抗神经网络进行训练，能够有效地避免拉普拉斯算法需要设置阈值并不断进行调整优化的弊端，即使在卫星太空航拍图像背景高度复杂多样化的情况，能够得到良好的去除云噪声的卫星遥感图像，提高云层覆盖区域的清晰度、达到对目标地物判读的效果。

Description

一种卫星遥感图像云噪声去除方法、***和装置
技术领域
本发明涉及深度学习、计算机视觉、卫星遥感图像去云增强处理技术领域，具体涉及一种卫星遥感图像云噪声去除方法、***和装置。
背景技术
随着遥感技术的不断发展，遥感图像被广泛的应用于军事、灾害应急响应、生态环境监测等领域。现代遥感技术多采用可见光、红外、微波等波段获取影像，除了微波遥感可以穿透云层之外，大多数光学遥感均不同程度受到云噪声的影响，云噪声的干扰使得影像中云层覆盖区域模糊，甚至难以获得地物信息，严重影响遥感影像的判读和解译。遥感影像去除云噪声后，将提高云层覆盖区域的清晰度，从而达到影像的解译精度和目标地物判读的准确性的目的。
在一些现有技术中，基于人工设计特征的卫星遥感去除云噪声方法，例如：拉普拉斯算法等，需要设置阈值等参数并不断的进行调整，方法的通用性和自适应性较差，并且对于卫星太空航拍图像，其背景往往高度复杂且多样化，不能稳定地获得良好的去除云噪声的图像。
发明内容
有鉴于此，本发明的目的在于提供一种卫星遥感图像云噪声去除方法、***和装置，以解决现有技术中由于卫星太空航拍图像，背景高度复杂且多样化，不能稳定地获得良好的去除云噪声的图像的问题。
根据本发明实施例的第一方面，提供一种卫星遥感图像云噪声去除方法，包括：
步骤S1、构建训练数据集和测试数据集，包括：
获取不同时相的同一高分辨率下的卫星遥感数据；
选取RGB三个波段的卫星遥感数据，组成卫星遥感图像；
根据人工标注过的卫星遥感图像，将同一地理坐标对应的卫星遥感图像匹配组成有云及无云影像对，并分配至训练数据集和测试数据集；其中，所述人工标注过的卫星遥感图像包括：有云图像和无云图像；
步骤S2、对所述有云图像进行HIS颜色空间变换；
步骤S3、构建双通道生成对抗神经网络；其中，所述双通道生成对抗神经网络包括：双通道生成器网络和判别器神经网络；
将所述有云图像输入到双通道生成器网络中，得到生成的无云图像；
将所述生成的无云图像和所述无云图像输入到判别器神经网络，判断输入图像的来源；
步骤S4、训练双通道生成对抗神经网络，包括：
将步骤S1中的所述训练数据集中的RGB颜色空间和所述HIS颜色空间的卫星遥感图像输入至双通道生成器网络，输出无云图像；
将输出无云图像和无云图像输入到判别器神经网络，对双通道生成对抗神经网络进行训练；
步骤S5、将步骤S1中的所述测试数据集的RGB颜色空间和HIS颜色空间的卫星遥感图像输入到训练好的双通道生成对抗神经网络中的双通道生成器网络，得到去除云噪声的卫星遥感图像。
优选地，所述对所述有云图像进行HIS颜色空间变换，具体为：
对有云图像，进行HIS颜色空间变换处理，将RGB颜色空间转化为HIS 颜色空间；
色调H计算公式为：
Figure BDA0003901655600000021
其中，
Figure BDA0003901655600000031
其中，R，G，B分别表示卫星图像RGB颜色空间对应的R，G，B通道的值；
亮度I计算公式为：
Figure BDA0003901655600000032
饱和度S计算公式为：
Figure BDA0003901655600000033
优选地，所述将所述有云图像输入到双通道生成器网络中，得到生成的无云图像，具体为：
将有云图像输入至双通道生成器网络中的RGB颜色空间通道和HIS颜色空间通道，根据多尺度特征融合方法，提取输入图像的特征，并使用多源特征融合方法融合所述输入图像的特征，通过双通道生成器网络生成无云图像。
优选地，所述多尺度特征融合方法，具体为：
使用三个空洞因子分别为1、2、3，卷积核大小为3×3，通道数为64的空洞卷积层提取输入图像的特征，产生64通道的特征图，将三个通道的特征图叠加，得到192通道的特征图，并用卷积核大小为3×3的卷积层生成64 通道的特征图。
优选地，所述多源特征融合方法，具体为：
采用三个空洞因子分别为1、2、3的空洞残差卷积模块连接而成，其中，每个空洞残差卷积模块包括：空洞卷积层、Relu激活函数层、空洞卷积层，每个空洞卷积层的卷积核大小为3×3，并将第一个空洞卷积层和第三个空洞卷积层的输出特征叠加，连接一个卷积核大小为3×3的空洞卷积层，生成64 通道的特征图。
优选地，所述双通道生成器网络生成无云图像，具体为：采用卷积层核的大小为3×3的卷积层，得到网络的最终输出，获得卫星无云图像。
优选地，所述判别器神经网络，依次由卷积层、卷积层、池化层、卷积层、卷积层、池化层、卷积层、卷积层、全连接层、全连接层构成，每层卷积层的卷积核大小为3×3，通道数依次为64、64、128、128、64、64，每层卷积层后接BN层及激活函数Relu，两个池化层采用平均池化，池化核的尺寸为2×2，两个全连接层的神经元个数分别为1000、1，最后输出采用sigmod 函数用于概率分析并将判别结果归一化，其sigmod函数公式为:
Figure BDA0003901655600000041
优选地，所述训练双通道生成对抗神经网络，包括：将步骤S1中的所述训练数据集中的RGB颜色空间和所述HIS颜色空间的卫星遥感图像输入至双通道生成器网络，输出无云图像；将输出无云图像和无云图像输入到判别器神经网络，对双通道生成对抗神经网络进行训练，具体为：
使用pytorch作为深度神经网络学习框架，并利用NVDIA TITAN×P作为GPU进行模型的训练，模型的整个训练使用Adam优化器对网络的参数进行学习，初始学习率设置为0.001，学习率下降方式采用warm up，训练的批处理大小(batch size)设置为12，最大训练次数为200个epoch(全部训练数据完成1次运算)，测试间隔为1个epoch；训练过程中，生成器和判别器的参数更新次数比为4∶1，即：生成器更新4次，判别器更新1次；经过多次迭代更新，当判别器对于输入的无云图像的判别结果稳定在0.5的概率时完成训练，得到训练好的双通道生成对抗神经网络。
根据本发明实施例的第二方面，提供一种卫星遥感图像云噪声去除***，包括：
第一构建模块，用于构建训练数据集和测试数据集，包括：
获取不同时相的同一高分辨率下的卫星遥感数据；
选取RGB三个波段的卫星遥感数据，组成卫星遥感图像；
根据人工标注过的卫星遥感图像，将同一地理坐标对应的卫星遥感图像匹配组成有云及无云影像对，并分配至训练数据集和测试数据集；其中，所述人工标注过的卫星遥感图像包括：有云图像和无云图像；
变换模块，用于对所述有云图像进行HIS颜色空间变换；
第二构建模块，用于构建双通道生成对抗神经网络；其中，所述双通道生成对抗神经网络包括：双通道生成器网络和判别器神经网络；
将所述有云图像输入到双通道生成器网络中，得到生成的无云图像；
将所述生成的无云图像和所述无云图像输入到判别器神经网络，判断输入图像的来源；
训练模块，用于训练双通道生成对抗神经网络，包括：
将步骤S1中的所述训练数据集中的RGB颜色空间和所述HIS颜色空间的卫星遥感图像输入至双通道生成器网络，输出无云图像；
将输出无云图像和无云图像输入到判别器神经网络，对双通道生成对抗神经网络进行训练；
去除模块，用于将所述测试数据集的RGB颜色空间和HIS颜色空间的卫星遥感图像输入到训练好的双通道生成对抗神经网络中的双通道生成器网络，得到去除云噪声的卫星遥感图像。
根据本发明实施例的第三方面，提供一种卫星遥感图像云噪声去除装置，包括：上述的方法或上述的***。
本发明的实施例提供的技术方案可以包括以下有益效果：
本发明通过构建训练数据集和测试数据集，对所述有云图像进行HIS颜色空间变换，构建双通道生成对抗神经网络，训练双通道生成对抗神经网络，最后根据测试数据集的RGB颜色空间和HIS颜色空间的卫星遥感图像输入到训练好的双通道生成对抗神经网络中的双通道生成器网络，得到去除云噪声的卫星遥感图像，本发明的技术方案，通过对双通道生成对抗神经网络进行训练，能够有效地避免拉普拉斯算法需要设置阈值并不断进行调整优化的弊端，即使在卫星太空航拍图像背景高度复杂多样化的情况，能够得到良好的去除云噪声的卫星遥感图像，提高云层覆盖区域的清晰度、达到对目标地物判读的效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种卫星遥感图像云噪声去除方法的流程图；
图2是根据一示例性实施例示出的构建双通道生成对抗神经网络的流程图；
图3是根据一示例性实施例示出的双通道生成器网络生成无云图像的流程图；
图4是根据一示例性实施例示出的多尺度特征融合方法的流程图；
图5是根据一示例性实施例示出的多源特征融合方的流程图；
图6是根据一示例性实施例示出的判别器神经网络对判别结果归一化处理的流程图；
图7是根据一示例性实施例示出的一种卫星遥感图像云噪声去除***框图示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
实施例一
请参阅图1，图1是根据一示例性实施例示出的一种卫星遥感图像云噪声去除方法的流程图，如图1所示，该方法包括：
步骤S1、构建训练数据集和测试数据集，包括：
获取不同时相的同一高分辨率下的卫星遥感数据；
选取RGB三个波段的卫星遥感数据，组成卫星遥感图像；
根据人工标注过的卫星遥感图像，将同一地理坐标对应的卫星遥感图像匹配组成有云及无云影像对，并分配至训练数据集和测试数据集；其中，所述人工标注过的卫星遥感图像包括：有云图像和无云图像；
步骤S2、对所述有云图像进行HIS颜色空间变换；
步骤S3、构建双通道生成对抗神经网络；其中，所述双通道生成对抗神经网络包括：双通道生成器网络和判别器神经网络；
将所述有云图像输入到双通道生成器网络中，得到生成的无云图像；
将所述生成的无云图像和所述无云图像输入到判别器神经网络，判断输入图像的来源；
步骤S4、训练双通道生成对抗神经网络，包括：
将步骤S1中的所述训练数据集中的RGB颜色空间和所述HIS颜色空间的卫星遥感图像输入至双通道生成器网络，输出无云图像；
将输出无云图像和无云图像输入到判别器神经网络，对双通道生成对抗神经网络进行训练；
步骤S5、将步骤S1中的所述测试数据集的RGB颜色空间和HIS颜色空间的卫星遥感图像输入到训练好的双通道生成对抗神经网络中的双通道生成器网络，得到去除云噪声的卫星遥感图像。
可以理解的是，本实施例提供的技术方案，通过构建训练数据集和测试数据集，对所述有云图像进行HIS颜色空间变换，构建双通道生成对抗神经网络，训练双通道生成对抗神经网络，最后根据测试数据集的RGB颜色空间和HIS颜色空间的卫星遥感图像输入到训练好的双通道生成对抗神经网络中的双通道生成器网络，得到去除云噪声的卫星遥感图像，本实施例的技术方案，通过对双通道生成对抗神经网络进行训练，能够有效地避免拉普拉斯算法需要设置阈值并不断进行调整优化的弊端，即使在卫星太空航拍图像背景高度复杂多样化的情况，能够得到良好的去除云噪声的卫星遥感图像，提高云层覆盖区域的清晰度、达到对目标地物判读的效果。
在具体实践中，所述对所述有云图像进行HIS颜色空间变换，具体为：
对有云图像，进行HIS颜色空间变换处理，将RGB颜色空间转化为HIS 颜色空间；
色调H计算公式为：
Figure BDA0003901655600000081
其中，
Figure BDA0003901655600000082
其中，R，G，B分别表示卫星图像RGB颜色空间对应的R，G，B通道的值；
亮度I计算公式为：
Figure BDA0003901655600000083
饱和度S计算公式为：
Figure BDA0003901655600000084
需要说明的是，δ在H的计算公式中并没有特殊的含义，使用δ的原因是为了公式看起来更加和谐、清楚；因此，在B≤G时，
Figure BDA0003901655600000091
需要说明的是，对卫星遥感图像进行颜色空间变换，有云的进行HIS颜色空间变换处理，将RGB颜色空间转化为HIS颜色空间。HIS颜色空间是能够对彩色信息和非彩色信息进行分离，其亮度信息包含了图像所含的空间信息及地物反射的全部能量，色调和饱和度分别表示了目标的色彩类别和图像的纯度等信息。其中，亮度I对应相对明亮程度。极端情况下，亮度为0对应为黑色，亮度为1时对应为白色。
请参阅图2，图2是根据一示例性实施例示出的构建双通道生成对抗神经网络的流程图。需要说明的是，判别器神经网络的作用是：判断一个样本是来自于无云图像还是生成器网络生成的无云图像，监督生成器网络生成质量更好的图像，当判别器无法判断样本来源时，说明生成器网络生成的无云图像比较好。
请参阅图3，图3是根据一示例性实施例示出的双通道生成器网络生成无云图像的流程图。
在具体实践中，所述将所述有云图像输入到双通道生成器网络中，得到生成的无云图像，具体为：
将有云图像分别输入至双通道生成器网络中的RGB颜色空间通道和 HIS颜色空间通道，根据多尺度特征融合方法，提取输入图像的特征，并使用多源特征融合方法融合所述输入图像的特征，通过双通道生成器网络生成无云图像。
请参阅图4，图4是根据一示例性实施例示出的多尺度特征融合方法的流程图。
在具体实践中，所述多尺度特征融合方法，具体为：
使用三个空洞因子分别为1、2、3，卷积核大小为3×3，通道数为64的空洞卷积层提取输入图像的特征，产生64通道的特征图，将三个通道的特征图叠加，得到192通道的特征图，并用卷积核大小为3×3的卷积层生成64 通道的特征图。
请参阅图5，图5是根据一示例性实施例示出的多源特征融合方的流程图。
在具体实践中，所述多源特征融合方法，具体为：
采用三个空洞因子分别为1、2、3的空洞残差卷积模块连接而成，其中，每个空洞残差卷积模块包括：空洞卷积层、Relu激活函数层、空洞卷积层，每个空洞卷积层的卷积核大小为3×3，并将第一个空洞卷积层和第三个空洞卷积层的输出特征叠加，连接一个卷积核大小为3×3的空洞卷积层，生成64 通道的特征图。
需要说明的是，本实施例中的提取输入图像的特征，具体为：亮度、边缘、纹理和色彩等特征，再此不一一进行列举。
需要说明的是，本实施例的技术方案是在上一步的方案中进一步提取深层次的特征，并且两个模块的结构设计的不同；不同通道的叠加会产生不同的效果。
在具体实践中，所述双通道生成器网络生成无云图像，具体为：采用卷积层核的大小为3×3的卷积层，得到网络的最终输出，获得卫星无云图像。
需要说明的是，双通道生成器网络的作用是去除云噪声，即：输入有云图像，输出无云图像。本实施例的方案是为了更好的提取图像的特征。
请参阅图6，图6是根据一示例性实施例示出的判别器神经网络对判别结果归一化处理的流程图。
在具体实践中，所述判别器神经网络，依次由卷积层、卷积层、池化层、卷积层、卷积层、池化层、卷积层、卷积层、全连接层、全连接层构成，每层卷积层的卷积核大小为3×3，通道数依次为64、64、128、128、64、64，每层卷积层后接BN层及激活函数Relu，两个池化层采用平均池化，池化核的尺寸为2×2，两个全连接层的神经元个数分别为1000、1，最后输出采用sigmod函数用于概率分析并将判别结果归一化，其sigmod函数公式为:
Figure BDA0003901655600000111
需要说明的是，卷积层与卷积层通道中的卷积核是不一样的，用于提取不同的特征；卷积层的输出为下一个卷积层或池化层的输入，得到的特征不相同，其中，不同的特征包括：亮度、边缘、纹理和色彩等等，在本实施例中不一一进行列举。
在具体实践中，所述训练双通道生成对抗神经网络，包括：将步骤S1中的所述训练数据集中的RGB颜色空间和所述HIS颜色空间的卫星遥感图像输入至双通道生成器网络，输出无云图像；将输出无云图像和无云图像输入到判别器神经网络，对双通道生成对抗神经网络进行训练，具体为：
使用pytorch作为深度神经网络学习框架，并利用NVDIA TITAN×P作为GPU进行模型的训练，模型的整个训练使用Adam优化器对网络的参数进行学习，初始学习率设置为0.001，学习率下降方式采用warm up，训练的批处理大小(batch size)设置为12，最大训练次数为200个epoch(全部训练数据完成1次运算)，测试间隔为1个epoch；训练过程中，生成器和判别器的参数更新次数比为4∶1，即：生成器更新4次，判别器更新1次；经过多次迭代更新，当判别器对于输入的无云图像的判别结果稳定在0.5的概率时完成训练，得到训练好的双通道生成对抗神经网络。
需要说明的是，上述参数是本实施例中列举的参数，使用本申请方法进行计算的其他参数均在本发明的保护范围内。
需要说明的是，本实施例的技术方案，通过引入多尺度特征融合模块和多源特征融合模块，从不同尺度、不同特征层次融合两个输入特征通道的特征，充分提取和融合图像上下文特征提高了云噪声去除的稳定性，生成清晰无云噪声的卫星遥感图像，具有通用性好及较好的图像去云去噪性能。
实施例二
请参阅图7，图7是一示例性实施例示出的一种卫星遥感图像云噪声去除***700的示意框图，如图7所示，该卫星遥感图像云噪声去除***700包括：
第一构建模块701，用于构建训练数据集和测试数据集，包括：
获取不同时相的同一高分辨率下的卫星遥感数据；
选取RGB三个波段的卫星遥感数据，组成卫星遥感图像；
根据人工标注过的卫星遥感图像，将同一地理坐标对应的卫星遥感图像匹配组成有云及无云影像对，并分配至训练数据集和测试数据集；其中，所述人工标注过的卫星遥感图像包括：有云图像和无云图像；
变换模块702，用于对所述有云图像进行HIS颜色空间变换；
第二构建模块703，用于构建双通道生成对抗神经网络；其中，所述双通道生成对抗神经网络包括：双通道生成器网络和判别器神经网络；
将所述有云图像输入到双通道生成器网络中，得到生成的无云图像；
将所述生成的无云图像和所述无云图像输入到判别器神经网络，判断输入图像的来源；
训练模块704，用于训练双通道生成对抗神经网络，包括：
将步骤S1中的所述训练数据集中的RGB颜色空间和所述HIS颜色空间的卫星遥感图像输入至双通道生成器网络，输出无云图像；
将输出无云图像和无云图像输入到判别器神经网络，对双通道生成对抗神经网络进行训练；
去除模块705，用于将所述测试数据集的RGB颜色空间和HIS颜色空间的卫星遥感图像输入到训练好的双通道生成对抗神经网络中的双通道生成器网络，得到去除云噪声的卫星遥感图像。
在具体实践中，双通道生成器网络，包括：RGB颜色空间通道和HIS颜色空间通道，并结合多尺度特征融合模块、多源特征融合模块和图像重建模块生成生成的无云图像；其中，所述图像重建模块属于双通道生成器网络模块中。
需要说明的是，由于本实施例各模块的实现方式可参见实施例一中的相关介绍，本实施例不再赘述。
可以理解的是，本实施例提供的技术方案，第一构建模块701，通过构建训练数据集和测试数据集，变换模块702，对所述有云图像进行HIS颜色空间变换，第二构建模块703，构建双通道生成对抗神经网络，训练模块704，训练双通道生成对抗神经网络，最后，去除模块705，根据测试数据集的RGB 颜色空间和HIS颜色空间的卫星遥感图像输入到训练好的双通道生成对抗神经网络中的双通道生成器网络，得到去除云噪声的卫星遥感图像，本发明的技术方案，通过对双通道生成对抗神经网络进行训练，能够有效地避免拉普拉斯算法需要设置阈值并不断进行调整优化的弊端，即使在卫星太空航拍图像背景高度复杂多样化的情况，能够得到良好的去除云噪声的卫星遥感图像，提高云层覆盖区域的清晰度、达到对目标地物判读的效果。
实施例三
一种卫星遥感图像云噪声去除装置，包括上述的方法或***。
需要说明的是，由于本实施例各模块的实现方式和有益效果可参见实施例一中的相关介绍，本实施例不再赘述。
本实施例公开的计算机可读存储介质包括但不限于：电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包括或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
需要说明的是，由于本实施例各模块的实现方式和有益效果可参见实施例一中的相关介绍，本实施例不再赘述。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种卫星遥感图像云噪声去除方法，其特征在于，包括：
步骤S1、构建训练数据集和测试数据集，包括：
获取不同时相的同一高分辨率下的卫星遥感数据；
选取RGB三个波段的卫星遥感数据，组成卫星遥感图像；
根据人工标注过的卫星遥感图像，将同一地理坐标对应的卫星遥感图像匹配组成有云及无云影像对，并分配至训练数据集和测试数据集；其中，所述人工标注过的卫星遥感图像包括：有云图像和无云图像；
步骤S2、对所述有云图像进行HIS颜色空间变换；
步骤S3、构建双通道生成对抗神经网络；其中，所述双通道生成对抗神经网络包括：双通道生成器网络和判别器神经网络；
将所述有云图像输入到双通道生成器网络中，得到生成的无云图像；
将所述生成的无云图像和所述无云图像输入到判别器神经网络，判断输入图像的来源；
步骤S4、训练双通道生成对抗神经网络，包括：
将步骤S1中的所述训练数据集中的RGB颜色空间和所述HIS颜色空间的卫星遥感图像输入至双通道生成器网络，输出无云图像；
将输出无云图像和无云图像输入到判别器神经网络，对双通道生成对抗神经网络进行训练；
步骤S5、将步骤S1中的所述测试数据集的RGB颜色空间和HIS颜色空间的卫星遥感图像输入到训练好的双通道生成对抗神经网络中的双通道生成器网络，得到去除云噪声的卫星遥感图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述有云图像进行HIS颜色空间变换，具体为：
对有云图像，进行HIS颜色空间变换处理，将RGB颜色空间转化为HIS颜色空间；
色调H计算公式为：
Figure FDA0003901655590000021
其中，
Figure FDA0003901655590000022
其中，R，G，B分别表示卫星图像RGB颜色空间对应的R，G，B通道的值；
亮度I计算公式为：
Figure FDA0003901655590000023
饱和度S计算公式为：
Figure FDA0003901655590000024
3.根据权利要求1所述的方法，其特征在于，所述将所述有云图像输入到双通道生成器网络中，得到生成的无云图像，具体为：
将有云图像输入至双通道生成器网络中的RGB颜色空间通道和HIS颜色空间通道，根据多尺度特征融合方法，提取输入图像的特征，并使用多源特征融合方法融合所述输入图像的特征，通过双通道生成器网络生成无云图像。
4.根据权利要求3所述的方法，其特征在于，所述多尺度特征融合方法，具体为：
使用三个空洞因子分别为1、2、3，卷积核大小为3×3，通道数为64的空洞卷积层提取输入图像的特征，产生64通道的特征图，将三个通道的特征图叠加，得到192通道的特征图，并用卷积核大小为3×3的卷积层生成64通道的特征图。
5.根据权利要求3所述的方法，其特征在于，所述多源特征融合方法，具体为：
采用三个空洞因子分别为1、2、3的空洞残差卷积模块连接而成，其中，每个空洞残差卷积模块包括：空洞卷积层、Relu激活函数层、空洞卷积层，每个空洞卷积层的卷积核大小为3×3，并将第一个空洞卷积层和第三个空洞卷积层的输出特征叠加，连接一个卷积核大小为3×3的空洞卷积层，生成64通道的特征图。
6.根据权利要求3所述的方法，其特征在于，所述双通道生成器网络生成无云图像，具体为：采用卷积层核的大小为3×3的卷积层，得到网络的最终输出，获得卫星无云图像。
7.根据权利要求1所述的方法，其特征在于，所述判别器神经网络，依次由卷积层、卷积层、池化层、卷积层、卷积层、池化层、卷积层、卷积层、全连接层、全连接层构成，每层卷积层的卷积核大小为3×3，通道数依次为64、64、128、128、64、64，每层卷积层后接BN层及激活函数Relu，两个池化层采用平均池化，池化核的尺寸为2×2，两个全连接层的神经元个数分别为1000、1，最后输出采用sigmod函数用于概率分析并将判别结果归一化，其sigmod函数公式为:
Figure FDA0003901655590000031
8.根据权利要求1所述的方法，其特征在于，所述训练双通道生成对抗神经网络，包括：将步骤S1中的所述训练数据集中的RGB颜色空间和所述HIS颜色空间的卫星遥感图像输入至双通道生成器网络，输出无云图像；将输出无云图像和无云图像输入到判别器神经网络，对双通道生成对抗神经网络进行训练，具体为：
使用pytorch作为深度神经网络学习框架，并利用NVDIATITAN×P作为GPU进行模型的训练，模型的整个训练使用Adam优化器对网络的参数进行学习，初始学习率设置为0.001，学习率下降方式采用warm up，训练的批处理大小(batch size)设置为12，最大训练次数为200个epoch(全部训练数据完成1次运算)，测试间隔为1个epoch；训练过程中，生成器和判别器的参数更新次数比为4∶1，即：生成器更新4次，判别器更新1次；经过多次迭代更新，当判别器对于输入的无云图像的判别结果稳定在0.5的概率时完成训练，得到训练好的双通道生成对抗神经网络。
9.一种卫星遥感图像云噪声去除***，其特征在于，包括：
第一构建模块，用于构建训练数据集和测试数据集，包括：
获取不同时相的同一高分辨率下的卫星遥感数据；
选取RGB三个波段的卫星遥感数据，组成卫星遥感图像；
根据人工标注过的卫星遥感图像，将同一地理坐标对应的卫星遥感图像匹配组成有云及无云影像对，并分配至训练数据集和测试数据集；其中，所述人工标注过的卫星遥感图像包括：有云图像和无云图像；
变换模块，用于对所述有云图像进行HIS颜色空间变换；
第二构建模块，用于构建双通道生成对抗神经网络；其中，所述双通道生成对抗神经网络包括：双通道生成器网络和判别器神经网络；
将所述有云图像输入到双通道生成器网络中，得到生成的无云图像；
将所述生成的无云图像和所述无云图像输入到判别器神经网络，判断输入图像的来源；
训练模块，用于训练双通道生成对抗神经网络，包括：
将步骤S1中的所述训练数据集中的RGB颜色空间和所述HIS颜色空间的卫星遥感图像输入至双通道生成器网络，输出无云图像；
将输出无云图像和无云图像输入到判别器神经网络，对双通道生成对抗神经网络进行训练；
去除模块，用于将所述测试数据集的RGB颜色空间和HIS颜色空间的卫星遥感图像输入到训练好的双通道生成对抗神经网络中的双通道生成器网络，得到去除云噪声的卫星遥感图像。
10.一种卫星遥感图像云噪声去除装置，其特征在于，包括：如权利要求1-8任意一项所述的方法或权利要求9所述的***。
CN202211292326.7A 2022-10-21 2022-10-21 一种卫星遥感图像云噪声去除方法、***和装置 Pending CN115565082A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211292326.7A CN115565082A (zh) 2022-10-21 2022-10-21 一种卫星遥感图像云噪声去除方法、***和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211292326.7A CN115565082A (zh) 2022-10-21 2022-10-21 一种卫星遥感图像云噪声去除方法、***和装置

Publications (1)

Publication Number Publication Date
CN115565082A true CN115565082A (zh) 2023-01-03

Family

ID=84747427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211292326.7A Pending CN115565082A (zh) 2022-10-21 2022-10-21 一种卫星遥感图像云噪声去除方法、***和装置

Country Status (1)

Country Link
CN (1) CN115565082A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116245902A (zh) * 2023-03-06 2023-06-09 北京市遥感信息研究所 一种基于图像分割神经网络的复杂场景云检测方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116245902A (zh) * 2023-03-06 2023-06-09 北京市遥感信息研究所 一种基于图像分割神经网络的复杂场景云检测方法及***
CN116245902B (zh) * 2023-03-06 2023-11-14 北京市遥感信息研究所 一种基于图像分割神经网络的复杂场景云检测方法及***

Similar Documents

Publication Publication Date Title
CN111709902B (zh) 基于自注意力机制的红外和可见光图像融合方法
CN110322423B (zh) 一种基于图像融合的多模态图像目标检测方法
CN111062880B (zh) 一种基于条件生成对抗网络的水下图像实时增强方法
CN109934154B (zh) 一种遥感影像变化检测方法及检测装置
CN108875935B (zh) 基于生成对抗网络的自然图像目标材质视觉特征映射方法
CN112733950A (zh) 一种基于图像融合与目标检测结合的电力设备故障诊断方法
Chen et al. Remote sensing image quality evaluation based on deep support value learning networks
CN112215847B (zh) 基于对抗学习多尺度特征的重叠染色体自动分割方法
CN109712150A (zh) 基于稀疏表示的光学微波图像融合重建方法和装置
CN111598842A (zh) 一种绝缘子缺陷样本生成模型的方法、***及存储介质
CN112967178A (zh) 一种图像转换方法、装置、设备及存储介质
CN115311186B (zh) 一种红外与可见光图像跨尺度注意力对抗融合方法及终端
CN114758337A (zh) 一种语义实例重建方法、装置、设备及介质
CN113326735A (zh) 一种基于YOLOv5的多模态小目标检测方法
CN114998667B (zh) 多光谱目标检测方法、***、计算机设备及存储介质
CN114387195A (zh) 一种基于非全局预增强的红外图像与可见光图像融合方法
CN115565082A (zh) 一种卫星遥感图像云噪声去除方法、***和装置
CN110148083B (zh) 基于快速bemd和深度学习的图像融合方法
CN114022742B (zh) 红外与可见光图像融合方法、装置及计算机存储介质
CN117094895B (zh) 图像全景拼接方法及其***
CN112686830B (zh) 基于图像分解的单一深度图的超分辨率方法
CN114119356A (zh) 基于CycleGAN的热红外图像转类可见光彩色图像方法
CN112101438A (zh) 一种左右眼分类方法、装置、服务器和存储介质
CN116206214A (zh) 一种基于轻量化卷积神经网络和双注意力的自动识别滑坡方法、***、设备及介质
CN113935908B (zh) 一种基于双支路通道和特征强化机制的遥感图像去云方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination