CN111369442B - 基于模糊核分类与注意力机制的遥感图像超分辨重建方法 - Google Patents

基于模糊核分类与注意力机制的遥感图像超分辨重建方法 Download PDF

Info

Publication number
CN111369442B
CN111369442B CN202010162533.5A CN202010162533A CN111369442B CN 111369442 B CN111369442 B CN 111369442B CN 202010162533 A CN202010162533 A CN 202010162533A CN 111369442 B CN111369442 B CN 111369442B
Authority
CN
China
Prior art keywords
resolution
image
remote sensing
fuzzy
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010162533.5A
Other languages
English (en)
Other versions
CN111369442A (zh
Inventor
张向荣
焦李成
刘风昇
唐旭
李辰
陈璞花
侯彪
周挥宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010162533.5A priority Critical patent/CN111369442B/zh
Publication of CN111369442A publication Critical patent/CN111369442A/zh
Application granted granted Critical
Publication of CN111369442B publication Critical patent/CN111369442B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于模糊核分类与注意力机制的遥感图像超分辨重建方法，首先给定某一地区对应的高、低分辨率光学遥感图像并划分测试样本和训练样本，其次对数据中所有低分辨率图像进行模糊核估计，接着使用训练集所有样本的模糊核进行K均值聚类，再利用聚类的模型对测试集高、低分辨率图像对进行分类，然后构建基于注意力机制的神经网络模型，并设定高、低分辨率图像的绝对值误差作为损失函数，根据测试集重建结果得到最优模型，最后根据该模型对输入图像进行重建，输出最终的结果图。本发明能够提升重建图像的峰值信噪比，鲁棒性强，且图像边缘细节清晰度有改善。

Description

基于模糊核分类与注意力机制的遥感图像超分辨重建方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于模糊核分类与注意力机制的遥感图像超分辨重建方法，能够获取一幅光学遥感场景下的高分辨率图像。
背景技术
图像的超分辨率重建方法，旨在通过对单幅或者一系列输入图像进行处理，通过硬件或软件的方法得到输入低分辨率图像的高分辨率重建结果图。目前通过软件方法对输入低分辨率图像进行重建的方法大致可以分为三类，第一类是基于插值的图像重建方法，例如：最近邻插值、双线性插值、双三次插值法等；第二类是基于图像重建的方法，例如：迭代反投影、最大后验概率、凸集投影法等；以上两类方法不能较好地处理输入图像的样本集较大的情况。
目前，较多使用的是第三类的基于学习的图像重建方法，例如高斯过程回归、基于邻域嵌入、字典学习、深度学习等，这类方法利用已有的高、低分辨率图像样本对，进行高低分辨率图像间的学习映射，能够取得较好的结果，但图像的超分辨率重建结果仍有待进一步提升。
图像的模糊核估计是一类利用输入图像的结构信息估计出图像退化过程中的模糊过程的方法，例如有的方法通过利用输入图像中各图像块不同尺度的自相似性，寻找最小均方差的图像块对，利用最大后验概率迭代估计出最终的模糊核，估计出的模糊核可作为图像的先验信息，用于重构出单幅高分辨率图像。由于每幅图像的结构信息与经历的退化过程不同，因此对于不同的输入图像通常估计出的模糊核也不相同，该类方法通常适用于单样本的图像超分辨率重建。在遥感场景中，由于各图像的降质过程通常不同，虽然样本较多，但得到的模糊核仍可作为图像重建过程中的先验信息。基于注意力机制的深度学***均池化能够很好的帮助神经网络关注图像的某些特征信息，而减少对其他信息的过多关注。例如，现有的基于通道注意力机制的深度神经网络模型已应用于图像超分辨率重建任务，该方法能够充分利用卷积网络与残差结构的特性，并采用通道注意力机制模型，较为有效地提取图像中的高频特征，并将该特征应用于重建结果中。但是，该方法主要应用在自然场景的图像中，在遥感图像的超分辨率重建过程中仍然存在有一定的不足之处：首先，该方法用于超分辨率重建问题中，虽然引入了通道注意力机制，但是没有考虑到图像的空间位置特征，而不同大小的空间位置特征能够对图像的超分辨率重建结果起到关键的估计作用，其次，该方法在利用通道注意力机制时，主要考虑自然场景中的图像，而在遥感场景中由于传感器的参数、***成像角度不同，遥感图像的退化模型也不同，而该方法没有较多的考虑到不同输入图像之间可能存在不同的退化过程。因此以上两点在一定程度上限值了遥感图像的重建结果，导致重建出的遥感图像峰值信噪比偏低，其重建质量有待提高。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于模糊核分类与注意力机制的遥感图像超分辨重建方法，旨在提高图像的重建质量提升其峰值信噪比指标。
本发明采用以下技术方案：
基于模糊核分类与注意力机制的遥感图像超分辨重建方法，包括以下步骤：
S1、给定某一地区的高分辨率光学遥感图像和对应的低分辨率光学遥感图像，其中包含不同类别的地物；
S2、对给定的图像进行划分构建训练样本和测试样本；
S3、对所有的训练集与测试集中的低分辨率图像寻找图像块间的递归相似关系，通过最大后验概率估计出低分辨率图像的模糊核；
S4、根据低分辨率图像的模糊核对训练集进行聚类；
S5、使用聚类模型对测试集图像进行分类；
S6、基于卷积神经网络进行网络结构设计，选择残差块连接方式作为基本结构，并在其中加入可选择卷积核与通道的注意力机制，可选择卷积核部分包含通道的分离、融合与特征选择操作，构建基于注意力机制的神经网络模型；
S7、将不同的低分辨率图像与其对应的高分辨率图像组成图像对按照划分的类别分别进行训练，损失函数设定为高、低分辨率图像对的均方误差，并在测试集中按照不同类别的图像分别进行测试，得到不同类别的模型；
S8、对输入的低分辨率图像进行模糊核的估计、分类，并重建出高分辨率图像作为输出。
具体的，步骤S2中，将给定的高分辨率图像划分为M个大小为N×N的图像块，并将对应的低分辨率图像按照各自的分辨率大小进行划分，并从M个高分辨率图像块中随机选取80％以上的图像块与对应的低分辨率图像块作为训练样本，其余的作为测试样本，M≥10000，N≥500。
具体的，步骤S3中，图像的模糊核
Figure BDA0002406304530000031
为：
Figure BDA0002406304530000032
其中，矩阵C为约束矩阵，用于限制估计出的模糊核
Figure BDA0002406304530000033
过于尖锐，CT为矩阵C的转置矩阵，σ表示方差值，wij为低分辨率图像块与输入图像中原有的小尺寸低分辨率图像块qi间的均方根误差，qi以向量形式表示图像块，Rj为高分辨率图像块矩阵，
Figure BDA0002406304530000041
为矩阵Rj的转置矩阵，qi为输入图像中原有的小尺寸低分辨率图像块的向量表示。
具体的，步骤S4中，将所有训练集的模糊核作为样本输入，使用K均值聚类算法将不同图像的模糊核划分为K个类，划分依据使用最小欧式距离进行衡量，聚类完成后得到K个聚类中心，并将模糊核对应的输入图像划分为K个类别。
进一步的，不同模糊核间的距离采用最小欧氏距离，最终聚类结果使用损失函数J进行迭代优化，经过迭代得到聚类中心{uk|k＝1,2,…,K}，损失函数J为：
Figure BDA0002406304530000042
其中，n为样本容量，xi为输入图像的模糊核。
具体的，步骤S5中，计算每个测试集中低分辨率图像的模糊核与聚类中心距离，对测试集的模糊核进行划分如下：
Figure BDA0002406304530000043
其中，xi为输入图像的模糊核，uk表示聚类中心，Label(i)表示输出的类别。
具体的，步骤S6中，将跳跃连接作为残差块的基本结构，并添加通道注意力机制以及可选择卷积核的注意力机制，在通道注意力机制中使用通道的压缩、扩增以及全局平均池化操作；在可选择的卷积核注意力机制中，使用不同卷积核间的分离、融合与特征选择部分，分离部分使用多个不同尺寸的卷积核进行卷积，在融合部分采用全连接操作加入了通道的压缩与扩增操作，并在特征通道中加入softmax层，在特征的选择部分，通过选择操作对其中的不同特征层进行加权求和。
具体的，步骤S7中，神经网络模型的损失函数Loss为：
Figure BDA0002406304530000051
其中，W为步骤S6设定的网络结构，Θ为网络参数，n表示样本容量，
Figure BDA0002406304530000052
表示第i幅低分辨率图像，
Figure BDA0002406304530000053
表示第i幅高分辨率图像。
进一步的，训练过程通过训练样本和残差结构神经网络的损失函数，对K个类别的训练集分别使用神经网络进行训练，得到K个包含模型参数的残差结构神经网络；并在训练过程中对测试集的图像进行重建，并计算其峰值信噪比的数值，在训练过程完成后，依据数值大小输出训练过程中重建效果最好的模型。
具体的，步骤S8中，对待重建的图像首先使用最大后验概率估计的方法得到其模糊核，使用步骤S4中得到的聚类中心对图像进行分类，根据分类结果使用步骤S7中所对应的残差结构神经网络模型对图像进行超分辨率重建，最终得到高分辨率的遥感图像作为输出。
与现有技术相比，本发明至少具有以下有益效果：
本发明基于模糊核分类与注意力机制的遥感图像超分辨重建方法，在使用残差块结构时加入了改进的注意力机制，通过使用不同大小的卷积核进行卷积操作，在卷积层中引入不同大小的感受野，对于图像中不同尺寸的目标能够较好的提取其中的信息。在注意力机制的选择部分使用了softmax层，在通道融合部分通过softmax层对不同通道的信息进行选择与融合，该方法有效地结合了不同特征层之间的高层空间信息，并能够通过网络模型进行训练，提高了重建过程的鲁棒性。
进一步的，本发明在训练神经网络模型时，使用了模糊核分类的方法对数据集进行划分，有效地利用了遥感图像的先验知识。对于经过不同降质过程得到的低分辨率图像进行合理的分类，提高模型对于不同遥感图像的泛化能力，进一步提升模型的鲁棒性。
进一步的，通过步骤S3能够从单幅图像中估计出模糊核，以该结果作为图像降质过程的分类依据具有合理性，且能够高效估计出结果。
进一步的，通过步骤S4对图像模糊核进行K均值聚类，为步骤S5中测试集的样本再分类提供依据，且该聚类过程高效、直观。
进一步的，通过步骤S5对测试集进行图像分类，该结果为模型分类训练后测试重建结果并输出最佳训练模型提供依据。
进一步的，通过步骤S6确定图像分类训练的深度神经网络模型，该步骤包含网络模型某一层张量各通道间的分离、融合与特征选择等操作，能够引导神经网络关注图像的某些空间特征，增强不同感受野间的空间信息融合。
进一步的，通过步骤S7确定神经网络的训练过程与模型的损失函数。
进一步的，通过步骤S8确定如何利用已有模糊核聚类结果与神经网络模型对输入图像进行重建。
综上所述，本发明引入卷积核注意力机制和模糊核分类策略，关注图像空间维度特征，考虑降质过程对图像训练的影响，重建图像边缘清晰，峰值信噪比高，具有较高的鲁棒性。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明实现流程图；
图2为本发明和现有技术超分辨率重建的仿真图，其中，(a)为输入低分辨率图像，(b)为现有技术仿真结果图，(c)为本发明仿真结果图。
具体实施方式
本发明提供了一种基于模糊核分类与注意力机制的遥感图像超分辨重建方法，旨在得到边缘清晰，图像质量好，峰值信噪比高的图像重建结果。首先给定某一地区对应的高、低分辨率光学遥感图像并划分测试样本和训练样本，其次对数据中所有低分辨率图像进行模糊核估计，接着使用训练集所有样本的模糊核进行K均值聚类，再利用聚类的模型对测试集高、低分辨率图像对进行分类，然后构建基于注意力机制的神经网络模型，并设定高、低分辨率图像的绝对值误差作为损失函数，根据测试集重建结果得到最优模型，最后根据该模型对输入图像进行重建，输出最终的结果图。本发明能够提升重建图像的峰值信噪比，鲁棒性强，且图像边缘细节清晰度有改善。
请参阅图1，本发明一种基于模糊核分类与注意力机制的遥感图像超分辨重建方法，包括以下步骤：
S1、给定遥感图像制作数据集
给定某一地区的高分辨率光学遥感图像和对应的低分辨率光学遥感图像，其中包含不同类别的地物；
现有的遥感数据库中，遥感图像图幅大多是N×N的正方形图像。而这些遥感数据集大多应用在遥感图像分类与目标检测任务上，因此其输入图像大多是某一特定场景，缺乏足够的代表性，因此在遥感图像重建过程中，更需要考虑输入样本的多样性。在本发明实施例中，给定遥感图像的训练集与测试集时，选择使用*** earth卫星地图上截取不同地区的不同场景下的遥感图像，所截取的图像覆盖范围较大。
选择8～10个不同区域的卫星图像进行截取，在选取后选择19、20级的不同分辨率的图像并进行数据保存，截取后可以获得含有不同类别地物的高分辨率图像和对应的低分辨率图像。
S2、对给定的图像进行划分构建训练样本和测试样本
将给定的高分辨率图像划分为M个大小为N×N的图像块，并将对应的低分辨率图像按照各自的分辨率大小进行划分，并从M个高分辨率图像块中随机选取80％以上的图像块与对应的低分辨率图像块作为训练样本，其余的作为测试样本，M≥10000，N≥500；
目前较多的遥感图像多为正方形，而图像尺寸过小则可能单幅图像覆盖信息较少，尺寸过大则在训练过程中裁切不便。为了较好的评估图像重建结果，在本发明实施例中，图像块的大小N的选值为512，图像块的数量M的选值为10017，训练集的数量为9017个图像对，测试集的数量为1000个图像对，并且在选择测试样本时注意从样本集中不同场景、不同地点均匀、随机地选取出测试样本，并且与训练集没有交叉覆盖。
S3、对训练集和测试集进行模糊核估计
对所有的训练集与测试集的低分辨率图像寻找图像块间的递归相似关系，通过最大后验概率估计出图像的模糊核。
图像块间的相似关系可以通过下面的公式进行表示：
Figure BDA0002406304530000081
其中，
Figure BDA0002406304530000082
表示高分辨率图像块Rj与当前估计的模糊核
Figure BDA0002406304530000083
卷积后得到的低分辨率图像块。在卷积后计算低分辨率图像块与输入图像中原有的小尺寸低分辨率图像块qi间的均方根误差wij为：
Figure BDA0002406304530000091
其中，σ表示方差值。根据以上公式，可以估计出下一轮迭代图像块的模糊核
Figure BDA0002406304530000092
为：
Figure BDA0002406304530000093
其中，矩阵C为约束矩阵，用于限制估计出的模糊核
Figure BDA0002406304530000094
过于尖锐。在本发明实施例中，矩阵C设置为计算二维矩阵梯度的权值矩阵，σ取值为150，高分辨率图像块Rj的尺寸大小为10×10，qi表示的低分辨率图像块尺寸大小为5×5。
S4、根据图像的模糊核对训练集进行聚类，得到K个聚类中心，并将模糊核对应的输入图像划分为K个类别，
将所有训练集的模糊核作为样本输入，使用K均值聚类算法将不同图像的模糊核划分为K个类，聚类完成后得到K个聚类中心，并将模糊核对应的输入图像划分为K个类别。在本发明实施例中，K的值取为2。
在本实验中，不同模糊核间的距离采用最小欧氏距离，因此最终的聚类结果即使用下面的损失函数进行迭代优化：
Figure BDA0002406304530000095
其中，n为样本容量。最终，经过迭代得到聚类中心{uk|k＝1,2,…,K}。在本发明实施例中，样本容量n的值为9017。
S5、使用聚类模型对测试集图像进行分类
参照步骤S4中得到的不同类别的聚类中心，对测试集的低分辨率图像模糊核划分为K个类别，并将其对应的图像对划分为K个类别。
对于待测试的图像，仍然使用步骤S3中的方法对其进行模糊核估计，得到估计结果后，根据步骤S4中计算得到的聚类结果，计算每个测试集中的模糊核与聚类中心距离，对测试集的模糊核进行划分：
Figure BDA0002406304530000101
其中，xi表示输入图像的模糊核，uk表示聚类中心，Label(i)表示输出的类别。然后将模糊核对应的高、低分辨率图像对按照类别进行划分。
S6、构建基于注意力机制的神经网络模型
基于卷积神经网络进行网络结构设计，选择残差块连接方式作为基本结构，并在其中加入可选择卷积核与通道的注意力机制，可选择卷积核部分包含通道的分离、融合与特征选择等操作。
将跳跃连接作为残差块的基本结构，并添加通道注意力机制以及可选择卷积核的注意力机制，在通道注意力机制中使用了通道的压缩、扩增以及全局平均池化操作。在可选择的卷积核注意力机制中，使用了不同卷积核间的分离、融合与特征选择等部分，其中分离部分使用多个不同尺寸的卷积核进行卷积，在融合部分采用全连接操作加入了通道的压缩与扩增等操作，并在特征通道中加入softmax层，在特征的选择部分，通过选择操作对其中的不同特征层进行加权求和。
S7、设定神经网络的损失函数并进行训练
将不同的低分辨率图像与其对应的高分辨率图像组成图像对按照划分的类别分别进行训练，损失函数设定为高、低分辨率图像对的均方误差，并在测试集中按照不同类别的图像分别进行测试，最终可得到K个类别的模型。
将高分辨率图像块与超分辨率重建后的图像块间的L1损失作为卷积神经网络的损失函数Loss：
Figure BDA0002406304530000111
其中，W为步骤S6设定的网络结构，Θ为网络参数，n表示样本容量，
Figure BDA0002406304530000112
表示第i幅低分辨率图像，
Figure BDA0002406304530000113
表示第i幅高分辨率图像。
训练过程通过训练样本和残差结构神经网络的损失函数，对K个类别的训练集分别使用神经网络进行训练，得到K个包含模型参数的残差结构神经网络。并在训练过程中对测试集的图像进行重建，并计算其峰值信噪比的数值，在训练过程完成后，依据该数值大小输出训练过程中重建效果最好的模型。在本发明实施例中，训练神经网络模型时，将学习率设置为10-4，批量大小设置为48，采用随机梯度下降法，训练300代，网络收敛，得到神经网络的模型参数。
S8、利用训练模型进行图像重建
参照以上的步骤对输入的低分辨率图像进行模糊核的估计、分类，并重建出高分辨率图像作为输出。
对待重建的图像首先使用最大后验概率估计的方法得到其模糊核，使用步骤S4中得到的聚类中心对图像进行分类，根据分类结果使用步骤S7中所对应的残差结构神经网络模型对图像进行超分辨率重建，最终得到高分辨率的遥感图像作为输出。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下结合仿真试验，对本发明的技术效果作进一步说明
1.仿真条件和内容
实验数据采用GoogleEarth卫星影像，该影像来自卫星影像与航拍的数据整合，来自SPOT5、LANDSAT-7等不同卫星。Google Earth上的全球地貌影像的有效分辨率至少为100米，对某些大城市、著名风景区通常会提供1m和0.5m左右的高精度影像。
在截取图像时，较多选择不同城市、少部分选取无人居住地区。最终获取到的图像数据集包含10017幅高、低分辨率遥感图像对，每一幅高分辨率图像大小为512×512，低分辨率图像大小为256×256。图2(a)为数据集中一幅大小为256×256的低分辨率图像。
仿真平台为：
主频为2.20GHz的Intel(R)Xeon(R)E5-2630 v4 CPU，64.0GB的内存，ubuntu16.04操作***，Pytorch深度学***台。
利用本发明和现有注意力机制图像超分辨率重建方法，对图2(a)进行超分辨率重建仿真，其中图2(b)为现有技术仿真结果图，图2(c)为本发明仿真结果图。
2.仿真结果分析
从图2(b)可以看出，仿真结果中，图像部分边缘比较模糊，如绿色框中所示区域。从图2(c)可以看出，与现有技术相比，仿真结果图像边缘清晰度得到改善，图中绿色框所示区域线条更清晰。将仿真结果与真实标注结果进行比对，相较于现有方法，本发明的仿真结果的峰值信噪比由33.16db提升到33.28db。
综上所述，本发明利用基于模糊核分类与注意力机制的遥感图像超分辨重建方法对数据集进行分类，并引入基于卷积核的注意力机制进行遥感图像超分辨率重建。图像的重建结果边缘细节更加清晰，峰值信噪比更高，对不同降质过程产生的遥感图像都能较好地进行重建，其结果具有较高的鲁棒性。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.基于模糊核分类与注意力机制的遥感图像超分辨重建方法，其特征在于，包括以下步骤：
S1、给定某一地区的高分辨率光学遥感图像和对应的低分辨率光学遥感图像，其中包含不同类别的地物；
S2、对给定的图像进行划分构建训练样本和测试样本；
S3、对所有的训练集与测试集中的低分辨率图像寻找图像块间的递归相似关系，通过最大后验概率估计出低分辨率图像的模糊核；
S4、根据低分辨率图像的模糊核对训练集进行聚类；
S5、使用聚类模型对测试集图像进行分类；
S6、基于卷积神经网络进行网络结构设计，选择残差块连接方式作为基本结构，并在其中加入可选择卷积核与通道的注意力机制，可选择卷积核部分包含通道的分离、融合与特征选择操作，构建基于注意力机制的神经网络模型；
S7、将不同的低分辨率图像与其对应的高分辨率图像组成图像对按照划分的类别分别进行训练，损失函数设定为高、低分辨率图像对的均方误差，并在测试集中按照不同类别的图像分别进行测试，得到不同类别的模型；
S8、对输入的低分辨率图像进行模糊核的估计、分类，并重建出高分辨率图像作为输出。
2.根据权利要求1所述的基于模糊核分类与注意力机制的遥感图像超分辨重建方法，其特征在于，步骤S2中，将给定的高分辨率图像划分为M个大小为N×N的图像块，并将对应的低分辨率图像按照各自的分辨率大小进行划分，并从M个高分辨率图像块中随机选取80％以上的图像块与对应的低分辨率图像块作为训练样本，其余的作为测试样本，M≥10000，N≥500。
3.根据权利要求1所述的基于模糊核分类与注意力机制的遥感图像超分辨重建方法，其特征在于，步骤S3中，图像的模糊核
Figure FDA0002406304520000021
为：
Figure FDA0002406304520000022
其中，矩阵C为约束矩阵，用于限制估计出的模糊核
Figure FDA0002406304520000023
过于尖锐，CT为矩阵C的转置矩阵，σ表示方差值，wij为低分辨率图像块与输入图像中原有的小尺寸低分辨率图像块qi间的均方根误差，qi以向量形式表示图像块，Rj为高分辨率图像块矩阵，
Figure FDA0002406304520000024
为矩阵Rj的转置矩阵，qi为输入图像中原有的小尺寸低分辨率图像块的向量表示。
4.根据权利要求1所述的基于模糊核分类与注意力机制的遥感图像超分辨重建方法，其特征在于，步骤S4中，将所有训练集的模糊核作为样本输入，使用K均值聚类算法将不同图像的模糊核划分为K个类，划分依据使用最小欧式距离进行衡量，聚类完成后得到K个聚类中心，并将模糊核对应的输入高、低分辨率图像对划分为K个类别。
5.根据权利要求4所述的基于模糊核分类与注意力机制的遥感图像超分辨重建方法，其特征在于，不同模糊核间的距离采用最小欧氏距离，最终聚类结果使用损失函数J进行迭代优化，经过迭代得到聚类中心{uk|k＝1,2,…,K}，损失函数J为：
Figure FDA0002406304520000025
其中，n为样本容量，xi为输入图像的模糊核。
6.根据权利要求1所述的基于模糊核分类与注意力机制的遥感图像超分辨重建方法，其特征在于，步骤S5中，计算每个测试集中低分辨率图像的模糊核与聚类中心距离，对测试集的模糊核进行划分如下：
Figure FDA0002406304520000031
其中，xi表示输入图像的模糊核，uk表示聚类中心，Label(i)表示输出的类别。
7.根据权利要求1所述的基于模糊核分类与注意力机制的遥感图像超分辨重建方法，其特征在于，步骤S6中，将跳跃连接作为残差块的基本结构，并添加通道注意力机制以及可选择卷积核的注意力机制，在通道注意力机制中使用通道的压缩、扩增以及全局平均池化操作；在可选择的卷积核注意力机制中，使用不同卷积核间的分离、融合与特征选择部分，分离部分使用多个不同尺寸的卷积核进行卷积，在融合部分采用全连接操作加入了通道的压缩与扩增操作，并在特征通道中加入softmax层，在特征的选择部分，通过选择操作对其中的不同特征层进行加权求和。
8.根据权利要求1所述的基于模糊核分类与注意力机制的遥感图像超分辨重建方法，其特征在于，步骤S7中，神经网络模型的损失函数Loss为：
Figure FDA0002406304520000032
其中，W为步骤S6设定的网络结构，Θ为网络参数，n表示样本容量，
Figure FDA0002406304520000033
表示第i幅低分辨率图像，
Figure FDA0002406304520000034
表示第i幅高分辨率图像。
9.根据权利要求1所述的基于模糊核分类与注意力机制的遥感图像超分辨重建方法，其特征在于，训练过程通过训练样本和残差结构神经网络的损失函数，对K个类别的训练集分别使用神经网络进行训练，得到K个包含模型参数的残差结构神经网络；并在训练过程中对测试集的图像进行重建，并计算其峰值信噪比的数值，在训练过程完成后，依据数值大小输出训练过程中重建效果最好的模型。
10.根据权利要求1所述的基于模糊核分类与注意力机制的遥感图像超分辨重建方法，其特征在于，步骤S8中，对待重建的图像首先使用最大后验概率估计的方法得到其模糊核，使用步骤S4中得到的聚类中心对图像进行分类，根据分类结果使用步骤S7中所对应的残差结构神经网络模型对图像进行超分辨率重建，最终得到高分辨率的遥感图像作为输出。
CN202010162533.5A 2020-03-10 2020-03-10 基于模糊核分类与注意力机制的遥感图像超分辨重建方法 Active CN111369442B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010162533.5A CN111369442B (zh) 2020-03-10 2020-03-10 基于模糊核分类与注意力机制的遥感图像超分辨重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010162533.5A CN111369442B (zh) 2020-03-10 2020-03-10 基于模糊核分类与注意力机制的遥感图像超分辨重建方法

Publications (2)

Publication Number Publication Date
CN111369442A CN111369442A (zh) 2020-07-03
CN111369442B true CN111369442B (zh) 2022-03-15

Family

ID=71210496

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010162533.5A Active CN111369442B (zh) 2020-03-10 2020-03-10 基于模糊核分类与注意力机制的遥感图像超分辨重建方法

Country Status (1)

Country Link
CN (1) CN111369442B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220156884A1 (en) * 2019-05-06 2022-05-19 Sony Group Corporation Electronic device, method and computer program
CN112149500B (zh) * 2020-08-14 2023-11-17 浙江大学 一种部分遮挡的人脸识别小样本学习方法
CN112200750B (zh) * 2020-10-21 2022-08-05 华中科技大学 一种超声图像去噪模型建立方法及超声图像去噪方法
GB202017662D0 (en) * 2020-11-09 2020-12-23 Samsung Electronics Co Ltd Method and apparatus for video super resolution
CN113096013B (zh) * 2021-03-31 2021-11-26 南京理工大学 基于成像建模和知识蒸馏的盲图像超分辨重建方法及***
CN113298091A (zh) * 2021-05-25 2021-08-24 商汤集团有限公司 图像处理方法及装置、电子设备和存储介质
CN113344110B (zh) * 2021-06-26 2024-04-05 浙江理工大学 一种基于超分辨率重建的模糊图像分类方法
CN113901868B (zh) * 2021-08-25 2023-08-04 国网四川省电力公司电力科学研究院 一种变电现场安全监控方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899835A (zh) * 2015-04-28 2015-09-09 西南科技大学 基于盲模糊估计与锚定空间映射的图像超分辨处理方法
CN108492270A (zh) * 2018-03-23 2018-09-04 沈阳理工大学 一种基于模糊核估计和变分重构的超分辨率方法
CN109584161A (zh) * 2018-11-29 2019-04-05 四川大学 基于通道注意力的卷积神经网络的遥感图像超分辨率重建方法
CN109816593A (zh) * 2019-01-18 2019-05-28 大连海事大学 一种基于注意力机制的生成对抗网络的超分辨率图像重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899835A (zh) * 2015-04-28 2015-09-09 西南科技大学 基于盲模糊估计与锚定空间映射的图像超分辨处理方法
CN108492270A (zh) * 2018-03-23 2018-09-04 沈阳理工大学 一种基于模糊核估计和变分重构的超分辨率方法
CN109584161A (zh) * 2018-11-29 2019-04-05 四川大学 基于通道注意力的卷积神经网络的遥感图像超分辨率重建方法
CN109816593A (zh) * 2019-01-18 2019-05-28 大连海事大学 一种基于注意力机制的生成对抗网络的超分辨率图像重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Nonparametric Blind Super-resolution;Tomer Michaeli 等;《Proceedings of the IEEE International Conference on Computer Vision》;20131231;全文 *
图像超分辨重建算法综述;史振威 等;《数据采集与处理》;20200131;第35卷(第1期);全文 *

Also Published As

Publication number Publication date
CN111369442A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
CN111369442B (zh) 基于模糊核分类与注意力机制的遥感图像超分辨重建方法
CN109101975B (zh) 基于全卷积神经网络的图像语义分割方法
CN111523521B (zh) 一种双支路融合多尺度注意神经网络的遥感图像分类方法
CN111310666B (zh) 一种基于纹理特征的高分辨率影像地物识别与分割方法
CN111860233B (zh) 基于选择注意力网络的sar图像复杂建筑物提取方法及***
CN116012364B (zh) Sar图像变化检测方法和装置
CN113177592B (zh) 一种图像分割方法、装置、计算机设备及存储介质
CN113610905B (zh) 基于子图像匹配的深度学习遥感图像配准方法及应用
CN116645592B (zh) 一种基于图像处理的裂缝检测方法和存储介质
CN115410030A (zh) 目标检测方法、装置、计算机设备及存储介质
CN113538234A (zh) 基于轻量化生成模型的遥感图像超分辨率重建方法
CN113240683A (zh) 基于注意力机制的轻量化语义分割模型构建方法
CN115861837A (zh) 基于Ares-UNet++网络的耕地识别方法及相关装置
CN114529793A (zh) 一种基于门控循环特征融合的深度图像修复***及方法
CN112529908B (zh) 一种基于级联卷积网络的数字病理图像分割方法及其模型
CN113837941A (zh) 图像超分模型的训练方法、装置及计算机可读存储介质
CN110136061B (zh) 一种基于深度卷积预测与插值的分辨率提升方法及***
Ahmadian et al. Single image super-resolution with self-organization neural networks and image laplace gradient operator
CN116188272B (zh) 适用于多模糊核的两阶段深度网络图像超分辨率重建方法
CN116258877A (zh) 土地利用场景相似度变化检测方法、装置、介质及设备
CN110866866A (zh) 图像仿色处理方法、装置、电子设备及存储介质
CN115100091A (zh) 一种sar图像转光学图像的转换方法及装置
CN114202694A (zh) 基于流形混合插值和对比学习的小样本遥感场景图像分类方法
Wang et al. A CBAM‐GAN‐based method for super‐resolution reconstruction of remote sensing image
Siu et al. Learning approaches for super-resolution imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant