CN113420738A - 自适应网络遥感图像分类方法、计算机设备及存储介质 - Google Patents
自适应网络遥感图像分类方法、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN113420738A CN113420738A CN202110971318.4A CN202110971318A CN113420738A CN 113420738 A CN113420738 A CN 113420738A CN 202110971318 A CN202110971318 A CN 202110971318A CN 113420738 A CN113420738 A CN 113420738A
- Authority
- CN
- China
- Prior art keywords
- region
- training
- network
- image
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 230000009466 transformation Effects 0.000 claims abstract description 55
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 238000012216 screening Methods 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims description 116
- 230000006870 function Effects 0.000 claims description 33
- 230000003044 adaptive effect Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 230000001419 dependent effect Effects 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000001902 propagating effect Effects 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 description 21
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000001629 suppression Effects 0.000 description 4
- 238000012512 characterization method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 101000951325 Homo sapiens Mitoferrin-1 Proteins 0.000 description 2
- 102100037984 Mitoferrin-1 Human genes 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了自适应网络遥感图像分类方法、计算机设备及存储介质，包括：获取待检测图像；将待检测图像输入至训练好的区域生成器，由区域生成器提取待检测图像中至少一个图像子区域作为目标区域，提取每个目标区域的信息度并根据信息度筛选目标区域，获得判别性区域；使用特征提取网络提取判别性区域的区域特征及待检测图像的全局特征，并对每个区域特征和全局特征进行自身适应性加权卷积变换获得第二变换特征；将第二变换特征输入至训练好的打分器，获得分类结果，可以减少遥感场景图像中冗余区域和噪声区域对网络分类性能的限制，有效地定位图像中判别性区域促进网络分类性能。
Description
技术领域
本发明涉及图像处理技术领域，具体而言，涉及自适应网络遥感图像分类方法、计算机设备及存储介质。
背景技术
遥感场景分类是指利用遥感图像中的内容信息将遥感场景分类到特定的类别，在例如土地管理、城市规划、野外火灾防患、农作物生长监管和目标检测等领域具有较广泛的应用。但是由于通常位于卫星上的图像传感器与地表之间的距离过大，遥感场景图像会存在大尺度差异性，这将对遥感场景分类造成许多挑战。
许多学者提出了大量的遥感场景分类任务的方法，从特征表征差异的角度，可以分为两类，一是基于传统手工制造特征的方法；二是基于深度学习的方法。对于第一类方法，常使用如尺度不变特征转换、直方图定向梯度、局部二值模式等方式提取特征，然后使用提取的特征训练分类器，然而，这种方式的提取特征耗时很长、特征表征能力有限，且需要专业领域的专家知识指导特征提取过程，需要耗费大量的人力物力；对于第二类方法，虽然具有很好的特征表征能力和学习能力，但是网络中较低层级的特征并未充分发挥，导致在分类过程中会受到场景中的一些冗余和噪声区域的影响，且会受到遥感图像中对象的高尺度差异的影响，分类方法的鲁棒性较差。
发明内容
本发明解决的问题是如何改善遥感图像的分类性能。
为解决上述问题，本发明提供自适应网络遥感图像分类方法，所述自适应判别性区域学习网络包括特征提取网络、区域生成器、判别器和打分器，所述自适应网络遥感图像分类方法包括：
获取待检测图像；将所述待检测图像输入至训练好的所述区域生成器，由所述区域生成器提取所述待检测图像中至少一个图像子区域作为目标区域，提取每个所述目标区域的信息度并根据所述信息度筛选所述目标区域，获得至少一个判别性区域；使用所述特征提取网络提取所述判别性区域的区域特征及所述待检测图像的全局特征，并对每个所述区域特征和所述全局特征进行自身适应性加权卷积变换，获得各所述区域特征以及所述全局特征对应的第一变换特征，组合所有所述第一变换特征，获得第二变换特征；将所述第二变换特征输入至训练好的所述打分器，获得分类结果。
相对于现有技术，本发明通过提取待检测图像中的目标区域并对其进行筛选，获得判别性区域，可以保证减少遥感场景图像中冗余区域和噪声区域对网络分类性能的限制；通过提取区域特征并进行自适应加权卷积变换，使得聚焦于不同区域的特征可以进行连接并进行分类，从而获得分类结果，保证有效地定位图像中判别性区域以促进网络分类性能。
可选地，在所述获取待检测图像之前，还包括网络训练步骤，包括：
获取训练图像；通过所述区域生成器处理所述训练图像，选择所述训练图像中至少一个图像子块作为训练目标区域，提取每个所述训练目标区域的信息度，根据所述信息度筛选所述训练目标区域，获得至少一个训练优选区域，使用所述特征提取网络提取所述训练优选区域的训练区域特征及所述训练图像中的训练全局特征；对每个所述训练区域特征及所述训练全局特征进行自身适应性加权卷积变换和组合，获得融合特征；通过所述判别器计算所述训练优选区域的置信度，对所述信息度和所述置信度进行从高到低的排序并筛选信息度符合预设条件的所述训练优选区域作为训练判别性区域；通过所述打分器对所述融合特征进行打分；计算网络损失，所述网络损失包括区域生成损失、判别损失和分数损失，基于所述网络损失反向传播优化网络，其中，基于所述信息度构建所述区域生成损失、基于所述置信度构建所述判别损失、基于所述分类结果构建所述打分损失。
由此，在训练时，根据损失反向调整网络，使网络更具有鲁棒性；基于网络损失，对网络中的三个模块同时进行优化，可以增加网络的训练效率；根据信息度、置信度、分类结果微调网络，可以进一步增加分类的准确性。
可选地，所述通过所述判别器计算所述训练优选区域的置信度，对所述信息度和所述置信度进行从高到低的排序并筛选信息度符合预设条件的所述训练优选区域作为训练判别性区域包括：
使用成对的排序损失函数优化构建所述训练优选区域的约束，其中，所述成对的排序损失函数的构建包括：根据所述训练优选区域的信息度排序所述训练优选区域并编号；建立以所述编号为自变量，以所述信息度为因变量的非递增函数作为第一损失函数；判断以所述编号为自变量、置信度为因变量的第二损失函数是否与所述第一损失函数单调性一致；若否，则重新从所述训练目标区域获取所述训练优选区域。
由此，可以快速剔除错误的目标区域约束算法，在第一损失函数与第二损失函数单调性不一致时，直接返回重新从目标区域选择判别性区域的步骤，加快训练效率。
可选地，所述计算网络损失，所述网络损失包括区域生成损失、判别损失和分数损失，基于所述网络损失反向传播优化网络包括：
将所述区域生成损失、所述判别损失和所述分数损失加权获得所述网络损失；将所述网络损失进行反向传播，优化所述特征提取网络、所述区域生成器、所述判别器和所述打分器。
由此，通过网络损失进行反向传播优化网络和算法，可以使训练出的网络更具有准确性和鲁棒性。
可选地，所述计算网络损失，所述网络损失包括区域生成损失、判别损失和分数损失，基于所述网络损失反向传播优化网络包括：
通过铰链损失函数构建所述区域生成损失、通过交叉熵损失函数构建所述判别损失和所述分数损失。
由此，通过铰链损失函数构建区域生成损失，可以保证损失值不受错误的目标区域影响，只考虑正确的目标区域的损失，保证减小干扰，增加训练的效率；通过交叉熵损失函数构建判别损失和分数损失，优化的结果收敛较快，可以增加训练的效率。
可选地，所述提取每个目标区域的信息度并根据所述信息度筛选所述目标区域，获得至少一个判别性区域包括：
提取每个所述目标区域的信息度；基于所述信息度，使用非极大值抑制筛选所述目标区域，获得优选区域；将所述优选区域依据信息度从大到小排序，选择预设个数的所述优选区域作为所述判别性区域。
由此，对于某一个目标元素，可以获得最准确的目标区域作为优选区域。
可选地，所述使用所述特征提取网络提取所述判别性区域的区域特征及所述待检测图像的全局特征，并对每个所述区域特征和所述全局特征进行自身适应性加权卷积变换，获得各所述区域特征以及所述全局特征对应的第一变换特征，组合所有所述第一变换特征，获得第二变换特征包括：
提取所述判别性区域的区域特征和所述待检测图像的全局特征；对所述区域特征与所述全局特征进行自身适应性加权卷积变换，获得所述第一变换特征，包括：使用不同的权重，对每个特征进行分别卷积操作，并对每个卷积结果加入对应的偏置项；对所述第一变换特征进行向量连接，获得所述第二变换特征。
由此，对特征进行自适应加权卷积变换，可以获得准确的变换特征。
可选地，所述图像子区域的尺寸包括至少三种，为所述待检测图像的短边的十二分之一、六分之一和三分之一；长宽比分别为1：1、3：2、2：3。
由此，可以基于所要框选的目标元素，选择最合适的图像子区域，作为目标区域，保证减少计算量，增加分类效率。
另一方面，本发明还提出一种计算机设备，包括存储有计算机程序的计算机可读存储介质和处理器，所述计算机程序被所述处理器读取并运行时，实现如上所述的自适应网络遥感图像分类方法。
所述计算机设备相对于现有技术与所述自适应网络遥感图像分类方法所具有的优势相同，在此不再赘述。
本发明还提出一种计算机存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器读取并运行时，实现如上所述的自适应网络遥感图像分类方法。
所述计算机存储介质相对于现有技术与所述自适应网络遥感图像分类方法所具有的优势相同，在此不再赘述。
附图说明
图1为本发明实施例的自适应网络遥感图像分类方法的流程示意图；
图2为本发明实施例的自适应网络遥感图像分类方法的另一流程示意图；
图3为本发明实施例的自适应网络遥感图像分类方法步骤S300细化后的流程示意图；
图4为本发明实施例的自适应网络遥感图像分类方法步骤S400细化后的流程示意图；
图5为本发明实施例的自适应网络遥感图像分类方法的示意图；
图6为本发明实施例的使用其他算法处理AID数据集上的分类OA结果示意图；
图7为本发明实施例的使用其他算法处理UC Merced数据集上的结果示意图；
图8为本发明实施例的使用其他算法处理NWPU数据集上的结果示意图；
图9为本发明实施例的使用其他算法处理WHU-RS19数据集上的结果示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
本发明提出一种遥感图像分类方法，参照图1，包括：
步骤S200，获取待检测图像。
在一实施例中，待检测图像包括遥感场景图像，对遥感场景图像进行处理，选择至少一个图像子区域作为目标区域，因为遥感场景图像中往往既包含背景元素，也包含待分类的目标元素，故对遥感图像进行初步的处理，获得至少一个目标区域。
步骤S300，将所述待检测图像输入至训练好的所述区域生成器，由所述区域生成器提取所述待检测图像中至少一个图像子区域作为目标区域，提取每个所述目标区域的信息度并根据所述信息度筛选所述目标区域，获得至少一个判别性区域。
在一实施例中，所述区域生成器包括卷积神经网络。
在一实施例中，识别到待检测图像中具有3个目标元素，则框选出至少三个图像子块作为目标区域。
可选地，如图5所示，图像子区域的尺寸包括至少三种，为所述待检测图像的短边的十二分之一、六分之一和三分之一；长宽比分别为1：1、3：2、2：3。
在一实施例中，如图5所示，图像中框选的区域为图像子区域，图像子区域的尺寸有三种，待检测图像中的目标的大小进行尺寸的选取。首先获取待检测图像的长与宽，将图像的宽作为图像子区域的尺寸参考量，且图像子区域的长宽之比与尺寸大小一一对应。获得待检测图像的宽后，获取待检测图像中的目标元素，判断目标元素的长宽像素值，对目标元素进行框选，选择最合适的尺寸框选所述目标元素。例如，图像子区域的长和宽分别为1000和600像素，则将600像素作为图像子区域的尺寸参考量，对目标元素进行框选；识别并获取待检测图像中的目标元素，判断此时目标元素的尺寸为150像素*200像素，则判断此时十二分之一与六分之一的尺寸不能完全将目标像素框选进图像子区域，故使用最大尺寸的三分之一的宽（200像素）作为图像子区域的尺寸，又因为此图像子区域长宽比规定为2:3则使用200像素*300像素的矩形框框选此目标元素。
初步框选出的目标区域之间可能具有重叠的部分，此种情况可能是对同一种目标元素进行了多次框选，且框选出的目标区域的准确度并不相同，故，需要筛选出质量较高的目标区域，过滤掉较偏或没有完全框选住目标元素的目标区域。
如，在一实施例中，对于同一种目标元素，有四个目标区域同时对此目标元素进行了框选，但其中一个使用了较小的尺寸，没有完全框选此目标元素，故此目标区域的信息度较低，被剔除；在其中两个目标区域中，此目标元素并未出现在目标区域的中心位置，故上述两个目标区域的信息度也较低，所以选择最后一个目标区域作为判别性区域。
可选地，若目标元素有n个，则筛选出至少n个目标区域作为判别性区域。
在一实施例中，待检测图像中具有3个目标元素，且框选出了7个目标区域，则在本实施例中应选择出至少3个目标区域作为判别性区域。特殊地，当7个目标区域中有大于3个目标区域满足要求时，例如有5个目标区域满足条件，则此5个目标区域均作为判别性区域。
可选地，参照图3所示，步骤S300包括：
步骤S301，提取每个所述目标区域的信息度。
在一实施例中，通过卷积神经网络计算目标区域的信息度，信息度表示目标区域中包含的信息量，即包含了目标元素的完整度，在对目标区域进行框选后，对目标区域内的信息度进行计算，进而可以基于信息度筛选步骤S400框选出的目标区域是否准确。
步骤S302，基于所述信息度，使用非极大值抑制筛选所述目标区域，获得优选区域。
在一实施例中，使用非极大值抑制的方法筛选目标区域，在目标检测的过程中，在同一目标的位置上会产生大量的候选框，这些候选框相互之间可能会有重叠，此时需要利用非极大值抑制的方式找到最佳的目标区域，消除冗余的边界框。具体地，根据信息度得分进行排序，选择信息度最高的边界框，即选择信息度最高的目标区域，添加至输出列表中；计算所有目标区域的面积；计算信息度最高的目标区域与其他候选目标区域的IoU（Intersection of Union，交并比）；删除IoU大于阈值的目标区域，重复上述过程，直到对于一个目标元素，仅保留一个目标区域，将最终剩余的目标区域作为优选区域。
可选地，非极大值抑制阈值设置为0.3。
交并比，即为两个矩形框面积的交集和并集的比值。
步骤S303，将所述优选区域依据信息度从大到小排序，选择预设个数的所述优选区域作为所述判别性区域。
可选地，预设个数为4个或6个。
在一实施例中，预设个数为4个，则将经过步骤S302筛选出的多个优选区域依据信息度从大到小排序，选择信息度最高的4个优选区域作为判别性区域，以进行后续的图像分类。
步骤S400，使用所述特征提取网络提取所述判别性区域的区域特征及所述待检测图像的全局特征，并对每个所述区域特征和所述全局特征进行自身适应性加权卷积变换，获得各所述区域特征以及所述全局特征对应的第一变换特征，组合所有所述第一变换特征，获得第二变换特征。
使用特征提取网络提取判别性区域的区域特征，得到他们各自的特征向量。因为每个区域分别框选不同的目标元素，每个目标元素的类型也不尽相同，所以根据判别性区域提取出的区域特征具有不同的特性，需要进行自适应变换，在自适应变换后，对所有特征进行连接，获得第二变换特征。
在一实施例中，在连接所有第一变换特征之外，还连接原始图像的特征，即连接待检测图像特征。由于区域特征是从判别性区域中提取而出，所以加权后的第一变换特征也仅仅为所有目标元素的自适应特征，不包含全局信息。因遥感图像分类是对图像整体分类，原始图像的特征中包含全局信息，故需要在连接所有第一变换特征之外，对原始图像的特征进行连接，获得第二变换特征。
可选地，如图4所示，步骤S400包括：
步骤S401，提取所述判别性区域的区域特征和所述待检测图像的全局特征。
具体地，步骤S400中，首先提取判别性区域的区域特征与待检测图像的全局特征。
步骤S402，对所述区域特征与所述全局特征进行自身适应性加权卷积变换，获得所述第一变换特征，包括：使用不同的权重，对每个特征进行分别卷积操作，并对每个卷积结果加入对应的偏置项。
对不同的区域特征添加不同的权重，并对加权后的区域特征进行卷积，其中，对区
域特征进行加权可以计算为
。其中，*表示卷积操作，
表示变换后的特征，
表示
对应的权重，
表示
对应的偏置项，由此，可以保证聚焦于不同元素的特征可
以进行自适应连接，为后续输入全连接层分类做准备。
步骤S403，对所述第一变换特征进行向量连接，获得所述第二变换特征。
对所有变换后的特征向量进行连接，获得第二变换特征，第二变换特征的计算可
以表示为
。
其中，
表示基于元素的乘积，
表示对于特征连接的权重，
表示对于特征连
接的偏置项，CatF表示将不同判别性区域提取出的特征变换后的第一变换特征连接之后的
特征，计算公式表示为
，Cat为连接操作，F为第二变换特征。
步骤S500，将所述第二变换特征输入至训练好的所述打分器，获得分类结果。
将步骤S400中获取的第二变换特征输入全连接层进行分类操作，获得分类结果。
在一实施例中，将矿山用地、耕地、林地、水域、道路、居民用地、未利用地等类别作为预设的分类结果，获得的分类结果包括，获得上述分类结果的概率，选择概率最大的分类作为分类结果。例如，矿山用地的概率为0.9;耕地的概率为0.6；林地的概率为0.6；水域的概率为0.8；道路的概率为0.1；居民用地的概率为0.2；未利用地的概率为0.2，则此待检测图像的分类结果为矿山用地。
可选地，参考图2所示，在步骤S200之前，还包括：
步骤S100，获取训练图像。
步骤S110，通过所述区域生成器处理所述训练图像，选择所述训练图像中至少一个图像子块作为训练目标区域，提取每个所述训练目标区域的信息度，根据所述信息度筛选所述训练目标区域，获得至少一个训练优选区域，使用所述特征提取网络提取所述训练优选区域的训练区域特征及所述训练图像中的训练全局特征。
获取训练图像，选择至少一个图像子块作为训练目标区域。
在一实施例中，获得至少目标元素个数的训练目标区域，如检测到图像中具有3个目标元素，则获得至少3个训练目标区域。
在另一实施例中，根据目标元素的大小，从预设尺寸中选择最适合的图像子块尺寸作为训练目标区域，具体地，预设图像子块尺寸为训练图像的宽的十二分之一、六分之一和三分之一长度，长宽比例对应分别为1：1、3：2、2：3。
提取训练目标区域的信息度，使用非极大值抑制的方式筛选符合要求的训练目标区域，筛选出满足信息度要求的训练目标区域作为训练判别性区域。
在一实施例中，使用特征提取网络提取训练判别性区域的区域特征，还提取训练图像的全局特征，每个训练判别性区域均独立获得自身的区域特征，其中，特征提取网络在步骤S100之前训练，训练方式具体为，使用Momentum+随机梯度下降算法优化网络，初始学习率设置为0.01，每10个周期乘0.1。
可选地，特征提取网络为AlexNet、VGG16或ResNet50的其中一种。
步骤S120，对每个所述训练区域特征及所述训练全局特征进行自身适应性加权卷积变换和组合，获得融合特征。
在一实施例中，对不同的区域特征和全局特征加入不同权重并进行卷积操作，在卷积后加入对应的偏置项，然后对变换后的特征进行向量连接，获得融合特征，由此，变换后的特征可以保证聚焦在不同区域的特征可以相互适应连接。
步骤S130，通过所述判别器计算所述训练优选区域的置信度，对所述信息度和所述置信度进行从高到低的排序并筛选信息度符合预设条件的所述训练优选区域作为训练判别性区域。
步骤S140，通过所述打分器对所述融合特征进行打分。
将融合特征输入至全连接层进行打分，获得预测置信度，预测置信度用于与真实的分类结果进行对比，计算判别损失，基于损失对网络进行反向微调。
步骤S150，计算网络损失，所述网络损失包括区域生成损失、判别损失和分数损失，基于所述网络损失反向传播优化网络，其中，基于所述信息度构建所述区域生成损失、基于所述置信度构建所述判别损失、基于所述分类结果构建所述打分损失。
通过全连接层获得分类结果，其中，分类结果包括对不同的预设结果的预测概率。
通过网络损失反向传播优化此学习网络，其中，所述自适应判别性区域学习网络包括步骤S110-S140所有的算法和模块，通过网络损失计算步骤S110-S140的结果的误差，将误差反向传播给特征提取网络、区域生成器、分类算法和分数算法，从而根据误差优化算法，获得更准确的算法。
可选地，步骤S150包括：
将所述区域生成损失、所述判别损失和所述分数损失加权获得所述网络损失。
将所述网络损失进行反向传播，优化所述特征提取网络、所述区域生成器、所述判别器和所述打分器。
对区域生成损失、判别损失和分数损失加权获得网络损失，将网络损失作为整体，
进行反向传播，优化特征提取网络、目标提取算法、分类算法和分数算法，其中，对损失进行
加权计算网络损失的计算式可以表示为
。其中，
表示区域生成损失、
表示判别损失、
表示得分损失、
和
为平衡参数。
优选地，
和
均为0.5。
可选地，通过铰链损失函数构建所述区域生成损失、通过交叉熵损失函数构建所述判别损失和所述分数损失。
对于目标区域的获取算法，使用最小化真实类和预测置信度之间的交叉熵损失来进行优化。
通过铰链损失可以保证被错误构建的训练目标区域与正确的训练目标区域足够远，如果相差达到预设阈值时，错误构建的训练目标区域的误差可以认为是0，否则需要累计误差。使用铰链损失函数构建区域生成损失可以减小由错误的训练目标区域带来的误差损失，仅考虑由正确的训练目标区域产生的误差。
通过交叉熵损失函数可以衡量真实概率分布与预测概率分布之间的差异，交叉熵
的值越小，模型预测的效果越好。其中，判别损失可以表示为
，其中，M为置信
度函数，将不同区域的
映射到原始图像
对应于真实类别的概率，N为训练判别
性区域的数量。分数损失用于使用原始图像和不同判别性区域提取的特征将遥感场景划分
进特定的类别，分数损失可以表示为
。其中，F为分类结果。
最终的网络损失函数为
，通过L对网络进行反向优化。
可选地，通过所述判别器计算所述训练优选区域的置信度，对所述信息度和所述置信度进行从高到低的排序并筛选信息度符合预设条件的所述训练优选区域作为训练判别性区域包括：
使用成对的排序损失函数优化构建所述训练优选区域的约束，其中，所述成对的排序损失函数的构建包括：根据所述训练优选区域的信息度排序所述训练优选区域并编号；建立以所述编号为自变量，以所述信息度为因变量的非递增函数作为第一损失函数。
将置信度记为C，信息度记为I，区域记为
、
...
。
通过非极大抑制选择出信息度最高的k个目标区域。
成对排序损失函数优化约束
和
，使其具有
相同的顺序。
可选地，判断以所述编号为自变量、置信度为因变量的第二损失函数是否与所述第一损失函数单调性一致；
若否，则返回所述提取所述训练目标区域的信息度，对所述信息度进行从高到低的排序并筛选信息度符合预设条件的所述训练目标区域作为训练判别性区域步骤重新获取所述训练判别性区域。
判断单调性是否一致，即为判断
时是否满足
，然后对信息度
与置信度损失定义为
。
当单调性不一致时，返回步骤S120，重新从训练目标区域中选择训练判别性区域。
在一实施例中，为验证基于自适应判别性区域学习网络的遥感场景分类方法（ADRL-Net）的有效性，在4个遥感场景图像数据集（AID、UC Merced、NWPU和WHU-RS19）测试ADRL-Net方法的性能，同时与10种目前比较流行遥感场景分类方法进行比较。
4个遥感场景图像数据集的信息如下：
（1）Aerial Image Dataset（AID，航空图像数据集）：包含10000张30种不同场景类别的图像，每张图像为大小600*600的RGB图像，空间分辨率从0.5m到8m不等。
（2）UC Merced Land Use（UC Merced土地利用数据集）：包含2100张21中不同场景类别的图像，每张图像为大小256*256的RGB图像。
（3）NWPU-RESISC45数据集：包含31500张45种不同场景类别的图像，每个类别包含700张图片，每张图像为大小256*256的RGB图像。空间分辨率从0.2m到30m不等。
（4）WHU-RS19数据集：包含950张19种不同场景类别的图像，每个类别包含700张图片，每张图像为大小600*600的RGB图像。
10种遥感场景分类方法信息如下：
（1）微调的AlexNet和VGG16：该方法将卷积神经网络的全连接层替换为随机初始化的维度为遥感场景类别数目的全连接层。
（2）VGG-M：该方法使用VVGNet提取特征，使用两层全连接层得到最终特征，然后使用线性支持向量机得到分类结果。
（3）BoVW：该方法从现有卷积神经网络中提取的特征中生成视觉单词。
（4）DFF：该方法为基于深度特征融合网络的遥感场景分类方法。
（5）MSCP：该方法将多层堆叠协方差池与预训练卷积神经网络结合。
（6）MCNN：该方法将使用多尺度卷积神经网络解决遥感场景图像中大尺度问题。
（7）DCNN：该方法将度量学习和卷积神经网络结合加强判别能力。
（8）ARCNet：该方法为一个基于人类视觉***的用于遥感场景分类的端到端注意力循环卷积神经网络。
（9）SCCov：该方法将跳跃连接和协方差池化嵌入MSCP网络中。
（10）GBNet：该方法将多特征聚合和干扰信息弱化整合到一个端到端的遥感场景分类卷积神经网络中。
在本实验中，我们随机生成训练集和测试集，为了降低随机性对结果的影响，我们重复训练测试实验5次，并报道总准确率（OA）结果的平均值和方差。
AID数据集上的结果分析：
对于AID数据集我们使用两种训练测试数据划分方式。对于第一种，我们随机选择20%的样本做训练，对于第二种，我们选择50%的样本做训练。图6给出了不同算法的OA结果。当训练比例为20%时，ADRL-Net在使用ResNet50和VGG16作为主干网络的分类效果显著优于其它对比算法的效果。当主干网络为ResNet50和VGG16时，分类OA值分别为94.24%和93.67%。当训练比例为50%时，ADRL-Net使用VGG16作为主干网络的分类效果并不是最好，但是优于DCNN方法的效果。此外，如，学校、广场、村庄为比较难以识别的场景，这是因为这些场景中包含许多不同的或者噪声物体对象。此外，ADRL-Net在飞机场、沙滩、森林、山、港口和高架桥等场景能达到100%的分类准确率。
UC Merced数据集上的结果分析：
在本实验中，我们随机选取每个类别中50%和80%的样本作为训练集，其余作为测试集。图7给出了不同算法在UC Merced数据集上的分类精度结果。从结果可以看出，当训练样本占比为50%时，ADRL-Net使用ResNet50作为主干网络的分类OA值为98.72%，显著优于其它对比算法。ADRL-Net使用VGG16作为主干网络的分类OA值为97.31%。
NWPU数据集上的结果分析：
在本实验中，我们随机选取每个类别中10%和20%的样本作为训练集，其余作为测试集。图8给出了不同算法在NWPU数据集上的分类精度结果。从结果可以看出，ADRL-Net分类OA值均为最优。
WHU-RS19数据集上的结果分析：
对于WHU-RS19数据集，我们随机选取每个类别中40%和60%的样本作为训练集，其余作为测试集。图9给出了不同算法在WHU-RS19数据集上的分类精度结果。从结果可以看出，尽管其它对比算法的分类OA能达到95%以上的精度，ADRL-Net依旧有有效的效果提升。
ADRL-Net的有效性分析：
为了直观验证ADRL-Net的有效性，我们在图5中给出了ADRL-Net的判别性区域生成器生成的部分区域可视化结果。从结果可以看出，ADRL-Net可以有效地提取针对特定场景类比提供有效信息的区域。
网络收敛性：
我们对网络使用10个周期进行训练。为了验证ADRL-Net的收敛性，记录了网络在AID数据集上不同周期上的损失和OA值。ADRL-Net在10个周期左右收敛，OA值在8个周期左右达到平稳。
本发明另一实施例的一种计算机设备包括存储有计算机程序的计算机可读存储介质和处理器，所述计算机程序被所述处理器读取并运行时，实现如上所述的自适应网络遥感图像分类方法。
所述计算机设备相对于现有技术与所述自适应网络遥感图像分类方法所具有的优势相同，在此不再赘述。
本发明另一实施例的一种计算机存储介质存储有计算机程序，所述计算机程序被处理器读取并运行时，实现如上所述的自适应网络遥感图像分类方法。
所述计算机存储介质相对于现有技术与所述自适应网络遥感图像分类方法所具有的优势相同，在此不再赘述。
虽然本公开披露如上，但本发明公开的保护范围并非仅限于此。本领域技术人员在不脱离本公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。
Claims (10)
1.一种自适应网络遥感图像分类方法，其特征在于，所述自适应判别性区域学习网络包括特征提取网络、区域生成器、判别器和打分器，所述自适应网络遥感图像分类方法包括：
获取待检测图像；
将所述待检测图像输入至训练好的所述区域生成器，由所述区域生成器提取所述待检测图像中至少一个图像子区域作为目标区域，提取每个所述目标区域的信息度并根据所述信息度筛选所述目标区域，获得至少一个判别性区域；
使用所述特征提取网络提取所述判别性区域的区域特征及所述待检测图像的全局特征，并对每个所述区域特征和所述全局特征进行自身适应性加权卷积变换，获得各所述区域特征以及所述全局特征对应的第一变换特征，组合所有所述第一变换特征，获得第二变换特征；
将所述第二变换特征输入至训练好的所述打分器，获得分类结果。
2.根据权利要求1所述的自适应网络遥感图像分类方法，其特征在于，在所述获取待检测图像之前，还包括网络训练步骤，包括：
获取训练图像；
通过所述区域生成器处理所述训练图像，选择所述训练图像中至少一个图像子块作为训练目标区域，提取每个所述训练目标区域的信息度，根据所述信息度筛选所述训练目标区域，获得至少一个训练优选区域，使用所述特征提取网络提取所述训练优选区域的训练区域特征及所述训练图像中的训练全局特征；
对每个所述训练区域特征及所述训练全局特征进行自身适应性加权卷积变换和组合，获得融合特征；
通过所述判别器计算所述训练优选区域的置信度，对所述信息度和所述置信度进行从高到低的排序并筛选信息度符合预设条件的所述训练优选区域作为训练判别性区域；
通过所述打分器对所述融合特征进行打分；
计算网络损失，所述网络损失包括区域生成损失、判别损失和分数损失，基于所述网络损失反向传播优化网络，其中，基于所述信息度构建所述区域生成损失、基于所述置信度构建所述判别损失、基于所述分类结果构建所述打分损失。
3.根据权利要求2所述的自适应网络遥感图像分类方法，其特征在于，所述通过所述判别器计算所述训练优选区域的置信度，对所述信息度和所述置信度进行从高到低的排序并筛选信息度符合预设条件的所述训练优选区域作为训练判别性区域包括：
使用成对的排序损失函数优化构建所述训练优选区域的约束，其中，所述成对的排序损失函数的构建包括：根据所述训练优选区域的信息度排序所述训练优选区域并编号；建立以所述编号为自变量，以所述信息度为因变量的非递增函数作为第一损失函数；
判断以所述编号为自变量、置信度为因变量的第二损失函数是否与所述第一损失函数单调性一致；
若否，则重新从所述训练目标区域获取所述训练优选区域。
4.根据权利要求2所述的自适应网络遥感图像分类方法，其特征在于，所述计算网络损失，所述网络损失包括区域生成损失、判别损失和分数损失，基于所述网络损失反向传播优化网络包括：
将所述区域生成损失、所述判别损失和所述分数损失加权获得所述网络损失；
将所述网络损失进行反向传播，优化所述特征提取网络、所述区域生成器、所述判别器和所述打分器。
5.根据权利要求4所述的自适应网络遥感图像分类方法，其特征在于，所述计算网络损失，所述网络损失包括区域生成损失、判别损失和分数损失，基于所述网络损失反向传播优化网络还包括：
通过铰链损失函数构建所述区域生成损失、通过交叉熵损失函数构建所述判别损失和所述分数损失。
6.根据权利要求1所述的自适应网络遥感图像分类方法，其特征在于，所述提取每个所述目标区域的信息度并根据所述信息度筛选所述目标区域，获得至少一个判别性区域包括：
提取每个所述目标区域的信息度；
基于所述信息度，使用非极大值抑制筛选所述目标区域，获得优选区域；
将所述优选区域依据信息度从大到小排序，选择预设个数的所述优选区域作为所述判别性区域。
7.根据权利要求6所述的自适应网络遥感图像分类方法，其特征在于，所述使用所述特征提取网络提取所述判别性区域的区域特征及所述待检测图像的全局特征，并对每个所述区域特征和所述全局特征进行自身适应性加权卷积变换，获得各所述区域特征以及所述全局特征对应的第一变换特征，组合所有所述第一变换特征，获得第二变换特征包括：
提取所述判别性区域的区域特征和所述待检测图像的全局特征；
对所述区域特征与所述全局特征进行自身适应性加权卷积变换，获得所述第一变换特征，包括：使用不同的权重，对每个特征进行分别卷积操作，并对每个卷积结果加入对应的偏置项；
对所述第一变换特征进行向量连接，获得所述第二变换特征。
8.根据权利要求1-7任一所述的自适应网络遥感图像分类方法，其特征在于，所述图像子区域的尺寸包括至少三种，为所述待检测图像的短边的十二分之一、六分之一和三分之一；长宽比分别为1：1、3：2、2：3。
9.一种计算机设备，其特征在于，包括存储有计算机程序的计算机可读存储介质和处理器，所述计算机程序被所述处理器读取并运行时，实现如权利要求1-8任一项所述的自适应网络遥感图像分类方法。
10.一种计算机存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器读取并运行时，实现如权利要求1-8任一项所述的自适应网络遥感图像分类方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110971318.4A CN113420738B (zh) | 2021-08-24 | 2021-08-24 | 自适应网络遥感图像分类方法、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110971318.4A CN113420738B (zh) | 2021-08-24 | 2021-08-24 | 自适应网络遥感图像分类方法、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113420738A true CN113420738A (zh) | 2021-09-21 |
| CN113420738B CN113420738B (zh) | 2021-11-09 |
Family
ID=77719442
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110971318.4A Active CN113420738B (zh) | 2021-08-24 | 2021-08-24 | 自适应网络遥感图像分类方法、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113420738B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117173172A (zh) * | 2023-11-02 | 2023-12-05 | 深圳市富邦新材科技有限公司 | 一种基于机器视觉的硅胶成型效果检测方法及*** |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150003701A1 (en) * | 2011-09-16 | 2015-01-01 | Technische Universitat Berlin | Method and System for the Automatic Analysis of an Image of a Biological Sample |
| CN106845499A (zh) * | 2017-01-19 | 2017-06-13 | 清华大学 | 一种基于自然语言语义的图像目标检测方法 |
| CN107665336A (zh) * | 2017-09-20 | 2018-02-06 | 厦门理工学院 | 智能冰箱中基于Faster‑RCNN的多目标检测方法 |
| CN108875588A (zh) * | 2018-05-25 | 2018-11-23 | 武汉大学 | 基于深度学习的跨摄像头行人检测跟踪方法 |
| CN110135502A (zh) * | 2019-05-17 | 2019-08-16 | 东南大学 | 一种基于强化学习策略的图像细粒度识别方法 |
| CN110335270A (zh) * | 2019-07-09 | 2019-10-15 | 华北电力大学（保定） | 基于层级区域特征融合学习的输电线路缺陷检测方法 |
| CN110689091A (zh) * | 2019-10-18 | 2020-01-14 | 中国科学技术大学 | 弱监督细粒度物体分类方法 |
| US20200027207A1 (en) * | 2018-07-21 | 2020-01-23 | International Business Machines Corporation | Negative Sample Enhanced Object Detection Machine |
| CN111914599A (zh) * | 2019-05-09 | 2020-11-10 | 四川大学 | 一种基于语义信息多层特征融合的细粒度鸟类识别方法 |
-
2021
- 2021-08-24 CN CN202110971318.4A patent/CN113420738B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150003701A1 (en) * | 2011-09-16 | 2015-01-01 | Technische Universitat Berlin | Method and System for the Automatic Analysis of an Image of a Biological Sample |
| CN106845499A (zh) * | 2017-01-19 | 2017-06-13 | 清华大学 | 一种基于自然语言语义的图像目标检测方法 |
| CN107665336A (zh) * | 2017-09-20 | 2018-02-06 | 厦门理工学院 | 智能冰箱中基于Faster‑RCNN的多目标检测方法 |
| CN108875588A (zh) * | 2018-05-25 | 2018-11-23 | 武汉大学 | 基于深度学习的跨摄像头行人检测跟踪方法 |
| US20200027207A1 (en) * | 2018-07-21 | 2020-01-23 | International Business Machines Corporation | Negative Sample Enhanced Object Detection Machine |
| CN111914599A (zh) * | 2019-05-09 | 2020-11-10 | 四川大学 | 一种基于语义信息多层特征融合的细粒度鸟类识别方法 |
| CN110135502A (zh) * | 2019-05-17 | 2019-08-16 | 东南大学 | 一种基于强化学习策略的图像细粒度识别方法 |
| CN110335270A (zh) * | 2019-07-09 | 2019-10-15 | 华北电力大学（保定） | 基于层级区域特征融合学习的输电线路缺陷检测方法 |
| CN110689091A (zh) * | 2019-10-18 | 2020-01-14 | 中国科学技术大学 | 弱监督细粒度物体分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| X. MO等: "An Efficient Approach for Polyps Detection in Endoscopic Videos Based on Faster R-CNN", 《2018 24TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR)》 * |
| 曹磊等: "基于改进RPN的Faster-RCNN网络SAR图像车辆目标检测方法", 《东南大学学报(自然科学版)》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117173172A (zh) * | 2023-11-02 | 2023-12-05 | 深圳市富邦新材科技有限公司 | 一种基于机器视觉的硅胶成型效果检测方法及*** |
| CN117173172B (zh) * | 2023-11-02 | 2024-01-26 | 深圳市富邦新材科技有限公司 | 一种基于机器视觉的硅胶成型效果检测方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113420738B (zh) | 2021-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109614985B (zh) | 一种基于密集连接特征金字塔网络的目标检测方法 | |
| CN108549891B (zh) | 基于背景与目标先验的多尺度扩散显著目标检测方法 | |
| CN110334765B (zh) | 基于注意力机制多尺度深度学习的遥感影像分类方法 | |
| US10984532B2 (en) | Joint deep learning for land cover and land use classification | |
| CN109670528B (zh) | 面向行人重识别任务的基于成对样本随机遮挡策略的数据扩充方法 | |
| CN113065558A (zh) | 一种结合注意力机制的轻量级小目标检测方法 | |
| US8233712B2 (en) | Methods of segmenting a digital image | |
| Poggi et al. | Supervised segmentation of remote sensing images based on a tree-structured MRF model | |
| CN110309781B (zh) | 基于多尺度光谱纹理自适应融合的房屋损毁遥感识别方法 | |
| WO2005066896A2 (en) | Detection of sky in digital color images | |
| CN108805151B (zh) | 一种基于深度相似性网络的图像分类方法 | |
| CN111738318A (zh) | 一种基于图神经网络的超大图像分类方法 | |
| CN110334628B (zh) | 一种基于结构化随机森林的室外单目图像深度估计方法 | |
| CN113033520A (zh) | 一种基于深度学习的树木线虫病害木识别方法及*** | |
| CN104680193B (zh) | 基于快速相似性网络融合算法的在线目标分类方法与*** | |
| WO2008016109A1 (fr) | Procédé d'optimisation de jeu de données d'apprentissage pour dispositif d'identification du signal et dispositif d'identification du signal capable d'optimiser le jeu de données d'apprentissage | |
| CN110738132B (zh) | 一种具备判别性感知能力的目标检测质量盲评价方法 | |
| CN110222767A (zh) | 基于嵌套神经网络和栅格地图的三维点云分类方法 | |
| CN112364747B (zh) | 一种有限样本下的目标检测方法 | |
| CN114510594A (zh) | 一种基于自注意力机制的传统纹样子图检索方法 | |
| Li et al. | Incorporating open source data for Bayesian classification of urban land use from VHR stereo images | |
| CN113487600A (zh) | 一种特征增强尺度自适应感知船舶检测方法 | |
| CN111626321A (zh) | 一种图像数据的聚类方法及装置 | |
| CN113420738B (zh) | 自适应网络遥感图像分类方法、计算机设备及存储介质 | |
| CN107563296B (zh) | 基岩海岸岸线的提取方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |