CN116246161A - 领域知识引导下的遥感图像目标精细类型识别方法及装置 - Google Patents

领域知识引导下的遥感图像目标精细类型识别方法及装置 Download PDF

Info

Publication number
CN116246161A
CN116246161A CN202211559725.5A CN202211559725A CN116246161A CN 116246161 A CN116246161 A CN 116246161A CN 202211559725 A CN202211559725 A CN 202211559725A CN 116246161 A CN116246161 A CN 116246161A
Authority
CN
China
Prior art keywords
target
image
remote sensing
identified
sensing image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211559725.5A
Other languages
English (en)
Inventor
赵理君
胡昌苗
李宏益
霍连志
唐娉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202211559725.5A priority Critical patent/CN116246161A/zh
Publication of CN116246161A publication Critical patent/CN116246161A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种领域知识引导下的遥感图像目标精细类型识别方法及装置，该方法包括：获取待识别的原始遥感图像，并对原始遥感图像进行多维特征提取，得到原始遥感图像的边缘特征图像和纹理特征图像；对原始遥感图像、边缘特征图像和纹理特征图像进行多流卷积神经网络的特征提取与融合，得到原始遥感图像的融合特征图像；基于该融合特征图像识别待识别目标的初始类别；获取初始类别对应的目标知识模板库，根据目标知识模板库识别待识别目标的精细类型。通过对原始遥感图像进行多维特征的提取和融合，基于融合特征进行目标识别，并结合先验知识对初步识别结果进行精化和再确认，以提升对目标的识别精度，满足对目标的精细类型的高精度识别需求。

Description

领域知识引导下的遥感图像目标精细类型识别方法及装置
技术领域
本发明涉及遥感图像识别技术领域，尤其涉及一种领域知识引导下的遥感图像目标精细类型识别方法及装置。
背景技术
目标检测识别已成为高分辨率遥感图像解译的重要任务之一，具体是指在遥感图像中检测感兴趣类别目标的过程，需要检测和识别的信息包括目标的位置和类别信息等。随着人工智能技术的快速发展，目标检测识别的模式已由自动化向智能化转变，因此，产生了基于深度学习的目标识别方法，不需要手工特征设计所需的专业知识和经验，能够从数据中自动学习如何提取特征，将低级特征逐渐组合成中高级(更具抽象和语义意义)特征，得到泛化性好、鲁棒性强以及区分性高的特征表示，可以为图像中的目标提取提供有效的框架。
虽然基于深度学习的目标识别方法在诸多开源目标检测数据集中有着不俗的表现，但是对于遥感图像，由于受到遥感图像的成像场景大、目标出现频率低、尺度效应明显、观测角度差异大、类内差异大、类间相似度高等诸多因素影响，对目标的识别准确度较低，无法完全满足当前实际应用的需求。在这种情况下，单纯依靠图像本身的特征进行目标的检测识别已经无法满足实用性的要求，尤其是对于更加精细化类别(如型号)的识别，需要考虑更多的外部知识输入和先验约束以提升最终结果的准确性、合理性、可用性，亟需研究领域知识引导下的遥感图像目标精细类型识别方法。
发明内容
本发明提供一种领域知识引导下的遥感图像目标精细类型识别方法及装置，用以解决现有技术中基于遥感图像的目标识别精度不足，无法满足高精度的检测需求的缺陷。
本发明提供一种领域知识引导下的遥感图像目标精细类型识别方法，包括：
获取待识别的原始遥感图像，并对所述原始遥感图像进行多维特征提取，得到所述原始遥感图像的边缘特征图像和纹理特征图像；
对所述原始遥感图像、所述边缘特征图像和所述纹理特征图像进行多流卷积神经网络的特征提取与融合，得到所述原始遥感图像的融合特征图像；
基于所述融合特征图像识别所述原始遥感图像中待识别目标的初始类别；
获取所述初始类别对应的目标知识模板库，根据所述目标知识模板库识别所述待识别目标的精细类型。
在一个实施例中，所述对所述原始遥感图像、所述边缘特征图像和所述纹理特征图像进行多流卷积神经网络的特征提取与融合，得到所述原始遥感图像的融合特征图像的步骤，包括：
根据预设尺寸的滑动窗口和预设的滑动步长，对所述原始遥感图像进行有重叠的格网划分处理，得到所述原始遥感图像对应的多个格网图像；所述边缘特征图像包括各所述格网图像对应的边缘特征子图，所述纹理特征图像包括各所述格网图像对应的纹理特征子图；
将目标格网图像、所述目标格网图像对应的边缘特征子图以及所述目标格网图像对应的纹理特征子图输入至经过预训练的多流卷积神经网络模型中，利用所述多流卷积神经网络模型对所述目标格网图像、所述目标格网图像对应的边缘特征子图和所述目标格网图像对应的纹理特征子图进行多流卷积神经网络的特征提取与融合，得到所述原始遥感图像的融合特征图像；所述目标格网图像为所述多个格网图像中的任意一个；
所述多流卷积神经网络模型包含权值共享的多个卷积神经网络和注意力机制，所述多个卷积神经网络包括第一卷积神经网络、第二卷积神经网络和第三卷积神经网络；
其中，所述第一卷积神经网络的输入为所述格网图像，所述第二卷积神经网络的输入为所述边缘特征子图，所述第三卷积神经网络的输入为所述纹理特征子图；所述注意力机制用于对所述多个卷积神经网络的输出进行特征融合。
在一个实施例中，所述对所述原始遥感图像、所述边缘特征图像和所述纹理特征图像进行多流卷积神经网络的特征提取与融合，得到所述原始遥感图像的融合特征图像之前，还包括：
根据各预设类别生成精细分类体系；获取所述精细分类体系下的初始遥感图像；所述初始遥感图像中包含各所述预设类别下的分类目标；
获取所述初始遥感图像的标注信息，并基于所述标注信息对所述初始遥感图像进行有重叠的裁剪处理，并从裁剪图像中确定包含所述分类目标的样本图像；
基于所述样本图像构建第一样本数据集，并利用所述第一样本数据集对预设的基础多流卷积神经网络模型进行迭代训练；
基于各所述预设类别下的分类目标在所述样本图像中对应的图像块，构建所述目标知识模板库中所述精细分类体系对应的目标模板图像；
对各所述预设类别下的分类目标在所述样本图像中对应的图像块的均值图像进行二值化处理，以构建所述目标知识模板库中所述精细分类体系对应的目标模板二值化图像；所述目标知识模板库中包括各所述预设类别下的目标模板图像和目标模板二值化图像，以及所述目标模板图像和所述目标模板二值化图像对应的分类目标的属性信息和全球地理空间分布范围信息；
按照预设的角度间隔，在所述目标模板图像中，对目标图像块进行旋转扩增处理，得到所述目标模板图像对应的多个角度图像；所述目标图像块是所述目标模板图像中，经所述多流卷积神经网络模型进行分类识别得到的分类识别结果与真实值不一致的图像块；
基于所述目标模板图像和所述角度图像构建第二样本数据集；
利用所述第二样本数据集对预设的基础精细分类模型进行迭代训练。
在一个实施例中，所述根据所述目标知识模板库识别所述待识别目标的精细类型之后，还包括：
将各所述格网图像中的目标像元坐标转换为所述原始遥感图像下的像元坐标；所述目标像元坐标为所述待识别目标在所述格网图像中对应的像元坐标；
获取所述原始遥感图像的投影参数信息，根据所述投影参数信息和所述像元坐标，确定所述待识别目标的地理空间位置信息；
基于所述目标知识模板库确定所述待识别目标的全球地理空间分布范围，并根据所述地理空间位置信息和全球地理空间分布范围，确定所述待识别目标的地理空间位置是否处于所述全球地理空间分布范围内；
若是，基于预设的非极大值抑制算法，对各所述格网图像进行去重拼接处理。
在一个实施例中，所述基于所述融合特征图像识别所述原始遥感图像中待识别目标的初始类别的步骤，包括：
根据所述融合特征图像确定待识别目标在所述原始遥感图像中的外包矩形，以及所述外包矩形的长方向夹角；所述长方向夹角为所述外包矩形的长边与标定方向之间的夹角；
根据所述长方向夹角和所述标定方向，对所述外包矩形覆盖的图像块进行旋转裁剪处理，得到包含所述待识别目标的目标图像；
将所述目标图像输入至经过预训练的目标精细分类模型中，得到所述目标精细分类模型输出的类别预测值；所述类别预测值为所述原始遥感图像中的待识别目标为各预设类别的概率值；
对所述类别预测值进行降序排序，并按照排序顺序选取预设数量的类别作为所述待识别目标的初始类别。
在一个实施例中，所述初始类别包括多个，所述根据所述目标知识模板库识别所述待识别目标的精细类型的步骤，包括：
获取所述目标知识模板库中的先验目标；
根据所述原始遥感图像的空间分辨率确定所述待识别目标与所述先验目标的尺寸均值偏离度；
根据所述尺寸均值偏离度对所述初始类别进行筛选，确定所述待识别目标的第一目标类别；
对所述目标图像进行二值化处理，得到所述目标图像对应的目标二值化图像；
基于所述目标二值化图像计算所述待识别目标与第一模板二值化图像中的先验目标的相似度；所述第一模板二值化图像为所述目标知识模板库中，所述第一目标类别对应的模板二值化图像；
根据所述相似度确定所述待识别目标的精细类型。
在一个实施例中，所述基于所述目标二值化图像计算所述待识别目标与第一模板二值化图像中的先验目标的相似度的步骤，包括：
基于差异哈希算法，分别计算所述目标二值化图像的目标哈希值，以及第一模板二值化图像的模板哈希值；
计算所述目标哈希值与所述模板哈希值的汉明距离；
根据所述汉明距离确定所述待识别目标与所述第一模板二值化图像中的先验目标的相似度。
本发明还提供一种领域知识引导下的遥感图像目标精细类型识别装置，包括：
特征提取模块，用于获取待识别的原始遥感图像，并对所述原始遥感图像进行多维特征提取，得到所述原始遥感图像的边缘特征图像和纹理特征图像；
特征融合模块，用于对所述原始遥感图像、所述边缘特征图像和所述纹理特征图像进行多流卷积神经网络的特征提取与融合，得到所述原始遥感图像的融合特征图像；
第一识别模块，用于基于所述融合特征图像识别所述原始遥感图像中待识别目标的初始类别；
第二识别模块，用于获获取所述初始类别对应的目标知识模板库，根据所述目标知识模板库识别所述待识别目标的精细类型。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述领域知识引导下的遥感图像目标精细类型识别方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述领域知识引导下的遥感图像目标精细类型识别方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述领域知识引导下的遥感图像目标精细类型识别方法的步骤。
本发明提供的领域知识引导下的遥感图像目标精细类型识别方法及装置，通过对所述原始遥感图像进行多维特征提取，得到原始遥感图像的边缘特征图像和纹理特征图像；对原始遥感图像、边缘特征图像和纹理特征图像进行多流卷积神经网络的特征提与融合，得到原始遥感图像的融合特征图像；基于融合特征图像识别原始遥感图像中待识别目标的初始类别；获取该初始类别对应的目标知识模板库，并根据获取的目标知识模板库识别待识别目标的精细类型。通过对原始遥感图像进行边缘特征和纹理特征等多维特征提取与融合，基于融合特征进行目标的初步识别，结合目标知识模板库的先验知识对初步识别的结果进行精化和再确认，以提升对目标的识别精度，满足对目标的精细类型的高精度识别需求。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的领域知识引导下的遥感图像目标精细类型识别方法的流程示意图之一；
图2是本发明提供的领域知识引导下的遥感图像目标精细类型识别方法的流程示意图之二；
图3是本发明提供的领域知识引导下的遥感图像目标精细类型识别装置的结构示意图；
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图4描述本发明的领域知识引导下的遥感图像目标精细类型识别方法及装置。
本发明提供的领域知识引导下的遥感图像目标精细类型识别方法，用于识别遥感图像中的感兴趣目标，现有的目标识别方法基于深度学习模型，依靠从图像中提取的特征进行目标识别，由于遥感图像具有成像场景大、目标出现频率低、尺度效应明显、观测角度差异大、类内差异大、类间相似度高等特点，现有的目标识别方法应用于遥感图像时，对目标的精细类型识别准确度较低，无法满足对精细类型的高精度的检测需求。本发明提供的领域知识引导下的基于遥感图像的目标精细类型识别方法，通过提取遥感图像不同维度的特征信息，将其分别作为模型输入数据，并在模型输出后进一步利用目标先验知识对结果进行进一步确认和纠正，从而提高目标精细类别识别的准确性、合理性。
具体地，参照图1，图1为本发明实施例提供的领域知识引导下的遥感图像目标精细类型识别方法的流程示意图，基于图1，本发明实施例提供的领域知识引导下的遥感图像目标精细类型识别方法，包括：
步骤100，获取待识别的原始遥感图像，并对所述原始遥感图像进行多维特征提取，得到所述原始遥感图像的边缘特征图像和纹理特征图像；
在进行目标识别时，首先获取待识别的原始遥感图像，并对获取的原始遥感图像进行多维特征提取，得到原始遥感图像的边缘特征图像和纹理特征图像。其中，获取的原始遥感图像为高分辨率遥感图像；边缘特征图像中包含原始遥感图像的边缘特征，纹理特征图像中包含原始遥感图像的纹理特征，边缘特征和纹理特征基于不同的特征提取方式，从不同维度对原始遥感图像进行特征提取得到。
步骤200，对所述原始遥感图像和所述边缘特征图像和所述纹理特征图像进行多流卷积神经网络的特征提取与融合，得到所述原始遥感图像的融合特征图像；
对原始遥感图像、边缘特征图像和纹理特征图像的多流卷积神经网络中间特征输出层的融合方式，包括基于注意力机制的特征融合，也即，基于注意力机制，对原始遥感图像、边缘特征图像和纹理特征图像各自对应的网络中间层输出特征进行特征融合，得到原始遥感图像对应的融合特征图像。
步骤300，基于所述融合特征图像识别所述原始遥感图像中待识别目标的初始类别；
基于融合特征图像识别原始遥感图像中，待识别目标的初始类别，其中，遥感图像中的待识别目标为感兴趣目标，该待识别目标包括一个或多个，当待识别目标包括多个时，多个待识别目标的类别可以相同，也可以不同。同样地，待识别目标的初始类别包括一个或多个。
步骤400，获取所述初始类别对应的目标知识模板库，根据所述目标知识模板库识别所述待识别目标的精细类型。
基于识别到的待识别目标的初始类别，获取初始类别对应的目标知识模板库，该目标知识模板库为待识别目标的先验知识，包含待识别目标的精细类别、尺寸大小等信息，根据该目标知识模板库，可以对待识别目标的初始类别进行进一步确认。
可以理解的是，在进行目标分类时，一般可以按照不同目标之间的差异性，对目标不断进行更加精细的分类，将其划分为大类、小类等不同精度的类别。对目标的类别划分越精细，不同类别的目标间的区别特征就越少，基于目标知识模板库中的先验知识对待识别目标的初始类别进行进一步确认，可以识别待识别目标的精细类型，提高对待识别目标的分类精度。
在本实施例中，通过对所述原始遥感图像进行多维特征提取，得到原始遥感图像的边缘特征图像和纹理特征图像；对原始遥感图像、边缘特征图像和纹理特征图像进行多流卷积神经网络的特征提取与融合，得到原始遥感图像的融合特征图像；基于融合特征图像识别原始遥感图像中待识别目标的初始类别；获取该初始类别对应的目标知识模板库，并根据获取的目标知识模板库识别待识别目标。通过对原始遥感图像进行边缘特征和纹理特征提取和多流卷积神经网络的特征学习与融合，基于融合特征进行目标的初步识别，结合知识模板库的先验知识对初步识别的结果进行精化和再确认，以提升目标精细类型识别的准确性，满足对待识别目标的精细类型的高精度的检测需求。
进一步地，步骤300中，基于融合特征图像识别原始遥感图像中待识别目标的初始类别，具体包括：
步骤301，根据所述融合特征确定待识别目标在所述原始遥感图像中的外包矩形，以及所述外包矩形的长方向夹角；所述长方向夹角为所述外包矩形的长边与标定方向之间的夹角；
步骤302，根据所述长方向夹角和所述标定方向，对所述外包矩形覆盖的图像块进行旋转裁剪处理，得到包含所述待识别目标的目标图像；
步骤303，将所述目标图像输入至经过预训练的目标精细分类模型中，得到所述目标精细分类模型输出的类别预测值；所述类别预测值为所述原始遥感图像中的待识别目标为各预设类别的概率值；
步骤304，对所述类别预测值进行降序排序，并按照排序顺序选取预设数量的类别作为所述待识别目标的初始类别。
在识别原始遥感图像中待识别目标的初始类别时，根据融合特征图像中检测识别出的目标位置边界框和类别信息，确定待识别目标在原始遥感图像中的外包矩形，以及该外包矩形的长方向夹角。其中，外包矩形的长方向夹角为外包矩形长边与标定方向之间的夹角，该标定方向为设定的地理方位，如正北方向，长方向夹角可以是外包矩形的长边与标定方向的顺时针夹角，还可以是外包矩形的长边与标定方向的逆时针夹角，在此不作具体限定。
根据待识别目标的外包矩形的长方向夹角，对外包矩形进行方向归一化与裁剪处理，得到包含待识别目标的目标图像。具体地，根据待识别目标的外包矩形的长方向夹角和标定方向，对外包矩形进行旋转，将外包矩形统一旋转至长边指向标定方向，实现外包矩形的方向归一化，对旋转后的外包矩形进行裁剪处理，得到包含待识别目标的目标图像。
将该目标图像输入至经过与训练的目标精细分类模型中，得到该目标精细分类模型输出的类别预测值，该类别预测值用于表征待识别目标的类别为预设类别的概率值。也即，通过目标精细分类模型预测待识别目标为预设类别的概率，预设类别包括多个，目标精细分类模型预测的概率值，包括待识别目标为各预设类别的概率值。对待识别目标的类别预测值进行降序排序，并按照排序顺序选取预设数量的类别作为待识别目标的初始类别，例如，按照排序顺序选取类别预测值最高的前K个类别，作为待识别目标的初始类别。当待识别目标有多个时，针对每个待识别目标的类别预测值，分别选取前K个类别作为初始类别，该前K个类别是与待识别目标匹配度最高的类别。
进一步地，基于待识别目标的K个初始类别，获取K个初始类别对应的目标知识模板库中的目标先验知识，步骤400中，根据目标知识模板库，识别待识别目标的精细类型，包括：
步骤401，获取所述目标知识模板库中的先验目标；
步骤402，根据所述原始遥感图像的空间分辨率确定所述待识别目标与所述先验目标的尺寸均值偏离度；
步骤403，根据所述尺寸均值偏离度对所述初始类别进行筛选，确定所述待识别目标的第一目标类别；
步骤404，对所述目标图像进行二值化处理，得到所述目标图像对应的目标二值化图像；
步骤405，基于所述目标二值化图像计算所述待识别目标与第一模板二值化图像中的先验目标的相似度；所述第一模板二值化图像为所述目标知识模板库中，所述第一目标类别对应的模板二值化图像；
步骤406，根据所述相似度确定所述待识别目标的精细类型。
在识别待识别目标时，需要识别待识别目标的精细类别，具体地，首先根据原始遥感图像的空间分辨率，以及目标知识模板库中的先验目标，该先验目标是各初始类别下的目标先验知识。根据原始遥感图像的空间分辨率，确定待识别目标与先验目标的尺寸均值偏移度，根据该尺寸均值偏离度对初始类别进行筛选，确定待识别目标的第一目标类别。具体地，基于目标知识模板库，依次确认K个类别与目标知识模板库中相应类别目标先验知识的类别一致性，先根据目标知识模板库中对当前类别的先验知识描述，结合原始遥感图像的空间分辨率，基于当前初始类别对应的目标知识模板库中的先验目标，计算当前目标图像中待识别目标与该先验目标的尺寸(该尺寸包括周长，长宽比等)均值偏离度。如果尺寸均值偏离度超过预设阈值T1，则认为当前初始类别与该类别下的先验知识不一致，继续对下一个初始类别进行判断；如此循环，直到完成对第K个初始类别的一致性判断为止；如果K个初始类别都不一致，则认为目标图像中的待识别目标不属于多个初始类别中的任一类别，删除对原始遥感图像当前的识别结果；如果存在某个初始类别与该类别下的先验知识一致，则可以确定该类别为待识别目标的第一目标类别。
在对K个初始类别进行筛选后，若存在符合条件的第一目标类别，则对包含待识别目标的目标图像进行二值化处理，得到目标图像对应的目标二值化图像。
基于目标二值化图像和模板二值化图像，计算待识别目标与第一模板二值化图像中的先验目标的相似度，其中，目标二值化图像中包含待识别目标的二值化图像，模板二值化图像中包含先验目标的二值化图像；第一模板二值化图像是基于对K个初始类别的筛选结果，从K个初始类别对应的多个目标知识模板库中筛选出的目标模板二值化图像。具体是基于目标二值化图像中的待识别目标的二值化图像，以及模板二值化图像中的先验目标的二值化图像，计算待识别目标与先验目标的相似度。根据待识别目标与先验目标的相似度，将待识别目标与第一模板二值化图像中的先验目标进行相似度匹配，进一步确定待识别目标的精细类别。具体地，若待识别目标与第一模板二值化图像中的先验目标的相似度超过预设的相似度阈值，则该先验目标的类别，也即第一模板二值化图像对应的类别，即为待识别目标的精细类别；反之，若待识别目标与第一模板二值化图像中的先验目标的相似度不超过预设的相似度阈值，则待识别目标的类别与第一模板二值化图像中的先验目标的类别不匹配。
进一步地，步骤405中，计算待识别目标与第一模板二值化图像中的先验目标的相似度时，具体包括：
步骤4051，基于差异哈希算法，分别计算所述目标二值化图像的目标哈希值，以及模板二值化图像的模板哈希值；
步骤4052，计算所述目标哈希值与所述模板哈希值的汉明距离；
步骤4053，根据所述汉明距离确定所述待识别目标与所述第一模板二值化图像中的先验目标的相似度。
在计算待识别目标与第一模板二值化图像中的先验目标的相似度时，首先基于差异哈希算法，分别计算目标二值化图像的目标哈希值，以及模板二值化图像的模板哈希值，根据计算出的目标哈希值和模板哈希值，计算目标哈希值与模板哈希值之间的汉明距离，根据计算出的汉明距离，确定待识别目标与第一模板图像中的先验目标的相似度。具体地，若汉明距离小于预设阈值T2(T2为正数)，则待识别目标与第一模板二值化图像中的先验目标的相似度满足条件，当前判定类别结果无误，第一目标类别即为待识别目标的精细类别，否则，删除当前识别结果。
在本实施例中，通过知识模板库中的先验目标，对待识别目标的初始类别进行筛选，将待识别目标与先验目标进行相似度匹配，根据待识别目标与先验目标的相似度，进一步确认待识别目标的类别，可以提高对待识别目标精细类型的识别准确度。
参照图2所示的领域知识引导下的遥感图像目标精细类型识别方法的另一流程示意图，在一较佳的实施方式中，对待识别目标的初始类别和精细类别的识别，分别基于不同的检测模型，以及事先构建的目标知识模板库实现，其中，目标知识模板库中包括各类别下的目标模板图像和目标模板二值化图像。具体地，在对待识别目标进行检测识别之前，需要构建相应的样本数据集进行模型训练，在本实施例中，待识别目标的位置边界框，基于经过预训练的多流卷积神经网络模型检测得到，待识别目标的初始类别，基于经过预训练的目标精细分类模型识别得到。
步骤200中，原始遥感图像对应的边缘特征图像和纹理特征图像均包括多个，对原始遥感图像、边缘特征图像及纹理特征图像进行多流卷积神经网络的特征提取与融合，得到原始遥感图像的融合特征图像具体包括：
步骤201，根据预设尺寸的滑动窗口和预设的滑动步长，对所述原始遥感图像进行有重叠的格网划分处理，得到所述原始遥感图像对应的多个格网图像；所述边缘特征图像包括各所述格网图像对应的边缘特征子图，所述纹理特征图像包括各所述格网图像对应的纹理特征子图；
步骤202，将目标格网图像、所述目标格网图像对应的边缘特征子图以及所述目标格网图像对应的纹理特征子图输入至经过预训练的多流卷积神经网络模型中，利用所述多流卷积神经网络模型对所述目标格网图像、所述目标格网图像对应的边缘特征子图和所述目标格网图像对应的纹理特征子图进行多流卷积神经网络的特征提取与融合，得到所述原始遥感图像的融合特征图像；所述目标格网图像为所述多个格网图像中的任意一个；
所述多流卷积神经网络模型包含权值共享的多个卷积神经网络和注意力机制，所述多个卷积神经网络包括第一卷积神经网络、第二卷积神经网络和第三卷积神经网络；
其中，所述第一卷积神经网络的输入为所述格网图像，所述第二卷积神经网络的输入为所述边缘特征子图，所述第三卷积神经网络的输入为所述纹理特征子图；所述注意力机制用于对所述多个卷积神经网络的输出进行特征融合。
对于获取的高分辨率的原始遥感图像，对其进行格网划分，得到多个格网图像，原始遥感图像的边缘特征图像包括各个格网图像对应的边缘特征子图，相应地，原始遥感图像的纹理特征图像包括各个格网图像对应的纹理特征子图。对于边缘特征和纹理特征的提取，可以是在对原始遥感图像进行格网划分之前，即对原始遥感图像进行多维特征提取，得到原始图像的边缘特征图像和纹理特征图像，在对原始遥感图像进行划分之后，对边缘特征图像和纹理特征图像采用与原始遥感图像相同的方式进行格网划分，得到各格网图像对应的边缘特征子图和纹理特征子图；也可以是在对原始遥感图像进行格网划分之后，即对原始遥感图像进行格网划分后，对每个格网图像分别进行多维特征提取，从而得到各格网图像对应的边缘特征子图和纹理特征子图，在此对多维特征提取和格网划分的顺序不做限定。
在图2中，先对原始遥感图像进行格网划分，得到多个格网图像，对每一个格网图像分别进行边缘特征和纹理特征提取，得到格网图像对应的边缘特征子图和纹理特征子图。将每一格网图像作为目标格网图像，并将该目标格网图像及其对应的边缘特征子图和纹理特征子图输入到多流卷积神经网络模型中，利用多流卷积神经网络模型对目标格网图像、边缘特征子图和纹理特征子图进行卷积神经网络的特征自学习。在对原始遥感图像进行格网划分时，按照预设尺寸的滑动窗口G×G、预设滑动步长g×g进行有重叠的图像格网划分，将得到的每一个格网图像分别进行边缘特征和纹理特征提取，将每一所述格网图像以及对应的边缘特征图像和纹理特征图像输入到训练好的多流卷积神经网络模型中，利用多流卷积神经网络模型对格网图像、边缘特征图像和纹理特征图像进行卷积神经网络的特征自学习和特征融合，利用融合后特征图像预测待识别目标的位置边界框和类别。
进一步地，在图2中，多流卷积神经网络模型中设有权值共享目标检测主干网络和注意力机制，其中，权值共享目标检测主干网络由多个卷积神经网络构成，不同的卷积神网络的输入数据不同，用于处理不同的数据。具体地，多个卷积神经网络包括第一卷积神经网络、第二卷积神经网络和第三卷积神经网络，第一卷积神经网络的输入为原始遥感图像的目标格网图像，第二卷积神经网络的输入为目标格网图像的边缘特征子图，第三卷积神经网络的输入为目标格网图像的纹理特征子图。对于格网划分得到的任一格网图像，利用权值共享目标检测主干网络分别对格网图像、该格网图像的边缘特征子图、该格网图像的纹理特征子图分别进行多流卷积神经网络的特征提取，得到对应的特征图像1、特征图像2及特征图像3。基于注意力机制，对特征图像1、特征图像2及特征图像3进行特征融合，得到对应的融合特征图像。
根据融合特征图像，预测格网图像中待识别目标的位置边界框和类别，基于待识别目标的位置边界框，对待识别目标的位置边界框进行方向归一化和裁剪处理，得到包含待识别目标的目标图像。其中，位置边界框即待识别目标的外包矩形。
在图2所示的领域知识引导下的遥感图像目标精细类型识别流程示意图中，包含模型训练阶段，具体地，首先构建样本数据集和目标知识模板库，利用构建的样本数据集进行模型训练，步骤200之前，还可以包括：
步骤001，根据各预设类别生成精细分类体系；获取所述精细分类体系下的初始遥感图像；所述初始遥感图像中包含各所述预设分类下的分类目标；
步骤002，获取所述初始遥感图像的标注信息，并基于所述标注信息对所述初始遥感图像进行有重叠的裁剪处理，并从裁剪图像中确定包含所述分类目标的样本图像；
步骤003，基于所述样本图像构建第一样本数据集，并利用所述第一样本数据集对预设的基础多流卷积神经网络模型进行迭代训练；
步骤004，基于各所述预设类别下的分类目标在所述样本图像中对应的图像块，构建所述目标知识模板库中所述精细分类体系对应的目标模板图像；
步骤005，对各所述预设类别下的分类目标在所述样本图像中对应的图像块的均值图像进行二值化处理，以构建所述精细分类体系对应的目标知识模板库中的目标模板二值化图像；所述目标知识模板库中包括各所述预设类别下的目标模板图像和目标模板二值化图像，以及所述目标模板图像和所述目标模板二值化图像对应的分类目标的属性信息和全球地理空间分布范围信息；
步骤006，按照预设的角度间隔，在所述目标模板图像中，对目标图像块进行旋转扩增处理，得到所述样本图像对应的多个角度图像；所述目标图像块是所述目标模板图像中，经所述多流卷积神经网络模型进行分类识别得到的分类识别结果与真实值不一致的图像块；
步骤007，基于所述目标模板图像和所述角度图像构建第二样本数据集；
步骤008，利用所述第二样本数据集对预设的基础精细分类模型进行迭代训练。
在构建样本数据集时，根据感兴趣的各个预设类别生成精细分类体系S，然后获取精细分类体系S下各类别的初始遥感图像，该初始遥感图像为米级或亚米级的高分辨率，其中包含各预设类别下的分类目标，分类目标即感兴趣的待识别目标，即需要检测和识别的对象。获取对初始遥感图像的标注信息，该标注信息用于标注初始遥感图像中的分类目标的类别，按照分类目标从首到尾、从左到右的顺序依次记录分类目标的四角坐标并赋予其精细类别，按照模型训练所需存储格式对标注结果进行相应存储。基于该标注信息对初始遥感图像进行有重叠的裁剪处理，并从裁剪得到的多个图像中确定包含分类目标的样本图像，基于该样本图像构建第一样本数据集。利用构建的第一样本数据集对预设的基础多流卷积神经网络模型进行迭代训练。
进一步地，基于样本图像，分别建立目标知识模板库Z和第二样本数据集，即用于训练目标精细分类模型的样本数据集TS。在构建目标知识模板库Z时，根据精细分类体系S，生成每一个精细类别对应的目标图像块及对应的二值化图像块，构建该精细类别下的目标模板图像和目标模板二值化图像。在每一个精细类别对应的二值图像中，分类目标对应的区域的像素值为第一像素值，例如0，分类目标之外的背景区域的像素值为第二像素值，例如255，其中，二值图像对应的原始图像为分类目标在样本图像中覆盖区域的图像块的均值图像。对于任一精细类别对应的目标知识模板库中目标先验知识，包括该精细类别下的分类目标的属性信息和空间分布范围信息，分类目标的属性信息包括分类目标的名称、长度、宽度等。
对于样本数据集TS，其构成包括两部分：一部分为第一样本数据集中，分类目标在样本图像中的位置边界框覆盖区域的图像块(含目标精细类别信息)，也即目标模板知识库Z中的目标模板图像，另一部分是针对第一样本数据集中，目标检测识别多流卷积神经网络模型M分类识别结果与真实值不一致的特定图像块进行旋转变换后的图像块。也即，在构建样本数据集TS时，按照一定角度间隔δ(本实施例中，δ取值为5)，只针对第一样本数据集中目标检测识别多流卷积神经网络模型M分类识别结果与真实值不一致的目标图像块进行旋转变换，得到对应的多个角度图像，并扩充到目标模板知识库Z中的目标模板图像中，得到第二样本数据集，也即样本数据集TS。其中，目标图像块的真实值可以根据样本图像的标注信息确定，利用样本数据集TS对预设的基础精细分类模型进行迭代训练，得到目标精细分类模型。
进一步地，基于图2，将目标图像输入到经过预训练的目标精细分类模型中，输出基于目标图像进行类别预测的前K个匹配度最高的初始类别，基于目标知识模板库中的目标模板图像，对K个初始类别分别进行类别一致性判定和空间一致性判定。其中，类别一致性判定用于对K个初始类别进行筛选，根据待识别目标与先验目标的尺寸均值偏离度，筛选出待识别目标的第一目标类别。空间一致性判断具体是根据原始遥感图像确定待识别目标的地理空间位置，基于目标知识模板库中的空间分布范围信息，对待识别目标进行进一步确认。具体地，步骤400之后还包括：
步骤501，将各所述格网图像中的目标像元坐标转换为所述原始遥感图像下的像元坐标；所述目标像元坐标为所述待识别目标在所述格网图像中对应的像元坐标；
步骤502，获取所述原始遥感图像的投影参数信息，根据所述投影参数信息和所述像元坐标，确定所述待识别目标的地理空间位置信息；
步骤503，基于所述目标知识模板库确定所述待识别目标的全球地理空间分布范围信息，并根据所述地理空间位置信息和全球地理空间分布范围信息，确定所述待识别目标的地理空间位置是否处于所述全球地理空间分布范围内；
步骤504，若是，基于预设的非极大值抑制算法，对各所述格网图像进行去重拼接处理。
需要说明的是，输入至目标精细分类模型中的任一目标图像，是基于一目标格网图像得到的，基于该目标格网图像对应的目标图像识别的K个初始类别，并基于目标图像和目标模板二值化图像，识别待识别目标的精细类别，得到目标格网图像对应的识别结果。对所有格网图像的识别结果进行汇总，得到对原始遥感图像中待识别目标的最终识别结果。在进行空间一致性判定时，将各网格图像中的目标像元坐标转换为原始遥感图像下的像元坐标，其中，目标像元坐标为待识别目标在格网图像中对应的像元坐标。获取原始遥感图像的投影参数信息，根据该投影参数信息，确定待识别目标的地理空间位置信息；根据目标知识模板库确定待识别目标的空间分布范围信息，根据待识别目标的地理空间位置信息与全球地理空间分布范围信息，对待识别目标进行空间一致性判定，确定待识别目标的空间位置是否处于其空间分布范围内；若是，则基于预设的非极大值抑制算法，对各格网图像进行去重拼接处理，以去除格网划分时的重叠区域，得到待识别目标的最终识别结果，该识别结果包括待识别目标的位置边界矩形框的经纬度坐标集和精细类别信息，在识别出待识别目标的精细类别后，对格网图像进行去重拼接处理，以得到最终可用于输出显示的识别结果。
进一步地，在对目标像素点进行坐标转换，将格网图像中的目标像元坐标转换为原始遥感图像下的像元坐标，具体地，基于所有格网图像的检测识别结果，按照其在原始遥感图像中的位置坐标进行换算，将每一格网图像中待识别目标的像元坐标统一转换到原始遥感图像中的像元坐标，转换公式如下：
X＝Xstart+Xpos
Y＝Ystart+Ypos
其中，X和Y为转换后的原始遥感图像中像元坐标，Xstart和Ystart为当前格网图像设定原点在原始遥感图像中对应的像元坐标，Xpos和Ypos为当前格网图像中任一待识别目标的位置边界框的像元坐标。根据待识别目标的位置边界框的像元坐标和原始遥感图像的投影参数信息，计算待识别目标特征点(本实施例中使用的目标中心点)的地理坐标，得到待识别目标的地理空间位置信息，该地理空间位置信息包括位置经纬度。
在本实施例中，通过格网划分处理，对每一格网图像进行目标识别，解决了遥感图像在目标识别时存在的成像场景大问题，在识别出待识别目标的初始类别后进行类别一致性判定，在识别待识别目标的精细类别后进行空间一致性判定，进一步提高了对目标的识别准确性，同时确保了对目标的识别有效性和合理性。
下面对本发明提供的领域知识引导下的遥感图像目标精细类型识别装置进行描述，下文描述的领域知识引导下的遥感图像目标精细类型识别装置与上文描述的领域知识引导下的遥感图像目标精细类型识别方法可相互对应参照。
参照图3，本发明实施例提供的领域知识引导下的遥感图像目标精细类型识别装置，包括：
特征提取模块10，用于获取待识别的原始遥感图像，并对所述原始遥感图像进行多维特征提取，得到所述原始遥感图像的边缘特征图像和纹理特征图像；
特征融合模块20，用于对所述原始遥感图像、所述边缘特征图像和所述纹理特征图像进行多流卷积神经网络的特征提取与融合，得到所述原始遥感图像的融合特征图像；
第一识别模块30，用于基于所述融合特征图像识别所述原始遥感图像中待识别目标的初始类别；
第二识别模块40，用于获取所述初始类别对应的目标知识模板库，根据所述目标知识模板库识别所述待识别目标的精细类型。
在一个实施例中，所述特征融合模块20，还用于：
根据预设尺寸的滑动窗口和预设的滑动步长，对所述原始遥感图像进行有重叠的格网划分处理，得到所述原始遥感图像对应的多个格网图像；所述边缘特征图像包括各所述格网图像对应的边缘特征子图，所述纹理特征图像包括各所述格网图像对应的纹理特征子图；
将目标格网图像、所述目标格网图像对应的边缘特征子图以及所述目标格网图像对应的纹理特征子图输入至经过预训练的多流卷积神经网络模型中，利用所述多流卷积神经网络模型对目标格网图像、所述目标格网图像对应的边缘特征子图以及所述目标格网图像对应的纹理特征子图进行多流卷积神经网络的特征提取与融合，得到所述原始遥感图像的融合特征图像所述目标格网图像为所述多个格网图像中的任意一个；
所述多流卷积神经网络模型包含权值共享的多个卷积神经网络和注意力机制，所述多个卷积神经网络包括第一卷积神经网络、第二卷积神经网络和第三卷积神经网络；
其中，所述第一卷积神经网络的输入为所述格网图像，所述第二卷积神经网络的输入为所述边缘特征子图，所述第三卷积神经网络的输入为所述纹理特征子图；所述注意力机制用于对所述多个卷积神经网络的输出进行特征融合。
在一个实施例中，所述领域知识引导下的遥感图像目标精细类型识别装置还包括模型训练模块，用于：
根据各预设类别生成精细分类体系；获取所述精细分类体系下的初始遥感图像；所述初始遥感图像中包含各所述预设类别下的分类目标；
获取所述初始遥感图像的标注信息，并基于所述标注信息对所述初始遥感图像进行有重叠的裁剪处理，并从裁剪图像中确定包含所述分类目标的样本图像；
基于所述样本图像构建第一样本数据集，并利用所述第一样本数据集对预设的基础多流卷积神经网络模型进行迭代训练；
基于各所述预设类别下的分类目标在所述样本图像中对应的图像块，构建所述目标知识模板库中所述精细分类体系对应的目标模板图像；
对各所述预设类别下的分类目标在所述样本图像中对应的图像块的均值图像进行二值化处理，以构建所述目标知识模板库中所述精细分类体系对应的目标模板二值化图像；所述目标知识模板库中包括各所述预设类别下的目标模板图像和目标模板二值化图像，以及所述目标模板图像和所述目标模板二值化图像对应的分类目标的属性信息和全球地理空间分布范围信息；
按照预设的角度间隔，在所述目标模板图像中，对目标图像块进行旋转扩增处理，得到所述目标模板图像对应的多个角度图像；所述目标图像块是所述目标模板图像中，经所述多流卷积神经网络模型进行分类识别得到的分类识别结果与真实值不一致的图像块；
基于所述目标模板图像和所述角度图像构建第二样本数据集；
利用所述第二样本数据集对预设的基础精细分类模型进行迭代训练。
在一个实施例中，所述领域知识引导下的遥感图像目标精细类型识别装置还包括第三识别模块，用于：
将各所述格网图像中的目标像元转换为所述原始遥感图像下的像元坐标；所述目标像元坐标为所述待识别目标在所述格网图像中对应的像元坐标；
获取所述原始遥感图像的投影参数信息，根据所述投影参数信息和所述像元坐标，确定所述待识别目标的地理空间位置信息；
基于所述目标知识模板库确定所述待识别目标的全球地理空间分布范围，并根据所述地理空间位置信息和所述全球地理空间分布范围，确定所述待识别目标的地理空间位置是否处于所述全球地理空间分布范围内；
若是，基于预设的非极大值抑制算法，对各所述格网图像进行去重拼接处理。
在一个实施例中，所述第一识别模块30，还用于：
根据所述融合特征图像确定待识别目标在所述原始遥感图像中的外包矩形，以及所述外包矩形的长方向夹角；所述长方向夹角为所述外包矩形的长边与标定方向之间的夹角；
根据所述长方向夹角和所述标定方向，对所述外包矩形覆盖的图像块进行旋转裁剪处理，得到包含所述待识别目标的目标图像；
将所述目标图像输入至经过预训练的目标精细分类模型中，得到所述目标精细分类模型输出的类别预测值；所述类别预测值为所述原始遥感图像中的待识别目标为各预设类别的概率值；
对所述类别预测值进行降序排序，并按照排序顺序选取预设数量的类别作为所述待识别目标的初始类别。
在一个实施例中，所述初始类别包括多个，所述第二识别模块40，还用于：
获取所述目标知识模板库中的先验目标；
根据所述原始遥感图像的空间分辨率确定所述待识别目标与所述先验目标的尺寸均值偏离度；
根据所述尺寸均值偏离度对所述初始类别进行筛选，确定所述待识别目标的第一目标类别；
对所述目标图像进行二值化处理，得到所述目标图像对应的目标二值化图像；
基于所述目标二值化图像计算所述待识别目标与第一模板图像中的先验目标的相似度；所述第一模板二值化图像为所述目标知识模板库中，所述第一目标类别对应的模板二值化图像；
根据所述相似度确定所述待识别目标的精细类型。
在一个实施例中，所述第二识别模块40，还用于：
基于差异哈希算法，分别计算所述目标二值化图像的目标哈希值，以及第一模板二值化图像的模板哈希值；
计算所述目标哈希值与所述模板哈希值的汉明距离；
根据所述汉明距离确定所述待识别目标与所述第一模板二值化图像中的先验目标的相似度。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行领域知识引导下的遥感图像目标精细类型识别方法，该方法包括：
获取待识别的原始遥感图像，并对所述原始遥感图像进行多维特征提取，得到所述原始遥感图像的边缘特征图像和纹理特征图像；
对所述原始遥感图像、所述边缘特征图像和所述纹理特征图像进行多流卷积神经网络的特征提取与融合，得到所述原始遥感图像的融合特征图像；
基于所述融合特征图像识别所述原始遥感图像中待识别目标的初始类别；
获取所述初始类别对应的目标知识模板库，根据所述目标知识模板库识别所述待识别目标的精细类型。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的领域知识引导下的遥感图像目标精细类型识别方法，该方法包括：
获取待识别的原始遥感图像，并对所述原始遥感图像进行多维特征提取，得到所述原始遥感图像的边缘特征图像和纹理特征图像；
对所述原始遥感图像、所述边缘特征图像和所述纹理特征图像进行多流卷积神经网络的特征提取与融合，得到所述原始遥感图像的融合特征图像；
基于所述融合特征图像识别所述原始遥感图像中待识别目标的初始类别；
获取所述初始类别对应的目标知识模板库，根据所述目标知识模板库识别所述待识别目标的精细类型。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的领域知识引导下的遥感图像目标精细类型识别方法，该方法包括：
获取待识别的原始遥感图像，并对所述原始遥感图像进行多维特征提取，得到所述原始遥感图像的边缘特征图像和纹理特征图像；
对所述原始遥感图像、所述边缘特征图像和所述纹理特征图像进行多流卷积神经网络的特征提取与融合，得到所述原始遥感图像的融合特征图像；
基于所述融合特征图像识别所述原始遥感图像中待识别目标的初始类别；
获取所述初始类别对应的目标知识模板库，根据所述目标知识模板库识别所述待识别目标的精细类型。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种领域知识引导下的遥感图像目标精细类型识别方法，其特征在于，包括：
获取待识别的原始遥感图像，并对所述原始遥感图像进行多维特征提取，得到所述原始遥感图像的边缘特征图像和纹理特征图像；
对所述原始遥感图像、所述边缘特征图像和所述纹理特征图像进行多流卷积神经网络的特征提取与融合，得到所述原始遥感图像的融合特征图像；
基于所述融合特征图像识别所述原始遥感图像中待识别目标的初始类别；
获取所述初始类别对应的目标知识模板库，根据所述目标知识模板库识别所述待识别目标的精细类型。
2.根据权利要求1所述的领域知识引导下的遥感图像目标精细类型识别方法，其特征在于，所述对所述原始遥感图像、所述边缘特征图像和所述纹理特征图像进行多流卷积神经网络的特征提取与融合，得到所述原始遥感图像的融合特征图像的步骤，包括：
根据预设尺寸的滑动窗口和预设的滑动步长，对所述原始遥感图像进行有重叠的格网划分处理，得到所述原始遥感图像对应的多个格网图像；所述边缘特征图像包括各所述格网图像对应的边缘特征子图，所述纹理特征图像包括各所述格网图像对应的纹理特征子图；
将目标格网图像、所述目标格网图像对应的边缘特征子图以及所述目标格网图像对应的纹理特征子图输入至经过预训练的多流卷积神经网络模型中，利用所述多流卷积神经网络模型对所述目标格网图像、所述目标格网图像对应的边缘特征子图和所述目标格网图像对应的纹理特征子图进行多流卷积神经网络的特征提取与融合，得到所述原始遥感图像的融合特征图像；所述目标格网图像为所述多个格网图像中的任意一个；
所述多流卷积神经网络模型包含权值共享的多个卷积神经网络和注意力机制，所述多个卷积神经网络包括第一卷积神经网络、第二卷积神经网络和第三卷积神经网络；
其中，所述第一卷积神经网络的输入为所述格网图像，所述第二卷积神经网络的输入为所述边缘特征子图，所述第三卷积神经网络的输入为所述纹理特征子图；所述注意力机制用于对所述多个卷积神经网络的输出进行特征融合。
3.根据权利要求2所述的领域知识引导下的遥感图像目标精细类型识别方法，其特征在于，所述对所述原始遥感图像、所述边缘特征图像和所述纹理特征图像进行多流卷积神经网络的特征提取与融合，得到所述原始遥感图像的融合特征图像之前，还包括：
根据各预设类别生成精细分类体系；获取所述精细分类体系下的初始遥感图像；所述初始遥感图像中包含各所述预设类别下的分类目标；
获取所述初始遥感图像的标注信息，并基于所述标注信息对所述初始遥感图像进行有重叠的裁剪处理，并从裁剪图像中确定包含所述分类目标的样本图像；
基于所述样本图像构建第一样本数据集，并利用所述第一样本数据集对预设的基础多流卷积神经网络模型进行迭代训练；
基于各所述预设类别下的分类目标在所述样本图像中对应的图像块，构建所述目标知识模板库中所述精细分类体系对应的目标模板图像；
对各所述预设类别下的分类目标在所述样本图像中对应的图像块的均值图像进行二值化处理，以构建所述目标知识模板库中所述精细分类体系对应的目标模板二值化图像；所述目标知识模板库中包括各所述预设类别下的目标模板图像和目标模板二值化图像，以及所述目标模板图像和所述目标模板二值化图像对应的分类目标的属性信息和全球地理空间分布范围信息；
按照预设的角度间隔，在所述目标模板图像中，对目标图像块进行旋转扩增处理，得到所述目标模板图像对应的多个角度图像；所述目标图像块是所述目标模板图像中，经所述多流卷积神经网络模型进行分类识别得到的分类识别结果与真实值不一致的图像块；
基于所述目标模板图像和所述角度图像构建第二样本数据集；
利用所述第二样本数据集对预设的基础精细分类模型进行迭代训练。
4.根据权利要求3所述的领域知识引导下的遥感图像目标精细类型识别方法，其特征在于，所述根据所述目标知识模板库识别所述待识别目标的精细类型之后，还包括：
将各所述格网图像中的目标像元坐标转换为所述原始遥感图像下的像元坐标；所述目标像元坐标为所述待识别目标在所述格网图像中对应的像元坐标；
获取所述原始遥感图像的投影参数信息，根据所述投影参数信息和所述像元坐标，确定所述待识别目标的地理空间位置信息；
基于所述目标知识模板库确定所述待识别目标的全球地理空间分布范围，并根据所述地理空间位置信息和全球地理空间分布范围，确定所述待识别目标的地理空间位置是否处于所述全球地理空间分布范围内；
若是，基于预设的非极大值抑制算法，对各所述格网图像进行去重拼接处理。
5.根据权利要求1所述的领域知识引导下的遥感图像目标精细类型识别方法，其特征在于，所述基于所述融合特征图像识别所述原始遥感图像中待识别目标的初始类别的步骤，包括：
根据所述融合特征图像确定待识别目标在所述原始遥感图像中的外包矩形，以及所述外包矩形的长方向夹角；所述长方向夹角为所述外包矩形的长边与标定方向之间的夹角；
根据所述长方向夹角和所述标定方向，对所述外包矩形覆盖的图像块进行旋转裁剪处理，得到包含所述待识别目标的目标图像；
将所述目标图像输入至经过预训练的目标精细分类模型中，得到所述目标精细分类模型输出的类别预测值；所述类别预测值为所述原始遥感图像中的待识别目标为各预设类别的概率值；
对所述类别预测值进行降序排序，并按照排序顺序选取预设数量的类别作为所述待识别目标的初始类别。
6.根据权利要求5所述的领域知识引导下的遥感图像目标精细类型识别方法，其特征在于，所述初始类别包括多个，所述根据所述目标知识模板库识别所述待识别目标的精细类型的步骤，包括：
获取所述目标知识模板库中的先验目标；
根据所述原始遥感图像的空间分辨率确定所述待识别目标与所述先验目标的尺寸均值偏离度；
根据所述尺寸均值偏离度对所述初始类别进行筛选，确定所述待识别目标的第一目标类别；
对所述目标图像进行二值化处理，得到所述目标图像对应的目标二值化图像；
基于所述目标二值化图像计算所述待识别目标与第一模板二值化图像中的先验目标的相似度；所述第一模板二值化图像为所述目标知识模板库中，所述第一目标类别对应的模板二值化图像；
根据所述相似度确定所述待识别目标的精细类型。
7.根据权利要求6所述的领域知识引导下的遥感图像目标精细类型识别方法，其特征在于，所述基于所述目标二值化图像计算所述待识别目标与第一模板二值化图像中的先验目标的相似度的步骤，包括：
基于差异哈希算法，分别计算所述目标二值化图像的目标哈希值，以及第一模板二值化图像的模板哈希值；
计算所述目标哈希值与所述模板哈希值的汉明距离；
根据所述汉明距离确定所述待识别目标与所述第一模板二值化图像中的先验目标的相似度。
8.一种领域知识引导下的遥感图像目标精细类型识别装置，其特征在于，包括：
特征提取模块，用于获取待识别的原始遥感图像，并对所述原始遥感图像进行多维特征提取，得到所述原始遥感图像的边缘特征图像和纹理特征图像；
特征融合模块，用于对所述原始遥感图像、所述边缘特征图像和所述纹理特征图像进行多流卷积神经网络的特征提取与融合，得到所述原始遥感图像的融合特征图像；
第一识别模块，用于基于所述融合特征图像识别所述原始遥感图像中待识别目标的初始类别；
第二识别模块，用于获取所述初始类别对应的目标知识模板库，根据所述目标知识模板库识别所述待识别目标的精细类型。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述领域知识引导下的遥感图像目标精细类型识别方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的领域知识引导下的遥感图像目标精细类型识别方法的步骤。
CN202211559725.5A 2022-12-06 2022-12-06 领域知识引导下的遥感图像目标精细类型识别方法及装置 Pending CN116246161A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211559725.5A CN116246161A (zh) 2022-12-06 2022-12-06 领域知识引导下的遥感图像目标精细类型识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211559725.5A CN116246161A (zh) 2022-12-06 2022-12-06 领域知识引导下的遥感图像目标精细类型识别方法及装置

Publications (1)

Publication Number Publication Date
CN116246161A true CN116246161A (zh) 2023-06-09

Family

ID=86623164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211559725.5A Pending CN116246161A (zh) 2022-12-06 2022-12-06 领域知识引导下的遥感图像目标精细类型识别方法及装置

Country Status (1)

Country Link
CN (1) CN116246161A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095299A (zh) * 2023-10-18 2023-11-21 浙江省测绘科学技术研究院 破碎化耕作区的粮食作物提取方法、***、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095299A (zh) * 2023-10-18 2023-11-21 浙江省测绘科学技术研究院 破碎化耕作区的粮食作物提取方法、***、设备及介质
CN117095299B (zh) * 2023-10-18 2024-01-26 浙江省测绘科学技术研究院 破碎化耕作区的粮食作物提取方法、***、设备及介质

Similar Documents

Publication Publication Date Title
US10762376B2 (en) Method and apparatus for detecting text
CN111476284B (zh) 图像识别模型训练及图像识别方法、装置、电子设备
CN111161311A (zh) 一种基于深度学习的视觉多目标跟踪方法及装置
US9129191B2 (en) Semantic object selection
US9129192B2 (en) Semantic object proposal generation and validation
CN109446889B (zh) 基于孪生匹配网络的物体追踪方法及装置
KR101896357B1 (ko) 객체를 검출하는 방법, 디바이스 및 프로그램
CN109343920B (zh) 一种图像处理方法及其装置、设备和存储介质
Zhang et al. Semantic classification of heterogeneous urban scenes using intrascene feature similarity and interscene semantic dependency
CN112101386B (zh) 文本检测方法、装置、计算机设备和存储介质
CN111680753A (zh) 一种数据标注方法、装置、电子设备及存储介质
CN113111716B (zh) 一种基于深度学习的遥感影像半自动标注方法和装置
CN111008576A (zh) 行人检测及其模型训练、更新方法、设备及可读存储介质
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
JP2019185787A (ja) 地理的地域内のコンテナのリモート決定
CN116246161A (zh) 领域知识引导下的遥感图像目标精细类型识别方法及装置
US20200160098A1 (en) Human-Assisted Machine Learning Through Geometric Manipulation and Refinement
CN112241736A (zh) 一种文本检测的方法及装置
CN112418256A (zh) 分类、模型训练、信息搜索方法、***及设备
Koc-San et al. A model-based approach for automatic building database updating from high-resolution space imagery
CN116823884A (zh) 多目标跟踪方法、***、计算机设备及存储介质
CN116758419A (zh) 针对遥感图像的多尺度目标检测方法、装置和设备
CN110751163B (zh) 目标定位方法及其装置、计算机可读存储介质和电子设备
CN115775386A (zh) 用户界面组件的识别方法、装置、计算机设备和存储介质
CN113139540B (zh) 背板检测方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination