CN117456187B - 基于基础模型的弱监督遥感图像语义分割方法及*** - Google Patents

基于基础模型的弱监督遥感图像语义分割方法及*** Download PDF

Info

Publication number
CN117456187B
CN117456187B CN202311490147.9A CN202311490147A CN117456187B CN 117456187 B CN117456187 B CN 117456187B CN 202311490147 A CN202311490147 A CN 202311490147A CN 117456187 B CN117456187 B CN 117456187B
Authority
CN
China
Prior art keywords
mask
image
remote sensing
segmentation
sensing image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311490147.9A
Other languages
English (en)
Other versions
CN117456187A (zh
Inventor
孙显
周瑞雪
张文凯
李硕轲
李霁豪
卢宛萱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202311490147.9A priority Critical patent/CN117456187B/zh
Publication of CN117456187A publication Critical patent/CN117456187A/zh
Application granted granted Critical
Publication of CN117456187B publication Critical patent/CN117456187B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于基础模型的弱监督遥感图像语义分割方法及***，涉及图像分割技术领域，用以解决传统遥感图像语义分割方法分割精度不高及人工标注成本大的技术问题。该方法包括：获取待分割遥感图像，和与待分割遥感图像对应的图像级标签；将待分割遥感图像和图像级标签输入预先训练好的分类模型中进行特征提取，得到与图像级标签对应的类别激活图；将类别激活图输入预先训练好的分割一切模型，生成种子掩码；利用预先训练好的分类模型根据种子掩码生成预测掩码；根据预测掩码在分割一切模型中生成目标掩码；根据目标掩码分割待分割遥感图像，得到分割结果。

Description

基于基础模型的弱监督遥感图像语义分割方法及***
技术领域
本发明涉及图像分割技术领域，尤其涉及一种基于基础模型的弱监督遥感图像语义分割方法及***。
背景技术
现有语义分割主流的研究工作大多依赖于“强监督模型+海量样本”的思路开展，诞生了一系列具备对复杂场景有着强大理解能力的算法。然而，该类方法的性能与数据集样本量的大小息息相关，且严重依赖像素级手动精细化标注，对标注者的要求较高，需要具备一定的专家知识，给计算机视觉尤其是遥感领域的研究带来了极大的研究成本。
为了尽可能地减少人工标注成本，弱监督语义分割方法应运而生，按不同的标注类型，可分为涂鸦标注、目标框标注以及图像级标注，其中，图像级标注作为监督信息最少也最具挑战性的方法，为遥感图像语义分割技术的发展提供了一个新思路。相对于强监督标注，图像级标注过程更加高效，同时涉及的人工标注错误也少得多，因此可以大大降低大规模遥感数据集的人工标注成本。一般而言，当前图像级弱监督语义分割方法主要依赖于类别激活图作为初始种子，在此基础上进一步映射为分割掩码的双阶段方法。由于该方法是通过依赖分类器实现的初始目标定位，因此生成的类别激活图往往只能激活目标中最具判别性的区域，难以实现目标整体区域的激活，从而直接影响了模型最终的分割精度。
发明内容
鉴于上述问题，本发明提供了一种基于基础模型的弱监督遥感图像语义分割方法及***。
根据本发明的第一个方面，提供了一种基于基础模型的弱监督遥感图像语义分割方法，包括：获取待分割遥感图像，和与待分割遥感图像对应的图像级标签；将待分割遥感图像和图像级标签输入预先训练好的分类模型中进行特征提取，得到与图像级标签对应的类别激活图；将类别激活图输入预先训练好的分割一切模型，生成种子掩码；利用预先训练好的分类模型根据种子掩码生成预测掩码；根据预测掩码在分割一切模型中生成目标掩码；根据目标掩码分割待分割遥感图像，得到分割结果。
根据本发明的实施例，将待分割遥感图像和图像级标签输入预先训练好的分类模型中进行特征提取，得到与图像级标签对应的类别激活图包括：获取图像级标签在不同特征通道上的权重；根据权重，利用线性融合的方式在通道维度上对分类模型提取的特征进行加权求和，获得融合特征图；对融合特征图进行归一化处理；通过双线性插值的方式将归一化处理后的融合特征图尺寸调整到与待分割遥感图像尺寸一致，得到与图像级标签对应的类别激活图。
根据本发明的实施例，类别激活图的计算方式为：
其中，M c （x,y）表示像素点横坐标为x和纵坐标为y时对应的类别激活图，c表示分割类型，W c 代表分类模型的权值，T代表转置函数，⊙表示逐元素乘法符号，F k （x,y）表示提取到的图像特征。
根据本发明的实施例，将类别激活图输入预先训练好的分割一切模型，生成种子掩码包括：设置分割一切模型的阈值，对图像级标签对应的各个通道进行阈值化处理，生成二值图像；基于二值图像确定连通域，并提取连通域的峰值点；基于峰值点生成种子掩码。
根据本发明的实施例，利用预先训练好的分类模型根据种子掩码生成预测掩码包括：在预先训练好的分类模型中增设分割层；利用分割层预测待分割遥感图像中各像素的类别，根据类别结果生成初始预测掩码；根据初始预测掩码和种子掩码生成预测掩码。
根据本发明的实施例，利用预先训练好的分类模型根据种子掩码生成预测掩码还包括：获取初始预测掩码和种子掩码的交集；基于交集获取预测掩码中的不确定性区域；根据不确定性区域生成不确定性区域注意力图。
根据本发明的实施例，根据预测掩码在分割一切模型中生成目标掩码包括：对预测掩码进行迭代优化；在预测掩码的损失和上一次迭代优化后的预测掩码的损失差值最小时，输出预测掩码，得到目标掩码。
根据本发明的实施例，分类模型的损失函数计算方式为：
其中，L c (y,l)表示分类模型的损失函数，c表示分割类别，l c 表示待分割图像的图像级标签，y c 表示分类模型预测的类分数，e代表自然常数。
根据本发明的实施例，预测掩码在迭代优化过程中的损失计算方式为：
其中，L S 表示预测掩码在迭代优化过程中的损失，/>表示第t-1次迭代过程的输出掩码，/>表示第t次迭代过程中经分割一切模型优化后的输出掩码，/>表示第t-1次迭代中生成的不确定性区域注意力图。
本发明的第二方面提供了一种基于基础模型的弱监督遥感图像语义分割***，包括：获取模块，用于获取待分割遥感图像，和与待分割遥感图像对应的图像级标签；提取模块，用于将待分割遥感图像和图像级标签输入预先训练好的分类模型中进行特征提取，得到与图像级标签对应的类别激活图；第一生成模块，用于将类别激活图输入预先训练好的分割一切模型，生成种子掩码；第二生成模块，用于利用预先训练好的分类模型根据种子掩码生成预测掩码；第三生成模块，用于根据预测掩码在分割一切模型中生成目标掩码；分割模块，用于根据目标掩码分割待分割遥感图像，得到分割结果。
根据本发明提供的基于基础模型的弱监督遥感图像语义分割方法及***，通过引入分割一切模型至弱监督语义分割模型，与分类模型进行有效结合来生成类别激活图，省去了传统分割模型需要利用伪标签来生成类别激活图过程的双阶段训练方式，有效简化了传统的分割流程，由于在利用分割一切模型生成目标掩码的过程中采用了类间解耦策略和不确定性加权策略，极大地提高了目标掩码的生成质量，使得图像语义分割结果更加精准。
附图说明
通过以下参照附图对本发明实施例的描述，本发明的上述内容以及其他目的、特征和优点将更为清楚，在附图中：
图1示意性示出了根据本发明实施例的基于基础模型的弱监督遥感图像语义分割方法的流程图；
图2示意性示出了根据本发明实施例的基于基础模型的弱监督遥感图像语义分割方法中分类模型的分割层结构图；
图3示意性示出了根据本发明实施例的基于基础模型的弱监督遥感图像语义分割***的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接或可以互相通讯；可以是直接连接，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中，需要理解的是，术语“纵向”、“长度”、“周向”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的子***或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
贯穿附图，相同的元素由相同或相近的附图标记来表示。可能导致本发明的理解造成混淆时，将省略常规结构或构造。并且图中各部件的形状、尺寸、位置关系不反映真实大小、比例和实际位置关系。
类似地，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明示例性实施例的描述中，本发明的各个特征有时被一起分到单个实施例、图或者对其描述中。参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或者多个实施例或示例中以合适的方式结合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。因此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个、三个等，除非另有明确具体的限定。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释（例如，“具有A、B和C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等）。
在本发明的技术方案中，所涉及的数据（如包括但不限于用户个人信息）的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。
图1示意性示出了根据本发明实施例的基于基础模型的弱监督遥感图像语义分割方法的流程图。
如图1所示，本实施例的基于基础模型的弱监督遥感图像语义分割方法包括操作S1~操作S6。
在操作S1，获取待分割遥感图像，和与待分割遥感图像对应的图像级标签。
在本实施例中，首先需要收集遥感图像数据集，该遥感图像数据集包括高分辨率的待分割遥感图像和与待分割遥感图像对应的图像级标签。
在操作S2，将待分割遥感图像和图像级标签输入预先训练好的分类模型中进行特征提取，得到与图像级标签对应的类别激活图。
在本实施例中，在图像级标签的监督下，训练一个多标签的分类模型，利用主干网络提取图像特征，得到与图像级标签对应的类别激活图，其中，分类模型的损失函数可表示为：其中，L c (y,l)表示分类模型的损失函数，c表示分割类别，l c 表示待分割图像的图像级标签，y c 表示分类模型预测的类分数，e代表自然常数。
根据本发明的实施例，操作S2进一步可以包括操作S200~操作S203：
在操作S200，获取图像级标签在不同特征通道上的权重。
在操作S201，根据权重，利用线性融合的方式在通道维度上对分类模型提取的特征进行加权求和，获得融合特征图。
在操作S202，对融合特征图进行归一化处理。
在操作S203，通过双线性插值的方式将归一化处理后的融合特征图尺寸调整到与待分割遥感图像尺寸一致，得到与图像级标签对应的类别激活图。
在本实施例中，类别激活图的计算方式为：其中，M c （x,y）表示像素点横坐标为x和纵坐标为y时对应的类别激活图，c表示分割类别，W c 代表分类模型的权值，T代表转置函数，⊙表示逐元素乘法符号，F k （x,y）表示提取到的图像特征。
在操作S3，将类别激活图输入预先训练好的分割一切模型，生成种子掩码。
根据本发明的实施例，操作S3进一步可以包括操作S300~操作S302：
在操作S300，设置分割一切模型的阈值，对图像级标签对应的各个通道进行阈值化处理，生成二值图像。
在本实施例中，对分割一切模型设置0.6的阈值，分别对代表每一个图像级标签类别的通道实现阈值化操作，生成二值图像，即预测的像素分数大于等于0.6的设置为1，小于0.6的设置为0，实现类别解耦。
在操作S301，基于二值图像确定连通域，并提取连通域的峰值点。
在本实施例中，利用基于广度优先搜索算法确定连通域，在不同的连通域上，分别提取出峰值点，并在峰值点附近选取包括峰值点在内的5个候补点位。
在操作S302，基于峰值点生成种子掩码。
在本实施例中，利用每个连通域上选出的5个点作为分割一切模型的提示信息（该过程可消除单点提示的掩码歧义）依次生成各连通域的掩码，并最终合并生成分割一切模型的点生成式种子掩码。
在操作S4，利用预先训练好的分类模型根据种子掩码生成预测掩码。
根据本发明的实施例，操作S4进一步可以包括操作S400~操作S402：
在操作S400，在预先训练好的分类模型中增设分割层，该分割层结构如图2所示。
图2示意性示出了根据本发明实施例的基于基础模型的弱监督遥感图像语义分割方法中分类模型的分割层结构图。
如图2所示，在本实施例中，在分类模型的最后增加一个卷积模块，作为分割层，用于预测像素类别，生成初始预测掩码。
在操作S401，利用分割层预测待分割遥感图像中各像素的类别，根据类别结果生成初始预测掩码。
在操作S402，根据初始预测掩码和种子掩码生成预测掩码。
根据本发明的实施例，操作S4进一步还可以包括：
获取初始预测掩码和种子掩码的交集。
基于交集获取预测掩码中的不确定性区域，即用预测掩码减去交集区域，得到预测掩码中的不确定性区域。
根据不确定性区域生成不确定性区域注意力图。
在操作S5，根据预测掩码在分割一切模型中生成目标掩码。
根据本发明的实施例，操作S5进一步可以包括操作S500~操作S502：
在操作S500，对预测掩码进行迭代优化。
在操作S501，在预测掩码的损失和上一次迭代优化后的预测掩码的损失差值最小时，输出预测掩码，得到目标掩码。
在本实施例中，将得到的预测掩码作为分割一切模型的掩码提示信息，生成下一轮迭代优化后的分割掩码/>，同理，往后依次迭代，如第t-1次迭代过程的输出掩码表示为/>，将作为第t次迭代过程中分割一切模型的掩码提示信息，生成对应迭代优化后的分割掩码/>，计算上一次预测掩码/>和优化后的预测掩码/>的损失，在计算损失时辅以为权重，用于指导弱监督语义分割模型在训练过程中重点关注不确定的像素区域，加大不确定区域像素的惩罚力度，以进一步优化语义分割结果，提高分割的准确性。其中，该预测掩码在迭代优化过程中的损失L S 表示为：其中，/>表示第t-1次迭代过程的输出掩码，/>表示第t次迭代过程中经分割一切模型优化后的输出掩码，/>表示第t-1次迭代中生成的不确定性区域注意力图。
在操作S6，根据所述目标掩码分割所述待分割遥感图像，得到分割结果。
在本实施例，根据经分割一切模型最终输出的目标掩码完成对待分割遥感图像的分割，得到分割结果。
根据本发明提供的基于基础模型的弱监督遥感图像语义分割方法，通过引入分割一切模型至弱监督语义分割模型，与分类模型进行有效结合来生成类别激活图，省去了传统分割模型需要利用伪标签来生成类别激活图过程的双阶段训练方式，有效简化了传统的分割流程，由于在利用分割一切模型生成目标掩码的过程中采用了类间解耦策略和不确定性加权策略，极大地提高了目标掩码的生成质量，使得图像语义分割结果更加精准。
图3示意性示出了根据本发明实施例的基于基础模型的弱监督遥感图像语义分割***的结构框图。
如图3所示，该实施例的基于基础模型的弱监督遥感图像语义分割***包括：获取模块301、提取模块302、第一生成模块303、第二生成模块304、第三生成模块305和分割模块306。
获取模块301用于获取待分割遥感图像，和与待分割遥感图像对应的图像级标签。
提取模块302用于将待分割遥感图像和图像级标签输入预先训练好的分类模型中进行特征提取，得到与图像级标签对应的类别激活图。
第一生成模块303用于将类别激活图输入预先训练好的分割一切模型，生成种子掩码。
第二生成模块304用于利用预先训练好的分类模型根据种子掩码生成预测掩码。
第三生成模块305用于根据预测掩码在分割一切模型中生成目标掩码。
分割模块306用于根据目标掩码分割待分割遥感图像，得到分割结果。
根据本发明的实施例，获取模块301、提取模块302、第一生成模块303、第二生成模块304、第三生成模块305和分割模块306中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本发明的实施例，获取模块301、提取模块302、第一生成模块303、第二生成模块304、第三生成模块305和分割模块306中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列（FPGA）、可编程逻辑阵列（PLA）、片上***、基板上的***、封装上的***、专用集成电路（ASIC），或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，获取模块301、提取模块302、第一生成模块303、第二生成模块304、第三生成模块305和分割模块306中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
根据本发明提供的基于基础模型的弱监督遥感图像语义分割***，通过引入分割一切模型至弱监督语义分割模型，与分类模型进行有效结合来生成类别激活图，省去了传统分割模型需要利用伪标签来生成类别激活图过程的双阶段训练方式，有效简化了传统的分割流程，由于在利用分割一切模型生成目标掩码的过程中采用了类间解耦策略和不确定性加权策略，极大地提高了目标掩码的生成质量，使得图像语义分割结果更加精准。
需要说明的是，本发明的实施例中基于基础模型的弱监督遥感图像语义分割***与本发明的实施例中基于基础模型的弱监督遥感图像语义分割方法部分是相对应的，其具体实施细节及带来的技术效果也是相同的，在此不再赘述。
本领域技术人员可以理解，本发明的各个实施例中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本发明中。特别地，在不脱离本发明精神和教导的情况下，本发明的各个实施例中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本发明的范围。
以上对本发明的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本发明的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。不脱离本发明的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本发明的范围之内。

Claims (8)

1.一种基于基础模型的弱监督遥感图像语义分割方法，其特征在于，包括：
获取待分割遥感图像，和与所述待分割遥感图像对应的图像级标签；
将所述待分割遥感图像和所述图像级标签输入预先训练好的分类模型中进行特征提取，得到与所述图像级标签对应的类别激活图；
将所述类别激活图输入预先训练好的分割一切模型，生成种子掩码，包括：
设置所述分割一切模型的阈值，对所述图像级标签对应的各个通道进行阈值化处理，生成二值图像；
基于所述二值图像确定连通域，并提取所述连通域的峰值点；
基于所述峰值点生成种子掩码；
利用预先训练好的分类模型根据所述种子掩码生成预测掩码，包括：
在预先训练好的分类模型中增设分割层；
利用所述分割层预测所述待分割遥感图像中各像素的类别，根据类别结果生成初始预测掩码；
根据所述初始预测掩码和所述种子掩码生成预测掩码；
根据所述预测掩码在所述分割一切模型中生成目标掩码；
根据所述目标掩码分割所述待分割遥感图像，得到分割结果。
2.根据权利要求1所述的基于基础模型的弱监督遥感图像语义分割方法，其特征在于，所述将所述待分割遥感图像和所述图像级标签输入预先训练好的分类模型中进行特征提取，得到与所述图像级标签对应的类别激活图包括：
获取所述图像级标签在不同特征通道上的权重；
根据所述权重，利用线性融合的方式在所述通道维度上对所述分类模型提取的特征进行加权求和，获得融合特征图；
对所述融合特征图进行归一化处理；
通过双线性插值的方式将归一化处理后的融合特征图尺寸调整到与所述待分割遥感图像尺寸一致，得到与所述图像级标签对应的类别激活图。
3.根据权利要求2所述的基于基础模型的弱监督遥感图像语义分割方法，其特征在于，所述类别激活图的计算方式为：
Mc(x，y)＝Wc T⊙Fk(x，y)
其中，Mc(x，y)表示像素点横坐标为x和纵坐标为y时对应的类别激活图，c表示分割类型，Wc代表分类模型的权值，T代表转置函数，⊙表示逐元素乘法符号，Fk(x，y)表示提取到的图像特征。
4.根据权利要求1所述的基于基础模型的弱监督遥感图像语义分割方法，其特征在于，所述利用预先训练好的分类模型根据所述种子掩码生成预测掩码还包括：
获取所述初始预测掩码和所述种子掩码的交集；
基于所述交集获取所述预测掩码中的不确定性区域；
根据所述不确定性区域生成不确定性区域注意力图。
5.根据权利要求1所述的基于基础模型的弱监督遥感图像语义分割方法，其特征在于，所述根据所述预测掩码在所述分割一切模型中生成目标掩码包括：
对所述预测掩码进行迭代优化；
在所述预测掩码的损失和上一次迭代优化后的预测掩码的损失差值最小时，输出所述预测掩码，得到目标掩码。
6.根据权利要求1所述的基于基础模型的弱监督遥感图像语义分割方法，其特征在于，所述分类模型的损失函数计算方式为：
其中，Lc(y，l)表示分类模型的损失函数，c表示分割类别，lc表示待分割图像的图像级标签，yc表示分类模型预测的类分数，e代表自然常数。
7.根据权利要求5所述的基于基础模型的弱监督遥感图像语义分割方法，其特征在于，所述预测掩码在迭代优化过程中的损失计算方式为：
其中，LS表示预测掩码在迭代优化过程中的损失，表示第t-1次迭代过程的输出掩码，/>表示第t次迭代过程中经分割一切模型优化后的输出掩码，/>表示第t-1次迭代中生成的不确定性区域注意力图。
8.一种基于基础模型的弱监督遥感图像语义分割***，包括：
获取模块，用于获取待分割遥感图像，和与所述待分割遥感图像对应的图像级标签；
提取模块，用于将所述待分割遥感图像和所述图像级标签输入预先训练好的分类模型中进行特征提取，得到与所述图像级标签对应的类别激活图；
第一生成模块，用于将所述类别激活图输入预先训练好的分割一切模型，生成种子掩码，包括：
设置所述分割一切模型的阈值，对所述图像级标签对应的各个通道进行阈值化处理，生成二值图像；
基于所述二值图像确定连通域，并提取所述连通域的峰值点；
基于所述峰值点生成种子掩码；
第二生成模块，用于利用预先训练好的分类模型根据所述种子掩码生成预测掩码，包括：
在预先训练好的分类模型中增设分割层；
利用所述分割层预测所述待分割遥感图像中各像素的类别，根据类别结果生成初始预测掩码；
根据所述初始预测掩码和所述种子掩码生成预测掩码；
第三生成模块，用于根据所述预测掩码在所述分割一切模型中生成目标掩码；
分割模块，用于根据所述目标掩码分割所述待分割遥感图像，得到分割结果。
CN202311490147.9A 2023-11-10 2023-11-10 基于基础模型的弱监督遥感图像语义分割方法及*** Active CN117456187B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311490147.9A CN117456187B (zh) 2023-11-10 2023-11-10 基于基础模型的弱监督遥感图像语义分割方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311490147.9A CN117456187B (zh) 2023-11-10 2023-11-10 基于基础模型的弱监督遥感图像语义分割方法及***

Publications (2)

Publication Number Publication Date
CN117456187A CN117456187A (zh) 2024-01-26
CN117456187B true CN117456187B (zh) 2024-06-21

Family

ID=89596484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311490147.9A Active CN117456187B (zh) 2023-11-10 2023-11-10 基于基础模型的弱监督遥感图像语义分割方法及***

Country Status (1)

Country Link
CN (1) CN117456187B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114266971A (zh) * 2021-12-20 2022-04-01 中国电子科技集团公司第二十八研究所 一种基于关键点的弱监督遥感图像飞机检测方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3116925B1 (fr) * 2020-11-27 2023-07-28 Reuniwatt Procédé de détection d’installations photovoltaïques sur une image par apprentissage profond
CN114693694A (zh) * 2020-12-25 2022-07-01 日本电气株式会社 图像处理的方法、设备和计算机可读存储介质
CN112883887B (zh) * 2021-03-01 2023-07-18 中央财经大学 一种基于高空间分辨率光学遥感图像的建筑物实例自动提取方法
CN113096138B (zh) * 2021-04-13 2023-04-28 西安电子科技大学 选择性像素亲和学习的弱监督语义图像分割方法
KR20230041851A (ko) * 2021-09-17 2023-03-27 연세대학교 산학협력단 모조 마스크 기반 약지도 시맨틱 분할 장치 및 방법
CN114549405A (zh) * 2022-01-10 2022-05-27 中国地质大学（武汉） 一种基于监督自注意力网络的高分遥感图像语义分割方法
CN114596500A (zh) * 2022-01-12 2022-06-07 南通大学 一种基于通道-空间注意力和DeeplabV3plus的遥感影像语义分割方法
CN114998595B (zh) * 2022-07-18 2022-11-08 赛维森(广州)医疗科技服务有限公司 弱监督语义分割方法、语义分割方法及可读存储介质
CN116229465A (zh) * 2023-02-27 2023-06-06 哈尔滨工程大学 一种船舶弱监督语义分割方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114266971A (zh) * 2021-12-20 2022-04-01 中国电子科技集团公司第二十八研究所 一种基于关键点的弱监督遥感图像飞机检测方法

Also Published As

Publication number Publication date
CN117456187A (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
CN111652217B (zh) 文本检测方法、装置、电子设备及计算机存储介质
CN111160311B (zh) 基于多注意力机制双流融合网络的黄河冰凌语义分割方法
CN110443818B (zh) 一种基于涂鸦的弱监督语义分割方法与***
CN112241766B (zh) 基于样本生成和迁移学习的肝脏ct图像多病变分类方法
CN112966684B (zh) 一种注意力机制下的协同学习文字识别方法
CN111696094B (zh) 免疫组化pd-l1膜染色病理切片图像处理方法、装置和设备
CN113362329B (zh) 病灶检测模型的训练方法及识别图像中的病灶的方法
CN111612008B (zh) 基于卷积网络的图像分割方法
CN109871875B (zh) 一种基于深度学习的建筑物变化检测方法
CN116665176B (zh) 一种面向车辆自动驾驶的多任务网络道路目标检测方法
Wazir et al. HistoSeg: Quick attention with multi-loss function for multi-structure segmentation in digital histology images
CN114758137B (zh) 超声图像分割方法、装置及计算机可读存储介质
Nikolić et al. Implementation of generic algorithm in map-matching model
CN112017161A (zh) 一种基于中心点回归的肺结节检测方法和检测装置
CN114565770A (zh) 基于边缘辅助计算和掩模注意力的图像分割方法及***
CN114897738A (zh) 一种基于语义不一致性检测的图像盲修复方法
CN111860823A (zh) 神经网络训练、图像处理方法及装置、设备及存储介质
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN114913434B (zh) 一种基于全局关系推理的高分辨率遥感影像变化检测方法
CN116189139A (zh) 一种基于Transformer的交通标志检测方法
CN116665153A (zh) 一种基于改进型Deeplabv3+网络模型的道路场景分割方法
CN104077765A (zh) 图像分割装置、图像分割方法和程序
Manocha et al. Optical and SAR images-based image translation for change detection using generative adversarial network (GAN)
CN112634174B (zh) 一种图像表示学习方法及***
CN117437423A (zh) 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant