CN118096800A - 一种小样本语义分割模型的训练方法、装置、设备及介质 - Google Patents
一种小样本语义分割模型的训练方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN118096800A CN118096800A CN202410524380.2A CN202410524380A CN118096800A CN 118096800 A CN118096800 A CN 118096800A CN 202410524380 A CN202410524380 A CN 202410524380A CN 118096800 A CN118096800 A CN 118096800A
- Authority
- CN
- China
- Prior art keywords
- features
- generate
- image
- small sample
- query
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 175
- 238000012549 training Methods 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 71
- 230000004927 fusion Effects 0.000 claims abstract description 39
- 238000000605 extraction Methods 0.000 claims abstract description 34
- 238000011176 pooling Methods 0.000 claims description 29
- 238000013527 convolutional neural network Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 16
- 230000009467 reduction Effects 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 12
- 238000007499 fusion processing Methods 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 3
- 238000007500 overflow downdraw method Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种小样本语义分割模型的训练方法、装置、设备及介质，所述训练方法包括：获取图像数据集，所述图像数据集中包括多个支持图像和多个查询图像；基于自相关先验引导及自增强特征融合网络结构，构建初始小样本语义分割模型；对所述图像数据集进行特征提取处理，以生成图像特征信息；基于所述图像特征信息，对所述初始小样本语义分割模型进行训练，生成目标小样本语义分割模型。本发明可以充分发掘查询图像所生成的每一层图像特征中的目标信息，另外，本发明还提出了一种新的特征融合方法，以实现包含不同语义信息的特征的充分融合，提高了网络模型的分割性能以及泛化能力。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种小样本语义分割模型的训练方法、装置、设备及介质。
背景技术
图像语义分割是计算机视觉的基本任务之一，旨在利用图像的信息，实现像素级前景和背景的区分，即像素级语义理解。图像语义分割是图像识别和定位的基础，对于包括智慧教育、辅助医疗、虚拟现实图像识别、自动驾驶等在内的诸多领域具有重要的意义。然而，全监督语义分割需要大量像素级标注，数据集的制作比较困难，获取这些标注非常耗时且代价高昂，此外，训练好的模型只能在一组预定义的类别中进行预测，即对于新的类别的泛化能力极差。
现有技术中，各种用于小样本语义分割的深度学习方法仅利用支持图像和支持掩膜的信息作为查询图像预测的指导，而没有充分利用查询图像自身的信息。此外，在小样本语义分割领域的一些特征融合方法，如金字塔池化模型PPM或空洞空间金字塔池化ASPP等特征融合方法只是简单地融合不同尺度的信息，不同尺度之间的特征信息交流不够充分，而且在特征融合过程中所产生的一些中间信息也没有合理的利用。因此，存在待改进之处。
发明内容
鉴于以上现有技术的缺点，本发明提供一种小样本语义分割模型的训练方法、装置、设备及介质，以解决上述技术问题。
本发明提供的一种小样本语义分割模型的训练方法，包括：
获取图像数据集，所述图像数据集中包括多个支持图像和多个查询图像；
基于自相关先验引导及自增强特征融合网络结构，构建初始小样本语义分割模型；
对所述图像数据集进行特征提取处理，以生成图像特征信息；
基于所述图像特征信息，对所述初始小样本语义分割模型进行训练，生成目标小样本语义分割模型。
在本发明的一个实施例中，所述对所述图像数据集进行特征提取处理，以生成图像特征信息的步骤包括：
通过第一卷积神经网络，对所述支持图像和所述查询图像进行特征提取处理，以生成支持特征和查询特征；
通过第二卷积神经网络，对所述查询图像进行特征提取处理，以生成辅助特征；
利用支持掩膜对所述支持特征进行掩膜平均池化处理，以生成支持原型；
将所述支持特征、所述查询特征、所述辅助特征以及所述支持原型保存为所述图像特征信息。
在本发明的一个实施例中，所述利用支持掩膜对所述支持特征进行掩膜平均池化处理，以生成支持原型的步骤包括：
对所述支持特征的中层特征进行上采样处理，并在通道方向上进行拼接处理；
对拼接后的所述中层特征进行降维处理，并将其与所述支持掩膜进行逐像素点相乘，以生成标记特征信息；
对所述标记特征信息进行全局平均池化处理，以生成所述支持原型。
在本发明的一个实施例中，所述基于所述图像特征信息，对所述初始小样本语义分割模型进行训练，生成目标小样本语义分割模型的步骤包括：
计算查询特征与辅助特征之间相近关系，以生成所述查询图像的每一层特征的先验预测特征；
将图像特征信息与所述先验预测特征进行特征融合处理，并将融合后的特征进行多层卷积处理，以生成初始分割预测结果；
将所述初始分割预测结果与基类分割结果进行组合，以生成最终分割结果；
对所述初始分割预测结果与所述最终分割结果进行交叉熵损失函数处理，以对所述初始小样本语义分割模型进行优化，生成所述目标小样本语义分割模型。
在本发明的一个实施例中，所述计算查询特征与辅助特征之间相近关系，以生成所述查询图像的每一层特征的先验预测特征的步骤包括：
对所述查询特征进行掩膜平均池化处理，以生成查询原型，所述查询原型包含所述查询图像的前景信息；
将所有所述查询原型与对应的所述辅助特征进行相似性度量匹配，以生成查询特征图，所述查询特征图包含所述查询图像的先验信息；
在通道维度将所述查询特征图进行拼接和卷积操作，以生成所述先验预测特征，所述先验预测特征包含所述查询图像从浅层到深层的特征。
在本发明的一个实施例中，所述将图像特征信息与所述先验预测特征进行特征融合处理，并将融合后的特征进行多层卷积处理，以生成初始分割预测结果的步骤包括：
将支持原型、所述查询特征、所述查询图像的先验掩膜及所述先验预测特征进行通道拼接和卷积降维操作，以生成初始化特征；
对所述初始化特征进行池化处理，以生成多尺度特征;
对所述多尺度特征进行增强与拼接处理，以生成增强融合特征；
将所述增强融合特征输入至分割模块进行处理，以生成所述初始分割预测结果。
在本发明的一个实施例中，所述对所述初始分割预测结果与所述最终分割结果进行交叉熵损失函数处理，以对所述初始小样本语义分割模型进行优化，生成所述目标小样本语义分割模型的步骤包括：
对所述初始分割预测结果与所述最终分割结果进行交叉熵损失函数处理，生成训练损失值；
根据所述训练损失值对所述初始小样本语义分割模型进行更新优化处理，生成所述目标小样本语义分割模型。
本发明还提供一种小样本语义分割模型的训练装置，包括：
数据集获取模块，用以获取图像数据集，所述图像数据集中包括多个支持图像和多个查询图像；
模型构建模块，用以基于自相关先验引导及自增强特征融合网络结构，构建初始小样本语义分割模型；
特征提取模块，用以对所述图像数据集进行特征提取处理，以生成图像特征信息；
模型训练模块，用以基于所述图像特征信息，对所述初始小样本语义分割模型进行训练，生成目标小样本语义分割模型。
本发明还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上述任一项所述小样本语义分割模型的训练方法的步骤。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述任一项所述小样本语义分割模型的训练方法的步骤。
综上所述，本发明的一种小样本语义分割模型的训练方法、装置、设备及介质，具有以下有益效果：本发明采用自相关先验引导的结构，可以充分利用查询图像本身提供的信息来辅助分割，提高网络模型的分割性能以及泛化能力。另外，本发明还采用了自增强特征融合的结构，实现了包含不同语义信息的特征的充分融合，网络的分割性能进一步提高。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得对本发明的进一步理解。
图1显示为本发明提供的一种小样本语义分割模型的训练方法的流程示意图。
图2显示为本发明一实施例中基于自相关先验引导网络的结构示意图。
图3显示为本发明一实施例中基于自增强特征融合网络的结构示意图。
图4显示为本发明一实施例中初始小样本语义分割模型网络的结构示意图。
图5显示为图1中步骤S200的一具体实施方式的流程示意图。
图6显示为图5中步骤S230的一具体实施方式的流程示意图。
图7显示为图1中步骤S400的一具体实施方式的流程示意图。
图8显示为图7中步骤S410的一具体实施方式的流程示意图。
图9显示为图7中步骤S420的一具体实施方式的流程示意图。
图10显示为图7中步骤S440的一具体实施方式的流程示意图。
图11显示为本发明提供的一种小样本语义分割模型的训练***的结构示意图。
图12显示为本发明的一种计算机设备的示意图。
图13显示为本发明的另一种计算机设备的示意图。
具体实施方式
以下将参照附图和优选实施例来说明本发明的实施方式，本领域技术人员可由本说明书中所表述的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。
以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，显而易见的是，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。
请参阅图1所示，图1显示为本发明提供的一种小样本语义分割模型的训练方法的流程示意图。本发明提供一种小样本语义分割模型的训练方法，基于自相关先验引导方法可以充分利用查询图像本身提供的信息来辅助分割，提高了网络模型的分割性能以及泛化能力。同时，本发明提出了一种新的特征融合方法，即自增强特征融合的结构，用以实现包含不同语义信息的特征的充分融合，网络的分割性能进一步提高。本发明提供的小样本语义分割模型的训练方法可包括如下步骤：
步骤S100、获取图像数据集，图像数据集中包括多个支持图像和多个查询图像；
步骤S200、基于自相关先验引导及自增强特征融合网络结构，构建初始小样本语义分割模型；
步骤S300、对图像数据集进行特征提取处理，以生成图像特征信息；
步骤S400、基于图像特征信息，对初始小样本语义分割模型进行训练，生成目标小样本语义分割模型。
在本发明的一个实施例中，当执行步骤S100时，即获取图像数据集，图像数据集中包括多个支持图像和多个查询图像。具体的，首先，采用摄像设备进行车辆图像采集，例如，可通过安装在路桥、交通信号灯或者移动监测车上的摄像机，分别对过往的车辆进行拍摄，进而生成大量的车辆图片。然后，将全部的车辆图片按照类别分为训练图像集和测试图像集，且训练图像集和测试图像集中的类别不相交。本实施例中，训练图像集和测试图像集均由支持集和查询集组成。其中，支持集可包括有k个支持样本，可记录为，称之为“K-shot scenario”，第/>个支持样本/>由/>组成，其中，/>表示支持图像，/>表示支持标签。查询集可记录为/>，其中，表示输入查询图像，/>表示对应类别的真实标签。
请参阅图2至图4，其中，图2显示为本发明一实施例中基于自相关先验引导网络的结构示意图，图3显示为本发明一实施例中基于自增强特征融合网络的结构示意图，图4显示为本发明一实施例中初始小样本语义分割模型网络的结构示意图。在本发明的一个实施例中，当执行步骤S200时，即基于自相关先验引导及自增强特征融合网络结构，构建初始小样本语义分割模型。具体的，首先，在深度学习中，基于自相关先验引导表示在构建模型时，会考虑到输入数据（如图像）的不同部分（如像素或区域）之间的内在关联和依赖性。自相关先验引导可以帮助模型更好地理解和学习数据的结构和模式，从而提高语义分割的准确性。然后，自增强是一种自我学习和改进的过程，通过反复迭代和学习，模型能够从数据中提取出更丰富、更具代表性的特征。特征融合则是将来自不同层次或模块的特征信息进行整合，以充分利用各种特征的优点。在自增强特征融合网络结构中，模型会不断地优化和增强其特征提取能力，同时将这些优化后的特征有效地融合在一起，以提高语义分割的性能。基于上述的自相关先验引导（如图2所示）和自增强特征融合（如图3所示）网络结构，开始构建初始的小样本语义分割模型（如图4所示）。这个模型包括多个层次或模块，如卷积层、池化层、归一化层等，用于逐步提取和处理输入数据的特征。在模型训练过程中，可利用自相关先验和自增强特征融合的机制，指导模型学习和优化其参数，以实现对输入图像的准确语义分割。本实施例中，基于自相关先验引导及自增强特征融合网络结构的初始小样本语义分割模型构建，旨在利用数据的内在关联性和自我学习的能力，提升模型的特征表达和分割性能，为后续的深度学习应用提供基础。
请参阅图5，图5显示为图1中步骤S300的一具体实施方式的流程示意图。在本发明的一个实施例中，当执行步骤S300时，即对图像数据集进行特征提取处理，以生成图像特征信息。具体的，步骤S300可包括步骤S310至步骤S340，详细介绍如下：
步骤S310、通过第一卷积神经网络，对支持图像和查询图像进行特征提取处理，以生成支持特征和查询特征；
步骤S320、通过第二卷积神经网络，对查询图像进行特征提取处理，以生成辅助特征；
步骤S330、利用支持掩膜对支持特征进行掩膜平均池化处理，以生成支持原型；
步骤S340、将支持特征、查询特征、辅助特征以及支持原型保存为图像特征信息。
在本发明的一个实施例中，当执行步骤S310时，即通过第一卷积神经网络，对支持图像和查询图像进行特征提取处理，以生成支持特征和查询特征。具体的，使用卷积神经网络（Convolutional Neural Network，CNN）作为车辆图片的特征提取网络，例如可采用经过预训练的ResNet-50网络或ResNet-101网络。卷积神经网络是一种专门用于处理图像数据的深度学习模型，它可以自动从图像中提取出有用的特征。本实施例中，第一卷积神经网络采用ResNet-50网络进行特征提取，ResNet50网络包含4个layer层，由浅入深，每个layer分别包含3、4、6以及3个bottleneck。通过ResNet50网络分别对支持图像和查询图像进行处理，以提取出每张图像的独特特征。经过特征提取处理可得到两组特征，一组是来自支持图像的支持特征，另一组是来自查询图像的查询特征。使用卷积神经网络进行特征提取的过程可满足以下公式：
；
其中，F表示提取到的图像的特征，ResNet代表ResNet-50网络或ResNet-101网络，image表示训练图像集和测试图像集中的支持图像和查询图像。
在本发明的一个实施例中，当执行步骤S320时，即通过第二卷积神经网络，对查询图像进行特征提取处理，以生成辅助特征。具体的，使用第二卷积神经网络进一步提取查询图像的特征，以获取查询图像的另一组或者更深层次的特征信息。本实施例中，第二卷积神经网络可为经预训练的ResNet-101网络，或者可为结构不同于第一卷积神经网络的ResNet-50网络。通过第二卷积神经网络对查询图像进行特征提取处理，从而生成辅助特征。本步骤通过使用不同的网络或者网络层次，可以从查询图像中获取更丰富、更全面的特征信息。
请参阅图6，图6显示为图5中步骤S330的一具体实施方式的流程示意图。在本发明的一个实施例中，当执行步骤S330时，即利用支持掩膜对支持特征进行掩膜平均池化处理，以生成支持原型。具体的，利用支持掩膜（Support Mask）对步骤S310提取的支持特征进行处理。支持掩膜即为支持标签，是支持图像的真实标注。支持掩膜具体是一个与支持图像大小相同的二值图像，其中白色区域表示需要关心的物体或区域，黑色区域表示背景或其他不关心的部分。通过掩膜平均池化（Masked Average Pooling）操作，对支持掩膜中标记为物体或区域的部分进行特征平均，从而得到一个代表支持图像中目标物体或区域的紧凑特征向量，此向量被称为支持图片的支持原型（Support Prototype）。支持原型可以看作是支持图像中目标物体或区域的高级抽象表示，用于后续的图像比较、匹配或分类等任务。本实施例中，步骤S330可包括步骤S331至步骤S333，详细介绍如下：
步骤S331、对支持特征的中层特征进行上采样处理，并在通道方向上进行拼接处理；
步骤S332、对拼接后的中层特征进行降维处理，并将其与支持掩膜进行逐像素点相乘，以生成标记特征信息；
步骤S333、对标记特征信息进行全局平均池化处理，以生成支持原型。
在本发明的一个实施例中，当执行步骤S331时，具体的，首先，通过双线性插值、最近邻插值等方式，将支持特征的中层特征上采样至预设尺寸，实现在保持特征的细节信息同时扩大其空间尺寸。然后，将所有这些特征图在通道方向上进行拼接（Concatenation），即将它们沿着深度维度堆叠在一起，形成一个新的多通道特征图。通道指的是特征图的深度或维度。在卷积神经网络中，每个特征图可以看作是一个通道，包含了特定类型的特征信息。本步骤可整合不同层次或类型的特征，提供更丰富和全面的特征表示。
在本发明的一个实施例中，当执行步骤S332时，具体的，首先，由于拼接操作会导致特征维度增大，为了减少计算复杂性和提高模型效率，本步骤对拼接后的特征进行降维处理。本步骤通过例如线性判别分析（LDA）、主成分分析（PCA）、全连接层（Fully ConnectedLayer）等方法进行降维处理，从而提取关键的、最具代表性的特征维度。然后，在降维处理后，将得到的新特征图与支持掩膜进行逐像素点相乘，生成标记特征信息，从而只保留支持掩膜标记为目标物体或区域的特征信息，忽略背景或其他不重要的部分。
在本发明的一个实施例中，当执行步骤S333时，具体的，对与支持掩膜相乘后的特征图进行全局平均池化（Global Average Pooling）。全局平均池化是对整个特征图的每个通道进行平均计算，得到一个一维向量。这个向量代表了支持图像中目标物体或区域的高级抽象特征，可称为支持原型（Support Prototype）。支持原型可用于后续的图像比较、匹配或分类等任务。本步骤中支持掩膜对支持特征进行掩膜平均池化，获得支持图片的支持原型的过程可满足以下公式：
；
其中，表示支持原型向量，/>表示支持掩膜，/>表示支持图像特征，x,y表示像素点坐标，w,h表示图像的宽和高，i表示特征的通道数。
请参阅图7，图7显示为图1中步骤S400的一具体实施方式的流程示意图。在本发明的一个实施例中，当执行步骤S400时，即基于图像特征信息，对初始小样本语义分割模型进行训练，生成目标小样本语义分割模型。具体的，步骤S400可包括步骤S410至步骤S430，详细介绍如下：
步骤S410、计算查询特征与辅助特征之间相近关系，以生成查询图像的每一层特征的先验预测特征；
步骤S420、将图像特征信息与先验预测特征进行特征融合处理，并将融合后的特征进行多层卷积处理，以生成初始分割预测结果；
步骤S430、将初始分割预测结果与基类分割结果进行组合，以生成最终分割结果；
步骤S440、对初始分割预测结果与最终分割结果进行交叉熵损失函数处理，以对初始小样本语义分割模型进行优化，生成目标小样本语义分割模型。
请参阅图8，图8显示为图7中步骤S410的一具体实施方式的流程示意图。在本发明的一个实施例中，当执行步骤S410时，即计算查询特征与辅助特征之间相近关系，以生成查询图像的每一层特征的先验预测特征。具体的，步骤S410可包括步骤S411至步骤S413，详细介绍如下：
步骤S411、对查询特征进行掩膜平均池化处理，以生成查询原型，查询原型包含查询图像的前景信息；
步骤S412、将所有查询原型与对应的辅助特征进行相似性度量匹配，以生成查询特征图，查询特征图包含查询图像的先验信息；
步骤S413、在通道维度将查询特征图进行拼接和卷积操作，以生成先验预测特征，先验预测特征包含查询图像从浅层到深层的特征。
在本发明的一个实施例中，当执行步骤S411至步骤S413时。具体的，首先，利用查询图像的先验掩膜对查询特征进行掩膜平均池化操作，获得带有查询图像前景信息的查询原型，上述处理过程可满足以下公式：
；
其中，表示查询原型向量，P表示查询图像先验掩膜，/>表示查询图像特征，x,y表示像素点坐标，w和h表示图像的宽和高，i表示特征的通道数。
然后，利用查询原型与对应辅助特征进行相似性度量匹配，例如可采用余弦相似度度量匹配方法，上述处理过程可满足以下公式：
；
其中，表示查询原型向量，/>表示查询特征。本实施例中，使用经过预训练的ResNet50网络，将每个bottleneck所提取的特征均进行上述相似性度量匹配，得到带有查询图像先验信息的特征/>。再将这些生成的带有查询图像先验信息的特征在通道维度进行拼接和卷积操作，从而获得先验预测特征，先验预测特征可包含查询图像从浅层到深层的所有特征，上述处理过程可满足以下公式：
；
其中，表示先验预测特征，/>表示1x1卷积层，/>表示在通道维度进行拼接，n表示第n个bottleneck。
请参阅图9，图9显示为图7中步骤S420的一具体实施方式的流程示意图。在本发明的一个实施例中，当执行步骤S420时，即将图像特征信息与先验预测特征进行特征融合处理，并将融合后的特征进行多层卷积处理，以生成初始分割预测结果。具体的，步骤S420可包括步骤S421至步骤S424，详细介绍如下：
步骤S421、将支持原型、查询特征、查询图像的先验掩膜及先验预测特征进行通道拼接和卷积降维操作，以生成初始化特征；
步骤S422、对初始化特征进行池化处理，以生成多尺度特征;
步骤S423、对多尺度特征进行增强与拼接处理，以生成增强融合特征；
步骤S424、将增强融合特征输入至分割模块进行处理，以生成初始分割预测结果。
在本发明的一个实施例中，当执行步骤S421时，具体的，将带有不同信息的特征，例如将支持原型、查询特征、查询图像的先验掩膜及先验预测特征，进行通道拼接和卷积降维操作，从而生成初始化特征。本实施例中，初始化特征/>可满足以下公式：
；
其中，表示查询图像的先验掩膜，/>表示对支持原型上采样到与/>相同尺寸的特征。
在本发明的一个实施例中，当执行步骤S422时，具体的，利用池化操作增大特征的感受野，对初始化特征进行池化处理，以生成多尺度特征。多尺度特征可包括不同尺度的特征/>至/>，多尺度特征/>可满足以下公式：
在本发明的一个实施例中，当执行步骤S423时，具体的，对于某一尺度的特征，首先将上一尺度融合之后的特征/>及先前获得的所有先验预测掩膜/>至/>池化到与/>相同的尺寸，然后再将/>、/>和/>至/>进行通道拼接和卷积降维，然后进行残差连接操作,由此获得初次融合的特征/>，初次融合的特征/>可满足以下公式：
；
其中，表示对所有特征池化到与/>相同的尺寸。
然后，将获得的特征与先前获得的所有先验预测掩膜至/>进行拼接、卷积降维和残差连接操作，来对特征进行进一步的增强，获得特征/>，特征/>可满足以下公式：
；
最后，将所有尺度的特征至/>上采样到相同尺寸，然后在通道方向进行拼接，经过卷积，生成最终融合所有信息的增强融合特征/>。本实施例中，增强融合特征/>可满足以下公式：
；
在本发明的一个实施例中，当执行步骤S424时，具体的，将步骤S423所生成的增强融合特征经过分割模块，即为图6所示中seg模块，产生查询图像新类的初始分割预测结果，初始分割预测结果/>可满足以下公式：
；
。
在本发明的一个实施例中，当执行步骤S430时，即将初始分割预测结果与基类分割结果进行组合，以生成最终分割结果。具体的，将新类的初始分割预测结果二通道特征图的前景通道与基类分割结果的前景通道在通道方向进行相减，得到最终分割结果，最终分割结果可满足以下公式：
；
其中，为最终分割结果，/>为传统范式语义分割预测的基类分割结果，/>为新类的初始分割预测结果，/>表示背景预测结果，/>1表示前景预测结果。
请参阅图10，图10显示为图7中步骤S440的一具体实施方式的流程示意图。在本发明的一个实施例中，当执行步骤S440时，即对初始分割预测结果与最终分割结果进行交叉熵损失函数处理，以对初始小样本语义分割模型进行优化，生成目标小样本语义分割模型。具体的，步骤S440可包括步骤S441至步骤S442，详细介绍如下：
步骤S441、对初始分割预测结果与最终分割结果进行交叉熵损失函数处理，生成训练损失值；
步骤S442、根据训练损失值对初始小样本语义分割模型进行更新优化处理，生成目标小样本语义分割模型。
在本发明的一个实施例中，当执行步骤S441时，具体的，对初始分割预测结果与最终分割结果进行交叉熵损失函数处理，生成训练损失值，用于衡量模型预测与真实标签之间的差异，生成的训练损失值是所有样本数据的损失值的平均值，此外，当训练损失值越低时，表示初始小样本语义分割模型的预测越接近于真实标签。本实施例中，训练阶段的损失函数表示为：
；
其中，可满足以下公式：
；
其中，可满足以下公式：
；
其中，n是图像中的所有像素点数目，表示二分类交叉熵损失，/>，和/>分别表示像素点i的元学习器预测值、最终预测值和真实标签。
在本发明的一个实施例中，当执行步骤S442时，具体的，可以根据计算出来的训练损失值，应用SGD(Stochastic gradient descent，随机梯度下降)或其变种，如Adam、RMSprop等，优化算法来调整模型的参数，以最小化损失函数。该过程中，可以使用反向传播来计算关于模型参数的损失梯度，然后更新这些参数以降低损失，进而不断调整初始小样本语义分割模型，以获得小样本语义分割模型。
在本发明的一个实施例中，当获得目标小样本语义分割模型后，可对其进行测试。首先，将目标小样本语义分割模型的模式调整为测试模式，不再进行梯度反向传播和计算损失，只进行前向的传播计算。然后，加载对应训练好的网络参数。最后进行前向传播通过网络层，再使用softmax分类器得到分割的结果，并将每张图片的分割结果进行保存。
请参阅图11，图11显示为本发明提供的一种小样本语义分割模型的训练装置的结构示意图。本发明还提供了一种小样本语义分割模型的训练装置，该训练装置与上述实施例中训练方法一一对应。该训练装置可以包括数据集获取模块101、模型构建模块102、特征提取模块103以及模型训练模块104。各功能模块详细说明如下：
数据集获取模块101可用以获取图像数据集，图像数据集中包括多个支持图像和多个查询图像。进一步的，数据集获取模块101可具体用于进行车辆图像采集，成大量的车辆图片，并将全部的车辆图片按照类别分为训练图像集和测试图像集，且训练图像集和测试图像集中的类别不相交。其中，训练图像集和测试图像集均由支持集和查询集组成。
模型构建模块102可用以基于自相关先验引导及自增强特征融合网络结构，构建初始小样本语义分割模型。进一步的，模型构建模块102可具体用于基于自相关先验引导和自增强特征融合网络结构，开始构建初始的小样本语义分割模型。这个模型包括多个层次或模块，如卷积层、池化层、归一化层等，用于逐步提取和处理输入数据的特征。在模型训练过程中，可利用自相关先验和自增强特征融合的机制，指导模型学习和优化其参数，以实现对输入图像的准确语义分割。本实施例中，基于自相关先验引导及自增强特征融合网络结构的初始小样本语义分割模型构建，旨在利用数据的内在关联性和自我学习的能力，提升模型的特征表达和分割性能，为后续的深度学习应用提供基础。
特征提取模块103可用以对图像数据集进行特征提取处理，以生成图像特征信息。进一步的，特征提取模块103可具体用于通过第一卷积神经网络，对支持图像和查询图像进行特征提取处理，以生成支持特征和查询特征；通过第二卷积神经网络，对查询图像进行特征提取处理，以生成辅助特征；利用支持掩膜对支持特征进行掩膜平均池化处理，以生成支持原型；将支持特征、查询特征、辅助特征以及支持原型保存为图像特征信息。
模型训练模块104可用以基于图像特征信息，对初始小样本语义分割模型进行训练，生成目标小样本语义分割模型。进一步的，模型训练模块104可具体用于计算查询特征与辅助特征之间相近关系，以生成查询图像的每一层特征的先验预测特征；将图像特征信息与先验预测特征进行特征融合处理，并将融合后的特征进行多层卷积处理，以生成初始分割预测结果；将初始分割预测结果与基类分割结果进行组合，以生成最终分割结果；对初始分割预测结果与最终分割结果进行交叉熵损失函数处理，以对初始小样本语义分割模型进行优化，生成目标小样本语义分割模型。
关于训练装置的具体限定可以参见上文中对于训练方法的限定，在此不再赘述。上述训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
请参阅图12所示，本发明还提供了一种计算机设备，该计算机设备可以是服务端。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性和或易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的客户端通过网络连接通信。该计算机程序被处理器执行时以实现一种小样本语义分割模型的训练方法的功能或步骤。
请参阅图13所示，本发明还提供了另一种计算机设备，该计算机设备可以是客户端。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部服务器通过网络连接通信。该计算机程序被处理器执行时以实现一种小样本语义分割模型的训练方法的功能或步骤。
在本发明的一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
获取图像数据集，图像数据集中包括多个支持图像和多个查询图像；
基于自相关先验引导及自增强特征融合网络结构，构建初始小样本语义分割模型；
对图像数据集进行特征提取处理，以生成图像特征信息；
基于图像特征信息，对初始小样本语义分割模型进行训练，生成目标小样本语义分割模型。
在本发明的一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取图像数据集，图像数据集中包括多个支持图像和多个查询图像；
基于自相关先验引导及自增强特征融合网络结构，构建初始小样本语义分割模型；
对图像数据集进行特征提取处理，以生成图像特征信息；
基于图像特征信息，对初始小样本语义分割模型进行训练，生成目标小样本语义分割模型。
需要说明的是，上述关于计算机可读存储介质或计算机设备所能实现的功能或步骤，可对应参阅前述方法实施例中，为避免重复，这里不再一一描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
综上所述，本发明提供一种小样本语义分割模型的训练方法、装置、设备及介质，可应用于图像处理技术领域。本发明采用自相关先验引导的结构，通过使用两个预训练的特征提取器对查询图像进行特征提取，然后利用这些提取的特征来获取查询图像本身的目标信息，可以充分利用查询图像本身提供的信息来辅助分割，提高网络模型的分割性能以及泛化能力。另外，本发明还采用了自增强特征融合的结构，将某个尺度上的特征在融合后会产生查询图像的先验预测，然后该查询图像的先验预测将指导其他尺度上的特征的融合，最后实现了包含不同语义信息的特征的充分融合，进一步提高了网络模型的分割性能以及泛化能力。
在本说明书的描述中，参考术语“本实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明实施例只是用于帮助阐述本发明。实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (10)
1.一种小样本语义分割模型的训练方法，其特征在于，包括：
获取图像数据集，所述图像数据集中包括多个支持图像和多个查询图像；
基于自相关先验引导及自增强特征融合网络结构，构建初始小样本语义分割模型；
对所述图像数据集进行特征提取处理，以生成图像特征信息；
基于所述图像特征信息，对所述初始小样本语义分割模型进行训练，生成目标小样本语义分割模型。
2.根据权利要求1所述的小样本语义分割模型的训练方法，其特征在于，所述对所述图像数据集进行特征提取处理，以生成图像特征信息的步骤包括：
通过第一卷积神经网络，对所述支持图像和所述查询图像进行特征提取处理，以生成支持特征和查询特征；
通过第二卷积神经网络，对所述查询图像进行特征提取处理，以生成辅助特征；
利用支持掩膜对所述支持特征进行掩膜平均池化处理，以生成支持原型；
将所述支持特征、所述查询特征、所述辅助特征以及所述支持原型保存为所述图像特征信息。
3.根据权利要求2所述的小样本语义分割模型的训练方法，其特征在于，所述利用支持掩膜对所述支持特征进行掩膜平均池化处理，以生成支持原型的步骤包括：
对所述支持特征的中层特征进行上采样处理，并在通道方向上进行拼接处理；
对拼接后的所述中层特征进行降维处理，并将其与所述支持掩膜进行逐像素点相乘，以生成标记特征信息；
对所述标记特征信息进行全局平均池化处理，以生成所述支持原型。
4.根据权利要求1所述的小样本语义分割模型的训练方法，其特征在于，所述基于所述图像特征信息，对所述初始小样本语义分割模型进行训练，生成目标小样本语义分割模型的步骤包括：
计算查询特征与辅助特征之间相近关系，以生成所述查询图像的每一层特征的先验预测特征；
将图像特征信息与所述先验预测特征进行特征融合处理，并将融合后的特征进行多层卷积处理，以生成初始分割预测结果；
将所述初始分割预测结果与基类分割结果进行组合，以生成最终分割结果；
对所述初始分割预测结果与所述最终分割结果进行交叉熵损失函数处理，以对所述初始小样本语义分割模型进行优化，生成所述目标小样本语义分割模型。
5.根据权利要求4所述的小样本语义分割模型的训练方法，其特征在于，所述计算查询特征与辅助特征之间相近关系，以生成所述查询图像的每一层特征的先验预测特征的步骤包括：
对所述查询特征进行掩膜平均池化处理，以生成查询原型，所述查询原型包含所述查询图像的前景信息；
将所有所述查询原型与对应的所述辅助特征进行相似性度量匹配，以生成查询特征图，所述查询特征图包含所述查询图像的先验信息；
在通道维度将所述查询特征图进行拼接和卷积操作，以生成所述先验预测特征，所述先验预测特征包含所述查询图像从浅层到深层的特征。
6.根据权利要求4所述的小样本语义分割模型的训练方法，其特征在于，所述将图像特征信息与所述先验预测特征进行特征融合处理，并将融合后的特征进行多层卷积处理，以生成初始分割预测结果的步骤包括：
将支持原型、所述查询特征、所述查询图像的先验掩膜及所述先验预测特征进行通道拼接和卷积降维操作，以生成初始化特征；
对所述初始化特征进行池化处理，以生成多尺度特征;
对所述多尺度特征进行增强与拼接处理，以生成增强融合特征；
将所述增强融合特征输入至分割模块进行处理，以生成所述初始分割预测结果。
7.根据权利要求4所述的小样本语义分割模型的训练方法，其特征在于，所述对所述初始分割预测结果与所述最终分割结果进行交叉熵损失函数处理，以对所述初始小样本语义分割模型进行优化，生成所述目标小样本语义分割模型的步骤包括：
对所述初始分割预测结果与所述最终分割结果进行交叉熵损失函数处理，生成训练损失值；
根据所述训练损失值对所述初始小样本语义分割模型进行更新优化处理，生成所述目标小样本语义分割模型。
8.一种小样本语义分割模型的训练装置，其特征在于，包括：
数据集获取模块，用以获取图像数据集，所述图像数据集中包括多个支持图像和多个查询图像；
模型构建模块，用以基于自相关先验引导及自增强特征融合网络结构，构建初始小样本语义分割模型；
特征提取模块，用以对所述图像数据集进行特征提取处理，以生成图像特征信息；
模型训练模块，用以基于所述图像特征信息，对所述初始小样本语义分割模型进行训练，生成目标小样本语义分割模型。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述小样本语义分割模型的训练方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述小样本语义分割模型的训练方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410524380.2A CN118096800B (zh) | 2024-04-29 | 一种小样本语义分割模型的训练方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410524380.2A CN118096800B (zh) | 2024-04-29 | 一种小样本语义分割模型的训练方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118096800A true CN118096800A (zh) | 2024-05-28 |
| CN118096800B CN118096800B (zh) | 2024-07-23 |
Family
ID=
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116450761A (zh) * | 2023-03-24 | 2023-07-18 | 清华大学 | 地图生成方法、装置、电子设备及存储介质 |
| CN116758289A (zh) * | 2023-08-14 | 2023-09-15 | 中国石油大学(华东) | 一种自补偿学习的小样本图像分割方法 |
| CN117237621A (zh) * | 2023-07-21 | 2023-12-15 | 天津大学 | 基于像素级语义关联的小样本语义分割算法 |
| JP7450838B1 (ja) * | 2023-02-16 | 2024-03-15 | 之江実験室 | 背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法および装置 |
| CN117726809A (zh) * | 2023-11-23 | 2024-03-19 | 重庆邮电大学 | 一种基于信息交互增强的小样本语义分割方法 |
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7450838B1 (ja) * | 2023-02-16 | 2024-03-15 | 之江実験室 | 背景フィルタリングに基づく少量データ学習の作物樹冠被覆率の計算方法および装置 |
| CN116450761A (zh) * | 2023-03-24 | 2023-07-18 | 清华大学 | 地图生成方法、装置、电子设备及存储介质 |
| CN117237621A (zh) * | 2023-07-21 | 2023-12-15 | 天津大学 | 基于像素级语义关联的小样本语义分割算法 |
| CN116758289A (zh) * | 2023-08-14 | 2023-09-15 | 中国石油大学(华东) | 一种自补偿学习的小样本图像分割方法 |
| CN117726809A (zh) * | 2023-11-23 | 2024-03-19 | 重庆邮电大学 | 一种基于信息交互增强的小样本语义分割方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112766244B (zh) | 目标对象检测方法、装置、计算机设备和存储介质 | |
| Zhu et al. | A global context-aware and batch-independent network for road extraction from VHR satellite imagery | |
| KR102591961B1 (ko) | 모델 트레이닝 방법 및 장치, 및 이를 위한 단말 및 저장 매체 | |
| CN110555433B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| WO2021120695A1 (zh) | 图像分割方法、装置、电子设备及可读存储介质 | |
| CN114202672A (zh) | 一种基于注意力机制的小目标检测方法 | |
| CN110910391B (zh) | 一种双模块神经网络结构视频对象分割方法 | |
| CN109960742B (zh) | 局部信息的搜索方法及装置 | |
| CN110163188B (zh) | 视频处理以及在视频中嵌入目标对象的方法、装置和设备 | |
| CN117033609B (zh) | 文本视觉问答方法、装置、计算机设备和存储介质 | |
| CN113538441A (zh) | 图像分割模型的处理方法、图像处理方法及装置 | |
| CN111401436A (zh) | 一种融合网络和双通道注意力机制的街景图像分割方法 | |
| CN112464912B (zh) | 基于YOLO-RGGNet的机器人端人脸检测方法 | |
| CN111768415A (zh) | 一种无量化池化的图像实例分割方法 | |
| CN113903022B (zh) | 基于特征金字塔与注意力融合的文本检测方法及*** | |
| CN111179270A (zh) | 基于注意力机制的图像共分割方法和装置 | |
| CN116453121A (zh) | 一种车道线识别模型的训练方法及装置 | |
| CN116596966A (zh) | 一种基于注意力和特征融合的分割与跟踪方法 | |
| CN116258937A (zh) | 基于注意力机制的小样本分割方法、装置、终端及介质 | |
| CN117253044B (zh) | 一种基于半监督交互学习的农田遥感图像分割方法 | |
| CN116597267B (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
| CN118096800B (zh) | 一种小样本语义分割模型的训练方法、装置、设备及介质 | |
| CN111738061A (zh) | 基于区域特征提取的双目视觉立体匹配方法及存储介质 | |
| CN118096800A (zh) | 一种小样本语义分割模型的训练方法、装置、设备及介质 | |
| CN113888567B (zh) | 一种图像分割模型的训练方法、图像分割方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |