CN113420827A - 语义分割网络训练和图像语义分割方法、装置及设备 - Google Patents

语义分割网络训练和图像语义分割方法、装置及设备 Download PDF

Info

Publication number
CN113420827A
CN113420827A CN202110771852.0A CN202110771852A CN113420827A CN 113420827 A CN113420827 A CN 113420827A CN 202110771852 A CN202110771852 A CN 202110771852A CN 113420827 A CN113420827 A CN 113420827A
Authority
CN
China
Prior art keywords
segmentation
network
sample
image
sample image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110771852.0A
Other languages
English (en)
Inventor
杨昀欣
万建伟
贺凯
孙科
余非
裴卫民
冯文亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Pudong Development Bank Co Ltd
Original Assignee
Shanghai Pudong Development Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Pudong Development Bank Co Ltd filed Critical Shanghai Pudong Development Bank Co Ltd
Priority to CN202110771852.0A priority Critical patent/CN113420827A/zh
Publication of CN113420827A publication Critical patent/CN113420827A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种语义分割网络训练和图像语义分割方法、装置及设备。其中，语义分割网络训练方法，包括：将样本图像输入至分类网络进行特征提取，并根据提取到的分类样本特征图，确定所述样本图像中的种子区域；将样本图像输入至分割网络进行特征提取，并根据提取到的分割样本特征图和所述样本图像对应的标签，确定分割网络输出的初始分割结果；以所述种子区域作为监督信息，基于所述初始分割结果，采用种子区域生长模型和条件随机场模型，对分割网络进行训练，得到训练完毕的语义分割网络。本发明实施例的技术方案，通过样本图像先验类别信息进行分割网络训练，缓解分割网络噪声类别输出问题，提高图像语义分割效果。

Description

语义分割网络训练和图像语义分割方法、装置及设备
技术领域
本发明实施例涉及计算机视觉技术，尤其涉及一种语义分割网络训练和图像语义分割方法、装置及设备。
背景技术
作为计算机视觉领域的关键任务，图像语义分割成为近年来的研究热点，并广泛应用于医疗图像诊断、自动驾驶、卫星图像的地理信息标注、机器人语义、即时定位与地图构建(Simultaneous Localization and Mapping，SLAM)等领域。
如今大量语义分割方案围绕全监督卷积神经网络展开研究，这类方案需要人工对样本图像进行像素级别的标注，耗费大量人力成本，因此，基于弱监督学习的图像语义分割方法称为了研究的重要方向。
种子区域生长的方法是基于弱监督学习的图像语义分割中的常用方法，在基于种子区域生长类的方法中，通常会使用各类种子点定位方法获取初始的种子区域，随后分割掩码基于种子区域进行扩张并随着模型逐步迭代至收敛形成最终的分割结果。基于区域生长的语义分割方法依赖于种子区域的质量以及区域生长条件，因此，如何获取更优的种子区域，且优化区域生长条件对于提高语义分割效果十分重要。
发明内容
本发明实施例提供一种语义分割模型训练和图像语义分割方法、装置、设备及介质，通过样本图像先验类别信息进行分割网络训练，缓解分割网络噪声类别输出问题，提高图像语义分割效果。
第一方面，本发明实施例提供了一种语义分割网络训练方法，所述方法包括：
将样本图像输入至分类网络进行特征提取，并根据提取到的分类样本特征图，确定所述样本图像中的种子区域；
将样本图像输入至分割网络进行特征提取，并根据提取到的分割样本特征图和所述样本图像对应的标签，确定分割网络输出的初始分割结果；
以所述种子区域作为监督信息，基于所述初始分割结果，采用种子区域生长模型和条件随机场模型，对分割网络进行训练，得到训练完毕的语义分割网络。
第二方面，本发明实施例提供了一种图像语义分割方法，所述方法包括：
将待分割图像作为语义分割网络的输入，所述语义分割网络预先采用本发明任意实施例提供的语义分割网络训练方法进行训练；
根据所述语义分割网络的输出结果，确定所述待分割图像的分割结果。
第三方面，本发明实施例还提供了一种语义分割网络训练装置，所述装置包括：
种子区域确定模块，用于将样本图像输入至分类网络进行特征提取，并根据提取到的分类样本特征图，确定所述样本图像中的种子区域；
初始分割结果确定模块，用于将样本图像输入至分割网络进行特征提取，并根据提取到的分割样本特征图和所述样本图像对应的标签，确定分割网络输出的初始分割结果；
分割网络训练模块，用于以所述种子区域作为监督信息，基于所述初始分割结果，采用种子区域生长模型和条件随机场模型，对分割网络进行训练，得到训练完毕的语义分割网络。
第四方面，本发明实施例提供了一种图像语义分割装置，所述装置包括：
待分割图像输入模块，用于将待分割图像作为语义分割网络的输入，所述语义分割网络预先采用本发明任意实施例提供的语义分割网络训练方法进行训练；
分割结果确定模块，用于根据所述语义分割网络的输出结果，确定所述待分割图像的分割结果。
第五方面，本发明实施例还提供了一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例提供的语义分割网络信息方法或图像语义分割方法。
第六方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例提供的语义分割网络训练方法或图像语义分割方法。
本发明实施例的技术方案，通过将样本图像输入至分类网络进行特征提取，并根据提取到的分类样本特征图，确定样本图像中的种子区域，进而将样本图像输入至分割网络进行特征提取，并根据提取到的分割样本特征图和样本图像对应的标签，确定分割网络输出的初始分割结果，最终以种子区域作为监督信息，基于初始分割结果，采用种子区域生长模型和条件随机场模型，对分割网络进行训练，得到训练完毕的语义分割网络，实现通过样本图像先验类别信息进行分割网络训练，缓解分割网络噪声类别输出问题，提高图像语义分割效果。
附图说明
图1a是本发明实施例一中的一种语义分割网络训练方法的流程图；
图1b是本发明实施例一种的一种语义分割网络训练示意图；
图2a是本发明实施例二中的一种语义分割网络训练方法的流程图；
图2b是本发明实施例二中的一种Nonlocal模块结构示意图；
图3a是本发明实施例三中的一种语义分割网络训练方法的流程图；
图3b是本发明实施例三中的一种分类网络结构示意图；
图4a是本发明实施例四中的一种图像语义分割方法的流程图；
图4b是本发明实施例四中的一种图像语义分割示意图；
图5是本发明实施例五中的一种语义分割网络训练装置的结构示意图；
图6是本发明实施例六中的一种图像语义分割装置的结构示意图；
图7是本发明实施例七提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1a为本发明实施例一中的一种语义分割网络训练方法的流程图，本实施例的技术方案适用于通过样本图像先验类别信息进行分割网络训练的情况，该方法可以由语义分割网络训练装置执行，该装置可以由软件和/或硬件来实现，并可以集成在各种通用计算机设备中。本实施例中的语义分割网络训练方法，具体包括如下步骤：
步骤110、将样本图像输入至分类网络进行特征提取，并根据提取到的分类样本特征图，确定样本图像中的种子区域。
其中，样本图像用于对分割网络进行训练，样本图像属于有标签样本，具体的，样本图像包括图像、图像的分类标签以及目标物体在图像中的位置区域，示例性的，样本图像是一幅人骑自行车的图像，对应标签为图像分类“人”和“自行车”，以及人和自行车在图像中的位置区域；分类网络是用于对输入的图像进行分类的网络结构，示例性的，分类网络可以是卷积神经网络，例如，残差网络；种子区域是指样本图像中属于设定类别的一部分区域，例如，针对一张包含人的图像，得到的种子区域为人的头部区域，种子区域用于作为监督信息，分割出目标物体所在的完整区域。
本实施例中，将预先收集并进行标注的样本图像输入至预先训练好的分类网络中进行特征提取，得到分类样本特征图，进而根据分类样本特征图，确定样本图像中的种子区域，具体如图1b所示，通过分类网络中的多个卷积层对输入的样本图像进行特征提取，并基于最后一个卷积层输出的分类样本特征图，采用弱定位方法，生成与分类样本特征图对应的热力图，最终根据热力图中各像素位置的响应值，确定样本图像中的种子区域。
示例性的，分类网络包含多个卷积层、池化层、全连接层以及激活函数，通过分类网络中多个卷积层对输入的样本图像进行卷积处理，得到最后一个卷积层输出的分类样本特征图，进一步的，采用类激活映射(Class Activation Mapping，CAM)方法或者梯度加权类激活映射(Gradient-weighted Class Activation Mapping，Grad-CAM)方法获取分类样本特征图对应的热力图，并通过预先设定的分割阈值，将热力图中响应值大于分割阈值的像素点构成的集合作为种子区域。
另外，为了对生成种子区域过程进行优化，得到更高质量的种子区域，可以将分类网络中的池化层设置为空间金字塔池化层，在空间金字塔池化层将主干网络输出的分类样本特征图分割为不同尺寸的特征图，进而对不同尺寸特征图进行处理和融合，实现通过进行多尺度语义的融合，得到更高质量的种子区域。
步骤120、将样本图像输入至分割网络进行特征提取，并根据提取到的分割样本特征图和样本图像对应的标签，确定分割网络输出的初始分割结果。
其中，分割网络是用于对输入的图像进行语义分割的网络结构，示例性的，分割网络可以是卷积神经网络。
本实施例中，将预先收集并进行标注的样本图像输入至分割网络进行特征提取，得到分割样本特征图，进一步的，引入预先标注的与样本图像对应的标签作为先验知识加于分割样本特征图上，强制网络学习对应类别的分割区域，最终根据分割样本特征图和预先设定的与样本图像对应的标签，确定分割网络输出的初始分割结果，具体的，将样本图像输入至分割网络后，由分割网络中的多个卷积层输出分割样本特征图，其中，分割样本特征图的数量比总的图像类别数量多1，这1幅分割样本特征图为样本图像的背景，进而将预先标注的类别标签施加到上述分割样本特征图上，强制分割网络学习对应类别的分割区域，抑制分割网络输出中存在噪声类别的问题。
步骤130、以种子区域作为监督信息，基于初始分割结果，采用种子区域生长模型和条件随机场模型，对分割网络进行训练，得到训练完毕的语义分割网络。
其中，种子区域生长是一种常用的图像分割方法，该方法一般有两种方式，一种是先给定图像中要分割的目标物体内的一个小块或者种子区域，再在种子区域基础上不断将其周围的像素点以一定的规则加入其中，达到最终将代表该物体的所有像素点结合成一个区域的目的；另一种是先将图像分割成很多的一致性较强，如区域内像素灰度值相同的小区域，再按一定的规则将小区域融合成大区域，达到分割图像的目的。
本实施例中，以种子区域作为监督信息，基于分割网络输出的初始分割结果，采用种子区域生长模型和条件随机场模型构建损失函数，并基于损失函数对分割网络进行训练，具体的，可以分别建立种子区域生长分支的损失函数，以及条件随机场分支的损失函数，基于两项损失函数，实现对分割网络的训练，得到训练完毕的语义分割网络。
本发明实施例的技术方案，通过将样本图像输入至分类网络进行特征提取，并根据提取到的分类样本特征图，确定样本图像中的种子区域，进而将样本图像输入至分割网络进行特征提取，并根据提取到的分割样本特征图和样本图像对应的标签，确定分割网络输出的初始分割结果，最终以种子区域作为监督信息，基于初始分割结果，采用种子区域生长模型和条件随机场模型，对分割网络进行训练，得到训练完毕的语义分割网络，实现通过样本图像先验类别信息进行分割网络训练，缓解分割网络噪声类别输出问题，提高图像语义分割效果。
实施例二
图2a为本发明实施例二中的一种语义分割网络训练方法的流程图，本实施例在上述实施例的基础上进一步细化，提供了将样本图像输入至分类网络进行特征提取，并根据提取到的分类样本特征图，确定样本图像中的种子区域的具体步骤，以及将样本图像输入至分割网络进行特征提取，并根据提取到的分割样本特征图和样本图像对应的标签，确定分割网络输出的初始分割结果的具体步骤。下面结合图2a对本发明实施例二提供的一种语义分割网络训练方法进行说明，包括以下步骤：
步骤210、将样本图像输入至分类网络进行特征提取，得分类样本特征图。
本实施例中，为了在样本图像中确定种子区域，首先将样本图像输入至分类网络进行特征提取，得到分类样本特征图，具体的，将样本图像输入至分类网络中主干网络中进行卷积处理，得到分类样本特征图。示例性的，主干网络为卷积神经网络，具体的，主干网络采用ResNet101。
步骤220、针对分类样本特征图，采用弱定位方法，生成特征热力图；
本实施例中，针对分类网络中主干网络输出的分类样本特征图，采用弱定位方法，生成与样本图像对应的特征热力图，以根据特征热力图中各像素点的响应值在样本图像中确定种子区域。示例性的，采用CAM方法或者Grad-CAM方法获取分类样本特征图对应的热力图。
步骤230、根据热力图分割阈值，对特征热力图进行分割，根据分割结果，确定样本图像中的种子区域。
本实施例中，根据预先设定的热力图分割阈值，对特征热力图进行分割，并根据分割结果确定样本图像中的种子区域，具体的，可以在对热力图进行分割后，将热力图中响应值大于设定阈值的区域确定为种子区域。
示例性的，热力图分割阈值为0.3和0.6，则根据热力图分割阈值可以将特征热力图分割为响应值属于0-0.3、0.3-0.6以及0.6-1之间三类，最终可以将响应值大于0.6的像素点的集合作为种子区域。
可选的，在根据热力图分割阈值，对所述特征热力图进行分割，根据分割结果，确定样本图像中的种子区域之前，还包括：
根据预先设定的初始分割阈值，对特征热力图进行分割；
通过对分割结果与样本图像的语义分割结果计算交并比，确定热力图分割阈值。
本可选的实施例中，提供一种热力图分割阈值的确定方式，首先根据预先设定的初始分割阈值对特征热力图进行分割，得到分割结果，进而根据预先标注的样本图像的语义分割对初始分割阈值进行校正，具体的，计算分割结果和预先标注的分割结果计算交并比，从而得到热力图分割阈值。示例性的，初始分割阈值可以是从0-1之间以0.05为步长选取得到。
步骤240、将样本图像输入至分割网络进行特征提取，并根据提取到的分割样本特征图和所述样本图像对应的标签，确定分割网络输出的初始分割结果。
可选的，分割网络包括多个卷积层、池化层和Nonlocal模块；所述Nonlocal模块置于设定层数的卷积层之后；
将样本图像输入至分割网络进行特征提取，并根据提取到的分割样本特征图和样本图像对应的标签，确定分割网络输出的初始分割结果，包括：
将样本图像输入至分割网络，由分割网络中的多个卷积层和Nonlocal模块对样本图像进行特征提取，得到分割样本特征图；
确定样本图像对应标签的多热向量；
计算分割样本特征图和多热向量的张量积，得到初始分割结果。
本可选的实施例中，分割网络包括多个卷积层、池化层和Nonlocal模块；所述Nonlocal模块置于设定层数的卷积层之后，示例性的，在分割网络包含5个卷积层时，Nonlocal模块可以设置在第4或第5个卷积层后，对卷积层输出的分割样本特征图进行处理，引入像素点间的空间语义信息，以提高语义分割效果；其中，Nonlocal模块的引入可以像素点间的空间语义，具体的，Nonlocal模块的结构如图2b所示，具体结构表达式如下：
Figure BDA0003153910250000101
其中，x是输入矩阵，
Figure BDA0003153910250000102
为卷积矩阵，用于降低通道数量，Wσ用于融合通道信息，α为可学习参数。
本可选的实施例中，还提供了将样本图像输入至分割网络进行特征提取，并根据提取到的分割样本特征图和样本图像对应的标签，确定分割网络输出的初始分割结果的具体方式，首先将样本图像输入至分割网络，由分割网络中的多个卷积层对样本图像进行特征提取，进一步的，为了引入像素点间的空间语义信息，在通过设定层级的卷积层后的Nonlocal模块对卷积层输出结果进行处理，得到分割样本特征图，其中，分割样本特征图的数量比总类别数量多1(多出来的1幅分割样本特征图对应样本图像的背景)，进一步的，确定样本图像对应标签的多热向量，并计算分割样本特征图和多热向量的张量积，得到初始分割结果，其中，多热向量中背景类别维度的值恒为1，具体计算公式如下：
Figure BDA0003153910250000111
其中，v样本图像对应标签的多热向量，f(X)是分割网络中主干网络输出的分割样本特征图。值得注意的是，多热向量中背景维度的特征值恒为1。
步骤250、以种子区域作为监督信息，基于初始分割结果，采用种子区域生长模型和条件随机场模型，对分割网络进行训练，得到训练完毕的语义分割网络。
本发明实施例的技术方案，通过将样本图像输入至分类网络进行特征提取，得分类样本特征图，然后针对分类样本特征图，采用弱定位方法，生成特征热力图，并根据热力图分割阈值，对特征热力图进行分割，根据分割结果，确定样本图像中的种子区域，进而将样本图像输入至分割网络进行特征提取，并根据提取到的分割样本特征图和所述样本图像对应的标签，确定分割网络输出的初始分割结果，最终以种子区域作为监督信息，基于初始分割结果，采用种子区域生长模型和条件随机场模型，对分割网络进行训练，得到训练完毕的语义分割网络，实现通过样本图像先验类别信息进行分割网络训练，缓解分割网络噪声类别输出问题，提高图像语义分割效果。
实施例三
图3a为本发明实施例三中的一种语义分割网络训练方法的流程图，本实施例在上述实施例的基础上进一步细化，提供了以种子区域作为监督信息，基于初始分割结果，采用种子区域生长模型和条件随机场模型，对分割网络进行训练的具体步骤。下面结合图3a对本发明实施例三提供的一种语义分割网络训练方法进行说明，包括以下步骤：
步骤310、将样本图像输入至分类网络进行特征提取，并根据提取到的分类样本特征图，确定样本图像中的种子区域。
可选的，分类网络中包含多个卷积层、金字塔池化层、全连接层以及激活函数；
在将样本图像输入至分类网络进行特征提取之前，还包括：
通过多个卷积层对样本图像进行特征提取，得到分类样本特征图；
通过金字塔池化层对分类样本特征图进行不同尺度下的特征融合，得到样本图像对应的样本特征向量；
通过全连接层和激活函数，对样本特征向量进行处理，得到样本图像的分类结果；
基于分类结果与样本图像的标签构建分类损失函数，并基于分类损失函数，对分类网络进行训练。
本可选的实施例中，分类网络中包含多个卷积层、金字塔池化层、全连接层以及激活函数，其中，分类网络的主干网络可以选取为残差网络，激活函数可以选取为sigmoid函数、双曲正切函数以及修正线性单元等。
本可选的实施例还提供了在将样本图像输入至分类网络进行特征提取之前的分类网络训练过程，具体如图3b所示，首先通过多个卷积层对样本图像进行特征提取，得到分类样本特征图，进而通过金字塔池化层将分类样本特征图按照不同分割尺度进行划分，例如，划分为1*1，2*2，3*3，4*4，6*6等维度，得到多尺度特征，并将多尺度特征进行处理和拼接，得到融合多尺度特征的样本特征向量，进一步的，通过全连接层和激活函数对样本特征向量进行处理，得到样本图像的分类结果，最终基于分类结果与样本图像的分类标签构建分类损失函数，并基于分类损失函数，对分类网络进行训练，其中，分类损失函数设计如下：
Figure BDA0003153910250000131
其中，n标识目标类别总数，yi是类别i的真实标签，
Figure BDA0003153910250000132
代表分类网络对该类的评分。
本可选的实施例中，通过引入金字塔池化层，实现将不同尺度下语义特征进行融合，提高分类网络训练效果，进而提高获取到的种子区域质量。
步骤320、将样本图像输入至分割网络进行特征提取，并根据提取到的分割样本特征图和样本图像对应的标签，确定分割网络输出的初始分割结果。
步骤330、根据初始分割结果中各像素点属于设定类别的概率，构建区域生长损失函数。
本实施例中，为了对分割网络进行训练，采用弱监督语义分割方法，例如，深度种子区域生长(Deep Seeded Region Growing，DSRG)作为动态监督模型训练，使得分割网络能够扩张出足够大小的分割区域，具体的，根据初始分割结果中各像素点属于设定类别的概率，构建区域生长损失函数如下：
Figure BDA0003153910250000133
其中，C是样本图像中存在的类别的集合，
Figure BDA0003153910250000134
为背景类别，SC为通过弱定位流程得到的属于类别c的像素位置集合，fu,c(X)为分割网络输出的初始分割结果中位置u处被分类为类别c的概率。
步骤340、根据初始分割结果中各像素点属于设定类别的概率，以及各像素点针对设定类别的条件随机场的输出，构建条件随机场损失函数。
本实施例中，采用条件随机场模型对分割网络进行训练，具体的，根据初始分割结果中各像素点属于设定类别的概率，以及各像素点针对设定类别的条件随机场的输出，构建条件随机场损失函数如下：
Figure BDA0003153910250000141
其中，Qu,c(X,F(X))为条件随机场于位置u处针对类别c的输出，fu,c(X)为分割网络输出的初始分割结果中位置u处被分类为类别c的概率。
步骤350、根据区域生长损失函数和条件随机场损失函数，确定分割网络损失函数。
本实施例中，通过将分割网络输出的初始分割结果输入至深度种子区域生长分支以及条件随机场分支，深度种子区域生长分支采用DSRG结构，对分割掩码按照输出的概率进行区域生长并计算损失。条件随机场分支结合样本图像中的颜色及位置信息对分割网络输出的分割掩码进行物体边界限制。
具体的，根据区域生长损失函数和条件随机场损失函数，构建总体的分割网络损失函数如下：
L＝LDSRG+LCRF+0.01*||w||2
其中，||w||2是所有可训练参数的L2范数。
步骤360、根据分割网络损失函数，利用梯度下降法，对分割网络进行训练，得到训练完毕的语义分割网络。
本实施例中，在确定分割网络损失函数后，采用梯度下降法，对分割网络进行训练，得到训练完毕的语义分割网络。
本发明实施例的技术方案，通过将样本图像输入至分类网络进行特征提取，并根据提取到的分类样本特征图，确定样本图像中的种子区域，然后将样本图像输入至分割网络进行特征提取，并根据提取到的分割样本特征图和样本图像对应的标签，确定分割网络输出的初始分割结果，进一步的，根据初始分割结果中各像素点属于设定类别的概率，构建区域生长损失函数，并根据初始分割结果中各像素点属于设定类别的概率，以及各像素点针对设定类别的条件随机场的输出，构建条件随机场损失函数，根据区域生长损失函数和条件随机场损失函数，确定分割网络损失函数，最终根据分割网络损失函数，利用梯度下降法，对分割网络进行训练，通过利用种子区域生长模型和条件随机场模型进行分割网络训练，提高语义分割效果。
实施例四
图4a为本发明实施例四中的一种图像语义分割方法的流程图，本实施例的技术方案适用于通过语义分割网络对待分割图像进行语义分割的情况，该方法可以由图像语义分割装置执行，该装置可以由软件和/或硬件来实现，并可以集成在各种通用计算机设备中。本实施例中的图像语义分割方法，具体包括如下步骤：
步骤410、将待分割图像作为语义分割网络的输入，语义分割网络预先采用任意实施例提供的语义分割网络训练方法进行训练；
本实施例中，在训练得到语义分割网络后，通过语义分割网络将待分割图像进行语义分割，具体如图4b所示，将待分割图像输入至语义分割网络，通过语义分割网络对待分割图像进行处理。
步骤420、根据语义分割网络的输出结果，确定待分割图像的分割结果。
本实施例中，将经由分割网络对待分割图像处理得到的特征图由条件随机场分支得到分割结果形成最终语义分割掩码，从而确定待分割图像的分割结果。
本发明实施例的技术方案，将待分割图像作为语义分割网络的输入，其中，语义分割网络预先采用任意实施例提供的语义分割网络训练方法进行训练，根据语义分割网络的输出结果，确定待分割图像的分割结果，提高了语义分割效果。
实施例五
图5为本发明实施例五提供的一种语义分割网络训练装置的结构示意图，该语义分割网络训练装置，包括：种子区域确定模块510、初始分割结果确定模块520和分割网络训练模块530。
种子区域确定模块510，用于将样本图像输入至分类网络进行特征提取，并根据提取到的分类样本特征图，确定所述样本图像中的种子区域；
初始分割结果确定模块520，用于将样本图像输入至分割网络进行特征提取，并根据提取到的分割样本特征图和所述样本图像对应的标签，确定分割网络输出的初始分割结果；
分割网络训练模块530，用于以所述种子区域作为监督信息，基于所述初始分割结果，采用种子区域生长模型和条件随机场模型，对分割网络进行训练，得到训练完毕的语义分割网络。
本发明实施例的技术方案，通过将样本图像输入至分类网络进行特征提取，并根据提取到的分类样本特征图，确定样本图像中的种子区域，进而将样本图像输入至分割网络进行特征提取，并根据提取到的分割样本特征图和样本图像对应的标签，确定分割网络输出的初始分割结果，最终以种子区域作为监督信息，基于初始分割结果，采用种子区域生长模型和条件随机场模型，对分割网络进行训练，得到训练完毕的语义分割网络，实现通过样本图像先验类别信息进行分割网络训练，缓解分割网络噪声类别输出问题，提高图像语义分割效果。
可选的，所述分类网络中包含多个卷积层、金字塔池化层、全连接层以及激活函数；
所述语义分割网络训练装置，还包括：
分类样本特征图获取模块，用于在将样本图像输入至分类网络进行特征提取之前，通过多个卷积层对样本图像进行特征提取，得到分类样本特征图；
样本特征向量获取模块，用于通过金字塔池化层对所述分类样本特征图进行不同尺度下的特征融合，得到所述样本图像对应的样本特征向量；
分类结果确定模块，用于通过全连接层和激活函数，对所述样本特征向量进行处理，得到样本图像的分类结果；
分类网络训练模块，用于基于所述分类结果与样本图像的标签构建分类损失函数，并基于所述分类损失函数，对所述分类网络进行训练。
可选的，所述种子区域确定模块510，包括：
分类样本特征图获取单元，用于将样本图像输入至分类网络进行特征提取，得分类样本特征图；
特征热力图生成单元，用于针对所述分类样本特征图，采用弱定位方法，生成特征热力图；
种子区域确定单元，用于根据热力图分割阈值，对所述特征热力图进行分割，根据分割结果，确定所述样本图像中的种子区域。
可选的，所述分割网络包括多个卷积层、池化层和Nonlocal模块；所述Nonlocal模块置于设定层数的卷积层之后；
所述初始分割结果确定模块520，包括：
分割样本特征图获取单元，用于将样本图像输入至分割网络，由分割网络中的多个卷积层和Nonlocal模块对样本图像进行特征提取，得到分割样本特征图；
多热向量确定单元，用于确定所述样本图像对应标签的多热向量；
初始分割结果确定单元，用于计算分割样本特征图和所述多热向量的张量积，得到初始分割结果。
可选的，所述分割网络训练模块530，包括：
区域生长损失函数构建单元，用于根据所述初始分割结果中各像素点属于设定类别的概率，构建区域生长损失函数；
条件随机场损失函数构建单元，用于根据所述初始分割结果中各像素点属于设定类别的概率，以及各像素点针对设定类别的条件随机场的输出，构建条件随机场损失函数；
分割网络损失函数确定单元，根据所述区域生长损失函数和条件随机场损失函数，确定分割网络损失函数；
分割网络训练单元，用于根据所述分割网络损失函数，利用梯度下降法，对分割网络进行训练。
可选的，所述种子区域确定模块510，还包括：
初始分割单元，用于在根据热力图分割阈值，对所述特征热力图进行分割，根据分割结果，确定所述样本图像中的种子区域之前，根据预先设定的初始分割阈值，对所述特征热力图进行分割；
分割阈值确定单元，用于通过对分割结果与样本图像的语义分割结果计算交并比，确定热力图分割阈值。
本发明实施例所提供的语义分割网络训练装置可执行本发明任意实施例所提供的语义分割网络训练方法，具备执行方法相应的功能模块和有益效果。
实施例六
图6为本发明实施例六提供的一种图像语义分割装置的结构示意图，该图像语义分割装置，包括：待分割图像输入模块610和分割结果确定模块620。
待分割图像输入模块610，用于将待分割图像作为语义分割网络的输入，所述语义分割网络预先采用任意实施例提供的语义分割网络训练方法进行训练；
分割结果确定模块620，用于根据所述语义分割网络的输出结果，确定所述待分割图像的分割结果。
本发明实施例的技术方案，将待分割图像作为语义分割网络的输入，其中，语义分割网络预先采用任意实施例提供的语义分割网络训练方法进行训练，根据语义分割网络的输出结果，确定待分割图像的分割结果，提高了语义分割效果。
本发明实施例所提供的图像语义分割装置可执行本发明任意实施例所提供的图像语义分割方法，具备执行方法相应的功能模块和有益效果。
实施例七
图7为本发明实施例七提供的一种电子设备的结构示意图，如图7所示，该电子设备包括处理器70、存储器71、输入装置72和输出装置73；设备中处理器70的数量可以是一个或多个，图7中以一个处理器70为例；设备中的处理器70、存储器71、输入装置72和输出装置73可以通过总线或其他方式连接，图7中以通过总线连接为例。
存储器71作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的语义分割网络训练方法及图像语义分割方法对应的程序指令/模块(例如，语义分割网络训练装置中的种子区域确定模块510、初始分割结果确定模块520和分割网络训练模块530，或者图像语义分割装置中的待分割图像输入模块610和分割结果确定模块620)。处理器70通过运行存储在存储器71中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的语义分割网络训练方法或者图像语义分割方法。
其中，语义分割网络训练方法，包括：
将样本图像输入至分类网络进行特征提取，并根据提取到的分类样本特征图，确定所述样本图像中的种子区域；
将样本图像输入至分割网络进行特征提取，并根据提取到的分割样本特征图和所述样本图像对应的标签，确定分割网络输出的初始分割结果；
以所述种子区域作为监督信息，基于所述初始分割结果，采用种子区域生长模型和条件随机场模型，对分割网络进行训练，得到训练完毕的语义分割网络。
图像语义分割方法，包括：
将待分割图像作为语义分割网络的输入，所述语义分割网络预先采用任意实施例提供的语义分割网络训练方法进行训练；
根据所述语义分割网络的输出结果，确定所述待分割图像的分割结果。
存储器71可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器71可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器71可进一步包括相对于处理器70远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实施例八
本发明实施例八还提供一种其上存储有计算机程序的计算机可读存储介质，所述计算机程序在由计算机处理器执行时用于执行一种语义分割网络训练方法或者图像语义分割方法。
其中，语义分割网络训练方法，包括：
将样本图像输入至分类网络进行特征提取，并根据提取到的分类样本特征图，确定所述样本图像中的种子区域；
将样本图像输入至分割网络进行特征提取，并根据提取到的分割样本特征图和所述样本图像对应的标签，确定分割网络输出的初始分割结果；
以所述种子区域作为监督信息，基于所述初始分割结果，采用种子区域生长模型和条件随机场模型，对分割网络进行训练，得到训练完毕的语义分割网络。
图像语义分割方法，包括：
将待分割图像作为语义分割网络的输入，所述语义分割网络预先采用任意实施例提供的语义分割网络训练方法进行训练；
根据所述语义分割网络的输出结果，确定所述待分割图像的分割结果。
当然,本发明实施例所提供的包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的图像语义分割方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，应用服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述一种语义分割网络训练装置及图像语义分割装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种语义分割网络训练方法，其特征在于，包括：
将样本图像输入至分类网络进行特征提取，并根据提取到的分类样本特征图，确定所述样本图像中的种子区域；
将样本图像输入至分割网络进行特征提取，并根据提取到的分割样本特征图和所述样本图像对应的标签，确定分割网络输出的初始分割结果；
以所述种子区域作为监督信息，基于所述初始分割结果，采用种子区域生长模型和条件随机场模型，对分割网络进行训练，得到训练完毕的语义分割网络。
2.根据权利要求1所述的方法，其特征在于，所述分类网络中包含多个卷积层、金字塔池化层、全连接层以及激活函数；
在将样本图像输入至分类网络进行特征提取之前，还包括：
通过多个卷积层对样本图像进行特征提取，得到分类样本特征图；
通过金字塔池化层对所述分类样本特征图进行不同尺度下的特征融合，得到所述样本图像对应的样本特征向量；
通过全连接层和激活函数，对所述样本特征向量进行处理，得到样本图像的分类结果；
基于所述分类结果与样本图像的标签构建分类损失函数，并基于所述分类损失函数，对所述分类网络进行训练。
3.根据权利要求1所述的方法，其特征在于，将样本图像输入至分类网络进行特征提取，并根据提取到的分类样本特征图，确定所述样本图像中的种子区域，包括：
将样本图像输入至分类网络进行特征提取，得分类样本特征图；
针对所述分类样本特征图，采用弱定位方法，生成特征热力图；
根据热力图分割阈值，对所述特征热力图进行分割，根据分割结果，确定所述样本图像中的种子区域。
4.根据权利要求1所述的方法，其特征在于，所述分割网络包括多个卷积层、池化层和Nonlocal模块；所述Nonlocal模块置于设定层数的卷积层之后；
将样本图像输入至分割网络进行特征提取，并根据提取到的分割样本特征图和所述样本图像对应的标签，确定分割网络输出的初始分割结果，包括：
将样本图像输入至分割网络，由分割网络中的多个卷积层和Nonlocal模块对样本图像进行特征提取，得到分割样本特征图；
确定所述样本图像对应标签的多热向量；
计算分割样本特征图和所述多热向量的张量积，得到初始分割结果。
5.根据权利要求1所述的方法，其特征在于，以所述种子区域作为监督信息，基于所述初始分割结果，采用种子区域生长模型和条件随机场模型，对分割网络进行训练，包括：
根据所述初始分割结果中各像素点属于设定类别的概率，构建区域生长损失函数；
根据所述初始分割结果中各像素点属于设定类别的概率，以及各像素点针对设定类别的条件随机场的输出，构建条件随机场损失函数；
根据所述区域生长损失函数和条件随机场损失函数，确定分割网络损失函数；
根据所述分割网络损失函数，利用梯度下降法，对分割网络进行训练。
6.根据权利要求3所述的方法，其特征在于，在根据热力图分割阈值，对所述特征热力图进行分割，根据分割结果，确定所述样本图像中的种子区域之前，还包括：
根据预先设定的初始分割阈值，对所述特征热力图进行分割；
通过对分割结果与样本图像的语义分割结果计算交并比，确定热力图分割阈值。
7.一种图像语义分割方法，其特征在于，包括：
将待分割图像作为语义分割网络的输入，所述语义分割网络预先采用如权利要求1-6所述的方法进行训练；
根据所述语义分割网络的输出结果，确定所述待分割图像的分割结果。
8.一种语义分割模型训练装置，其特征在于，包括：
种子区域确定模块，用于将样本图像输入至分类网络进行特征提取，并根据提取到的分类样本特征图，确定所述样本图像中的种子区域；
初始分割结果确定模块，用于将样本图像输入至分割网络进行特征提取，并根据提取到的分割样本特征图和所述样本图像对应的标签，确定分割网络输出的初始分割结果；
分割网络训练模块，用于以所述种子区域作为监督信息，基于所述初始分割结果，采用种子区域生长模型和条件随机场模型，对分割网络进行训练，得到训练完毕的语义分割网络。
9.一种图像语义分割装置，其特征在于，包括：
待分割图像输入模块，用于将待分割图像作为语义分割网络的输入，所述语义分割网络预先采用如权利要求1-6所述的方法进行训练；
分割结果确定模块，用于根据所述语义分割网络的输出结果，确定所述待分割图像的分割结果。
10.一种电子设备，其特征在于，所述设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的语义分割网络训练方法，或者如权利要求7所述的图像语义分割方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述语义分割网络训练方法，或者如权利要求7所述的图像语义分割方法。
CN202110771852.0A 2021-07-08 2021-07-08 语义分割网络训练和图像语义分割方法、装置及设备 Pending CN113420827A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110771852.0A CN113420827A (zh) 2021-07-08 2021-07-08 语义分割网络训练和图像语义分割方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110771852.0A CN113420827A (zh) 2021-07-08 2021-07-08 语义分割网络训练和图像语义分割方法、装置及设备

Publications (1)

Publication Number Publication Date
CN113420827A true CN113420827A (zh) 2021-09-21

Family

ID=77720478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110771852.0A Pending CN113420827A (zh) 2021-07-08 2021-07-08 语义分割网络训练和图像语义分割方法、装置及设备

Country Status (1)

Country Link
CN (1) CN113420827A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115222945A (zh) * 2022-09-15 2022-10-21 深圳市软盟技术服务有限公司 基于多尺度自适应课程学习的深度语义分割网络训练方法
CN116363362A (zh) * 2023-03-08 2023-06-30 阿里巴巴（中国）有限公司 图像语义分割方法、对象识别方法及计算设备
CN116758093A (zh) * 2023-05-30 2023-09-15 首都医科大学宣武医院 一种图像分割方法、模型训练方法、装置、设备及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110349148A (zh) * 2019-07-11 2019-10-18 电子科技大学 一种基于弱监督学习的图像目标检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110349148A (zh) * 2019-07-11 2019-10-18 电子科技大学 一种基于弱监督学习的图像目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨昀欣: ""基于弱监督学习的图像语义分割方法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115222945A (zh) * 2022-09-15 2022-10-21 深圳市软盟技术服务有限公司 基于多尺度自适应课程学习的深度语义分割网络训练方法
CN116363362A (zh) * 2023-03-08 2023-06-30 阿里巴巴（中国）有限公司 图像语义分割方法、对象识别方法及计算设备
CN116363362B (zh) * 2023-03-08 2024-01-09 阿里巴巴（中国）有限公司 图像语义分割方法、对象识别方法及计算设备
CN116758093A (zh) * 2023-05-30 2023-09-15 首都医科大学宣武医院 一种图像分割方法、模型训练方法、装置、设备及介质
CN116758093B (zh) * 2023-05-30 2024-05-07 首都医科大学宣武医院 一种图像分割方法、模型训练方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN109977918B (zh) 一种基于无监督域适应的目标检测定位优化方法
CN108491880B (zh) 基于神经网络的物体分类和位姿估计方法
CN110909820B (zh) 基于自监督学习的图像分类方法及***
CN111563502B (zh) 图像的文本识别方法、装置、电子设备及计算机存储介质
US8379994B2 (en) Digital image analysis utilizing multiple human labels
CN113420827A (zh) 语义分割网络训练和图像语义分割方法、装置及设备
CN109492706B (zh) 一种基于循环神经网络的染色体分类预测装置
CN111274994B (zh) 漫画人脸检测方法、装置、电子设备及计算机可读介质
CN111476806B (zh) 图像处理方法、装置、计算机设备和存储介质
CN111696110B (zh) 场景分割方法及***
CN109002755B (zh) 基于人脸图像的年龄估计模型构建方法及估计方法
CN114821014B (zh) 基于多模态与对抗学习的多任务目标检测识别方法及装置
CN111507226B (zh) 道路图像识别模型建模方法、图像识别方法及电子设备
CN113378937B (zh) 一种基于自监督增强的小样本图像分类方法及***
CN111325766B (zh) 三维边缘检测方法、装置、存储介质和计算机设备
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN111652181A (zh) 目标跟踪方法、装置及电子设备
CN114333062B (zh) 基于异构双网络和特征一致性的行人重识别模型训练方法
CN110135435B (zh) 一种基于广度学习***的显著性检测方法及装置
CN116129426A (zh) 一种宫颈细胞涂片18类别的细粒度分类方法
CN113223037B (zh) 一种面向大规模数据的无监督语义分割方法及***
CN113496148A (zh) 一种多源数据融合方法及***
CN112991281B (zh) 视觉检测方法、***、电子设备及介质
CN116977859A (zh) 基于多尺度图像切割和实例困难度的弱监督目标检测方法
CN115641317B (zh) 面向病理图像的动态知识回溯多示例学习及图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210921

RJ01 Rejection of invention patent application after publication