CN114998595B - 弱监督语义分割方法、语义分割方法及可读存储介质 - Google Patents

弱监督语义分割方法、语义分割方法及可读存储介质 Download PDF

Info

Publication number
CN114998595B
CN114998595B CN202210842122.XA CN202210842122A CN114998595B CN 114998595 B CN114998595 B CN 114998595B CN 202210842122 A CN202210842122 A CN 202210842122A CN 114998595 B CN114998595 B CN 114998595B
Authority
CN
China
Prior art keywords
segmentation
classification
feature map
network
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210842122.XA
Other languages
English (en)
Other versions
CN114998595A (zh
Inventor
陈旭琳
林真
汪进
陈睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Severson Guangzhou Medical Technology Service Co ltd
Original Assignee
Severson Guangzhou Medical Technology Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Severson Guangzhou Medical Technology Service Co ltd filed Critical Severson Guangzhou Medical Technology Service Co ltd
Priority to CN202210842122.XA priority Critical patent/CN114998595B/zh
Publication of CN114998595A publication Critical patent/CN114998595A/zh
Application granted granted Critical
Publication of CN114998595B publication Critical patent/CN114998595B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种弱监督语义分割方法、语义分割方法、数据处理装置及计算机可读存储介质，包括利用骨干分类网络对图像块进行分类处理，得到分类特征图；分类特征图包括目标分类特征图和中间分类特征图；根据目标分类特征图得到类别激活图，利用图像分类标签和类别激活图对骨干分类网络的分类参数进行调整；利用类别激活图以及分割特征图生成伪分割标签；根据伪分割标签对第一分割网络的第一分割参数进行调整；利用分割特征图生成目标分割标签，根据目标分割标签和目标特征图对第二分割网络的第二分割参数进行调整；将训练完成后得到的目标特征图作为语义分割结果，充分利用中间分类特征图来优化第二分割网络，从而能够提高语义分割的准确性。

Description

弱监督语义分割方法、语义分割方法及可读存储介质
技术领域
本申请涉及人工智能技术领域，尤其是一种弱监督语义分割方法、语义分割方法及可读存储介质。
背景技术
分类标签与分割任务之间有很大的鸿沟，在相关技术中，利用分类模型输出的类别激活图来定位特定类别的区域。然而，类别激活图是由卷积网络中深层次的特征图加权组合得来，而卷积网络由浅层特征到深层特征会有多次下采样操作，导致类别激活图只能提供一个粗糙的语义分割结果。
发明内容
本申请实施例提供了一种弱监督语义分割方法、语义分割方法、数据处理装置及计算机可读存储介质，能够充分利用分类网络对分割网络进行优化，从而达到提高语义分割的准确性的目的。
第一方面，本申请实施例提供了一种弱监督语义分割方法，包括：
获取输入的图像块，所述图像块均对应设置有图像分类标签；
利用骨干分类网络对所述图像块进行分类处理，得到分类特征图，所述分类特征图的尺寸各不相同，所述分类特征图包括所述分类处理后输出的目标分类特征图和所述分类处理中不输出的中间分类特征图；根据所述目标分类特征图得到类别激活图，利用所述图像分类标签和所述类别激活图对所述骨干分类网络的分类参数进行调整；
利用第一分割网络对所述中间分类特征图进行第一分割处理，得到分割特征图，其中，每一个所述中间分类特征图均对应有一个所述第一分割网络；利用所述类别激活图以及所述分割特征图，生成伪分割标签；根据所述伪分割标签对所述第一分割网络的第一分割参数进行调整；
利用第二分割网络对所述图像块进行第二分割处理，得到目标特征图；利用所述分割特征图生成目标分割标签，根据所述目标分割标签和所述目标特征图对所述第二分割网络的第二分割参数进行调整；
将训练完成后得到的所述目标特征图作为语义分割结果。
第二方面，本申请实施例还提供了一种语义分割方法，包括：
获取组织病理图像数据集；
对所述组织病理图像数据集进行切片处理，得到多个图像块；
根据如上所述的弱监督语义分割方法对所述图像块进行训练，得到图像块的语义分割结果；
将所述图像块的语义分割结果进行拼接处理，得到组织病理图像数据集的语义分割结果。
第三方面，本申请实施例还提供了一种数据处理装置，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的弱监督语义分割方法或者如上所述的语义分割方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上所述的弱监督语义分割方法或者如上所述的语义分割方法。
本申请实施例包括：获取输入的图像块，图像块均对应设置有图像分类标签；利用骨干分类网络对图像块进行分类处理，得到分类特征图，分类特征图的尺寸各不相同，分类特征图包括分类处理后输出的目标分类特征图和分类处理中不输出的中间分类特征图；根据目标分类特征图得到类别激活图，利用图像分类标签和类别激活图对骨干分类网络的分类参数进行调整；利用第一分割网络对中间分类特征图进行第一分割处理，得到分割特征图，其中，每一个中间分类特征图均对应有一个第一分割网络；利用类别激活图以及分割特征图，生成伪分割标签；根据伪分割标签对第一分割网络的第一分割参数进行调整；利用第二分割网络对图像块进行第二分割处理，得到目标特征图；利用分割特征图生成目标分割标签，根据目标分割标签和目标特征图对第二分割网络的第二分割参数进行调整；将训练完成后得到的目标特征图作为语义分割结果。根据本申请实施例的方案，将中间分类特征图作为第一分割网络的输入，根据由第一分割网络得到的分割特征图对第二分割网络进行调整，从而增强目标特征图的表征能力，能够达到提高语义分割的准确性的目的。
附图说明
图1是本申请一个实施例提供的弱监督语义分割方法的流程图；
图2是图1中步骤S130的具体方法的流程图；
图3是图1中步骤S130的另一具体方法的流程图；
图4是图1中步骤S130的又一具体方法的流程图；
图5是图1中步骤S140的具体方法的流程图；
图6是图1中步骤S120的具体方法的流程图；
图7是图1中步骤S120的另一具体方法的流程图；
图8是本申请另一个实施例提供的弱监督语义分割方法的流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
另外，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请提供了一种弱监督语义分割方法、语义分割方法、数据处理装置及计算机可读存储介质，包括获取输入的图像块，图像块均对应设置有图像分类标签；利用骨干分类网络对图像块进行分类处理，得到分类特征图，分类特征图的尺寸各不相同，分类特征图包括分类处理后输出的目标分类特征图和分类处理中不输出的中间分类特征图；根据目标分类特征图得到类别激活图，利用图像分类标签和类别激活图对骨干分类网络的分类参数进行调整；利用第一分割网络对中间分类特征图进行第一分割处理，得到分割特征图，其中，每一个中间分类特征图均对应有一个第一分割网络；利用类别激活图以及分割特征图，生成伪分割标签；根据伪分割标签对第一分割网络的第一分割参数进行调整；利用第二分割网络对图像块进行第二分割处理，得到目标特征图；利用分割特征图生成目标分割标签，根据目标分割标签和目标特征图对第二分割网络的第二分割参数进行调整；将训练完成后得到的目标特征图作为语义分割结果。根据本申请实施例的方案，将中间分类特征图作为第一分割网络的输入，根据由第一分割网络得到的分割特征图对第二分割网络进行调整，从而增强目标特征图的表征能力，能够达到提高语义分割的准确性的目的。
下面结合附图，对本申请实施例作进一步阐述。
如图1所示，图1是本申请一个实施例提供的弱监督语义分割方法的流程图，该弱监督语义分割方法可以包括但不限于有步骤S110、步骤S120、步骤S130、步骤S140和步骤S150。
步骤S110：获取输入的图像块，图像块均对应设置有图像分类标签。
本步骤中，进行语义分割操作的对象是数据集，因此需要先获取输入的图像块，图像块的数量可以是任意数量个，在此不作具体限定。图像块均对应设置有图像分类标签，可以理解的是，图像分类标签是用于分类的图像标签，与用于语义分割的像素级的分割标签不同，获取图像块是为了便于后续步骤中对网络进行训练。
本申请的另一实施例中，图像块指的是相关技术中的任意图像块，图像块可以是由具有多个标签的数据集中得到的图像块，在一个可选的实施方式中，将数据集中的图像进行切片处理，可以得到多个图像块。
步骤S120：利用骨干分类网络对图像块进行分类处理，得到分类特征图，分类特征图的尺寸各不相同，分类特征图包括分类处理后输出的目标分类特征图和分类处理中不输出的中间分类特征图；根据目标分类特征图得到类别激活图，利用图像分类标签和类别激活图对骨干分类网络的分类参数进行调整。
本步骤中，利用骨干分类网络对图像块进行分类处理，得到分类特征图，分类特征图包括分类处理后输出的目标分类特征图和分类处理中不输出的中间分类特征图，分类特征图的尺寸各不相同，分类特征图之间可以是经过下采样操作从而导致尺寸不同。根据骨干分类网络分类处理后输出的目标分类特征图得到类别激活图，减少了中间分类特征图对类别激活图产生影响的情况，能够使类别激活图聚焦于目标分类特征图，利用图像分类标签和类别激活图对骨干分类网络的分类参数进行调整，能够达到提高分类网络的计算效率的目的。
本申请的另一实施例中，骨干分类网络可以是相关技术中的任意骨干分类网络， 骨干（backbone）又称主干，骨干分类网络可以是业界常用的主流网络结构，例如Resnet， Densenet，Efficientnet等。在一个可选的实施方式中，参照图8，图像块的大小为3×H×W， H表示的是高度值，W表示的是宽度值，骨干分类网络可以是Resnet50，中间分类特征图包括 特征图F1和特征图F2，F1大小为
Figure 459528DEST_PATH_IMAGE001
，F2大小为
Figure 951689DEST_PATH_IMAGE002
，目标特征图F3的大小 为
Figure 193315DEST_PATH_IMAGE003
，类别激活图F4的大小为
Figure 468438DEST_PATH_IMAGE004
。
本申请的另一实施例中，类别激活图（Class Activation Mapping，CAM）可以显示在对骨干分类网络进行训练的过程中，图像块的权重或重心在何处、如何转移，骨干分类网络是根据图像块的哪一部分的特征进行判别的。简而言之，就是模仿人类识别物体的过程，随着骨干分类网络的迭代，找到相关任务的关键部位。
步骤S130：利用第一分割网络对中间分类特征图进行第一分割处理，得到分割特征图，其中，每一个中间分类特征图均对应有一个第一分割网络；利用类别激活图以及分割特征图，生成伪分割标签；根据伪分割标签对第一分割网络的第一分割参数进行调整。
本步骤中，每一个中间分类特征图均对应有一个第一分割网络，利用第一分割网络对中间分类特征图进行第一分割处理，得到分割特征图，指的是将利用与中间分类特征图对应的第一分割网络对中间分类特征图进行进行第一分割处理，得到分割特征图。利用类别激活图以及分割特征图，生成伪分割标签，伪分割标签指的是像素级的分割标签，伪分割标签能够表征类别激活图以及分割特征图的分割标签，并且，根据伪分割标签对第一分割网络的第一分割参数进行调整，能够提高第一分割网络的准确性，从而能够达到提高语义分割的准确性的目的。
本申请另一实施例中，利用类别激活图以及分割特征图，生成伪分割标签，可以是将类别激活图以及分割特征图按照预设的规则投射到预设的范围值内，从而得到伪分割标签，在此不作具体限定。
本申请另一实施例中，根据伪分割标签对第一分割网络的第一分割参数进行调整，可以是生成伪分割标签的分割特征图根据该伪分割标签进行自我调整，也可以是先将类别激活图以及分割特征图进行上采样，之后生成的伪分割标签与尺寸对应的分割特征图，对该分割特征图对应的第一分割网络的第一分割参数进行调整，从而将中间分类特征图中的特征充分表征，提高第一分割网络的准确性，从而提高语义分割的准确性。得到分割特征图是为了便于后续步骤中得到目标特征图。
步骤S140：利用第二分割网络对图像块进行第二分割处理，得到目标特征图；利用分割特征图生成目标分割标签，根据目标分割标签和目标特征图对第二分割网络的第二分割参数进行调整。
本步骤中，第二分割网络指的是相关技术中的任意分割网络，例如HRNet或UNet，利用第二分割网络对图像块进行第二分割处理，得到目标特征图。分割特征图指的是经由第一分割网络得到，分割特征图能够表征分类过程中的特征图对分割结果的影响，利用分割特征图生成目标分割标签，根据目标分割标签和目标特征图对第二分割网络的第二分割参数进行调整，从而达到提高第二分割网络的准确性的目的，并且，第二分割网络经由目标分割标签以及目标特征图进行优化，能够填补在弱标注情况下，图像分类标签与分割任务之间的鸿沟，最终能够输出准确的语义分割结果，并大大提高标注图像块的效率。
步骤S150：将训练完成后得到的目标特征图作为语义分割结果。
本步骤中，目标特征图指的是将图像块输入第二分割网络后得到的目标特征图，根据图像块对第二分割网络进行训练后，能够得到表征能力较强的骨干分类网络、第一分割网络以及第二分割网络，从而得到准确性更高的目标特征图。由于第二分割网络由目标分割标签进行优化，将第二分割网络输出的目标特征图作为目标特征图，能够根据具有图像分类标签的图像块得到目标分割标签，从而提高标注图像块的效率，并且能够达到提高语义分割的准确性的目的。
本申请的另一实施例中，训练完成后得到的目标特征图指的是非训练过程中得到的目标特征图，该目标特征图可以是在预测阶段对图像块进行处理得到的目标特征图，在此不作具体限定。
本实施例中，通过采用包括有上述步骤S110至步骤S150的弱监督语义分割方法，获取输入的图像块，图像块均对应设置有图像分类标签；利用骨干分类网络对图像块进行分类处理，得到分类特征图，分类特征图的尺寸各不相同，分类特征图包括分类处理后输出的目标分类特征图和分类处理中不输出的中间分类特征图；根据目标分类特征图得到类别激活图，利用图像分类标签和类别激活图对骨干分类网络的分类参数进行调整；利用第一分割网络对中间分类特征图进行第一分割处理，得到分割特征图，其中，每一个中间分类特征图均对应有一个第一分割网络；利用类别激活图以及分割特征图，生成伪分割标签；根据伪分割标签对第一分割网络的第一分割参数进行调整；利用第二分割网络对图像块进行第二分割处理，得到目标特征图；利用分割特征图生成目标分割标签，根据目标分割标签和目标特征图对第二分割网络的第二分割参数进行调整；将训练完成后得到的目标特征图作为语义分割结果，能够根据骨干分类网络得到的特征图进行分割，从而目标分割标签用于第二分割网络，从而能够填补在弱标注情况下，图像分类标签与分割任务之间的鸿沟，最终能够输出准确的语义分割结果，并大大提高标注图像块的效率。
在一实施例中，如图2所示，对弱监督语义分割方法进行进一步的说明，步骤S130还可以包括但不限于有步骤S210、步骤S220、步骤S230、步骤S240和步骤S250。
步骤S210：将中间分类特征图输入第一卷积层，得到第一结果特征图，第一卷积层具有1×1的卷积核，第一卷积层的通道数为256，第一卷积层的填充值是0。
本步骤中，将中间分类特征图输入第一卷积层，得到第一结果特征图，由于第一卷积层具有1×1的卷积核，第一卷积层的通道数为256，第一卷积层的填充值是0，得到的第一结果特征图的通道数为256，第一结果特征图的尺寸不变。
本申请另一实施例中，由于设置有填充值，在经过第一卷积层之后，能够使得第一结果特征图的尺寸与中间分类特征图的尺寸保持一致，卷积层的填充可以是相关技术中的任意卷积层的填充方式，例如填充0或者255，在此不作具体限定，填充得到的像素值是伪像素值，能够达到将中间分类特征图进行抽象化的目的。
步骤S220：将第一结果特征图输入第二卷积层，得到第二结果特征图，第二卷积层具有3×3的卷积核，第二卷积层的通道数为256，第二卷积层的填充值是1。
本步骤中，将第一结果特征图输入第二卷积层，得到第二结果特征图，由于第二卷积层具有3×3的卷积核，第二卷积层的通道数为256，第二卷积层的填充值是1，得到的第二结果特征图的通道数为256，第二结果特征图的尺寸不变。
本申请另一实施例中，由于设置有填充值，在经过第二卷积层之后，能够使得第二结果特征图的尺寸与第一结果特征图的尺寸保持一致，卷积层的填充可以是相关技术中的任意卷积层的填充方式，例如填充0或者255，在此不作具体限定，填充得到的像素值是伪像素值，能够达到将第一结果特征图进行抽象化的目的。
步骤S230：将第二结果特征图输入第三卷积层，得到第三结果特征图，第三卷积层具有5×5的卷积核，第三卷积层的通道数为256，第三卷积层的填充值是2。
本步骤中，将第二结果特征图输入第三卷积层，得到第三结果特征图，由于第三卷积层具有5×5的卷积核，第三卷积层的通道数为256，第三卷积层的填充值是2，得到的第三结果特征图的通道数为256，第三结果特征图的尺寸不变。
本申请另一实施例中，由于设置有填充值，在经过第三卷积层之后，能够使得第三结果特征图的尺寸与第二结果特征图的尺寸保持一致，卷积层的填充可以是相关技术中的任意卷积层的填充方式，例如填充0或者255，在此不作具体限定，填充得到的像素值是伪像素值，能够达到将第二结果特征图进行抽象化的目的。
步骤S240：将第一结果特征图、第二结果特征图和第三结果特征图进行级联处理，得到通道扩展特征图。
本步骤中，将第一结果特征图、第二结果特征图和第三结果特征图进行级联处理，即是说，得到的通道扩展特征图的尺寸不变，通道数增大，在一个可选的实施方式中，第一结果特征图、第二结果特征图和第三结果特征图的通道数均是256，得到的通道扩展特征图的通道数变成768。得到通道扩展特征图是为了便于后续步骤中得到分割特征图。
步骤S250：对通道扩展特征图进行全连接激活处理，得到分割特征图，其中，分割特征图的通道数与图像分类标签中标签的数量相同。
本步骤中，全连接激活处理可以是使用相关技术中任意全连接层以及激活函数来对通道扩展特征图进行全连接激活处理，例如设置有卷积核为1×1，通道数等于图像分类标签中标签的数量的卷积层作为全连接层，激活函数使用的是softmax激活函数。
本实施例中，通过采用包括有上述步骤S210至步骤S250的弱监督语义分割方法，将中间分类特征图输入第一卷积层，得到第一结果特征图；将第一结果特征图输入第二卷积层，得到第二结果特征图；将第二结果特征图输入第三卷积层，得到第三结果特征图；将第一结果特征图、第二结果特征图和第三结果特征图进行级联处理，得到通道扩展特征图；对通道扩展特征图进行全连接激活处理，得到分割特征图，根据本申请的技术方案，得到经过激活的分割特征图，已经经过归一化，从而能够达到提高对第二分割网络的训练效率的目的。
值得注意的是，由于每一个中间分类特征图均对应设置有一个第一分割网络，利用第一分割网络对中间分类特征图进行第一分割处理，指的是利用中间分类特征图对应的第一分割网络对中间分类特征图进行第一分割处理，因此，每一个中间分类特征图均可以对应生成一个分割特征图。
在一实施例中，如图3所示，对弱监督语义分割方法进行进一步的说明，中间分类特征图包括相邻的第一分类特征图以及第二分类特征图，第一分类特征图的尺寸大于第二分类特征图的尺寸，中间分类特征图还包括与目标分类特征图相邻的第三分类特征图，伪分割标签包括第一分割标签和第二分割标签，步骤S130还可以包括但不限于有步骤S310、步骤S320、步骤S330和步骤S340。
步骤S310：对类别激活图进行上采样处理，得到类别分割特征图，其中，类别分割特征图的尺寸与第三分类特征图的尺寸相同。
本步骤中，中间分类特征图包括第三分类特征图,第三分类特征图与目标分类特征图相邻，对类别激活图进行上采样处理，得到尺寸与第三分类特征图的尺寸相同的类别分割特征图，得到类别分割特征图是为了便于后续步骤中生成第一分割标签。
步骤S320：将类别分割特征图以及将类别分割特征图归一化处理后得到的特征图投射在预设的第一阈值，生成第一分割标签。
本步骤中，第一分割标签是像素级的分割标签，将类别分割特征图以及将类别分割特征图归一化处理后得到的特征图投射在预设的第一阈值，即是说，将类别分割特征图的像素以及将类别分割特征图归一化处理后得到的特征图的像素进行标注以得到第一分割标签。
本申请的另一实施例中，参照图8，图像分类标签中标签的数量为4，将类别激活图
Figure 177156DEST_PATH_IMAGE005
上采样到
Figure 512322DEST_PATH_IMAGE006
，利用F4生成第一分割标签
Figure 241244DEST_PATH_IMAGE007
的公式如下：
Figure 382375DEST_PATH_IMAGE008
其中，threshold1表示的是经过相关技术中的threshold函数得到的阈值1，即预 设的第一阈值，
Figure 880352DEST_PATH_IMAGE009
表示归一化后的类别激活图F4，将类别激活图F4以每通道的特征图为 单位归一化的公式如下：
Figure 651999DEST_PATH_IMAGE010
当图像分类标签ygt在第j个类别标注为1，取F4中在第j通道获得最大值的坐标(u, v)，且
Figure 664955DEST_PATH_IMAGE011
大于预设的第一阈值，则在第一分割标签yseg1中标记该坐标为类别j。这 样设计的原因是，当
Figure 547460DEST_PATH_IMAGE012
，表明图像块中存在类别为j的坐标，取类别激活图F4中预测为 类别j的坐标，且预测值要大于第一阈值，这样该坐标是类别j的概率更大，则分配类别标签 j给该坐标。其余坐标分配标签255，代表该坐标不属于4个类别中的任何类别，原因是类别 激活图对该坐标的预测与ygt不符，或者预测值小于第一阈值。
步骤S330：将第二分类特征图得到的分割特征图进行上采样处理，得到第一分割特征图，其中，第一分割特征图的尺寸与第一分类特征图的尺寸相同。
本步骤中，第一分类特征图与第二分类特征图相邻，并且，第一分类特征图的尺寸大于第二分类特征图的尺寸，因此，将第二分类特征图得到的分割特征图进行上采样处理，能够得到尺寸与第一分类特征图的尺寸相同的第一分割特征图，得到第一分割特征图是为了便于后续步骤中生成第二分割标签。
步骤S340：将第一分割特征图投射在预设的第二阈值，生成第二分割标签。
本步骤中，第二分割标签是像素级的分割标签，将第一分割特征图投射在预设的第二阈值，即是说，将第一分割特征图投的像素进行标注以得到第二分割标签。
本申请另一个实施例中，参照图8，将第二分类特征图得到的分割特征图
Figure 899944DEST_PATH_IMAGE013
上采样到尺寸
Figure 904809DEST_PATH_IMAGE014
，利用S1生成第二分割标签
Figure 342744DEST_PATH_IMAGE015
的公式 如下：
Figure 763361DEST_PATH_IMAGE016
其中，由于第二分类特征图得到的分割特征图S1是经过相关技术中的softmax激活函数激活得到，由于S1的值在0到1范围内，不需要再对S1进行额外的归一化。
本实施例中，通过采用包括有上述步骤S310至步骤S340的弱监督语义分割方法，对类别激活图进行上采样处理，得到类别分割特征图，类别分割特征图的尺寸与第三分类特征图的尺寸相同；将类别分割特征图以及将类别分割特征图归一化处理后得到的特征图投射在预设的第一阈值，生成第一分割标签；将第二分类特征图得到的分割特征图进行上采样处理，得到第一分割特征图，第一分割特征图的尺寸与第一分类特征图的尺寸相同；将第一分割特征图投射在预设的第二阈值，生成第二分割标签，根据本申请的技术方案，通过将中间分类特征图以及类别激活图经过上采样操作后映射生成分割标签，从而便于对第一分割网络的训练，能够使用分类特征图生成伪分割标签，达到提高语义分割的准确性的目的。
在一实施例中，如图4所示，对弱监督语义分割方法进行进一步的说明，步骤S130还可以包括但不限于有步骤S410和步骤S420。
步骤S410：根据第一分割标签，对第三分类特征图对应的第一分割网络的第一分割参数进行调整。
本步骤中，第一分割标签是由类别激活图经过上采样后生成，第一分割标签的尺寸与第三分类特征图的尺寸相同，因此，可以根据第一分割标签，对第三分类特征图对应的第一分割网络的第一分割参数进行调整。
本申请另一实施例中，利用第一分割标签yseg1对第三分类特征图对应的第一分割网络的第一分割参数进行调整，分割损失函数Lseg1的计算公式如下：
Figure 411697DEST_PATH_IMAGE019
在上式中，
Figure 336927DEST_PATH_IMAGE020
表示第一分割标签yseg1中取值不是255 的像素数量。其中，对于标签为255的像素，通过类别激活图还不能较高置信地判定该像素 的类别，所以，第一分割标签为255的像素不参与优化第一分割参数。而随着第一分割标签 对第三分类特征图对应的第一分割网络的训练，该第一分割网络可以自动将标签为255的 像素分类到与该像素语义最相似的一类，从而有助于后续生成更加准确的第二分割标签和 目标分割标签。
步骤S420：根据第二分割标签，对第一分类特征图对应的第一分割网络的第一分割参数进行调整。
本步骤中，第二分割标签是由第二分类特征图对应的分割特征图经过上采样后生成，第二分割标签的尺寸与第一分类特征图的尺寸相同，因此，可以根据第二分割标签，对第一分类特征图对应的第一分割网络的第一分割参数进行调整。
本申请另一实施例中，利用第二分割标签yseg2优化由第一分类特征图得到的分割 特征图
Figure 969400DEST_PATH_IMAGE021
，分割损失函数Lseg2的计算公式如下：
Figure 444244DEST_PATH_IMAGE022
在上式中，
Figure 472243DEST_PATH_IMAGE023
表示第二分割标签yseg2中取值不是255的 像素数量。对于标签为255的像素，通过第二分类特征图得到的分割特征图S1还不能较高置 信地判定该像素的类别，所以，第二分割标签为255的像素不参与优化第一分割参数，在一 个可选的实施方式中，第二分割标签为255的像素可以是不处理或者设置为0。而随着第二 分割标签对第一分类特征图对应的第一分割网络的训练，该第一分割网络可以自动将标签 为255的像素分类到与该像素语义最相似的一类，从而有助于后续生成更加准确的目标分 割标签。
本实施例中，通过采用包括有上述步骤S410至步骤S420的弱监督语义分割方法，根据第一分割标签，对第三分类特征图对应的第一分割网络的第一分割参数进行调整；根据第二分割标签，对第一分类特征图对应的第一分割网络的第一分割参数进行调整，能够使用分割标签以及对应分割特征图，从而实现优化第一分割网络的第一分割参数的目的。
值得注意的是，在训练过程中，根据分割损失函数能够对第一分割网络进行评估，从而便于后续对第一分割网络的第一分割参数进行调整，从而能够实现对第一分割网络进行训练的目的。
在一实施例中，如图5所示，对弱监督语义分割方法进行进一步的说明，步骤S140还可以包括但不限于有步骤S510和步骤S520。
步骤S510：对分割特征图进行上采样处理，得到第二分割特征图，其中，第二分割特征图的尺寸与图像块的尺寸相同。
本步骤中，第二分割特征图的尺寸与图像块的尺寸相同，即是说，对分割特征图进行上采样处理，直到输出的第二分割特征图的尺寸与图像块的尺寸相同。得到第二分割特征图是为了便于后续步骤中得到目标分割标签。
本申请另一实施例中，对分割特征图进行上采样处理，指的是对所有的分割特征图进行上采样处理，分割特征图的数量在此不做具体限定。
步骤S520：当只存在一个第二分割特征图，将第二分割特征图映射到预设的第三阈值，生成目标分割标签；或者，当存在多个第二分割特征图，将多个第二分割特征图相加后取平均，得到第三分割特征图，将第三分割特征图映射到预设的第三阈值，生成目标分割标签。
本步骤中，由第二分割特征图生成目标分割标签，当只存在一个第二分割特征图，将第二分割特征图映射到预设的第三阈值，生成目标分割标签；或者，当存在多个第二分割特征图，将多个第二分割特征图相加后取平均，得到第三分割特征图，将第三分割特征图映射到预设的第三阈值，生成目标分割标签，能够充分使用中间分类特征图生成的分割特征图来生成目标分割标签，从而提高生成的目标分割标签的准确性，能够达到提高语义分割的准确性的目的。
本申请另一实施例中，参照图8，图像块的尺寸为H×W，图像分类标签中标签的数量是4，存在两个第二分割特征图，分别是S1与S2。将S1与S2分别上采样到尺寸4×H×W，然后S1与S2相加取平均。生成目标分割标签yseg3的公式如下：
Figure 805638DEST_PATH_IMAGE024
其中，threshold3表示的是经过相关技术中的threshold函数得到的阈值3，即是 说，threshold3就是预设的第三阈值，当
Figure 371748DEST_PATH_IMAGE025
，表明图像块中存在类别j的坐标，取第三 分割特征图
Figure 750382DEST_PATH_IMAGE026
中预测为类别j的坐标，且预测值要大于第三阈值，这样该坐标是类别j 的概率更大，从而分配类别标签j给该坐标。
本实施例中，通过采用包括有上述步骤S510至步骤S520的弱监督语义分割方法，对分割特征图进行上采样处理，得到第二分割特征图，其中，第二分割特征图的尺寸与图像块的尺寸相同；当只存在一个第二分割特征图，将第二分割特征图映射到预设的第三阈值，生成目标分割标签；或者，当存在多个第二分割特征图，将多个第二分割特征图相加后取平均，得到第三分割特征图，将第三分割特征图映射到预设的第三阈值，生成目标分割标签，能够充分使用中间分类特征图生成的分割特征图来生成目标分割标签，从而提高生成的目标分割标签的准确性，能够达到提高语义分割的准确性的目的。
值得注意的是，利用目标分割标签yseg3优化由图像块得到的目标特征图
Figure 110956DEST_PATH_IMAGE027
，分割损失函数Lseg3的计算公式如下：
Figure 498075DEST_PATH_IMAGE028
在上式中，
Figure 930194DEST_PATH_IMAGE029
表示目标分割标签yseg3中取值不是255 的像素数量。其中，对于标签为255的像素，通过第二分割特征图还不能较高置信地判定该 像素的类别，所以，目标分割标签为255的像素不参与优化第二分割网络的第二分割参数。 而随着根据目标分割标签对第二分割网络的训练，该第二分割网络可以自动将标签为255 的像素分类到与该像素语义最相似的一类。
在一实施例中，如图6所示，对弱监督语义分割方法进行进一步的说明，步骤S120还可以包括但不限于有步骤S610。
步骤S610：将目标分类特征图输入第四卷积层，得到类别激活图，其中，第四卷积层具有1×1的卷积核，第四卷积层的步长为1，第四卷积层的通道数等于图像分类标签中标签的数量。
本步骤中，第四卷积层具有1×1的卷积核，第四卷积层的通道数等于图像分类标签中标签的数量，将目标分类特征图输入第四卷积层后，得到的类别激活图尺寸与目标分类特征图的尺寸相同，类别激活图的通道数等于图像分类标签中标签的数量，第四卷积层的步长为1，从而能够对目标分类特征图的特征信心进行压缩再得到类别激活图，以使得类别激活图能够突出图像块中的关键部位的目的。
本实施例中，通过采用包括有上述步骤S610的弱监督语义分割方法，将目标分类特征图输入第四卷积层，得到类别激活图，其中，第四卷积层具有1×1的卷积核，第四卷积层的步长为1，第四卷积层的通道数等于图像分类标签中标签的数量，得到的类别激活图尺寸与目标分类特征图的尺寸相同，类别激活图的通道数等于图像分类标签中标签的数量，从而能够对目标分类特征图的特征信心进行压缩再得到类别激活图，以使得类别激活图能够突出图像块中的关键部位的目的。
在一实施例中，如图7所示，对弱监督语义分割方法进行进一步的说明，步骤S120还可以包括但不限于有步骤S710和步骤S720。
步骤S710：对类别激活图进行全局平均池化，得到分类输出结果。
本步骤中，全局平均池化（Global Average Pooling， GAP）指的是相关技术中的能够用于代替全连接层的全局平局池化，对类别激活图进行全局平均池化，得到分类输出结果，能够有效防止过拟合。得到分类输出结果是为了便于后续步骤中对骨干分类网络的分类参数进行调整。
步骤S720：对分类输出结果进行非线性激活处理，将激活后的分类输出结果输入损失函数，得到分类损失值，利用图像块的图像分类标签以及分类损失值，对骨干分类网络的分类参数进行调整。
本步骤中，对分类输出结果进行非线性激活处理，可以是将分类输出结果通过相关技术中的sigmoid函数进行非线性激活，将激活后的分类输出结果输入损失函数，得到分类损失值，从而再利用图像块的图像分类标签以及分类损失值，对骨干分类网络的分类参数进行调整，能够达到提高骨干分类网络的准确性的目的。
本申请另一实施例中，对于分类输出结果F5，激活函数可以是
Figure 820789DEST_PATH_IMAGE030
，
Figure 617844DEST_PATH_IMAGE031
表示F5 的第i个元素。损失函数可以是二元交叉熵（Binary Cross Entropy, BCE）损失函数，图像 分类标签中标签的数量为4，利用图像块的图像分类标签
Figure 288997DEST_PATH_IMAGE032
进行优化的公式如下：
Figure 462489DEST_PATH_IMAGE033
本实施例中，通过采用包括有上述步骤S710至步骤S720的弱监督语义分割方法，对类别激活图进行全局平均池化，得到分类输出结果；对分类输出结果进行激活处理，将激活后的分类输出结果输入损失函数，得到分类损失值，利用图像块的图像分类标签以及分类损失值，对骨干分类网络的分类参数进行调整，能够有效防止过拟合的情况，提高骨干分类网络的准确性，从而提高分类特征图以及类别激活图对图像分割标签的表征的准确性，达到提高语义分割的准确性的目的。
再次，本申请的一个实施例还提供了一种语义分割方法，包括：
获取组织病理图像数据集，组织病理图像数据集指的是相关技术中的组织病理图像数据集，在组织病理图像数据集中具有多个组织病理图像。
对组织病理图像数据集进行切片处理，得到多个图像块，切片处理可以是先预设 好需要得到的图像块的大小为3×H×W，再用滑窗从上到下，从左到右划过组织病理图像数 据集进行全切片，得到图像块
Figure 473170DEST_PATH_IMAGE034
。
根据上述的弱监督语义分割方法对图像块进行训练，得到图像块的语义分割结果，上述实施例中的弱监督语义分割方法，例如，以上描述的图1中的方法步骤S110至S150、图2中的方法步骤S210至S250、图3中的方法步骤S310至S340、图4中的方法步骤S410至S420、图5中的方法步骤S510至S520、图6中的方法步骤S610、图7中的方法步骤S710至S720。
将图像块的语义分割结果进行拼接处理，得到组织病理图像数据集的语义分割结果，语义分割结果是图像块得到的目标特征图，将语义分割结果进行拼接，即是说，将多个图像块得到的目标特征图进行拼接，从而得到组织病理图像对应的语义分割结果。
另外，本申请的一个实施例还提供了一种数据处理装置，该数据处理装置包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序。
处理器和存储器可以通过总线或者其他方式连接。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实现上述实施例的弱监督语义分割方法所需的非暂态软件程序以及指令存储在存储器中，当被处理器执行时，执行上述实施例中的弱监督语义分割方法，例如，执行以上描述的图1中的方法步骤S110至S150、图2中的方法步骤S210至S250、图3中的方法步骤S310至S340、图4中的方法步骤S410至S420、图5中的方法步骤S510至S520、图6中的方法步骤S610、图7中的方法步骤S710至S720。
此外，本申请的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器或控制器执行，例如，被上述装置实施例中的一个处理器执行，可使得上述处理器执行上述实施例中的弱监督语义分割方法，例如，执行以上描述的图1中的方法步骤S110至S150、图2中的方法步骤S210至S250、图3中的方法步骤S310至S340、图4中的方法步骤S410至S420、图5中的方法步骤S510至S520、图6中的方法步骤S610、图7中的方法步骤S710至S720。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、***可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质（或非暂时性介质）和通信介质（或暂时性介质）。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息（诸如计算机可读指令、数据结构、程序模块或其他数据）的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (10)

1.一种弱监督语义分割方法，其特征在于，包括：
获取输入的图像块，所述图像块均对应设置有图像分类标签；
利用骨干分类网络对所述图像块进行分类处理，得到分类特征图，所述分类特征图的尺寸各不相同，所述分类特征图包括所述分类处理后输出的目标分类特征图和所述分类处理中不输出的中间分类特征图；根据所述目标分类特征图得到类别激活图，利用所述图像分类标签和所述类别激活图对所述骨干分类网络的分类参数进行调整；
利用第一分割网络对所述中间分类特征图进行第一分割处理，得到分割特征图，其中，每一个所述中间分类特征图均对应有一个所述第一分割网络，所述中间分类特征图包括相邻的第一分类特征图以及第二分类特征图，所述第一分类特征图的尺寸大于所述第二分类特征图的尺寸，所述中间分类特征图还包括与所述目标分类特征图相邻的第三分类特征图；利用所述类别激活图以及所述第二分类特征图得到的分割特征图，分别生成伪分割标签；根据所述伪分割标签对所述第一分割网络的第一分割参数进行调整；
利用第二分割网络对所述图像块进行第二分割处理，得到目标特征图；利用所述分割特征图生成目标分割标签，根据所述目标分割标签和所述目标特征图对所述第二分割网络的第二分割参数进行调整；
将训练完成后得到的所述目标特征图作为语义分割结果。
2.根据权利要求1所述的弱监督语义分割方法，其特征在于，在训练第一分割网络步骤中，所述利用第一分割网络对所述中间分类特征图进行第一分割处理，得到分割特征图，包括：
将所述中间分类特征图输入第一卷积层，得到第一结果特征图，其中，所述第一卷积层具有1×1的卷积核，所述第一卷积层的通道数为256，所述第一卷积层的填充值是0；
将所述第一结果特征图输入第二卷积层，得到第二结果特征图，其中，所述第二卷积层具有3×3的卷积核，所述第二卷积层的通道数为256，所述第二卷积层的填充值是1；
将所述第二结果特征图输入第三卷积层，得到第三结果特征图，其中，所述第三卷积层具有5×5的卷积核，所述第三卷积层的通道数为256，所述第三卷积层的填充值是2；
将所述第一结果特征图、第二结果特征图和第三结果特征图进行级联处理，得到通道扩展特征图；
对所述通道扩展特征图进行全连接激活处理，得到分割特征图，其中，所述分割特征图的通道数与所述图像分类标签中标签的数量相同。
3.根据权利要求2所述的弱监督语义分割方法，其特征在于，所述伪分割标签包括第一分割标签和第二分割标签，在训练第一分割网络步骤中，所述利用所述类别激活图以及所述第二分类特征图得到的分割特征图，分别生成伪分割标签，包括：
对所述类别激活图进行上采样处理，得到类别分割特征图，其中，所述类别分割特征图的尺寸与所述第三分类特征图的尺寸相同；
将所述类别分割特征图以及将类别分割特征图归一化处理后得到的特征图投射在预设的第一阈值，生成所述第一分割标签；
将所述第二分类特征图得到的分割特征图进行上采样处理，得到第一分割特征图，其中，所述第一分割特征图的尺寸与所述第一分类特征图的尺寸相同；
将所述第一分割特征图投射在预设的第二阈值，生成所述第二分割标签。
4.根据权利要求3所述的弱监督语义分割方法，其特征在于，在训练第一分割网络步骤中，所述根据所述伪分割标签对所述第一分割网络的第一分割参数进行调整，包括：
根据所述第一分割标签，对所述第三分类特征图对应的第一分割网络的第一分割参数进行调整；
根据所述第二分割标签，对所述第一分类特征图对应的第一分割网络的第一分割参数进行调整。
5.根据权利要求1所述的弱监督语义分割方法，其特征在于，在训练第二分割网络步骤中，所述利用所述分割特征图生成目标分割标签，包括：
对所述分割特征图进行上采样处理，得到第二分割特征图，其中，所述第二分割特征图的尺寸与所述图像块的尺寸相同；
当只存在一个所述第二分割特征图，将所述第二分割特征图映射到预设的第三阈值，生成目标分割标签；或者，当存在多个所述第二分割特征图，将所述多个第二分割特征图相加后取平均，得到第三分割特征图，将所述第三分割特征图映射到预设的第三阈值，生成目标分割标签。
6.根据权利要求1所述的弱监督语义分割方法，其特征在于，在训练分类网络步骤中，所述根据所述目标分类特征图得到类别激活图，包括：
将所述目标分类特征图输入第四卷积层，得到类别激活图，其中，所述第四卷积层具有1×1的卷积核，所述第四卷积层的步长为1，所述第四卷积层的通道数等于所述图像分类标签中标签的数量。
7.根据权利要求1所述的弱监督语义分割方法，其特征在于，在训练分类网络步骤中，所述利用所述图像块的图像分类标签和所述类别激活图对所述骨干分类网络的分类参数进行调整，包括：
对所述类别激活图进行全局平均池化，得到分类输出结果；
对所述分类输出结果进行非线性激活处理，将激活后的所述分类输出结果输入损失函数，得到分类损失值，利用所述图像块的图像分类标签以及所述分类损失值，对所述骨干分类网络的分类参数进行调整。
8.一种语义分割方法，其特征在于，包括：
获取组织病理图像数据集；
对所述组织病理图像数据集进行切片处理，得到多个图像块；
根据权利要求1至7任意一项所述的弱监督语义分割方法对所述图像块进行训练，得到图像块的语义分割结果；
将所述图像块的语义分割结果进行拼接处理，得到组织病理图像数据集的语义分割结果。
9.一种数据处理装置，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任意一项所述的弱监督语义分割方法或者如权利要求8所述的语义分割方法。
10.一种计算机可读存储介质，其中，存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1至7任意一项所述的弱监督语义分割方法或者如权利要求8所述的语义分割方法。
CN202210842122.XA 2022-07-18 2022-07-18 弱监督语义分割方法、语义分割方法及可读存储介质 Active CN114998595B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210842122.XA CN114998595B (zh) 2022-07-18 2022-07-18 弱监督语义分割方法、语义分割方法及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210842122.XA CN114998595B (zh) 2022-07-18 2022-07-18 弱监督语义分割方法、语义分割方法及可读存储介质

Publications (2)

Publication Number Publication Date
CN114998595A CN114998595A (zh) 2022-09-02
CN114998595B true CN114998595B (zh) 2022-11-08

Family

ID=83022724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210842122.XA Active CN114998595B (zh) 2022-07-18 2022-07-18 弱监督语义分割方法、语义分割方法及可读存储介质

Country Status (1)

Country Link
CN (1) CN114998595B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115170571B (zh) * 2022-09-07 2023-02-07 赛维森(广州)医疗科技服务有限公司 胸腹水细胞病理图像识别方法、图像识别装置、介质
CN115601550B (zh) * 2022-12-13 2023-04-07 深圳思谋信息科技有限公司 模型确定方法、装置、计算机设备及计算机可读存储介质
CN117456187B (zh) * 2023-11-10 2024-06-21 中国科学院空天信息创新研究院 基于基础模型的弱监督遥感图像语义分割方法及***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329659A (zh) * 2020-11-10 2021-02-05 平安科技（深圳）有限公司 基于车辆图像的弱监督语义分割方法及其相关设备
CN113159048A (zh) * 2021-04-23 2021-07-23 杭州电子科技大学 一种基于深度学习的弱监督语义分割方法
CN113657560A (zh) * 2021-10-20 2021-11-16 南京理工大学 基于节点分类的弱监督图像语义分割方法及***
CN114399638A (zh) * 2021-12-13 2022-04-26 深圳大学 基于切块补丁学习的语义分割网络训练方法、设备及介质
WO2022090483A1 (en) * 2020-11-02 2022-05-05 Tomtom Global Content B.V. Neural network models for semantic image segmentation
CN114463335A (zh) * 2021-12-24 2022-05-10 中国科学院自动化研究所 弱监督语义分割方法、装置、电子设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11151417B2 (en) * 2020-01-31 2021-10-19 Element Ai Inc. Method of and system for generating training images for instance segmentation machine learning algorithm

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022090483A1 (en) * 2020-11-02 2022-05-05 Tomtom Global Content B.V. Neural network models for semantic image segmentation
CN112329659A (zh) * 2020-11-10 2021-02-05 平安科技（深圳）有限公司 基于车辆图像的弱监督语义分割方法及其相关设备
CN113159048A (zh) * 2021-04-23 2021-07-23 杭州电子科技大学 一种基于深度学习的弱监督语义分割方法
CN113657560A (zh) * 2021-10-20 2021-11-16 南京理工大学 基于节点分类的弱监督图像语义分割方法及***
CN114399638A (zh) * 2021-12-13 2022-04-26 深圳大学 基于切块补丁学习的语义分割网络训练方法、设备及介质
CN114463335A (zh) * 2021-12-24 2022-05-10 中国科学院自动化研究所 弱监督语义分割方法、装置、电子设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Learning Affinity from Attention：End-to-End Weakly-Supervised Semantic Segmentation with Transformers;Lixing Ru et al.;《arxiv.org》;20220305;第1-17页 *
Shallow feature matters for weakly supervised object localization;Wei Jun et al.;《CVPR》;20211102;第5989-5997页 *
基于弱监督和半监督学习的红外舰船分割方法;尹旭等;《山东大学学报（工学版）》;20220430;第52卷(第2期);第99-106页 *

Also Published As

Publication number Publication date
CN114998595A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
CN111027493B (zh) 一种基于深度学习多网络软融合的行人检测方法
CN114998595B (zh) 弱监督语义分割方法、语义分割方法及可读存储介质
US9552536B2 (en) Image processing device, information storage device, and image processing method
WO2020238560A1 (zh) 视频目标跟踪方法、装置、计算机设备及存储介质
CN107341517B (zh) 基于深度学习层级间特征融合的多尺度小物体检测方法
US10019657B2 (en) Joint depth estimation and semantic segmentation from a single image
EP1968013A2 (en) Method for adapting a boosted classifier to new samples
US11657513B2 (en) Method and system for generating a tri-map for image matting
CN113657560B (zh) 基于节点分类的弱监督图像语义分割方法及***
CN111368636B (zh) 目标分类方法、装置、计算机设备和存储介质
US9025889B2 (en) Method, apparatus and computer program product for providing pattern detection with unknown noise levels
US20230281974A1 (en) Method and system for adaptation of a trained object detection model to account for domain shift
CN112613387A (zh) 一种基于YOLOv3的交通标志检测方法
CN114241388A (zh) 基于时空记忆信息的视频实例分割方法和分割装置
US20220335572A1 (en) Semantically accurate super-resolution generative adversarial networks
CN116612280A (zh) 车辆分割方法、装置、计算机设备和计算机可读存储介质
CN113657225B (zh) 一种目标检测方法
WO2023207535A1 (zh) 一种伪标签框生成方法、装置及电子设备
KR102026280B1 (ko) 딥 러닝을 이용한 씬 텍스트 검출 방법 및 시스템
CN116091784A (zh) 一种目标跟踪方法、设备及存储介质
CN114330542A (zh) 一种基于目标检测的样本挖掘方法、装置及存储介质
Das et al. Object Detection on Scene Images: A Novel Approach
US11935214B2 (en) Video content removal using flow-guided adaptive learning
US20240177466A1 (en) Method performed by electronic apparatus, electronic apparatus and storage medium
CN115937536A (zh) 基于光刻sem图像的轮廓提取方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant