CN117437425B - 语义分割方法、装置、计算机设备及计算机可读存储介质 - Google Patents
语义分割方法、装置、计算机设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN117437425B CN117437425B CN202311765323.5A CN202311765323A CN117437425B CN 117437425 B CN117437425 B CN 117437425B CN 202311765323 A CN202311765323 A CN 202311765323A CN 117437425 B CN117437425 B CN 117437425B
- Authority
- CN
- China
- Prior art keywords
- segmentation
- training
- head
- feature extraction
- extraction network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 412
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 282
- 238000000605 extraction Methods 0.000 claims abstract description 149
- 238000003384 imaging method Methods 0.000 claims abstract description 102
- 238000005457 optimization Methods 0.000 claims abstract description 73
- 230000008569 process Effects 0.000 claims abstract description 23
- 230000007547 defect Effects 0.000 claims description 42
- 238000004590 computer program Methods 0.000 claims description 23
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 5
- 208000034656 Contusions Diseases 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 208000025962 Crush injury Diseases 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000007670 refining Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 208000034526 bruise Diseases 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000011731 head segmentation Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 239000013049 sediment Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种语义分割方法、装置、计算机设备及计算机可读存储介质。方法包括：基于样本数据对初始的语义分割模型进行至少两轮预训练，得到预训练模型；语义分割模型包括特征提取网络和至少两个分割头；在每轮预训练过程中，针对每个分割头，根据分割头输出的预测结果和样本数据的类别标签之间的差异，对特征提取网络与该分割头共同迭代优化，得到每轮预训练后的特征提取网络和分割头；特征提取网络在每轮预训练中的迭代优化次数与分割头数量一致；基于预训练模型对获取的待测产品的面成像进行语义分割，得到语义分割结果。采用本申请，能够实现无需重新训练模型，节约计算资源。
Description
技术领域
本申请涉及人工智能技术领域，特别是涉及一种语义分割方法、装置、计算机设备及计算机可读存储介质。
背景技术
随着人工智能技术的发展，出现了语义分割方法。语义分割是一种计算机视觉技术，它可以将图像中的每个像素按照它的语义分类，帮助机器更好地理解和解释图像中的内容，从而在许多领域中实现更高效、更准确的任务。
传统技术中，语义分割模型能够很好地识别已有类别，但对新增类别的识别效果较差。因此，当出现新的类别时，往往需要重新训练语义分割模型，消耗大量的计算资源。
发明内容
基于此，有必要针对上述技术问题，提供一种语义分割方法、装置、计算机设备、计算机可读存储介质以及计算机程序产品，能够实现无需重新训练模型，节约计算资源。
第一方面，本申请提供了一种语义分割方法，包括：
基于样本数据对初始的语义分割模型进行至少两轮预训练，得到预训练模型；语义分割模型包括特征提取网络和至少两个分割头；特征提取网络用于提取特征图；至少两个分割头包括第一分割头和至少一个第二分割头；第一分割头用于将特征图转化成噪声类别下的预测结果；每个第二分割头用于将特征图转化成真实类别下的预测结果；
其中，在每轮预训练过程中，针对每个分割头，根据分割头输出的预测结果和样本数据的类别标签之间的差异，对特征提取网络与分割头共同迭代优化，得到每轮预训练后的特征提取网络和分割头；特征提取网络在每轮预训练中的迭代优化次数与分割头的数量一致；
基于预训练模型对获取的待测产品的面成像进行语义分割，得到语义分割结果。
第二方面，本申请提供了一种语义分割装置，包括：
第一训练模块，用于基于样本数据对初始的语义分割模型进行至少两轮预训练，得到预训练模型；语义分割模型包括特征提取网络和至少两个分割头；特征提取网络用于提取特征图；至少两个分割头包括第一分割头和至少一个第二分割头；第一分割头用于将特征图转化成噪声类别下的预测结果；每个第二分割头用于将特征图转化成真实类别下的预测结果；
其中，在每轮预训练过程中，针对每个分割头，根据分割头输出的预测结果和样本数据的类别标签之间的差异，对特征提取网络与分割头共同迭代优化，得到每轮预训练后的特征提取网络和分割头；特征提取网络在每轮预训练中的迭代优化次数与分割头的数量一致；
分割模块，用于基于预训练模型对获取的待测产品的面成像进行语义分割，得到语义分割结果。
第三方面，本申请提供了一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行该计算机程序时实现上述的方法中的步骤。
第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的方法中的步骤。
第五方面，本申请提供了一种计算机程序产品，计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现上述的方法中的步骤。
上述语义分割方法、装置、计算机设备、计算机可读存储介质及计算机程序产品，基于样本数据对初始的语义分割模型进行至少两轮预训练，得到预训练模型；在每轮预训练过程中，针对每个分割头，根据分割头输出的预测结果和样本数据的类别标签之间的差异，对特征提取网络与分割头共同迭代优化，得到每轮预训练后的特征提取网络和分割头；其中，特征提取网络在每轮预训练中的迭代优化次数与分割头的数量一致；每个分割头都分别与特征提取网络共同迭代优化，各个分割头的迭代优化是相互隔离的，便于后续增加新的分割头或对已有分割头进行编辑，在保证分割头性能的同时提高可扩展性。并且，语义分割模型中存在噪声类别对应的第一分割头，通过加入噪声类别对应的第一分割头，避免了特征提取网络过度地记录各真实类别的具体信息，实现了将至少两个分割头与特征提取网络的解耦，进一步提高了可扩展性的同时保证特征提取网络提取的特征更丰富多样。而且，由于特征提取网络与第一分割头共同迭代化时，第一分割头对应的真实类别是不固定的，这就使得特征提取网络获得了一定的探索能力，这使得其对新增类别有更多的兼容能力。因此，经过至少两轮预训练的预训练模型具备可靠性和可扩展性，对于已有的真实类别下的待测产品具备可靠的语义分割性能，即使待测产品属于新类别，无需对语义分割模型重新开始训练，只需在预训练模型中增设分割头或编辑已有分割头即可实现对模型的增量更新，大大节约了计算资源；进而基于预训练模型对待测产品的面成像进行语义分割，得到待测产品的语义分割结果，在准确地语义分割的同时节约计算资源。
附图说明
图1为本申请实施例提供的一种语义分割方法的流程示意图；
图2为本申请实施例提供的一种语义分割模型的结构示意图；
图3为本申请实施例提供的一种每轮预训练或细化训练中迭代优化的示意图；
图4为本申请实施例提供的一种每轮增量训练中迭代优化的示意图；
图5为本申请实施例提供的一种语义分割装置的结构框图；
图6为本申请实施例提供的一种计算机设备的内部结构图；
图7为本申请实施例提供的另一种计算机设备的内部结构图；
图8为本申请实施例提供的一种计算机可读存储介质的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
如图1所示，本申请实施例提供了一种语义分割方法，以该方法应用于计算机设备为例进行说明。可以理解的是，计算机设备可以包括终端和服务器中的至少一种。该方法包括以下步骤：
S102、基于样本数据对初始的语义分割模型进行至少两轮预训练，得到预训练模型；语义分割模型包括特征提取网络和至少两个分割头；特征提取网络用于提取特征图；至少两个分割头包括第一分割头和至少一个第二分割头；第一分割头用于将特征图转化成噪声类别下的预测结果；每个第二分割头用于将特征图转化成真实类别下的预测结果；
其中，在每轮预训练过程中，针对每个分割头，根据分割头输出的预测结果和样本数据的类别标签之间的差异，对特征提取网络与分割头共同迭代优化，得到每轮预训练后的特征提取网络和分割头；特征提取网络在每轮预训练中的迭代优化次数与分割头的数量一致。
其中，第一分割头用于分割噪声类别，第二分割头用于分割真实类别。不同的第二分割头对应不同的真实类别。每个第二分割头用于将特征图转化成至少一个真实类别下的预测结果。比如，每个第二分割头分割1至3个真实类别。
示例性地，样本数据携带有类别标签。每个样本数据的类别标签是噪声标签或该样本数据所属真实类别的标签。
在一些实施例中，数据集包括每个真实类别下的样本数据。服务器可以从数据集中随机选择样本数据，将被选中的样本数据标记噪声类别标签，以得到新的数据集。新的数据集中的样本数据用于对初始的语义分割模型进行预训练。
在一些实施例中，样本数据是对目标类型产品的至少两个面的成像分别标记所属的真实类别的标签或噪声类别标签得到的。每个面的成像是指对目标类型产品的这个面采集的图像。
在一些实施例中，目标类型产品可以但不限于是杯子。
在一些实施例中，样本数据可以包括目标类型产品的侧面、底面和正面成像等。
在一些实施例中，如图2所示，提供了语义分割模型的结构示意图。语义分割模型包括主干网络、颈部网络和头部网络。主干网络和颈部网络共同构成了特征提取网络。头部网络包括至少两个分割头。其中，主干网络用于对语义分割模型的输入进行初步的特征提取。颈部网络用于对初步的特征提取结果进一步地提取出特征图。头部网络用于将特征图转换成各类别下的预测结果。
可以理解，本申请实施例提供的方法可以应用于终端或服务器，也可以应用于包括终端和服务器的***，通过终端和服务器的交互实现。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备及便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一些实施例中，计算机设备可以在每轮预训练过程中，针对每个分割头，将特征提取网络对样本数据提取的特征图输入到该分割头中，得到该分割头输出的预测结果。根据该分割头输出的预测结果和样本数据的类别标签之间的差异确定该分割头对应的损失。朝着该分割头对应的损失减小的方向，对特征提取网络与该分割头共同迭代优化，得到本次优化后的特征提取网络和本轮预训练后的该分割头。需要说明的是，本申请实施例中对于根据预测结果和样本数据的类别标签之间的差异计算损失的方式不作限定，只要计算出的损失能够指导分割头和特征提取网络的参数优化即可。
在一些实施例中，计算机设备可以在达到预训练结束条件的情况下，结束对语义分割模型的预训练，得到最后一轮预训练后的预训练模型。预训练模型用于识别目标类型的待测产品的面成像中各像素属于的真实类别。
在一些实施例中，计算机设备可以在预训练的轮数达到预设预训练轮数的情况下，确定包括最后一轮预训练后的特征提取网络和至少两个分割头的预训练模型。
S104、基于预训练模型对获取的待测产品的面成像进行语义分割，得到语义分割结果。
示例性地，真实类别可以是指缺陷类别。可以理解，第二分割头可以是缺陷分割头，第一分割头可以是噪声分割头。语义分割结果可以但不限于是缺陷检测结果。缺陷检测结果用于表征待测产品的面成像中的缺陷。计算机设备可以基于预训练模型对待测产品的面成像进行语义分割，得到待测产品的缺陷检测结果。
在一些实施例中，在待测产品属于新增类别的情况下，基于预训练模型和新增类别下的样本进行增量训练，得到增量训练模型。基于增量训练模型对待测产品进行语义分割，得到语义分割结果。
在一些实施例中，真实类别可以包括碰伤、压伤、擦伤、划伤、异色或脏污等缺陷中的至少一种。
在一些实施例中，计算机设备可以基于目标型号产品的面成像样本对预训练模型进行细化训练得到细化训练模型。基于细化训练模型对待测产品的面成像进行语义分割，得到语义分割结果。
在一些实施例中，目标型号产品可以是目标型号的杯子。目标型号产品是从目标类型产品的基础上进一步细化出的产品。
在一些实施例中，目标型号产品可以但不限于是目标厂商生成的目标类型产品。可以理解，目标厂商生产的目标类型产品无法涵盖所有的目标类型产品，而只包括一定型号的目标类型产品。
在一些实施例中，目标型号产品的面成像样本可以包括目标型号产品的目标面成像样本。目标面是指从目标型号产品的各个面中指定的面。
在一些实施例中，计算机设备可以基于新增类别下的新增面成像样本对细化训练模型中新增的第三分割头或编辑后的第二分割头进行增量训练，得到增量训练模型。基于增量训练模型对待测产品的面成像进行语义分割，得到语义分割结果。新增面成像样本可以是指目标型号产品在新增类别下的面成像。新增面成像样本可以包括新增目标面成像样本。新增目标面成像样本是指目标型号产品在新增类别下的目标面成像。
在一些实施例中，计算机设备可以基于新增类别下的新增面成像样本对预训练模型中新增的第三分割头或编辑后的第二分割头进行增量训练，得到增量训练模型。基于增量训练模型对待测产品的面成像进行语义分割，得到语义分割结果。新增面成像样本可以是指目标类型产品在新增类别下的面成像。
可见，在本申请实施例中，基于样本数据对初始的语义分割模型进行至少两轮预训练，得到预训练模型；在每轮预训练过程中，针对每个分割头，根据分割头输出的预测结果和样本数据的类别标签之间的差异，对特征提取网络与分割头共同迭代优化，得到每轮预训练后的特征提取网络和分割头；其中，特征提取网络在每轮预训练中的迭代优化次数与分割头的数量一致；每个分割头都分别与特征提取网络共同迭代优化，各个分割头的迭代优化是相互隔离的，便于后续增加新的分割头或对已有分割头进行编辑，在保证分割头性能的同时提高可扩展性。并且，语义分割模型中存在噪声类别对应的第一分割头，通过加入噪声类别对应的第一分割头，避免了特征提取网络过度地记录各真实类别的具体信息，实现了将至少两个分割头与特征提取网络的解耦，进一步提高了可扩展性的同时保证特征提取网络提取的特征更丰富多样。而且，由于特征提取网络与第一分割头共同迭代化时，第一分割头对应的真实类别是不固定的，这就使得特征提取网络获得了一定的探索能力，这使得其对新增类别有更多的兼容能力。因此，经过至少两轮预训练的预训练模型具备可靠性和可扩展性，对于已有的真实类别下的待测产品具备可靠的语义分割性能，即使待测产品属于新类别，无需对语义分割模型重新开始训练，只需在预训练模型中增设分割头或编辑已有分割头即可实现对模型的增量更新，大大节约了计算资源；进而基于预训练模型对待测产品的面成像进行语义分割，得到待测产品的语义分割结果，在准确地语义分割的同时节约计算资源。
在一些实施例中，针对每个分割头，根据分割头输出的预测结果和样本数据的类别标签之间的差异，对特征提取网络与分割头共同迭代优化，得到每轮预训练后的特征提取网络和分割头，包括：
将特征提取网络针对样本数据提取的特征图输入至第一分割头；
根据第一分割头输出的预测结果和样本数据的类别标签之间的差异，对特征提取网络和第一分割头共同迭代优化，得到本次优化后的特征提取网络和本轮预训练后的第一分割头；
针对每个第二分割头，将上一次优化后的特征提取网络针对样本数据提取的特征图输入至第二分割头，根据第二分割头输出的预测结果和样本数据的类别标签之间的差异，对上一次优化后的特征提取网络和第二分割头共同迭代优化，得到本次优化后的特征提取网络和本轮预训练后的第二分割头；
其中，每轮预训练过程中最后一次优化后的特征提取网络为每轮预训练后的特征提取网络。
示例性地，特征提取网络针对样本数据提取的特征图被输入至第一分割头，第一分割头将特征图转化成在噪声类别下的预测结果。根据第一分割头输出的预测结果和样本数据的类别标签之间的差异确定第一分割头对应的损失。朝着第一分割头对应的损失减小的方向，对特征提取网络和第一分割头共同迭代优化，得到本次优化后的特征提取网络和本轮预训练后的第一分割头。
第二分割头可以是一个或多个。依次将每个第二分割头分别与特征提取网络共同迭代优化。在得到本轮预训练后的第一分割头后，依次遍历每个第二分割头，针对遍历至的第二分割头，将上一次优化后的特征提取网络对样本数据提取的特征图输入至该第二分割头，根据该第二分割头输出的预测结果和样本数据的类别标签之间的差异确定该第二分割头对应的损失。朝着该第二分割头对应的损失减小的方向，对上一次优化后的特征提取网络和本轮预训练后的该第二分割头，直至遍历至的最后一第二分割头优化完毕，得到本轮优化后的特征提取网络和本轮优化后的各个分割头。
在一些实施例中，在每轮预训练过程中，特征提取网络和每个分割头共同迭代优化时的学习率可以是相同的。
在一些实施例中，计算机设备可以根据视觉特征或特征形态中的至少一种将相似的真实类别对应到同一第二分割头中，保持每个分割头分割的真实类别的数量不超过预设类别数量。可以理解，每个第二分割头分割的各真实类别是相似的。
在一些实施例中，计算机设备可以对每个真实类别下的样本数据进行特征提取，确定每个真实类别对应的视觉特征，通过确定各视觉特征之间的第一相似度，从各真实类别中确定出相似的至少一个真实类别。
在一些实施例中，开发人员可以通过观察判断真实类别对应的视觉特征是否相似，确定各真实类别间的相似性，从而判断出相似的至少一个真实类别。将相似的至少一个真实类别对应到同一第二分割头。
在一些实施例中，计算机设备可以根据每个真实类别下的样本数据确定每个真实类别对应的特征形态，通过确定各特征形态之间的第二相似度，从各真实类别中确定出相似的至少一个真实类别。
在一些实施例中，计算机设备可以对第一相似度和第二相似度进行加权融合，得到第三相似度。根据第三相似度从各真实类别中确定出相似的至少一个真实类别。其中，相似的至少一个真实类别的数量不超过预设类别数量。
可见，在本实施例中，每轮预训练时依次轮流训练特征提取网络+某个分割头，这种依次训练的方式使得特征提取网络汇总了真实类别间的共性与差异，提升了模型的分割性能，同时保证各分割头的训练相互隔离提高了可扩展性。并且，轮流训练特征提取网络+某个分割头时，由于第一分割头对应的真实类别是不固定的，故而优先将特征提取网络与第一分割头共同迭代优化，能够在使得特征提取网络具备探索能力的同时，不影响到第二分割头的训练效果，保证训练的第二分割头的性能。
在一些实施例中，方法还包括：
基于目标型号产品的目标面成像样本对预训练模型的特征提取网络、第一分割头和第二分割头进行至少两轮细化训练，得到细化训练模型；
基于预训练模型对获取的待测产品的面成像进行语义分割，得到语义分割结果，包括：
基于细化训练模型对获取的待测产品的目标面成像进行语义分割，得到语义分割结果；
其中，在每轮细化训练过程中，特征提取网络的学习率低于第一分割头和第二分割头的学习率；细化训练模型，用于对目标型号产品的目标面成像进行语义分割。
示例性地，计算机设备可以获取对目标型号产品采集的目标面成像样本。可以理解，预训练所使用的样本数据可以但不限于是行业沉淀数据集。而目标面成像样本则是对目标厂商生产的目标型号产品采集的样本，即目标面成像样本是细化到目标厂商生成的目标型号产品的目标面场景下获取的样本。故而细化训练模型适用于对目标型号的待测产品的目标面的语义分割。除了每轮细化训练中每次优化时，特征提取网络的学习率低于各分割头的学习率之外，每轮细化训练的过程与每轮预训练的过程一致。
在每轮细化训练的过程中，针对每个分割头，根据该分割头输出的预测结果和目标面成像样本的类别标签之间的差异，对特征提取网络与该分割头共同迭代优化，以得到每轮细化训练后的特征提取网络和各分割头。特征提取网络在一轮细化训练中的迭代优化次数与分割头的数量一致。
在至少两轮细化训练结束的情况下，获取细化训练模型。待测产品可以是目标型号的产品。将待测产品的目标面成像输入至细化训练模型，得到细化训练模型输出的待测产品的语义分割结果。
在一些实施例中，在达到细化训练停止条件的情况下，结束细化训练。
在一些实施例中，在细化训练的轮数达到预设细化训练轮数的情况下，确定包括最后一轮细化训练后的特征提取网络和各第二分割头的细化训练模型。可以理解，由于预训练模型还需要被细化到具体的应用场景才能够被投入使用，因此预训练模型中会保留第一分割头，以保证细化训练模型中的特征提取网络也具备可扩展性。而细化训练模型已经细化到具体应用场景中，可以不再保留第一分割头，后续固化细化训练模型中的特征提取网络并仅头部网络中新增的第三分割头或编辑的第二分割头进行增量训练即可。
在一些实施例中，在每轮细化训练过程中，每次对特征提取网络进行迭代优化时的学习率是对分割头进行迭代优化时的学习率的预设倍数。比如，特征提取网络的学习率可以是分割头的学习率的0.01倍。可以理解，预训练后的特征提取网络能够提取丰富的特征，在细化训练中降低特征提取网络的学习率能够避免特征提取网络过拟合的问题，保证特征提取网络的兼容性，使得特征提取网络能够适应增量训练中新增的第三分割头或编辑的第二分割头。
在一些实施例中，如图3所示，提供了每轮预训练或细化训练中迭代优化的示意图。语义分割模型和预训练模型中包括1个用于增加扩展性的噪声分割头和n个缺陷分割头。噪声分割头用于分割噪声类别。缺陷分割头1用于分割碰伤、压伤和擦伤这三个缺陷类别。缺陷分割头2用于分割划伤这一缺陷类别。缺陷分割头n用于分割异色和脏污这两个缺陷类别。
每轮预训练或细化训练中，在未迭代，即迭代次数为0时，首先对噪声分割头与特征提取网络共同优化。将第1次迭代后的特征提取网络与缺陷分割头1共同优化。将第2次迭代后的特征提取网络与缺陷分割头2共同优化，以此类推。直至将第n次迭代后的特征提取网络与缺陷分割头n共同优化后，开始下一轮预训练或细化训练。
可以理解，图3中每轮预训练或细化训练迭代n优化，是指在每轮预训练或细化训练中迭代n次后的优化。
可见，在本实施例中，基于目标型号产品的目标面成像样本对预训练模型进行细化训练，得到的细化训练模型用于对目标型号的待测产品的目标面成像的语义分割。并且，细化训练过程中，特征提取网络的学习率低于分割头的学习率，避免特征提取网络出现过拟合问题，保证特征提取网络的兼容性，便于后续对细节训练模型的增量训练。
在一些实施例中，方法还包括：
确定新增类别下的新增目标面成像样本；
确定待增量训练的第三分割头；第三分割头包括新增的分割头和增加输出通道的第二分割头中的至少一种；
在基于新增目标面成像样本对细化训练模型进行增量训练的过程中，固化细化训练模型的特征提取网络和非第三分割头分别对应的模型参数，并基于新增目标面成像样本对第三分割头进行增量训练，得到增量训练后的第三分割头；
确定包括增量训练后的第三分割头的增量训练模型；
基于细化训练模型对获取的待测产品的目标面成像进行语义分割，得到语义分割结果，包括：
基于增量训练模型对获取的待测产品的目标面成像进行语义分割，得到语义分割结果。
示例性地，在目标型号产品的生产过程中会出现各种异常情况，导致目标型号产品的目标面成像中的类别增加，对于新增类别需要对细化训练模型进行增量训练，使得训练出的增量训练模型能够识别新增类别。
获取采集的目标型号产品在新增类别下的目标面成像，得到新增目标面成像样本。在细化训练模型中增设分割头，确定待增量训练的第三分割头，增设的分割头用于将特征图转化成新增类别下的预测结果。
基于新增目标面成像样本对细化训练模型进行增量训练。在每轮增量训练过程中，固化特征提取网络和非第三分割头分别对应的模型参数，针对每个第三分割头，基于新增目标面成像样本对该第三分割头进行增量训练，得到本轮增量训练后的各第三分割头。确定包括最后一轮增量训练后的各第三分割头的增量训练模型。
将待测产品的目标面成像输入至增量训练模型中，得到增量训练模型输出的语义分割结果。
可以理解，增量训练的过程中，只有待增量训练的第三分割头需要训练。非第三分割头，即除第三分割头外的分割头无需训练。
在一些实施例中，针对每个第三分割头，将特征提取网络对新增目标面成像样本提取的特征图输入至该第三分割头，根据该第三分割头输出的预测结果与新增目标面成像样本的类别标签的差异确定该第三分割头对应的损失，朝着该第三分割头对应的损失减小的方向，对该第三分割头进行迭代优化，得到本轮增量训练后的第三分割头。
在一些实施例中，计算机设备可以通过增设新的分割头得到第三分割头，或者在已有的第二分割头中增设输出通道得到第三分割头。增设的输出通道用于输出新增类别下的预测结果。
在一些实施例中，新增类别为至少两个。不同的新增类别可以对应不同方式得到的第三分割头。比如，新增类别与已有的真实类别相似的情况下，可以通过增设输出通道的方式得到第三分割头，新增类别与已有的真实类别不相似的情况下，可以通过增设一个全新的分割头得到第三分割头。可以理解，计算机设备可以在每轮增量训练的过程中，遍历各第三分割头，针对遍历至的第三分割头进行迭代优化。
在一些实施例中，在增量训练的轮数达到预设增量训练次数的情况下，停止增量训练，得到增量训练模型。
在一些实施例中，如图4所示，提供了每轮增量训练中迭代优化的示意图。新形态划伤和气泡是两个新增类别。新形态划伤与已有的划伤这一缺陷类别相似，故而在缺陷分割头中增加一个输出通道用于输出新形态划伤这一新增类别下的预测结果。气泡与已有的碰伤、压伤、擦伤、划伤、异色和脏污均不相似，故而增加一个缺陷分割头n+1，用于分割气泡这一新增类别。缺陷分割头2和缺陷分割头n+1是待增量训练的第三分割头。通过在每轮增量训练中，对缺陷分割头2和缺陷分割头n+1进行迭代优化，能够得到适于分割新形态划伤和气泡这两个新增类别的细化训练模型。
可见，在本实施例中，通过新增分割头或者对已有的第二分割头增设输出通道得到第三分割头，只需在每轮增量训练过程中，对每个第三分割头进行迭代优化，即可实现对细化训练模型的增量更新，大大节约了计算资源。
在一些实施例中，确定待增量训练的第三分割头，包括：
确定与新增类别相似的真实类别对应的待修改的第二分割头；
在待修改的第二分割头中增设输出通道，得到待增量训练的第三分割头；其中，增设的输出通道用于输出新增类别下的预测结果。
示例性地，计算机设备可以针对每个新增类别，从已有的真实类别中确定出与该新增类别相似的相似类别。在用于分割相似类别的第二分割头的输出通道数量未达到预设类别数量的情况下，将该第二分割头作为待修改的第二分割头。在待修改的第二分割头中增设输出通道，得到待增量训练的第三分割头。
在一些实施例中，开发人员可以通过观察从已有的真实类别中确定新增类别的相似类别。
在一些实施例中，计算机设备可以确定细化训练模型对每个新增类别下的新增目标面成像样本输出的预测结果，根据细化训练模型输出的预测结果从已有的真实类别中确定与该新增类别相似的相似类别。可以理解，预测结果中包括样本中各像素属于真实类别的置信度。若新增类别与真实类别相似，则将该新增类别下的样本预测成该真实类别的置信度较高，比如，将相应置信度最高且置信度能够达到预设相似阈值的真实类别作为新增类别的相似类别。
在一些实施例中，已有的真实类别中不存在新增类别的相似类别或相似类别对应的第二分割头的输出通道数量达到预设类别数量的情况下，计算机设备可以通过在细化训练模型中增设全新的分割头，得到第三分割头。
可见，在本实施例中，确定与新增类别相似的真实类别对应的待修改的第二分割头；在待修改的第二分割头中增设输出通道，得到待增量训练的第三分割头，直接在已有的第二分割头中增加输出通道后进行增量训练即可，相较于直接增加新的分割头的方式，能够进一步节约计算资源。
在一些实施例中，真实类别是指缺陷类别；样本数据是对目标类型产品的各面成像标记相符的缺陷类别标签或噪声类别标签得到的；目标面成像样本是对目标型号产品的目标面成像标记相符的缺陷类别标签或噪声类别标签得到的；目标型号产品是在目标类型产品的基础上进一步细化出的产品。
示例性地，细化训练模型相较于预训练模型，更加适用于目标型号的待测产品的目标面成像的缺陷检测。计算机设备可以从每个真实类别下的目标面成像样本中随机选择目标面成像样本，将被选中的目标面成像样本标记噪声类别标签，得到噪声类别下的目标面成像样本。进而基于各真实类别下的目标面成像样本和噪声类别下的目标面成像样本对预训练模型进行细化训练，得到细化训练模型。
可见，在本实施例中，真实类别是指缺陷类别；样本数据是对目标类型产品的各面成像标记相符的缺陷类别标签或噪声类别标签得到的，基于样本数据训练的预训练模型能够用于对目标类型产品的缺陷检测；目标面成像样本是对目标型号产品的目标面成像标记相符的缺陷类别标签或噪声类别标签得到的；目标型号产品是在目标类型产品的基础上进一步细化出的产品，基于目标面成像样本训练出的细化训练模型，相较于预训练模型更加适用于对目标型号的待测产品的目标面成像的缺陷检测。
在一些实施例中，每个第二分割头用于预测至少一个真实类别下的预测结果；对应同一第二分割头的各真实类别间的关联度高于对应不同第二分割头的各真实类别间的关联度。
示例性地，每个第二分割头可以包括至少一个输出通道。第二分割头的每个输出通道用于输出一个真实类别下的预测结果。同一第二分割头所分割的各真实类别之间是相似的，因此对应同一第二分割头的各真实类别间的关联度更高，而对应不同第二分割头的各真实类别间的关联度更低。
可见，在本实施例中，每个第二分割头用于预测至少一个真实类别下的预测结果；对应同一第二分割头的各真实类别间的关联度高于对应不同第二分割头的各真实类别间的关联度，能够相较于一个分割头只分割一种类别的方式，能够保证每个分割头的使用率，降低成本，而用一个第二分割头分割关联度更高的各真实类别，能够保证各第二分割头间的隔离效果。
应该理解的是，虽然如上述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种语义分割装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个语义分割装置实施例中的具体限定可以参见上文中对于语义分割方法的限定，在此不再赘述。
如图5所示，本申请实施例提供了一种语义分割装置500，包括：
第一训练模块502，用于基于样本数据对初始的语义分割模型进行至少两轮预训练，得到预训练模型；语义分割模型包括特征提取网络和至少两个分割头；特征提取网络用于提取特征图；至少两个分割头包括第一分割头和至少一个第二分割头；第一分割头用于将特征图转化成噪声类别下的预测结果；每个第二分割头用于将特征图转化成真实类别下的预测结果；
其中，在每轮预训练过程中，针对每个分割头，根据分割头输出的预测结果和样本数据的类别标签之间的差异，对特征提取网络与分割头共同迭代优化，得到每轮预训练后的特征提取网络和分割头；特征提取网络在每轮预训练中的迭代优化次数与分割头的数量一致；
分割模块508，用于基于预训练模型对获取的待测产品的面成像进行语义分割，得到语义分割结果。
在一些实施例中，在针对每个分割头，根据分割头输出的预测结果和样本数据的类别标签之间的差异，对特征提取网络与分割头共同迭代优化，得到每轮预训练后的特征提取网络和分割头方面，第一训练模块502具体用于：
将特征提取网络针对样本数据提取的特征图输入至第一分割头；
根据第一分割头输出的预测结果和样本数据的类别标签之间的差异，对特征提取网络和第一分割头共同迭代优化，得到本次优化后的特征提取网络和本轮预训练后的第一分割头；
针对每个第二分割头，将上一次优化后的特征提取网络针对样本数据提取的特征图输入至第二分割头，根据第二分割头输出的预测结果和样本数据的类别标签之间的差异，对上一次优化后的特征提取网络和第二分割头共同迭代优化，得到本次优化后的特征提取网络和本轮预训练后的第二分割头；
其中，每轮预训练过程中最后一次优化后的特征提取网络为每轮预训练后的特征提取网络。
在一些实施例中，装置还包括第二训练模块504；第二训练模块504用于：基于目标型号产品的目标面成像样本对预训练模型的特征提取网络、第一分割头和第二分割头进行至少两轮细化训练，得到细化训练模型；
在基于预训练模型对获取的待测产品的面成像进行语义分割，得到语义分割结果方面，分割模块508具体用于：
基于细化训练模型对获取的待测产品的目标面成像进行语义分割，得到语义分割结果；
其中，在每轮细化训练过程中，特征提取网络的学习率低于第一分割头和第二分割头的学习率；细化训练模型，用于对目标型号产品的目标面成像进行语义分割。
在一些实施例中，装置还包括第三训练模块506；第三训练模块506用于：
确定新增类别下的新增目标面成像样本；
确定待增量训练的第三分割头；第三分割头包括新增的分割头和增加输出通道的第二分割头中的至少一种；
在基于新增目标面成像样本对细化训练模型进行增量训练的过程中，固化细化训练模型的特征提取网络和非第三分割头分别对应的模型参数，并基于新增目标面成像样本对第三分割头进行增量训练，得到增量训练后的第三分割头；
确定包括增量训练后的第三分割头的增量训练模型；
在基于细化训练模型对获取的待测产品的目标面成像进行语义分割，得到语义分割结果方面，分割模块508具体用于：
基于增量训练模型对获取的待测产品的目标面成像进行语义分割，得到语义分割结果。
在一些实施例中，在确定待增量训练的第三分割头方面，第三训练模块506具体用于：
确定与新增类别相似的真实类别对应的待修改的第二分割头；
在待修改的第二分割头中增设输出通道，得到待增量训练的第三分割头；其中，增设的输出通道用于输出新增类别下的预测结果。
在一些实施例中，真实类别是指缺陷类别；样本数据是对目标类型产品的各面成像标记相符的缺陷类别标签或噪声类别标签得到的；目标面成像样本是对目标型号产品的目标面成像标记相符的缺陷类别标签或噪声类别标签得到的；目标型号产品是在目标类型产品的基础上进一步细化出的产品。
在一些实施例中，每个第二分割头用于预测至少一个真实类别下的预测结果；对应同一第二分割头的各真实类别间的关联度高于对应不同第二分割头的各真实类别间的关联度。
上述语义分割装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以以硬件形式内嵌于或独立于计算机设备中的处理器，也可以以软件形式存储于计算机设备中的存储器，以便于处理器调用执行以上各个模块对应的操作。
在一些实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）及通信接口。其中，处理器、存储器和输入/输出接口通过***总线连接，通信接口通过输入/输出接口连接到***总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储样本数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述的语义分割方法中的步骤。
在一些实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元及输入装置。其中，处理器、存储器和输入/输出接口通过***总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到***总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现上述的语义分割方法中的步骤。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏；该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6或图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一些实施例中，提供了一种计算机设备，该计算机设备包括存储器和处理器，存储器存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一些实施例中，如图8所示提供了一种计算机可读存储介质的内部结构图，计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一些实施例中，提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（FerroelectricRandomAccess Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static RandomAccess Memory，SRAM）或动态随机存取存储器（Dynamic Random AccessMemory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (12)
1.一种语义分割方法，其特征在于，包括：
基于样本数据对初始的语义分割模型进行至少两轮预训练，得到预训练模型；所述语义分割模型包括特征提取网络和至少两个分割头；所述特征提取网络用于提取特征图；所述至少两个分割头包括第一分割头和至少一个第二分割头；所述第一分割头用于将所述特征图转化成噪声类别下的预测结果；每个所述第二分割头用于将所述特征图转化成真实类别下的预测结果；所述真实类别是指缺陷类别；所述样本数据是对目标类型产品的各面成像标记相符的缺陷类别标签或噪声类别标签得到的；其中，在每轮预训练过程中，针对每个分割头，根据所述分割头输出的预测结果和所述样本数据的类别标签之间的差异，对所述特征提取网络与所述分割头共同迭代优化，得到每轮预训练后的特征提取网络和分割头；所述特征提取网络在每轮预训练中的迭代优化次数与分割头的数量一致；
基于目标型号产品的目标面成像样本对所述预训练模型进行细化训练，得到细化训练模型；所述目标面成像样本是对所述目标型号产品的目标面成像标记相符的缺陷类别标签或噪声类别标签得到的；所述目标型号产品是在所述目标类型产品的基础上进一步细化出的产品；
确定新增类别下的新增目标面成像样本；
确定与所述新增类别相似的真实类别对应的待修改的第二分割头；
在所述待修改的第二分割头中增设输出通道，得到待增量训练的第三分割头；其中，增设的输出通道用于输出所述新增类别下的预测结果；
在基于所述新增目标面成像样本对所述细化训练模型进行增量训练的过程中，固化所述细化训练模型的特征提取网络和非第三分割头分别对应的模型参数，并基于所述新增目标面成像样本对所述第三分割头进行增量训练，得到增量训练后的第三分割头；
确定包括所述增量训练后的第三分割头的增量训练模型；
基于所述增量训练模型对获取的待测产品的目标面成像进行语义分割，得到语义分割结果。
2.根据权利要求1所述的方法，其特征在于，所述针对每个分割头，根据所述分割头输出的预测结果和所述样本数据的类别标签之间的差异，对所述特征提取网络与所述分割头共同迭代优化，得到每轮预训练后的特征提取网络和分割头，包括：
将所述特征提取网络针对所述样本数据提取的特征图输入至所述第一分割头；
根据所述第一分割头输出的预测结果和所述样本数据的类别标签之间的差异，对所述特征提取网络和所述第一分割头共同迭代优化，得到本次优化后的特征提取网络和本轮预训练后的第一分割头；
针对每个所述第二分割头，将上一次优化后的特征提取网络针对所述样本数据提取的特征图输入至所述第二分割头，根据所述第二分割头输出的预测结果和所述样本数据的类别标签之间的差异，对所述上一次优化后的特征提取网络和所述第二分割头共同迭代优化，得到本次优化后的特征提取网络和本轮预训练后的第二分割头；
其中，每轮预训练过程中最后一次优化后的特征提取网络为每轮预训练后的特征提取网络。
3.根据权利要求1所述的方法，其特征在于，所述基于目标型号产品的目标面成像样本对所述预训练模型进行细化训练，得到细化训练模型，包括：
基于目标型号产品的目标面成像样本对所述预训练模型的特征提取网络、所述第一分割头和所述第二分割头进行至少两轮细化训练，得到细化训练模型；
其中，在每轮细化训练过程中，所述特征提取网络的学习率低于所述第一分割头和所述第二分割头的学习率；所述细化训练模型，用于对所述目标型号产品的目标面成像进行语义分割。
4.根据权利要求1所述的方法，其特征在于，所述确定与所述新增类别相似的真实类别对应的待修改的第二分割头，包括：
在所述新增类别与已有的真实类别相似的情况下，确定与所述新增类别相似的真实类别对应的待修改的第二分割头；
所述方法还包括：
在所述新增类别与已有的真实类别不相似的情况下，增设全新的分割头，得到待增量训练的第三分割头。
5.根据权利要求1至4任一项所述的方法，其特征在于，每个所述第二分割头用于预测至少一个真实类别下的预测结果；对应同一所述第二分割头的各真实类别间的关联度高于对应不同所述第二分割头的各真实类别间的关联度。
6.一种语义分割装置，其特征在于，包括：
第一训练模块，用于基于样本数据对初始的语义分割模型进行至少两轮预训练，得到预训练模型；所述语义分割模型包括特征提取网络和至少两个分割头；所述特征提取网络用于提取特征图；所述至少两个分割头包括第一分割头和至少一个第二分割头；所述第一分割头用于将所述特征图转化成噪声类别下的预测结果；每个所述第二分割头用于将所述特征图转化成真实类别下的预测结果；所述真实类别是指缺陷类别；所述样本数据是对目标类型产品的各面成像标记相符的缺陷类别标签或噪声类别标签得到的；其中，在每轮预训练过程中，针对每个分割头，根据所述分割头输出的预测结果和所述样本数据的类别标签之间的差异，对所述特征提取网络与所述分割头共同迭代优化，得到每轮预训练后的特征提取网络和分割头；所述特征提取网络在每轮预训练中的迭代优化次数与分割头的数量一致；
第二训练模块，用于基于目标型号产品的目标面成像样本对所述预训练模型进行细化训练，得到细化训练模型；所述目标面成像样本是对所述目标型号产品的目标面成像标记相符的缺陷类别标签或噪声类别标签得到的；所述目标型号产品是在所述目标类型产品的基础上进一步细化出的产品；
第三训练模块，用于确定新增类别下的新增目标面成像样本；确定与所述新增类别相似的真实类别对应的待修改的第二分割头；在所述待修改的第二分割头中增设输出通道，得到待增量训练的第三分割头；其中，增设的输出通道用于输出所述新增类别下的预测结果；在基于所述新增目标面成像样本对所述细化训练模型进行增量训练的过程中，固化所述细化训练模型的特征提取网络和非第三分割头分别对应的模型参数，并基于所述新增目标面成像样本对所述第三分割头进行增量训练，得到增量训练后的第三分割头；确定包括所述增量训练后的第三分割头的增量训练模型；
分割模块，用于基于所述增量训练模型对获取的待测产品的目标面成像进行语义分割，得到语义分割结果。
7.根据权利要求6所述的装置，其特征在于，第一训练模块，用于将所述特征提取网络针对所述样本数据提取的特征图输入至所述第一分割头；根据所述第一分割头输出的预测结果和所述样本数据的类别标签之间的差异，对所述特征提取网络和所述第一分割头共同迭代优化，得到本次优化后的特征提取网络和本轮预训练后的第一分割头；针对每个所述第二分割头，将上一次优化后的特征提取网络针对所述样本数据提取的特征图输入至所述第二分割头，根据所述第二分割头输出的预测结果和所述样本数据的类别标签之间的差异，对所述上一次优化后的特征提取网络和所述第二分割头共同迭代优化，得到本次优化后的特征提取网络和本轮预训练后的第二分割头；其中，每轮预训练过程中最后一次优化后的特征提取网络为每轮预训练后的特征提取网络。
8.根据权利要求6所述的装置，其特征在于，第二训练模块，用于基于目标型号产品的目标面成像样本对所述预训练模型的特征提取网络、所述第一分割头和所述第二分割头进行至少两轮细化训练，得到细化训练模型；其中，在每轮细化训练过程中，所述特征提取网络的学习率低于所述第一分割头和所述第二分割头的学习率；所述细化训练模型，用于对所述目标型号产品的目标面成像进行语义分割。
9.根据权利要求6所述的装置，其特征在于，第三训练模块，用于在所述新增类别与已有的真实类别相似的情况下，确定与所述新增类别相似的真实类别对应的待修改的第二分割头；在所述新增类别与已有的真实类别不相似的情况下，增设全新的分割头，得到待增量训练的第三分割头。
10.根据权利要求6至9任一项所述的装置，其特征在于，每个所述第二分割头用于预测至少一个真实类别下的预测结果；对应同一所述第二分割头的各真实类别间的关联度高于对应不同所述第二分割头的各真实类别间的关联度。
11.一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311765323.5A CN117437425B (zh) | 2023-12-21 | 2023-12-21 | 语义分割方法、装置、计算机设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311765323.5A CN117437425B (zh) | 2023-12-21 | 2023-12-21 | 语义分割方法、装置、计算机设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117437425A CN117437425A (zh) | 2024-01-23 |
| CN117437425B true CN117437425B (zh) | 2024-03-22 |
Family
ID=89548408
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311765323.5A Active CN117437425B (zh) | 2023-12-21 | 2023-12-21 | 语义分割方法、装置、计算机设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117437425B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112001401A (zh) * | 2020-07-29 | 2020-11-27 | 苏州浪潮智能科技有限公司 | 实例分割网络的训练模型及训练方法，实例分割网络 |
| CN113610787A (zh) * | 2021-07-27 | 2021-11-05 | 广东省科技基础条件平台中心 | 图像缺陷检测模型的训练方法、装置、计算机设备 |
| WO2022198050A1 (en) * | 2021-03-19 | 2022-09-22 | Cedars-Sinai Medical Center | Convolutional long short-term memory networks for rapid medical image segmentation |
| CN115222939A (zh) * | 2022-06-02 | 2022-10-21 | 北京百度网讯科技有限公司 | 一种图像识别方法、装置、设备以及存储介质 |
| CN116310334A (zh) * | 2023-03-10 | 2023-06-23 | 北京邮电大学 | 一种图像分割方法、装置、设备及可读存储介质 |
| CN116596935A (zh) * | 2023-07-18 | 2023-08-15 | 苏州思谋智能科技有限公司 | 形变检测方法、装置、计算机设备及计算机可读存储介质 |
-
2023
- 2023-12-21 CN CN202311765323.5A patent/CN117437425B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112001401A (zh) * | 2020-07-29 | 2020-11-27 | 苏州浪潮智能科技有限公司 | 实例分割网络的训练模型及训练方法，实例分割网络 |
| WO2022198050A1 (en) * | 2021-03-19 | 2022-09-22 | Cedars-Sinai Medical Center | Convolutional long short-term memory networks for rapid medical image segmentation |
| CN113610787A (zh) * | 2021-07-27 | 2021-11-05 | 广东省科技基础条件平台中心 | 图像缺陷检测模型的训练方法、装置、计算机设备 |
| CN115222939A (zh) * | 2022-06-02 | 2022-10-21 | 北京百度网讯科技有限公司 | 一种图像识别方法、装置、设备以及存储介质 |
| CN116310334A (zh) * | 2023-03-10 | 2023-06-23 | 北京邮电大学 | 一种图像分割方法、装置、设备及可读存储介质 |
| CN116596935A (zh) * | 2023-07-18 | 2023-08-15 | 苏州思谋智能科技有限公司 | 形变检测方法、装置、计算机设备及计算机可读存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| Multi-head instance segmentation of indoor scenes for AR/DR applications;Onsori-Wechtitsch et al;《 2022 IEEE International Conference on Artificial Intelligence and Virtual Reality (AIVR)》;20221214;第114-118页 * |
| 加强空间信息引导的道路场景实时语义分割;林弘烨等;《江西理工大学电气工程与自动化学院 》;20230731;第42卷(第07期);第8-15页 * |
| 基于邻近切片注意力融合的直肠癌分割网络;兰冬雷等;《计算机应用》;20230331;第43卷(第12期);第3918-3926页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117437425A (zh) | 2024-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111476284B (zh) | 图像识别模型训练及图像识别方法、装置、电子设备 | |
| CN111080628B (zh) | 图像篡改检测方法、装置、计算机设备和存储介质 | |
| TWI677852B (zh) | 一種圖像特徵獲取方法及裝置、電子設備、電腦可讀存儲介質 | |
| CN109086811B (zh) | 多标签图像分类方法、装置及电子设备 | |
| WO2021139191A1 (zh) | 数据标注的方法以及数据标注的装置 | |
| CN109918513B (zh) | 图像处理方法、装置、服务器及存储介质 | |
| CN112634296A (zh) | 门机制引导边缘信息蒸馏的rgb-d图像语义分割方法及终端 | |
| CN111292377B (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
| CN110378911B (zh) | 基于候选区域和邻域分类器的弱监督图像语义分割方法 | |
| CN113987119A (zh) | 一种数据检索方法、跨模态数据匹配模型处理方法和装置 | |
| CN111931809A (zh) | 数据的处理方法、装置、存储介质及电子设备 | |
| CN112528058A (zh) | 基于图像属性主动学习的细粒度图像分类方法 | |
| WO2019128735A1 (zh) | 图像处理方法及装置 | |
| CN117036843A (zh) | 目标检测模型训练方法、目标检测方法和装置 | |
| CN116630630B (zh) | 语义分割方法、装置、计算机设备及计算机可读存储介质 | |
| CN117437425B (zh) | 语义分割方法、装置、计算机设备及计算机可读存储介质 | |
| CN116071557A (zh) | 一种长尾目标检测方法、计算机可读存储介质及驾驶设备 | |
| CN116246161A (zh) | 领域知识引导下的遥感图像目标精细类型识别方法及装置 | |
| CN116958724A (zh) | 一种产品分类模型的训练方法和相关装置 | |
| CN113837255B (zh) | 预测以细胞为基质的抗体核型类别的方法、设备和介质 | |
| KR102444172B1 (ko) | 영상 빅 데이터의 지능적 마이닝 방법과 처리 시스템 | |
| CN114373088A (zh) | 一种图像检测模型的训练方法和相关产品 | |
| CN114118410A (zh) | 图结构的节点特征提取方法、设备及存储介质 | |
| CN116052220B (zh) | 行人重识别方法、装置、设备及介质 | |
| CN115205555B (zh) | 确定相似图像的方法、训练方法、信息确定方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |