CN113962951B - 检测分割模型的训练方法及装置、目标检测方法及装置 - Google Patents
检测分割模型的训练方法及装置、目标检测方法及装置 Download PDFInfo
- Publication number
- CN113962951B CN113962951B CN202111202677.XA CN202111202677A CN113962951B CN 113962951 B CN113962951 B CN 113962951B CN 202111202677 A CN202111202677 A CN 202111202677A CN 113962951 B CN113962951 B CN 113962951B
- Authority
- CN
- China
- Prior art keywords
- detection segmentation
- level
- model
- sample data
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种检测分割模型的训练方法,该方法包括,在第一阶段,利用像素级标注样本数据对待训练的检测分割模型进行训练,得到具有第一模型参数的检测分割模型,在第二阶段,每次训练时随机地选择一图像级类别标注样本数据、一像素级标注样本数据分别输入当前检测分割模型,对当前检测分割模型进行训练,并反复迭代第二阶段的上述过程,直至所有训练结束,得到具有第二模型参数的检测分割模型,将当前检测分割模型作为训练后的检测分割模型。本申请既提高了检测分割模型的分割准确度,又降低了像素级标记样本数据的数量需求。
Description
技术领域
本发明涉及机器学习领域,特别地,涉及一种检测分割模型的训练方法。
背景技术
随着人工智能(AI)技术的发展,机器学习模型作为实现人工智能技术的基础,机器学习模型对任务处理的准确性,依赖于利用包含样本数据的训练集对机器学习模型的训练。
检测分割模型可用于目标检测、并对相同类别目标的不同实例进行识别,例如,识别图像中羊类的不同形态(不同形态可理解为不同实例),这样,检测分割模型也可用于对相同类别目标进行目标分割。
然而,检测分割模型的训练依赖于大规模像素级的标注样本数据。据相关统计结果表示,一帧图像的像素级标记样本平均耗时在1分钟左右,获取大规模精准的像素级标注样本数据,需要投入大量人力以及时间成本。
发明内容
本发明提供了一种检测分割模型的训练方法,以降低像素级标记样本数据的数量需求。
本发明提供的一种检测分割模型的训练方法,该方法包括,
在第一阶段:
利用像素级标注样本数据对待训练的检测分割模型进行训练,得到具有第一模型参数的检测分割模型,
在第二阶段:
每次训练时,选择一图像级类别标注样本数据、一像素级标注样本数据分别输入当前检测分割模型,对当前检测分割模型进行训练,得到具有当前第二模型参数的检测分割模型,
反复进行每次训练,直至所有训练结束,将当前检测分割模型作为训练后的检测分割模型;
其中,第二阶段进行首次训练时,所述当前检测分割模型为具有第一模型参数的检测分割模型。
较佳地,所述利用像素级标注样本数据对待训练的检测分割模型进行训练,包括:
对一像素级标注样本数据进行特征提取,得到第一特征数据,
将第一特征数据输入至待训练的检测分割模型,使得待训练的检测分割模型对第一特征数据进行检测分割,得到第一检测分割结果,
利用第一检测分割结果与第一期望检测分割结果之间的差异,计算像素级检测分割损失函数,其中,第一期望检测分割结果为当前像素级标注样本数据中所标注的检测分割结果;
根据像素级检测分割损失函数,调整当前检测分割模型的模型参数,
反复执行所述对一像素级标注样本数据进行特征提取的步骤,直至当前检测分割模型的预测结果达到设定的第一预期。
较佳地,所述第一检测分割结果包括,第一目标框、第一目标框对应的类别、以及第一目标轮廓,
所述利用第一检测分割结果与第一期望检测分割结果之间的差异,计算像素级检测分割损失函数,包括,
利用第一目标框与第一期望目标框之间的差异,得到第一损失函数,
利用第一目标框对应的类别与第一期望类别之间的差异,计算第二损失函数,
利用第一目标轮廓与第一期望轮廓之间的差异,计算第三损失函数,
其中,第一期望目标框为当前像素级标注样本数据中所标注的目标框,第一期望类别为当前像素级标注样本数据中目标框内缺陷所对应的的类别,第一期望轮廓为当前像素级标注样本数据中所标注的轮廓;
所述根据像素级检测分割损失函数,调整当前检测分割模型的模型参数,包括,
根据第一损失函数、第二损失函数以及第三损失函数,调整当前检测分割模型的模型参数。
较佳地,所述每次训练时,选择一图像级类别标注样本数据、一像素级标注样本数据分别输入当前检测分割模型,对当前检测分割模型进行训练,包括:
当输入的样本数据为图像级类别标注样本数据时,
对该图像级类别标注样本数据、以及其增强图像级类别标注样本数据分别进行特征提取,分别得到第二特征数据和第三特征数据,
将第二特征数据和第三特征数据分别输入至当前检测分割模型,使得该检测分割模型对第二特征数据进行检测分割,得到第二检测分割结果,对第三特征数据进行检测分割,得到第三检测分割结果,
利用第二检测分割结果与第三检测分割结果之间的差异,计算图像级检测分割损失函数;
当所输入的样本数据为像素级标注样本数据时,
对该像素级标注样本数据进行特征提取,得到第一特征数据,
将第一特征数据输入至待训练的检测分割模型,使得待训练的检测分割模型对第一特征数据进行检测分割,得到第一检测分割结果,
利用第一检测分割结果与第一期望检测分割结果之间的差异,计算像素级检测分割损失函数;
根据图像级检测分割损失函数以及像素级检测分割损失函数,调整当前检测分割模型的模型参数;
所述反复进行每次训练,直至训练结束,包括:
反复执行所述选择一图像级类别标注样本数据、一像素级标注样本数据分别输入当前检测分割模型的步骤,直至当前检测分割模型的预测结果达到设定的第二预期。
较佳地,所述第二检测分割结果包括,第二目标框、以及第二目标框对应的类别和第二目标轮廓,
所述第三检测分割结果包括,第三目标框、以及第三目标框对应的类别、和第三目标轮廓,
所述利用第二检测分割结果与第三检测分割结果之间的差异,计算图像级检测分割损失函数,包括,
利用第二目标框与第三目标框之间的差异,计算第四损失函数,
利用第二目标框对应的类别与第三目标框对应的类别之间的差异,计算第五损失函数,
利用第二目标轮廓与第三目标轮廓之间的差异,计算第六损失函数;
所述根据图像级检测分割损失函数以及像素级检测分割损失函数,调整当前检测分割模型的模型参数,包括:
根据第一损失函数、第二损失函数、第三损失函数、第四损失函数、第五损失函数以及第六损失函数,调整当前检测分割模型的模型参数。
较佳地,所述利用像素级标注样本数据对待训练的检测分割模型进行训练,进一步包括:
将第一特征数据输入至图像分类模型,使得该图像分类模型对第一特征数据进行分类,得到第一分类结果,
利用第一分类结果与第一期望类别之间的差异,计算像素级分类损失函数,其中,第一期望类别为当前像素级标注样本数据中所标注的类别,
根据像素级分类损失函数、以及像素级检测分割损失函数,调整当前检测分割模型的模型参数、以及当前图像分类模型的模型参数,在当前检测分割模型的预测结果达到设定的第一预期时,得到具有第三模型参数的图像分类模型。
较佳地,所述每次训练时,选择一图像级类别标注样本数据、一像素级标注样本数据分别输入当前检测分割模型,对当前检测分割模型进行训练,进一步包括:
当输入的样本数据为图像级类别标注样本数据时,
将第二特征数据输入至当前图像分类模型,使得该图像分类模型对第二特征数据进行分类,得到第二分类结果,
利用第二分类结果与第二期望类别之间的差异,计算图像级分类损失函数,其中,第二期望类别为当前图像级类别标注样本数据中所标注的类别;
当输入的样本数据为像素级标注样本数据时,
将第一特征数据输入至图像分类模型,使得该图像分类模型对第一特征数据进行分类,得到第一分类结果,
利用第一分类结果与第一期望类别之间的差异,计算像素级分类损失函数;
根据图像级分类损失函数、图像级检测分割损失函数、像素级分类损失函数、以及像素级检测分割损失函数,调整当前检测分割模型的模型参数、以及当前图像分类模型的模型参数。
较佳地,所述图像级类别标注样本数据按照如下方式获得:
将所采集的图像数据按照期望分类进行分类,并对每帧图像数据进行类别标注;
所述像素级标注样本数据按照如下方式获得:
从图像级类别标注样本数据中,按照每个类别分别选取每个类别的图像级类别标注样本数据进行像素级标注,
其中,每个类别的像素级标注样本数据在所有像素级标注样本数据占比,与该类别的图像级类别标注样本数据在所有图像级类别标注样本数据中的占比相同。
本发明还提供一种检测分割模型的训练装置,该装置包括,
第一训练单元,用于在第一阶段利用像素级标注样本数据对待训练的检测分割模型进行训练,得到具有第一模型参数的检测分割模型,
第二训练单元,用于在第二阶段每次训练时,选择一图像级类别标注样本数据、一像素级标注样本数据分别输入当前检测分割模型,对当前检测分割模型进行训练,得到具有第二模型参数的检测分割模型,反复进行每次训练,直至所有训练结束,将当前检测分割模型作为训练后的检测分割模型;其中,第二阶段进行首次训练时,所述当前检测分割模型为具有第一模型参数的检测分割模型。
本发明另一方面提供一种目标检测方法,该方法包括,
获取图像数据,
提取图像数据中的特征数据,
利用训练后的检测分割模型对特征数据进行检测分割,得到目标检测结果,
其中,
所述训练后的检测分割模型按照上述任一所述检测分割模型的训练方法进行训练而得到。
本发明又一方面提供一种目标检测装置,该装置包括,
图像采集单元,用于获取图像数据,
特征提取单元,用于提取图像数据中的特征数据,
检测单元,利用训练后的检测分割模型对特征数据进行检测分割,得到目标检测结果,
其中,
所述训练后的检测分割模型按照上述任一所述检测分割模型的训练方法进行训练而得到。
本发明再一方面提供一种计算机可读存储介质,所述存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一所述检测分割模型的训练方法的步骤。
本申请提供的一种检测分割模型的训练方法,通过第一阶段利用像素级标注样本数据对待训练的检测分割模型进行训练,第二阶段利用每次训练时所选择的图像级类别标注样本数据、像素级标注样本数据组成样本对,对第一阶段所训练的检测分割模型进行训练,由于联合利用了像素级标注样本数据和图像级类别标注样本数据,从而既提高了检测分割模型的分割准确度,又降低了像素级标记样本数据的数量需求。基于训练后的检测分割模型,能够实现快速而准确地多种目标类型以及同一目标类型的不同实例。
附图说明
图1为本申请实施例检测分割模型训练方法的一种流程示意图。
图2为实施例一对检测分割模型进行训练的一种流程示意图。
图3为实施例一利用像素级标注样本数据对检测分割模型进行训练的一种框架示意图。
图4为实施例一利用图像级类别标注样本数据对检测分割模型进行训练的一种框架示意图。
图5为实施例二对检测分割模型进行训练的一种流程示意图。
图6为实施例二利用像素级标注样本数据对检测分割模型进行训练的一种框架示意图。
图7为实施例二利用图像级类别标注样本数据对检测分割模型进行训练的一种框架示意图。
图8为Mask-RCNN模型的一种示意图。
图9为缺陷分类模型的一种示意图。
图10为训练集中样本数据的一种示意图。
图11为利用像素级标注样本数据对用于管道缺陷检测分割的缺陷检测分割模型进行训练的一种示意图。
图12为利用图像级类别标注样本数据对用于管道缺陷检测分割的缺陷检测分割模型进行训练的一种示意图。
图13为本申请实施例一的检测分割模型的训练装置的一种示意图。
图14为本申请实施例二的检测分割模型的训练装置的一种示意图。
图15为基于训练后检测分割模型进行目标检测的一种流程示意图。
图16为目标检测装置的一种示意图。
具体实施方式
为了使本申请的目的、技术手段和优点更加清楚明白,以下结合附图对本申请做进一步详细说明。
本申请利用图像级类别标注样本数据、像素级标注样本数据,以多任务辅助半监督学习方式,对检测分割模型进行训练,以得到训练后的检测分割模型。其中,像素级标注样本数据中标注有目标框和目标框对应的类别、以及目标轮廓。
参见图1所示,图1为本申请实施例检测分割模型训练方法的一种流程示意图。该训练方法包括,
步骤101,在第一阶段,利用像素级标注样本数据对待训练的检测分割模型进行训练,得到具有第一模型参数的检测分割模型,
步骤102,在第二阶段,每次训练时,选择一图像级类别标注样本数据、一像素级标注样本数据,分别输入当前检测分割模型,对当前检测分割模型进行训练,得到具有第二模型参数的检测分割模型,
其中,在首次训练时,当前检测分割模型为具有第一模型参数的检测分割模型。
所述分别输入是指在时间上串行地输入,即,在第一时刻输入第一样本数据,在第二时刻输入第二样本数据,
步骤103,返回步骤102,直至所有训练结束,将当前检测分割模型作为训练后的检测分割模型。
本申请检测分割模型的训练方法,能够减少对像素级标注样本数据之数量需求。
实施例一
参见图2所示,图2为实施例一对检测分割模型进行训练的一种流程示意图。该训练方法包括,执行步骤201的第一阶段和执行步骤202的第二阶段,其中:
步骤201,利用像素级标注样本数据,以检测分割任务进行训练,以得到具有第一模型参数的检测分割模型。
参见图3所示,图3为实施例一利用像素级标注样本数据对检测分割模型进行训练的一种框架示意图。骨干网络连接有检测分割模型。
步骤2011,当像素级标注样本数据输入至骨干网络时,例如,一帧像素级标注样本图像数据输入至骨干网络,骨干网络提取像素级标注样本数据中的特征,得到第一特征数据,第一特征数据输入至检测分割模型,
步骤2012,利用检测分割模型对第一特征数据进行目标检测分割,得到第一检测分割结果,该结果包括,第一目标掩码、第一目标框、第一目标框对应的类别、以及第一目标轮廓;
步骤2013,利用第一检测分割结果与第一期望检测分割结果之间的差异,计算像素级检测分割损失函数,其中,第一期望检测分割结果为当前像素级标注样本数据中所标注的检测分割结果,包括,第一期望目标框、第一期望类别以及第一期望轮廓;
具体地,
利用第一目标框与第一期望目标框之间的差异,得到第一损失函数,例如,smoothL1损失函数;
利用第一目标框对应的类别与第一期望类别之间的差异,得到第二损失函数,例如,交叉熵损失函数;
利用第一目标轮廓与第一期望轮廓之间的差异,计算第三损失函数,例如,交叉熵损失函数;
其中,第一期望目标框为当前输入的像素级标注样本数据中所标注的目标框,第一期望类别为当前输入的像素级标注样本数据所标注的类别,第一期望轮廓为当前像素级标注样本数据中所标注的轮廓;
像素级检测分割损失函数包括,第一损失函数、第二损失函数以及第三损失函数,
步骤2014,根据像素级检测分割损失函数,调整当前检测分割模型的模型参数,
具体地,
根据第一损失函数、第二损失函数以及第三损失函数,调整检测分割模型的模型参数。例如,累加第一损失函数、第二损失函数、第三损失函数,根据累加的损失函数,调整检测分割模型的模型参数。步骤2015,反复向骨干网络输入像素级标注样本数据,直至在所有像素级标注样本都被用于进行训练后,或者,当前检测分割模型的预测结果达到设定的第一期望后,得到具有第一模型参数的检测分割模型。
步骤202,基于具有第一模型参数的检测分割模型,利用像素级标注样本数据、以及图像级类别标注样本数据,以检测分割任务进行训练,以得到具有第二模型参数的检测分割模型,其中,具有第二模型参数的检测分割模型为训练后的检测分割模型。
对于当次训练:
步骤2021,选择一图像级类别标注样本数据、一像素级标注样本数据这两种数据;将所选择的样本数据分别地输入当前检测分割模型,即,将所选择的样本数据分次地输入当前检测分割模型,样本数据的输入无顺序要求,
在每次训练时,可以随机地从训练集中选择任意一图像级类别标注样本数据、任意一像素级标注样本数据。
若当次训练为首次训练时,当前检测分割模型具有第一模型参数,
若当次训练为非首次训练时,当前检测分割模型的模型参数为上一次训练所调整的模型参数。
步骤2022,当所输入的样本数据为图像级类别标注样本数据时,
参见图4所示,图4为实施例一利用图像级类别标注样本数据对检测分割模型进行训练的一种框架示意图。
图像级类别标注样本数据、及其增强图像级类别标注样本数据分别输入骨干网络,例如,一帧图像级类别标注样本图像数据、以及其翻转的类别标注样本图像数据输入至骨干网络,骨干网络分别提取特征,得到第二特征数据和第三特征数据,其中,第二特征数据为基于图像级类别标注样本图像数据所提取的特征数据,第三特征数据为基于增强图像级类别标注样本数据所提取的特征数据,
第二特征数据、第三特征数据分别输入至检测分割模型,图中,两个检测分割模型等效地表示两个检测分割任务,实际应理解为第二特征数据和第三特征数据都输入至一个检测分割模型。
步骤2023,利用检测分割模型基于第二特征数据进行检测分割,得到第二检测分割结果,该结果包括,第二目标掩码、第二目标轮廓、第二目标框和第二目标框对应的类别,基于第三特征数据进行检测分割,得到第二检测分割结果,该结果包括,第三目标掩码、第三目标轮廓、第三目标框和第三目标框对应的类别;
步骤2024,利用第二检测分割结果与第三检测分割结果,计算图像级检测分割损失函数,
具体地,
利用第二目标框与第三目标框之间的差异,计算第四损失函数,
利用第二目标框对应的类别与第三目标框对应的类别之间的差异,计算第五损失函数,
利用第二目标轮廓与第三目标轮廓之间的差异,计算第六损失函数;
所述差异越小,则说明预测结果趋于一致,这样,有利于训练检测分割模型的敏感性;所述第四损失函数可以为mse损失函数,第五损失函数、第六损失函数可以为交叉熵损失函数;
其中,图像级检测分割损失函数包括,第四损失函数、第五损失函数、第六损失函数。
当所输入的样本数据为像素级标注样本数据时,其处理过程按照图3所示的过程进行处理。
步骤2025,根据图像级检测分割损失函数、以及像素级检测分割损失函数,调整当前检测分割模型的模型参数,得到当前第二模型参数。
具体地,根据第一损失函数、第二损失函数、第三损失函数、第四损失函数、第五损失函数、以及第六损失函数,调整当前检测分割模型的模型参数。
步骤2026,反复执行步骤2021~2025,直至当前检测分割模型的预测结果达到设定的第二期望,即得到训练后的检测分割模型。
本实施例以多任务辅助半监督方式来进行模型训练,只需精确的像素级别标注样本数据,加上大量图像级别类别标注样本数据,便可使得被训练模型达到预期的性能,减少了对像素级别标注样本数据之数量的需求。
实施例二
参见图5所示,图5为实施例二对检测分割模型进行训练的一种流程示意图。该训练方法包括,执行步骤501的第一阶段和执行步骤502的第二阶段,其中:
步骤501,利用像素级标注样本数据,以包括检测分割任务、以及目标分类任务的多任务进行训练,以得到具有第一模型参数的检测分割模型、以及具有第三模型参数的图像分类模型。
参见图6所示,图6为利用像素级标注样本数据对检测分割模型进行训练的一种框架示意图。骨干网络并行地连接有图像分类模型和检测分割模型。步骤5011,当像素级标注样本数据输入至骨干网络时,例如,一帧像素级标注样本图像数据输入至骨干网络,骨干网络提取像素级标注样本数据中的特征,得到第一特征数据,第一特征数据分别输入至图像分类模型和检测分割模型,
步骤5012,利用检测分割模型基于第一特征数据进行目标检测分割,得到第一检测分割结果,该结果包括,第一目标掩码、第一目标轮廓、第一目标框、第一目标框对应的类别;
利用第一检测分割结果与第一期望检测分割结果之间的差异,计算像素级检测分割损失函数,其中,第一期望检测分割结果为当前像素级标注样本数据中所标注的检测分割结果;
具体地,
利用第一目标框与第一期望目标框之间的差异,得到第一损失函数,例如,smoothL1损失函数;
利用第一目标框对应的类别与第一期望类别之间的差异,得到第二损失函数,例如,交叉熵损失函数;
利用第一目标轮廓与第一期望轮廓之间的差异,计算第三损失函数,例如,交叉熵损失函数;
步骤5013,利用图像分类模型基于第一特征数据进行目标检测,得到第一分类结果;利用第一分类结果与第一期望类别之间的差异,得到像素级分类损失函数,例如,交叉熵损失函数,
其中,第一期望类别为当前输入的像素级标注样本数据所标注的类别,
步骤5014,根据像素级分类损失函数、以及像素级检测分割损失函数,调整当前检测分割模型的模型参数、以及当前图像分类模型的模型参数,
具体地,
根据第一损失函数、第二损失函数、第三损失函数、以及像素级分类损失函数,调整检测分割模型、图像分类模型的模型参数。例如,累加第一损失函数、第二损失函数、第三损失函数以及像素级分类损失函数,根据累加的损失函数,调整检测分割模型、图像分类模型的模型参数。
步骤5015,反复向骨干网络输入像素级标注样本数据,直至所有像素级标注样本都被用于进行训练后,或者,检测分割模型的预测结果达到设定的期望后,得到具有第一模型参数的检测分割模型和第三模型参数的图像分类模型。
步骤502,基于具有第一模型参数的检测分割模型以及具有第三模型参数的图像分类模型,利用像素级标注样本数据、以及图像级类别标注样本数据,以包括检测分割任务、以及目标分类任务的多任务进行训练,以得到具有第二模型参数的检测分割模型、和具有第四模型参数的图像分类模型。
对于当次训练:
步骤5021,与步骤2021相同;若当次训练为首次训练时,当前检测分割模型具有第一模型参数,当前图像分类模型具有第三模型参数,
若当次训练为非首次训练时,当前检测分割模型的模型参数为上一次训练所调整的模型参数,即,当前第二模型参数;当前图像分类模型的模型参数为上一次训练所调整的模型参数,即,当前第四模型参数。
步骤5022,
当所输入的样本数据为图像级类别标注样本数据时,
参见图7所示,图7为利用图像级类别标注样本数据对检测分割模型进行训练的一种框架示意图。
图像级类别标注样本数据、及其增强图像级类别标注样本数据输入骨干网络,例如,一帧图像级类别标注样本图像数据、以及其翻转的类别标注样本图像数据输入至骨干网络,骨干网络分别提取特征,得到第二特征数据和第三特征数据,其中,第二特征数据为基于图像级类别标注样本图像数据所提取的特征数据,第三特征数据为基于增强图像级类别标注样本数据所提取的特征数据,增强图像可以是水平翻转图像、亮度抖动图像、高斯噪声图像等。
第二特征数据分别输入至图像分类模型和检测分割模型,第三特征数据输入至检测分割模型,图中,两个检测分割模型等效地表示两个检测分割任务,实际应理解为第二特征数据和第三特征数据都输入至同一个检测分割模型。
步骤5023,利用检测分割模型基于第二特征数据进行检测分割,得到第二检测分割结果,该结果包括,第二目标掩码、第二目标轮廓、第二目标框和第二目标框对应的类别,基于第三特征数据进行检测分割,得到第三检测分割结果,该结果包括,第三目标掩码、第三目标轮廓、第三目标框和第三目标框对应的类别;
利用第二目标框与第三目标框之间的差异,得到第四损失函数,
利用第二目标框对应的类别与第三目标框对应的类别之间的差异,计算第五损失函数,
利用第二目标轮廓与第三目标轮廓之间的差异,计算第六损失函数;
所述差异越小,则说明预测结果趋于一致,这样,有利于训练检测分割模型的敏感性,从而有助于降低像素级标注样本数据的数量要求;所述第四损失函数可以为均方损失(mse,mean-squared Loss)函数,第五损失函数、第六损失函数可以为交叉熵损失函数;
步骤5024,利用图像分类模型基于第二特征数据进行目标检测,得到第二分类结果;利用第第二分类结果与第二期望类别之间的差异,得到图像级分类损失函数,例如,交叉熵损失函数,其中,第二期望类别为图像级类别标注样本数据所标注的类别信息,
当所输入的样本数据为像素级标注样本数据时,其处理过程按照图6所示的过程进行处理,以得到像素级标注样本数据的损失函数。
步骤5025,根据图像级检测分割损失函数、图像级分类损失函数、像素级检测分割损失函数、以及像素级分类损失函数,调整检测分割模型、图像分类模型的模型参数。
具体地,
根据第一损失函数、第二损失函数、第三损失函数、第四损失函数和第五损失函数、第六损失函数、图像级分类损失函数、以及像素级分类损失函数,调整检测分割模型、图像分类模型的模型参数,得到当前第二模型参数和第四模型参数。
步骤5026,反复执行步骤5021~5025,直至检测分割模型的预测结果达到设定的期望,即得到训练后的检测分割模型。
本实施例的检测分割模型训练方法,通过引入目标分类任务,有利于降低像素级标注样本数据之质的要求,例如,像素级标注无需很高的精确性,而目标分类任务、检测分割任务二者的结合,既可以降低像素级标注样本数据之质的要求,又可以降低像素级标注样本数据之数量的要求,这样,只需要部分精确的像素级别标注样本数据,加上大量图像级别类别标注样本数据就能提高分割模型性能。
为便于理解本申请,以下以管道缺陷为目标、以缺陷检测分割模型的检测分割为例来进行说明,所应理解的是,本申请不限于管道缺陷检测分割,其它目标的检测分割也可以适用。
近些年来,随着市政基础设施的发展,地下管道承担的压力进一步加剧。地下管道建设作为城市建设过程中一项非常重要的基础任务,影响着城市正常运行的稳定性,及时检修管网***,是保证城市基础设置建设稳定性的重要保障。
目前,针对地下管道缺陷检测采用最多的是先通过机器人下井拍摄视频数据,再将获取的海量信息通过人力筛选并定位缺陷,最后生成相关报告。尽管陆续也出现了基于深度学习的管道缺陷检测方法,其所检测的缺陷类别有限,例如,破裂、错口、渗漏和支管暗接共四种类别,而根据行业标准,地下管道缺陷类别共有17种,包括暗接、变形、错接、残墙、穿入、腐蚀、浮渣、结垢、起伏、树根、脱节、脱落、障碍物、错口、沉积、渗漏以及破裂。特别是,无法区分相同缺陷的不同实例,也就是说,对于同一种缺陷类别无法按照缺陷的严重程度来予以区分。
针对上述应用,可以采用基于训练后的缺陷检测分割模型来进行管道缺陷检测分割。其中,缺陷检测分割模型可以为Mask-RCNN模型。
参见图8所示,图8为Mask-RCNN模型的一种示意图。Mask-RCNN模型包括,建议区域网络(RPN,region proposal networks)、感兴趣区域校准RoiAlign(region of interestalign)模块、检测头模块(DetectHead)模块,其中,检测头模块包括框头模块(BoxHead)以及掩码头模块(MaskHead)。来自骨干网络特征数据先经过RPN预测包含前景或背景区域的建议区域(proposals),RoiAlign模块根据建议区域,从特征数据中裁剪出对应区域的特征,之后使用双向线性插值把所裁剪的特征分别缩放到像素尺寸为7×7和14×14的像素数据。其中,7×7的特征数据输入框头模块BoxHead,框头模块输出缺陷的检测框位置以及检测框对应的类别,14×14的特征数据输入掩码头模块MaskHead,掩码头模块输出分割的缺陷掩码。
为了对缺陷检测分割模型进行训练,以获得训练后的缺陷检测分割模型的模型参数,需构建用于实现缺陷分类的缺陷分类模型。参见图9所示,图9为缺陷分类模型的一种示意图。该缺陷分类模型包括,一个全局平均池化(global average pooling)以及三个全连接层组成,其中,全连接层的数量可以根据训练的需求而设计。图中,B为图像特征的数量,H为特征矩阵的高度,W为特征矩阵的宽度。
使用ResNet50结构作为用于提取样本数据的骨干网络(backbone)。
为提高缺陷实例分割的准确度,以同时利用有标注数据和类别标注数据的半监督方式进行训练,考虑使用联合像素级别标注样本数据。例如,利用图像数据带有图像类别标注(图像中包含何种缺陷,分类问题)样本,该样本数量为第一样本数量,联合第二样本数量的带像素级别标注的样本数据,在神经网络上进行训练和测试。实现快速而精准地管道缺陷检测分割。
样本数据可以以如下方式进行收集:
步骤1:收集管道数据,整理形成图像数据集,并根据缺陷类别对其进行区分,区分类别可以参照行业标准,例如,分为17个类别:暗接、变形、错接、残墙、穿入、腐蚀、浮渣、结垢、起伏、树根、脱节、脱落、障碍物、错口、沉积、渗漏以及破裂,从而得到图像级类别标注样本数据。
步骤2:按照每个类别样本数据在样本总数据的占比,为每个类别数据选取图像数据进行像素级的标注,获得每个类别的像素级标注样本数据;所有类别的像素级标注样本数据总量达到第二样本数量,
例如,每个类别的像素级标注样本数按照下式确定:
某类别像素级标注样本数=(该类别图像数量/第一样本数量)×第二样本数量
步骤3:将每个类别的像素级标注样本数据按照设定的比例划分为训练集和测试集,并将无像素级标注的图像级类别标注样本数据加入到训练集。
参见图10所示,图10为训练集中样本数据的一种示意图。其中,大圆区域表示具有第一样本数量的图像级类别标注样本数据,一扇形区域表示一个缺陷类别,小圆区域内表示具有第二样本数量的像素级标注样本数据,在小圆区域之外、大圆区域之内的环形区域表示无像素级标注的图像级类别标注样本数据。
参见图11所示,图11为利用像素级标注样本数据对用于管道缺陷检测分割的缺陷检测分割模型进行训练的一种示意图。骨干网络并行地连接有缺陷分类模型和缺陷检测分割模型。骨干网络对像素级标注样本数据进行特征提取,得到第一特征数据,缺陷检测分割模型对第一特征数据进行检测分割,得到第一检测分割结果,该结果包括第一缺陷掩码、第一缺陷轮廓、第一缺陷框、第一缺陷框对应的类别,利用第一缺陷框与第一期望缺陷框之间的差异,得到第一损失函数,例如,smooth L1损失函数;利用第一缺陷框对应的类别与第一期望类别之间的差异,得到第二损失函数,例如,交叉熵损失函数;利用第一缺陷轮廓与第一期望轮廓之间的差异,得到第三损失函数;缺陷分类模型对第一特征数据进行缺陷分类,得到第一分类结果,利用第一分类结果与第一期望类别之间的差异,得到第像素级分类损失函数,例如,交叉熵损失函数;其中,第一期望缺陷框为当前输入的像素级标注样本数据中所标注的缺陷框,第一期望类别为当前输入的像素级标注样本数据所标注的类别,第一期望缺陷轮廓为当前输入的像素级标注样本数据所标注的轮廓。根据第一损失函数、第二损失函数、第三损失函数、以及像素级分类损失函数,调整缺陷检测分割模型、缺陷分类模型的模型参数。例如,累加第一损失函数、第二损失函数、第三损失函数以及像素级分类损失函数,根据累加的损失函数,调整缺陷检测分割模型、缺陷分类模型的模型参数。
在所有像素级标注样本都被用于进行训练后,或者,缺陷检测分割模型的预测结果达到设定的期望后,得到具有第一模型参数的缺陷检测分割模型和第三模型参数的缺陷分类模型。
参见图12所示,图12为利用图像级类别标注样本数据对用于管道缺陷检测分割的缺陷检测分割模型进行训练的一种示意图。骨干网络分别对图像级类别标注样本数据、及其增强图像级类别标注样本数据进行特征提取,得到第二特征数据和第三特征数据,其中,第二特征数据为基于图像级类别标注样本图像数据所提取的特征数据,第三特征数据为基于增强图像级类别标注样本数据所提取的特征数据。第二特征数据分别输入至缺陷分类模型和缺陷检测分割模型,第三特征数据输入至缺陷检测分割模型,图中,两个缺陷检测分割模型等效地表示两个检测分割任务,实际应理解为第二特征数据和第三特征数据都输入至同一个缺陷检测分割模型。
缺陷检测分割模型基于第二特征数据得到第二检测分割结果,该结果包括,第二缺陷框和第二缺陷框对应的类别、第二缺陷轮廓,基于第三特征数据进行检测分割,得到第三检测分割结果,该结果包括,第三缺陷框和第三缺陷框对应的类别、第二缺陷轮廓;利用第二缺陷框与第三缺陷框之间的差异,得到第四损失函数,利用第二缺陷框对应的类别与第三缺陷框对应的类别之间的差异,得到第五损失函数,利用第二缺陷轮廓与第三缺陷轮廓之间的差异,得到第六损失函数,所述差异越小,则说明预测结果趋于一致,这样,有利于训练检测分割模型的敏感性,从而有助于降低像素级标注样本数据的数量要求;所述第四损失函数可以为均方损失(mse,mean-squared Loss)函数;
缺陷分类模型基于第二特征数据进行缺陷分类,得到第二分类结果;利用第二分类结果与第二期望类别之间的差异,得到图像级分类损失函数,例如,交叉熵损失函数,其中,第二期望类别为图像级类别标注样本数据所标注的类别信息,例如,图12中的裂缝信息。
在每次训练时,可以随机地选择一图像级类别标注样本数据、一像素级标注样本数据两样本数据,根据该图像级类别标注样本数据的损失函数、像素级标注样本数据的损失函数,调整缺陷检测分割模型、缺陷分类模型的模型参数。其中,该图像级类别标注样本数据的损失函数包括,图像级分类损失函数、第四损失函数、第五损失函数、第六损失函数;该像素级标注样本数据的损失函数包括,像素级分类损失函数、第一损失函数、第二损失函数、第三损失函数。
当缺陷检测分割模型的预测结果达到设定的期望后,当前缺陷检测分割模型的模型参数即为训练后的缺陷检测分割模型。
本实施例的训练方法,降低了训练集样本数据的要求,有利于提高缺陷检测分割模型的分割精度。
将采集的图像数据输入至缺陷检测分割模型,缺陷检测分割模型输出17中类别缺陷、缺陷框位置、每种缺陷类别具有不同的实例。本实施例有利于根据每种缺陷类别的缺陷严重程度,进行管道维护和维修,加速了管道维护速度,多种类别缺陷检测使得缺陷的检测具有普适性。
参见图13所示,图13为本申请实施例一的检测分割模型的训练装置的一种示意图。该装置包括,
第一训练单元,用于在第一阶段利用像素级标注样本数据对待训练的检测分割模型进行训练,得到具有第一模型参数的检测分割模型,
第二训练单元,用于在第二阶段每次训练时随机地选择一图像级类别标注样本数据、一像素级标注样本数据两样本数据,分别输入至当前检测分割模型,对当前检测分割模型进行训练,得到具有第二模型参数的检测分割模型,反复进行每次训练,直至所有训练结束,得到训练后的检测分割模型。
所述第一训练单元和第二训练单元共有地包括,特征提取模块,待训练的检测分割模型,损失函数计算模块,以及模型参数调整模块,
在第一阶段,所述特征提取模块,待训练的检测分割模型,损失函数计算模块,以及模型参数调整模块按照步骤201处理样本数据,
在第二阶段,所述特征提取模块,待训练的检测分割模型,图像分类模型,损失函数计算模块,以及模型参数调整模块按照步骤202处理样本数据。
参见图14所示,图14为本申请实施例二的检测分割模型的训练装置的一种示意图。该装置包括,
第一训练单元,用于在第一阶段利用像素级标注样本数据对待训练的检测分割模型进行训练,得到具有第一模型参数的检测分割模型,
第二训练单元,用于在第二阶段每次训练时随机地选择一图像级类别标注样本数据、一像素级标注样本数据两样本数据,分别输入至当前检测分割模型,对当前检测分割模型进行训练,得到具有第二模型参数的检测分割模型,反复进行每次训练,直至所有训练结束,得到训练后的检测分割模型。
在第一阶段,所述特征提取模块,待训练的检测分割模型,图像分类模型,损失函数计算模块,以及模型参数调整模块按照步骤501处理样本数据,
在第二阶段,所述特征提取模块,待训练的检测分割模型,图像分类模型,损失函数计算模块,以及模型参数调整模块按照步骤502处理样本数据。
参见图15所示,图15为基于训练后检测分割模型进行目标检测的一种流程示意图。该目标检测方法包括,
步骤1501,获取图像数据,
步骤1502,提取图像数据中的特征数据,
步骤1503,利用训练后的检测分割模型对特征数据进行检测分割,得到目标检测结果,
其中,
所述训练后的检测分割模型按照实施例一或实施例二所述检测分割模型的训练方法进行训练而得到。
参见图16所示,图16为目标检测装置的一种示意图。该装置包括,
图像采集单元,用于获取图像数据,
特征提取单元,用于提取图像数据中的特征数据,
检测单元,利用训练后的检测分割模型对特征数据进行检测分割,得到目标检测结果,
其中,
所述训练后的检测分割模型按照实施例一或实施例二所述检测分割模型的训练方法进行训练而得到。
对于装置/网络侧设备/存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。
Claims (12)
1.一种检测分割模型的训练方法,其特征在于,该方法包括,
在第一阶段:
利用像素级标注样本数据对待训练的检测分割模型进行训练,得到具有第一模型参数的检测分割模型,
在第二阶段:
每次训练时,选择一图像级类别标注样本数据、一像素级标注样本数据分别输入当前检测分割模型,对当前检测分割模型进行训练,得到具有当前第二模型参数的检测分割模型,
其中,
当输入的样本数据为图像级类别标注样本数据时,
对该图像级类别标注样本数据、以及其增强图像级类别标注样本数据分别进行特征提取,分别得到第二特征数据和第三特征数据,
将第二特征数据和第三特征数据分别输入至当前检测分割模型,使得该检测分割模型对第二特征数据进行检测分割,得到第二检测分割结果,对第三特征数据进行检测分割,得到第三检测分割结果,
利用第二检测分割结果与第三检测分割结果之间的差异,计算图像级检测分割损失函数值;
当所输入的样本数据为像素级标注样本数据时,
对该像素级标注样本数据进行特征提取,得到第一特征数据,
将第一特征数据输入至待训练的检测分割模型,使得待训练的检测分割模型对第一特征数据进行检测分割,得到第一检测分割结果,
利用第一检测分割结果与第一期望检测分割结果之间的差异,计算像素级检测分割损失函数值;
根据图像级检测分割损失函数值以及像素级检测分割损失函数值,调整当前检测分割模型的模型参数;
反复进行每次训练,直至所有训练结束,将当前检测分割模型作为训练后的检测分割模型,
其中,第二阶段进行首次训练时,所述当前检测分割模型为具有第一模型参数的检测分割模型。
2.如权利要求1所述的训练方法,其特征在于,所述利用像素级标注样本数据对待训练的检测分割模型进行训练,包括:
对一像素级标注样本数据进行特征提取,得到第一特征数据,
将第一特征数据输入至待训练的检测分割模型,使得待训练的检测分割模型对第一特征数据进行检测分割,得到第一检测分割结果,
利用第一检测分割结果与第一期望检测分割结果之间的差异,计算像素级检测分割损失函数,其中,第一期望检测分割结果为当前像素级标注样本数据中所标注的检测分割结果;
根据像素级检测分割损失函数,调整当前检测分割模型的模型参数,
反复执行所述对一像素级标注样本数据进行特征提取的步骤,直至当前检测分割模型的预测结果达到设定的第一预期。
3.如权利要求2所述的训练方法,其特征在于,所述第一检测分割结果包括,第一目标框、第一目标框对应的类别、以及第一目标轮廓,
所述利用第一检测分割结果与第一期望检测分割结果之间的差异,计算像素级检测分割损失函数,包括,
利用第一目标框与第一期望目标框之间的差异,得到第一损失函数,
利用第一目标框对应的类别与第一期望类别之间的差异,计算第二损失函数,
利用第一目标轮廓与第一期望轮廓之间的差异,计算第三损失函数,
其中,第一期望目标框为当前像素级标注样本数据中所标注的目标框,第一期望类别为当前像素级标注样本数据中目标框内缺陷所对应的类别,第一期望轮廓为当前像素级标注样本数据中所标注的轮廓;
所述根据像素级检测分割损失函数,调整当前检测分割模型的模型参数,包括,
根据第一损失函数、第二损失函数以及第三损失函数,调整当前检测分割模型的模型参数。
4.如权利要求1、2或3所述的训练方法,其特征在于,
所述反复进行每次训练,直至训练结束,包括:
反复执行所述选择一图像级类别标注样本数据、一像素级标注样本数据分别输入当前检测分割模型的步骤,直至当前检测分割模型的预测结果达到设定的第二预期。
5.如权利要求4所述的训练方法,其特征在于,所述第二检测分割结果包括,第二目标框、以及第二目标框对应的类别和第二目标轮廓,
所述第三检测分割结果包括,第三目标框、以及第三目标框对应的类别、和第三目标轮廓,
所述利用第二检测分割结果与第三检测分割结果之间的差异,计算图像级检测分割损失函数,包括,
利用第二目标框与第三目标框之间的差异,计算第四损失函数,
利用第二目标框对应的类别与第三目标框对应的类别之间的差异,计算第五损失函数,
利用第二目标轮廓与第三目标轮廓之间的差异,计算第六损失函数;
所述根据图像级检测分割损失函数以及像素级检测分割损失函数,调整当前检测分割模型的模型参数,包括:
根据第一损失函数、第二损失函数、第三损失函数、第四损失函数、第五损失函数以及第六损失函数,调整当前检测分割模型的模型参数。
6.如权利要求2所述的训练方法,其特征在于,所述利用像素级标注样本数据对待训练的检测分割模型进行训练,进一步包括:
将第一特征数据输入至图像分类模型,使得该图像分类模型对第一特征数据进行分类,得到第一分类结果,
利用第一分类结果与第一期望类别之间的差异,计算像素级分类损失函数,其中,第一期望类别为当前像素级标注样本数据中所标注的类别,
根据像素级分类损失函数、以及像素级检测分割损失函数,调整当前检测分割模型的模型参数、以及当前图像分类模型的模型参数,在当前检测分割模型的预测结果达到设定的第一预期时,得到具有第三模型参数的图像分类模型。
7.如权利要求6所述的训练方法,其特征在于,所述每次训练时,选择一图像级类别标注样本数据、一像素级标注样本数据分别输入当前检测分割模型,对当前检测分割模型进行训练,进一步包括:
当输入的样本数据为图像级类别标注样本数据时,
将第二特征数据输入至当前图像分类模型,使得该图像分类模型对第二特征数据进行分类,得到第二分类结果,
利用第二分类结果与第二期望类别之间的差异,计算图像级分类损失函数,其中,第二期望类别为当前图像级类别标注样本数据中所标注的类别;
当输入的样本数据为像素级标注样本数据时,
将第一特征数据输入至图像分类模型,使得该图像分类模型对第一特征数据进行分类,得到第一分类结果,
利用第一分类结果与第一期望类别之间的差异,计算像素级分类损失函数;
根据图像级分类损失函数、图像级检测分割损失函数、像素级分类损失函数、以及像素级检测分割损失函数,调整当前检测分割模型的模型参数、以及当前图像分类模型的模型参数。
8.如权利要求1所述的训练方法,其特征在于,所述图像级类别标注样本数据按照如下方式获得:
将所采集的图像数据按照期望分类进行分类,并对每帧图像数据进行类别标注;
所述像素级标注样本数据按照如下方式获得:
从图像级类别标注样本数据中,按照每个类别分别选取每个类别的图像级类别标注样本数据进行像素级标注,
其中,每个类别的像素级标注样本数据在所有像素级标注样本数据占比,与该类别的图像级类别标注样本数据在所有图像级类别标注样本数据中的占比相同。
9.一种检测分割模型的训练装置,其特征在于,该装置包括,
第一训练单元,用于在第一阶段利用像素级标注样本数据对待训练的检测分割模型进行训练,得到具有第一模型参数的检测分割模型,
第二训练单元,用于在第二阶段每次训练时,选择一图像级类别标注样本数据、一像素级标注样本数据分别输入当前检测分割模型,对当前检测分割模型进行训练,得到具有第二模型参数的检测分割模型,
其中,
当输入的样本数据为图像级类别标注样本数据时,
对该图像级类别标注样本数据、以及其增强图像级类别标注样本数据分别进行特征提取,分别得到第二特征数据和第三特征数据,
将第二特征数据和第三特征数据分别输入至当前检测分割模型,使得该检测分割模型对第二特征数据进行检测分割,得到第二检测分割结果,对第三特征数据进行检测分割,得到第三检测分割结果,
利用第二检测分割结果与第三检测分割结果之间的差异,计算图像级检测分割损失函数值;
当所输入的样本数据为像素级标注样本数据时,
对该像素级标注样本数据进行特征提取,得到第一特征数据,
将第一特征数据输入至待训练的检测分割模型,使得待训练的检测分割模型对第一特征数据进行检测分割,得到第一检测分割结果,
利用第一检测分割结果与第一期望检测分割结果之间的差异,计算像素级检测分割损失函数值;
根据图像级检测分割损失函数值以及像素级检测分割损失函数值,调整当前检测分割模型的模型参数;
反复进行每次训练,直至所有训练结束,将当前检测分割模型作为训练后的检测分割模型;其中,第二阶段进行首次训练时,所述当前检测分割模型为具有第一模型参数的检测分割模型。
10.一种目标检测方法,其特征在于,该方法包括,
获取图像数据,
提取图像数据中的特征数据,
利用训练后的检测分割模型对特征数据进行检测分割,得到目标检测结果,
其中,
所述训练后的检测分割模型按照如权利要求1至8任一所述检测分割模型的训练方法进行训练而得到。
11.一种目标检测装置,其特征在于,该装置包括,
图像采集单元,用于获取图像数据,
特征提取单元,用于提取图像数据中的特征数据,
检测单元,利用训练后的检测分割模型对特征数据进行检测分割,得到目标检测结果,
其中,
所述训练后的检测分割模型按照如权利要求1至8任一所述检测分割模型的训练方法进行训练而得到。
12.一种计算机可读存储介质,其特征在于,所述存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至8任一所述检测分割模型的训练方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111202677.XA CN113962951B (zh) | 2021-10-15 | 2021-10-15 | 检测分割模型的训练方法及装置、目标检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111202677.XA CN113962951B (zh) | 2021-10-15 | 2021-10-15 | 检测分割模型的训练方法及装置、目标检测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113962951A CN113962951A (zh) | 2022-01-21 |
CN113962951B true CN113962951B (zh) | 2022-05-17 |
Family
ID=79464664
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111202677.XA Active CN113962951B (zh) | 2021-10-15 | 2021-10-15 | 检测分割模型的训练方法及装置、目标检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113962951B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114120209B (zh) * | 2022-01-27 | 2022-05-20 | 深圳市博铭维技术股份有限公司 | 管道缺陷检测方法、***、设备及存储介质 |
CN115700821B (zh) * | 2022-11-24 | 2023-06-06 | 广东美赛尔细胞生物科技有限公司 | 一种基于图像处理的细胞识别方法及*** |
CN118230015A (zh) * | 2022-12-19 | 2024-06-21 | 北京字跳网络技术有限公司 | 一种模型构建方法、装置、电子设备、计算机可读介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109241816A (zh) * | 2018-07-02 | 2019-01-18 | 北京交通大学 | 一种基于标签优化的图像再识别***及损失函数确定方法 |
CN110009623A (zh) * | 2019-04-10 | 2019-07-12 | 腾讯科技(深圳)有限公司 | 一种图像识别模型训练及图像识别方法、装置及*** |
CN110276378A (zh) * | 2019-05-20 | 2019-09-24 | 杭州电子科技大学 | 基于无人驾驶技术对实例分割的改进方法 |
CN111862001A (zh) * | 2020-06-28 | 2020-10-30 | 微医云(杭州)控股有限公司 | Ct影像的半自动标注方法及装置、电子设备、存储介质 |
CN111968124A (zh) * | 2020-10-26 | 2020-11-20 | 四川省肿瘤医院 | 基于半监督语义分割的肩部肌骨超声结构分割方法 |
CN113344888A (zh) * | 2021-06-17 | 2021-09-03 | 四川启睿克科技有限公司 | 一种基于联合模型的表面缺陷检测方法及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112329680B (zh) * | 2020-11-13 | 2022-05-03 | 重庆邮电大学 | 基于类激活图的半监督遥感影像目标检测和分割方法 |
CN113222998B (zh) * | 2021-04-13 | 2022-05-31 | 天津大学 | 基于自监督低秩网络的半监督图像语义分割方法及装置 |
-
2021
- 2021-10-15 CN CN202111202677.XA patent/CN113962951B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109241816A (zh) * | 2018-07-02 | 2019-01-18 | 北京交通大学 | 一种基于标签优化的图像再识别***及损失函数确定方法 |
CN110009623A (zh) * | 2019-04-10 | 2019-07-12 | 腾讯科技(深圳)有限公司 | 一种图像识别模型训练及图像识别方法、装置及*** |
CN110276378A (zh) * | 2019-05-20 | 2019-09-24 | 杭州电子科技大学 | 基于无人驾驶技术对实例分割的改进方法 |
CN111862001A (zh) * | 2020-06-28 | 2020-10-30 | 微医云(杭州)控股有限公司 | Ct影像的半自动标注方法及装置、电子设备、存储介质 |
CN111968124A (zh) * | 2020-10-26 | 2020-11-20 | 四川省肿瘤医院 | 基于半监督语义分割的肩部肌骨超声结构分割方法 |
CN113344888A (zh) * | 2021-06-17 | 2021-09-03 | 四川启睿克科技有限公司 | 一种基于联合模型的表面缺陷检测方法及装置 |
Non-Patent Citations (5)
Title |
---|
Label-PEnet: Sequential Label Propagation and Enhancement Networks for Weakly Supervised Instance Segmentation;Weifeng Ge等;《arXiv》;20200424;1-10 * |
Learning Semantic Segmentation with Diverse Supervision;Linwei Ye等;《2018 IEEE Winter Conference on Applications of Computer Vision (WACV)》;20180507;1461-1469 * |
Weakly- and semi- supervised learning of a DCNN for semantic image segmentation;George Papandreou等;《arXiv》;20151005;1-12 * |
基于深度学习的图像语义分割方法综述;田萱等;《软件学报》;20190215;第30卷(第2期);440-468 * |
基于深度学习的遥感图像语义分割关键技术研究;张刚;《中国优秀博硕士学位论文全文数据库(博士)工程科技Ⅱ辑》;20200815(第08期);C028-9 * |
Also Published As
Publication number | Publication date |
---|---|
CN113962951A (zh) | 2022-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113962951B (zh) | 检测分割模型的训练方法及装置、目标检测方法及装置 | |
KR102008973B1 (ko) | 딥러닝 기반의 하수도관 내부 결함 탐지 장치 및 방법 | |
CN108961217B (zh) | 一种基于正例训练的表面缺陷检测方法 | |
CN111080622B (zh) | 神经网络训练方法、工件表面缺陷分类与检测方法及装置 | |
CN108346144B (zh) | 基于计算机视觉的桥梁裂缝自动监测与识别方法 | |
CN106952250B (zh) | 一种基于Faster R-CNN网络的金属板带表面缺陷检测方法及装置 | |
Xiao et al. | Surface defect detection using image pyramid | |
CN106934800B (zh) | 一种基于yolo9000网络的金属板带表面缺陷检测方法及装置 | |
CN110992349A (zh) | 一种基于深度学习的地下管道异常自动化定位与识别方法 | |
CN110648310B (zh) | 基于注意力机制的弱监督铸件缺陷识别方法 | |
CN110927171A (zh) | 一种基于机器视觉的轴承滚子倒角面缺陷检测方法 | |
Yoo et al. | Development of a crack recognition algorithm from non-routed pavement images using artificial neural network and binary logistic regression | |
CN111079734B (zh) | 铁路货车三角孔异物检测方法 | |
CN112381175A (zh) | 一种基于图像处理的电路板识别与分析方法 | |
CN115601355A (zh) | 一种产品表面缺陷检测与分类方法、装置及存储介质 | |
CN112198170B (zh) | 一种无缝钢管外表面三维检测中识别水滴的检测方法 | |
CN111881970A (zh) | 一种基于深度学习的外破图像智能识别方法 | |
CN113393426A (zh) | 一种轧钢板表面缺陷检测方法 | |
CN111461121A (zh) | 一种基于yolov3网络的电表示数识别方法 | |
CN110660049A (zh) | 一种基于深度学习的轮胎缺陷检测方法 | |
CN115082444B (zh) | 一种基于图像处理的铜管焊缝缺陷检测方法及*** | |
CN110728269B (zh) | 一种基于c2检测数据的高铁接触网支柱杆号牌识别方法 | |
CN116205876A (zh) | 基于多尺度标准化流的无监督笔记本外观缺陷检测方法 | |
Feng et al. | Improved SOLOv2 detection method for shield tunnel lining water leakages | |
CN113283467B (zh) | 一种基于平均损失和逐类选择的弱监督图片分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |