CN113435271A - 一种基于目标检测和实例分割模型的融合方法 - Google Patents

Abstract

本发明公开了一种基于目标检测和实例分割模型的融合方法，属于人工智能技术领域，包括以下步骤：S1：训练目标检测模型；S2：训练实例分割模型；S3：图片推理阶段；S4：结果融合输出。本发明结合了两个模型的优点，分别选取了目标检测模型的缺陷分类结果和实例分割模型的缺陷形态识别结果作为最终输出；同时，由于在训练实例分割模型时，只采用了少量样本进行mask数据标记，相对于直接对全部训练样本进行mask标记来进行实例分割模型训练，节约了大量的人力成本，值得被推广使用。

Description

一种基于目标检测和实例分割模型的融合方法

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于目标检测和实例分割模型的融合方法。

背景技术

在一些目标缺陷检测的项目中，除了需要对目标缺陷进行准确的分类和定位外，还需要精确计算缺陷的尺寸信息(面积，长宽，比例等)。一般来说，这需要采用能够检测出目标轮廓信息的一些算法框架实现，如实例分割算法。但是由于项目中需要参与训练的样本量非常多，而进行实例分割要求对每个样本都进行mask标注，需要人工标注的工作量非常大(通常为只进行box标注的3倍或以上时间)。而只基于目标检测的算法框架只需要对样本进行box标注，需要的标注人力成本相对较低，但是相对的只能对目标缺陷进行box的定位，无法精确地计算出目标的尺寸信息。这就形成了人力成本和项目需求之间的矛盾。为此，提出一种基于目标检测和实例分割模型的融合方法。

发明内容

本发明所要解决的技术问题在于：如何解决现有技术中人力成本和项目需求之间的矛盾，提供了一种基于目标检测和实例分割模型的融合方法，该方法在基于目标检测的算法框架的基础上，只增加了少量的人力成本，但是结果能够达到基于实例分割的算法框架的检测精度水平。

本发明是通过以下技术方案解决上述技术问题的，本发明包括以下步骤：

S1：训练目标检测模型

对所有训练数据进行box标注，利用所有训练数据训练一个目标检测模型；

S2：训练实例分割模型

从步骤S1的训练数据中，针对需要进行轮廓检测的缺陷类型，抽取少量样本作为新的训练样本，并对该部分新样本进行mask标注，利用该部分新样本训练一个实例分割模型；

S3：图片推理阶段

同一张图片，分别通过步骤S1中的目标检测模型和步骤S2中的实例分割模型，分别输出结果，目标检测模型输出结果为A，实例分割模型输出结果为B；

S4：结果融合输出

对结果A、B进行融合处理，输出融合后结果C。

更进一步地，在所述步骤S2中，少量样本占所有训练数据的比例为1/12～ 1/8。

更进一步地，在所述步骤S3中，输出结果A包括box信息、缺陷分类信息、目标的置信度，输出结果B包括box信息、mask信息、缺陷分类信息、目标的置信度。

更进一步地，在所述步骤S4中，融合过程具体如下：

S41：对结果A进行目标的置信度阈值处理，去除所有不满足置信度阈值的结果，此时输出结果为A’；

S42：对结果B进行基于box信息的NMS(非极大值抑制)合并，去掉满足 IOU条件且分数较低的结果，此时输出结果为B’；

S43：计算A’的box和B’的box的交叠情况，若同时满足：

条件1、A’的box面积大于B’的box面积；

条件2、A’的box和B’的box重叠度超过给定阈值；

则在结果C中更新A’的缺陷分类信息、A’的目标置信度、A’的box信息、 B’的box信息，B’的mask信息；

若不能同时满足条件1与条件2，则在结果C只更新A’的缺陷分类信息、 A’的目标置信度、A’的box信息。

更进一步地，在所述步骤S41中，若没有满足置信度阈值条件的结果残留，则该图片直接判定为无缺陷，输出结果C直接更新为无缺陷，不进行后续处理。

更进一步地，在所述步骤S43中，条件2内的重叠度给定阈值为0.9。

更进一步地，在所述步骤S4中，结果C中必定包含A’的缺陷分类信息即为最终的缺陷分类结果，如果包含了B’的box和mask信息，则以B’的box和 mask信息为准。

本发明相比现有技术具有以下优点：该基于目标检测和实例分割模型的融合方法，结合了两个模型的优点，分别选取了目标检测模型的缺陷分类结果和实例分割模型的缺陷形态识别结果作为最终输出；同时，由于在训练实例分割模型时，只采用了少量样本进行mask数据标记，相对于直接对全部训练样本进行mask标记来进行实例分割模型训练，节约了大量的人力成本，值得被推广使用。

附图说明

图1是本发明实施例一中融合方法的流程示意图；

图2是本发明实施例一中模型融合示意图；

图3是本发明实施例二中的待检测图片；

图4是本发明实施例二中采用基于目标检测的算法模型的检测结果示意图；

图5是本发明实施例二中采用基于实例分割检测的算法模型的检测结果示意图；

图6是本发明实施例二中算法融合模型的检测结果示意图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例一

如图1所示，本实施例提供一种技术方案：一种基于目标检测和实例分割模型的融合方法，包括以下步骤：

S1、对所有训练数据进行box标注；

S2、使用步骤S1中的训练数据，训练一个目标检测模型；

S3、从步骤S1的训练数据中，针对需要进行轮廓检测的缺陷类型，抽取少量样本(约10:1)作为新的训练样本，并对这部分新样本进行mask标注；

S4、使用步骤S3中的训练数据，训练一个实例分割模型；

S5、图片推理阶段：同一张图片，分别通过步骤2中的目标检测模型和步骤 4中的实例分割模型，分别输出结果，假设目标检测模型输出结果为A(包含box 信息，缺陷分类信息，目标的置信度)，实例分割模型输出结果为B(包含box信息，mask信息，缺陷分类信息，目标的置信度)；

S6、对A，B进行融合处理，假设融合后输出结果为C、基本逻辑如下：

S6.1、对A结果进行目标的置信度阈值处理，去除所有不满足置信度阈值 (根据不同缺陷类型单独设定)的结果，假设此时输出为A’；(注：若没有满足置信度阈值条件的结果残留，则该图片直接判定为无缺陷，输出结果C直接更新为无缺陷，不需要进行后续处理)

S6.2、由于实例分割模型由少样本训练而成，我们需要对模型的结果进行筛选，去除重复的候选框和分数低的候选框。这里采用了国际上通用的NMS(非极大值抑制)合并算法来进行处理，算法原理参照下述说明，完成NMS后，就得去掉满足IOU条件且分数较低的候选框的结果，假设此时结果为B’；

注：非极大值抑制(NMS)就是抑制不是极大值的元素，搜索局部的极大值。

具体的非极大值抑制算法流程如下：

图上给出多个候选框，但是这些框很可能有互相重叠的部分(相当于同一个物体对应多个候选框)，实际只需要保留最优的框。

假设有N个框，每个框得到的分数为Si,1<＝i<＝N。

建造一个存放待处理候选框的集合H，初始化为包含全部N个框；建造一个存放最优框的集合M，初始化为空集。

将所有集合H中的框进行排序，选出分数最高的框m，从集合H移到集合M；

遍历集合H中的框，分别与框m计算交并比(Interection-over-union， IoU)，如果高于某个阈值(一般为0～0.5)，则认为此框与m重叠，将此框从集合H中去除。

回到第2步进行迭代，直到集合H为空。集合M中的框为我们所需。

S6.3、计算A’的box和B’的box的交叠情况，若同时满足：

条件1.A’的box面积大于B’的box面积(如果不满足，就不认为B的结果精度更高)；

条件2.A’的box和B’的box重叠度超过给定阈值(默认0.9)(注：这里计算box重叠度是为了保证A’和B’的结果均为针对同一个物体，设置0.9而不是1是为了包容一定程度上的box相对偏差)；

则在结果C中更新A’的缺陷分类信息，A’的目标置信度，A’的box信息， B’的box信息，B’的mask信息；

注：结果中的各类信息的详细说明如下：

缺陷分类信息----被检测物体的分类结果；

目标置信度-----被检测物体分类的得分(0-1)；

Box信息----被检测物体的位置的box定位信息(左上角x、y坐标和右下角x、y坐标)；

Mask信息---被检测物体的轮廓定位信息(连接物体轮廓的点的坐标)。

S6.4、若不能同时满足6.3的条件，则在结果C只更新A’的缺陷分类信息， A’的目标置信度，A’的box信息；

S7、融合结果的使用处理：根据实际需要选取处理，一般来说，结果C中必定包含的A’的缺陷分类信息即为最终的缺陷分类结果，如果包含了B’的box 和mask信息，则以B’的box和mask信息为准。注意，A’的box中有可能包含了多个B’的box信息，这种情况则需要根据项目实际情况具体处理。

实施例二

如图3所示：客户首先需要检测图中缺陷(白色污点)的分类，然后计算缺陷和背景图案(灰色圆盘)的面积占比来确定该缺陷的严重程度(不同的缺陷分类对严重程度的要求比例不一样)，如果同一个背景包含数个缺陷，则需要累加缺陷的总面积，这就不仅需要精确的识别缺陷的分类，还需要对缺陷大小进行较高精度的检测。

如果直接采用基于目标检测的算法模型，无法保证缺陷面积的精确检测，通过box计算出来的面积会比实际缺陷面积大，检测结果如下图4所示。

如果直接采用基于实例分割检测的算法模型，虽然可以满足精度要求，但为了满足缺陷的分类准确，需要对所有的样本进行mask级标注，对于有上万级的样本数据库来说，需要的标注人力成本为采用目标检测的算法模型的3～5倍。检测结果如图5所示。

而采用本发明中所述的算法融合模型，通过目标检测的算法模型保证缺陷的分类准确率，通过实例分割检测的算法模型保证缺陷的检测大小精度，且本模型中由于实例分割检测模型并不要求分类准确率，需要的标注样本量大量减少，最终实现了在节约大量标注人力的情况下，达到了高精度的检测效果。检测结果如图6所示。

综上所述，上述实施例的基于目标检测和实例分割模型的融合方法，结合了两个模型的优点，分别选取了目标检测模型的缺陷分类结果和实例分割模型的缺陷形态识别结果作为最终输出；同时，由于在训练实例分割模型时，只采用了少量样本进行mask数据标记，相对于直接对全部训练样本进行mask标记来进行实例分割模型训练，节约了大量的人力成本，值得被推广使用。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (7)

1.一种基于目标检测和实例分割模型的融合方法，其特征在于，包括以下步骤：

S1：训练目标检测模型

对所有训练数据进行box标注，利用所有训练数据训练并得到一个目标检测模型；

S2：训练实例分割模型

从步骤S1的训练数据中，针对需要进行轮廓检测的缺陷类型，抽取少量样本作为新的训练样本，并对该部分新样本进行mask标注，利用该部分新样本训练并得到一个实例分割模型；

S3：图片推理阶段

同一张图片分别通过步骤S1中的目标检测模型和步骤S2中的实例分割模型，分别输出结果，目标检测模型输出结果为A，实例分割模型输出结果为B；

S4：结果融合输出

对结果A、B进行融合处理，输出融合后结果C。

2.根据权利要求1所述的一种基于目标检测和实例分割模型的融合方法，其特征在于：在所述步骤S2中，少量样本占所有训练数据的比例为1/12～1/8。

3.根据权利要求1所述的一种基于目标检测和实例分割模型的融合方法，其特征在于：在所述步骤S3中，输出结果A包括box信息、缺陷分类信息、目标的置信度，输出结果B包括box信息、mask信息、缺陷分类信息、目标的置信度。

4.根据权利要求1所述的一种基于目标检测和实例分割模型的融合方法，其特征在于：在所述步骤S4中，融合过程具体如下：

S41：对结果A进行目标的置信度阈值处理，去除所有不满足置信度阈值的结果，此时输出结果为A’；

S42：对结果B进行基于box信息的NMS合并，去掉满足IOU条件且分数较低的结果，此时输出结果为B’；

S43：计算A’的box和B’的box的交叠情况，若同时满足：

条件1、A’的box面积大于B’的box面积；

条件2、A’的box和B’的box重叠度超过给定阈值；

则在结果C中更新A’的缺陷分类信息、A’的目标置信度、A’的box信息、B’的box信息，B’的mask信息；

若不能同时满足条件1与条件2，则在结果C只更新A’的缺陷分类信息、A’的目标置信度、A’的box信息。

5.根据权利要求4所述的一种基于目标检测和实例分割模型的融合方法，其特征在于：在所述步骤S41中，若没有满足置信度阈值条件的结果残留，则该图片直接判定为无缺陷，输出结果C直接更新为无缺陷，不进行后续处理。

6.根据权利要求4所述的一种基于目标检测和实例分割模型的融合方法，其特征在于：在所述步骤S43中，条件2内的重叠度给定阈值为0.9。

7.根据权利要求4所述的一种基于目标检测和实例分割模型的融合方法，其特征在于：在所述步骤S4中，结果C中必定包含A’的缺陷分类信息即为最终的缺陷分类结果，如果包含了B’的box和mask信息，则以B’的box和mask信息为准。

Images