CN112598085B - 支持混合模型融合的Model Ensemble方法 - Google Patents

支持混合模型融合的Model Ensemble方法 Download PDF

Info

Publication number
CN112598085B
CN112598085B CN202110227595.4A CN202110227595A CN112598085B CN 112598085 B CN112598085 B CN 112598085B CN 202110227595 A CN202110227595 A CN 202110227595A CN 112598085 B CN112598085 B CN 112598085B
Authority
CN
China
Prior art keywords
model
fusion
models
output
fused
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110227595.4A
Other languages
English (en)
Other versions
CN112598085A (zh
Inventor
翟梦华
郑军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jushi Technology Jiangsu Co ltd
Original Assignee
Jushi Technology Jiangsu Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jushi Technology Jiangsu Co ltd filed Critical Jushi Technology Jiangsu Co ltd
Priority to CN202110227595.4A priority Critical patent/CN112598085B/zh
Publication of CN112598085A publication Critical patent/CN112598085A/zh
Application granted granted Critical
Publication of CN112598085B publication Critical patent/CN112598085B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种支持混合模型融合的Model Ensemble方法，两个模型的输出均包括实例框和类别分布，分别对两个实例框和两个类别分布进行加权融合，对加权融合后的输出去重获得唯一的模型融合输出。当两个模型中有一个分类模型时，将该分类模型的输出改造成检测模型输出，用“检测模型的实例框+分类模型的类别分布”来构造一个虚拟的检测模型输出。本方法不限于分类模型融合，可以融合不同AI模型。

Description

支持混合模型融合的Model Ensemble方法
技术领域
本发明涉及缺陷检测领域，具体涉及一种支持混合模型融合的Model Ensemble方法。
背景技术
随着人工智能技术的愈发成熟，AI 在智能制造领域的作用也越来越明显。在工业制造领域，机器视觉（CV）被广泛应用于缺陷检测等技术场景中。
工业界的缺陷检测领域的特点主要有以下三个：
1) 数据样本少，很多场景数据样本是缺失的，通常需要专业人员重新设计打光成像方案去采集图片；
2）各缺陷样本比例不均衡；
3）对漏误检要求高，很多客户要求接近 0 漏检。
针对不同的困难有不同的方法。但比较通用和有效的方案是模型融合（ME）。现有的 ME 方法大多是比较简单的 Committee 机制，如投票(voting), 平均(averaging), 堆叠(Stacking)，非交叉堆叠(Blending)。但此模型通用性比较差，一般只在分类中有效，而且不同的加权参数需要手动设置，效果难以保证。
发明内容
本发明的目的在于提供一种支持混合模型融合的Model Ensemble方法，本方法可以融合不同模型。
为实现上述目的，本发明提供如下技术方案：
一种支持混合模型融合的Model Ensemble方法，其特征在于：两个模型的输出均包括实例框和类别分布，分别对两个实例框和两个类别分布进行加权融合，对加权融合后的输出去重获得唯一的模型融合输出。
进一步地，对两个模型的每一对实例框求IoU，如果两个实例框的 IoU 等于高于阈值，则对实例框和/或类别分布进行加权融合。
进一步地，实例框融合具体为：假定两个模型的输出实例框为
Figure 100002_DEST_PATH_IMAGE001
和
Figure 154905DEST_PATH_IMAGE002
，融合策略
Figure 100002_DEST_PATH_IMAGE003
；给定
Figure 316896DEST_PATH_IMAGE004
的权重是
Figure 100002_DEST_PATH_IMAGE005
，
Figure 313147DEST_PATH_IMAGE006
的权重是1-c, 那么
Figure 100002_DEST_PATH_IMAGE007
。
进一步地，对两个模型的每一对实例框
Figure 535181DEST_PATH_IMAGE008
和
Figure 100002_DEST_PATH_IMAGE009
求IoU，如果此 IoU 低于阈值T则
Figure 682128DEST_PATH_IMAGE010
返回空值；如果IoU 等于高于阈值T，则对
Figure 116652DEST_PATH_IMAGE008
和
Figure 829393DEST_PATH_IMAGE009
做加权融合。
进一步地，类别分布融合具体为：每个实例框都对应一个类别分别，假定两个模型的输出类别分布为：
Figure 100002_DEST_PATH_IMAGE011
和
Figure 956749DEST_PATH_IMAGE012
，其中 j 是类别下标，
Figure 100002_DEST_PATH_IMAGE013
是背景类别的置信度，
Figure 794255DEST_PATH_IMAGE014
是前景类别的置信度，融合策略
Figure 100002_DEST_PATH_IMAGE015
；
给定
Figure 298048DEST_PATH_IMAGE016
的权重
Figure 100002_DEST_PATH_IMAGE017
，
Figure 271821DEST_PATH_IMAGE018
的权重是
Figure 100002_DEST_PATH_IMAGE019
, 则
Figure 262690DEST_PATH_IMAGE020
。
进一步地，对两个模型的每一对实例框
Figure 100002_DEST_PATH_IMAGE021
和
Figure 587492DEST_PATH_IMAGE022
求IoU，如果此IoU低于T，则
Figure DEST_PATH_IMAGE023
返回空值；如果IoU 等于高于阈值T，则执行加权融合。
进一步地，该方法还包括融合参数优化：需要优化 n+3 个参数
Figure 894976DEST_PATH_IMAGE024
，其中1个参数来自实例框融合，n+1 个参数来自类别分布融合，还有一个参数就是 IoU 的阈值T；先取mAP 来作为优化的目标，再采用优化方法进行优化。
进一步地，当两个模型中有一个分类模型时，将该分类模型的输出改造成检测模型输出，用“检测模型的实例框+分类模型的类别分布”来构造一个虚拟的检测模型输出。
进一步地，当需要融合三个以上的模型时，采用上述方法先融合第一个模型和第二个模型，再将前两个模型融合后的模型融合输出与下一个模型采用同样的方法融合，以此类推直至所有模型融合完成。
进一步地，对加权融合后的输出采用NMS去重获得唯一的模型融合输出。
对比传统的融合方法，本发明的方法有以下优点：
1、本方法不限于分类模型融合，可以融合不同 AI 模型：比如“检测模型 + 检测模型”，“检测模型 + 分类模型”。
2、本方法不限融合模型的个数：对模型融合的个数没有限制。
3、自动学习模型参数：可以自动学习模型参数。
附图说明
图1为本发明的流程图。
图2为本发明中多模型融合的流程图。
具体实施方式
下面将结合具体实施例对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种支持混合模型融合的Model Ensemble方法，如图1所示。
我们约定对于单个图像样本，2个模型输出都符合检测模型的输出格式（待融合的模型在验证集上的输出），其中包括：
a）被检测到的实例的bbox，用
Figure DEST_PATH_IMAGE025
四个变量表示，其中
Figure 723255DEST_PATH_IMAGE026
是该bbox的坐标，
Figure DEST_PATH_IMAGE027
是该实例的尺寸。
b）该实例对应的类别分布预测P，用一个
Figure 457993DEST_PATH_IMAGE028
维的数组表示（n是前景类别数），其中
Figure DEST_PATH_IMAGE029
是背景概率，
Figure 4512DEST_PATH_IMAGE030
是前景概率。
则检测模型对单个样本的输出可以表示为：
Figure DEST_PATH_IMAGE031
，其中i是该样本上被检出实例的下标。
对同一个图像样本，我们假设
Figure 850108DEST_PATH_IMAGE032
和
Figure DEST_PATH_IMAGE033
分别是模型1和模型2的输出，则我们的Ensemble 方案的过程可以看成是从输入空间
Figure 795543DEST_PATH_IMAGE034
到输出空间
Figure DEST_PATH_IMAGE035
的映射。
一、实例框融合
假定有两个来自不同检测模型的实例框：
Figure 701182DEST_PATH_IMAGE036
和
Figure DEST_PATH_IMAGE037
，融合策略
Figure 734997DEST_PATH_IMAGE038
可以有以下两种：
加权融合：给定
Figure DEST_PATH_IMAGE039
的权重是
Figure 181022DEST_PATH_IMAGE040
，
Figure DEST_PATH_IMAGE041
的权重是
Figure 983893DEST_PATH_IMAGE042
, 那么
Figure DEST_PATH_IMAGE043
；权重c是一个待定参数，两个模型的实例框融合只需要一个c。
条件融合：考虑到 IoU 很小的两个实例框很可能表示的不是同一个实例(object)，所以融合 IoU 很小的两个实例框没有实际意义。在条件融合中，我们首先对两个模型的每一对实例框
Figure 60433DEST_PATH_IMAGE044
和
Figure DEST_PATH_IMAGE045
求IoU，如果此 IoU 低于阈值T, 则
Figure 581544DEST_PATH_IMAGE046
返回空值；如果两个实例框的 IoU 等于高于此阈值，则对
Figure 237785DEST_PATH_IMAGE044
和
Figure 754217DEST_PATH_IMAGE045
做加权融合。
二、类别分布融合
检测模型的输出中，每个实例框都对应一个类别分别，假定有两个来自不同检测模型的类别分布如下：
Figure DEST_PATH_IMAGE047
和
Figure 998729DEST_PATH_IMAGE048
，其中 j 是类别下标，
Figure DEST_PATH_IMAGE049
是背景类别的置信度，
Figure 7136DEST_PATH_IMAGE050
是前景类别的置信度。和实例框融合策略相似，类别分布的融合策略
Figure DEST_PATH_IMAGE051
也分两种：
加权融合：给定
Figure 998226DEST_PATH_IMAGE052
的权重
Figure DEST_PATH_IMAGE053
，
Figure 510110DEST_PATH_IMAGE054
的权重是
Figure DEST_PATH_IMAGE055
，则
Figure 928453DEST_PATH_IMAGE056
。
条件融合：和实例框的条件融合类似，我们首先对
Figure 627419DEST_PATH_IMAGE044
和
Figure 687778DEST_PATH_IMAGE045
求IoU，如果此IoU低于T（T与实例框融合中同），则
Figure DEST_PATH_IMAGE057
返回空值；如果等于高于此阈值，则执行加权融合。
实例框融合和类别分布融合两个融合做完后，再用NMS过滤掉重合实例。最后我们得到：
Figure 319748DEST_PATH_IMAGE058
，其中 i 为融合后的实例下标。
任意两个实例的实例框可能有重合、相交、包含、不相交四中关系，上述过程设计了一种融合规则来覆盖各种情况。
三、融合参数优化
对两个检测模型的融合，我们需要优化 n+3 个参数
Figure DEST_PATH_IMAGE059
，其中一个参数来自 “实例框融合”，n+1 个参数来自“类别分布融合”，还有一个参数就是 IoU 的阈值T。对一个数据集中的所有样本，融合参数都是固定的。
为了优化这 n+3 个参数，得先定义优化的目标，取常用的指标 mAP 来作为优化的目标。
假定融合模型在验证集上的输出为
Figure 906063DEST_PATH_IMAGE060
，对应的标注为
Figure DEST_PATH_IMAGE061
，其中 k 为数据集样本的下标；我们的优化任务如下：
Figure 623483DEST_PATH_IMAGE062
，
其中
Figure DEST_PATH_IMAGE063
是计算 mAP 的方法, 是一个关于
Figure 956375DEST_PATH_IMAGE064
的非线性函数。
非线性函数有很多优化方法，因为这里的参数不多，我们可以采用网格搜索，遗传算法和贝叶斯优化法等等。在我们的实施例中，优化方法选用的是贝叶斯优化法。
如图2所示，当需要融合三个以上的模型时，采用上述方法先融合第一个模型和第二个模型，再将前两个模型融合后的模型融合输出与下一个模型采用同样的方法融合，以此类推直至所有模型融合完成。简单地说，就是重复执行图1的流程，可以把模型融合扩展到多个模型。
混合模型融合（分类模型+检测模型）时，对单个图像样本，分类模型的输出只有一个类别分布，我们可以通过把分类模型的输出改造成检测模型输出，就能适配我们的融合方法。具体做法是用“检测模型的实例框+分类模型的类别分布”来构造一个虚拟的检测模型输出。
在我们的项目中，我们设计了一组实验用于对比使用模型融合与没有模型融合的目标检测效果（用二分类的NG AP和多分类的mAP来表示）。模型1和模型2分别为不同结构的CNN 检测模型。实验结果如下表：
Figure DEST_PATH_IMAGE065
从上表中可以看出融合后的二分类 AP 从单模型最高的 58.99% 提升到76.95%，多分类 mAP 从单模型最高 61.03% 提升到 65.58%。融合模型能平衡各子模型的性能优势，同时规避单模型在某各方面的短板，从而提升模型的综合效果。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种支持混合模型融合的Model Ensemble方法，其特征在于：将图像样本分别输入到两个模型中，两个模型的输出均包括实例框和类别分布；对两个模型的每一对实例框求IoU，如果两个实例框的 IoU 等于高于阈值，则分别对两个实例框和两个类别分布进行加权融合，对加权融合后的输出去重获得唯一的模型融合输出；其中
实例框融合具体为：假定两个模型的输出实例框为
Figure DEST_PATH_IMAGE001
和
Figure 799679DEST_PATH_IMAGE002
，融合策略
Figure DEST_PATH_IMAGE003
；给定
Figure 247978DEST_PATH_IMAGE004
的权重是
Figure DEST_PATH_IMAGE005
，
Figure 434240DEST_PATH_IMAGE006
的权重是1-c, 那么
Figure DEST_PATH_IMAGE007
；
其中：x1，y1，x2，y2表示实例框的坐标；w1，h1，w2，h2表示实例框的长宽尺寸；
类别分布融合具体为：每个实例框都对应一个类别分别，假定两个模型的输出类别分布为：
Figure 95028DEST_PATH_IMAGE008
和
Figure DEST_PATH_IMAGE009
，其中 j 是类别下标,n是前景类别个数,
Figure 63728DEST_PATH_IMAGE010
是背景类别的置信度，
Figure DEST_PATH_IMAGE011
是前景类别的置信度，融合策略
Figure 417349DEST_PATH_IMAGE012
；
给定
Figure DEST_PATH_IMAGE013
的权重
Figure 949961DEST_PATH_IMAGE014
，
Figure DEST_PATH_IMAGE015
的权重是
Figure 555386DEST_PATH_IMAGE016
, 则
Figure DEST_PATH_IMAGE017
。
2.根据权利要求1所述的支持混合模型融合的Model Ensemble方法，其特征在于：对两个模型的每一对实例框
Figure 755423DEST_PATH_IMAGE018
和
Figure DEST_PATH_IMAGE019
求IoU，如果此 IoU 低于阈值T则
Figure 404579DEST_PATH_IMAGE020
和
Figure DEST_PATH_IMAGE021
返回空值；如果IoU 等于高于阈值T，则执行加权融合。
3.根据权利要求2所述的支持混合模型融合的Model Ensemble方法，其特征在于：该方法还包括融合参数优化：需要优化 n+3 个参数
Figure 424488DEST_PATH_IMAGE022
，其中1个参数来自实例框融合，n+1 个参数来自类别分布融合，还有一个参数就是 IoU 的阈值T；先取mAP 来作为优化的目标，再采用优化方法进行优化。
4.根据权利要求1所述的支持混合模型融合的Model Ensemble方法，其特征在于：当两个模型中有一个分类模型时，将该分类模型的输出改造成检测模型输出，用“检测模型的实例框+分类模型的类别分布”来构造一个虚拟的检测模型输出。
5.根据权利要求1所述的支持混合模型融合的Model Ensemble方法，其特征在于：当需要融合三个以上的模型时，采用上述方法先融合第一个模型和第二个模型，再将前两个模型融合后的模型融合输出与下一个模型采用同样的方法融合，以此类推直至所有模型融合完成。
6.根据权利要求1所述的支持混合模型融合的Model Ensemble方法，其特征在于：对加权融合后的输出采用NMS去重获得唯一的模型融合输出。
CN202110227595.4A 2021-03-02 2021-03-02 支持混合模型融合的Model Ensemble方法 Active CN112598085B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110227595.4A CN112598085B (zh) 2021-03-02 2021-03-02 支持混合模型融合的Model Ensemble方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110227595.4A CN112598085B (zh) 2021-03-02 2021-03-02 支持混合模型融合的Model Ensemble方法

Publications (2)

Publication Number Publication Date
CN112598085A CN112598085A (zh) 2021-04-02
CN112598085B true CN112598085B (zh) 2021-07-30

Family

ID=75207651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110227595.4A Active CN112598085B (zh) 2021-03-02 2021-03-02 支持混合模型融合的Model Ensemble方法

Country Status (1)

Country Link
CN (1) CN112598085B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435271A (zh) * 2021-06-10 2021-09-24 中国电子科技集团公司第三十八研究所 一种基于目标检测和实例分割模型的融合方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101172A (zh) * 2020-09-08 2020-12-18 平安科技（深圳）有限公司 基于权重嫁接的模型融合的人脸识别方法及相关设备
CN112418341A (zh) * 2020-12-04 2021-02-26 上海明略人工智能(集团)有限公司 模型融合方法、预测方法、装置、设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101172A (zh) * 2020-09-08 2020-12-18 平安科技（深圳）有限公司 基于权重嫁接的模型融合的人脸识别方法及相关设备
CN112418341A (zh) * 2020-12-04 2021-02-26 上海明略人工智能(集团)有限公司 模型融合方法、预测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112598085A (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
Li et al. 3D cost aggregation with multiple minimum spanning trees for stereo matching
CN111489358A (zh) 一种基于深度学习的三维点云语义分割方法
CN110827398B (zh) 基于深度神经网络的室内三维点云自动语义分割方法
CN115731164A (zh) 基于改进YOLOv7的绝缘子缺陷检测方法
CN108492294B (zh) 一种图像色彩和谐程度的评估方法及装置
CN110874590B (zh) 基于适配器互学习模型的训练及可见光红外视觉跟踪方法
CN115019510B (zh) 一种基于动态自适应生成对抗网络的交通数据修复方法
CN112906823B (zh) 目标对象识别模型训练方法、识别方法及识别装置
CN111768415A (zh) 一种无量化池化的图像实例分割方法
CN103383774A (zh) 图像处理方法及其设备
CN112598085B (zh) 支持混合模型融合的Model Ensemble方法
CN114331949A (zh) 一种图像数据处理方法、计算机设备以及可读存储介质
CN116912238B (zh) 基于多维识别网络级联融合的焊缝管道识别方法及***
CN111178196B (zh) 一种细胞分类的方法、装置及设备
CN115937774A (zh) 一种基于特征融合和语义交互的安检违禁品检测方法
CN116089645A (zh) 一种基于层次化风格的条件文本-电商图片检索方法和***
CN114758199A (zh) 检测模型的训练方法、装置、设备和存储介质
Mirande et al. A graph-based approach for simultaneous semantic and instance segmentation of plant 3D point clouds
CN110717141A (zh) 一种车道线优化方法、装置及存储介质
CN117649515A (zh) 一种基于数字孪生的半监督3d目标检测方法、***和设备
CN114511745A (zh) 三维点云分类及旋转姿态预测方法及***
Hu et al. Many-objective optimization algorithm based on adaptive reference vector
CN117830537B (zh) 一种弱监督的3d场景图生成方法、装置、设备及介质
CN114821206B (zh) 基于对抗互补特征的多模态图像融合分类方法与***
CN112926480B (zh) 一种面向多尺度、多朝向的航拍物体检测方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant