CN115965571A - 增量自主学习的多源信息融合检测、模型训练方法和介质 - Google Patents

增量自主学习的多源信息融合检测、模型训练方法和介质 Download PDF

Info

Publication number
CN115965571A
CN115965571A CN202210461803.1A CN202210461803A CN115965571A CN 115965571 A CN115965571 A CN 115965571A CN 202210461803 A CN202210461803 A CN 202210461803A CN 115965571 A CN115965571 A CN 115965571A
Authority
CN
China
Prior art keywords
feature
feature map
network
channel
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210461803.1A
Other languages
English (en)
Other versions
CN115965571B (zh
Inventor
何良雨
崔健
刘彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fengrui Lingchuang Zhuhai Technology Co ltd
Original Assignee
Fengrui Lingchuang Zhuhai Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fengrui Lingchuang Zhuhai Technology Co ltd filed Critical Fengrui Lingchuang Zhuhai Technology Co ltd
Priority to CN202210461803.1A priority Critical patent/CN115965571B/zh
Publication of CN115965571A publication Critical patent/CN115965571A/zh
Application granted granted Critical
Publication of CN115965571B publication Critical patent/CN115965571B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Image Analysis (AREA)

Abstract

本申请涉及智能制造的深度学习、精密检测领域，尤其用于半导体检测，公开基于增量式自主学习的多源信息融合检测、模型训练方法和介质。包括：将被检测图像输入训练好的目标检测模型中进行检测；目标检测模型包括深度卷积神经网络模型，该模型包括多源信息融合全卷积网络特征提取通道，边缘感知特征增强通道和自适应特征交互融合模块。全卷积网络特征提取通道用于提取被检测图像的深度纹理特征，边缘感知特征增强通道用于提取深度纹理特征中的边缘纹理特征，自适应特征交互融合模块用于融合深度纹理特征和边缘纹理特征。训练中还在已训练的网络增加用于新检测目标类别的网络进行训练，该增量自主学习设计确保了增量网络对新旧类别缺陷的检测能力。

Description

增量自主学习的多源信息融合检测、模型训练方法和介质
技术领域
本申请涉及智能制造的深度学习、精密检测领域，可应用于半导体缺陷检测，尤其涉及一种基于增量自主学习的多源信息融合检测方法、模型训练方法及存储介质。
背景技术
物品或产品在生产过程中很容易出现各类缺陷，诸如电子制造领域的器件缺陷，半导体超精密生产工艺过程中的各种缺陷。这些缺陷会影响到产品的生产良率，使用寿命和可靠度。因此，此类物品或产品的表面缺陷检测是品质管控的关键环节。基于机器视觉的表面缺陷检测方法具有效率高、准确性高、实时性高等优点，在缺陷检测领域得到广泛的研究和应用。
但是，由于缺陷类型繁多，特征难以定义，且只发生在生产过程中，使得基于计算机视觉的物品或产品表面缺陷检测方法遇到困难。此外，在工业检测领域，数据的来源众多，这些数据具有不同的结构信息，因此，如何有效提取各类缺陷目标特征进行缺陷检测显得十分重要，成为亟待解决的技术问题。
发明内容
本申请实施例提供一种基于增量式自主学习的多源信息融合检测方法、模型训练方法及存储介质，以有效提取各类缺陷目标特征，提高缺陷检测准确率。该方法利用蒸馏损失函数解决了在新数据更新目标检测模型时引起的对原目标灾难性遗忘问题。
一种基于增量自主学习的多源信息融合检测方法，包括：
获取被检测图像，将被检测图像输入训练好的目标检测模型中，得到缺陷检测结果；
目标检测模型包括深度卷积神经网络模型，深度卷积神经网络模型包括多源信息深度融合神经网络和缺陷检测网络，其中，多源信息深度融合神经网络包括并行特征提取网络和自适应特征交互融合模块，并行特征提取网络包括全卷积网络特征提取通道和边缘感知特征增强通道，全卷积网络特征提取通道用于提取被检测图像对应的深度纹理特征图，边缘感知特征增强通道用于对深度纹理特征图进行处理，得到边缘纹理特征图；自适应特征交互融合模块用于对深度纹理特征图和边缘纹理特征图进行融合，得到融合特征图；缺陷检测网络用于基于融合特征图进行缺陷目标检测。
在一实施例中，全卷积网络特征提取通道包括多个分组卷积块，每个分组卷积块包括连续的3×3卷积核和1×1卷积核。
在一实施例中，边缘感知特征增强通道具体用于：对深度纹理特征图进行图像通道的压缩和特征降维，将降维后的特征图使用边缘特征提取卷积核进行特征提取，得到边缘纹理特征图；
其中，边缘特征提取卷积核的计算公式如下：
Figure BDA0003622398240000021
Li,o表示目标卷积核，*表示点积运算，G(c,v)表示用于边缘提取的线性滤波器，c表示线性滤波器的方向，v表示线性滤波器的尺度，目标卷积核的维度与线性滤波器的方向数一致，
Figure BDA0003622398240000022
表示经过线性滤波器滤波后的卷积核。
在一实施例中，线性滤波器包括Gabor滤波器。
在一实施例中，对深度纹理特征图进行图像通道的压缩和特征降维，包括：
将所述深度纹理特征图U1按如下方式进行标准化计算：
Figure BDA0003622398240000023
N表示深度纹理特征图U1的维度，；
Zij表示为所述深度纹理特征图U1进行标准化计算后的矩阵，所述深度纹理特征图U1为H1×W1大小的N维向量，所述深度纹理特征图U1中的每一个样本表示为uij，其中，s＝H1×W1，
Figure BDA0003622398240000024
表示平均值，
Figure BDA0003622398240000025
表示标准差；
获取深度纹理特征图U1的相关系数矩阵R1，
Figure BDA0003622398240000026
计算相关系数矩阵R1的特征方程满足|λI-R1|＝0时，得到的特征值λi(i＝1,2,…,N)，I为所述特征值λ的特征向量；
对特征值λi按照大小顺序排列后，按照主成分分析计算方法，分别计算出特征值λi对应的特征向量ei，再根据特征值λi与特征值λi对应的特征向量ei得到降维后的特征图U1′。
在一实施例中，自适应特征交互融合模块还用于：对融合特征图进行校准，得到校准后的特征图；缺陷检测网络用于基于校准后的特征图进行缺陷目标检测。
在一实施例中，对融合特征图进行校准，得到校准后的特征图，包括：
对融合特征图的每一通道上的特征图进行全局平局池化操作，其中W，H分别为每一通道上的特征图的宽和高；
压缩所述每一通道上的特征图的维度W×H以生成通道统计信息E∈Rn，计算公式如下：
Figure BDA0003622398240000031
Ek为所述每一通道上的特征图k通道对应特征图的池化值，D(i,j)表示所述每一通道上的特征图；其中，1≤k≤K，K表示所有通道上的特征图，1≤i≤W,1≤j≤H；
使用激活函数，对融合特征图各自通道上的Ek进行激励操作，得到每一通道上的特征图的池化值Zk所赋予的权重值βk；
将激励后的权重值βk与对应的特征图D(i,j)相乘，得到校准后的特征图U(i,j)＝D(i,j)·βk。
在一实施例中，使用激活函数，对融合特征图各自通道上的Ek进行激励操作，得到每一通道上的特征图的池化值Zk所赋予的权重值βk，包括：
使用如下公式对融合特征图各自通道上的Ek进行激励操作，得到每一通道上的特征图的池化值Zk所赋予的权重值βk：
Figure BDA0003622398240000032
βk表示为融合特征图的第k通道上特征图的池化值Ek所赋予的权重值，σ表示sigmoid激活函数，γ为relu激活函数，w为全连接层w·(γ·Ek)，表示将Ek进行非线性的全连接操作。
一种基于增量式自主学习的多源信息融合模型训练方法，包括：
获取训练图像集，训练图像集包括训练图像；
通过训练图像对目标检测网络进行训练，以得到训练好的目标检测模型；
目标检测模型包括深度卷积神经网络模型，深度卷积神经网络模型包括多源信息深度融合神经网络和缺陷检测网络，其中，多源信息深度融合神经网络包括并行特征提取网络和自适应特征交互融合模块，并行特征提取网络包括全卷积网络特征提取通道和边缘感知特征增强通道，全卷积网络特征提取通道用于提取被检测图像对应的深度纹理特征图，边缘感知特征增强通道用于对深度纹理特征图进行处理，得到边缘纹理特征图；自适应特征交互融合模块用于对深度纹理特征图和边缘纹理特征图进行融合，得到融合特征图；缺陷检测网络用于基于融合特征图进行缺陷目标检测。
在一实施例中，通过训练图像对目标检测网络进行训练，以得到训练好的目标检测模型，将已训练好的用于旧类别检测的检测模型的网络参数，迁移至所述目标检测网络中，并通过所述训练图像对目标检测网络进行训练，以得到训练好的目标检测模型；其中，所述用于旧类别检测的检测模型的网络结构与所述目标检测网络的网络结构相同。
一种基于增量自主学习的多源信息融合模型训练装置，包括：
获取模块，用于获取训练图像集，训练图像集包括训练图像；
训练模块，用于通过训练图像对目标检测网络进行训练，以得到训练好的目标检测模型；目标检测模型包括深度卷积神经网络模型，深度卷积神经网络模型包括多源信息深度融合神经网络和缺陷检测网络，其中，多源信息深度融合神经网络包括并行特征提取网络和自适应特征交互融合模块，并行特征提取网络包括全卷积网络特征提取通道和边缘感知特征增强通道，全卷积网络特征提取通道用于提取被检测图像对应的深度纹理特征图，边缘感知特征增强通道用于对深度纹理特征图进行处理，得到边缘纹理特征图；自适应特征交互融合模块用于对深度纹理特征图和边缘纹理特征图进行融合，得到融合特征图；缺陷检测网络用于基于融合特征图进行缺陷目标检测。
一种基于增量自主学习的多源信息融合检测装置，包括：
获取模块，用于获取被检测图像；
输入模块，用于将被检测图像输入训练好的目标检测模型中，得到缺陷检测结果；目标检测模型包括深度卷积神经网络模型，深度卷积神经网络模型包括多源信息深度融合神经网络和缺陷检测网络，其中，多源信息深度融合神经网络包括并行特征提取网络和自适应特征交互融合模块，并行特征提取网络包括全卷积网络特征提取通道和边缘感知特征增强通道，全卷积网络特征提取通道用于提取被检测图像对应的深度纹理特征图，边缘感知特征增强通道用于对深度纹理特征图进行处理，得到边缘纹理特征图；自适应特征交互融合模块用于对深度纹理特征图和边缘纹理特征图进行融合，得到融合特征图；缺陷检测网络用于基于融合特征图进行缺陷目标检测。
一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述基于增量自主学习的多源信息融合检测方法，或基于增量自主学习的多源信息融合模型训练方法的步骤。
一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述基于增量自主学习的多源信息融合检测方法，或基于增量自主学习的多源信息融合模型训练方法的步骤。
上述基于增量自主学习的多源信息融合检测方法、模型训练方法、装置、计算机设备及存储介质所实现的方案中，可通过两条并行的特征提取通道分别提取被检测产品或物体的不同纹理特征，包括深度纹理特征和边缘纹理特征，再通过一个自适应特征交互融合模块将这两条并行通道所提取的特征进行融合，与后续的缺陷检测网络搭建出一个用于缺陷检测，例如用于半导体缺陷检测的深度卷积神经网络模型，可以提取到有效的缺陷特征，提高缺陷检测能力。
另外，本申请实施例的目标检测模型，在通过深度卷积神经网络模型提升模型特征提取能力的同时，还具备增量式自主学习的能力以解决在新数据更新网络时引起的对原目标灾难性遗忘问题。本申请实施例的目标检测模型可以包括两个深度卷积神经网络模型，采用特有的蒸馏学习的方式，可以使用己有的、在旧类别上训练好的深度卷积神经网络模型指导新的深度卷积神经网络模型的训练，并添加一个蒸馏损失函数，提升目标检测模型的增量学习的能力，通过添加新的检测目标类别而无需对整个数据集重新训练，在保持检测能力的同时，大幅提升模型的训练效率，可以解决在新数据更新网络时引起的对原目标灾难性遗忘问题。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例中全卷积网络特征提取通道的一个结构示意图；
图2为本申请一实施例中边缘感知特征增强通道的一个结构示意图；
图3为本申请一实施例中自适应特征交互融合模块的融合过程示意图；
图4为本申请一实施例中基于增量自主学习的多源信息融合模型训练过程示意图；
图5是本申请一实施例中基于增量自主学习的多源信息融合模型训练装置的一结构示意图；
图6是本申请一实施例中基于增量自主学习的多源信息融合检测装置的一结构示意图；
图7是本申请一实施例中计算机设备的一结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供的基于增量自主学***板电脑和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
本申请实施例包括基于增量自主学习的多源信息融合检测方法、基于增量自主学习的多源信息融合模型训练方法、装置、设备和存储介质几个部分，下面分别通过这几个部分对本申请实施例进行完整的描述。
模型训练部分
模型训练部分包括第一种训练过程和第二种训练过程，第一种训练过程是一般的基于多源信息融合模型训练过程，以及第二种训练过程是添加了基于增量自主学习的多源信息融合模型训练过程，是一种增量式自主学习的训练过程，下面分别描述。
本申请一实施例提供了一种基于多源信息融合训练方法，包括：获取训练图像集，训练图像集包括训练图像；通过训练图像对目标检测网络进行训练，以得到训练好的目标检测模型；该目标检测模型包括深度卷积神经网络模型DMSNet，该深度卷积神经网络模型DMSNet包括多源信息深度融合神经网络和缺陷检测网络，其中，多源信息深度融合神经网络包括并行特征提取网络和自适应特征交互融合模块，并行特征提取网络包括全卷积网络特征提取通道和边缘感知特征增强通道，全卷积网络特征提取通道用于提取被检测图像对应的深度纹理特征图，边缘感知特征增强通道用于对深度纹理特征图进行处理，得到边缘纹理特征图；自适应特征交互融合模块用于对深度纹理特征图和边缘纹理特征图进行融合，得到融合特征图；缺陷检测网络用于基于融合特征图进行缺陷目标检测。
可以看出，本申请实施例提供的训练方法训练出的目标检测模型包括深度卷积神经网络模型DMSNet，该深度卷积神经网络模型DMSNet可通过两条并行的特征提取通道，分别提取被检测产品或物体的不同纹理特征，包括深度纹理特征和边缘纹理特征，再通过一个自适应特征交互融合模块将这两条并行通道所提取的特征进行融合，组成一个多源信息深度融合模块(Deep fusion of multi-source information)，利用该多源信息深度融合模块与后续的缺陷检测网络搭建出一个用于缺陷检测，例如用于半导体缺陷等检测的深度卷积神经网络模型DMSNet，可以提取到有效的缺陷特征，提高缺陷检测能力。
其中，深度卷积神经网络模型DMSNet中的缺陷检测网络可以采用常规的缺陷检测网络，具体不做限定，如用于某种目标类别(例如半导体缺陷)的预测与回归神经元网络，深度卷积神经网络模型DMSNet中的多源信息深度融合神经网络是本申请特别提出的特征提取网络，具体而言，该多源信息深度融合神经网络包括并行特征提取网络和自适应特征交互融合模块，下面分别对本申请提供的多源信息深度融合神经网络的各个部分进行详细的描述。
本申请实施例提出的并行特征提取网络包括两条并行的特征提取通道，即包括全卷积网络特征提取通道和边缘感知特征增强通道，分别用于提取缺陷目标的深度纹理特征以及相应的边缘纹理特征。下面分别对全卷积网络特征提取通道和边缘感知特征增强通道，以及自适应特征交互融合模块的工作过程进行描述。
1、全卷积网络特征提取通道
在一实施例中，该全卷积网络特征提取通道包括多个分组卷积块，每个分组卷积块包括连续的3×3卷积核和1×1卷积核。需要说明的是，该分组卷积块的个数可以根据具体应用场景和任务需求来灵活设置，本申请实施例不做限定。
如图1所示，图1为本申请一实施例中全卷积网络特征提取通道的结构示意图，该全卷积网络特征提取通道包括多个分组卷积块，每个分组卷积块包括连续的3×3和1×1卷积层。也即全卷积网络特征提取通道是使用多个连续的3×3和1×1卷积层组成的分组卷积块搭建出一个全卷积神经网络框架。
需要说明的是，通过该全卷积网络特征提取通道，在网络的正向传播过程中，可通过调整卷积核的步长，代替传统的池化层实现特征图的维度变换，可减少特征信息损失，保证了卷积输出的高分辨率，提高检测精度。另外值得说明的是，多层的3×3卷积核相较于传统的5×5卷积核或其他大小卷积核，多层的3×3卷积核具有更强的非线性表达能力，可以使用更少的参数达到相同的感受野。而配置与3×3卷积核连续的1×1的卷积层，则可以在网络的前向传播过程中作为一个维度缩减模块降低模型复杂度，在前向传播过程中将同一深度的不同通道上的特征图进行特征融合，增强对检测目标的特征提取能力。
示例性的，继续如图1所示，假设输入图像X为H'×W'大小的M维向量，3×3卷积核的维度与输入图像X的维度相同，可以对每个输入通道单独使用一个卷积核的滤波器，然后，利用N维的1×1卷积核对滤波器的输出进行特征融合，得到一次完整卷积输出Y，Y为H×W大小的N维向量。可以看出，通过分组卷积块的卷积方式可以大大减少计算量。
2、边缘感知特征增强通道
为了进一步提升深度卷积神经网络模型DMSNet的特征提取能力，本申请实施例还在深度卷积神经网络模型DMSNet添加一个专注边缘特征提取的特征增强通道，也即边缘感知特征增强通道，该边缘感知特征增强通道用于对深度纹理特征图进行处理，得到边缘纹理特征图。
如图2所示，图2为本申请实施例中边缘感知特征增强通道的一个结构示意图，该边缘感知特征增强通道还具体用于：对深度纹理特征图进行图像通道的压缩和特征降维，再将降维后的特征图使用边缘特征提取卷积核(本申请中简称EFC卷积核)进行特征提取，得到边缘纹理特征图；其中，该边缘特征提取卷积核的计算公式如下：
Figure BDA0003622398240000081
Li,o表示的目标卷积核，*表示点积运算，G(c,v)表示用于边缘提取的线性滤波器，可以为一组线性滤波器，c表示线性滤波器的方向，v表示线性滤波器的尺度，目标卷积核的维度与线性滤波器的方向数一致，
Figure BDA0003622398240000082
表示经过线性滤波器滤波后的卷积核。
如图2所示，图2中的Dk×Dk×M为目标卷积核，可以为传统的卷积核，Dk×Dk表示目标卷积核的卷积核尺寸大小，M表示目标卷积核的卷积核个数，具体不做限定。
在一实施例中，上述边缘感知特征增强通道是一种PCA边缘感知特征增强通道，用于将从全卷积网络特征提取通道输出的特征图U进行PCA主成分分析，以实现图像通道的压缩与特征降维，然后将降维后的特征图U'通过一个新型的边缘特征提取卷积核进行边缘特征提取，输出该特征图U相应的边缘纹理特征图X。
在一实施例中，线性滤波器包括Gabor滤波器。在该实施例中，边缘特征提取卷积核(EFC卷积核)是利用Gabor滤波器等线性滤波器对边缘特征提取能力强的特性，将Gabor滤波器与传统的目标卷积核相结合，设计出一种新型的卷积核，提升了模型对边缘特征提取的能力。具体而言：
在一实施例中，对深度纹理特征图进行图像通道的压缩和特征降维，包括如下过程：
将所述深度纹理特征图U1按如下方式进行标准化计算：
Figure BDA0003622398240000091
N表示深度纹理特征图U1的维度，；
Zij表示为所述深度纹理特征图U1进行标准化计算后的矩阵，所述深度纹理特征图U1为H1×W1大小的N维向量，所述深度纹理特征图U1中的每一个样本表示为uij，其中，s＝H1×W1，
Figure BDA0003622398240000092
表示平均值，
Figure BDA0003622398240000093
表示标准差；
获取深度纹理特征图U1的相关系数矩阵R1，
Figure BDA0003622398240000094
计算相关系数矩阵R1的特征方程满足|λI-R1|＝0时，得到的特征值λi(i＝1,2,…,N)，I为所述特征值λ的特征向量；
对特征值λi按照大小顺序排列后，按照主成分分析计算方法，分别计算出特征值λi对应的特征向量ei，再根据特征值λi与特征值λi对应的特征向量ei得到降维后的特征图U1'。
在该实施例中，得到降维后的特征图U1′后，EFC卷积核是将Gabor滤波器与目标卷积核进行点积运算，即将降维后的特征使用边缘特征提取卷积核进行特征提取，得到边缘纹理特征图。通过将降维后的特征图U1'利用边缘特征提取卷积核进行特征提取，进而有效的提升深度卷积神经网络模型DMSNet对于缺陷目标边缘纹理特征的提取能力。
如图2所示，通过本申请实施例提供的边缘感知特征增强通道，可对全卷积网络特征提取通道的第一个分组卷积块的输出U1，进行PCA主成分分析实现通道的压缩与特征降维，然后将降维后的特征U1′通过边缘特征提取卷积核(EFC卷积核)进行边缘特征提取，得到输出特征X1，对于其他分组卷积块的输出特征图，采用相同的处理方式，从而得到每个分组卷积块对应的边缘纹理特征图。
3、自适应特征交互融合模块
在本申请实施例中，为了充分利用不同层次卷积神经网络的缺陷纹理特征，如图3所示，图3为本申请实施例提供的自适应特征交互融合模块的融合过程示意图，该自适应特征交互融合模块用于对深度纹理特征图和边缘纹理特征图进行融合，得到融合特征图，本申请实施例提出了自适应特征交互融合的方式，将全卷积网络特征提取通道和边缘感知特征增强通道，这两个通道所提取的特征进行融合，利用选择性特征聚合方式，对被检测图像的同一层学习到的特征进行自适应组合，使网络具备鉴别特征的能力，以增强有价值特征，抑制无价值特征。
在一实施例中，自适应特征交互融合模块还用于：对融合特征图进行校准，得到校准后的特征图；缺陷检测网络用于基于校准后的特征图进行缺陷目标检测。该实施例中，基于校准后的特征图有利于提高缺陷目标检测能力和准确度。
在一实施例中，对融合特征图进行校准，得到校准后的特征图，包括：
对融合特征图的每一通道上的特征图进行全局平局池化操作，其中W，H分别为每一通道上的特征图的宽和高；
压缩所述每一通道上的特征图的维度W×H以生成通道统计信息E∈Rn，计算公式如下：
Figure BDA0003622398240000101
Ek为所述每一通道上的特征图k通道对应特征图的池化值，D(i,j)表示所述每一通道上的特征图；其中，1≤k≤K，K表示所有通道上的特征图，1≤i≤W,1≤j≤H；
使用激活函数，对融合特征图各自通道上的Ek进行激励操作，得到每一通道上的特征图的池化值Zk所赋予的权重值βk；
将激励后的权重值βk与对应的特征图D(i,j)相乘，得到校准后的特征图U(i,j)＝D(i,j)·βk。
在一实施例中，使用激活函数，对融合特征图各自通道上的Ek进行激励操作，得到每一通道上的特征图的池化值Zk所赋予的权重值βk，包括：使用如下公式对融合特征图各自通道上的Ek进行激励操作，得到每一通道上的特征图的池化值Zk所赋予的权重值βk：
Figure BDA0003622398240000111
βk表示为融合特征图的第k通道上特征图的池化值Ek所赋予的权重值，σ表示sigmoid激活函数，γ为relu激活函数，w为全连接层w·(γ·Ek)，表示将Ek进行非线性的全连接操作。通过该实施例中，可以实现融合特征图各个通道间的特征融合，并为每一层通道赋予一个权重值βk，之后再用sigmoid函数对融合特征图各个通道的权重值进行激励计算，增大有效特征权重，抑制无效特征的权重，然后将激励后的权重值βk，和与其对应的特征图D(i,j)相乘，得到重新校准后的特征图U(i,j)＝D(i,j)·βk，通过该过程可实现将特征图中对于检测物的缺陷目标有利的特征进行增强，对干扰的特征进行抑制的目的，也就是说，通过对网络各层中不同通道上的特征图进行权重值激活，从而增大有效特征权重，减少无效特征的权重，进而提升模型特征表征的能力。
在一实施例中，本申请提供的深度卷积神经网络模型DMSNet可以包括至少一个自适应特征交互融合模块，具体不做限定。
在本申请实施例中，通过训练图像便可对目标检测网络进行训练，以得到训练好的目标检测模型，在利用训练图像集的训练过程中，可以利用反向传播算法，计算所有误差对网络中每个参数的导数，然后根据梯度下降更新这些参数，经过多次迭代更新网络参数，完成目标检测模型的训练，具体的涉及训练过程的参数过程以及模型训练完成条件这里不详细展开描述，上述训练过程属于第一种训练过程。
除上述第一种训练过程外，本申请实施例中，还可以基于增量学习的方式对目标检测模型进行训练，即第二种训练过程，下面进行描述。
4、增量式自主学习的网络模型训练过程
在一实施例中，所述通过所述训练图像对目标检测网络进行训练，以得到训练好的目标检测模型，包括：将已训练好的用于旧类别检测的检测模型的网络参数，迁移至所述目标检测网络中，并通过所述训练图像对目标检测网络进行训练，以得到训练好的目标检测模型；其中，所述用于旧类别检测的检测模型的网络结构与所述目标检测网络的网络结构相同。
本申请提供两个上述深度卷积神经网络模型DMSNet，不妨以网络A和网络B来表示这深度卷积神经网络模型DMSNet。如图4所示，在训练过程中，网络结构上包括两个网络，一个是网络A，其中，该网络A是己有的、在旧类别上训练好的深度卷积神经网络模型DMSNet，例如网络A是用于对某5种类别的缺陷检测；由于需要在模型分类器上加上新类别的缺陷检测，另一个是被训练的用于新增新类别缺陷检测的网络B，该网络B的也是采用深度卷积神经网络模型DMSNet，在该实施例中是形成一种目标检测增量网络，该网络B用于新增某一种新类别的缺陷检测。
可以看出，在网络结构上，本申请实施例提供的目标检测模型，是在已训练的网络A的最后全连接输出层增加了用于新检测目标类别的预测与回归神经元，即网络B(当前被训练的深度卷积神经网络模型DMSNet)，该增量设计确保了增量网络B对新旧类别缺陷目标的检测能力。在增量学习训练过程中，首先冻结网络A的权值，增量网络B的权重初始化复制了具备对旧类别目标检测能力的网络A的权值，为保证将网络A对旧类别目标的检测能力迁移到网络B中，本发明引入了蒸馏损失。在训练网络B时只使用新类的训练数据，可以提高了训练效率。
如图4所示，本申请实施例提供的目标检测模型采用端到端的网络模型结构，在模型推理时采用单阶段的方式，即需要对目标检测模型最后一层特征图上的每一特征点是否存在目标，以及目标的类别、位置坐标同时进行预测。与传统的双阶段目标检测算法需要先找到感兴趣区域，然后对感兴趣区域内目标进行识别与定位的方式不同，单阶段检测算法只需一次提取特征即可实现目标检测，提高算法的检测速度。所以单阶段的目标检测模型的损失函数需要同时包含对特征点是否存在目标的判断，以及目标的类别、位置坐标的损失计算。且为实现模型增量式自主学习，因此训练时还需要添加知识蒸馏损失。综上，该目标检测模型的损失函数包括由位置坐标损失、置信度(IOU)失、分类损失以及知识蒸馏损失。也就是说，目标检测模型的损失函数可以表示为：Loss＝lcoord+lcls+liou+λld。
其中，lcoord为边界框损失函数，lcls为二分类交叉熵损失函数，liou为置信度损失函数，ld为知识蒸馏损失函数，λ为权重值，可以根据检测目标的特点灵活设置。
在一实施例中，该边界框损失函数(lcoord)包括中心坐标的误差，和边界框宽与高的误差构成，计算公式为：
Figure BDA0003622398240000131
上述式中：λcoord为坐标误差的权重，i＝0,1,...,S2为第i个网格；B为每个网格中边界框的数量；j＝0,1,...,B为每个网格中的第j个边界框；
Figure BDA0003622398240000132
为第i个单元格的第j个预测框中是否存在缺陷目标，如果存在则取1，否则取0；(x,y)为每个网格单元的中心坐标，
Figure BDA0003622398240000133
为对应的预测值。需要说明的是，本申请实施例中会将目标检测模型的最后一层输出的特征图中的每一个特征点作为一个网格，也即最后一层特征图中有几个特征点就有几个网格。示例性的，例如，当目标检测模型最后一层特征图大小为13*13，则对该特征图划一个13*13的网格，利用损失函数对每个网格中是否存在目标，以及目标的类别、位置坐标进行判断。
二分类交叉熵损失(lcls)的计算公式为：
Figure BDA0003622398240000134
其中：δi，ηi表示第i个网格中是否存在目标缺陷，若存在，则δi＝1,ηi＝0，若不存在，则δi＝0,ηi＝1，pi(c)为预测目标真实类别得分；
Figure BDA0003622398240000135
为预测为无目标的得分值。
置信度的损失函数(liou)为：
Figure BDA0003622398240000136
其中：λnoobj为当没有探测到目标时，置信度损失的权重，
Figure BDA0003622398240000137
或1表示第i个网格中的第j个边界框中是否存在缺陷目标，若存在为0，不存在为1，Ci为目标类别的得分值，
Figure BDA0003622398240000138
为预测框与真实框的重合比例。
知识蒸馏损失函数定义为：
Figure BDA0003622398240000141
其中：ltotal和N分别表示旧数据集中选取少量的样本数量和目标类别数量。h′i,j，k′i,j分别表示旧的深度卷积神经网络模型(网络A)对数据集中第i类的第j个目标的预测值经由softmax层后的类别概率分布，以及新的深度卷积神经网络模型(网络B)对该目标的输出特征(logit)经由softmax层后的类别概率分布。
在训练过程中，利用反向传播算法，计算所有误差对网络中每个参数的导数，然后根据梯度下降更新这些参数，经过多次迭代更新网络参数，完成模型的训练。
需要说明的是，由于缺陷类型繁多，特征难以定义，且只发生在生产过程中，例如半导体领域的半导体缺陷检测，使得基于计算机视觉的物品或产品表面缺陷检测方法遇到困难。此外，在工业检测领域，数据的来源众多，这些数据具有不同的结构信息，而且在实际应用过程中，可能需要不时为模型添加新的检测目标(新的检测类别)，若每当新的源数据加入模型中，都对模型重新进行训练，不仅费时费力，影响生产效率，而且随着数据的不断增加，训练数据集会越加庞大，严重占用计算机的存储空间。因此，如何有效提取各类缺陷目标特征，以及使模型具有增量自主学习的能力显得十分重要。
在本申请实施例中，为使目标检测算法能适用于数据集不断变化的产品缺陷检测场景，本申请实施例的目标检测模型，在通过深度卷积神经网络模型提升模型特征提取能力的同时，还具备增量式自主学习的能力以解决在新数据更新目标检测模型时引起的对原目标灾难性遗忘问题。本申请实施例的目标检测模型可以包括两个深度卷积神经网络模型，采用特有的蒸馏学习的方式，可以使用己有的、在旧类别上训练好的深度卷积神经网络模型指导新的深度卷积神经网络模型的训练，并添加一个蒸馏损失函数，提升目标检测模型的增量学习的能力，通过添加新的检测目标类别而无需对整个数据集重新训练，在保持检测能力的同时，大幅提升模型的训练效率，可以解决在新数据更新网络时引起的对原目标灾难性遗忘问题。
检测方法部分
上述对本申请实施例提供的目标检测模型的训练进行了介绍，下面基于该目标检测模型提供了一种基于增量自主学习的多源信息融合检测方法，可用于各种领域，例如，在电子制造领域，用于元器件表面缺陷。又例如，在半导体制造领域，用于半导体缺陷，如半导体表面等各种缺陷检测，可显著提升目标检测模型对缺陷纹理特征的提取能力，尤其是半导体缺陷中的缝隙、划痕等细小缺陷，并可以随时添加新的目标类别进行检测，可用于检测半导体、3C电子等产品表面缺陷，应用场景广泛，具有较高价值。
在一实施例中，提供了一种基于增量自主学习的多源信息融合检测方法，包括：获取被检测图像，将被检测图像输入训练好的目标检测模型中，得到缺陷检测结果；目标检测模型包括深度卷积神经网络模型DMSNet，深度卷积神经网络模型DMSNet包括多源信息深度融合神经网络和缺陷检测网络，其中，多源信息深度融合神经网络包括并行特征提取网络和自适应特征交互融合模块，并行特征提取网络包括全卷积网络特征提取通道和边缘感知特征增强通道，全卷积网络特征提取通道用于提取被检测图像对应的深度纹理特征图，边缘感知特征增强通道用于对深度纹理特征图进行处理，得到边缘纹理特征图；自适应特征交互融合模块用于对深度纹理特征图和边缘纹理特征图进行融合，得到融合特征图；缺陷检测网络用于基于融合特征图进行缺陷目标检测。
可以看出，本申请实施例提供的基于增量自主学习的多源信息融合检测方法，可通过两条并行的特征提取通道分别提取被检测产品或物体的不同纹理特征，包括深度纹理特征和边缘纹理特征，再通过一个自适应特征交互融合模块将这两条并行通道所提取的特征进行融合，组成一个多源信息深度融合模块(Deep fusion of multi-sourceinformation)，利用该多源信息深度融合模块与后续的缺陷检测网络搭建出一个用于缺陷检测，例如用于半导体缺陷检测的深度卷积神经网络模型DMSNet，可以提取到有效的缺陷特征，提高缺陷检测能力。
其中，深度卷积神经网络模型DMSNet中的缺陷检测网络可以采用常规的缺陷检测网络，具体不做限定，如用于某种目标类别(例如半导体缺陷)的预测与回归神经元网络，深度卷积神经网络模型DMSNet中的多源信息深度融合神经网络是本申请特别提出的特征提取网络，具体而言，该多源信息深度融合神经网络包括并行特征提取网络和自适应特征交互融合模块，下面分别对本申请提供的多源信息深度融合神经网络的各个部分进行详细的描述。
本申请实施例提出的并行特征提取网络包括两条并行的特征提取通道，即包括全卷积网络特征提取通道和边缘感知特征增强通道，分别用于提取缺陷目标的深度纹理特征以及相应的边缘纹理特征。下面分别对全卷积网络特征提取通道和边缘感知特征增强通道，以及自适应特征交互融合模块的工作过程进行描述。
1、全卷积网络特征提取通道
在一实施例中，该全卷积网络特征提取通道包括多个分组卷积块，每个分组卷积块包括连续的3×3卷积核和1×1卷积核。需要说明的是，该分组卷积块的个数可以根据具体应用场景和任务需求来灵活设置，本申请实施例不做限定。
如图1所示，图1为本申请一实施例中全卷积网络特征提取通道的结构示意图，该全卷积网络特征提取通道包括多个分组卷积块，每个分组卷积块包括连续的3×3和1×1卷积层。也即全卷积网络特征提取通道是使用多个连续的3×3和1×1卷积层组成的分组卷积块搭建出一个全卷积神经网络框架。
需要说明的是，通过该全卷积网络特征提取通道，在网络的正向传播过程中，可通过调整卷积核的步长，代替传统的池化层实现特征图的维度变换，可减少特征信息损失，保证了卷积输出的高分辨率，提高检测精度。另外值得说明的是，多层的3×3卷积核相较于传统的5×5卷积核或其他大小卷积核，多层的3×3卷积核具有更强的非线性表达能力，可以使用更少的参数达到相同的感受野。而配置与3×3卷积核连续的1×1的卷积层，则可以在网络的前向传播过程中作为一个维度缩减模块降低模型复杂度，在前向传播过程中将同一深度的不同通道上的特征图进行特征融合，增强对检测目标的特征提取能力。
示例性的，继续如图1所示，假设输入图像X为H'×W'大小的M维向量，3×3卷积核的维度与输入图像X的维度相同，可以对每个输入通道单独使用一个卷积核的滤波器，然后，利用N维的1×1卷积核对滤波器的输出进行特征融合，得到一次完整卷积输出Y，Y为H×W大小的N维向量。可以看出，通过分组卷积块的卷积方式可以大大减少计算量。
2、边缘感知特征增强通道
为了进一步提升深度卷积神经网络模型DMSNet的特征提取能力，本申请实施例还在深度卷积神经网络模型DMSNet添加一个专注边缘特征提取的特征增强通道，也即边缘感知特征增强通道，该边缘感知特征增强通道用于对深度纹理特征图进行处理，得到边缘纹理特征图。
如图2所示，图2为本申请实施例中边缘感知特征增强通道的一个结构示意图，该边缘感知特征增强通道还具体用于：对深度纹理特征图进行图像通道的压缩和特征降维，再将降维后的特征图使用边缘特征提取卷积核(本申请中简称EFC卷积核)进行特征提取，得到边缘纹理特征图；其中，该边缘特征提取卷积核的计算公式如下：
Figure BDA0003622398240000171
Li,o表示的目标卷积核，*表示点积运算，G(c,v)表示用于边缘提取的线性滤波器，可以为一组线性滤波器，c表示线性滤波器的方向，v表示线性滤波器的尺度，目标卷积核的维度与线性滤波器的方向数一致，
Figure BDA0003622398240000172
表示经过线性滤波器滤波后的卷积核。
如图2所示，图2中的Dk×Dk×M为目标卷积核，可以为传统的卷积核，Dk×Dk表示目标卷积核的卷积核尺寸大小，M表示目标卷积核的卷积核个数，具体不做限定。
在一实施例中，上述边缘感知特征增强通道是一种PCA边缘感知特征增强通道，用于将从全卷积网络特征提取通道输出的特征图U进行PCA主成分分析，以实现图像通道的压缩与特征降维，然后将降维后的特征图U'通过一个新型的边缘特征提取卷积核进行边缘特征提取，输出特征图U相应的边缘纹理特征图X，示例性的，线性滤波器包括Gabor滤波器。在该实施例中，边缘特征提取卷积核(EFC)是利用Gabor滤波器等线性滤波器对边缘特征提取能力强的特性，将Gabor滤波器与传统的目标卷积核相结合，设计出一种新型的卷积核，提升了模型对边缘特征提取的能力。具体而言：
在一实施例中，对深度纹理特征图进行图像通道的压缩和特征降维，包括：
将所述深度纹理特征图U1按如下方式进行标准化计算：
Figure BDA0003622398240000173
N表示深度纹理特征图U1的维度，；
Zij表示为所述深度纹理特征图U1进行标准化计算后的矩阵，所述深度纹理特征图U1为H1×W1大小的N维向量，所述深度纹理特征图U1中的每一个样本表示为uij，其中，s＝H1×W1，
Figure BDA0003622398240000174
表示平均值，
Figure BDA0003622398240000175
表示标准差；
获取深度纹理特征图U1的相关系数矩阵R1，
Figure BDA0003622398240000176
计算相关系数矩阵R1的特征方程满足|λI-R1|＝0时，得到的特征值λi(i＝1,2,…,N)，I为所述特征值λ的特征向量；
对特征值λi按照大小顺序排列后，按照主成分分析计算方法，分别计算出特征值λi对应的特征向量ei，再根据特征值λi与特征值λi对应的特征向量ei得到降维后的特征图U1'。
在该实施例中，得到降维后的特征图U1'后，EFC卷积核是将Gabor滤波器与目标卷积核进行点积运算，即将降维后的特征使用边缘特征提取卷积核进行特征提取，得到边缘纹理特征图。通过将降维后的特征图U1'利用边缘特征提取卷积核进行特征提取，进而有效的提升深度卷积神经网络模型DMSNet对于缺陷目标边缘纹理特征的提取能力。
如图2所示，通过本申请实施例提供的边缘感知特征增强通道，可对全卷积网络特征提取通道的第一个分组卷积块的输出U1，进行PCA主成分分析实现通道的压缩与特征降维，然后将降维后的特征U1'通过边缘特征提取卷积核(EFC)进行边缘特征提取，得到输出特征X1，对于其他分组卷积块的输出特征图，采用相同的处理方式，从而得到每个分组卷积块对应的边缘纹理特征图。
3、自适应特征交互融合模块
在本申请实施例中，为了充分利用不同层次卷积神经网络的缺陷纹理特征，如图3所示，图3为本申请实施例提供的自适应特征交互融合模块的融合过程示意图，该自适应特征交互融合模块用于对深度纹理特征图和边缘纹理特征图进行融合，得到融合特征图，本申请实施例提出了自适应特征交互融合的方式，将全卷积网络特征提取通道和边缘感知特征增强通道，这两个通道所提取的特征进行融合，利用选择性特征聚合方式，对被检测图像的同一层学习到的特征进行自适应组合，使网络具备鉴别特征的能力，以增强有价值特征，抑制无价值特征。
在一实施例中，自适应特征交互融合模块还用于：对融合特征图进行校准，得到校准后的特征图；缺陷检测网络用于基于校准后的特征图进行缺陷目标检测。该实施例中，基于校准后的特征图有利于提高缺陷目标检测能力和准确度。
在一实施例中，对融合特征图进行校准，得到校准后的特征图，包括：
对融合特征图的每一通道上的特征图进行全局平局池化操作，其中W，H分别为每一通道上的特征图的宽和高；
压缩所述每一通道上的特征图的维度W×H以生成通道统计信息E∈Rn，计算公式如下：
Figure BDA0003622398240000191
Ek为所述每一通道上的特征图k通道对应特征图的池化值，D(i,j)表示所述每一通道上的特征图；其中，1≤k≤K，K表示所有通道上的特征图，1≤i≤W,1≤j≤H；
使用激活函数，对融合特征图各自通道上的Ek进行激励操作，得到每一通道上的特征图的池化值Zk所赋予的权重值βk；
将激励后的权重值βk与对应的特征图D(i,j)相乘，得到校准后的特征图U(i,j)＝D(i,j)·βk。
在一实施例中，使用激活函数，对融合特征图各自通道上的Ek进行激励操作，得到每一通道上的特征图的池化值Zk所赋予的权重值βk，包括：使用如下公式对融合特征图各自通道上的Ek进行激励操作，得到每一通道上的特征图的池化值Zk所赋予的权重值βk：
Figure BDA0003622398240000192
βk表示为融合特征图的第k通道上特征图的池化值Ek所赋予的权重值，σ表示sigmoid激活函数，γ为relu激活函数，w为全连接层w·(γ·Ek)，表示将Ek进行非线性的全连接操作。通过该实施例中，可以实现融合特征图各个通道间的特征融合，并为每一层通道赋予一个权重值βk，之后再用sigmoid函数对融合特征图各个通道的权重值进行激励计算，增大有效特征权重，抑制无效特征的权重，然后将激励后的权重值βk，和与其对应的特征图D(i,j)相乘，得到重新校准后的特征图U(i,j)＝D(i,j)·βk，通过该过程可实现将特征图中对于检测物的缺陷目标有利的特征进行增强，对干扰的特征进行抑制的目的，也就是说，通过对网络各层中不同通道上的特征图进行权重值激活，从而增大有效特征权重，减少无效特征的权重，进而提升模型特征表征的能力。
在一实施例中，本申请提供的深度卷积神经网络模型DMSNet可以包括至少一个自适应特征交互融合模块，具体不做限定。
在一实施例中，本申请提供的目标检测模型是利用旧类别上训练好的深度卷积神经网络模型，指导新的深度卷积神经网络模型的训练所得到的目标检测模型。训练过程可参阅前述实训练实施例的描述，这里不再说明。
本申请实施例的目标检测模型，在通过深度卷积神经网络模型提升模型特征提取能力的同时，还具备增量式自主学习的能力以解决在新数据更新网络时引起的对原目标灾难性遗忘问题。本申请实施例的目标检测模型可以包括两个深度卷积神经网络模型，采用特有的蒸馏学习的方式，可以使用己有的、在旧类别上训练好的深度卷积神经网络模型指导新的深度卷积神经网络模型的训练，并添加一个蒸馏损失函数，提升目标检测模型的增量学习的能力，通过添加新的检测目标类别，除了训练该目标检测模型的过程无需对整个数据集重新训练，在保持检测能力的同时，大幅提升模型的训练效率外，还可以解决在新数据更新网络时引起的对原目标灾难性遗忘问题，进一步提高目标检测能力。
需要说明的是，包括两个上述深度卷积神经网络模型DMSNet的目标检测模型的训练过程可以参阅前述实施例，这里不重复描述。
应理解，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
装置、介质和设备部分
在一实施例中，提供一种基于增量自主学习的多源信息融合模型训练装置，该基于增量自主学习的多源信息融合模型训练装置与上述实施例中基于增量自主学习的多源信息融合模型训练方法一一对应。如图4所示，该基于增量自主学习的多源信息融合模型训练装置10包获取模块101和训练模块102。各功能模块详细说明如下：
获取模块101，用于获取训练图像集，训练图像集包括训练图像；
训练模块102，用于通过训练图像对目标检测网络进行训练，以得到训练好的目标检测模型；
目标检测模型包括深度卷积神经网络模型，深度卷积神经网络模型包括多源信息深度融合神经网络和缺陷检测网络，其中，多源信息深度融合神经网络包括并行特征提取网络和自适应特征交互融合模块，并行特征提取网络包括全卷积网络特征提取通道和边缘感知特征增强通道，全卷积网络特征提取通道用于提取被检测图像对应的深度纹理特征图，边缘感知特征增强通道用于对深度纹理特征图进行处理，得到边缘纹理特征图；自适应特征交互融合模块用于对深度纹理特征图和边缘纹理特征图进行融合，得到融合特征图；缺陷检测网络用于基于融合特征图进行缺陷目标检测。
在一实施例中，提供一种基于增量自主学习的多源信息融合检测装置，该基于增量自主学习的多源信息融合检测装置与上述实施例中基于增量自主学习的多源信息融合检测方法一一对应。如图5所示，该基于增量自主学习的多源信息融合检测装置20包获取模块201和输入模块202。各功能模块详细说明如下：
获取模块201，用于获取被检测图像；
输入模块202，用于将被检测图像输入训练好的目标检测模型中，得到缺陷检测结果；
目标检测模型包括深度卷积神经网络模型，深度卷积神经网络模型包括多源信息深度融合神经网络和缺陷检测网络，其中，多源信息深度融合神经网络包括并行特征提取网络和自适应特征交互融合模块，并行特征提取网络包括全卷积网络特征提取通道和边缘感知特征增强通道，全卷积网络特征提取通道用于提取被检测图像对应的深度纹理特征图，边缘感知特征增强通道用于对深度纹理特征图进行处理，得到边缘纹理特征图；自适应特征交互融合模块用于对深度纹理特征图和边缘纹理特征图进行融合，得到融合特征图；缺陷检测网络用于基于融合特征图进行缺陷目标检测。
关于基于增量自主学习的多源信息融合模型训练装置，或基于增量自主学习的多源信息融合检测装置的具体限定，可以参见上文中对于基于增量自主学习的多源信息融合模型训练方法，或基于增量自主学习的多源信息融合检测方法的限定，在此不再赘述。上述基于增量自主学习的多源信息融合模型训练装置，或基于增量自主学习的多源信息融合检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器或者终端设备，其内部结构图可以如图6所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机程序被处理器执行时以实现一种基于增量自主学习的多源信息融合模型训练方法，或基于增量自主学习的多源信息融合检测方法的步骤。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
获取被检测图像，将被检测图像输入训练好的目标检测模型中，得到缺陷检测结果；
目标检测模型包括深度卷积神经网络模型，深度卷积神经网络模型包括多源信息深度融合神经网络和缺陷检测网络，其中，多源信息深度融合神经网络包括并行特征提取网络和自适应特征交互融合模块，并行特征提取网络包括全卷积网络特征提取通道和边缘感知特征增强通道，全卷积网络特征提取通道用于提取被检测图像对应的深度纹理特征图，边缘感知特征增强通道用于对深度纹理特征图进行处理，得到边缘纹理特征图；自适应特征交互融合模块用于对深度纹理特征图和边缘纹理特征图进行融合，得到融合特征图；缺陷检测网络用于基于融合特征图进行缺陷目标检测。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取被检测图像，将被检测图像输入训练好的目标检测模型中，得到缺陷检测结果；
目标检测模型包括深度卷积神经网络模型，深度卷积神经网络模型包括多源信息深度融合神经网络和缺陷检测网络，其中，多源信息深度融合神经网络包括并行特征提取网络和自适应特征交互融合模块，并行特征提取网络包括全卷积网络特征提取通道和边缘感知特征增强通道，全卷积网络特征提取通道用于提取被检测图像对应的深度纹理特征图，边缘感知特征增强通道用于对深度纹理特征图进行处理，得到边缘纹理特征图；自适应特征交互融合模块用于对深度纹理特征图和边缘纹理特征图进行融合，得到融合特征图；缺陷检测网络用于基于融合特征图进行缺陷目标检测。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
获取训练图像集，训练图像集包括训练图像；
通过训练图像对目标检测网络进行训练，以得到训练好的目标检测模型；
目标检测模型包括深度卷积神经网络模型，深度卷积神经网络模型包括多源信息深度融合神经网络和缺陷检测网络，其中，多源信息深度融合神经网络包括并行特征提取网络和自适应特征交互融合模块，并行特征提取网络包括全卷积网络特征提取通道和边缘感知特征增强通道，全卷积网络特征提取通道用于提取被检测图像对应的深度纹理特征图，边缘感知特征增强通道用于对深度纹理特征图进行处理，得到边缘纹理特征图；自适应特征交互融合模块用于对深度纹理特征图和边缘纹理特征图进行融合，得到融合特征图；缺陷检测网络用于基于融合特征图进行缺陷目标检测。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取训练图像集，训练图像集包括训练图像；
通过训练图像对目标检测网络进行训练，以得到训练好的目标检测模型；
目标检测模型包括深度卷积神经网络模型，深度卷积神经网络模型包括多源信息深度融合神经网络和缺陷检测网络，其中，多源信息深度融合神经网络包括并行特征提取网络和自适应特征交互融合模块，并行特征提取网络包括全卷积网络特征提取通道和边缘感知特征增强通道，全卷积网络特征提取通道用于提取被检测图像对应的深度纹理特征图，边缘感知特征增强通道用于对深度纹理特征图进行处理，得到边缘纹理特征图；自适应特征交互融合模块用于对深度纹理特征图和边缘纹理特征图进行融合，得到融合特征图；缺陷检测网络用于基于融合特征图进行缺陷目标检测。
关于计算机设备和计算机存储介质的具体限定，可以参见上文中对于基于增量自主学习的多源信息融合模型训练方法，或基于增量自主学习的多源信息融合检测方法的有关限定，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于增量自主学习的多源信息融合检测方法，其特征在于，包括：
获取被检测图像，将所述被检测图像输入训练好的目标检测模型中，得到缺陷检测结果；
所述目标检测模型包括深度卷积神经网络模型，所述深度卷积神经网络模型包括多源信息深度融合神经网络和缺陷检测网络，其中，所述多源信息深度融合神经网络包括并行特征提取网络和自适应特征交互融合模块，所述并行特征提取网络包括全卷积网络特征提取通道和边缘感知特征增强通道，所述全卷积网络特征提取通道用于提取所述被检测图像对应的深度纹理特征图，所述边缘感知特征增强通道用于对所述深度纹理特征图进行处理，得到边缘纹理特征图；所述自适应特征交互融合模块用于对所述深度纹理特征图和边缘纹理特征图进行融合，得到融合特征图；所述缺陷检测网络用于基于所述融合特征图进行缺陷目标检测。
2.如权利要求1所述的基于增量自主学习的多源信息融合检测方法，其特征在于，所述全卷积网络特征提取通道包括多个分组卷积块，每个所述分组卷积块包括连续的3×3卷积核和1×1卷积核。
3.如权利要求1所述的基于增量自主学习的多源信息融合检测方法，其特征在于，所述边缘感知特征增强通道具体用于：对所述深度纹理特征图进行图像通道的压缩和特征降维，将降维后的特征图使用边缘特征提取卷积核进行特征提取，得到所述边缘纹理特征图；
其中，所述边缘特征提取卷积核的计算公式如下：
Figure FDA0003622398230000011
Li,o表示目标卷积核，*表示点积运算，G(c,v)表示用于边缘提取的线性滤波器，c表示所述线性滤波器的方向，v表示所述线性滤波器的尺度，所述目标卷积核的维度与所述线性滤波器的方向数一致，
Figure FDA0003622398230000012
表示经过所述线性滤波器滤波后的卷积核，所述线性滤波器包括Gabor滤波器。
4.如权利要求3所述的基于增量自主学习的多源信息融合检测方法，其特征在于，所述对所述深度纹理特征图进行图像通道的压缩和特征降维，包括：
将所述深度纹理特征图U1按如下方式进行标准化计算：
Figure FDA0003622398230000021
N表示深度纹理特征图U1的维度，；
Zij表示为所述深度纹理特征图U1进行标准化计算后的矩阵，所述深度纹理特征图U1为H1×W1大小的N维向量，所述深度纹理特征图U1中的每一个样本表示为uij，其中，s＝H1×W1，
Figure FDA0003622398230000022
表示平均值，
Figure FDA0003622398230000023
表示标准差；
获取所述深度纹理特征图U1的相关系数矩阵R1，
Figure FDA0003622398230000024
计算所述相关系数矩阵R1的特征方程满足|λI-R1|＝0时，得到的特征值λi(i＝1,2,…,N)，I为所述特征值λ的特征向量；
对所述特征值λi按照大小顺序排列后，按照主成分分析计算方法，分别计算出特征值λi对应的特征向量ei，再根据所述特征值λi与所述特征值λi对应的特征向量ei得到降维后的特征图U1'。
5.如权利要求1所述的基于增量自主学习的多源信息融合检测方法，其特征在于，所述自适应特征交互融合模块还用于：对所述融合特征图进行校准，得到校准后的特征图；所述缺陷检测网络用于基于所述校准后的特征图进行缺陷目标检测。
6.如权利要求5所述的基于增量自主学习的多源信息融合检测方法，其特征在于，对所述融合特征图进行校准，得到校准后的特征图，包括：
对所述融合特征图的每一通道上的特征图进行全局平局池化操作，其中W，H分别为所述每一通道上的特征图的宽和高；
压缩所述每一通道上的特征图的维度W×H以生成通道统计信息E∈Rn，计算公式如下：
Figure FDA0003622398230000025
Ek为所述每一通道上的特征图k通道对应特征图的池化值，D(i,j)表示所述每一通道上的特征图；其中，1≤k≤K，K表示所有通道上的特征图，1≤i≤W,1≤j≤H；
使用激活函数，对所述融合特征图各自通道上的所述Ek进行激励操作，得到所述每一通道上的特征图的池化值Zk所赋予的权重值βk；
将激励后的权重值βk与对应的特征图D(i,j)相乘，得到校准后的特征图U(i,j)＝D(i,j)·βk。
7.如权利要求6所述的基于增量自主学习的多源信息融合检测方法，其特征在于，所述使用激活函数，对所述融合特征图各自通道上的所述Ek进行激励操作，得到所述每一通道上的特征图的池化值Zk所赋予的权重值βk，包括：
使用如下公式对所述融合特征图各自通道上的所述Ek进行激励操作，得到所述每一通道上的特征图的池化值Zk所赋予的权重值βk：
Figure FDA0003622398230000031
βk表示为所述融合特征图的第k通道上特征图的池化值Ek所赋予的权重值，σ表示sigmoid激活函数，γ为relu激活函数，w为全连接层w·(γ·Ek)，表示将Ek进行非线性的全连接操作。
8.一种基于增量自主学习的多源信息融合模型训练方法，其特征在于，包括：
获取训练图像集，所述训练图像集包括训练图像；
通过所述训练图像对目标检测网络进行训练，以得到训练好的目标检测模型；
所述目标检测模型包括深度卷积神经网络模型，所述深度卷积神经网络模型包括多源信息深度融合神经网络和缺陷检测网络，其中，所述多源信息深度融合神经网络包括并行特征提取网络和自适应特征交互融合模块，所述并行特征提取网络包括全卷积网络特征提取通道和边缘感知特征增强通道，所述全卷积网络特征提取通道用于提取所述被检测图像对应的深度纹理特征图，所述边缘感知特征增强通道用于对所述深度纹理特征图进行处理，得到边缘纹理特征图；所述自适应特征交互融合模块用于对所述深度纹理特征图和边缘纹理特征图进行融合，得到融合特征图；所述缺陷检测网络用于基于所述融合特征图进行缺陷目标检测。
9.如权利要求8所述的基于增量自主学习的多源信息融合模型训练方法，其特征在于，所述通过所述训练图像对目标检测网络进行训练，以得到训练好的目标检测模型，包括：
将已训练好的用于旧类别检测的检测模型的网络参数，迁移至所述目标检测网络中，并通过所述训练图像对目标检测网络进行训练，以得到训练好的目标检测模型；
其中，所述用于旧类别检测的检测模型的网络结构与所述目标检测网络的网络结构相同。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9任一项所述方法的步骤。
CN202210461803.1A 2022-04-28 2022-04-28 增量自主学习的多源信息融合检测、模型训练方法和介质 Active CN115965571B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210461803.1A CN115965571B (zh) 2022-04-28 2022-04-28 增量自主学习的多源信息融合检测、模型训练方法和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210461803.1A CN115965571B (zh) 2022-04-28 2022-04-28 增量自主学习的多源信息融合检测、模型训练方法和介质

Publications (2)

Publication Number Publication Date
CN115965571A true CN115965571A (zh) 2023-04-14
CN115965571B CN115965571B (zh) 2023-08-22

Family

ID=87353701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210461803.1A Active CN115965571B (zh) 2022-04-28 2022-04-28 增量自主学习的多源信息融合检测、模型训练方法和介质

Country Status (1)

Country Link
CN (1) CN115965571B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298387A (zh) * 2019-06-10 2019-10-01 天津大学 融入像素级attention机制的深度神经网络目标检测方法
CN110827256A (zh) * 2019-10-31 2020-02-21 广东华中科技大学工业技术研究院 透明构件缺陷的光学和热红外多级成像检测方法及装置
CN113065590A (zh) * 2021-03-26 2021-07-02 清华大学 一种基于注意力机制的视觉与激光雷达多模态数据融合方法
CN113269775A (zh) * 2021-06-11 2021-08-17 河南理工大学 一种基于多尺度特征融合ssd的缺陷检测方法及设备
US11222217B1 (en) * 2020-08-14 2022-01-11 Tsinghua University Detection method using fusion network based on attention mechanism, and terminal device
CN114358165A (zh) * 2021-12-28 2022-04-15 湖南安华源电力科技有限公司 基于多源数据融合的预防光伏组件接地故障的检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298387A (zh) * 2019-06-10 2019-10-01 天津大学 融入像素级attention机制的深度神经网络目标检测方法
CN110827256A (zh) * 2019-10-31 2020-02-21 广东华中科技大学工业技术研究院 透明构件缺陷的光学和热红外多级成像检测方法及装置
US11222217B1 (en) * 2020-08-14 2022-01-11 Tsinghua University Detection method using fusion network based on attention mechanism, and terminal device
CN113065590A (zh) * 2021-03-26 2021-07-02 清华大学 一种基于注意力机制的视觉与激光雷达多模态数据融合方法
CN113269775A (zh) * 2021-06-11 2021-08-17 河南理工大学 一种基于多尺度特征融合ssd的缺陷检测方法及设备
CN114358165A (zh) * 2021-12-28 2022-04-15 湖南安华源电力科技有限公司 基于多源数据融合的预防光伏组件接地故障的检测方法

Also Published As

Publication number Publication date
CN115965571B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
Gao et al. A semi-supervised convolutional neural network-based method for steel surface defect recognition
CN112101190A (zh) 一种遥感图像分类方法、存储介质及计算设备
CN107957946B (zh) 基于邻域嵌入保护算法支持向量机的软件缺陷预测方法
US20230063148A1 (en) Transfer model training method and apparatus, and fault detection method and apparatus
CN107977456B (zh) 一种基于多任务深度网络的多源大数据分析方法
CN109670418B (zh) 结合多源特征学习和组稀疏约束的无监督物体识别方法
CN105976397B (zh) 一种目标跟踪方法
CN115578248B (zh) 一种基于风格引导的泛化增强图像分类算法
CN111798935A (zh) 基于神经网络的普适性化合物结构-性质相关性预测方法
CN113705641A (zh) 基于富上下文网络的高光谱图像分类方法
CN112699941A (zh) 植物病害严重程度图像分类方法、装置、计算机设备和存储介质
CN112132278A (zh) 模型压缩方法、装置、计算机设备及存储介质
CN112308825A (zh) 一种基于SqueezeNet的农作物叶片病害识别方法
Li et al. Autoencoder embedded dictionary learning for nonlinear industrial process fault diagnosis
CN116226739A (zh) 一种基于时空融合的图卷积网络工业过程故障诊断方法
Kothari et al. Potato leaf disease detection using deep learning
CN115658671A (zh) 基于深度学习的集装箱港口装卸设备故障数据补全方法
CN115239946A (zh) 小样本迁移学习训练、目标检测方法、装置、设备和介质
Suzuki et al. Superpixel convolution for segmentation
CN115965571B (zh) 增量自主学习的多源信息融合检测、模型训练方法和介质
CN110378356A (zh) 基于多目标拉格朗日正则的细粒度图像识别方法
CN115578325A (zh) 一种基于通道注意配准网络的图像异常检测方法
CN116383441A (zh) 社群检测方法、装置、计算机设备和存储介质
WO2021055364A1 (en) Efficient inferencing with fast pointwise convolution
CN115311215B (zh) 一种高速高精度的六面体检测***、方法和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant