CN114387451A - 异常图像检测模型的训练方法、装置及介质 - Google Patents

异常图像检测模型的训练方法、装置及介质 Download PDF

Info

Publication number
CN114387451A
CN114387451A CN202210036055.2A CN202210036055A CN114387451A CN 114387451 A CN114387451 A CN 114387451A CN 202210036055 A CN202210036055 A CN 202210036055A CN 114387451 A CN114387451 A CN 114387451A
Authority
CN
China
Prior art keywords
image
sample
feature vector
training
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210036055.2A
Other languages
English (en)
Inventor
袁得嵛
孟玉颜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PEOPLE'S PUBLIC SECURITY UNIVERSITY OF CHINA
Original Assignee
PEOPLE'S PUBLIC SECURITY UNIVERSITY OF CHINA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PEOPLE'S PUBLIC SECURITY UNIVERSITY OF CHINA filed Critical PEOPLE'S PUBLIC SECURITY UNIVERSITY OF CHINA
Priority to CN202210036055.2A priority Critical patent/CN114387451A/zh
Publication of CN114387451A publication Critical patent/CN114387451A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种异常图像检测模型的训练方法、装置及介质。该方法在获取多个图像训练样本和相应的样本标签后，针对每个图像训练样本，将图像训练样本作为输入数据，输入预设的改进后的异常图像检测网络模型，得到输出的图像训练样本的检测结果；其中，改进后的异常图像检测网络模型的初始网络权重值是基于计算机视觉***识别项目ImageNet数据库中的样本训练数据集预先训练好的网络权重值；基于每个图像训练样本的检测结果与相应样本的样本标签，对改进后的异常图像检测模型进行迭代训练，得到训练完成的异常图像检测模型。该方法提高了模型的训练效率，和模型的检测准确率。

Description

异常图像检测模型的训练方法、装置及介质
技术领域
本申请涉及图像检测技术领域，具体而言，涉及一种异常图像检测模型的训练方法、装置及介质。
背景技术
对于社会主体(电信业务经营者、互联网服务提供者)而言，异常图片识别技术需要快速、便捷地反馈检测目标是否为疑似违规信息的结果，从而支撑相关单位和个人规避相应的法律风向；对于执法部门而言，违规图像的审核认定本质上属于一项司法行为，其鉴定结果应当由具备相关资质的单位出具，检测技术可以用于辅助审核认定、提升工作效率。综上，搭建一个自动识别异常图像检测的***至关重要。
目前识别异常图像的常见方法有基于对形状、颜色、梯度、光流等特征信息提取，再结合分类器的传统机器学习方法，以及结合了特征自动提取和分类的深度学习技术。
然而，传统机器学***翻转、垂直翻转、修改明暗度得到的训练样本数据，在对基础深度神经网络模型进行训练中容易发生过拟合的问题，进而影响图像检测的准确率。
发明内容
本申请实施例的目的在于提供一种异常图像检测模型的训练方法、装置及介质，用以解决现有技术存在的上述问题，提高了模型的训练效率，以及提高了模型的检测准确率。
第一方面，提供了一种异常图像检测模型的训练方法，该方法可以包括：
获取多个图像训练样本和相应的样本标签；
针对每个图像训练样本，将所述图像训练样本作为输入数据，输入预设的改进后的异常图像检测网络模型的输入网络结构，所述改进后的异常图像检测网络模型中配置的残差网络结构，对所述输入网络结构输出的图像信息提取图像特征向量，由所述改进后的异常图像检测网络模型的输出网络结构，对提取的图像特征向量进行检测，得到输出的所述图像训练样本的检测结果；其中，所述改进后的异常图像检测网络模型的初始网络权重值是基于计算机视觉***识别项目ImageNet数据库中的样本训练数据集预先训练好的网络权重值；
基于所述每个图像训练样本的检测结果与相应样本的样本标签，对所述预训练检测模型进行迭代训练，得到训练完成的异常图像检测模型。
在一个可选的实现中，所述改进后的异常图像检测网络模型的输入网络结构包括1个卷积层、1个最大池化层和1个通道注意力机制模块；
其中，所述卷积层，用于对所述输入数据进行特征提取，得到初级图像特征向量；
所述通道注意力机制模块，用于对所述初级图像特征向量进行压缩，得到所述初级图像特征向量的全局压缩特征向量；将所述初级图像特征向量的全局压缩特征向量，按照特征通道进行处理，得到所述初级图像特征向量的特征通道权值向量，并将所述特征通道权值向量与所述初级图像特征向量相乘，输出聚焦于特征通道的次级图像特征向量；
所述最大池化层，用于获取所述通道注意力机制层输出的次级图像特征向量对应的最大图像特征向量。
在一个可选的实现中，所述改进后的异常图像检测网络模型中配置的残差网络结构包括依次连接的多个配置的残差单元；
每个配置的残差单元包括1个初始残差单元和1个通道注意力机制模块；所述通道注意力机制模块嵌入到所述初始残差单元中最后一个卷积层之前。
在一个可选的实现中，在所述配置的残差网络结构包括依次连接的4个配置的残差单元时，所述4个配置的残差单元中的第一个配置的残差单元包括3个卷积层，第二个配置的残差单元包括4个卷积层，第三个配置的残差单元包括6个卷积层，第四个配置的残差单元包括3个卷积层，其中，每个卷积层中卷积核大小相同。
在一个可选的实现中，所述改进后的异常图像检测网络模型的输出网络结构包括1个通道注意力机制模块、1个平均池化层和1个全连接层；
所述通道注意力机制模块，用于对所述配置的残差网络结构输出的所述图像特征向量进行压缩，得到所述图像特征向量的全局压缩特征向量；将所述图像特征向量的全局压缩特征向量，按照特征通道进行处理，得到所述图像特征向量的特征通道权值向量，并将所述图像特征向量的特征通道权值向量与所述图像特征向量相乘，输出聚焦于所述输出网络结构对应的次级图像特征向量；
所述平均池化层，用于对所述输出网络结构对应的次级图像特征向量进行计算，得到所述次级图像特征向量对应的压缩特征向量；
所述全连接层，用于基于得到的压缩特征向量，得到所述图像训练样本的检测结果。
在一个可选的实现中，获取多个图像训练样本，包括：
获取候选图像样本；
采用预设的样本数量扩充方式，对所述候选图像样本进行处理，获取处理后的候选图像样本；
将所述候选图像样本和所述处理后的候选图像样本，确定为图像训练样本。
在一个可选的实现中，得到训练完成的异常图像检测模型之后，所述方法还包括：
获取至少一个待检测图像；
将所述至少一个待检测图像作为输入数据，输入所述训练完成的异常图像检测模型，得到所述至少一个待检测图像的检测结果。
第二方面，提供了一种异常图像检测模型的训练装置，该装置可以包括：
获取单元，用于获取多个图像训练样本和相应的样本标签；
输入单元，用于针对每个图像训练样本，将所述图像训练样本作为输入数据，输入预设的改进后的异常图像检测网络模型的输入网络结构，所述改进后的异常图像检测网络模型中配置的残差网络结构，对所述输入网络结构输出的图像信息提取图像特征向量，由所述改进后的异常图像检测网络模型的输出网络结构，对提取的图像特征向量进行检测，得到输出的所述图像训练样本的检测结果；其中，所述改进后的异常图像检测网络模型的初始网络权重值是基于计算机视觉***识别项目ImageNet数据库中的样本训练数据集预先训练好的网络权重值；
训练单元，用于基于所述每个图像训练样本的检测结果与相应样本的样本标签，对所述改进后的异常图像检测网络模型进行迭代训练，得到训练完成的异常图像检测模型。
在一个可选的实现中，所述改进后的异常图像检测网络模型的输入网络结构包括1个卷积层、1个最大池化层和1个通道注意力机制模块；
其中，所述卷积层，用于对所述输入数据进行特征提取，得到初级图像特征向量；
所述通道注意力机制模块，用于对所述初级图像特征向量进行压缩，得到所述初级图像特征向量的全局压缩特征向量；将所述初级图像特征向量的全局压缩特征向量，按照特征通道进行处理，得到所述初级图像特征向量的特征通道权值向量，并将所述特征通道权值向量与所述初级图像特征向量相乘，输出聚焦于特征通道的次级图像特征向量；
所述最大池化层，用于获取所述通道注意力机制层输出的次级图像特征向量对应的最大图像特征向量。
在一个可选的实现中，所述改进后的异常图像检测网络模型中配置的残差网络结构包括依次连接的多个配置的残差单元；
每个配置的残差单元包括1个初始残差单元和1个通道注意力机制模块；所述通道注意力机制模块嵌入到所述初始残差单元中最后一个卷积层之前。
在一个可选的实现中，在所述配置的残差网络结构包括依次连接的4个配置的残差单元时，所述4个配置的残差单元中的第一个配置的残差单元包括3个卷积层，第二个配置的残差单元包括4个卷积层，第三个配置的残差单元包括6个卷积层，第四个配置的残差单元包括3个卷积层，其中，每个卷积层中卷积核大小相同。
在一个可选的实现中，所述改进后的异常图像检测网络模型的输出网络结构包括1个通道注意力机制模块、1个平均池化层和1个全连接层；
所述通道注意力机制模块，用于对所述配置的残差网络结构输出的所述图像特征向量进行压缩，得到所述图像特征向量的全局压缩特征向量；将所述图像特征向量的全局压缩特征向量，按照特征通道进行处理，得到所述图像特征向量的特征通道权值向量，并将所述图像特征向量的特征通道权值向量与所述图像特征向量相乘，输出聚焦于所述输出网络结构对应的次级图像特征向量；
所述平均池化层，用于对所述输出网络结构对应的次级图像特征向量进行计算，得到所述次级图像特征向量对应的压缩特征向量；
所述全连接层，用于基于得到的压缩特征向量，得到所述图像训练样本的检测结果。
在一个可选的实现中，所述获取单元，具体用于：
获取候选图像样本；
采用预设的样本数量扩充方式，对所述候选图像样本进行处理，获取处理后的候选图像样本；
将所述候选图像样本和所述处理后的候选图像样本，确定为图像训练样本。
在一个可选的实现中，所述获取单元，还用于获取至少一个待检测图像；
所述输入单元，该用于将所述至少一个待检测图像作为输入数据，输入所述训练完成的异常图像检测模型，得到所述至少一个待检测图像的检测结果。
第三方面，提供了一种电子设备，该电子设备包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第一方面中任一所述的方法步骤。
第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一所述的方法步骤。
本申请实施例提供的异常图像检测模型的训练方法在获取多个图像训练样本和相应的样本标签后，针对每个图像训练样本，将图像训练样本作为输入数据，输入预设的改进后的异常图像检测网络模型的输入网络结构，改进后的异常图像检测网络模型中配置的残差网络结构，对输入网络结构输出的图像信息提取图像特征向量，由改进后的异常图像检测网络模型的输出网络结构，对提取的图像特征向量进行检测，得到输出的图像训练样本的检测结果；其中，改进后的异常图像检测网络模型的初始网络权重值是基于计算机视觉***识别项目ImageNet数据库中的样本训练数据集预先训练好的网络权重值；基于每个图像训练样本的检测结果与相应样本的样本标签，对改进后的异常图像检测网络模型进行迭代训练，得到训练完成的异常图像检测模型。该方法在原始残差网络结构之间引入通道注意力机制模块，对通道内部的特征信息加以利用。在ImageNet数据集上训练得到的参数信息迁移到引入通道注意力机制模块后的异常图像检测领域中，提高了图像检测的准确率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种异常图像检测模型的训练方法的流程示意图；
图2为本申请实施例提供的一种改进后的异常图像检测网络模型的模型结构示意图；
图3为本申请实施例提供的一种异常图像检测模型的训练装置的结构示意图；
图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，并不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了方便理解，下面对本申请实施例中涉及的名词进行解释：
迁移学习，是指利用现有的知识解决对有所差异，但样本或问题仍存在一定关联性的新领域问题的一种机器学习方法。也即针对现有的知识的再利用进行迁移微调网络结构，用以解决目标领域中仅有少量甚至没有标签样本数据的神经网络训练问题。其核心思想是：将在A任务训练得到的模型，移植到B任务上。
通道注意力机制(Squeeze-and-excitation networks，SE)模块，是通道注意力机制网络(Squeeze-and-excitation networks，SENet)的核心模块，是一种典型的通道注意力机制。挤压操作和激发两个操作构成了SE模块的主体部分，其中：
挤压操作首先针对输入的尺寸为H×W×C的特征图(H为输入特征图长、W为输入特征图宽、C为特征通道数)进行全局平均池化(Global Average Pooling)操作，使其变化为具有全局感受野的1×1×C特征向量，随后通过两层使用ReLU激活函数的全连接层(其输入与输出特征通道的维度相同)，得到当前Feature Map的全局压缩特征量；
激发操作利用Sigmooid激活函数得出每个特征通道的权重。最后通过Scale操作，使得输出的特征通道权值向量与原输入特征图相乘，即将加权后的Feature Map作为下一层网络的输入，完成在通道维度上的原始特征标定，最终所提取的特征较最初的特征有更强的指向性，进而达到提升分类性能目的。
SE模块的出现是为了解决在卷积池化过程中feature map的不同通道所占的重要性不同带来的损失问题。在传统的卷积池化过程中，默认feature map的每个通道是同等重要的，而在实际的问题中，不同通道的重要性是有差异的。
图1为本申请实施例提供的一种异常图像检测模型的训练方法的流程示意图。如图1所示，该方法可以包括：
步骤S110、获取多个图像训练样本和相应的样本标签。
考虑到真实世界图像存在亮度、饱和度、角度以及位置等多种变化，故在获取候选图像样本后，需要采用预设的样本数量扩充方式，对候选图像样本进行处理，获取处理后的候选图像样本，即对候选图像样本进行数据增强的预处理操作；
之后，将候选图像样本和处理后的候选图像样本，确定为图像训练样本，由此获取多个图像训练样本和相应图像训练样本对应的样本标签，该样本标签是用于表征该图像训练样本为正常的图像样本或异常的图像样本的标识信息，也就是说，图像训练样本包括正常的图像样本和异常的图像样本。
步骤S120、针对每个图像训练样本，将该图像训练样本作为输入数据，输入预设的改进后的异常图像检测网络模型，得到输出的该图像训练样本的检测结果。
在大数据时代，要想训练深度学习模型，并获得较为理想的结果，须要耗费巨大的数据资源与计算资源，但实际往往是训练模型时的数据集较小，仅利用有效的数据集进行训练极易造成训练出的网络模型不收敛或过拟合。VGGNet、DenseNet、EfficientNet、Resnet等神经网络在计算机视觉***识别项目ImageNet数据库中的样本训练数据集上训练好模型参数的权值文件，即模型参数值后，训练出的网络模型即为改进后的异常图像检测网络模型，本申请实施例采用的是具有初始残差结构的Resnet神经网络，且改进后的异常图像检测网络模型的输出从1000分类调整为2分类，该初始残差结构为Resnet神经网络现有的残差结构。
故，在执行该步骤之前，获取ImageNet数据库中的样本训练数据集，基于该样本训练数据集，对原始网络(如，Resnet网络)进行迭代训练，得到改进后的异常图像检测网络模型和预训练的模型参数值。
针对每个图像训练样本，将该图像训练样本作为输入数据，输入预设的改进后的异常图像检测网络模型的输入网络结构，改进后的异常图像检测网络模型中配置的残差网络结构，对输入网络结构输出的图像信息提取图像特征向量，由改进后的异常图像检测网络模型的输出网络结构，对提取的图像特征向量进行检测，输出图像训练样本的检测结果。
图2为本申请实施例提供的一种改进后的异常图像检测网络模型的模型结构示意图，如图2所示，改进后的异常图像检测网络模型的模型结构如下：
(1)改进后的异常图像检测网络模型的输入网络结构可以包括1个卷积层、1个最大池化层和1个通道注意力机制模块，即SE模块；
其中，卷积层，用于对输入数据进行特征提取，得到初级图像特征向量；
通道注意力机制模块，用于对初级图像特征向量进行压缩，得到初级图像特征向量的全局压缩特征向量；将初级图像特征向量的全局压缩特征向量，按照特征通道进行处理，得到初级图像特征向量的特征通道权值向量，并将特征通道权值向量与初级图像特征向量相乘，输出聚焦于特征通道的次级图像特征向量；通道注意力机制模块实现对提取到的特征进行校正。
最大池化层，用于获取通道注意力机制层输出的次级图像特征向量对应的最大图像特征向量。
其中，通道注意力机制模块的模块结构可以包括全局平均池化层、与全局平均池化层连接的第一全连接层(Fully connected layer，FC)、与第一全连接层连接的ReLU激活函数层、与ReLU激活函数层连接的第二全连接层和与第二全连接层连接的Sigmoid激活函数层。
全局平均池化层实现减少参数数量，减少计算量；第一全连接层对上一步得到的结果加以区分；再利用RELU激活函数修正线性单元，减小所得误差。
(2)改进后的异常图像检测网络模型中配置的残差网络结构可以包括依次连接的多个配置的残差单元；每个配置的残差单元包括1个初始残差单元和1个通道注意力机制模块；通道注意力机制模块嵌入到初始残差单元中最后一个卷积层之前。
其中，如图2所示，在配置的残差网络结构包括依次连接的4个配置的残差单元时，从左到右的顺序中，4个配置的残差单元中的第一个配置的残差单元包括3个卷积层，第二个配置的残差单元包括4个卷积层，第三个配置的残差单元包括6个卷积层，第四个配置的残差单元包括3个卷积层，其中，每个卷积层中卷积核大小相同。4个配置的残差单元主要区别在于卷积核的数量，由于层数不同，卷积核的数量也就不同(即卷积核维度不同)。
可以理解的是，在第一个配置的残差单元中，通道注意力机制模块被嵌入在第2个卷积层与第三个3个卷积层之间；在第二个配置的残差单元中，通道注意力机制模块被嵌入在第3个卷积层与第三个4个卷积层之间，以此类推，对于其他配置的残差单元中通道注意力机制模块的嵌入位置，本申请实施例在此不做赘述。
(3)改进后的异常图像检测网络模型的输出网络结构可以包括1个通道注意力机制模块、1个平均池化层和1个全连接层；
通道注意力机制模块，用于对配置的残差网络结构输出的图像特征向量进行压缩，得到图像特征向量的全局压缩特征向量；将图像特征向量的全局压缩特征向量，按照特征通道进行处理，得到图像特征向量的特征通道权值向量，并将图像特征向量的特征通道权值向量与图像特征向量相乘，输出聚焦于输出网络结构对应的次级图像特征向量；
平均池化层，用于对输出网络结构对应的次级图像特征向量进行计算，得到次级图像特征向量对应的压缩特征向量；
全连接层，用于基于得到的压缩特征向量，得到图像训练样本的检测结果。
输出网络结构通过通道注意力机制模块进一步对得到的图像特征进行校正，利用平均池化层对得到的图像特征向量求平均，以减少因领域大小受限而造成的估计值方差增大问题，随之全连接层对最终判别结果进行输出，实现分类。
步骤S130、基于每个图像训练样本的检测结果与相应样本的样本标签，对预训练检测模型进行迭代训练，得到训练完成的异常图像检测模型。
进一步的，在应用阶段可获取至少一个待检测图像；并将至少一个待检测图像作为输入数据，输入训练完成的异常图像检测模型，得到至少一个待检测图像的检测结果。
运用学习好的异常图像检测模型，利用Pyqt搭建Windows客户端窗口程序，输入端可选择单个待检测图像或者待检测图像的集合，如一个文件夹中的全部图像，图像载入完毕后，加载已训练好的模型参数，对输入图像进行分类检测，使用学习好的异常图像检测模型，即改进后的残差模型，若辨别图像符合异常图像特征，则将辨别结果以文本形式显示出来，且还可进行预警。
本申请实施例在训练出异常图像检测模型后，可搭建图像检测***，该***可为服务器-客户机，即Client-Server(C/S)结构，其中，异常图像检测模型位于服务器中，可大大缩短审核异常图像所花费的人力、物力与财力。
对于单个图像的检测，需要将该单个图像输入服务器，服务器对单个图像进行自适应图像缩放等操作，根据预先定义好的异常图像规则，判断输入的图像是否属于异常图像，并将输出结果以及可能性用文本形式通过相关联的客户机输出。
对于批量图像的检测，需要将文件夹上传服务器，服务器对文件夹下的所用图像进行分类操作，最终将结果与可能性通过相关联的客户机输出。
本申请实施例提供的异常图像检测模型的训练方法在获取多个图像训练样本和相应的样本标签后，针对每个图像训练样本，将图像训练样本作为输入数据，输入预设的改进后的异常图像检测网络模型的输入网络结构，改进后的异常图像检测网络模型中配置的残差网络结构，对输入网络结构输出的图像信息提取图像特征向量，由改进后的异常图像检测网络模型的输出网络结构，对提取的图像特征向量进行检测，得到输出的图像训练样本的检测结果；其中，改进后的异常图像检测网络模型的初始网络权重值是基于计算机视觉***识别项目ImageNet数据库中的样本训练数据集预先训练好的网络权重值；基于每个图像训练样本的检测结果与相应样本的样本标签，对预训练检测模型进行迭代训练，得到训练完成的异常图像检测模型。该方法在原始残差网络结构之间引入通道注意力机制模块，对通道内部的特征信息加以利用。在ImageNet数据集上训练得到的参数信息迁移到引入通道注意力机制模块后的异常图像检测领域中，提高了模型的训练效率，以及提高了模型的检测准确率。
与上述方法对应的，本申请实施例还提供一种异常图像检测模型的训练装置，如图3所示，该异常图像检测模型的训练装置包括：
获取单元310，用于获取多个图像训练样本和相应的样本标签；
输入单元320，用于针对每个图像训练样本，将所述图像训练样本作为输入数据，输入预设的改进后的异常图像检测网络模型的输入网络结构，所述改进后的异常图像检测网络模型中配置的残差网络结构，对所述输入网络结构输出的图像信息提取图像特征向量，由所述改进后的异常图像检测网络模型的输出网络结构，对提取的图像特征向量进行检测，得到输出的所述图像训练样本的检测结果；其中，所述改进后的异常图像检测网络模型的初始网络权重值是基于计算机视觉***识别项目ImageNet数据库中的样本训练数据集预先训练好的网络权重值；
训练单元330，用于基于所述每个图像训练样本的检测结果与相应样本的样本标签，对所述改进后的异常图像检测网络模型进行迭代训练，得到训练完成的异常图像检测模型。
在一个可选的实现中，所述改进后的异常图像检测网络模型的输入网络结构包括1个卷积层、1个最大池化层和1个通道注意力机制模块；
其中，所述卷积层，用于对所述输入数据进行特征提取，得到初级图像特征向量；
所述通道注意力机制模块，用于对所述初级图像特征向量进行压缩，得到所述初级图像特征向量的全局压缩特征向量；将所述初级图像特征向量的全局压缩特征向量，按照特征通道进行处理，得到所述初级图像特征向量的特征通道权值向量，并将所述特征通道权值向量与所述初级图像特征向量相乘，输出聚焦于特征通道的次级图像特征向量；
所述最大池化层，用于获取所述通道注意力机制层输出的次级图像特征向量对应的最大图像特征向量。
在一个可选的实现中，所述改进后的异常图像检测网络模型中配置的残差网络结构包括依次连接的多个配置的残差单元；
每个配置的残差单元包括1个初始残差单元和1个通道注意力机制模块；所述通道注意力机制模块嵌入到所述初始残差单元中最后一个卷积层之前。
在一个可选的实现中，在所述配置的残差网络结构包括依次连接的4个配置的残差单元时，所述4个配置的残差单元中的第一个配置的残差单元包括3个卷积层，第二个配置的残差单元包括4个卷积层，第三个配置的残差单元包括6个卷积层，第四个配置的残差单元包括3个卷积层，其中，每个卷积层中卷积核大小相同。
在一个可选的实现中，所述改进后的异常图像检测网络模型的输出网络结构包括1个通道注意力机制模块、1个平均池化层和1个全连接层；
所述通道注意力机制模块，用于对所述配置的残差网络结构输出的所述图像特征向量进行压缩，得到所述图像特征向量的全局压缩特征向量；将所述图像特征向量的全局压缩特征向量，按照特征通道进行处理，得到所述图像特征向量的特征通道权值向量，并将所述图像特征向量的特征通道权值向量与所述图像特征向量相乘，输出聚焦于所述输出网络结构对应的次级图像特征向量；
所述平均池化层，用于对所述输出网络结构对应的次级图像特征向量进行计算，得到所述次级图像特征向量对应的压缩特征向量；
所述全连接层，用于基于得到的压缩特征向量，得到所述图像训练样本的检测结果。
在一个可选的实现中，获取单元310，具体用于：
获取候选图像样本；
采用预设的样本数量扩充方式，对所述候选图像样本进行处理，获取处理后的候选图像样本；
将所述候选图像样本和所述处理后的候选图像样本，确定为图像训练样本。
在一个可选的实现中，获取单元310，还用于获取至少一个待检测图像；
输入单元320，该用于将所述至少一个待检测图像作为输入数据，输入所述训练完成的异常图像检测模型，得到所述至少一个待检测图像的检测结果。
本申请上述实施例提供的异常图像检测模型的训练装置的各功能单元的功能，可以通过上述各方法步骤来实现，因此，本申请实施例提供的异常图像检测模型的训练装置中的各个单元的具体工作过程和有益效果，在此不复赘述。
本申请实施例还提供了一种电子设备，如图4所示，包括处理器410、通信接口420、存储器430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。
存储器430，用于存放计算机程序；
处理器410，用于执行存储器430上所存放的程序时，实现如下步骤：
获取多个图像训练样本和相应的样本标签；
针对每个图像训练样本，将所述图像训练样本作为输入数据，输入预设的改进后的异常图像检测网络模型的输入网络结构，所述改进后的异常图像检测网络模型中配置的残差网络结构，对所述输入网络结构输出的图像信息提取图像特征向量，由所述改进后的异常图像检测网络模型的输出网络结构，对提取的图像特征向量进行检测，得到输出的所述图像训练样本的检测结果；其中，所述改进后的异常图像检测网络模型的初始网络权重值是基于计算机视觉***识别项目ImageNet数据库中的样本训练数据集预先训练好的网络权重值；
基于所述每个图像训练样本的检测结果与相应样本的样本标签，对所述预训练检测模型进行迭代训练，得到训练完成的异常图像检测模型。
上述提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
由于上述实施例中电子设备的各器件解决问题的实施方式以及有益效果可以参见图1所示的实施例中的各步骤来实现，因此，本申请实施例提供的电子设备的具体工作过程和有益效果，在此不复赘述。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的异常图像检测模型的训练方法。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的异常图像检测模型的训练方法。
本领域内的技术人员应明白，本申请实施例中的实施例可提供为方法、***、或计算机程序产品。因此，本申请实施例中可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例中可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例中是参照根据本申请实施例中实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例中的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例中范围的所有变更和修改。
显然，本领域的技术人员可以对本申请实施例中实施例进行各种改动和变型而不脱离本申请实施例中实施例的精神和范围。这样，倘若本申请实施例中实施例的这些修改和变型属于本申请实施例中权利要求及其等同技术的范围之内，则本申请实施例中也意图包含这些改动和变型在内。

Claims (10)

1.一种异常图像检测模型的训练方法，其特征在于，所述方法包括：
获取多个图像训练样本和相应的样本标签，所述多个图像训练样本包括正常的图像训练样本和异常的图像训练样本；
针对每个图像训练样本，将所述图像训练样本作为输入数据，输入预设的改进后的异常图像检测网络模型的输入网络结构，所述改进后的异常图像检测网络模型中配置的残差网络结构，对所述输入网络结构输出的图像信息提取图像特征向量，由所述改进后的异常图像检测网络模型的输出网络结构，对提取的图像特征向量进行检测，得到输出的所述图像训练样本的检测结果；其中，所述改进后的异常图像检测网络模型的初始网络权重值是基于计算机视觉***识别项目ImageNet数据库中的样本训练数据集预先训练好的网络权重值；
基于所述每个图像训练样本的检测结果与相应样本的样本标签，对所述改进后的异常图像检测网络模型进行迭代训练，得到训练完成的异常图像检测模型。
2.如权利要求1所述的方法，其特征在于，所述改进后的异常图像检测网络模型的输入网络结构包括1个卷积层、1个最大池化层和1个通道注意力机制模块；
其中，所述卷积层，用于对所述输入数据进行特征提取，得到初级图像特征向量；
所述通道注意力机制模块，用于对所述初级图像特征向量进行压缩，得到所述初级图像特征向量的全局压缩特征向量；将所述初级图像特征向量的全局压缩特征向量，按照特征通道进行处理，得到所述初级图像特征向量的特征通道权值向量，并将所述特征通道权值向量与所述初级图像特征向量相乘，输出聚焦于特征通道的次级图像特征向量；
所述最大池化层，用于获取所述通道注意力机制层输出的次级图像特征向量对应的最大图像特征向量。
3.如权利要求1所述的方法，其特征在于，所述改进后的异常图像检测网络模型中配置的残差网络结构包括依次连接的多个配置的残差单元；
每个配置的残差单元包括1个初始残差单元和1个通道注意力机制模块；所述通道注意力机制模块嵌入到所述初始残差单元中最后一个卷积层之前。
4.如权利要求3所述的方法，其特征在于，在所述配置的残差网络结构包括依次连接的4个配置的残差单元时，所述4个配置的残差单元中的第一个配置的残差单元包括3个卷积层，第二个配置的残差单元包括4个卷积层，第三个配置的残差单元包括6个卷积层，第四个配置的残差单元包括3个卷积层，其中，每个卷积层中卷积核大小相同。
5.如权利要求1所述的方法，其特征在于，所述改进后的异常图像检测网络模型的输出网络结构包括1个通道注意力机制模块、1个平均池化层和1个全连接层；
所述通道注意力机制模块，用于对所述配置的残差网络结构输出的所述图像特征向量进行压缩，得到所述图像特征向量的全局压缩特征向量；将所述图像特征向量的全局压缩特征向量，按照特征通道进行处理，得到所述图像特征向量的特征通道权值向量，并将所述图像特征向量的特征通道权值向量与所述图像特征向量相乘，输出聚焦于所述输出网络结构对应的次级图像特征向量；
所述平均池化层，用于对所述输出网络结构对应的次级图像特征向量进行计算，得到所述次级图像特征向量对应的压缩特征向量；
所述全连接层，用于基于得到的压缩特征向量，得到所述图像训练样本的检测结果。
6.如权利要求1所述的方法，其特征在于，获取多个图像训练样本，包括：
获取候选图像样本；
采用预设的样本数量扩充方式，对所述候选图像样本进行处理，获取处理后的候选图像样本；
将所述候选图像样本和所述处理后的候选图像样本，确定为图像训练样本。
7.如权利要求1所述的方法，其特征在于，得到训练完成的异常图像检测模型之后，所述方法还包括：
获取至少一个待检测图像；
将所述至少一个待检测图像作为输入数据，输入所述训练完成的异常图像检测模型，得到所述至少一个待检测图像的检测结果。
8.一种异常图像检测模型的训练装置，其特征在于，所述装置包括：
获取单元，用于获取多个图像训练样本和相应的样本标签；
输入单元，用于针对每个图像训练样本，将所述图像训练样本作为输入数据，输入预设的改进后的异常图像检测网络模型的输入网络结构，所述改进后的异常图像检测网络模型中配置的残差网络结构，对所述输入网络结构输出的图像信息提取图像特征向量，由所述改进后的异常图像检测网络模型的输出网络结构，对提取的图像特征向量进行检测，得到输出的所述图像训练样本的检测结果；其中，所述改进后的异常图像检测网络模型的初始网络权重值是基于计算机视觉***识别项目ImageNet数据库中的样本训练数据集预先训练好的网络权重值；
训练单元，用于基于所述每个图像训练样本的检测结果与相应样本的样本标签，对所述改进后的异常图像检测网络模型进行迭代训练，得到训练完成的异常图像检测模型。
9.一种电子设备，其特征在于，所述电子设备包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存储的程序时，实现权利要求1-7任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
CN202210036055.2A 2022-01-10 2022-01-10 异常图像检测模型的训练方法、装置及介质 Pending CN114387451A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210036055.2A CN114387451A (zh) 2022-01-10 2022-01-10 异常图像检测模型的训练方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210036055.2A CN114387451A (zh) 2022-01-10 2022-01-10 异常图像检测模型的训练方法、装置及介质

Publications (1)

Publication Number Publication Date
CN114387451A true CN114387451A (zh) 2022-04-22

Family

ID=81202282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210036055.2A Pending CN114387451A (zh) 2022-01-10 2022-01-10 异常图像检测模型的训练方法、装置及介质

Country Status (1)

Country Link
CN (1) CN114387451A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114862857A (zh) * 2022-07-07 2022-08-05 合肥高斯智能科技有限公司 一种基于两阶段学习的工业产品外观异常检测方法及***
CN118052998A (zh) * 2024-04-16 2024-05-17 腾讯科技（深圳）有限公司 特征处理方法、装置、设备、存储介质及计算机程序产品

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114862857A (zh) * 2022-07-07 2022-08-05 合肥高斯智能科技有限公司 一种基于两阶段学习的工业产品外观异常检测方法及***
CN118052998A (zh) * 2024-04-16 2024-05-17 腾讯科技（深圳）有限公司 特征处理方法、装置、设备、存储介质及计算机程序产品

Similar Documents

Publication Publication Date Title
CN106776842B (zh) 多媒体数据检测方法及装置
JP6994588B2 (ja) 顔特徴抽出モデル訓練方法、顔特徴抽出方法、装置、機器および記憶媒体
CN109871845B (zh) 证件图像提取方法及终端设备
CN109740689B (zh) 一种图像语义分割的错误标注数据筛选方法及***
CN114387451A (zh) 异常图像检测模型的训练方法、装置及介质
CN112132143B (zh) 数据处理方法、电子设备及计算机可读介质
CN110135505B (zh) 图像分类方法、装置、计算机设备及计算机可读存储介质
CN111680705B (zh) 适于目标检测的mb-ssd方法和mb-ssd特征提取网络
CN113608916B (zh) 故障诊断的方法、装置、电子设备及存储介质
CN112884782B (zh) 生物对象分割方法、装置、计算机设备和存储介质
CN112668640B (zh) 一种文本图像质量评估方法、装置、设备及介质
CN115880298A (zh) 一种基于无监督预训练的玻璃表面缺陷检测方法及***
CN112651468A (zh) 一种多尺度轻量化图像分类方法及其存储介质
CN113239975A (zh) 一种基于神经网络的目标检测方法和装置
CN112434717B (zh) 一种模型训练方法及装置
CN111310837A (zh) 车辆改装识别方法、装置、***、介质和设备
CN111079930A (zh) 数据集质量参数的确定方法、装置及电子设备
CN113128522B (zh) 目标识别方法、装置、计算机设备和存储介质
CN113283388A (zh) 活体人脸检测模型的训练方法、装置、设备及存储介质
CN117407875A (zh) 一种恶意代码分类方法、***及电子设备
CN111914068A (zh) 试题知识点的提取方法
CN111507420A (zh) 轮胎信息获取方法、装置、计算机设备和存储介质
CN115713669A (zh) 一种基于类间关系的图像分类方法、装置、存储介质及终端
CN111127327B (zh) 一种图片倾斜检测方法及装置
CN114399432A (zh) 目标识别方法、装置、设备、介质及产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination