CN115331056A - 一种基于反向传播梯度筛选的异常检测方法及模型 - Google Patents
一种基于反向传播梯度筛选的异常检测方法及模型 Download PDFInfo
- Publication number
- CN115331056A CN115331056A CN202210973706.0A CN202210973706A CN115331056A CN 115331056 A CN115331056 A CN 115331056A CN 202210973706 A CN202210973706 A CN 202210973706A CN 115331056 A CN115331056 A CN 115331056A
- Authority
- CN
- China
- Prior art keywords
- gradient
- matrix
- anomaly detection
- screening
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 117
- 238000012216 screening Methods 0.000 title claims abstract description 55
- 239000011159 matrix material Substances 0.000 claims abstract description 69
- 230000002159 abnormal effect Effects 0.000 claims abstract description 45
- 238000004364 calculation method Methods 0.000 claims abstract description 12
- 238000010586 diagram Methods 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims description 41
- 229910052799 carbon Inorganic materials 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 10
- 230000006870 function Effects 0.000 abstract description 4
- 238000013145 classification model Methods 0.000 abstract description 3
- 230000008447 perception Effects 0.000 abstract description 2
- 238000012549 training Methods 0.000 description 22
- 230000011218 segmentation Effects 0.000 description 9
- 230000005856 abnormality Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 239000000779 smoke Substances 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 240000004282 Grewia occidentalis Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 125000004432 carbon atom Chemical group C* 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于反向传播梯度筛选的异常检测方法及模型,包括:S1.准备经过训练的异常检测模型;S2.将待预测图片输入异常检测模型进行一般的前向传播得到预测结果,当预测结果为异常时,执行步骤S3;S3.确定用于求梯度的特征图矩阵;S4.对预测结果进行反向传播计算得到特征图矩阵对应的梯度矩阵;S5.对梯度矩阵在横纵坐标的方向上求平均梯度得到平均梯度矩阵;S6.对平均梯度矩阵与特征图矩阵进行矩阵相乘操作并将各个通道的同位置元素的值进行累加得到梯度图;S7.基于步骤S6获取的梯度图进行梯度筛选得到异常感知区域。本发明在原有的基于深度神经网络的分类模型框架上实现扩展功能,在保持模型框架精简的同时能够实现异常区域的定位。
Description
技术领域
本发明属于异常检测技术领域,尤其是涉及一种基于反向传播梯度筛选的异常检测方法及模型。
背景技术
基于深度学习的异常检测是指,通过定义图像数据集中某种正常或者异常的特征,通过使深度神经网络的模型学习包含这些特征信息的数据集,使该模型获得能够对类似的其他数据判断是否异常的能力。现有的基于深度学习的图像异常检测方法包括,基于目标检测网络的异常检测方法,基于语义分割网络的异常检测方法、基于对抗生成网络的异常检测方法,以及本发明涉及到的基于分类网络异常检测模型的异常检测方法。
关于在图像领域的深度神经网络,作为深度学习的神经网络之一的卷积神经网络对图像的处理有巨大优势,自从2012年的AlEX网络问世以来,基于卷积神经网络的图像视频推理模型经历着不断的更新迭代,比如VGG网络、ResNet网络、EfficientNet网络等。基于深度学习的异常检测任务,通过使用上述的深度神经网络为基础来识别图像中的异常特征,从而实现异常检测的目标。
基于目标检测网络的异常检测方法,通过使用矩形四角坐标的检测框对异常特征的位置和大致的范围进行标注,使用监督学习的方法对目标检测网络进行训练后使其能够识别类似的异常特征的位置及大致范围。目标检测的方法虽然对形状规则、外形边界明确的目标的检测能力是比较强的,对小目标的检测能力也不弱,但是面对形状不规则,边界不明确的物体,如本发明的检测任务目标的对象---异常特征,包括火焰、烟雾等检测任务就比较困难,其主要原因在于需要标注检测框,而检测框的标注是比较繁琐的,需耗费大量人力和时间成本,即使标注完成后的训练效果也不佳,因为烟火形状不规则,标注框中经常会夹杂很多其他内容造成混淆特征和语义歧异,导致异常检测效果不佳。
基于语义分割的异常检测方法,通过对异常特征的像素范围和边界进行明确标注后的数据,使用监督学习的方法对语义分割网络进行训练后使其能够识别并区分类似的异常特征在图片中的位置并预测生成出明确清晰的像素范围和边界。该方法相对于其他方法,虽然对不规则、外形边界不明确的内容有较强的检测能力,但是该方法更多的是用于特定场景内多种类内容的检测,而在异常检测的数据集中,会包含大量的正常图片,且单一标注的异常类别中内容却有多种,所以基于语义分割网络的异常检测方法的训练效率很低,实际应用效果并不好。并且,与目标检测类似,语义分割网络在训练和测试数据收集过程中,因为需要在像素层面标注明确、清晰的范围和边界,比目标检测任务的收据收集过程更加需要耗费大量的人力和时间成本进行标注。
基于对抗生成网络的异常检测方法,在训练阶段基于无异常特征的正常图片数据,进行无监督的对抗生成式训练来使模型能够记住正常图片中各种要素的深层语义特征。在检测阶段,通过对具有异常特征的原图片进行重构生成后的新图片与原图片进行特征对比,特征对比采用如相似度对比等方法,判断原图片是否为异常。该方法属于无监督方法,在训练时无需提供有标注的异常数据,确实减少了收集数据的人力、时间成本,但是该方法在训练过程中属于无监督训练,训练不稳定,会产生网络震荡、无法有效收敛;对抗网络的生成器、判别器之间能力不均衡等问题,最终导致训练后网络的性能不佳。并且在实际预测时,因为需要重构图片的过程,会导致耗费更多的计算资源,预测时间较长等问题,因此不适合需连续检测的实际运行场景。
基于分类网络的异常检测方法,训练数据先准备具有异常和正常标签的图片,一般是通过图片保存目录来区分标注。通过对深度神经网络构建的分类网络进行训练,来实现区分正常和异常图片。分类任务是深度神经网络最早运用的任务之一,基于VGG网络、ResNet网络、EfficientNet网络等这些卷积神经网络模型构建的分类网络,所实现的异常检测方法相对于基于目标检测网络的异常检测方法和基于语义分割网络的异常检测方法具有诸多优势,首先在收集训练、测试数据集阶段只需要收集图片后直接按照类别保存即可,无需特征框、特征区域的标注,能够有效降低收集数据、标注数据的人力、时间成本,另一方面,分类网络具有更加轻简网络的结构,相比于如目标检测、语义分割这种更适合于多分类任务的较大的网络结构,在异常检测任务中的通常执行单分类的任务的分类器能够节省更多的计算资源,更加利于模型的在实际场景运用和部署。同时,相对于对抗生成网络的异常检测方法,在训练阶段有更稳定的收敛过程,预测阶段也具有更快的运行检测速度。但是分类网络存在可解释性差的问题,在用于对异常特征进行位置检测的任务时,无法实现对异常特征存在的位置进行有效的定位,更不必说精确的异常定位。
发明内容
本发明的目的是针对上述问题,提供一种基于反向传播梯度筛选的异常检测方法及模型。
为达到上述目的,本发明采用了下列技术方案:
一种基于反向传播梯度筛选的异常检测方法,包括以下步骤:
S1.准备经过训练的异常检测模型;
S2.将待预测图片输入异常检测模型进行一般的前向传播得到预测结果,当预测结果为异常时,执行步骤S3,否则结束流程;
S3.确定用于求梯度的特征图矩阵;
S4.对预测结果进行反向传播计算得到特征图矩阵对应的梯度矩阵;
S5.对梯度矩阵在横纵坐标的方向上求平均梯度得到平均梯度矩阵;
S6.对平均梯度矩阵与特征图矩阵进行矩阵相乘操作并将各个通道的同位置元素的值进行累加得到梯度图;
S7.基于步骤S6获取的梯度图进行梯度筛选得到异常感知区域。
在上述的基于异常检测模型传播梯度筛选的异常检测方法中,步骤S7中,筛选出梯度图中梯度值大于筛选阈值的元素坐标,这些元素坐标所包含的区域即所述的异常感知区域。
在上述的基于异常检测模型传播梯度筛选的异常检测方法中,步骤S4中,所述的梯度矩阵具体通过以下方式获得:
上式中,Scls表示预测结果;
在上述的基于异常检测模型传播梯度筛选的异常检测方法中,步骤S5中,平均梯度矩阵通过以下方式获得:
其中,Gm表示平均梯度矩阵。
在上述的基于异常检测模型传播梯度筛选的异常检测方法中,步骤S6中,梯度图通过以下方式获得:
在上述的基于异常检测模型传播梯度筛选的异常检测方法中,步骤S7的具体方法包括:
其中,通过梯度筛选后得到的各个封闭区域坐标的集,表示梯度图中二维坐标为(x,y)点的值,max(Gradi,j)表示取梯度图Grad中的最大值,p∈(0,1)表示筛选系数,表示一个可以设定的超参数,用于调节的筛选范围,max(Gradx,y)*p表示所述的筛选阈值;
在上述的基于异常检测模型传播梯度筛选的异常检测方法中,步骤S3中,所述的特征图矩阵为事先设定的任意特征层的特征图矩阵。
在上述的基于异常检测模型传播梯度筛选的异常检测方法中,所述的特征图矩阵为全连接层之前的最后一层特征层的特征图矩阵。
在上述的基于异常检测模型传播梯度筛选的异常检测方法中,所述异常检测模型的分类器包括EfficientNet网络。
一种基于异常检测模型传播梯度筛选的异常检测模型,用于执行上述基于异常检测模型传播梯度筛选的异常检测方法。
本发明的优点在于:
1、本发明是一种在原有的基于深度神经网络的分类模型框架上实现的扩展功能,在保持模型框架精简的同时能够实现异常区域的定位,在模型部署阶段,该方法相对于其他类型的方法(如目标检测、语义分割、对抗生成网络等)仅消耗深度神经网络分类器的计算资源,因此能够更加快速、高效地实现对异常特征的检测;
2、在模型训练前的数据集准备和前处理阶段,相对于其他有监督学习任务(如目标检测、语义分割等)而言,本发明对数据的前处理工作的步骤较少,表现在对数据进行标注时耗费的成本很低,只需要对数据进行正常或异常的区分即可,无需特征框、特征区域的标注,降低时间及人力成本;
3、在对异常特征的推理预测阶段,检测利用传统用于深度神经网络模型训练的反向传播技术进行异常定位,检测过程中对异常的分类结果进行反向梯度传播,并在此基础上又进一步提出梯度筛选方法,能够实现对异常区域的准确定位,并且梯度筛选方法能够更加灵活地基于不同的参数来调节定位精度。
附图说明
图1是本发明基于异常检测模型传播梯度筛选的异常检测方法流程图;
图2是本发明实施例对一个火灾场景图片的检测结果图一;
图3是本发明实施例对另一个火灾场景图片的检测结果图二;
图4是本发明实施例对另一个火灾场景图片的检测结果图三。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步详细的说明。
本方案公开了一种基于异常检测模型传播梯度筛选的异常检测方法及模型,本模型采用基于卷积神经网络的分类器,优选采用基于EfficientNet网络的分类器,主体架构由Effic ientNet网络和全连接层两部分构成。EfficientNet网络通过对网络深度、宽度、图片分辨率三个因素的综合调整,使得对分类任务的特定最优网络参数,同时具备了性能与速度的优势。
本实施例以火灾检测数据为例,使用有无火灾的数据集,作为本实施例的异常检测任务的测试对象,在实际应用时并不限于火灾场景,还可以用于其他场景,如烟雾检测、PCB板缺陷检测等,此处不进行一一列举。
本实施例首先数据集为一批有无火灾的图片,,包括有火灾、火灾产生的烟雾等特征的异常图片,以及没有火灾、烟雾特征的正常图片,这些图片按照有无火灾、烟雾的异常特征被分别保存在不同目录中,目录名称命名为“火灾”和“正常”并且将目录名称作为本次分类任务的不同标签。通过基于EfficientNet的异常检测模型进行分类训练,训练时本实施例通过数据增强,AMsoftmax损失函数等方法提高其分类性能,具体训练过程与现有技术一致,故不在此赘述。
如图1所示,本实施例对训练完成后的异常检测模型先进行一般的前向传播过程,首先将待预测图片Img通过张量化处理后,输入到异常检测模型中,通过前向传播,得到预测结果Scls,Scls表示输出得到的各个类别的置信度中的最大值,即异常检测模型预测得到的类别。当预测结果被判断被为异常时,继续下面的步骤,否则结束流程。
选定用于求梯度的特征图矩阵,本实施例为了既提升运算速度,又保持经过模型传播获得的语义信息和空间信息,故选取全连接层之前的最后一层(Conv_head层),即EfficientNet网络的最后一层的特征图矩阵
上式中,表示中的各个元素,其中c表示各个通道,(x,y)表示各个通道中的横纵坐标。表示梯度矩阵中的各个元素,G表示得到的梯度矩阵。W、H代表了特征图矩阵在横纵坐标方向上的宽和高,C代表了特征图矩阵在通道坐标方向上的通道数,并且特征图矩阵的W、H、C的值应该与梯度矩阵G相同。
之后对公式(2)得到的梯度矩阵G在横纵坐标的方向上求平均梯度,得到平均梯度矩阵Gm。平均梯度矩阵Gm的计算过程如下公式(3)所示:
然后基于上述方法最后得到的梯度图进行梯度筛选得到异常感知区域:对得到的梯度图Grad进行梯度筛选,该梯度筛选的计算过程如下公式(6)所示:
上述公式中,表示通过梯度筛选后得到的各个封闭区域坐标的集,Gradx,y表示梯度图中二维坐标为(x,y)点的值,max(Gradi,j)表示取梯度图Grad中的最大值,p∈(0,1)表示筛选系数,表示一个可以设定的超参数,来调节的筛选范围,max(Gradx,y)*p表示所述的筛选阈值。
图2-图4为本方案对火灾图片进行实例演示的结果,图中都为发生火灾的场景,左上角标记的“fire”表示分类模型对整个图片的预测结果为有火灾的异常图片。图中带“fire”标记的检测框表示经过反向传播以及梯度筛选后得到的异常感知区域。
本方案采用卷积神经网络,只需要将收集后的图片直接按类别保存即可,无需特征框、特征区域的标注,大大降低了数据收集数据、标注数据的人力、时间成本。并且将传统用于监督学习算法,常被用来训练深度神经网络的反向传播算法用于异常检测的非训练过程,同时结合梯度图的获取、梯度筛选实现异常区域的检测和定位,故本方案既能够实现减轻数据标注压力的目的,又能够实现对异常区域的定位。并且由于使用的是反向传播技术,只需要基于原有的模型框架扩展功能即可,所以能够在具有十分精简的模型框架结构下实现异常检测及异常区域定位,并且基于精简的模型框架,对于异常检测的任务而言,本方案在模型训练上有着更高的效率,在模型使用中有着更高的检测精度以及运行速度。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (10)
1.一种基于反向传播梯度筛选的异常检测方法,其特征在于,包括以下步骤:
S1.准备经过训练的异常检测模型;
S2.将待预测图片输入异常检测模型进行一般的前向传播得到预测结果,当预测结果为异常时,执行步骤S3,否则结束流程;
S3.确定用于求梯度的特征图矩阵;
S4.对预测结果进行反向传播计算得到特征图矩阵对应的梯度矩阵;
S5.对梯度矩阵在横纵坐标的方向上求平均梯度得到平均梯度矩阵;
S6.对平均梯度矩阵与特征图矩阵进行矩阵相乘操作并将各个通道的同位置元素的值进行累加得到梯度图;
S7.基于步骤S6获取的梯度图进行梯度筛选得到异常感知区域。
2.根据权利要求1所述的基于异常检测模型传播梯度筛选的异常检测方法,其特征在于,步骤S7中,筛选出梯度图中梯度值大于筛选阈值的元素坐标,这些元素坐标所包含的区域即所述的异常感知区域。
6.根据权利要求5所述的基于异常检测模型传播梯度筛选的异常检测方法,其特征在于,步骤S7的具体方法包括:
其中,表示通过梯度筛选后得到的各个封闭区域坐标的集,Gradx,y表示梯度图中二维坐标为(x,y)点的值,max(Gradi,j)表示取梯度图Grad中的最大值,p∈(0,1)表示筛选系数,表示一个可以设定的超参数,用于调节的筛选范围,max(Gradx,y)*p表示所述的筛选阈值;
7.根据权利要求1-6任意一项所述的基于异常检测模型传播梯度筛选的异常检测方法,其特征在于,步骤S3中,所述的特征图矩阵为事先设定的任意特征层的特征图矩阵。
8.根据权利要求7所述的基于异常检测模型传播梯度筛选的异常检测方法,其特征在于,所述的特征图矩阵为全连接层之前的最后一层特征层的特征图矩阵。
9.根据权利要求1-6任意一项所述的基于异常检测模型传播梯度筛选的异常检测方法,其特征在于,所述异常检测模型的分类器包括EfficientNet网络。
10.一种基于异常检测模型传播梯度筛选的异常检测模型,其特征在于,用于执行权利要求1-9任意一项所述的基于异常检测模型传播梯度筛选的异常检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210973706.0A CN115331056A (zh) | 2022-08-15 | 2022-08-15 | 一种基于反向传播梯度筛选的异常检测方法及模型 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210973706.0A CN115331056A (zh) | 2022-08-15 | 2022-08-15 | 一种基于反向传播梯度筛选的异常检测方法及模型 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115331056A true CN115331056A (zh) | 2022-11-11 |
Family
ID=83923122
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210973706.0A Pending CN115331056A (zh) | 2022-08-15 | 2022-08-15 | 一种基于反向传播梯度筛选的异常检测方法及模型 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115331056A (zh) |
-
2022
- 2022-08-15 CN CN202210973706.0A patent/CN115331056A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110287849B (zh) | 一种适用于树莓派的轻量化深度网络图像目标检测方法 | |
CN109919934B (zh) | 一种基于多源域深度迁移学习的液晶面板缺陷检测方法 | |
CN107133943A (zh) | 一种防震锤缺陷检测的视觉检测方法 | |
CN110796048A (zh) | 一种基于深度神经网络的船舰目标实时检测方法 | |
CN110930387A (zh) | 基于深度可分离卷积神经网络的织物疵点检测方法 | |
CN110533022B (zh) | 一种目标检测方法、***、装置及存储介质 | |
CN109840483B (zh) | 一种滑坡裂缝检测与识别的方法及装置 | |
CN112418108B (zh) | 一种基于样本重加权的遥感图像多类目标检测方法 | |
CN112287941B (zh) | 一种基于自动字符区域感知的车牌识别方法 | |
CN112434586B (zh) | 一种基于域自适应学习的多复杂场景目标检测方法 | |
CN110647802A (zh) | 基于深度学习的遥感影像舰船目标检测方法 | |
CN113420643B (zh) | 基于深度可分离空洞卷积的轻量级水下目标检测方法 | |
CN114565860A (zh) | 一种多维度增强学习合成孔径雷达图像目标检测方法 | |
CN114648665A (zh) | 一种弱监督目标检测方法及*** | |
CN112365497A (zh) | 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和*** | |
CN108427919B (zh) | 一种基于形状引导显著性模型的无监督油罐目标检测方法 | |
CN106991686A (zh) | 一种基于超像素光流场的水平集轮廓跟踪方法 | |
CN113496480A (zh) | 一种焊缝图像缺陷的检测方法 | |
CN114092793A (zh) | 适用于复杂水下环境的端到端生物目标检测方法 | |
CN111814696A (zh) | 一种基于改进YOLOv3的视频船舶目标检测方法 | |
CN113609904B (zh) | 一种基于动态全局信息建模和孪生网络的单目标跟踪算法 | |
CN115063655A (zh) | 一种融合超列的类激活映射图生成方法 | |
CN112288084B (zh) | 基于特征图通道重要性的深度学习目标检测网络压缩方法 | |
CN116597275A (zh) | 一种基于数据增强的高速移动目标识别方法 | |
CN108765384B (zh) | 一种联合流形排序和改进凸包的显著性检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |