CN114627102B - 一种图像异常检测方法、装置、***及可读存储介质 - Google Patents
一种图像异常检测方法、装置、***及可读存储介质 Download PDFInfo
- Publication number
- CN114627102B CN114627102B CN202210331065.9A CN202210331065A CN114627102B CN 114627102 B CN114627102 B CN 114627102B CN 202210331065 A CN202210331065 A CN 202210331065A CN 114627102 B CN114627102 B CN 114627102B
- Authority
- CN
- China
- Prior art keywords
- sample
- image
- feature extraction
- extraction network
- anomaly
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 89
- 230000002159 abnormal effect Effects 0.000 claims abstract description 60
- 238000012549 training Methods 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 24
- 230000005856 abnormality Effects 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims description 71
- 238000012545 processing Methods 0.000 claims description 24
- 238000009826 distribution Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 abstract description 8
- 238000012544 monitoring process Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像异常检测方法、装置、***及计算机可读存储介质,应用于图像技术领域,针对图像异常检测精度低的问题,提出采用预先建立的图像异常检测模型对待检测图像进行检测,得出异常得分;在异常得分满足预设条件的情况下,待检测图像为异常图像;其中:图像异常检测模型为基于预先建立的样本集训练得到的,样本集中的模拟异常样本为基于原始异常样本与原始正常样本得到的;本发明在使用过程中能够提高图像异常检测精确度。
Description
技术领域
本发明涉及图像技术领域,特别是涉及一种图像异常检测方法、装置、***及计算机可读存储介质。
背景技术
异常检测在图像领域是指相对于正常的图像,识别出可能存在异常的图像。异常检测任务一般假设正常图像的数据量较大,而异常数据的数据量较小,无法收集足够的异常数据开展监督型学习区分二者。故异常检测常被认为符合单分类学习假设,即仅通过对正常样本的学习,实现对于异常样本的检测。异常检测在实际中的应用非常广泛,例如在高速公路场景下对监控视频的分析便是非常有潜力的一个应用场景,高速公路场景下的监控视频数据量非常巨大,潜在的异常行为多种多样,但是由于异常的发生概率较小,并且各种异常行为间差异较大并且发生概率不同,导致无法收集合理的数据集进行监督型学习,通过非监督,特别是自监督学习解决高速公路监控视频场景下的异常检测任务应用前景巨大。
现有的基于自监督学习的异常检测方法通常通过对正常图像进行数据增强处理,得到模拟的异常图像的,但是这种方法一般仅能拉远增强样本与正常样本的相似度,无法很好的模拟异常样本,影响基于这些图像训练而成的检测模型识别的精确度。
鉴于此,如何提供一种解决上述技术问题的图像异常检测方法、装置、***及计算机可读存储介质成为本领域技术人员需要解决的问题。
发明内容
本发明实施例的目的是提供一种图像异常检测方法、装置、***及计算机可读存储介质,在使用过程中能够提高图像异常检测精确度。
为解决上述技术问题,本发明实施例提供了一种图像异常检测方法,包括:
采用预先建立的图像异常检测模型对待检测图像进行检测,得出异常得分;
在所述异常得分满足预设条件的情况下,所述待检测图像为异常图像;其中:
所述图像异常检测模型为基于预先建立的样本集训练得到的,所述样本集中的模拟异常样本为基于原始异常样本与原始正常样本得到的。
可选的,所述样本集中的模拟异常样本为基于原始异常样本与原始正常样本得到的包括:
从各个原始异常样本中选取出目标原始异常样本,从各个原始正常样本中选取出目标原始正常样本;
获取与所述目标原始异常样本中的目标区域对应的第一复制图像,以及与所述目标原始正常样本中的目标区域对应的第二复制图像;
将所述第一复制图像和所述第二复制图像粘贴至所述目标原始正常样本上,得到模拟异常样本。
可选的,所述将所述第一复制图像和所述第二复制图像粘贴至所述目标原始正常样本上,得到模拟异常样本,包括:
将所述第一复制图像和所述第二复制图像粘贴至所述目标原始正常样本上的预设区域处;所述预设区域为以所述目标原始正常样本中心点为中心的区域;
将所述第一复制图像和所述第二复制图像分别进行缩放,以得到模拟异常样本。
可选的,所述从各个原始异常样本中选取出目标原始异常样本,从各个原始正常样本中选取出目标原始正常样本包括:
随机从各个原始异常样本中选取出目标原始异常样本,随机从各个原始正常样本中选取出目标原始正常样本。
可选的,所述图像异常检测模型为基于预先建立的样本集训练得到的包括:
采用预先建立的样本集对特征提取网络进行训练,得到所述特征提取网络的最优权重参数;
采用所述样本集中的各个原始正常样本以及基于所述最优权重参数的特征提取网络对分类器进行训练,得到所述分类器的最优参数;
基于所述最优权重参数的特征提取网络及所述最优参数的分类器构建图像异常检测模型。
可选的,所述分类型为KDE分类器。
可选的,所述采用预先建立的样本集对特征提取网络进行训练,得到所述特征提取网络的最优权重参数包括:
针对所述样本集中的每个样本,对所述样本进行数据增强处理,得到第一增强样本和第二增强样本;
通过第一特征提取网络对所述第一增强样本进行处理,得到与所述第一增强样本对应的第一编码向量,通过第二特征提取网络对所述第二增强样本进行处理,得到与所述第二增强样本对应的第二编码向量;所述第一特征提取网络和所述第二特征提取网络相同;
采用第一投影网络对所述第一编码向量进行处理,得到第一投影向量,采用第二投影网络对所述第二编码向量进行处理,得到第二投影向量;所述第一投影网络和所述第二投影网络相同;
计算所述第一投影向量和所述第二投影向量的对比损失;
根据与每个样本对应的对比损失,计算出总对比损失;
判断所述总对比损失是否满足结束条件,若是,则结束,并得到所述第一特征提取网络和所述第二特征提取网络的最优权重参数;若否,则对所述第一特征提取网络和所述第二特征提取网络的权重参数进行更新,并进入下一轮训练。
本发明实施例还提供了一种图像异常检测装置,包括:
检测模块,用于采用预先建立的图像异常检测模型对待检测图像进行检测,得出异常得分;
分析模块,用于在所述异常得分满足预设条件的情况下,所述待检测图像为异常图像;其中:
所述图像异常检测模型为基于预先建立的样本集训练得到的,所述样本集中的模拟异常样本为基于原始异常样本与原始正常样本得到的。
本发明实施例还提供了一种图像异常检测***,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上述所述图像异常检测方法的步骤。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述所述图像异常检测方法的步骤。
本发明实施例提供了一种图像异常检测方法、装置、***及计算机可读存储介质,该方法包括:采用预先建立的图像异常检测模型对待检测图像进行检测,得出异常得分;在异常得分满足预设条件的情况下,待检测图像为异常图像;其中:图像异常检测模型为基于预先建立的样本集训练得到的,样本集中的模拟异常样本为基于原始异常样本与原始正常样本得到的。
可见,本发明中基于原始异常样本与原始正常样本得到模拟异常样本,并基于包括模拟异常样本、原始正常样本和原始异常样本的样本集训练图像异常检测模型,提高了图像异常检测模型的精确度,然后采用该图像异常检测模型对待检测图像进行检测,得到异常得分,并且在异常得分满足预设条件的情况下,确定出待检测图像为异常图像,从而实现图像异常检测;本发明在使用过程中能够提高图像异常检测精确度。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对现有技术和实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像异常检测方法的流程示意图;
图2为本发明实施例提供的一种;
图3为本发明实施例提供的一种;
图4为本发明实施例提供的一种;
图5为本发明实施例提供的一种图像异常检测装置的结构示意图。
具体实施方式
本发明实施例提供了一种图像异常检测方法、装置、***及计算机可读存储介质,在使用过程中能够提高图像异常检测精确度。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参照图1,图1为本发明实施例提供的一种图像异常检测方法的流程示意图。该方法包括:
S110:采用预先建立的图像异常检测模型对待检测图像进行检测,得出异常得分;
需要说明的是,本发明实施例中的可以先建立样本集,然后基于该样本集训练图像异常检测模型。在高速公路场景下的监控视频数据量非常巨大,异常的发生概率较小,并且各种异常行为间差异较大并且发生概率不同,导致无法收集合理的数据集,因此可以构建模拟异常样本,从而提高样本集中异常样本数量。
具体的,本发明实施例中的样本集中的模拟异常样本为基于原始异常样本与原始正常样本得到的,在实际应用中对于高速公路监控场景,可以预先收集海量监控视频,通过视频抽帧的方式将监控视频转换为图像,对图像根据帧率进行正常/异常标注,也即对每一张图像进行类别标注,具体可以添加类别标签,类别为正常或异常,从而得到各个原始正常样本和各个原始正常样本,然后再基于原始异常样本和原始正常样本构建模拟异常样本,从而得到由原始正常样本、原始异常样本和模拟异常样本构成的样本集,并基于该样本集训练图像异常检测模型。
在实际应用中,采集待检测图像,并采用该图像异常检测模型对待检测图像进行异常检测,得到异常得分。
S120:在异常得分满足预设条件的情况下,待检测图像为异常图像。
具体的,本发明实施例中具体可以根据异常得到进一步判断是否满足预设条件,在满足的情况下,确定出待检测图像为异常图像。例如,可以预先设置阈值,在异常得分小于等于阈值的情况下可以判定出待检测图像为正常图像,在异常得分大于阈值的情况下可以判定出待检测图像为异常图像。
进一步的,上述样本集中的模拟异常样本为基于原始异常样本与原始正常样本得到的,具体可以包括:
从各个原始异常样本中选取出目标原始异常样本,从各个原始正常样本中选取出目标原始正常样本;
获取与目标原始异常样本中的目标区域对应的第一复制图像,以及与目标原始正常样本中的目标区域对应的第二复制图像;
将第一复制图像和第二复制图像粘贴至目标原始正常样本上,得到模拟异常样本。
可以理解的是,本发明实施例中具体可以从各个原始异常样本中随机选取出目标原始异常样本,从各个原始正常样本中也随机选取出目标原始正常样本,例如图2中的目标原始异常样本为A和目标原始正常样本为B,从目标原始异常样本上(随机)选择一个目标区域(具体可以为矩形区域),对该目标区域进行复制,得到第一复制图像a,然后从目标原始正常样本上(随机)选择一个目标区域,并对该目标区域进行复制,得到第二复制图像b,将该第一复制图像a和第二复制图像b均粘贴至目标原始正常样本上,从而得到模拟异常样本。
更进一步的,将第一复制图像和第二复制图像粘贴至目标原始正常样本上,得到模拟异常样本的过程,具体可以包括:
将第一复制图像和第二复制图像粘贴至目标原始正常样本上的预设区域处;预设区域为以目标原始正常样本中心点为中心的区域;
将第一复制图像和第二复制图像分别进行缩放,以得到模拟异常样本。
需要说明的是,本发明实施例中可以预先从目标原始正常样本上选择一个预设区域(如图2中的边框c),该预设区域具体可以为以目标原始正常样本中心点为中心的区域,该预设区域的形状具体可以为圆形区域或矩形区域,并且在将第一复制图像和第二复制图像粘贴至目标原始正常样本上的预设区域处,然后对粘贴后的两个图像分别进行相应的缩放,具体可以进行不同长宽比例的随机变形缩放,例如可以随机按照1:2、1:3或1:4等比例进行变形缩放,缩放完成后,分别得到变形缩放图像a’和b’,从而得到最终的模拟异常样本。
进一步的,上述图像异常检测模型为基于预先建立的样本集训练得到的,具体可以包括:
采用预先建立的样本集对特征提取网络进行训练,得到特征提取网络的最优权重参数;
采用样本集中的各个原始正常样本以及基于最优权重参数的特征提取网络对分类器进行训练,得到分类器的最优参数;
基于最优权重参数的特征提取网络及最优参数的分类器构建图像异常检测模型。
具体的,在实际应用中可以采用预先建立的上述样本集对特征提取网络进行训练,得到特征提取网络的最优权重参数,然后基于该最优权重网络参数将特征提取网络固定后,请参照图3,在特征提取网络后接分类器,然后采用样本集中的各个原始正常样本依次输入至固定权重参数后的特征提取网络进行特征提取,特征提取网络的输出作为分类器的输入,得到异常得分,当异常得分没有达到预设要求时,对分类器的参数进行更新,进入下一轮训练,具体可以预设训练次数,当达到训练次数后,停止训练,得到分类器的最优参数,从而基于最优权重参数的特征提取网络及最优参数的分类器构建图像异常检测模型。
其中,本发明实施例中的分类型具体可以为KDE(kernel density estimation,核密度估计)分类器,其中,KDE是在概率论中用来估计未知的密度函数,KDE分类器输出结果可以作为当前样本与核密度的差异程度,差异越小,样本属于同一分布的,差异越大,样本属于不同分布。也即,本发明实施例中的图像异常检测模型最终输出的是异常得分,并通过异常得分与预设阈值进一步确定待检测图像是否为异常图像。
其中,KDE的计算方式如下:
其中,fh(x)表示总体的概率密度函数,n表示正常样本总数,j表示第j个正常样本,x表示特定分布样本,xj表示第j个真实样本点,K(.)表示核函数,h表示带宽。其中,具体可以选择高斯分布概率密度函数为核函数,高斯分布概率密度函数如下:
其中,σ表示标准差,e表示自然对数,μ表示期望。
进一步的,上述采用预先建立的样本集对特征提取网络进行训练,得到特征提取网络的最优权重参数的过程,可以包括:
针对样本集中的每个样本,对样本进行数据增强处理,得到第一增强样本和第二增强样本;
通过第一特征提取网络对第一增强样本进行处理,得到与第一增强样本对应的第一编码向量,通过第二特征提取网络对第二增强样本进行处理,得到与第二增强样本对应的第二编码向量;第一特征提取网络和第二特征提取网络相同;
采用第一投影网络对第一编码向量进行处理,得到第一投影向量,采用第二投影网络对第二编码向量进行处理,得到第二投影向量;第一投影网络和第二投影网络相同;
计算第一投影向量和第二投影向量的对比损失;
根据与每个样本对应的对比损失,计算出总对比损失;
判断总对比损失是否满足结束条件,若是,则结束,并得到第一特征提取网络和第二特征提取网络的最优权重参数;若否,则对第一特征提取网络和第二特征提取网络的权重参数进行更新,并进入下一轮训练。
需要说明的是,如图4所示,可以对样本集中的样本进行对比式SSL(Self-supervised learning,自监督学***均等方法计算得出总对比损失,然后判断总对比损失是否满足结束条件,在满足时结束训练,将当前的权重参数作为特征提取网络的最优权重参数;若不满足结束条件,则对第一特征提取网络f和第二特征提取网络f’的权重参数进行更新,并进入下一轮训练,直至结束训练,确定出最优权重参数。其中,结束调节可以为训练次数达到预设训练次数,或总对比损失小于预设值。
还需要说明的是,本发明实施例中假设数据增强为a,则v=a(x),y=f(v),z=g(y)。其中,本发明实施例中的对比损失函数具体如下:
其中,/>表示x和x+所属分布,x表示样本,x+表示样本x的数据增强,xi -表示负样本的数据增强,p表示分布,f(x)T表示对x提取特征后的转置,f(x+)表示对x+提取特征,f(xi -)表示对xi -提取特征,i表示样本标号,N表示总样本量。
可见,本发明中基于原始异常样本与原始正常样本得到模拟异常样本,并基于包括模拟异常样本、原始正常样本和原始异常样本的样本集训练图像异常检测模型,提高了图像异常检测模型的精确度,然后采用该图像异常检测模型对待检测图像进行检测,得到异常得分,并且在异常得分满足预设条件的情况下,确定出待检测图像为异常图像,从而实现图像异常检测;本发明在使用过程中能够提高图像异常检测精确度。
在上述实施例的基础上,本发明实施例还提供了一种图像异常检测装置,请参照图5,该装置包括:
检测模块21,用于采用预先建立的图像异常检测模型对待检测图像进行检测,得出异常得分;
分析模块22,用于在异常得分满足预设条件的情况下,待检测图像为异常图像;其中:
图像异常检测模型为基于预先建立的样本集训练得到的,样本集中的模拟异常样本为基于原始异常样本与原始正常样本得到的。
需要说明的是,本发明实施例中所提供的图像异常检测装置具有与上述实施例中所涉及到的图像异常检测方法相同的有益效果,并且对于本发明实施例中所涉及到的图像异常检测方法的具体介绍请参照上述实施例,本发明在此不再赘述。
在上述实施例的基础上,本发明实施例还提供了一种图像异常检测***,该***包括:
存储器,用于存储计算机程序;
处理器,用于执行计算机程序时实现如上述图像异常检测方法的步骤。
例如,本发明实施例中的处理器具体可以用于实现采用预先建立的图像异常检测模型对待检测图像进行检测,得出异常得分;在异常得分满足预设条件的情况下,待检测图像为异常图像;其中:图像异常检测模型为基于预先建立的样本集训练得到的,样本集中的模拟异常样本为基于原始异常样本与原始正常样本得到的。
在上述实施例的基础上,本发明实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如上述图像异常检测方法的步骤。
该计算机可读存储介质可以包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其他形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其他实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种图像异常检测方法,其特征在于,包括:
采用预先建立的图像异常检测模型对待检测图像进行检测,得出异常得分;
在所述异常得分满足预设条件的情况下,所述待检测图像为异常图像;其中:
所述图像异常检测模型为基于预先建立的样本集训练得到的,所述样本集中的模拟异常样本为基于原始异常样本与原始正常样本得到的;
其中,所述图像异常检测模型为基于预先建立的样本集训练得到的包括:
采用预先建立的样本集对特征提取网络进行训练,得到所述特征提取网络的最优权重参数;
采用所述样本集中的各个原始正常样本以及基于所述最优权重参数的特征提取网络对分类器进行训练,得到所述分类器的最优参数;
基于所述最优权重参数的特征提取网络及所述最优参数的分类器构建图像异常检测模型;
其中,所述采用预先建立的样本集对特征提取网络进行训练,得到所述特征提取网络的最优权重参数包括:
针对所述样本集中的每个样本,对所述样本进行数据增强处理,得到第一增强样本和第二增强样本;
通过第一特征提取网络对所述第一增强样本进行处理,得到与所述第一增强样本对应的第一编码向量,通过第二特征提取网络对所述第二增强样本进行处理,得到与所述第二增强样本对应的第二编码向量;所述第一特征提取网络和所述第二特征提取网络相同;
采用第一投影网络对所述第一编码向量进行处理,得到第一投影向量,采用第二投影网络对所述第二编码向量进行处理,得到第二投影向量;所述第一投影网络和所述第二投影网络相同;
计算所述第一投影向量和所述第二投影向量的对比损失;
根据与每个样本对应的对比损失,计算出总对比损失;
判断所述总对比损失是否满足结束条件,若是,则结束,并得到所述第一特征提取网络和所述第二特征提取网络的最优权重参数;若否,则对所述第一特征提取网络和所述第二特征提取网络的权重参数进行更新,并进入下一轮训练;
其中,对样本集中的样本进行对比式SSL训练;对比损失函数为:其中,/>表示x和x+所属分布,x表示样本,x+表示样本x的数据增强,xi -表示负样本的数据增强,p表示分布,f(x)T表示对x提取特征后的转置,f(x+)表示对x+提取特征,f(xi -)表示对xi -提取特征,i表示样本标号,N表示总样本量。
2.根据权利要求1所述的图像异常检测方法,其特征在于,所述样本集中的模拟异常样本为基于原始异常样本与原始正常样本得到的包括:
从各个原始异常样本中选取出目标原始异常样本,从各个原始正常样本中选取出目标原始正常样本;
获取与所述目标原始异常样本中的目标区域对应的第一复制图像,以及与所述目标原始正常样本中的目标区域对应的第二复制图像;
将所述第一复制图像和所述第二复制图像粘贴至所述目标原始正常样本上,得到模拟异常样本。
3.根据权利要求2所述的图像异常检测方法,其特征在于,所述将所述第一复制图像和所述第二复制图像粘贴至所述目标原始正常样本上,得到模拟异常样本,包括:
将所述第一复制图像和所述第二复制图像粘贴至所述目标原始正常样本上的预设区域处;所述预设区域为以所述目标原始正常样本中心点为中心的区域;
将所述第一复制图像和所述第二复制图像分别进行缩放,以得到模拟异常样本。
4.根据权利要求2所述的图像异常检测方法,其特征在于,所述从各个原始异常样本中选取出目标原始异常样本,从各个原始正常样本中选取出目标原始正常样本包括:
随机从各个原始异常样本中选取出目标原始异常样本,随机从各个原始正常样本中选取出目标原始正常样本。
5.根据权利要求1至4任一项所述的图像异常检测方法,其特征在于,所述分类器为KDE分类器。
6.一种图像异常检测装置,其特征在于,包括:
检测模块,用于采用预先建立的图像异常检测模型对待检测图像进行检测,得出异常得分;
分析模块,用于在所述异常得分满足预设条件的情况下,所述待检测图像为异常图像;其中:
所述图像异常检测模型为基于预先建立的样本集训练得到的,所述样本集中的模拟异常样本为基于原始异常样本与原始正常样本得到的;
其中,所述图像异常检测模型为基于预先建立的样本集训练得到的包括:
采用预先建立的样本集对特征提取网络进行训练,得到所述特征提取网络的最优权重参数;
采用所述样本集中的各个原始正常样本以及基于所述最优权重参数的特征提取网络对分类器进行训练,得到所述分类器的最优参数;
基于所述最优权重参数的特征提取网络及所述最优参数的分类器构建图像异常检测模型;
其中,所述采用预先建立的样本集对特征提取网络进行训练,得到所述特征提取网络的最优权重参数包括:
针对所述样本集中的每个样本,对所述样本进行数据增强处理,得到第一增强样本和第二增强样本;
通过第一特征提取网络对所述第一增强样本进行处理,得到与所述第一增强样本对应的第一编码向量,通过第二特征提取网络对所述第二增强样本进行处理,得到与所述第二增强样本对应的第二编码向量;所述第一特征提取网络和所述第二特征提取网络相同;
采用第一投影网络对所述第一编码向量进行处理,得到第一投影向量,采用第二投影网络对所述第二编码向量进行处理,得到第二投影向量;所述第一投影网络和所述第二投影网络相同;
计算所述第一投影向量和所述第二投影向量的对比损失;
根据与每个样本对应的对比损失,计算出总对比损失;
判断所述总对比损失是否满足结束条件,若是,则结束,并得到所述第一特征提取网络和所述第二特征提取网络的最优权重参数;若否,则对所述第一特征提取网络和所述第二特征提取网络的权重参数进行更新,并进入下一轮训练;
其中,对样本集中的样本进行对比式SSL训练;对比损失函数为:其中,/>表示x和x+所属分布,x表示样本,x+表示样本x的数据增强,xi -表示负样本的数据增强,p表示分布,f(x)T表示对x提取特征后的转置,f(x+)表示对x+提取特征,f(xi -)表示对xi -提取特征,i表示样本标号,N表示总样本量。
7.一种图像异常检测***,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至5任一项所述图像异常检测方法的步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述图像异常检测方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210331065.9A CN114627102B (zh) | 2022-03-31 | 2022-03-31 | 一种图像异常检测方法、装置、***及可读存储介质 |
PCT/CN2022/123403 WO2023184918A1 (zh) | 2022-03-31 | 2022-09-30 | 一种图像异常检测方法、装置、***及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210331065.9A CN114627102B (zh) | 2022-03-31 | 2022-03-31 | 一种图像异常检测方法、装置、***及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114627102A CN114627102A (zh) | 2022-06-14 |
CN114627102B true CN114627102B (zh) | 2024-02-13 |
Family
ID=81904565
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210331065.9A Active CN114627102B (zh) | 2022-03-31 | 2022-03-31 | 一种图像异常检测方法、装置、***及可读存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN114627102B (zh) |
WO (1) | WO2023184918A1 (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114627102B (zh) * | 2022-03-31 | 2024-02-13 | 苏州浪潮智能科技有限公司 | 一种图像异常检测方法、装置、***及可读存储介质 |
CN116246114B (zh) * | 2023-03-14 | 2023-10-10 | 哈尔滨市科佳通用机电股份有限公司 | 自监督脱轨自动装置拉环脱落图像异常检测方法及装置 |
CN117077066B (zh) * | 2023-10-17 | 2024-03-12 | 合肥联宝信息技术有限公司 | 波形异常检测方法、装置、电子设备及存储介质 |
CN117152459B (zh) * | 2023-10-30 | 2024-06-11 | 腾讯科技(深圳)有限公司 | 图像检测方法、装置、计算机可读介质及电子设备 |
CN117648632B (zh) * | 2024-01-29 | 2024-05-03 | 杭州海康威视数字技术股份有限公司 | 光纤振动异常识别方法、装置、设备及计算机程序产品 |
CN117808816B (zh) * | 2024-03-01 | 2024-06-11 | 腾讯科技(深圳)有限公司 | 图像异常检测方法、装置及电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111680614A (zh) * | 2020-06-03 | 2020-09-18 | 安徽大学 | 一种基于视频监控中的异常行为检测方法 |
CN113222983A (zh) * | 2021-06-03 | 2021-08-06 | 北京有竹居网络技术有限公司 | 图像处理方法、装置、可读介质和电子设备 |
CN113688889A (zh) * | 2021-08-13 | 2021-11-23 | 上海商汤智能科技有限公司 | 异常检测方法、装置、电子设备及计算机可读存储介质 |
CN113723527A (zh) * | 2021-09-01 | 2021-11-30 | 重庆赛迪奇智人工智能科技有限公司 | 分类模型训练方法、瑕疵检测方法、装置和电子设备 |
CN113778719A (zh) * | 2021-09-16 | 2021-12-10 | 北京中科智眼科技有限公司 | 基于复制粘贴的异常检测算法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109584221B (zh) * | 2018-11-16 | 2020-07-28 | 聚时科技(上海)有限公司 | 一种基于监督式生成对抗网络的异常图像检测方法 |
CN111275129A (zh) * | 2020-02-17 | 2020-06-12 | 平安科技(深圳)有限公司 | 一种图像数据的增广策略选取方法及*** |
CN113255738A (zh) * | 2021-05-06 | 2021-08-13 | 武汉象点科技有限公司 | 一种基于自注意力生成对抗网络的异常图像检测方法 |
CN114627102B (zh) * | 2022-03-31 | 2024-02-13 | 苏州浪潮智能科技有限公司 | 一种图像异常检测方法、装置、***及可读存储介质 |
-
2022
- 2022-03-31 CN CN202210331065.9A patent/CN114627102B/zh active Active
- 2022-09-30 WO PCT/CN2022/123403 patent/WO2023184918A1/zh unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111680614A (zh) * | 2020-06-03 | 2020-09-18 | 安徽大学 | 一种基于视频监控中的异常行为检测方法 |
CN113222983A (zh) * | 2021-06-03 | 2021-08-06 | 北京有竹居网络技术有限公司 | 图像处理方法、装置、可读介质和电子设备 |
CN113688889A (zh) * | 2021-08-13 | 2021-11-23 | 上海商汤智能科技有限公司 | 异常检测方法、装置、电子设备及计算机可读存储介质 |
CN113723527A (zh) * | 2021-09-01 | 2021-11-30 | 重庆赛迪奇智人工智能科技有限公司 | 分类模型训练方法、瑕疵检测方法、装置和电子设备 |
CN113778719A (zh) * | 2021-09-16 | 2021-12-10 | 北京中科智眼科技有限公司 | 基于复制粘贴的异常检测算法 |
Non-Patent Citations (1)
Title |
---|
A Simple Framework for Contrastive Learning of Visual Representations;Ting Chen, Simon Kornblith, Mohammad Norouzi, Geoffrey Hinton;《Proceedings of the 37th International Conference on Machine Learning》;正文部分 * |
Also Published As
Publication number | Publication date |
---|---|
WO2023184918A1 (zh) | 2023-10-05 |
CN114627102A (zh) | 2022-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114627102B (zh) | 一种图像异常检测方法、装置、***及可读存储介质 | |
CN110020592B (zh) | 物体检测模型训练方法、装置、计算机设备及存储介质 | |
CN108710907B (zh) | 手写体数据分类方法、模型训练方法、装置、设备及介质 | |
US20080022177A1 (en) | Resource-Light Method and apparatus for Outlier Detection | |
CN110956615B (zh) | 图像质量评估模型训练方法、装置、电子设备及存储介质 | |
CN109800781A (zh) | 一种图像处理方法、装置及计算机可读存储介质 | |
US20240257423A1 (en) | Image processing method and apparatus, and computer readable storage medium | |
CN109271957B (zh) | 人脸性别识别方法以及装置 | |
CN110175657B (zh) | 一种图像多标签标记方法、装置、设备及可读存储介质 | |
CN115100656B (zh) | 空白答题卡识别方法、***、存储介质及计算机设备 | |
CN116910752B (zh) | 一种基于大数据的恶意代码检测方法 | |
CN112183289A (zh) | 一种花屏检测方法、装置、设备及介质 | |
CN111144425B (zh) | 检测拍屏图片的方法、装置、电子设备及存储介质 | |
CN110111311B (zh) | 一种图像质量评价方法和装置 | |
CN113850151A (zh) | 一种驾驶员分心行为的识别方法、装置、终端及存储介质 | |
CN115620083A (zh) | 模型训练方法、人脸图像质量评价方法、设备及介质 | |
CN115424250A (zh) | 一种车牌识别方法及装置 | |
CN115511015B (zh) | 一种样本筛选方法、装置、设备及计算机可读存储介质 | |
CN116912920B (zh) | 表情识别方法及装置 | |
CN114267087B (zh) | 一种基于小样本机器学习模型的动作注册方法及其*** | |
CN113850219B (zh) | 一种数据收集方法、装置、交通工具及存储介质 | |
CN113887560A (zh) | 图像数据处理方法、装置、存储介质及计算机程序产品 | |
JP6509762B2 (ja) | 物体領域特定方法、装置、及びプログラム | |
CN115908397A (zh) | 缺陷检测中特征库的建立方法、缺陷检测方法和装置 | |
CN116469047A (zh) | 针对实验室教学的小目标检测方法及检测装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |