CN115578382B - 图像异常检测方法、装置、设备及计算机可读存储介质 - Google Patents
图像异常检测方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN115578382B CN115578382B CN202211472510.XA CN202211472510A CN115578382B CN 115578382 B CN115578382 B CN 115578382B CN 202211472510 A CN202211472510 A CN 202211472510A CN 115578382 B CN115578382 B CN 115578382B
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- detection
- detection frame
- calculation result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 372
- 230000008859 change Effects 0.000 claims abstract description 139
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000004364 calculation method Methods 0.000 claims description 102
- 230000006870 function Effects 0.000 claims description 77
- 230000009466 transformation Effects 0.000 claims description 55
- 230000005856 abnormality Effects 0.000 claims description 44
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000001131 transforming effect Effects 0.000 claims description 11
- 238000002372 labelling Methods 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 description 10
- 238000005457 optimization Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 4
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 description 1
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像异常检测方法、装置、设备及计算机可读存储介质，所述方法包括：通过对第一图像和第二图像进行像素级异常检测，得到第一图像中各个像素点分别对应的像素异常检测结果，其中，像素异常检测结果表征第一图像中对应的像素点相对于第二图像中同一位置的像素点是否发生变化；在第一图像中查找变化密集度符合预设密集度条件的密集变化区域，其中，区域的变化密集度根据像素异常检测结果进行计算；将密集变化区域作为第一图像和第二图像之间的区域异常检测结果。本发明提高了图像异常检测结果对噪声影响的鲁棒性，进而提高了图像异常检测结果的参考价值。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像异常检测方法、装置、设备及计算机可读存储介质。
背景技术
图像异常检测是检测一张图像相比于另一张图像发生变化的区域。目前的异常检测方法有很多种，但都是在像素级层面来标注异常（发生变化的）区域，也即检测得到结果是图像中各个像素点分别是否发生变化。像素级的标注对噪声影响的鲁棒性较差，也即，往往小的噪声点也会被检测认为是发生变化的区域，从而导致检测结果缺乏参考价值。
发明内容
本发明的主要目的在于提供一种图像异常检测方法、装置、设备及计算机可读存储介质，旨在提高图像异常检测结果对噪声影响的鲁棒性，进而提高图像异常检测结果的参考价值。
为实现上述目的，本发明提供一种图像异常检测方法，所述图像异常检测方法包括以下步骤：
对第一图像和第二图像进行像素级异常检测，得到所述第一图像中各个像素点分别对应的像素异常检测结果，其中，所述像素异常检测结果表征所述第一图像中对应的像素点相对于所述第二图像中同一位置的像素点是否发生变化；
在所述第一图像中查找变化密集度符合预设密集度条件的密集变化区域，其中，区域的变化密集度根据所述像素异常检测结果进行计算；
将所述密集变化区域作为所述第一图像和所述第二图像之间的区域异常检测结果。
可选地，所述在所述第一图像中查找变化密集度符合预设密集度条件的密集变化区域的步骤包括：
初始化检测框在所述第一图像中的位置参数；
根据所述像素异常检测结果计算目标函数相对于所述位置参数的梯度值，其中，所述目标函数是以最大化所述检测框在所述第一图像中所框定区域的变化密集度为目标构建的函数；
根据所述梯度值更新所述位置参数，并检测更新后的所述位置参数是否符合预设收敛条件；
若符合，则将更新所述位置参数后的所述检测框在所述第一图像中框定的区域作为密集变化区域；
若不符合，则基于更新后的所述位置参数返回执行所述根据所述像素异常检测结果计算目标函数相对于所述位置参数的梯度值的步骤。
可选地，所述检测框为矩形框，所述初始化检测框在所述第一图像中的位置参数的步骤包括：
初始化所述检测框在所述第一图像中的位置参数，其中，所述位置参数包括第一尺寸变换参数、第二尺寸变换参数以及所述检测框的左下角顶点在所述第一图像中的横坐标和纵坐标，所述第一尺寸变换参数和所述第二尺寸变换参数分别用于对所述第一图像的宽度和高度进行变换得到所述检测框的尺寸。
可选地，所述像素异常检测结果的取值范围为第一数值和第二数值，所述第一数值为正数，所述第二数值为负数，且所述第一数值的绝对值与所述第二数值的绝对值相同，所述第一数值表征所述第一图像中对应的像素点相对于所述第二图像中同一位置的像素点无变化，所述第二数值表征所述第一图像中对应的像素点相对于所述第二图像中同一位置的像素点有变化；
所述根据所述像素异常检测结果计算目标函数相对于所述位置参数的梯度值的步骤包括：
计算所述第一图像中纵坐标为所述检测框的左下角顶点的纵坐标的所有像素点的所述像素异常检测结果之和，得到第一计算结果；
将所述第一图像的高度乘以所述第二尺寸变换参数后加上所述检测框的左下角顶点的纵坐标得到检测框的右上角顶点的纵坐标，计算所述第二图像中纵坐标为所述检测框的右上角顶点的纵坐标的所有像素点的所述像素异常检测结果之和，得到第二计算结果；
将所述第一计算结果减去所述第二计算结果得到第三计算结果，将所述第三计算结果作为所述目标函数相对于所述检测框的左下角顶点的横坐标的梯度值，将所述第三计算结果乘以所述第一图像的宽度得到的结果作为所述目标函数相对于所述第一尺寸变换参数的梯度值；
计算所述第一图像中横坐标为所述检测框的左下角顶点的横坐标的所有像素点的所述像素异常检测结果之和，得到第四计算结果；
将所述第一图像的宽度乘以所述第一尺寸变换参数后加上所述检测框的左下角顶点的横坐标得到检测框的右上角顶点的横坐标，计算所述第二图像中横坐标为所述检测框的右上角顶点的横坐标的所有像素点的所述像素异常检测结果之和，得到第五计算结果；
将所述第四计算结果减去所述第五计算结果得到第六计算结果，将所述第六计算结果作为所述目标函数相对于所述检测框的左下角顶点的纵坐标的梯度值，将所述第六计算结果乘以所述第一图像的高度得到的结果作为所述目标函数相对于所述第二尺寸变换参数的梯度值。
可选地，所述将更新所述位置参数后的所述检测框在所述第一图像中框定的区域作为密集变化区域的步骤之后，还包括：
将所述第一图像中密集变化区域内的各个像素点的像素异常检测结果重置为0后，返回执行所述初始化检测框在所述第一图像中的位置参数的步骤。
可选地，所述对第一图像和第二图像进行像素级异常检测，得到所述第一图像中各个像素点分别对应的像素异常检测结果的步骤包括：
在获取到第一图像和第二图像后，以所述第一图像和第二图像中的其中一个作为参考图像，另一个作为待变换图像；
提取所述参考图像和所述待变换图像中的特征匹配点对；
根据所述特征匹配点对计算所述待变换图像相对于所述参考图像的仿射变换矩阵；
根据所述仿射变换矩阵对所述待变换图像进行变换得到配准图像；
对所述参考图像和所述配准图像进行像素级异常检测，得到所述第一图像中各个像素点分别对应的像素异常检测结果。
可选地，所述将所述密集变化区域作为所述第一图像和所述第二图像之间的区域异常检测结果的步骤之后，还包括：
在所述第一图像中对所述密集变化区域进行标注，并将标注后的所述第一图像进行输出。
为实现上述目的，本发明还提供一种图像异常检测装置，所述图像异常检测装置包括：
检测模块，用于对第一图像和第二图像进行像素级异常检测，得到所述第一图像中各个像素点分别对应的像素异常检测结果，其中，所述像素异常检测结果表征所述第一图像中对应的像素点相对于所述第二图像中同一位置的像素点是否发生变化；
查找模块，用于在所述第一图像中查找变化密集度符合预设密集度条件的密集变化区域，其中，区域的变化密集度根据所述像素异常检测结果进行计算；
确定模块，用于将所述密集变化区域作为所述第一图像和所述第二图像之间的区域异常检测结果。
为实现上述目的，本发明还提供一种图像异常检测设备，所述图像异常检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像异常检测程序，所述图像异常检测程序被所述处理器执行时实现如上所述的图像异常检测方法的步骤。
此外，为实现上述目的，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有图像异常检测程序，所述图像异常检测程序被处理器执行时实现如上所述的图像异常检测方法的步骤。
本发明中，通过对第一图像和第二图像进行像素级异常检测，得到第一图像中各个像素点分别对应的像素异常检测结果，其中，像素异常检测结果表征第一图像中对应的像素点相对于第二图像中同一位置的像素点是否发生变化；在第一图像中查找变化密集度符合预设密集度条件的密集变化区域，其中，区域的变化密集度根据像素异常检测结果进行计算；将密集变化区域作为第一图像和第二图像之间的区域异常检测结果。本发明以像素级的异常检测结果为基础，进一步查找图像中变化密集度符合预设密集度条件的密集变化区域，可以查找出图像中发生变化比较集中的区域作为异常检测结果，过滤掉像素级的异常检测结果中因噪声引起的分散、不集中、小块的变化区域，从而提高图像异常检测结果对噪声影响的鲁棒性，进而提高图像异常检测结果的参考价值。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的结构示意图；
图2为本发明图像异常检测方法第一实施例的流程示意图；
图3为本发明实施例涉及的一种在像素级标注图中标出密集变化区域的示意图；
图4为本发明图像异常检测装置较佳实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。
需要说明的是，本发明实施例图像异常检测设备，所述图像异常检测设备可以是视频采集装置、智能手机、个人计算机、服务器等设备，在此不做具体限制。
如图1所示，该图像异常检测设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。存储器1005可以是高速RAM存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本邻域技术人员可以理解，图1中示出的设备结构并不构成对图像异常检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及图像异常检测程序。操作***是管理和控制设备硬件和软件资源的程序，支持图像异常检测程序以及其它软件或程序的运行。在图1所示的设备中，用户接口1003主要用于与客户端进行数据通信；网络接口1004主要用于与服务器建立通信连接；而处理器1001可以用于调用存储器1005中存储的图像异常检测程序，并执行以下操作:
对第一图像和第二图像进行像素级异常检测，得到所述第一图像中各个像素点分别对应的像素异常检测结果，其中，所述像素异常检测结果表征所述第一图像中对应的像素点相对于所述第二图像中同一位置的像素点是否发生变化；
在所述第一图像中查找变化密集度符合预设密集度条件的密集变化区域，其中，区域的变化密集度根据所述像素异常检测结果进行计算；
将所述密集变化区域作为所述第一图像和所述第二图像之间的区域异常检测结果。
进一步地，所述在所述第一图像中查找变化密集度符合预设密集度条件的密集变化区域的操作包括：
初始化检测框在所述第一图像中的位置参数；
根据所述像素异常检测结果计算目标函数相对于所述位置参数的梯度值，其中，所述目标函数是以最大化所述检测框在所述第一图像中所框定区域的变化密集度为目标构建的函数；
根据所述梯度值更新所述位置参数，并检测更新后的所述位置参数是否符合预设收敛条件；
若符合，则将更新所述位置参数后的所述检测框在所述第一图像中框定的区域作为密集变化区域；
若不符合，则基于更新后的所述位置参数返回执行所述根据所述像素异常检测结果计算目标函数相对于所述位置参数的梯度值的操作。
进一步地，所述检测框为矩形框，所述初始化检测框在所述第一图像中的位置参数的操作包括：
初始化所述检测框在所述第一图像中的位置参数，其中，所述位置参数包括第一尺寸变换参数、第二尺寸变换参数以及所述检测框的左下角顶点在所述第一图像中的横坐标和纵坐标，所述第一尺寸变换参数和所述第二尺寸变换参数分别用于对所述第一图像的宽度和高度进行变换得到所述检测框的尺寸。
进一步地，所述像素异常检测结果的取值范围为第一数值和第二数值，所述第一数值为正数，所述第二数值为负数，且所述第一数值的绝对值与所述第二数值的绝对值相同，所述第一数值表征所述第一图像中对应的像素点相对于所述第二图像中同一位置的像素点无变化，所述第二数值表征所述第一图像中对应的像素点相对于所述第二图像中同一位置的像素点有变化；
所述根据所述像素异常检测结果计算目标函数相对于所述位置参数的梯度值的操作包括：
计算所述第一图像中纵坐标为所述检测框的左下角顶点的纵坐标的所有像素点的所述像素异常检测结果之和，得到第一计算结果；
将所述第一图像的高度乘以所述第二尺寸变换参数后加上所述检测框的左下角顶点的纵坐标得到检测框的右上角顶点的纵坐标，计算所述第二图像中纵坐标为所述检测框的右上角顶点的纵坐标的所有像素点的所述像素异常检测结果之和，得到第二计算结果；
将所述第一计算结果减去所述第二计算结果得到第三计算结果，将所述第三计算结果作为所述目标函数相对于所述检测框的左下角顶点的横坐标的梯度值，将所述第三计算结果乘以所述第一图像的宽度得到的结果作为所述目标函数相对于所述第一尺寸变换参数的梯度值；
计算所述第一图像中横坐标为所述检测框的左下角顶点的横坐标的所有像素点的所述像素异常检测结果之和，得到第四计算结果；
将所述第一图像的宽度乘以所述第一尺寸变换参数后加上所述检测框的左下角顶点的横坐标得到检测框的右上角顶点的横坐标，计算所述第二图像中横坐标为所述检测框的右上角顶点的横坐标的所有像素点的所述像素异常检测结果之和，得到第五计算结果；
将所述第四计算结果减去所述第五计算结果得到第六计算结果，将所述第六计算结果作为所述目标函数相对于所述检测框的左下角顶点的纵坐标的梯度值，将所述第六计算结果乘以所述第一图像的高度得到的结果作为所述目标函数相对于所述第二尺寸变换参数的梯度值。
进一步地，所述将更新所述位置参数后的所述检测框在所述第一图像中框定的区域作为密集变化区域的操作之后，处理器1001还可以用于调用存储器1005中存储的图像异常检测程序，执行以下操作：
将所述第一图像中密集变化区域内的各个像素点的像素异常检测结果重置为0后，返回执行所述初始化检测框在所述第一图像中的位置参数的操作。
进一步地，所述对第一图像和第二图像进行像素级异常检测，得到所述第一图像中各个像素点分别对应的像素异常检测结果的操作包括：
在获取到第一图像和第二图像后，以所述第一图像和第二图像中的其中一个作为参考图像，另一个作为待变换图像；
提取所述参考图像和所述待变换图像中的特征匹配点对；
根据所述特征匹配点对计算所述待变换图像相对于所述参考图像的仿射变换矩阵；
根据所述仿射变换矩阵对所述待变换图像进行变换得到配准图像；
对所述参考图像和所述配准图像进行像素级异常检测，得到所述第一图像中各个像素点分别对应的像素异常检测结果。
进一步地，所述将所述密集变化区域作为所述第一图像和所述第二图像之间的区域异常检测结果的操作之后，处理器1001还可以用于调用存储器1005中存储的图像异常检测程序，执行以下操作：
在所述第一图像中对所述密集变化区域进行标注，并将标注后的所述第一图像进行输出。
基于上述的结构，提出图像异常检测方法的各个实施例。
参照图2，图2为本发明图像异常检测方法第一实施例的流程示意图。
本发明实施例提供了图像异常检测方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。在本实施例中，图像异常检测方法的执行主体可以是个人电脑、智能手机、服务器等设备，在本实施例中并不做限制。以下为便于描述，省略执行主体进行各实施例的阐述。在本实施例中，所述图像异常检测方法包括：
步骤S10，对第一图像和第二图像进行像素级异常检测，得到所述第一图像中各个像素点分别对应的像素异常检测结果，其中，所述像素异常检测结果表征所述第一图像中对应的像素点相对于所述第二图像中同一位置的像素点是否发生变化；
将需要进行变化检测的两张图像称为第一图像和第二图像以示区分，其中，第二图像是作为第一图像的参考图像，也即，需要检测第一图像中相比于第二图像而言发生变化的区域。
第一图像和第二图像的获取方式在本实施例中并不做限制，例如，第一图像和第二图像可以是同一相机对同一拍摄区域在不同时间点拍摄的两张图像。
本实施例中，提出在像素级异常检测的检测结果基础上，进一步分析出变化密集度高的区域，将这部分区域作为最终的异常检测结果，而不是将一些破碎的像素块、锯齿的边缘或者是混乱的噪声点作为异常检测结果，从而提高图像异常检测结果对噪声影响的鲁棒性，进而提高图像异常检测结果的参考价值。
可以对第一图像和第二图像进行像素级异常检测，得到第一图像中各个像素点分别对应的像素异常检测结果。其中，进行像素级异常检测是指采用能够得出像素级的检测结果的异常检测方法进行检测，像素级的检测结果即图像中每个像素点分别是否发生变化的结果，本实施例中称为像素点对应的像素异常检测结果。本实施例中对进行像素级异常检测所采用的检测方法并不做限制，例如可以采用IR-MA算法进行检测。
对于第一图像中的每个像素点，该像素点的像素异常检测结果表征了该像素点相对于第二图像中同一位置的像素点是否发生变化。像素点的位置是指像素点在图像中的坐标，第一图像中的像素点与第二图像中的像素点位置相同是指两个像素点在各自图像中的坐标相同。可以理解的是，预先可以定义像素异常检测结果的数据形式；例如，采用1表示像素点相对于参考图像中同一位置的像素点有变化，采用0表示相对于参考图像中同一位置的像素点没有发生变化；又如，采用1表示像素点相对于参考图像中同一位置的像素点有变化，采用-1表示相对于参考图像中同一位置的像素点没有发生变化。
在具体实施方式中，在对第一图像和第二图像进行像素级异常检测之前，也可以先对第一图像和第二图像进行图像配准，以使得第一图像和第二图像在空间位移、角度和尺寸上对应起来，也即，使得第一图像和第二图像中相同位置的像素点在实际空间区域中也对应同一点。图像配准的方式在本实施例中并不做限制。
在具体实施方式中，在对第一图像和第二图像进行像素级异常检测之前，也可以先对第一图像和第二图像进行颜色校正。
步骤S20，在所述第一图像中查找变化密集度符合预设密集度条件的密集变化区域，其中，区域的变化密集度根据所述像素异常检测结果进行计算；
在得到第一图像中各个像素点分别对应的像素异常检测结果后，可以在第一图像中查找变化密集度符合预设密集度条件的区域（以下称为密集变化区域以示区分）。
其中，第一图像中某个区域的变化密集度可以根据第一图像中各个像素点的像素异常检测结果来计算，具体计算方式在本实施例中并不做限制，可以根据需要进行设置。例如，在一实施方式中，区域的变化密集度可以设定为：当区域内发生变化的像素点越多，未发生变化的像素点越少，区域外发生变化的像素点越少，未发生变化的像素点越多时，该区域的变化密集度越大；此时，变化密集度的计算方式可以设置为：将区域内发生变化的像素点个数减去区域内未发生变化的像素点个数得到第一差值，将区域外发生变化的像素点个数减去区域外未发生变化的像素点个数得到第二差值，将第一差值减去第二差值的结果作为该区域的变化密集度；或者，若设置像素点的像素异常检测结果为1时表示该像素点发生变化，为-1时表示该像素点未发生变化，则此时变化密集度的计算方式可以设置为：将区域内所有像素点的像素异常检测结果之和减去区域外所有像素点的像素异常检测结果之和，得到的结果作为该区域的变化密集度。
预设密集度条件可以根据需要进行设置，在本实施例中并不做限制，例如，可以设置为区域的密集度需要大于一定阈值。
可以理解的是，通过设置预设密集度条件和变化密集度的计算方式，可以使得查找出的密集变化区域是第一图像中发生变化比较集中的区域，从而过滤掉像素级检测结果中因噪声引起的分散、不集中、小块的变化区域。
密集变化区域的形状在本实施例中并不做限制，例如可以是矩形、五边形、六边形等。
在第一图像中查找密集变化区域的方式在本实施例中并不做限制。例如，在一实施方式中，查找方式可以是：初始化一个一定形状一定尺寸的检测框，在第一图像中以遍历的形式进行滑动，每滑动一次计算得到该检测框所框定区域的变化密集度，并检测该变化密集度是否符合预设密集度条件，例如检测该变化密集度是否大于一定阈值；若符合预设密集度条件，则将该检测框所框定的区域作为密集变化区域；在遍历完后，可以再初始化另一种形状和/或另一种尺寸的检测框，继续以遍历的方式查找密集变化区域；直到查找出的密集变化区域数量达到设定的上限，或者遍历次数达到设定的上限，或者达到设定的其他循环停止条件时，停止进行密集变化区域的查找。
需要说明的是，虽然预先定义了区域的变化密集度的计算方式，但根据所设置的查找方式不同，在查找的过程中，可能会执行根据该计算方式计算区域的变化密集度的步骤，也可能不会执行根据该计算方式计算区域的变化密集度的步骤，也即，可能是以非直接计算区域变化密集度的方式查找到变化密集度符合预设密集度条件的区域。
步骤S30，将所述密集变化区域作为所述第一图像和所述第二图像之间的区域异常检测结果。
在查找到密集变化区域后，可以将该密集变化区域作为第一图像和第二图像之间的异常检测结果（称为区域异常检测结果以区分于上述像素异常检测结果）。也即，密集变化区域即所检测出的第一图像相对于第二图像而言发生了变化的区域。
在具体实施方式中，可以根据需要，将区域异常检测结果进行输出。例如，输出到显示页面中进行展示，又如，输出给应用场景中的下一算法环节，等等。
进一步地，在一实施方式中，可以将第一图像中各个像素点的像素异常检测结果转换为图像（称为像素级标注图），该像素级标注图中，发生变化的像素点为白色，未发生变化的像素点为黑色，在该像素级标注图中标注出密集变化区域，并将标注后的图像进行输出展示，以使得用户可以了解到变化比较密集的区域，同时也可以了解到可能属于噪声的像素异常检测结果。例如，图3示例性地给出了在像素级标注图中标出密集变化区域的一种示意图，图中灰色框所框定的区域即密集变化区域。
进一步地，在一实施方式中，在得到密集变化区域后，可以在第一图像中对密集变化区域进行标注，并将标注后的第一图像进行输出，以使得用户可以直观地了解到第一图像中发生变化比较密集的区域，而不受细小噪声的影响。
在本实施例中，通过对第一图像和第二图像进行像素级异常检测，得到第一图像中各个像素点分别对应的像素异常检测结果，其中，像素异常检测结果表征第一图像中对应的像素点相对于第二图像中同一位置的像素点是否发生变化；在第一图像中查找变化密集度符合预设密集度条件的密集变化区域，其中，区域的变化密集度根据像素异常检测结果进行计算；将密集变化区域作为第一图像和第二图像之间的区域异常检测结果。本实施例以像素级的异常检测结果为基础，进一步查找图像中变化密集度符合预设密集度条件的密集变化区域，可以查找出图像中发生变化比较集中的区域作为异常检测结果，过滤掉像素级的异常检测结果中因噪声引起的分散、不集中、小块的变化区域，从而提高图像异常检测结果对噪声影响的鲁棒性，进而提高图像异常检测结果的参考价值。
基于上述第一实施例，提出本发明图像异常检测方法第二实施例在本实施例中，所述步骤S20包括：
步骤S201，初始化检测框在所述第一图像中的位置参数；
在本实施例中，提出通过优化目标函数的方式来查找密集变化区域，相比于遍历式的查找方法，能够提高查找的准确度和效率。
具体地，可以根据区域的变化密集度的定义，以最大化检测框在第一图像中所框定的区域的变化密集度为目标构建一个目标函数，检测框在第一图像中的位置参数是作为该目标函数中需要寻优的参数，也即，通过寻找最优的位置参数，使得检测框所框定区域的变化密集度最大。需要说明的是，虽然目标函数是以最大化检测框的第一图像中所框定的区域的变化密集度为目标构建的，但是，为了便于找到最优参数，可以通过设置目标函数，将最大化的目标转化成最小化目标函数的函数值，例如，将目标函数设置为计算检测框所框定区域内变化密集度的负数。
检测框的位置参数是能够定义检测框在第一图像中的位置的参数，具体可以根据需要设置包括哪些参数，在本实施例中并不做限制。例如，当检测框被限定为是矩形框时，检测框的位置参数可以是其左下角顶点和右上角顶点在第一图像中坐标，或者，可以设置为是检测框的左下角顶点在第一图像中的坐标以及检测框的高度和宽度分别相对于第一图像的高度和宽度的缩小系数。
在本实施例中，对目标函数具体采用什么函数并不做限制。例如，在一实施方式中，可以将目标函数设置计算第一差值减去第二差值，其中，第一差值为第一图像中未发生变化的像素点个数减去发生变化的像素点个数得到的结果，第二差值为将检测框所框定区域内未发生变化的像素点个数减去发生变化的像素点个数；此时，通过以最小化目标函数为目标进行位置参数的寻，来找到变化密集度最大的区域。
根据构建的目标函数，可以对检测参数进行至少一轮的寻优。
在第一轮寻优之前，可以先初始化检测框在第一图像中的位置参数。初始化的方式可以是随机初始化，或者可以是初始化为预先设定的默认值，在本实施例中并不做限制。
步骤S202，根据所述像素异常检测结果计算目标函数相对于所述位置参数的梯度值，其中，所述目标函数是以最大化所述检测框在所述第一图像中所框定区域的变化密集度为目标构建的函数；
需要说明的是，在构建目标函数后，可以推导出目标函数相对于检测框的位置参数的梯度值的计算公式，在初始化检测框的位置参数后，将第一图像中各个像素点的像素异常检测结果和初始化的位置参数代入到该计算公式中，计算得到在本轮寻优中目标函数相对于位置参数的梯度值。需要说明的是，当位置参数有多项时，分别计算得到目标函数相对于各项位置参数的梯度值。
目标函数不同时，推导出的梯度值的计算公式也不同，在本实施例中对梯度值的计算公式并不做限制。
步骤S203，根据所述梯度值更新所述位置参数，并检测更新后的所述位置参数是否符合预设收敛条件；
在计算得到位置参数对应的梯度值后，可以根据梯度值更新位置参数。根据梯度值更新位置参数的方式在本实施例中并不做限制，例如可以是采用梯度下降算法来更新。例如，位置参数用P表示，其对应的梯度值用GP表示，则可以采用如下方式更新P：
其中，ε是预先设置的优化步长。
在对位置参数进行更新后，可以检测更新后的位置参数是否符合预设收敛条件。其中，预设收敛条件可以是预先根据需要设置的，例如，可以设置为更新后的位置参数相比于更新前的位置参数的变化量小于设定的阈值。
步骤S204，若符合，则将更新所述位置参数后的所述检测框在所述第一图像中框定的区域作为密集变化区域；
若检测到更新后的位置参数是符合预设收敛条件的，那么可以将更新位置参数后的检测框在第一图像中所框定的区域作为密集变化区域。
步骤S205，若不符合，则基于更新后的所述位置参数返回执行所述步骤S202。
若检测到更新后的位置参数是不符合预设收敛条件的，则说明更新位置参数后的检测框在第一图像中所框定的区域的变化密集度还不是最大化的，此时，可以以更新后的位置参数为基础，再返回到步骤S202，也即，进行下一轮寻优。可以理解的是，在下一轮寻优时，不再是以初始化的位置参数代入到梯度值的计算公式中计算梯度值，而是将本轮寻优中更新后的位置参数代入计算公式计算梯度值，同理，在第i轮寻优时，是将第i-1轮寻优中更新后的位置参数代入计算公式计算梯度值。
进一步地，在一实施方式中，所述步骤S201包括：
步骤S2011，初始化所述检测框在所述第一图像中的位置参数，其中，所述位置参数包括第一尺寸变换参数、第二尺寸变换参数以及所述检测框的左下角顶点在所述第一图像中的横坐标和纵坐标，所述第一尺寸变换参数和所述第二尺寸变换参数分别用于对所述第一图像的宽度和高度进行变换得到所述检测框的尺寸。
在本实施方式中，为进一步提高查找密集变化区域的查找效率，可以将检测框设定为矩形框，位置参数可以设置为包括第一尺寸变换参数，第二尺寸变换参数，以及包括检测框的坐下角顶点在第一图像中的横坐标和纵坐标。在确定检测框在第一图像中所框定的区域时，可以将第一图像的宽度乘以第一尺寸变换参数得到检测框的宽度，将第一图像的高度乘以第二尺寸变换参数得到检测框的高度。
进一步地，在上述检测框为矩形框的设定下，在一实施方式中，提出一种目标函数的构建方式，以及提出该目标函数相对于位置参数的梯度值的计算公式。
具体地，可以设置像素异常检测结果的取值范围为第一数值和第二数值，也即对于第一图像中的每个像素点而言，该像素点的像素异常检测结果可能为第一数值或第二数值。第一数值为正数，第二数值为负数，且第一数值的绝对值与第二数值的绝对值相同；当第一图像中某像素点的像素异常检测结果为第一数值时，表示第一图像中该像素点相对于第二图像中同一位置的像素点无变化，当第一图像中某像素点的像素异常检测结果为第二数值时，表示第一图像中该像素点相对于第二图像中同一位置的像素点有变化。
区域的变化密集度的定义可以是：将区域内所有像素点的像素异常检测结果之和减去区域外所有像素点的像素异常检测结果之和，得到的结果作为该区域的变化密集度。根据该定义，目标函数F（p）可以构建为：
其中，p=[p1，p2，p3，p4]，其中，p1是第一尺寸变换参数，p2是第二尺寸变换参数，p3和p4分别是检测框的左下角顶点在第一图像中的横坐标和纵坐标。W（x；p）表示将x=[x，y]根据参数p变化后的坐标，更详细的计算可以表示为：
W（x；p）=[p1*x+p2，p3*y+p4]
I（x，y）表示第一图像中坐标为（x，y）的像素点的像素异常检测结果。c和r分别表示第一图像的宽度和高度。t可以替换为x，u可以替换为y。
目标函数的减号左边表示的第一图像全图的像素点的像素异常检测结果的总和，减号右边表示的是检测框内像素点的像素异常检测结果的总和，乘2是因为左边项计算的是全图，根据区域的变化密集度的定义，左边项应该只计算框外的，所以要多减去一次。
这个目标函数是一个二重变限积分，由于减号左边项是固定值，是常数，所以在求导数的时候可以忽略，即目标函数可以等效为：
在计算中，二重积分的内外积分中使用的参数是不同的，所以以x方向为例，可以把目标函数直接看成是：
可以把每一个系数求偏导，得到：
其中，∂是偏导数符号，用
（y的积分图，比如Iy（0）
表示图像I（0,0）~I（c，0）的和）等效一重积分，从而把F（p）从二重积分函数变成一重积分，
大大简化了优化函数。因此x方向关于p1和p2（记为pi）的一重变限积分的导数为：
其中，
为参数p的雅克比矩阵，具体为：
y方向相关的参数p3和p4（记为pi）的导数也可以类似推导：
根据上述参数p1、p2、p3和p4的导数（梯度值）计算公式，步骤S202具体可以包括：
计算所述第一图像中纵坐标为所述检测框的左下角顶点的纵坐标的所有像素点的所述像素异常检测结果之和，得到第一计算结果；
将所述第一图像的高度乘以所述第二尺寸变换参数后加上所述检测框的左下角顶点的纵坐标得到检测框的右上角顶点的纵坐标，计算所述第二图像中纵坐标为所述检测框的右上角顶点的纵坐标的所有像素点的所述像素异常检测结果之和，得到第二计算结果；
将所述第一计算结果减去所述第二计算结果得到第三计算结果，将所述第三计算结果作为所述目标函数相对于所述检测框的左下角顶点的横坐标的梯度值，将所述第三计算结果乘以所述第一图像的宽度得到的结果作为所述目标函数相对于所述第一尺寸变换参数的梯度值；
计算所述第一图像中横坐标为所述检测框的左下角顶点的横坐标的所有像素点的所述像素异常检测结果之和，得到第四计算结果；
将所述第一图像的宽度乘以所述第一尺寸变换参数后加上所述检测框的左下角顶点的横坐标得到检测框的右上角顶点的横坐标，计算所述第二图像中横坐标为所述检测框的右上角顶点的横坐标的所有像素点的所述像素异常检测结果之和，得到第五计算结果；
将所述第四计算结果减去所述第五计算结果得到第六计算结果，将所述第六计算结果作为所述目标函数相对于所述检测框的左下角顶点的纵坐标的梯度值，将所述第六计算结果乘以所述第一图像的高度得到的结果作为所述目标函数相对于所述第二尺寸变换参数的梯度值。
进一步地，在一实施方式中，所述步骤S204之后，还包括：
步骤S206，将所述第一图像中密集变化区域内的各个像素点的像素异常检测结果重置为0后，返回执行所述步骤S201。
在查找到一个密集变化区域后，可以将第一图像中该密集变化区域内的各个像素点的像素异常检测结果重置为0后，再返回执行步骤S201，也即，再执行一次密集变化区域的查找，由于已经找到的密集变化区域内的像素点的像素异常检测结果被重置为0了，所以新找到的密集变化区域与之前找到的密集变化区域不同，通过这种方式可以找到第一图像中的多个变化密集的区域。
在具体实施方式中，可以设置循环结束的条件，例如，在查找到设定数量的密集变化区域后就停止继续查找。
进一步地，基于上述第一实施例和/或第二实施例，提出本发明图像异常检测方法第三实施例，在本实施例中，所述步骤S10包括：
步骤S101，在获取到第一图像和第二图像后，以所述第一图像和第二图像中的其中一个作为参考图像，另一个作为待变换图像；
在获取到第一图像和第二图像后，可以对第一图像和第二图像进行图像配准。在本实施例中，可以以第一图像和第二图像中的其中一个作为参考图像，另一个作为待变化图像。需要说明的是，在具体应用场景中，可以根据需要选取来确定是以第一图像作为参考图像还是以第二图像作为参考图像，在本实施例中并不做限制。
步骤S102，提取所述参考图像和所述待变换图像中的特征匹配点对；
提取参考图像和待变换图像中的特征匹配点对。特征匹配点对的数量可以是三对，每对特征匹配点对包括参考图像中的一个像素点和待变换图像中的一个像素点。在本实施例中，对于特征匹配点对的提取方式并不做限制。
例如，在一实施方式中，可对参考图像和待变换图像分别进行特征点检测，得到特征点所对应的特征向量。其中，进行特征点检测的方式在此并不做限制，例如可以是检测SIFT（Scale-invariant feature transform，尺度不变特征转换）特征点。对参考图像中的每个特征点，采用暴力匹配的方式在待变换图像中进行2-近邻匹配，即从待变换图像中选取与该特征点的最相似（特征向量之间的欧式距离最小）的两个特征点。对参考图像中的每个特征点，令该特征点与和它最相似的两个特征点之间的特征向量欧式距离为d1和d2，设定一个阈值τ，若d1/d2＜τ，则将该特征点和与它最相似的一个特征点作为一对特征匹配点对。
步骤S103，根据所述特征匹配点对计算所述待变换图像相对于所述参考图像的仿射变换矩阵；
步骤S104，根据所述仿射变换矩阵对所述待变换图像进行变换得到配准图像；
在提取到特征匹配点对后，可以根据特征匹配点对计算待变换图像相对于参考图像的仿射变换矩阵，根据仿射变换矩阵对待变换图像进行变换，以下将变换后的图像称为配准图像以示区分。仿射变换(Affine Transformation)是指在向量空间中进行一次线性变换(乘以一个矩阵)和一次平移(加上一个向量),变换到另一个向量空间的过程。在本实施例中，对计算仿射变换矩阵的方式和对待变换图像进行仿射变换的方式并不做限制。
步骤S105，对所述参考图像和所述配准图像进行像素级异常检测，得到所述第一图像中各个像素点分别对应的像素异常检测结果。
在得到参考图像和配准图像后，可以对参考图像和配准图像进行像素级异常检测，得到第一图像中各个像素点分别对应的像素异常检测结果。需要说明的是，当将第一图像作为待变换图像时，在将第一图像进行变换后，后续步骤中所涉及到的第一图像均指变换后的第一图像，也即，得到第一图像中各个像素点分别对应的像素异常检测结果具体是指得到变换后的第一图像中各个像素点分别对应的像素异常检测结果。
此外，本发明实施例还提出一种图像异常检测装置，参照图4，所述图像异常检测装置包括：
检测模块10，用于对第一图像和第二图像进行像素级异常检测，得到所述第一图像中各个像素点分别对应的像素异常检测结果，其中，所述像素异常检测结果表征所述第一图像中对应的像素点相对于所述第二图像中同一位置的像素点是否发生变化；
查找模块20，用于在所述第一图像中查找变化密集度符合预设密集度条件的密集变化区域，其中，区域的变化密集度根据所述像素异常检测结果进行计算；
确定模块30，用于将所述密集变化区域作为所述第一图像和所述第二图像之间的区域异常检测结果。
进一步地，所述查找模块20还用于：
初始化检测框在所述第一图像中的位置参数；
根据所述像素异常检测结果计算目标函数相对于所述位置参数的梯度值，其中，所述目标函数是以最大化所述检测框在所述第一图像中所框定区域的变化密集度为目标构建的函数；
根据所述梯度值更新所述位置参数，并检测更新后的所述位置参数是否符合预设收敛条件；
若符合，则将更新所述位置参数后的所述检测框在所述第一图像中框定的区域作为密集变化区域；
若不符合，则基于更新后的所述位置参数返回执行所述根据所述像素异常检测结果计算目标函数相对于所述位置参数的梯度值的操作。
进一步地，所述检测框为矩形框，所述查找模块20还用于：
初始化所述检测框在所述第一图像中的位置参数，其中，所述位置参数包括第一尺寸变换参数、第二尺寸变换参数以及所述检测框的左下角顶点在所述第一图像中的横坐标和纵坐标，所述第一尺寸变换参数和所述第二尺寸变换参数分别用于对所述第一图像的宽度和高度进行变换得到所述检测框的尺寸。
进一步地，所述像素异常检测结果的取值范围为第一数值和第二数值，所述第一数值为正数，所述第二数值为负数，且所述第一数值的绝对值与所述第二数值的绝对值相同，所述第一数值表征所述第一图像中对应的像素点相对于所述第二图像中同一位置的像素点无变化，所述第二数值表征所述第一图像中对应的像素点相对于所述第二图像中同一位置的像素点有变化；
所述查找模块20还用于：
计算所述第一图像中纵坐标为所述检测框的左下角顶点的纵坐标的所有像素点的所述像素异常检测结果之和，得到第一计算结果；
将所述第一图像的高度乘以所述第二尺寸变换参数后加上所述检测框的左下角顶点的纵坐标得到检测框的右上角顶点的纵坐标，计算所述第二图像中纵坐标为所述检测框的右上角顶点的纵坐标的所有像素点的所述像素异常检测结果之和，得到第二计算结果；
将所述第一计算结果减去所述第二计算结果得到第三计算结果，将所述第三计算结果作为所述目标函数相对于所述检测框的左下角顶点的横坐标的梯度值，将所述第三计算结果乘以所述第一图像的宽度得到的结果作为所述目标函数相对于所述第一尺寸变换参数的梯度值；
计算所述第一图像中横坐标为所述检测框的左下角顶点的横坐标的所有像素点的所述像素异常检测结果之和，得到第四计算结果；
将所述第一图像的宽度乘以所述第一尺寸变换参数后加上所述检测框的左下角顶点的横坐标得到检测框的右上角顶点的横坐标，计算所述第二图像中横坐标为所述检测框的右上角顶点的横坐标的所有像素点的所述像素异常检测结果之和，得到第五计算结果；
将所述第四计算结果减去所述第五计算结果得到第六计算结果，将所述第六计算结果作为所述目标函数相对于所述检测框的左下角顶点的纵坐标的梯度值，将所述第六计算结果乘以所述第一图像的高度得到的结果作为所述目标函数相对于所述第二尺寸变换参数的梯度值。
进一步地，所述查找模块20还用于：
将所述第一图像中密集变化区域内的各个像素点的像素异常检测结果重置为0后，返回执行所述初始化检测框在所述第一图像中的位置参数的操作。
进一步地，所述检测模块10还用于：
在获取到第一图像和第二图像后，以所述第一图像和第二图像中的其中一个作为参考图像，另一个作为待变换图像；
提取所述参考图像和所述待变换图像中的特征匹配点对；
根据所述特征匹配点对计算所述待变换图像相对于所述参考图像的仿射变换矩阵；
根据所述仿射变换矩阵对所述待变换图像进行变换得到配准图像；
对所述参考图像和所述配准图像进行像素级异常检测，得到所述第一图像中各个像素点分别对应的像素异常检测结果。
进一步地，所述图像异常检测装置还包括：
输出模块，用于在所述第一图像中对所述密集变化区域进行标注，并将标注后的所述第一图像进行输出。
本发明图像异常检测装置的具体实施方式的拓展内容与上述图像异常检测方法各实施例基本相同，在此不做赘述。
此外，本发明实施例还提出一种计算机可读存储介质，所述存储介质上存储有图像异常检测程序，所述图像异常检测程序被处理器执行时实现如下所述的图像异常检测方法的步骤。
本发明图像异常检测设备和计算机可读存储介质各实施例，均可参照本发明图像异常检测方法各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本邻域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，空调器，或者网络设备等）执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术邻域，均同理包括在本发明的专利保护范围内。
Claims (7)
1.一种图像异常检测方法，其特征在于，所述图像异常检测方法包括以下步骤：
对第一图像和第二图像进行像素级异常检测，得到所述第一图像中各个像素点分别对应的像素异常检测结果，其中，所述像素异常检测结果表征所述第一图像中对应的像素点相对于所述第二图像中同一位置的像素点是否发生变化；
在所述第一图像中查找变化密集度符合预设密集度条件的密集变化区域，其中，区域的变化密集度根据所述像素异常检测结果进行计算；
将所述密集变化区域作为所述第一图像和所述第二图像之间的区域异常检测结果；
所述在所述第一图像中查找变化密集度符合预设密集度条件的密集变化区域的步骤包括：
初始化检测框在所述第一图像中的位置参数；
根据所述像素异常检测结果计算目标函数相对于所述位置参数的梯度值，其中，所述目标函数是以最大化所述检测框在所述第一图像中所框定区域的变化密集度为目标构建的函数；
根据所述梯度值更新所述位置参数，并检测更新后的所述位置参数是否符合预设收敛条件；
若符合，则将更新所述位置参数后的所述检测框在所述第一图像中框定的区域作为密集变化区域；
若不符合，则基于更新后的所述位置参数返回执行所述根据所述像素异常检测结果计算目标函数相对于所述位置参数的梯度值的步骤；
所述检测框为矩形框，所述初始化检测框在所述第一图像中的位置参数的步骤包括：
初始化所述检测框在所述第一图像中的位置参数，其中，所述位置参数包括第一尺寸变换参数、第二尺寸变换参数以及所述检测框的左下角顶点在所述第一图像中的横坐标和纵坐标，所述第一尺寸变换参数和所述第二尺寸变换参数分别用于对所述第一图像的宽度和高度进行变换得到所述检测框的尺寸；
所述像素异常检测结果的取值范围为第一数值和第二数值，所述第一数值为正数，所述第二数值为负数，且所述第一数值的绝对值与所述第二数值的绝对值相同，所述第一数值表征所述第一图像中对应的像素点相对于所述第二图像中同一位置的像素点无变化，所述第二数值表征所述第一图像中对应的像素点相对于所述第二图像中同一位置的像素点有变化；
所述根据所述像素异常检测结果计算目标函数相对于所述位置参数的梯度值的步骤包括：
计算所述第一图像中纵坐标为所述检测框的左下角顶点的纵坐标的所有像素点的所述像素异常检测结果之和，得到第一计算结果；
将所述第一图像的高度乘以所述第二尺寸变换参数后加上所述检测框的左下角顶点的纵坐标得到检测框的右上角顶点的纵坐标，计算所述第二图像中纵坐标为所述检测框的右上角顶点的纵坐标的所有像素点的所述像素异常检测结果之和，得到第二计算结果；
将所述第一计算结果减去所述第二计算结果得到第三计算结果，将所述第三计算结果作为所述目标函数相对于所述检测框的左下角顶点的横坐标的梯度值，将所述第三计算结果乘以所述第一图像的宽度得到的结果作为所述目标函数相对于所述第一尺寸变换参数的梯度值；
计算所述第一图像中横坐标为所述检测框的左下角顶点的横坐标的所有像素点的所述像素异常检测结果之和，得到第四计算结果；
将所述第一图像的宽度乘以所述第一尺寸变换参数后加上所述检测框的左下角顶点的横坐标得到检测框的右上角顶点的横坐标，计算所述第二图像中横坐标为所述检测框的右上角顶点的横坐标的所有像素点的所述像素异常检测结果之和，得到第五计算结果；
将所述第四计算结果减去所述第五计算结果得到第六计算结果，将所述第六计算结果作为所述目标函数相对于所述检测框的左下角顶点的纵坐标的梯度值，将所述第六计算结果乘以所述第一图像的高度得到的结果作为所述目标函数相对于所述第二尺寸变换参数的梯度值。
2.如权利要求1所述的图像异常检测方法，其特征在于，所述将更新所述位置参数后的所述检测框在所述第一图像中框定的区域作为密集变化区域的步骤之后，还包括：
将所述第一图像中密集变化区域内的各个像素点的像素异常检测结果重置为0后，返回执行所述初始化检测框在所述第一图像中的位置参数的步骤。
3.如权利要求1所述的图像异常检测方法，其特征在于，所述对第一图像和第二图像进行像素级异常检测，得到所述第一图像中各个像素点分别对应的像素异常检测结果的步骤包括：
在获取到第一图像和第二图像后，以所述第一图像和第二图像中的其中一个作为参考图像，另一个作为待变换图像；
提取所述参考图像和所述待变换图像中的特征匹配点对；
根据所述特征匹配点对计算所述待变换图像相对于所述参考图像的仿射变换矩阵；
根据所述仿射变换矩阵对所述待变换图像进行变换得到配准图像；
对所述参考图像和所述配准图像进行像素级异常检测，得到所述第一图像中各个像素点分别对应的像素异常检测结果。
4.如权利要求1至3中任一项所述的图像异常检测方法，其特征在于，所述将所述密集变化区域作为所述第一图像和所述第二图像之间的区域异常检测结果的步骤之后，还包括：
在所述第一图像中对所述密集变化区域进行标注，并将标注后的所述第一图像进行输出。
5.一种图像异常检测装置，其特征在于，所述图像异常检测装置包括：
检测模块，用于对第一图像和第二图像进行像素级异常检测，得到所述第一图像中各个像素点分别对应的像素异常检测结果，其中，所述像素异常检测结果表征所述第一图像中对应的像素点相对于所述第二图像中同一位置的像素点是否发生变化；
查找模块，用于在所述第一图像中查找变化密集度符合预设密集度条件的密集变化区域，其中，区域的变化密集度根据所述像素异常检测结果进行计算；
确定模块，用于将所述密集变化区域作为所述第一图像和所述第二图像之间的区域异常检测结果；
所述查找模块还用于：
初始化检测框在所述第一图像中的位置参数；
根据所述像素异常检测结果计算目标函数相对于所述位置参数的梯度值，其中，所述目标函数是以最大化所述检测框在所述第一图像中所框定区域的变化密集度为目标构建的函数；
根据所述梯度值更新所述位置参数，并检测更新后的所述位置参数是否符合预设收敛条件；
若符合，则将更新所述位置参数后的所述检测框在所述第一图像中框定的区域作为密集变化区域；
若不符合，则基于更新后的所述位置参数返回执行所述根据所述像素异常检测结果计算目标函数相对于所述位置参数的梯度值的操作；
所述检测框为矩形框，所述查找模块还用于：
初始化所述检测框在所述第一图像中的位置参数，其中，所述位置参数包括第一尺寸变换参数、第二尺寸变换参数以及所述检测框的左下角顶点在所述第一图像中的横坐标和纵坐标，所述第一尺寸变换参数和所述第二尺寸变换参数分别用于对所述第一图像的宽度和高度进行变换得到所述检测框的尺寸；
所述像素异常检测结果的取值范围为第一数值和第二数值，所述第一数值为正数，所述第二数值为负数，且所述第一数值的绝对值与所述第二数值的绝对值相同，所述第一数值表征所述第一图像中对应的像素点相对于所述第二图像中同一位置的像素点无变化，所述第二数值表征所述第一图像中对应的像素点相对于所述第二图像中同一位置的像素点有变化；
所述查找模块还用于：
计算所述第一图像中纵坐标为所述检测框的左下角顶点的纵坐标的所有像素点的所述像素异常检测结果之和，得到第一计算结果；
将所述第一图像的高度乘以所述第二尺寸变换参数后加上所述检测框的左下角顶点的纵坐标得到检测框的右上角顶点的纵坐标，计算所述第二图像中纵坐标为所述检测框的右上角顶点的纵坐标的所有像素点的所述像素异常检测结果之和，得到第二计算结果；
将所述第一计算结果减去所述第二计算结果得到第三计算结果，将所述第三计算结果作为所述目标函数相对于所述检测框的左下角顶点的横坐标的梯度值，将所述第三计算结果乘以所述第一图像的宽度得到的结果作为所述目标函数相对于所述第一尺寸变换参数的梯度值；
计算所述第一图像中横坐标为所述检测框的左下角顶点的横坐标的所有像素点的所述像素异常检测结果之和，得到第四计算结果；
将所述第一图像的宽度乘以所述第一尺寸变换参数后加上所述检测框的左下角顶点的横坐标得到检测框的右上角顶点的横坐标，计算所述第二图像中横坐标为所述检测框的右上角顶点的横坐标的所有像素点的所述像素异常检测结果之和，得到第五计算结果；
将所述第四计算结果减去所述第五计算结果得到第六计算结果，将所述第六计算结果作为所述目标函数相对于所述检测框的左下角顶点的纵坐标的梯度值，将所述第六计算结果乘以所述第一图像的高度得到的结果作为所述目标函数相对于所述第二尺寸变换参数的梯度值。
6.一种图像异常检测设备，其特征在于，所述图像异常检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像异常检测程序，所述图像异常检测程序被所述处理器执行时实现如权利要求1至4中任一项所述的图像异常检测方法的步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图像异常检测程序，所述图像异常检测程序被处理器执行时实现如权利要求1至4中任一项所述的图像异常检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211472510.XA CN115578382B (zh) | 2022-11-23 | 2022-11-23 | 图像异常检测方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211472510.XA CN115578382B (zh) | 2022-11-23 | 2022-11-23 | 图像异常检测方法、装置、设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115578382A CN115578382A (zh) | 2023-01-06 |
| CN115578382B true CN115578382B (zh) | 2023-03-07 |
Family
ID=84590027
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211472510.XA Active CN115578382B (zh) | 2022-11-23 | 2022-11-23 | 图像异常检测方法、装置、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115578382B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105191288A (zh) * | 2012-12-31 | 2015-12-23 | 菲力尔***公司 | 异常像素检测 |
| CN106127124A (zh) * | 2016-06-17 | 2016-11-16 | 长安大学 | 出租车前排区域的异常图像信号的自动检测方法 |
| CN115115645A (zh) * | 2022-08-30 | 2022-09-27 | 南通林德安全设备科技有限公司 | 一种舌像腐腻特征数据识别检测方法及*** |
| CN115311299A (zh) * | 2022-10-12 | 2022-11-08 | 如皋市金轶纺织有限公司 | 一种基于多光源角度的纺织品染色异常检测方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017159082A1 (ja) * | 2016-03-14 | 2017-09-21 | 株式会社リコー | 画像処理装置、機器制御システム、撮像装置、画像処理方法及びプログラム |
| JP7120250B2 (ja) * | 2017-03-31 | 2022-08-17 | 横河電機株式会社 | 画像ベースによる異常検知の方法およびシステム |
| CN109978037B (zh) * | 2019-03-18 | 2021-08-06 | 腾讯科技（深圳）有限公司 | 图像处理方法、模型训练方法、装置、和存储介质 |
-
2022
- 2022-11-23 CN CN202211472510.XA patent/CN115578382B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105191288A (zh) * | 2012-12-31 | 2015-12-23 | 菲力尔***公司 | 异常像素检测 |
| CN106127124A (zh) * | 2016-06-17 | 2016-11-16 | 长安大学 | 出租车前排区域的异常图像信号的自动检测方法 |
| CN115115645A (zh) * | 2022-08-30 | 2022-09-27 | 南通林德安全设备科技有限公司 | 一种舌像腐腻特征数据识别检测方法及*** |
| CN115311299A (zh) * | 2022-10-12 | 2022-11-08 | 如皋市金轶纺织有限公司 | 一种基于多光源角度的纺织品染色异常检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115578382A (zh) | 2023-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109791695B (zh) | 基于图像块的运动向量确定所述块的方差 | |
| US11113795B2 (en) | Image edge processing method, electronic device, and computer readable storage medium | |
| US9691155B2 (en) | Image processing apparatus and image processing method for finding background regions in an image | |
| JP4816725B2 (ja) | 倍率色収差を画像解析する画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法 | |
| JP5483961B2 (ja) | 画像処理装置、被写体判別方法、プログラム及び記憶媒体 | |
| US11062464B2 (en) | Image processing apparatus, method, and storage medium to derive optical flow | |
| CN111161222B (zh) | 一种基于视觉显著性的印刷辊筒缺陷检测方法 | |
| CN109767453B9 (zh) | 信息处理装置、背景图像更新方法和非暂态计算机可读存储介质 | |
| CN107786780B (zh) | 视频图像降噪方法、装置及计算机可读存储介质 | |
| CN109035167B (zh) | 对图像中的多个人脸进行处理的方法、装置、设备和介质 | |
| CN110807110A (zh) | 结合局部和全局特征的图片搜索方法、装置及电子设备 | |
| US8942478B2 (en) | Information processing apparatus, processing method therefor, and non-transitory computer-readable storage medium | |
| CN113222921A (zh) | 一种图像处理方法及*** | |
| CN111080665A (zh) | 图像边框识别方法、装置、设备和计算机存储介质 | |
| CN112001949B (zh) | 确定目标点移动速度的方法、装置、可读存储介质及设备 | |
| CN115578382B (zh) | 图像异常检测方法、装置、设备及计算机可读存储介质 | |
| US20120170861A1 (en) | Image processing apparatus, image processing method and image processing program | |
| CN111080683B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN115049713B (zh) | 图像配准方法、装置、设备及可读存储介质 | |
| Thomas et al. | Color balancing for change detection in multitemporal images | |
| JP2005339535A (ja) | 相違度の計算 | |
| JP5928465B2 (ja) | 劣化復元システム、劣化復元方法およびプログラム | |
| CN113516609A (zh) | 分屏视频检测方法、装置、计算机设备和存储介质 | |
| CN111754417A (zh) | 视频图像的降噪方法、视频抠像方法、装置和电子*** | |
| KR101212316B1 (ko) | 공간 변환과 움직임 추정을 이용한 프레임 중앙점의 이동 경로 추출방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |