CN112330597A - 一种图像差异检测方法、装置及计算机设备 - Google Patents
一种图像差异检测方法、装置及计算机设备 Download PDFInfo
- Publication number
- CN112330597A CN112330597A CN202011094646.2A CN202011094646A CN112330597A CN 112330597 A CN112330597 A CN 112330597A CN 202011094646 A CN202011094646 A CN 202011094646A CN 112330597 A CN112330597 A CN 112330597A
- Authority
- CN
- China
- Prior art keywords
- image
- difference
- detected
- processed
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 56
- 238000012545 processing Methods 0.000 claims abstract description 91
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000010586 diagram Methods 0.000 claims abstract description 42
- 238000000605 extraction Methods 0.000 claims abstract description 29
- 230000002159 abnormal effect Effects 0.000 claims description 33
- 230000009466 transformation Effects 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000007689 inspection Methods 0.000 abstract description 18
- 230000006870 function Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 3
- 230000003628 erosive effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像差异检测方法、装置及计算机设备，用于解决电力巡检效率低的问题。该方法包括：确定标准图像和待检测图像；对标准图像和待检测图像进行ORB定向快速旋转式特征点提取处理，获得标准图像中的特征点和待检测图像中的特征点；以及，对标准图像中的特征点和待检测图像中的特征点进行匹配处理，获得处理后的标准图像和处理后的待检测图像；对处理后的标准图像和处理后的待检测图像进行多尺度特征提取处理，获得分别对应的多个尺度特征图，并确定基于分别对应的多个尺度特征图所确定的差分结果特征图；对差分结果特征图进行二值化处理，获得差异掩膜图像，并基于差异掩膜图像中是否存在白色区域连通域确定差异检测结果。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种图像差异检测方法、装置及计算机设备。
背景技术
目前，随着工业自动化的不断发展，对电力巡检工作也提出了相应的要求。然而，现有技术中，仍旧采用传统的人工检测方法进行电力巡检工作，即需要人工去对电力箱进行挨个检查，查看是否有异常情况出现。这样的工作方式，不仅需要耗费较多的人力物力资源，还可能存在漏检误检的情况。
可见，现有技术中存在电力巡检效率较低的问题。
发明内容
本发明实施例提供一种图像差异检测方法、装置及计算机设备，用于解决现有技术中对电力巡检效率较低的技术问题。
根据本发明实施例的第一方面，提供一种图像差异检测方法，所述方法包括：
确定标准图像和待检测图像，其中，所述标准图像和所述待检测图像为对同一位置的机箱类设备在不同时间段所拍摄的图像；
对所述标准图像和所述待检测的图像进行ORB定向快速旋转式特征点提取处理，获得所述标准图像中的特征点和所述待检测图像中的特征点；以及，对所述标准图像中的特征点和所述待检测图像中的特征点进行匹配处理，获得处理后的标准图像和处理后的待检测图像；
对所述处理后的标准图像和所述处理后的待检测图像进行多尺度特征提取处理，获得所述处理后的标准图像和所述处理后的待检测图像分别对应的多个尺度特征图，并确定基于所述分别对应的多个尺度特征图所确定的差分结果特征图；
对所述差分结果特征图进行二值化处理，获得差异掩膜图像，并基于所述差异掩膜图像中是否存在白色区域连通域确定差异检测结果。
在一种可能的实施方式中，对所述标准图像中的特征点和所述待检测图像中的特征点进行匹配处理，获得处理后的标准图像和处理后的待检测图像，包括：
将所述标准图像中的特征点和所述待检测图像中的特征点中横坐标相同的任意两个特征点的纵坐标相减，若确定所述待检测图像中的第一特征点对应的相减后的值大于第一阈值，则将所述第一特征点确定为第一异常点，并对所述第一异常点进行剔除处理；以及，
将所述标准图像中的特征点和所述待检测图像中的特征点中纵坐标相同的任意两个特征点的横坐标相减，若确定所述待检测图像中第二特征点对应的相减后的值大于第二阈值，则将所述第二特征点确定为第二异常点，并对所述第二异常点进行剔除处理；
基于随机采样一致算法，确定进行异常点处理后的所述标准图像和所述待检测图像的变换矩阵，并确定所述变换矩阵中各个元素是否属于阈值范围；
若属于所述阈值范围，则基于所述变换矩阵对应的顶点的坐标，获得处理后的标准图像和处理后的待检测图像。
在一种可能的实施方式中，对所述处理后的标准图像和所述处理后的待检测图像进行多尺度特征提取处理，获得所述处理后的标准图像和所述处理后的待检测图像分别对应的多个尺度特征图，并确定基于所述分别对应的多个尺度特征图所确定的差分结果特征图，包括：
确定所述处理后的标准图像对应的第一尺度特征图和第二尺度特征图，并确定所述处理后的待检测的图像对应的第三尺度特征图和第四尺度特征图；
确定所述第一尺度特征图和所述第三尺度特征图中同一坐标位置对应元素的差值的第一绝对值集，并基于所述第一绝对值集，确定第一差异图和第二差异图；
确定所述第二尺度特征图和所述第四尺度特征图中同一坐标位置对应元素的差值的第二绝对值集，并基于所述第二绝对值集确定第三差异图和第三差异图；
对所述第一差异图和所述第二差异图中的元素进行加权相加处理，获得第一目标差异图；以及，对所述第三差异图和所述第四差异图中的元素进行加权相加处理，获得第二目标差异图；
根据所述第一目标差异图和所述第二目标差异图，获得差分结果特征图。
在一种可能的实施方式中，根据所述第一目标差异图和所述第二目标差异图，获得差分结果特征图，包括：
分别对所述第一目标差异图和所述第二目标差异图进行上采样处理，获得相同尺度的所述第一目标差异图和所述第二目标差异图；
对所述相同尺度的所述第一目标差异图和所述第二目标差异图中的元素进行加权相加处理，获得差分结果特征图。
在一种可能的实施方式中，对所述差分结果特征图进行二值化处理，获得差异掩膜图像，包括：
对所述差分结果特征图进行二值化处理，获得第一差异掩膜图像；
对所述第一差异掩膜图像进行图像形态学开操作处理，获得差异掩膜图像。
在一种可能的实施方式中，基于所述差异掩膜图像中是否存在白色区域连通域确定差异检测结果，包括：
确定所述差异掩膜图像中所有的白色区域连通域；
确定所述所有白色区域连通域的最小外接矩形，并基于所述最小外接矩形确定所述差异检测结果。
根据本发明实施例的第二方面，提供一种图像差异检测装置，所述装置包括：
第一确定单元，用于确定标准图像和待检测图像，其中，所述标准图像和所述待检测图像为对同一位置的机箱类设备在不同时间段所拍摄的图像；
第一处理单元，用于对所述标准图像和所述待检测的图像进行ORB定向快速旋转式特征点提取处理，获得所述标准图像中的特征点和所述待检测图像中的特征点；以及，对所述标准图像中的特征点和所述待检测图像中的特征点进行匹配处理，获得处理后的标准图像和处理后的待检测图像；
第二处理单元，用于对所述处理后的标准图像和所述处理后的待检测图像进行多尺度特征提取处理，获得所述处理后的标准图像和所述处理后的待检测图像分别对应的多个尺度特征图，并确定基于所述分别对应的多个尺度特征图所确定的差分结果特征图；
第二确定单元，用于对所述差分结果特征图进行二值化处理，获得差异掩膜图像，并基于所述差异掩膜图像中是否存在白色区域连通域确定差异检测结果。
在一种可能的实施方式中，所述第一处理单元，还用于：
将所述标准图像中的特征点和所述待检测图像中的特征点中横坐标相同的任意两个特征点的纵坐标相减，若确定所述待检测图像中的第一特征点对应的相减后的值大于第一阈值，则将所述第一特征点确定为第一异常点，并对所述第一异常点进行剔除处理；以及，
将所述标准图像中的特征点和所述待检测图像中的特征点中纵坐标相同的任意两个特征点的横坐标相减，若确定所述待检测图像中第二特征点对应的相减后的值大于第二阈值，则将所述第二特征点确定为第二异常点，并对所述第二异常点进行剔除处理；
基于随机采样一致算法，确定进行异常点处理后的所述标准图像和所述待检测图像的变换矩阵，并确定所述变换矩阵中各个元素是否属于阈值范围；
若属于所述阈值范围，则基于所述变换矩阵对应的顶点的坐标，获得处理后的标准图像和处理后的待检测图像。
在一种可能的实施方式中，所述第二处理单元，还用于：
确定所述处理后的标准图像对应的第一尺度特征图和第二尺度特征图，并确定所述处理后的待检测的图像对应的第三尺度特征图和第四尺度特征图；
确定所述第一尺度特征图和所述第三尺度特征图中同一坐标位置对应元素的差值的第一绝对值集，并基于所述第一绝对值集，确定第一差异图和第二差异图；
确定所述第二尺度特征图和所述第四尺度特征图中同一坐标位置对应元素的差值的第二绝对值集，并基于所述第二绝对值集确定第三差异图和第三差异图；
对所述第一差异图和所述第二差异图中的元素进行加权相加处理，获得第一目标差异图；以及，对所述第三差异图和所述第四差异图中的元素进行加权相加处理，获得第二目标差异图；
根据所述第一目标差异图和所述第二目标差异图，获得差分结果特征图。在一种可能的实施方式中，所述第二确定单元，还用于：
对所述差分结果特征图进行二值化处理，获得第一差异掩膜图像；
对所述第一差异掩膜图像进行图像形态学开操作处理，获得差异掩膜图像。
在一种可能的实施方式中，所述第二确定单元，还用于：
确定所述差异掩膜图像中所有的白色区域连通域；
确定所述所有白色区域连通域的最小外接矩形，并基于所述最小外接矩形确定所述差异检测结果。
根据本发明实施例的第三方面，提供一种计算机设备，所述计算机设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，处理器被配置为执行指令，以实现本发明实施例上述第一方面以及第一方面涉及的任一可能涉及的方法。
根据本发明实施例的第四方面，提供一种存储介质，当存储介质中的指令由计算机设备的处理器执行时，使得计算机设备能够执行本发明实施例上述第一方面以及第一方面涉及的任一可能涉及的方法。
根据本发明实施例的第五方面，提供一种计算机程序产品，当所述计算机程序产品在计算机设备上运行时，使得所述计算机设备执行实现本发明实施例上述第一方面以及第一方面任一可能涉及的方法。
本发明的实施例提供的技术方案至少带来以下有益效果：
在本发明实施例中，可以确定标准图像和待检测图像，其中，标准图像和待检测图像为对同一位置的机箱类设备(例如电力箱)在不同时间段所拍摄的图像。然后可以对标准图像和待检测图像进行ORB定向快速旋转式特征点提取处理，获得标准图像中的特征点和待检测图像中的特征点；以及，对标准图像中的特征点和待检测图像中的特征点进行匹配处理，获得处理后的标准图像和处理后的待检测图像。也就是说，在本发明实施例中，可以先对标准图像和待检测图像中的特征点进行匹配处理，根据匹配结果确定处理后的标准图像和待检测图像。这样的方式，可以滤除标准图像和待检测图像中除机箱类设备外其它的背景干扰，可以更为准确的对电力箱是否存在异常情况进行检测。
进一步地，可以对处理后的标准图像和处理后的待检测图像进行多尺度特征提取处理，获得处理后的标准图像和待检测图像分别对应的多个尺度特征图，并确定基于分别对应的多个尺度特征图所确定的差分结果特征图，具体的，差分结果特征图用于表征包括待检测图像和标准图像的差异的图。然后可以对差分结果特征图进行二值化处理，获得差异掩膜图像，并基于差异掩膜图像中是否存在白色区域连通域确定差异检测结果，其中，若差异掩膜图像中包括白色区域连通域则确定标准图像和待检测图像存在差异。
可见，在本发明实施例中，可以对处理后的标准图像和处理后的待检测图像进行多尺度特征提取处理，从而可以获得处理后的标准图像和待检测图像的分别对应的多个不同尺度特征图。也就是说，可以获得多个尺度的处理后的标准图像和处理后的待检测图像中的特征描述。然后可以确定基于分别对应的多个尺度特征图所确定的差分结果特征图，且对差分结果特征图进行二值化处理，得到差异掩膜图像。这样的方式，可以使得对标准图像和待检测图像中机箱类设备不同的地方清楚的显示出来，从而可以精准的对机箱类设备进行检修。此外，由于直接根据确定的标准图像和待检测图像进行检测，无需人工参与巡检，极大的提高了巡检效率。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或通过实施而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理，并不构成对本发明的不当限定。
图1为本发明实施例中的应用场景示意图；
图2为本发明实施例中图像差异检测方法的流程示意图；
图3为本发明实施例中包括电力箱的图像的示意图；
图4为本发明实施例中特征点匹配过程的示意图；
图5为本发明实施例中剔除异常点后的标准图像和待检测图像的匹配示意图；
图6为本发明实施例中图像差异检测装置的结构框图；
图7为本发明实施例中计算机设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互任意组合。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”“第三”以及“第四”是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的保护。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
如前所述，在现有技术中，在进行电力巡检时，一般都是需要人工去现场实际查看电力箱或者其他机箱类设备是否存在异常情况，再针对异常情况进行处理。然而，这样的方式，不仅需要大量的人力物力，且可能存在由于检修师傅人工操作导致电力箱或者其他机箱类设备被遗漏检测的问题。可见，现有技术中存在电力巡检效率较低的技术问题。
鉴于此，本发明提供了一种图像差异检测方法，通过该方法，可以自动的将当前时刻获取的包含机箱类设备的图像与前一时间段获取的从同一位置采集的图像进行差异比对，从而确定机箱类设备是否存在异常情况，实现对机箱类设备快速的检测。
介绍完本发明实施例的设计思想之后，下面对本发明实施例中的技术方案适用的应用场景做一些简单介绍，需要说明的是，本发明实施例描述的应用场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。
在本发明实施例中，该技术方案可以应用于需要进行电力箱巡检的场景，例如工厂的电力箱巡检场景、学校的电力箱巡检场景、社区的电力箱巡检场景等等，还可以应用于其他机箱类设备巡检场景，本发明实施例中不做限定。为了便于描述，后文中以电力箱巡检场景为例进行说明。
在本发明实施例中，请参见图1所示的一种应用场景示意图，图1包括采集设备和计算机设备两部分，需要说明的是，图1中仅以一个采集设备和一个计算机设备进行交互为例进行示出，在具体实施过程中，可以是多个采集设备与一个计算机设备之间进行交互，也可以是多个采集设备和多个计算机设备之间进行交互。需要注意的是，前述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限定。相反，本发明的实施方式可以应用于适用的任何场景。
在具体的实施过程中，采集设备与计算机设备之间可以通过一个或者多个网络进行通信连接。该网络可以是有线网络，也可以是无线网络，例如无线网络可以是移动蜂窝网络，或者可以是无线保真(WIreless-Fidelity，WIFI)网络，当然还可以是其他可能的网络，本发明实施例对此不做限定。
在具体的实施过程中，前述的采集设备可以是任何可以采集电力箱图像信息的设备，例如枪机、半球型摄像机、一体化摄像机、红外日夜两用摄像机、高速球摄像机、网络摄像机或者是枪球联动摄像机等等。具体的，可以以一个采集设备监控一个电力箱的部署方式进行采集设备的部署，当然，也可以是利用其它电力箱附近的采集设备联合采集电力箱的图像信息，尽可能的优化并节省资源。
在本发明实施例中，采集设备可以将采集的包含电力箱的图像发送给计算机设备，然后计算机设备对接收的图像进行图像差异检测处理，从而判断电力箱是否存在异常情况。进一步地，计算机设备在确定电力箱存在异常情况之后，还可以向关联的管理设备或者是巡检人员对应的终端发送提示信息，以便及时对电力箱进行检修。需要说明的是，为了便于对本发明提供的技术方案的理解，后文中以一个采集设备与一个计算机设备之间的交互为例，对本发明提供的技术方案进行说明。
为进一步说明本发明实施例提供的图像差异检测方法的方案，下面结合附图以及具体实施方式对此进行详细的说明。虽然本发明实施例提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本发明实施例提供的执行顺序。所述方法在实际的处理过程中或者装置执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的应用环境)。
以下结合图2所示的方法流程图对本发明实施例中图像差异检测方法进行说明，图2所示的各步骤可以由如图1所示的计算机设备执行。在具体实施过程中，该计算机设备可以是服务器，例如是个人计算机、大中型计算机、计算机集群，等等。
步骤201：确定标准图像和待检测图像，其中，标准图像和待检测图像为对同一位置的机箱类设备在不同时间段所拍摄的图像。
在本发明实施例中，采集设备可以将采集到的包含电力箱的图像发送给计算机设备，从而计算机设备可以确定标准图像和待检测图像。
在具体的实施过程中，采集设备可以按照预定周期发送包含电力箱的图像给计算机设备，具体的，预定周期可以是十分钟，也可以是一分钟，当然，还可以是一个小时，本发明实施例中不做限制。
在本发明实施例中，当计算机设备接收到采集设备发送的包含电力箱的图像时，可以将前一时刻发送的图像作为标准图像，将前一时刻后接收的第一张图像作为待检测图像。例如，采集设备在2020年9月16日7:30:00发送给计算机设备图像1，在2020年9月16日8:00:00发送给计算机设备图像2，则计算机设备可以将图像1确定为标准图像，将图像2确定为待检测图像。
在本发明实施例中，当计算机设备接收到采集设备发送的包含电力箱的图像时，还可以根据其它信息，例如拍摄当前图像的位置、地点、摄像头视角信息，从查询巡检数据库中查找与接收的图像对应的历史正常图像，历史正常图像可以理解为包括电力箱且电力箱处于正常状态的图像，将历史正常图像作为标准图像，将接收的图像确定为待检测图像。
需要说明的是，在本发明实施例中，标准图像和待检测图像是相对的，即一张图像，可能是标准图像，也可能是待检测图像。并且，针对同一个电力箱，其对应的标准图像也不是唯一的。为了更好的理解本发明实施例提供的技术方案，后文中以对同一位置的电力箱第一时间段拍摄的图像确定为标准图像，第二时间段拍摄的图像确定为待检测图像为例进行说明，其中，第二时间段对应的结束时刻在第一时间段的结束时刻之后。
例如，请参见图3，图3为本发明实施例中标准图像和待检测图像的示意图。其中，图3中左侧示出的是待检测图像，右侧示出的是标准图像。
步骤202：对标准图像和待检测图像进行ORB定向快速旋转式特征点提取处理，获得标准图像中的特征点和待检测图像中的特征点；以及，对标准图像中的特征点和待检测图像中的特征点进行匹配处理，获得处理后的标准图像和处理后的待检测图像。
在本发明实施例中，当确定标准图像和待检测图像之后，可以对标准图像和待检测图像进行ORB(Oriented FAST and Rotated BRIEF，定向快速旋转式特征点)提取处理，从而可以获得标准图像中的特征点和待检测图像中的特征点。
在本发明实施例中，当确定标准图像中的特征点和待检测图像中的特征点之后，可以对特征点进行匹配处理，具体的，对标准图像中的特征点和待检测图像中的特征点进行匹配处理可以采用但不限于以下步骤：
步骤A：将标准图像中的特征点和待检测图像中的特征点中横坐标相同的任意两个特征点的纵坐标相减，若确定待检测图像中的第一特征点对应的相减后的值大于第一阈值，则将第一特征点确定为第一异常点，并对第一异常点进行剔除处理。
步骤B：将标准图像中的特征点和待检测图像中的特征点中纵坐标相同的任意两个特征点的横坐标相减，若确定待检测图像中的第二特征点对应的相减后的值大于第二阈值，则将第二特征点确定为第二异常点，并对第二异常点进行剔除处理。
在本发明实施例中，可以基于海明距离算法的方式对标准图像和待检测图像进行特征点匹配。具体的，可以将标准图像中的特征点和待检测图像中的特征点中横坐标相同的任意两个特征点的纵坐标相减，若确定待检测图像中第一特征点对应的相减后的值大于第一阈值，则将第一特征点确定为第一异常点，并对第一异常点进行剔除处理，以及，将标准图像中的特征点和待检测图像中的特征点中纵坐标相同的任意两个特征点的横坐标相减，若确定待检测图像中第二特征点对应的相减后的值大于第二阈值，则将第二特征点确定为第二异常点，并对第二异常点进行剔除处理。
在具体的实施过程中，第一阈值可以是根据标准图像中的特征点和待检测图像中的特征点对应的横坐标的中间值确定，第二阈值可以是根据标准图像中的特征点和待检测图像中的特征点对应的纵坐标的中间值对应确定，当然也可以是其它方式，本发明实施例中不做限制。例如，请参见图4，图4为本发明实施例中特征点匹配的过程示意图。
需要说明的是，本发明实施例中的步骤A和步骤B可以同时进行，也可以分开进行，即可以先实施步骤A，也可以先实施步骤B，本发明实施例中不做限制。
在本发明实施例中，请参见图5，图5为本发明实施例中剔除异常点后的标准图像和待检测图像的匹配示意图，很显然，标准图像和待检测图像中的特征点均可以一一对应。
在本发明实施例中，采用ORB算法对标准图像和待检测图像进行特征点检测和匹配处理，且通过剔除一些不良的匹配点，可以快速且有效的实现标准图像和待检测图像的匹配，即降低一些图像中的背景因素的影响，避免因拍摄角度的微小变化对最终差异判定产生较大影响，增强判断的准确性。
步骤C：基于随机采样一致RANSAC算法，确定进行异常点处理后的标准图像和待检测图像的变换矩阵，并确定变换矩阵中各个元素是否属于阈值范围。
步骤D：若属于阈值范围，则基于变换矩阵对应的顶点的坐标，获得处理后的标准图像和处理后的待检测图像。
在本发明实施例中，可以基于RANSAC算法(Random Sample Consensus，随机采样一致)，计算进行异常点处理后的标准图像和待检测图像的变换矩阵。进一步地，可以确定变换矩阵中各个元素是否属于阈值范围，若不属于，则直接上报异常代码给对应的管理设备，还可以保留待检测图像以备人工巡检复查。
在本发明实施例中，若确定变换矩阵中各个元素处于阈值范围，则可以根据变换矩阵确定待检测图像的四个顶点坐标经过透视变换后的坐标点位置，具体的，可以记为：左上点TL(x1,y1)、右上点TR(x2,y2)、右下点BR(x3,y3)、左下点BL(x4,y4)。
在本发明实施例中，可以根据前述确定的坐标点位置对待检测图像进行剪裁，确定剪裁区域Z，具体的，剪裁区域Z的左边界点x坐标Zleft＝Max(0,Max(x1,x4))，剪裁区域Z的右边界点x坐标Zright＝Min(W,Min(x2,x3))，其中W是待检测图像的原始图像宽度；剪裁区域Z的上边界点y坐标Ztop＝Max(0,Max(y1,y2))，剪裁区域Z的下边界点y坐标Zbottom＝Min(H,Min(y4,y3))，其中H是待检测图像的原始图像高度，从而可以获得剪裁区域Z的准确位置坐标，即左上顶点坐标为(Zleft，Ztop)，宽度width＝Zright-Zleft，高度height＝Ztop–Zbottom。
在本发明实施例中，当确定剪裁区域Z的准确位置坐标之后，可以依据该坐标对待检测图像和标准图像进行剪裁处理，从而获得处理后的标准图像和待检测图像。
步骤203：对处理后的标准图像和待检测图像进行多尺度特征提取处理，获得处理后的标准图像和处理后的待检测图像分别对应的多个尺度特征图。
在本发明实施例中，可以采用在COCO数据集上预训练好的目标检测模型Retinanet的骨干网络Resnet-50作为特征提取器，分别对处理后的标准图像和待检测图像进行多尺度特征提取处理。
在本发明实施例中，由于使用的预训练模型即目标检测模型Retinanet在训练过程中进行了数据增强技术，具体的，包括色彩扰动和模糊的手段，即有效的减少了光照、雾雨因素造成的色彩差异干扰，因此通过该模型进行多尺度特征提取处理的特征受到的干扰因素较少。
在本发明实施例中，对处理后的标准图像和待检测图像进行尺度特征提取处理时，可以采用多个卷积层进行特征提取处理，例如基于卷积层1、卷积层3以及卷积层5输出的特征作为特征描述。需要说明的是，在本发明实施例中为了更简要清楚的描述提供的多尺度特征提取处理的技术方案，后文中以进行两个尺度的特征提取处理为例进行说明。
在本发明实施例中，可以选取卷积层layer2和卷积层layer3的输出特征作为特征描述，其中，卷积层layer2的尺寸为C1*H1*W1，其中C1用于表征通道数，H1、W1分别用于表征高、宽；卷积层layer3的尺寸为C2*H2*W2，其中C2用于表征通道数，H2、W2分别用于表征高、宽。
在具体的实施过程中，可以通卷积层layer2和卷积层layer3的输出特征确定处理后的标准图像对应的第一尺度特征图和第二尺度特征图，记为{Fcur1，Fcur2}，以及可以确定处理后的待检测图像对应的第三尺度特征图和第四尺度特征图，记为{Fref1，Fref2}；其中，第一尺度特征图和第三尺度特征图的提取尺度相同，第二尺度特征图和第四尺度特征图的提取尺度相同。
步骤204：确定基于分别对应的多个尺度特征图所确定的差分结果特征图。
在本发明实施例中，当确定第一尺度特征图、第二尺度特征图、第三尺度特征图以及第四尺度特征图之后，可以计算第一尺度特征图和第二尺度特征图即Fcur1和Fref1的绝对差值集D1＝abs(Fcur1-Fref1)，具体的，在进行计算时，可以是对同位置对应元素作差并取绝对值，最终结果即第一绝对差值集D1也是尺寸为C1*H1*W1的深度特征张量。以及，计算第三尺度特征图和第四尺度特征图即Fcur2和Fref2的绝对差值集D2＝abs(Fcur2-Fref2)。
在本发明实施例中，可以对深度特征张量D1，沿深度特征通道，也就是C1方向，逐像素取最大值，得到单通道的差异图即第一差异图Emax1，其中Emax1ij＝Max(D1ijk)，k＝{1,2,3,…,C},1<＝i<＝height,1<＝j<＝width。同样沿C1方向逐像素取均值，得到单通道的差异图即第二差异图Eavg1,其中Eavg1ij＝Mean(D1ijk)，k＝{1,2,3,…,C},1<＝i<＝height,1<＝j<＝width。进一步地，由于Emax1和Eavg1尺寸均为H1*W1，最终将二者加权相加得到该尺度下的差异图即第一目标差异图E1：E1＝k1*Emax1+k2*Eavg1。具体的，权值K1和K2可以根据实际情况确定，例如可以设置为k1＝1，k2＝2。
在本发明实施例中，可以对深度特征张量D2，沿深度特征通道，也就是C2方向，逐像素取最大值，得到单通道的差异图即第三差异图Emax2，其中Emax2ij＝Max(D2ijk)，k＝{1,2,3,…,C},1<＝i<＝height,1<＝j<＝width。同样沿C2方向逐像素取均值，得到单通道的差异图即第四差异图Eavg2,其中Eavg2ij＝Mean(D2ijk)，k＝{1,2,3,…,C},1<＝i<＝height,1<＝j<＝width。进一步地，由于Emax2和Eavg2尺寸均为H2*W2，最终将二者加权相加得到该尺度下的差异图即第二目标差异图E2：E2＝k3*Emax2+k4*Eavg2。具体的，权值K3和K4可以根据实际情况确定，例如可以设置为k3＝1，k4＝2。需要说明的是，K3和K1以及K4和K2可以设置为相同的权值，也可以设置为不同的值，本发明实施例中不做限制。
在本发明实施例中，当获得第一目标差异图和第二目标差异图之后，可以对第一目标差异图和第二目标差异图进行上采样处理，将第一目标差异图和第二目标差异图的上采样至相同的尺寸，即可以获得相同尺度的第一目标差异图和第二目标差异图。进一步地，可以将对相同尺度的第一目标差异图和第二目标差异图中的元素进行加权相加处理，获得差分结果特征图。具体的，差分结果特征图用于表征包括待检测的图像和标准图像的差异的图。
在本发明实施例中，由于融合多种尺度的卷积神经网络特征，即深层特征更加关注语义信息，浅层特征可以较为精确的定位，因而使用深层浅层结合即多尺度特征提取的方式，可以获得较完整的特征信息，且采用maxpooling和avgpooling两种池化特征相结合，具体的，前述获取第一目标差异图和第二目标差异图的采用该方式，这样的方式，可以获得较好目标差异图像，从而使得确定的差分结果特征图的信息更准确完整。
步骤205：对差分结果特征图进行二值化处理，获得差异掩膜图像，并基于差异掩膜图像中是否存在白色区域连通域确定差异检测结果。
在本发明实施例中，可以对差分结果特征图进行二值化处理，获得第一差异掩膜图像，然后可以对第一差异掩膜图像进行图像形态学开操作处理，获得差异掩膜图像。
在本发明实施例中，可以对差分结果特征图进行二值化处理，获得第一差异掩膜图像，具体的第一差异掩膜图像中仅包括像素点的灰度值为0(黑色)或者255(白色)的像素点，即第一差异掩膜图像仅包括黑和白两种颜色。进一步地，可以对第一差异掩膜图像进行图像形态学开操作处理，使得获得的差异掩膜图像中的电力箱的轮廓更为平滑。
在具体的实施过程中，可以使用预定结构元对第一差异掩膜图像进行图像形态学开操作处理，具体的，先使用预定结构元对平均掩膜图像进行腐蚀操作处理，获得腐蚀结果图，然后使用预定结构元对腐蚀结果图进行膨胀，从而获得差异掩膜图像。具体的，预定结构元可以是3*3的结构，也可以是其它的结构，具体可以依据实际实施情况确定，本发明实施例中不做限制。
在本发明实施例中，为了更好的确定差异检测结果，可以对差异掩膜图像进行处理，使得差异掩膜图中的差异可视化，可以确定差异掩膜图像中所有的白色区域连通域，若确定差异掩膜图像中包括白色区域连通域，则确定存在差异。进一步地，可以确定所有白色区域连通域的最小外接矩形，并基于最小外接矩形确定差异检测结果。
在具体的实施过程中，可以采用OpenCV软件中的绘制轮廓函数例如findContours()函数绘制最小外接矩形，从而可以更准确的确定标准图像和待检测图像中电力箱的差异。
在本发明实施例中，当确定标准图像和待检测图像中电力箱的差异之后，可以向与计算机设备关联的管理设备发送提示信息，具体的，提示信息可以是直接输出的包含最小外接矩形的图像，也可以是语音提示信息。此外，也可以向负责巡检电力箱的工作人员对应的终端或者设备发送提示信息，以便可以对电力箱进行检修。当然，提示信息中可以包括电力箱的标识，例如1号电力箱、电力箱的位置信息以及电力箱周围的信息，例如所处环境信息，或者是天气状态信息等等，本发明实施例中不做限制。
基于同一发明构思，本发明实施例提供了一种用于图像差异检测装置，该图像差异检测装置能够实现前述的图像差异检测方法对应的功能。该图像差异检测装置可以是硬件结构、软件模块、或硬件结构加软件模块。该图像差异检测装置可以由芯片***实现，芯片***可以由芯片构成，也可以包含芯片和其他分立器件。请参见图6所示，该图像差异检测装置包括：
第一确定单元601，用于确定标准图像和待检测图像，其中，所述标准图像和所述待检测图像为对同一位置的机箱类设备在不同时间段所拍摄的图像；
第一处理单元602，用于对所述标准图像和所述待检测的图像进行ORB定向快速旋转式特征点提取处理，获得所述标准图像中的特征点和所述待检测图像中的特征点；以及，对所述标准图像中的特征点和所述待检测图像中的特征点进行匹配处理，获得处理后的标准图像和处理后的待检测图像；
第二处理单元603，用于对所述处理后的标准图像和所述处理后的待检测图像进行多尺度特征提取处理，获得所述处理后的标准图像和所述处理后的待检测图像分别对应的多个尺度特征图，并确定基于所述分别对应的多个尺度特征图所确定的差分结果特征图；
第二确定单元604，用于对所述差分结果特征图进行二值化处理，获得差异掩膜图像，并基于所述差异掩膜图像中是否存在白色区域连通域确定差异检测结果。
在一种可能的实施方式中，所述第一处理单元602，还用于：
将所述标准图像中的特征点和所述待检测图像中的特征点中横坐标相同的任意两个特征点的纵坐标相减，若确定所述待检测图像中的第一特征点对应的相减后的值大于第一阈值，则将所述第一特征点确定为第一异常点，并对所述第一异常点进行剔除处理；以及，
将所述标准图像中的特征点和所述待检测图像中的特征点中纵坐标相同的任意两个特征点的横坐标相减，若确定所述待检测图像中第二特征点对应的相减后的值大于第二阈值，则将所述第二特征点确定为第二异常点，并对所述第二异常点进行剔除处理；
基于随机采样一致算法，确定进行异常点处理后的所述标准图像和所述待检测图像的变换矩阵，并确定所述变换矩阵中各个元素是否属于阈值范围；
若属于所述阈值范围，则基于所述变换矩阵对应的顶点的坐标，获得处理后的标准图像和处理后的待检测图像。
在一种可能的实施方式中，所述第二处理单元603，还用于：
确定所述处理后的标准图像对应的第一尺度特征图和第二尺度特征图，并确定所述处理后的待检测的图像对应的第三尺度特征图和第四尺度特征图；
确定所述第一尺度特征图和所述第三尺度特征图中同一坐标位置对应元素的差值的第一绝对值集，并基于所述第一绝对值集，确定第一差异图和第二差异图；
确定所述第二尺度特征图和所述第四尺度特征图中同一坐标位置对应元素的差值的第二绝对值集，并基于所述第二绝对值集确定第三差异图和第三差异图；
对所述第一差异图和所述第二差异图中的元素进行加权相加处理，获得第一目标差异图；以及，对所述第三差异图和所述第四差异图中的元素进行加权相加处理，获得第二目标差异图；
根据所述第一目标差异图和所述第二目标差异图，获得差分结果特征图。在一种可能的实施方式中，所述第二处理单元603，还用于：
分别对所述第一目标差异图和所述第二目标差异图进行上采样处理，获得相同尺度的所述第一目标差异图和所述第二目标差异图；
对所述相同尺度的所述第一目标差异图和所述第二目标差异图中的元素进行加权相加处理，获得差分结果特征图。
在一种可能的实施方式中，所述第二确定单元604，还用于：
对所述差分结果特征图进行二值化处理，获得第一差异掩膜图像；
对所述第一差异掩膜图像进行图像形态学开操作处理，获得差异掩膜图像。
在一种可能的实施方式中，所述第二确定单元604，还用于：
确定所述差异掩膜图像中所有的白色区域连通域；
确定所述所有白色区域连通域的最小外接矩形，并基于所述最小外接矩形确定所述差异检测结果。
前述的图像差异检测方法的实施例涉及的各步骤的所有相关内容均可以援引到本发明实施例中的图像差异检测装置所对应的功能模块的功能描述，在此不再赘述。
本发明实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本发明各个实施例中的各功能模块可以集成在一个控制器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
基于同一发明构思，本发明实施例提供一种计算机设备，请参见图7所示，该计算机设备包括至少一个处理器701，以及与至少一个处理器连接的存储器702，本发明实施例中不限定处理器701与存储器702之间的具体连接介质，图7中是以处理器701和存储器702之间通过总线700连接为例，总线700在图7中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线700可以分为地址总线、数据总线、控制总线等，为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。此外，图像差异检测装置还包括通信接口703，用于接收图像信息。
在本发明实施例中，存储器702存储有可被至少一个处理器701执行的指令，至少一个处理器701通过执行存储器702存储的指令，可以执行前述的图像差异检测方法中所包括的步骤。
其中，处理器701是计算机设备的控制中心，可以利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器702内的指令以及调用存储在存储器702内的数据，计算机设备的各种功能和处理数据，从而对计算机设备进行整体监控。
可选的，处理器701可包括一个或多个处理单元，处理器701可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器701中。在一些实施例中，处理器701和存储器702可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
处理器701可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器702作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器702可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器702是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本发明实施例中的存储器702还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
通过对处理器701进行设计编程，可以将前述实施例中介绍的图像差异检测方法所对应的代码固化到芯片内，从而使芯片在运行时能够执行前述的图像差异检测方法的步骤，如何对处理器701进行设计编程为本领域技术人员所公知的技术，这里不再赘述。
基于同一发明构思，本发明实施例还提供一种存储介质，该存储介质存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行如前述的图像差异检测方法的步骤。
在一些可能的实施方式中，本发明提供的图像差异检测方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在控制计算机设备上运行时，所述程序代码用于使该控制计算机设备执行本说明书上述描述的根据本发明各种示例性实施方式的图像差异检测方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种图像差异检测方法，其特征在于，所述方法包括：
确定标准图像和待检测图像，其中，所述标准图像和所述待检测图像为对同一位置的机箱类设备在不同时间段所拍摄的图像；
对所述标准图像和所述待检测的图像进行ORB定向快速旋转式特征点提取处理，获得所述标准图像中的特征点和所述待检测图像中的特征点；以及，对所述标准图像中的特征点和所述待检测图像中的特征点进行匹配处理，获得处理后的标准图像和处理后的待检测图像；
对所述处理后的标准图像和所述处理后的待检测图像进行多尺度特征提取处理，获得所述处理后的标准图像和所述处理后的待检测图像分别对应的多个尺度特征图，并确定基于所述分别对应的多个尺度特征图所确定的差分结果特征图；
对所述差分结果特征图进行二值化处理，获得差异掩膜图像，并基于所述差异掩膜图像中是否存在白色区域连通域确定差异检测结果。
2.如权利要求1所述的方法，其特征在于，对所述标准图像中的特征点和所述待检测图像中的特征点进行匹配处理，获得处理后的标准图像和处理后的待检测图像，包括：
将所述标准图像中的特征点和所述待检测图像中的特征点中横坐标相同的任意两个特征点的纵坐标相减，若确定所述待检测图像中的第一特征点对应的相减后的值大于第一阈值，则将所述第一特征点确定为第一异常点，并对所述第一异常点进行剔除处理；以及，
将所述标准图像中的特征点和所述待检测图像中的特征点中纵坐标相同的任意两个特征点的横坐标相减，若确定所述待检测图像中第二特征点对应的相减后的值大于第二阈值，则将所述第二特征点确定为第二异常点，并对所述第二异常点进行剔除处理；
基于随机采样一致算法，确定进行异常点处理后的所述标准图像和所述待检测图像的变换矩阵，并确定所述变换矩阵中各个元素是否属于阈值范围；
若属于所述阈值范围，则基于所述变换矩阵对应的顶点的坐标，获得处理后的标准图像和处理后的待检测图像。
3.如权利要求1所述的方法，其特征在于，对所述处理后的标准图像和所述处理后的待检测图像进行多尺度特征提取处理，获得所述处理后的标准图像和所述处理后的待检测图像分别对应的多个尺度特征图，并确定基于所述分别对应的多个尺度特征图所确定的差分结果特征图，包括：
确定所述处理后的标准图像对应的第一尺度特征图和第二尺度特征图，并确定所述处理后的待检测的图像对应的第三尺度特征图和第四尺度特征图；
确定所述第一尺度特征图和所述第三尺度特征图中同一坐标位置对应元素的差值的第一绝对值集，并基于所述第一绝对值集，确定第一差异图和第二差异图；
确定所述第二尺度特征图和所述第四尺度特征图中同一坐标位置对应元素的差值的第二绝对值集，并基于所述第二绝对值集确定第三差异图和第三差异图；
对所述第一差异图和所述第二差异图中的元素进行加权相加处理，获得第一目标差异图；以及，对所述第三差异图和所述第四差异图中的元素进行加权相加处理，获得第二目标差异图；
根据所述第一目标差异图和所述第二目标差异图，获得差分结果特征图。
4.如权利要求3所述的方法，其特征在于，根据所述第一目标差异图和所述第二目标差异图，获得差分结果特征图，包括：
分别对所述第一目标差异图和所述第二目标差异图进行上采样处理，获得相同尺度的所述第一目标差异图和所述第二目标差异图；
对所述相同尺度的所述第一目标差异图和所述第二目标差异图中的元素进行加权相加处理，获得差分结果特征图。
5.如权利要求1-4任一所述的方法，其特征在于，对所述差分结果特征图进行二值化处理，获得差异掩膜图像，包括：
对所述差分结果特征图进行二值化处理，获得第一差异掩膜图像；
对所述第一差异掩膜图像进行图像形态学开操作处理，获得差异掩膜图像。
6.如权利要求5所述的方法，其特征在于，基于所述差异掩膜图像中是否存在白色区域连通域确定差异检测结果，包括：
确定所述差异掩膜图像中所有的白色区域连通域；
确定所述所有白色区域连通域的最小外接矩形，并基于所述最小外接矩形确定所述差异检测结果。
7.一种图像差异检测装置，其特征在于，所述装置包括：
第一确定单元，用于确定标准图像和待检测图像，其中，所述标准图像和所述待检测图像为对同一位置的机箱类设备在不同时间段所拍摄的图像；
第一处理单元，用于对所述标准图像和所述待检测的图像进行ORB定向快速旋转式特征点提取处理，获得所述标准图像中的特征点和所述待检测图像中的特征点；以及，对所述标准图像中的特征点和所述待检测图像中的特征点进行匹配处理，获得处理后的标准图像和处理后的待检测图像；
第二处理单元，用于对所述处理后的标准图像和所述处理后的待检测图像进行多尺度特征提取处理，获得所述处理后的标准图像和所述处理后的待检测图像分别对应的多个尺度特征图，并确定基于所述分别对应的多个尺度特征图所确定的差分结果特征图；
第二确定单元，用于对所述差分结果特征图进行二值化处理，获得差异掩膜图像，并基于所述差异掩膜图像中是否存在白色区域连通域确定差异检测结果。
8.一种计算机设备，其特征在于，所述计算机设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的图像差异检测方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的图像差异检测方法的步骤。
10.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机设备上运行时，使得所述计算机设备执行如权利要求1至6中任一项所述的图像差异检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011094646.2A CN112330597A (zh) | 2020-10-14 | 2020-10-14 | 一种图像差异检测方法、装置及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011094646.2A CN112330597A (zh) | 2020-10-14 | 2020-10-14 | 一种图像差异检测方法、装置及计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112330597A true CN112330597A (zh) | 2021-02-05 |
Family
ID=74314863
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011094646.2A Pending CN112330597A (zh) | 2020-10-14 | 2020-10-14 | 一种图像差异检测方法、装置及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112330597A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113378818A (zh) * | 2021-06-21 | 2021-09-10 | 中国南方电网有限责任公司超高压输电公司柳州局 | 电气设备缺陷确定方法、装置、电子设备及存储介质 |
| CN115661016A (zh) * | 2022-12-08 | 2023-01-31 | 瑞纳智能设备股份有限公司 | 换热站的故障监视方法、***和嵌入式图像诊断控制平台 |
| CN116402882A (zh) * | 2023-06-09 | 2023-07-07 | 天津市渤海新能科技有限公司 | 一种光伏电站故障定位方法、装置、***及存储介质 |
| CN117495850A (zh) * | 2023-12-29 | 2024-02-02 | 中国科学院空天信息创新研究院 | 图像异常点检测方法、装置和设备 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104809732A (zh) * | 2015-05-07 | 2015-07-29 | 山东鲁能智能技术有限公司 | 一种基于图像比对的电力设备外观异常检测方法 |
| CN105092598A (zh) * | 2015-09-28 | 2015-11-25 | 深圳大学 | 一种基于连通域的大幅面pcb板缺陷快速识别方法及*** |
| CN105160654A (zh) * | 2015-07-09 | 2015-12-16 | 浙江工商大学 | 基于特征点提取的毛巾标签缺陷检测方法 |
| CN106408846A (zh) * | 2016-11-29 | 2017-02-15 | 周川 | 基于视频监控平台的图像火灾检测方法 |
| CN106447732A (zh) * | 2016-09-22 | 2017-02-22 | 成都通甲优博科技有限责任公司 | 采用视差信息和三维信息获取异样区域的方法 |
| CN106485697A (zh) * | 2016-09-22 | 2017-03-08 | 成都通甲优博科技有限责任公司 | 一种基于双目视觉的路面沉降和异物检测方法 |
| CN107123131A (zh) * | 2017-04-10 | 2017-09-01 | 安徽清新互联信息科技有限公司 | 一种基于深度学习的运动目标检测方法 |
| CN107657260A (zh) * | 2017-10-09 | 2018-02-02 | 济南大学 | 一种输电线路周边环境中地面隐患的检测方法 |
| CN108182700A (zh) * | 2018-03-09 | 2018-06-19 | 华中科技大学 | 一种基于两次特征检测的图像配准方法 |
| CN108986152A (zh) * | 2018-06-11 | 2018-12-11 | 全球能源互联网研究院有限公司 | 一种基于差分图像的异物检测方法及装置 |
| CN110826632A (zh) * | 2019-11-11 | 2020-02-21 | 深圳前海微众银行股份有限公司 | 图像变化检测方法、装置、设备及计算机可读存储介质 |
| US20200143563A1 (en) * | 2017-11-22 | 2020-05-07 | Beijing Sensetime Technology Development Co., Ltd. | Methods and apparatuses for object detection, and devices |
| CN111260629A (zh) * | 2020-01-16 | 2020-06-09 | 成都地铁运营有限公司 | 基于图像处理的受电弓结构异常检测算法 |
-
2020
- 2020-10-14 CN CN202011094646.2A patent/CN112330597A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104809732A (zh) * | 2015-05-07 | 2015-07-29 | 山东鲁能智能技术有限公司 | 一种基于图像比对的电力设备外观异常检测方法 |
| CN105160654A (zh) * | 2015-07-09 | 2015-12-16 | 浙江工商大学 | 基于特征点提取的毛巾标签缺陷检测方法 |
| CN105092598A (zh) * | 2015-09-28 | 2015-11-25 | 深圳大学 | 一种基于连通域的大幅面pcb板缺陷快速识别方法及*** |
| CN106447732A (zh) * | 2016-09-22 | 2017-02-22 | 成都通甲优博科技有限责任公司 | 采用视差信息和三维信息获取异样区域的方法 |
| CN106485697A (zh) * | 2016-09-22 | 2017-03-08 | 成都通甲优博科技有限责任公司 | 一种基于双目视觉的路面沉降和异物检测方法 |
| CN106408846A (zh) * | 2016-11-29 | 2017-02-15 | 周川 | 基于视频监控平台的图像火灾检测方法 |
| CN107123131A (zh) * | 2017-04-10 | 2017-09-01 | 安徽清新互联信息科技有限公司 | 一种基于深度学习的运动目标检测方法 |
| CN107657260A (zh) * | 2017-10-09 | 2018-02-02 | 济南大学 | 一种输电线路周边环境中地面隐患的检测方法 |
| US20200143563A1 (en) * | 2017-11-22 | 2020-05-07 | Beijing Sensetime Technology Development Co., Ltd. | Methods and apparatuses for object detection, and devices |
| CN108182700A (zh) * | 2018-03-09 | 2018-06-19 | 华中科技大学 | 一种基于两次特征检测的图像配准方法 |
| CN108986152A (zh) * | 2018-06-11 | 2018-12-11 | 全球能源互联网研究院有限公司 | 一种基于差分图像的异物检测方法及装置 |
| CN110826632A (zh) * | 2019-11-11 | 2020-02-21 | 深圳前海微众银行股份有限公司 | 图像变化检测方法、装置、设备及计算机可读存储介质 |
| CN111260629A (zh) * | 2020-01-16 | 2020-06-09 | 成都地铁运营有限公司 | 基于图像处理的受电弓结构异常检测算法 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113378818A (zh) * | 2021-06-21 | 2021-09-10 | 中国南方电网有限责任公司超高压输电公司柳州局 | 电气设备缺陷确定方法、装置、电子设备及存储介质 |
| CN113378818B (zh) * | 2021-06-21 | 2024-06-07 | 中国南方电网有限责任公司超高压输电公司柳州局 | 电气设备缺陷确定方法、装置、电子设备及存储介质 |
| CN115661016A (zh) * | 2022-12-08 | 2023-01-31 | 瑞纳智能设备股份有限公司 | 换热站的故障监视方法、***和嵌入式图像诊断控制平台 |
| CN115661016B (zh) * | 2022-12-08 | 2023-04-18 | 瑞纳智能设备股份有限公司 | 换热站的故障监视方法、***和嵌入式图像诊断控制平台 |
| CN116402882A (zh) * | 2023-06-09 | 2023-07-07 | 天津市渤海新能科技有限公司 | 一种光伏电站故障定位方法、装置、***及存储介质 |
| CN116402882B (zh) * | 2023-06-09 | 2023-09-08 | 天津市渤海新能科技有限公司 | 一种光伏电站故障定位方法、装置、***及存储介质 |
| CN117495850A (zh) * | 2023-12-29 | 2024-02-02 | 中国科学院空天信息创新研究院 | 图像异常点检测方法、装置和设备 |
| CN117495850B (zh) * | 2023-12-29 | 2024-03-19 | 中国科学院空天信息创新研究院 | 图像异常点检测方法、装置和设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112330597A (zh) | 一种图像差异检测方法、装置及计算机设备 | |
| CN110650316A (zh) | 智能巡逻及预警处理方法、装置、电子设备及存储介质 | |
| CN111612781A (zh) | 一种屏幕缺陷检测方法、装置及头戴显示设备 | |
| CN108323204A (zh) | 一种检测人脸瑕疵点的方法和智能终端 | |
| CN111191570B (zh) | 图像识别方法和装置 | |
| CN110443212B (zh) | 用于目标检测的正样本获取方法、装置、设备及存储介质 | |
| CN107704797B (zh) | 基于安防视频中行人和车辆的实时检测方法和***及设备 | |
| CN111680704B (zh) | 海洋红线新增人类活动斑块自动化快速提取方法和装置 | |
| CN114332702A (zh) | 目标区域的检测方法和装置、存储介质及电子设备 | |
| CN111582032A (zh) | 行人检测方法、装置、终端设备及存储介质 | |
| CN112417955A (zh) | 巡检视频流处理方法及装置 | |
| CN114638294A (zh) | 一种数据增强方法、装置、终端设备及存储介质 | |
| CN109086643B (zh) | 一种基于机器视觉的彩盒标签检测方法及*** | |
| CN116434346B (zh) | 无人值守商店内顾客行为的检测方法、装置及存储介质 | |
| CN112001336A (zh) | 行人越界报警方法、装置、设备及*** | |
| Ashqer et al. | Parking lot space detection based on image processing | |
| CN115063614A (zh) | 一种图像匹配方法、装置及电子设备 | |
| CN115346138A (zh) | 基于无人机的航拍图像的目标检测方法、装置以及设备 | |
| CN114240924A (zh) | 一种基于数字化技术的电网设备质量评估方法 | |
| CN117011532A (zh) | 图像处理方法、装置、设备、存储介质及程序产品 | |
| CN114155598A (zh) | 一种图像处理模型的训练方法、装置及电子设备 | |
| CN113673362A (zh) | 对象的运动状态确定方法、装置、计算机设备和存储介质 | |
| CN113792671A (zh) | 人脸合成图像的检测方法、装置、电子设备及介质 | |
| CN112399236B (zh) | 一种视频查重方法、装置及电子设备 | |
| CN112464928B (zh) | 数字式表计读数识别方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210205 |