CN110633682A - 基于双光融合的红外图像的异常监测方法、装置、设备 - Google Patents
基于双光融合的红外图像的异常监测方法、装置、设备 Download PDFInfo
- Publication number
- CN110633682A CN110633682A CN201910887106.0A CN201910887106A CN110633682A CN 110633682 A CN110633682 A CN 110633682A CN 201910887106 A CN201910887106 A CN 201910887106A CN 110633682 A CN110633682 A CN 110633682A
- Authority
- CN
- China
- Prior art keywords
- image
- infrared image
- infrared
- visible light
- gray
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 55
- 230000004927 fusion Effects 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000002159 abnormal effect Effects 0.000 claims abstract description 36
- 230000005856 abnormality Effects 0.000 claims abstract description 26
- 238000013528 artificial neural network Methods 0.000 claims abstract description 17
- 230000009977 dual effect Effects 0.000 claims description 20
- 238000012806 monitoring device Methods 0.000 claims description 14
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 6
- 230000008859 change Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 4
- 230000005855 radiation Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000003331 infrared imaging Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
Abstract
本申请公开了一种基于双光融合的红外图像的异常监测方法、装置、设备及***，包括：获取图像显示内容一致且同步采集的可见光图像和红外图像；将可见光图像输入预先训练好的神经网络，输出转化后红外图像；分别获取转化后红外图像与红外图像中同一区域的灰度差值；判断灰度差值是否大于预设阈值；若是，确定灰度差值对应的区域存在异常。转化后红外图像由可见光图像转换而来，各个区域的灰度值与温度无关，而当某一区域温度发生异常时，红外图像中的灰度值会发生变化，获取两幅图像中同一区域的灰度差值，由灰度差值与预设阈值的关系确定是否出现异常，实现对所有区域的异常检测，不局限于温度最高的区域，可以更有效地检测出出现异常的区域。
Description
技术领域
本申请涉及图像检测技术领域，特别是涉及一种基于双光融合的红外图像的异常监测方法、装置、设备及***。
背景技术
红外成像技术是根据物体的红外辐射差异成像的，由于不同物体或同一物体的不同部位通常具有不同的热辐射特性，如温差、发射率等，在进行热红外成像后，红外图像中的物体因为其热辐射的差异而区别开来。
目前，根据红外图像对红外图像中的目标物体进行监测时，主要是通过对预先设定的监测区域(红外图像中温度最高的区域)进行监控。热像仪搜索并标记当前红外图像中温度最高的区域，将该区域设为监测区域，当监测到该区域的温度升高时，表明该区域的目标物体出现异常，对于监测区域以外的区域并不能起到监测的作用，也就无法及时发现红外图像中其他区域的异常情况。
因此，如何实现对红外图像中的所有区域进行监测是本领与技术人员应重点关注的。
发明内容
本申请的目的是提供一种基于双光融合的红外图像的异常监测方法、装置、设备及***，以实现对红外图像中的所有区域进行监测。
为解决上述技术问题，本申请提供一种基于双光融合的红外图像的异常监测方法，包括：
获取图像显示内容一致且同步采集的可见光图像和红外图像；
将所述可见光图像输入预先训练好的神经网络，输出转化后红外图像；
分别获取所述转化后红外图像与所述红外图像中同一区域的灰度差值；
判断所述灰度差值是否大于预设阈值；
若是，确定所述灰度差值对应的区域存在异常。
可选的，所述获取图像显示内容一致且同步采集的可见光图像和红外图像包括：
获取同步采集的初始可见光图像和初始红外图像；
设定所述初始可见光图像和所述初始红外图像两者中任一幅图像为标准图像，另一幅为待配准图像；
以所述标准图像的图像显示内容为标准，对所述待配准图像中的显示内容进行配准，使配准后的待配准图像的图像显示内容与所述标准图像一致，得到所述可见光图像和所述红外图像。
可选的，所述对所述待配准图像中的显示内容进行配准包括：
利用SIFT算法确定所述标准图像中的特征点，并根据所述特征点对所述待配准图像中的显示内容进行配准。
可选的，在所述确定所述灰度差值对应的区域存在异常之后，还包括：
发送报警信息至预设终端。
可选的，所述报警信息为声音报警信息和/或文字报警信息。
本申请还提供一种基于双光融合的红外图像的异常监测装置，包括：
第一获取模块，用于获取图像显示内容一致且同步采集的可见光图像和红外图像；
转化模块，用于将所述可见光图像输入预先训练好的神经网络，输出转化后红外图像；
第二获取模块，用于分别获取所述转化后红外图像与所述红外图像中同一区域的灰度差值；
判断模块，用于判断所述灰度差值是否大于预设阈值；
确定模块，用于当所述灰度差值大于所述预设阈值时，确定所述灰度差值对应的区域存在异常。
可选的，所述第一获取模块具体包括：
获取单元，用于获取同步采集的初始可见光图像和初始红外图像；
设定单元，用于设定所述初始可见光图像和所述初始红外图像两者中任一幅图像为标准图像，另一幅为待配准图像；
配准单元，用于以所述标准图像的图像显示内容为标准，对所述待配准图像中的显示内容进行配准，使配准后的待配准图像的图像显示内容与所述标准图像一致，得到所述可见光图像和所述红外图像。
可选的，还包括：
发送模块，用于发送报警信息至预设终端。
本申请还提供一种基于双光融合的红外图像的异常监测设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述任一种所述基于双光融合的红外图像的异常监测方法的步骤。
本申请还提供一种基于双光融合的红外图像的异常监测***，包括：
图像采集设备，用于采集可见光图像；
红外热像仪，用于采集红外图像；
上述所述的基于双光融合的红外图像的异常监测设备。
本申请所提供的基于双光融合的红外图像的异常监测方法，包括：获取图像显示内容一致且同步采集的可见光图像和红外图像；将所述可见光图像输入预先训练好的神经网络，输出转化后红外图像；分别获取所述转化后红外图像与所述红外图像中同一区域的灰度差值；判断所述灰度差值是否大于预设阈值；若是，确定所述灰度差值对应的区域存在异常。
可见，本申请中的异常监测方法，通过将与红外图像的图像显示内容一致且同步采集的可见光图像输入与预先训练好的神经网络中，得到与可见光图像对应的转化后红外图像，即转化后红外图像与红外图像的显示内容也是一致的，由于转化后红外图像是由可见光图像转换而来，转化后红外图像中的各个区域的灰度值与温度变化无关，各个区域的灰度值不会发生变化，而当某一区域的温度发生异常时，红外图像中该区域的灰度值会发生变化，获取转化后红外图像与红外图像两幅图像中同一区域的灰度差值，根据灰度差值与预设阈值的关系便可以确定出灰度差值对应的区域是否出现异常，实现对红外图像中所有区域的异常检测，不局限于只对红外图像中温度最高的区域进行监测，可以更有效地检测出出现异常的区域。此外，本申请还提供一种具有上述优点的异常监测装置、设备及***。
附图说明
为了更清楚的说明本申请实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例所提供的一种基于双光融合的红外图像的异常监测方法的流程图；
图2为本申请实施例所提供的另一种基于双光融合的红外图像的异常监测方法的流程图；
图3为本申请实施例提供的基于双光融合的红外图像的异常监测装置的结构框图；
图4为本申请实施例提供的基于双光融合的红外图像的异常监测设备的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
正如背景技术部分所述，目前根据红外图像对红外图像中的目标物体进行监测时，主要是通过对预先设定的监测区域进行监控。热像仪搜索并标记当前红外图像中温度最高的区域，将该区域设为监测区域，当监测到该区域的温度升高时，表明该区域的目标物体出现异常，对于监测区域以外的区域并不能起到监测的作用，也就无法及时发现红外图像中其他区域的异常情况。
有鉴于此，本申请提供了一种基于双光融合的红外图像的异常监测方法，请参考图1，图1为本申请实施例所提供的一种基于双光融合的红外图像的异常监测方法的流程图，该方法包括：
步骤S101：获取图像显示内容一致且同步采集的可见光图像和红外图像。
需要说明的是，可见光图像和红外图像两幅图像的图像显示内容一致指的是两幅图像中显示的画面一模一样，区别点只是一幅是可见光图像，一幅是红外图像。红外图像可以显示出红外图像中不同区域中物体的温度信息，可见光图像中并不包含温度信息。
步骤S102：将所述可见光图像输入预先训练好的神经网络，输出转化后红外图像。
具体的，预先训练好的神经网络是将预先准备好的图像显示内容一致且同步采集的可见光图像和红外图像作为训练样本图像，其中训练样本图像包括自己采集得到的图像和从网上搜集到的图像，利用深度学习的方式训练出神经网络。通过把转化后红外图像和对应的红外图像进行对比，并通过训练神经网络的参数，逐步减小转化后红外图像和红外图像之间的误差。神经网络的具体的训练过程已为本领域技术人员所熟知，此处不再详细阐述。
步骤S103：分别获取所述转化后红外图像与所述红外图像中同一区域的灰度差值。
需要指出的是，灰度差值为转化后红外图像与红外图像中同一区域的灰度值之差，是一个大于等于零的正数。
可以理解的是，红外图像中显示不同区域的温度信息，某个区域的温度越高，该区域显示越亮，不同温度区域的灰度值不同；转化后红外图像是由可见光图像转换而来，由于可见光图像中不包含温度信息，转化后红外图像中也就不包含温度信息，转化后红外图像中灰度值不会随温度变化而发生变化，因此，可以根据转化后红外图像与红外图像中同一区域的灰度差值表示温度的差异。
进一步地，由于灰度差值表示温度的差异，本实施例中不仅局限于对温度升高的区域进行有效检测，当某个区域的温度值降低时，同样可以被监测到。
具体的，红外图像中不同区域表示不同的监测范围，通过分别获取转化后红外图像与红外图像中同一区域的灰度差值，使红外图像中显示的所有区域均被监测。
步骤S104：判断所述灰度差值是否大于预设阈值。
需要说明的是，本实施例中对预设阈值不做具体限定，视情况而定，例如，预设阈值可以为10，或者20等。
步骤S105：若是，确定所述灰度差值对应的区域存在异常。
具体的，当灰度差值大于预设阈值时，表示该灰度差值对应的区域的温度升高或者降低的幅度超过正常幅度，出现异常。
可以理解的是，当灰度差值不大于预设阈值时，表示该灰度差值对应的区域的温度变化正常。
本实施例中的异常监测方法，通过将与红外图像的图像显示内容一致且同步采集的可见光图像输入与预先训练好的神经网络中，得到与可见光图像对应的转化后红外图像，即转化后红外图像与红外图像的显示内容也是一致的，由于转化后红外图像是由可见光图像转换而来，转化后红外图像中的各个区域的灰度值与温度变化无关，各个区域的灰度值不会发生变化，而当某一区域的温度发生异常时，红外图像中该区域的灰度值会发生变化，获取转化后红外图像与红外图像两幅图像中同一区域的灰度差值，根据灰度差值与预设阈值的关系便可以确定出灰度差值对应的区域是否出现异常，实现对红外图像中所有区域的异常检测，不局限于只对红外图像中温度最高的区域进行监测，并且，出现异常时的温度低于红外图像中温度最高值时，并不能检测出出现异常的温度，因此，本申请可以更有效地检测出出现异常的区域。
请参考图2，图2为本申请实施例所提供的另一种基于双光融合的红外图像的异常监测方法的流程图，该方法包括：
步骤S201：获取同步采集的初始可见光图像和初始红外图像；
具体的，在本实施例中，初始可见光图像和初始红外图像两幅图像中显示内容并不一致。
步骤S202：设定所述初始可见光图像和所述初始红外图像两者中任一幅图像为标准图像，另一幅为待配准图像。
具体的，当初始红外图像为标准图像时，则初始可见光图像为待配准图像；当初始可见光图像为标准图像时，则初始红外图像为待配准图像。
步骤S203：以所述标准图像的图像显示内容为标准，对所述待配准图像中的显示内容进行配准，使配准后的待配准图像的图像显示内容与所述标准图像一致，得到所述可见光图像和所述红外图像。
步骤S204：将所述可见光图像输入预先训练好的神经网络，输出转化后红外图像。
步骤S205：分别获取所述转化后红外图像与所述红外图像中同一区域的灰度差值。
步骤S206：判断所述灰度差值是否大于预设阈值。
步骤S207：若是，确定所述灰度差值对应的区域存在异常。
步骤S204至步骤S207此处不再详细赘述，具体请参考上述实施例。
可选的，在本申请的一个实施例中，所述对所述待配准图像中的显示内容进行配准包括：利用SIFT(Scale Invariant Feature Transform，尺度不变特征变换)算法确定所述标准图像中的特征点，并根据所述特征点对所述待配准图像中的显示内容进行配准。但是，本申请对此并不做具体限定，在本申请的其他实施例中，还可以利用人工标记特征点的方式进行配准，选择在初始可见光图像和初始红外图像中都比较明显的位置，比如一个物体拐角的位置等进行配准。具体的配准过程已为本领域技术人员所熟知，此处不再详细赘述。
可以理解的是，在图像采集设备中可见光和红外传感器的参数、位置和镜头等都是固定的，对这些参数进行调整，进行一次人工配准之后，以后采集到的图像都可以用这一套参数进行初始可见光图像和初始红外图像两幅图像的配准。
在上述任一实施例的基础上，在本申请的一个实施例中，在所述确定所述灰度差值对应的区域存在异常之后，还包括：
发送报警信息至预设终端，以便于工作人员技术了解到异常情况的出现。
需要指出的是，本实施例中对预设终端不做具体限定，可自行设置。例如，预设终端可以为电脑、手机、iPad等。
还需要指出的是，本实施例中对报警信息也不做具体限定，可自行设置。例如，所述报警信息为声音报警信息和/或文字报警信息。
下面对本申请实施例提供的基于双光融合的红外图像的异常监测装置进行介绍，下文描述的基于双光融合的红外图像的异常监测装置与上文描述的基于双光融合的红外图像的异常监测方法可相互对应参照。
图3为本申请实施例提供的基于双光融合的红外图像的异常监测装置的结构框图，参照图3基于双光融合的红外图像的异常监测装置可以包括：
第一获取模块100，用于获取图像显示内容一致且同步采集的可见光图像和红外图像；
转化模块200，用于将所述可见光图像输入预先训练好的神经网络，输出转化后红外图像；
第二获取模块300，用于分别获取所述转化后红外图像与所述红外图像中同一区域的灰度差值；
判断模块400，用于判断所述灰度差值是否大于预设阈值；
确定模块500，用于当所述灰度差值大于所述预设阈值时，确定所述灰度差值对应的区域存在异常。
本实施例的基于双光融合的红外图像的异常监测装置用于实现前述的基于双光融合的红外图像的异常监测方法，因此基于双光融合的红外图像的异常监测装置中的具体实施方式可见前文中的基于双光融合的红外图像的异常监测方法的实施例部分，例如，第一获取模块100，转化模块200，第二获取模块300，判断模块400，确定模块500分别用于实现上述基于双光融合的红外图像的异常监测方法中步骤S101，S102，S103，S104和S105，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
本实施例中的异常监测装置，通过将与红外图像的图像显示内容一致且同步采集的可见光图像输入与预先训练好的神经网络中，得到与可见光图像对应的转化后红外图像，即转化后红外图像与红外图像的显示内容也是一致的，由于转化后红外图像是由可见光图像转换而来，转化后红外图像中的各个区域的灰度值与温度变化无关，各个区域的灰度值不会发生变化，而当某一区域的温度发生异常时，红外图像中该区域的灰度值会发生变化，获取转化后红外图像与红外图像两幅图像中同一区域的灰度差值，根据灰度差值与预设阈值的关系便可以确定出灰度差值对应的区域是否出现异常，实现对红外图像中所有区域的异常检测，不局限于只对红外图像中温度最高的区域进行监测，并且，出现异常时的温度低于红外图像中温度最高值时，并不能检测出出现异常的温度，因此，本申请可以更有效地检测出出现异常的区域。
在本申请的一个实施例中，所述第一获取模块100具体包括：
获取单元，用于获取同步采集的初始可见光图像和初始红外图像；
设定单元，用于设定所述初始可见光图像和所述初始红外图像两者中任一幅图像为标准图像，另一幅为待配准图像；
配准单元，用于以所述标准图像的图像显示内容为标准，对所述待配准图像中的显示内容进行配准，使配准后的待配准图像的图像显示内容与所述标准图像一致，得到所述可见光图像和所述红外图像。
在上述任一实施例的基础上，在本申请的一个实施例中，基于双光融合的红外图像的异常监测装置还包括：
发送模块，用于发送报警信息至预设终端。
下面对本申请实施例提供的基于双光融合的红外图像的异常监测设备进行介绍，下文描述的基于双光融合的红外图像的异常监测设备与上文描述的基于双光融合的红外图像的异常监测方法可相互对应参照。
图4为本申请实施例提供的基于双光融合的红外图像的异常监测设备的结构框图，该设备包括：
存储器11，用于存储计算机程序；
处理器12，用于执行所述计算机程序时实现上述任一种所述基于双光融合的红外图像的异常监测方法的步骤。
本实施例中的异常监测设备，通过将与红外图像的图像显示内容一致且同步采集的可见光图像输入与预先训练好的神经网络中，得到与可见光图像对应的转化后红外图像，即转化后红外图像与红外图像的显示内容也是一致的，由于转化后红外图像是由可见光图像转换而来，转化后红外图像中的各个区域的灰度值与温度变化无关，各个区域的灰度值不会发生变化，而当某一区域的温度发生异常时，红外图像中该区域的灰度值会发生变化，获取转化后红外图像与红外图像两幅图像中同一区域的灰度差值，根据灰度差值与预设阈值的关系便可以确定出灰度差值对应的区域是否出现异常，实现对红外图像中所有区域的异常检测，不局限于只对红外图像中温度最高的区域进行监测，并且，出现异常时的温度低于红外图像中温度最高值时，并不能检测出出现异常的温度，因此，本申请可以更有效地检测出出现异常的区域。
本申请还提供一种基于双光融合的红外图像的异常监测***，该***包括：
图像采集设备，用于采集可见光图像；
红外热像仪，用于采集红外图像；
上述基于双光融合的红外图像的异常监测设备。
需要说明的是，本实施例中对图像采设备的种类并不做具体限定，可视情况而定。例如，图像采集设备可为CCD(Charge-coupled Device，电荷耦合元件)图像采集设备，或者CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)图像采集设备。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
以上对本申请所提供的基于双光融合的红外图像的异常监测方法、装置、设备及***进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
Claims (10)
1.一种基于双光融合的红外图像的异常监测方法，其特征在于，包括：
获取图像显示内容一致且同步采集的可见光图像和红外图像；
将所述可见光图像输入预先训练好的神经网络，输出转化后红外图像；
分别获取所述转化后红外图像与所述红外图像中同一区域的灰度差值；
判断所述灰度差值是否大于预设阈值；
若是，确定所述灰度差值对应的区域存在异常。
2.如权利要求1所述的基于双光融合的红外图像的异常监测方法，其特征在于，所述获取图像显示内容一致且同步采集的可见光图像和红外图像包括：
获取同步采集的初始可见光图像和初始红外图像；
设定所述初始可见光图像和所述初始红外图像两者中任一幅图像为标准图像，另一幅为待配准图像；
以所述标准图像的图像显示内容为标准，对所述待配准图像中的显示内容进行配准，使配准后的待配准图像的图像显示内容与所述标准图像一致，得到所述可见光图像和所述红外图像。
3.如权利要求2所述的基于双光融合的红外图像的异常监测方法，其特征在于，所述对所述待配准图像中的显示内容进行配准包括：
利用SIFT算法确定所述标准图像中的特征点，并根据所述特征点对所述待配准图像中的显示内容进行配准。
4.如权利要求1至3任一项所述的基于双光融合的红外图像的异常监测方法，其特征在于，在所述确定所述灰度差值对应的区域存在异常之后，还包括：
发送报警信息至预设终端。
5.如权利要求4所述的基于双光融合的红外图像的异常监测方法，其特征在于，所述报警信息为声音报警信息和/或文字报警信息。
6.一种基于双光融合的红外图像的异常监测装置，其特征在于，包括：
第一获取模块，用于获取图像显示内容一致且同步采集的可见光图像和红外图像；
转化模块，用于将所述可见光图像输入预先训练好的神经网络，输出转化后红外图像；
第二获取模块，用于分别获取所述转化后红外图像与所述红外图像中同一区域的灰度差值；
判断模块，用于判断所述灰度差值是否大于预设阈值；
确定模块，用于当所述灰度差值大于所述预设阈值时，确定所述灰度差值对应的区域存在异常。
7.如权利要求6所述的基于双光融合的红外图像的异常监测装置，其特征在于，所述第一获取模块具体包括：
获取单元，用于获取同步采集的初始可见光图像和初始红外图像；
设定单元，用于设定所述初始可见光图像和所述初始红外图像两者中任一幅图像为标准图像，另一幅为待配准图像；
配准单元，用于以所述标准图像的图像显示内容为标准，对所述待配准图像中的显示内容进行配准，使配准后的待配准图像的图像显示内容与所述标准图像一致，得到所述可见光图像和所述红外图像。
8.如权利要求6或7所述的基于双光融合的红外图像的异常监测装置，其特征在于，还包括：
发送模块，用于发送报警信息至预设终端。
9.一种基于双光融合的红外图像的异常监测设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述基于双光融合的红外图像的异常监测方法的步骤。
10.一种基于双光融合的红外图像的异常监测***，其特征在于，包括：
图像采集设备，用于采集可见光图像；
红外热像仪，用于采集红外图像；
如权利要求9所述的基于双光融合的红外图像的异常监测设备。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910887106.0A CN110633682B (zh) | 2019-09-19 | 2019-09-19 | 基于双光融合的红外图像的异常监测方法、装置、设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910887106.0A CN110633682B (zh) | 2019-09-19 | 2019-09-19 | 基于双光融合的红外图像的异常监测方法、装置、设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110633682A true CN110633682A (zh) | 2019-12-31 |
| CN110633682B CN110633682B (zh) | 2022-07-12 |
Family
ID=68971697
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910887106.0A Active CN110633682B (zh) | 2019-09-19 | 2019-09-19 | 基于双光融合的红外图像的异常监测方法、装置、设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110633682B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111307289A (zh) * | 2020-02-18 | 2020-06-19 | 浙江大华技术股份有限公司 | 一种体温异常识别方法及装置 |
| CN111738132A (zh) * | 2020-06-17 | 2020-10-02 | 银河水滴科技（北京）有限公司 | 人体温度的测量方法、装置、电子设备及可读存储介质 |
| CN112528895A (zh) * | 2020-12-17 | 2021-03-19 | 恒银金融科技股份有限公司 | 一种金融票据图像票号处变造检测的计算方法 |
| CN112577603A (zh) * | 2020-10-09 | 2021-03-30 | 国网浙江宁波市奉化区供电有限公司 | 基于电缆接头及其周围温度的开关柜实时监测方法及*** |
| CN112766481A (zh) * | 2020-03-13 | 2021-05-07 | 腾讯科技（深圳）有限公司 | 神经网络模型的训练方法、装置及图像检测的方法 |
| CN113034915A (zh) * | 2021-03-29 | 2021-06-25 | 北京卓视智通科技有限责任公司 | 一种双光谱交通事件检测方法及装置 |
| CN113095189A (zh) * | 2021-04-01 | 2021-07-09 | 武汉一维路科技有限公司 | 基于机器视觉和数据分析的电力***变电站运行环境安全智能监测管理*** |
| CN113298744A (zh) * | 2021-06-07 | 2021-08-24 | 长春理工大学 | 一种端到端的红外与可见光图像融合方法 |
| CN113674212A (zh) * | 2021-07-26 | 2021-11-19 | 宁波帅特龙集团有限公司 | 一种把手装配检测方法与设备 |
| CN114485947A (zh) * | 2021-12-30 | 2022-05-13 | 北京联合永道软件股份有限公司 | 用于户外用电设备的安防监控方法 |
| CN114783141A (zh) * | 2022-04-24 | 2022-07-22 | 王江湖 | 一种消防安全*** |
| CN117238143A (zh) * | 2023-09-15 | 2023-12-15 | 北京卓视智通科技有限责任公司 | 基于雷达双光谱相机的交通数据融合方法、***和装置 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011162417A1 (ja) * | 2010-06-24 | 2011-12-29 | 有限会社西原電子 | 欠陥電極検出装置 |
| CN102661799A (zh) * | 2012-05-16 | 2012-09-12 | 广东电网公司珠海供电局 | 故障定位方法与*** |
| CN103399248A (zh) * | 2013-07-18 | 2013-11-20 | 江苏物联网研究发展中心 | Pcb电路板缺陷批量检测***和方法 |
| US20140192184A1 (en) * | 2011-06-09 | 2014-07-10 | Guangzhou Sat Infrared Technology Co., Ltd. | Forest fire early-warning system and method based on infrared thermal imaging technology |
| CN104021548A (zh) * | 2014-05-16 | 2014-09-03 | 中国科学院西安光学精密机械研究所 | 一种获取场景4d信息的方法 |
| US20150304612A1 (en) * | 2014-04-18 | 2015-10-22 | Flir Systems, Inc. | Multi-sensor monitoring systems and methods |
| CN107025648A (zh) * | 2017-03-20 | 2017-08-08 | 中国人民解放军空军工程大学 | 一种电路板故障红外图像自动检测方法 |
| CN107253485A (zh) * | 2017-05-16 | 2017-10-17 | 北京交通大学 | 异物侵入检测方法及异物侵入检测装置 |
| US20180227509A1 (en) * | 2015-08-05 | 2018-08-09 | Wuhan Guide Infrared Co., Ltd. | Visible light image and infrared image fusion processing system and fusion method |
| CN109242815A (zh) * | 2018-09-28 | 2019-01-18 | 合肥英睿***技术有限公司 | 一种红外光图像和可见光图像融合方法及*** |
| CN208443773U (zh) * | 2018-07-11 | 2019-01-29 | 云南电网有限责任公司电力科学研究院 | 一种基于热辐射的无人机巡线缺陷检测装置 |
| CN109472837A (zh) * | 2018-10-24 | 2019-03-15 | 西安电子科技大学 | 基于条件生成对抗网络的光电图像转换方法 |
| CN109613401A (zh) * | 2019-01-31 | 2019-04-12 | 福州大学 | 一种基于智能低成本红外热视的电缆电弧故障预警*** |
| EP3534326A1 (en) * | 2016-10-31 | 2019-09-04 | Guangzhou SAT Infrared Technology Co., Ltd. | Method and apparatus for merging infrared image and visible light image |
-
2019
- 2019-09-19 CN CN201910887106.0A patent/CN110633682B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011162417A1 (ja) * | 2010-06-24 | 2011-12-29 | 有限会社西原電子 | 欠陥電極検出装置 |
| US20140192184A1 (en) * | 2011-06-09 | 2014-07-10 | Guangzhou Sat Infrared Technology Co., Ltd. | Forest fire early-warning system and method based on infrared thermal imaging technology |
| CN102661799A (zh) * | 2012-05-16 | 2012-09-12 | 广东电网公司珠海供电局 | 故障定位方法与*** |
| CN103399248A (zh) * | 2013-07-18 | 2013-11-20 | 江苏物联网研究发展中心 | Pcb电路板缺陷批量检测***和方法 |
| US20150304612A1 (en) * | 2014-04-18 | 2015-10-22 | Flir Systems, Inc. | Multi-sensor monitoring systems and methods |
| CN104021548A (zh) * | 2014-05-16 | 2014-09-03 | 中国科学院西安光学精密机械研究所 | 一种获取场景4d信息的方法 |
| US20180227509A1 (en) * | 2015-08-05 | 2018-08-09 | Wuhan Guide Infrared Co., Ltd. | Visible light image and infrared image fusion processing system and fusion method |
| EP3534326A1 (en) * | 2016-10-31 | 2019-09-04 | Guangzhou SAT Infrared Technology Co., Ltd. | Method and apparatus for merging infrared image and visible light image |
| CN107025648A (zh) * | 2017-03-20 | 2017-08-08 | 中国人民解放军空军工程大学 | 一种电路板故障红外图像自动检测方法 |
| CN107253485A (zh) * | 2017-05-16 | 2017-10-17 | 北京交通大学 | 异物侵入检测方法及异物侵入检测装置 |
| CN208443773U (zh) * | 2018-07-11 | 2019-01-29 | 云南电网有限责任公司电力科学研究院 | 一种基于热辐射的无人机巡线缺陷检测装置 |
| CN109242815A (zh) * | 2018-09-28 | 2019-01-18 | 合肥英睿***技术有限公司 | 一种红外光图像和可见光图像融合方法及*** |
| CN109472837A (zh) * | 2018-10-24 | 2019-03-15 | 西安电子科技大学 | 基于条件生成对抗网络的光电图像转换方法 |
| CN109613401A (zh) * | 2019-01-31 | 2019-04-12 | 福州大学 | 一种基于智能低成本红外热视的电缆电弧故障预警*** |
Non-Patent Citations (5)
| Title |
|---|
| TIEZHU QIAO等: "Integrative binocular vision detection method based on infrared and visible light fusion for conveyor belts longitudinal tear", 《MEASUREMENT》 * |
| TIEZHU QIAO等: "Integrative binocular vision detection method based on infrared and visible light fusion for conveyor belts longitudinal tear", 《MEASUREMENT》, vol. 110, 29 June 2017 (2017-06-29), pages 192 - 201 * |
| 乔铁柱: "输送带纵向撕裂可见光与红外双目视觉在线检测***研究", 《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》 * |
| 乔铁柱: "输送带纵向撕裂可见光与红外双目视觉在线检测***研究", 《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》, no. 06, 15 June 2016 (2016-06-15), pages 138 - 14 * |
| 刘鹏: "基于双目成像技术的电力设备监测***设计", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》, no. 2019, 15 June 2019 (2019-06-15), pages 042 - 470 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111307289A (zh) * | 2020-02-18 | 2020-06-19 | 浙江大华技术股份有限公司 | 一种体温异常识别方法及装置 |
| CN111307289B (zh) * | 2020-02-18 | 2021-08-27 | 浙江大华技术股份有限公司 | 一种体温异常识别方法及装置 |
| CN112766481A (zh) * | 2020-03-13 | 2021-05-07 | 腾讯科技（深圳）有限公司 | 神经网络模型的训练方法、装置及图像检测的方法 |
| CN112766481B (zh) * | 2020-03-13 | 2023-11-24 | 腾讯科技（深圳）有限公司 | 神经网络模型的训练方法、装置及图像检测的方法 |
| CN111738132A (zh) * | 2020-06-17 | 2020-10-02 | 银河水滴科技（北京）有限公司 | 人体温度的测量方法、装置、电子设备及可读存储介质 |
| CN111738132B (zh) * | 2020-06-17 | 2024-03-05 | 银河水滴科技（北京）有限公司 | 人体温度的测量方法、装置、电子设备及可读存储介质 |
| CN112577603A (zh) * | 2020-10-09 | 2021-03-30 | 国网浙江宁波市奉化区供电有限公司 | 基于电缆接头及其周围温度的开关柜实时监测方法及*** |
| CN112528895A (zh) * | 2020-12-17 | 2021-03-19 | 恒银金融科技股份有限公司 | 一种金融票据图像票号处变造检测的计算方法 |
| CN112528895B (zh) * | 2020-12-17 | 2023-09-12 | 恒银金融科技股份有限公司 | 一种金融票据图像票号处变造检测的计算方法 |
| CN113034915A (zh) * | 2021-03-29 | 2021-06-25 | 北京卓视智通科技有限责任公司 | 一种双光谱交通事件检测方法及装置 |
| CN113095189B (zh) * | 2021-04-01 | 2022-01-14 | 广东履安实业有限公司 | 基于机器视觉和数据分析的电力***变电站运行环境安全智能监测管理*** |
| CN113095189A (zh) * | 2021-04-01 | 2021-07-09 | 武汉一维路科技有限公司 | 基于机器视觉和数据分析的电力***变电站运行环境安全智能监测管理*** |
| CN113298744A (zh) * | 2021-06-07 | 2021-08-24 | 长春理工大学 | 一种端到端的红外与可见光图像融合方法 |
| CN113674212A (zh) * | 2021-07-26 | 2021-11-19 | 宁波帅特龙集团有限公司 | 一种把手装配检测方法与设备 |
| CN113674212B (zh) * | 2021-07-26 | 2024-05-24 | 宁波帅特龙集团有限公司 | 一种把手装配检测方法与设备 |
| CN114485947A (zh) * | 2021-12-30 | 2022-05-13 | 北京联合永道软件股份有限公司 | 用于户外用电设备的安防监控方法 |
| CN114485947B (zh) * | 2021-12-30 | 2024-04-02 | 北京联合永道软件股份有限公司 | 用于户外用电设备的安防监控方法 |
| CN114783141A (zh) * | 2022-04-24 | 2022-07-22 | 王江湖 | 一种消防安全*** |
| CN117238143A (zh) * | 2023-09-15 | 2023-12-15 | 北京卓视智通科技有限责任公司 | 基于雷达双光谱相机的交通数据融合方法、***和装置 |
| CN117238143B (zh) * | 2023-09-15 | 2024-03-22 | 北京卓视智通科技有限责任公司 | 基于雷达双光谱相机的交通数据融合方法、***和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110633682B (zh) | 2022-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110633682B (zh) | 基于双光融合的红外图像的异常监测方法、装置、设备 | |
| CN101764926B (zh) | 缺陷像素检测纠正设备、***及检测纠正缺陷像素的方法 | |
| CN110059666B (zh) | 一种注意力检测方法及装置 | |
| JP2012089929A (ja) | 物体検知装置、物体検知方法、監視カメラシステム、およびプログラム | |
| US20150071548A1 (en) | Image processing system, server device, image pickup device and image evaluation method | |
| CN107305695B (zh) | 一种图像自动坏点校正装置及方法 | |
| CN111814776B (zh) | 一种图像处理方法、设备、服务器及存储介质 | |
| JP7024713B2 (ja) | 画像処理装置、及び画像処理方法 | |
| CN116797977A (zh) | 巡检机器人动态目标识别与测温方法、装置和存储介质 | |
| JP2010124028A (ja) | 監視装置 | |
| JP5264457B2 (ja) | 物体検出装置 | |
| KR101428913B1 (ko) | 초소형 이미지 어레이 센서를 이용한 과열 상태 감시 시스템 | |
| US9088699B2 (en) | Image communication method and apparatus which controls the output of a captured image | |
| CN113108919B (zh) | 人体温度检测方法、装置和存储介质 | |
| JP7417426B2 (ja) | 異常検知装置、および異常検知方法 | |
| CN110853127A (zh) | 图像处理方法、装置及设备 | |
| CN110213457B (zh) | 一种图像传输方法及装置 | |
| JP5045449B2 (ja) | 画像処理による環境適応型侵入者検知装置 | |
| US11272172B2 (en) | Image processing apparatus, failure detection method performed by image processing apparatus, and non-transitory recording medium | |
| JP5167614B2 (ja) | 距離画像生成装置、距離画像生成方法及びプログラム | |
| CN111435080B (zh) | 一种水位测量方法、装置及*** | |
| US10306138B2 (en) | Image output method and image capturing device | |
| JP2022158339A (ja) | 検出装置、検出方法及びプログラム | |
| JP2020085829A (ja) | 振動検出方法 | |
| JP7372072B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および画像検査システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20191231 Assignee: Yantai Airui Photo-Electric Technology Co.,Ltd. Assignor: INFIRAY TECHNOLOGIES CO.,LTD. Contract record no.: X2024980006468 Denomination of invention: Anomaly monitoring method, device, and equipment for infrared images based on dual light fusion Granted publication date: 20220712 License type: Common License Record date: 20240617 |
|
| EE01 | Entry into force of recordation of patent licensing contract |