CN105488941B - 基于红外-可见光图像的双光谱森林火情监测方法及装置 - Google Patents

基于红外-可见光图像的双光谱森林火情监测方法及装置 Download PDF

Info

Publication number
CN105488941B
CN105488941B CN201610029028.7A CN201610029028A CN105488941B CN 105488941 B CN105488941 B CN 105488941B CN 201610029028 A CN201610029028 A CN 201610029028A CN 105488941 B CN105488941 B CN 105488941B
Authority
CN
China
Prior art keywords
image
infrared
region
interest
visible images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610029028.7A
Other languages
English (en)
Other versions
CN105488941A (zh
Inventor
李波
蔡宇
汪洋
左春婷
黄艳金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sino Forest Xinda (beijing) Science And Technology Information Co Ltd
Original Assignee
Sino Forest Xinda (beijing) Science And Technology Information Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sino Forest Xinda (beijing) Science And Technology Information Co Ltd filed Critical Sino Forest Xinda (beijing) Science And Technology Information Co Ltd
Priority to CN201610029028.7A priority Critical patent/CN105488941B/zh
Publication of CN105488941A publication Critical patent/CN105488941A/zh
Application granted granted Critical
Publication of CN105488941B publication Critical patent/CN105488941B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00Fire alarms; Alarms responsive to explosion
    • G08B17/005Fire alarms; Alarms responsive to explosion for forest fires, e.g. detecting fires spread over a large or outdoors area
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00Fire alarms; Alarms responsive to explosion
    • G08B17/12Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Fire-Detection Mechanisms (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种基于红外‑可见光图像的双光谱森林火情监测方法及装置。该方法包括:获取当前场景的红外图像和可见光图像;确定红外图像中的疑似火点标记区域;将疑似火点标记区域映射到可见光图像中的相应位置,得到可见光图像中的感兴趣区域;对感兴趣区域内的图像进行验证,根据验证结果确定当前场景中是否存在真实火点。本发明通过采用上述技术方案,将红外图像检测识别优势与可见光图像检测识别优势进行结合,可消除外观与火焰相似度高但辐射能量与火焰不同的物体对判断结果的干扰,提升准确度。并且,在可见光图像中仅对感兴趣区域中的图像进行验证,可减少计算量,提升效率,保证火情监测的实时性。

Description

基于红外-可见光图像的双光谱森林火情监测方法及装置
技术领域
本发明实施例涉及移动设备技术领域,尤其涉及一种基于红外-可见光图像的双光谱森林火情监测方法及装置。
背景技术
森林火灾是一种突发性强、破坏性大、处置救助较为困难的自然灾害。因此,在林火险情监测环节中,发现险情的及时性和准确性尤为重要,能够使相关工作人员尽快采取抢救措施,最大限度的降低森林火灾的损失。
目前,云台定点观测是我国采用的主要林火检测手段,为了节省人力,通常采用视频图像自动检测技术来监测森林火情。常见的视频图像自动检测技术包括基于可见光图像的火点检测技术和基于遥感图像的火点检测技术。其中,基于可见光图像的火点检测算法中,利用了火焰的可见光光谱特征(如颜色特征、纹理特征和运动特征等),难以滤除外观与火焰相似度高的物体(如飘扬的红旗及灯光等),报警准确率低,且算法中火点与背景进行同样处理,需要计算较大的数据量,效率较低,尤其不适用于在远距离以及低照度环境下的检测。基于遥感图像的火点检测算法中,主要是利用特定卫星的某些波段经过不同方式的伪彩色合成、波段代数运算后阈值化得到火点位置,通常需要人工交互处理;此外,遥感数据为地面站接收、解析、处理并分发出来的,并且遥感图像分辨率低,发现火点时地面可能已经成灾,因此实时性方面较为逊色。
发明内容
本发明实施例的目的是提供一种基于红外-可见光图像的双光谱森林火情监测方法及装置,以解决现有的森林火情监测方案准确度低且实时性差的问题。
一方面,本发明实施例提供了一种基于红外-可见光图像的双光谱森林火情监测方法,包括:
获取当前场景的红外图像和可见光图像;
确定所述红外图像中的疑似火点标记区域;
将所述疑似火点标记区域映射到所述可见光图像中的相应位置,得到所述可见光图像中的感兴趣区域;
对所述感兴趣区域内的图像进行验证,根据验证结果确定所述当前场景中是否存在真实火点。
另一方面,本发明实施例提供了一种基于红外-可见光图像的双光谱森林火情监测装置,包括:
图像获取模块,用于获取当前场景的红外图像和可见光图像;
疑似火点标记区域确定模块,用于确定所述红外图像中的疑似火点标记区域;
映射模块,用于将所述疑似火点标记区域映射到所述可见光图像中的相应位置,得到所述可见光图像中的感兴趣区域;
真实火点确定模块,用于对所述感兴趣区域内的图像进行验证,根据验证结果确定所述当前场景中是否存在真实火点。
本发明实施例中提供的一种基于红外-可见光图像的双光谱森林火情监测方案,获取当前场景的红外图像和可见光图像后,先确定红外图像中的疑似火点标记区域,再将疑似火点标记区域映射到所述可见光图像中的相应位置,得到可见光图像中的感兴趣区域,并对感兴趣区域内的图像进行验证,最后根据验证结果确定当前场景中是否存在真实火点。通过采用上述技术方案,将红外图像检测识别优势与可见光图像检测识别优势进行结合,先根据红外图像的成像特征确定疑似火点标记区域,再将疑似火点标记区域映射到可见光图像中,可消除外观与火焰相似度高但辐射能量与火焰不同的物体对判断结果的干扰,提升准确度。并且,在可见光图像中仅对感兴趣区域中的图像进行验证,避免了在夜间场景下的林区图像中亮度低的背景占了绝大部分、所有像素参与计算浪费大量资源的缺陷,可减少计算量,提升效率,保证火情监测的实时性。此外,上述技术方案既能够克服单可见光火点识别算法在远距离、低照度环境下的不足,也适用于大范围搜索火点及近距离监测火情,同遥感图像与可见光图像相结合的方式比,该方案的简便性和实时性同样也十分突出。
附图说明
图1为本发明实施例一提供的一种基于红外-可见光图像的双光谱森林火情监测方法的流程示意图;
图2为本发明实施例二提供的一种基于红外-可见光图像的双光谱森林火情监测方法的流程示意图;
图3为本发明实施例三提供的一种优选的基于红外-可见光图像的双光谱森林火情监测方法的流程示意图;
图4为本发明实施例三提供的一种红外热点检测算法流程示意图;
图5为本发明实施例三提供的一种可见光疑似火点验证算法流程示意图;
图6为本发明实施例四提供的一种基于红外-可见光图像的双光谱森林火情监测装置的结构框图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理,但是其中的许多步骤可以被并行地、并发地或者同时实施。此外,各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1为本发明实施例一提供的一种基于红外-可见光图像的双光谱森林火情监测方法的流程示意图,该方法可以由基于红外-可见光图像的双光谱森林火情监测装置执行,其中该装置可由软件和/或硬件实现,一般可集成在森林火情监测***中。如图1所示,该方法包括:
步骤110、获取当前场景的红外图像和可见光图像。
示例性的,所述森林火情监测***可包括球台(又称云台)、红外相机和可见光相机,还可包括球机控制设备。在开始监测前,需要合理设置球台的巡航方式及预置位,以覆盖所有待监测区域,在球台上安装红外相机和可见光相机,并对红外相机和可见光相机的位置以及各项参数等进行调整。上述准备工作完毕后,可由球机控制设备控制球台转动到预置位位置,实时获取红外相机和可见光相机的数据,即本步骤中的获取当前场景的红外图像和可见光图像。
需要说明的是,红外相机的取景范围大小与可见光相机的取景范围大小可相同也可不同。如果不同,优选的,可见光相机的取景范围大于红外相机的取景范围。也就是说,可见光图像中包含红外图像中的所有景象,还可包含红外图像中不存在的其他景象。
步骤120、确定红外图像中的疑似火点标记区域。
红外图像的成像特点是可反映不同物体向外辐射能量的差异,也即可反映物体的热量特征。示例性的,因为物体的热量特征能够以红外图像中的亮度值进行衡量,热量较高的物体在红外图像中的亮度值较高,而热量较低的物体在红外图像中的亮度值较低,所以可根据红外图像中的亮度值分布特点来初步挑选出符合火焰的热量特征的区域,从而确定红外图像中的疑似火点标记区域。疑似火点标记区域中包含了疑似火点的景物。
示例性的,所述疑似火点标记区域的形状和大小不作具体限定,可预先进行设置,也可根据实际的亮度值分布特点进行自动调整。优选的,为了分析方便,所述疑似火点标记区域具体可为疑似火点矩形标记区域。
进一步的,本步骤可优选为:根据红外图像中的亮度值分布特点将红外图像分割成多个区域,采用矩形标记将亮度值高于预设亮度阈值的区域圈定为疑似火点矩形标记区域。示例性的,进行区域分割时,可将亮度值较为接近的像素分割到同一个区域中,详尽的分割方式此处不作限定。在采用矩形标记圈定疑似火点矩形标记区域时,可计算当前区域中亮度值的平均值是否高于预设亮度阈值,若是,则将当前区域圈定为疑似火点矩形标记区域。
步骤130、将疑似火点标记区域映射到可见光图像中的相应位置,得到可见光图像中的感兴趣区域。
示例性的,红外图像和可见光图像同时包含了当前场景,所以从红外图像中确定的疑似火点标记区域中包含的景物也同样存在于可见光图像中。需要说明的是,本实施例中将疑似火点标记区域映射到可见光图像中的相应位置是指,将疑似火点标记区域的边界映射到可见光图像的相应位置,而非将疑似火点标记区域中包含的图像内容复制到可见光图像的相应位置。根据预设算法将红外图像中的疑似火点标记区域映射到可见光图像中的相应位置,得到可见光图像中的感兴趣区域(region of interest,ROI),所以感兴趣区域中同样包含疑似火点的景物,该疑似火点的景物在可见光图像中的分辨率更高,更有利于做进一步的是否为真实火点的验证。需要说明的是,所述预设算法不是唯一的,例如,可参照红外-可见光相机联合标定技术,得到红外图像与可见光图像之间像素级对应的映射矩阵,利用该映射矩阵可以将红外图像中的疑似火点标记区域集合映射到可见光图像上。本领域技术人员可根据实际应用情况以及森林火情监测***的配置情况选取合适的预设算法,本实施例不作具体限定。
需要说明的是,红外图像中的疑似火点标记区域可以为多个,所以对应的可见光图像中的感兴趣区域也可以为多个。
步骤140、对感兴趣区域内的图像进行验证,根据验证结果确定当前场景中是否存在真实火点。
示例性的,对可见光图像中的感兴趣区域内的图像进行验证的方式可参照现有的验证方式。例如,可对颜色特征、亮度分布特征以及运动特征等方面进行验证。与现有的验证方式的主要区别在于,现有的验证方式中,需要对整个可见光图像进行验证,对火点以及背景都进行同样的处理,需要计算较大的数据量,效率较低;而本实施例中,仅对包含疑似火点的感兴趣区域内的图像进行验证,大大减少了需要计算的数据量,提升效率,保证实时性。
本发明实施例一提供的基于红外-可见光图像的双光谱森林火情监测方法,获取当前场景的红外图像和可见光图像后,先确定红外图像中的疑似火点标记区域,再将疑似火点标记区域映射到所述可见光图像中的相应位置,得到可见光图像中的感兴趣区域,并对感兴趣区域内的图像进行验证,最后根据验证结果确定当前场景中是否存在真实火点。通过采用上述技术方案,将红外图像检测识别优势与可见光图像检测识别优势进行结合,先根据红外图像的成像特征确定疑似火点标记区域,再将疑似火点标记区域映射到可见光图像中,可消除外观与火焰相似度高但辐射能量与火焰不同的物体对判断结果的干扰,提升准确度。并且,在可见光图像中仅对感兴趣区域中的图像进行验证,避免了在夜间场景下的林区图像中亮度低的背景占了绝大部分、所有像素参与计算浪费大量资源的缺陷,可减少计算量,提升效率,保证火情监测的实时性。此外,上述技术方案既能够克服单可见光火点识别算法在远距离、低照度环境下的不足,也适用于大范围搜索火点及近距离监测火情,同遥感图像与可见光图像相结合的方式比,该方案的简便性和实时性同样也十分突出。
实施例二
图2为本发明实施例二提供的一种基于红外-可见光图像的双光谱森林火情监测方法的流程示意图,本实施例以上述实施例为基础进行优化,尤其是采用矩形标记圈定疑似火点区域,并利用投票机制对多帧红外图像进行处理,提高确定疑似火点矩形标记区域的准确度,在兼顾到火点可能存在的小幅度摇曳运动的前提下,消除运动车灯等物体造成的干扰。
具体的,本实施例的方法包括如下步骤:
步骤210、获取当前场景的红外图像集合和可见光图像,红外图像集合中包含n帧对应n个不同时刻的红外图像。
步骤220、对于红外图像集合中的每一帧红外图像,根据亮度值分布特点将当前红外图像分割成多个区域,采用矩形标记将亮度值高于预设亮度阈值的区域圈定为矩形标记区域;将当前红外图像中的矩形标记区域内的像素标记为1,矩形标记区域外的像素标记为0。
具体的,红外图像集合可记为{A1,A2,A3……An|n>0},对于每帧红外图像Ai(0<i<n)进行标记,将矩形标记区域内的像素标记为1,矩形标记区域外的像素标记为0。
步骤230、统计在红外图像集合中的不同红外图像中的相同位置处的像素被标记为1的次数,采用投票机制将被标记为1的次数不小于预设次数的像素记为1,其他像素记为0,形成目标二值图像。
优选的,所述预设次数为0.8n。
步骤240、对目标二值图像进行轮廓提取,并采用矩形标记圈定疑似火点矩形标记区域。
示例性的,执行步骤210-步骤240的好处在于,对n帧红外图像得到的疑似火点矩形标记区域,采用像素级的投票机制作为最终的判别结果,可消除运动车灯等物体造成的干扰,同时兼顾到火点可能存在的小幅度摇曳运动,最终得到准确度更高的疑似火点矩形标记区域。
步骤250、采用图像变换模型将疑似火点矩形标记区域映射到可见光图像中的相应位置,得到可见光图像中的感兴趣区域。
具体的,所述图像变换模型具体为:
其中,C1表示红外相机,C2表示可见光相机;R为C2相对于C1的旋转矩阵,t为C2相对于C1的位移向量;(u1,v1)为空间点在红外图像中的坐标,(u2,v2)为所述空间点在可见光图像中的坐标;K1为C1的内参数矩阵,K2为C2的内参数矩阵;Zc1为所述空间点到C1像平面的距离,Zc2为所述空间点到C2像平面的距离。
示例性的,该模型给出了从不同视角获取包含同一场景的两幅图像之间的几何变换关系,可称之为基于摄像机运动参数的图像变换模型。根据相机厂商提供的设备说明,获取可见光相机和红外相机的内参数信息,包括焦距、图像中心坐标、像元尺寸等,并将其作为内参数初始值,即矩阵K1为和K2
上述模型公式中的旋转矩阵R可以用3个欧拉角来表示,即绕X轴旋转的角度α,绕Y轴旋转的角度β,绕Z轴旋转的角度γ,R的表达式为
上述模型公式中的平移向量t的表达式为t=[t1 t2 t3]T
优选的,在将疑似火点矩形标记区域映射到可见光图像中的相应位置之前,可将疑似火点矩形标记区域的轮廓向外延拓预设数量的像素,形成最终疑似火点标记区域。随后,将最终疑似火点标记区域映射到可见光图像中的相应位置,得到可见光图像中的感兴趣区域。这样做的好处在于,可以消除映射过程产生误差而带来的影响。需要说明的是,也可在将疑似火点矩形标记区域映射到可见光图像中的相应位置之后,得到初始感兴趣区域,再将初始感兴趣区域轮廓向外延拓预设数量的像素,形成最终的感兴趣区域,同样可到达消除误差影响的效果。
步骤260、对感兴趣区域内的图像进行验证,根据验证结果确定当前场景中是否存在真实火点。
具体的,本步骤可包括:将当前感兴趣区域与预设真火情颜色空间模型进行匹配,得到第一匹配度;将所述当前感兴趣区域与预设伪火情颜色空间模型进行匹配,得到第二匹配度;若第一匹配度高于第二匹配度,则确定当前感兴趣区域为疑似火点区域;对可见光图像中的所有疑似火点区域进行验证,根据验证结果确定当前场景中是否存在真实火点。
示例性的,所述预设真火情颜色空间模型和预设伪火情颜色空间模型具体可为利用混合高斯模型技术分别对真实着火点(如树木、草原等)和干扰热源(如车辆、灯光等)分别进行颜色空间建模而得到的。匹配度具体可用于衡量感兴趣区域与预设真火情颜色空间模型或预设伪火情颜色空间模型的接近程度,匹配度越高,则说明与相应的模型越接近。当对应于预设真火情颜色空间模型的第一匹配度高于对应于预设伪火情颜色空间模型的第二匹配度时,说明当前感兴趣区域更接近预设真火情颜色空间模型,则可确定当前感兴趣区域为疑似火点区域。
随后,对可见光图像中的所有疑似火点区域进行验证,根据验证结果确定当前场景中是否存在真实火点。例如,可进行亮度分布检测和运动特征检测等。在进行亮度分布检测时,可分析火焰像素亮度的分布规律,由内焰的燃烧中心点到外焰边缘,由于燃烧温度的差异,颜色亮度会逐层递减,利用亮度直方图统计灰度变化规律,并对疑似火点进行筛选;在进行运动特征检测时,可利用高斯混合模型(Gaussian Mixture Model,GMM;又称混合高斯模型)背景建模技术进行疑似火点筛选,以进一步消除运动车灯等物体造成的干扰,同时兼顾到火点可能存在的小幅度摇曳运动,运动特征检测时同样需要多帧可见光图像,优选的,在获取当前场景的红外图像集合时,同样获取可见光图像集合。
本发明实施例二在实施例一的基础上,采用矩形标记圈定疑似火点区域,并利用投票机制对多帧红外图像进行处理,提高确定疑似火点矩形标记区域的准确度,在兼顾到火点可能存在的小幅度摇曳运动的前提下,消除运动车灯等物体造成的干扰,可进一步提高火情监测的准确度。并且,消除运动车灯等物体干扰后,疑似火点矩形标记区域的总面积也会相应减少,从而使感兴趣区域的总面积减少,可进一步减少计算量,提升效率,保证火情监测的实时性。
实施例三
图3为本发明实施例三提供的一种优选的基于红外-可见光图像的双光谱森林火情监测方法的流程示意图,如图3所示,该方法具体包括如下步骤:
步骤310、球台转动到当前预置位。
步骤320、获取当前预置位对应的当前场景的红外图像和可见光图像。
步骤330、运行红外热点检测算法,判断是否能够得出疑似火点矩形标记区域,若是,则执行步骤350;否则,执行步骤340。
进一步的,图4为本发明实施例三提供的一种红外热点检测算法流程示意图,如图4所示,该算法包括如下步骤:
步骤331、对红外图像进行预处理。
具体的,可对红外图像进行滤波增强等操作,削弱或消除光线较弱产生的一些干扰。
步骤332、对预处理之后的红外图像进行阈值分割。
利用红外图像的成像特点,即热量高的物体在红外图像中亮度值高、反之则低,对每帧红外图像进行阈值分割,可将热点目标从背景中分离出来。
步骤333、对经过阈值分割后的红外图像进行形态学操作。
示例性的,步骤332中对红外图像进行阈值分割后,可形成二值图,通过对二值图进行膨胀等形态学操作,以达到填补空洞、将热点目标的整体而不是部分提取出来的目的。
步骤334、采用矩形标记圈定矩形标记区域。
示例性的,寻找热点目标轮廓,并用矩形标记最外面的边界,得到疑似火点的矩形标记区域。
步骤335、判断当前矩形标记区域是否满足滤除条件,若是,则执行步骤336,否则执行步骤337。
示例性的,所述滤除条件可包括森林火点的先验知识。
步骤336、滤除当前矩形标记区域,执行步骤338。
步骤337、保留当前矩形标记区域,执行步骤338。
步骤338、判断当前矩形标记区域是否为最后一个,如果是,结束流程;否则,执行步骤339。
步骤339、将下一个矩形标记区域设置为新的当前矩形标记区域,返回执行步骤335。
经过滤除保留下来的矩形标记区域即为疑似火点矩形标记区域。
优选的,还可进行如实施例二中的利用投票机制对多帧红外图像进行处理,得到最终的疑似火点矩形标记区域,以进一步提高确定疑似火点矩形标记区域的准确度。具体细节可参照本发明实施例二中的相关描述。
红外热点检测算法流程结束后,可执行步骤350。若按照红外热点检测算法无法得出疑似火点矩形标记区域,说明当前场景中不存在疑似火点,可执行步骤340。
步骤340、将下一个预置位设定为当前预置位,并返回执行步骤310。
步骤350、将疑似火点标记区域映射到可见光图像中的相应位置,得到可见光图像中的感兴趣区域。
具体的,可采用图像变换模型将疑似火点矩形标记区域映射到可见光图像中的相应位置,得到可见光图像中的感兴趣区域。
所述图像变换模型具体为:
其中,C1表示红外相机,C2表示可见光相机;R为C2相对于C1的旋转矩阵,t为C2相对于C1的位移向量;(u1,v1)为空间点在红外图像中的坐标,(u2,v2)为所述空间点在可见光图像中的坐标;K1为C1的内参数矩阵,K2为C2的内参数矩阵;Zc1为所述空间点到C1像平面的距离,Zc2为所述空间点到C2像平面的距离。
步骤360、根据可见光疑似火点验证算法对感兴趣区域内的图像进行验证,根据验证结果确定当前场景中是否存在真实火点,若是,则执行步骤370;否则,执行步骤340。
进一步的,图5为本发明实施例三提供的一种可见光疑似火点验证算法流程示意图,如图5所示,该算法具体可包括如下步骤:
步骤361、对当前感兴趣区域进行预处理。
具体的,所述预处理可包括将感兴趣区域轮廓向外延拓预设数量的像素,形成最终的感兴趣区域,可以消除后续映射过程中所产生误差带来的影响。
步骤362、对当前感兴趣区域内的图像进行颜色空间模型检测,判断检测结果是否通过,若是,则执行步骤365;否则,执行步骤363。
具体的,可将当前感兴趣区域分别与预设真火情颜色空间模型和预设伪火情颜色空间模型进行匹配,得到第一匹配度和第二匹配度;若第一匹配度高于第二匹配度,则确定当前感兴趣区域的检测结果为通过。具体检测方式可参照本发明实施例二步骤260中的相关描述。
步骤363、判断当前感兴趣区域是否为最后一个感兴趣区域,若是,则结束流程;否则,执行步骤364。
步骤364、将下一个感兴趣区域设置为新的当前感兴趣区域,返回执行步骤361。
步骤365、对当前感兴趣区域内的图像进行亮度分布检测,判断检测结果是否通过,若是,则执行步骤366;否则,执行步骤363。
示例性的,可分析火焰像素亮度的分布规律,由内焰的燃烧中心点到外焰边缘,由于燃烧温度的差异,颜色亮度会逐层递减,利用亮度直方图统计灰度变化规律,若当前感兴趣区域符合该灰度变化规律,则可认为检测通过。
步骤366、对当前感兴趣区域内的图像进行运动特征检测,判断检测结果是否通过,若是,则执行步骤367;否则,执行步骤363。
示例性的,可利用高斯混合模型(Gaussian Mixture Model,GMM;又称混合高斯模型)背景建模技术进行疑似火点筛选,以进一步消除运动车灯等物体造成的干扰,同时兼顾到火点可能存在的小幅度摇曳运动。例如,当前感兴趣区域与利用高斯混合模型背景建模技术建立的标准模型匹配时,可认为检测通过。
步骤367、确定当前感兴趣区域内存在真实火点,并执行步骤363。
需要说明的是,本步骤中确定当前区域内存在真实火点时,可先执行步骤370进行火点报警,警示相关工作人员采取灭火相关措施或控制相关设备进入灭火流程,同时继续执行步骤363,验证下一个感兴趣区域内是否也存在真实火点。
步骤370、进行火点报警。
本发明实施例三提供的一种优选的基于红外-可见光图像的双光谱森林火情监测方法,利用红外热点检测算法筛选出热量特征满足检测条件的疑似火点,然后将疑似火点映射到可见光图像中,再进行若干像素的延拓后作为可见光图像的ROI区域,最后利用可见光疑似火点验证算法对ROI区域进行验证,从而筛选出真实的火点并进行火点报警。该方法的准确度高,且计算量小,可提高效率,保证火情监测的实时性。
实施例四
图6为本发明实施例四提供的一种基于红外-可见光图像的双光谱森林火情监测装置的结构框图,该装置可由软件和/或硬件实现,一般可集成在森林火情监测***中,可通过执行基于红外-可见光图像的双光谱森林火情监测方法来监测森林火情。如图6所示,该装置包括图像获取模块601、疑似火点标记区域确定模块602、映射模块603和真实火点确定模块604。
其中,图像获取模块601,用于获取当前场景的红外图像和可见光图像;疑似火点标记区域确定模块602,用于确定所述红外图像中的疑似火点标记区域;映射模块603,用于将所述疑似火点标记区域映射到所述可见光图像中的相应位置,得到所述可见光图像中的感兴趣区域;真实火点确定模块604,用于对所述感兴趣区域内的图像进行验证,根据验证结果确定所述当前场景中是否存在真实火点。
本发明实施例四提供的基于红外-可见光图像的双光谱森林火情监测装置,将红外图像检测识别优势与可见光图像检测识别优势进行结合,先根据红外图像的成像特征确定疑似火点标记区域,再将疑似火点标记区域映射到可见光图像中,可消除外观与火焰相似度高但辐射能量与火焰不同的物体对判断结果的干扰,提升准确度。并且,在可见光图像中仅对感兴趣区域中的图像进行验证,可减少计算量,提升效率,保证火情监测的实时性。
在上述实施例的基础上,所述疑似火点标记区域具体可为疑似火点矩形标记区域;所述疑似火点标记区域确定模块具体可用于:根据所述红外图像中的亮度值分布特点将所述红外图像分割成多个区域,采用矩形标记将亮度值高于预设亮度阈值的区域圈定为疑似火点矩形标记区域。
在上述实施例的基础上,所述图像获取模块具体可用于:获取当前场景的红外图像集合和可见光图像,所述红外图像集合中包含n帧对应n个不同时刻的红外图像。所述疑似火点标记区域确定模块可包括标记单元、目标二值图像形成单元和疑似火点矩形标记区域确定单元。其中,标记单元,用于对于所述红外图像集合中的每一帧红外图像,根据亮度值分布特点将当前红外图像分割成多个区域,采用矩形标记将亮度值高于预设亮度阈值的区域圈定为矩形标记区域;将所述当前红外图像中的所述矩形标记区域内的像素标记为1,矩形标记区域外的像素标记为0。目标二值图像形成单元,用于统计在所述红外图像集合中的不同红外图像中的相同位置处的像素被标记为1的次数,采用投票机制将被标记为1的次数不小于预设次数的像素记为1,其他像素记为0,形成目标二值图像。疑似火点矩形标记区域确定单元,用于对所述目标二值图像进行轮廓提取,并采用矩形标记圈定疑似火点矩形标记区域。
在上述实施例的基础上,所述映射模块具体可用于:采用图像变换模型将所述疑似火点标记区域映射到所述可见光图像中的相应位置,得到所述可见光图像中的感兴趣区域;
所述图像变换模型具体为:
其中,C1表示红外相机,C2表示可见光相机;R为C2相对于C1的旋转矩阵,t为C2相对于C1的位移向量;(u1,v1)为空间点在红外图像中的坐标,(u2,v2)为所述空间点在可见光图像中的坐标;K1为C1的内参数矩阵,K2为C2的内参数矩阵;Zc1为所述空间点到C1像平面的距离,Zc2为所述空间点到C2像平面的距离。
在上述实施例的基础上,所述映射模块具体可用于:将所述疑似火点标记区域的轮廓向外延拓预设个像素,形成最终疑似火点标记区域;将所述最终疑似火点标记区域映射到所述可见光图像中的相应位置,得到所述可见光图像中的感兴趣区域。
在上述实施例的基础上,所述真实火点确定模块具体可用于:将当前感兴趣区域与预设真火情颜色空间模型进行匹配,得到第一匹配度;将所述当前感兴趣区域与预设伪火情颜色空间模型进行匹配,得到第二匹配度;若所述第一匹配度高于所述第二匹配度,则确定当前感兴趣区域为疑似火点区域;对所述可见光图像中的所有疑似火点区域进行验证,根据验证结果确定所述当前场景中是否存在真实火点。
上述实施例中提供的基于红外-可见光图像的双光谱森林火情监测装置可执行本发明任意实施例所提供的基于红外-可见光图像的双光谱森林火情监测方法,具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节,可参见本发明任意实施例所提供的基于红外-可见光图像的双光谱森林火情监测方法。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (6)

1.一种基于红外-可见光图像的双光谱森林火情监测方法,其特征在于,包括:
获取当前场景的红外图像集合和可见光图像,所述红外图像集合中包含n帧对应n个不同时刻的红外图像;
对于所述红外图像集合中的每一帧红外图像,根据亮度值分布特点将当前红外图像分割成多个区域,采用矩形标记将亮度值高于预设亮度阈值的区域圈定为矩形标记区域;将所述当前红外图像中的所述矩形标记区域内的像素标记为1,矩形标记区域外的像素标记为0;
统计在所述红外图像集合中的不同红外图像中的相同位置处的像素被标记为1的次数,采用投票机制将被标记为1的次数不小于预设次数的像素记为1,其他像素记为0,形成目标二值图像;
对所述目标二值图像进行轮廓提取,并采用矩形标记圈定疑似火点标记区域,其中,所述疑似火点标记区域具体为疑似火点矩形标记区域;
将所述疑似火点标记区域映射到所述可见光图像中的相应位置,得到所述可见光图像中的感兴趣区域;
对所述感兴趣区域内的图像进行验证,根据验证结果确定所述当前场景中是否存在真实火点。
2.根据权利要求1所述的方法,其特征在于,将所述疑似火点标记区域映射到所述可见光图像中的相应位置,得到所述可见光图像中的感兴趣区域,包括:
采用图像变换模型将所述疑似火点标记区域映射到所述可见光图像中的相应位置,得到所述可见光图像中的感兴趣区域;
所述图像变换模型具体为:
其中,C1表示红外相机,C2表示可见光相机;R为C2相对于C1的旋转矩阵,t为C2相对于C1的位移向量;(u1,v1)为空间点在红外图像中的坐标,(u2,v2)为所述空间点在可见光图像中的坐标;K1为C1的内参数矩阵,K2为C2的内参数矩阵;Zc1为所述空间点到C1像平面的距离,Zc2为所述空间点到C2像平面的距离。
3.根据权利要求1所述的方法,其特征在于,将所述疑似火点标记区域映射到所述可见光图像中的相应位置,得到所述可见光图像中的感兴趣区域,包括:
将所述疑似火点标记区域的轮廓向外延拓预设数量的像素,形成最终疑似火点标记区域;
将所述最终疑似火点标记区域映射到所述可见光图像中的相应位置,得到所述可见光图像中的感兴趣区域。
4.根据权利要求1所述的方法,其特征在于,对所述感兴趣区域内的图像进行验证,根据验证结果确定所述当前场景中是否存在真实火点,包括:
将当前感兴趣区域与预设真火情颜色空间模型进行匹配,得到第一匹配度;将所述当前感兴趣区域与预设伪火情颜色空间模型进行匹配,得到第二匹配度;
若所述第一匹配度高于所述第二匹配度,则确定当前感兴趣区域为疑似火点区域;
对所述可见光图像中的所有疑似火点区域进行验证,根据验证结果确定所述当前场景中是否存在真实火点。
5.一种基于红外-可见光图像的双光谱森林火情监测装置,其特征在于,包括:
图像获取模块,用于获取当前场景的红外图像集合和可见光图像,所述红外图像集合中包含n帧对应n个不同时刻的红外图像;
疑似火点标记区域确定模块,包括标记单元、目标二值图像形成单元以及疑似火点矩形标记区域确定单元;
所述标记单元,用于对于所述红外图像集合中的每一帧红外图像,根据亮度值分布特点将当前红外图像分割成多个区域,采用矩形标记将亮度值高于预设亮度阈值的区域圈定为矩形标记区域;将所述当前红外图像中的所述矩形标记区域内的像素标记为1,矩形标记区域外的像素标记为0;
所述目标二值图像形成单元,用于统计在所述红外图像集合中的不同红外图像中的相同位置处的像素被标记为1的次数,采用投票机制将被标记为1的次数不小于预设次数的像素记为1,其他像素记为0,形成目标二值图像;
所述疑似火点矩形标记区域确定单元,用于对所述目标二值图像进行轮廓提取,并采用矩形标记圈定疑似火点矩形标记区域,其中,所述疑似火点标记区域具体为疑似火点矩形标记区域;
映射模块,用于将所述疑似火点标记区域映射到所述可见光图像中的相应位置,得到所述可见光图像中的感兴趣区域;
真实火点确定模块,用于对所述感兴趣区域内的图像进行验证,根据验证结果确定所述当前场景中是否存在真实火点。
6.根据权利要求5所述的装置,其特征在于,所述映射模块具体用于:
采用图像变换模型将所述疑似火点标记区域映射到所述可见光图像中的相应位置,得到所述可见光图像中的感兴趣区域;
所述图像变换模型具体为:
其中,C1表示红外相机,C2表示可见光相机;R为C2相对于C1的旋转矩阵,t为C2相对于C1的位移向量;(u1,v1)为空间点在红外图像中的坐标,(u2,v2)为所述空间点在可见光图像中的坐标;K1为C1的内参数矩阵,K2为C2的内参数矩阵;Zc1为所述空间点到C1像平面的距离,Zc2为所述空间点到C2像平面的距离。
CN201610029028.7A 2016-01-15 2016-01-15 基于红外-可见光图像的双光谱森林火情监测方法及装置 Active CN105488941B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610029028.7A CN105488941B (zh) 2016-01-15 2016-01-15 基于红外-可见光图像的双光谱森林火情监测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610029028.7A CN105488941B (zh) 2016-01-15 2016-01-15 基于红外-可见光图像的双光谱森林火情监测方法及装置

Publications (2)

Publication Number Publication Date
CN105488941A CN105488941A (zh) 2016-04-13
CN105488941B true CN105488941B (zh) 2018-10-30

Family

ID=55675901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610029028.7A Active CN105488941B (zh) 2016-01-15 2016-01-15 基于红外-可见光图像的双光谱森林火情监测方法及装置

Country Status (1)

Country Link
CN (1) CN105488941B (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056594A (zh) * 2016-05-27 2016-10-26 四川桑莱特智能电气设备股份有限公司 一种基于双光谱的可见光图像提取***与方法
CN105931409A (zh) * 2016-05-30 2016-09-07 重庆大学 一种基于红外与可见光摄像机联动的森林火灾监测方法
CN106228732A (zh) * 2016-08-22 2016-12-14 无锡信大气象传感网科技有限公司 一种森林火灾智能识别***
CN107123227A (zh) * 2017-07-06 2017-09-01 合肥科大立安安全技术股份有限公司 一种基于双波段的嵌入式图像火焰探测器及其识别方法
CN109670388B (zh) * 2017-10-17 2021-04-23 杭州萤石网络有限公司 一种目标行为检测方法、装置、电子设备及存储介质
CN108090495A (zh) * 2017-12-22 2018-05-29 湖南源信光电科技股份有限公司 一种基于红外光和可见光图像的疑似火焰区域提取方法
CN108460804A (zh) * 2018-03-20 2018-08-28 重庆大学 一种基于机器视觉的转运对接机构及转运对接机构的三自由度位姿检测方法
CN109146904A (zh) * 2018-08-13 2019-01-04 合肥英睿***技术有限公司 在可见光图像中显示红外图像目标物轮廓的方法及设备
CN109243135A (zh) * 2018-09-26 2019-01-18 北京环境特性研究所 一种智能火灾检测与定位方法、装置及***
CN109375068B (zh) * 2018-09-26 2021-02-05 北京环境特性研究所 一种基于紫外成像电晕检测的目标识别方法及装置
CN110060444A (zh) * 2019-03-11 2019-07-26 视联动力信息技术股份有限公司 一种基于视联网的火灾预警***和方法
CN109854964B (zh) * 2019-03-29 2021-03-19 沈阳天眼智云信息科技有限公司 基于双目视觉的蒸汽泄露定位***及方法
CN110009530A (zh) * 2019-04-16 2019-07-12 国网山西省电力公司电力科学研究院 一种适用于便携式电力巡检的神经网络***和方法
CN110097030A (zh) * 2019-05-14 2019-08-06 武汉高德红外股份有限公司 一种基于红外和可见光图像的突出标识方法及***
CN110244011A (zh) * 2019-06-26 2019-09-17 熊颖郡 无人机的河流排污自动监测分析预警***
CN110390788A (zh) * 2019-08-21 2019-10-29 深圳云感物联网科技有限公司 一种森林防火烟火识别方法及其***
CN110619293A (zh) * 2019-09-06 2019-12-27 沈阳天眼智云信息科技有限公司 基于双目视觉的火焰探测方法
CN110569797B (zh) * 2019-09-10 2023-05-26 云南电网有限责任公司带电作业分公司 地球静止轨道卫星影像山火检测方法、***及其存储介质
CN111199629B (zh) * 2020-02-18 2021-11-23 普宙科技(深圳)有限公司 热源识别装置、无人机以及热源识别方法
CN113537204A (zh) * 2020-04-20 2021-10-22 富华科精密工业(深圳)有限公司 基于红外特征、机器学习的小火焰检测方法及计算机装置
CN113626377A (zh) * 2020-05-06 2021-11-09 杭州海康微影传感科技有限公司 裸数据存储控制方法、装置及设备、存储介质
CN112257554B (zh) * 2020-10-20 2021-11-05 南京恩博科技有限公司 基于多光谱的森林火灾识别方法、***、程序及存储介质
CN112257667A (zh) * 2020-11-12 2021-01-22 珠海大横琴科技发展有限公司 一种小型船只检测方法、装置、电子设备及存储介质
CN112614302B (zh) * 2020-12-03 2022-10-04 杭州海康微影传感科技有限公司 一种火情检测方法、装置、***及电子设备
CN112560657B (zh) * 2020-12-12 2023-05-30 南方电网调峰调频发电有限公司 烟火识别方法、装置、计算机设备和存储介质
CN112860946B (zh) * 2021-01-18 2023-04-07 四川弘和通讯集团有限公司 一种视频图像信息转换为地理信息的方法及***
CN113283322A (zh) * 2021-05-14 2021-08-20 柳城牧原农牧有限公司 一种牲畜外伤检测方法、装置、设备和存储介质
CN113237556A (zh) * 2021-05-18 2021-08-10 深圳市沃特沃德信息有限公司 测温方法、装置和计算机设备
CN114627124B (zh) * 2022-05-16 2022-07-26 江西武大扬帆科技有限公司 一种基于深度学习的泡泉检测方法及交互反馈***
CN115546727A (zh) * 2022-10-20 2022-12-30 浙江华感科技有限公司 一种火情判断的方法、***及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201629019U (zh) * 2009-09-30 2010-11-10 青岛科恩锐通信息技术有限公司 一种森林火灾探测***
CN102693603A (zh) * 2012-06-26 2012-09-26 山东神戎电子股份有限公司 一种基于双光谱的森林防火智能监控***
JP2014093002A (ja) * 2012-11-05 2014-05-19 Hochiki Corp 炎検知装置及び炎検知方法
CN104867265A (zh) * 2015-04-22 2015-08-26 深圳市佳信捷技术股份有限公司 摄像装置、火灾检测报警***及方法
CN204667578U (zh) * 2015-06-24 2015-09-23 山东神戎电子股份有限公司 一种手持式森林防火双光谱观测仪

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201629019U (zh) * 2009-09-30 2010-11-10 青岛科恩锐通信息技术有限公司 一种森林火灾探测***
CN102693603A (zh) * 2012-06-26 2012-09-26 山东神戎电子股份有限公司 一种基于双光谱的森林防火智能监控***
JP2014093002A (ja) * 2012-11-05 2014-05-19 Hochiki Corp 炎検知装置及び炎検知方法
CN104867265A (zh) * 2015-04-22 2015-08-26 深圳市佳信捷技术股份有限公司 摄像装置、火灾检测报警***及方法
CN204667578U (zh) * 2015-06-24 2015-09-23 山东神戎电子股份有限公司 一种手持式森林防火双光谱观测仪

Also Published As

Publication number Publication date
CN105488941A (zh) 2016-04-13

Similar Documents

Publication Publication Date Title
CN105488941B (zh) 基于红外-可见光图像的双光谱森林火情监测方法及装置
CN108596101B (zh) 一种基于卷积神经网络的遥感图像多目标检测方法
CN104778721B (zh) 一种双目图像中显著性目标的距离测量方法
CN103927741B (zh) 增强目标特征的sar图像合成方法
CN107202982A (zh) 一种基于无人机位姿计算的信标布置及图像处理方法
CN112434745B (zh) 基于多源认知融合的遮挡目标检测识别方法
CN111462128B (zh) 一种基于多模态光谱图像的像素级图像分割***及方法
CN111126325A (zh) 一种基于视频的智能人员安防识别统计方法
CN109492714A (zh) 图像处理装置及其方法
CN112686172B (zh) 机场跑道异物检测方法、装置及存储介质
CN109190444A (zh) 一种基于视频的收费车道车辆特征识别***的实现方法
CN108804394A (zh) 一种城市夜光总量-城镇人口回归模型的构建方法
CN112308156B (zh) 一种基于对抗学习的两阶段图像变化检测方法
CN110197259A (zh) 基于小批量数据集与深度学习算法的晶圆缺陷检测方法
CN109886883A (zh) 实时偏振透雾成像图像增强处理方法
CN114202646A (zh) 一种基于深度学习的红外图像吸烟检测方法与***
CN109740522A (zh) 一种人员检测方法、装置、设备及介质
CN116311078A (zh) 一种林火分析及监测方法、***
CN105701805A (zh) 一种基于计算机视觉的猪肉肌内脂肪含量无损检测方法
CN109726678A (zh) 一种车牌识别的方法及相关装置
CN114202695A (zh) 一种基于人工智能技术遥感影像自动识别***
CN106251337A (zh) 一种空中加油锥套空间定位方法及***
CN109064444A (zh) 基于显著性分析的轨道板病害检测方法
CN110503092A (zh) 基于领域适应的改进ssd监控视频目标检测方法
CN108520255A (zh) 一种红外弱小目标检测方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant