CN115526897A - 特高压换流站消防机器人火焰定位方法及*** - Google Patents

特高压换流站消防机器人火焰定位方法及*** Download PDF

Info

Publication number
CN115526897A
CN115526897A CN202211144984.1A CN202211144984A CN115526897A CN 115526897 A CN115526897 A CN 115526897A CN 202211144984 A CN202211144984 A CN 202211144984A CN 115526897 A CN115526897 A CN 115526897A
Authority
CN
China
Prior art keywords
flame
right eye
visible light
images
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211144984.1A
Other languages
English (en)
Inventor
张佳庆
刘睿
励刚
王刘芳
罗沙
谢佳
朱太云
过羿
尚峰举
孙韬
何灵欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Anhui Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Anhui Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Electric Power Research Institute of State Grid Anhui Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202211144984.1A priority Critical patent/CN115526897A/zh
Publication of CN115526897A publication Critical patent/CN115526897A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明公开一种特高压换流站消防机器人火焰定位方法及***，所述方法包括采集火焰区域的左右目可见光图像和左右目红外图像；对左右目红外图像进行火焰识别检测，将左右目红外图像中火焰外框区域最大的作为ROI区域；基于ROI区域，对左右目红外图像或左右目可见光图像进行立体匹配和视差计算，得到火焰三维坐标；将火焰三维坐标转换至消防机器人坐标系下，得到消防机器人坐标系下火焰坐标。本发明通过采用红外图像作为ROI区域，不针对可见光图像单独进行图像分割，显著提高定位精度和速度；具体选择通过左右目红外图像或左右目可见光图像进行立体匹配和视差计算，提高火焰定位的准确性。

Description

特高压换流站消防机器人火焰定位方法及***
技术领域
本发明涉及火灾检测定位技术领域，具体涉及一种特高压换流站消防机器人火焰定位方法及***。
背景技术
目前，特高压换流变压器区域已形成较为完备的固定灭火***应用方案，站内配置了消防机器人，通常机器人所配置的单光谱相机或双目相机，双目相机一个用于采集可见光，另一个用于采集红外光谱，这种方式难以处理火焰被烟雾或其它建筑物遮挡的情况。并且在进行火焰检测与立体三维定位时计算量大，实时性和精度有所不足，这些都制约了消防机器人的精准释放灭火。
相关技术中，公布号为CN108665487A的中国发明专利文献记载了一种基于红外和可见光融合的变电站作业对象和目标定位方法，其技术方案是：利用变电站现场部署的可见光和红外传感器***，实时采集现场图像，利用分布式的图像处理平台，经过去噪、融合和增强预处理、进而进行目标与背景的分割、目标特征提取，以检测现场入侵目标，然后进行动态目标的识别、定位和跟踪。
“基于红外热像仪的火源定位方法”，消防科学与技术，工程科技Ⅱ辑，2019年3月15日，该文章利用红外热像仪感知的温度特征将疑似火源的区域从背景中分割出来；对二值化后的图像利用Blob提取算法，得到每个目标区域的像素集合；在此基础上，使用光流法提取图像的动态特征；提出一种分段均值的方法，并结合光流方向的其他特征来判定目标区域是否为火源。
“基于红外与可见光图像火灾定位研究”，船舶电子工程，工程科技Ⅱ辑，2022年3月20日，该文章针对红外与可见光摄像机联合标定问题，利用不同材料的受热差异，该文设计了可同时标定红外摄像机与可见光摄像机的标定板，并利用Matlab中的摄像机模块对红外摄像机和可见光摄像机进行了标定，采集不同位置的火灾视频，并进行了火灾定位实验。
上述相关技术中，采用的是单光谱相机或双目相机，而双目相机一个用于采集可见光，另一个用于采集红外光谱，需要进行可见光图像与红外图像的配准，且在出现火焰被烟雾或其它建筑物遮挡的情况时，无法实现火焰准确定位。
相关技术中，公布号为CN114694341A的中国发明专利文献记载了一种应用于火灾监控的可见-近红外光机结构，包括相机支架、镜头、滤光片切换机构、探测器、电机，其中滤光片切换机构包括扇形转盘、滤光片、固定装置，所述扇形转盘开设两个相互对称的安装孔，所述滤光片固定安装在所述滤光片通过滤光片压圈固定在所述安装孔内，所述固定装置用于紧固所述滤光片切换机构与电机转轴，所述滤光片包括可见滤光片和近红外滤光片，通过滤光片切换***实现可见波段的烟雾识别和近红外波段的光学透雾功能。
但该方案中设置的为单目相机，通过滤光片切换机构，切换可见光滤光或近红外滤光片，实现可见波段的烟雾识别和近红外波段的光学透雾功能，其实质仍是采集的单目可见光图像和单目近红外图像。
发明内容
本发明所要解决的技术问题在于如何如何提高火焰识别定位的准确性。
本发明通过以下技术手段实现解决上述技术问题的：
本发明提出了一种特高压换流站消防机器人火焰定位方法，所述方法包括：
采集火焰区域的左右目可见光图像和左右目红外图像；
对所述左右目红外图像进行火焰识别检测，并标记火焰外框，将左右目红外图像中火焰外框区域最大的作为ROI区域；
基于所述ROI区域，对所述左右目红外图像或所述左右目可见光图像进行立体匹配和视差计算，得到火焰三维坐标；
将所述火焰三维坐标转换至消防机器人坐标系下，得到所述消防机器人坐标系下火焰位置坐标。
本发明通过采集双目可见光图像和双目红外图像，对采集的红外图像采进行火焰检测处理，确定ROI区域，采用红外图像作为ROI区域检测基础图像，而不再针对可见光图像单独进行图像分割，以尽量提高匹配效率，降低匹配计算量，显著提高定位的精度和速度；而且可见光成像具有丰富的对比度和颜色、形状信息，因而可迅速地对被测目标进行识别和测量，但是对于烟雾包围的火焰则无法成像，红外图像可感知被测对象温度信息，且在光线较弱、烟雾等特殊环境条件下，相比可见光成像明显，本方案基于ROI区域，具体选择通过左右目红外图像或左右目可见光图像进行立体匹配和视差计算，得到火焰三维坐标，提高了火焰定位的准确性。
进一步地，所述消防机器人安装有双波段图像采集模块，所述双波段图像采集模块包括两台可见光相机和两片红外滤光片，两片所述红外滤光片可分别移动离开或覆盖两台所述可见光相机，所述利用消防机器人采集火焰区域的左右目可见光图像和左右目红外图像，包括：
对两台所述可见光相机进行标定，获得左右两个相机的内参、外参和畸变系数；
驱动所述红外滤光片离开所述可见光相机，利用所述可见光相机采集火焰区域的左右目可见光图像；
驱动所述红外滤光片覆盖所述可见光相机，利用所述可见光相机采集火焰区域的左右目红外图像。
进一步地，所述对所述左右目红外图像进行火焰识别检测，并标记火焰外框，将左右目红外图像中火焰外框区域最大的作为ROI区域，包括：
利用卷积神经网络模型对所述左右目红外图像进行火焰识别检测；
判断是否在所述双目红外图像中均检测到符合设定阈值的火焰；
若是，则基于所述左右目红外图像进行火焰识别检测结果，将所述左右目红外图像中火焰外框区域最大的作为ROI区域；
若否，则移动所述消防机器人，并重新利用所述消防机器人采集火焰区域的双目可见光图像和双目红外图像。
进一步地，所述基于所述ROI区域，对所述左右目红外图像或所述左右目可见光图像进行立体匹配和视差计算，得到火焰三维坐标，包括：
利用卷积神经网络模型对所述左右目可见光图像进行火焰识别检测，并判断在所述左右目可见光图像中是否完整检测到火焰；
若是，则基于所述ROI区域，对所述左右目可见光图像进行立体匹配和视差计算，得到所述火焰三维坐标；
若否，则基于所述ROI区域，对所述左右目红外图像进行立体匹配和视差计算，得到所述火焰三维坐标。
进一步地，所述卷积神经网络模型采用SSD目标识别网络，所述SSD目标识别网络的主干特征提取网络为轻量级网络MobileNetV2，所述轻量级网络MobileNetV2中加入注意力机制Squeeze-and-Excitation。
进一步地，所述基于所述ROI区域，对所述左右目红外图像或所述左右目可见光图像进行立体匹配和视差计算，得到火焰三维坐标，包括：
基于所述ROI区域，对所述左右目红外图像或所述左右目可见光图像中对应的ROI区域中的全部特征点进行匹配，对应得到第一特征匹配集合或第二特征匹配集合；
将所述第一特征匹配集合或所述第二特征匹配集合中每一特征点对在横轴方向的坐标差的绝对值作为该特征点对的视差；
对所述第一特征匹配集合或所述第二特征匹配集合中所有特征点对的视差进行匹配代价的滤波处理后，求取所有特征点对的视差平均值D作为最终视差；
基于三角测距原理，对所述最终视差进行计算，得到所述火焰三维坐标。
进一步地，所述基于三角测距原理，对所述最终视差进行计算，得到所述火焰三维坐标的公式表示为：
Figure BDA0003855240270000041
式中：(uL,vL)为目标火焰点在左目相机上的像素坐标，f为相机焦距，b为左目相机和右目相机光心距离，D为所述最终视差，x为水平方向坐标，y为竖直方向坐标，z为距离。
进一步地，在所述基于所述ROI区域，对所述左右目红外图像或所述左右目可见光图像中对应的ROI区域中的全部特征点进行匹配，对应得到第一特征匹配集合或第二特征匹配集合之前，所述方法还包括：
采用均方误差方法对所述左右目红外图像或所述左右目可见光图像中对应的ROI区域进行相似度计算，得到相似度值；
判断所述相似度值是否小于设定阈值；
若是，则执行所述基于所述ROI区域，对所述左右目红外图像或所述左右目可见光图像中对应的ROI区域中的全部特征点进行匹配，对应得到第一特征匹配集合或第二特征匹配集合；
若否，则重新对所述双目红外图像进行火焰识别检测，确定ROI区域。
此外，本发明还提出了一种特高压换流站消防机器人火焰定位***，所述***包括：
图像采集模块，用于采集火焰区域的左右目可见光图像和左右目红外图像；
识别检测模块，用于对所述左右目红外图像进行火焰识别检测，并标记火焰外框，将左右目红外图像中火焰外框区域最大的作为ROI区域；
坐标计算模块，用于基于所述ROI区域，对所述左右目红外图像或所述左右目可见光图像进行立体匹配和视差计算，得到火焰三维坐标；
坐标转换模块，用于将所述火焰三维坐标转换至消防机器人坐标系下，得到所述消防机器人坐标系下火焰位置坐标。
进一步地，所述图像采集模块包括一固定底座，所述固定底座上布置有左目可见光相机、右目可见光相机、左目滤光片、右目滤光片、左目滤光片摆动电机和右目滤光片摆动电机；
所述左目滤光片摆动电机驱动端经左目滤光片摆杆与所述左目滤光片连接；所述右目滤光片摆动电机驱动端经右目滤光片摆杆与所述右目滤光片连接；
所述左目可见光相机、所述右目可见光相机、所述左目滤光片摆动电机和所述右目滤光片摆动电机均与控制器连接。
本发明的优点在于：
(1)本发明通过采集双目可见光图像和双目红外图像，对采集的红外图像进行火焰检测处理，确定ROI区域，并采用红外图像作为ROI区域检测基础图像，而不再针对可见光图像单独进行图像分割，以尽量提高匹配效率，降低匹配计算量，显著提高定位的精度和速度；而且可见光成像具有丰富的对比度和颜色、形状信息，因而可迅速地对被测目标进行识别和测量，但是对于烟雾包围的火焰则无法成像，红外图像可感知被测对象温度信息，且在光线较弱、烟雾等特殊环境条件下，相比可见光成像明显，本方案基于ROI区域，具体选择通过左右目红外图像或左右目可见光图像进行立体匹配和视差计算，得到火焰三维坐标，提高了火焰定位的准确性。
(2)采用双目可见光相机配置红外红外滤光片的结构，实现了两台可见光相机+两台红外相机的效果，不需要进行红外图像和可见光图像的配准计算，缩短图像处理时间，提高工作效率，降低对处理算力的要求，减小功耗，有利于增加电池供电的消防机器人的工作时间，且节省了成本，降低***复杂度。
(3)采用加入注意力机制Squeeze-and-Excitation的轻量级网络MobileNetV2对左右目可见光图像和左右目红外图像进行火焰识别，使用轻量级网络MobilNetV2达到运行速度和检测精度的平衡，且较少的参数量和计算量缓解了实际部署的困难，并以所述轻量级网络MobilNetV2为基础，加入了Squeeze-and-Excitation注意力机制，以极小的计算量增加，增加了精度。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1是本发明一实施例中特高压换流站消防机器人火焰定位方法的流程示意图；
图2是本发明一实施例中双波段图像采集模块的结构示意图；
图3是本发明一实施例中双波段图像采集模块的原理框图；
图4是本发明一实施例中红外滤光片与可见光相机之间的状态示意图；
图5是本发明一实施例中步骤S10的细分步骤流程示意图；
图6是本发明一实施例中步骤S20的细分步骤流程示意图；
图7是本发明一实施例中左右目红外图像中ROI区域目标外框示意图，其中，(a)为左目红外图像中标记的火焰目标外框；(b)为右目红外图像中标记的火焰目标外框；
图8是本发明一实施例中步骤S30的细分步骤流程示意图；
图9是本发明一实施例中特高压换流站消防机器人火焰定位方法的整体流程示意图；
图10是本发明一实施例中左右目红外图像或左右目可见光图像进行立体匹配及定位流程示意图；
图11是本发明一实施例中步骤S320的细分步骤流程示意图；
图12是本发明一实施例中特高压换流站消防机器人火焰定位***的结构示意图；
图13是本发明一实施例中识别检测模块的结构示意图；
图14是本发明一实施例中坐标计算模块的结构示意图；
图15是本发明一实施例中特高压换流站消防机器人火焰定位***的灭火示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明第一实施例提出了一种特高压换流站消防机器人火焰定位方法，所述方法包括以下步骤：
S10、采集火焰区域的左右目可见光图像和左右目红外图像；
具体到本实施例中，可采用两台可见光相机和两台红外光谱相机，采集得到火焰区域的左右目可见光图像和左右红外图像。
应当理解的是，本领域技术人员也可综合成本等因素，采用其他方式实现采集火焰区域的左右目可见光图像和左右目红外图像，本实施例不作具体限定。
需要说明的是，与传统的双目相机采集的单目可见光图像和单目红外图像不同，本实施例针对火焰区域采集的是双目可见光图像和双目红外图像，无需可见光图像和红外图像的配准。
S20、对所述左右目红外图像进行火焰识别检测，并标记火焰外框，将左右目红外图像中火焰外框区域最大的作为ROI区域；
需要说明的是，对于火焰定位的感兴趣区域(Region Of Interest，ROI)是火焰区域，其它的区域没有匹配的必要，而且存在很多错误匹配的情况，还需要计算剔除；若只是对ROI区域进行匹配计算的话，需要的特征点相对于全局匹配更少，匹配的计算量大大减少，定位的精度和速度都会得到显著的提高，因此本实施例采用包括但不限于深度学习算法等对左右目红外图像中的火焰区域即ROI区域进行准确定位。
需要说明的是，在识别检测到左右目红外图像中的火焰区域后，对左右目红外图像的火焰区域标记目标框位置，然后对目标框位置区域进行计算，以双目红外图像中的目标框位置区域中最大区域为最终的ROI区域，以保证尽可能提取到最多的特征点，提高火焰定位定位准确性。
S30、基于所述ROI区域，对所述左右目红外图像或所述左右目可见光图像进行立体匹配和视差计算，得到火焰三维坐标；
具体到本实施例中，若双目可见光图像中可以检测到火焰，则利用可见光图像进行判断，因为可见光图像具有高空间分辨率和清晰度的纹理细节，可以有效的提高定位精度；如果由于烟雾遮挡原因导致可见光图像中不能检测或是不能全部检测到火焰，则直接利用左右目红外图像进行火焰定位计算。
需要说明的是，本实施例通过采用左右目红外图像作为ROI区域检测基础图像，而不再针对可见光图像单独进行图像分割，以尽量提高匹配效率。
S40、将所述火焰三维坐标转换至所述消防机器人坐标系下，得到所述消防机器人坐标系下火焰位置坐标。
本实施例通过采集双目可见光图像和双目红外图像，对采集的红外图像采用基于深度学习算法的火焰检测处理，确定ROI区域，通过采用红外图像作为ROI区域检测基础图像，而不再针对可见光图像单独进行图像分割，以尽量提高匹配效率，降低匹配计算量，显著提高定位的精度和速度；而且可见光成像具有丰富的对比度和颜色、形状信息，因而可迅速地对被测目标进行识别和测量，但是对于烟雾包围的火焰则无法成像，红外图像可感知被测对象温度信息，且在光线较弱、烟雾等特殊环境条件下，相比可见光成像明显，本方案基于ROI区域，具体选择通过左右目红外图像或左右目可见光图像进行立体匹配和视差计算，得到火焰三维坐标，提高了火焰定位的准确性。
在一实施例中，所述消防机器人安装有双波段图像采集模块，如图2至图4，所述双波段图像采集模块包括一固定底座7，所述固定底座7上布置有左目可见光相机8、右目可见光相机9、左目滤光片10、右目滤光片11、左目滤光片摆动电机12和右目滤光片摆动电机13；
所述左目滤光片摆动电机12驱动端经左目滤光片摆杆16与所述左目滤光片10连接；所述右目滤光片摆动电机13驱动端经右目滤光片摆杆17与所述右目滤光片11连接；
所述左目可见光相机8、所述右目可见光相机9、所述左目滤光片摆动电机12和所述右目滤光片摆动电机13均与控制器连接。
本实施例通过左、右目滤光片摆动电机分别驱动左、目滤光片摆杆从而带动左、右目滤光片移动，实现离开或覆盖左、右目可见光相机，实现双波段双目图像采集。具体如图3所示，正常工作时，由移动电机驱动使红外滤光片同步离开可见光相机，此时相同成像为可见光图像，然后移动电机驱动使红外滤光片同步覆盖相机前方，此时成像为红外图像。
相应地，如图5、图9所示，所述步骤S10：采集火焰区域的左右目可见光图像和左右目红外图像，包括以下步骤：
S110、对两台所述可见光相机进行标定，获得左右两个相机的内参、外参和畸变系数；
需要说明的是，本实施例对双目可见光相机进行标定，获得左右两个相机的内参KL、KR以及外参T和畸变系数，具体标定过程再此不赘述。
S120、驱动所述红外滤光片离开所述可见光相机，利用所述可见光相机采集火焰区域的左右目可见光图像；
S130、驱动所述红外滤光片覆盖所述可见光相机，利用所述可见光相机采集火焰区域的左右目红外图像。
本实施例具体采用这种双波段双目图像采集模块进行图像采集，无需进行可见光图像和红外图像的配准操作，可大为降低后期图像匹配融合的难度，缩短图像处理时间，提高工作效率，降低对处理算力的要求，减小功耗，有利于增加电池供电的消防机器人的工作时间；且采用双目可见光相机配置红外红外滤光片的方法，实现了两台可见光相机+两台红外相机的效果，节省了成本，降低***复杂度。
在一实施例中，如图6所示，所述步骤S20：对所述左右目红外图像进行火焰识别检测，并标记火焰外框，将左右目红外图像中火焰外框区域最大的作为ROI区域，具体包括以下步骤：
S210、利用卷积神经网络模型对所述左右目红外图像进行火焰识别检测；
S220、判断是否在所述双目红外图像中均检测到符合设定阈值的火焰，若是则执行步骤S230，若否则执行步骤S240；
S230、基于所述左右目红外图像进行火焰识别检测结果，将所述左右目红外图像中火焰外框区域最大的作为ROI区域；
具体到本实施例中，采用卷积神经网络模型对左右目红外图像进行火焰识别检测，并标记出火焰区域的目标外框，公式表示为：
Sl＝{xl,yl,wl,hl},xl,yl,wl,hl∈R；Sr＝{xr,yr,wr,hr},xr,yr,wr,hr∈R
式中：xl,yl为左目红外图像中目标外框左上角坐标，wl,hl为目标外框的宽度和高度。xr,yr为右目红外图像中目标外框左上角坐标，wr,hr为目标外框的宽度和高度，R为实数域。
需要说明的是，对左右目红外图像中识别出的火焰区域标记出的目标外框如图7所示，图7-(a)示出了左目红外图像中标记的火焰目标外框(见灰色方框)，7-(b)示出了右目红外图像中标记的火焰目标外框(见灰色方框)。
进一步地，根据左右目红外图像的火焰目标框位置，计算两目标框的区域，以双目中的ROI区域中最大的目标框区域作为感兴趣ROI区域，公式表示为：
SROI＝{x,y,w,h},x＝min(xl,xr),y＝min(yl,yr),w＝max(wl,wr),h＝max(hl,hr)。
需要说明的是，本实施例通过将区域最大的目标框作为感兴趣ROI区域，以确保尽可能较多的提取特征点，保证火焰定位的准确性。
S240、移动所述消防机器人，并重新利用所述消防机器人采集火焰区域的双目可见光图像和双目红外图像。
具体地，如果只有单目红外图像中检测到了符合设定阈值的火焰，则说明有其它建筑物产生遮挡，只有单目成像这种情况下，如果只有左目红外图像中检测到了火焰，则说明消防机器人没有对准火焰，需要向左移动，直到双目红外图像中均可检测到火焰；如果只有右目红外图像中检测到了火焰，说明消防机器人需要向右移动以便对准火焰。
需要说明的是，通过对左右目红外图像进行火焰识别检测，可以根据火焰识别结果判断是否有遮挡情况发生以及是何种遮挡情况，如有遮挡情况发生，根据处理结果发送运动指令给消防机器人，控制消防机器人运动至合适位置重新采集火焰区域的可见光图像和红外图像，在对双目图像进行立体修正后根据确定好的ROI区域进行立体匹配处理，提高火焰定位结果的准确性。
进一步地，本实施例首先根据双目相机标定数据对左右目相机的图像进行立体校正，然后进行立体匹配，在进行立体匹配时，匹配的精度直接影响测距精度，立体匹配的速度直接影响测距效率。通常采用的全局性匹配计算量较大，直接影响***的实时性能，因此本实施例考虑减少不必要的全局像素处理以降低计算量来提高匹配的速度和精度，对于火焰定位我们的感兴趣区域(ROI)是火焰区域，其它的区域没有匹配的必要，而且存在很多错误匹配的情况，还需要计算剔除。本实施例只对ROI区域进行匹配计算，需要的特征点相对于全局匹配更少，匹配的计算量大大减少，定位的精度和速度都会得到显著的提高。
在一实施例中，如图8、图10所示，所述步骤S30：基于所述ROI区域，对所述左右目红外图像或所述左右目可见光图像进行立体匹配和视差计算，得到火焰三维坐标，具体包括以下步骤：
S310、利用卷积神经网络模型对所述左右目可见光图像进行火焰识别检测，并判断在所述左右目可见光图像中是否完整检测到火焰，若是则执行步骤S320，若否则执行步骤S330；
S320、基于所述ROI区域，对所述左右目可见光图像进行立体匹配和视差计算，得到所述火焰三维坐标；
S330、基于所述ROI区域，对所述左右目红外图像进行立体匹配和视差计算，得到所述火焰三维坐标。
需要说明的是，本实施例通过利用卷积神经网络模型对所述左右目可见光图像和所述左右目红外图像进行火焰识别检测，若双目可见光图像中可以检测到火焰，则利用可见光图像进行判断，因为可见光图像具有高空间分辨率和清晰度的纹理细节，可以有效的提高定位精度，因此，在接下来的处理中尽可能的利用可见光图像；如果可见光图像由于烟雾遮挡原因导致可见光图像中不能检测或是不能全部检测到火焰，则直接利用红外图像进行判断。
在一实施例中，所述卷积神经网络模型采用SSD目标识别网络，所述SSD目标识别网络的主干特征提取网络为轻量级网络MobileNetV2，所述轻量级网络MobileNetV2中加入注意力机制Squeeze-and-Excitation。
需要说明的是，本实施例通过使用轻量级网络MobilNetV2达到运行速度和检测精度的平衡，且较少的参数量和计算量缓解了实际部署的困难，并以所述轻量级网络MobilNetV2为基础，加入了Squeeze-and-Excitation注意力机制，以极小的计算量增加，增加了精度。
具体地，本实施例在所述轻量级网络MobileNetV2中每个Bottlenck操作加入所述注意力机制Squeeze-and-Excitation，利用注意力机制将全部的空间信息压缩到一个信道之中，通过对特征图进行通道级别的激活，显式地构建通道之间的依赖关系来增强卷积神经网络的表征能力。
在一实施例中，如图11所示，所述步骤S320：基于所述ROI区域，对所述左右目可见光图像进行立体匹配和视差计算，得到所述火焰三维坐标，包括以下步骤：
S321、基于所述ROI区域，对所述左右目可见光图像中对应的ROI区域中的全部特征点进行匹配，得到第二特征匹配集合；
需要说明的是，通过双目可见光图像中的ROI区域进行立体匹配，首先对左右目可见光图像中对应的ROI区域进行特征提取，本实施例具体采用ORB特征法，然后对左右目可见光图像中的特征点采用暴力匹配的方法进行全部特征点的匹配，由于在匹配的过程中只需要对ROI区域图像匹配，所以计算量较小，实时性能优良。
S322、将所述第二特征匹配集合中每一特征点对在横轴方向的坐标差的绝对值作为该特征点对的视差；
S323、对所述第二特征匹配集合中所有特征点对的视差进行匹配代价的滤波处理后，求取所有特征点对的视差平均值D作为最终视差；
需要说明的是，本实施例求解左右目可见光图像中每一对特征点在横轴方向的坐标差d，将其绝对值作为计算距离的视差；获取到ROI区域内所有特征点的视差后，进行匹配代价的滤波处理，剔除最大最小值，然后求取ROI区域内的平均视差D为目标的最终视差。
S324、基于三角测距原理，对所述最终视差进行计算，得到所述火焰三维坐标。
应当理解的是，基于所述ROI区域，对所述左右目红外图像进行立体匹配和视差计算，得到火焰三维坐标的步骤与对所述左右目可见光图像进行立体匹配和视差计算的过程类似，具体为：
基于所述ROI区域，对所述左右目红外图像中对应的ROI区域中的全部特征点进行匹配，对应得到第一特征匹配集合；
将所述第一特征匹配集合中每一特征点对在横轴方向的坐标差的绝对值作为该特征点对的视差；
对所述第一特征匹配集合中所有特征点对的视差进行匹配代价的滤波处理后，求取所有特征点对的视差平均值D作为最终视差；
基于三角测距原理，对所述最终视差进行计算，得到所述火焰三维坐标。
在一实施例中，所述步骤S324中，基于三角测距原理，对所述最终视差进行计算，得到所述火焰三维坐标的公式表示为：
Figure BDA0003855240270000121
式中：(uL,vL)为目标火焰点在左目相机上的像素坐标，f为相机焦距，b为左目相机和右目相机光心距离，D为所述最终视差，x为水平方向坐标，y为竖直方向坐标，z为距离。
在一实施例中，在所述步骤S321：基于所述ROI区域，对所述左右目可见光图像中对应的ROI区域中的全部特征点进行匹配，得到第二特征匹配集合，或基于所述ROI区域，对所述左右目红外图像中对应的ROI区域中的全部特征点进行匹配，得到第一特征匹配集合之前，还包括以下步骤：
采用均方误差方法对所述左右目红外图像或所述左右目可见光图像中对应的ROI区域进行相似度计算，得到相似度值；
判断所述相似度值是否小于设定阈值；
若是，则执行所述基于所述ROI区域，对所述左右目红外图像或所述左右目可见光图像中对应的ROI区域中的全部特征点进行匹配，对应得到第一特征匹配集合或第二特征匹配集合；
若否，则重新对所述双目红外图像进行火焰识别检测，确定ROI区域。
具体地，采用均方误差方法(MSE)对左右红外图像或左右可见光图像的ROI区域进行相似度计算公式为：
Figure BDA0003855240270000131
其中：Nu,Nv分别为ROI区域宽度和高度上的像素数量，fl(u,v),fr(u,v)分别为左目和右目红外图像上在点(u,v)上的灰度值，只要当MSE的值小于设定的阈值时(通常为0.01-0.06，根据实际情况设置)可以认为左右目的图像是同一目标，如不符合阈值则到B1重新处理。
本实施例通过计算左右红外图像的ROI区域的相似度或左右可见光图像的ROI区域相似度，以确认左右红外图像或左右可见光图像中的火焰目标是否是同一目标，确保火焰定位的准确性。
本实施例对采集的红外图像采用基于深度学习算法的火焰检测处理，确定ROI区域，并且可以根据火焰识别结果判断是否有遮挡情况发生以及是何种遮挡情况，如有遮挡情况发生，根据处理结果发送运动指令给消防机器人运动至合适位置；对双目图像进行立体修正后根据确定好的ROI区域进行立体匹配处理，然后采用双目测距算法计算出火焰的三维坐标，再根据相机坐标系和消防机器人坐标系的变换关系，转换成机器人坐标系的三维坐标，进而驱动消防炮头调整至适合姿态精准释放。
如图12所示，本发明第二实施例提出了一种特高压换流站消防机器人火焰定位***，所述***包括：
图像采集模块100，用于采集火焰区域的左右目可见光图像和左右目红外图像；
识别检测模块200，用于对所述左右目红外图像进行火焰识别检测，并标记火焰外框，将左右目红外图像中火焰外框区域最大的作为ROI区域；
坐标计算模块300，用于基于所述ROI区域，对所述左右目红外图像或所述左右目可见光图像进行立体匹配和视差计算，得到火焰三维坐标；
坐标转换模块400，用于将所述火焰三维坐标转换至消防机器人坐标系下，得到所述消防机器人坐标系下火焰位置坐标。
3、本实施例通过采集双目可见光图像和双目红外图像，对采集的红外图像采用基于深度学习算法的火焰检测处理，确定ROI区域，通过采用红外图像作为ROI区域检测基础图像，而不再针对可见光图像单独进行图像分割，以尽量提高匹配效率，降低匹配计算量，显著提高定位的精度和速度；而且可见光成像具有丰富的对比度和颜色、形状信息，因而可迅速地对被测目标进行识别和测量，但是对于烟雾包围的火焰则无法成像，红外图像可感知被测对象温度信息，且在光线较弱、烟雾等特殊环境条件下，相比可见光成像明显，本方案基于ROI区域，具体选择通过左右目红外图像或左右目可见光图像进行立体匹配和视差计算，得到火焰三维坐标，提高了火焰定位的准确性。
在一实施例中，所述图像采集模块100安装于消防机器人上，如图2所示，具体包括一固定底座7，所述固定底座7上布置有左目可见光相机8、右目可见光相机9、左目滤光片10、右目滤光片11、左目滤光片摆动电机12和右目滤光片摆动电机13；
所述左目滤光片摆动电机12驱动端经左目滤光片摆杆16与所述左目滤光片10连接；所述右目滤光片摆动电机13驱动端经右目滤光片摆杆17与所述右目滤光片11连接；
所述左目可见光相机8、所述右目可见光相机9、所述左目滤光片摆动电机12和所述右目滤光片摆动电机13均与控制器18连接。
本实施例通过左、右目滤光片摆动电机分别驱动左、目滤光片摆杆从而带动左、右目滤光片移动离开或覆盖左、右目可见光相机，实现双波段双目图像采集。具体如图3所示，正常工作时，由移动电机驱动使红外滤光片同步离开可见光相机，此时成像为可见光图像，然后移动电机驱动使红外滤光片同步覆盖相机前方，此时成像为红外图像。
进一步地，所述固定底座上安装有左目相机组件安装滑座14和右目相机组件安装滑座15，所述左目可见光相机8和所述左目滤光片摆杆16安装于所述左目相机组件安装滑座14，所述右目可见光相机9和所述右目滤光片摆杆17安装于所述右目相机组件安装滑座15。
本实施例采用双目可见光相机配置红外红外滤光片的结构，实现了两台可见光相机+两台红外相机的效果，不需要进行红外图像和可见光图像的配准计算，节省了成本，降低***复杂度；可大大降低后期图像匹配融合的难度，缩短图像处理时间，提高工作效率，降低对处理算力的要求，减小功耗，有利于增加电池供电的消防机器人的工作时间。
进一步地，本实施例中控制器18由NVIDIA的Jetson XavierNX构成，识别检测模块200、坐标计算模块300及坐标转换模块400集成为图像处理器并安装于消防机器人上，控制器和图像处理器之间采用wifi和CAN总线通信。
具体地，如图4所示，左目可见光相机8和右目可见光相机9的图像输出端均与控制器18的输入连接，控制器18的驱动端分别经左目滤光片摆动电机12、右目滤光片摆动电机13与左目滤光片10、右目滤光片11连接，控制器18的图像输出端与图像处理器连接，图像处理器用于对左右目红外图像和左右目可见光图像进行处理。
控制器18用于驱动电机转动从而带动带动左、右目滤光片移动离开或覆盖左、右目可见光相机，实现双波段双目图像采集。
在一实施例中，如图13所示，所述识别检测模块200，包括：
第一识别检测单元210，用于利用卷积神经网络模型对所述左右目红外图像进行火焰识别检测；
第一判断单元220，用于判断是否在所述双目红外图像中均检测到符合设定阈值的火焰；
ROI区域确定单元230，用于在所述第一判断单元输出结果为是时，基于所述左右目红外图像进行火焰识别检测结果，将所述左右目红外图像中火焰外框区域最大的作为ROI区域；
所述图像采集模块100，用于在所述第一判断单元输出结果为否时，重新采集火焰区域的双目可见光图像和双目红外图像。
需要说明的是，通过对左右目红外图像进行火焰识别检测，可以根据火焰识别结果判断是否有遮挡情况发生以及是何种遮挡情况，如有遮挡情况发生，根据处理结果发送运动指令给消防机器人，控制消防机器人运动至合适位置重新采集火焰区域的可见光图像和红外图像，在对双目图像进行立体修正后根据确定好的ROI区域进行立体匹配处理，提高火焰定位结果的准确性。
在一实施例中，如图14所示，所述坐标计算模块300，包括：
第二识别检测单元310，用于利用卷积神经网络模型对所述左右目可见光图像进行火焰识别检测；
第二判断单元320，用于判断在所述左右目可见光图像中是否完整检测到火焰；
坐标计算单元330，用于在所述第二判断单元输出结果为是时，基于所述ROI区域，对所述左右目可见光图像进行立体匹配和视差计算，得到所述火焰三维坐标；以及用于在所述第二判断单元输出结果为否时，基于所述ROI区域，对所述左右目红外图像进行立体匹配和视差计算，得到所述火焰三维坐标。
需要说明的是，本实施例通过利用卷积神经网络模型对所述左右目可见光图像和所述左右目红外图像进行火焰识别检测，若双目可见光图像中可以检测到火焰，则利用可见光图像进行判断，因为可见光图像具有高空间分辨率和清晰度的纹理细节，可以有效的提高定位精度，因此，在接下来的处理中尽可能的利用可见光图像；如果可见光图像由于烟雾遮挡原因导致可见光图像中不能检测或是不能全部检测到火焰，则直接利用红外图像进行判断。
在一实施例中，所述卷积神经网络模型采用SSD目标识别网络，所述SSD目标识别网络的主干特征提取网络为轻量级网络MobileNetV2，所述轻量级网络MobileNetV2中加入注意力机制Squeeze-and-Excitation。
需要说明的是，本实施例通过使用轻量级网络MobilNetV2达到运行速度和检测精度的平衡，且较少的参数量和计算量缓解了实际部署的困难，并以所述轻量级网络MobilNetV2为基础，加入了Squeeze-and-Excitation注意力机制，以极小的计算量增加，增加了精度。
具体地，本实施例在所述轻量级网络MobileNetV2中每个Bottlenck操作加入所述注意力机制Squeeze-and-Excitation，利用注意力机制将全部的空间信息压缩到一个信道之中，通过对特征图进行通道级别的激活，显式地构建通道之间的依赖关系来增强卷积神经网络的表征能力。
在一实施例中，所述坐标计算单元330，包括：
匹配子单元，用于基于所述ROI区域，对所述左右目红外图像或所述左右目可见光图像中对应的ROI区域中的全部特征点进行匹配，对应得到第一特征匹配集合或第二特征匹配集合；
绝对值计算子单元，用于将所述第一特征匹配集合或所述第二特征匹配集合中每一特征点对在横轴方向的坐标差的绝对值作为该特征点对的视差；
视差计算子单元，用于对所述第一特征匹配集合或所述第二特征匹配集合中所有特征点对的视差进行匹配代价的滤波处理后，求取所有特征点对的视差平均值D作为最终视差；
坐标计算子单元，用于基于三角测距原理，对所述最终视差进行计算，得到所述火焰三维坐标。
需要说明的是，本实施例通过双目可见光图像中的ROI区域进行立体匹配，首先对左右目可见光图像中对应的ROI区域进行特征提取，本实施例具体采用ORB特征法，然后对左右目可见光图像中的特征点采用暴力匹配的方法进行全部特征点的匹配，由于在匹配的过程中只需要对ROI区域图像匹配，所以计算量较小，实时性能优良。然后求解左右目可见光图像中每一对特征点在横轴方向的坐标差d，将其绝对值作为计算距离的视差；获取到ROI区域内所有特征点的视差后，进行匹配代价的滤波处理，剔除最大最小值，然后求取ROI区域内的平均视差D为目标的最终视差。
在一实施例中，所述坐标计算子单元计算得到的所述火焰三维坐标的公式表示为：
Figure BDA0003855240270000171
式中：(uL,vL)为目标火焰点在左目相机上的像素坐标，f为相机焦距，b为左目相机和右目相机光心距离，D为所述最终视差，x为水平方向坐标，y为竖直方向坐标，z为距离。
在一实施例中，所述坐标计算单元330，还包括：
相似度计算子单元，用于采用均方误差方法对所述左右目红外图像或所述左右目可见光图像中对应的ROI区域进行相似度计算，得到相似度值；
判断子单元，用于判断所述相似度值是否小于设定阈值；
所述匹配子单元，用于在所述判断子单元输出结果为是时，执行所述基于所述ROI区域，对所述左右目红外图像或所述左右目可见光图像中对应的ROI区域中的全部特征点进行匹配，对应得到第一特征匹配集合或第二特征匹配集合；
所述识别检测模块，用于在所述判断子单元输出结果为否时，重新对所述双目红外图像进行火焰识别检测，确定ROI区域。
具体地，采用均方误差方法(MSE)对左右红外图像或左右可见光图像的ROI区域进行相似度计算公式为：
Figure BDA0003855240270000172
其中：Nu,Nv分别为ROI区域宽度和高度上的像素数量，fl(u,v),fr(u,v)分别为左目和右目红外图像上在点(u,v)上的灰度值，只要当MSE的值小于设定的阈值时(通常为0.01-0.06，根据实际情况设置)可以认为左右目的图像是同一目标，如不符合阈值则到B1重新处理。
本实施例通过计算左右红外图像的ROI区域的相似度或左右可见光图像的ROI区域相似度，以确认左右红外图像或左右可见光图像中的火焰目标是否是同一目标，确保火焰定位的准确性。
需要说明的是，利用本实施例提出的特高压换流站消防机器人火焰定位***进行灭火的工作示意图如图15所示，消防机器人4本体上安装有消防炮3和火焰定位***2，阀厅5前布置有换流变1，各换流变1之间设置有防火墙6。在换流变着火时，利用消防机器人4对火焰进行识别定位，再利用消防炮精准释放进行灭火。
需要说明的是，本发明所述特高压换流站消防机器人火焰定位***的其他实施例或具有实现方法可参照上述各方法实施例，此处不再赘余。
需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种特高压换流站消防机器人火焰定位方法，其特征在于，所述方法包括：
采集火焰区域的左右目可见光图像和左右目红外图像；
对所述左右目红外图像进行火焰识别检测，并标记火焰外框，将左右目红外图像中火焰外框区域最大的作为ROI区域；
基于所述ROI区域，对所述左右目红外图像或所述左右目可见光图像进行立体匹配和视差计算，得到火焰三维坐标；
将所述火焰三维坐标转换至消防机器人坐标系下，得到所述消防机器人坐标系下火焰位置坐标。
2.如权利要求1所述的特高压换流站消防机器人火焰定位方法，其特征在于，所述消防机器人安装有双波段图像采集模块，所述双波段图像采集模块包括两台可见光相机和两片红外滤光片，两片所述红外滤光片可分别移动离开或覆盖两台所述可见光相机，所述采集火焰区域的左右目可见光图像和左右目红外图像，包括：
对两台所述可见光相机进行标定，获得左右两个相机的内参、外参和畸变系数；
驱动所述红外滤光片离开所述可见光相机，利用所述可见光相机采集火焰区域的左右目可见光图像；
驱动所述红外滤光片覆盖所述可见光相机，利用所述可见光相机采集火焰区域的左右目红外图像。
3.如权利要求1所述的特高压换流站消防机器人火焰定位方法，其特征在于，所述对所述左右目红外图像进行火焰识别检测，并标记火焰外框，将左右目红外图像中火焰外框区域最大的作为ROI区域，包括：
利用卷积神经网络模型对所述左右目红外图像进行火焰识别检测；
判断是否在所述双目红外图像中均检测到符合设定阈值的火焰；
若是，则基于所述左右目红外图像进行火焰识别检测结果，将所述左右目红外图像中火焰外框区域最大的作为ROI区域；
若否，则移动所述消防机器人，并重新利用所述消防机器人采集火焰区域的双目可见光图像和双目红外图像。
4.如权利要求1所述的特高压换流站消防机器人火焰定位方法，其特征在于，所述基于所述ROI区域，对所述左右目红外图像或所述左右目可见光图像进行立体匹配和视差计算，得到火焰三维坐标，包括：
利用卷积神经网络模型对所述左右目可见光图像进行火焰识别检测，并判断在所述左右目可见光图像中是否完整检测到火焰；
若是，则基于所述ROI区域，对所述左右目可见光图像进行立体匹配和视差计算，得到所述火焰三维坐标；
若否，则基于所述ROI区域，对所述左右目红外图像进行立体匹配和视差计算，得到所述火焰三维坐标。
5.如权利要求3或4所述的特高压换流站消防机器人火焰定位方法，其特征在于，所述卷积神经网络模型采用SSD目标识别网络，所述SSD目标识别网络的主干特征提取网络为轻量级网络MobileNetV2，所述轻量级网络MobileNetV2中加入注意力机制Squeeze-and-Excitation。
6.如权利要求1所述的特高压换流站消防机器人火焰定位方法，其特征在于，所述基于所述ROI区域，对所述左右目红外图像或所述左右目可见光图像进行立体匹配和视差计算，得到火焰三维坐标，包括：
基于所述ROI区域，对所述左右目红外图像或所述左右目可见光图像中对应的ROI区域中的全部特征点进行匹配，对应得到第一特征匹配集合或第二特征匹配集合；
将所述第一特征匹配集合或所述第二特征匹配集合中每一特征点对在横轴方向的坐标差的绝对值作为该特征点对的视差；
对所述第一特征匹配集合或所述第二特征匹配集合中所有特征点对的视差进行匹配代价的滤波处理后，求取所有特征点对的视差平均值D作为最终视差；
基于三角测距原理，对所述最终视差进行计算，得到所述火焰三维坐标。
7.如权利要求6所述的特高压换流站消防机器人火焰定位方法，其特征在于，所述基于三角测距原理，对所述最终视差进行计算，得到所述火焰三维坐标的公式表示为：
Figure FDA0003855240260000021
式中：(uL,vL)为目标火焰点在左目相机上的像素坐标，f为相机焦距，b为左目相机和右目相机光心距离，D为所述最终视差，x为水平方向坐标，y为竖直方向坐标，z为距离。
8.如权利要求6所述的特高压换流站消防机器人火焰定位方法，其特征在于，在所述基于所述ROI区域，对所述左右目红外图像或所述左右目可见光图像中对应的ROI区域中的全部特征点进行匹配，对应得到第一特征匹配集合或第二特征匹配集合之前，所述方法还包括：
采用均方误差方法对所述左右目红外图像或所述左右目可见光图像中对应的ROI区域进行相似度计算，得到相似度值；
判断所述相似度值是否小于设定阈值；
若是，则执行所述基于所述ROI区域，对所述左右目红外图像或所述左右目可见光图像中对应的ROI区域中的全部特征点进行匹配，对应得到第一特征匹配集合或第二特征匹配集合；
若否，则重新对所述双目红外图像进行火焰识别检测，确定ROI区域。
9.一种特高压换流站消防机器人火焰定位***，其特征在于，所述***包括：
图像采集模块，用于采集火焰区域的左右目可见光图像和左右目红外图像；
识别检测模块，用于对所述左右目红外图像进行火焰识别检测，并标记火焰外框，将左右目红外图像中火焰外框区域最大的作为ROI区域；
坐标计算模块，用于基于所述ROI区域，对所述左右目红外图像或所述左右目可见光图像进行立体匹配和视差计算，得到火焰三维坐标；
坐标转换模块，用于将所述火焰三维坐标转换至消防机器人坐标系下，得到所述消防机器人坐标系下火焰位置坐标。
10.如权利要求9所述的特高压换流站消防机器人火焰定位***，其特征在于，所述图像采集模块包括一固定底座，所述固定底座上布置有左目可见光相机、右目可见光相机、左目滤光片、右目滤光片、左目滤光片摆动电机和右目滤光片摆动电机；
所述左目滤光片摆动电机驱动端经左目滤光片摆杆与所述左目滤光片连接；所述右目滤光片摆动电机驱动端经右目滤光片摆杆与所述右目滤光片连接；
所述左目可见光相机、所述右目可见光相机、所述左目滤光片摆动电机和所述右目滤光片摆动电机均与控制器连接。
CN202211144984.1A 2022-09-20 2022-09-20 特高压换流站消防机器人火焰定位方法及*** Pending CN115526897A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211144984.1A CN115526897A (zh) 2022-09-20 2022-09-20 特高压换流站消防机器人火焰定位方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211144984.1A CN115526897A (zh) 2022-09-20 2022-09-20 特高压换流站消防机器人火焰定位方法及***

Publications (1)

Publication Number Publication Date
CN115526897A true CN115526897A (zh) 2022-12-27

Family

ID=84697775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211144984.1A Pending CN115526897A (zh) 2022-09-20 2022-09-20 特高压换流站消防机器人火焰定位方法及***

Country Status (1)

Country Link
CN (1) CN115526897A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117177027A (zh) * 2023-11-02 2023-12-05 中国矿业大学 基于响尾蛇复眼布局的双光谱融合视觉感知***及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117177027A (zh) * 2023-11-02 2023-12-05 中国矿业大学 基于响尾蛇复眼布局的双光谱融合视觉感知***及方法
CN117177027B (zh) * 2023-11-02 2024-01-30 中国矿业大学 基于响尾蛇复眼布局的双光谱融合视觉感知***及方法

Similar Documents

Publication Publication Date Title
CN107025635B (zh) 基于景深的图像饱和度的处理方法、处理装置和电子装置
US10234873B2 (en) Flight device, flight control system and method
JP4899424B2 (ja) 物体検出装置
US20160379370A1 (en) Information processing apparatus, information processing method, and storage medium
US8179448B2 (en) Auto depth field capturing system and method thereof
KR20120053275A (ko) 3차원 얼굴 위치 추정방법 및 장치
CN107016348B (zh) 结合深度信息的人脸检测方法、检测装置和电子装置
JP2019049457A (ja) 画像処理装置および測距装置
JP2018156408A (ja) 画像認識撮像装置
JP2010133751A (ja) 形状測定装置およびプログラム
CN112634269A (zh) 一种轨道车辆车体检测方法
CN115526897A (zh) 特高压换流站消防机器人火焰定位方法及***
JP6708152B2 (ja) 運転者状態推定装置、及び運転者状態推定方法
JP2009211122A (ja) 画像処理装置およびオブジェクト推定プログラム。
CN108171754A (zh) 一种基于双目视觉的机器人导航装置及方法
JP2015179499A (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JP6860445B2 (ja) 物体距離検出装置
CN111860270B (zh) 一种基于鱼眼相机的障碍物检测方法及装置
Yamaguchi Three dimensional measurement using fisheye stereo vision
Swadzba et al. Tracking objects in 6D for reconstructing static scenes
JP2021086258A (ja) 姿勢推定装置、および、姿勢推定方法
JP4704998B2 (ja) 画像処理装置
CN113959398B (zh) 基于视觉的测距方法、装置、可行驶设备及存储介质
JP2009070097A (ja) 車長計測装置および車種判定装置
WO2021049281A1 (ja) 画像処理装置、ヘッドマウントディスプレイ、および空間情報取得方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination