CN114399882A - 一种用于消防机器人的火源探测识别并预警方法 - Google Patents

一种用于消防机器人的火源探测识别并预警方法 Download PDF

Info

Publication number
CN114399882A
CN114399882A CN202210067506.9A CN202210067506A CN114399882A CN 114399882 A CN114399882 A CN 114399882A CN 202210067506 A CN202210067506 A CN 202210067506A CN 114399882 A CN114399882 A CN 114399882A
Authority
CN
China
Prior art keywords
image
fire
target
fire source
early warning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210067506.9A
Other languages
English (en)
Inventor
陈卫平
滕磊
杨爱喜
陈泽辉
陈杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hongqi Technology Hangzhou Co ltd
Original Assignee
Hongqi Technology Hangzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hongqi Technology Hangzhou Co ltd filed Critical Hongqi Technology Hangzhou Co ltd
Priority to CN202210067506.9A priority Critical patent/CN114399882A/zh
Publication of CN114399882A publication Critical patent/CN114399882A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
    • G08B29/188—Data fusion; cooperative systems, e.g. voting among different detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Fire-Detection Mechanisms (AREA)

Abstract

本发明公开了一种用于消防机器人的火源探测识别并预警方法,包括步骤S1:由消防机器人进行目标环境的监测并采集可见光图像和红外热图像，对可见光图像和红外热图像进行图像预处理；S2:对预处理后的可见光图像检测是否存在疑似目标，发现疑似目标后并发出预警，再通过对预处理后的红外图像进行测温，判断疑似目标是否超过设定的温度阈值，若超过阈值，则判定为疑似火源目标并发出预警，否则继续监测；S3:在判定为疑似火源目标后，利用目标融合的方式将可见光图像和红外图像进行图像配准和图像融合，确定真实火源，通过双目视差定位真实火源的位置，再将火源位置进行上报。本发明可以使得消防机器人进行火源的探测识别并预警，降低火灾发生的可能性。

Description

一种用于消防机器人的火源探测识别并预警方法
技术领域
本发明涉及消防预警技术领域，特别涉及一种用于消防机器人的火源探测识别并预警方法。
背景技术
火灾是现代社会中最经常发生的人为灾害，严重威胁着人类生命财产安全。现有的消防机器人是一种具有火源检测和主动灭火等功能，能够在火灾高危场所进行持续作业，减少火灾发生的机器。由于早期燃烧的小火不容易发现，而处于成长期的火灾扑灭难度较大，一旦仓库和工厂发生火灾就会造成重大人员伤亡和财产损失，所以对火灾防控重点场所进行火灾检测预警就特别重要。
发明内容
本发明的目的在于，提供一种用于消防机器人的火源探测识别并预警方法。本发明可以使得消防机器人进行火源的探测识别并预警，不仅能够达到预警的及时有效，而且能准确的识别火源的位置并及时上报，降低火灾发生的可能性。
本发明的技术方案：一种用于消防机器人的火源探测识别并预警方法,包括消防机器人，按如下步骤进行：
S1:由消防机器人上的可见光相机和红外热成像仪进行目标环境的监测，监测时采集目标环境的可见光图像和红外热图像，对可见光图像和红外热图像进行图像预处理；
S2:对预处理后的可见光图像进行检测是否存在疑似目标，发现疑似目标后并发出预警，再通过对预处理后的红外图像进行测温，判断疑似目标是否超过设定的温度阈值，若超过阈值，则判定为疑似火源目标并发出预警，否则继续监测；
S3:在判定为疑似火源目标后，利用目标融合的方式将可见光图像和红外图像进行图像配准和图像融合，从而确定是否属于真实火源，然后通过双目视差定位真实火源的位置，再将火警预警及火源位置进行上报。
上述的用于消防机器人的火源探测识别并预警方法,所述可见光图像预处理是采用线型变化增强方法将输入图片进行预处理，公式如下：
O(r，c)＝a×I(r，c)+b，0≤r≤H，0≤c≤W；
式中：I(r，c)为原始图片像素点；O(r，c)为增强图片像素点；H、W分别为图形的高度与宽度；参数a为常数，用于调节图像的对比度；参数b为常数，用于调节图像的亮度。
前述的用于消防机器人的火源探测识别并预警方法,通过Yolo v4目标检测模型对预处理后的可见光图像进行检测是否存在疑似目标；
所述Yolo v4目标检测模型的输入图像尺寸大小为608像素×608像素，经过CSPDarknet53主干特征提取网络进行特征提取，输出大小分别为76×76、38×38、19×19的特征层，分别负责检测小中大三种目标，再经过SSP模块的19×19的特征层，与76×76和38×38的特征层采用PANet模块的网络进行张量拼接，加强网络对不同尺寸物体的检测性能；由Prediction模块输出三种尺寸目标的检测结果；同时在CSPDarknet53的CSP×2与CSP×8两个残差块之间增加一个CSP×4的残差块，利用这一个4倍降采样的特征融合目标检测层对小目标进行训练，提高对小目标检测的准确率。
前述的用于消防机器人的火源探测识别并预警方法,在Yolo v4目标检测模型在构建中，数据集包括火灾火焰数据集和火灾初期火焰数据集；所述数据集是由公开的火焰数据集Image Net、Bo W-Fire中的图像、通用火焰火灾数据集中截取的视频图像以及类似火焰目标的干扰图像组合而成；
在Yolo V4模型的训练中，通过labellmg对数据集进行标注，标注时对图像上的火焰区域进行完整标注，从而避开遮挡物和类似颜色的干扰物，以获得最好的训练效果。
前述的用于消防机器人的火源探测识别并预警方法,所述红外图像的预处理是对红外图像进行均值滤波降噪，提升图像中目标的清晰度，然后对红外图像进行直方图均衡化，使图像细节更加清楚，具体过程是：
(1)均值滤波降噪，设离散图像f(x，y)通过均值滤波算子遍历图像，对图像任意像素点为中心计算邻域中所有像素点的均值，作为滤波后图像g(x，y)点的像素值，则有：
Figure BDA0003480755050000041
式中，S是任意像素点确定的邻域，M为邻域S中像素点总数；均值滤波通过卷积运算方式实现，其输出图像g(x，y)表示为：
Figure BDA0003480755050000042
其中,
Figure BDA0003480755050000043
通过所选的邻域大小来决定模板的大小，m，n为邻域尺寸；h(r，s)为卷积阵列；
(2)直方图均衡化，图像的灰度直方图表示为：
Figure BDA0003480755050000044
式中，nk为第k个灰度级出现的频数，N为像素总数，rk为图像的第k个灰度级，L为灰度级总数，p(rk)为该灰度级概率；
用r和s分别表示经过归一化原始图和直方图均衡化变换后的图像：
0≤r≤1，0≤s≤1；
对于原图像中任意像素点，都可以经过变化产生新图像的一个像素值，且s＝T(r)是直方图均衡化的变换函数，原图像的灰度概率密度函数Pr(r),变换后的图像灰度概率密度函数为Ps(s)；由概率论可得，变换后的Ps(s)为：
Figure BDA0003480755050000045
对于数字图像，将图像灰度直方图值作为图像的概率密度函数，则该图像灰度为rk的像素出现概率为：
Figure BDA0003480755050000051
对原图进行直方图均衡化处理的变化函数为：
Figure BDA0003480755050000052
式中，N为图像中像素总数,L灰度级总数。
前述的用于消防机器人的火源探测识别并预警方法,通过红外热成像仪对预处理后的红外图像进行测温：
f(T′0)＝τa[εf(T0)+(1-ε)f(Tu)]+(1-τa)f(Ta)；
其中，T0为被测物体表面温度；Tu为环境温度；Ta为大气温度；T′0为红外热像仪指示的辐射温度；τa大气的光谱透射率
由普朗克辐射定律，得到被测物表面真实温度的计算公式为：
Figure BDA0003480755050000053
当使用不同波段的红外热成像仪时，n的取值不同。
前述的用于消防机器人的火源探测识别并预警方法,所述图像配准具体步骤如下：
首先进行特征点的检测：构建尺度空间：
Figure BDA0003480755050000054
Figure BDA0003480755050000055
式中：I(x，y)为输入的原图像；G(x，y，σ)为可变高斯核函数；σ为尺度空间高斯模糊参数；(x，y)为图像的像素位置；p和q分别为高斯模板的维度；
高斯差分尺度空间中差分算子为：
Figure BDA0003480755050000061
构建高斯差分图像，在图中进行特征点的提取，中间的检测点和它同尺度的8个相邻点以及上下相邻尺度对应的9×2个点进行比较，以确保在尺度空间和二维图像空间都检测到极值点，求取出局部极大值点作为特征点；
然后对提取出的特征点进行描述：通过在像素点周围划分成16方形子区域，能够覆盖图像的大部分特征，在子区域中求取8个方向的梯度和模值，构成了128维的特征向量对特征点进行描述；其模值以及梯度的计算公式为：
Figure BDA0003480755050000062
Figure BDA0003480755050000063
接着进行特征点的匹配：利用欧式距离进行特征点的匹配，通过计算最近欧氏距离与次最近欧氏距离的比值，如果比值在阈值范围内则匹配成功，否则匹配失败；欧氏距离的计算方程式为：
Figure BDA0003480755050000064
其中,dis为两个特征矢量的欧氏距离；P为描述子维数；m和n为两张图中特征点；Dm和Dn分别为m和n的特征描述子；
再进行空间变换：采用仿射变换模型，模型表示为下式：
Figure BDA0003480755050000071
其中,(x，y)和(x′，y′)分别是可见光图像与热红外图像中对应特征点的像素坐标，6个参数向量代表两幅图像坐标之间的转换关系；
最后进行图像融合：采用加权平均图像融合算法，设可见光图像为A，红外图像为B,融合后的图像为F，其加权平均融合过程如下式所示：
F(i，j)＝w1A(i，j)+w2B(i，j)；
其中,(i，j)代表代表图像中像素点位置坐标,w1和w2分别为图像加权系数，w1+w2＝1。
前述的用于消防机器人的火源探测识别并预警方法,所述双目视差定位真实火源的位置的计算过程如下：
设点P是真实火源上的某一点，OR与OT分别是两个相机的光心，点P在两个相机传感器上的成像点分别为P′和P″，f为相机焦距，B为两个相机的中心距，XR、XT是两个成像点P′和P″在左右两个成像面上距离图像左边缘的距离，Z为深度信息；
设点P′到P″的距离为Δx，则：Δx＝B-(XR-XT)；
根据相似三角形原理：
Figure BDA0003480755050000081
计算得：
Figure BDA0003480755050000082
公式中，相机焦距f和摄像头中心距B通过标定得到，XR-XT即视差d，求得深度信息
Figure BDA0003480755050000083
假设目标点在左视图中的坐标为(x，y),在左右视图上形成的视差d，目标点在以左摄像头光心为原点的世界坐标系中的坐标为(X，Y，Z)，则存在所示的变换矩阵Q：
Figure BDA0003480755050000084
使得Q*[x，y，d，l]′＝[X，Y，Z，W]′，进而计算得：
Figure BDA0003480755050000085
其中，cx和cy分别为左像平面的坐标系与相机坐标系中原点的偏移，通过立体标定获得。
与现有技术相比，本发明通过将可见光相机和红外相机进行结合，由于在火灾形成的初期,并不存在明显的火焰信号,这时候存在的三种典型的物理现象是阴燃、火羽流和烟雾，阴燃和火羽流是发生在火灾形成初期的火焰,其温度较低,辐射的可见光部分很少,用普通可见光摄像机很难发现，但它们所发出的红外辐射却可以被红外摄像机所捕获，而可见光相机虽然对图像细节的抓取比红外相机突出，常用颜色特征、动态特征、纹理特征等作为检测的依据，但是在充满烟的环境下误判率会很高，因此本发明结合了可见光相机与红外热像仪，能有效地减小火灾的误判率，同时可以进行火源目标的识别与定位。本发明在火源探测识别的过程中，具有多步的预警，包括发现疑似目标后的预警，判定为疑似火源目标并发出预警以及确定为真实火源后的上报，从而可以全方面多层次的提醒并发出预警信息，使得人们可快速的进行应对，减少了火灾发生的可能性。此外，本发明采用了Yolo v4目标检测模型来进行图像中可疑目标的检测，在构建的过程中使其具有良好的鲁棒性和训练效果，提高了可疑目标的识别准确性。
附图说明
图1是本发明流程图；
图2是YOLOv4算法网络结构图；
图3是CSPDarknet53模块结构示意图；
图4是CSPDarknet53模块的基本组件图；
图5是SSP模块结构示意图；
图6是PANET模块结构示意图；
图7是图像配准算法流程图；
图8是双目测距原理示意图；
图9是双目成像立体视图。
具体实施方式
下面结合附图和实施例对本发明作进一步的说明，但并不作为对本发明限制的依据。
实施例：一种用于消防机器人的火源探测识别并预警方法,包括消防机器人，消防机器人配备VelodyneVLP-16激光雷达传感器，可见光单目相机和红外热成像仪、轮式编码器，消防机器人的巡检模块，基于ROS***，通过VelodyneVLP-16激光雷达传感器、轮式编码器，利用SLAM技术，实现消防机器人的自主定位、建图和导航；如图1所示按如下步骤进行：
S1:由消防机器人上的可见光相机和红外热成像仪进行目标环境的监测，监测时采集目标环境的可见光图像和红外热图像，对可见光图像和红外热图像进行图像预处理；
在监控状态下，室内、夜晚等环境状态图片存在光线不明、像素较低等问题.因此，增强图片对比度与亮度有助于提高识别效果。火源作为火灾引发的导火索，在火焰中心普遍比周围亮度高。因此，本实施例中红，所述可见光图像预处理是采用线型变化增强方法将输入图片进行预处理，公式如下：
O(r，c)＝a×I(r，c)+b，0≤r≤H，0≤c≤W；
式中：I(r，c)为原始图片像素点；O(r，c)为增强图片像素点；H、W分别为图形的高度与宽度；参数a为常数，用于调节图像的对比度；参数b为常数，用于调节图像的亮度。
红外热成像仪在成像中，会受到探测器、信号传输通道等部件产生的噪声，因此要对红外图像进行均值滤波处理，减少噪声，提升图像中目标的清晰度。最后对红外图像进行直方图均衡化，使图像细节更加清楚。本实施例中，所述红外图像的预处理是对红外图像进行均值滤波降噪，提升图像中目标的清晰度，然后对红外图像进行直方图均衡化，使图像细节更加清楚，具体过程是：
(1)均值滤波降噪，设离散图像f(x，y)通过均值滤波算子遍历图像，对图像任意像素点为中心计算邻域中所有像素点的均值，作为滤波后图像g(x，y)点的像素值，则有：
Figure BDA0003480755050000111
式中，S是任意像素点确定的邻域，M为邻域S中像素点总数；均值滤波通过卷积运算方式实现，其输出图像g(x，y)表示为：
Figure BDA0003480755050000112
其中,
Figure BDA0003480755050000113
通过所选的邻域大小来决定模板的大小，m，n为邻域尺寸；h(r，s)为卷积阵列；
(2)直方图均衡化，图像的灰度直方图表示为：
Figure BDA0003480755050000114
式中，nk为第k个灰度级出现的频数，N为像素总数，rk为图像的第k个灰度级，L为灰度级总数，p(rk)为该灰度级概率；
用r和S分别表示经过归一化原始图和直方图均衡化变换后的图像：
0≤r≤1，0≤s≤1；
对于原图像中任意像素点，都可以经过变化产生新图像的一个像素值，且s＝T(r)是直方图均衡化的变换函数，原图像的灰度概率密度函数Pr(r),变换后的图像灰度概率密度函数为Ps(s)；由概率论可得，变换后的Ps(s)为：
Figure BDA0003480755050000121
对于数字图像，将图像灰度直方图值作为图像的概率密度函数，则该图像灰度为rk的像素出现概率为：
Figure BDA0003480755050000122
对原图进行直方图均衡化处理的变化函数为：
Figure BDA0003480755050000123
式中，N为图像中像素总数,L灰度级总数。
S2:对预处理后的可见光图像进行检测是否存在疑似目标，发现疑似目标后并发出预警，再通过对预处理后的红外图像进行测温，判断疑似目标是否超过设定的温度阈值，若超过阈值，则判定为疑似火源目标并发出预警，否则继续监测；
本实施例中，通过Yolo v4目标检测模型对预处理后的可见光图像进行检测是否存在疑似目标；
如图2所述，所述Yolo v4目标检测模型的输入图像尺寸大小为608像素×608像素，经过CSPDarknet53主干特征提取网络进行特征提取，输出大小分别为76×76、38×38、19×19的特征层，分别负责检测小中大三种目标，再经过SSP模块的19×19的特征层，与76×76和38×38的特征层采用PANet模块的网络进行张量拼接，加强网络对不同尺寸物体的检测性能；由Prediction模块输出三种尺寸目标的检测结果。
由于在火灾初期，图像数据中的火灾目标多为小目标，因此对YOLO算法进行改进，如图3所示，即对主干特征提取网络结构进行修改，在CSPDarknet53的CSP×2与CSP×8两个残差块之间增加一个CSP×4的残差块，利用这一个4倍降采样的特征融合目标检测层对小目标进行训练，提高对小目标检测的准确率；同时，该网络借鉴了CSPNet(Cross StagePartial Network)的结构，增强了卷积神经网络的学习能力，使得网络结构在保持检测精度的同时减少计算量，降低计算瓶颈和内存成本。
图3中的基本组件如图4所示。算法中最小的两个组件为CBM和CBL，CBM组件由Conv(卷积)、BN(批量归一化)和Mish(激活函数)三部分组成，CBL组件由Conv(卷积)、BN(批量归一化)和Leaky_Relu(激活函数)三部分组成。Res Unit组件，借鉴Resnet网络中的残差结构，将输入特征经过两个CBM组件卷积后再与输入特征张量相加输出，使特征网络构建的更深。CSP×n借鉴CSPNet网络结构，将浅层的特征映射划分为两部分，一部分经过两次CBM卷积和n次残差组件计算，另一部分在一次CBM卷积后直接与残差模块的输出进行张量拼接后，再进行一次CBM卷积后输出。
图2中的SSP模块如图5所示，使用k＝{1×1，5×5,9×9，13×13}的最大池化方式，再将不同尺度的特征图进行融合，更加有效地增加了主干特征的接受范围(增加了网络的感受视野)，显著的分离了最重要的上下文特征。
图2中的PANET模块结构如图6所示，输出了3个不同尺度的预测框(featuremap)，每个预测框包含(x,y,w,h,confidence)五个基本参数(x,y为预测框的中心点坐标，w,h为预测框的宽和高，confidence为预测目标的置信度，置信度越高，目标检测的准确率越高)。置信度根据loss损失函数计算所得，损失函数如下：
损失函数L由四个部分组成，分别是边界框定位损失Lxy，边界框尺寸损失Lwh，置信度损失Lconf和类别损失Lcls，公式如下：
L＝Lxy+Lwh+Lconf+Lcls；
其中，边界框定位损失Lxy使用均方误差损失函数：
Figure BDA0003480755050000141
式中，s2表示输入图像被划分成S×S个网格；B表示单个网格预测边框数，取值为3；
Figure BDA0003480755050000142
表示当第i个网格预测的第j个边界框检测到某个目标时取值为1，否者为0；xi表示预测边界框中心点横坐标；yi表示预测边界狂中心点纵坐标；
Figure BDA0003480755050000143
表示实际边界框中心点横坐标；
Figure BDA0003480755050000144
表示实际边界框中心点纵坐标。
边界框尺寸损失Lwh使用均方误差损失函数：
Figure BDA0003480755050000145
式中：wi表示预测边界框宽度；hi表示预测边界框高度；
Figure BDA0003480755050000151
表示实际边界框宽度，
Figure BDA0003480755050000152
表示实际边界框高度；
置信度损失Lconf使用交叉熵损失函数：
Figure BDA0003480755050000153
式中，λobj为权重系数，取值为1；λnobj为权重系数，取值为100，这样使得不包含目标的边界框产生更大的损失值，表明此时的模型误差较大；
Figure BDA0003480755050000154
表示当第i个网格预测的第j个边界检测到某个目标时取值为0，否则为1：Ci表示预测目标的置信度；
Figure BDA0003480755050000155
——实际目标的置信度。
类别损失Lcls使用交叉熵损失函数：
Figure BDA0003480755050000156
式中：
Figure BDA0003480755050000158
表示检测到的目标所属类别；
Figure BDA0003480755050000157
表示第i个网格检测到某个目标时，该目标属于类别
Figure BDA0003480755050000159
的实际概率；pi(c)表示第i个网格检测到某个目标时，该目标属于类别c的预测概率。
在Yolo v4目标检测模型在构建中，数据集包括火灾火焰数据集和火灾初期火焰数据集；所述数据集是由公开的火焰数据集Image Net、Bo W-Fire中的图像、通用火焰火灾数据集中截取的视频图像以及类似火焰目标的干扰图像组合而成；通过设置干扰图像，以增强模型的鲁棒性。
在Yolo V4模型的训练中，通过labellmg对数据集进行标注，标注时对图像上的火焰区域进行完整标注，从而避开遮挡物和类似颜色的干扰物，以获得最好的训练效果。
Yolov4目标检测模型的训练在工业控制计算机上进行，工控机的硬件环境为：Intel Corei7-6700T处理器，16G运行内存，512G硬盘，GeForce GTX 2080Ti GPU。软件环境为Ubuntu18.04移动操作***。输入图像尺寸为608×608，最大迭代次数20000，权值衰减速率0.0005，初始学习率0.001，动量设置0.9。
本实施例中，通过红外热成像仪对预处理后的红外图像进行测温：
f(T′0)＝τa[εf(T0)+(1-ε)f(Tu)]+(1-τa)f(Ta)；
其中，T0为被测物体表面温度；Tu为环境温度；Ta为大气温度；T′0为红外热像仪指示的辐射温度；τa大气的光谱透射率
由普朗克辐射定律，得到被测物表面真实温度的计算公式为：
Figure BDA0003480755050000161
当使用不同波段的红外热成像仪时，n的取值不同。
本实施例中的温度阈值设置可以根据实际情况进行设置，一般设置为常见火焰的温度。
S3:在判定为疑似火源目标后，利用目标融合的方式将可见光图像和红外图像进行图像配准和图像融合，图像配准的目的就是找到异源图像中共有的目标特征，寻找最大相似度下的空间几何变换模型，实现一副图像经空间坐标变换与另一幅图像配准，图像配准完成后进行图像融合，从而确定真实火源，然后通过双目视差定位真实火源的位置，再将火源位置进行上报。其中，如图7所示，所述图像配准具体步骤如下：
首先进行特征点的检测：构建尺度空间：
Figure BDA0003480755050000171
Figure BDA0003480755050000172
式中：I(x，y)为输入的原图像；G(x，y，σ)为可变高斯核函数；σ为尺度空间高斯模糊参数；(x，y)为图像的像素位置；p和q分别为高斯模板的维度；
高斯差分尺度空间中差分算子为：
Figure BDA0003480755050000173
构建高斯差分图像，在图中进行特征点的提取，中间的检测点和它同尺度的8个相邻点以及上下相邻尺度对应的9×2个点进行比较，以确保在尺度空间和二维图像空间都检测到极值点，求取出局部极大值点作为特征点；
然后对提取出的特征点进行描述：通过在像素点周围划分成16方形子区域，能够覆盖图像的大部分特征，在子区域中求取8个方向的梯度和模值，构成了128维的特征向量对特征点进行描述；其模值以及梯度的计算公式为：
Figure BDA0003480755050000181
Figure BDA0003480755050000182
接着进行特征点的匹配：利用欧式距离进行特征点的匹配，通过计算最近欧氏距离与次最近欧氏距离的比值，如果比值在阈值范围内则匹配成功，否则匹配失败；欧氏距离的计算方程式为：
Figure BDA0003480755050000183
其中,dis为两个特征矢量的欧氏距离；P为描述子维数；m和n为两张图中特征点；Dm和Dn分别为m和n的特征描述子；
再进行空间变换：采用仿射变换模型，模型表示为下式：
Figure BDA0003480755050000184
其中,(x，y)和(x′，y′)分别是可见光图像与热红外图像中对应特征点的像素坐标，6个参数向量代表两幅图像坐标之间的转换关系；求解仿射变换的参数最少仅需要3组匹配的点对，而当已知的匹配点对多于待求解参数的个数时，可以考虑使用曲线拟合的方式，寻找最佳的配准参数。
最后进行图像融合：采用加权平均图像融合算法，设可见光图像为A，红外图像为B,融合后的图像为F，其加权平均融合过程如下式所示：
F(i，j)＝w1A(i，j)+w2B(i，j)；
其中,(i，j)代表代表图像中像素点位置坐标,w1和w2分别为图像加权系数，w1+w2＝1。
双目视觉是模拟人类视觉原理，使用计算机被动感知距离的方法。从两点观察一个物体，在不同视角下的图像，根据图像之间像素的匹配关系，通过三角测量原理计算出像素之间的偏移来获取物体的三维信息。本实施例中，在摄像头前的标定参照物(棋盘纸)，摄像头获取该物体的图像，并由此计算摄像头的内外参数。标定参照物上的每一个特征点相对于世界坐标系的位置在制作时应精确测定，世界坐标系可选为参照物的物体坐标系。在得到这些已知点在图像上的投影位置，可计算出摄像头的内外参数。
摄像头由于光学透镜的特性使得成像存在着径向畸变，可由三个参数k1,k2和k3确定；由于装配方面的误差，传感器与光学镜头之间并非完全平行，因此成像存在切向畸变，可由两个参数p1,p2确定。单个摄像头的标定主要是计算出摄像头的内参(焦距f和成像原点cx,cy五个畸变参数(一般只需要计算出k1,k2,p1和p2即可，对于鱼眼镜头等径向畸变特别大的才需要计算k3)以及外参(标定物的世界坐标)。双目摄像头标定不仅要得出每个摄像头的内部参数，还要测定两个摄像头之间的相对位置(即右摄像头相对于左摄像头的旋转矩阵R，平移向量t)。
要计算目标点在左右两个视图上形成的视差，首先要把该点在左右视图上两个对应的像点匹配起来。利用极线约束使得对应点的匹配由二维搜索降为一维搜索，减少匹配搜索范围。双目校正的作用就是要把消除畸变后的两幅图像严格地进行对应，使得两幅图像的对极线正好在同一水平线，这样一幅图像上的任意一点与其在另一幅图像上的对应点必然由有相同的行号，只需在该行进行一维搜索即可匹配到对应点。
经过上述详解，如图8和图9所示，所述双目视差定位真实火源的位置的计算过程如下：
设点P是真实火源上的某一点，OR与OT分别是两个相机的光心，点P在两个相机传感器上的成像点分别为P′和P″，f为相机焦距，B为两个相机的中心距，XR、XT是两个成像点P′和P″在左右两个成像面上距离图像左边缘的距离，Z为深度信息；
设点P′到P″的距离为Δx，则：Δx＝B-(XR-XT)；
根据相似三角形原理：
Figure BDA0003480755050000201
计算得：
Figure BDA0003480755050000202
公式中，相机焦距f和摄像头中心距B通过标定得到，XR-XT即视差d，求得深度信息
Figure BDA0003480755050000203
假设目标点在左视图中的坐标为(x，y),在左右视图上形成的视差d，目标点在以左摄像头光心为原点的世界坐标系中的坐标为(X，Y，Z)，则存在所示的变换矩阵Q：
Figure BDA0003480755050000211
使得Q*[x，y，d，l]′＝[X，Y，Z，W]′，进而计算得：
Figure BDA0003480755050000212
其中，cx和cy分别为左像平面的坐标系与相机坐标系中原点的偏移，通过立体标定获得。
如上，本发明通过将可见光相机和红外相机进行结合，由于在火灾形成的初期,并不存在明显的火焰信号,这时候存在的三种典型的物理现象是阴燃、火羽流和烟雾，阴燃和火羽流是发生在火灾形成初期的火焰,其温度较低,辐射的可见光部分很少,用普通可见光摄像机很难发现，但它们所发出的红外辐射却可以被红外摄像机所捕获，而可见光相机虽然对图像细节的抓取比红外相机突出，常用颜色特征、动态特征、纹理特征等作为检测的依据，但是在充满烟的环境下误判率会很高，因此本发明结合了可见光相机与红外热成像仪，能有效地减小火灾的误判率，同时可以进行火源目标的识别与定位。本发明在火源探测识别的过程中，具有多步的预警，包括发现疑似目标后的预警，判定为疑似火源目标并发出预警以及确定为真实火源后的上报，从而可以全方面多层次的提醒并发出预警信息，使得人们可快速的进行应对，减少了火灾发生的可能性。此外，本发明采用了Yolo v4目标检测模型来进行图像中可疑目标的检测，在构建的过程中使其具有良好的鲁棒性和训练效果，提高了可疑目标的识别准确性。

Claims (8)

1.一种用于消防机器人的火源探测识别并预警方法，包括消防机器人，其特征在于：按如下步骤进行：
S1：由消防机器人上的可见光相机和红外热成像仪进行目标环境的监测，监测时采集目标环境的可见光图像和红外热图像，对可见光图像和红外热图像进行图像预处理；
S2：对预处理后的可见光图像进行检测是否存在疑似目标，发现疑似目标后并发出预警，再通过对预处理后的红外图像进行测温，判断疑似目标是否超过设定的温度阈值，若超过阈值，则判定为疑似火源目标并发出预警，否则继续监测；
S3：在判定为疑似火源目标后，利用目标融合的方式将可见光图像和红外图像进行图像配准和图像融合，从而确定是否属于真实火源，然后通过双目视差定位真实火源的位置，再将火警预警及火源位置进行上报。
2.根据权利要求1所述的用于消防机器人的火源探测识别并预警方法，其特征在于：所述可见光图像预处理是采用线型变化增强方法将输入图片进行预处理，公式如下：
O(r，c)＝a×I(r，c)+b，0≤r≤H，0≤c≤W；
式中：I(r，c)为原始图片像素点；O(r，c)为增强图片像素点；H、W分别为图形的高度与宽度；参数a为常数，用于调节图像的对比度；参数b为常数，用于调节图像的亮度。
3.根据权利要求2所述的用于消防机器人的火源探测识别并预警方法，其特征在于：通过Yolo v4目标检测模型对预处理后的可见光图像进行检测是否存在疑似目标；
所述Yolo v4目标检测模型的输入图像尺寸大小为608像素×608像素，经过CSPDarknet53主干特征提取网络进行特征提取，输出大小分别为76×76、38×38、19×19的特征层，分别负责检测小中大三种目标，再经过SSP模块的19×19的特征层，与76×76和38×38的特征层采用PANet模块的网络进行张量拼接，加强网络对不同尺寸物体的检测性能；由Prediction模块输出三种尺寸目标的检测结果；同时在CSPDarknet53的CSP×2与CSP×8两个残差块之间增加一个CSP×4的残差块，利用这一个4倍降采样的特征融合目标检测层对小目标进行训练，提高对小目标检测的准确率。
4.根据权利要求3所述的用于消防机器人的火源探测识别并预警方法，其特征在于：在Yolo v4目标检测模型在构建中，数据集包括火灾火焰数据集和火灾初期火焰数据集；所述数据集是由公开的火焰数据集Image Net、Bo W-Fire中的图像、通用火焰火灾数据集中截取的视频图像以及类似火焰目标的干扰图像组合而成；
在Yolo V4模型的训练中，通过labellmg对数据集进行标注，标注时对图像上的火焰区域进行完整标注，从而避开遮挡物和类似颜色的干扰物，以获得最好的训练效果。
5.根据权利要求1所述的用于消防机器人的火源探测识别并预警方法，其特征在于：所述红外图像的预处理是对红外图像进行均值滤波降噪，提升图像中目标的清晰度，然后对红外图像进行直方图均衡化，使图像细节更加清楚，具体过程是：
(1)均值滤波降噪，设离散图像f(x，y)通过均值滤波算子遍历图像，对图像任意像素点为中心计算邻域中所有像素点的均值，作为滤波后图像g(x，y)点的像素值，则有：
Figure FDA0003480755040000031
式中，S是任意像素点确定的邻域，M为邻域S中像素点总数；均值滤波通过卷积运算方式实现，其输出图像g(x，y)表示为：
Figure FDA0003480755040000032
其中，
Figure FDA0003480755040000033
通过所选的邻域大小来决定模板的大小，m，n为邻域尺寸；h(r，s)为卷积阵列；
(2)直方图均衡化，图像的灰度直方图表示为：
Figure FDA0003480755040000034
式中，nk为第k个灰度级出现的频数，N为像素总数，rk为图像的第k个灰度级，L为灰度级总数，p(rk)为该灰度级概率；
用r和s分别表示经过归一化原始图和直方图均衡化变换后的图像：
0≤r≤1，0≤s≤1；
对于原图像中任意像素点，都可以经过变化产生新图像的一个像素值，且s＝T(r)是直方图均衡化的变换函数，原图像的灰度概率密度函数Pr(r)，变换后的图像灰度概率密度函数为Ps(s)；由概率论可得，变换后的Ps(s)为：
Figure FDA0003480755040000041
对于数字图像，将图像灰度直方图值作为图像的概率密度函数，则该图像灰度为rk的像素出现概率为：
Figure FDA0003480755040000042
对原图进行直方图均衡化处理的变化函数为：
Figure FDA0003480755040000043
式中，N为图像中像素总数，L灰度级总数。
6.根据权利要求5所述的用于消防机器人的火源探测识别并预警方法，其特征在于：通过红外热成像仪对预处理后的红外图像进行测温：
f(T′0)＝τa[εf(T0)+(1-ε)f(Tu)]+(1-τa)f(Ta)；
其中，T0为被测物体表面温度；Tu为环境温度；Ta为大气温度；T′0为红外热成像仪指示的辐射温度；τa大气的光谱透射率
由普朗克辐射定律，得到被测物表面真实温度的计算公式为：
Figure FDA0003480755040000044
当使用不同波段的红外热像仪时，n的取值不同。
7.根据权利要求1所述的用于消防机器人的火源探测识别并预警方法，其特征在于：所述图像配准具体步骤如下：
首先进行特征点的检测：构建尺度空间：
Figure FDA0003480755040000051
Figure FDA0003480755040000052
式中：I(x，y)为输入的原图像；G(x，y，σ)为可变高斯核函数；σ为尺度空间高斯模糊参数；(x，y)为图像的像素位置；p和q分别为高斯模板的维度；
高斯差分尺度空间中差分算子为：
Figure FDA0003480755040000053
构建高斯差分图像，在图中进行特征点的提取，中间的检测点和它同尺度的8个相邻点以及上下相邻尺度对应的9×2个点进行比较，以确保在尺度空间和二维图像空间都检测到极值点，求取出局部极大值点作为特征点；
然后对提取出的特征点进行描述：通过在像素点周围划分成16方形子区域，能够覆盖图像的大部分特征，在子区域中求取8个方向的梯度和模值，构成了128维的特征向量对特征点进行描述；其模值以及梯度的计算公式为：
Figure FDA0003480755040000054
Figure FDA0003480755040000055
接着进行特征点的匹配：利用欧式距离进行特征点的匹配，通过计算最近欧氏距离与次最近欧氏距离的比值，如果比值在阈值范围内则匹配成功，否则匹配失败；欧氏距离的计算方程式为：
Figure FDA0003480755040000061
其中，dis为两个特征矢量的欧氏距离；P为描述子维数；m和n为两张图中特征点；Dm和Dn分别为m和n的特征描述子；
再进行空间变换：采用仿射变换模型，模型表示为下式：
Figure FDA0003480755040000062
其中，(x，y)和(x′，y′)分别是可见光图像与热红外图像中对应特征点的像素坐标，6个参数向量代表两幅图像坐标之间的转换关系；
最后进行图像融合：采用加权平均图像融合算法，设可见光图像为A，红外图像为B，融合后的图像为F，其加权平均融合过程如下式所示：
F(i，j)＝w1A(i，j)+w2B(i，j)；
其中，(i，j)代表代表图像中像素点位置坐标，w1和w2分别为图像加权系数，w1+w2＝1。
8.根据权利要求1所述的用于消防机器人的火源探测识别并预警方法，其特征在于：所述双目视差定位真实火源的位置的计算过程如下：
设点P是真实火源上的某一点，OR与OT分别是两个相机的光心，点P在两个相机传感器上的成像点分别为P′和P″，f为相机焦距，B为两个相机的中心距，XR、XT是两个成像点P′和P″在左右两个成像面上距离图像左边缘的距离，Z为深度信息；
设点P′到P″的距离为Δx，则：Δx＝B-(XR-XT)；
根据相似三角形原理：
Figure FDA0003480755040000071
计算得：
Figure FDA0003480755040000072
公式中，相机焦距f和摄像头中心距B通过标定得到，XR-XT即视差d，求得深度信息
Figure FDA0003480755040000073
假设目标点在左视图中的坐标为(x，y)，在左右视图上形成的视差d，目标点在以左摄像头光心为原点的世界坐标系中的坐标为(X，Y，Z)，则存在所示的变换矩阵Q：
Figure FDA0003480755040000074
使得Q*[x，y，d，l]′＝[X，Y，Z，W]′，进而计算得：
Figure FDA0003480755040000075
其中，Cx和Cy分别为左像平面的坐标系与相机坐标系中原点的偏移，通过立体标定获得。
CN202210067506.9A 2022-01-20 2022-01-20 一种用于消防机器人的火源探测识别并预警方法 Pending CN114399882A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210067506.9A CN114399882A (zh) 2022-01-20 2022-01-20 一种用于消防机器人的火源探测识别并预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210067506.9A CN114399882A (zh) 2022-01-20 2022-01-20 一种用于消防机器人的火源探测识别并预警方法

Publications (1)

Publication Number Publication Date
CN114399882A true CN114399882A (zh) 2022-04-26

Family

ID=81233616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210067506.9A Pending CN114399882A (zh) 2022-01-20 2022-01-20 一种用于消防机器人的火源探测识别并预警方法

Country Status (1)

Country Link
CN (1) CN114399882A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115494193A (zh) * 2022-11-16 2022-12-20 常州市建筑科学研究院集团股份有限公司 基于机器视觉单体燃烧试验火焰横向传播检测方法及***
CN115512307A (zh) * 2022-11-23 2022-12-23 中国民用航空飞行学院 广域空间红外多点实时火灾探测方法及***、定位方法
CN116152758A (zh) * 2023-04-25 2023-05-23 松立控股集团股份有限公司 一种智能实时事故检测及车辆跟踪方法
CN117711127A (zh) * 2023-11-08 2024-03-15 金舟消防工程（北京）股份有限公司 一种消防***方法及***

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012118698A (ja) * 2010-11-30 2012-06-21 Fuji Heavy Ind Ltd 画像処理装置
CN105261029A (zh) * 2015-11-20 2016-01-20 中国安全生产科学研究院 基于双目视觉进行火源定位和灭火的方法及其机器人
CN105962904A (zh) * 2016-04-21 2016-09-28 西安工程大学 一种基于红外热像技术的人体组织病灶检测方法
CN106355809A (zh) * 2016-11-09 2017-01-25 宁波大红鹰学院 一种林火预警与应急处理***
CN108090495A (zh) * 2017-12-22 2018-05-29 湖南源信光电科技股份有限公司 一种基于红外光和可见光图像的疑似火焰区域提取方法
CN109101882A (zh) * 2018-07-09 2018-12-28 石化盈科信息技术有限责任公司 一种火源的图像识别方法及***
CN109544501A (zh) * 2018-03-22 2019-03-29 广东电网有限责任公司清远供电局 一种基于无人机多源图像特征匹配的输电设备缺陷检测方法
CN112365669A (zh) * 2020-10-10 2021-02-12 北京索斯克科技开发有限公司 双波段远红外融叠成像及火灾预警方法及***
CN112731925A (zh) * 2020-12-21 2021-04-30 浙江科技学院 用于无人驾驶方程式赛车锥桶识别和路径规划及控制方法
CN113947711A (zh) * 2021-07-29 2022-01-18 苏州森合知库机器人科技有限公司 一种用于巡检机器人的双通道火焰检测算法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012118698A (ja) * 2010-11-30 2012-06-21 Fuji Heavy Ind Ltd 画像処理装置
CN105261029A (zh) * 2015-11-20 2016-01-20 中国安全生产科学研究院 基于双目视觉进行火源定位和灭火的方法及其机器人
CN105962904A (zh) * 2016-04-21 2016-09-28 西安工程大学 一种基于红外热像技术的人体组织病灶检测方法
CN106355809A (zh) * 2016-11-09 2017-01-25 宁波大红鹰学院 一种林火预警与应急处理***
CN108090495A (zh) * 2017-12-22 2018-05-29 湖南源信光电科技股份有限公司 一种基于红外光和可见光图像的疑似火焰区域提取方法
CN109544501A (zh) * 2018-03-22 2019-03-29 广东电网有限责任公司清远供电局 一种基于无人机多源图像特征匹配的输电设备缺陷检测方法
CN109101882A (zh) * 2018-07-09 2018-12-28 石化盈科信息技术有限责任公司 一种火源的图像识别方法及***
CN112365669A (zh) * 2020-10-10 2021-02-12 北京索斯克科技开发有限公司 双波段远红外融叠成像及火灾预警方法及***
CN112731925A (zh) * 2020-12-21 2021-04-30 浙江科技学院 用于无人驾驶方程式赛车锥桶识别和路径规划及控制方法
CN113947711A (zh) * 2021-07-29 2022-01-18 苏州森合知库机器人科技有限公司 一种用于巡检机器人的双通道火焰检测算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孟志敏: ""红外与可见光图像融合的目标识别方法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 1, pages 135 - 205 *
蒋文萍等: ""基于多重迁移学习的YOLO V5初期火灾探测研究"", 《消防科学与技术》, vol. 40, no. 1, pages 109 - 112 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115494193A (zh) * 2022-11-16 2022-12-20 常州市建筑科学研究院集团股份有限公司 基于机器视觉单体燃烧试验火焰横向传播检测方法及***
CN115512307A (zh) * 2022-11-23 2022-12-23 中国民用航空飞行学院 广域空间红外多点实时火灾探测方法及***、定位方法
CN116152758A (zh) * 2023-04-25 2023-05-23 松立控股集团股份有限公司 一种智能实时事故检测及车辆跟踪方法
CN117711127A (zh) * 2023-11-08 2024-03-15 金舟消防工程（北京）股份有限公司 一种消防***方法及***

Similar Documents

Publication Publication Date Title
CN107240124B (zh) 基于时空约束的跨镜头多目标跟踪方法及装置
CN114399882A (zh) 一种用于消防机器人的火源探测识别并预警方法
US9646212B2 (en) Methods, devices and systems for detecting objects in a video
Treible et al. Cats: A color and thermal stereo benchmark
TW202004560A (zh) 目標檢測系統、自動駕駛車輛以及其目標檢測方法
CN112102409B (zh) 目标检测方法、装置、设备及存储介质
CN111144207B (zh) 一种基于多模态信息感知的人体检测和跟踪方法
CN110197185B (zh) 一种基于尺度不变特征变换算法监测桥下空间的方法和***
CN110910456B (zh) 基于Harris角点互信息匹配的立体相机动态标定方法
CN114155501A (zh) 一种无人车在烟雾遮挡环境下的目标检测方法
CN111079518A (zh) 一种基于执法办案区场景下的倒地异常行为识别方法
JP2020149641A (ja) 物体追跡装置および物体追跡方法
CN107679542B (zh) 一种双摄像头立体视觉识别方法及***
CN112836634A (zh) 一种多传感器信息融合的闸机防尾随方法、装置、设备和介质
CN114842340A (zh) 一种机器人双目立体视觉障碍物感知方法与***
CN117576461A (zh) 一种用于变电站场景的语义理解方法、介质及***
CN112598738B (zh) 一种基于深度学习的人物定位方法
CN115937325A (zh) 一种结合毫米波雷达信息的车端摄像头标定方法
CN114067267A (zh) 一种基于地理视频的搏斗行为检测方法
CN111489384B (zh) 基于互视角的遮挡评估方法及装置、设备、***和介质
CN110501709A (zh) 目标检测***、自主车辆以及其目标检测方法
Su Vanishing points in road recognition: A review
Hajebi et al. Sparse disparity map from uncalibrated infrared stereo images
RU2315357C2 (ru) Способ детектирования объекта
CN113884017B (zh) 一种基于三目视觉的绝缘子的非接触形变检测方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination