CN117746250A - 一种融合实景三维与视频的烟火智能识别与精准定位方法 - Google Patents

Abstract

本发明提供了一种融合实景三维与视频的烟火智能识别与精准定位方法，首先利用深度学习方法在图像处理上的优势，采用双光谱云台摄像机进行实时自动识别，烟火识别精度高。其次在定位时，融合了实景三维信息和视频信息，烟火定位的精度高。最后分别通过实时识别烟火和定位烟火，实现了森林烟火自动实时识别和定位，减少人工工作量，提高了工作效率。

Description

一种融合实景三维与视频的烟火智能识别与精准定位方法

技术领域

本发明涉及图像处理的技术领域，具体涉及一种融合实景三维与视频的烟火智能识别与精准定位方法。

背景技术

林业是生态建设的主体，在保持经济和社会发展中有着不可或缺的作用，及早发现火情并及时对其扑救对于森林保护就显得尤为重要。传统森林防火措施普遍采用在防火期间派出防火人员到林区巡逻、瞭望塔人工观测以及卫星探测。人工望塔方式虽然简单易行，但是需要投入很多财力、物力、劳力，存在无法实时监测、覆盖范围有限等问题。卫星监测***的扫描周期长、分辨率低、图像像素点的饱和、扫描期间云层的遮挡以及火灾参数很难实时数量化等原因限制了卫星探测***的使用范围，降低了森林火灾的监测效果。通过架设高空云台及高清监控视频，再由人工结合相关指标参数进行实时监测是一种有效的森林火灾监测手段。

但目前随着架设的各类视频传感器设备的数量增多，不光增加了人工的工作量，还导致监测目的的及时性和高效性越发无法保证。

发明内容

针对现有技术中所存在的不足，本发明提供了融合实景三维与视频的烟火智能识别与精准定位方法，以解决现有技术中随着架设的各类视频传感器设备的数量增多，不光增加了人工的工作量，还导致监测目的的及时性和高效性越发无法保证的技术问题。

本发明提供了一种融合实景三维与视频的烟火智能识别与精准定位方法，包括：

S1、基于双光谱云台摄像机实时采集可见光和热红外的视频流、其空间位置坐标和运行姿态数据，并对视频流进行视频帧图像预处理得到视频帧图像；

S2、创建深度学习模型，从历史监控视频中整理出可见光和热红外的烟火识别的训练样本，对所述训练样本进行数据清洗，并对所述训练样本进行数据增强；

S3、采用组合损失函数训练和优化所述深度学习模型，将所述训练样本输入至所述烟火识别模型进行迭代优化，直至烟火识别模型训练完成全部的训练样本，并采用烟火识别模型对视频帧图像进行实时识别；

S4、基于所述历史监控视频和实景三维数据作为输入，标定出的视频帧图像的位姿信息，并构建出带有图像特征信息和对应三维信息的视觉特征库；

S5、采用SIFT算法对包含火点的视频帧进行特征点提取，将所述特征点输入所述视觉数据库查询特征点对应的一组2D-3D点对；

S6、对所述2D-3D点对采用solvePnP算法来计算出双光谱云台摄像机的位姿，并用RANSAC算法剔除异常值；

S7、采用投影变换，利用所述双光谱云台摄像机的空间位置坐标和运行姿态数据，将火点的2D坐标投影到双光谱云台摄像机的坐标系下，并利用位姿矩阵将双光谱云台摄像机的坐标转换为世界坐标系下的3D坐标，得到火点的三维坐标。

可选地，所述对所述训练样本进行数据清洗，并对所述训练样本进行数据增强，包括：

所述数据清洗至少包括对所述训练样本进行筛选、转换和修复；

所述数据增强至少包括对所述训练样本进行图像变换、颜色扰动、尺度变换、增加噪声、小目标处理、裁剪和填充和物体遮挡。

可选地，采用组合损失函数训练和优化所述深度学习模型，包括：

所述深度学习模型采用组合损失函数，所述组合损失函数结合目标定位损失、目标分类损失和目标置信度损失；

所述目标定位损失用于计算预测框和标定框之间的误差，表示为：

其中，λ_loc表示定位损失的权重系数，ν表示两个帧长宽比的重合度，和/>分别表示实际的长宽比和预测的长宽比，α表示一个正的权衡参数。

可选地，所述目标分类损失，包括：

所述目标分类损失用于计算锚框与对应的标定分类是否正确，表示为：

其中，S表示特征图的网格尺寸，B表示每个网格预测的边界框数量，表示预测的边界框和实际目标框的匹配关系，1代表匹配，0代表不匹配，classes表示目标类别的总数，p_i(c)和/>分别表示预测类别分数和实际类别的one-hot编码。

可选地，所述目标置信度损失，包括：

所述目标置信度损失用于表征所述预测框的可信程度，取值范围0～1，值越大说明所述预测框中越可能存在目标，表示为：

其中，表示预测的边界框和背景框的匹配关系，1代表匹配，0代表不匹配，c_i表示预测置信度，/>表示预测边界框与目标边界框之间的交并比IoU，λ_noobj表示背景置信度的权重系数，λ_obj表示目标置信度的权重系数；

最终的总损失为所述目标定位损失、目标分类损失和目标置信度损失的加权和。

可选地，所述直至烟火识别模型训练完成全部的训练样本之后，包括：

周期性地添加训练样本不断迭代。

可选地，所述对所述2D-3D点对采用solvePnP算法来计算出双光谱云台摄像机的位姿，包括：

将所述空间位置坐标和运行姿态数据作为位姿计算的初值。

相比于现有技术，本发明具有如下有益效果：

1、首先利用深度学习方法在图像处理上的优势，采用双光谱云台摄像机进行实时自动识别，烟火识别精度高。

2、其次在定位时，融合了实景三维信息和视频信息，烟火定位的精度高。

3、最后分别通过实时识别烟火和定位烟火，实现了森林烟火自动实时识别和定位，减少人工工作量。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的流程示意图；

图2为本发明中烟火识别结果的示意图；

图3为本发明中烟火定位结果的示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。本发明实例中相同标号的功能单元具有相同和相似的结构和功能。

参见图1，本发明提供了一种融合实景三维与视频的烟火智能识别与精准定位方法，包括：

S1、基于双光谱云台摄像机实时采集可见光和热红外的视频流、其空间位置坐标和运行姿态数据，并对视频流进行视频帧图像预处理得到视频帧图像；

S2、从历史监控视频中整理出可见光和热红外的烟火识别的训练样本，对所述训练样本进行数据清洗，并对所述训练样本进行数据增强；

S3、采用组合损失函数创建烟火识别模型，将所述训练样本输入至所述烟火识别模型进行迭代优化，直至烟火识别模型训练完成全部的训练样本，并采用烟火识别模型对视频帧图像进行实时识别；

S4、基于所述历史监控视频和实景三维数据作为输入，标定出的视频帧图像的位姿信息，并构建出带有图像特征信息和对应三维信息的视觉特征库；

S5、采用SIFT算法对包含火点的视频帧进行特征点提取，将所述特征点输入所述视觉数据库查询特征点对应的一组2D-3D点对；

S6、对所述2D-3D点对采用solvePnP算法来计算出双光谱云台摄像机的位姿，并用RANSAC算法剔除异常值；

S7、采用投影变换，利用所述双光谱云台摄像机的空间位置坐标和运行姿态数据，将火点的2D坐标投影到双光谱云台摄像机的坐标系下，并利用位姿矩阵将双光谱云台摄像机的坐标转换为世界坐标系下的3D坐标，得到火点的三维坐标。

参见图1，本实施例中，S1、基于双光谱云台摄像机实时采集可见光和热红外的视频流、其空间位置坐标和运行姿态数据，并对视频流进行视频帧图像预处理得到视频帧图像。

首先采用双光谱云台摄像机实时采集可见光和热红外的视频流、其空间位置坐标和运行姿态数据，并对可见光和热红外的视频流进行视频帧图像预处理，包括图像去噪、增强、尺寸调整等操作，实现增强后续烟火检测和定位的效果。

S2、创建深度学习模型，从历史监控视频中整理出可见光和热红外的烟火识别的训练样本，对所述训练样本进行数据清洗，并对所述训练样本进行数据增强。

对所述深度学习模型进行训练样本的采集和数据清洗，从历史监控视频中整理出可见光和热红外的烟火识别的训练样本，并进行数据清洗。数据清洗是指在数据处理过程中，对数据进行筛选、转换和修复等操作，以确保数据的质量和准确性。

并对训练样本进行数据增强，数据增强是提升模型性能的重要手段之一，可以达到增加数据样本，增强模型鲁棒性和平衡数据分布的目的。在本专利中，数据增强包括：图像变换、颜色扰动、尺度变换、增加噪声、小目标处理、裁剪和填充和物体遮挡。

S3、采用组合损失函数训练和优化所述深度学习模型，将所述训练样本输入至所述烟火识别模型进行迭代优化，直至烟火识别模型训练完成全部的训练样本，并采用烟火识别模型对视频帧图像进行实时识别。

参见图2，采用组合损失函数训练和优化深度学***方损失函数和交叉熵损失函数为基础，其结合了目标定位、目标分类和目标置信度的损失，其中，所述目标定位损失用于计算预测框和标定框之间的误差，表示为：

其中，λ_loc表示定位损失的权重系数，ν表示两个帧长宽比的重合度，和/>分别表示实际的长宽比和预测的长宽比，α表示一个正的权衡参数，在回归中，重叠区域因子具有更高的优先级，尤其是在不重叠的情况下。

所述目标分类损失用于计算锚框与对应的标定分类是否正确，表示为：

其中，S表示特征图的网格尺寸，B表示每个网格预测的边界框数量，表示预测的边界框和实际目标框的匹配关系，1代表匹配，0代表不匹配，classes表示目标类别的总数，p_i(c)和/>分别表示预测类别分数和实际类别的one-hot编码。

所述目标置信度损失用于表征所述预测框的可信程度，取值范围0～1，值越大说明所述预测框中越可能存在目标，表示为：

其中，表示预测的边界框和背景框的匹配关系，1代表匹配，0代表不匹配，c_i表示预测置信度，/>表示预测边界框与目标边界框之间的交并比IoU，λ_noobj表示背景置信度的权重系数，λ_obj表示目标置信度的权重系数；

最终的总损失为所述目标定位损失、目标分类损失和目标置信度损失的加权和。每个损失项都有不同的权重系数和匹配关系，用于尽可能准确地训练模型以实现目标检测任务的优化。

使用训练样本进行迭代训练。对于每个训练样本，将其输入到模型中，进行前向传播计算，得到预测边界框和类别信息，然后计算损失函数，并进行反向传播优化模型参数，重复这个过程直到完成所有训练样本的训练。

并且，还可以通过周期性地添加新的样本和数据，算法可以随着时间的推移逐渐提升其性能和准确度。这有助于应对新出现的烟火形式、新的环境条件和不断变化的技术挑战，使得算法能够保持与时俱进，提供更可靠和精准的烟火识别服务。样本更新的具体步骤包括：数据收集、数据标注、数据预处理、模型训练、模型评估和***部署。

依据以上步骤，能够完成(深度学***稳甚至有下降的趋势，则对此对象进行降级处理。同时，通过获取设备角度及识别的范围对识别目标进行筛查，当在区间筛查范围内的目标已经推送报警且其变化趋势与推送时相近，则不对该目标进行重复推送。

S4、基于所述历史监控视频和实景三维数据作为输入，标定出的视频帧图像的位姿信息，并构建出带有图像特征信息和对应三维信息的视觉特征库。

参见图3，进一步实现烟火定位，基于双光谱高空云台空间位置坐标和运行姿态数据，可以初步确定隐患点空间位置方向。然后构建视觉特征库，构建视觉特征库需要使用历史监控视频和实景三维数据作为输入，标定出视频帧的位姿信息，然后构建出带有图像特征信息和对应三维信息的视觉特征库。该视觉特征库中的3D点包含该点对应的2D图像中特征点的描述子(本专利使用SIFT)。一个3D点可能存在多个2D图像特征点，这提高了该3D点的表征能力。在构建了视觉特征库后，可以方便地查询实景三维模型和空间特征匹配关系，从而实现烟火隐患点精准定位。

S5、采用SIFT算法对包含火点的视频帧进行特征点提取，将所述特征点输入所述视觉数据库查询特征点对应的一组2D-3D点对；

S6、对所述2D-3D点对采用solvePnP算法来计算出双光谱云台摄像机的位姿，并用RANSAC算法剔除异常值；

S7、采用投影变换，利用所述双光谱云台摄像机的空间位置坐标和运行姿态数据，将火点的2D坐标投影到双光谱云台摄像机的坐标系下，并利用位姿矩阵将双光谱云台摄像机的坐标转换为世界坐标系下的3D坐标，得到火点的三维坐标。

其中，视觉特征库的实施烟火定位思路包括：

首先针对包含火点的视频帧使用计算机视觉的技术，通过特征点提取算法SIFT来获取照片中的关键特征点；其次特征库包含了各个特征点的三维坐标信息。在对火点图片提取特征后，对特征库进行特征检索，可以得到火点图片上特征点对应的三维坐标，作为后续定位的基础；然后进行特征库查询后，可得到火点图片的一组2D-3D点对(三维坐标)。通过已知的2D-3D点对，使用solvePnP算法来计算出相机的位姿(旋转和平移矩阵)，并用RANSAC算法剔除异常值。位姿估计算法会根据特征点的2D像素坐标和其对应的3D空间坐标，通过解方程和优化算法来估计相机的位姿。在位姿计算的过程中，高空云台空间位置坐标和运行姿态数据可作为位姿计算的初值，以提高位姿计算的鲁棒性；最后使用投影变换，将2D的火点坐标转换为3D空间坐标，通过相机的空间位置坐标和运行姿态数据，将火点的2D坐标投影到相机坐标系下，并利用位姿矩阵将相机坐标转换为世界坐标系下的3D坐标。这样就得到了火点的三维坐标，前述相机均为双光谱云台摄像机。

在本发明中，首先利用深度学习方法在图像处理上的优势，采用双光谱云台摄像机进行实时自动识别，烟火识别精度高。其次在定位时，融合了实景三维信息和视频信息，烟火定位的精度高。最后分别通过实时识别烟火和定位烟火，实现了森林烟火自动实时识别和定位，减少人工工作量，提高了工作效率。,

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种融合实景三维与视频的烟火智能识别与精准定位方法，其特征在于，包括：

S1、基于双光谱云台摄像机实时采集可见光和热红外的视频流、其空间位置坐标和运行姿态数据，并对视频流进行视频帧图像预处理得到视频帧图像；

S2、创建深度学习模型，从历史监控视频中整理出可见光和热红外的烟火识别的训练样本，对所述训练样本进行数据清洗，并对所述训练样本进行数据增强；

S3、采用组合损失函数训练和优化所述深度学习模型，将所述训练样本输入至所述烟火识别模型进行迭代优化，直至烟火识别模型训练完成全部的训练样本，并采用烟火识别模型对视频帧图像进行实时识别；

S4、基于所述历史监控视频和实景三维数据作为输入，标定出的视频帧图像的位姿信息，并构建出带有图像特征信息和对应三维信息的视觉特征库；

S5、采用SIFT算法对包含火点的视频帧进行特征点提取，将所述特征点输入所述视觉数据库查询特征点对应的一组2D-3D点对；

S6、对所述2D-3D点对采用solvePnP算法来计算出双光谱云台摄像机的位姿，并用RANSAC算法剔除异常值；

S7、采用投影变换，利用所述双光谱云台摄像机的空间位置坐标和运行姿态数据，将火点的2D坐标投影到双光谱云台摄像机的坐标系下，并利用位姿矩阵将双光谱云台摄像机的坐标转换为世界坐标系下的3D坐标，得到火点的三维坐标。

2.如权利要求1所述的融合实景三维与视频的烟火智能识别与精准定位方法，其特征在于，所述对所述训练样本进行数据清洗，并对所述训练样本进行数据增强，包括：

所述数据清洗至少包括对所述训练样本进行筛选、转换和修复；

所述数据增强至少包括对所述训练样本进行图像变换、颜色扰动、尺度变换、增加噪声、小目标处理、裁剪和填充和物体遮挡。

3.如权利要求1所述的融合实景三维与视频的烟火智能识别与精准定位方法，其特征在于，采用组合损失函数训练和优化所述深度学习模型，包括：

所述深度学习模型采用组合损失函数，所述组合损失函数结合目标定位损失、目标分类损失和目标置信度损失；

所述目标定位损失用于计算预测框和标定框之间的误差，表示为：

其中，λ_loc表示定位损失的权重系数，ν表示两个帧长宽比的重合度，和/>分别表示实际的长宽比和预测的长宽比，α表示一个正的权衡参数。

4.如权利要求3所述的融合实景三维与视频的烟火智能识别与精准定位方法，其特征在于，所述目标分类损失，包括：

所述目标分类损失用于计算锚框与对应的标定分类是否正确，表示为：

其中，S表示特征图的网格尺寸，B表示每个网格预测的边界框数量，表示预测的边界框和实际目标框的匹配关系，1代表匹配，0代表不匹配，classes表示目标类别的总数，p_i(c)和/>分别表示预测类别分数和实际类别的one-hot编码。

5.如权利要求4所述的融合实景三维与视频的烟火智能识别与精准定位方法，其特征在于，所述目标置信度损失，包括：

所述目标置信度损失用于表征所述预测框的可信程度，取值范围0～1，值越大说明所述预测框中越可能存在目标，表示为：

其中，表示预测的边界框和背景框的匹配关系，1代表匹配，0代表不匹配，c_i表示预测置信度，/>表示预测边界框与目标边界框之间的交并比IoU，λ_noobj表示背景置信度的权重系数，λ_obj表示目标置信度的权重系数；

最终的总损失为所述目标定位损失、目标分类损失和目标置信度损失的加权和。

6.如权利要求1所述的融合实景三维与视频的烟火智能识别与精准定位方法，其特征在于，所述直至烟火识别模型训练完成全部的训练样本之后，包括：

周期性地添加训练样本不断迭代。

7.如权利要求1所述的融合实景三维与视频的烟火智能识别与精准定位方法，其特征在于，所述对所述2D-3D点对采用solvePnP算法来计算出双光谱云台摄像机的位姿，包括：

将所述空间位置坐标和运行姿态数据作为位姿计算的初值。