CN117576369A - 火灾检测方法、装置以及存储介质 - Google Patents
火灾检测方法、装置以及存储介质 Download PDFInfo
- Publication number
- CN117576369A CN117576369A CN202311441867.6A CN202311441867A CN117576369A CN 117576369 A CN117576369 A CN 117576369A CN 202311441867 A CN202311441867 A CN 202311441867A CN 117576369 A CN117576369 A CN 117576369A
- Authority
- CN
- China
- Prior art keywords
- fog
- training
- image
- target area
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 41
- 230000011218 segmentation Effects 0.000 claims abstract description 117
- 239000003595 mist Substances 0.000 claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 35
- 230000008859 change Effects 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims description 105
- 230000006870 function Effects 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 19
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000009499 grossing Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 3
- 241000287196 Asthenes Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种火灾检测方法、装置以及存储介质。该方法包括获取云雾环境下的原始图像；通过对雾式变化不敏感的分割模型对所述原始图像进行去云去雾处理，得到清晰图像；对所述清晰图像中的潜在火灾目标区域进行识别，得到以及输出所述潜在火灾目标区域的位置及类别，所述类别用于表示所述潜在火灾目标区域是否存在火灾。采用本发明实施例，有利于提高云雾环境下图像识别的准确率，进而对火灾进行有效检测和预警。
Description
技术领域
本发明涉及计算机图像与视觉技术领域，尤其涉及一种火灾检测方法、装置以及存储介质。
背景技术
火灾作为自然灾害中的重要一环，其早期检测和及时干预对于减少损失和保护人民生命财产具有重要意义。而在计算机视觉领域，卷积神经网络具有高效的特征提取能力、参数共享、层次化结构等优点，因此可以成为处理复杂视觉任务的有力工具。这为通过火灾图像识别，进而对火灾预警提供了可能。然而，在实际应用场景中，由于存在云雾、小图像等问题，在雾中拍摄的图像会表现出颜色质量下降、对比度低以及与低能见度相关联的其他伪影，导致传统的卷积神经网络在雾天场景中表现不佳，无法进行有效的火灾检测。
发明内容
本发明实施例提供一种火灾检测方法、装置以及存储介质，有利于提高云雾环境下图像识别的准确率，进而对火灾进行有效检测和预警。
本发明实施例一方面提供了一种火灾检测方法，包括：
获取云雾环境下的原始图像；
通过对雾式变化不敏感的分割模型对所述原始图像进行去云去雾处理，得到清晰图像；
对所述清晰图像中的潜在火灾目标区域进行识别，得到以及输出所述潜在火灾目标区域的位置及类别，所述类别用于表示所述潜在火灾目标区域是否存在火灾。
其中，所述通过对雾式变化不敏感的分割模型对所述原始图像进行去云去雾处理，得到清晰图像，包括：
确定雾式变化不敏感的分割模型中雾不变特征参数与所述原始图像中的像素之间的相似度；
基于所述相似度确定所述原始图像包括的每个像素的计算权重；
基于每个像素与所述计算权重之间的乘积确定清晰图像。
其中，所述对所述清晰图像中的潜在火灾目标区域进行识别，得到以及输出所述潜在火灾目标区域的位置及类别，包括：
利用卷积神经网络提取所述清晰图像中的浅层细节特征和深层语义特征，得到特征图；
通过候选框生成器在所述特征图上生成多个候选框，每一个所述候选框表示一个潜在火灾目标区域；
确定每个所述候选框中是否存在目标，以确认所述潜在火灾目标区域的类别；
输出每个所述潜在火灾目标区域的位置及类别。
其中，所述输出每个所述潜在火灾目标区域的位置及类别之前，所述方法还包括：
计算每个所述候选框的边界回归偏移量，得到每个所述潜在火灾目标区域的精确坐标；
将所述精确坐标作为所述潜在火灾目标区域的位置。
其中，所述通过对雾式变化不敏感的分割模型对所述原始图像进行去云去雾处理，得到清晰图像之前，所述方法还包括：
获取训练集和雾通滤波器；
通过所述训练集对分割网络和雾通滤波器进行交替训练，得到雾不变特征参数；
将所述雾不变特征参数输入至初始分割模型，得到对雾式变化不敏感的分割模型。
其中，所述通过所述训练集对分割网络和雾通滤波器进行交替训练，得到包括雾不变特征参数的分割模型，包括：
固定所述分割网络的参数，通过所述训练集对所述雾通滤波器进行训练；
所述固定所述分割网络的参数，通过所述训练集对所述雾通滤波器进行训练，具体包括：
根据固定参数的所述分割网络对不同训练域下的同一训练图像进行去云去雾处理，得到不同训练域下的特征图；
通过所述雾通滤波器计算所述特征图在不同训练域下的雾因子；
根据不同训练域下的雾因子计算所述雾通滤波器对应的雾通滤波损失函数值；
根据所述雾通滤波损失函数值更新所述雾通滤波器。
其中，所述通过所述训练集对分割网络和雾通滤波器进行交替训练，得到包括雾不变特征参数的分割模型，包括：
固定所述雾通滤波器的参数，通过所述训练集对所述分割网络进行训练；
所述固定所述雾通滤波器的参数，通过所述训练集对所述分割网络进行训练，具体包括：
根据所述分割网络对同一输入训练图像进行去云去雾处理，得到不同训练域下的特征图；
通过固定参数的雾通滤波器计算所述特征图在不同训练域下的雾因子；
根据所述雾因子计算雾式匹配损失值；
根据所述雾式匹配损失值更新所述分割网络的雾不变特征参数；
根据更新后的所述分割网络计算所述特征图的预测分数；
根据所述预测分数和所述同一输入训练图像的地面实况标签计算分割损失值；
根据所述分割损失值再次更新所述分割网络。
本发明实施例一方面提供了一种火灾检测装置，所述装置包括：
数据获取单元，用于获取云雾环境下的原始图像；
图像处理单元，用于通过包括雾不变特征参数的分割模型对所述原始图像进行去云去雾处理，得到清晰图像，所述雾不变特征为对所述原始图像的雾式变化不敏感的特征；
图像识别单元，对所述清晰图像中的潜在火灾目标区域进行识别，得到所述潜在火灾目标区域；
数据输出单元，用于输出所述潜在火灾目标区域的位置及类别，所述类别用于表示所述潜在火灾目标区域是否存在火灾。
本发明实施例一方面提供了另一种火灾检测装置，包括：处理器和存储器；
所述处理器和存储器相连，其中，所述存储器用于存储计算机程序，所述处理器用于调用所述计算机程序，以执行如本发明实施例中一方面中的方法。
本发明实施例一方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如本发明实施例中一方面中的方法。
本发明实施例在对图像进行识别之前，先通过对雾式变化不敏感的分割模型对获取的云雾环境下的原始图像进行去云去雾处理，得到清晰图像，进而提升了图像的质量，保留了云雾之外的其他特征；同时在进行图像识别时，对图像进行划分，只对潜在火灾目标区域进行识别，而不是对整个图像进行识别，进行了精准检测，有利于后续的识别；从而最终可以实现云雾环境下图像识别的准确率的提升，进而有利于对火灾进行有效检测和预警。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种网络架构示意图；
图2是本发明实施例提供的一种火灾检测方法的流程示意图；
图3是本发明实施例提供的一种火灾检测装置的结构示意图；
图4是本发明实施例提供的另一种火灾检测装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，是本发明实施例提供的一种网络架构示意图。该网络架构可以包括多个服务器以及多个终端设备（如图1所示，具体包括终端设备100a、终端设备100b、终端设备100c、服务器200a、服务器200b），服务器200a可以通过网络与每个终端设备进行数据传输，每个服务器或终端设备均可以安装火灾检测应用。终端设备可以包括手机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备（mobile internet device, MID）、可穿戴设备（例如智能手表、智能手环等）、卫星、传感器等。
在本发明提供的一种实施例中，终端设备100a为笔记本电脑，安装有该火灾检测应用；终端设备100b为卫星；服务器200a可以为该火灾检测应用对应的后台服务器。每个终端设备可以与服务器200a进行数据传输，如终端设备100b拍摄有云雾环境下的原始图像以及将该原始图像通过无线的方式传输给终端设备100a。终端设备100a上的火灾检测应用被启动时，将该原始图像通过有线或无线的方式传输给服务器200a进行处理。服务器200a通过包括雾不变特征参数的分割模型对原始图像进行去云去雾处理，得到清晰图像；以及对所述清晰图像中的潜在火灾目标区域进行识别，得到所述潜在火灾目标区域；输出所述潜在火灾目标区域的位置及类别至终端设备100c，终端设备100c为相关管理人员的手机，实现对相关人员进行预警。
参见图2，是本发明实施例提供的一种火灾检测方法的流程示意图。如图2所示，该方法包括以下步骤：
步骤201：获取云雾环境下的原始图像；
本发明针对的应用场景可以是在森林等野外情况下，也可以发生在城市之中。因此，云雾环境可以是由于野外天气等自然原因造成的，也可以是城市雾霾等工业原因造成的，还可以是由于人为的原因失火导致局部浓烟造成的。
在本发明中，对原始图像的来源不做具体的限定。例如在森林等野外情况下，所述原始图像可以是卫星检测到的；若是发生在城市之中，则该原始图像可以是图像传感器检测到的，或者是摄像头、手机等具有摄像模组的设备拍摄到的。
在实际应用场景中，云雾环境下的原始图像存在云雾、目标小等图像问题，由于其在云雾环境下拍摄，因此该原始图像会表现出颜色质量下降、对比度低以及与低能见度相关联的其他伪影。由于相关特征信息的丢失，直接输入现有的分割网络，会导致语义混乱。
步骤202：通过对雾式变化不敏感的分割模型对所述原始图像进行去云去雾处理，得到清晰图像；
其中，雾式指的是雾的类型，例如可以分为晴朗天气、合成雾、真实雾；也可以以雾的浓度划分，例如为浓雾、中等雾、薄雾。雾式变化不敏感，即不同类型的雾对该分割模型的影响较小，分割模型包括雾不变特征参数，通过该参数对原始图像进行处理，可以得到清晰图像。
本方法中，对雾式变化不敏感的分割模型是经过训练后的分割模型。其本身并不是一个专门用于去云去雾的算法，而是用于训练分割网络，使其具有雾不变性，从而提高在有雾天气下的图像分割性能。通过训练的分割网络可以更好地处理雾天气下的图像，而不需要单独的去云去雾算法，实际上这部分的效果等同于做到了识别前的去云去雾。
步骤203：对所述清晰图像中的潜在火灾目标区域进行识别，得到以及输出所述潜在火灾目标区域的位置及类别，所述类别用于表示所述潜在火灾目标区域是否存在火灾。
其中，所述清晰图像可以被分为多个区域，所述潜在火灾目标区域为所述多个区域中的部分区域，对所述清晰图像中的潜在火灾目标区域进行识别，可以只对该部分区域进行识别，对于明显不是潜在火灾目标区域的其他部分区域可以不进行识别，从而提高识别速度。明显不是潜在火灾目标区域的其他部分区域可以根据像素的灰度值或像素值确定，例如明显低于红色的像素值的则为不是潜在火灾目标区域。
其中，所述潜在火灾目标区域的位置可以是坐标值，该坐标值可以是一个或多个，如果是一个则表示所述潜在火灾目标区域的中心点，如果是多个，则该多个坐标值围成的区域为所述潜在火灾目标区域。
其中，所述潜在火灾目标区域的类别可以是有火灾或无火灾，可以通过二分类方法确定。
可以看出，本发明实施例在对图像进行识别之前，先通过对雾式变化不敏感的分割模型对获取的云雾环境下的原始图像进行去云去雾处理，得到清晰图像，进而提升了图像的质量，保留了云雾之外的其他特征；同时在进行图像识别时，对图像进行划分，只对潜在火灾目标区域进行识别，而不是对整个图像进行识别，进行了精准检测，有利于后续的识别；从而最终可以实现云雾环境下图像识别的准确率的提升，进而有利于对火灾进行有效检测和预警。
在本发明的一种实施方式中，所述通过对雾式变化不敏感的分割模型对所述原始图像进行去云去雾处理，得到清晰图像，包括：
确定雾式变化不敏感的分割模型中雾不变特征参数与所述原始图像中的像素之间的相似度；
基于所述相似度确定所述原始图像包括的每个像素的计算权重；
基于每个像素与所述计算权重之间的乘积确定清晰图像。
其中，所述原始图像为语义分割后的图像，图像中的每个像素根据其是否为感兴趣的火灾目标被分配类别。雾不变特征参数与所述原始图像中的像素之间的相似度可以使用相关系数或余弦相似度来度量。较高的相似度将导致像素较高的权重。 一旦为每个像素计算了权重，就可以将这些权重应用于图像的平滑操作。例如，将每个像素与其计算权重进行相乘，得到新的像素，将该新的像素作为清晰图像的像素，得到该清晰图像，实现平滑处理。
具体地，所述确定雾式变化不敏感的分割模型中雾不变特征参数与所述原始图像中的像素之间的相似度，包括：确定雾式变化不敏感的分割模型中雾不变特征参数与像素之间空间距离的空域相似度，以及确定雾式变化不敏感的分割模型中雾不变特征参数与像素值的值域相似度；根据所述空域相似度和所述值域相似度确定雾式变化不敏感的分割模型中雾不变特征参数与所述原始图像中的像素之间的整体相似度。例如，整体相似度可以等于所述空域相似度和所述值域相似度之积，也可以等于所述空域相似度对应的权重与其之积加上所述值域相似度对应的权重与其之积，所述空域相似度对应的权重与所述值域相似度对应的权重之和为1。
在本发明实施例中，雾不变特征参数可以用来调整像素值相似性的权重，以便更好地保留边缘信息。在进行加权平滑操作之前，需要使权重在适当的范围内，避免过于激烈的平滑或过于强烈的去雾，然后对图像的每个像素进行权重计算和平滑处理，确保了对图像中每个区域的个性化处理，以减轻或去除雾气的影响。
在本发明的一种实施方式中，所述对所述清晰图像中的潜在火灾目标区域进行识别，得到以及输出所述潜在火灾目标区域的位置及类别，包括：
利用卷积神经网络提取所述清晰图像中的浅层细节特征和深层语义特征，得到特征图；
通过候选框生成器在所述特征图上生成多个候选框，每一个所述候选框表示一个潜在火灾目标区域；
确定每个所述候选框中是否存在目标，以确认所述潜在火灾目标区域的类别；
输出每个所述潜在火灾目标区域的位置及类别。
其中，浅层细节特征指的是卷积神经网络中浅层网络提取的特征，该部分特征与输入的清晰图像比较接近，包含更多的像素点信息，一些细粒度的信息，如颜色、纹理、边缘、棱角信息等。深层语义特征指的是卷积神经网络中深层网络提取的特征，该部分特征离输出较近，一些粗粒度的信息，如语义信息。该特征图由浅层细节特征和深层语义特征两部分构成，相较于单个的浅层细节特征或深层语义特征，更加全面和完整表示图像，使得图像的信息不至于缺失太多。
具体地，所述利用卷积神经网络提取所述清晰图像中的浅层细节特征和深层语义特征，得到特征图，包括：
通过空间注意力函数和所述清晰图像中的原始特征，计算得到空间注意力特征；以及通过通道注意力函数和所述清晰图像中的原始特征，计算得到通道注意力特征；
将所述空间注意力特征和所述通道注意力特征进行融合，得到注意力特征；
将所述注意力特征与原始特征进行融合，得到融合特征，所述融合特征构成特征图。
例如，假设原始特征表示为特征，空间注意力特征表示为/>特征，通道注意力特征表示为/>。/>和/>分别表示空间注意力函数和通道注意力函数，特征提取可以表示为：
注意力特征表示为，则：
融合特征表示为，则：
本实施例中，通过强调与目标相关的特征和空间位置信息，可以减少背景信息的干扰。
其中，候选框生成阶段的目标是搜索特征图中可能包含火灾目标的位置，这些位置又叫感兴趣区域（ROI）。通过候选框生成器在所述特征图上生成多个候选框之后，对于每个候选框，进行感兴趣区域（ROI）池化，将不同大小的候选框转换为固定大小的特征向量，以便进行后续的分类和回归操作。将候选框通过RoI池化层生成固定大小的特征图，然后传递给用于目标检测的分类和回归层。这保留了候选框中的语义信息，有助于进一步处理目标定位和分类任务。
确定每个所述候选框中是否存在目标，即使用分类神经网络对每个候选框进行分类，以确定它们是否包含火灾目标。
在本发明的一种实施方式中，所述输出每个所述潜在火灾目标区域的位置及类别之前，所述方法还包括：
计算每个所述候选框的边界回归偏移量，得到每个所述潜在火灾目标区域的精确坐标；
将所述精确坐标作为所述潜在火灾目标区域的位置。
进一步地，在将所述精确坐标作为所述潜在火灾目标区域的位置之前，可以对该精确坐标进行定位精度评估，评估合格之后再将其作为精确坐标。
精度评估可以采用交叉比（Intersection Over Union ratio，iou）的计算方法，其定义了两个检测帧之间的重叠帧，计算公式为
当待检测帧的iou值高于校准阈值时，Soft-NMS根据iou值降低帧的置信度，其可以用分数复位函数表示
但由于该函数并不是一个连续函数，容易导致被测的检测帧的分数出现错误，因此引入高斯函数，最终的函数如下
其中，为超参数，D为一组检测帧，iou(A,/>)表示第i个检测帧与A的吻合程度。
在本发明实施例中通过对传统的非极大值抑制算法的改进，减少了对检测帧的错误删除，提高了小目标森林火灾检测的泛化性能。
在本发明的一种实施方式中，所述通过对雾式变化不敏感的分割模型对所述原始图像进行去云去雾处理，得到清晰图像之前，所述方法还包括：
获取训练集和雾通滤波器；
通过所述训练集对分割网络和雾通滤波器进行交替训练，得到雾不变特征参数；
将所述雾不变特征参数输入至初始分割模型，得到对雾式变化不敏感的分割模型。
其中，训练集包括三个训练图像域，晴天（CW）、合成雾（SF）、真实雾（RF）。雾通滤波器可以根据该三个训练图像域学习雾样式，提取雾因子，将雾相关信息从图像中提取出来，得到雾不变特征参数。雾不变特征参数作为辅助信息输入到分割模型中，以提供有关雾气条件的额外信息，从而实现对原始图像去云去雾处理。
其中，雾因子用来衡量雾气的浓度或密度，它可以影响图像的视觉质量和可见度，可以被视为一种附加的图像特征，提供有关雾气的条件信息，以改善分割的性能。
在本发明实施例中，采用交替优化的方法，可以通过不断迭代优化雾通滤波器和分割模型，逐渐减小雾通滤波器和分割模型之间的耦合程度，达到全局最优或近似最优解。除此之外，由于每次只优化其中一个模型（雾通滤波器或分割模型），交替优化可以减小整体的复杂度，加快优化过程的收敛速度。
在本发明的一种实施方式中，所述通过所述训练集对分割网络和雾通滤波器进行交替训练，得到包括雾不变特征参数的分割模型，包括：
固定所述分割网络的参数，通过所述训练集对所述雾通滤波器进行训练；
所述固定所述分割网络的参数，通过所述训练集对所述雾通滤波器进行训练，具体包括：
根据固定参数的所述分割网络对不同训练域下的同一训练图像进行去云去雾处理，得到不同训练域下的特征图；
通过所述雾通滤波器计算所述特征图在不同训练域下的雾因子；
根据不同训练域下的雾因子计算所述雾通滤波器对应的雾通滤波损失函数值；
根据所述雾通滤波损失函数值更新所述雾通滤波器。
对于一对训练图像和/>，雾通滤波器的作用是通过计算一系列雾因子/>和来使分割网络图像区分不同雾条件。其中，a和b是图像对中的两个图像，l是层的索引。
其中，雾通滤波器的输入为格拉姆矩阵，标记为，捕获其输入特征映射的c个通道之间的相关性。G中的/>元素表示/>和/>特征通道之间的相关性，其计算式为/>，/>是输入特征图的第i个通道的向量。由于格拉姆矩阵是对称的，因此只需要选择使用矩阵上三角部分的矢量形式作为雾通滤波器的输入。所以，雾因子是通过将特征映射的格拉姆矩阵的向量上三角部分与雾通滤波器进行卷积操作来计算得出的。
具体地，计算过程如下：
对于图像，计算特征映射的格拉姆矩阵。使用雾通滤波器F对/>的向量上三角部分进行卷积，得到雾因子/>=F(/>)。类似地，对于图像/>，计算特征映射的格拉姆矩阵/>，并使用雾通滤波器F对其进行卷积，得到雾因子=F(/>)。
其中，对于一对来自不同雾域的图像，设和/>，以及雾通滤波器/>计算图像的雾因子，雾通滤波损失函数为
其中，d(·)为余弦距离，m为边缘，I(a,b)表示和/>属于同一雾域时，返回1，否则为0。
在本发明的一种实施方式中，所述通过所述训练集对分割网络和雾通滤波器进行交替训练，得到包括雾不变特征参数的分割模型，包括：
固定所述雾通滤波器的参数，通过所述训练集对所述分割网络进行训练；
所述固定所述雾通滤波器的参数，通过所述训练集对所述分割网络进行训练，具体包括：
根据所述分割网络对同一输入训练图像进行去云去雾处理，得到不同训练域下的特征图；
通过固定参数的雾通滤波器计算所述特征图在不同训练域下的雾因子；
根据所述雾因子计算雾式匹配损失值；
根据所述雾式匹配损失值更新所述分割网络的雾不变特征参数；
根据更新后的所述分割网络计算所述特征图的预测分数；
根据所述预测分数和所述同一输入训练图像的地面实况标签计算分割损失值；
根据所述分割损失值再次更新所述分割网络。
其中，雾式匹配损失函数为：
其中，为雾因子的维度，/>表示第/>个特征图的空间大小。
其中，分割损失函数如下：
其中，n为像素数，和/>分别表示j类在像素i处的预测分数和地面实况标签。
在计算分割损失函数值之前，为了使不同域中具有相同语义布局的图像具有相似的预测结果，从而在学习中可以对齐这些域，以提高不同域之间进行迁移学习以及域自适应任务时模型的性能，还可以计算预测一致性损失函数值。CW图像和SF图像具有完全相同的语义布局，设和/>为c类中像素i的分割模型的类概率向量， 损失为强制/>和/>之间的一致性，其对应的预测一致性损失函数如下：
其中KLdiv()是Kullback-leibler散度。
综上，结合雾式匹配损失函数、分割损失函数和预测一致性损失函数，分割网络对应的训练策略为，给定一个小批，分别从CW-SF、CW-RF和SF-RF中分别采样相同数量的图像对，通过最小化的方法来训练分割网络。总的损失函数如下：
其中，和/>为平衡超参数，/>和/>分别表示CW和SF域的真实标签。对于其他对输入域对，损失由分割和雾式匹配项组成，为
其中，。
请参见图3，是本发明实施例提供的一种火灾检测装置的结构示意图。所述装置包括：
数据获取单元301，用于获取云雾环境下的原始图像；
图像处理单元302，用于通过包括雾不变特征参数的分割模型对所述原始图像进行去云去雾处理，得到清晰图像，所述雾不变特征为对所述原始图像的雾式变化不敏感的特征；
图像识别单元303，对所述清晰图像中的潜在火灾目标区域进行识别，得到所述潜在火灾目标区域；
数据输出单元304，用于输出所述潜在火灾目标区域的位置及类别，所述类别用于表示所述潜在火灾目标区域是否存在火灾。
具体地，在所述通过对雾式变化不敏感的分割模型对所述原始图像进行去云去雾处理，得到清晰图像方面，图像处理单元302，具体用于：
确定雾式变化不敏感的分割模型中雾不变特征参数与所述原始图像中的像素之间的相似度；
基于所述相似度确定所述原始图像包括的每个像素的计算权重；
基于每个像素与所述计算权重之间的乘积确定清晰图像。
具体地，在所述对所述清晰图像中的潜在火灾目标区域进行识别，得到以及输出所述潜在火灾目标区域的位置及类别方面，图像识别单元303，具体用于：
利用卷积神经网络提取所述清晰图像中的浅层细节特征和深层语义特征，得到特征图；
通过候选框生成器在所述特征图上生成多个候选框，每一个所述候选框表示一个潜在火灾目标区域；
确定每个所述候选框中是否存在目标，以确认所述潜在火灾目标区域的类别；
输出每个所述潜在火灾目标区域的位置及类别。
进一步，在所述输出每个所述潜在火灾目标区域的位置及类别之前，所述装置还包括位置确定单元305，用于：
计算每个所述候选框的边界回归偏移量，得到每个所述潜在火灾目标区域的精确坐标；
将所述精确坐标作为所述潜在火灾目标区域的位置。
进一步地，在所述通过对雾式变化不敏感的分割模型对所述原始图像进行去云去雾处理，得到清晰图像之前，所述装置还包括模型训练单元306，具体用于：
获取训练集和雾通滤波器；
通过所述训练集对分割网络和雾通滤波器进行交替训练，得到雾不变特征参数；
将所述雾不变特征参数输入至初始分割模型，得到对雾式变化不敏感的分割模型。
具体地，在所述通过所述训练集对分割网络和雾通滤波器进行交替训练，得到包括雾不变特征参数的分割模型方面，模型训练单元306，具体用于：
固定所述分割网络的参数，通过所述训练集对所述雾通滤波器进行训练；
所述固定所述分割网络的参数，通过所述训练集对所述雾通滤波器进行训练，具体包括：
根据固定参数的所述分割网络对不同训练域下的同一训练图像进行去云去雾处理，得到不同训练域下的特征图；
通过所述雾通滤波器计算所述特征图在不同训练域下的雾因子；
根据不同训练域下的雾因子计算所述雾通滤波器对应的雾通滤波损失函数值；
根据所述雾通滤波损失函数值更新所述雾通滤波器。
具体地，在所述通过所述训练集对分割网络和雾通滤波器进行交替训练，得到包括雾不变特征参数的分割模型方面，模型训练单元306，具体用于：
固定所述雾通滤波器的参数，通过所述训练集对所述分割网络进行训练；
所述固定所述雾通滤波器的参数，通过所述训练集对所述分割网络进行训练，具体包括：
根据所述分割网络对同一输入训练图像进行去云去雾处理，得到不同训练域下的特征图；
通过固定参数的雾通滤波器计算所述特征图在不同训练域下的雾因子；
根据所述雾因子计算雾式匹配损失值；
根据所述雾式匹配损失值更新所述分割网络的雾不变特征参数；
根据更新后的所述分割网络计算所述特征图的预测分数；
根据所述预测分数和所述同一输入训练图像的地面实况标签计算分割损失值；
根据所述分割损失值再次更新所述分割网络。
请参见图4，图4是本发明实施例提供的另一种火灾检测装置的结构示意图。该火灾检测装置400可以包括：处理器401，网络接口404和存储器405，此外，上述火灾检测装置400还可以包括：用户接口403，和至少一个通信总线402。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口403可以包括显示屏（Display）、键盘（Keyboard），可选用户接口403还可以包括标准的有线接口、无线接口。网络接口404可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。存储器404可以是高速RAM存储器，也可以是非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器。存储器405可选的还可以是至少一个位于远离前述处理器401的存储装置。如图4所示，作为一种计算机可读存储介质的存储器405中可以包括操作***、网络通信模块、用户接口模块以及设备控制应用程序。
在如图4所示的火灾检测装置400中，网络接口404可提供网络通讯功能；而用户接口403主要用于为用户提供输入的接口；而处理器401可以用于调用存储器405中存储的设备控制应用程序，以实现上述图3所对应实施例中对所述火灾检测方法的描述，这里不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
此外，这里需要指出的是：本发明实施例还提供了一种计算机可读存储介质，且所述计算机可读存储介质中存储有前文提及的火灾检测装置所执行的计算机程序，且所述计算机程序包括程序指令，当所述处理器执行所述程序指令时，能够执行前文图3所对应实施例中对所述火灾检测方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本发明所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本发明方法实施例的描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储存储器（Read-Only Memory，ROM）或随机存储存储器（Random AccessMemory，RAM）等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (10)
1.一种火灾检测方法，其特征在于，所述方法包括：
获取云雾环境下的原始图像；
通过对雾式变化不敏感的分割模型对所述原始图像进行去云去雾处理，得到清晰图像；
对所述清晰图像中的潜在火灾目标区域进行识别，得到以及输出所述潜在火灾目标区域的位置及类别，所述类别用于表示所述潜在火灾目标区域是否存在火灾。
2.根据权利要求1所述的方法，其特征在于，所述通过对雾式变化不敏感的分割模型对所述原始图像进行去云去雾处理，得到清晰图像，包括：
确定雾式变化不敏感的分割模型中雾不变特征参数与所述原始图像中的像素之间的相似度；
基于所述相似度确定所述原始图像包括的每个像素的计算权重；
基于每个像素与所述计算权重之间的乘积确定清晰图像。
3.根据权利要求1所述的方法，其特征在于，所述对所述清晰图像中的潜在火灾目标区域进行识别，得到以及输出所述潜在火灾目标区域的位置及类别，包括：
利用卷积神经网络提取所述清晰图像中的浅层细节特征和深层语义特征，得到特征图；
通过候选框生成器在所述特征图上生成多个候选框，每一个所述候选框表示一个潜在火灾目标区域；
确定每个所述候选框中是否存在目标，以确认所述潜在火灾目标区域的类别；
输出每个所述潜在火灾目标区域的位置及类别。
4.根据权利要求2所述的方法，其特征在于，所述输出每个所述潜在火灾目标区域的位置及类别之前，所述方法还包括：
计算每个所述候选框的边界回归偏移量，得到每个所述潜在火灾目标区域的精确坐标；
将所述精确坐标作为所述潜在火灾目标区域的位置。
5.根据权利要求1所述的方法，其特征在于，所述通过对雾式变化不敏感的分割模型对所述原始图像进行去云去雾处理，得到清晰图像之前，所述方法还包括：
获取训练集和雾通滤波器；
通过所述训练集对分割网络和雾通滤波器进行交替训练，得到雾不变特征参数；
将所述雾不变特征参数输入至初始分割模型，得到对雾式变化不敏感的分割模型。
6.根据权利要求5所述的方法，其特征在于，所述通过所述训练集对分割网络和雾通滤波器进行交替训练，得到包括雾不变特征参数的分割模型，包括：
固定所述分割网络的参数，通过所述训练集对所述雾通滤波器进行训练；
所述固定所述分割网络的参数，通过所述训练集对所述雾通滤波器进行训练，具体包括：
根据固定参数的所述分割网络对不同训练域下的同一训练图像进行去云去雾处理，得到不同训练域下的特征图；
通过所述雾通滤波器计算所述特征图在不同训练域下的雾因子；
根据不同训练域下的雾因子计算所述雾通滤波器对应的雾通滤波损失函数值；
根据所述雾通滤波损失函数值更新所述雾通滤波器。
7.根据权利要求5所述的方法，其特征在于，所述通过所述训练集对分割网络和雾通滤波器进行交替训练，得到包括雾不变特征参数的分割模型，包括：
固定所述雾通滤波器的参数，通过所述训练集对所述分割网络进行训练；
所述固定所述雾通滤波器的参数，通过所述训练集对所述分割网络进行训练，具体包括：
根据所述分割网络对同一输入训练图像进行去云去雾处理，得到不同训练域下的特征图；
通过固定参数的雾通滤波器计算所述特征图在不同训练域下的雾因子；
根据所述雾因子计算雾式匹配损失值；
根据所述雾式匹配损失值更新所述分割网络的雾不变特征参数；
根据更新后的所述分割网络计算所述特征图的预测分数；
根据所述预测分数和所述同一输入训练图像的地面实况标签计算分割损失值；
根据所述分割损失值再次更新所述分割网络。
8.一种火灾检测装置，其特征在于，所述装置包括：
数据获取单元，用于获取云雾环境下的原始图像；
图像处理单元，用于通过包括雾不变特征参数的分割模型对所述原始图像进行去云去雾处理，得到清晰图像，所述雾不变特征为对所述原始图像的雾式变化不敏感的特征；
图像识别单元，对所述清晰图像中的潜在火灾目标区域进行识别，得到所述潜在火灾目标区域；
数据输出单元，用于输出所述潜在火灾目标区域的位置及类别，所述类别用于表示所述潜在火灾目标区域是否存在火灾。
9.一种火灾检测装置，其特征在于，包括：处理器和存储器；
所述处理器和存储器相连，其中，所述存储器用于存储计算机程序，所述处理器用于调用所述计算机程序，以执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311441867.6A CN117576369A (zh) | 2023-11-01 | 2023-11-01 | 火灾检测方法、装置以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311441867.6A CN117576369A (zh) | 2023-11-01 | 2023-11-01 | 火灾检测方法、装置以及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117576369A true CN117576369A (zh) | 2024-02-20 |
Family
ID=89889019
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311441867.6A Pending CN117576369A (zh) | 2023-11-01 | 2023-11-01 | 火灾检测方法、装置以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117576369A (zh) |
-
2023
- 2023-11-01 CN CN202311441867.6A patent/CN117576369A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
| CN111178183B (zh) | 人脸检测方法及相关装置 | |
| CN109255317B (zh) | 一种基于双网络的航拍图像差异检测方法 | |
| CN108062525B (zh) | 一种基于手部区域预测的深度学习手部检测方法 | |
| WO2023015743A1 (zh) | 病灶检测模型的训练方法及识别图像中的病灶的方法 | |
| CN113936256A (zh) | 一种图像目标检测方法、装置、设备以及存储介质 | |
| CN110706266A (zh) | 一种基于YOLOv3的空中目标跟踪方法 | |
| CN111160407A (zh) | 一种深度学习目标检测方法及*** | |
| CN103617413B (zh) | 一种在图像中识别物体的方法 | |
| CN111368634B (zh) | 基于神经网络的人头检测方法、***及存储介质 | |
| CN115797736B (zh) | 目标检测模型的训练和目标检测方法、装置、设备和介质 | |
| Li et al. | Unsupervised domain adaptation with self-attention for post-disaster building damage detection | |
| CN113537180B (zh) | 树障的识别方法、装置、计算机设备和存储介质 | |
| Sun et al. | IRDCLNet: Instance segmentation of ship images based on interference reduction and dynamic contour learning in foggy scenes | |
| CN114332977A (zh) | 关键点检测方法、装置、电子设备及存储介质 | |
| Gu et al. | Thermal image colorization using Markov decision processes | |
| Khoshboresh-Masouleh et al. | Robust building footprint extraction from big multi-sensor data using deep competition network | |
| CN116258931B (zh) | 基于ViT和滑窗注意力融合的视觉指代表达理解方法和*** | |
| CN115984712A (zh) | 基于多尺度特征的遥感图像小目标检测方法及*** | |
| Fareed et al. | Saliency detection by exploiting multi-features of color contrast and color distribution | |
| CN114998387A (zh) | 一种物体距离监测方法、装置、电子设备和存储介质 | |
| CN117576369A (zh) | 火灾检测方法、装置以及存储介质 | |
| CN114118127A (zh) | 一种视觉场景标志检测与识别方法及装置 | |
| CN115100741B (zh) | 一种点云行人距离风险检测方法、***、设备和介质 | |
| Zhang et al. | Research on real-time detection algorithm for pedestrian and vehicle in foggy weather based on lightweight XM-YOLOViT |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |