CN114782902A - 石化气体泄露检测方法、***、设备及存储介质 - Google Patents

石化气体泄露检测方法、***、设备及存储介质 Download PDF

Info

Publication number
CN114782902A
CN114782902A CN202210708880.2A CN202210708880A CN114782902A CN 114782902 A CN114782902 A CN 114782902A CN 202210708880 A CN202210708880 A CN 202210708880A CN 114782902 A CN114782902 A CN 114782902A
Authority
CN
China
Prior art keywords
petrochemical gas
petrochemical
video
gas leakage
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210708880.2A
Other languages
English (en)
Inventor
夏秀山
曹洋
康宇
许镇义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Advanced Technology University of Science and Technology of China
Original Assignee
Institute of Advanced Technology University of Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Advanced Technology University of Science and Technology of China filed Critical Institute of Advanced Technology University of Science and Technology of China
Priority to CN202210708880.2A priority Critical patent/CN114782902A/zh
Publication of CN114782902A publication Critical patent/CN114782902A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M3/00—Investigating fluid-tightness of structures
    • G01M3/002—Investigating fluid-tightness of structures by using thermal means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种石化气体泄露检测方法、***、设备及存储介质，涉及环境监测技术领域，该方法包括：获取石化气体泄露的原始红外视频，使用预设的运动放大方法对所述原始红外视频进行处理，得到目标视频；提取出所述目标视频中的泄露图像帧，基于所述泄露图像帧建立数据集；构建初始石化气体泄露检测模型，使用所述数据集对所述初始石化气体泄露检测模型进行训练，得到目标石化气体泄露检测模型；获取经过运动放大处理的待检测视频，将所述待检测视频输入所述目标石化气体泄露检测模型，得到检测结果，根据所述检测结果判断所述待检测视频中是否存在石化气体泄露。本发明实现了提高石化气体泄露检测准确率的技术效果。

Description

石化气体泄露检测方法、***、设备及存储介质
技术领域
本发明涉及环境监测技术领域，尤其涉及一种石化气体泄露检测方法、***、设备及存储介质。
背景技术
近年来，随着石油化工行业的迅速发展，生产安全问题也越来越重要。石化气体泄漏是引起火灾***、中毒、环境污染事故的主要原因之一。石化气体包括种类繁多的高浓度挥发性有机气体（VOCs，Volatile Organic Compounds），它们都是易燃、易爆、有毒有害气体，给生态环境和人体健康带来极大危害。VOCs还导致了臭氧的形成，臭氧是烟雾的主要来源，也是城市石化工厂附近地区呼吸***疾病的主要原因之一。
常见的通过红外成像采集室外环境中的气体泄露情况，再直接在红外视频上检测石化气体的方法，受红外气体成像不明显，噪声干扰大的影响，检测效果差，检测准确率低。
发明内容
本发明的主要目的在于提供一种石化气体泄露检测方法、***、设备及存储介质，旨在解决通过红外视频进行石化气体泄露检测时准确率低的问题。
为实现上述目的，本发明提供一种石化气体泄露检测方法，该方法包括：
获取石化气体泄露的原始红外视频，使用预设的运动放大方法对所述原始红外视频进行处理，得到目标视频；
提取出所述目标视频中的泄露图像帧，基于所述泄露图像帧建立数据集；
构建初始石化气体泄露检测模型，使用所述数据集对所述初始石化气体泄露检测模型进行训练，得到目标石化气体泄露检测模型；
获取经过运动放大处理的待检测视频，将所述待检测视频输入所述目标石化气体泄露检测模型，得到检测结果，根据所述检测结果判断所述待检测视频中是否存在石化气体泄露。
可选地，所述使用预设的运动放大方法对所述原始红外视频进行处理，得到目标视频的步骤包括：
确定所述原始红外视频的相位差信号；
使用预设的滤波频段对所述相位差信号进行滤波，得到石化气体扩散运动相位差信号；
根据所述石化气体扩散运动相位差信号和预设的放大倍数得到运动放大的石化气体扩散运动相位差信号；
通过复可控金字塔对所述运动放大的石化气体扩散运动相位差信号进行重建，得到所述目标视频。
可选地，所述确定所述原始红外视频的相位差信号的步骤包括：
对所述原始红外视频进行全局傅里叶变换，得到频域表示的原始红外视频；
根据所述频域表示的原始红外视频和所述复可控金字塔得到所述原始红外视频的局部相位差信号。
可选地，所述根据所述频域表示的原始红外视频和所述复可控金字塔得到所述原始红外视频的局部相位差信号的步骤包括：
构建所述复可控金字塔的基函数；
通过所述基函数将所述频域表示的原始红外视频投影至所述复可控金字塔的基向量，得到投影表示的原始红外视频；
确定所述投影表示的原始红外视频中相邻帧之间的相位差，若所述相邻帧之间的相位差超过预设的相位差阈值，则提取出所述相邻帧对应的像素点的局部相位差信号。
可选地，所述使用所述泄露图像帧建立数据集的步骤包括：
筛选出所述泄露图像帧中的明显泄露图像，使用所述明显泄露图像建立所述数据集；
标注所述数据集中的气体矩形区域，将所述气体矩形区域及其类别作为石化气体标签。
可选地，所述构建初始石化气体泄露检测模型，使用所述数据集对所述初始石化气体泄露检测模型进行训练，得到目标石化气体泄露检测模型的步骤包括：
基于骨干特征提取网络、特征金字塔和检测器构建所述初始石化气体泄露检测模型；
基于标注后的所述数据集和所述石化气体标签对所述初始石化气体泄露检测模型进行训练，通过预设的损失函数评价训练结果；
当所述损失函数收敛时，结束训练，得到所述目标石化气体泄露检测模型。
可选地，所述基于标注后的所述数据集和所述石化气体标签对所述初始石化气体泄露检测模型进行训练，通过预设的损失函数评价训练结果的步骤包括：
根据预设的划分比例将标注后的所述数据集随机划分为训练集和测试集；
将所述训练集输入所述初始石化气体泄露检测模型，使用所述测试集和所述石化气体标签对所述初始石化气体泄露检测模型进行验证，验证过程中根据所述损失函数确定所述训练结果的模型损失；
通过所述模型损失判断所述损失函数是否收敛。
此外，为实现上述目的，本发明还提供一种石化气体泄露检测***，所述石化气体泄露检测***包括：
运动放大模块，用于获取石化气体泄露的原始红外视频，使用预设的运动放大方法对所述原始红外视频进行处理，得到目标视频；
图像提取模块，用于提取出所述目标视频中的泄露图像帧，基于所述泄露图像帧建立数据集；
模型训练模块，用于构建初始石化气体泄露检测模型，使用所述数据集对所述初始石化气体泄露检测模型进行训练，得到目标石化气体泄露检测模型；
模型应用模块，用于获取经过运动放大处理的待检测视频，将所述待检测视频输入所述目标石化气体泄露检测模型，得到检测结果，根据所述检测结果判断所述待检测视频中是否存在石化气体泄露。
此外，为实现上述目的，本发明还提供一种电子设备，所述电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的石化气体泄露检测程序，所述石化气体泄露检测程序配置为实现如上文所述的石化气体泄露检测方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有石化气体泄露检测程序，所述石化气体泄露检测程序被处理器执行时实现如权上文所述的石化气体泄露检测方法的步骤。
本发明获取石化气体泄露的原始红外视频，对原始红外视频进行运动放大处理，得到目标视频，提取出目标视频中的泄露图像帧，使用泄露图像帧建立数据集，构建初始石化气体泄露检测模型，使用数据集对初始石化气体检测模型进行训练，得到目标石化气体泄露检测模型，将待检测视频输入目标石化气体泄露检测模型，得到检测结果，根据检测结果判断待检测视频中是否存在石化气体泄露，通过运动放大方法将原始红外视频中石化气体的微小运动放大，同时抑制原始红外视频中的噪声，使原始红外视频中的石化气体泄露情况更易被观测到，将运动放大方法与用于检测石化气体的机器学习模型相结合，则目标石化气体泄露检测模型可以检测出待检测视频中石化气体的微小泄露情况，从而提高石化气体泄露检测的准确率。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的电子设备的结构示意图；
图2为本发明石化气体泄露检测方法第一实施例的流程示意图；
图3为本发明石化气体泄露检测方法第二实施例的流程示意图；
图4为本发明石化气体泄露检测方法第三实施例的流程示意图；
图5为本发明石化气体泄露检测方法的原理示意图；
图6为本发明石化气体泄露检测***的示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
真实环境拍摄的石化气体泄露红外视频分辨率低、噪声大，成像距离远气体泄露扩散不明显。而一般的直接在原始红外视频上检测的方法，受红外气体成像不明显，噪声干扰大的影响，检测效果差。
本发明的主要技术方案是：获取石化气体泄露的原始红外视频，使用预设的运动放大方法对所述原始红外视频进行处理，得到目标视频；提取出所述目标视频中的泄露图像帧，基于所述泄露图像帧建立数据集；构建初始石化气体泄露检测模型，使用所述数据集对所述初始石化气体泄露检测模型进行训练，得到目标石化气体泄露检测模型；获取经过运动放大处理的待检测视频，将所述待检测视频输入所述目标石化气体泄露检测模型，得到检测结果，根据所述检测结果判断所述待检测视频中是否存在石化气体泄露。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的电子设备结构示意图。
如图1所示，该电子设备可以包括：处理器1001，例如中央处理器（CentralProcessing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（WIreless-FIdelity，WI-FI）接口）。存储器1005可以是高速的随机存取存储器（RandomAccess Memory，RAM）存储器，也可以是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及石化气体泄露检测程序。
在图1所示的电子设备中，网络接口1004主要用于与其他设备进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明电子设备中的处理器1001、存储器1005可以设置在电子设备中，所述电子设备通过处理器1001调用存储器1005中存储的石化气体泄露检测程序，并执行本发明实施例提供的石化气体泄露检测方法。
本发明实施例提供了一种石化气体泄露检测方法，参照图2，图2为本发明一种石化气体泄露检测方法第一实施例的流程示意图。
本实施例中，所述石化气体泄露检测方法包括：
步骤S10，获取石化气体泄露的原始红外视频，使用预设的运动放大方法对所述原始红外视频进行处理，得到目标视频；
红外成像是石化气体泄露检测的常用成像方式，由于石化气体中不同成分对红外线的辐射强度不一致，可以通过设置红外成像仪器的成像波段实现对不同成分气体的检测。石化气体大部分为VOC气体，本发明实施例提供的石化气体泄露检测方法也可应用于VOC气体的泄露检测。
原始红外视频和待检测视频可能来自于不同的红外成像仪器，在对原始红外视频进行运动放大之前，可以对原始红外视频进行预处理。预处理方式中主要包括对视频的分辨率、帧率、时长和格式的调整。比如，待检测视频的分辨率不等于640*512，则对原始红外视频进行下（或上）采样到640*512，以确保原始红外视频的分辨率等于640*512。为了便于后续进行模型训练，还可以从原始红外视频中截取出包含石化气体泄露过程的短视频，每个视频时长可以为5秒，帧率可以为30fps（frames per second，每秒传输帧数），视频可以保存为avi（audio video interleave，音频视频交错）格式。
运动放大方法可以将视频中的微小运动放大，使微小运动清晰地呈现出来。预设的运动放大方法可以为拉格朗日法、欧拉法、深度学习法和基于相位差的放大法中的任一种。目标视频相比于原始红外视频具有运动放大效果。
步骤S20，提取出所述目标视频中的泄露图像帧，基于所述泄露图像帧建立数据集；
在目标视频中，若存在石化气体泄露的情况，可以提取出包含石化气体泄露的泄露图像帧，将泄露图像帧作为对初始石化气体泄露检测模型进行训练的数据集。还可以对数据集中的泄露图像帧进行标签标注。
作为一种示例，提取出所述目标视频中的泄露图像帧，基于所述泄露图像帧建立数据集的步骤可以包括：
步骤A1，筛选出所述泄露图像帧中的明显泄露图像，使用所述明显泄露图像建立所述数据集；
步骤A2，标注所述数据集中的气体矩形区域，将所述气体矩形区域及其类别作为石化气体标签。
泄露图像帧中可能包含多张相似的泄露图像，可以筛选出泄露图像中的明显泄露图像，建立数据集。对于数据集中的明显泄露图像，使用标注工具标注出图像中的气体矩形区域，以及气体巨型区域中的气体类别，气体类别可以分为石化气体和非石化气体。气体矩形区域的大小可以进行调整。标注气体矩形区域的方式可以表现为使用目标框将气体泄露区域框起来。将标注的气体矩形区域和气体巨型区域中的气体类别作为石化气体标签。
步骤S30，构建初始石化气体泄露检测模型，使用所述数据集对所述初始石化气体泄露检测模型进行训练，得到目标石化气体泄露检测模型；
初始石化气体泄露检测模型所用Backbone网络可以选用CSPDarknet53或Darknet53网络提取目标特征金字塔，颈部使用FPN（Feature Pyramid Networks，特征金字塔网络） + PAN（Pixel Aggregation Networks，像素聚合网络）的网络结构，融合底层和顶层特征。使用已建立的数据集对初始石化气体泄露检测模型进行训练，训练完成后得到目标石化气体泄露检测模型。
步骤S40，获取经过运动放大处理的待检测视频，将所述待检测视频输入所述目标石化气体泄露检测模型，得到检测结果，根据所述检测结果判断所述待检测视频中是否存在石化气体泄露。
在用于检测的模型构建并训练完成后，可以应用目标石化气体泄露检测模型对待检测视频进行石化气体泄露检测。待检测视频可以为在石化厂区使用红外摄像机采集的实时视频。将待检测视频进行运动放大处理，再输入目标石化气体泄露检测模型中，输出检测结果。检测结果中可以包含目标类别，目标类别表示检测目标是否为石化气体，若目标类别为石化气体，则判定待检测视频中存在石化气体泄露。
在本实施例中，获取石化气体泄露的原始红外视频，对原始红外视频进行运动放大处理，得到目标视频，提取出目标视频中的泄露图像帧，使用泄露图像帧建立数据集，构建初始石化气体泄露检测模型，使用数据集对初始石化气体检测模型进行训练，得到目标石化气体泄露检测模型，将待检测视频输入目标石化气体泄露检测模型，得到检测结果，根据检测结果判断待检测视频中是否存在石化气体泄露，通过运动放大方法将原始红外视频中石化气体的微小运动放大，同时抑制原始红外视频中的噪声，使原始红外视频中的石化气体泄露情况更易被观测到，将运动放大方法与用于检测石化气体的机器学习模型相结合，则目标石化气体泄露检测模型可以检测出待检测视频中石化气体的微小泄露情况，从而提高石化气体泄露检测的准确率。
进一步的，在本发明石化气体泄露检测方法的第二实施例中，参照图3，该方法包括：
步骤S11，确定所述原始红外视频的相位差信号；
本实施例采用基于相位差的运动放大法对原始红外视频进行处理。欧拉法的线性放大处理，在放大运动的同时也会放大噪声，而基于相位差的运动放大通过改变构成图像的正弦信号相位来增强像素的运动，可以抑制噪声的放大。
作为一种示例，确定所述原始红外视频的相位差信号的步骤可以包括：
步骤B1，对所述原始红外视频进行全局傅里叶变换，得到频域表示的原始红外视频；
原始红外视频中的图像是单通道强度视频图像，没有颜色信息。假设视频像素位置x处的信号强度为I（x,t），其在t时刻任意位置x处像素的强度定义为I（x,t）=f（x-δ（t）），且当t=0时，有I（x,0）=f（x）。其中δ（t）是一个复杂的位移函数，当时t=0时δ（0）=0。则将原始红外视频从空域变换到频域的全局傅里叶变换用可用如下公式1表示为：
Figure 156455DEST_PATH_IMAGE001
公式1：
其中，每个频率ω对应一个子带，Φω表示相位信号，Aω表示振幅信号。
根据傅里叶变换的平移性质，可以得到I（x,t）的傅里叶变换结果为：
Figure 916601DEST_PATH_IMAGE002
对每一个频率ω来说，其复指数形式可以写为：
Figure 183634DEST_PATH_IMAGE003
将t时刻的相位与零时刻的相位相减，可得相位差为：
Figure 382535DEST_PATH_IMAGE004
将包含小运动的相位差Bω（x,t）乘以放大系数α，即可得到放大后的运动
Figure 51413DEST_PATH_IMAGE005
。对每一个频率ω均采用上述处理，并与输入信号合成，即可得到最终运动放大后的结果，可写为：
Figure 44777DEST_PATH_IMAGE006
上述全局傅里叶变换是假定原始红外视频中的石化气体扩散运动是全局的。然而，大多数情况下，原始红外视频中石化气体运动是局部的，因此可以利用复可控金字塔将图像分解为局部正弦曲线，进而表示局部的运动，从而实现针对性的放大处理。
步骤B2，根据所述频域表示的原始红外视频和所述复可控金字塔得到所述原始红外视频的局部相位差信号。
通过全局傅里叶变换可以得到原始红外视频的全局相位差信号，进一步使用复可控金字塔对原始红外视频进行处理，可得到局部相位差信号。
构建复可控金字塔的基函数。复可控金字塔是一种将图像分解成一系列在位置、空间尺度以及方向上同时定位的基函数表示。复可控金字塔基函数类似于由高斯函数构成的方向复正弦函数。其中，复正弦函数提供频率上的局部性，高斯窗提供空间上的局部性。通过在空间尺度和方向尺度上的控制，可以对局域相位进行标识，进而实现对视频中局部位移的表示。基函数为高斯窗口乘以复正弦函数，可以用如下公式2表示为：
Figure 986057DEST_PATH_IMAGE007
公式2：
其中，fω（x）表示基函数，σ是高斯窗的标准差、ω是复正弦函数的频率，且σ/ω为定值。
通过基函数将频域表示的原始红外视频投影至复可控金字塔的基向量，得到投影表示的原始红外视频。将全局傅里叶变换得到的频域表示的原始红外视频投影至复可控金字塔的基向量下，从而得到不同尺度、不同方向及不同位置的表示，可以用如下公式3表示为：
Figure 723069DEST_PATH_IMAGE008
公式3：
其中，r表示尺度、θ表示角度，x表示位置；Ar,θ（x,t）表示幅度谱，Φr,θ（x,t）表示相位谱。
确定所述投影表示的原始红外视频中相邻帧之间的相位差，若所述相邻帧之间的相位差超过预设的相位差阈值，则提取出所述相邻帧对应的像素点的局部相位差信号。
得到投影表示的原始红外视频之后，可以通过计算相邻帧之间的相位差判断视频中的像素点是否存在小的位移。在上述基于相位的视频处理方法中，振幅表示像素点的亮度强度，可以通过相位的变化来判断像素点是否存在小的位移。然而，当相位产生微小的波动时，视频也可能并未存在小的位移，可以通过预设的相位差阈值进行判断。当相邻帧之间的相位差超过相位差阈值时，提取视频中相位差超过相位差阈值的位置处像素点的局部相位差信号。当相邻帧之间的相位差阈值不超过相位差阈值时，将相位的变化视为正常的波动。
步骤S12，使用预设的滤波频段对所述相位差信号进行滤波，得到石化气体扩散运动相位差信号；
除石化气体泄露产生的石化气体扩散运动之外，原始红外视频中的微小运动还可能包括其他情况，比如风吹过树叶产生树叶飘动。相比于其他微小运动情况，石化气体泄露具有其独特性，比如泄露时存在泄漏点。
在进行滤波时，可以利用幅度选择滤波结合线性相位IIR（Infinite ImpulseResponse，无限脉冲响应）带通滤波器，设置预设的滤波频段提取出石化气体扩散运动相位差信号。由于石化气体扩散运动的运动规律与其他微小运动不同，可以根据石化气体扩散运动所在的频段设置预设的滤波频段，将石化气体扩散运动相位差信号从局部相位差信号中过滤出来。
步骤S13，根据所述石化气体扩散运动相位差信号和预设的放大倍数得到运动放大的石化气体扩散运动相位差信号；
预设的放大倍数可根据实际需求进行设置。放大倍数设置为α，将石化气体扩散运动相位差信号乘以α，即可得到运动放大后的石化气体扩散运动相位差信号。
步骤S14，通过复可控金字塔对所述运动放大的石化气体扩散运动相位差信号进行重建，得到所述目标视频。
在对原始红外视频进行复可控金字塔处理时，将图像信号分解为高通和低通两个部分。高通部分包含的细节信息多，低通部分则提供整体信息。结合原始红外视频的高通残差和低通残差进行重建，得到运动放大效果的目标视频。
在本实施例中，通过全局傅里叶变换和复可控金字塔对原始红外视频得到微小运动的局部相位差信号，再对局部相位差信号进行滤波，提取出石化气体扩散运动相位差信号，将石化气体扩散运动相位差信号放大后重建，最终得到的目标视频具有运动放大效果，基于相位差的运动放大方法在噪声强烈的情况下不会将噪声也放大，运动放大效果好。
进一步的，在本发明石化气体泄露检测方法的第三实施例中，参照图4，该方法包括：
步骤S21，基于骨干特征提取网络、特征金字塔和检测器构建所述初始石化气体泄露检测模型；
图5为石化气体泄露检测原理图，如图5所示，待检测视频经运动放大处理后输入目标石化气体泄露检测模型，目标石化气体泄露检测模型输出检测结果图。在图5中，骨干特征提取网络（Backbone）可采用Darknet-53结构，Darknet-53是YOLOv3网络中的一部分，骨干特征提取网络的检测器可以为基于解耦头和无锚点的检测器。FPN为特征金字塔，可用于检测不同尺度的对象，自顶向下和自底向上相结合实现特征融合。自顶向下可以得到强语义的特征表达，自底向上可以得到强定位的特征表达。特征金字塔可以包含20*20、40*40和80*80共3种不同尺寸的特征图，分别用于检测大尺寸和小尺寸的目标。PAN为像素聚合网络。在初始石化气体泄露检测模型中，通过FPN和PAN进行特征融合。
步骤S22，基于标注后的所述数据集和所述石化气体标签对所述初始石化气体泄露检测模型进行训练，通过预设的损失函数评价训练结果；
可以将气体矩形区域作为石化气体标签对数据集进行标注。
根据预设的划分比例将标注后的所述数据集随机划分为训练集和测试集。预设的划分比例可以为8:3，即以训练集：测试集为8:3的比例划分已标注的数据集。
将所述训练集输入所述初始石化气体泄露检测模型，使用所述测试集和所述石化气体标签对所述初始石化气体泄露检测模型进行验证，验证过程中根据所述损失函数确定所述训练结果的模型损失。
通过训练集对初始石化气体泄露检测模型进行训练，使用测试集来验证训练后的初始石化气体泄露检测模型的正确率和误差，以验证初始石化气体泄露检测模型的有效性。训练结果可以为与输入初始石化气体泄露检测模型的训练样本对应的输出结果，输出结果中可以包含目标框的X坐标、Y坐标、高度、宽度和置信度。在待检测视频的图像中，以X-Y坐标来表示目标框的位置，高度和宽度表示目标框的尺寸，置信度表示模型预测框和真实标注框之间的差异，可以通过计算GIoU（Generalized Intersection over Union，广义交并比）得到差异值。判断目标框前景和预测目标类别使用BCE（Binary Cross Entropy，二元交叉熵）损失函数。GIoU阈值默认设定为0.5，GIoU大于阈值时，判定输出目标类别为石化气体，当GIoU小于或等于阈值时，输出目标类别为非石化气体。
BCE损失函数可以评价模型预测框的预测结果，训练过程中通过BCE损失函数的变化曲线来判断其是否收敛。BCE损失函数收敛时，结束模型训练过程。
步骤S23，当所述损失函数收敛时，结束训练，得到所述目标石化气体泄露检测模型。
在初始石化气体泄露检测模型的训练过程中，对已标注的数据集重复随机划分和重复训练。通过损失函数的变化曲线判断损失函数是否收敛，当损失函数收敛时，训练结束得到的目标石化气体泄露检测模型可满足准确性和实时性要求。
在本实施例中，基于骨干特征提取网络、特征金字塔和检测器构建的初始石化气体泄露检测模型，在训练完成之后，可以输出待检测视频中是否存在石化气体泄露的判断结果，应用模型进行检测的准确率高，且可以满足实时检测的要求。
本发明实施例还提供一种石化气体泄露检测***，如图6所示，所述石化气体泄露检测***包括：
运动放大模块101，用于获取石化气体泄露的原始红外视频，使用预设的运动放大方法对所述原始红外视频进行处理，得到目标视频；
图像提取模块102，用于提取出所述目标视频中的泄露图像帧，基于所述泄露图像帧建立数据集；
模型训练模块103，用于构建初始石化气体泄露检测模型，使用所述数据集对所述初始石化气体泄露检测模型进行训练，得到目标石化气体泄露检测模型；
模型应用模块104，用于获取经过运动放大处理的待检测视频，将所述待检测视频输入所述目标石化气体泄露检测模型，得到检测结果，根据所述检测结果判断所述待检测视频中是否存在石化气体泄露。
可选地，运动放大模块101还用于：
确定所述原始红外视频的相位差信号；
使用预设的滤波频段对所述相位差信号进行滤波，得到石化气体扩散运动相位差信号；
根据所述石化气体扩散运动相位差信号和预设的放大倍数得到运动放大的石化气体扩散运动相位差信号；
通过复可控金字塔对所述运动放大的石化气体扩散运动相位差信号进行重建，得到所述目标视频。
可选地，运动放大模块101还用于：
对所述原始红外视频进行全局傅里叶变换，得到频域表示的原始红外视频；
根据所述频域表示的原始红外视频和所述复可控金字塔得到所述原始红外视频的局部相位差信号。
可选地，运动放大模块101还用于：
构建所述复可控金字塔的基函数；
通过所述基函数将所述频域表示的原始红外视频投影至所述复可控金字塔的基向量，得到投影表示的原始红外视频；
确定所述投影表示的原始红外视频中相邻帧之间的相位差，若所述相邻帧之间的相位差超过预设的相位差阈值，则提取出所述相邻帧对应的像素点的局部相位差信号。
可选地，图像提取模块102还用于：
筛选出所述泄露图像帧中的明显泄露图像，使用所述明显泄露图像建立所述数据集；
标注所述数据集中的气体矩形区域，将所述气体矩形区域及其类别作为石化气体标签。
可选地，模型训练模块103还用于：
基于骨干特征提取网络、特征金字塔和检测器构建所述初始石化气体泄露检测模型；
将标注后的数据集输入所述初始石化气体泄露检测模型进行训练，通过预设的损失函数评价训练结果；
当所述损失函数收敛时，结束训练，得到所述目标石化气体泄露检测模型。
可选地，模型训练模块103还用于：
根据预设的划分比例将所述标注后的数据集随机划分为训练集和测试集；
将所述训练集输入所述初始石化气体泄露检测模型，使用所述测试集和所述石化气体标签对所述初始石化气体泄露检测模型进行验证，验证过程中根据所述损失函数确定所述训练结果的模型损失；
通过所述模型损失判断所述损失函数是否收敛。
本发明实施例还提供一种电子设备，所述电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的石化气体泄露检测程序，所述石化气体泄露检测程序配置为实现如上文所述的石化气体泄露检测方法的步骤。本发明电子设备的具体实施方式参照上述石化气体泄露检测方法各实施例，在此不再赘述。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有石化气体泄露检测程序，所述石化气体泄露检测程序被处理器执行时实现如上文所述的石化气体泄露检测方法的步骤。本发明计算机可读存储介质的具体实施方式参照上述石化气体泄露检测方法各实施例，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种石化气体泄露检测方法，其特征在于，所述石化气体泄露检测方法包括以下步骤：
获取石化气体泄露的原始红外视频，使用预设的运动放大方法对所述原始红外视频进行处理，得到目标视频；
提取出所述目标视频中的泄露图像帧，基于所述泄露图像帧建立数据集；
构建初始石化气体泄露检测模型，使用所述数据集对所述初始石化气体泄露检测模型进行训练，得到目标石化气体泄露检测模型；
获取经过运动放大处理的待检测视频，将所述待检测视频输入所述目标石化气体泄露检测模型，得到检测结果，根据所述检测结果判断所述待检测视频中是否存在石化气体泄露。
2.如权利要求1所述的石化气体泄露检测方法，其特征在于，所述使用预设的运动放大方法对所述原始红外视频进行处理，得到目标视频的步骤包括：
确定所述原始红外视频的相位差信号；
使用预设的滤波频段对所述相位差信号进行滤波，得到石化气体扩散运动相位差信号；
根据所述石化气体扩散运动相位差信号和预设的放大倍数得到运动放大的石化气体扩散运动相位差信号；
通过复可控金字塔对所述运动放大的石化气体扩散运动相位差信号进行重建，得到所述目标视频。
3.如权利要求2所述的石化气体泄露检测方法，其特征在于，所述确定所述原始红外视频的相位差信号的步骤包括：
对所述原始红外视频进行全局傅里叶变换，得到频域表示的原始红外视频；
根据所述频域表示的原始红外视频和所述复可控金字塔得到所述原始红外视频的局部相位差信号。
4.如权利要求3所述的石化气体泄露检测方法，其特征在于，所述根据所述频域表示的原始红外视频和所述复可控金字塔得到所述原始红外视频的局部相位差信号的步骤包括：
构建所述复可控金字塔的基函数；
通过所述基函数将所述频域表示的原始红外视频投影至所述复可控金字塔的基向量，得到投影表示的原始红外视频；
确定所述投影表示的原始红外视频中相邻帧之间的相位差，若所述相邻帧之间的相位差超过预设的相位差阈值，则提取出所述相邻帧对应的像素点的局部相位差信号。
5.如权利要求1所述的石化气体泄露检测方法，其特征在于，所述使用所述泄露图像帧建立数据集的步骤包括：
筛选出所述泄露图像帧中的明显泄露图像，使用所述明显泄露图像建立所述数据集；
标注所述数据集中的气体矩形区域，将所述气体矩形区域及其类别作为石化气体标签。
6.如权利要求5所述的石化气体泄露检测方法，其特征在于，所述构建初始石化气体泄露检测模型，使用所述数据集对所述初始石化气体泄露检测模型进行训练，得到目标石化气体泄露检测模型的步骤包括：
基于骨干特征提取网络、特征金字塔和检测器构建所述初始石化气体泄露检测模型；
基于标注后的所述数据集和所述石化气体标签对所述初始石化气体泄露检测模型进行训练，通过预设的损失函数评价训练结果；
当所述损失函数收敛时，结束训练，得到所述目标石化气体泄露检测模型。
7.如权利要求6所述的石化气体泄露检测方法，其特征在于，所述基于标注后的所述数据集和所述石化气体标签对所述初始石化气体泄露检测模型进行训练，通过预设的损失函数评价训练结果的步骤包括：
根据预设的划分比例将标注后的所述数据集随机划分为训练集和测试集；
将所述训练集输入所述初始石化气体泄露检测模型，使用所述测试集和所述石化气体标签对所述初始石化气体泄露检测模型进行验证，验证过程中根据所述损失函数确定所述训练结果的模型损失；
通过所述模型损失判断所述损失函数是否收敛。
8.一种石化气体泄露检测***，其特征在于，所述石化气体泄露检测***包括：
运动放大模块，用于获取石化气体泄露的原始红外视频，使用预设的运动放大方法对所述原始红外视频进行处理，得到目标视频；
图像提取模块，用于提取出所述目标视频中的泄露图像帧，基于所述泄露图像帧建立数据集；
模型训练模块，用于构建初始石化气体泄露检测模型，使用所述数据集对所述初始石化气体泄露检测模型进行训练，得到目标石化气体泄露检测模型；
模型应用模块，用于获取经过运动放大处理的待检测视频，将所述待检测视频输入所述目标石化气体泄露检测模型，得到检测结果，根据所述检测结果判断所述待检测视频中是否存在石化气体泄露。
9.一种电子设备，其特征在于，所述电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的石化气体泄露检测程序，所述石化气体泄露检测程序配置为实现如权利要求1至7中任一项所述的石化气体泄露检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有石化气体泄露检测程序，所述石化气体泄露检测程序被处理器执行时实现如权利要求1至7中任一项所述的石化气体泄露检测方法的步骤。
CN202210708880.2A 2022-06-22 2022-06-22 石化气体泄露检测方法、***、设备及存储介质 Pending CN114782902A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210708880.2A CN114782902A (zh) 2022-06-22 2022-06-22 石化气体泄露检测方法、***、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210708880.2A CN114782902A (zh) 2022-06-22 2022-06-22 石化气体泄露检测方法、***、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114782902A true CN114782902A (zh) 2022-07-22

Family

ID=82422244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210708880.2A Pending CN114782902A (zh) 2022-06-22 2022-06-22 石化气体泄露检测方法、***、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114782902A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311173A (zh) * 2022-10-09 2022-11-08 山东瑞驰至臻环境科技有限公司 用于气体污染识别的视觉增强方法及***
CN116091491A (zh) * 2023-04-03 2023-05-09 中国科学技术大学先进技术研究院 VOCs气体检测方法、装置、设备及计算机可读存储介质
CN116147842A (zh) * 2022-11-14 2023-05-23 广州科易光电技术有限公司 气体泄露检测方法及装置、设备、存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105612434A (zh) * 2013-10-09 2016-05-25 国际壳牌研究有限公司 用于使分散流体的羽流可见以显示其来源的方法和***
CN110595749A (zh) * 2019-04-26 2019-12-20 深圳市豪视智能科技有限公司 电风扇振动故障检测方法及装置
CN112567217A (zh) * 2018-05-25 2021-03-26 弗兰克公司 与未冷却热成像相机兼容的光学气体成像***和方法
CN113963154A (zh) * 2021-10-21 2022-01-21 中国科学技术大学先进技术研究院 基于Faster R-CNN的VOCs气体泄漏检测方法、***、存储介质及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105612434A (zh) * 2013-10-09 2016-05-25 国际壳牌研究有限公司 用于使分散流体的羽流可见以显示其来源的方法和***
CN112567217A (zh) * 2018-05-25 2021-03-26 弗兰克公司 与未冷却热成像相机兼容的光学气体成像***和方法
CN110595749A (zh) * 2019-04-26 2019-12-20 深圳市豪视智能科技有限公司 电风扇振动故障检测方法及装置
CN113963154A (zh) * 2021-10-21 2022-01-21 中国科学技术大学先进技术研究院 基于Faster R-CNN的VOCs气体泄漏检测方法、***、存储介质及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NEAL WADHWA 等: "Phase-Based Video Motion Processing", 《ACM TRANSACTIONS ON GRAPHICS》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115311173A (zh) * 2022-10-09 2022-11-08 山东瑞驰至臻环境科技有限公司 用于气体污染识别的视觉增强方法及***
CN115311173B (zh) * 2022-10-09 2023-01-13 山东瑞驰至臻环境科技有限公司 用于气体污染识别的视觉增强方法及***
CN116147842A (zh) * 2022-11-14 2023-05-23 广州科易光电技术有限公司 气体泄露检测方法及装置、设备、存储介质
CN116147842B (zh) * 2022-11-14 2024-04-26 广州科易光电技术有限公司 气体泄漏检测方法及装置、设备、存储介质
CN116091491A (zh) * 2023-04-03 2023-05-09 中国科学技术大学先进技术研究院 VOCs气体检测方法、装置、设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN114782902A (zh) 石化气体泄露检测方法、***、设备及存储介质
CN108009543B (zh) 一种车牌识别方法及装置
CN108121984B (zh) 一种字符识别方法及装置
CN108648169B (zh) 高压输电塔绝缘子缺陷自动识别的方法及装置
US20190266434A1 (en) Method and device for extracting information from pie chart
CN109614934B (zh) 在线教学质量评估参数生成方法及装置
CN109977191B (zh) 问题地图检测方法、装置、电子设备和介质
CN110837795A (zh) 基于课堂监控视频的教学情况智能监测方法、装置及设备
CN107292886B (zh) 基于网格划分及神经网络的目标物入侵检测方法及装置
Pujol et al. A soft computing approach to violence detection in social media for smart cities
CN111950353B (zh) ***文本识别方法、装置及电子设备
CN113920538B (zh) 目标检测方法、装置、设备、存储介质及计算机程序产品
CN116309473A (zh) 气体泄漏检测模型的训练方法和气体泄漏检测方法
CN111080633A (zh) 屏缺陷检测方法、装置、终端设备以及存储介质
CN114155244A (zh) 缺陷检测方法、装置、设备及存储介质
CN110135446A (zh) 文本检测方法及计算机存储介质
CN112308069A (zh) 一种软件界面的点击测试方法、装置、设备及存储介质
CN111461767B (zh) 一种基于深度学习的Android欺骗性广告检测方法、装置及设备
CN114445768A (zh) 目标识别方法、装置、电子设备及存储介质
CN112835807B (zh) 界面识别方法、装置、电子设备和存储介质
CN112950443A (zh) 基于图像贴纸的自适应隐私保护方法、***、设备及介质
Sun et al. A photo‐based quality assessment model for the estimation of PM2. 5 concentrations
CN111047632A (zh) 一种指甲图像的图色处理方法和装置
CN111950356B (zh) ***文本定位方法、装置及电子设备
CN116091491B (zh) VOCs气体检测方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220722

RJ01 Rejection of invention patent application after publication