CN116878748A - 一种激光与图像融合的智能气体泄漏定位方法及装置 - Google Patents

一种激光与图像融合的智能气体泄漏定位方法及装置 Download PDF

Info

Publication number
CN116878748A
CN116878748A CN202310660755.3A CN202310660755A CN116878748A CN 116878748 A CN116878748 A CN 116878748A CN 202310660755 A CN202310660755 A CN 202310660755A CN 116878748 A CN116878748 A CN 116878748A
Authority
CN
China
Prior art keywords
image
laser
leakage
scanning
gas concentration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310660755.3A
Other languages
English (en)
Inventor
潘孙强
胡朋兵
戚海洋
刘素梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Province Institute of Metrology
Original Assignee
Zhejiang Province Institute of Metrology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Province Institute of Metrology filed Critical Zhejiang Province Institute of Metrology
Priority to CN202310660755.3A priority Critical patent/CN116878748A/zh
Publication of CN116878748A publication Critical patent/CN116878748A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M3/00—Investigating fluid-tightness of structures
    • G01M3/02—Investigating fluid-tightness of structures by using fluid or vacuum
    • G01M3/04—Investigating fluid-tightness of structures by using fluid or vacuum by detecting the presence of fluid at the leakage point
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1734—Sequential different kinds of measurements; Combining two or more methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明公开了一种激光与图像融合的智能气体泄漏定位方法及装置。为了克服现有气体泄漏激光遥测技术测量效率低、测量结果不直观的问题；本发明包括以下步骤：S1：使用相机和激光遥测模块快速智能扫描，分别获取可视化场景图像和气体浓度场图像；S2：融合可视化场景图像和气体浓度场图像获得气体浓度场景图；S3：基于浓度场的泄漏点定位通过泄漏筛选算法筛选确定整体激光遥测范围内是否有泄漏存在，通过移动最小二乘法拟合得到浓度场分布曲面，通过图像分割算法确定泄漏点的定位。将激光遥测与场景图像技术相融合，实现了气体浓度场景图，测量更加直观；实现了气体泄漏点智能快速精准定位，测量效率更高。

Description

一种激光与图像融合的智能气体泄漏定位方法及装置
技术领域
本发明涉及气体泄漏检测领域，尤其涉及一种激光与图像融合的智能气体泄漏定位方法及装置。
背景技术
化工园区聚集了大量有毒有害物质及危险的化学品，管道老化等造成危害气体(如氨气、氯化氢等)泄漏，由于其具有急性毒性强、扩散范围广、处置难度大等特点，易发生事故连锁效应，造成巨大的人员伤亡和财产损失，因此，需要快速发现泄漏、分析泄漏物质、定位泄漏源，从而进行应急处置。
目前，国内部分化工园区采用便携式检测仪进行巡检，采用逐点排查的方式进行气体泄漏点定位，但便携式检测存在较多弊端。首先，便携式设备需要人员携带设备前往泄漏风险区域进行检测，面对无法预知的泄漏风险，工作人员需要面临很大的人身安全风险。其次，便携式检测范围很小，效率低，一个装置区的检测需要一天甚至更多的时间，存在泄漏时，无法做到快速响应。
另外，也采取传感器网络节点实现泄漏位置识别，通过传感器密集布点，再基于概率统计理论、优化理论等算法实现对泄漏点的定位。其主要问题是依赖于传感器的布点数量，布点数量少会无法实现精确定位，布点数量多会导致成本增加、***繁琐、能耗增大。
例如，一种在中国专利文献上公开的“基于TDLAS的气体泄漏遥测***”，其公告号CN113267451A，包含遥测终端、数据采集网卡、云台、本地工作站、监测数据与数据中心和5G基站等，应用TDLAS和物联网等实现在线检测和精准报警等功能。该方案提供了一种泄漏在线检测方法，将测量数据通过网络实时反馈到用户终端，并可进行报警，但未解决泄漏智能定位检测问题，扫描时间长，且需要预先进行网络布置，不利于灵活应急处理等。
国内外也有开展基于声学的气体泄漏定位技术和红外热成像技术的气体泄漏成像定位技术研究，通过分析泄漏产生的声信号和温度场来定位泄漏孔，主要应用于管道、储气罐中的气体泄，但是测量结果易受背景声音和光照等因素的影响，在复杂气体成分、复杂管路分布情况下，较难实现泄漏点的精确定位。
例如，一种在中国专利文献上公开的“一种基于图像的气体泄漏监测方法”，其公告号CN114062615A，通过建立泄漏气体红外辐射模型和气体温度气体浓度查找表，获取气体泄漏位置红外全景图像和实时气体温度，通过查表获得气体浓度值，进而确定泄漏源位置。该方案基于红外图像方法，提供了一种快速泄漏定位方法，但是在泄漏浓度较低、泄漏范围较小的情况下，无法精确识别气体泄漏位置，也无法提供场景图像，测量结果受背景红外辐射影响大。
一种在中国专利文献上公开的“一种天然气泄漏遥测激光雷达”，其公告号CN104237898A，提出一种用于远距离激光遥测的天然气泄漏遥测激光雷达，在雷达平台上安装特殊设计的宽光谱中红外激光器，在旋转过程中通过发射天线的激光经过泄漏气体云团后被管道、土壤或海水等反射，比对发射前后的激光吸收情况判断甲烷气体的泄漏情况。与传统1.65μm激光遥测泄漏装置相比，该方案激光波长较长，探测距离更远，但是只能采用巡视方法进行，扫描方式单一，识别效率低，检测结果无图像化显示。
发明内容
本发明主要解决现有气体泄漏激光遥测技术测量效率低、测量结果不直观的问题；提供一种激光与图像融合的智能气体泄漏定位方法及装置，用激光遥测技术实现泄漏气体浓度扫描测量，获得气体浓度场图像和可视化场景图像，将气体浓度场图像与场景图像进入融合，从而得到具备气体浓度信息的气体浓度场景图，进而实现泄漏位置定位。
本发明的上述技术问题主要是通过下述技术方案得以解决的：
一种激光与图像融合的智能气体泄漏定位方法，包括以下步骤：
S1：使用相机和激光遥测模块扫描，分别获取可视化场景图像和气体浓度场图像；
S2：融合可视化场景图像和气体浓度场图像获得气体浓度场景图；
S3：基于浓度场的泄漏点定位通过泄漏筛选算法筛选确定整体激光遥测范围内是否有泄漏存在，通过移动最小二乘法拟合得到浓度场分布曲面，通过图像分割算法确定泄漏点的定位。
将激光遥测与场景图像技术相融合，实现了气体浓度场景图，测量更加直观；实现了气体泄漏点智能快速精准定位，测量效率更高。
作为优选，所述的步骤S1包括以下过程：
通过相机获得可视化场景图像；
根据选定的扫描精度-转动角度间隔确定场景图像像素区域划分；
对可视化场景图像进行坐标匹配，建立转动参数与场景图像像素区域映射关系；
根据选定的扫描方法对待测场景进行气体泄漏扫描，建立转动参数与气体浓度信息映射关系，同步形成气体浓度场图像。
通过方位和俯仰角度的转动，可实现空气中泄漏气体浓度的扫描，经过计算获得相应的浓度分布图；同时，利用控制装置上的相机获取实时静态场景图；研究融合技术将浓度图和场景图进行有机融合，实现气体泄漏点的智能定位和锁定。
作为优选，激光遥测模块的扫描方法包括常规路径扫描法、快速路径扫描法和关键位置扫描法。
由常规路径、快速路径和关键位置扫描方法扫描获得整个场景气体浓度场，通过移动最小二乘法拟合得到气体浓度场分布曲面，基于图像分割算法对气体浓度场分布曲面进行区域分割和区域极值求解，实现气体泄漏位置的精确识别。
作为优选，所述的常规路径扫描法为逐点扫描场景图像像素区域；
先方位扫描后俯仰扫描，或者先俯仰扫描后方位扫描，或者交替扫描，不遗漏任何一个场景图像像素区域，实现待测场景的全范围全像素区域扫描，融合形成的气体浓度场景图细节最清晰，但全扫描周期长，检测效率低。
快速路径扫描法为以n倍场景图像像素区域的扫描间隔快速扫描整个待测场景，对于测量的气体浓度大于气体泄漏阈值浓度的区域进行常规扫描，其他区域不再进行激光扫描且对应气体浓度赋值为0。
当扫描到A1、A2，…，An场景图像像素区域时，测量的气体浓度大于气体泄漏阈值浓度，则认定A1、A2，…，An为疑似泄漏位置，并对A1、A2，…，An附近区域进行常规路径扫描，其它位置不再进行激光扫描且对应气体浓度赋值为0。
作为优选，所述的关键位置扫描法包括以下过程：
建立易漏疑漏部件数据库；
获得可视化场景图像，基于易漏疑漏部件数据库对可视化场景图像中的关键部件进行标注；对场景图像像素区域划分和坐标匹配，并获得关键部件转动参数；
对关键部件附近区域进行常规路径扫描，其它位置不再进行激光扫描且对应气体浓度赋值为0。
作为优选，坐标匹配过程包括：
A1：对激光遥测装置进行场景图定标；
控制激光遥测装置使激光落在相机的可视化场景图像的边缘位置，记录此时转动参数，作为扫描时角度的边界值；
重复相同过程实现可视化场景图像其余三个角落位置的记录和定标；
A2：根据图像分辨率和扫描精度，将可视化场景图像分成若干像素区域，激光遥测装置由右上角向左下角逐个像素定位并测量气体浓度；
完成当前像素点目标气体浓度测量后，与相机的转动角度值进行关联储存，同时触发相机进行下个像素点的测量和关联存储。
按照扫描顺序完成所有像素点与浓度值的关联和存储，从而实现了场景图与浓度分布图坐标的匹配。
作为优选，利用坐标转换矩阵M将激光遥测装置获得的气体浓度场图像映射到相机拍摄的可视化场景图像上；所述的坐标转换矩阵M包括缩放标量、平移矢量和旋转矩阵；
映射到相机的可视化场景图像上的泄漏气体浓度分布矩阵2Q表示为：
2Q＝S×M×1Q
其中，S为相机的内参矩阵；
1Q为激光遥测装置扫描获得的浓度分布矩阵；
将浓度场分布矩阵映射到可视化场景图像的过程表示为：
2U＝2P+2Q
其中，2P为相机获得的可视化场景图像矩阵。
转换矩阵M的计算需要考虑激光器-相机坐标变换矩阵、相机参数矩阵和相机畸变矫正矩阵。
作为优选，滤波后采用分水岭分割法对浓度场曲面进行区域分割；分割过程为：计算梯度算子得到梯度图像，浓度矩阵C的梯度图像g(xp，yp)为：
g(xp，yp)＝grad(C(xp，yp))
其中，grad()表示梯度算子；
对梯度图g(xp，yp)进行形态学重构平滑处理；
通过像素灰度值的分布情况将图像划分成若干个独立区域，对每个区域进行局部极小值梯度标记；
通过上述方法，可以将标记点限定在目标区域而避开图像边缘，再利用距离变换“细化”前景标记图，做分水岭变换求出背景分割脊线将连通的前景标记分隔开，将其作为背景标记图像bm。
利用前景标记图像fm和背景标记图像bm对梯度图g(xp，yp)进行修改得到g′(xp，yp)；
屏蔽图像中的极小值而凸显被重新标记的局部极小值，去除伪极小值对梯度图像的影响，使检测到的图像边缘更加准确清晰。
对g′(xp，yp)采用形态学方法得到图像边缘，采用分水岭变换对每个轮廓进行填充，获得最终的脊线l(xp，yp)。
其中，分水岭变换有模拟泛洪和模拟降水两种方法。
为了获取重要泄漏位置信息，需要引入浓度场曲面的区域分割。
本发明的有益效果是：
1.将激光遥测与场景图像技术相融合，实现了气体浓度场景图，测量更加直观。
2.采用常规路径、快速路径和关键位置快速扫描方法，实现了气体泄漏点智能快速精准定位，测量效率更高。
附图说明
图1是本发明的激光与图像融合的智能气体泄漏定位装置结构示意图。
图2是本发明的激光与图像融合智能泄漏定位装置的模块连接图。
图3是本发明转动参数与场景图像像素区域、气体浓度场映射关系示意图。
图4是本发明的气体浓度场景图融合直观示意图。
图5是本发明气体浓度分布图与场景图坐标匹配示意图。
图中 1.激光遥测模块，2.场景成像模块，3.转动扫描平台，4.控制处理模块，5.人机交互***，6.通讯模块，7.电源模块，机箱8。
具体实施方式
下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。
实施例：
本实施例的一种激光与图像融合的智能气体泄漏定位方法，采用的装置如图1、图2所示，包括激光遥测模块1、场景成像模块2、转动扫描平台3、控制处理模块4、人机交互平台5、通讯模块6以及电源模块7。在转动扫描平台3上安装激光遥测模块1和场景成像模块2。电源模块7和通讯模块6设置在机箱8中。
转动扫描平台具备方位和俯仰转动功能，同步输出转动参数，方位角扫描范围大于(-50°，50°)，俯仰角扫描范围大于(-45°，45°)。
激光遥测模块1用于远距离测量待测区域探测方向上的气体柱浓度。
激光遥测模块1包括激光发射模块、激光接收模块、光电转换模块、激光测距模块和信号处理模块。激光发射模块可集成多个激光模块，用于实现多种气体浓度的激光遥测，激光测距模块用于测量遥测距离，遥测距离大于20米。
场景成像模块2用于拍摄待测区域的可视化场景图像。
场景成像模块2包括可见光相机模块和镜头组件，用于聚焦拍摄待测场景并形成可视化清晰场景图像，视场角大于100v。
控制处理模块4用于控制转动扫描平台3、激光遥测模块1和场景成像模块2的运行，并实时接收和处理气体柱浓度、场景图像和转动参数信息。
人机交互平台5用于用户输入控制参数，实时显示和处理气体柱浓度、场景图像、转动参数、气体浓度场景图及泄漏位置。
通讯模块6用于连接移动、远程终端监控平台，提供各类数据接口。
电源模块7用于泄漏定位装置的供电，为激光遥测模块1、场景成像模块2、转动扫描平台3、控制处理模块4、人机交互平台5和通讯模块6提供配套电源。
本实施例的一种激光与图像融合的智能气体泄漏定位方法，包括以下步骤：
S1：使用相机和激光遥测模块扫描，分别获取可视化场景图像和气体浓度场图像。
S101：通过场景成像模块2获得可视化场景图像。
S102：根据选定的扫描精度-转动角度间隔确定场景图像像素区域划分。
S103：对可视化场景图像进行坐标匹配，建立转动参数与场景图像像素区域映射关系。
转动参数包括方位角θz和俯仰角θy。
S104：根据选定的扫描方法对待测场景进行气体泄漏扫描，建立转动参数与气体浓度信息映射关系，同步形成气体浓度场图像。
通过方位和俯仰角度的转动，可实现空气中泄漏气体浓度的扫描，经过计算获得相应的浓度分布图；同时，利用控制装置上的相机获取实时静态场景图；研究融合技术将浓度图和场景图进行有机融合，实现气体泄漏点的智能定位和锁定。
激光扫描方法包括常规路径、快速路径和关键位置三种扫描方法。
常规路径扫描方法为利用转动扫描平台带动激光遥测模块逐点扫描场景图像像素区域，先方位扫描后俯仰扫描，或者先俯仰扫描后方位扫描，或者交替扫描，不遗漏任何一个场景图像像素区域，实现待测场景的全范围全像素区域扫描，融合形成的气体浓度场景图细节最清晰，但全扫描周期长，检测效率低。
快速路径扫描方法为利用转动扫描平台带动激光遥测模块以n倍(n>1)场景图像像素区域的扫描间隔快速扫描整个待测场景，当扫描到A1、A2，…，An场景图像像素区域时，测量的气体浓度大于气体泄漏阈值浓度，则认定A1、A2，…，An为疑似泄漏位置，并对A1、A2，…，An附近区域进行常规路径扫描，其它位置不再进行激光扫描且对应气体浓度赋值为0。
关键位置扫描方法为首先建立易漏疑漏部件(阀门、容器、管道等)数据库；其次，通过场景成像模块获得可视化场景图像，基于易漏疑漏部件数据库对场景图像中的关键部件进行标注；再者，对场景图像像素区域划分和坐标匹配，并获得关键部件转动参数(方位角θz和俯仰角θy)；最后，对关键部件附近区域进行常规路径扫描，其它位置不再进行激光扫描
且对应气体浓度赋值为0。
由常规路径、快速路径和关键位置扫描方法扫描获得整个场景气体浓度场，通过移动最小二乘法拟合得到气体浓度场分布曲面，基于图像分割算法对气体浓度场分布曲面进行区域分割和区域极值求解，实现气体泄漏位置的精确识别。
坐标匹配过程包括：
对激光遥测装置进行场景图定标。控制激光遥测装置使激光落在相机的可视化场景图像的边缘位置，记录此时转动参数(方位角θz和俯仰角θy)，作为扫描时角度的边界值；重复相同过程实现可视化场景图像其余三个角落位置的记录和定标。
根据图像分辨率和扫描精度，将图像分成若干像素区域，如图5所示，假设分成4*4个像素区域，气体激光检测装置由右上角向左下角逐个像素定位并测量气体浓度，完成当前像素点目标气体浓度测量后，与二维扫描装置的转动角度值进行关联储存，同时触发二维扫描装置进行下个像素点的测量和关联存储，并按照扫描顺序完成所有像素点与浓度值的关联和存储，从而实现了场景图与浓度分布图坐标的匹配。
S2：融合可视化场景图像和气体浓度场图像获得气体浓度场景图。
对步骤S103和步骤S104获得的映射关系通过转换融合方法建立场景图像像素区域和气体浓度信息映射关系，形成气体浓度场景图，实现气体浓度场合可视化场景图像的融合，测量结果更加直观。
利用坐标转换矩阵M将激光检测获得的气体浓度分布图映射到相机拍摄的图像上。转换矩阵M的计算需要考虑激光器-相机坐标变换矩阵、相机参数矩阵和相机畸变矫正矩阵。其中，激光器-相机坐标系转换矩阵M，主要由缩放标量、平移矢量和旋转矩阵三部份组成。
相机参数矩阵和相机畸变矫正矩阵为相机的内参，与激光扫描检测装置的械机构以及转动轴旋转角度无关，设相机的内参矩阵为S。假设激光器扫描所获得的浓度分布矩阵为1Q，则映射到相机图像上的泄漏气体浓度分布矩阵2Q表示为：
2Q＝S×M×1Q
假设相机获得的场景图像矩阵为2P，则将激光所获取的浓度场分布矩阵映射到场景图像的过程可以简单表示为2U＝2P+二Q。
转动参数θ与场景图像像素区域p、气体浓度场c映射关系如图3所示，气体浓度场景图融合后的示意图如图4所示。
S3：基于浓度场的泄漏点定位通过泄漏筛选算法筛选确定整体激光遥测范围内是否有泄漏存在，通过移动最小二乘法拟合得到浓度场分布曲面，通过图像分割算法确定泄漏点的定位。
将检测到的浓度与阈值比较，判断整体激光遥测范围内是否有泄漏存在。
采用移动最小二乘法实现浓度场分布曲面的拟合。在每个待定点处，利用其周围数据点的值，按一定规则移动地建立多个拟合曲面，该点在这多个拟合曲面上函数值的加权平均值即为所求待定点的函数值。
采用图像分割算法实现泄漏位置的准确定位。通过前面的处理，获得了浓度场曲面。但是，为了获取重要泄漏位置信息，需要引入浓度场曲面的区域分割。
分水岭分割方法属于区域分割的方法，是一种基于拓扑理论的数学形态学的分割方法，把图像看作是测地学上的拓扑地貌，图像中每一点像素的灰度值表示该点的海拔高度，每一个局部极小值及其影响区域称为集水盆，而集水盆的边界则形成分水岭。该方法对微弱边缘具有良好的响应。
假设把浓度场曲面的图像看成三维地形的表示，即二维的地基(对应图像空间)加上第三维的高度(对应图像灰度值)，算法采用分水岭图像区域分割。对于所获得的浓度场矩阵C(xp，yp)，对其进行滤波去噪操作后，采用改进的分水岭法分割。
分割过程为：
进行滤波去噪操作，在本实施例中采用高斯滤波。
计算梯度算子得到梯度图像，浓度矩阵C的梯度图像g(xp，yp)为：
g(xp，yp)＝grad(C(xp，yp))
＝{[C(xp，yp)-C(xp-1，yp)]2+[C(xp，yp)-C(xp，yp-1)]2}1/2
其中，grad()表示梯度算子。
对梯度图g(xp，yp)进行形态学重构平滑处理。
形态学标记提取。通过像素灰度值的分布情况将图像划分成若干个独立区域，然后对每个区域进行局部极小值梯度标记，即可实现对图像内部像素的充分标记。通过上述方法，可以将标记点限定在目标区域而避开图像边缘，再利用距离变换“细化”前景标记图，做分水岭变换求出背景分割脊线将连通的前景标记分隔开，将其作为背景标记图像bm。
利用前景标记图像fm和背景标记图像bm对梯度图g(xp，yp)进行修改得到g′(xp，yp)；屏蔽图像中的极小值而凸显被重新标记的局部极小值，去除伪极小值对梯度图像的影响，使检测到的图像边缘更加准确清晰。
对g′(xp，yp)采用形态学方法得到图像边缘，采用分水岭变换对每个轮廓进行填充，获得最终的脊线l(xp，yp)。
其中，分水岭变换有模拟泛洪和模拟降水两种方法。
假设M1，M2，…，Mq(q＜m)是修正后的局部最小值，符号min和max将用于表示g′(xp，yp)的最小值和最大值；令T[n]表示满足g′(s，t)＜n的坐标(s，t)的集合，即：T[n]＝{(s，t)|g′(s，t)＜n}
其中，T[n]是g′(xp，yp)中位于平面g′(s，t)＝n下方的点的坐标的集合。
从模拟泛洪的过程来看，水位从min+1到max+1逐渐上升，图像就会逐渐被水淹没。在像素值等于n时，分水岭算法必须统计被淹没像素点数量。算法依次进行递归处理，最终得到山脊线l(xp，yp)。
区域分割处理后，可以计算区域局部浓度场子域内的极值点应满足以下方程组，通过非线性方程组的求解可求出一系列子区域内的极值点坐标位置即遥测泄漏极值点位置，最后比较判别确定泄漏源位置。
通过建立如表1所示的易泄漏点位的数据库，来对相机图像的重点区域进行分类标注，配合图像融合技术，实现泄漏气体的智能定位。智能定位技术主要包括数据库生成、图像增强以及ResNet网络分类三部分。
表1.部分关键部件泄漏频率
部件类型 泄漏孔径 泄漏频率
工艺储罐/气体储罐 泄漏孔径为10mm 1×10-4/a
内径≤75mm的管道 泄漏孔径为10％孔径 5×10-6/(m·a)
75mm＜内径≤150mm的管道 泄漏孔径为10％孔径 2×10-6/(m·a)
内径≥150mm的管道 泄漏孔径为10％孔径(最大50mm) 2.4×10-6/(m·a)
本实施例将储罐、不同内径的管道整理成数据库，每类图片理论上不低于300张，并依次对其进行标注整理。由于实际环境中，图像会受到光线强弱，图片颜色偏差等因素的影响，这些会使得各部件图像检测的识别率大大降低，因此，需要对图像进行大小切割及转换、光照补偿、直方图均衡化等预处理方法，获得相似环境下的统一标准的图像集。
根据实际情况，需要采用图像处理的去噪声处理，增强、突出图像本身的特征属性。传统图像处理有多种方法，但比较容易造成图像模糊。本实施例拟采用基于MD-CGAN的去噪方法来进行图像增强。将含噪图像投影到干净的图像空间中，采用特征维度保持的结构，保证图像特征的成功恢复。同时，将输入添加到最后一个卷积层的输出，并连接到反卷积层。为了进一步提高图像表征的恢复效果，卷积核的大小随着通道数的变化而变化。
本实施中采用ResNet网络进行图像识别。ResNet引入残差网络结构，它能够对网络的输出更加敏感，防止出现梯度消失的问题，有助于提取更深层次的图像特征，从而提高分类准确度，进一步提高识别性能。输入为x，输出为F(x)+x，F(x)代表网络中数据的一系列乘、加操作，假设神经网络最优的拟合结果输出为H(x)＝F(x)+x，那么神经网络最优的F(x)即为H(x)与x的残差，通过拟合残差来提升网络效果。残差模块训练的时候至少可以保证残差为0，保证增加残差学习单元不会降低网络性能。通过不断堆叠这个基本模块，就可以得到最终的ResNet模型，理论上可以无限堆叠而不改变网络的性能。
本实施例的方案将激光遥测与场景图像技术相融合，实现了气体浓度场景图，测量更加直观。采用常规路径、快速路径和关键位置快速扫描方法，实现了气体泄漏点智能快速精准定位，测量效率更高。
应理解，实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

Claims (10)

1.一种激光与图像融合的智能气体泄漏定位方法，其特征在于，包括以下步骤：
S1：使用相机和激光遥测模块扫描，分别获取可视化场景图像和气体浓度场图像；
S2：融合可视化场景图像和气体浓度场图像获得气体浓度场景图；
S3：基于浓度场的泄漏点定位筛选确定整体激光遥测范围内是否有泄漏存在，通过移动最小二乘法拟合得到浓度场分布曲面，通过图像分割法确定泄漏点的定位。
2.根据权利要求1所述的一种激光与图像融合的智能气体泄漏定位方法，其特征在于，所述的步骤S1包括以下过程：
通过相机获得可视化场景图像；
根据选定的扫描精度-转动角度间隔确定场景图像像素区域划分；
对可视化场景图像进行坐标匹配，建立转动参数与场景图像像素区域映射关系；
根据选定的扫描方法对待测场景进行气体泄漏扫描，建立转动参数与气体浓度信息映射关系，同步形成气体浓度场图像。
3.根据权利要求1或2所述的一种激光与图像融合的智能气体泄漏定位方法，其特征在于，激光遥测模块的扫描方法包括常规路径扫描法、快速路径扫描法和关键位置扫描法。
4.根据权利要求3所述的一种激光与图像融合的智能气体泄漏定位方法，其特征在于，所述的常规路径扫描法为逐点扫描场景图像像素区域；
快速路径扫描法为以n倍场景图像像素区域的扫描间隔快速扫描整个待测场景，对于测量的气体浓度大于气体泄漏阈值浓度的区域进行常规扫描，其他区域不再进行激光扫描且对应气体浓度赋值为0。
5.根据权利要求3所述的一种激光与图像融合的智能气体泄漏定位方法，其特征在于，所述的关键位置扫描法包括以下过程：
建立易漏疑漏部件数据库；
获得可视化场景图像，基于易漏疑漏部件数据库对可视化场景图像中的关键部件进行标注；
对场景图像像素区域划分和坐标匹配，并获得关键部件转动参数；
对关键部件附近区域进行常规路径扫描，其它位置不再进行激光扫描且对应气体浓度赋值为0。
6.根据权利要求2或5所述的一种激光与图像融合的智能气体泄漏定位方法，其特征在于，坐标匹配过程包括：
A1：对激光遥测装置进行场景图定标；
控制激光遥测装置使激光落在相机的可视化场景图像的边缘位置，记录此时转动参数，作为扫描时角度的边界值；
重复相同过程实现可视化场景图像其余三个角落位置的记录和定标；
A2：根据图像分辨率和扫描精度，将可视化场景图像分成若干像素区域，激光遥测装置由右上角向左下角逐个像素定位并测量气体浓度；
完成当前像素点目标气体浓度测量后，与相机的转动角度值进行关联储存，同时触发相机进行下个像素点的测量和关联存储。
7.根据权利要求6所述的一种激光与图像融合的智能气体泄漏定位方法，其特征在于，利用坐标转换矩阵M将激光遥测装置获得的气体浓度场图像映射到相机拍摄的可视化场景图像上；所述的坐标转换矩阵M包括缩放标量、平移矢量和旋转矩阵信息；
映射到相机的可视化场景图像上的泄漏气体浓度分布矩阵2Q表示为：
2Q＝S×M×1Q
其中，S为相机的内参矩阵，包括相机参数矩阵和相机畸变矫正矩阵信息；
1Q为激光遥测装置扫描获得的气体浓度分布矩阵；
将气体浓度场分布矩阵映射到可视化场景图像的过程表示为：
2U＝2P+2Q
其中，2P为相机获得的可视化场景图像矩阵。
8.根据权利要求1所述的一种激光与图像融合的智能气体泄漏定位方法，其特征在于，滤波后采用分水岭分割法对浓度场曲面进行区域分割；分割过程为：
计算梯度算子得到梯度图像，浓度矩阵C的梯度图像g(xp，yp)为：
g(xp，yp)＝grad(C(xp，yp))
其中，grad()表示梯度算子；
对梯度图g(xp，yp)进行形态学重构平滑处理；
通过像素灰度值的分布情况将图像划分成若干个独立区域，对每个区域进行局部极小值梯度标记；
利用前景标记图像fm和背景标记图像bm对梯度图g(xp，yp)进行修改得到g′(xp，yp)；
对g′(xp，yp)采用形态学方法得到图像边缘，采用分水岭变换对每个轮廓进行填充，获得最终的脊线l(xp，yp)。
9.一种激光与图像融合的智能气体泄漏定位装置，实施如权利要求1-8中任意一项所述的一种激光与图像融合的智能气体泄漏定位方法，其特征在于，包括：
激光遥测模块(1)，测量待测区域探测方向上的气体柱浓度，获得气体浓度场图像；
场景成像模块(2)，拍摄待测区域的可视化场景图像；
转动扫描平台(3)，安装激光遥测模块(1)和场景成像模块(2)，控制激光遥测模块(1)和场景成像模块(2)在方位角范围和俯仰角范围内扫描；
控制处理模块(4)，实时接收和处理气体柱浓度、可视化场景图像和转动参数信息；融合可视化场景图像和气体浓度场图像获得气体浓度场景图；基于浓度场的泄漏点定位筛选确定整体激光遥测范围内是否有泄漏存在，采用移动最小二乘法拟合得到浓度场分布曲面，通过图像分割确定泄漏点的定位。
10.根据权利要求9所述的一种激光与图像融合的智能气体泄漏定位装置，其特征在于，所述的装置还包括：
人机交互平台(5)，用于用户输入控制参数，实时显示和处理气体柱浓度、可视化场景图像、转动参数、气体浓度场景图及泄漏位置；
通讯模块(6)，用于连接移动、远程终端监控平台，提供各类数据接口；
电源模块(7)，用于泄漏定位装置的供电。
CN202310660755.3A 2023-06-06 2023-06-06 一种激光与图像融合的智能气体泄漏定位方法及装置 Pending CN116878748A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310660755.3A CN116878748A (zh) 2023-06-06 2023-06-06 一种激光与图像融合的智能气体泄漏定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310660755.3A CN116878748A (zh) 2023-06-06 2023-06-06 一种激光与图像融合的智能气体泄漏定位方法及装置

Publications (1)

Publication Number Publication Date
CN116878748A true CN116878748A (zh) 2023-10-13

Family

ID=88263325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310660755.3A Pending CN116878748A (zh) 2023-06-06 2023-06-06 一种激光与图像融合的智能气体泄漏定位方法及装置

Country Status (1)

Country Link
CN (1) CN116878748A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117147631A (zh) * 2023-10-30 2023-12-01 南京沃唐光电科技有限公司 一种基于区域环境分析的气体智能检测预警方法及***
CN117491313A (zh) * 2023-11-13 2024-02-02 南京市锅炉压力容器检验研究院 一种基于tdlas的场区甲烷泄漏空间智能识别方法
CN117554329A (zh) * 2023-11-01 2024-02-13 南京市锅炉压力容器检验研究院 一种基于tdlas的甲烷泄漏区域浓度场智能重构方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117147631A (zh) * 2023-10-30 2023-12-01 南京沃唐光电科技有限公司 一种基于区域环境分析的气体智能检测预警方法及***
CN117554329A (zh) * 2023-11-01 2024-02-13 南京市锅炉压力容器检验研究院 一种基于tdlas的甲烷泄漏区域浓度场智能重构方法
CN117491313A (zh) * 2023-11-13 2024-02-02 南京市锅炉压力容器检验研究院 一种基于tdlas的场区甲烷泄漏空间智能识别方法
CN117491313B (zh) * 2023-11-13 2024-05-28 南京市锅炉压力容器检验研究院 一种基于tdlas的场区甲烷泄漏空间智能识别方法

Similar Documents

Publication Publication Date Title
CN116878748A (zh) 一种激光与图像融合的智能气体泄漏定位方法及装置
US20220412732A1 (en) Gas-mapping 3d imager measurement techniques and method of data processing
CN102436652B (zh) 一种多源遥感图像自动配准方法
Marquez et al. Intra-hour DNI forecasting based on cloud tracking image analysis
CN107610164B (zh) 一种基于多特征混合的高分四号影像配准方法
CN103971406B (zh) 基于线结构光的水下目标三维重建方法
CN112766274A (zh) 一种基于Mask RCNN算法的水尺图像水位自动读数方法及***
Wu et al. Passive measurement method of tree diameter at breast height using a smartphone
CN110232389A (zh) 一种基于绿色作物特征提取不变性的立体视觉导航方法
US20180130217A1 (en) Method and apparatus for performing background image registration
CN112285710B (zh) 一种多源遥感水库蓄水量估算方法与装置
CN108195736B (zh) 一种三维激光点云提取植被冠层间隙率的方法
CN110619368B (zh) 行星表面导航特征成像匹配检测方法
Dillabaugh et al. Semi-automated extraction of rivers from digital imagery
CN106156758A (zh) 一种sar海岸图像中海岸线提取方法
CN117169086A (zh) 一种建筑物地下防水层施工质量检测方法、介质及***
Hou et al. A pointer meter reading recognition method based on YOLOX and semantic segmentation technology
CN113705564B (zh) 一种指针式仪表识别读数方法
CN115979972B (zh) 海面原油油膜高光谱实时监测方法和***
CN117670834A (zh) 一种无人机喷涂缺陷图像检测方法
Marques et al. Crater delineation by dynamic programming
CN103688289A (zh) 用于估计两幅二进制图像之间相似性的方法和***
CN115578695A (zh) 一种自由拍摄视角的水尺水位机器视觉检测方法及装置
Al-Ruzouq Semi-Automatic Registration of Multi-Source Satellite Imagery with Varying Geometric Resolutions
CN116380811B (zh) 一种基于氧气吸收带的云检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination