CN114022435A - 基于机器视觉的管路泄漏识别***建立方法 - Google Patents

基于机器视觉的管路泄漏识别***建立方法 Download PDF

Info

Publication number
CN114022435A
CN114022435A CN202111270565.8A CN202111270565A CN114022435A CN 114022435 A CN114022435 A CN 114022435A CN 202111270565 A CN202111270565 A CN 202111270565A CN 114022435 A CN114022435 A CN 114022435A
Authority
CN
China
Prior art keywords
pipeline
leakage
characteristic position
sample
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111270565.8A
Other languages
English (en)
Inventor
赵俊超
汪佳彪
马士宝
孙瀚青
毛冬麟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
704th Research Institute of CSIC
Original Assignee
704th Research Institute of CSIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 704th Research Institute of CSIC filed Critical 704th Research Institute of CSIC
Priority to CN202111270565.8A priority Critical patent/CN114022435A/zh
Publication of CN114022435A publication Critical patent/CN114022435A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Examining Or Testing Airtightness (AREA)

Abstract

本发明涉及一种基于机器视觉的管路泄漏识别***建立方法，采用深度学习算法对大量管路和管路连接点图像信息进行学习和训练，获得管路特征位置识别算法模型，实现管路连接点的识别定位，在此基础上结合红外热成像技术，对识别管路进行泄漏检测，降低设备检修难度、提高设备安全性、降低设备运行风险与维护成本。通过搭建模拟管路***验证了方案的可行性，为船舶舱室内管道***的泄漏识别提供了一种新的解决思路。搭载管路泄漏检查***可及时发现故障，避免重大事故；降低资源损耗，提高***的经济性；降低检修难度，降低售后成本；对现代化舰船辅机智能化发展具有积极意义。

Description

基于机器视觉的管路泄漏识别***建立方法
技术领域
本发明涉及一种船用管路故障识别技术，特别涉及一种基于机器视觉的管路泄漏识别***建立方法。
背景技术
随着液压、气压***在工业中的应用愈加广泛，随之而来的各种管路泄漏问题无法避免，各种跑冒滴漏等问题层出不穷。因船舶舱室内管路环境复杂、空间狭小，此类故障不易发现，检修困难，导致故障维修成本高昂，难以实现设备***的无人化、自动化。
船舶管系作为船舶设备的重要组成部分，它是联系主辅机和有关设备的脉络，使这些设备不断补充所需的燃油、冷却水等。船舶管系大多处在潮湿、高温的恶劣环境中，极易腐蚀和泄漏。船舶舱室内管路环境复杂、空间狭小，当发生管路泄漏时，若漏点位置隐蔽且泄漏量较小，则故障很难及时被发现，存在很大的安全隐患。
发明内容
针对船用管路故障检测问题，提出了一种基于机器视觉的管路泄漏识别***建立方法，实现管路泄漏的精确识别与定位，降低设备检修难度、提高设备安全性、降低设备运行风险与维护成本。
本发明的技术方案为：一种于机器视觉的管路泄漏识别***建立方法，具体包括如下步骤：
1)通过采集大量现场管路及其连接处的图像数据，提取管路连接处的图像特征并对其采用深度学习算法进行训练，获得管路特征位置识别算法模型；
2)红外热像仪无损采集管路***的热量信息，通过与设备正常运行时的热成像进行对比或者异常部分与相邻部分进行比较，设置温度差报警阈值，对步骤1) 识别出的管路特征位置进行泄漏检测；
3)搭建管路泄漏识别***，将步骤1)的识别算法模型和步骤2)泄漏检测方式搭载到设备端，实现管路泄漏的实时监测。
进一步，所述步骤1)中管路特征位置识别算法模型训练方法，具体包括如下步骤：
1.1)采集管路中各个部位图片作为样本图片，样本图片中既有包含管路特征位置的图片作为正样本，也有不含管路特征位置的图片作为负样本，正样本中管接头称为真实目标，将样本图片分为测试集与训练集；
1.2)对真实目标匹配先验框：样本图片中的每个目标管接头作为一个单元，对每个单元设置尺度或者长宽比不同的先验框，预测的边界框则是以该先验框为基准，对该先验框的中心坐标(x,y)、高度h、宽度w进行调整，得出最终的边界框；
1.3)用图片标注工具对测试集图片，进行标注，正样本真实目标标注为T，负样本标注为F；
1.4)确定损失函数，损失函数为位置误差loc与置信度误差conf的加权和：
Figure BDA0003327879820000021
其中：N为先验框的正样本数量；α为权重系数；c为类别置信度预测值；l为先验框的所对应边界框的位置预测值；g为真实目标的位置参数；
1.5)判断训练集样本数据量，当数据量达到设定量，直接进入1.7)，否则进行数据扩增；
1.6)数据扩增：对步骤1.1)的样本图片采用水平翻转、随机裁剪、颜色扭曲、拉伸缩放技术进行数据扩增；
1.7)使用训练集对管路特征位置识别算法模型进行训练；
1.8)得到训练后的管路特征位置识别算法模型；
1.9)将测试集作为输入，运行训练后的管路特征位置识别算法模型，观察输出结果；
1.10)判断测试结果正确率是否符合要求，要求正确率大于等于设定正确率；若正确率不符合要求，则需调整训练集，重新进行步骤1.7)及后续流程，直到达到要求正确率。
进一步，所述训练测试验证后的管路特征位置识别算法模型送入设备端控制模块，红外热像仪向识别出的管路特征位置发射红外线经过光学透镜聚焦后进入传感器，传感器将红外线信号转化成电信号，信号处理电路对电信号进行分析处理后，最后通过图像显示设备输出被人眼识别的红外热像图；在得到管路特征位置的红外热成像图后，对比有泄漏和无泄漏时关键区域像素的平均值和方差值，得到报警阈值，当相应区域像素值超过阈值时，即发出管路泄漏报警。
本发明的有益效果在于：本发明基于机器视觉的管路泄漏识别***建立方法，通过搭建模拟管路***验证了方案的可行性，为船舶舱室内管道***的泄漏识别提供了一种新的解决思路。搭载管路泄漏检查***可及时发现故障，避免重大事故；降低资源损耗，提高***的经济性；降低检修难度，降低售后成本；对现代化舰船辅机智能化发展具有积极意义。
附图说明
图1为本发明管路特征位置识别算法训练流程图；
图2为本发明方法中目标检测算法SSD的先验框示意图；
图3a为本发明方法数据扩增方法中水平翻转实施例示意图；
图3b为本发明方法数据扩增方法中随机裁剪实施例示意图；
图3c为本发明方法数据扩增方法中颜色扭曲实施例示意图；
图3d为本发明方法数据扩增方法中拉伸缩放实施例示意图；
图4为本发明方法管路特征位置识别结果实施例图；
图5为本发明红外热成像仪组成结构示意图；
图6为本发明模拟管路***结构框图；
图7为本发明方法管路泄漏识别***运行无泄漏结果图；
图8为本发明方法管路泄漏识别***运行发生泄漏结果图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
本发明基于机器视觉的管路泄漏识别建立方法，具体步骤如下：
1、通过图像处理技术对管路的特征位置进行定位识别：
根据实际经验，一般管路泄漏常常发生在两段管路的连接处，因此准确识别并定位两段管路的连接点是实现管路泄漏识别的基础，研究一种基于图像处理技术的管路识别算法，可在复杂环境中准确识别被测管路的走向以及各管路之间交叉点等重要信息，方便后续进行管路泄漏识别。
深度学习是机器学习领域一个新的研究方向，近年来在语音识别、计算机视觉等多类应用中取得突破性的进展。通过视频摄像仪采集大量现场管路及其连接处的照片，提取管路连接处的图像特征并对其采用深度学习算法进行训练，最终得到管路连接点识别算法模型，实现管路连接点的识别定位，为后续进行管路泄漏识别奠定基础。
2、运用红外热成像原理对识别到的管路特征位置进行泄漏检测：
红外热成像技术是一种简洁、快速、非接触的无损检测方法，通过测量物体本身向外辐射的红外波长，再经过光电转换、信号处理等手段，将目标物体的温度分布图像转换成视频图像。
红外诊断技术能够提前预防性地判断设备状态，发现设备老化、腐蚀及破损等人工不易发现的问题，利用红外热像仪可准确采集管路***的热量信息，热量信息可反应当前管路的状态，通过与设备正常运行时的热成像进行对比或者异常部分与相邻部分进行比较，采用图像处理技术可鲜明地看出设备出现的微小热变化，于是可以精准全面的识别管路泄漏故障。
3、搭建管路泄漏识别***，将算法搭载到设备端，实现管路泄漏的实时监测。
基于试验室现有条件，搭建一套嵌入式管路泄漏识别***，安装传感器及相关控制设备，搭载管路泄漏识别算法，对管道进行实时监测，一但管路发生泄漏，则监测***可通过其信息管理***及时报警，并定点定位。
运用试验结果对算法进行反馈优化，不断完善管路泄漏识别***，提高检测准确性与检测精度，最终达到可实际运用于设备的目的。
如图1所示管路特征位置识别算法训练流程图，识别算法模型建立具体包括如下步骤：
第一步，采集管路中各个部位图片作为样本图片，样本图片中既有包含管路特征位置的图片(正样本)，也有不含管路特征位置的图片(负样本)，正样本中管接头称为真实目标，将样本图片分为测试集与训练集。
第二步，对真实目标匹配先验框：样本图片中的每个目标管接头作为一个单元，对每个单元设置尺度或者长宽比不同的先验框，预测的边界框(bounding boxes)是以这些先验框为基准的。一般情况下，每个单元会设置多个先验框，其尺度和长宽比存在差异，如图2所示，可以看到两个单元各使用了4个不同的先验框(虚线框)，图片中不同的管接头分别采用最适合它们形状的先验框(实线框)来进行训练。预测的边界框则是以该先验框为基准，对该先验框的中心坐标(x,y)、高度h、宽度w进行调整，得出最终的边界框。
第三步，用图片标注工具对测试集图片，进行标注，正样本真实目标标注为T，负样本标注为F。
第四步，确定损失函数。损失函数为位置误差(loc)与置信度误差(conf) 的加权和：
Figure BDA0003327879820000051
其中：N为先验框的正样本数量；α为权重系数；c为类别置信度预测值；l为先验框的所对应边界框的位置预测值；g为真实目标的位置参数。
将正样本集称为Pos，负样本集称为Neg，对于位置误差，定义如下：
Figure BDA0003327879820000052
其中：(cx,cy,w,h)为中心坐标及宽、高；
Figure BDA0003327879820000053
为第j个真实目标的位置参数；
Figure BDA0003327879820000054
Figure BDA0003327879820000061
d表示先验框的位置参数；
Figure BDA0003327879820000062
为第i个先验框的位置参数；
Figure BDA0003327879820000063
为一个指示参数，当
Figure BDA0003327879820000064
时表示第i个先验框与第j个真实目标匹配，并且真实目标的类别为p；由于
Figure BDA0003327879820000065
的存在，所以位置误差仅针对正样本进行计算；
对于置信度误差，计算公式如下：
Figure BDA0003327879820000066
其中：权重系数α通过交叉验证设置为1。
第五步，判断训练集样本数据量，当数据量足够大时(例如大于100000)，直接进入第七步，否则进行数据扩增。
第六步，数据扩增(Data Augmentation)。数据扩增可提高SSD性能，主要采用的技术有水平翻转(图3a)、随机裁剪(图3b)、颜色扭曲(图3c)、拉伸缩放(图3d)(获取小目标训练样本)等。
第七步，对处理后的训练集进行训练。
第八步，得到训练后的模型。
第九步，将测试集作为输入，运行模型，观察输出结果。
第十步，判断测试结果正确率是否符合要求，要求正确率大于等于设定正确率。若正确率不符合要求，则需调整训练集，重新进行第七步及后续流程。
最终实现的管路特征位置识别算法运行情况如图4所示，图中管路接头处均被正确识别，并被方框标识出来。
在完成管路识别后可进行有针对性的管路泄漏识别。首先需要对管路连接点的温度变化进行研究，根据实际工程经验，在管路泄漏的过程中管路中的液体或气体会缓慢渗出，而液体与气体的温度以及辐射率与管路不同，利用管路泄漏点的温度变化，可实现对管路泄漏的识别。
红外热成像仪能够快速检测目标物体的表面温度分布，并输出红外热成像图。在检测时，其具有如下特点：1)检测距离远、检测范围大；2)检测准确、迅速，检测的温度范围广；3)输出的红外热成像图很直观；4)信号在时间上可连续操作。因此，使用红外热成像仪对管路泄漏进行监测与识别。
红外热成像仪组成如图5所示。目标物体发射的红外线经过光学透镜聚焦后进入传感器，传感器将红外线信号转化成电信号，信号处理电路对电信号进行分析处理后，最后通过图像显示设备输出能够被人眼识别的红外热像图。
在得到特征位置的红外热成像图后，对比有泄漏和无泄漏时关键区域像素的平均值和方差值，得到报警阈值，当相应区域像素值超过阈值时，即发出管路泄漏报警。
在完成算法设计后，根据试验室现有环境，搭建了一套如图6所示的模拟管路***，并将训练合格的特征位置识别模型和对应识别出的管接头的报警阈值移植到控制模块上，启动设备，实时运行***，使用红外热成像仪对管路进行泄漏识别，识别结果如图7、8所示。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (3)

1.一种基于机器视觉的管路泄漏识别***建立方法，其特征在于，具体包括如下步骤：
1)通过采集大量现场管路及其连接处的图像数据，提取管路连接处的图像特征并对其采用深度学习算法进行训练，获得管路特征位置识别算法模型；
2)红外热像仪无损采集管路***的热量信息，通过与设备正常运行时的热成像进行对比或者异常部分与相邻部分进行比较，设置温度差报警阈值，对步骤1)识别出的管路特征位置进行泄漏检测；
3)搭建管路泄漏识别***，将步骤1)的识别算法模型和步骤2)泄漏检测方式搭载到设备端，实现管路泄漏的实时监测。
2.根据权利要求1所述基于机器视觉的管路泄漏识别***建立方法，其特征在于，所述步骤1)中管路特征位置识别算法模型训练方法，具体包括如下步骤：
1.1)采集管路中各个部位图片作为样本图片，样本图片中既有包含管路特征位置的图片作为正样本，也有不含管路特征位置的图片作为负样本，正样本中管接头称为真实目标，将样本图片分为测试集与训练集；
1.2)对真实目标匹配先验框：样本图片中的每个目标管接头作为一个单元，对每个单元设置尺度或者长宽比不同的先验框，预测的边界框则是以该先验框为基准，对该先验框的中心坐标(x,y)、高度h、宽度w进行调整，得出最终的边界框；
1.3)用图片标注工具对测试集图片，进行标注，正样本真实目标标注为T，负样本标注为F；
1.4)确定损失函数，损失函数为位置误差loc与置信度误差conf的加权和：
Figure FDA0003327879810000011
其中：N为先验框的正样本数量；α为权重系数；c为类别置信度预测值；l为先验框的所对应边界框的位置预测值；g为真实目标的位置参数；
1.5)判断训练集样本数据量，当数据量达到设定量，直接进入1.7)，否则进行数据扩增；
1.6)数据扩增：对步骤1.1)的样本图片采用水平翻转、随机裁剪、颜色扭曲、拉伸缩放技术进行数据扩增；
1.7)使用训练集对管路特征位置识别算法模型进行训练；
1.8)得到训练后的管路特征位置识别算法模型；
1.9)将测试集作为输入，运行训练后的管路特征位置识别算法模型，观察输出结果；
1.10)判断测试结果正确率是否符合要求，要求正确率大于等于设定正确率；若正确率不符合要求，则需调整训练集，重新进行步骤1.7)及后续流程，直到达到要求正确率。
3.根据权利要求2所述基于机器视觉的管路泄漏识别***建立方法，其特征在于，所述训练测试验证后的管路特征位置识别算法模型送入设备端控制模块，红外热像仪向识别出的管路特征位置发射红外线经过光学透镜聚焦后进入传感器，传感器将红外线信号转化成电信号，信号处理电路对电信号进行分析处理后，最后通过图像显示设备输出被人眼识别的红外热像图；在得到管路特征位置的红外热成像图后，对比有泄漏和无泄漏时关键区域像素的平均值和方差值，得到报警阈值，当相应区域像素值超过阈值时，即发出管路泄漏报警。
CN202111270565.8A 2021-10-29 2021-10-29 基于机器视觉的管路泄漏识别***建立方法 Pending CN114022435A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111270565.8A CN114022435A (zh) 2021-10-29 2021-10-29 基于机器视觉的管路泄漏识别***建立方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111270565.8A CN114022435A (zh) 2021-10-29 2021-10-29 基于机器视觉的管路泄漏识别***建立方法

Publications (1)

Publication Number Publication Date
CN114022435A true CN114022435A (zh) 2022-02-08

Family

ID=80058629

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111270565.8A Pending CN114022435A (zh) 2021-10-29 2021-10-29 基于机器视觉的管路泄漏识别***建立方法

Country Status (1)

Country Link
CN (1) CN114022435A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114577410A (zh) * 2022-03-04 2022-06-03 浙江蓝能燃气设备有限公司 一种用于瓶组容器氦气泄漏的自动检漏***及应用方法
CN114937247A (zh) * 2022-07-21 2022-08-23 四川金信石信息技术有限公司 一种基于深度学习的变电站监测方法、***、电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114577410A (zh) * 2022-03-04 2022-06-03 浙江蓝能燃气设备有限公司 一种用于瓶组容器氦气泄漏的自动检漏***及应用方法
CN114937247A (zh) * 2022-07-21 2022-08-23 四川金信石信息技术有限公司 一种基于深度学习的变电站监测方法、***、电子设备

Similar Documents

Publication Publication Date Title
CN114022435A (zh) 基于机器视觉的管路泄漏识别***建立方法
CN109858367B (zh) 工人通过支撑不安全行为的视觉自动化检测方法及***
CN110826588A (zh) 一种基于注意力机制的排水管道缺陷检测方法
Karkoub et al. Gas pipeline inspection using autonomous robots with omni-directional cameras
CN113075065B (zh) 基于图像识别的深海管道裂纹扩展监测与可靠性评估***
CN113240747B (zh) 一种基于计算机视觉的户外结构振动位移自动化监测方法
CN115751203A (zh) 一种基于红外热像仪的天然气管道泄漏监测***
CN102295061A (zh) 基于图像处理的船舶水尺自动检测方法
Guan et al. Automatic fault diagnosis algorithm for hot water pipes based on infrared thermal images
CN113884011A (zh) 一种非接触式混凝土表观裂缝测量设备和方法
CN114719749B (zh) 基于机器视觉的金属表面裂纹检测及真实尺寸测量方法及***
CN112284619B (zh) 一种漏油实时监测装置和检测方法
CN116379359B (zh) 天然气泄露检测方法及多模态天然气泄露检测***
CN114941807A (zh) 一种基于无人机的热力管道泄漏快速监测与定位方法
JPH0765152A (ja) 監視装置および監視方法
CN112610905A (zh) 一种基于图像识别和红外热成像技术的海上平台管线气体泄漏识别方法
JP6954242B2 (ja) 定置式ガス検知装置の設置箇所の調査方法
CN112347827A (zh) 一种船舶水尺自动检测方法及***
CN117611552A (zh) 一种基于bim视觉识别技术的既有幕墙检测方法及***
CN113516652A (zh) 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备
Vijayan et al. A survey on surface crack detection in concretes using traditional, image processing, machine learning, and deep learning techniques
Shin et al. Defect-detection model for underground parking lots using image object-detection method
CN116824479A (zh) 用于工厂的智能巡检***
CN111739057B (zh) 一种基于U-net卷积神经网络模型的自由液面识别和提取方法
KR102586815B1 (ko) 구조물 균열 측정 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination