CN113688758A - 基于边缘计算的输气管道高后果区智能识别*** - Google Patents

基于边缘计算的输气管道高后果区智能识别*** Download PDF

Info

Publication number
CN113688758A
CN113688758A CN202111008419.8A CN202111008419A CN113688758A CN 113688758 A CN113688758 A CN 113688758A CN 202111008419 A CN202111008419 A CN 202111008419A CN 113688758 A CN113688758 A CN 113688758A
Authority
CN
China
Prior art keywords
aerial vehicle
unmanned aerial
information
gas transmission
pipeline
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111008419.8A
Other languages
English (en)
Other versions
CN113688758B (zh
Inventor
易军
陈文鑫
沈志龙
刘洪�
钟婉霞
闵宣霖
周伟
庞进
刘佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Science and Technology
Original Assignee
Chongqing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Science and Technology filed Critical Chongqing University of Science and Technology
Priority to CN202111008419.8A priority Critical patent/CN113688758B/zh
Publication of CN113688758A publication Critical patent/CN113688758A/zh
Application granted granted Critical
Publication of CN113688758B publication Critical patent/CN113688758B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于边缘计算的输气管道高后果区智能识别***，***主要由无人机设备、输气管道传感器、高后果区智能***、云端服务器组成。所述无人机以一定高度沿着管道从指定的位置巡航航拍，识别到高后果区后降低高度多角度拍摄地物信息。所述智能***以无人机设备为载体，包含地物信息识别、地物区域分类、泄漏灾害预估三种深度学习模型。无人机首先与地面输气管道传感器融合获取管道信息，并且用机载Jetson NX把拍摄到的地物信息识别后进行预估，同时结合机载雷达卡尔曼滤波通过边缘计算判断出路径动态向周边检测。将结果展示在边缘端服务器上。飞行结束降落后把数据传输到云端服务器，用于智能***模型的训练以及参数的更新。权重更新完成后把结果回传到无人机。

Description

基于边缘计算的输气管道高后果区智能识别***
技术领域
本发明涉及图像处理，深度学习、边缘计算等技术领域，具体涉及一种基于边缘计算的输气管道高后果区的智能***。
背景技术
随着经济不断发展，城镇化水平不断提高。输气管道等为提供能源起到了非常重要的作用，如果发生泄漏严重危害公众安全或造成较大环境破坏。输气管道周边城镇化与自然资源也会发生变化。如何对输气管道的高后果区智能识别是目前急需解决的问题。针对这一问题目前主要是靠人工监测完成，但管道存在环境复杂线路长等问题，无法实时高效低成本的完成。
为了解决上述问题，边缘计算应运而生。边缘计算属于一种分布式计算，在网络边缘侧的智能网关上，就近处理采集到的数据，而不需要将大量数据上传到远端的核心管理平台。
和云端计算相比，边缘计算以利用云服务器上已有的数据和计算能力，得到识别结果的响应时间大大缩短，而且当识别结果返回的同时，将会把图像的特征信息发送给云服务器作为新的训练集。
发明内容
本申请实施例通过提出一种基于边缘计算的输气管道高后果区智能识别***。***主要包括无人机设备、输气管道传感器、高后果区智能***、云端服务器。目的为了对输气管道的高后果区识别，实现高后果区的地物信息识别、地物区域分类、泄漏灾害预估等。
为实现上述目的，本申请采用以下技术方案予以实现：
S1：所述无人机以一定高度沿着管道从指定的位置巡航航拍，识别到高后果区后降低高度多角度拍摄地物信息采集图像信息；与地面输气管道传感器融合获取管道信息；
S11：对无人机边缘计算能力的改进，实时检测需要一定的并行计算能力，把边缘计算硬件Jetson Xavier NX集成在无人机上；
S12：改进输气管道传感器，使其能够向无人机发送管道信息、地理信息等。结合图像分析管道异常信息。
S2：云端服务器搭建神经网络***，根据采集图像训练出权重；
S21：基于语义分割网络模型搭建地物信息识别，人工标注出如建筑物种类信息、公路信息、铁路信息、桥梁信息等，把图像数据集进行预处理和图像增强后通过网络训练出初代权重；
S22：基于VGG图像分类网络实现地物区域分类，基于居民聚集密度信息、工厂园区散布密度信息、森林湖泊地貌等散布密度信息人工分类出不同遥感图像数据集，把图像数据集进行预处理和图像增强后通过网络训练出初代权重；
S23：基于以上得出的信息结合地下管道信息累加权重得到泄漏灾害预估模型。
S3：机载Jetson Xavier NX把实时拍摄的地物信息识别后进行判断，同时结合机载雷达卡尔曼滤波通过边缘计算判断出路径动态向周边自动检测；
S31：无人机搭载双目摄像头、GPS和激光雷达模块，无人机通过GPS定位沿着管道指定位置巡航航拍，Jetson Xavier NX模块识别到高后果区后降低高度拍摄目标物从而更加精准多角度拍摄地物信息提高精度，结合卡尔曼滤波、传感器融合、地物信息识别等算法对获取的观测数据进行最优估计，实现无人机自动寻址采集输气管道周围图像信息算法；
S4：无人机把检测结果实时转回到云端服务器供人员判断，飞行结束降落后把新采集的图像数据传输到云端服务器，用于智能***模型的训练以及参数的更新；权重更新完成后把结果回传到无人机；
S41：无人机把检测结果实时转回到云端服务器供人员判断，工作人员可以实时操作无人机对感兴趣区域识别；
S42：云端服务器把新采集的图像数据结合之前的权重进行迁移学习并且更新新的权重，权重更新完成后把结果回传到无人机。
附图说明
图1为***流程图；
图2为***效果图；
图3为识别流程图；
具体实施方式
本申请实施例通过提出一种基于边缘计算的高后果区智能***。以低成本实时高效的对输气管道高后过区对智能识别。***主要包括无人机设备、输气管道传感器、高后果区智能***、云端服务器。
S1无人机会从输气管道的维护点A起飞，经过约30分钟巡航识别后到维护点B降落充电交付识别数据，同理充电完成后继续飞往下一个点C。
S2无人机首先会在管道1000米上拍摄俯视图，根据语义分割算法初步判断出建筑物种类及坐标、道路等级及坐标、铁路种类及坐标、自然资源种类及坐标等。接着无人机沿着道路自动寻址对置信度低于阈值的目标物体和建筑物进行多角度拍摄。进一步加强对物体判断以及楼房楼层的识别。此过程可由人工辅助监视以防无人机遇到障碍物掉落伤人。
S3根据GB 32167-2015《油气输送管道完整性管理规范》定义:地区等级按管道沿线居民户数和(或)建筑物的密集程度等划分的等级，分为四个地区等级。高后果区分为三种，输气管道的潜在影响半径由以下公式确定：
Figure BDA0003237900090000041
S4根据所诉地物信息识别和地物区域分类通过基于MASKRCNN语义分割实现，在地图中人为标注管道位置及信息，影响范围可通过公式计算得到。判断出地物目标计算出离管道最近的距离是否满足。信息类别有：
识别到道路地物类别(如高速公路、省道、国道、铁路等)、平层建筑物分类为一级高后果区。
识别到自然资源地物类别(如湿地、森林等自然保护区等)、建筑物高于一层低于六层、交通枢纽、易燃易爆场所分类为二级高后果区。
识别到自然资源地物类别(如河流、水库、水源等)、建筑物高于六层分类为三级高后果区。***自动标注出上述地物区域及高后果区域。
S5根据所述泄漏灾害预估可由图像分类实现，首先采集大量正常输气管道附近的环境航拍图。接着采集出现不同程度由输气管道泄漏引起的环境航拍图。从而对输气管道如果发生泄漏附近环境预估。

Claims (5)

1.一种基于边缘计算的输气管道高后果区智能识别***，其特征在于由无人机设备、输气管道传感器、高后果区智能***、云端服务器组成，***包括以下步骤：
S1：所述无人机以一定高度沿着管道从指定的位置巡航航拍，识别到高后果区后降低高度多角度拍摄地物信息采集图像信息，与地面输气管道传感器融合获取管道信息；
S2：云端服务器搭建神经网络***，根据采集图像训练出权重；
S3：机载Jetson Xavier NX把实时拍摄的地物信息识别后进行判断，同时结合机载雷达卡尔曼滤波通过边缘计算判断出路径动态向周边自动检测；
S4：无人机把检测结果实时转回到云端服务器供人员判断，飞行结束降落后把新采集的图像数据传输到云端服务器，用于智能***模型的训练以及参数的更新，权重更新完成后把结果回传到无人机。
2.根据权利要求1所述一种基于边缘计算的输气管道高后果区智能识别***，其特征在于：步骤S1中的无人机，通过提高无人机边缘计算能力，改进管道传感器信息使其能和无人机通信，其具体步骤如下：
S11：对无人机边缘计算能力的改进，实时检测需要一定的并行计算能力，把边缘计算硬件Jetson Xavier NX集成在无人机上；
S12：改进输气管道传感器，使其能够向无人机发送管道信息、地理信息等，结合图像分析管道异常信息。
3.根据权利要求1所述一种基于边缘计算的输气管道高后果区智能识别***，其特征在于：S2步骤所述的神经网络***，通过步骤S21使无人机拍摄的图像识别出不同地物目标，通过步骤S22使无人机拍摄的图像分类出不同地物区域，最后通过步骤S23得到泄漏灾害预估模型，其具体步骤如下：
S21：基于语义分割网络模型搭建地物信息识别，人工标注出如建筑物种类信息、公路信息、铁路信息、桥梁信息等，把图像数据集进行预处理和图像增强后通过网络训练出初代权重；
S22：基于VGG图像分类网络实现地物区域分类，基于居民聚集密度信息、工厂园区散布密度信息、森林湖泊地貌等散布密度信息人工分类出不同遥感图像数据集，把图像数据集进行预处理和图像增强后通过网络训练出初代权重；
S23：基于以上得出的信息结合地下管道信息累加权重得到泄漏灾害预估模型。
4.根据权利要求1所述一种基于边缘计算的输气管道高后果区智能识别***，其特征在于：S3步骤所述的无人机搭载更多的传感器同地面传感器通信，具体步骤如下：
无人机搭载双目摄像头、GPS和激光雷达模块，无人机通过GPS定位沿着管道指定位置巡航航拍，Jetson Xavier NX模块识别到高后果区后降低高度拍摄目标物从而更加精准多角度拍摄地物信息提高精度，结合卡尔曼滤波、传感器融合、地物信息识别等算法对获取的观测数据进行最优估计，实现无人机自动寻址采集输气管道周围图像信息算法。
5.根据权利要求1所述一种基于边缘计算的输气管道高后果区智能识别***，其特征在于：S4步骤所述的无人机通过S41使人员实时操作，通过S42迁移学习得到更准确结果，其具体步骤如下：
S41：无人机把检测结果实时转回到云端服务器供人员判断，工作人员可以实时操作无人机对感兴趣区域识别；
S42：云端服务器把新采集的图像数据结合之前的权重进行迁移学习并且更新新的权重，权重更新完成后把结果回传到无人机。
CN202111008419.8A 2021-08-31 2021-08-31 基于边缘计算的输气管道高后果区智能识别*** Active CN113688758B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111008419.8A CN113688758B (zh) 2021-08-31 2021-08-31 基于边缘计算的输气管道高后果区智能识别***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111008419.8A CN113688758B (zh) 2021-08-31 2021-08-31 基于边缘计算的输气管道高后果区智能识别***

Publications (2)

Publication Number Publication Date
CN113688758A true CN113688758A (zh) 2021-11-23
CN113688758B CN113688758B (zh) 2023-05-30

Family

ID=78584155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111008419.8A Active CN113688758B (zh) 2021-08-31 2021-08-31 基于边缘计算的输气管道高后果区智能识别***

Country Status (1)

Country Link
CN (1) CN113688758B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112765389A (zh) * 2021-02-04 2021-05-07 中国石油天然气集团有限公司 一种油气输送管道高后果区识别方法、***及存储介质
CN114500591A (zh) * 2021-12-23 2022-05-13 国家石油天然气管网集团有限公司华南分公司 一种基于无人机影像数据的管道灾害判识方法
CN116434060A (zh) * 2023-03-13 2023-07-14 创辉达设计股份有限公司 一种利用无人机采集房屋信息自动提取方法及***
CN116958907A (zh) * 2023-09-18 2023-10-27 四川泓宝润业工程技术有限公司 一种输气管道周边隐患目标巡检方法及***

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140280277A1 (en) * 2013-03-15 2014-09-18 Global Precision Solutions, Llp. System and method for integration and correlation of gis data
CN108960049A (zh) * 2018-05-25 2018-12-07 中国石油天然气股份有限公司 长输油气管道的高后果区的识别方法、装置及存储介质
CN110070243A (zh) * 2018-01-23 2019-07-30 中国石油化工股份有限公司 输油管道高后果区识别评价***及方法
CN110782673A (zh) * 2019-10-26 2020-02-11 江苏看见云软件科技有限公司 一种基于无人机拍摄云端计算的车辆违章识别检测***
US20200193609A1 (en) * 2018-12-18 2020-06-18 Qualcomm Incorporated Motion-assisted image segmentation and object detection
WO2020124247A1 (en) * 2018-12-21 2020-06-25 Canscan Softwares And Technologies Inc. Automated inspection system and associated method for assessing the condition of shipping containers
CN111536429A (zh) * 2020-07-08 2020-08-14 浙江浙能天然气运行有限公司 一种基于决策融合的油气管道预警***及预警方法
CN111766214A (zh) * 2020-07-03 2020-10-13 昆明物理研究所 基于边缘计算的无人机载光谱成像数据处理方法及***
CN111784737A (zh) * 2020-06-10 2020-10-16 中国人民解放军军事科学院国防科技创新研究院 一种基于无人机平台的目标自动跟踪方法及***
CN112326686A (zh) * 2020-11-02 2021-02-05 坝道工程医院(平舆) 无人机智能巡航路面病害检测方法、无人机和检测***
US20210064869A1 (en) * 2019-08-28 2021-03-04 Sheetal Reddy Arrabotu Method and system for identification of landing sites for aerial vehicles
CN112529012A (zh) * 2020-12-11 2021-03-19 平安科技（深圳）有限公司 基于目标匹配的油气管道巡检方法、装置、设备及介质
CN112765389A (zh) * 2021-02-04 2021-05-07 中国石油天然气集团有限公司 一种油气输送管道高后果区识别方法、***及存储介质
CN113305858A (zh) * 2021-06-07 2021-08-27 仲恺农业工程学院 一种清除原水管道中贝类的视觉机器人方法及其装置
CN113965241A (zh) * 2020-07-01 2022-01-21 深圳中科保泰科技有限公司 一种给无人机巡采巡查赋予人工智能的方法及相关装置

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140280277A1 (en) * 2013-03-15 2014-09-18 Global Precision Solutions, Llp. System and method for integration and correlation of gis data
CN110070243A (zh) * 2018-01-23 2019-07-30 中国石油化工股份有限公司 输油管道高后果区识别评价***及方法
CN108960049A (zh) * 2018-05-25 2018-12-07 中国石油天然气股份有限公司 长输油气管道的高后果区的识别方法、装置及存储介质
US20200193609A1 (en) * 2018-12-18 2020-06-18 Qualcomm Incorporated Motion-assisted image segmentation and object detection
WO2020124247A1 (en) * 2018-12-21 2020-06-25 Canscan Softwares And Technologies Inc. Automated inspection system and associated method for assessing the condition of shipping containers
US20210064869A1 (en) * 2019-08-28 2021-03-04 Sheetal Reddy Arrabotu Method and system for identification of landing sites for aerial vehicles
CN110782673A (zh) * 2019-10-26 2020-02-11 江苏看见云软件科技有限公司 一种基于无人机拍摄云端计算的车辆违章识别检测***
CN111784737A (zh) * 2020-06-10 2020-10-16 中国人民解放军军事科学院国防科技创新研究院 一种基于无人机平台的目标自动跟踪方法及***
CN113965241A (zh) * 2020-07-01 2022-01-21 深圳中科保泰科技有限公司 一种给无人机巡采巡查赋予人工智能的方法及相关装置
CN111766214A (zh) * 2020-07-03 2020-10-13 昆明物理研究所 基于边缘计算的无人机载光谱成像数据处理方法及***
CN111536429A (zh) * 2020-07-08 2020-08-14 浙江浙能天然气运行有限公司 一种基于决策融合的油气管道预警***及预警方法
CN112326686A (zh) * 2020-11-02 2021-02-05 坝道工程医院(平舆) 无人机智能巡航路面病害检测方法、无人机和检测***
CN112529012A (zh) * 2020-12-11 2021-03-19 平安科技（深圳）有限公司 基于目标匹配的油气管道巡检方法、装置、设备及介质
CN112765389A (zh) * 2021-02-04 2021-05-07 中国石油天然气集团有限公司 一种油气输送管道高后果区识别方法、***及存储介质
CN113305858A (zh) * 2021-06-07 2021-08-27 仲恺农业工程学院 一种清除原水管道中贝类的视觉机器人方法及其装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112765389A (zh) * 2021-02-04 2021-05-07 中国石油天然气集团有限公司 一种油气输送管道高后果区识别方法、***及存储介质
CN114500591A (zh) * 2021-12-23 2022-05-13 国家石油天然气管网集团有限公司华南分公司 一种基于无人机影像数据的管道灾害判识方法
CN116434060A (zh) * 2023-03-13 2023-07-14 创辉达设计股份有限公司 一种利用无人机采集房屋信息自动提取方法及***
CN116434060B (zh) * 2023-03-13 2023-09-15 创辉达设计股份有限公司 一种利用无人机采集房屋信息自动提取方法及***
CN116958907A (zh) * 2023-09-18 2023-10-27 四川泓宝润业工程技术有限公司 一种输气管道周边隐患目标巡检方法及***
CN116958907B (zh) * 2023-09-18 2023-12-26 四川泓宝润业工程技术有限公司 一种输气管道周边隐患目标巡检方法及***

Also Published As

Publication number Publication date
CN113688758B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN113688758B (zh) 基于边缘计算的输气管道高后果区智能识别***
CN111259809B (zh) 基于DANet的无人机海岸线漂浮垃圾巡检***
Varney et al. DALES: A large-scale aerial LiDAR data set for semantic segmentation
KR101933216B1 (ko) 드론과 공간정보를 이용한 하천지형정보 생성 방법
CN106441233B (zh) 基于倾斜摄影三维重建技术的电力通道走廊巡检方法
CN109117749A (zh) 一种基于无人机巡检影像的异常目标监管方法及***
CN107392247B (zh) 一种电力线下方地物安全距离实时检测方法
CN106525057A (zh) 高精度道路地图的生成***
CN110673628B (zh) 一种复合翼无人机油气管线巡检方法
CN111339826B (zh) 一种滑坡无人机线性传感器网络框架检测***
CN111458721B (zh) 一种暴露垃圾的识别定位方法、装置及***
Chen et al. Valid: A comprehensive virtual aerial image dataset
CN108896021B (zh) 基于航空摄影测量点云提取人工林林分结构参数的方法
US11657464B1 (en) System for determining type of property inspection based on captured images
CN110009054B (zh) 一种利用几何与强度特征的分层次机载LiDAR点云分类方法
CN116612609B (zh) 一种基于山体滑坡危害度预测的灾害预警方法及***
CN116486289A (zh) 一种多源数据和知识驱动下的燃气管道高后果区识别方法
CN113239864A (zh) 一种适用于农业调查的无人机的路线规划方法
CN116958907A (zh) 一种输气管道周边隐患目标巡检方法及***
JP2024514175A (ja) 鳥の検出および種決定
Yang et al. Flood detection based on unmanned aerial vehicle system and deep learning
CN112861737A (zh) 一种基于图像暗通道与YoLov3的森林火灾烟雾检测方法
CN112097743A (zh) 基于无人机技术的建筑抗震特性分析方法
Kandoi et al. Pothole detection using accelerometer and computer vision with automated complaint redressal
WO2021138372A1 (en) Feature coverage analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant