CN117823741A - 一种结合智能机器人的管网非开挖修复方法及*** - Google Patents

一种结合智能机器人的管网非开挖修复方法及*** Download PDF

Info

Publication number
CN117823741A
CN117823741A CN202410252438.2A CN202410252438A CN117823741A CN 117823741 A CN117823741 A CN 117823741A CN 202410252438 A CN202410252438 A CN 202410252438A CN 117823741 A CN117823741 A CN 117823741A
Authority
CN
China
Prior art keywords
map
intelligent robot
data
pipeline
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410252438.2A
Other languages
English (en)
Other versions
CN117823741B (zh
Inventor
林威恒
林威龙
刘威龙
姜钰婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Julian Environmental Technology Co ltd
Original Assignee
Fujian Julian Environmental Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Julian Environmental Technology Co ltd filed Critical Fujian Julian Environmental Technology Co ltd
Priority to CN202410252438.2A priority Critical patent/CN117823741B/zh
Publication of CN117823741A publication Critical patent/CN117823741A/zh
Application granted granted Critical
Publication of CN117823741B publication Critical patent/CN117823741B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16L—PIPES; JOINTS OR FITTINGS FOR PIPES; SUPPORTS FOR PIPES, CABLES OR PROTECTIVE TUBING; MEANS FOR THERMAL INSULATION IN GENERAL
    • F16L55/00—Devices or appurtenances for use in, or in connection with, pipes or pipe systems
    • F16L55/16—Devices for covering leaks in pipes or hoses, e.g. hose-menders
    • F16L55/162—Devices for covering leaks in pipes or hoses, e.g. hose-menders from inside the pipe
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16L—PIPES; JOINTS OR FITTINGS FOR PIPES; SUPPORTS FOR PIPES, CABLES OR PROTECTIVE TUBING; MEANS FOR THERMAL INSULATION IN GENERAL
    • F16L55/00—Devices or appurtenances for use in, or in connection with, pipes or pipe systems
    • F16L55/26—Pigs or moles, i.e. devices movable in a pipe or conduit with or without self-contained propulsion means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16L—PIPES; JOINTS OR FITTINGS FOR PIPES; SUPPORTS FOR PIPES, CABLES OR PROTECTIVE TUBING; MEANS FOR THERMAL INSULATION IN GENERAL
    • F16L2101/00—Uses or applications of pigs or moles
    • F16L2101/10—Treating the inside of pipes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Mechanical Engineering (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种结合智能机器人的管网非开挖修复方法及***，包括以下步骤：步骤S1：智能机器人基于激光雷达扫描管道内部的环境，并基于激光雷达扫描数据对机器人位置和周围环境的三维建模；步骤S2:基于激光雷达数据和LIO‑SAM算法，实现智能机器人在未知环境中的自主移动和执行任务；步骤S3:获取管道内部实时图像；步骤S4：对实时图像进行预处理，将预处理后的图像数据转换为时序图像数据；步骤S5:将预处理后的的时序图像数据输入管道破损检测模型进行实时检测；步骤S6:获取破损点定位；步骤S7:当智能机器人完成管网所有管道巡检后，将破损点定位在地图中进行标记，得到破损点的布局图。本发明实现对管道内部的检测，为管道的修复工作提供准确的信息和数据支持。

Description

一种结合智能机器人的管网非开挖修复方法及***
技术领域
本发明涉及管网检测领域，尤其涉及一种结合智能机器人的管网非开挖修复方法及***。
背景技术
管道缺陷检测与修复工作是城市建设的重要环节，成为当前计算机视觉的热点研究问题。但是获取到高质量的管道视频数据是十分困难的。目前管道探测主要依靠管道机器人搭载高清摄像头来获取管道内部数据，通过人工控制机器人进行检测，但是由于很多管网由于建设时间较早，建设的管网地图缺失，容易导致管网检测不完全，而且效率很低，严重影响修复进度。
发明内容
为了解决上述问题，本发明的目的在于提供一种结合智能机器人的管网非开挖修复方法及***，实现对管道内部的快速、精准检测，为管道的修复工作提供准确的信息和数据支持。
为实现上述目的，本发明采用以下技术方案：
一种结合智能机器人的管网非开挖修复方法，包括以下步骤：
步骤S1：智能机器人基于激光雷达扫描管道内部的环境，并基于激光雷达扫描数据对机器人位置和周围环境的三维建模；
步骤S2:基于激光雷达数据构建的初始三维地图，使用LIO-SAM算法来同时进行定位和地图构建，并基于实时建立的三维地图和智能机器人的定位信息，利用路径规划算法进行导航，实现智能机器人在未知环境中的自主移动和执行任务；
步骤S3:通过智能机器人搭载的高清摄像机，获取管道内部实时图像，并将图像数据传输至后台控制端；
步骤S4：使用直方图均衡化来增强图像的对比度，使用高斯滤波来降低图像中的噪声并对图像进行亮度和色彩的调整，适应低光照条件下的图像采集；将预处理后的图像数据转换为时序图像数据；
步骤S5:将预处理后的时序图像数据输入管道破损检测模型进行实时检测，若发现异常图像数据，则输出该图像，并获取该图像的时序数据；
步骤S6:基于该图像时序数据及智能机器人运动数据，获取破损点定位；
步骤S7:当智能机器人完成管网所有管道巡检后，将破损点定位在地图中进行标记，得到破损点的布局图。
进一步的，所述步骤S1具体为：
步骤S11:智能机器人基于激光雷达扫描管道内部的环境，获取激光雷达扫描数据，表示为一系列的点云数据，用来描述管道内部的结构和环境；
步骤S12:对激光雷达扫描得到的点云数据进行预处理;
步骤S13:基于ICP算法对不同位置获取的点云数据进行配准，将它们融合成一个全局的三维地图，并基于配准后的点云数据，利用体素网格方法将点云数据转换为三维地图，得到初始三维地图。
进一步的，所述预处理具体如下：
对于给定点，计算其周围邻居点与该点的距离；
基于下式计算给定距离u下的权重值：
；
其中，是高斯函数的标准差；
根据计算得到的距离和权重值，计算每个邻居点的权重；
对于每个点，根据其周围邻居点的加权平均值，进行滤波处理；
去除那些经过滤波后的点，根据预设阈值行判断，将权重小于阈值的点视为噪声点并将其去除。
进一步的，所述步骤S13具体为：
选择一个初始变换矩阵，将参考点云待配准点云进行初步对齐，采用欧氏距离衡量点云之间的差异，并通过最小二乘法来调整变换矩阵以减小这些差异，优化变换矩阵直至达到收敛条件，得到最终的变换矩阵；
将配准后的点云数据划分为规则的体素网格，对每个体素内的点云数据进行处理，取体素内点云数据的平均值作为代表，从而获得三维地图的表示。
进一步的，所述步骤S2具体为：
设智能机器人的状态变量X=(x 1 ,x 2 ,...,x i ,...,x N ),其中x i 表示智能机器人在时间步i的位姿，地图特征变量M=(m 1 ,m 2 ,...,m k ,...,m K ),其中m k 表示地图中的点；
LIO-SAM算法的目标是最大化后验概率,其中Z表示激光雷达观测数据，U表示IMU测量数据；
LIO-SAM算法的优化问题表示为以下公式：
；
根据贝叶斯公式，将上式转换为：
；
其中，表示观测数据在给定机器人位姿和地图的条件下的概率分布；表示机器人位姿和地图的先验概率分布；
通过最大化后验概率，联合优化机器人的轨迹和地图，实现同时定位与地图构建，并利用因子图优化、信息矩阵和信息向量来实现联合优化，以获得更准确的定位和地图。
进一步的，所述利用因子图优化、信息矩阵和信息向量来实现联合优化，以获得更准确的定位和地图，具体如下：
设智能机器人的位姿表示为，其中/>为表示机器人在三维空间中的位置坐标，/>分别表示滚转角、俯仰角和偏航角；地图中的特征点表示为m k =(x k ,y k ,z k ),/> 表示地图中的特征点的位置坐标;
构建因子图，其中节点包括机器人的位姿和地图中的特征点，边表示观测约束或运动约束;
对于每个观测约束，定义一个误差函数，表示激光雷达观测值与预测值之间的差异,设观测约束，表示机器人在位姿x i 处观测到地图中特征点 m j ,定义误差函数为,其中/>是观测模型，将机器人位姿和地图中的特征点映射到观测空间；同时，定义运动约束的误差函数，表示两个连续时刻的位姿之间的差异；
对于每个观测约束根据误差函数计算信息矩阵/>和信息向量/>，设观测数据的协方差矩阵为 />,则信息矩阵和信息向量表示为:
；
其中是误差函数e ij 相对于优化变量的雅可比矩阵,/>为/>的转置；类似地，对于运动约束，计算对应的信息矩阵和信息向量；
在每次迭代中，利用因子图优化算法，通过迭代的方式调整节点的值，以最小化误差函数，更新节点值的公式表示为：
；
其中，为节点值的更新量，H是正规因子图的信息矩阵，b是整个因子图的信息向量。
进一步的，所述步骤S5具体为：
将预处理后的时序图像数据输入到管道破损检测模型中，管道破损检测模型对每帧图像进行分析，检测管道内部的异常情况；
如果模型发现异常图像数据，即表示检测到了异常情况，当检测到异常图像数据时，将异常图像的时序数据，即异常发生时的时间戳记录下来。
进一步的，所述管道破损检测模型基于YOLOv3算法构建，具体如下：
收集管道内部的图像数据，并标注其中的破损或异常区域，得到管道破损检测数据集；
使用预训练的 YOLOv3 模型作为基础，在管道破损检测数据集上进行微调，以学习管道破损的特征；
训练过程中，采用交叉熵损失函数来衡量模型输出与标注之间的差异，并通过反向传播算法更新模型参数；
经过训练的 YOLOv3 模型,用于实时检测管道内部的破损检测,模型将图像分成网格，并对每个网格预测边界框和类别，以确定破损区域的位置和类别。
进一步的，所述步骤S7具体为：
智能机器人巡检完管网后，将采集到的图像数据和破损点的位置信息进行处理，提取出破损点的具***置坐标；
使用 GIS ***将破损点的位置信息映射到管网的地图上，将标记了破损点的地图进行可视化展示，通过交互式地图展示工具来实现，方便相关人员查看管道***的状况，以及具体的破损点位置；
根据破损点的布局图，生成详细的故障报告，包括破损点的位置、类型、严重程度信息。
一种结合智能机器人的管网非开挖修复***，包括智能机器人和后台控制端，所述智能机器人搭载有激光雷达和高清摄像机；所述智能机器人基于激光雷达扫描管道内部的环境，并基于激光雷达扫描数据对机器人位置和周围环境的三维建模；基于智能机器人位置和周围环境的三维建模，采用同时定位与地图构建技术，实现智能机器人在未知环境中的自主定位和导航；所述智能机器人搭载的高清摄像机，获取管道内部实时图像，并将图像数据传输至后台控制端；所述后台控制端对图像数据进行预处理，包括增强图像的对比度、降低噪声、调整亮度，并将预处理后的图像数据转换为时序图像数据将预处理后的图像数据输入管道破损检测模型进行实时检测，若发现异常图像数据，则输出该图像，并获取该图像时序数据；基于该图像时序数据及智能机器人运动数据，获取破损点定位；当智能机器人完成管网所有管道巡检后，将破损点定位在地图中进行标记，得到破损点的布局图。
本发明具有如下有益效果：
1、本发明实现对管道内部的快速、精准检测，为管道的修复工作提供准确的信息和数据支持；
2、本发明通过结合激光雷达传感器和SLAM技术，智能机器人可以在管道内部实现自主定位和导航，通过结合管网布局图信息和激光雷达实时更新管道内部的地图，在未知环境中实现高效的同时定位和地图构建，并进一步利用因子图优化、信息矩阵和信息向量来实现LIO-SAM算法中的同时定位与地图构建，以获得更准确的定位和地图；
3、本发明通过实时检测管道破损，并处理异常图像数据并获取时序数据，可以及时发现管道的异常情况，并将破损点定位在地图中进行标记，并得到破损点的布局图，帮助相关人员全面了解管道***的状况，及时发现和处理破损点，辅助修复管网。
附图说明
图1为本发明方法流程图。
具体实施方式
以下结合附图和具体实施例对本发明做进一步详细说明：
参考图1，在本发明提供一种结合智能机器人的管网非开挖修复方法，包括以下步骤：
步骤S1：智能机器人基于激光雷达扫描管道内部的环境，并基于激光雷达扫描数据对机器人位置和周围环境的三维建模；
步骤S2:基于激光雷达数据构建的初始三维地图，使用LIO-SAM算法来同时进行定位和地图构建，并基于实时建立的三维地图和智能机器人的定位信息，利用路径规划算法进行导航，实现智能机器人在未知环境中的自主移动和执行任务；
步骤S3:通过智能机器人搭载的高清摄像机，获取管道内部实时图像，并将图像数据传输至后台控制端；
步骤S4：使用直方图均衡化来增强图像的对比度，使用高斯滤波来降低图像中的噪声并对图像进行亮度和色彩的调整，适应低光照条件下的图像采集；将预处理后的图像数据转换为时序图像数据；
步骤S5:将预处理后的时序图像数据输入管道破损检测模型进行实时检测，若发现异常图像数据，则输出该图像，并获取该图像的时序数据；
步骤S6:基于该图像时序数据及智能机器人运动数据，获取破损点定位；
步骤S7:当智能机器人完成管网所有管道巡检后，将破损点定位在地图中进行标记，得到破损点的布局图。
在本实施例中，所述步骤S1具体为：
步骤S11:智能机器人基于激光雷达扫描管道内部的环境，获取激光雷达扫描数据，表示为一系列的点云数据，用来描述管道内部的结构和环境；
步骤S12:对激光雷达扫描得到的点云数据进行预处理;
步骤S13:基于ICP算法对不同位置获取的点云数据进行配准，将它们融合成一个全局的三维地图，并基于配准后的点云数据，利用体素网格方法将点云数据转换为三维地图，得到初始三维地图。
在本实施例中，所述预处理具体如下：
对于给定点，计算其周围邻居点与该点的距离；
基于下式计算给定距离u下的权重值：
；
其中，是高斯函数的标准差；
根据计算得到的距离和权重值，计算每个邻居点的权重；
对于每个点，根据其周围邻居点的加权平均值，进行滤波处理；
去除那些经过滤波后的点，根据预设阈值行判断，将权重小于阈值的点视为噪声点并将其去除。
在本实施例中，所述步骤S13具体为：
选择一个初始变换矩阵，将参考点云待配准点云进行初步对齐，采用欧氏距离衡量点云之间的差异，并通过最小二乘法来调整变换矩阵以减小这些差异，优化变换矩阵直至达到收敛条件，得到最终的变换矩阵；
将配准后的点云数据划分为规则的体素网格，对每个体素内的点云数据进行处理，取体素内点云数据的平均值作为代表，从而获得三维地图的表示。
在本实施例中，步骤S2具体为：
设智能机器人的状态变量X=(x 1 ,x 2 ,...,x i ,...,x N ),其中x i 表示智能机器人在时间步i的位姿，地图特征变量M=(m 1 ,m 2 ,...,m k ,...,m K ),其中m k 表示地图中的点；
LIO-SAM算法的目标是最大化后验概率,其中Z表示激光雷达观测数据，U表示IMU测量数据；
LIO-SAM算法的优化问题表示为以下公式：
；
根据贝叶斯公式，将上式转换为：
；
其中，表示观测数据在给定机器人位姿和地图的条件下的概率分布；表示机器人位姿和地图的先验概率分布；
通过最大化后验概率，联合优化机器人的轨迹和地图，实现同时定位与地图构建，并利用因子图优化、信息矩阵和信息向量来实现联合优化，以获得更准确的定位和地图。
在本实施例中，利用因子图优化、信息矩阵和信息向量来实现联合优化，以获得更准确的定位和地图，具体如下：
设智能机器人的位姿表示为，其中/>为表示机器人在三维空间中的位置坐标，/>分别表示滚转角、俯仰角和偏航角；地图中的特征点表示为m k =(x k ,y k ,z k ),/> 表示地图中的特征点的位置坐标;
构建因子图，其中节点包括机器人的位姿和地图中的特征点，边表示观测约束或运动约束;
对于每个观测约束，定义一个误差函数，表示激光雷达观测值与预测值之间的差异,设观测约束，表示机器人在位姿x i 处观测到地图中特征点 m j ,定义误差函数为,其中/>是观测模型，将机器人位姿和地图中的特征点映射到观测空间；同时，定义运动约束的误差函数，表示两个连续时刻的位姿之间的差异；
对于每个观测约束根据误差函数计算信息矩阵/>和信息向量/>，设观测数据的协方差矩阵为 />,则信息矩阵和信息向量表示为:
；
其中是误差函数e ij 相对于优化变量的雅可比矩阵,/>为/>的转置；类似地，对于运动约束，计算对应的信息矩阵和信息向量；
在每次迭代中，利用因子图优化算法，通过迭代的方式调整节点的值，以最小化误差函数，更新节点值的公式表示为：
；
其中，为节点值的更新量，H是正规因子图的信息矩阵，b是整个因子图的信息向量。
在本实施例中，步骤S5具体为：
将预处理后的时序图像数据输入到管道破损检测模型中，管道破损检测模型对每帧图像进行分析，检测管道内部的破损、裂缝或其他异常情况；
如果模型发现异常图像数据，即表示检测到了异常情况，当检测到异常图像数据时，将异常图像的时序数据，即异常发生时的时间戳记录下来。
在本实施例中，管道破损检测模型基于YOLOv3算法构建，具体如下：
收集管道内部的图像数据，并标注其中的破损或异常区域，得到管道破损检测数据集；
使用预训练的 YOLOv3 模型作为基础，在管道破损检测数据集上进行微调，以学习管道破损的特征；
训练过程中，采用交叉熵损失函数来衡量模型输出与标注之间的差异，并通过反向传播算法更新模型参数；
经过训练的 YOLOv3 模型,用于实时检测管道内部的破损检测,模型将图像分成网格，并对每个网格预测边界框和类别，以确定破损区域的位置和类别。
在本实施例中，步骤S7具体为：
智能机器人巡检完管网后，将采集到的图像数据和破损点的位置信息进行处理，提取出破损点的具***置坐标；
使用 GIS ***将破损点的位置信息映射到管网的地图上，将标记了破损点的地图进行可视化展示，通过交互式地图展示工具来实现，方便相关人员查看管道***的状况，以及具体的破损点位置；
根据破损点的布局图，生成详细的故障报告，包括破损点的位置、类型、严重程度信息。
本发明，还提供一种结合智能机器人的管网非开挖修复***，包括智能机器人和后台控制端，所述智能机器人搭载有激光雷达和高清摄像机；所述智能机器人基于激光雷达扫描管道内部的环境，并基于激光雷达扫描数据对机器人位置和周围环境的三维建模；基于智能机器人位置和周围环境的三维建模，采用同时定位与地图构建技术，实现智能机器人在未知环境中的自主定位和导航；所述智能机器人搭载的高清摄像机，获取管道内部实时图像，并将图像数据传输至后台控制端；所述后台控制端对图像数据进行预处理，包括增强图像的对比度、降低噪声、调整亮度，并将预处理后的图像数据转换为时序图像数据将预处理后的图像数据输入管道破损检测模型进行实时检测，若发现异常图像数据，则输出该图像，并获取该图像时序数据；基于该图像时序数据及智能机器人运动数据，获取破损点定位；当智能机器人完成管网所有管道巡检后，将破损点定位在地图中进行标记，得到破损点的布局图
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（***）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (8)

1.一种结合智能机器人的管网非开挖修复方法，其特征在于，包括以下步骤：
步骤S1：智能机器人基于激光雷达扫描管道内部的环境，并基于激光雷达扫描数据对机器人位置和周围环境的三维建模；
步骤S2:基于激光雷达数据构建的初始三维地图，使用LIO-SAM算法来同时进行定位和地图构建，并基于实时建立的三维地图和智能机器人的定位信息，利用路径规划算法进行导航，实现智能机器人在未知环境中的自主移动和执行任务；
步骤S3:通过智能机器人搭载的高清摄像机，获取管道内部实时图像，并将图像数据传输至后台控制端；
步骤S4：使用直方图均衡化来增强图像的对比度，使用高斯滤波来降低图像中的噪声并对图像进行亮度和色彩的调整，适应低光照条件下的图像采集；将预处理后的图像数据转换为时序图像数据；
步骤S5:将预处理后的时序图像数据输入管道破损检测模型进行实时检测，若发现异常图像数据，则输出该图像，并获取该图像的时序数据；
步骤S6:基于该图像时序数据及智能机器人运动数据，获取破损点定位；
步骤S7:当智能机器人完成管网所有管道巡检后，将破损点定位在地图中进行标记，得到破损点的布局图；
所述步骤S2具体为：
设智能机器人的状态变量X=(x 1 ,x 2 ,...,x i ,...,x N ),其中x i 表示智能机器人在时间步i的位姿，地图特征变量M=(m 1 ,m 2 ,...,m k ,...,m K ),其中m k 表示地图中的点；
LIO-SAM算法的目标是最大化后验概率,其中Z表示激光雷达观测数据，U表示IMU测量数据；
LIO-SAM算法的优化问题表示为以下公式：
；
根据贝叶斯公式，将上式转换为：
；
其中，表示观测数据在给定机器人位姿和地图的条件下的概率分布；表示机器人位姿和地图的先验概率分布；
通过最大化后验概率，联合优化机器人的轨迹和地图，实现同时定位与地图构建，并利用因子图优化、信息矩阵和信息向量来实现联合优化，以获得更准确的定位和地图；
所述利用因子图优化、信息矩阵和信息向量来实现联合优化，以获得更准确的定位和地图，具体如下：
设智能机器人的位姿表示为，其中/>为表示机器人在三维空间中的位置坐标，/>分别表示滚转角、俯仰角和偏航角；地图中的特征点表示为m k =(x k ,y k ,z k ),/> 表示地图中的特征点的位置坐标;
构建因子图，其中节点包括机器人的位姿和地图中的特征点，边表示观测约束或运动约束;
对于每个观测约束，定义一个误差函数，表示激光雷达观测值与预测值之间的差异,设观测约束，表示机器人在位姿x i 处观测到地图中特征点 m j ,定义误差函数为,其中/>是观测模型，将机器人位姿和地图中的特征点映射到观测空间；同时，定义运动约束的误差函数，表示两个连续时刻的位姿之间的差异；
对于每个观测约束根据误差函数计算信息矩阵/>和信息向量/>，设观测数据的协方差矩阵为 />,则信息矩阵和信息向量表示为:
；
其中是误差函数e ij 相对于优化变量的雅可比矩阵,/>为/>的转置；类似地，对于运动约束，计算对应的信息矩阵和信息向量；
在每次迭代中，利用因子图优化算法，通过迭代的方式调整节点的值，以最小化误差函数，更新节点值的公式表示为：
；
其中，为节点值的更新量，H是正规因子图的信息矩阵，b是整个因子图的信息向量。
2.根据权利要求1所述的一种结合智能机器人的管网非开挖修复方法，其特征在于，所述步骤S1具体为：
步骤S11:智能机器人基于激光雷达扫描管道内部的环境，获取激光雷达扫描数据，表示为一系列的点云数据，用来描述管道内部的结构和环境；
步骤S12:对激光雷达扫描得到的点云数据进行预处理;
步骤S13:基于ICP算法对不同位置获取的点云数据进行配准，将它们融合成一个全局的三维地图，并基于配准后的点云数据，利用体素网格方法将点云数据转换为三维地图，得到初始三维地图。
3.根据权利要求2所的一种结合智能机器人的管网非开挖修复方法，其特征在于，所述预处理具体如下：
对于给定点，计算其周围邻居点与该点的距离；
基于下式计算给定距离u下的权重值：
；
其中，是高斯函数的标准差；
根据计算得到的距离和权重值，计算每个邻居点的权重；
对于每个点，根据其周围邻居点的加权平均值，进行滤波处理；
去除那些经过滤波后的点，根据预设阈值行判断，将权重小于阈值的点视为噪声点并将其去除。
4.根据权利要求2所的一种结合智能机器人的管网非开挖修复方法，其特征在于，所述步骤S13具体为：
选择一个初始变换矩阵，将参考点云待配准点云进行初步对齐，采用欧氏距离衡量点云之间的差异，并通过最小二乘法来调整变换矩阵以减小这些差异，优化变换矩阵直至达到收敛条件，得到最终的变换矩阵；
将配准后的点云数据划分为规则的体素网格，对每个体素内的点云数据进行处理，取体素内点云数据的平均值作为代表，从而获得三维地图的表示。
5.根据权利要求1所述的一种结合智能机器人的管网非开挖修复方法，其特征在于，所述步骤S5具体为：
将预处理后的时序图像数据输入到管道破损检测模型中，管道破损检测模型对每帧图像进行分析，检测管道内部的异常情况；
如果模型发现异常图像数据，即表示检测到了异常情况，当检测到异常图像数据时，将异常图像的时序数据，即异常发生时的时间戳记录下来。
6.根据权利要求5所述的一种结合智能机器人的管网非开挖修复方法，其特征在于，所述管道破损检测模型基于YOLOv3算法构建，具体如下：
收集管道内部的图像数据，并标注其中的破损或异常区域，得到管道破损检测数据集；
使用预训练的 YOLOv3 模型作为基础，在管道破损检测数据集上进行微调，以学习管道破损的特征；
训练过程中，采用交叉熵损失函数来衡量模型输出与标注之间的差异，并通过反向传播算法更新模型参数；
经过训练的 YOLOv3 模型,用于实时检测管道内部的破损检测,模型将图像分成网格，并对每个网格预测边界框和类别，以确定破损区域的位置和类别。
7.根据权利要求1所述的一种结合智能机器人的管网非开挖修复方法，其特征在于，所述步骤S7具体为：
智能机器人巡检完管网后，将采集到的图像数据和破损点的位置信息进行处理，提取出破损点的具***置坐标；
使用 GIS ***将破损点的位置信息映射到管网的地图上，将标记了破损点的地图进行可视化展示，通过交互式地图展示工具来实现，方便相关人员查看管道***的状况，以及具体的破损点位置；
根据破损点的布局图，生成详细的故障报告，包括破损点的位置、类型、严重程度信息。
8.一种结合智能机器人的管网非开挖修复***，其特征在于，包括智能机器人和后台控制端，所述智能机器人搭载有激光雷达和高清摄像机；所述智能机器人基于激光雷达扫描管道内部的环境，并基于激光雷达扫描数据对机器人位置和周围环境的三维建模；基于智能机器人位置和周围环境的三维建模，采用同时定位与地图构建技术，实现智能机器人在未知环境中的自主定位和导航；所述智能机器人搭载的高清摄像机，获取管道内部实时图像，并将图像数据传输至后台控制端；所述后台控制端对图像数据进行预处理，包括增强图像的对比度、降低噪声、调整亮度，并将预处理后的图像数据转换为时序图像数据将预处理后的图像数据输入管道破损检测模型进行实时检测，若发现异常图像数据，则输出该图像，并获取该图像时序数据；基于该图像时序数据及智能机器人运动数据，获取破损点定位；当智能机器人完成管网所有管道巡检后，将破损点定位在地图中进行标记，得到破损点的布局图；
所述智能机器人基于激光雷达扫描管道内部的环境，并基于激光雷达扫描数据对机器人位置和周围环境的三维建模；基于智能机器人位置和周围环境的三维建模，采用同时定位与地图构建技术，实现智能机器人在未知环境中的自主定位和导航，具体如下：
设智能机器人的状态变量X=(x 1 ,x 2 ,...,x i ,...,x N ),其中x i 表示智能机器人在时间步i的位姿，地图特征变量M=(m 1 ,m 2 ,...,m k ,...,m K ),其中m k 表示地图中的点；
LIO-SAM算法的目标是最大化后验概率,其中Z表示激光雷达观测数据，U表示IMU测量数据；
LIO-SAM算法的优化问题表示为以下公式：
；
根据贝叶斯公式，将上式转换为：
；
其中，表示观测数据在给定机器人位姿和地图的条件下的概率分布；表示机器人位姿和地图的先验概率分布；
通过最大化后验概率，联合优化机器人的轨迹和地图，实现同时定位与地图构建，并利用因子图优化、信息矩阵和信息向量来实现联合优化，以获得更准确的定位和地图；
所述利用因子图优化、信息矩阵和信息向量来实现联合优化，以获得更准确的定位和地图，具体如下：
设智能机器人的位姿表示为，其中/>为表示机器人在三维空间中的位置坐标，/>分别表示滚转角、俯仰角和偏航角；地图中的特征点表示为m k =(x k ,y k ,z k ),/> 表示地图中的特征点的位置坐标;
构建因子图，其中节点包括机器人的位姿和地图中的特征点，边表示观测约束或运动约束;
对于每个观测约束，定义一个误差函数，表示激光雷达观测值与预测值之间的差异,设观测约束，表示机器人在位姿x i 处观测到地图中特征点 m j ,定义误差函数为,其中/>是观测模型，将机器人位姿和地图中的特征点映射到观测空间；同时，定义运动约束的误差函数，表示两个连续时刻的位姿之间的差异；
对于每个观测约束根据误差函数计算信息矩阵/>和信息向量/>，设观测数据的协方差矩阵为 />,则信息矩阵和信息向量表示为:
；
其中是误差函数e ij 相对于优化变量的雅可比矩阵,/>为/>的转置；类似地，对于运动约束，计算对应的信息矩阵和信息向量；
在每次迭代中，利用因子图优化算法，通过迭代的方式调整节点的值，以最小化误差函数，更新节点值的公式表示为：
；
其中，为节点值的更新量，H是正规因子图的信息矩阵，b是整个因子图的信息向量 。
CN202410252438.2A 2024-03-06 2024-03-06 一种结合智能机器人的管网非开挖修复方法及*** Active CN117823741B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410252438.2A CN117823741B (zh) 2024-03-06 2024-03-06 一种结合智能机器人的管网非开挖修复方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410252438.2A CN117823741B (zh) 2024-03-06 2024-03-06 一种结合智能机器人的管网非开挖修复方法及***

Publications (2)

Publication Number Publication Date
CN117823741A true CN117823741A (zh) 2024-04-05
CN117823741B CN117823741B (zh) 2024-05-31

Family

ID=90506198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410252438.2A Active CN117823741B (zh) 2024-03-06 2024-03-06 一种结合智能机器人的管网非开挖修复方法及***

Country Status (1)

Country Link
CN (1) CN117823741B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015167860A (ja) * 2014-03-05 2015-09-28 株式会社東芝 Ｘ線コンピュータ断層撮影装置、位置ずれ特定方法、および位置ずれ特定プログラム
US20180086483A1 (en) * 2016-06-10 2018-03-29 ETAK Systems, LLC Elevator or tube lift for drone takeoff and control thereof via air traffic control systems
CN112967392A (zh) * 2021-03-05 2021-06-15 武汉理工大学 一种基于多传感器触合的大规模园区建图定位方法
KR102299328B1 (ko) * 2021-02-24 2021-09-08 주식회사 팀프레시 Ｔｍｓ 기반 통합 물류 서비스 제공 시스템
CN114485643A (zh) * 2022-01-25 2022-05-13 重庆理工大学 一种煤矿井下移动机器人环境感知与高精度定位方法
CN115689288A (zh) * 2022-11-01 2023-02-03 深圳市燃气集团股份有限公司 一种管道健康状态评估及显示方法、装置及智能终端
CN116339337A (zh) * 2023-03-29 2023-06-27 上海无线电设备研究所 基于红外成像、激光雷达和声音定向探测的目标智能定位控制***及其方法
CN116878501A (zh) * 2023-07-12 2023-10-13 北京理工大学 一种基于多传感器融合的高精度定位与建图***及方法
CN117541534A (zh) * 2023-10-12 2024-02-09 国网河南省电力公司濮阳供电公司 一种基于无人机和CNN-BiLSTM模型的输电线路巡检方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015167860A (ja) * 2014-03-05 2015-09-28 株式会社東芝 Ｘ線コンピュータ断層撮影装置、位置ずれ特定方法、および位置ずれ特定プログラム
US20180086483A1 (en) * 2016-06-10 2018-03-29 ETAK Systems, LLC Elevator or tube lift for drone takeoff and control thereof via air traffic control systems
KR102299328B1 (ko) * 2021-02-24 2021-09-08 주식회사 팀프레시 Ｔｍｓ 기반 통합 물류 서비스 제공 시스템
CN112967392A (zh) * 2021-03-05 2021-06-15 武汉理工大学 一种基于多传感器触合的大规模园区建图定位方法
CN114485643A (zh) * 2022-01-25 2022-05-13 重庆理工大学 一种煤矿井下移动机器人环境感知与高精度定位方法
CN115689288A (zh) * 2022-11-01 2023-02-03 深圳市燃气集团股份有限公司 一种管道健康状态评估及显示方法、装置及智能终端
CN116339337A (zh) * 2023-03-29 2023-06-27 上海无线电设备研究所 基于红外成像、激光雷达和声音定向探测的目标智能定位控制***及其方法
CN116878501A (zh) * 2023-07-12 2023-10-13 北京理工大学 一种基于多传感器融合的高精度定位与建图***及方法
CN117541534A (zh) * 2023-10-12 2024-02-09 国网河南省电力公司濮阳供电公司 一种基于无人机和CNN-BiLSTM模型的输电线路巡检方法

Also Published As

Publication number Publication date
CN117823741B (zh) 2024-05-31

Similar Documents

Publication Publication Date Title
CN113744270B (zh) 起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法
CN109785337B (zh) 一种基于实例分割算法的栏内哺乳动物清点方法
CN109615653B (zh) 基于深度学习与视场投影模型的渗漏水面积检测与识别方法
CN110910350B (zh) 一种用于风电塔筒的螺母松动检测方法
CN111353413A (zh) 一种输电设备低漏报率缺陷识别方法
CN110992349A (zh) 一种基于深度学习的地下管道异常自动化定位与识别方法
CN110910440B (zh) 一种基于电力影像数据的输电线路长度确定方法和***
CN108229524A (zh) 一种基于遥感图像的烟囱和冷凝塔检测方法
CN115272815A (zh) 一种基于图像的电缆隧道环境异常识别方法
Dong et al. Intelligent segmentation and measurement model for asphalt road cracks based on modified mask R-CNN algorithm
CN111354028B (zh) 基于双目视觉的输电通道隐患物识别追踪方法
CN116203970A (zh) 一种巡检机器人的智能避障方法及***
CN115171045A (zh) 一种基于yolo的电网作业现场违章识别方法及终端
CN116630267A (zh) 基于无人机与激光雷达数据融合的路基沉降监测方法
CN113870326B (zh) 一种基于图像和三维点云配准的结构损伤映射、量化及可视化方法
CN114387261A (zh) 一种适用于铁路钢桥螺栓病害的自动检测方法
CN113569801A (zh) 一种配电施工现场带电设备及其带电区域识别方法及装置
CN117823741B (zh) 一种结合智能机器人的管网非开挖修复方法及***
CN114742975B (zh) 一种车载图像铁轨曲线建模方法
CN113362296B (zh) 一种隧道裂缝提取方法及***
CN114332006A (zh) 一种城垛缺失自动定量评估方法
CN113284103B (zh) 基于空间变换Faster R-CNN模型的变电站设备缺陷在线检测方法
CN115953678A (zh) 一种基于局部灰度极值点和特征融合的路面破损检测方法
CN114821165A (zh) 一种轨道检测图像采集分析方法
Vanitha et al. A novel deep learning method for the identification and categorization of footpath defects based on thermography

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant