CN116958842B - 基于激光-视觉融合的地下管线的巡检方法及装置 - Google Patents
基于激光-视觉融合的地下管线的巡检方法及装置 Download PDFInfo
- Publication number
- CN116958842B CN116958842B CN202311207588.3A CN202311207588A CN116958842B CN 116958842 B CN116958842 B CN 116958842B CN 202311207588 A CN202311207588 A CN 202311207588A CN 116958842 B CN116958842 B CN 116958842B
- Authority
- CN
- China
- Prior art keywords
- pose
- point cloud
- laser
- image data
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 98
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000004927 fusion Effects 0.000 title claims abstract description 52
- 230000008859 change Effects 0.000 claims abstract description 87
- 230000000007 visual effect Effects 0.000 claims abstract description 86
- 230000007547 defect Effects 0.000 claims description 67
- 238000012545 processing Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 9
- 230000007797 corrosion Effects 0.000 claims description 5
- 238000005260 corrosion Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 5
- 238000007499 fusion processing Methods 0.000 abstract description 4
- 238000005457 optimization Methods 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 12
- 238000001514 detection method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000010354 integration Effects 0.000 description 9
- 238000013507 mapping Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000009499 grossing Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- VTTONGPRPXSUTJ-UHFFFAOYSA-N bufotenin Chemical compound C1=C(O)C=C2C(CCN(C)C)=CNC2=C1 VTTONGPRPXSUTJ-UHFFFAOYSA-N 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000002737 fuel gas Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于激光‑视觉融合的地下管线的巡检方法及装置，涉及三维重建技术领域，方法包括：通过预先搭建的无人平台对地下管线进行采集，得到视觉图像数据和激光点云数据；其中，无人平台包括视觉传感器和激光雷达扫描仪；基于视觉图像数据和激光点云数据，确定无人平台的位姿变化信息；基于位姿变化信息和激光点云数据，构建地下管线的数字模型；基于数字模型和视觉图像数据，对地下管线进行巡检，输出巡检结果。相较于通过人工对地下管线进行巡检，本发明先利用无人平台采集地下管线关于激光‑视觉两方面的数据，利用多传感器融合处理可以建立精确的地下管线的数字模型，在降低了巡检成本的同时，有效提高了巡检效率和准确性。
Description
技术领域
本发明涉及三维重建技术领域，尤其涉及一种基于激光-视觉融合的地下管线的巡检方法及装置。
背景技术
城市地下管线是指城市范围内供水、排水、燃气、热力、电力、通信、广播电视、工业等管线及其附属设施。
目前，对于地下管线的巡检还未形成规模，通常通过人工进行巡检，存在巡检效率低、成本高、精确性差等问题。
发明内容
本发明提供一种基于激光-视觉融合的地下管线的巡检方法及装置，用以解决现有技术中存在的巡检效率低、成本高、精确性差等问题。
本发明提供一种基于激光-视觉融合的地下管线的巡检方法，包括：
通过预先搭建的无人平台对地下管线进行采集，得到视觉图像数据和激光点云数据；其中，所述无人平台包括视觉传感器和激光雷达扫描仪；
基于所述视觉图像数据和所述激光点云数据，确定所述无人平台的位姿变化信息；
基于所述位姿变化信息和所述激光点云数据，构建所述地下管线的数字模型；
基于所述数字模型和所述视觉图像数据，对所述地下管线进行巡检，输出巡检结果。
根据本发明提供的一种基于激光-视觉融合的地下管线的巡检方法，所述基于所述视觉图像数据和所述激光点云数据，确定所述无人平台的位姿变化信息，包括：
基于所述视觉图像数据，确定所述视觉传感器的第一位姿信息；
基于所述激光点云数据，确定所述激光雷达扫描仪的第二位姿信息；
融合所述第一位姿信息和所述第二位姿信息，得到所述位姿变化信息。
根据本发明提供的一种基于激光-视觉融合的地下管线的巡检方法，所述基于所述视觉图像数据，确定所述视觉传感器的第一位姿信息，包括：
确定所述视觉图像数据中的当前帧图像相对于上一帧图像的位姿变换关系；
基于所述位姿变换关系，建立所述当前帧图像与所述上一帧图像之间的帧-帧点云配准信息；
基于所述视觉图像数据中所有帧对应的帧-帧点云配准信息，确定所述第一位姿信息。
根据本发明提供的一种基于激光-视觉融合的地下管线的巡检方法，在所述基于所述视觉图像数据和所述激光点云数据，确定所述无人平台的位姿变化信息之后，所述方法还包括：
在所述激光点云数据中提取M个特征点，使用各所述特征点，对所述激光点云数据中的相邻两帧点云数据进行配准，计算所述无人平台的辅助位姿信息；其中，M为大于第一阈值的整数；
基于所述辅助位姿信息，确定所述无人平台的运动轨迹；
基于所述运动轨迹修正所述位姿变化信息；
所述基于所述位姿变化信息和所述激光点云数据，构建所述地下管线的数字模型，包括：
基于修正后的位姿变化信息和所述激光点云数据，构建所述地下管线的数字模型。
根据本发明提供的一种基于激光-视觉融合的地下管线的巡检方法，所述无人平台还包括惯性测量单元IMU；
在所述基于所述运动轨迹修正所述位姿变化信息之前，所述方法还包括：
通过IMU测量所述无人平台的惯性数据；
所述基于所述运动轨迹修正所述位姿变化信息，包括：
基于所述运动轨迹和所述惯性数据，修正所述位姿变化信息。
根据本发明提供的一种基于激光-视觉融合的地下管线的巡检方法，所述基于所述数字模型和所述视觉图像数据，对所述地下管线进行巡检，输出巡检结果，包括：
通过预先设置的缺陷识别模型，识别所述视觉图像数据中的当前图像数据中地下管线是否存在缺陷，及存在缺陷时对应的缺陷名称；
在判定所述当前图像数据中地下管线存在缺陷的情况下，建立所述缺陷名称和目标位姿变化信息之间的对应关系，作为所述巡检结果输出；其中，所述目标位姿变化信息为所述当前图像数据对应的位姿变化信息。
根据本发明提供的一种基于激光-视觉融合的地下管线的巡检方法，所述数字模型包括所述地下管线的三维重建地图；
所述方法还包括：
在可视化界面显示所述三维重建地图；
在所述三维重建地图上，标注所述目标位姿变化信息对应的目标位置、缺陷名称和视觉图像数据中的至少一项。
根据本发明提供的一种基于激光-视觉融合的地下管线的巡检方法，所述缺陷识别模型通过以下步骤获取：
获取预先设置的历史缺陷图像及对应的缺陷名称，构建训练集；
基于所述训练集对预先设置的候选模型进行训练，得到训练后的模型，作为所述缺陷识别模型。
本发明还提供一种基于激光-视觉融合的地下管线的巡检装置，包括：
采集模块，用于通过预先搭建的无人平台对地下管线进行采集，得到视觉图像数据和激光点云数据；其中，所述无人平台包括视觉传感器和激光雷达扫描仪；
确定模块，用于基于所述视觉图像数据和所述激光点云数据，确定所述无人平台的位姿变化信息；
构建模块，用于基于所述位姿变化信息和所述激光点云数据，构建所述地下管线的数字模型；
巡检模块，用于基于所述数字模型和所述视觉图像数据，对所述地下管线进行巡检，输出巡检结果。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于激光-视觉融合的地下管线的巡检方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于激光-视觉融合的地下管线的巡检方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于激光-视觉融合的地下管线的巡检方法。
本发明提供的基于激光-视觉融合的地下管线的巡检方法及装置，先预先搭建了无人平台，以对地下管线进行采集，具体通过无人平台中的视觉传感器采集得到视觉图像数据，通过激光雷达扫描仪采集得到激光点云数据，再基于视觉图像数据和激光点云数据共同确定无人平台的位姿变化信息，进而可以基于位姿变化信息和激光点云数据这一深度信息，共同构建地下管线的数字模型，之后可以基于数字模型结合视觉图像数据，对地下管线进行巡检，输出巡检结果。相较于相关技术中通过人工对地下管线进行巡检，本发明实施例可以根据实际需要选择不同大小、种类的无人设备作为无人平台，利用无人平台采集地下管线关于激光-视觉两方面的数据，再对这两方面数据进行处理，多传感器融合处理可以建立精确的地下管线的数字模型，进而可以有效对地下管线进行巡检，在降低了成本的同时，有效提高了巡检效率和准确性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于激光-视觉融合的地下管线的巡检方法的流程示意图之一；
图2是本发明提供的基于激光-视觉融合的地下管线的巡检方法的流程示意图之二；
图3是本发明提供的基于激光-视觉融合的地下管线的巡检方法所应用***的结构示意图；
图4是本发明提供的基于激光-视觉融合的地下管线的巡检方法所应用的无人平台的示意图；
图5是本发明提供的基于激光-视觉融合的地下管线的巡检方法所应用的无人平台中激光-视觉融合扫描设备的示意图；
图6是本发明提供的基于激光-视觉融合的地下管线的巡检装置的结构示意图；
图7是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
下面结合附图描述本发明的基于激光-视觉融合的地下管线的巡检方法及装置。
图1是本发明提供的基于激光-视觉融合的地下管线的巡检方法的流程示意图之一，如图1所示，方法包括步骤101至步骤104；其中：
步骤101、通过预先搭建的无人平台对地下管线进行采集，得到视觉图像数据和激光点云数据；其中，所述无人平台包括视觉传感器和激光雷达扫描仪。
步骤102、基于所述视觉图像数据和所述激光点云数据，确定所述无人平台的位姿变化信息。
步骤103、基于所述位姿变化信息和所述激光点云数据，构建所述地下管线的数字模型。
步骤104、基于所述数字模型和所述视觉图像数据，对所述地下管线进行巡检，输出巡检结果。
相关技术中，对于地下管线的巡检还未形成规模，通常通过人工进行巡检，存在巡检效率低、成本高、精确性差等问题。
针对上述问题，本申请实施例提出结合激光扫描技术和计算机视觉技术，进行地下管线的巡检，具体地：
激光扫描技术是一种利用激光器发射激光束，并通过接收器接收反射回来的激光信号来获取目标物体的三维几何信息的技术。
计算机视觉技术是一门研究如何使计算机***能够获取、处理和理解图像或视频数据的技术。
在地下管线的巡检过程中，计算机视觉技术可以应用于图像处理、特征提取和目标识别等方面，以分析和识别管线的状态和问题；激光扫描技术和计算机视觉技术可以进行融合，以获取管线的三维几何信息和管线的视觉特征，从而实现更全面、准确的管线巡检。
具体地，本发明实施例先设计并搭建地下管线巡检***的硬件平台，即设置无人平台，无人平台可以包括载具、传感器、运动控制***。
其中，载具可选择轮式、履带式机器人、机械臂、移动底盘、无人机、无人车等。
传感器可以采用视觉传感器和激光雷达扫描仪，分别用来采集视觉图像数据和激光点云数据；在一些实施例中，考虑到地下光线不足的情况，可以为视觉传感器添加补光设备，以提高采集视觉图像数据的清晰度。
运动控制***可以采用比例、积分和微分（Proportional Integral Derivative，PID）控制算法等运动控制算法，控制机器人等载具运动。
设置好无人平台之后，可以利用视觉传感器采集地下管线的视觉图像数据，利用激光雷达扫描仪采集地下管线的激光点云数据。
再基于视觉图像数据和激光点云数据，确定机器人在当前时刻的位置和方向（位姿），为后续管线模型的重建提供基础数据；之后基于无人平台的位姿变化信息，例如基于机器人的运动轨迹和姿态，以及激光雷达扫描仪采集的激光点云数据这一深度信息，对管线进行三维重建，得到地下管线的数字模型。
再基于地下管线的数字模型结合视觉图像数据，进行管线检测和缺陷识别，具体使用机器学习算法进行自动化处理。
可选地，所述基于所述数字模型和所述视觉图像数据，对所述地下管线进行巡检，输出巡检结果的实现方式可以包括：
通过预先设置的缺陷识别模型，识别所述视觉图像数据中的当前图像数据中地下管线是否存在缺陷，及存在缺陷时对应的缺陷名称；
在判定所述当前图像数据中地下管线存在缺陷的情况下，建立所述缺陷名称和目标位姿变化信息之间的对应关系，作为所述巡检结果输出；其中，所述目标位姿变化信息为所述当前图像数据对应的位姿变化信息。
具体地，可以通过预先训练好的缺陷识别模型，对视觉图像数据中的各个图像数据进行识别，可以识别出当前图像数据中的地下管线是否存在缺陷，如果识别出存在缺陷，则可以进一步识别出具体的缺陷名称，例如包括裂缝、腐蚀、变形等。
可选地，所述缺陷识别模型可以通过以下步骤获取：
获取预先设置的历史缺陷图像及对应的缺陷名称，构建训练集；
基于所述训练集对预先设置的候选模型进行训练，得到训练后的模型，作为所述缺陷识别模型。
具体地，可以通过人工标注等方式，标注历史缺陷图像及对应的缺陷名称，例如对某一个缺陷图像标注其存在腐蚀和变形的缺陷，将较多这样的对应关系构建为训练集，再基于训练集对候选模型进行有监督学习的训练，得到训练后的模型作为缺陷识别模型。
在判定当前图像数据中地下管线存在缺陷的情况下，可以建立缺陷名称和当前图像数据对应的目标位姿变化信息之间的对应关系，并作为巡检结果输出。
可选地，所述数字模型可以包括所述地下管线的三维重建地图；
可以在可视化界面显示所述三维重建地图；
在所述三维重建地图上，标注所述目标位姿变化信息对应的目标位置、缺陷名称和视觉图像数据中的至少一项。
具体地，可以将数字模型中的三维重建地图也作为巡检结果输出，具体可以在可视化界面上显示三维重建地图，并可以在三维重建地图上，标注目标位姿变化信息对应的目标位置、缺陷名称和视觉图像数据中的至少一项，可以理解为，目标位姿变化信息可以表征地下管线中存在缺陷的位置，可以标注出该目标位置，并可以在目标位置周围的区域标注出对应的缺陷名称，以进一步指示存在的缺陷，还可以在目标位置周围的区域标注出对应的视觉图像。
本发明实施例基于生成的地下管线的数字模型进行缺陷检测和分析，包括识别管道的裂缝、腐蚀、变形等问题，进行分类和评估；可以将巡检结果保存在数据库中，并使用数据分析和可视化工具进行分析和展示，发送问题警告和修复意见，并基于分析结果进行管线维护和修复。
可选地，在采集到地下管线的视觉图像数据和激光点云数据后，还可以对采集到的数据先进行处理，具体可以对采集到含有噪声和畸变的地下管线的视觉图像数据和激光点云数据进行去噪和畸变矫正操作，以获得地下管线等黑暗复杂环境下具有高质量和准确性的数据；
还可以对黑暗复杂环境下的视觉图像数据进行图像增强，提高图像对比度和细节清晰度，减小噪声和失真，获得低噪声和高清晰度的地下管线的视觉图像数据，有利于后续构建地下管线数字模型的精确性，进而提高后续巡检结果的精确性。
在本发明实施例提供的基于激光-视觉融合的地下管线的巡检方法中，先预先搭建了无人平台，以对地下管线进行采集，具体通过无人平台中的视觉传感器采集得到视觉图像数据，通过激光雷达扫描仪采集得到激光点云数据，再基于视觉图像数据和激光点云数据共同确定无人平台的位姿变化信息，进而可以基于位姿变化信息和激光点云数据这一深度信息，共同构建地下管线的数字模型，之后可以基于数字模型结合视觉图像数据，对地下管线进行巡检，输出巡检结果。相较于相关技术中通过人工对地下管线进行巡检，本发明实施例可以根据实际需要选择不同大小、种类的无人设备作为无人平台，利用无人平台采集地下管线关于激光-视觉两方面的数据，再对这两方面数据进行处理，多传感器融合处理可以建立精确的地下管线的数字模型，进而可以有效对地下管线进行巡检，在降低了成本的同时，有效提高了巡检效率和准确性。
可选地，所述基于所述视觉图像数据和所述激光点云数据，确定所述无人平台的位姿变化信息的实现方式可以包括：
基于所述视觉图像数据，确定所述视觉传感器的第一位姿信息；
基于所述激光点云数据，确定所述激光雷达扫描仪的第二位姿信息；
融合所述第一位姿信息和所述第二位姿信息，得到所述位姿变化信息。
具体地，可以对激光雷达扫描仪计算出的扫描仪位姿（第二位姿信息）与视觉传感器计算出的扫描仪位姿（第一位姿信息）进行融合。
可选地，所述基于所述视觉图像数据，确定所述视觉传感器的第一位姿信息的实现方式可以包括：
确定所述视觉图像数据中的当前帧图像相对于上一帧图像的位姿变换关系；
基于所述位姿变换关系，建立所述当前帧图像与所述上一帧图像之间的帧-帧点云配准信息；
基于所述视觉图像数据中所有帧对应的帧-帧点云配准信息，确定所述第一位姿信息。
具体地，可以采用扩展卡尔曼滤波和因子图优化的方式，结合传感器误差和噪声，以及***储存的过往位姿信息，计算视觉传感器的本帧相对于上一帧的位姿变换关系，进而得到帧-帧点云配准信息，再基于该帧-帧点云配准信息，确定第一位姿信息。可以有效修正视觉传感器的误差，提高确定第一位姿信息的精确性。
可选地，可以将采集到的点云数据与已有的模型数据进行配准，这里已有的模型数据可以认为是无人平台巡检过程中的历史模型数据，以更新模型数据和机器人的位姿信息，优化帧-帧点云配准的累计误差；
再将多个数据源采集到的数据进行融合，为点云模型中的各点添加多个字段，生成完整的模型数据，并对数据进行优化和修正，滤除噪声。
可选地，在所述基于所述视觉图像数据和所述激光点云数据，确定所述无人平台的位姿变化信息之后，可以在所述激光点云数据中提取M个特征点，使用各所述特征点，对所述激光点云数据中的相邻两帧点云数据进行配准，计算所述无人平台的辅助位姿信息；其中，M为大于第一阈值的整数；
基于所述辅助位姿信息，确定所述无人平台的运动轨迹；
基于所述运动轨迹修正所述位姿变化信息；
所述基于所述位姿变化信息和所述激光点云数据，构建所述地下管线的数字模型的实现方式可以包括：
基于修正后的位姿变化信息和所述激光点云数据，构建所述地下管线的数字模型。
具体地，可以提取M个特征点，并通过使用特征点，对激光点云数据中的相邻两帧点云数据进行配准，用来计算无人平台的辅助位姿信息，该辅助位姿信息用来表征两帧之间扫描仪位姿变换的结果，进而确定无人平台的运动轨迹，再基于该运动轨迹修正位姿变化信息，进而利用修正后的位姿变化信息和激光点云数据，可以更精准地构建地下管线的数字模型，进而提高后续巡检的精确性。
需要说明的是，第一阈值可以根据实际情况设置，例如可以设置为20，即认为20个特征点以上才可以作为关键帧进行使用。
可选地，所述无人平台还可以包括惯性测量单元（Inertial Measurement Unit，IMU）；
在所述基于所述运动轨迹修正所述位姿变化信息之前，可以通过IMU测量所述无人平台的惯性数据；
所述基于所述运动轨迹修正所述位姿变化信息的实现方式可以包括：
基于所述运动轨迹和所述惯性数据，修正所述位姿变化信息。
具体地，可以融合运动轨迹和IMU测量到的惯性数据，共同修正位姿变化信息，可以得到更加准确的位姿变化，有利于后续更精准地构建地下管线的数字模型，进而提高后续巡检的精确性。
可选地，IMU例如包括惯性导航传感器。
下面举例说明本发明实施例提供的基于激光-视觉融合的地下管线的巡检方法。
目前，市场上地下管线巡检***还未能形成规模、成本高。激光和视觉传感器产生的数据量庞大，处理大规模地下管线网络时易受复杂的算法和计算资源匮乏的影响。复杂的地下环境对激光和视觉传感器的性能和数据质量产生不利影响。部分地下管线可能被深埋或覆盖，难以直接使用激光扫描和视觉传感器获取相关数据，并会阻碍信号传输，导致准确性和实时性不佳。
本发明实施例提供的基于激光-视觉融合的地下管线的巡检方法，用以解决相关技术中三维重建效果易受复杂环境影响的问题，并且解决了地下三维重建算力不够和实时性差的问题。
图2是本发明提供的基于激光-视觉融合的地下管线的巡检方法的流程示意图之二，如图2所示，可以分为相机建图模块、激光雷达建图模块和数字孪生模块三部分。
具体地，对于相机建图模块，又可以分为无人设备控制平台、数据预处理模块、视觉里程计（VIO）主线程和检测模块四部分。
1）无人设备控制平台；
无人设备搭载相机和激光雷达，构建无人平台，通过机器人操作***（RobotOperatinSystem，ROS）控制***开发，在利用ZigBee辅助定位技术，对模型线性化和预测控制器设计，再对性能指标进行设计，滚动优化后输出至数据预处理模块。
2）数据预处理模块；
接收滚动优化结果，控制无人平台及对应的***运行，通过视觉云台拍摄提取视觉信息，将点云转换到世界坐标系，另外对图像进行预处理，再读取图像信息更新特征点idx，基于上述数据计算得到特征点深度，再通过ROS初始化并读取参数，进行IMU预积分获取当前位姿，这里分成两路流程，第一路流程：利用当前位姿获取特征点信息，并创建VIO主线程；第二路流程：将IMU数据与图像数据配对，再利用IMU预积分处理，获取里程计数据，重定位进入检测模块进行检测。
3）VIO主线程；
接收最新特征点信息和决策滑窗策略，进行图像处理，这里分成两路流程，第一路流程：进行位姿求解，进行三角化，还可以对位姿进行优化，获取位姿及偏差，再加入先验并计算相邻帧的IMU预积分，计算匹配特征的重投影误差，再进行边缘化及滑窗处理；第二路流程：进行初始化，判断激光里程计（LIO）信息是否可用，若是，则进入检测模块，直接用LIO信息中的位姿和偏差进行检测；若否，则进行视觉和IMU对齐，进行三角化并重新计算，将所有变量转化到世界坐标系。
4）检测模块；
获取新关键帧，通过随机采样一致（RANdom SAmple Consensus，RANSAC）或计算描述子寻找回环；获取具有相同时间戳的位姿图像和点云信息，进行降采样，再利用降采样的结果进行检测或矫正，得到回环信息。
对于激光雷达建图模块，可以分为图像投影模块、特征提取模块、图优化模块和IMU预积分模块。
1）图像投影模块；
利用IMU处理器和雷达里程计处理器进行处理，再将处理结果通过点云处理器进行处理，检查初始点云是否有效，若否，则返回点云处理器重新处理；若是，则利用有效的初始点云计算位姿变化量，再进行点云去畸变并将所有点云转换到同一坐标系，发布点云信息至特征提取模块。
2）特征提取模块；
接收点云信息，基于点云信息计算曲率，再剔除遮挡点，提取角点和面点，发布角点和面点数据。
3）图优化模块；
接收角点和面点数据，利用雷达点云信息处理器进行处理，发布雷达点云信息，这里分成两路流程，第一路流程：角点特征匹配和面点特征匹配的结果共同进行列文伯格-马夸尔特优化（Levenberg-Marquadt，LM）优化，用IMU调整位姿并回环优化，进行迪特可视化及地图保存；第二路流程：寻找回环帧，并进行迭代最近邻法（lterative Closest Point，ICP）匹配计算，再将回环帧标识（Identity，ID）和位姿进行储存，发布IMU里程计信息，回环帧ID和位姿、IMU里程计信息均用于进行回环优化。
4）IMU预积分模块；
接收雷达和IMU信息，进行雷达位姿添加先验信息，判断是否大于100帧，若是，再重置增量式平滑和建图（Incremental Smoothing And Mappin，iSAM）优化器，计算两帧之间的预积分量，再进行因子图优化，需要说明的是，因子图优化的结果也用于对图优化模块中进行回环优化。
对于数字孪生模块，可以设计产品组件并完善操作模块，设备场景可视化，再进行数据接入，分为地图数据和云端数据，将这两部分数据进行数据融合，以增强效果，输出至数字孪生***。
本发明实施例使用无人平台搭载激光和视觉扫描设备，对地下管线进行扫描，构建三维重建地图，并进行故障检测。
图3是本发明提供的基于激光-视觉融合的地下管线的巡检方法所应用***的结构示意图，如图3所示，***主要包括无人平台搭建模块、相机建图模块、激光雷达建图模块和数字孪生模块。
（一）无人平台搭建模块；
无人平台搭建模块可以根据环境需要搭建硬件平台，将视觉、激光和IMU进行标定，连接至上位机并启动驱动。
具体地，先确定进行搭载的无人平台，包括但不限于机械臂、移动底盘、无人机、无人车等许多种类的无人平台。图4是本发明提供的基于激光-视觉融合的地下管线的巡检方法所应用的无人平台的示意图，如图4所示。
确定无人平台之后，连接激光雷达（激光雷达扫描仪）与视觉传感器（例如相机）至上位机并且启动ROS***的驱动，确保无人平台的操作***的其他节点可以接收到雷达和相机的数据信息，确保该数据的时间戳与机器人操作***对齐，数据类型为机器人操作***通用数据类型。
在启动整个***的驱动以后，开始进行扫描和三维重建。
（二）相机建图模块；
相机建图模块可以提取图像特征点，估计相机位姿，构建点云地图，发布优化和检测后的地图信息。
具体地，先提取视觉信息，然后对图像进行预处理和提取特征点，计算得到特征点的深度；通过IMU预积分获得当前帧的位姿，结合特征点信息，创建VIO主线程；在运行的初始阶段要进行初始化，包括：视觉和IMU对齐，三角化并重新计算验证，将得到的所有初始化变量转换到世界坐标系；在运行阶段，会不断进行位姿求解，包括：优化获得位姿及偏差，加入先验并计算相邻帧IMU预积分，计算重投影误差，对新进关键帧进行边缘化及滑窗优化处理；回环检测线程不断对新关键帧和局部地图进行RANSAC和描述子计算寻找回环，对具有相同时间戳的位姿图像和点云信息进行降采样，然后发布回环信息。
（三）激光雷达建图模块；
激光雷达建图模块可以接收激光雷达信息，提取特征点并进行优化，利用IMU数据校正位姿，进行回环检测并发布地图信息。
具体地，接收雷达里程计和IMU的数据初始化点云处理器；通过IMU预积分计算位姿变化量，对点云进行去畸变，将点云进行拼接和转换到同一坐标系，发布点云信息；在特征提取线程中，对点云信息计算曲率后提取出角点和面点，并且删除遮挡点，发布角点、面点信息；对角点和面点分别进行特征匹配，进行LM优化，结合IMU数据不断调整位姿；IMU传感器会不断发布预积分信息，并且不断重置iSAM优化器进行因子图优化；将新的点云与局部地图进行ICP匹配计算，得到的回环帧ID和位姿进行存储，对局部地图进行回环优化。
需要说明的是，激光和视觉三维重建模块不具有工作的先后顺序，而是利用两者的数据互相约束、优化，是一个紧耦合的***，通过两个***采集处理后的点云，共同构建高精度的三维重建地图，图5是本发明提供的基于激光-视觉融合的地下管线的巡检方法所应用的无人平台中激光-视觉融合扫描设备的示意图，如图5所示。
还需要说明的是，相机建图模块和激光雷达建图模块的数据相互约束、共同优化并实时构建地下管线的地图。
（四）数字孪生模块；
对点云模型数据进行处理，包括：去噪、滤波、平滑处理和目标区域提取；去除点云数据中的离群点和噪声点，以减少数据中的随机误差；对点云数据进行平均、中值、高斯等滤波操作，以减少数据中的***误差；对点云数据进行平滑处理，以消除数据中的震荡和抖动，使数据更加平滑和连续；从点云数据中删除与重建目标无关的点云，只保留目标点云进行重建；根据点云数据法向量、密度和表面平滑度等参数，将点云数据分割成不同的部分或区域，以便对不同的部分进行不同的处理和分析；基于点云数据和点云表面法向量，重建物体表面的几何形状和拓扑结构，生成三角网格模型或其他类型的模型；对生成的模型进行优化和调整，包括：修复缺陷、填补空洞、平滑表面，以提高模型的准确性和完整性；将其他传感器数据或者待监测数据加入三维重建图像中，组成数字孪生***。
数字孪生模块可以对点云信息进行优化处理，重建物体表面的几何形状和拓扑结构，将其他传感器数据或者待监测数据加入三维重建模型中。
基于以上方法，可以构建一个大规模地下管线巡检***，进行实时的三维重建和管线巡检，并可与管理人员实时交互。
本发明实施例至少存在以下有益效果：
1）开发了轻量化的巡检***，可使用多种无人设备进行搭载，适合多种情况下的地下管线巡检。
2）采用多传感器融合技术，可以在复杂环境中提取到数量多、精度高的特征点，提高巡检过程中三维重建的鲁棒性和精确性。
3）使用深度学习技术，训练***可以自动检测故障，并进行故障预警和维护管理，极大提高了地下管线巡检的效率和精确性。
下面对本发明提供的基于激光-视觉融合的地下管线的巡检装置进行描述，下文描述的基于激光-视觉融合的地下管线的巡检装置与上文描述的基于激光-视觉融合的地下管线的巡检方法可相互对应参照。
图6是本发明提供的基于激光-视觉融合的地下管线的巡检装置的结构示意图，如图6所示，基于激光-视觉融合的地下管线的巡检装置600，包括：
采集模块601，用于通过预先搭建的无人平台对地下管线进行采集，得到视觉图像数据和激光点云数据；其中，所述无人平台包括视觉传感器和激光雷达扫描仪；
确定模块602，用于基于所述视觉图像数据和所述激光点云数据，确定所述无人平台的位姿变化信息；
构建模块603，用于基于所述位姿变化信息和所述激光点云数据，构建所述地下管线的数字模型；
巡检模块604，用于基于所述数字模型和所述视觉图像数据，对所述地下管线进行巡检，输出巡检结果。
在本发明实施例提供的基于激光-视觉融合的地下管线的巡检装置中，利用预先搭建了无人平台对地下管线进行采集，具体由采集模块通过无人平台中的视觉传感器采集得到视觉图像数据，通过激光雷达扫描仪采集得到激光点云数据，再由确定模块基于视觉图像数据和激光点云数据共同确定无人平台的位姿变化信息，进而构建模块可以基于位姿变化信息和激光点云数据这一深度信息，共同构建地下管线的数字模型，之后巡检模块可以基于数字模型结合视觉图像数据，对地下管线进行巡检，输出巡检结果。相较于相关技术中通过人工对地下管线进行巡检，本发明实施例可以根据实际需要选择不同大小、种类的无人设备作为无人平台，利用无人平台采集地下管线关于激光-视觉两方面的数据，再对这两方面数据进行处理，多传感器融合处理可以建立精确的地下管线的数字模型，进而可以有效对地下管线进行巡检，在降低了成本的同时，有效提高了巡检效率和准确性。
可选地，确定模块602具体用于：
基于所述视觉图像数据，确定所述视觉传感器的第一位姿信息；
基于所述激光点云数据，确定所述激光雷达扫描仪的第二位姿信息；
融合所述第一位姿信息和所述第二位姿信息，得到所述位姿变化信息。
可选地，确定模块602还具体用于：
确定所述视觉图像数据中的当前帧图像相对于上一帧图像的位姿变换关系；
基于所述位姿变换关系，建立所述当前帧图像与所述上一帧图像之间的帧-帧点云配准信息；
基于所述视觉图像数据中所有帧对应的帧-帧点云配准信息，确定所述第一位姿信息。
可选地，基于激光-视觉融合的地下管线的巡检装置600还包括：
处理模块，用于：
在所述激光点云数据中提取M个特征点，使用各所述特征点，对所述激光点云数据中的相邻两帧点云数据进行配准，计算所述无人平台的辅助位姿信息；其中，M为大于第一阈值的整数；
基于所述辅助位姿信息，确定所述无人平台的运动轨迹；
基于所述运动轨迹修正所述位姿变化信息；
构建模块603具体用于：基于修正后的位姿变化信息和所述激光点云数据，构建所述地下管线的数字模型。
可选地，所述无人平台还包括惯性测量单元IMU；
处理模块还用于：
通过IMU测量所述无人平台的惯性数据；
基于所述运动轨迹和所述惯性数据，修正所述位姿变化信息。
可选地，巡检模块604具体用于：
通过预先设置的缺陷识别模型，识别所述视觉图像数据中的当前图像数据中地下管线是否存在缺陷，及存在缺陷时对应的缺陷名称；
在判定所述当前图像数据中地下管线存在缺陷的情况下，建立所述缺陷名称和目标位姿变化信息之间的对应关系，作为所述巡检结果输出；其中，所述目标位姿变化信息为所述当前图像数据对应的位姿变化信息。
可选地，所述数字模型包括所述地下管线的三维重建地图；
处理模块还用于：
在可视化界面显示所述三维重建地图；
在所述三维重建地图上，标注所述目标位姿变化信息对应的目标位置、缺陷名称和视觉图像数据中的至少一项。
可选地，所述缺陷识别模型通过以下步骤获取：
获取预先设置的历史缺陷图像及对应的缺陷名称，构建训练集；
基于所述训练集对预先设置的候选模型进行训练，得到训练后的模型，作为所述缺陷识别模型。
图7是本发明提供的电子设备的结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行基于激光-视觉融合的地下管线的巡检方法，该方法包括：
通过预先搭建的无人平台对地下管线进行采集，得到视觉图像数据和激光点云数据；其中，所述无人平台包括视觉传感器和激光雷达扫描仪；
基于所述视觉图像数据和所述激光点云数据，确定所述无人平台的位姿变化信息；
基于所述位姿变化信息和所述激光点云数据，构建所述地下管线的数字模型；
基于所述数字模型和所述视觉图像数据，对所述地下管线进行巡检，输出巡检结果。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于激光-视觉融合的地下管线的巡检方法，该方法包括：
通过预先搭建的无人平台对地下管线进行采集，得到视觉图像数据和激光点云数据；其中，所述无人平台包括视觉传感器和激光雷达扫描仪；
基于所述视觉图像数据和所述激光点云数据，确定所述无人平台的位姿变化信息；
基于所述位姿变化信息和所述激光点云数据，构建所述地下管线的数字模型；
基于所述数字模型和所述视觉图像数据，对所述地下管线进行巡检，输出巡检结果。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于激光-视觉融合的地下管线的巡检方法，该方法包括：
通过预先搭建的无人平台对地下管线进行采集，得到视觉图像数据和激光点云数据；其中，所述无人平台包括视觉传感器和激光雷达扫描仪；
基于所述视觉图像数据和所述激光点云数据，确定所述无人平台的位姿变化信息；
基于所述位姿变化信息和所述激光点云数据，构建所述地下管线的数字模型；
基于所述数字模型和所述视觉图像数据，对所述地下管线进行巡检，输出巡检结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (6)
1.一种基于激光-视觉融合的地下管线的巡检方法，其特征在于，包括：
通过预先搭建的无人平台对地下管线进行采集，得到视觉图像数据和激光点云数据；其中，所述无人平台包括视觉传感器和激光雷达扫描仪；
基于所述视觉图像数据和所述激光点云数据，确定所述无人平台的位姿变化信息；
基于所述位姿变化信息和所述激光点云数据，构建所述地下管线的数字模型；
基于所述数字模型和所述视觉图像数据，对所述地下管线进行巡检，输出巡检结果；
其中，所述基于所述视觉图像数据和所述激光点云数据，确定所述无人平台的位姿变化信息，包括：
基于所述视觉图像数据，确定所述视觉传感器的第一位姿信息；
基于所述激光点云数据，确定所述激光雷达扫描仪的第二位姿信息；
融合所述第一位姿信息和所述第二位姿信息，得到所述位姿变化信息；
所述基于所述视觉图像数据，确定所述视觉传感器的第一位姿信息，包括：
确定所述视觉图像数据中的当前帧图像相对于上一帧图像的位姿变换关系；
基于所述位姿变换关系，建立所述当前帧图像与所述上一帧图像之间的帧-帧点云配准信息；
基于所述视觉图像数据中所有帧对应的帧-帧点云配准信息，确定所述第一位姿信息；
在所述基于所述视觉图像数据和所述激光点云数据，确定所述无人平台的位姿变化信息之后，所述方法还包括：
在所述激光点云数据中提取M个特征点，使用各所述特征点，对所述激光点云数据中的相邻两帧点云数据进行配准，计算所述无人平台的辅助位姿信息；其中，M为大于第一阈值的整数；
基于所述辅助位姿信息，确定所述无人平台的运动轨迹；
基于所述运动轨迹修正所述位姿变化信息；
所述基于所述位姿变化信息和所述激光点云数据，构建所述地下管线的数字模型，包括：
基于修正后的位姿变化信息和所述激光点云数据，构建所述地下管线的数字模型；
所述基于所述数字模型和所述视觉图像数据，对所述地下管线进行巡检，输出巡检结果，包括：
通过预先设置的缺陷识别模型，识别所述视觉图像数据中的当前图像数据中地下管线是否存在缺陷，及存在缺陷时对应的缺陷名称；所述缺陷名称包括裂缝、腐蚀和变形；
在判定所述当前图像数据中地下管线存在缺陷的情况下，建立所述缺陷名称和目标位姿变化信息之间的对应关系，作为所述巡检结果输出；其中，所述目标位姿变化信息为所述当前图像数据对应的位姿变化信息。
2.根据权利要求1所述的基于激光-视觉融合的地下管线的巡检方法，其特征在于，所述无人平台还包括惯性测量单元IMU；
在所述基于所述运动轨迹修正所述位姿变化信息之前，所述方法还包括：
通过IMU测量所述无人平台的惯性数据；
所述基于所述运动轨迹修正所述位姿变化信息，包括：
基于所述运动轨迹和所述惯性数据，修正所述位姿变化信息。
3.根据权利要求1所述的基于激光-视觉融合的地下管线的巡检方法，其特征在于，所述数字模型包括所述地下管线的三维重建地图；
所述方法还包括：
在可视化界面显示所述三维重建地图；
在所述三维重建地图上，标注所述目标位姿变化信息对应的目标位置、缺陷名称和视觉图像数据中的至少一项。
4.根据权利要求1所述的基于激光-视觉融合的地下管线的巡检方法，其特征在于，所述缺陷识别模型通过以下步骤获取：
获取预先设置的历史缺陷图像及对应的缺陷名称，构建训练集；
基于所述训练集对预先设置的候选模型进行训练，得到训练后的模型，作为所述缺陷识别模型。
5.一种基于激光-视觉融合的地下管线的巡检装置，其特征在于，包括：
采集模块，用于通过预先搭建的无人平台对地下管线进行采集，得到视觉图像数据和激光点云数据；其中，所述无人平台包括视觉传感器和激光雷达扫描仪；
确定模块，用于基于所述视觉图像数据和所述激光点云数据，确定所述无人平台的位姿变化信息；
构建模块，用于基于所述位姿变化信息和所述激光点云数据，构建所述地下管线的数字模型；
巡检模块，用于基于所述数字模型和所述视觉图像数据，对所述地下管线进行巡检，输出巡检结果；
其中，所述确定模块具体用于：
基于所述视觉图像数据，确定所述视觉传感器的第一位姿信息；
基于所述激光点云数据，确定所述激光雷达扫描仪的第二位姿信息；
融合所述第一位姿信息和所述第二位姿信息，得到所述位姿变化信息；
所述确定模块还具体用于：
确定所述视觉图像数据中的当前帧图像相对于上一帧图像的位姿变换关系；
基于所述位姿变换关系，建立所述当前帧图像与所述上一帧图像之间的帧-帧点云配准信息；
基于所述视觉图像数据中所有帧对应的帧-帧点云配准信息，确定所述第一位姿信息；
所述装置还包括：处理模块，用于：
在所述激光点云数据中提取M个特征点，使用各所述特征点，对所述激光点云数据中的相邻两帧点云数据进行配准，计算所述无人平台的辅助位姿信息；其中，M为大于第一阈值的整数；
基于所述辅助位姿信息，确定所述无人平台的运动轨迹；
基于所述运动轨迹修正所述位姿变化信息；
所述构建模块具体用于：基于修正后的位姿变化信息和所述激光点云数据，构建所述地下管线的数字模型；
所述巡检模块具体用于：
通过预先设置的缺陷识别模型，识别所述视觉图像数据中的当前图像数据中地下管线是否存在缺陷，及存在缺陷时对应的缺陷名称；所述缺陷名称包括裂缝、腐蚀和变形；
在判定所述当前图像数据中地下管线存在缺陷的情况下，建立所述缺陷名称和目标位姿变化信息之间的对应关系，作为所述巡检结果输出；其中，所述目标位姿变化信息为所述当前图像数据对应的位姿变化信息。
6.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述基于激光-视觉融合的地下管线的巡检方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311207588.3A CN116958842B (zh) | 2023-09-19 | 2023-09-19 | 基于激光-视觉融合的地下管线的巡检方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311207588.3A CN116958842B (zh) | 2023-09-19 | 2023-09-19 | 基于激光-视觉融合的地下管线的巡检方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116958842A CN116958842A (zh) | 2023-10-27 |
| CN116958842B true CN116958842B (zh) | 2024-01-05 |
Family
ID=88454888
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311207588.3A Active CN116958842B (zh) | 2023-09-19 | 2023-09-19 | 基于激光-视觉融合的地下管线的巡检方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116958842B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109801358A (zh) * | 2018-12-06 | 2019-05-24 | 宁波市电力设计院有限公司 | 一种基于slam扫描和点云影像融合的变电站三维勘测方法 |
| CN111045017A (zh) * | 2019-12-20 | 2020-04-21 | 成都理工大学 | 一种激光和视觉融合的巡检机器人变电站地图构建方法 |
| CN114707282A (zh) * | 2022-03-18 | 2022-07-05 | 中国能源建设集团江苏省电力设计院有限公司 | 一种地下管线施工智能监测方法、***及介质 |
| CN115240047A (zh) * | 2022-08-04 | 2022-10-25 | 中国矿业大学(北京) | 一种融合视觉回环检测的激光slam方法及*** |
| CN115342796A (zh) * | 2022-07-22 | 2022-11-15 | 广东交通职业技术学院 | 基于视觉激光融合的地图构建方法、***、装置及介质 |
| WO2022257801A1 (zh) * | 2021-06-09 | 2022-12-15 | 山东大学 | 基于slam的移动机器人矿山场景重建方法及*** |
| CN116045959A (zh) * | 2022-12-21 | 2023-05-02 | 中国矿业大学 | 一种基于激光视觉融合的防冲钻孔机器人同步定位与地图构建方法 |
-
2023
- 2023-09-19 CN CN202311207588.3A patent/CN116958842B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109801358A (zh) * | 2018-12-06 | 2019-05-24 | 宁波市电力设计院有限公司 | 一种基于slam扫描和点云影像融合的变电站三维勘测方法 |
| CN111045017A (zh) * | 2019-12-20 | 2020-04-21 | 成都理工大学 | 一种激光和视觉融合的巡检机器人变电站地图构建方法 |
| WO2022257801A1 (zh) * | 2021-06-09 | 2022-12-15 | 山东大学 | 基于slam的移动机器人矿山场景重建方法及*** |
| CN114707282A (zh) * | 2022-03-18 | 2022-07-05 | 中国能源建设集团江苏省电力设计院有限公司 | 一种地下管线施工智能监测方法、***及介质 |
| CN115342796A (zh) * | 2022-07-22 | 2022-11-15 | 广东交通职业技术学院 | 基于视觉激光融合的地图构建方法、***、装置及介质 |
| CN115240047A (zh) * | 2022-08-04 | 2022-10-25 | 中国矿业大学(北京) | 一种融合视觉回环检测的激光slam方法及*** |
| CN116045959A (zh) * | 2022-12-21 | 2023-05-02 | 中国矿业大学 | 一种基于激光视觉融合的防冲钻孔机器人同步定位与地图构建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 融合激光与视觉点云信息的定位与建图方法;张伟伟;陈超;徐军;;计算机应用与软件(第07期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116958842A (zh) | 2023-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112734852B (zh) | 一种机器人建图方法、装置及计算设备 | |
| Yang et al. | Deep concrete inspection using unmanned aerial vehicle towards cssc database | |
| Khaloo et al. | Utilizing UAV and 3D computer vision for visual inspection of a large gravity dam | |
| CN104574393A (zh) | 一种三维路面裂缝图像生成***和方法 | |
| CN103262121A (zh) | 移动物体的检测和跟踪 | |
| CN114758504B (zh) | 一种基于滤波校正的网联车超速预警方法及*** | |
| CN111768417B (zh) | 基于单目视觉3d重建技术的铁路货车超限检测方法 | |
| Dawood et al. | Harris, SIFT and SURF features comparison for vehicle localization based on virtual 3D model and camera | |
| Wang et al. | Automated joint 3D reconstruction and visual inspection for buildings using computer vision and transfer learning | |
| Yang et al. | Automated wall‐climbing robot for concrete construction inspection | |
| CN115546223A (zh) | 一种列车车下设备紧固螺栓的缺失检测方法和*** | |
| CN116978009A (zh) | 基于4d毫米波雷达的动态物体滤除方法 | |
| Motayyeb et al. | Fusion of UAV-based infrared and visible images for thermal leakage map generation of building facades | |
| Fan et al. | Long-awaited next-generation road damage detection and localization system is finally here | |
| CN111862146B (zh) | 一种目标对象的定位方法及装置 | |
| CN116958842B (zh) | 基于激光-视觉融合的地下管线的巡检方法及装置 | |
| CN115457130A (zh) | 一种基于深度关键点回归的电动汽车充电口检测定位方法 | |
| Xu et al. | Monocular video frame optimization through feature-based parallax analysis for 3D pipe reconstruction | |
| TW202136752A (zh) | 用於檢測道路破損之檢測系統與方法 | |
| CN112184906A (zh) | 一种三维模型的构建方法及装置 | |
| CN112270357A (zh) | Vio视觉***及方法 | |
| CN116698046B (zh) | 一种物业室内服务机器人建图定位和回环检测方法及*** | |
| Cabral et al. | Engineering the Future: A Deep Dive into Remote Inspection and Reality Capture for Railway Infrastructure Digitalization | |
| CN118274880A (zh) | 基于轨道扣件特征自动识别的里程修正方法、装置及存储介质 | |
| Eguıluz et al. | Online detection and tracking of pipes during UAV flight in industrial environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |