CN116524116A - 一种多传感器数据融合的排水管道三维模型构建*** - Google Patents

一种多传感器数据融合的排水管道三维模型构建*** Download PDF

Info

Publication number
CN116524116A
CN116524116A CN202310390696.2A CN202310390696A CN116524116A CN 116524116 A CN116524116 A CN 116524116A CN 202310390696 A CN202310390696 A CN 202310390696A CN 116524116 A CN116524116 A CN 116524116A
Authority
CN
China
Prior art keywords
drainage pipeline
point cloud
pipeline
dimensional model
data fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310390696.2A
Other languages
English (en)
Inventor
刘文黎
陈珂
李翰林
徐晨阳
何晔昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202310390696.2A priority Critical patent/CN116524116A/zh
Publication of CN116524116A publication Critical patent/CN116524116A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

本发明公开了一种多传感器数据融合的排水管道三维模型构建***，属于排水管道建模领域，包括：管道机器人，安装于管道机器人的同步定位装置和数据融合模块；同步定位装置包括：用于实时扫描排水管道内环形截面点云的环扫声呐，用于实时测量姿态信息的惯导传感器，以及用于实时测量行进距离的计米器；数据融合模块，用于：通过卡尔曼滤波将行进距离和姿态信息进行融合，得到更新后的行进距离，并由此对管道机器人进行实时定位；利用姿态信息对环形截面点云进行校正，并按照管道机器人的定位结果将运行过程中的校正后的二维点云信息依次连接，得到排水管道的三维模型。本发明能够有效实现多传感器数据的融合，从而提高排水管道三维模型的构建精度。

Description

一种多传感器数据融合的排水管道三维模型构建***
技术领域
本发明属于排水管道建模领域，更具体地，涉及一种多传感器数据融合的排水管道三维模型构建***。
背景技术
随着现代城市的不断发展，城市排水管道作为城市的重要基础设施之一，其运营里程正不断增长。排水***的运行质量直接影响城市景观、环境卫生和居民生活，可以说在某种程度上制约着城市的发展水平。在排水管道铺设完成后，管道中的环境无法从外界直接观测，借助管道机器人建立排水管道的三维模型，对于排水管道缺陷定位等作业而言，有着十分重要的意义。
即时定位与地图构建(simultaneous localization and mapping，SLAM)，即在一个未知领域内机器人从一个未知位置开始移动，在移动过程中根据位置估计和周围地图对自身进行定位，同时在自身定位的基础上进行增量式的地图更新，从而实现机器人的自主定位和导航。
现在也有部分高校与公司开发机器人来进行管网探测，比如德国慕尼黑工业大学的八足管道机器人，采用摄像头方案对管道进行探测，摄像头方案可以较好的适用于无水环境下的探测，但是在有水环境中由于排水管网水质混浊，能见度低，摄像头水下畸变等因素导致摄像头方案得到的管道图像不清晰，在有水环境下具有一定的局限性。
声呐作为水下探测的主要传感器之一，可以较好的在有水环境下进行工作，获得排水管道内部的轮廓以及淤积情况，从而在有水环境下对管道进行探测，但由于管道内部环境狭隘，声呐受到水中杂质的漫反射影响严重，所以得到的点云数据具有较多的噪声。另外，一般采用环扫声呐只能得到管道截面的二维点云模型，因此需要额外的定位传感器对机器人进行定位，从而实现管道缺陷的定位以及构建管道的三维模型。目前一般采用计米器作为定位传感器，计米器在水下稳定性较好，但是更新频率较低，一般只有1-10HZ之间，其精度一般为分米级，并且，在有水环境下，多使用漂浮式管道机器人，其在行进过程中，由于机器人的姿态会发生变化，也会影响计米器的定位精度。
多传感器数据融合是指多种传感器针对同一个观测目标提供的不同种类的信息通过综合处理，从而达到对观测目标的最优估计。EdwardWaltz和JamesLlinas对数据融合给出了如下的定义：数据融合是一种综合复杂的的处理过程，通过对多源数据的测量、综合、估计与平均从而得到对观测目标的高精度的最优估计。国外数据融合算法从20世纪70年代开始，最早由美国运用在军事***上，并且在70年代末，技术文献上开始出现多传感器数据融合的概念。数据融合可以得到比单一传感器更准确更可靠的数据。现在数据融合领域也从松耦合向数据的紧耦合过渡，同时由于机器学习的应用，数据融合的可靠性也得到了加强。但是，不同传感器的更新频率往往不同，传统的基于最小二乘法加权的数据融合算法无法很好的适用于不同频率的传感器相互融合，因此，现有的融合了多传感器数据的排水管道三维模型建立方法，其精度仍有待进一步提高。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种多传感器数据融合的排水管道三维模型构建***，其目的在于，有效实现多传感器数据的融合，从而提高排水管道三维模型的构建精度。
为实现上述目的，按照本发明的一个方面，提供了一种多传感器数据融合的排水管道三维模型构建***，包括：管道机器人，安装于管道机器人的同步定位装置和数据融合模块；
同步定位装置包括：环扫声呐，用于在机器人在排水管道内行进时，实时扫描排水管道内的环形截面点云；惯导传感器，用于实时测量管道机器人行进过程中的姿态信息；以及计米器，用于实时测量管道机器人的行进距离；
数据融合模块，用于执行以下步骤，获得排水管道的三维模型：
通过卡尔曼滤波将行进距离和姿态信息进行融合，得到更新后的行进距离，并由此对管道机器人进行实时定位；卡尔曼滤波的更新频率为惯导传感器与计米器更新频率的比值；
利用姿态信息对环形截面点云的位置进行校正，得到校正后的二维点云，并将管道机器人运行过程中获得的校正后的二维点云信息按照管道机器人的定位结果依次连接，得到排水管道的三维模型。
进一步地，数据融合模块在通过卡尔曼滤波将行进距离和姿态信息进行融合之后，还包括：对融合结果进行反向滤波，将反向滤波结果作为更新后的行进距离。
进一步地，同步定位装置还包括：浑水摄像机，用于在机器人在排水管道内行进时，实时拍摄排水管道的图像信息；
并且，数据融合模块还用于对浑水摄像机拍摄的图像信息进行边缘提取，得到图像点云；
并且，数据融合模块在利用姿态信息对环形截面点云的位置进行校正之后，还包括：将校正后的环形截面点云与对应的图像点云叠加，将叠加所得的点云作为校正后的二维点云。
进一步地，浑水摄像机与环扫声呐安装于管道机器人的本体的同一部位。
进一步地，校正后的环形截面点云所对应的图像点云的识别方式，包括以下至少之一：
将根据获取自同一时刻的环形截面点云和图像信息得到的校正后的环形截面点云和图像点云识别为对应的信息；
对校正后的环形截面点云和图像点云分别做特征提取，将具有相同特征的校正后的环形截面点云和图像点云识别为对应的信息。
进一步地，数据融合模块还用于在得到排水管道的三维模型之后，将三维模型与排水管道的GIS图进行对比，并依据GIS图对三维模型中的错误进行修正。
进一步地，环扫声呐安装于管道机器人本体的前端，惯导传感器安装于管道机器人本体内部，计米器安装于管道机器人本体的尾部。
按照本发明的又一个方面，提供了一种排水管道缺陷定位方法，包括：
获得已训练好的缺陷定位模型；缺陷定位模型为机器学习模型，其以排水管道的三维模型为输入，用于识别排水管道的缺陷，并输出缺陷的位置信息；
将排水管道的三维模型输入至缺陷定位模型，得到排水管道中缺陷的位置信息；
其中，排水管道的三维模型由本发明提供的上述多传感器数据融合的排水管道三维模型构建***建立得到。
进一步地，本发明提供的排水管道缺陷定位方法，还包括：
利用排水管道中缺陷的位置信息，在排水管道的GIS图进行缺陷标记，从而对GIS图进行更新。
按照本发明的又一个方面，提供了一种缺陷定位***，包括：
计算机可读存储介质，用于存储计算机程序；
以及处理器，用于读取计算机可读存储介质中的计算机程序，执行本发明提供的上述排水管道缺陷定位方法。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
(1)本发明通过卡尔曼滤波实现了计米器测量得到的行进距离信息和惯导传感器(IMU)测量得到的姿态信息之间的融合，由于卡尔曼滤波在测量方差已知的情况下能够从一系列存在测量噪声的数据中，估计动态***的状态，因此，本发明能够在计米器和惯导传感器频率不同的情况下，有效实现数据融合，利用姿态信息对行进距离的偏移进行修正，得到更为准确的行进距离信息，进而实现对管道机器人的准确定位；本发明进一步利用姿态信息对环形截面点云的位置进行校正，实现了环扫声呐测量得到的环形截面点云与惯导传感器测量得到的姿态信息之间的融合，得到了更为准确的二维点云信息，最终依据管道机器人定位结果对二维点云信息进行拼接得到的三维模型，具有较高的精度。
总体而言，本发明有效实现了环扫声呐、计米器以及惯导传感器的数据融合，提高了排水管道三维模型的构建精度。
(2)在本发明的优选方案中，在卡尔曼滤波实现计米器和惯导传感器数据融合基础上，会进一步对融合结果进行反相滤波，由此能够在前向卡尔曼滤波结束后，取最后一次的滤波结果为初始值，反向更新状态估计值和协方差矩阵，由前向卡尔曼滤波和反向平滑器的协方差对状态量求加权平均值得到最优估计，同时也能使得到的曲线更加平滑，进一步提高管道机器人的定位精度。
(3)在本发明的优选方案中，同时利用浑水摄像机拍摄排水管道的图像信息，并通过边缘提取获得排水管道的图像点云，将校正后的环形截面点云与对应的图像点云叠加，作为校正后的二维点云，由此实现了环扫声呐和浑水摄像机之间的数据融合，由于声呐点云较为稀疏，本发明通过此数据融合，能够提高二维点云的精度，并进一步提高三维模型的构建精度。在其进一步的优选方案中，浑水摄像机与环扫声呐安装于管道机器人的本体的同一部位，能够保证图像点云与环形截面点云对应排水管道的同一位置，进一步提高二维点云的精度。
(4)在本发明的优选方案中，基于环形截面点云和图像信息的获取时间以及特征识别校正后的环形截面点云所对应的图像点云，保证点云叠加能够有效提高二维点云的精度。
(5)在本发明的优选方案中，在获得排水管道的三维模型后，进一步利用GIS图对三维模型中的错误进行修正，能够进一步提高排水管道三维模型的构建精度。
(6)本发明提供的排水管道缺陷定位方法，由于其中所依据的排水管道三维模型精度较高，能够准确反映排水管道内部的状态，因此，其缺陷定位精度较高。
(7)本发明提供的排水管道缺陷定位方法，在其优选方案中，在识别得到排水管道的缺陷位置后，进一步在排水管道的GIS图进行缺陷标记，由此能够使得GIS图直观、准确地反映排水管道的实际状态，为排水管道的作业提供明确的依据。
附图说明
图1为本发明实施例提供的基于卡尔曼滤波的计米器与惯导传感器数据融合示意图；
图2为本发明实施例提供的4组定位数据与真实数据的对比图
图3为本发明实施例提供的多传感器数据融合的排水管道三维模型构建***示意图；
图4为本发明实施例提供的数据融合模块获得排水管道的三维模型的流程图；
图5为本发明另一实施例提供的数据融合模块获得排水管道的三维模型的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在本发明中，本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
为了有效实现多传感器数据的融合，从而提高排水管道三维模型的构建精度，本发明提供了一种多传感器数据融合的排水管道三维模型构建***，其整体思路在于：提出有效的融合方式，实现多传感器数据融合，由此提高管道机器人的定位精度并对环形截面点云本身偏差进行校正，从而提高排水管道三维模型的构建精度。
本发明实现的数据融合包括：
(1)计米器测量得到的行进距离信息和惯导传感器测量得到的姿态信息之间的融合；
(2)环扫声呐扫描得到的环形截面点云与惯导传感器测量得到的姿态信息之间的融合。
在本发明一些优选的实施方式中，实现的数据融合还包括：
(3)以及环扫声呐扫描得到的环形截面点云与浑水摄像机拍摄的图像信息之间的融合。
对于计米器数据和惯导传感器数据之间的融合，计米器在水下稳定性较好，但是更新频率较低，一般只有1-10HZ之间，其精度一般为分米级，并且，在有水环境下，多使用漂浮式管道机器人，其在行进过程中，由于机器人的姿态会发生变化，也会影响计米器的定位精度；惯导传感器测量得到的机器人姿态信息包括三轴的加速度以及三轴的角加速度信息，基于三轴的加速度信息，也可以完成行进距离的计算，惯导传感器的更新频率较高，但是在计算行进距离的过程中由于需要进行积分，会导致误差累计，其定位精度也无法得到保证。将这两种传感器数据有效融合到一起，能够获得精度更高的行进距离，进而提高定位精度，但是，由于计米器与惯导传感器的更新频率不同，采用现有的基于最小二乘法加权的数据融合算法无法有效实现二者的融合。针对这一问题，本发明采用卡尔曼滤波来实现二者的融合。
卡尔曼滤波(Kalman filtering)是一种利用线性***状态方程，通过***输入输出观测数据，对***状态进行最优估计的算法。由于观测数据中包括***中的噪声和干扰的影响，所以最优估计也可看作是滤波过程。数据滤波是去除噪声还原真实数据的一种数据处理技术，Kalman滤波在测量方差已知的情况下能够从一系列存在测量噪声的数据中，估计动态***的状态。本发明使用卡尔曼滤波可以对这两个传感器采集数据进行处理以减少误差得到更加准确的坐标信息，在融合过程中，卡尔曼滤波的更新频率为惯导传感器与计米器更新频率的比值，其融合过程可采用图1进行描述。图2所示为在4组不同的数据上，利用不同方式计算的行进距离与真实数据之间的对比示意图，其中，“滤波前”表示直接利用计米器测量得到的行进距离，“卡尔曼滤波”表示通过卡尔曼滤波融合计米器数据和惯导传感器数据后得到的行进距离，“真实值”表示真实的行进距离，“最小二乘加权”表示通过最小二乘加权融合计米器数据和惯导传感器数据后得到的行进距离，“IMU积分”表示直接利用惯导传感器测量得到的三轴加速度信息积分后得到的行进距离。
根据图2所示的结果可知，基于本发明提出的数据融合方式所得到的行进距离信息，最接近于真实数据，且该结果相对于真实数据的误差很小，因此，本发明通过卡尔曼滤波融合计米器数据和惯导传感器数据，能够有效实现二者的融合，提高行进距离的精度，从而可以提高管道机器人的定位精度。
此外，由于机器人在水中运动导致的上下起伏与颠簸，导致环扫声呐不与管道截面垂直，从而会导致环扫声呐得到的环形点云发生畸变，同时由于单一的传感器信息的测量噪声也会导致对机器人定位不准从而得到的点云信息不够准确。基于此，本发明利用惯导传感器测量得到的姿态信息对环形截面点云进行了纠偏，具体方式如下：
1.通过IMU得到机器人的三轴加速度以及三轴角加速度；
2.通过卡尔曼滤波以及RTS反向滤波得到更新后的机器人位置以及姿态信息；
3.根据得到的机器人姿态信息如偏航，俯仰横滚角度等信息，得到截面点云对应的声呐姿态，根据声呐偏移的角度计算从而得到正确的点云位置；
4.机器人位置信息用于纠正环扫声呐每个环之间的偏差以及整体的三维点云的形状与长度。
本发明利用惯导传感器测量得到的姿态信息对环形截面点云进行纠偏和校正，能够提高环形截面点云的精确度。
基于准确的管道机器人定位信息，以及精确的环形截面点云信息，本发明即可有效提高排水管道三维模型的构建精度。
以下为实施例。
实施例1：
一种多传感器数据融合的排水管道三维模型构建***，如图3所示，包括：管道机器人，安装于管道机器人的同步定位装置和数据融合模块；
同步定位装置包括：环扫声呐，用于在机器人在排水管道内行进时，实时扫描排水管道内的环形截面点云；惯导传感器，用于实时测量管道机器人行进过程中的姿态信息；以及计米器，用于实时测量管道机器人的行进距离；
数据融合模块，用于执行图4所示的以下步骤，获得排水管道的三维模型：
通过卡尔曼滤波将行进距离和姿态信息进行融合，得到更新后的行进距离，并由此对管道机器人进行实时定位；卡尔曼滤波的更新频率为惯导传感器与计米器更新频率的比值；
利用姿态信息对环形截面点云的位置进行校正，得到校正后的二维点云，并将管道机器人运行过程中获得的校正后的二维点云信息按照管道机器人的定位结果依次连接，得到排水管道的三维模型。
本实施例通过卡尔曼滤波实现了计米器数据与惯导传感器数据之间的融合，由于卡尔曼滤波在测量方差已知的情况下能够从一系列存在测量噪声的数据中，估计动态***的状态，因此，本实施例能够在计米器和惯导传感器频率不同的情况下，有效实现数据融合，利用姿态信息对行进距离的偏移进行修正，得到更为准确的行进距离信息，进而实现对管道机器人的准确定位；本实施例进一步利用姿态信息对环形截面点云的位置进行校正，实现了环扫声呐测量得到的环形截面点云与惯导传感器测量得到的姿态信息之间的融合，得到了更为准确的二维点云信息，最终依据管道机器人定位结果对二维点云信息进行拼接得到的三维模型，具有较高的精度。总体而言，本实施例有效实现了环扫声呐、计米器以及惯导传感器的数据融合，提高了排水管道三维模型的构建精度。
为了使各传感器能够准确获取到相关的数据，作为一种优选地实施方式，本实施例中，环扫声呐安装于管道机器人本体的前端，惯导传感器安装于管道机器人本体内部，计米器安装于管道机器人本体的尾部。
排水管道的GIS(Geographic Information System)图，一般在排水管道设计与铺设过程中绘制得到，其描述了排水管道的整体规划与形貌；为了及时识别所建立的排水管道三维模型中可能存在的错误，例如，实际的弯管处在所构建的三维模型中为直管，本实施例在将二维点云拼接得到排水管道的三维点云之后，进一步包括：
将三维模型与排水管道的GIS图进行对比，并依据GIS图对三维模型中的错误进行修正；
本实施例在获得排水管道的三维模型后，进一步利用GIS图对三维模型中的错误进行修正，能够进一步提高排水管道三维模型的构建精度。
可选地，本实施例中，同步定位装置还包括：姿态自适应模块，用于实现机器人吊装下水过程中按照预设的姿态对机器人进行姿态校准和纠偏；以及在复杂环境下作业时，自动进行机器人姿态校准，保证机器人行进过程的稳定性。
实施例2：
一种多传感器数据融合的排水管道三维模型构建***。如图5所示，本实施例与上述实施例1类似，所不同之处在于，本实施例中，数据融合模块还用于在通过卡尔曼滤波将行进距离和姿态信息进行融合之后，对融合结果进行反向滤波，将反向滤波结果作为更新后的行进距离。
上述实施例1通过卡尔曼滤波实现计米器数据和惯导传感器数据融合，能够有效提高管道机器人的定位精度，但是，卡尔曼滤波器算法取的估计值xk+1只是在先前的观测值基础上的最优估计，顺序求估计值使后续获得的观测信息没有得到充分利用，而且如图2所示，这种融合方式得到的行进距离呈现出阶跃性的变化趋势。
本实施例在在卡尔曼滤波实现计米器和惯导传感器数据融合基础上，会进一步对融合结果进行反相滤波，即在原本的卡尔曼滤波器的基础上增加一个反向平滑器，由此能够在前向卡尔曼滤波结束后，取最后一次的滤波结果为初始值，反向更新状态估计值和协方差矩阵，由前向卡尔曼滤波和反向平滑器的协方差对状态量求加权平均值得到最优估计，同时也能使得到的曲线更加平滑，进一步提高管道机器人的定位精度，进而进一步提高排水管道三模型的构建精度。
实施例3：
一种多传感器数据融合的排水管道三维模型构建***。本实施例与上述实施例1类似，所不同之处在于，本实施例中，同步定位装置还包括：浑水摄像机，用于在机器人在排水管道内行进时，实时拍摄排水管道的图像信息；
并且，数据融合模块还用于对浑水摄像机拍摄的图像信息进行边缘提取，得到图像点云；
并且，数据融合模块在利用姿态信息对环形截面点云的位置进行校正之后，还包括：将校正后的环形截面点云与对应的图像点云叠加，将叠加所得的点云作为校正后的二维点云。
在浑水环境下拍摄的图像信息往往会存在缺失，无法直接用于排水管道三维模型的构建。考虑到声呐点云较为稀疏，其精度往往不高，本实施例在利用环扫声呐获取环形截面点云的同时，利用浑水摄像机拍摄排水管道的图像信息，并通过边缘提取获得排水管道的图像点云，将校正后的环形截面点云与对应的图像点云叠加，作为校正后的二维点云，实现了环扫声呐和浑水摄像机之间的数据融合，能够提高二维点云的精度。
为了保证点云叠加能够有效提高二维点云的精度，本实施例中，校正后的环形截面点云所对应的图像点云的识别方式，包括以下至少之一：
将根据获取自同一时刻的环形截面点云和图像信息得到的校正后的环形截面点云和图像点云识别为对应的信息；
对校正后的环形截面点云和图像点云分别做特征提取，将具有相同特征的校正后的环形截面点云和图像点云识别为对应的信息；特征可能是淤积、破损、板结等。
作为一种优选的实施方式，本实施例中，浑水摄像机与环扫声呐安装于管道机器人的本体的同一部位，即安装于管道机器人本体的前端，由此能够保证图像点云与环形截面点云对应排水管道的同一位置，进一步提高二维点云的精度。
实施例4：
一种排水管道缺陷定位方法，包括：
获得已训练好的缺陷定位模型；缺陷定位模型为机器学习模型，其以排水管道的三维模型为输入，用于识别排水管道的缺陷，并输出缺陷的位置信息；
将排水管道的三维模型输入至缺陷定位模型，得到排水管道中缺陷的位置信息；
其中，排水管道的三维模型由上述实施例1～3任一项所述的多传感器数据融合的排水管道三维模型构建***建立得到。
其中的缺陷定位模型可采用如下方式训练得到：
获得已知缺陷位置的排水管道的三维点云模型，构建训练数据集；缺陷可能是淤积、破损、板结等；
利用所构建的训练数据集对机器学习模型进行训练，得到缺陷定位模型；机器学习模型可以是FCN，U-net，SegNet，DeepLab等。
本实施例进一步包括：
利用排水管道中缺陷的位置信息，在排水管道的GIS图进行缺陷标记，从而对GIS图进行更新。
本实施例在识别得到排水管道的缺陷位置后，进一步在排水管道的GIS图进行缺陷标记，由此能够使得GIS图直观、准确地反映排水管道的实际状态，为排水管道的作业提供明确的依据。
实施例5：
一种缺陷定位***，包括：
计算机可读存储介质，用于存储计算机程序；
以及处理器，用于读取计算机可读存储介质中的计算机程序，执行上述实施例4提供的排水管道缺陷定位方法。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种多传感器数据融合的排水管道三维模型构建***，其特征在于，包括：管道机器人，安装于所述管道机器人的同步定位装置和数据融合模块；
所述同步定位装置包括：环扫声呐，用于在机器人在排水管道内行进时，实时扫描所述排水管道内的环形截面点云；惯导传感器，用于实时测量所述管道机器人行进过程中的姿态信息；以及计米器，用于实时测量所述管道机器人的行进距离；
所述数据融合模块，用于执行以下步骤，获得所述排水管道的三维模型：
通过卡尔曼滤波将所述行进距离和所述姿态信息进行融合，得到更新后的行进距离，并由此对所述管道机器人进行实时定位；卡尔曼滤波的更新频率为所述惯导传感器与所述计米器更新频率的比值；
利用所述姿态信息对环形截面点云的位置进行校正，得到校正后的二维点云，并将所述管道机器人运行过程中获得的校正后的二维点云信息按照所述管道机器人的定位结果依次连接，得到所述排水管道的三维模型。
2.如权利要求1所述的多传感器数据融合的排水管道三维模型构建***，其特征在于，所述数据融合模块在通过卡尔曼滤波将所述行进距离和所述姿态信息进行融合之后，还包括：对融合结果进行反向滤波，将反向滤波结果作为更新后的行进距离。
3.如权利要求1或2所述的多传感器数据融合的排水管道三维模型构建***，其特征在于，所述同步定位装置还包括：浑水摄像机，用于在机器人在排水管道内行进时，实时拍摄所述排水管道的图像信息；
并且，所述数据融合模块还用于对所述浑水摄像机拍摄的图像信息进行边缘提取，得到图像点云；
并且，所述数据融合模块在利用所述姿态信息对环形截面点云的位置进行校正之后，还包括：将校正后的环形截面点云与对应的图像点云叠加，将叠加所得的点云作为所述校正后的二维点云。
4.如权利要求3所述的多传感器数据融合的排水管道三维模型构建***，其特征在于，所述浑水摄像机与所述环扫声呐安装于所述管道机器人的本体的同一部位。
5.如权利要求3或4所述的多传感器数据融合的排水管道三维模型构建***，其特征在于，校正后的环形截面点云所对应的图像点云的识别方式，包括以下至少之一：
将根据获取自同一时刻的环形截面点云和图像信息得到的校正后的环形截面点云和图像点云识别为对应的信息；
对校正后的环形截面点云和图像点云分别做特征提取，将具有相同特征的校正后的环形截面点云和图像点云识别为对应的信息。
6.如权利要求1或2所述的多传感器数据融合的排水管道三维模型构建***，其特征在于，所述数据融合模块还用于在得到所述排水管道的三维模型之后，将所述三维模型与所述排水管道的GIS图进行对比，并依据所述GIS图对所述三维模型中的错误进行修正。
7.如权利要求1或2所述的多传感器数据融合的排水管道三维模型构建***，其特征在于，所述环扫声呐安装于所述管道机器人本体的前端，所述惯导传感器安装于所述管道机器人本体内部，所述计米器安装于所述管道机器人本体的尾部。
8.一种排水管道缺陷定位方法，其特征在于，包括：
获得已训练好的缺陷定位模型；所述缺陷定位模型为机器学习模型，其以排水管道的三维模型为输入，用于识别所述排水管道的缺陷，并输出缺陷的位置信息；
将所述排水管道的三维模型输入至所述缺陷定位模型，得到所述排水管道中缺陷的位置信息；
其中，所述排水管道的三维模型由权利要求1～7任一项所述的多传感器数据融合的排水管道三维模型构建***建立得到。
9.如权利要求8所述的排水管道缺陷定位方法，其特征在于，还包括：
利用所述排水管道中缺陷的位置信息，在所述排水管道的GIS图进行缺陷标记，从而对所述GIS图进行更新。
10.一种缺陷定位***，其特征在于，包括：
计算机可读存储介质，用于存储计算机程序；
以及处理器，用于读取所述计算机可读存储介质中的计算机程序，执行权利要求8或9所述的排水管道缺陷定位方法。
CN202310390696.2A 2023-04-12 2023-04-12 一种多传感器数据融合的排水管道三维模型构建*** Pending CN116524116A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310390696.2A CN116524116A (zh) 2023-04-12 2023-04-12 一种多传感器数据融合的排水管道三维模型构建***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310390696.2A CN116524116A (zh) 2023-04-12 2023-04-12 一种多传感器数据融合的排水管道三维模型构建***

Publications (1)

Publication Number Publication Date
CN116524116A true CN116524116A (zh) 2023-08-01

Family

ID=87395060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310390696.2A Pending CN116524116A (zh) 2023-04-12 2023-04-12 一种多传感器数据融合的排水管道三维模型构建***

Country Status (1)

Country Link
CN (1) CN116524116A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117934317A (zh) * 2024-01-23 2024-04-26 北京世航智能科技有限公司 基于多传感器的水下机器人在线定位方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117934317A (zh) * 2024-01-23 2024-04-26 北京世航智能科技有限公司 基于多传感器的水下机器人在线定位方法

Similar Documents

Publication Publication Date Title
CN110686677B (zh) 一种基于几何信息的全局定位方法
JP6760114B2 (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
CN114526745B (zh) 一种紧耦合激光雷达和惯性里程计的建图方法及***
CN109239709B (zh) 一种无人船的局部环境地图自主构建方法
CN112484725A (zh) 一种基于多传感器融合的智能汽车高精度定位与时空态势安全方法
CN107909614B (zh) 一种gps失效环境下巡检机器人定位方法
CN105866790A (zh) 一种考虑激光发射强度的激光雷达障碍物识别方法及***
Zhang et al. Visual SLAM for underwater vehicles: A survey
CN108759823B (zh) 基于图像匹配的指定道路上低速自动驾驶车辆定位及纠偏方法
CN103697855A (zh) 一种基于海天线检测的船体水平姿态测量方法
CN110766785A (zh) 一种地下管道实时定位与三维重建装置及方法
CN115407357A (zh) 基于大场景的低线束激光雷达-imu-rtk定位建图算法
Menna et al. Towards real-time underwater photogrammetry for subsea metrology applications
CN113223180B (zh) 基于多传感器融合的管道三维建模方法和***
CN114565674B (zh) 自动驾驶车辆城市结构化场景纯视觉定位方法及装置
CN110132281A (zh) 一种基于询问应答模式的水下高速目标高精度自主声学导航方法
CN116448100A (zh) 一种多传感器融合的近岸无人船slam方法
CN115930977A (zh) 特征退化场景的定位方法、***、电子设备和可读存介质
CN115457130A (zh) 一种基于深度关键点回归的电动汽车充电口检测定位方法
CN115218889A (zh) 一种基于点线特征融合的多传感器室内定位方法
CN116524116A (zh) 一种多传感器数据融合的排水管道三维模型构建***
CN114485613B (zh) 一种多信息融合水下机器人定位方法
CN109870546A (zh) 一种对管道测绘内检测imu数据预处理的优化方法
CN115540854A (zh) 一种基于uwb辅助的主动定位方法、设备和介质
CN115344033A (zh) 一种基于单目相机/imu/dvl紧耦合的无人船导航与定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination