CN114782626B - 基于激光与视觉融合的变电站场景建图及定位优化方法 - Google Patents
基于激光与视觉融合的变电站场景建图及定位优化方法 Download PDFInfo
- Publication number
- CN114782626B CN114782626B CN202210393283.5A CN202210393283A CN114782626B CN 114782626 B CN114782626 B CN 114782626B CN 202210393283 A CN202210393283 A CN 202210393283A CN 114782626 B CN114782626 B CN 114782626B
- Authority
- CN
- China
- Prior art keywords
- map
- sub
- pose
- laser
- positioning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000005457 optimization Methods 0.000 title claims abstract description 26
- 230000004927 fusion Effects 0.000 title claims abstract description 15
- 238000001514 detection method Methods 0.000 claims abstract description 39
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 25
- 238000012423 maintenance Methods 0.000 claims abstract description 21
- 230000000007 visual effect Effects 0.000 claims abstract description 17
- 238000013507 mapping Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 3
- 238000007689 inspection Methods 0.000 claims description 39
- 230000033001 locomotion Effects 0.000 claims description 29
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000010276 construction Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 230000001351 cycling effect Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 3
- 230000007547 defect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Optics & Photonics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种基于激光与视觉融合的变电站场景建图及定位优化方法，首先获取单线激光雷达、惯性传感器IMU、里程计和双目图像数据，进行预处理；然后进行局部定位与建图，构建子地图；在进行激光线程定位与建图的同时，同步进行对双目图像的处理即视觉线程，实现特征点跟踪，判断关键帧；再对获得的关键帧进行目标检测；最后生成语义地标，并投影至子地图；优化子地图，并进行全局优化。本发明方法结合了基于图优化的定位算法和深度学习的优势，可以得到完整的、可供稳定定位的导航地图，大大缩短了特征匹配时间，极大增加了变电站复杂运维场景下的定位的稳定性，并且使得在变电站场景下的导航更加快速和可靠。
Description
技术领域
本发明涉及激光与视觉融合的复杂场景下的SLAM领域，针对变电站的复杂环境下进行高效稳定的建图与定位。
背景技术
随着我国经济发展和人民的生活水平提高，社会用电量也在不断提高，电力工业随之迅猛发展。变电、输电、配电等电力***各环节是电网中十分重要的一环。所以，变电站迫切需要先进的现场运维技术。这对变电站的建设提出了更高的要求，变电站的智能化改造成为了热点问题。
变电站设备巡检是确保变电站运行正常的重要方法，当前变电站多数为人工进行识别变电站设备种类和型号以及所在的位置和姿态，在该过程中存在着一些难点和不足：
(1)人工巡检劳动强度大，工作效率低，检测质量和数据也存在着不准确性。由于高压、站设备密集、体积大、重量大的特点，开展人工带电作业很困难。而且变电站本身还会对人体本身造成一定的危害，不利于人体健康。
(2)若人工巡检时对设备进行断电处理，以保障巡检人员的人身安全，但随着变电站的集成化和集中化，断电对设备进行离线运维会对生活用电和工业用电造成极大的影响。
(3)变电站占地面积大，设备种类较多，设备布置多种多样，而且即便是同一类别同一型号的设备姿态位置也是各异。
因此，使用巡检机器人代替人工在站内对设备进行巡检是当务之急，有利于智能电网的建设，这样一方面可以降低员工劳动量，减少人力，另一方面也可以提高变电站运维和变电的效率。
为了能让机器人可以自主在变电站内进行巡检，SLAM(SimultaneousLocalization And Mapping，同时定位与建图)技术是核心技术。该技术通过对机器人身上携带的设备所采集到的数据进行计算，生成对其自身位置姿态的定位和场景地图信息的***。目前主流的SLAM***可分为激光SLAM和视觉SLAM两大类。激光SLAM通过多年的发展已经较为成熟，其核心是通过对激光雷达连续扫描得到的点云数据进行计算和匹配，计算激光雷达相对运动的距离和姿态的改变，以实现对机器人自身的定位，进而完成定位与地图的构建。激光SLAM方案可以使用单线激光雷达或是多线激光雷达。单线激光雷达可以很好的完成2D SLAM的任务，现有的算法如以滤波器方案为代表的Gmapping或是以图优化为代表的Cartographer都十分的优秀，但是其缺点也很明显：2D SLAM因为其维度的限制，天然的会缺失大部分场景的信息，所以其应用的局限性很大，一般用于室内定位。多线激光雷达在维度方面补全了单线雷达的不足，现有的开源方案也较为丰富，如LOAM、LEGO-LOAM等，但是随着点云数据的增多，处理大量的点云数据对小型计算机会造成极大的负荷，并且多线激光雷达高昂的售价限制了很多低成本项目采取这种方案。视觉SLAM算法的思路与激光SLAM大同小异，但是因为其输入为图像，而非稠密点云，需要对图像进行特征点提取，对计算机的要求较高，现有的算法有如ORB-SLAM系列、Vins-mono等，但是现有的视觉算法精度还达不到激光算法的程度，其所建立的稀疏地图也很难用于导航。所以，视觉与激光的多传感器融合方案是现在的研究热点。
发明内容
为了实现变电站巡检机器人对变电站各类设备巡检，确保巡检机器人可以准确、快速和稳定地进行定位和导航，考虑到变电站的实际复杂运维环境，二维激光雷达对设备区的栅栏、设备支架等物体的感知不强，出现激光从缝隙中穿透设备的现象，对后续建图的可读性和定位的稳定性造成极大的影响。现有的二维算法框架大多是基于理想环境下，如室内环境下或是在边缘特征简单的室外场景下可获得较为理想的定位和建图效果。但这些算法在变电站的复杂运维环境下都出现了一些不足，如定位速度较慢，甚至定位失败的情况。提出了一种基于单线激光雷达的视觉融合SLAM方案，本发明解决了单线激光雷达无法感知立体障碍物和激光穿透的问题，并且针对变电站的实际复杂场景进行了优化。
基于上述的挑战和问题，为了在低成本的基础上高效的实现在变电站复杂运维场景下的机器人自主巡检任务。本发明提出了一套基于单线激光雷达，并融合双目相机的SLAM方案。为了满足机器人在变电站巡检的需求，本发明使用单线激光雷达用图优化的方式对变电站场景构造栅格地图，并使其能够定位和导航。双目相机在单线激光雷达运行的同时处理图像数据，目标检测线程通过识别跟踪线程提取的ORB特征点来重构变电站设备的三维模型，来辅助机器人的导航避障，并且补偿激光线程构建的栅格地图。本发明的关键点是通过对单线激光数据的处理，在图像数据的辅助下，利用深度学习的方法，补偿且优化在变电站场景下维度不足导致的地图畸变和定位不稳定。
本发明实现功能：本发明所使用的巡检机器人搭载一台单线激光雷达和一台双目相机，并在机器人的物理中心置有惯性传感器，以及拥有轮速计。本发明使用机载单线激光雷达和双目相机，对变电站场景进行扫描，通过相机实现常见变电站设备的三维重建，针对变电站的复杂场景对雷达数据进行补偿和增强，使用处理后的子地图构建可供稳定定位导航的全局地图。
基于激光与视觉融合的变电站场景建图及定位优化方法，步骤如下：
步骤1：获取单线激光雷达、惯性传感器IMU、里程计和双目图像数据，进行预处理；
步骤2：进行局部定位与建图，构建子地图；
步骤3：在进行激光线程定位与建图的同时，同步进行对双目图像的处理即视觉线程，实现特征点跟踪，判断关键帧；
步骤4：对步骤3获得的关键帧进行目标检测；
步骤5：生成语义地标，并投影至子地图；
步骤6：优化子地图，并进行全局优化。
步骤1具体方法如下：
变电站巡检机器人通过所搭载的单线激光雷达对整个变电站的环境进行扫描来获得该变电站的单一平面的点云信息即点云数据。在巡检机器人运动的同时，使用通过标定算法提前矫正过的轮速计和惯性传感器IMU获得巡检机器人的轮速和IMU信息，计算得到机器人的实时速度和姿态，用于去除激光雷达的运动畸变。使用标定后的双目相机减少图像畸变对位姿估计带来的影响，双目相机在巡检机器人启动的同时也将启动，用于获取双目图像数据。之后，对获得的双目图像进行滤波处理，使后续的算法更好的找到双目图像中的特征点。
步骤2具体方法如下：
将通过轮速计和惯性传感器得到的机器人的速度和姿态数据，输入位姿推理器Pose Extrapolator，求解得到巡检机器人的预测位姿。再将去除运动畸变后的激光雷达数据和位姿推理器估计的位姿输入到扫描匹配器Scan Matching，并使用Ceres库完成优化计算，得到机器人位姿的观测值。观测值一方面反馈给位姿推理器用于修正其估计值，另一方面提供给运动滤波器Motion Filter用于判断机器人是否处于运动状态。为了避免每个子地图***过多的扫描帧数据，一旦扫描匹配器生成了新的观测位姿，则运动滤波器计算其与上一个观测位姿的变化量。若变化超过设定的变化阈值，则运动滤波器将此刻的观测位姿通过相关性扫描匹配CSM方法和此刻的预测位姿匹配求得机器人的真实位姿数据，并通过非线性最小二乘进行优化求解得到最优匹配，获取此刻点云数据中的各个激光点的实际坐标。当一张子地图开始维护时，其坐标原点为第一帧真实位姿的坐标原点。将激光点云转换到当前子地图的局部坐标系下，***正在维护的子地图中同时输出结果，该子地图包含了拥有时间信息的巡检机器人位姿及其激光扫描数据。在优化位姿的同时不断***数据帧使得子地图更新，对***子地图中的每一帧真实位姿进行评分，在该子地图创建完成时得到最优位姿，当子地图不再更新即认为子地图创建完成。此外，在子地图构建的过程中还为视觉的融合预留了接口，通过此接口可使视觉线程获得对子地图进行修改的权限。
步骤3具体方法如下：
在进行激光线程定位与建图的同时，同步进行对双目图像的处理即视觉线程，视觉线程包含了跟踪线程和目标检测线程。当一帧新的图像输入时，将会进入跟踪线程。在跟踪线程内，首先对这一帧图像的左右图像进行ORB(Oriented FAST and Rotated BRIEF)特征提取，提取完特征点后，对左右图像进行一次匹配，仅保留匹配成功的特征点并进行深度计算。当下一帧图像进入跟踪线程后，重复此步骤，用获得的特征点与上一帧图像的特征点进行匹配，然后用匹配到的特征点优化当前的相机位姿。当得到相机的位姿以后，将其转变为机器人位姿，与激光扫描计算得到的机器人轨迹对齐，得到每一个点云在世界坐标下的坐标。为了保证关键帧跟踪的质量，同时，避免引入过多的信息冗余，只有当某一帧图像中包含的点云数超过了设定点云数阈值，并且点云的重复度低于设定重复度阈值，则认为其为一帧关键帧。
步骤4具体方法如下：
对跟踪线程中提取到的关键帧进行目标检测即目标检测线程。目标检测算法使用FASTER R-CNN，使用变电站中的中大型近地设备的数据集对其进行训练，用于对关键帧进行检测。当其检测到训练数据集中的设备时，就会输出分类结果和回归结果，即预测框的标签和坐标。
步骤5具体方法如下：
当目标检测程序在某一关键帧中检测到设备后，则会对该关键帧前后相邻的十帧数据进行目标检测，来进行误判断检测。若是其中八帧图像都能检测到同一设备，则认为目标检测成功，反之则认为该次检测无效。由于相机面对物体在不同视角下，其投影大小也不同，不同帧中物体检测框的大小会随着相机的移动不断变化。当目标检测成功后，通过相机在世界坐标系中相邻帧的位姿和被检测设备在相邻帧中2D检测框的大小、坐标求解得到该设备在世界坐标系下的3D立方体形式的语义地标。该语义地标由9维向量来表示，包括了该设备的位姿(x,y,z,roll,pitch,yaw)和大小(length,width,height)。由于视觉线程和激光线程是同时运行的，并且激光雷达和双目相机为刚性固定在巡检机器人上，其相对位姿固定，通过时间戳即时间信息将双目相机和激光雷达的运动轨迹对齐，将计算得到的语义地标通过构建子地图时预留的接口投影至激光线程构建的子地图中。
步骤6具体方法如下：
通过对局部坐标系中的子地图进行优化，在不影响特征匹配的条件下，加快匹配速度并且提高稳定性，构建出可读性强的地图。完成的子地图由数个拥有时间信息的巡检机器人位姿及其激光扫描数据构成，通过对完成的子地图中的每一个位姿的激光扫描数据的坐标的集合进行一次非线性最小二乘的曲线拟合，曲线拟合算法中调用Ceres库执行优化，使地图中不再出现单束激光或多束激光穿透缝隙，导致地边缘发生跃变，并对该子地图做一次高斯滤波，进一步模糊地图边界，使地图在不影响全局定位的前提下，大幅度减少过于丰富的特征对定位造成的负优化。将拟合边缘后的子地图***全局地图中，其中第一子地图的原点位于全局地图的原点上，并用第一子地图中的最优位姿作为第二子地图的初始位姿，进而生成在全局地图上与第一子地图连接的第二子地图，不断循环此过程，通过创建大量子地图直至程序结束，完成在变电站复杂运维场景下的全局地图构建，最终得到可供稳定导航的栅格地图。
本发明的有益效果：本发明所述的方法结合变电站复杂运维场景提出了一种基于构建符合人类思维的地图的定位与建图方案，结合了基于图优化的定位算法和深度学习的优势，可以得到完整的、可供稳定定位的导航地图，大大缩短了特征匹配时间，极大增加了变电站复杂运维场景下的定位的稳定性，并且使得在变电站场景下的导航更加快速和可靠。
创新点1：通过对变电站区域现场扫描激光数据进行处理，实现了对变电站复杂运维环境下的定位与建图优化。与主流的特征匹配思路不同，在变电站复杂运维环境下，使用最小二乘法对地图边界做一次拟合，减少穿透的激光引起的噪声，再对构建的子地图进行滤波处理，减少大量不必要的计算量，加快匹配速度并减少误匹配的情况。
创新点2：使用双目相机对变电站场景进行扫描，对得到的关键帧进行目标检测，通过检测相邻关键帧中同一物体在不同视角下的检测框大小和深度，对该设备的姿态和尺寸进行求解，为后续的视觉避障提供了新的思路和方法，同时也为变电站复杂环境下的建立完整栅格地图奠定了基础。
创新点3：将点云中的获得的设备模型投影至激光构建的栅格地图，弥补变电站运维环境中，单线激光雷达无法获得的立体地图信息，大大提高了地图的可靠性。
附图说明
图1为本发明的实施流程图。
具体实施方式
下面结合附图详细说明本发明，本发明的目的和效果将变得更加明显。
为了实现在变电站复杂运维环境下巡检机器人代替人工进行巡检的目的，保证变电站的正常运行，也为了后续对机器人进行人工导航时导航地图更好的可读性。本发明解决了在复杂环境下构建的地图人类可读性差以及定位时间长和易丢失的问题，提供了一种实现在变电站中稳定定位，并能构建人类可读性强的导航地图的方法。实施流程图如图1所示。具体实施步骤如下：
步骤1：变电站巡检机器人通过所搭载的单线激光雷达对整个变电站的环境进行扫描来获得该变电站的单一平面的点云信息即点云数据。在巡检机器人运动的同时，使用通过标定算法提前矫正过的轮速计和惯性传感器IMU获得巡检机器人的轮速和IMU信息，计算得到机器人的实时速度和姿态，用于去除激光雷达的运动畸变。使用标定后的双目相机减少图像畸变对位姿估计带来的影响，双目相机在巡检机器人启动的同时也将启动，用于获取双目图像数据。之后，对获得的双目图像进行滤波处理，使后续的算法更好的找到双目图像中的特征点。
步骤2：将通过轮速计和惯性传感器得到的机器人的速度和姿态数据，输入位姿推理器(Pose Extrapolator)，求解得到巡检机器人的预测位姿。再将去除运动畸变后的激光雷达数据和位姿推理器估计的位姿输入到扫描匹配器(Scan Matching)，并使用Ceres库完成优化计算，得到机器人位姿的观测值。观测值一方面反馈给位姿推理器用于修正其估计值，另一方面提供给运动滤波器(Motion Filter)用于判断机器人是否处于运动状态。为了避免每个子地图***过多的扫描帧数据，一旦扫描匹配器生成了新的观测位姿，则运动滤波器计算其与上一个观测位姿的变化量。若变化超过设定的变化阈值，则运动滤波器将此刻的观测位姿通过相关性扫描匹配(CSM)方法和此刻的预测位姿匹配求得机器人的真实位姿数据，并通过非线性最小二乘进行优化求解得到最优匹配，获取此刻点云数据中的各个激光点的实际坐标。当一张子地图开始维护时，其坐标原点为第一帧真实位姿的坐标原点。将激光点云转换到当前子地图的局部坐标系下，***正在维护的子地图中同时输出结果，该子地图包含了拥有时间信息的巡检机器人位姿及其激光扫描数据。在优化位姿的同时不断***数据帧使得子地图更新，对***子地图中的每一帧真实位姿进行评分，在该子地图创建完成时得到最优位姿，当子地图不再更新即认为子地图创建完成。此外，在子地图构建的过程中还为视觉的融合预留了接口，通过此接口可使视觉线程获得对子地图进行修改的权限。
步骤3：在进行激光线程定位与建图的同时，同步进行对双目图像的处理即视觉线程，视觉线程包含了跟踪线程和目标检测线程。当一帧新的图像输入时，将会进入跟踪线程。在跟踪线程内，首先对这一帧图像的左右图像进行ORB(Oriented FAST and RotatedBRIEF)特征提取，ORB特征点由FAST特征检测方法和BRIEF特征描述子结合优化获得，能够对图像进行快速的特征提取和特征描述。ORB特征点具有尺度和旋转不变性，所以其具有不错的鲁棒性。提取完特征点后，对左右图像进行一次匹配，仅保留匹配成功的特征点并进行深度计算。当下一帧图像进入跟踪线程后，重复此步骤，用获得的特征点与上一帧图像的特征点进行匹配，然后用匹配到的特征点优化当前的相机位姿。当得到相机的位姿以后，将其转变为机器人位姿，与激光扫描计算得到的机器人轨迹对齐，得到每一个点云在世界坐标下的坐标。为了保证关键帧跟踪的质量，同时，避免引入过多的信息冗余，只有当某一帧图像中包含的点云数超过了设定点云数阈值，并且点云的重复度低于设定重复度阈值，则认为其为一帧关键帧。
步骤4：从巡检机器人的硬件性能方面考虑，如果对所有帧的点云数据进行检测，势必会对***算力造成极大负荷。基于节约计算资源的考虑，本方法仅对跟踪线程中提取到的关键帧进行目标检测即目标检测线程。目标检测算法使用FASTER R-CNN，使用变电站中的中大型近地设备的数据集对其进行训练，用于对关键帧进行检测。当其检测到训练数据集中的设备时，就会输出分类结果和回归结果，即预测框的标签和坐标。
步骤5：由于相机的频率高，巡检机器人在几帧图像之间的移动不会太大，图像中存在许多在不同视角下相同的物体。当目标检测程序在某一关键帧中检测到设备后，则会对该关键帧前后相邻的十帧数据进行目标检测，来进行误判断检测。若是其中八帧图像都能检测到同一设备，则认为目标检测成功，反之则认为该次检测无效。由于相机面对物体在不同视角下，其投影大小也不同，不同帧中物体检测框的大小会随着相机的移动不断变化。当目标检测成功后，通过相机在世界坐标系中相邻帧的位姿和被检测设备在相邻帧中2D检测框的大小、坐标求解得到该设备在世界坐标系下的3D立方体形式的语义地标。该语义地标由9维向量来表示，包括了该设备的位姿(x,y,z,roll,pitch,yaw)和大小(length,width,height)，通过其位姿信息能够用于后续的视觉避障，并获得满意的效果。由于视觉线程和激光线程是同时运行的，并且激光雷达和双目相机为刚性固定在巡检机器人上，其相对位姿固定，通过时间戳即时间信息将双目相机和激光雷达的运动轨迹对齐，将计算得到的语义地标通过构建子地图时预留的接口投影至激光线程构建的子地图中。
步骤6：考虑到变电站的实际复杂运维环境，二维激光雷达对设备区的栅栏、设备支架等物体的感知不强，出现激光从缝隙中穿透设备的现象，对后续建图的可读性和定位的稳定性造成极大的影响。现有的二维算法框架大多是基于理想环境下，如室内环境下或是在边缘特征简单的室外场景下可获得较为理想的定位和建图效果。但这些算法在变电站的复杂运维环境下都出现了一些不足，如定位速度较慢，甚至定位失败的情况。基于上述说明，本发明通过对局部坐标系中的子地图进行优化，在不影响特征匹配的条件下，加快匹配速度并且提高稳定性，构建出可读性强的地图。作为本发明的一种改进，完成的子地图由数个拥有时间信息的巡检机器人位姿及其激光扫描数据构成，通过对完成的子地图中的每一个位姿的激光扫描数据的坐标的集合进行一次非线性最小二乘的曲线拟合，曲线拟合算法中调用Ceres库执行优化，使地图中不再出现单束激光或多束激光穿透缝隙，导致地边缘发生跃变，并对该子地图做一次高斯滤波，进一步模糊地图边界，使地图在不影响全局定位的前提下，大幅度减少过于丰富的特征对定位造成的负优化。将拟合边缘后的子地图***全局地图中，其中第一子地图的原点位于全局地图的原点上，并用第一子地图中的最优位姿作为第二子地图的初始位姿，进而生成在全局地图上与第一子地图连接的第二子地图，不断循环此过程，通过创建大量子地图直至程序结束，完成在变电站复杂运维场景下的全局地图构建，最终得到可供稳定导航的栅格地图。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。
Claims (5)
1.基于激光与视觉融合的变电站场景建图及定位优化方法，其特征在于，步骤如下：
步骤1：获取单线激光雷达、惯性传感器IMU、里程计和双目图像数据，进行预处理；
步骤2：进行局部定位与建图，构建子地图；
步骤3：在进行激光线程定位与建图的同时，同步进行对双目图像的处理即视觉线程，实现特征点跟踪，判断关键帧；
步骤4：对步骤3获得的关键帧进行目标检测；
步骤5：生成语义地标，并投影至子地图；
步骤6：优化子地图，并进行全局优化；
步骤1具体方法如下：
变电站巡检机器人通过所搭载的单线激光雷达对整个变电站的环境进行扫描来获得该变电站的单一平面的点云信息即点云数据；在巡检机器人运动的同时，使用通过标定算法提前矫正过的轮速计和惯性传感器IMU获得巡检机器人的轮速和IMU信息，计算得到机器人的实时速度和姿态，用于去除激光雷达的运动畸变；使用标定后的双目相机减少图像畸变对位姿估计带来的影响，双目相机在巡检机器人启动的同时也将启动，用于获取双目图像数据；之后，对获得的双目图像进行滤波处理，使后续的算法更好的找到双目图像中的特征点；
步骤2具体方法如下：
将通过轮速计和惯性传感器得到的机器人的速度和姿态数据，输入位姿推理器PoseExtrapolator，求解得到巡检机器人的预测位姿；再将去除运动畸变后的激光雷达数据和位姿推理器估计的位姿输入到扫描匹配器Scan Matching，并使用Ceres库完成优化计算，得到机器人位姿的观测值；观测值一方面反馈给位姿推理器用于修正其估计值，另一方面提供给运动滤波器Motion Filter用于判断机器人是否处于运动状态；为了避免每个子地图***过多的扫描帧数据，一旦扫描匹配器生成了新的观测位姿，则运动滤波器计算其与上一个观测位姿的变化量；若变化超过设定的变化阈值，则运动滤波器将此刻的观测位姿通过相关性扫描匹配CSM方法和此刻的预测位姿匹配求得机器人的真实位姿数据，并通过非线性最小二乘进行优化求解得到最优匹配，获取此刻点云数据中的各个激光点的实际坐标；当一张子地图开始维护时，其坐标原点为第一帧真实位姿的坐标原点；将激光点云转换到当前子地图的局部坐标系下，***正在维护的子地图中同时输出结果，该子地图包含了拥有时间信息的巡检机器人位姿及其激光扫描数据；在优化位姿的同时不断***数据帧使得子地图更新，对***子地图中的每一帧真实位姿进行评分，在该子地图创建完成时得到最优位姿，当子地图不再更新即认为子地图创建完成；此外，在子地图构建的过程中还为视觉的融合预留了接口，通过此接口可使视觉线程获得对子地图进行修改的权限。
2.根据权利要求1所述的基于激光与视觉融合的变电站场景建图及定位优化方法，其特征在于，步骤3具体方法如下：
在进行激光线程定位与建图的同时，同步进行对双目图像的处理即视觉线程，视觉线程包含了跟踪线程和目标检测线程；当一帧新的图像输入时，将会进入跟踪线程；在跟踪线程内，首先对这一帧图像的左右图像进行ORB(Oriented FAST and Rotated BRIEF)特征提取，提取完特征点后，对左右图像进行一次匹配，仅保留匹配成功的特征点并进行深度计算；当下一帧图像进入跟踪线程后，重复此步骤，用获得的特征点与上一帧图像的特征点进行匹配，然后用匹配到的特征点优化当前的相机位姿；当得到相机的位姿以后，将其转变为机器人位姿，与激光扫描计算得到的机器人轨迹对齐，得到每一个点云在世界坐标下的坐标；为了保证关键帧跟踪的质量，同时，避免引入过多的信息冗余，只有当某一帧图像中包含的点云数超过了设定点云数阈值，并且点云的重复度低于设定重复度阈值，则认为其为一帧关键帧。
3.根据权利要求2所述的基于激光与视觉融合的变电站场景建图及定位优化方法，其特征在于，步骤4具体方法如下：
对跟踪线程中提取到的关键帧进行目标检测即目标检测线程；目标检测算法使用FASTER R-CNN，使用变电站中的中大型近地设备的数据集对其进行训练，用于对关键帧进行检测；当其检测到训练数据集中的设备时，就会输出分类结果和回归结果，即预测框的标签和坐标。
4.根据权利要求3所述的基于激光与视觉融合的变电站场景建图及定位优化方法，其特征在于，步骤5具体方法如下：
当目标检测程序在某一关键帧中检测到设备后，则会对该关键帧前后相邻的十帧数据进行目标检测，来进行误判断检测；若是其中八帧图像都能检测到同一设备，则认为目标检测成功，反之则认为该次检测无效；由于相机面对物体在不同视角下，其投影大小也不同，不同帧中物体检测框的大小会随着相机的移动不断变化；当目标检测成功后，通过相机在世界坐标系中相邻帧的位姿和被检测设备在相邻帧中2D检测框的大小、坐标求解得到该设备在世界坐标系下的3D立方体形式的语义地标；该语义地标由9维向量来表示，包括了该设备的位姿(x,y,z,roll,pitch,yaw)和大小(length,width,height)；由于视觉线程和激光线程是同时运行的，并且激光雷达和双目相机为刚性固定在巡检机器人上，其相对位姿固定，通过时间戳即时间信息将双目相机和激光雷达的运动轨迹对齐，将计算得到的语义地标通过构建子地图时预留的接口投影至激光线程构建的子地图中。
5.根据权利要求4所述的基于激光与视觉融合的变电站场景建图及定位优化方法，其特征在于，步骤6具体方法如下：
通过对局部坐标系中的子地图进行优化，在不影响特征匹配的条件下，加快匹配速度并且提高稳定性，构建出可读性强的地图；完成的子地图由数个拥有时间信息的巡检机器人位姿及其激光扫描数据构成，通过对完成的子地图中的每一个位姿的激光扫描数据的坐标的集合进行一次非线性最小二乘的曲线拟合，曲线拟合算法中调用Ceres库执行优化，使地图中不再出现单束激光或多束激光穿透缝隙，导致地边缘发生跃变，并对该子地图做一次高斯滤波，进一步模糊地图边界，使地图在不影响全局定位的前提下，大幅度减少过于丰富的特征对定位造成的负优化；将拟合边缘后的子地图***全局地图中，其中第一子地图的原点位于全局地图的原点上，并用第一子地图中的最优位姿作为第二子地图的初始位姿，进而生成在全局地图上与第一子地图连接的第二子地图，不断循环此过程，通过创建大量子地图直至程序结束，完成在变电站复杂运维场景下的全局地图构建，最终得到可供稳定导航的栅格地图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210393283.5A CN114782626B (zh) | 2022-04-14 | 2022-04-14 | 基于激光与视觉融合的变电站场景建图及定位优化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210393283.5A CN114782626B (zh) | 2022-04-14 | 2022-04-14 | 基于激光与视觉融合的变电站场景建图及定位优化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114782626A CN114782626A (zh) | 2022-07-22 |
| CN114782626B true CN114782626B (zh) | 2024-06-07 |
Family
ID=82429966
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210393283.5A Active CN114782626B (zh) | 2022-04-14 | 2022-04-14 | 基于激光与视觉融合的变电站场景建图及定位优化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114782626B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115164887A (zh) * | 2022-08-30 | 2022-10-11 | 中国人民解放军国防科技大学 | 基于激光雷达与惯性组合的行人导航定位方法和装置 |
| CN115900553A (zh) * | 2023-01-09 | 2023-04-04 | 成都盛锴科技有限公司 | 一种列车巡检机器人的复合定位方法及其*** |
| CN116630394B (zh) * | 2023-07-25 | 2023-10-20 | 山东中科先进技术有限公司 | 一种三维建模约束的多模态目标物体姿态估计方法及*** |
| CN117554984A (zh) * | 2023-11-08 | 2024-02-13 | 广东科学技术职业学院 | 一种基于图像理解的单线激光雷达室内slam定位方法及*** |
| CN117451035B (zh) * | 2023-12-25 | 2024-02-27 | 江苏中科重德智能科技有限公司 | 一种激光slam自适应自动更新地图的方法及*** |
| CN117949968B (zh) * | 2024-03-26 | 2024-06-21 | 深圳市其域创新科技有限公司 | 激光雷达slam定位方法、装置、计算机设备和存储介质 |
| CN117968666A (zh) * | 2024-04-02 | 2024-05-03 | 国网江苏省电力有限公司常州供电分公司 | 基于融合slam的变电站巡检机器人定位与导航方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111487642A (zh) * | 2020-03-10 | 2020-08-04 | 国电南瑞科技股份有限公司 | 基于三维激光和双目视觉的变电站巡检机器人定位导航***及方法 |
| CN112180941A (zh) * | 2020-10-19 | 2021-01-05 | 垒途智能教科技术研究院江苏有限公司 | 一种多传感器融合的无人车探测避障***及避障方法 |
| CN112785702A (zh) * | 2020-12-31 | 2021-05-11 | 华南理工大学 | 一种基于2d激光雷达和双目相机紧耦合的slam方法 |
| CN112833892A (zh) * | 2020-12-31 | 2021-05-25 | 杭州普锐视科技有限公司 | 一种基于轨迹对齐的语义建图方法 |
-
2022
- 2022-04-14 CN CN202210393283.5A patent/CN114782626B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111487642A (zh) * | 2020-03-10 | 2020-08-04 | 国电南瑞科技股份有限公司 | 基于三维激光和双目视觉的变电站巡检机器人定位导航***及方法 |
| CN112180941A (zh) * | 2020-10-19 | 2021-01-05 | 垒途智能教科技术研究院江苏有限公司 | 一种多传感器融合的无人车探测避障***及避障方法 |
| CN112785702A (zh) * | 2020-12-31 | 2021-05-11 | 华南理工大学 | 一种基于2d激光雷达和双目相机紧耦合的slam方法 |
| CN112833892A (zh) * | 2020-12-31 | 2021-05-25 | 杭州普锐视科技有限公司 | 一种基于轨迹对齐的语义建图方法 |
Non-Patent Citations (3)
| Title |
|---|
| ORB-SLAM3: An Accurate Open-Source Library for Visual, Visual–Inertial, and Multimap SLAM;Carlos Campos 等;《IEEE TRANSACTIONS ON ROBOTICS》;20211231;第1-17页 * |
| 一种单双目视觉结合的实时激光三维测量方法;崔海华;翁金平;程筱胜;张晨博;;光学与光电技术;20161210(第06期);全文 * |
| 变电站巡检机器人激光建图***设计;王振祥;李建祥;肖鹏;;山东电力技术;20170625(第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114782626A (zh) | 2022-07-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114782626B (zh) | 基于激光与视觉融合的变电站场景建图及定位优化方法 | |
| CN110349250B (zh) | 一种基于rgbd相机的室内动态场景的三维重建方法 | |
| CN110765894B (zh) | 目标检测方法、装置、设备及计算机可读存储介质 | |
| CA2950791C (en) | Binocular visual navigation system and method based on power robot | |
| CN113450408B (zh) | 一种基于深度相机的非规则物***姿估计方法及装置 | |
| CN108389256B (zh) | 二三维交互式无人机电力杆塔巡检辅助方法 | |
| CN111612059B (zh) | 一种基于pointpillars的多平面编码点云特征深度学习模型的构建方法 | |
| Meng et al. | Real‐time automatic crack detection method based on drone | |
| CN108303096B (zh) | 一种视觉辅助激光定位***及方法 | |
| US11948344B2 (en) | Method, system, medium, equipment and terminal for inland vessel identification and depth estimation for smart maritime | |
| CN114241298A (zh) | 一种激光雷达和图像融合的塔吊环境目标检测方法及*** | |
| CN116630394B (zh) | 一种三维建模约束的多模态目标物体姿态估计方法及*** | |
| Momeni-k et al. | Height estimation from a single camera view | |
| CN108106617A (zh) | 一种无人机自动避障方法 | |
| CN113284144A (zh) | 一种基于无人机的隧道检测方法及装置 | |
| Alidoost et al. | Y-shaped convolutional neural network for 3d roof elements extraction to reconstruct building models from a single aerial image | |
| CN115439621A (zh) | 一种煤矿井下巡检机器人三维地图重建及目标检测方法 | |
| Sheng et al. | Mobile robot localization and map building based on laser ranging and PTAM | |
| Liu et al. | A method for detecting power lines in UAV aerial images | |
| Zhou | Application and Analysis of Computer Vision Algorithms in Graphics and Image Processing | |
| Ding et al. | Electric power line patrol operation based on vision and laser SLAM fusion perception | |
| Huang et al. | Fast initialization method for monocular slam based on indoor model | |
| CN114217641B (zh) | 一种非结构环境下无人机送变电设备巡检方法及*** | |
| CN113920254B (zh) | 一种基于单目rgb的室内三维重建方法及其*** | |
| Ma et al. | Robust visual-inertial odometry with point and line features for blade inspection UAV |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |