CN110262546A - 一种隧道智能无人机巡检***及方法 - Google Patents

一种隧道智能无人机巡检***及方法 Download PDF

Info

Publication number
CN110262546A
CN110262546A CN201910526199.4A CN201910526199A CN110262546A CN 110262546 A CN110262546 A CN 110262546A CN 201910526199 A CN201910526199 A CN 201910526199A CN 110262546 A CN110262546 A CN 110262546A
Authority
CN
China
Prior art keywords
unmanned plane
tunnel
point
camera
monocular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910526199.4A
Other languages
English (en)
Other versions
CN110262546B (zh
Inventor
杨文�
张瑞祥
林诗杰
张恒
罗豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201910526199.4A priority Critical patent/CN110262546B/zh
Publication of CN110262546A publication Critical patent/CN110262546A/zh
Application granted granted Critical
Publication of CN110262546B publication Critical patent/CN110262546B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00Measuring or testing not otherwise provided for
    • G01D21/02Measuring two or more variables by means not covered by a single other subclass
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Navigation (AREA)

Abstract

本发明公开了一种隧道智能无人机巡检***及方法,通过结合无人机技术、图像处理技术,将无人机应用到隧道的巡检工作中去。本发明在无人机的平台上添加了多种传感器,利用单目黑白相机和惯性测量单元IMU采集的数据,根据VINS‑Mono定位建图算法,同时采用多传感器数据融合的方式实现对隧道内无人机的精确定位导航,利用二维激光雷达采集点云数据,实现对隧道墙面方向的估计和无人机避障,同时利用高分辨率相机对隧道图像进行采集,通过SfM算法恢复相机运动轨迹,再结合高清图像生成隧道的三维模型,以此实现细致的隧道巡检任务。相对于传统的依赖人员和车辆进行隧道巡检的方式,本发明自动化程度高、工作效率高,可以广泛地运用于隧道巡检工作中去。

Description

一种隧道智能无人机巡检***及方法
技术领域
本发明属于图像处理与无人机技术领域,涉及一种无人机巡检***及方法,具体涉及一种隧道环境下无人机的自主定位、周围环境感知、无人机路径规划和避障、图像三维重建***及方法。
背景技术
近年来,随着我国的不断发展,国内经济水平每年高速增长和综合国力不断提升,各类基础设施的建设能力得到了极大的提升。随着港珠澳大桥沉管隧道、武汉三阳路长江隧道、青藏铁路关角隧道等一系列大型隧道工程的竣工,我国已经成为世界上隧道及地下工程规模最大、各型地质结构最为复杂、各类修建技术发展最快的国家。然而,随着时间的流逝,地质变化,交通事故冲撞,腐蚀损坏和虫害等种种因素都会给隧道造成不通程度的影响。轻微的影响能造成隧道表面裂缝,严重的影响则可能会导致隧道洞体形变乃至区间洞面材料掉落等。隧道养护人员须即时发现并且进行有效的维护以防止危害发生。隧道巡检是增加隧道生命周期的不可或缺的重要环节。然而传统隧道巡检依赖人员和车辆进行巡查,不仅耗时耗力,而且人员成本和检修成本也非常高。任何低效率的方法,在国内上万公里的隧道检修面前都会被放大数千万倍,造成极大的浪费与损耗。
随着无人机技术的不断进步,其操纵的强灵活性及其功能的高扩展性逐渐受到大众青睐,使用无人机在隧道中进行巡查已经成为可能。搭载各类传感器,无人机能够自主感知各类隧道环境,在隧道中实现自主定位与巡航。只需少量人员进行操作,无人机就能够自主的完成长距离的隧道巡查。此外,得益于无人机的小体积优势,在许多不方便人员进出的隧道,如大型下水道等环境,无人机能够有效的增加巡检工作的效率。
然而,隧道内部环境极其复杂与恶劣,这对于无人机作业存在极大挑战。隧道内部由于遮挡导致GPS信号无法穿透,常见的依赖GPS信号进行无人机位姿估计的商用无人机***全部无法在隧道内进行飞行。此外,地铁隧道的电气***和隧道附近的含磁层等等因素,都会导致隧道中的不同区间的磁场剧烈变化,无人机无法校准方向。并且,隧道的空间结构相对常见的无人机飞行场景,如室外,都较为狭小,无人机飞行时容易受到墙面反弹气流的干扰,严重干扰无人机的自稳,严重时可能导致坠机。因此,需要设计一个能在隧道环境下稳定巡航的智能无人机巡检***及方法。
发明内容
本发明的目的在于提供一种隧道智能无人机巡检***及方法,用于代替目前的人工隧道巡检工作,降低人力成本,提高作业效率。
本发明的***所采用的技术方案是:一种隧道智能无人机巡检***,其特征在于:包括无人机、飞行控制器、机载计算机、惯性测量单元IMU、单目黑白相机、高分辨率相机、单点激光测距仪、气压计、二维激光雷达和照明设备;
所述飞行控制器用于控制所述无人机的起飞、移动、降落;
所述机载计算机、单目黑白相机、惯性测量单元IMU分别与所述飞行控制器连接,用于计算视觉惯导里程计,对无人机自身进行定位导航;
所述单点激光测距仪、气压计分别与所述飞行控制器连接,用于对无人机飞行高度的测量,实现稳定飞行;
所述二维激光雷达和所述机载计算机连接,用于对隧道周围环境进行感知,实现有效地避障、对隧道曲折方向的估计以及实时路线调整;
所述照明装置用于为隧道提供稳定的光照环境,由无人机的电池供电,安装在无人机的机架前端;
所述高分辨率相机和所述机载计算机相连接,采集高分辨率的图像,用于稠密的三维重建;
所述飞行控制器、机载计算机、惯性测量单元IMU、单目黑白相机、高分辨率相机、单点激光测距仪、气压计、二维激光雷达均固定安装在传感器放置架上,所述放置架固定设置在所述无人机的机架上方。
作为优选,所述飞行控制器、机载计算机、惯性测量单元IMU、单目黑白相机、高分辨率相机、单点激光测距仪、气压计、二维激光雷达均固定安装在传感器放置架上,所述传感器放置架通过对飞行控制器、机载计算机、惯性测量单元IMU、单目黑白相机、高分辨率相机、单点激光测距仪、气压计、二维激光雷达和无人机电池不对称的布局放置,使得无人机的重心保持在无人机的几何中心。
本发明的方法所采用的技术方案是:一种隧道智能无人机巡检方法,其特征在于,包括以下步骤:
步骤1:以单目黑白相机和惯性测量单元IMU计算视觉里程计,同时结合二维激光雷达、单点激光测距仪、气压计的数据,实现无人机在隧道内的定位和精准地导航飞行;
步骤2:使用二维激光雷达对隧道进行感知,包括对隧道墙面进行估计,得出无人机前进的航向角,以及感知周围的障碍物,进行无人机避障;
步骤3:利用照明装置为隧道提供稳定的光照环境,由高分辨率相机采集隧道内的影像,同时恢复相机的运动轨迹,结合高分辨率相机拍摄的图像,进行隧道的三维重建;
步骤4:结合GPS信号和二维激光雷达,判断无人机是否通过隧道;
如果通过隧道,则利用GPS信号飞往降落点降落,否则继续按照隧道墙面方向向前飞行。
作为优选,步骤1中,机载计算机通过处理单目黑白相机和惯性测量单元IMU的数据,利用VINS-Mono算法计算视觉惯性里程计实现无人机在隧道内的定位;
如果由于环境因素而造成单目黑白相机采集到的图像检测不到特征点,则切换使用二维激光雷达采集的信息,通过计算无人机距离隧道左右两侧墙面的距离,保证无人机在左右两墙面间的中心处飞行;同时,在单目黑白相机拍摄的图像中能检测到特征点时,重新初始化视觉惯性里程计,切换回使用视觉惯性里程计定位;
无人机的高度信息由单点激光测距仪和气压计相结合提供。
作为优选,所述利用VINS-Mono算法计算视觉惯性里程计实现无人机在隧道内的定位;
首先使用纯视觉的单目位姿估计方法,通过初始的若干图像帧,在一个局部滑动窗口中恢复初始的图像帧位姿和三维点坐标,完成对无人机的位姿初始化;
然后将视觉估计得结果与惯性测量单元IMU预积分的值进行对齐,实现对陀螺仪偏置的校正,求解重力向量方向,并恢复单目黑白相机的尺度因子,得到单目黑白相机和惯性测量单元IMU的约束关系,统一两个坐标系,将单目黑白相机坐标系和惯性测量单元IMU坐标系进行对齐后,在图像上的所有计算将以惯性测量单元IMU坐标系作为机体坐标系,使所有坐标转换后具有一致的变换;
最后通过最小化特征点重投影误差来求解单目黑白相机位姿和三维特征点的最优估计,同时,引入惯性测量单元IMU数据对位姿估计进行补偿,获得更好的估计效果。
作为优选,所述使用纯视觉的单目位姿估计方法,通过初始的若干图像帧,在一个局部滑动窗口中恢复初始的图像帧位姿和三维点坐标,完成对无人机的位姿初始化;
首先,对滑动窗口内所有帧进行遍历,同时进行Harris角点检测,检测出的角点即为关键点,选择和当前帧有足够多共同关键点和较大视差的图像帧作为关键帧,之后采用LK光流法进行角点跟踪,利用五点法恢复该关键帧和当前帧的基础矩阵,恢复这两帧间的旋转和平移矩阵,并三角化恢复共视点的深度;
然后使用PNP的方法求解滑动窗口内其余帧的位姿信息与三维特征点信息;
最后,使用局部的BA方法,对滑动窗口内所有特征点进行最小化重投影误差,得到优化后的相机位姿和三维特征点,完成纯视觉的单目位姿估计。
作为优选,步骤2中,利用二维激光雷达对无人机周围环境进行采集,对采集到的点云信息进行滤波,之后利用RANSAC算法对左右两边的点云分别进行估计,拟合出当前隧道墙面的方向,修改无人机的航向,同时,通过墙面间的点云簇信息,建立局部代价地图,实现无人机的动态避障。
作为优选,步骤3中,通过增量式的SfM算法恢复相机的运动轨迹,结合高分辨率相机拍摄的图像,通过PMVS算法以及TexRecon算法进行隧道的三维重建。
本发明所述的隧道智能无人机巡检***,其完成的效果是:无人机根据单目黑白相机和惯性测量单元IMU采集的数据,计算视觉惯性里程计,同时结合其他传感器数据,进行无人机自身的定位导航,在飞行过程中,通过二维激光雷达实现对隧道墙面方向的估计和无人机的避障,同时,利用照明设备辅助高分辨率相机拍摄隧道内墙壁的高清图像,结合相机的运动轨迹进行三维建模,实现对隧道的数据采集,便于后续检测。本发明通过结合无人机技术和图像处理技术,将无人机应用于隧道巡检工作中,利用多种传感器,采用VINS-Mono定位建图算法、RANSAC算法、SfM算法,实现无人机在隧道环境下的稳定飞行和三维建模。相对于传统的依赖人员和车辆进行隧道巡检的方式,本发明自动化程度高、工作效率高,可以广泛地运用于隧道巡检工作中去。
附图说明
图1为本发明实施例的***模块示意图;
图2为本发明实施例中传感器放置架示意图;
图3为本发明实施例的方法流程图;
图4为本发明实施例中无人机定位算法框架图;
图5为本发明实施例中视觉的单目位姿估计流程图;
图6为本发明实施例中视觉和IMU数据对齐效果图;
图7为本发明实施例中利用RANSAC拟合直线的示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图及实施例对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
请见图1,本发明提供的一种隧道智能无人机巡检***,包括无人机、飞行控制器、机载计算机、惯性测量单元IMU、单目黑白相机、高分辨率相机、单点激光测距仪、气压计、二维激光雷达和照明设备;
飞行控制器用于控制无人机的起飞、移动、降落;
机载计算机、单目黑白相机、惯性测量单元IMU分别与飞行控制器连接,用于计算视觉惯导里程计,对无人机自身进行定位导航;
单点激光测距仪、气压计分别与飞行控制器连接,用于对无人机飞行高度的测量,实现稳定飞行;
二维激光雷达和机载计算机连接,用于对隧道周围环境进行感知,实现有效地避障、对隧道曲折方向的估计以及实时路线调整;
照明装置用于为隧道提供稳定的光照环境,由无人机的电池供电,安装在无人机的机架前端;
高分辨率相机和机载计算机相连接,采集高分辨率的图像,用于稠密的三维重建;
飞行控制器、机载计算机、惯性测量单元IMU、单目黑白相机、高分辨率相机、单点激光测距仪、气压计、二维激光雷达均固定安装在传感器放置架上,放置架固定设置在无人机的机架上方。
本实施例的无人机采用的是大疆Matrice 100四旋翼无人机。
请见图2,本实施例的飞行控制器、机载计算机、惯性测量单元IMU、单目黑白相机、高分辨率相机、单点激光测距仪、气压计、二维激光雷达均固定安装在传感器放置架上,传感器放置架通过对飞行控制器、机载计算机、惯性测量单元IMU、单目黑白相机、高分辨率相机、单点激光测距仪、气压计、二维激光雷达和无人机电池不对称的布局放置,使得无人机的重心保持在无人机的几何中心。
请见图3,本发明提供的一种隧道智能无人机巡检方法,包括以下步骤:
步骤1:以单目黑白相机和惯性测量单元IMU计算视觉里程计,同时结合二维激光雷达、单点激光测距仪、气压计的数据,实现无人机在隧道内的定位和精准地导航飞行;
该步骤主要是利用单目黑白相机采集周围环境的图像,通过机载计算机提取并跟踪图像中的特征点,结合惯性测量单元IMU,采用VINS-Mono算法计算视觉惯性里程计,同时融合多个传感器的数据,在因为扬尘等其他因素导致单目视觉失效的情况下,保证无人机能够稳定定位导航,算法框架如图4所示。
该步骤首先使用纯视觉的单目位姿估计方法,通过初始的若干图像帧,在一个局部滑动窗口中恢复初始的图像帧位姿和三维点坐标,完成对无人机的位姿初始化,具体步骤如图5所示。首先,对滑动窗口内所有帧进行遍历,同时进行Harris角点检测,检测出的角点即为关键点,选择和当前帧有足够多共同关键点和较大视差的图像帧作为关键帧,之后采用LK光流法进行角点跟踪,利用五点法恢复该关键帧和当前帧的基础矩阵,恢复这两帧间的旋转和平移矩阵,并三角化恢复共视点的深度。随后使用PNP的方法求解滑动窗口内其余帧的位姿信息与三维特征点信息。为了使估计的位姿更加准确,使用局部的BA方法,对滑动窗口内所有特征点进行最小化重投影误差,得到优化后的相机位姿和三维特征点,完成纯视觉的单目位姿估计。之后,由于纯视觉的位姿估计无法估计位姿的绝对尺度,将视觉估计得结果与惯性测量单元IMU预积分的值进行对齐,可实现对陀螺仪偏置的校正,求解重力向量方向,并恢复单目相机的尺度因子,得到相机和惯性测量单元IMU的约束关系,统一两个坐标系,如图6所示。将相机坐标系和惯性测量单元IMU坐标系进行对齐后,之后在图像上的所有计算将以惯性测量单元IMU坐标系作为机体坐标系,使所有坐标转换后具有一致的变换。然后,通过最小化特征点重投影误差来求解相机位姿和三维特征点的最优估计,同时,引入惯性测量单元IMU数据对位姿估计进行补偿,获得更好的估计效果;
如果单目黑白相机采集到的图像检测不到特征点,立即切换使用二维激光雷达采集的信息,通过计算无人机距离隧道左右两侧墙面的距离,保证无人机在左右两墙面间的中心处飞行,同时,在单目黑白相机拍摄的图像中可以检测到特征点时,重新初始化视觉惯性里程计,切换回使用视觉惯性里程计定位;
由于隧道内墙面结构简单,存在的特征点较少,而无人机旋翼产生的较大风力可能会吹起地面上的灰尘,导致单目相机拍摄的图像更加模糊,检测不到特征点,单目视觉信息失效,VINS-Mono算法就无法工作。此时,可以切换使用二维激光雷达采集的信息,通过计算无人机距离隧道左右两侧墙面的距离,保证无人机在左右两墙面间的中心处飞行,如此,无人机不会因为自身定位的漂移而撞上隧道墙面,利用二维激光雷达可以暂时稳定无人机的飞行,等到单目视觉重新有效时,再次初始化视觉惯性里程计,切换回使用视觉惯性里程计定位,保证整个***的稳定;
无人机的高度信息由单点激光测距仪和气压计相结合提供,无人机稳定飞行时,单点激光测距仪测量的高度信息一般是准确的,但是当遇到某些特殊情况,例如无人机颠簸等,单点激光雷达变化过于剧烈,使用气压计的数据来做稳定补偿。
步骤2:使用二维激光雷达对隧道进行感知,包括对隧道墙面进行估计,得出无人机前进的航向角,以及感知周围的障碍物,进行无人机避障;
该步骤主要利用二维激光雷达实现的,该雷达可以实现二维平面内360°的激光扫射,利用该雷达,可以得到无人机周围环境的点云图,通过对点云图进行相关处理可以得到隧道墙面的方向以及无人机周围的障碍物信息。具体包括:
步骤2.1:利用二维激光雷达采集无人机周围的点云数据,利用“通过滤波器”和“圆形滤波器”对采集到的点云数据进行滤波。
步骤2.2:将步骤2.1中滤波后的点云切分为左右两个部分,分别对应隧道左右两边的墙面点云信息,利用随机一致采样性(RANSAC)算法分别在左右两边的点云中拟合出一条直线,通过拟合的直线可以得到当前隧道墙面的方向角度,以此确定无人机的航向角。
在利用RANSAC算法拟合直线的效果图如图7所示,图中左侧为实际隧道图,右侧为隧道两侧墙面的点云图像。在拟合直线的过程中,如果左右两条直线的夹角小于一个定值并且之间的距离大于一个阈值,则可以认为成功估计出了当前隧道的前进方向。同时,可以计算得到无人机到左右面的距离,可以确定无人机离隧道重心的距离,并对无人机的位置实时进行校正。
步骤2.3:无人机避障由步骤2.1中滤波后的点云信息,通过ROS操作***中自带的函数构建局部代价地图,生成避障路线。
步骤3:利用照明装置为隧道提供稳定的光照环境,由高分辨率相机采集隧道内的影像,同时通过增量式的SfM算法恢复相机的运动轨迹,结合高分辨率相机拍摄的图像,通过PMVS算法以及TexRecon算法进行隧道的三维重建;
该步骤中,由无人机的电池供电,使用6*8的LED灯阵列作为照明装置,照亮无人机前方10米范围内的墙面,之后由分辨率为2440*2048的高分辨率相机采集当前位置下隧道墙面的图像。采集到图像后,首先采用运动恢复结构(Structure from Motion,SfM)算法,该算法利用采集到的图像来恢复相机的运动轨迹,同时根据图像之间的特征点匹配对来生成稀疏的场景点云。之后采用PMVS算法,根据输入图像和恢复出的相机运动轨迹来得到稠密的场景三维点云。最后,采用MVE开源库中提供的TexRecon算法,实现表面重建和纹理映射,将稠密点云转化为三角网格组成的网面,然后填充上对应图像中的纹理。
步骤4:结合GPS信号和二维激光雷达,判断无人机是否通过隧道;
如果通过隧道,则利用GPS信号飞往降落点降落,否则继续按照隧道墙面方向向前飞行。
该步骤利用二维激光雷达感知无人机左右两边墙面的距离,如果墙面距离发生突变,且无人机可以接受到GPS信号,则判断无人机飞出了隧道,可以利用GPS信号返回设置的降落点。
综上所述,本发明所述的一种隧道智能无人机巡检***,主要是通过单目黑白相机和惯性测量单元IMU采集的数据,根据VINS-Mono定位建图算法,同时采用多传感器数据融合的方式实现对隧道内无人机的精确定位导航,之后利用二维激光雷达采集点云数据,实现对隧道墙面方向的估计和无人机避障。同时,在照明装置的辅助下,利用高分辨率相机对隧道图像进行采集,通过SfM算法恢复相机运动轨迹,再结合高清图像生成隧道的三维模型,以此实现细致的隧道巡检任务,最后结合GPS信号和二维激光雷达,判定无人机穿过隧道后飞行至预设点降落。本发明通过结合无人机技术和图像处理技术,将无人机应用于隧道巡检工作中,利用多种传感器,采用同VINS-Mono定位建图算法、RANSAC算法、SfM算法,实现无人机在隧道环境下的稳定飞行和三维建模。相对于传统的依赖人员和车辆进行隧道巡检的方式,本发明自动化程度高、工作效率高,可以广泛地运用于隧道巡检工作中去。
应当理解的是,本说明书未详细阐述的部分均属于现有技术。
应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。

Claims (8)

1.一种隧道智能无人机巡检***,其特征在于:包括无人机、飞行控制器、机载计算机、惯性测量单元IMU、单目黑白相机、高分辨率相机、单点激光测距仪、气压计、二维激光雷达和照明设备;
所述飞行控制器用于控制所述无人机的起飞、移动、降落;
所述机载计算机、单目黑白相机、惯性测量单元IMU分别与所述飞行控制器连接,用于计算视觉惯导里程计,对无人机自身进行定位导航;
所述单点激光测距仪、气压计分别与所述飞行控制器连接,用于对无人机飞行高度的测量,实现稳定飞行;
所述二维激光雷达和所述机载计算机连接,用于对隧道周围环境进行感知,实现有效地避障、对隧道曲折方向的估计以及实时路线调整;
所述照明装置用于为隧道提供稳定的光照环境,由无人机的电池供电,安装在无人机的机架前端;
所述高分辨率相机和所述机载计算机相连接,采集高分辨率的图像,用于稠密的三维重建;
所述飞行控制器、机载计算机、惯性测量单元IMU、单目黑白相机、高分辨率相机、单点激光测距仪、气压计、二维激光雷达均固定安装在传感器放置架上,所述放置架固定设置在所述无人机的机架上方。
2.根据权利要求1所述的隧道智能无人机巡检***,其特征在于:所述飞行控制器、机载计算机、惯性测量单元IMU、单目黑白相机、高分辨率相机、单点激光测距仪、气压计、二维激光雷达均固定安装在传感器放置架上,所述传感器放置架通过对飞行控制器、机载计算机、惯性测量单元IMU、单目黑白相机、高分辨率相机、单点激光测距仪、气压计、二维激光雷达和无人机电池不对称的布局放置,使得无人机的重心保持在无人机的几何中心。
3.一种隧道智能无人机巡检方法,其特征在于,包括以下步骤:
步骤1:以单目黑白相机和惯性测量单元IMU计算视觉里程计,同时结合二维激光雷达、单点激光测距仪、气压计的数据,实现无人机在隧道内的定位和精准地导航飞行;
步骤2:使用二维激光雷达对隧道进行感知,包括对隧道墙面进行估计,得出无人机前进的航向角,以及感知周围的障碍物,进行无人机避障;
步骤3:利用照明装置为隧道提供稳定的光照环境,由高分辨率相机采集隧道内的影像,同时恢复相机的运动轨迹,结合高分辨率相机拍摄的图像,进行隧道的三维重建;
步骤4:结合GPS信号和二维激光雷达,判断无人机是否通过隧道;
如果通过隧道,则利用GPS信号飞往降落点降落,否则继续按照隧道墙面方向向前飞行。
4.根据权利要求3所述的隧道智能无人机巡检方法,其特征在于:步骤1中,机载计算机通过处理单目黑白相机和惯性测量单元IMU的数据,利用VINS-Mono算法计算视觉惯性里程计实现无人机在隧道内的定位;
如果由于环境因素而造成单目黑白相机采集到的图像检测不到特征点,则切换使用二维激光雷达采集的信息,通过计算无人机距离隧道左右两侧墙面的距离,保证无人机在左右两墙面间的中心处飞行;同时,在单目黑白相机拍摄的图像中能检测到特征点时,重新初始化视觉惯性里程计,切换回使用视觉惯性里程计定位;
无人机的高度信息由单点激光测距仪和气压计相结合提供。
5.根据权利要求4所述的隧道智能无人机巡检方法,其特征在于:所述利用VINS-Mono算法计算视觉惯性里程计实现无人机在隧道内的定位;
首先使用纯视觉的单目位姿估计方法,通过初始的若干图像帧,在一个局部滑动窗口中恢复初始的图像帧位姿和三维点坐标,完成对无人机的位姿初始化;
然后将视觉估计得结果与惯性测量单元IMU预积分的值进行对齐,实现对陀螺仪偏置的校正,求解重力向量方向,并恢复单目黑白相机的尺度因子,得到单目黑白相机和惯性测量单元IMU的约束关系,统一两个坐标系,将单目黑白相机坐标系和惯性测量单元IMU坐标系进行对齐后,在图像上的所有计算将以惯性测量单元IMU坐标系作为机体坐标系,使所有坐标转换后具有一致的变换;
最后通过最小化特征点重投影误差来求解单目黑白相机位姿和三维特征点的最优估计,同时,引入惯性测量单元IMU数据对位姿估计进行补偿,获得更好的估计效果。
6.根据权利要求5所述的隧道智能无人机巡检方法,其特征在于:所述使用纯视觉的单目位姿估计方法,通过初始的若干图像帧,在一个局部滑动窗口中恢复初始的图像帧位姿和三维点坐标,完成对无人机的位姿初始化;
首先,对滑动窗口内所有帧进行遍历,同时进行Harris角点检测,检测出的角点即为关键点,选择和当前帧有足够多共同关键点和较大视差的图像帧作为关键帧,之后采用LK光流法进行角点跟踪,利用五点法恢复该关键帧和当前帧的基础矩阵,恢复这两帧间的旋转和平移矩阵,并三角化恢复共视点的深度;
然后使用PNP的方法求解滑动窗口内其余帧的位姿信息与三维特征点信息;
最后,使用局部的BA方法,对滑动窗口内所有特征点进行最小化重投影误差,得到优化后的相机位姿和三维特征点,完成纯视觉的单目位姿估计。
7.根据权利要求3所述的隧道智能无人机巡检方法,其特征在于:步骤2中,利用二维激光雷达对无人机周围环境进行采集,对采集到的点云信息进行滤波,之后利用RANSAC算法对左右两边的点云分别进行估计,拟合出当前隧道墙面的方向,修改无人机的航向,同时通过墙面间的点云簇信息,建立局部代价地图,实现无人机的动态避障。
8.根据权利要求3所述的隧道智能无人机巡检方法,其特征在于:步骤3中,通过增量式的SfM算法恢复相机的运动轨迹,结合高分辨率相机拍摄的图像,通过PMVS算法以及TexRecon算法进行隧道的三维重建。
CN201910526199.4A 2019-06-18 2019-06-18 一种隧道智能无人机巡检方法 Expired - Fee Related CN110262546B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910526199.4A CN110262546B (zh) 2019-06-18 2019-06-18 一种隧道智能无人机巡检方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910526199.4A CN110262546B (zh) 2019-06-18 2019-06-18 一种隧道智能无人机巡检方法

Publications (2)

Publication Number Publication Date
CN110262546A true CN110262546A (zh) 2019-09-20
CN110262546B CN110262546B (zh) 2021-07-20

Family

ID=67918923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910526199.4A Expired - Fee Related CN110262546B (zh) 2019-06-18 2019-06-18 一种隧道智能无人机巡检方法

Country Status (1)

Country Link
CN (1) CN110262546B (zh)

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110514133A (zh) * 2019-09-30 2019-11-29 西南石油大学 一种基于摄影测量的无人机隧道变形检测方法
CN110687919A (zh) * 2019-10-21 2020-01-14 同济大学 一种面向水电站输水管道巡检的无人机自主飞行控制方法
CN110717927A (zh) * 2019-10-10 2020-01-21 桂林电子科技大学 基于深度学习和视惯融合的室内机器人运动估计方法
CN110728288A (zh) * 2019-10-12 2020-01-24 上海高仙自动化科技发展有限公司 一种基于三维激光点云的角点特征提取方法及其应用
CN110825111A (zh) * 2019-11-15 2020-02-21 天津光电通信技术有限公司 适用于高架仓库货物盘点的无人机控制方法、货物盘点方法、装置、服务器及存储介质
CN110823225A (zh) * 2019-10-29 2020-02-21 北京影谱科技股份有限公司 室内动态情景下的定位方法和装置
CN111426326A (zh) * 2020-01-17 2020-07-17 深圳市镭神智能***有限公司 一种导航方法、装置、设备、***及存储介质
CN111735445A (zh) * 2020-06-23 2020-10-02 煤炭科学研究总院 融合单目视觉与imu的煤矿巷道巡检机器人***及导航方法
CN111854756A (zh) * 2020-06-30 2020-10-30 同济大学 一种基于单线激光的引水涵洞内无人机定位方法
CN112130579A (zh) * 2020-09-24 2020-12-25 国网智能科技股份有限公司 一种隧道无人机巡检方法及***
CN112254721A (zh) * 2020-11-06 2021-01-22 南京大学 一种基于光流相机的姿态定位方法
CN112347840A (zh) * 2020-08-25 2021-02-09 天津大学 视觉传感器激光雷达融合无人机定位与建图装置和方法
CN112596071A (zh) * 2020-11-02 2021-04-02 中国兵器工业计算机应用技术研究所 无人机自主定位方法、装置及无人机
CN113138594A (zh) * 2020-01-20 2021-07-20 北京四维图新科技股份有限公司 自动驾驶方法及装置
WO2021147546A1 (zh) * 2020-01-20 2021-07-29 深圳市普渡科技有限公司 多传感器融合slam***、多传感器融合方法及机器人、介质
CN113359810A (zh) * 2021-07-29 2021-09-07 东北大学 一种基于多传感器的无人机着陆区域识别方法
CN113359862A (zh) * 2021-07-28 2021-09-07 北京理工大学 一种无人机进入封闭环境的控制方法及装置
CN113390435A (zh) * 2021-05-13 2021-09-14 中铁二院工程集团有限责任公司 高速铁路多元辅助定位***
CN113532283A (zh) * 2021-07-14 2021-10-22 中建八局南方建设有限公司 基于消费级无人机协同gps监测基坑位移趋势的方法
CN113721260A (zh) * 2021-08-26 2021-11-30 南京邮电大学 一种激光雷达、双目相机和惯导的在线联合标定方法
CN113791643A (zh) * 2021-10-15 2021-12-14 杭州云之盟科技有限公司 室内巡检多旋翼无人机航向角校正方法、装置及存储介质
CN113820709A (zh) * 2021-11-25 2021-12-21 湖南华诺星空电子技术有限公司 基于无人机的穿墙雷达探测***及探测方法
CN113819905A (zh) * 2020-06-19 2021-12-21 北京图森未来科技有限公司 一种基于多传感器融合的里程计方法及装置
CN113985910A (zh) * 2021-09-09 2022-01-28 常州希米智能科技有限公司 一种结合移动网络和卫星定位的无人机控制方法和***
CN114755693A (zh) * 2022-06-15 2022-07-15 天津大学四川创新研究院 基于多旋翼无人机的基建设施测量***和方法
CN114779816A (zh) * 2022-05-17 2022-07-22 成都工业学院 一种面向震后废墟环境起降的搜救无人机及其具有的***
CN115205997A (zh) * 2022-07-14 2022-10-18 西安建筑科技大学 一种基于人工智能的暖通空调机房无人化巡检***及方法
CN116148614A (zh) * 2023-04-18 2023-05-23 江苏明月软件技术股份有限公司 一种基于无人移动载具的电缆局部放电检测***及方法
CN116539635A (zh) * 2023-05-17 2023-08-04 广州大学 基于计算视觉和slam的无人机盾构隧道巡检方法
DE202022106442U1 (de) 2022-11-17 2024-02-20 Herrenknecht Aktiengesellschaft Tunnelbohrmaschine
CN117870652A (zh) * 2024-03-13 2024-04-12 北京航空航天大学 一种基于雷达、惯性、视觉融合的陆空在线协同定位方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106441286A (zh) * 2016-06-27 2017-02-22 上海大学 基于bim技术的无人机隧道巡检***
CN107808133A (zh) * 2017-10-23 2018-03-16 中石化石油工程地球物理有限公司 基于无人机巡线的油气管道安全监测方法、***及软件存储器
CN108415453A (zh) * 2018-01-24 2018-08-17 上海大学 基于bim技术的无人机隧道巡检方法
CN109002057A (zh) * 2018-08-28 2018-12-14 中北大学 一种电缆隧道的智能巡检无人机***
CN109737951A (zh) * 2019-01-31 2019-05-10 中科院合肥技术创新工程院 一种电缆沟巡检机器人的导航***及其导航方法
CN109760837A (zh) * 2019-02-21 2019-05-17 西京学院 一种电缆沟与隧道巡检无人机***
CN109814600A (zh) * 2019-03-12 2019-05-28 重庆大学 一种无人机电缆隧道巡检飞行方法
CN109828572A (zh) * 2019-02-20 2019-05-31 广州供电局有限公司 基于标识定位的电缆隧道巡检机器人及其定位***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106441286A (zh) * 2016-06-27 2017-02-22 上海大学 基于bim技术的无人机隧道巡检***
CN107808133A (zh) * 2017-10-23 2018-03-16 中石化石油工程地球物理有限公司 基于无人机巡线的油气管道安全监测方法、***及软件存储器
CN108415453A (zh) * 2018-01-24 2018-08-17 上海大学 基于bim技术的无人机隧道巡检方法
CN109002057A (zh) * 2018-08-28 2018-12-14 中北大学 一种电缆隧道的智能巡检无人机***
CN109737951A (zh) * 2019-01-31 2019-05-10 中科院合肥技术创新工程院 一种电缆沟巡检机器人的导航***及其导航方法
CN109828572A (zh) * 2019-02-20 2019-05-31 广州供电局有限公司 基于标识定位的电缆隧道巡检机器人及其定位***
CN109760837A (zh) * 2019-02-21 2019-05-17 西京学院 一种电缆沟与隧道巡检无人机***
CN109814600A (zh) * 2019-03-12 2019-05-28 重庆大学 一种无人机电缆隧道巡检飞行方法

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110514133A (zh) * 2019-09-30 2019-11-29 西南石油大学 一种基于摄影测量的无人机隧道变形检测方法
CN110717927A (zh) * 2019-10-10 2020-01-21 桂林电子科技大学 基于深度学习和视惯融合的室内机器人运动估计方法
CN110728288A (zh) * 2019-10-12 2020-01-24 上海高仙自动化科技发展有限公司 一种基于三维激光点云的角点特征提取方法及其应用
CN110728288B (zh) * 2019-10-12 2022-06-28 上海高仙自动化科技发展有限公司 一种基于三维激光点云的角点特征提取方法及其应用
CN110687919A (zh) * 2019-10-21 2020-01-14 同济大学 一种面向水电站输水管道巡检的无人机自主飞行控制方法
CN110687919B (zh) * 2019-10-21 2021-06-04 同济大学 一种面向水电站输水管道巡检的无人机自主飞行控制方法
CN110823225A (zh) * 2019-10-29 2020-02-21 北京影谱科技股份有限公司 室内动态情景下的定位方法和装置
CN110825111A (zh) * 2019-11-15 2020-02-21 天津光电通信技术有限公司 适用于高架仓库货物盘点的无人机控制方法、货物盘点方法、装置、服务器及存储介质
CN111426326A (zh) * 2020-01-17 2020-07-17 深圳市镭神智能***有限公司 一种导航方法、装置、设备、***及存储介质
CN113138594B (zh) * 2020-01-20 2024-04-19 北京四维图新科技股份有限公司 自动驾驶方法及装置
CN113138594A (zh) * 2020-01-20 2021-07-20 北京四维图新科技股份有限公司 自动驾驶方法及装置
WO2021147546A1 (zh) * 2020-01-20 2021-07-29 深圳市普渡科技有限公司 多传感器融合slam***、多传感器融合方法及机器人、介质
CN113819905A (zh) * 2020-06-19 2021-12-21 北京图森未来科技有限公司 一种基于多传感器融合的里程计方法及装置
CN111735445A (zh) * 2020-06-23 2020-10-02 煤炭科学研究总院 融合单目视觉与imu的煤矿巷道巡检机器人***及导航方法
CN111735445B (zh) * 2020-06-23 2022-02-11 煤炭科学研究总院 融合单目视觉与imu的煤矿巷道巡检机器人***及导航方法
CN111854756A (zh) * 2020-06-30 2020-10-30 同济大学 一种基于单线激光的引水涵洞内无人机定位方法
CN111854756B (zh) * 2020-06-30 2023-08-29 同济大学 一种基于单线激光的引水涵洞内无人机定位方法
CN112347840B (zh) * 2020-08-25 2022-12-02 天津大学 视觉传感器激光雷达融合无人机定位与建图装置和方法
CN112347840A (zh) * 2020-08-25 2021-02-09 天津大学 视觉传感器激光雷达融合无人机定位与建图装置和方法
CN112130579A (zh) * 2020-09-24 2020-12-25 国网智能科技股份有限公司 一种隧道无人机巡检方法及***
CN112596071A (zh) * 2020-11-02 2021-04-02 中国兵器工业计算机应用技术研究所 无人机自主定位方法、装置及无人机
CN112254721A (zh) * 2020-11-06 2021-01-22 南京大学 一种基于光流相机的姿态定位方法
CN113390435B (zh) * 2021-05-13 2022-08-26 中铁二院工程集团有限责任公司 高速铁路多元辅助定位***
CN113390435A (zh) * 2021-05-13 2021-09-14 中铁二院工程集团有限责任公司 高速铁路多元辅助定位***
CN113532283A (zh) * 2021-07-14 2021-10-22 中建八局南方建设有限公司 基于消费级无人机协同gps监测基坑位移趋势的方法
CN113532283B (zh) * 2021-07-14 2023-02-28 中建八局南方建设有限公司 基于消费级无人机协同gps监测基坑位移趋势的方法
CN113359862A (zh) * 2021-07-28 2021-09-07 北京理工大学 一种无人机进入封闭环境的控制方法及装置
CN113359810A (zh) * 2021-07-29 2021-09-07 东北大学 一种基于多传感器的无人机着陆区域识别方法
CN113721260A (zh) * 2021-08-26 2021-11-30 南京邮电大学 一种激光雷达、双目相机和惯导的在线联合标定方法
CN113721260B (zh) * 2021-08-26 2023-12-12 南京邮电大学 一种激光雷达、双目相机和惯导的在线联合标定方法
CN113985910A (zh) * 2021-09-09 2022-01-28 常州希米智能科技有限公司 一种结合移动网络和卫星定位的无人机控制方法和***
CN113985910B (zh) * 2021-09-09 2023-07-18 常州希米智能科技有限公司 一种结合移动网络和卫星定位的无人机控制方法和***
CN113791643A (zh) * 2021-10-15 2021-12-14 杭州云之盟科技有限公司 室内巡检多旋翼无人机航向角校正方法、装置及存储介质
CN113820709A (zh) * 2021-11-25 2021-12-21 湖南华诺星空电子技术有限公司 基于无人机的穿墙雷达探测***及探测方法
CN113820709B (zh) * 2021-11-25 2022-03-15 湖南华诺星空电子技术有限公司 基于无人机的穿墙雷达探测***及探测方法
CN114779816A (zh) * 2022-05-17 2022-07-22 成都工业学院 一种面向震后废墟环境起降的搜救无人机及其具有的***
CN114755693A (zh) * 2022-06-15 2022-07-15 天津大学四川创新研究院 基于多旋翼无人机的基建设施测量***和方法
CN114755693B (zh) * 2022-06-15 2022-09-16 天津大学四川创新研究院 基于多旋翼无人机的基建设施测量***和方法
CN115205997A (zh) * 2022-07-14 2022-10-18 西安建筑科技大学 一种基于人工智能的暖通空调机房无人化巡检***及方法
DE202022106442U1 (de) 2022-11-17 2024-02-20 Herrenknecht Aktiengesellschaft Tunnelbohrmaschine
WO2024104640A1 (de) 2022-11-17 2024-05-23 Herrenknecht Aktiengesellschaft Tunnelbohrmaschine
CN116148614A (zh) * 2023-04-18 2023-05-23 江苏明月软件技术股份有限公司 一种基于无人移动载具的电缆局部放电检测***及方法
CN116539635A (zh) * 2023-05-17 2023-08-04 广州大学 基于计算视觉和slam的无人机盾构隧道巡检方法
CN117870652A (zh) * 2024-03-13 2024-04-12 北京航空航天大学 一种基于雷达、惯性、视觉融合的陆空在线协同定位方法
CN117870652B (zh) * 2024-03-13 2024-05-14 北京航空航天大学 一种基于雷达、惯性、视觉融合的陆空在线协同定位方法

Also Published As

Publication number Publication date
CN110262546B (zh) 2021-07-20

Similar Documents

Publication Publication Date Title
CN110262546A (zh) 一种隧道智能无人机巡检***及方法
CN111045017B (zh) 一种激光和视觉融合的巡检机器人变电站地图构建方法
KR102001728B1 (ko) 스테레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템
CN105865454B (zh) 一种基于实时在线地图生成的无人机导航方法
CN103822635B (zh) 基于视觉信息的无人机飞行中空间位置实时计算方法
ES2876449T3 (es) Cartografía de entorno de múltiples sensores
CN104217439B (zh) 一种室内视觉定位***及方法
CN110221603A (zh) 一种基于激光雷达多帧点云融合的远距离障碍物检测方法
CN109579843A (zh) 一种空地多视角下的多机器人协同定位及融合建图方法
CN102190081B (zh) 基于视觉的飞艇定点鲁棒控制方法
CN105203084A (zh) 一种无人机3d全景视觉装置
CN106443687A (zh) 一种基于激光雷达和全景相机的背负式移动测绘***
CN106384353A (zh) 一种基于rgbd的目标定位方法
CN105928493A (zh) 基于无人机的双目视觉三维测绘***和方法
CN107807365A (zh) 用于低空无人航空器的轻小型数字摄影三维激光扫描装置
McLeod et al. Using video acquired from an unmanned aerial vehicle (UAV) to measure fracture orientation in an open-pit mine
Steiner et al. A vision-aided inertial navigation system for agile high-speed flight in unmapped environments: Distribution statement a: Approved for public release, distribution unlimited
CN109282808A (zh) 用于桥梁三维巡航检测的无人机与多传感器融合定位方法
CN107346142A (zh) 飞行器控制方法、光流模块及飞行器
CN109764869A (zh) 一种双目相机和惯导融合的自主巡检机器人定位与三维地图构建方法
CN113189613B (zh) 一种基于粒子滤波的机器人定位方法
CN110162098A (zh) 一种矿用无人机
CN109801484A (zh) 一种应急通信无人机***及应急通信***
CN114923477A (zh) 基于视觉与激光slam技术的多维度空地协同建图***和方法
Eisenbeiss et al. Photogrammetric recording of the archaeological site of Pinchango Alto (Palpa, Peru) using a mini helicopter (UAV)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210720