CN114638794A - 基于深度学习和slam技术的裂缝检测与三维定位方法 - Google Patents

Abstract

本发明公开了一种基于深度学习和SLAM技术的裂缝检测与三维定位方法，包括步骤：创建数据集，构建裂缝检测网络模型，并训练保存最优模型；将惯性测量单元(IMU)与相机KinectV2采集的数据采用非线性优化的紧耦合方式进行融合，并在视觉SLAM的跟踪线程中完成位姿估计；在跟踪线程对实时采集的每一帧图像进行判断，筛选出关键帧，通过裂缝检测模型对关键帧进行语义分割，提取出裂缝信息；将裂缝信息与KinectV2采集的深度信息融入视觉惯性SLAM框架中，完成包含裂缝信息的稠密点云地图构建，实现裂缝的三维定位。本发明方法实现了裂缝的实时检测及其在三维环境中的定位，同时具有较高的检测准确率和较好的鲁棒性。

Description

基于深度学习和SLAM技术的裂缝检测与三维定位方法

技术领域

本发明涉及路面裂缝检测与定位方法，具体涉及一种基于深度学习和SLAM技术的裂缝检测与三维定位方法。

背景技术

路面裂缝是道路最常见的病害，因此做好路面裂缝的检测工作对于道路养护尤为重要。目前传统的路面检测工作需要人工来完成，不仅需要耗费大量的时间和精力，而且工作效率以及安全性都较低，因此需要研究路面裂缝的自动化检测方法。常见的自动化检测算法大都是基于深度学习网络的，基于深度学习的裂缝检测算法将不仅提高对路面的维护工作的效率，同时对桥梁、隧道以及大坝等基础设施维护等相关工作的效率也有了一定的提高,降低巡检维护成本,实现裂缝缺陷巡检的自动化,具有很大的应用价值和意义。

发明专利201911371906.3公开了一种基于图像处理的裂缝检测方法及***，采用基于像素追踪算法来连接裂缝，同时对连接后的区域进行形状特征分析，筛去不符合要求的区域。该方法实现的模型需要人工选取特征，且受环境因素影响较大，可泛化性不够高。

发明专利201911355501.0公开了一种基于Faster R-CNN网络的裂缝检测网络,该网络能够将裂缝与背景分类,并且得到裂缝边界框的定位结果,但是该方法前期对图片的预处理忽略了路面噪声以及光照不同强度的干扰,所以最终裂缝的检测准确率较低,并且该方法受干扰物的影响会很大。

发明专利202010247786.2公开了一种基于深度学习的路面裂缝快速识别方法，该方法利用特征提取网络将待检测的道路图像映射到编码空间，得到不同尺寸的特征图像；对于每个尺寸的特征图像，将其输入到一个裂缝检测网络，对其进行渐进式特征融合、预设卷积运算、注意力增强，以及后续的预设卷积运算、上采样后，得到尺寸与所述道路图像相同、且标注有裂缝区域的特征图像,但是后续没有对裂缝进行基于特征处理,将裂缝量化。

发明专利202010236401.2公开了一种基于yolov5的裂缝检测模型，该检测模型能够输出裂缝的监测信息，包括图像的预测框、检测类别以及类别置信度，同时设置模型的损失函数为分类损失函数、目标损失函数、回归损失函数以及便宜角度损失函数的加权和，提高了裂缝检测的抗干扰性以及准确率，但是该网络并不能得到裂缝的具***置信息。

综上所述，基于深度学***面图像中的位置，却不获取裂缝在环境中的三维位置，不利于后续的修补工作。

发明内容

本发明的目的在于提供一种基于深度学习和SLAM技术的裂缝检测与三维定位方法，解决目前很多裂缝检测网络的模型准确率以及效率低，同时不能完成裂缝的三维定位问题，并完成了移动机器人在环境中的实时路面裂缝检测。

实现本发明的的技术方案为：一种基于深度学习和SLAM技术的裂缝检测与三维定位方法，包括以下步骤：

S1、创建裂缝检测网络的数据集，构建裂缝检测网络模型，并训练保存最优模型；

S2、将惯性测量单元(IMU)与KinectV2采集的数据，采用非线性优化的紧耦合方式进行数据融合，并在视觉SLAM框架的跟踪线程中完成位姿估计；

S3、在跟踪线程对实时采集的每一帧图像进行判断，筛选出关键帧，通过裂缝检测模型对关键帧进行语义分割，提取出裂缝信息；

S4、将步骤S3得到的二维裂缝检测模块与KinectV2采集的深度信息融入视觉惯性SLAM框架中，完成包含裂缝信息的稠密点云地图构建，实现裂缝的三维定位。

进一步的，所述步骤S1的具体操作如下：

(1)通过收集路面裂缝图像，并进行预处理和标注；

(2)基于全卷积神经网络的构建模式，编码部分由四组相同的编码块组成，每个编码快由两个3×3的卷积层和一个1×1的卷积层组成，并且在每一层加入残差模块，再进入2×2的最大池化层；网络的解码部分由四组相同的解码块构成，在经过反卷积后得到的特征图像与编码部分对应层的特征图像跳跃连接，在跳跃连接中加入双通道注意力机制；在解码部分的最后一层加入1×1的卷积层，实现端到端的裂缝分割，得到与输入图像同大小的裂缝检测结果图像；

进一步的，所述步骤S2的具体操作如下：

(1)分别对KinectV2相机和IMU进行标定得到各自内参数，再对二者进行联合标定，得到其转换矩阵和时差；

(2)通过IMU的误差模型和运动模型计算连续帧间的IMU的预积分模型,从而解决相机和IMU采集信息频率不对齐的问题；并针对陀螺仪偏置、重力加速度、速度进行初始化，完成视觉惯性联合初始化；

(3)将IMU预积分后和视觉信息采用紧耦合的方式进行数据融合，并针对视觉重投影误差和IMU残差，采用基于滑动窗口边缘化的非线性优化方式实现位姿估计，并通过目标优化函数得到优化后的位姿。

进一步的，关于步骤S3中关键帧的筛选规则如下，满足其中一个即可：

1)距离上次参考关键帧至少20帧；

2)当前帧距离上次关键帧***至少间隔20帧或局部线程处于空闲状态；

3)当前帧至少能跟踪到50个特征点；

4)当前帧跟踪到的地图点要比参考关键帧多80％以上，确保重叠率低；

进一步的，所述步骤S4的具体操作如下：

(1)通过视觉SLAM跟踪、BA优化和回环检测矫正筛选出关键帧，将KinectV2采集的这些关键帧对应的彩色图和深度图，根据KinectV2的相机成像原理，计算出每个像素点在相机坐标系和世界坐标系下的坐标，构建稠密点云地图。

(2)将步骤3对所有关键帧进行语义分割得到的裂缝信息，通过坐标转换关系映射到稠密点云地图中，针对连续关键帧间的语义标签不一致的情况，采用贝叶斯更新，具体方式如下：

其中，三维点设为V_d，

表示目前所有关键帧集合，l_k表示一个三维体素的类别，

表示该三维点在语义标签集合上的独立分布概率分布。

通过上式更新三维点云的语义信息，得到全局一致的带有裂缝信息的稠密点云地图，通过点云即可获得裂缝的三维位置信息。

与现有技术相比，本发明具有以下优点：

(1)本发明构建的深度学习的裂缝检测网络，简化了裂缝检测的难度以及复杂度，并提高了裂缝检测的准确率和鲁棒性；

(2)本发明基于滑动窗口的紧耦合后端非线性优化的方式，将KinectV2和IMU的测量数据进行融合，进而完成位姿估计，提高了定位精度，并解决了纯视觉在特征点稀疏场景容易跟踪丢失、定位失败的问题；

(3)本发明结合了视觉惯性SLAM技术与二维裂缝检测网络，构建了包含裂缝信息的稠密点云地图，解决了原始视觉SLAM中构建的稀疏点云地图缺少语义信息的问题，实现了裂缝的三维定位。

附图说明

图1为本发明裂缝检测与定位流程图。

图2为本发明深度学习网络结构图。

图3为本发明深度学习网络中的双通道注意力门图。

图4为本发明基于视觉SLAM的稠密点云图构建流程图。

具体实施方式

下面结合附图及实施实例对本发明的具体实施方式做详细说明。

根据图1，本发明是一种基于深度学习和SLAM技术的裂缝检测与三维定位方法，所述的裂缝检测方法包括以下步骤：

S1、创建图像训练集，构建裂缝检测网络模型，并训练、保存最优模型。

所述步骤S1的具体操作如下：

(1)采集原始数据并进行数据扩充，并对这些图像进行归一化处理，包括裁剪、灰度化。针对光照强度不均带来的影响,分别采用直方图均衡化、高斯双边滤波等技术进行图像预处理；

(2)对预处理后的图像进行标注，裂缝区域标记为白色，非裂缝区域标记为黑色，得到掩膜图像并保存。图像数据集分成训练集和测试集，比例为7:3。其中训练集中包含的有裂缝图像和无裂缝图像数量相等。

(3)搭建如图2和图3所示的裂缝分割网络，包含四次下采样和四次上采样：下采样每次先采用3×3的和1×1的卷积核进行卷积，然后使用ReLu激活函数对卷积后的图像进行激活，再与原始的输入信息级联后，使用尺度为2×2的池化进行下采样，之后的结果作为下一层卷积的输入，经过该操作，使得特征通道扩大为上一层网络的两倍；上采样即模型进入第六层时，将第五层的输出作为门信号，先将门信号通过1×1的反卷积扩张为原来的2倍，再与模型第四层的输出分别输入到设置好的AG模块中，数据进过AG模块处理后，输出信号再和经过上采样的门信号级联输出，进入卷积核大小为3×3的卷积层，输出结果与第六层的原始输入信号级联，作为第七层的输入，依此类推，但在网络的最后一层是用一个1×1的卷积将每个64维的特征向量映射到输出层。

深度学习网络的损失函数选取GDL损失函数，因常规的损失交叉熵函数存在对图像背景像素分割效果好，但对裂缝像素不敏感的问题，会影响裂缝的检测准确率；采用Adam优化算法更新模型参数；

在Pytorch框架实现上述的裂缝检测网络，并根据已选择的训练策略和图像训练集进行训练。采用GPU模式进行训练，网络的大部分超参数设定，比如学习率、迭代次数等根据具体训练情况而定，观察Loss曲线以及准确率曲线，得到最优裂缝检测模型并保存。在测试集中验证该模型的泛化能力与准确性。

S2、将惯性测量单元(IMU)与KinectV2采集的数据，采用非线性优化的紧耦合方式进行数据融合，并在视觉SLAM的跟踪线程中完成位姿估计。

所述步骤S2的具体操作如下：

(1)利用ROS中的标定工具iai_kinect2和kalibr_allan分别完成KinectV2和IMU的标定，得到内参数；并进行二者的联合标定，得到二者的转换矩阵以及采样频率导致的时差。

(2)IMU的误差模型如下。

其中，

示加速度计和陀螺仪的测量值。a(t)和ω(t)表示两者的真实值，b(t)指的是传感器产生的变化缓慢的误差，称为随机游走噪声，η(t)表示变化波动极快的白噪声。

将IMU的误差模型代入运动模型，得到如下的IMU完整运动模型：

其中，R_EB代表世界坐标系向IMU坐标系的旋转矩阵,a_W、v_W、p_W分别代表世界坐标系下的加速度、速度、平移量，i和j为相邻的两个关键帧,δφ_ij、δv_ij、δp_ij分别表示IMU的旋转、速度、位置测量时的噪声,R_i、v_i、p_i分别表示第i个关键帧的相对旋转矩阵，速度与平移量；R_j、v_j、p_j分别表示第j个关键帧的相对旋转矩阵，速度与平移量；Δt_ij表示i,j两个时刻的时间差。

对相邻关键帧进行预积分，得到预积分模型如式(3)。

其中，δφ_i，δv_ij，δp_i分别表示IMU的旋转、速度、位置测量时的噪声。

(3)针对陀螺仪偏置、重力加速度、速度进行初始化，减少IMU的累积误差。

(4)IMU的残差模型和相机的重投影误差模型如式(4)和式(5)所示，由此建立非线性优化模型，如式(6)。

其中，

为惯性测量单元的残差模型，其中X为待优化的变量，

为IMU预积分的值，e_p、e_q、e_v、e_ba、e_bg分别为惯性测量单元预积分中的位置，速度，姿态以及陀螺仪零偏，加速度计零偏，b为随机游走噪声，β为白噪声；

为整个***的视觉重投影误差，ξ_i为相机位姿所对应的李代数，m_j为一个三维地图点，p_ij为三维地图点在图像中对应的像素点。

针对优化模型的计算量随***运行急剧增大的问题，采用滑动窗口的方式进行优化，即滑动窗口内只保留被剔除的关键帧与其余帧的约束关系，而不是直接将旧的关键帧剔除，并且保留的约束关系不会被用作优化，故能减少计算量。因此，本发明建立如式(7)所示的优化目标函数来进行位姿优化，其中的三项分别代表先验信息、视觉重投影误差和IMU残差。

其中，B表示所有IMU测量的集合，k表示第k个图像，H_p表示先验信息的海森矩阵，γ表示各优化变量的雅可比矩阵

S3、在跟踪线程中对实时采集的每一帧图像进行判断，筛选出关键帧，通过裂缝检测模型对关键帧进行语义分割，提取出裂缝信息；

关于关键帧的筛选规则如下，满足其中一个即可：

1)距离上次参考关键帧至少20帧；

2)当前帧距离上次关键帧***至少间隔20帧或局部线程处于空闲状态；

3)当前帧至少能跟踪到50个特征点；

4)当前帧跟踪到的地图点要比参考关键帧多80％以上，确保重叠率低；

S4、将步骤4得到的二维裂缝检测模块与KinectV2采集的深度信息融入视觉SLAM框架中，完成包含裂缝信息的稠密点云地图构建，实现裂缝的三维定位。

所述步骤S4的具体操作如下：

(1)根据图4，将KinectV2采集的彩色图像和深度图像作为视觉SLAM的传感器输入，再通过跟踪、BA优化和回环检测，筛选出符合规则的关键帧对应的彩色图和深度图像。

(2)深度图中的每一个像素点包含其在彩色图上的二维像素坐标(u,v)以及深度值d，通过相机的成像原理以及Kinectv2相机标定得到的参数通过式得到该像素点转换到相机坐标系下的坐标，再通过式(8)将该点转换到世界坐标系下。由PCL库中的函数处理得到pcd格式的稠密点云地图。

其中，C为相机内参矩阵，R和t分别为相机的旋转矩阵和平移向量，[x,y,z]^T表示世界坐标系下的点云坐标。

(3)在步骤3中对关键帧进行裂缝检测，再通过坐标转换关系，将分割裂缝的特征点对应的地图点坐标转换到世界坐标系中。由于传感器采集数据不稳定，可能会造成连续关键帧之间的裂缝语义标签的不一致性,语义标签融合时产生冲突。采用贝叶斯估计的渐进式语义标签关联的方法。

假设当前处理的是关键帧K_t，三维点设为V_d，则所有关键帧集合为

则通过贝叶斯更新可知该点的语义标签的分布l_k如下所示：

再通过马尔科夫假设可得式(10)：

其中，

由于P(l_k)是定量，不随时间而变化，所以可以忽略正则项因子

带来的影响，通过式(11)更新在新关键帧到来时三维点云的语义信息。

通过贝叶斯更新将多个关键帧的二维语义标签关联，再通过稠密重建线程中坐标转换关系实现其向三维点云的转移，即可获得全局语义标签一致的三维的裂缝语义地图。

对于本领域技术人员而言，显然本发明不限于上述示范性实例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种基于深度学习和SLAM技术的裂缝检测与三维定位方法，其特征在于，具体包括步骤:

S1、构建裂缝检测网络模型，通过数据集对裂缝检测网络模型训练并保存最优模型；

S2、对惯性测量单元与相机采集的数据，采用非线性优化的紧耦合方式进行数据融合，并在视觉SLAM的跟踪线程中完成位姿估计；

S3、在跟踪线程中对实时采集的每一帧图像进行判断，筛选出关键帧，通过裂缝检测网络模型对关键帧进行语义分割，提取出裂缝信息；

S4、将步骤S3得到的裂缝信息与相机采集的数据融入视觉惯性SLAM框架中，进行包含裂缝信息的稠密点云地图构建，完成裂缝的三维定位。

2.根据权利要求1所述的一种基于深度学习和SLAM技术的裂缝检测与三维定位方法，其特征在于，所述裂缝检测网络模型基于全卷积神经网络和残差模块以及注意力机制搭建，在每一层的卷积组中添加一个1×1的卷积层，同时加入残差模块；在编码与解码的跳跃连接部分加入双通道注意力机制。

3.根据权利要求2所述的一种基于深度学习和SLAM技术的裂缝检测与三维定位方法，其特征在于，所述步骤S1具体包括：

步骤S1-1，采集原始数据并进行数据扩充构建数据集，对数据进行归一化处理，并采用直方图均衡化、高斯双边滤波进行图像预处理；

步骤S1-2，对预处理后的图像进行标注，裂缝区域标记为白色，非裂缝区域标记为黑色，得到掩膜图像并保存，将数据集分成训练集和测试集；

步骤S1-3，搭建裂缝检测网络模型，包含四次下采样和四次上采样：下采样每次先采用3×3的和1×1的卷积核进行卷积，然后使用ReLu激活函数对卷积后的图像进行激活，再与原始的输入信息级联后，采用尺度为2×2的池化进行下采样，之后的结果作为下一层卷积的输入；上采样即模型进入第六层时，将第五层的输出作为门信号，先将门信号通过1×1的反卷积扩张为原来的2倍，再与模型第四层的输出分别输入到设置好的AG模块中，数据进过AG模块处理后，输出信号再和经过上采样的门信号级联输出，进入卷积核大小为3×3的卷积层，输出结果与第六层的原始输入信号级联，作为第七层的输入，依此类推，在网络的最后一层用一个1×1的卷积将每个64维的特征向量映射到输出层；

步骤S1-4，基于训练集对对裂缝检测网络模型迭代训练，并通过测试集验证，直至获取满足设定值的最优模型。

4.根据权利要求3所述的一种基于深度学习和SLAM技术的裂缝检测与三维定位方法，其特征在于，所述训练集和测试集比例为7:3，训练集中包含的有裂缝图像和无裂缝图像数量相等。

5.根据权利要求1所述的一种基于深度学习和SLAM技术的裂缝检测与三维定位方法，其特征在于，所述步骤S2具体包括：

S2-1，分别对相机和惯性测量单元进行标定得到各自内参数，再对二者进行联合标定，得到其转换矩阵和时差；

S2-2，通过惯性测量单元的误差模型和运动模型计算其连续帧间的预积分模型,并对陀螺仪偏置、重力加速度、速度进行初始化，完成视觉惯性联合初始化；

S2-3，将预积分模型预积分后和视觉信息采用紧耦合的方式进行数据融合，并对视觉重投影误差和惯性测量单元残差采用基于滑动窗口边缘化的非线性优化模型进行位姿估计，并通过目标优化函数确定优化后的位姿。

6.根据权利要求3所述的一种基于深度学习和SLAM技术的裂缝检测与三维定位方法，其特征在于，

所述预积分模型为：

其中，i和j为相邻的两个关键帧,δφ_ij、δv_ij、δp_ij分别表示惯性测量单元的旋转、速度、位置测量时的噪声,R_i、v_i、p_i分别表示第i个关键帧的相对旋转矩阵，速度与平移量；R_j、v_j、p_j分别表示第j个关键帧的相对旋转矩阵，速度与平移量；Δt_ij表示i,j两个时刻的时间差。

7.根据权利要求3所述的一种基于深度学习和SLAM技术的裂缝检测与三维定位方法，其特征在于，所述非线性优化模型为：

其中，

为惯性测量单元的残差模型，其中X为待优化的变量，

为惯性测量单元预积分的值，e_p、e_q、e_v、e_ba、e_bg分别为惯性测量单元预积分中的位置，速度，姿态以及陀螺仪零偏，加速度计零偏，b为随机游走噪声，β为白噪声；

为整个***的视觉重投影误差，ξ_i为相机位姿所对应的李代数，m_j为一个三维地图点，p_ij为三维地图点在图像中对应的像素点。

8.根据权利要求3所述的一种基于深度学习和SLAM技术的裂缝检测与三维定位方法，其特征在于，所述目标优化函数为：

其中，B表示所有IMU测量的集合，k表示第k个图像，H_p表示先验信息的海森矩阵，γ表示各优化变量的雅可比矩阵。

9.根据权利要求1所述的一种基于深度学习和SLAM技术的裂缝检测与三维定位方法，其特征在于，所述步骤S3中筛选出关键帧的筛选规则为满足以下规则其中之一：

1)距离上次参考关键帧至少20帧；

2)当前帧距离上次关键帧***至少间隔20帧或局部线程处于空闲状态；

3)当前帧至少能跟踪到50个特征点；

4)当前帧跟踪到的地图点要比参考关键帧多80％以上，确保重叠率低。

10.根据权利要求1所述的一种基于深度学习和SLAM技术的裂缝检测与三维定位方法，其特征在于，所述步骤S4具体包括：

S4-1、将经过视觉SLAM跟踪、局部BA优化和回环矫正筛选出的关键帧所对应的彩色地图和深度地图进行稠密点云建图，得到稠密点云地图；

S4-2、将步骤3对所有关键帧进行语义分割得到的裂缝信息，通过坐标转换关系映射到稠密点云地图中，针对连续关键帧间的语义标签不一致采用贝叶斯更新，即：

其中，三维点设为V_d，

表示目前所有关键帧集合，l_k表示一个三维体素的类别，

表示该三维点在语义标签集合上的独立分布概率分布；

在新关键帧到来时通过上式更新三维点云的语义信息，获取全局一致的带有裂缝信息的稠密点云地图，通过稠密点云地图获得裂缝的三维位置信息。

Images