CN115409691A - 融合激光测距和监控图像的双模态学习边坡风险检测方法 - Google Patents

Abstract

本发明公开了一种融合激光测距和监控图像的双模态学习边坡风险检测方法，涉及边坡安全监测技术领域。本发明提供的一种融合激光测距和监控图像的双模态学习边坡风险检测方法，先通过结合监控摄像头图像数据和单台单点激光测距仪采集的三维位置数据，将图像特征和激光测距特征进行融合，通过激光测距补充了第三维的特征，极大了提高了对边坡的立体感知能力，信息量更大，识别能力更强；然后通过构建双模态网络并进行多模态学习，检测出边坡风险的种类和区域，特别是一些局部风险变化，为坡面检测***提供准确、实时的预警服务，减少误报警概率。

Description

融合激光测距和监控图像的双模态学习边坡风险检测方法

技术领域

本发明涉及边坡安全监测技术领域，特别涉及一种融合激光测距和监控图像的双模态学习边坡风险检测方法。

背景技术

我国全国各地大量生产建设基地都存在边坡，如矿山、路桥旁边山体边坡、水电站边坡等。边坡安全监测主要用于监测边坡发生的各种安全事件和安全隐患，做到及时预警，是进行安全生产以及环境保护的重要工作。随着更多应用场景的提出，不仅需要简单判断是否存在滑坡落石，还需检测地表裂缝、地面鼓胀、沉降、坍塌、建筑物变形等。应用场景越来越多，其中很多任务不仅需分类是否存在某种风险，还需定位发生风险的区域，在机器学习中前者对应分类任务，后者对应目标检测任务。

检测边坡的手段也越来越多。常用的如监控摄像头，通过图像识别来判断边坡风险。常用还有激光测距扫描设备，通过分析单点或多点位移数据来判断边坡风险。此外还有各种专业设备，如位移传感器、倾斜传感器、应力传感器等。这些手段单个使用时都有各种各自缺点，如应对噪声干扰能力都比较差，具体如下：

(1)人工观测

成本高，且无法连续观测，测量工作费时、费力，更重要的是现场测量人员的人身安全无法保障。

(2)地表传感器观测

如在地表安装位移传感器、倾斜传感器、应力传感器等实时采集数据，缺点是成本高，安装不便，且边坡发生风险时间时传感器容易被破坏。

(3)远距离观测设备

1)摄像头监控监测

远距离观测需人工人眼辅助判断，很难做的高精度自动识别风险因素，特别对于小细节的变化，如裂纹、表明土层冲刷等，很难准确识别。且监控摄像头的识别还受光照等天气影响较大。

2)激光测距设备监测

其中激光测距设备通过轮询扫描间隔点位位置变化来判断坡面位移情况，这种以点代面的方面很难检测细节局部的变化。同时因为坡面岩土和植被等复杂状况，不仅导致每次测距数据本身也存在误差，还导致检测的点也有所偏差。以上两因素叠加，使得直接根据同一点位前后两次扫描的数据结果会产生大量的误报警。即使采用多点判断、三维坡面重构等技术，也很难检测局部细节变化，如裂缝、局部地面鼓胀、沉降。

发明内容

本发明要解决的技术问题，在于提供一种融合激光测距和监控图像的双模态学习边坡风险检测方法，通过结合监控摄像头图像数据和单台单点激光测距仪采集的三维位置数据，进行多模态学习，检测出边坡风险的种类和区域，特别是一些局部风险变化，为坡面检测***提供准确、实时的预警服务，减少误报警概率。

为了解决上述技术问题，本发明是这样实现的：

一种融合激光测距和监控图像的双模态学习边坡风险检测方法，包括：

在坡面指定区域安装设置四个边角基准点标识物，使其在摄像头上可以清晰识别，同时作为激光测距四角基准点；通过激光测距设备和摄像头同时对所述指定区域进行数据采集和图像采集；

将所述激光测距设备第一次采集到的间隔点数据作为基准数据，利用四个边角基准点排除离群点，将余下有效点位置数据利用插值算法构建基准三维坡面；将第一次之后采集到的间隔点数据作为监测数据，通过同样的方法得到监测三维坡面，然后求与所述基准三维坡面的差值得到三维差值坡面图；

根据采集图像上四个基准点坐标和测距设备的四个基准点的三维位置建立仿射变换关系，然后利用透视变换，将三维差值坡面图上的点，投射到采集图像平面上，并用插值算法构建采集图像上所有像素点对应的三维坡面差值，得到融合对齐的坡面差值图；

在所述摄像头采集的图像上进行边坡风险类别和风险区域标注，用于训练；构建双模态网络，所述双模态网络包括滑坡感知网络、第一神经网络、第一模态融合网络、第二神经网络、第二模态融合网络以及感知融合网络；所述滑坡感知网络与第一神经网络的输入均为融合对齐的坡面差值图，所述第二神经网络的输入为坡面采集图像；所述感知融合网络用于对所述第一模态融合网络、第二模态融合网络以及滑坡感知网络的输出端进行多模态融合；然后将训练图像以及融合对齐的坡面差值图作为双模态网络的输入进行训练，训练完成后得到双模态学习边坡风险检测模型；

在检测部署时分别获取摄像头采集图像以及激光测距设备采集的数据，按照训练时的相同的数据处理方法排除区域外点和离群点，得到待检测图像以及融合对齐的坡面差值图，输入双模态学习边坡风险检测模型中，检测识别后输出边坡风险类别和区域。

进一步地，根据训练图像上四个基准点坐标和测距设备的四个基准点的三维位置建立仿射变换关系，具体包括：

输入四个基准点在激光测距上四个点的xy平面位置(x[i],y[i]),对应图像上的XY位置(X[i],Y[i])，求透视矩阵H，矩阵大小3×3，共8个变量，由透视矩阵的标准解法，需要列8个方程：

一对对应点构建的方程为：

四对点共8个方程，从而求出矩阵H中的8个参数；

将激光测距xy平面上点通过上面变换式子变换到图像平面XY上，则图像上像素对应点具有三维坡面的差值数据。

进一步地，所述三维差值坡面图的构建方法包括：

步骤1、在XY平面上，在XY方向上每隔t米，在X轴区间[Xmin,Xmax]和Y轴的区间[Ymin,Ymax]构建插值点网络Tnet，其中，t为设定值且t>0；

步骤2、输入去除异常点和离群点后的坡面扫描点数据，将数据点投影在XY平面上，利用Delaunay三角剖分算法构建Delaunay三角网；

步骤3、计算每个Tnet点落在Delaunay三角网哪个三角内，然后利用该三角三个点xyz坐标计算该平面方程z＝f(x,y)，将插值点Tnet点xy值代入z＝f(x,y)计算对应Z值，遍历插值计算出Tnet中的所有点的Z值；

步骤4、将Tnet的xy值用索引坐标代替，得到插值点的新数据点集(m,n,z)。

进一步地，所述双模态网络还包括：所述滑坡感知网络包括依次连接的一个切片操作模块、一个卷积模块以及三个全连接模块，所述滑坡感知网络的输出为感知系数；所述感知融合网络为全连接模块，所述第一神经网络和第二神经网络为yolov5网络。

本发明实施例的技术方案至少具有如下技术效果或优点：

1、融合图像特征和激光测距特征，相当于三维立体信息，信息量更大，识别能力更强：

边坡各种滑坡、裂纹、变形等是一种立体变化过程，映射到摄像头采集的二维平面图像时，实际丢失了很多信息，不易检测。通过激光测距补充了第三维的特征，极大了提高了对边坡的立体感知能力，采用合适算法，可以提高对边坡各种风险的识别能力。

2、自动特征提取代替人工设计特征，根据数据驱动自动提取最优特征，更加精确可靠：

深度学习的一个巨大优势是使用数据驱动，自动从数据中发现对分类和检测最有效的特征。这种数据驱动的自动特征提取方法，可很大程度上避免传统人工设计的特征提取方法的盲目性和随机性。尤其是当边坡的风险种类增加时，人工特征会越来越难以胜任。而数据驱动的方式，只需增加训练样本就可以生效。

3、避免复杂的噪声处理，避免靠经验调整阈值等各种参数，算法适应性更好：

利用传统的机器学习方法进行边坡的风险分类或区域定位时，噪声干扰会严重影响最终性能，通常在特征提取前需设计各种复杂的噪声滤波器。这种设计或多或少都和经验知识和预设场景挂钩，当实际应用中经验知识和预设场景不成立时，容易失效。

此外特征提取器，以及最终分类器中都有各种参数需要设计，为算法简单，通常用各种实验参数值，甚至经验值作为参数预设值。这种参数的科学性、有效性和鲁棒性都有待考验。

而以数据驱动的深度学习方法，可自动关注对分类最核心的特征，自动避免噪声的影响，也没有太多的预设参数值，极大的提高了算法的有效性。

4、对于新的场景下新的目标检测任务，只需增加标注样本重新训练即可满足要求，提高模型的扩展能力：

深度学习的一个巨大优势是使用数据驱动，自动训练神经网络。对于新场景下的情况，只需增加该场景下的训练样本，就能迭代更新模型，极大提高模型的扩展能力。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1为本发明实施例方法的流程图；

图2为本发明实施例多模态检测训练流程图；

图3为本发明实施例插值算法重构坡面三维图的流程图；

图4为本发明实施例双模态网络结构示意图；

图5为本发明实施例多模态检测分类流程图。

具体实施方式

本发明实施例通过提供提供一种融合激光测距和监控图像的双模态学习边坡风险检测方法，通过结合监控摄像头图像数据和单台单点激光测距仪采集的三维位置数据，进行多模态学习，检测出边坡风险的种类和区域，特别是一些局部风险变化，为坡面检测***提供准确、实时的预警服务，减少误报警概率。

本发明实施例中的技术方案，总体思路如下：

算法主要有两大流程：训练流程和分类流程。先收集标注训练样本，对齐图像和测距多模态数据，训练好模型，具体如图2，然后提供给检测流程使用。

训练流程中主要关键模块为三维坡面图构建方法(含三维插值方法)、图像基准点和测距基准点的透视变换、多模态学习方法，分别描述如下。

一、三维坡面图构建方法(含三维插值方法)，如图3和表1所示。

表1 XY平面插值点网络Tnet的插值点坐标矩阵

注：矩阵其中对应的索引坐标为(m，n),m为[0，(Xmax-Xmin)/t]之间整数，n为[0，(Ymax-Ymin)/t]之间整数。

二、图像基准点和测距基准点的透视变换：

两组数据中四个基准角点都是标定好的，其中激光测距的得到的是空间三维的位置，xy相当于地面平面的坐标，z轴相当于点相对于测距设备的高度。对此，只要将测距空间中四个角点对应xy平面和监控图片上平面对应上即可，然后通过插值算出图片上每个像素点对应的坡面差值信息，即可实现图像和坡面差值图信息的对齐融合。坡面图像变化的区域也是激光测距信息变化的区域。

本发明图像平面和测距平面对齐的方法是通过已知四个基准点位置信息下的透视变换，具体方法如下：

输入四个基准点在激光测距上四个点的xy平面位置(x[i],y[i]),对应图像上的XY位置(X[i],Y[i])，求透视矩阵H，矩阵大小3×3，共8个变量，由透视矩阵的标准解法，需要列8个方程：

一对对应点构建的方程为：

四对点共8个方程，从而求出矩阵H中的8个参数；

将激光测距xy平面上点通过上面变换式子，变换到图像平面XY上，则图像上像素对应点具有三维坡面的差值数据。再通过上面的基于Delaunay三角的插值技术，插值出所有像素点对应的三维坡面的差值数据。至此，完成两模态数据的对齐。

三、模型训练

1)经过上述处理，得到融合对齐的(图像，图像点对应点坡面差值)的数据，大量采集以上成对数据样本，并对图像进行标注风险类型和区域，准备好训练样本数据。

2)由于二者数据位置只是大致对齐，利用多模态数据晚期融合策略，在两路目标检测算法结构后再加入一层网络作为多模态融合网络，利用信息检测更精确的测距信息重构的差值坡面图提取出的特征作为感知信息来调整感知网络。依据设计如图4所示的双模态网络，通过大量标注数据获得训练后的模型。其中focus\conv\linear分别是yolov5中的切片操作模块\卷积模块\全连接模块

四、模型检测

将训练好的模型部署好，部署时一样按照训练时的数据处理方法，只是去掉标注数据的环节。如图5所示，输入预处理好的数据，检测识别后输出边坡风险类别和区域。

本发明一具体实施例的实现如图1所示：

一种融合激光测距和监控图像的双模态学习边坡风险检测方法，包括：

在坡面指定区域安装设置四个边角基准点标识物，使其在摄像头上可以清晰识别，同时作为激光测距四角基准点；通过激光测距设备和摄像头同时对所述指定区域进行数据采集和图像采集。

将所述激光测距设备第一次采集到的间隔点数据作为基准数据，利用四个边角基准点排除离群点，将余下有效点位置数据利用插值算法构建基准三维坡面；将第一次之后采集到的间隔点数据作为监测数据，通过同样的方法得到监测三维坡面，然后求与所述基准三维坡面的差值得到三维差值坡面图。

根据采集图像上四个基准点坐标和测距设备的四个基准点的三维位置建立仿射变换关系，然后利用透视变换，将三维差值坡面图上的点，投射到采集图像平面上，并用插值算法构建采集图像上所有像素点对应的三维坡面差值，得到融合对齐的坡面差值图。

在所述摄像头采集的图像上进行边坡风险类别和风险区域标注，用于训练；如图4所示，构建双模态网络，所述双模态网络包括滑坡感知网络、第一神经网络、第一模态融合网络、第二神经网络、第二模态融合网络以及感知融合网络；所述滑坡感知网络与第一神经网络的输入均为融合对齐的坡面差值图，所述第二神经网络的输入为坡面采集图像；所述感知融合网络用于对所述第一模态融合网络、第二模态融合网络以及滑坡感知网络的输出端进行多模态融合；然后将训练图像以及融合对齐的坡面差值图作为双模态网络的输入进行训练，训练完成后得到双模态学习边坡风险检测模型。

所述双模态网络还包括：所述滑坡感知网络包括依次连接的一个切片操作模块(Focus)、一个卷积模块(Conv)以及三个全连接模块(Linear)，所述滑坡感知网络的输出为感知系数；所述感知融合网络为全连接模块，所述第一神经网络和第二神经网络为yolov5网络。

在检测部署时分别获取摄像头采集图像以及激光测距设备采集的数据，按照训练时的相同的数据处理方法排除区域外点和离群点，得到待检测图像以及融合对齐的坡面差值图，输入双模态学习边坡风险检测模型中，检测识别后输出边坡风险类别和区域。

在一种可能的实现方式中，根据训练图像上四个基准点坐标和测距设备的四个基准点的三维位置建立仿射变换关系，具体包括：

输入四个基准点在激光测距上四个点的xy平面位置(x[i],y[i]),对应图像上的XY位置(X[i],Y[i])，求透视矩阵H，矩阵大小3×3，共8个变量，由透视矩阵的标准解法，需要列8个方程：

一对对应点构建的方程为：

四对点共8个方程，从而求出矩阵H中的8个参数；

将激光测距xy平面上点通过上面变换式子变换到图像平面XY上，则图像上像素对应点具有三维坡面的差值数据。

如图3所示，所述三维差值坡面图的构建方法包括：

步骤1、在XY平面上，在XY方向上每隔t米，在X轴区间[Xmin,Xmax]和Y轴的区间[Ymin,Ymax]构建插值点网络Tnet，其中，t为设定值且t>0；

步骤2、输入去除异常点和离群点后的坡面扫描点数据，将数据点投影在XY平面上，利用Delaunay三角剖分算法构建Delaunay三角网；

步骤3、计算每个Tnet点落在Delaunay三角网哪个三角内，然后利用该三角三个点xyz坐标计算该平面方程z＝f(x,y)，将插值点Tnet点xy值代入z＝f(x,y)计算对应Z值，遍历插值计算出Tnet中的所有点的Z值；

步骤4、将Tnet的xy值用索引坐标代替，得到插值点的新数据点集(m,n,z)。

本发明提供的一种融合激光测距和监控图像的双模态学习边坡风险检测方法，先通过结合监控摄像头图像数据和单台单点激光测距仪采集的三维位置数据，将图像特征和激光测距特征进行融合，通过激光测距补充了第三维的特征，极大了提高了对边坡的立体感知能力，信息量更大，识别能力更强；然后通过构建双模态网络并进行多模态学习，检测出边坡风险的种类和区域，特别是一些局部风险变化，为坡面检测***提供准确、实时的预警服务，减少误报警概率。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (4)

1.一种融合激光测距和监控图像的双模态学习边坡风险检测方法，其特征在于，包括：

在坡面指定区域安装设置四个边角基准点标识物，使其在摄像头上可以清晰识别，同时作为激光测距四角基准点；通过激光测距设备和摄像头同时对所述指定区域进行数据采集和图像采集；

将所述激光测距设备第一次采集到的间隔点数据作为基准数据，利用四个边角基准点坐标排除区域外离群点，将余下有效点位置数据利用插值算法构建基准三维坡面；将第一次之后采集到的间隔点数据作为监测数据，通过同样的方法得到监测三维坡面，然后求与所述基准三维坡面的差值得到三维差值坡面图；

根据采集图像上四个基准点坐标和测距设备的四个基准点的三维位置建立仿射变换关系，然后利用透视变换，将三维差值坡面图上的点，投射到采集图像平面上，并用插值算法构建采集图像上所有像素点对应的三维坡面差值，得到融合对齐的坡面差值图；

在所述摄像头采集的图像上进行边坡风险类别和风险区域标注，用于训练；构建双模态网络，所述双模态网络包括滑坡感知网络、第一神经网络、第一模态融合网络、第二神经网络、第二模态融合网络以及感知融合网络；所述滑坡感知网络与第一神经网络的输入均为融合对齐的坡面差值图，所述第二神经网络的输入为坡面采集图像；所述感知融合网络用于对所述第一模态融合网络、第二模态融合网络以及滑坡感知网络的输出端进行多模态融合；然后将训练图像以及融合对齐的坡面差值图作为双模态网络的输入进行训练，训练完成后得到双模态学习边坡风险检测模型；

在检测部署时分别获取摄像头采集图像以及激光测距设备采集的数据，按照训练时的相同的数据处理方法排除区域外点和离群点，得到待检测图像以及融合对齐的坡面差值图，输入双模态学习边坡风险检测模型中，检测识别后输出边坡风险类别和区域。

2.根据权利要求1所述的方法，其特征在于：根据训练图像上四个基准点坐标和测距设备的四个基准点的三维位置建立仿射变换关系，具体包括：

输入四个基准点在激光测距上四个点的xy平面位置(x[i],y[i]),对应图像上的XY位置(X[i],Y[i])，求透视矩阵H，矩阵大小3×3，共8个变量，由透视矩阵的标准解法，需要列8个方程：

一对对应点构建的方程为：

四对点共8个方程，从而求出矩阵H中的8个参数；

将激光测距xy平面上点通过上面变换式子变换到图像平面XY上，则图像上像素对应点具有三维坡面的差值数据。

3.根据权利要求1或2所述的方法，其特征在于：所述三维差值坡面图的构建方法包括：

步骤1、在XY平面上，在XY方向上每隔t米，在X轴区间[Xmin,Xmax]和Y轴的区间[Ymin,Ymax]构建插值点网络Tnet，其中，t为设定值且t>0；

步骤2、输入去除异常点和离群点后的坡面扫描点数据，将数据点投影在XY平面上，利用Delaunay三角剖分算法构建Delaunay三角网；

步骤3、计算每个Tnet点落在Delaunay三角网哪个三角内，然后利用该三角三个点xyz坐标计算该平面方程z＝f(x,y)，将插值点Tnet点xy值代入z＝f(x,y)计算对应Z值，遍历插值计算出Tnet中的所有点的Z值；

步骤4、将Tnet的xy值用索引坐标代替，得到插值点的新数据点集(m,n,z)。

4.根据权利要求1所述的方法，其特征在于：所述双模态网络还包括：所述滑坡感知网络包括依次连接的一个切片操作模块、一个卷积模块以及三个全连接模块，所述滑坡感知网络的输出为感知系数；所述感知融合网络为全连接模块，所述第一神经网络和第二神经网络为yolov5网络。

Images