CN113808103A

CN113808103A - 基于图像处理的路面坑洼自动检测方法、设备和存储介质

Info

Publication number: CN113808103A
Application number: CN202111086027.3A
Authority: CN
Inventors: 蔡长青
Original assignee: Guangzhou University
Current assignee: Guangzhou University
Priority date: 2021-09-16
Filing date: 2021-09-16
Publication date: 2021-12-17

Abstract

本发明公开了一种基于图像处理的路面坑洼自动检测方法、设备和存储介质。包括以下步骤：对路面进行图像采集；通过SFM对路面图像进行三维重建，得到路面的正射影像；通过深度可分离卷积网络对图像进行路面坑洼特征分割，得到三维路面坑洼分割模型；测量三维路面坑洼分割模型中坑洼的口径和体积。本发明将先进的机器学习技术引入路面坑洼检测领域，采用SFM对路面坑洼图像进行三维重建，建模精度达到毫米级；同时应用了深度可分离卷积网络进行特征提取分割，减少了模型参数，提高了运算效率。有助于本领域技术人员实现高精度的路面坑洼体积自动测量，为进一步深入优化测量方法提供了新的起点。

Description

基于图像处理的路面坑洼自动检测方法、设备和存储介质

技术领域

本发明涉及图像处理领域，尤其是一种基于图像处理的路面坑洼自动检测方法、设备和存储介质。

背景技术

随着城市化建设的逐渐普及，国家铺设了大量的沥青公路供车辆通行。随着使用年限的增长，公路逐渐老化，容易出现裂纹、塌陷等情况影像车辆的正常驾驶，因此交通运输部门需要定期对路面进行巡检养护。

目前常用的路面巡检方式还是采用传统的人工检测方法，由专人对路面坑洼进行实地记录与测量，不仅费时费力，且效率偏低，在铺设公路里程越来越高的情况下巡检的成本也水涨船高。

发明内容

有鉴于此，本发明将先进的机器学习方法引入路面坑洼检测中，将繁杂的坑洼测量、记录工作交由AI完成。

本发明的第一方面提供了一种基于图像处理的路面坑洼自动检测方法，其特征在于，包括以下步骤：

对路面进行图像采集，得到路面图像；

通过SFM对路面图像进行三维重建，得到路面的正射影像；

通过深度可分离卷积网络对所述路面图像进行路面坑洼特征分割，得到分割结果；

测量分割结果中坑洼的口径和体积。

进一步地，所述对路面进行图像采集，具体包括：

设定图像采集的高度、间隔和角度，使视野和采样距离之间达到平衡；

使用可移动载体搭载摄像机对路面进行图像采集。

进一步地，所述通过SFM对路面图像进行三维重建，具体包括：

对摄像机进行标定，消除路面图像中因摄像机镜头而产生的径向畸变和切向畸变，并获取摄像机的内部物理特性；

根据路面图像和摄像机内部物理特性生成路面图像的点云模型；

对生成的点云模型进行校准；

对校准后的点云模型进行空间分割，生成路面的正射影像。

进一步地，所述对生成的点云模型进行校准，具体包括以下步骤：

利用PCA算法分析所述点云模型，提取所述点云模型的主要特征分量，得到第一特征分量、第二特征分量和第三特征分量；

以所述第一特征分量、第二特征分量和第三特征分量为三个坐标方向建立空间坐标系，并在坐标系中构建点云平面；

将所述第一特征分量、第二特征分量和第三特征分量中特征值最小的特征分量作为点云平面的法向特征分量；

将点云模型中每个点的坐标与所述法向特征分量相乘，生成标定点云；

通过标定点云对点云模型中的原始点云进行旋转校正。

进一步地，所述正射影像，包括：

彩色正射影像，所述彩色正射影像中像素所记录的是像素位置点云的平均RGB值；

深度正射影像，所述深度正射影像中像素所记录的是像素位置点云的平均高度；

重叠正射影像，所述重叠正射影像是所述彩色正射影像和所述深度正射影像的重叠影像。

进一步地，所述重叠正射影像的重叠步骤包括：

将所述彩色正射影像进行RGB分离，分离出的R通道影像为第一通道影像、分离出的G通道影像为第二通道影像、分离出的B通道影像为第三通道影像；

将所述第一通道影像的像素值、第二通道影像的像素值和第三通道影像的像素值分别与所述深度正射影像的像素值平均，得到平均第一通道影像、平均第二通道影像和平均第三通道影像；

将所述均第一通道影像、平均第二通道影像和平均第三通道影像重新组合，形成重叠正射影像。

进一步地，所述通过深度可分离卷积网络对图像进行路面坑洼特征分割，具体包括：

通过多个下采样层对所述正射影像进行卷积运算，得到第一特征影像；

通过与所述下采样层所对应的多个上采样层对所述第一特征影像进行转置卷积运算，得到第二特征影像，所述第二特征影像与所述正射影像的图像大小相同；

通过softmax层判断所述第二特征影像中路面存在坑洼的概率。

进一步地，所述下采样层，具体包括内核尺寸为3×3的卷积层、批量归一化层和校正线性单元激活层。

本发明还公开了一种设备，包括处理器以及存储器；

所述存储器用于存储程序；

所述处理器执行所述程序实现所述的一种基于图像处理的路面坑洼自动检测方法。

本发明还公开了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现所述的一种基于图像处理的路面坑洼自动检测方法。

本发明的有益效果为：引入了SFM对路面图像进行3d重建，并采用深度可分离卷积对路面坑洼进行分割，减轻运算负担。本发明可在保证运算速度的前提下，使检测结果达到毫米级精度，实现了高精度的路面坑洼自动测量。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种基于图像处理的路面坑洼自动检测方法工作流程图.

图2为本发明路面图像采集步骤说明图。

图3为本发明深度可分离卷积网络构建图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本实施例说明了路面图像采集过程。图像采集过程对路面三维重建的质量有很大的影响，需要从摄影的高度、间隔和角度进行设计。为了达到视野和地面采样距离(GSD)之间的平衡，摄像机与路面之间的垂直距离为0.8m，摄像机之间的水平距离为0.6m。在此设置下，图像可以覆盖约2m²的路面，图像上可以准确观察到的最小细节为0.27mm/像素。根据以前的研究，为了保证高细节度，图像的重叠度应该在70％～80％之间。此外，不同的拍摄角度会捕捉到不同的表面微观特征，因为凸起的表面纹理会遮蔽周围的表面。因此，比较不同摄影角度下的三维重建效果具有重要意义。

对于实地调查，采用两种不同相机角度的方案来比较三维点云构建的质量(图2)。第一种方案是所有相机方向垂直于表面，如图2(a)所示。在这种情况下，每个摄像头都可以捕捉各个方向的表面纹理。然而，受一个镜头和另一个镜头之间的微视差的限制，在图像上捕获的特征可能是不显著的。第二种方案是中心摄像机方向仍然垂直于地面，而侧摄像机以30°的固定角度向中心倾斜。,如图2(b)所示。可以肯定的是，每台相机都能更好地捕捉到自己方向的表面细节。此策略的缺点是可能会遗漏其他方向的许多路面特征。

本实施例说明了利用SFM(Structure From Motion，运动结构)对图像进行三维重建。其主要流程为：根据摄像机之间的空间关系，利用SfM准确估计出图像中每个有效像素的空间位置。其次，利用SfM生成的点云模型，通过标定和格式化将其转换为正射影像。具体步骤如下：

(1)摄像机标定

在三维重建过程中首先应获得相机固有矩阵K。摄像机坐标系中空间点与像点之间的关系可用摄像机固有矩阵来描述。因此，摄像机标定的目的是获得摄像机的内部物理特性。同时，镜头畸变包括径向畸变和切向畸变必须通过摄像机标定来消除。通过输入一组棋盘图像，利用MATLAB或Python-OpenCV自动计算摄像机标定参数。

(2)点云重建

一旦路面摄影测量和摄像机校准完成，路面图像被分成若干组，每组由20-30个图像组成。然后，编译一个Python脚本来调用PhotoScan的功能，自动对图像组执行批处理。

基于SfM的三维场景重建依赖于对应搜索来提取和匹配多个视图之间的兴趣点。对应搜索的目的是识别输入图像I＝{Ii|I＝1…N}上的对应点。对于每个图像Ii，特征集Fi＝{(pj，fj)|j＝1…M}将被识别，其中包括每个位置pj的局部特征描述符fj。这些局部特征在位置、方向和尺度变化的情况下是稳定的，这样才能在多幅图像中实现特征点的唯一匹配。特征提取有多种算法可供选择，如加速鲁棒特征(SURF)、加速分段测试特征(FAST)和尺度不变特征变换(SIFT)，在各种算法中，SIFT以其鲁棒性和效率在SfM中得到了广泛的应用。

SfM通过图像与空间的几何关系来发现特征点的三维信息。为了获得图像上各点的空间坐标，首先要估计摄像机的相对位置。不同摄像机之间的位置关系可用极线几何和基本矩阵E来描述。假设第一相机坐标系O1 xyz与世界坐标系重合，其中O1是光学中心，p1＝[x1，y1]T是第一图像上目标点P的图像坐标。第二相机坐标系是O2 xyz，其中O2是光学中心，p2＝[x2，y2]T是第二图像上的目标点P的图像坐标。特征点对(p1，p2)可以通过特征提取和匹配来识别。同时，两幅图像具有相同的相机参数，其中焦距为fx，fy，图像上光心的坐标为[cx，cy]T。

o1-xyz第一相机坐标系：

o2-xyz第二相机坐标系

相机固有矩阵：

公式(3)中，K是相机固有矩阵，可通过相机校准获得。[X、Y，Z]T是目标点P在O1-xyz相机坐标系中的空间坐标，[X′，Y′，Z′]T是目标点P在O2-xyz相机坐标系中的空间坐标；d1和d2是从目标点到相机光学中心的垂直距离。

在每个相机***从公式(1)-(2)得到了坐标变换关系之后，两个相机坐标系之间的相互位置关系可通过以下公式估算，其中旋转矩阵R为3×3，平移向量T为3×1：

公式(5)可通过求垂直于T和K^-1[x2，y2，1]T的3×1向量[T]×K^-1[x2，y2,1]T＝T_×[K^-1[x2，y2，1]T]进一步简化，其中[T]×是3×3反对称矩阵。然后，公式(5)可以转换为：

在公式(6)中，[T]_×R是基本矩阵E，可基于随机样本一致性(RANSAC)算法选择的多个已知特征点对求解。然后利用奇异值分解(SVD)算法从基本矩阵中提取旋转矩阵R和平移变换向量T。一旦确定了摄像机之间的关系，就可以采用三角剖分法来计算目标点的空间坐标。空间坐标[X，Y，Z]T可通过SVD算法通过以下公式计算：

其中[[x2，y2,1]^T]_×是一个3×3反对称矩阵，它垂直于[x2，y2,1]T。

(3)点云校准

由SfM生成的点云模型的表面与路面表面不平行，因为图像是从不同角度拍摄的。因此，基于原始点云模型无法直接获得路面的正射影像。有几种方法可以找到原始点云模型的平面，并将其校准为与路面平行。常用的方法是将平面拟合到点上，并计算原始点和拟合平面之间的垂直距离。然而，这种方法利用投影原理校正点云的垂直偏移，忽略了点云的水平偏移。

为了克服这一问题，本实施例提出了以下步骤来估计点云平面的法向量，并通过旋转来校准平面。首先，利用主成分分析(PCA，Principal Component Analysis)算法计算点云数据的三个特征向量，直观地将其视为点云模型的三个主方向。在这些特征向量中，具有最小特征值的特征向量表示点云平面的法向。然后，将每个点的原始坐标与法向特征向量相乘，生成标定点云。几何上，通过旋转原始点云获得水平点云曲面。另外，原始点云的坐标是相对坐标，可以通过比例因子标定为绝对坐标。比例因子可以根据实际距离与点云距离的比值来估计。

(4)正射影像生成

在得到校正后的点云模型后，可以建立基于深度学习的路面破损检测的正射影像。在本研究中产生了三种类型的正射影像，包括彩色正射影像、深度正射影像和彩色-深度重叠正射影像。

与基于激光方法生成的点云不同，立体视觉生成的点云是无序的，在物体表面随机分布。因此，对标定后的点云进行空间分割，生成正射影像。正射影像上的每个像素代表某一空间范围内的点云信息。对于彩色正交图像，图像上的像素是指定区域中点云的平均RGB值。类似地，深度正射影像上的像素是指定区域内点云的平均高度。值得注意的是，由于同一生成区域，两种正射影像完全重叠。因此，可以通过图像重叠操作来生成重叠图像。

将彩色图像与深度图像重叠的处理过程为：首先，将一幅三通道彩色图像分割成三幅单通道图像。接下来，将三个单通道图像上的像素值分别与深度图像上的像素值平均。最后，将三幅新的单通道图像重新组合，形成重叠图像。

本实施例介绍了采用U-NET网络对路面图像坑洼进行分割的步骤，基本框架如图3所示。基于U网的卷积网络的输入是一个三通道图像，可以是彩色图像、深度图像或彩色深度重叠图像。通过通道复制将深度图像转换为三通道图像。网络输出为单通道图像。在编码器部分，首先通过一个标准卷积块提取输入图像的特征，该标准卷积块包括一个核尺寸为3×3的卷积层，一个批量归一化(BN)层和一个校正线性单元(ReLU)激活层。然后，跟随一系列纵深可分离卷积块来完成剩余的下采样。经过四次卷积(步长为2)运算后，特征图的大小减小到输入图像的十六分之一。该体系结构的译码器部分主要基于转置卷积层，内核尺寸为2×2，步长为2，转置卷积后进行压缩操作，将编码块连接到相应的译码器块上。在每个上采样步骤中将特征图的大小加倍，同时将图的数量减半。在执行四次转置卷积之后，网络返回与输入图像大小相同的特征图。网络的最后一层是softmax层，它返回一个概率图，提供每个像素的路面损坏概率。

深度可分离卷积将标准卷积分为深度卷积和点卷积两步，大大减少模型参数的数目。本实施例中将输入图像假设为具有M个通道，输出特征映射具有N个通道，对于一次卷积运算，基于核大小k×k的标准卷积所需的参数个数为：

P_conv＝M×N×k×k (9)

在深度卷积中，M个通道的特征映射分别由M个卷积核进行卷积运算。因此，深度卷积所需的参数数量为：

P_Dconv＝M×k×k (10)

基于深度卷积生成的特征映射，对M个特征映射进行1×1卷积，生成N个通道的特征映射。逐点卷积运算中的参数数为：

P_Pconv＝M×N×1×1 (11)

因此，深度可分离卷积的参数总数为：

P_DSconv＝M×k×k+M×N×1×1 (12)

与标准卷积相比，深度可分卷积的模型参数减少为：

本实施例中深度学习网络通过交叉熵损失函数和骰子系数损失函数进行训练。在初始训练阶段，采用交叉熵损失函数来度量像素级分类器的性能，该分类器输出的概率介于0到1之间。交叉熵损失LCE定义如下：

其中K是像素的数目；yi是像素i的基本事实，yi∈{0,1}；∧yi是像素i^yi的预测∈[0,1].

然而，对于路面裂缝的分割，非裂缝像素的数目远大于裂缝像素的数目。考虑到这一事实，采用骰子系数损失函数来评价地面真实图像和预测图像的相似性。骰子系数损失LDC由以下公式确定：

其中s是防止分母为零的常数，在本文中，s＝1。

模型训练的目的是调整结构中各层的权重，以达到最佳的分割效果。在权值初始化后，利用Adam优化算法对权值进行优化，使损失值最小化。Adam算法由于其在计算效率和鲁棒性方面的突出表现，被广泛应用于模型训练过程中。同时，本实施例中不固定学习率，而是在整个训练过程中动态地改变学习率。具体来说，如果验证集的损失在几次迭代中没有下降，那么学习率将减半。

本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。

在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。

此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims

1.一种基于图像处理的路面坑洼自动检测方法，其特征在于，包括以下步骤：

对路面进行图像采集，得到路面图像；

通过SFM对路面图像进行三维重建，得到路面的正射影像；

测量分割结果中坑洼的口径和体积。

2.根据权利要求1所述的一种基于图像处理的路面坑洼自动检测方法，其特征在于，所述对路面进行图像采集，具体包括：

使用可移动载体搭载摄像机对路面进行图像采集。

3.根据权利要求1所述的一种基于图像处理的路面坑洼自动检测方法，其特征在于，所述通过SFM对路面图像进行三维重建，具体包括：

对生成的点云模型进行校准；

对校准后的点云模型进行空间分割，生成路面的正射影像。

4.根据权利要求3所述的一种基于图像处理的路面坑洼自动检测方法，其特征在于，所述对生成的点云模型进行校准，具体包括以下步骤：

通过标定点云对点云模型中的原始点云进行旋转校正。

5.根据权利要求3所述的一种基于图像处理的路面坑洼自动检测方法，其特征在于，所述正射影像，包括：

6.根据权利要求5所述的一种基于图像处理的路面坑洼自动检测方法，其特征在于，所述重叠正射影像的重叠步骤包括：

7.根据权利要求1所述的一种基于图像处理的路面坑洼自动检测方法，其特征在于，所述通过深度可分离卷积网络对图像进行路面坑洼特征分割，具体包括：

通过softmax层判断所述第二特征影像中路面存在坑洼的概率。

8.根据权利要求7所述的一种基于图像处理的路面坑洼自动检测方法，其特征在于，所述下采样层，具体包括内核尺寸为3×3的卷积层、批量归一化层和校正线性单元激活层。

9.一种设备，其特征在于，包括处理器以及存储器；

所述存储器用于存储程序；

所述处理器执行所述程序实现如权利要求1-8中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1-8中任一项所述的方法。