CN108416307A

CN108416307A - 一种航拍图像路面裂缝检测方法、装置及设备

Info

Publication number: CN108416307A
Application number: CN201810205751.5A
Authority: CN
Inventors: 王霞; 王博
Original assignee: Beijing Institute of Technology BIT
Current assignee: Beijing Institute of Technology BIT
Priority date: 2018-03-13
Filing date: 2018-03-13
Publication date: 2018-08-17
Anticipated expiration: 2038-03-13
Also published as: CN108416307B

Abstract

本发明实施例提供一种航拍图像路面裂缝检测方法、装置及设备。所述方法包括：提取航拍路面图像的路面区域的深层高维特征，根据所述深层高维特征获得高维特征图；基于所述路面区域的深层高维特征，对所述高维特征图进行正负样本筛选，以区分路面裂缝目标和路面背景；对所述路面裂缝目标进行分类和坐标定位，获得所述路面裂缝目标的分类信息和坐标信息。本发明实施例可应用于高空运动背景和复杂场景的航拍图像的路面裂缝检测，相较于常用的各种裂缝检测算法更为适合无人机载***采集图像，具有更好的航拍图像检测裂缝鲁棒性。

Description

一种航拍图像路面裂缝检测方法、装置及设备

技术领域

本发明实施例涉及深度学习和模式识别领域，尤其涉及一种航拍图像路面裂缝检测方法、装置及设备。

背景技术

目前，公路路面主要破损形式之一是路面裂缝，其中，我国高速公路裂缝类型主要是横向和纵向裂缝。若能在裂缝出现的初期就发现，并跟踪其发展情况，那么路面维护费将大大降低，同时保证高速公路的行车安全。因此，对公路的路面状况进行定期的调查及养护极其重要。

路面裂缝检测方式从最初的人工检测方式开始发展；随着图像处理技术的应用，将车载采集装置和图像处理技术结合，应用于路面裂缝检测，使得检测效率得到很大改善。近年来，无人机技术得到快速发展，与之结合的应用得到极大丰富，结合于无人机采集方式的路面裂缝检测装置，相较于其他的方法，具有快速高效、视场大以及存储数据量有所下降的优势。但是相比于车载采集图像，存在路旁景物、车辆、电线以及阴影等干扰，且噪声也十分丰富。

常用的裂缝识别方法主要集中于阈值分割、特征检测、纹理分析和种子生长等的应用，除此之外，还有机器学习以及模糊集的运用。但是目前已有的这些方法基本都是针对车载采集装置图像的基础进行检测发展，不能适用于干扰和噪声更加丰富的航拍图像。

发明内容

针对现有技术存在的问题，本发明实施例提供一种航拍图像路面裂缝检测方法、装置及设备，结合航拍采集方式的一系列优势使裂缝检测更高效便捷，并改进传统图像处理算法的鲁棒性问题。

第一方面，本发明实施例提供一种航拍图像路面裂缝检测方法，包括：

提取航拍路面图像的路面区域的深层高维特征，根据所述深层高维特征获得高维特征图；

基于所述路面区域的深层高维特征，对所述高维特征图进行正负样本筛选，以区分路面裂缝目标和路面背景；

对所述路面裂缝目标进行分类和坐标定位，获得所述路面裂缝目标的分类信息和坐标信息。

第二方面，本发明实施例提供了一种航拍图像路面裂缝检测装置，包括：

高维特征图模块，用于提取航拍路面图像的路面区域的深层高维特征，根据所述深层高维特征获得高维特征图；

裂缝识别模块，用于基于所述路面区域的深层高维特征，对所述高维特征图进行正负样本筛选，以区分路面裂缝目标和路面背景；以及

分类定位模块，用于对所述路面裂缝目标进行分类和坐标定位，获得所述路面裂缝目标的分类信息和坐标信息。

第三方面，本发明实施例提供了一种航拍图像路面裂缝检测设备，其特征在于，包括：

至少一个处理器；以及

与所述处理器通信连接的至少一个存储器，其中：

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行本发明实施例第一方面所述航拍图像路面裂缝检测方法及其任一可选实施例所述的方法。

第四方面，提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令执行本发明实施例第一方面所述航拍图像路面裂缝检测方法及其任一可选实施例的方法。

本发明实施例提供的一种航拍图像路面裂缝检测方法，通过提取路面区域的高维特征图，进行路面裂缝目标和路面背景的初步区分，并对裂缝目标进行分类和精确定位，实现航拍路面的裂缝目标定位和分类，并获取裂缝目标的坐标信息。本发明实施例可应用于高空运动背景和复杂场景的航拍图像的路面裂缝检测，相较于常用的各种裂缝检测算法更为适合无人机载***采集图像，具有更好的航拍图像检测裂缝鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一种航拍图像路面裂缝检测方法流程图；

图2为本发明实施例航拍图像路面裂缝识别实施例示意图；

图3为本发明实施例一种航拍图像路面裂缝检测设备的框架示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例一种航拍图像路面裂缝检测方法流程图，如图1所示的航拍图像路面裂缝检测方法，包括：

S100，提取航拍路面图像的路面区域的深层高维特征，根据所述深层高维特征获得高维特征图；

本发明实施例适用于航拍的路面图像的裂缝检测，航拍图像的特点是高空、距离远、运功拍摄、场景复杂，即路面以外的背景复杂。

优选的，步骤S100之前还包括：对航拍路面图像进行粗分割以剔除路旁无效区域，获得航拍路面图像中的路面区域。

具体的，航拍路面图像中包括路面区域和路面区域以外的路旁无效区域，本发明实施例提剔除航拍路面图像中路面区域以外的路旁无效区域，剩下的即是路面区域；在此基础上，对路面区域进行高维特征提取，根据提取到的深层高维特征获得高维特征图。所述高维特征为：不同于浅层边缘局部信息特征的裂缝目标整体语义信息图像特征。

S200，基于所述路面区域的深层高维特征，对所述高维特征图进行正负样本筛选，以区分路面裂缝目标和路面背景；

本发明实施例进行正负样本筛选，即是对路面裂缝目标进行初步识别，将路面裂缝目标和路面背景区分开，正样本为裂缝目标，负样本为路面背景。

S300，对所述路面裂缝目标进行分类和坐标定位，获得所述路面裂缝目标的分类信息和坐标信息。

在步骤S200进行初步定位得到裂缝目标和路面背景后，步骤S300基于初步定位的裂缝目标进行分类，对裂缝目标的位置进行精确定位，最终获得裂缝目标的详细分类信息和坐标位置信息。所述分类信息是指裂缝目标的类型分类，比如横向裂缝或纵向裂缝等；所述坐标定位，是定量裂缝目标的精确位置坐标。

基于上述实施例，所述对所述路面裂缝目标进行分类和坐标定位，获得所述路面裂缝目标的分类信息和坐标信息，之后还包括：

S400，根据所述路面裂缝目标的分类信息和坐标信息，计算所述路面裂缝目标的长度。

基于上述裂缝目标的详细的分类信息和坐标位置信息，步骤S400进一步计算路面裂缝目标的长度，从而本发明实施例根据航拍路面图像可最终获得如下信息：定位到裂缝目标，裂缝目标的详细分类、精确的坐标位置和定量的长度数据。

本发明实施例克服了无人机采集方式造成的图像处理困难，能应用于高空运动背景和场景复杂的路面裂缝检测，相较于常用的各种裂缝检测算法具有更强的鲁棒性，获得更好的航拍图像识别裂缝效果。本发明应用于航拍裂缝检测上，不仅可以为观察者提供裂缝目标更突出的图像，而且可以对裂缝长度做定量分析，为后续道路维护提供参考依据。

在一个可选的实施例中，步骤S100，所述提取航拍路面图像的路面区域的深层高维特征，根据所述深层高维特征获得高维特征图，具体包括：

S100.1，利用卷积神经网络构造特征提取网络，在所述特征提取网络中添加一个基于K-means聚类算法的道路粗分割层；

S100.2，利用所述道路粗分割层筛选剔除所述航拍路面图像的路旁无效区域，获得所述航拍路面图像的路面区域；

S100.3，利用所述特征提取网络将所述路面区域的低纬度特征组合成高纬度特征，获得高维特征图。

步骤S100.1中，本发明实施例基于卷积神经网络进行学习训练，通过分析成熟网络结构，结合复杂场景小目标检测任务情况，利用卷积神经网络构造了一种特征提取网络，所述特征提取网络用于提取路面区域的高维特征。进一步，本发明实施例结合K-means算法，在所述特征提取网络中添加一个基于K-means聚类算法的道路粗分割层，所述道路粗分割层满足高召回率特点，可以去除路旁的无效区域。

步骤S100.2利用所述道路粗分割层筛选剔除所述航拍路面图像的路旁无效区域，获得所述航拍路面图像的路面区域，具体处理如下：

为了保证所有的路面区域都会被特征提取网络提取到高维特征，利用基于K-means聚类算法的道路粗分割层对输入的航拍路面图像进行粗分割，去除路旁的无效区域。

对于给定的样本集，按照样本之间的距离大小，利用初始的K个聚类中心，计算各个聚类中心与每一个数据元素的距离，每次迭代分配距离各个聚类中心最近的K个数据元素形成K个簇，然后重新计算分配后的聚类中心，迭代分配所有数据元素，直到所有的簇不发生变化时为止，将样本集划分为固定的K个簇，让簇内的点尽量紧密的连在一起，而让簇间的距离尽量的大。

假设聚类簇数目K，最大迭代次数N，输入样本集数据为：

D＝{x₁,x₂…x_m} (1)

其中，x_i为输入样本，i＝0，2，…，m。

从数据集D中随机选择的k个样本作为质心向量为：

μ＝{μ₁,μ₂…μ_k} (2)

对于N个迭代次数中的每一个迭代过程，将簇划分为初始化为：

并计算每一个输入样本计算样本x_i(i＝1,2…m)和各个质心向量μ_j(j＝1,2…k)的距离，其表达式为：

将所有样本中具有最小距离d_ij的样本x_i划分到对应的类别λ_i中，样本簇更新规则为：

样本质点的更新规则为：

重复上述(4)、(5)和(6)步骤直到完成N次迭代或者迭代过程簇不更新为止，得到最后的K个分割簇为：

C＝{C₁,C₂…C_k} (7)

总的来说，就是将目标的最小化平方误差E训练更新至最小，其表达式为：

其中，β为代价函数的距离类型，当β＝1时，采用的是曼哈顿距离，当β＝2时，采用的是欧式距离。

根据簇更新规则可以看出，经过K-means粗分割层后，具有相似特征的图像区域被划分到同一个簇内，路面区域一般具有相似的特征分布，路旁区域特征则分布较为离散，按照K＝2的簇进行图像粗分割，就能分割与路面区域相似的特征和与其不相似的特征两种分类，得到高召回率的路面区域分割效果。

S100.3，利用所述特征提取网络将所述路面区域的低纬度特征组合成高纬度特征，获得高维特征图，具体处理如下：

利用卷积神经网络构造的特征提取网络对路面区域进行高维特征提取。将神经元按层级构成，其中的权重和偏置都是依据反向传播算法进行训练更新，训练利用输入数据局部和整体的关系，将低维度的特征组合成高维度特征，得到不同维度的不同特征之间的空间相关性。通过共享相同层级的卷积核参数实现局部连接和权值共享，为卷积神经网络引入先验知识，大幅度降低网络训练的难度，同样使得卷积神经网络对于图像数据具有很好的适用性。

在卷积神经网络的层级中，主要有四种基础层级结构：卷积层；池化层；全连接层；激活层。

卷积层是一个可以训练学习参数的过滤器。卷积核按填充方式分类主要存在两种：边缘不填充的卷积核以及边缘按照卷积核尺寸一半的大小填充为0像素点的卷积核，后者作为填充方式有一个好处就是防止图像在多层的卷积操作之后图像尺寸缩小严重，保证特征图不被卷积操作影响。相同层级的卷积核尺寸一致，一个卷积核负责提取一种图像形状特征，不同层级之间的卷积核尺寸没有尺寸限制。

假设利用二维卷积H对二维特征图像F进行操作，其表达式为：

其中，F_layer为layer层二维特征图，F_layer+1为(layer+1)层二维特征图，i、j为卷积中心对应的图像坐标点，m、n分别为二维卷积的长、宽尺寸。

特征图经过卷积层后，下一层特征图的尺寸为：

height_layer+1＝(height_layer-m+2*padding)/stride+1 (10)

width_layer+1＝(width_layer-n+2*padding)/stride+1 (11)

其中，height_layer为layer层二维特征图的高，height_layer+1为(layer+1)层二维特征图的高，width_layer为layer层二维特征图的宽，width_layer+1为(layer+1)层二维特征图的宽，padding为特征图边缘填充尺寸，stride为卷积计算步长。

池化层作为相邻卷积层之间的过渡层，能有效的压缩数据和网络参数的数量，同时也对防止网络产生过拟合现象有一定帮助。池化操作可分为两种：最大池化和平均池化，其中前者是根据池化块的尺寸将特征图分割为相应的区域，每个区域内选取最大特征的数据作为池化后特征图参数，后者则是对每个对应的区域内特征进行平均处理，选取均值作为池化后的特征图参数。最大池化适用于提取图像目标的特征，平均池化适用于平均图像背景的特征。

全连接层是神经网络的最初形式之一，通过全连接层可以将之前网络的输出的高维特征连接成一个细长的特征向量，同时映射到一个线性可分的空间，供输出层实现对特征目标的分类，其输出大小就是数据分类的种类。

激活层则主要是给线性的模型增加非线性的因素，去除数据中的冗余，把卷积层提取的特征保留并映射出来，使模型拟合的更好。为了避免梯度消失和神经元失火，且使得损失曲线收敛更快，采用ELU激活函数，其表达式为：

其中，x为输入激活层的参数信息，α为激活层预设参数，同时采用Dropout和BatchNormalization方法避免过拟合风险，减轻深层网络对数据的拟合情况。

Dropout在当前层中随机失活若干比例神经元，前向传播计算预测值与标签值的损失，反向传播更新网络的参数，不断重复这个过程。每次迭代时失活是随机的，导致参数是不同的网络结构迭代更新的，能在一方面达到避免过拟合的目的；减少神经元之间复杂的共适应关系，权重更新不会受到存在内在联系的神经元影响，筛选使模型表现更泛化的特征，迫使网络去学习更加鲁棒的特征。

Batch Normalization是一种归一化数据分布的方法。在深层网络训练时，由于输入层数据分布没有固定分布，当前层的分布也会随机变化，导致训练模型需要不断适应学习新的数据分布，且学习率要设置的非常小，同时对参数初始化要求也非常高。BatchNormalization就是为了解决这一问题，在激活函数前通过归一化数据分布到固定区间，模型训练不用每次适应不同分布，使得更好的用梯度进行参数更新。

训练阶段，计算mini-batch样本均值为：

其中，m为mini-batch样本的数量。

根据样本均值计算mini-batch样本标准差为：

其中，δ为预设参数，X为数据集中各个样本，归一化之后的样本分布为：

替换批量样本归一化的样本分布为：

其中，γ为样本均值的学习参数，为样本标准差的学习参数。

梯度更新算法采用收敛更加快速的自适应学习速率方法RMSprop，利用前一时刻的梯度更新当前位置梯度和学习速率，其梯度更新公式为：

其中，E[g²]_t-1为前一时刻梯度平方的均值，E[g²]_t为当前时刻梯度平方的均值，为当前时刻位置的梯度平方，η为学习速率，θ_t为前一时刻权重参数，θ_t+1为当前时刻权重参数。

除此之外，针对小尺寸特征图的卷积，利用小卷积核组合替代大卷积核，网络后端用n×1和1×n卷积核组合替换n×n卷积核，能有效的减小网络参数数量，加快网络收敛速度。

基于上述实施例，步骤S200，所述基于所述路面区域的深层高维特征，对所述高维特征图进行正负样本筛选，以区分路面裂缝目标和路面背景，具体包括：

S200.1，所述基于所述路面区域的深层高维特征，利用anchor滑窗遍历所述高维特征图，获得预设面积尺度和预设宽高比的候选样本框，所述候选样本框即候选样本区域；

其中，所述预设面积尺度可以是3种面积尺度；优选的，预设面积尺度为128²、256²、512²。所述预设宽高比可以是3中宽高比；优选的，所述预设宽高比为1:1、1:3、3:1。

具体的，所述正负样本的划分依据为：

将所述候选样本框与任一标定样本框的IOU大于第一预设阈值以及所述候选样本框与剩余标定样本框的IOU最大的2种候选样本区域划分为正样本；

将所述候选样本框与除正样本外的标定样本框的IOU小于第二预设阈值的候选样本框划分为负样本。

其中，

IOU＝(候选样本框∩标定样本框)/(候选样本框∪标定样本框)。

优选的，所述第一预设阈值为0.7；所述第二预设阈值为0.3。

S200.2，利用所述特征提取网络的区域提名网络的分类损失函数、定位损失函数和多任务损失函数、对所述候选样本框进行训练以筛选正负样本，获得路面裂缝目标样本和路面背景样本，其中正样本为路面裂缝目标样本，负样本为路面背景样本。

具体的，所述区域提名网络的分类损失函数为：

l_cls(p)＝-(1-p_u)^γlogp_u；

其中，p_u为标定样本框是正负样本的概率，γ为Focal Loss训练参数；

所述区域提名网络的定位损失函数为：

其中，v_i为候选样本框的坐标信息，为前景和背景预测样本框的回归修正参数，u为第u个预测样本框，t_i为标定样本框的坐标信息，损失函数为：

所述区域提名网络的多任务损失函数为：

其中，n_cls为所有样本数量，n_reg为正样本数量，μ为归一化值为0.2，p_i为预测为裂缝目标的概率，为离散的标记值。

基于上述特征，步骤S200.1的具体处理为：

首先，根据特征提取网络最后一层卷积层提取的高维特征图，利用固定尺寸的anchor滑窗遍历整幅特征图，其每个滑窗中心按照不同层级产生不同局部感受野，其表达式为：

size_l-1＝stride×(size_l-1)+size_conv-2×padding (19)

其中，size_l-1为感受野上一层尺寸，size_l为特征图输出尺寸，stride为卷积移动步长，padding为卷积填充尺寸。

每个滑窗中心对应9种候选样本框，在滑窗中心对应的感受野区域内利用上述3种宽高比和3种面积的anchor样本框选取候选样本区域。结合裂缝目标细长的特征，选取3中优选的面积尺度和宽高比，3种面积尺度为128²、256²、512²，3种宽高比为1:1、1:3、3:1。

然后将获得的候选区域坐标映射成一个1024维的特征向量，与卷积层输出通道数对应，需要分别计算两个损失函数：分类损失函数以及定位损失函数。先需要挑选出anchor机制产生的候选样本框中能用于训练的正负样本，利用IOU计算候选样本框与邻近的训练数据标定框的重叠率选出用于训练的样本，其表达式为：

IOU＝(候选样本框∩标定样本框)/(候选样本框∪标定样本框) (20)

具体的正负样本划分的依据为：将候选样本框与任一标定样本框的IOU>0.7以及候选样本框与剩余标定样本框的IOU最大的2种候选样本框划分为训练正样本；将候选样本框与除正样本外的标定样本框的IOU<0.3的候选样本框划分为训练负样本。

基于上述特征，步骤S200.2的具体处理为：

利用区域提名网络的分类损失函数区***缝目标与背景区域这两类样本，采用划分的正负样本对应的标定样本框实际样本，其中标定目标的样本定义为1，背景区域定义为0。每一个标定样本框对应一个离散的概率分布，可表示为：

p＝(p₀,p₁) (21)

其中，p₀为其为背景区域的概率，p₁为其为裂缝目标区域的概率。

其次，由于anchor机制划分的正负样本的比例不能保证平衡，导致产生类别不均衡的问题，且大部分负样本都是简单易判断为负样本的区域，这些简单样本由于数量众多，也会对于损失函数训练造成影响，使得损失函数不能收敛到一个比较好的结果。因此结合Focal Loss思想，所述区域提名网络的分类损失函数，其表达式为：

l_cls(p)＝-(1-p_u)^γlogp_u (22)

其中，p_u为标定样本框是正负样本的概率，γ为Focal Loss训练参数，初始值为5。

最后，利用定位损失对感受野划分的候选样本框位置结合训练正负样本进行修正，每一个训练正负样本对应一组坐标框尺寸坐标向量，是利用划分的正负样本坐标和数据集标定的样本坐标映射计算而来，其边框之间的映射关系为：

其中，f(P_x,P_y,P_w,P_h)为划分的正负样本框坐标信息，为边框修正样本框坐标信息，g(G_x,G_y,G_w,G_h)为标定样本框坐标信息，每个坐标信息包含4个定量坐标信息，分别为左上角横纵坐标和样本框宽高尺寸。

参照Faster-RCNN中的边框回归修正方式，利用一系列的平移以及尺度缩放，转化为两组分别各4个特征向量。

标定样本框的回归修正参数为：

预测样本框的回归修正参数为：

边框修正的损失函数采用对于离散点更加鲁棒的L₁损失函数，其表达式为：

其中，损失函数表达式为：

对于这个区域提名网络的多任务损失函数则为

其中，n_cls为所有样本数量，n_reg为正样本数量，μ为归一化值为0.2，p_i为预测为裂缝目标的概率，为离散的标记值，其表达式为：

通过区域提名网络的多任务损失函数筛选训练所需的正负样本区域，并对裂缝目标和路面背景进行初步分类，结合标定样本框实现对裂缝目标样本框的初步回归定位。

基于上述实施例，步骤S300，所述对所述路面裂缝目标进行分类和坐标定位，获得所述路面裂缝目标的分类信息和坐标信息，具体包括：

S300.1，利用所述特征提取网络的ROI池化层将区域提名网络筛选的正负样本规整到统一尺寸特征图，并进行分类输出，得到包括横向裂缝、纵向裂缝和路面背景的分类信息；

具体的，由区域提名网络产生的训练分类并进行边框回归的样本框与卷积神经网络结合时，利用空间金字塔池化结构的ROI池化层，将特征图平均的划分为n×n大小的网格，对一个小网格内的特征图部分采用最大池化处理，只保留其提取的最大。

特征提取网络最后一层卷积层的输出特征图和区域提名网络输出的候选样本框对应的原图边框坐标经过ROI池化层，特征大小得到统一，连接到全连接层，其中全连接层的输出大小为分类网络的类别数加上背景分类，即输出分类网络参数为3种，包括横向裂缝、纵向裂缝和路面背景。相对于步骤S200初步分类的裂缝目标和路面背景，本步骤的分类更为精细。

S300.2，利用分类损失函数对所述正样本的具体裂缝类别进行分类，并进行边框回归，修正裂缝目标框的坐标信息。

具体的，利用分类损失函数分类正样本候选样本框的具体裂缝类别，每一个候选样本框对应一个离散的概率分布，其表达式为：

P＝(P₀,P₁,P₃) (36)

其中，P₀为其为背景区域的概率，P₁为其为横向裂缝区域的概率，P₂为其为纵向裂缝区域的概率。

在对裂缝目标的分类中，存在横向裂缝样本和纵向裂缝样本数量不均衡的情况，因此利用Focal Loss设计分类损失函数，其表达式为：

L_cls(P)＝-(1-P_U)^γlogP_U (37)

其中，P_U为候选样本框为正负样本的概率。

利用边框回归网络的损失函数对分类的正样本候选样本框进行坐标定位，采用S2.1所述对应的标定样本框的回归修正参数T＝(T_x,T_y,T_w,T_h)和预测样本框的回归修正参数V＝(V_x,V_y,V_w,V_h)修正，其表达式为：

对于这个裂缝分类网络，结合分类损失函数和定位损失函数的多任务损失函数表达式为：

其中，N_cls为所有样本数量，N_reg为正样本数量，P_i为预测为裂缝目标的概率，为离散的标记值，其表达式为：

通过多任务损失函数对区域提名网络初步识别的裂缝目标进行分类，具体划***缝目标种类，且结合标定样本框实现对裂缝目标样本框完成二次回归定位，修正裂缝目标框的坐标信息。

基于上述实施例，步骤S400，所述根据所述路面裂缝目标的分类信息和坐标信息，计算所述路面裂缝目标的长度，具体包括：

S400.1，根据所述路面裂缝目标的分类信息和坐标信息，利用形态学击中击不中变换提取裂缝目标的单像素骨架，计算所述裂缝目标的像素长度；所述裂缝目标包括横向裂缝、纵向裂缝；

S400.2，根据所述航拍路面图像的像素坐标和实际路面的道路长度，对所述裂缝目标的像素长度进行换算，获取裂缝目标的长度。

具体的，步骤S400.1，通过形态学的膨胀操作将检测裂缝过程中断裂的裂缝片段连接起来，利用形态学处理的击中击不中变换方法对膨胀后的完整裂缝进行细化操作，使得裂缝其几何尺度不变的情况下，去除多余的边缘像素信息，同时去除检测裂缝目标产生的多像素宽度问题，由单像素宽度组成的裂缝骨架可以比较准确的反映裂缝的细节特性。

针对裂缝检测目标，分别使用多个方向的的结构元素迭代处理，其表达式为：

其中，f为输入结构图像，s为若干个适当的结构元素，c为迭代次数。

假设定义结构元素序列s为：

{s}＝{s¹,s²,·····sⁿ} (42)

则存在：

利用式(3.21)至式(3.23)的方法对所有结果元素进行迭代操作，如果没有收敛，则再依次对各个结构元素重复进行操作，直到结果没有变化为止。

其次，利用最小二乘拟合的方法的Huber权重函数拟合离散点为骨架曲线，标准的最小二乘原则要求各离散点到拟合的骨架曲线距离和最小。但是对于远离骨架曲线的离群点没有很好的鲁棒性，需要设置权重阈值处理。

所述Huber权重函数为：

其中，τ表示距离阈值，δ为相邻曲线距离。

根据图像裂缝识别效果以及各个相邻曲线距离δ，包括噪声干扰以及裂缝目标，选择合适阈值对其进行约束。

当点到曲线距离小于等于一个阈值τ时，赋予权重为1，当点到曲线距离大于阈值时，权重函数等于距离的倒数乘以阈值，距离越远，值越小。优选的，τ＝3。

最后步骤S400.2结合S400.1计算得到的裂缝目标的像素长度与无人机飞行高度、速度等参数，换算图像像素与实际长度比例，可以得到裂缝目标的实际长度。

本发明实施例可结合显示设备，对相关信息进行显示，包括道路长度、裂缝数量、裂缝种类以及各段裂缝长度的信息等等。

综上所述，本发明实施例提出的一种深度学习的航拍图像路面裂缝检测方法，利用高召回率的K-means道路粗分割层，去除路旁的无效区域；结合复杂场景小目标检测任务情况，提供一种特征提取网络结构，提取路面区域的高维特征；提供满足航拍图像路面裂缝检测的特征提取网络的区域提名结构生成候选样本框，初步筛选裂缝目标和路面背景的正负样本；利用分类定位结构对裂缝目标检测分类和二次边框回归，并利用检测结果区域提取裂缝单像素骨架计算裂缝目标的长度数据，具有良好的航拍图像检测裂缝鲁棒性。

图2为本发明实施例航拍图像路面裂缝识别实施例示意图，请参考图2，本发明实施例采样航拍路面图像作为输入，根据步骤S100，利用高召回率的K-means道路粗分割层，去除航拍图像中路旁的无效区域，并结合复杂场景小目标检测任务情况，设计一种特征提取网络结构，提取路面区域的高维特征；根据步骤S200，提供一种满足航拍图像路面裂缝检测的特征提取网络的区域提名结构，对步骤2网络最后一层的特征图生成候选样本框，初步筛选裂缝目标和路面背景的正负样本；根据步骤S300，利用分类定位结构对裂缝目标进行分类和二次边框回归；根据步骤S400，利用击中击不中变换对检测结果区域提取裂缝单像素骨架，进一步根据图像坐标和实际路面尺寸比例计算裂缝长度；最后输出裂缝图像及相关信息，包括道路长度、裂缝数量、裂缝种类以及各段裂缝长度的信息，供显示设备进行显示。

对于航拍图像，本发明实施例可以克服无人机采集方式造成的图像处理困难，能应用于高空运动背景和场景复杂的路面裂缝检测，相较于常用的各种裂缝检测算法具有更好的鲁棒性，获得更好的航拍图像识别裂缝效果。本发明应用于航拍裂缝检测上，不仅可以自动检测、分类以及定位裂缝目标，而且可以对裂缝长度做定量分析，为后续道路维护提供参考依据。

本发明实施例基于深度学习对路面图像进行运算处理，主要包括三个步骤，其一，提取路面区域的深层高维特征图，其二，生成筛选用于训练的有效正负样本并初步区分路面裂缝目标和路面背景，其三，对裂缝目标进行分类并定位具体坐标，进一步计算裂缝目标骨架长度。在每个处理步骤中，运用不同的算法网络对图像数据进行处理分析，设置不同的超参数对路面裂缝目标和路面背景进行初次区分、详细分类和坐标定位，实现自动化对路面裂缝的精确分类定位和定量骨架计算。

本发明实施例所选用的算法尤其适用于数据量大、干扰噪声多的航拍图像的路面裂缝识别，解决了现有技术的不足，具有良好的有益效果。

本发明实施例还提供一种航拍图像路面裂缝检测装置，包括：

本发明实施例的装置，可用于执行图1所示的航拍图像路面裂缝检测方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图3为本发明实施例一种航拍图像路面裂缝检测设备的框架示意图。请参考图3，本发明实施例提供一种航拍图像路面裂缝检测设备，包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和总线340，其中，处理器310，通信接口320，存储器330通过总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行如下方法，包括：提取航拍路面图像的路面区域的深层高维特征，根据所述深层高维特征获得高维特征图；基于所述路面区域的深层高维特征，对所述高维特征图进行正负样本筛选，以区分路面裂缝目标和路面背景；对所述路面裂缝目标进行分类和坐标定位，获得所述路面裂缝目标的分类信息和坐标信息。

本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：提取航拍路面图像的路面区域的深层高维特征，根据所述深层高维特征获得高维特征图；基于所述路面区域的深层高维特征，对所述高维特征图进行正负样本筛选，以区分路面裂缝目标和路面背景；对所述路面裂缝目标进行分类和坐标定位，获得所述路面裂缝目标的分类信息和坐标信息。

本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：提取航拍路面图像的路面区域的深层高维特征，根据所述深层高维特征获得高维特征图；基于所述路面区域的深层高维特征，对所述高维特征图进行正负样本筛选，以区分路面裂缝目标和路面背景；对所述路面裂缝目标进行分类和坐标定位，获得所述路面裂缝目标的分类信息和坐标信息。

本领域普通技术人员可以理解：实现上述设备实施例或方法实施例仅仅是示意性的，其中所述处理器和所述存储器可以是物理上分离的部件也可以不是物理上分离的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如U盘、移动硬盘、ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种航拍图像路面裂缝检测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述对所述路面裂缝目标进行分类和坐标定位，获得所述路面裂缝目标的分类信息和坐标信息，之后还包括：

根据所述路面裂缝目标的分类信息和坐标信息，计算所述路面裂缝目标的长度。

3.根据权利要求1所述的方法，其特征在于，所述提取航拍路面图像的路面区域的深层高维特征，根据所述深层高维特征获得高维特征图，具体包括：

利用卷积神经网络构造特征提取网络，在所述特征提取网络中添加一个基于K-means聚类算法的道路粗分割层；

利用所述道路粗分割层筛选剔除所述航拍路面图像的路旁无效区域，获得所述航拍路面图像的路面区域；

利用所述特征提取网络将所述路面区域的低纬度特征组合成高纬度特征，获得高维特征图。

4.根据权利要求3所述的方法，其特征在于，所述基于所述路面区域的深层高维特征，对所述高维特征图进行正负样本筛选，以区分路面裂缝目标和路面背景，具体包括：

所述基于所述路面区域的深层高维特征，利用anchor滑窗遍历所述高维特征图，获得预设面积尺度和预设宽高比的候选样本框；

利用所述特征提取网络的区域提名网络的分类损失函数、定位损失函数和多任务损失函数对所述候选样本框进行训练以筛选正负样本，获得路面裂缝目标样本和路面背景样本，其中正样本为路面裂缝目标样本，负样本为路面背景样本。

5.根据权利要求4所述的方法，其特征在于，所述正负样本的划分依据为：

将所述候选样本框与除正样本外的标定样本框的IOU小于第二预设阈值的候选样本框划分为负样本；

其中，

6.根据权利要求4所述的方法，其特征在于，所述对所述路面裂缝目标进行分类和坐标定位，获得所述路面裂缝目标的分类信息和坐标信息，具体包括：

利用所述特征提取网络的ROI池化层将区域提名网络筛选的正负样本规整到统一尺寸特征图，并进行分类输出，得到包括横向裂缝、纵向裂缝和路面背景的分类信息；

利用分类损失函数对所述正样本的具体裂缝类别进行分类，并进行边框回归，修正裂缝目标框的坐标信息。

7.根据权利要求2所述的方法，其特征在于，所述根据所述路面裂缝目标的分类信息和坐标信息，计算所述路面裂缝目标的长度，具体包括：

根据所述路面裂缝目标的分类信息和坐标信息，利用形态学击中击不中变换提取裂缝目标的单像素骨架，计算所述裂缝目标的像素长度；所述裂缝目标包括横向裂缝、纵向裂缝；

根据所述航拍路面图像的像素坐标和实际路面的道路长度，对所述裂缝目标的像素长度进行换算，获取裂缝目标的长度。

8.一种航拍图像路面裂缝检测装置，其特征在于，包括：

9.一种航拍图像路面裂缝检测设备，其特征在于，包括：

至少一个处理器；以及

与所述处理器通信连接的至少一个存储器，其中：

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至7任一所述的方法。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至7任一所述的方法。