CN115273009A - 基于深度学习的道路裂纹检测方法及*** - Google Patents

Abstract

本发明涉及一种基于深度学习的道路裂纹检测方法及***，方法包括预处理目标道路的照片得到预测集，预处理已有裂纹的图片得到训练集；构建包括特征提取结构、区域建议生成结构和分类回归结构的深度卷积神经网络模型，使用训练集训练网络模型得到训练完成的网络模型；将预测集输入所述训练完成的网络模型得到道路裂纹检测结果；***包括数据采集模块和智能检测模块，数据采集模块采集目标道路的照片；智能检测模块根据采集到的目标道路的照片得到道路裂纹检测结果。本发明可以实现自动识别，提高检测效率和精确度、适用于不同裂纹情况的道路。

Description

基于深度学习的道路裂纹检测方法及***

技术领域

本发明涉及深度学习技术领域，尤其是指一种基于深度学习的道路裂纹检测方法及***。

背景技术

道路裂纹往往是一些路面病害的初期表现，所以需要尽早发现问题并进行养护。现有的人工检测费时费力，检测结果不一定准确，甚至可能还会对检测人员生命安全造成威胁，因此智能化的道路裂纹检测技术开始发展。在过去的几年中，许多学者对以数字图像处理为主的道路裂纹识别进行了深入的研究。数字图像处理裂纹主要是人工识别特征，利用多种特征规则设计一些特征识别条件。然而，随着道路里程的快速增长，道路路面的裂缝信息已经非常庞大，人工识别特征难以满足实际需要。数字图像处理道路裂纹虽然不需要大量的数据集，但是人工识别特征过程耗时耗力，检测结果不够精确，难以做到全自动识别。因此需要一个自动化的检测技术，从而能够及时的检测道路裂纹，发现病害并进行养护，避免各种安全隐患。

发明内容

为此，本发明所要解决的技术问题在于克服现有技术中的不足，提供一种基于深度学习的道路裂纹检测方法及***，可以实现自动识别，提高检测效率和精确度、适用于不同裂纹情况的道路。

为解决上述技术问题，本发明提供了一种基于深度学习的道路裂纹检测方法，包括以下步骤：

S1：预处理目标道路的照片得到预测集，预处理已有裂纹的图片得到训练集；

S2：构建包括特征提取结构、区域建议生成结构和分类回归结构的深度卷积神经网络模型，使用所述训练集训练所述包括特征提取结构、区域建议生成结构和分类回归结构的深度卷积神经网络模型得到训练完成的网络模型；

S3：将所述预测集输入所述训练完成的网络模型得到道路裂纹检测结果。

作为优选的，所述深度卷积神经网络为Faster R-CNN。

作为优选的，使用所述训练集训练所述包括特征提取、区域建议生成和分类回归的深度卷积神经网络模型前，使用基于大型可视化数据库的骨干网络进行预训练。

作为优选的，使用所述训练集训练所述包括特征提取、区域建议生成和分类回归的深度卷积神经网络模型时，优化训练效果使用的方法包括：

使用SGD优化器一次随机优化一条训练数据上的损失函数，在网络的中间层使用批量标准化对每个卷积核的输入做归一化，训练过程中使用训练热身的方法，建立损失函数时使用联合训练的方法。

作为优选的，所述特征提取结构包括深度残差网络和特征金字塔网络。

作为优选的，所述分类回归结构包括区域卷积神经网络和全连接层。

作为优选的，所述区域建议生成结构包括多个区域候选网络。

作为优选的，将所述预测集输入所述训练完成的网络模型得到道路裂纹检测结果，具体为：

将所述预测集输入所述特征提取结构，所述特征提取结构根据所述预测集中裂纹图像的尺度特征提取多种不同尺度的特征图；

所述区域建议生成结构根据多种不同尺度的所述特征图的种类数激活相应个数的所述区域候选网络，各个所述区域候选网络根据所述特征图的尺度生成对应大小的基础锚框，将所述基础锚框分别撒到对应尺度的所述特征图上得到对应个数的区域建议特征图；

所述分类回归结构使用所述区域卷积神经网络将多个所述区域建议特征图和所述特征图统一为相同大小后输入所述全连接层，所述全连接层对统一大小后的所述区域建议特征图和所述特征图进行分类回归并输出所述区域建议特征图中有裂纹的区域。

本发明还提供了一种基于深度学习的道路裂纹检测***，包括数据采集模块和智能检测模块，

所述数据采集模块采集目标道路的照片；

所述智能检测模块根据采集到的所述目标道路的照片，使用基于深度学习的道路裂纹检测方法得到道路裂纹检测结果。

作为优选的，所述数据采集模块包括拍摄子模块、数据存储子模块和数据处理子模块，

所述拍摄子模块包括摄影仪和摄像机，用于采集目标道路的实时照片；

所述数据存储子模块用于将所述拍摄子模块采集的照片实时储存到控制台的磁盘矩阵中；

所述数据处理子模块用于实时读取所述磁盘矩阵中的照片并将照片发送到所述智能检测模块中。

本发明的上述技术方案相比现有技术具有以下优点：

本发明通过构建包括特征提取结构、区域建议生成结构和分类回归结构的深度卷积神经网络对目标道路的裂纹进行检测，可以实现自动识别，提高检测效率和精确度，并且适用于不同裂纹情况的道路、泛化能力强。

附图说明

为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中

图1是本发明方法的流程图；

图2是本发明中检测裂纹的过程示意图；

图3是本发明***的结构原理图；

图4是本发明实施例中在设置不同的学习率的情况下，使用本发明方法得到的mAP结果图；

图5是本发明实施例中在相同的训练集下使用本发明方法与Mask R-CNN、YOLOv3、Cascade R-CNN、Grid R-CNN、Dynamic R-CNN、SSD、FCOS和Double-Head R-CNN方法得到的mAP对比图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

如图1所示，本发明公开了一种基于深度学习的道路裂纹检测方法，包括以下步骤：

S1：预处理目标道路的照片得到预测集，预处理已有裂纹的图片得到训练集；所述预处理操作包括对比度调整、去噪、曝光度调整等，对采集的原始照片进行预处理，可以提高后续检测裂纹时的效率和精确度。

S2：构建包括特征提取结构、区域建议生成结构和分类回归结构的深度卷积神经网络模型，使用所述训练集训练所述包括特征提取结构、区域建议生成结构和分类回归结构的深度卷积神经网络模型得到训练完成的网络模型。本实施例中所述深度卷积神经网络为Faster R-CNN，构建的模型为在Faster R-CNN的基础上增加特征提取结构、区域建议生成结构和分类回归结构。使用所述训练集训练所述包括特征提取、区域建议生成和分类回归的深度卷积神经网络模型前，使用基于大型可视化数据库(ImageNet)的骨干网络进行预训练，以此提高训练网络的性能，考察多种训练策略的适用性。骨干网络指特征提取网络，作用就是提取图片中的特征信息。本实施例中使用的骨干网络是ResNet(深度残差网络)，即已在大型数据集ImageNet上完成了预训练、拥有预训练参数的卷积神经网络。

使用所述训练集训练所述包括特征提取、区域建议生成和分类回归的深度卷积神经网络模型时，为了提高训练网络的性能、加快训练速度，优化训练效果使用的方法为：

使用SGD优化器(即随机梯度下降)一次随机优化一条训练数据上的损失函数，可以使参数更新速度加快；在网络的中间层使用批量标准化对每个卷积核的输入做归一化；训练过程中使用训练热身的方法，训练热身即刚开始的学习率设置得很低，保证网络良好的收敛性，然后逐渐增大到设置的学习率，最后再慢慢变小；建立损失函数时使用联合训练的方法，联合训练即将RPN和R-CNN的loss进行权重加和，可以简化训练流程。

本实施例中，所述特征提取结构包括深度残差网络(ResNet)和特征金字塔网络(FPN)。所述分类回归结构包括区域卷积神经网络(Region-CNN,R-CNN)和全连接层。所述区域建议生成结构包括多个结构相同的区域候选网络(Region Proposal Network，RPN)。

S3：将所述预测集输入所述训练完成的网络模型得到道路裂纹检测结果，过程如图2所示。

S3-1：特征提取：将所述预测集输入所述特征提取结构，所述特征提取结构根据所述预测集中裂纹图像的尺度特征提取多种不同尺度的特征图，将所述多种不同尺度的特征图送入所述区域建议生成结构；本实施例中深度残差网络(ResNet)和特征金字塔网络(FPN)根据裂纹图像的尺度特征提取到了5种不同尺度的特征图，5种不同尺度分别是192x336、96x168、48x84、24x42和12x21。

S3-2：区域提案生成：所述区域建议生成结构根据多种不同尺度的所述特征图的种类数激活相应个数的所述区域候选网络，各个所述区域候选网络根据所述特征图的尺度生成对应大小的基础锚框(即宽高比不同的以原点为中心点的基础锚框)，将这5个所述基础锚框分别撒到对应尺度的所述特征图上得到对应个数的区域建议特征图，将所述5个不同尺度的特征图和5个区域建议特征图所述送入所述分类回归结构；

S3-3：分类回归：所述分类回归结构使用所述区域卷积神经网络将多个所述区域建议特征图和所述特征图统一为相同大小后输入所述全连接层，所述全连接层对统一大小后的所述区域建议特征图和所述特征图进行分类回归并输出所述区域建议特征图中有裂纹的区域。本实施例中使用矩形框框注有裂纹的区域，可以清晰地看到裂纹所在的位置，实现对该目标路段采集到的照片的快速检测。

本发明可以实现对采集到的目标道路照片的迅速检测、检测效果好，并且能应对多种复杂情况的裂纹检测情况、泛化能力好。

如图3所示，本发明还公开了一种基于深度学习的道路裂纹检测***，包括数据采集模块和智能检测模块，所述数据采集模块采集目标道路的照片；所述智能检测模块根据采集到的所述目标道路的照片，使用基于深度学习的道路裂纹检测方法得到道路裂纹检测结果。***采用一体化设计，集数据采集和智能检测于一体，是一种全自动高智能化的道路情况采集***，易操作且可以实时获得道路的裂纹检测情况，检测效率高。

本实施例中，所述数据采集模块包括拍摄子模块、数据存储子模块和数据处理子模块。所述拍摄子模块包括摄影仪和摄像机，用于采集目标道路的实时照片；所述数据存储子模块用于将所述拍摄子模块采集的照片实时储存到控制台的磁盘矩阵中；所述数据处理子模块用于实时读取所述磁盘矩阵中的照片并将照片发送到所述智能检测模块中。

本发明通过构建包括特征提取结构、区域建议生成结构和分类回归结构的深度卷积神经网络对目标道路的裂纹进行检测，可以实现自动识别，提高检测效率和精确度，并且适用于不同裂纹情况的道路、泛化能力强。

为了进一步说明本发明的有益效果，本实施例中预处理130张已有裂纹的图片作为训练集进行训练；训练集中的样本数量选择130是经过仿真实验得到的，在数量大于等于130时即可以达到良好的训练效果和检测效果。训练完成后，将有分叉的裂纹、有阳光干扰的裂纹、较浅的裂纹等多种不同情况的裂纹作为预测集进行预测。

在设置不同的学习率(learning rate)0.0002、0.0025、0.005、0.01和0.02的情况下，使用本发明方法得到的mAP结果如图4所示，mAP是模型的评价指标，mAP值越大表示模型的性能越好。图4中横坐标表示学习率，纵坐标表示mAP。从图4可以看出学习率设置在0.0025时，模型的mAP值最高、达到30.2，说明此时模型的性能最好，即学习率设置为0.0025时本发明方法可以达到最佳的效果。

将本发明方法(用Faster R-CNN表示)与Mask R-CNN、YOLO v3、Cascade R-CNN、Grid R-CNN、Dynamic R-CNN、SSD(Single Shot MultiBox Detector)、FCOS、Double-HeadR-CNN八种方法使用同一训练集训练得到的mAP进行对比，结果如图5所示。图5中横坐标表示目标检测方法，法1为本发明方法Faster R-CNN，法2为Mask R-CNN，法3为YOLO v3，法4为Cascade R-CNN，法5为Grid R-CNN，法6为Dynamic R-CNN，法7为SSD，法8为FCOS，法9为Double-Head R-CNN，纵坐标表示mAP。从图5可以看出，本发明方法的mAP值最高达到了30.2，说明本发明方法的性能最好。

同时，经过实验测试，本发明方法在有分叉的裂纹、有阳光干扰的裂纹、较浅的裂纹等多种不同情况下均能很好的完成检测任务，准确率可以达到98％左右，从而证明了本发明具有很好的泛化性，适用任何道路的检测。从道路图片采集到裂纹检测均通过电子设备完成，只需要一个技术人员来操作设备，不用道路养护工人现场检查，该发明的检测速度最快可以达到9FPS，因此本发明方法的人工成本优势高于传统技术5倍以上，而时间成本却只有传统技术的1/10，综合价值更是在1倍以上。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种基于深度学习的道路裂纹检测方法，其特征在于，包括以下步骤：

S1：预处理目标道路的照片得到预测集，预处理已有裂纹的图片得到训练集；

S2：构建包括特征提取结构、区域建议生成结构和分类回归结构的深度卷积神经网络模型，使用所述训练集训练所述包括特征提取结构、区域建议生成结构和分类回归结构的深度卷积神经网络模型得到训练完成的网络模型；

S3：将所述预测集输入所述训练完成的网络模型得到道路裂纹检测结果。

2.根据权利要求1所述的基于深度学习的道路裂纹检测方法，其特征在于：所述深度卷积神经网络为Faster R-CNN。

3.根据权利要求1所述的基于深度学习的道路裂纹检测方法，其特征在于：使用所述训练集训练所述包括特征提取、区域建议生成和分类回归的深度卷积神经网络模型前，使用基于大型可视化数据库的骨干网络进行预训练。

4.根据权利要求1所述的基于深度学习的道路裂纹检测方法，其特征在于：使用所述训练集训练所述包括特征提取、区域建议生成和分类回归的深度卷积神经网络模型时，优化训练效果使用的方法包括：

使用SGD优化器一次随机优化一条训练数据上的损失函数，在网络的中间层使用批量标准化对每个卷积核的输入做归一化，训练过程中使用训练热身的方法，建立损失函数时使用联合训练的方法。

5.根据权利要求1所述的基于深度学习的道路裂纹检测方法，其特征在于：所述特征提取结构包括深度残差网络和特征金字塔网络。

6.根据权利要求1-5任一项所述的基于深度学习的道路裂纹检测方法，其特征在于：所述分类回归结构包括区域卷积神经网络和全连接层。

7.根据权利要求6所述的基于深度学习的道路裂纹检测方法，其特征在于：所述区域建议生成结构包括多个区域候选网络。

8.根据权利要求7所述的基于深度学习的道路裂纹检测方法，其特征在于：将所述预测集输入所述训练完成的网络模型得到道路裂纹检测结果，具体为：

将所述预测集输入所述特征提取结构，所述特征提取结构根据所述预测集中裂纹图像的尺度特征提取多种不同尺度的特征图；

所述区域建议生成结构根据多种不同尺度的所述特征图的种类数激活相应个数的所述区域候选网络，各个所述区域候选网络根据所述特征图的尺度生成对应大小的基础锚框，将所述基础锚框分别撒到对应尺度的所述特征图上得到对应个数的区域建议特征图；

所述分类回归结构使用所述区域卷积神经网络将多个所述区域建议特征图和所述特征图统一为相同大小后输入所述全连接层，所述全连接层对统一大小后的所述区域建议特征图和所述特征图进行分类回归并输出所述区域建议特征图中有裂纹的区域。

9.一种基于深度学习的道路裂纹检测***，其特征在于：包括数据采集模块和智能检测模块，

所述数据采集模块采集目标道路的照片；

所述智能检测模块根据采集到的所述目标道路的照片，使用如权利要求1-8任一项所述的基于深度学习的道路裂纹检测方法得到道路裂纹检测结果。

10.根据权利要求9所述的基于深度学习的道路裂纹检测***，其特征在于：所述数据采集模块包括拍摄子模块、数据存储子模块和数据处理子模块，

所述拍摄子模块包括摄影仪和摄像机，用于采集目标道路的实时照片；

所述数据存储子模块用于将所述拍摄子模块采集的照片实时储存到控制台的磁盘矩阵中；

所述数据处理子模块用于实时读取所述磁盘矩阵中的照片并将照片发送到所述智能检测模块中。

Images