CN114863122B - 一种基于人工智能的智能化高精度路面病害识别方法 - Google Patents

一种基于人工智能的智能化高精度路面病害识别方法 Download PDF

Info

Publication number
CN114863122B
CN114863122B CN202210481986.3A CN202210481986A CN114863122B CN 114863122 B CN114863122 B CN 114863122B CN 202210481986 A CN202210481986 A CN 202210481986A CN 114863122 B CN114863122 B CN 114863122B
Authority
CN
China
Prior art keywords
pavement
features
disease
level
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210481986.3A
Other languages
English (en)
Other versions
CN114863122A (zh
Inventor
宋凯
陈韶华
周从源
高俊伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Guangxi Yuchai New Energy Vehicle Co Ltd
Original Assignee
Hunan University
Guangxi Yuchai New Energy Vehicle Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University, Guangxi Yuchai New Energy Vehicle Co Ltd filed Critical Hunan University
Priority to CN202210481986.3A priority Critical patent/CN114863122B/zh
Publication of CN114863122A publication Critical patent/CN114863122A/zh
Application granted granted Critical
Publication of CN114863122B publication Critical patent/CN114863122B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于路面病害检测领域，具体涉及一种基于人工智能的智能化高精度路面病害识别方法，包括：提供一个路面病害识别模型，路面病害识别模型将输入的路面病害图片与输出的路面病害类型对应；路面病害特征生成时，基于路面病害图片多层级地提取路面病害特征，第一层级基于原路面病害图片提取路面病害特征，其后的每一层级皆基于上一层级提取路面病害特征；将排列在前的，除第一层级以外的层级所提取到的路面病害特征作为低层特征；与排列在前的层级相对应，将排列在后的层级所提取到的路面病害特征作为高层特征；与路面病害识别模型输出的所述路面病害类型所对应的路面病害特征即为低层特征和高层特征融合后生成的特征。本识别模型精度效率高。

Description

一种基于人工智能的智能化高精度路面病害识别方法
技术领域
本发明属于路面病害检测领域，具体涉及一种基于人工智能的智能化高精度路面病害识别方法。
背景技术
公路是国家的命脉，良好的公路环境便于货物及人员的流动，对国家经济建设起着至关重要的作用。随着车载及冻融循环的影响，路面病害逐渐增加，如果不加以修补，在水平方向将加大路面的破坏程度，严重影响车速及行车舒适度；在纵向上将加深道路的损伤程度，甚至扩展至路基，对道路造成严重的结构性破坏。因此，应当及时检测路面病害，用于路面损伤程度的判断和病害的精确维修。
传统基于计算机视觉的道路病害检测方法主要可以分为两类：一种是基于传统图像处理-Canny边缘检测的方法，一种是基于深度神经网络路面病害检测的方法。然而，传统图像处理方法对环境比较敏感，在恶劣环境下对路面病害检测效果表现十分糟糕。目前深度卷积网络检测算法提取目标多层次的特征信息，能够适用于恶劣环境低质量的病害图像检测，但定位精确度明显不高，并不能准确识别出病害。
因此，需要一种在“光污染”、“雾天”等恶劣环境下对路面病害进行高精度、高效率的检测识别方法。
发明内容
本发明提供了一种对路面病害进行精准识别的智能化高精度路面病害识别方法，包括以下步骤：
提供一个路面病害识别模型，所述路面病害识别模型将输入的路面病害图片与输出的路面病害类型对应；
其中，所述路面病害识别模型基于图片上的路面病害对象生成相应的路面病害特征，由所述路面病害特征与输出的路面病害类型对应；
路面病害特征生成时，基于路面病害图片多层级地提取路面病害特征，第一层级基于原路面病害图片提取路面病害特征，其后的每一层级皆基于上一层级提取路面病害特征；
将排列在前的，除第一层级以外的层级所提取到的路面病害特征作为低层特征；
与排列在前的层级相对应，将排列在后的层级所提取到的路面病害特征作为高层特征；
与路面病害识别模型输出的所述路面病害类型所对应的路面病害特征即为低层特征和高层特征融合后生成的特征。
进一步地，除第一层级以外的每一层级提取出的特征皆处理为具有路面病害对象轮廓的路面病害特征图，而最后一层级的路面病害特征图经过候选窗口框选出路面病害对象主体所在具***置，并生成具有路面病害对象主体的候选框路面病害特征图；候选框路面病害特征图的路面病害对象主体分别与除第一层级以外的每一层级处理出的路面病害特征图中的路面病害对象轮廓相融合，以生成相应的融合特征图；除第一层级以外的每一层级处理出的融合特征图组合成相应的一组特征图组合特征，每一组特征图组合特征与所述路面病害识别模型要输出的路面病害类型对应，所述一组特征图组合特征的特征图数与除第一层级以外的层级数相等。
进一步地，所述模型的构建方式如下：
将另一源域中预训练网络模型的主干特征提取网络，作为路面病害识别目标域的Faster RCNN网络模型的多层级的特征提取网络；
其中，预训练网络模型选择为VGG16、VGG19、VGG96、ResNet32、ResNet48、ResNet101、ResNet152卷积网络之中的一种；
其中，主干特征提取网络最后一层卷积层连接一个RPN模型，用于RPN模型生成候选窗口以框选出路面病害对象主体所在具***置；
其中，主干特征提取网络除第一层以外的每层卷积层都连接一个NAM模块，用于重生成路面病害对象轮廓所需的通道权重和像素值权重；
构建全连接层，一组特征图组合特征转换为特征向量后，经所述全连接层与所述路面病害类型对应。
进一步地，所述路面病害识别模型的训练方式如下：
构建一个包括路面病害图片与对应的路面病害标签的数据集；
设置源域中预训练网络模型的主干特征提取网络的超参数；
构建一个多任务损失函数，包括全连接层阶段的类别损失losscl，以及RPN阶段的边框位置损失losslc和目标与背景损失lossob；
其公式如(1.5)、(1.6)所示：
Lossall＝losscl+losslc+lossob(1.5)
其中Lossall为真实数据与预测数据之间的偏差；
其式(1.6)中k表示预测得分大小，而T0表示置信分数，lossob(k)表示当前是否为检测目标；结果得到函数值为1则表示边框中包含目标；函数值为0时，表示边框中不包括目标；
根据所构建的数据集及源域中预训练网络模型和多任务损失函数，基于迁移学习算法，训练所述路面病害识别模型，在训练过程中，保留下全连接层阶段确定出的具体的路面病害类别和保留下RPN阶段最佳的边框区域。
进一步地，所述主干特征提取网络中的第一层卷积核，提取原路面病害图片上的特征之前，采用NMS算法删减路面病害对象候选框，具体步骤如下：
将路面病害对象上的多个候选框按各自置信值大小排序；并计算置信值最高的候选框与其余待处理候选框之间的重叠率，并设置一个重叠率阈值T；重叠率不在所设置阈值范围内的待处理候选框，采用高斯加权算法重生成待处理候选框置信值；并按重生成的置信值排列候选框，并设置重生成置信值阈值，以剔除得分低于置信值阈值的待处理候选框；公式如下：
si为待处理候选框的置信值，M为当前置信值最高候选框，bi是待处理候选框；iou是置信值最高候选框与待处理候选框之间的重叠率，bi和M的iou越大，表示bi的重生成的置信值越低。
进一步地，将重叠率阈值T作为路面病害识别模型的参数，在多次训练中，计算预测值与真实值之间的偏差，设定偏差容许值，如果偏差比偏差容许值大，则使T加大；如果偏差比偏差容许值小，则T减少，逐步调整其大小，以使多任务损失函数值更小。
进一步地，所述NAM模块中，对卷积输出的每个通道经通道批量归一化处理如式(1.3)，并由激活函数sigmoid重生成了每个通道的权重系数；对卷积输出的每个通道的特征图经像素值批量归一化处理如式(1.4)，并同样由激活函数sigmoid重生成特征图上每个像素值的像素权重，并按重生成的通道权重和像素权重，处理出需要与候选框路面病害特征图相融合的路面病害特征图；式(1.3)式(1.4)如下：
μi是当前通道的缩放因子；φj是每个通道的缩放因子；wi是当前通道归一化的权重；λi是当前像素的缩放因子；是每个像素的缩放因子；βi是当前像素归一化的权重。
进一步地，所述一组特征图组合特征中每个特征图叠加，形成一个叠加特征图特征，如式(1.1)，并在输入全连接层之前，转换为相应的特征向量；式(1.1)如下：
其中M为叠加特征图，M2为一组特征图组合特征中的第一个特征图；Mn为最后一个特征图。
进一步地，构建的数据集中，训练集与测试集的比例为9：1，在训练集中，又将90％的数据用于训练，10％的数据用于验证；训练集中包含“光污染”、“雾天”环境下的样本；“光污染”样本和“雾天”环境样本的比例为1:1。
进一步地，所述融合的具体方式为：通过除第一层级以外的每个层级提取到的特征，生成一系列存在路面病害对象的先验框，然后再将这些先验框完成组合操作，即可生成包含多层级特征的融合模块。
本发明的有益效果：
1.为了解决现有技术中在恶劣环境下对路面病害检测不精准的问题，本发明在构建数据集时分别采集正常环境和“光污染”、“雾天”等恶劣环境下若干道路不同类型病害的图片，对改进后的网络模型进行训练，使其对路面病害图像检测有较高的准确率，能够抵制无关特征的干扰。
2.基于迁移学习算法和结合多模型组合的优势，对Faster RCNN网络模型进行改进，设计了一种将低层特征信息和高层特征信息相融合的网络结构，既能充分训练学习低层网络丰富的细节信息，又能保留高层网络的语义信息，使得在扩大局部感受区域的同时，又保留细节信息，从而实现高精度的路面病害检测识别。
3.构建好的网络模型通过NMS算法，消除多余边框，保留最佳的边框，找到最佳的物体检测位置，提高模型的定位精度，并进行大量的训练，提高其泛化能力。该方法能够极大地提高路面病害检测识别的精确度，降低漏检率，而且对误判率有很好的抑制作用，排除冗余的检测次数，从而大大减少检测成本。
附图说明
图1是本发明的流程图；
图2是实施例1所述的数据集构建流程图；
图3是实施例1所述的NAM模块示意图；
图4是实施例1所述的模型网络结构示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例
如图1-4所示，本实施例提供了一种适用于恶劣天气进行高精度、高效率检测的基于人工智能智能化高精度路面病害识别方法，包括以下步骤：
提供一个路面病害识别模型，所述路面病害识别模型将输入的路面病害图片与输出的路面病害类型对应；
其中，所述路面病害识别模型基于图片上的路面病害对象生成相应的路面病害特征，由所述路面病害特征与输出的路面病害类型对应；
路面病害特征生成时，基于路面病害图片多层级地提取路面病害特征，第一层级基于原路面病害图片提取路面病害特征，其后的每一层级皆基于上一层级提取路面病害特征；
将排列在前的，除第一层级以外的层级所提取到的路面病害特征作为低层特征；
与排列在前的层级相对应，将排列在后的层级所提取到的路面病害特征作为高层特征；
与路面病害识别模型输出的所述路面病害类型所对应的路面病害特征即为低层特征和高层特征融合后生成的特征。
本发明利用迁移学习算法和多模型组合的优势，建立了一种适应于路面病害特征提取的检测模型，能精准提取路面病害图像的特征信息，有效识别路面病害类型，通过改进路面病害识别模型，构建了一种多模型组合的网络模型，将低层特征与高层特征相融合，使其既能充分训练学习低层网络丰富的细节信息，又能保留高层网络的语义信息，使得在扩大局部感受区域的同时，又保留细节信息，从而更加精准，更加有效地识别路面病害信息。
在本实施例中，除第一层级以外的每一层级提取出的特征皆处理为具有路面病害对象轮廓的路面病害特征图，而最后一层级的路面病害特征图经过候选窗口框选出路面病害对象主体所在具***置，并生成具有路面病害对象主体的候选框路面病害特征图；候选框路面病害特征图的路面病害对象主体分别与除第一层级以外的每一层级处理出的路面病害特征图中的路面病害对象轮廓相融合，以生成相应的融合特征图；除第一层级以外的每一层级处理出的融合特征图组合成相应的一组特征图组合特征，每一组特征图组合特征与所述路面病害识别模型要输出的路面病害类型对应，所述一组特征图组合特征的特征图数与除第一层级以外的层级数相等。
在本实施例中，所述模型的构建方式如下：
将另一源域中预训练网络模型的主干特征提取网络，作为路面病害识别目标域的Faster RCNN网络模型的多层级的特征提取网络；
其中，预训练网络模型选择为VGG16、VGG19、VGG96、ResNet32、ResNet48、ResNet101、ResNet152卷积网络之中的一种，不断调节超参数，使其能够较准确筛选出存在目标的候选区域，即ROI，从而确定最佳的主干特征提取网络，即backbone；
其中，主干特征提取网络最后一层卷积层连接一个RPN模型，用于RPN模型生成候选窗口以框选出路面病害对象主体所在具***置；
其中，主干特征提取网络除第一层以外的每层卷积层都连接一个NAM模块，用于重生成路面病害对象轮廓所需的通道权重和像素值权重；
构建全连接层，一组特征图组合特征转换为特征向量后，经所述全连接层与所述路面病害类型对应。
在本实施例中，所述路面病害识别模型的训练方式如下：
构建一个包括路面病害图片与对应的路面病害标签的数据集；
通过高分辨率摄像机采集若干道路不同病害的图片，总共采集数据13342个，并且利用旋转、明亮度变换、裁剪方式进一步扩增数据，然后使用LabelImg工具完成路面病害边框位置等信息定制化的标注，制作成VOC2007数据集，从而实现模型监督性的训练学习。
设置源域中预训练网络模型的主干特征提取网络的超参数；
构建一个多任务损失函数，包括全连接层阶段的类别损失losscl，以及RPN阶段的边框位置损失losslc和目标与背景损失lossob；
其公式如(1.5)、(1.6)所示：
Lossall＝losscl+losslc+lossob(1.5)
其中Lossall为真实数据与预测数据之间的偏差；
其式(1.6)中k表示预测得分大小，而T0表示置信分数，lossob(k)表示当前是否为检测目标；结果得到函数值为1则表示边框中包含目标；函数值为0时，表示边框中不包括目标；
损失函数是来计算真实数据与预测数据之间的偏差，偏差的大小可以推测出模型的泛化能力，Faster RCNN模型的损失函数分布在RPN阶段和全连接层阶段，包括类别损失、边框位置损失、目标与背景损失，分别建立与其对应的损失函数，在前向传播过程中，微调网络参数，使得训练时损失函数的偏差尽可能的小，从而实现模型的收敛，接近预期的阈值。
根据所构建的数据集及源域中预训练网络模型和多任务损失函数，基于迁移学习算法，训练所述路面病害识别模型，在训练过程中，保留下全连接层阶段确定出的具体的路面病害类别和保留下RPN阶段最佳的边框区域。
在本实施例中，所述主干特征提取网络中的第一层卷积核，提取原路面病害图片上的特征之前，采用NMS算法删减路面病害对象候选框，具体步骤如下：
将路面病害对象上的多个候选框按各自置信值大小排序；并计算置信值最高的候选框与其余待处理候选框之间的重叠率，并设置一个重叠率阈值T；重叠率不在所设置阈值范围内的待处理候选框，采用高斯加权算法重生成待处理候选框置信值；并按重生成的置信值排列候选框，并设置重生成置信值阈值，以剔除得分低于置信值阈值的待处理候选框；公式如下：
si为待处理候选框的置信值，M为当前置信值最高候选框，bi是待处理候选框；iou是置信值最高候选框与待处理候选框之间的重叠率，bi和M的iou越大，表示bi的重生成的置信值越低。
通过NMS算法，即非极大值抑制可以消除多余的候选框，找到最佳的物体检测位置，在删除候选框时，采用高斯加权算法抑制其置信值，而不是简单粗暴地剔除大于重叠率阈值T的候选框，使得检测识别更加精准。
在本实施例中，将重叠率阈值T作为路面病害识别模型的参数，在多次训练中，计算预测值与真实值之间的偏差，设定偏差容许值，如果偏差比偏差容许值大，则使T加大；如果偏差比偏差容许值小，则T减少，逐步调整其大小，以使多任务损失函数值更小，进而使得模型具有更强的泛化能力。
在本实施例中，所述NAM模块中，对卷积输出的每个通道经通道批量归一化处理如式(1.3)，并由激活函数sigmoid重生成了每个通道的权重系数；对卷积输出的每个通道的特征图经像素值批量归一化处理如式(1.4)，并同样由激活函数sigmoid重生成特征图上每个像素值的像素权重，并按重生成的通道权重和像素权重，处理出需要与候选框路面病害特征图相融合的路面病害特征图；式(1.3)式(1.4)如下：
ui是当前通道的缩放因子；φj是每个通道的缩放因子；wi是当前通道归一化的权重；λi是当前像素的缩放因子；是每个像素的缩放因子；βi是当前像素归一化的权重。
通过引入NAM归一化注意力模块，在通道权重性上，加了通道子模块，抑制了不重要通道的权重系数，在像素权重性上，加了空间子模块，加强了重要像素的权重系数，使得模型的提取特征更加高效，而且具有很好的轻量特性，便于进一步提取不同通道和空间的特征信息。
在本实施例中，所述一组特征图组合特征中每个特征图叠加，形成一个叠加特征图特征，如式(1.1)，并在输入全连接层之前，转换为相应的特征向量；式(1.1)如下：
其中M为叠加特征图，M2为一组特征图组合特征中的第一个特征图；Mn为最后一个特征图。
在本实施例中，构建的数据集中，训练集与测试集的比例为9：1，在训练集中，又将90％的数据用于训练，10％的数据用于验证。
Faster RCNN模型需经过100次迭代训练才具有感知判断目标的能力，通过构建带有标签的数据集进行监督学习，并将训练集与测试集的比例设定为9：1，进一步科学优化模型参数，此外，又将训练集中的数据划分为训练数据和验证数据，验证集的目的是用来检测在训练过程中模型的性能，进而自适应调整网络参数，使其处于最优状态。
所述训练集中包含“光污染”、“雾天”环境下的样本；“光污染”样本和“雾天”环境样本的比例为1:1，分别采集3000张，增强模型在“光污染”、“雾天”环境下的检测精度，使其对路面病害图像检测有较高的准确率，能够抵制无关特征的干扰，从而实现路面病害高效率、高精度的提取。
在本实施例中，所述融合的具体方式为：通过除第一层级以外的每个层级提取到的特征，生成一系列存在路面病害对象的先验框，然后再将这些先验框完成组合操作，即可生成包含多层级特征的融合模块。
本发明提出一种基于人工智能的智能化高精度路面病害识别方法，致力于解决“光污染”、“雾天”等恶劣环境或采集低质量的图像导致检测准确率低的问题。数据采集总数在13342个，在“光污染”环境下采集3000张，在“雾天”环境下采集3000张，这样能增强模型在这些环境下有较高的检测精度，剩余的都在正常环境下采集，因其训练的样本数据包含了“光污染”、“雾天”环境下的数据，促使模型克服了恶劣环境“光污染”、“雾天”等的影响。该方法对Faster RCNN模型进行改进优化，使其对路面病害图像检测有较高的准确率，能够抵制无关特征的干扰，从而实现路面病害高效率、高精度的提取。设计了基于FasterRCNN深层卷积模型的路面病害检测算法，利用迁移学习算法和结合多模型组合的优势，设置不同的backbone，并调整网络参数，将分类好的样本对模型进行训练，构建一种适应于路面病害特征提取的检测模型，该方法能精准提取病害图像的特征信息。此外，为了融合更多的语义特征信息，在backbone结构中加入了具有多层网络特征融合模块，提高低层网络特征提取能力，保留细节信息，扩大高层的局部感受区域，从而实现高精度的路面病害检测识别。为了进一步提取不同通道和空间的特征信息，在主干特征提取网络除第一层以外的每层卷积层后面引入了NAM(归一化注意力)模块，使得模型的提取特征更加高效，而且具有很好的轻量特性。该智能化高精度的路面病害检测识别方法可以应用于路面质量维护过程中，从而实现道路工程质量高效率的控制。
实施例2
本发明提出了一种基于人工智能的智能化高精度路面病害识别方法，该方法能够应用于智慧交通技术领域，从而实现道路工程质量控制的目的，比如道路裂缝检测，道路坑槽检测等。具体细节为：在道路质量检测中，通过车载式摄像机采集各个路面的图像，图像基于自适应的backbone网络结构经过卷积、池化多次提取出特征信息，然后将低层信息和高层信息相融合，使其语义信息尽可能多的保留下来，最后利用最佳阈值的NMS算法筛选出对应的边框特征，从而实现病害特征的类别判断和定位。
在本实施例中，融合的方案是通过将第二、三、四层提取得到的特征图分别生成一系列可能存在目标的先验框，然后再将这些先验框完成组合操作，即可拥有多层融合特征的模块，这样降低了目标漏失的概率。
与现有路面病害检测识别方法相比，本发明的优点在于：能够实现更高精度的路面病害图像检测识别。本发明对Faster RCNN模型进行改进优化，使其对路面病害图像检测有较高的准确率，能够抵制无关特征的干扰。因其训练的样本数据包含了“光污染”、“雾天”环境下的数据，促使模型克服了恶劣环境“光污染”、“雾天”等的影响，从而实现路面病害高效率、高精度的提取和定位。改进的Faster RCNN模型经过大量路面病害数据训练之后，具备较强的泛化性能，若输入一张新的图像，能高效率地感知出病害所在的区域，并判断出具体类别。原始图像经过适用于路面病害检测的backbone特征提取网络，克服了噪声等干扰信息的影响，而且将各层特征进行融合，具有更加丰富的病害特征点，并利用自适应的NMS算法保留下最佳的边框，从而提高模型的定位精度。
图2中，Voc2007表示的是用于训练模型的数据集格式，Annotations表示此目录下保存的是标注的xml格式数据，ImageSets用于保存训练与测试时所需的路径文件，其的子目录Main存储了txt文件，JPEGImages是用于训练的jpg格式图像数据。
该方法能够极大地提高路面病害检测识别的精确度，使得漏检率降低，而且对误判率有很好的抑制作用，排除冗余的检测次数，从而大大减少检测成本。此外，高精度的检测是智慧交通技术发展的一个重要分支。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (6)

1.一种基于人工智能的智能化高精度路面病害识别方法，其特征在于，包括以下步骤：
提供一个路面病害识别模型，所述路面病害识别模型将输入的路面病害图片与输出的路面病害类型对应；
其中，所述路面病害识别模型基于图片上的路面病害对象生成相应的路面病害特征，由所述路面病害特征与输出的路面病害类型对应；
路面病害特征生成时，基于路面病害图片多层级地提取路面病害特征，第一层级基于原路面病害图片提取路面病害特征，其后的每一层级皆基于上一层级提取路面病害特征；
将排列在前的，除第一层级以外的层级所提取到的路面病害特征作为低层特征；
与排列在前的层级相对应，将排列在后的层级所提取到的路面病害特征作为高层特征；
与路面病害识别模型输出的所述路面病害类型所对应的路面病害特征即为低层特征和高层特征融合后生成的特征；
除第一层级以外的每一层级提取出的特征皆处理为具有路面病害对象轮廓的路面病害特征图，而最后一层级的路面病害特征图经过候选窗口框选出路面病害对象主体所在具***置，并生成具有路面病害对象主体的候选框路面病害特征图；候选框路面病害特征图的路面病害对象主体分别与除第一层级以外的每一层级处理出的路面病害特征图中的路面病害对象轮廓相融合，以生成相应的融合特征图；除第一层级以外的每一层级处理出的融合特征图组合成相应的一组特征图组合特征，每一组特征图组合特征与所述路面病害识别模型要输出的路面病害类型对应，所述一组特征图组合特征的特征图数与除第一层级以外的层级数相等；
所述模型的构建方式如下：
将另一源域中预训练网络模型的主干特征提取网络，作为路面病害识别目标域的Faster RCNN网络模型的多层级的特征提取网络；
其中，预训练网络模型选择为VGG16、VGG19、VGG96、ResNet32、ResNet48、ResNet101、ResNet152卷积网络之中的一种；
其中，主干特征提取网络最后一层卷积层连接一个RPN模型，用于RPN模型生成候选窗口以框选出路面病害对象主体所在具***置；
其中，主干特征提取网络除第一层以外的每层卷积层都连接一个NAM模块，用于重生成路面病害对象轮廓所需的通道权重和像素值权重；
构建全连接层，一组特征图组合特征转换为特征向量后，经所述全连接层与所述路面病害类型对应；
所述路面病害识别模型的训练方式如下：
构建一个包括路面病害图片与对应的路面病害标签的数据集；
设置源域中预训练网络模型的主干特征提取网络的超参数；
构建一个多任务损失函数，包括全连接层阶段的类别损失losscl，以及RPN阶段的边框位置损失losslc和目标与背景损失lossob；
其公式如(1.5)、(1.6)所示：
Lossall＝losscl+losslc+lossob(1.5)
其中Lossall为真实数据与预测数据之间的偏差；
其式(1.6)中k表示预测得分大小，而T0表示置信分数，lossob(k)表示当前是否为检测目标；结果得到函数值为1则表示边框中包含目标；函数值为0时，表示边框中不包括目标；
根据所构建的数据集及源域中预训练网络模型和多任务损失函数，基于迁移学习算法，训练所述路面病害识别模型，在训练过程中，保留下全连接层阶段确定出的具体的路面病害类别和保留下RPN阶段最佳的边框区域；
所述主干特征提取网络中的第一层卷积核，提取原路面病害图片上的特征之前，采用NMS算法删减路面病害对象候选框，具体步骤如下：
将路面病害对象上的多个候选框按各自置信值大小排序；并计算置信值最高的候选框与其余待处理候选框之间的重叠率，并设置一个重叠率阈值T；重叠率不在所设置阈值范围内的待处理候选框，采用高斯加权算法重生成待处理候选框置信值；并按重生成的置信值排列候选框，并设置重生成置信值阈值，以剔除得分低于置信值阈值的待处理候选框；公式如下：
si为待处理候选框的置信值，M为当前置信值最高候选框，bi是待处理候选框；iou是置信值最高候选框与待处理候选框之间的重叠率，bi和M的iou越大，表示bi的重生成的置信值越低。
2.根据权利要求1所述智能化高精度路面病害识别方法，其特征在于，将重叠率阈值T作为路面病害识别模型的参数，在多次训练中，计算预测值与真实值之间的偏差，设定偏差容许值，如果偏差比偏差容许值大，则使T加大；如果偏差比偏差容许值小，则T减少，逐步调整其大小，以使多任务损失函数值更小。
3.根据权利要求1所述智能化高精度路面病害识别方法，其特征在于，所述NAM模块中，对卷积输出的每个通道经通道批量归一化处理如式(1.3)，并由激活函数sigmoid重生成了每个通道的权重系数；对卷积输出的每个通道的特征图经像素值批量归一化处理如式(1.4)，并同样由激活函数sigmoid重生成特征图上每个像素值的像素权重，并按重生成的通道权重和像素权重，处理出需要与候选框路面病害特征图相融合的路面病害特征图；式(1.3)式(1.4)如下：
μi是当前通道的缩放因子；φj是每个通道的缩放因子；wi是当前通道归一化的权重；λi是当前像素的缩放因子；是每个像素的缩放因子；βi是当前像素归一化的权重。
4.根据权利要求1所述智能化高精度路面病害识别方法，其特征在于，所述一组特征图组合特征中每个特征图叠加，形成一个叠加特征图特征，如式(1.1)，并在输入全连接层之前，转换为相应的特征向量；式(1.1)如下：
其中M为叠加特征图，M2为一组特征图组合特征中的第一个特征图；Mn为最后一个特征图。
5.根据权利要求1所述智能化高精度路面病害识别方法，其特征在于，构建的数据集中，训练集与测试集的比例为9：1，在训练集中，又将90％的数据用于训练，10％的数据用于验证，训练集中包含“光污染”、“雾天”环境下的样本；“光污染”样本和“雾天”环境样本的比例为1:1。
6.根据权利要求1所述智能化高精度路面病害识别方法，其特征在于，所述融合的具体方式为：通过除第一层级以外的每个层级提取到的特征，生成一系列存在路面病害对象的先验框，然后再将这些先验框完成组合操作，生成包含多层级特征的融合模块。
CN202210481986.3A 2022-05-05 2022-05-05 一种基于人工智能的智能化高精度路面病害识别方法 Active CN114863122B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210481986.3A CN114863122B (zh) 2022-05-05 2022-05-05 一种基于人工智能的智能化高精度路面病害识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210481986.3A CN114863122B (zh) 2022-05-05 2022-05-05 一种基于人工智能的智能化高精度路面病害识别方法

Publications (2)

Publication Number Publication Date
CN114863122A CN114863122A (zh) 2022-08-05
CN114863122B true CN114863122B (zh) 2024-06-28

Family

ID=82635544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210481986.3A Active CN114863122B (zh) 2022-05-05 2022-05-05 一种基于人工智能的智能化高精度路面病害识别方法

Country Status (1)

Country Link
CN (1) CN114863122B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222701A (zh) * 2019-06-11 2019-09-10 北京新桥技术发展有限公司 一种桥梁病害自动识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101818919B1 (ko) * 2017-05-11 2018-01-17 양경용 보수용 매트를 이용한 아스팔트 도로 보수방법
CN113392849A (zh) * 2021-06-30 2021-09-14 哈尔滨理工大学 一种基于r-cnn的复杂路面裂缝识别方法
CN113537037A (zh) * 2021-07-12 2021-10-22 北京洞微科技发展有限公司 路面病害识别方法、***、电子设备及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222701A (zh) * 2019-06-11 2019-09-10 北京新桥技术发展有限公司 一种桥梁病害自动识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于SSD的路面破损检测方法研究;杨婧;《中国优秀硕士学位论文全文数据库 工程科技II辑》;20210815;C034-62 *

Also Published As

Publication number Publication date
CN114863122A (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
JP7120689B2 (ja) 深層学習に基づく車載ビデオターゲット検出方法
CN108830188B (zh) 基于深度学习的车辆检测方法
EP3690714B1 (en) Method for acquiring sample images for inspecting label among auto-labeled images to be used for learning of neural network and sample image acquiring device using the same
CN110956094A (zh) 一种基于非对称双流网络的rgb-d多模态融合人员检测方法
EP3690741A2 (en) Method for automatically evaluating labeling reliability of training images for use in deep learning network to analyze images, and reliability-evaluating device using the same
CN111814621A (zh) 一种基于注意力机制的多尺度车辆行人检测方法及装置
CN112633149B (zh) 一种域自适应雾天图像目标检测方法和装置
CN112395951A (zh) 一种面向复杂场景的域适应交通目标检测与识别方法
CN112989942A (zh) 一种基于交通监控视频的目标实例分割方法
CN114627437B (zh) 一种交通目标识别方法及***
CN113591617B (zh) 基于深度学习的水面小目标检测与分类方法
CN109492700A (zh) 一种基于多维信息融合的复杂背景目标识别方法
CN111832411A (zh) 一种基于视觉与激光雷达融合的轨道内障碍物检测方法
CN112434723A (zh) 一种基于注意力网络的日/夜间图像分类及物体检测方法
CN117152513A (zh) 一种面向夜间场景的车辆边界定位方法
CN114549909A (zh) 一种基于自适应阈值的伪标签遥感图像场景分类方法
CN112785610B (zh) 一种融合低层特征的车道线语义分割方法
CN117935200A (zh) 一种基于改进YOLOv8的自动驾驶路况监测方法
CN114863122B (zh) 一种基于人工智能的智能化高精度路面病害识别方法
CN117058882A (zh) 一种基于多特征双判别器的交通数据补偿方法
CN115294548B (zh) 一种基于行方向上位置选择和分类方法的车道线检测方法
CN116630683A (zh) 一种基于扩散的自适应特征提取的道路损伤检测方法
CN113239865B (zh) 基于深度学习的车道线检测方法
CN114255450A (zh) 一种基于前向全景图像的近场车辆加塞行为预测方法
CN113095207A (zh) 一种轻量级且高效的单阶段夜间车辆检测算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant