CN115937518A - 一种基于多源图像融合的路面病害识别方法及*** - Google Patents

Abstract

本发明公开了一种基于多源图像融合的路面病害识别方法及***，本发明提供的路面状况检测方法中，通过多源采集设备获取多源数据，对多源数据进行预处理生成多源图像，首先对第一源图像的第二元图像进行严格图像配准，然后采用像素级图像融合得到多源融合图像并形成多源异构数据库，最后以多源异构数据作为输入，结合路面状况选用最优数据采用双层算法对病害进行检测，最后输出病害信息并完成相关指标计算，完成路面状况的检测与分析。

Description

一种基于多源图像融合的路面病害识别方法及***

技术领域

本发明属于人工智能和道路路面检测技术领域，具体涉及一种基于多源图像融合的路面病害识别方法及***。

背景技术

随着公路里程的不断增长、交通流量的急剧增加，公路***的正常运转及交通安全的保障工作日益成为交通***日常维护工作的重要目标。然而公路受到行车载荷，汽车挤压，自然环境等因素的影响，路面易出现沉陷、车辙、开裂和坑槽等病害。这些病害不仅影响公路的舒适度、美观度，同时也影响着交通运输业的发展及人类的出行安全。

随着近几年人工智能的快速发展，利用深度学习的技术进行路面病害识别成为了道路养护体系自动化、智能化的重要方向。综合研究发现，现有深度学习数据种类较为单一。彩色图像通常容易受到油污、阴影、轮胎痕迹等噪声的污染；对单一深度图来说，由于路面的颗粒纹理和病害的发展退化，人眼难以进行识别标注，从而影响病害的识别；激光图像易受到震动、强光等影响而产生较大噪声，对病害的研判产生干扰；红外成像的图像分辨率比成熟的可见光成像技术要低，往往存在大量的盲元和非均匀性线条。此外，如路面纹理，坑槽深度以及裂缝深度等路面三维特征信息也很难从单一二维图像获得。同时，为了实现病害信息全谱化输出，依次采用识别与分割网络会增加运行的成本和时间。

由于路面状态的诸多不确定性，通过单源数据难以实现较准确的路面状况评估，传统的基于单源图像数据的深度学习方法已经难以满足需求。

发明内容

本发明的目的在于克服上述现有技术的缺点，提供一种基于多源图像融合的路面病害识别方法及***，该方法采用多源异构图像融合分析的方法来解决路面状况复杂多变导致的单源深度学习数据效果不理想的问题。并结合识别与分割相结合的双层算法实现路面病害信息全谱化输出，准确高效实现路面状况的检测与评定。

为达到上述目的，本发明采用以下技术方案予以实现：

一种基于多源图像融合的路面病害识别方法，包括以下步骤：

步骤1，针对同一区域，采集两类图像；

步骤2，将一类图像作为参考图像，另一类图像作为待匹配图像，对参考图像和待匹配图像进行特征匹配，基于特征匹配获得两幅图像的几何变换模型，通过几何变换模型将待匹配图像转换为对齐图像；通过空间域融合算法将参考图像和对齐图像融合后获得融合图像；

步骤3，通过yolo神经网络，在融合图像上识别出病害区域，将病害区域从融合图像中提取出来成为子图像；所述yolo神经网络中设置有CBAM注意力机制模块；

步骤4，将子图像通过分割网络进行语义分割，分割后获得二值化的子图像，将二值化的子图像还原至融合图像中，获得完整的二值图；所述分割网络以unet为框架基础，主干网络为mobilenet；

步骤5，通过matlab处理二值图，获得路面病害参数。

本发明的进一步改进在于：

优选的，步骤2的具体过程为：

步骤2.1，对参考图像和待匹配图像进行特征检测，所述特征包括特征点、边缘、轮廓和区域；根据检测出的特征制定特征描述算子，通过特征描述算子计算图像变换模型参数；基于图像变换模型参数，通过特征配准算法进行特征匹配，获得内部参数，再结合待配准图像和参考图像的映射关系，获得两幅图像的几何变换模型，通过几何变换模型对待匹配图像进行几何变换后获得对齐图像；

步骤2.2，通过基于像素的空间域融合算法将参考图像和对齐图像进行融合，获得融合图像。

优选的，步骤2.2中，图像融合的公式为：

F(x_i,y_j)＝ω₁I₁(x_i,y_j)+ω₂I₂(x_i,y_j)i＝1,2,……m；j＝1,2,……n

其中，F为融合后图像，ω₁和ω₂分别为源图I₁和I₂的加权系数，其中ω₁+ω₂＝1；m×n为图像尺寸。

优选的，步骤3中，所述yolo神经网络包括输入端、Backbone，Neck和输出端，所述Backbone中的最后一层添加有CBAM注意力机制模块。

优选的，步骤3中，所述yolo神经网络的识别过程为：将目标图像分解为若干个图像在输入端检测，分解的图像检测完后，再将所有分解的图像框放回至大图中，对大图整体进行非极大抑制操作，将重叠区域中重复框进行去除，剩余的框为识别出的病害区域。

优选的，所述CBAM注意力机制模块识别的过程为：将输入的特征图分别经过最大池化和平均池化得到两个特征图，然后分别将其送入一个两层的神经网络，最后将生成的特征经过激活函数进行激活最终生成通道特征图；将两个通道特征图作为空间注意模块的输入特征图，首先进行最大池化和平均池化，然后将两个特征图基于通道做拼接操作，然后通过一个7x7卷积操作降维为一个通道，最后经过激活函数生成空间特征图。

优选的，步骤4中，将预测框区域的图像提取成为子图像，通过路面病害分割算法将所述子图像进行病害分割，提取出分割出病害的位置信息，将病害的位置信息至于含有预测框的图像中，获得二值化的病害图像。

优选的，所述分割网络中引入有迁移学习进行训练；所述分割网络以unet为框架基础，主干网络为mobilenet。

优选的，所述路面病害参数包括长度、宽度和病害占比；所述路面病害参数被按照图片编号批量化输入至表格中。

一种基于多源图像融合的路面病害识别***，包括：

采集模块，针对同一区域，采集两类图像；

图像生成模块，用于将一类图像作为参考图像，另一类图像作为待匹配图像，对参考图像和待匹配图像进行特征匹配，基于特征匹配获得两幅图像的几何变换模型，通过几何变换模型将待匹配图像转换为对齐图像；通过空间域融合算法将参考图像和对齐图像融合后获得融合图像；

识别模块，用于通过yolo神经网络，在融合图像上识别出病害区域，将病害区域从融合图像中提取出来成为子图像；所述yolo神经网络中设置有CBAM注意力机制模块；

分割模块，用于将子图像通过分割网络进行语义分割，分割后获得二值化的子图像，将二值化的子图像还原至融合图像中，获得完整的二值图；所述分割网络以unet为框架基础，主干网络为mobilenet；

信息输出模块，通过matlab处理二值图，获得路面病害参数。

与现有技术相比，本发明具有以下有益效果：

本发明公开了一种基于多源图像融合的路面病害识别方法，本发明提供的路面状况检测方法中，通过多源采集设备获取多源数据，对多源数据进行预处理生成多源图像，首先对第一源图像的第二元图像进行严格图像配准，然后采用像素级图像融合得到多源融合图像并形成多源异构数据库，最后以多源异构数据作为输入，结合路面状况选用最优数据采用双层算法对病害进行检测，最后输出病害信息并完成相关指标计算，完成路面状况的检测与分析。

进一步的，本发明能够提高多源图像信息的利用效率同时实现多源信息互补。减少了不同源图像需要多次检测的重复过程就能得到各源图像的信息。有利于图像的进一步分析、处理。经过像素级图像融合以后得到的图像具有更多的细节信息，如边缘、纹理的提取，还能够把潜在的目标暴露出来，利于判断识别潜在的目标像素点的操作，这种方法才可以尽可能多的保存源图像中的信息，使得融合后的图片不论是内容还是细节都有所增加。

进一步的，在快速、精确自动识别的基础上，有针对性的对识别出的病害进行分割，去除无效信息能够极大降低路面病害分割的运行时间。

本发明还公开了一种基于多源图像融合的路面病害识别***，该***通过四个模块的运行，能够降低路面病害分割的运行成本和时间，提高路面裂缝信息提取的速度和精度。

附图说明

图1本发明检测方法流程图；

图2图像特征点提取与匹配图；

图3为图像融合的流程图；

图4不同通道图像融合图

图5不同权值融合图；

图6为采用双步法进行路面病害识别和分割流程图；其中，(a)图为流程图；(b)图为实际操作的图片；

图7为识别分割神经网络结构图；其中，(a)图为识别网络图；(b)图为分割网络图；

图8为信息输出结果图；

图9为路面病害检测***的***图。

具体实施方式

下面结合附图和具体的实施例对本发明做进一步详细描述。

本发明公开了一种路面多源异构数据路面损伤识别***，包括：

采集模块，用于对获取的多源图像进行预处理和筛选，剔除因采集设备问题而产生的异常或者缺失数据，保证数据的质量；

图像生成模块，用于对处理后的多源图像进行特征匹配并进行图像融合，生成融合图像构成多源异构数据库；

病害检测模块，用于将所述多源异构数据库图像作为输入，利用深度学习识别分割得到路面病害信息；病害检测模块包括识别模块和分割模块，其中，用于识别模块，通过yolo神经网络，获得包含有预测框的图像，所述预测框中包括含有病害的置信度和类别；所述yolo网络框架的Backbone中的最后一层中设置有CBAM注意力机制模块；

分割模块，用于通过分割网络分割含有预测框的图像，分割出的病害位置信息对应到含有预测框的图像中，获得二值化的病害图像；

信息输出模块，对识别分割结果进行自动化批量输出，并计算路面状况指数等指标。

通过上述模块能够实现一种基于多源数据融合的路面状况检测方法，包括以下步骤：

步骤1，在同一时刻下，使用2种路面图像采集设备，如面阵相机、机载激光、红外传感器等获取路面同一空间位置的图像数据，获取的图像包括但不限于彩色图像、灰度图像、深度图像、红外热图像、激光图像。

步骤2，对同一路段拍摄的2种图像进行图像融合，融合图像与原始多源图像共同构成多源数据集；

步骤2.1，首先对多源数据进行图像配准。将2源图像中的其中一源图像I₁定义为参考图像，选择另一源图像I作为待配准图像，经过一系列的平移、缩放、旋转等图像处理操作后，将I₁、I图像转换到同一空间坐标系下，并保持对应两幅图像的共有信息达到最佳匹配程度，达到待配准的图像与参考图像在图像像素空间上的对齐，再进行模型参数估计，计算出图像变换模型具体参数后，对待配准图像I进行变换矩阵处理为与参考图像I₁对齐的图像I₂。具体包括以下步骤：

步骤2.1.1，首先对获取的多源图像进行特征检测。运用计算机视觉处理检测图形的边缘，轮廓，角点，以参考图像I₁和待配准图像I的特征点、边缘、轮廓、区域作为图像的主要特征。

步骤2.1.2，在进行完图像特征检测后，根据图像特征制定特征描述算子计算图像变换模型参数，从而建立待配准图像I和参考图像I₁特征的相关性进行特征匹配。特征配准算法为SIFT算法、SURF算法或ORB算法。

步骤2.1.3，根据待配准图像和参考图像的映射关系，以及特征匹配得出的内部参数，利用两幅图的全部信息进行配准变换模型的参数估计，得出两幅图像在空间下的最佳几何变换模型f，对齐图像I₂＝fI。

在第一源图像I₁上取点(x,y)，点位置(x,y)上的像素值为I₁(x,y)，第二源图像I在点(x,y)上像素值大小为I(x,y)，对应变换模型为I₁(x,y)＝I(f(x,y))，f的最优解表示图像间的二维空间坐标变换。即确定待配准图像中目标像素点相匹配的参考图像中的目标像素点。

步骤2.2，完成多源图像配准后将图像I₁和图像I₂进行图像融合。图像融合方法采用基于像素的空间域融合方法，像素融合后的图像具有更多细节信息，还能把潜在的目标暴露出来，利于判断识别潜在目标像素点，相较于其他级别的融合，像素级融合能够尽可能多的保存源图中的信息，使融合后的图像无论是内容还是细节都有所增加。多源图像为上述步骤1中的彩色图像、灰度图像、深度图像、红外热图像、激光图像等。多源图像的融合公式为：

F(x_i,y_j)＝ω₁I₁(x_i,y_j)+ω₂I₂(x_i,y_j)i＝1,2,……m；j＝1,2,……n

其中F为融合后图像，ω₁和ω₂分别为源图I₁和I₂的加权系数，其中ω₁+ω₂＝1；m×n为图像尺寸。

优选的，第一源图像I₁为RGB三通道图像，第二源对齐图像I₂为单通道图像时，对第一源图像I₁的三通道分别赋予权值ω₁，再将加权后的各通道像素值与图像I₂单通道加权后的像素值相加，生成的融合图像F为三通道图像。

优选的，第一源图像I₁为RGB三通道图像，第二源对齐图像I₂为RGB三通道图像时，对第一源图像I₁的三通道分别赋予权值ω₁，对第二源图像I₂三通道分别赋予权值ω₂，将加权后的各通道对应相加，生成的融合图像F为三通道图像。

优选的，第一源图像I₁为单通道图像，第二源对齐图像I₂为单通道图像时，对第一源图像I₁像素值赋予权值ω₁，对第二源图像I₂像素值赋予权值ω₂，将加权后的像素值相加，生成的融合图像F为单通道图像。

步骤3，融合图像F与源图像I₂、I₁共同构成多源图像数据库，根据道路状况和拍摄条件选取融合图像F作为路面待检图像，使用识别和分割相结合的双层深度学习算法，有针对性的对识别出的病害进行分割。

具体的，双层深度学习算法的核心是识别和分割相结合，通过快速识别先确定；若有病害则筛选出需要做分割的图像，提取识别出的病害区域，再进行图像的分割处理。识别输出的整体流程为：

步骤3.1，首先采用识别网络进行病害的识别，将融合图像F输入到预训练好的识别网络中，根据预训练权重网络对整幅图像进行病害判别，若没有病害则跳过分割阶段，有病害的图片则进行病害区域的框选并进行病害区域的提取。通过识别网络从融合图像中识别出其中的病害区域。

(1)识别网络的构建。由于融合图像具有更加复杂的信息，在获取多源信息的同时也会有更多的干扰项，针对此特点对网络进行相应改进，识别神经网络基于yolo v5，通过CBAM注意力机制模块改进。具体的改进方法为，将CBAM注意力机制模块添加在Backbone中的最后一层。当网络中新添加层后，该层网络后续层的编号都相应增加。添加后的识别网络在学习中更好的注意到病害区信息，减少其他干扰信息的影响，

yolo v5网络在结构上分为输入端，Backbone，Neck，输出端四个部分，输入端将输入的图像缩放到网络的输入大小，并进行归一化操作，Backbone模块用来提取一些通用的特征表达，Neck部分通常位于Backbone和输出端中间位置，利用它可以进一步提升特征的多样性和鲁棒性。由于融合图像同时具有RGB三通道信息以及深度信息，单一的空间注意力机制和通道注意力机制对融合图像的作用效果不及结合了两个维度的CBAM注意力机制模块效果好。CBAM注意力机制模块先后集成通道注意力和空间注意力两个部分，因此通过CBAM注意力机制模块对yolo v5进行改进。yolo v5采用GIOU_Loss作为损失函数，输出的预测框含有病害的置信度和病害类别。

(2)识别网络的训练。建立神经网络后，通过构建的数据库对改进后的网络进行训练，获得训练后的yolo网络，通过该网络进行病害的识别；在模型训练初期通过观察模型收敛的速度和趋势来判断学习率的设置是否合理。批量大小指的是每一次迭代的样本数量，批量大小过大时，网络虽然收敛快但容易陷入局部最优解，过小时随机性大。损失函数难以收敛。经过多轮调参确定出yolo v5神经网络的最优批量。学习率用以更新权重的步伐大小，学习率太大会导致损失函数振荡，学习率过小时，导致收敛速度过慢。对于识别网络，选用SGD优化器，设定初始学习率后，使用阶段式下降的方法调节学习率；确定好合适的学习率后，通过观察损失值和准确率的变化来调整迭代轮次，通过已有的病害数据对yolo v5神经网络进行训练。

(3)通过上述识别网络识别缺的具体过程为

在特征检测层对特征图进行上采样等处理，使得特征图继续扩大，同时将获取到的特征图与骨干网络中特征图进行融合，以此获取更大的特征图。将目标图像分解为数个图像输入网络进行检测，每个小图检测完后，再将所有的框放到大图中，对大图整体进行非极大抑制操作，将重叠区域的很多重复框进行去除。由于路面病害区域较道路背景区域往往占比较小，对于yolo网络首先在特征检测层第17层后，继续对特征图进行上采样等处理，使得特征图继续扩大，在第20层将获取的大小为160*160的特征图与骨干网络中第二层特征图进行融合，以此获取更大的特征图来实现对小目标的检测，网络层数由原本的23层加深为30层。

其中CBAM注意力机制模块的层数识别的过程为：将输入的特征图分别经过最大池化和平均池化得到两个特征图，然后分别将其送入一个两层的神经网络，最后将生成的特征经过激活函数进行激活最终生成通道特征图。接着，将特征通道图作为空间注意模块的输入特征图，首先进行最大池化和平均池化，然后将两个特征图基于通道做拼接操作，然后通过一个7x7卷积操作降维为一个通道，最后经过激活函数生成空间特征图。

步骤3.2，将病害识别出来后，标注出病害区域的位置和病害区域的边界框，将边界框内的区域提取出来成为子图像。

通过编译外部框架和内部代码，在路面病害识别和分割两种算法之间形成桥梁和纽带，将路面病害的识别结果自动分类处理，实现两种算法的无缝衔接。其中识别结果分为两类：识别结果为无病害的，则直接跳过分割阶段；识别为有病害的，将识别出的路面病害图像和位置信息将自动提交给路面病害分割网络进行语义分割。

步骤3.3，将提取的病害区域的子图像作为分割网络的输入进行进一步的语义分割，分割完毕后根据识别的位置信息将子图像对应融合图像F中，使得整个融合图像F成为一个完整的二值化病害图像，其中病害区域用白色显示，其他区域为黑色显示。

分割网络建立和训练的具体步骤为：

为了减少分割网时间，对于分割网络引入迁移学习，在unet的框架基础上使用mobilenet的预训练权重来将骨干部分初始化使用，避免从0开始训练权值太过于随机导致特征提取不明显。同时使用mobilenet替换主干网络，mobilenet的核心便是采用深度可分离卷积，应用深度可分离卷积可以减少模型的参数。通过找到unet中压缩次数与mobilenet中压缩次数相同的特征层，将前30层的mobilenet与unet进行替换，并与后面上采样得到的特征层进行堆叠，则可以实现整个模型的成功替换。为了加快训练效率，对主干网络进行冻结训练，同时也可以防止权值的破坏。总共104层对模型前30层进行冻结训练，将预训练好的mobilenet网络参数加载到分割网络，网络可以直接训练unet的网络参数。

在模型训练初期通过观察模型收敛的速度和趋势来判断学习率的设置是否合理。批量大小指的是每一次迭代的样本数量，批量大小过大时，网络虽然收敛快但容易陷入局部最优解，过小时随机性大。损失函数难以收敛。经过多轮调参，确定分割网络的最优批量。学习率用以更新权重的步伐大小，学习率太大会导致损失函数振荡，学习率过小时，导致收敛速度过慢。分割网络采用更适用于复杂计算的adam优化器，初始学习率设定为0.001。确定好合适的学习率后，通过观察损失值和准确率的变化来调整迭代轮次。本实施例识别epochs设为300，分割网络epochs设为100。

在模型训练初期通过观察模型收敛的速度和趋势来判断学习率的设置是否合理。确定好合适的学习率后，通过观察损失值和准确率的变化来调整迭代轮次。防止出现过拟合现象，对模型训练设置早停，当验证集的loss值在10个epoch内没有下降超过min_delta阈值时，网络自动停止训练。在训练后期loss值下降较慢，因此将min_delta设为0。最后对预测输出的小图按照对应位置进行拼接恢复到原尺寸。

通过上述训练好的分割网络对子图像进行语义分割，分割后获得二值化的子图像，将子图像还原至融合图像中，获得完整的二值图。

步骤4，最后通过matlab对预测输出的图像进行图像处理，输出长度、宽度、病害占比等常规指标，按照图片编号名称，批量化输出到excel表格中并实现路面指标的自动计算。由于引入多源数据还可以同时得到病害的最大深度、路面脱空以及透水异常区域等信息，解决了在以往计算时各项病害损坏严重程度难以判定的问题，为路面状况的研判提供更多信息。

步骤4.1，具体的，首先以缺陷中心为准，对缺陷进行细化从而提取二值图像骨架。定义P₁，P₁为判断是否要删去的点，对其8邻域点按照P₂到P₉命名，其中命名规则为以P₁为中心划分九宫格，P₂在P₁上方，其余按照顺时针方向编号依次递增。遍历图像上的每个点，对每个像素为1的点做如下判断：

1.2B(P₁)≤6

2.A(P₁)＝1

3.当为奇数次迭代时，判断P₂*₄*₆＝0，P₄*₆*₈＝0；当为偶数次迭代时，判断P₂*₄*₈＝0，P₂*₆*₈＝0；

其中B(P₁)为中心像素P1周围的目标像素(二值中的1)的个数之和；A(P₁为8邻域像素中，按顺时针方向，相邻两个像素出现由0变为1的次数。

如果满足上述条件，则删除该点，循环遍历图像，直至没有点被删除。

步骤4.2，统计计算图中骨架的长度，即为病害的长度，病害的宽度为二值图像素值除以病害的长度即为病害的平均宽度。

优选的，用绝对深度图像作为训练数据的模型可以得到预测的绝对深度，即可以获取相机与物体间的距离，经过校准标定，将以uint16格式储存的深度图像的像素值除以256即可得到实际的深度值。

优选的，引入融合的红外热图像作为训练图像时，根据热导介质的差异可以预测路面隐藏病害，同时还可以克服红外热图像边缘不清晰、视觉效果模糊的问题。具体的，在阳光照射下，面板吸收来自阳光的辐射热量，存在脱空的路面区域的空气热传导性能差，温度升高较快，非脱空区的面板的热量易向路基体深部传导，温度升高较慢；在夜间，脱空区下层空气热传导率低，不易得到路基体热量补充而使该部位温度相对较低；非脱空区的路面由于其下层材料热传导率比空气的高，更易得到热量补充而使该部位温度相对较高。根据路面图像异常区域预测脱空区域。

实施例

本发明实施例1提供一种基于多源数据融合分析的路面损伤识别方法，参见图1详细步骤如下：

步骤1，为了提高数据集的质量，需对图像进行预处理。首先针对不完整有异常的数据进行数据的剔除，考虑到采集时间光线等问题对图像进行亮度、匀光调节。

本实施例的一源图像为彩色图像，二源图像为深度图像，三源图像为灰度图像，四源图像为激光图像，其中彩色图像和激光图像为RGB三通道图，灰度图像和深度图为单通道灰度图。考虑到采集时间光线等问题对图像进行亮度、匀光调节。

步骤2，对同一路段的多源图像进行配准，以固定分辨率为4000x2560像素生成图像，分别选取彩色图像和深度图像、灰度图像和激光图像进行像素级融合，融合图像与原始多源图像共同构成多源异构数据；

步骤2.1，具体的，首先建立相应的图像尺度空间，通过输入的图像和不同的高斯核做卷积得到的二维图像的高斯尺度空间L(x,y,σ)＝G(x,y,σ)^*F(x,y)

其中，σ是尺度空间因子，其大小决定图像的平滑程度，大尺度对应图像的概貌特征，小尺度对应图像的细节特征。*代表卷积，F(x,y)是输入图像，G(x,y,σ)是尺度可变高斯函数：

步骤2.2，相邻两个尺度空间的图像相减得到高斯差分尺度空间：

D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))^*F(x，y)＝L(x，y，kσ)-L(x，y，σ)

其中L(x,y,kσ)是二维图像的尺度空间。

步骤2.3，将尺度空间上的每一个像素点与其3×3邻域内和这一点相邻的八个点的以及上下两层金字塔相对应的3×3范围内共26个点进行一一比较，当这个点为26个点中的最大值或者最小值时，取该点为局部极值点。

步骤2.4，通过分析高斯差分算子的特性来去除因高斯差分算子对边缘及噪声相对敏感而造成的低对比度的伪关键点，保证图像变换模型的准确性；

优选的，对空间尺度函数

求导并令其为0，得到精确的位置

带入空间尺度函数得到：

设定阈值m。只有当

该特征点才保留。

步骤2.5，利用特征点邻域像素的梯度分布特性来确定其方向参数，再利用图像的梯度直方图求取关键点局部结构的稳定方向，给关键点的方向进行赋值，来实现图像旋转不变性。

步骤2.5具体过程为，对于任意特征点，其梯度模值为：

梯度方向为：

其中L的尺度为各特征点所在的尺度。

计算得到梯度方向后，使用直方图统计特征点领域内像素对应的梯度方向和幅值，其中直方图的横轴为梯度方向的角度，范围为0到360度，每45度设置一个刻度，纵轴为梯度方向对应的梯度幅值的总和。其中直方图的峰值即为关键点的主方向。

步骤2.6，以关键点为中心，在附近领域内将坐标轴旋转至关键点的主方向，对关键点范围窗口内的像素进行划分，进而生成128维的特征向量，最后进行特征向量归一化处理。

步骤2.7，计算对应图像之间的128维的关键点的欧氏距离，并设定阈值，当欧氏距离小于阈值时，则判定该点为匹配的关键点。

步骤2.8，参照图3，根据各类图像的自身特性，融合后的图像能够最大化利用各源图像的特征信息，并且不会造成视觉干扰。图像融合方法采用基于像素的空间域融合方法，公式为：

F(x_i,y_j)＝ω₁I₁(x_i,y_j)+ω₂I₂(x_i,y_j)i＝1,2,……m；j＝1,2,……n

其中F(x_i,y_j)为融合后图像像素值，I₁(x_i,y_j)为一源图像像素值，I₂(x_i,y_j)为二源图像像素值，ω₁和ω₂分别为源图I₁和I₂的加权系数，其中ω₁+ω₂＝1；m×n为图像大小；

具体的，参见图4对彩色图和深度图融合时，对彩色图三通道像素值与ω₁相乘，深度图像素值与ω₂相乘，再将彩色图像赋权值后的各通道像素值与赋值后的深度图相加生成融合图像；激光图像和灰度图像融合时，对激光图三通道像素值与ω₁相乘，灰度图像像素值与ω₂相乘，再将激光图像赋权值后的各通道像素值与赋值后的灰度图相加生成融合图像。

优选的，根据路面状况即拍摄条件的不同，ω₁与ω₂可选取不同值来保证融合图想达到最好的效果。参见图5，分别为ω₁＝0.2、0.5、0.8，ω₂＝0.8、0.5、0.2时的融合图像。

步骤3，根据道路状况和拍摄条件选取合适的多源异构数据作为路面待检图像，采用先识别后分割双步法进行路面状况检测。参照图6基于双步法的路面病害自动检测方法包括：

步骤3.1，数据库构建。路面图像包括横纵向裂缝、坑槽、表面磨耗、线状修补、块状修补这几种病害，为扩充数据提高模型的泛化能力和鲁棒性使用镜像、旋转以及添加高斯噪声进行数据增强。识别部分采用开源的labelimg软件对病害图像进行识别标注，即框选出病害所在区域，给框选的区域设定对应标签。在对图像进行标注后，按照9：1的比例随即划分为训练集和测试集，训练集中按照9：1划分为训练集和验证集。其中90％用来的数据用来对网络进行训练和验证；10％用于所述网络的测试，测试模型的精度。分割部分数据采用开源labelme软件进行像素级标注，考虑到计算机算力和运行速度问题，利用编写的代码将病害图像批量剪裁为八等份，即每张小图尺寸为1000*1280像素，每张小图命名规则为大图名称加上位置编号，位置编号第一排为1-4，第二排为5-8。当然，也可以将图像剪裁为500*640像素，尺寸本发明不做限定。同样，标注裁剪好的数据按照9：1的比例随即划分为训练集和测试集，训练集中按照9：1划分为训练集和验证集。其中90％用来的数据用来对网络进行训练和验证；10％用于所述网络的测试，测试模型的精度。

步骤3.2，识别模型构建。具体的，参照图7，在yolov5和unet的基础上针对融合图像识别进行改进。另外，为了让神经网络在学习中更好的注意到病害区域减少噪声的影响，在yolov5网络中添加注意力机制，将CBAM注意力机制模块添加在Backbone结构中的最后一层。当网络中新添加层后，该层网络后续层的编号都相应增加。

参见图6为识别网络输出的图像，在图中框选出了病害位置并且包含病害类别和置信度，进一步的，将病害框区域图像作为分割网络的输入图像进行预测。

分割部分由于采用剪裁的方式将大图裁剪为8张小图，在进行n次检测，为了不过分增加计算时间，对于分割网络引入迁移学习，使用mobilenet替换主干网络，将前30层的mobilenet与unet进行替换，并与后面上采样得到的特征层进行堆叠，则可以实现整个模型的成功替换。为了加快训练效率，对主干网络进行冻结训练，同时也可以防止权值的破坏。总共104层对模型前30层进行冻结训练，将预训练好的mobilenet网络参数加载到分割网络，网络可以直接训练unet的网络参数。

步骤3.3，在模型训练初期通过观察模型收敛的速度和趋势来判断学习率的设置是否合理。批量大小指的是每一次迭代的样本数量，批量大小过大时，网络虽然收敛快但容易陷入局部最优解，过小时随机性大。损失函数难以收敛。经过多轮调参，识别网络确定最优批量大小为16，分割网络最优批量大小5。学习率用以更新权重的步伐大小，学习率太大会导致损失函数振荡，学习率过小时，导致收敛速度过慢。对于识别网络，选用SGD优化器，初始学习率取0.01，使用阶段式下降的方法调节学习率；分割网络采用更适用于复杂计算的adam优化器，初始学习率设定为0.001。确定好合适的学习率后，通过观察损失值和准确率的变化来调整迭代轮次。本实施例识别epochs设为300，分割网络epochs设为100。

步骤3.4，如图8，对输出的二值图进行骨架化提去计算统计病害的信息，结合病害的深度信息和规范的要求可以更准确判断病害的严重程度。

具体的，对于裂缝边缘无或者有轻微碎裂，裂缝宽不大于6mm的裂缝规范判定严重程度为轻微，如果裂缝深度较深甚至贯穿可将其判定中等或者严重；对于坑槽的判断，深度大于25mm则为严重；对于修补损坏，在原有判断的基础上若与周围路面有较大高差则也认定为严重。病害信息输出表头如下。

输出路段病害信息后，按病害类型统计病害的严重程度和分项病害面积占所测路面面积的百分比，根据标准自动计算预估路面破损状况。

实施例2参见图9，一种基于多源异构数据的路面状况检测***，包括预处理模块，图像生成模块，病害检测模块和信息输出模块。

M1.预处理模块对获取的多源图像进行预处理，保证数据的质量。

M2.图像生成模块首先对各源图像进行配准，当对应图像的像素点为同一空间点时，可以确定两者为相匹配的特征点。为了方便数据的储存与后续的处理，配准完成的图像裁减为固定大小的图像，对配准完成的图像进行像素融合。各图像的命名为实际里程桩号。多源图像和融合图像构成多源异构数据库。

M3.病害检测模块分为病害识别与病害分割两个部分。病害的识别采用基于yolov5为基础框架的改进模型进行病害的框选，根据检测结果，对无病害图像进行剔除，有病害图像在识别出各病害位置后进一步生成用于病害分割的数据图。病害分割采用基于unet框架的改进模型。能够在样本量较小的情况下也实现较好的分割效果。

M4.信息输出模块自动化输出统计路面图像中病害的各信息，将每幅图的病害与实际桩号相匹配，实现自动化批量导出。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多源图像融合的路面病害识别方法，其特征在于，包括以下步骤：

步骤1，针对同一区域，采集两类图像；

步骤2，将一类图像作为参考图像，另一类图像作为待匹配图像，对参考图像和待匹配图像进行特征匹配，基于特征匹配获得两幅图像的几何变换模型，通过几何变换模型将待匹配图像转换为对齐图像；通过空间域融合算法将参考图像和对齐图像融合后获得融合图像；

步骤3，通过yolo神经网络，在融合图像上识别出病害区域，将病害区域从融合图像中提取出来成为子图像；所述yolo神经网络中设置有CBAM注意力机制模块；

步骤4，将子图像通过分割网络进行语义分割，分割后获得二值化的子图像，将二值化的子图像还原至融合图像中，获得完整的二值图；所述分割网络以unet为框架基础，主干网络为mobilenet；

步骤5，通过matlab处理二值图，获得路面病害参数。

2.根据权利要求1所述的一种基于多源图像融合的路面病害识别方法，其特征在于，步骤2的具体过程为：

步骤2.1，对参考图像和待匹配图像进行特征检测，所述特征包括特征点、边缘、轮廓和区域；根据检测出的特征制定特征描述算子，通过特征描述算子计算图像变换模型参数；基于图像变换模型参数，通过特征配准算法进行特征匹配，获得内部参数，再结合待配准图像和参考图像的映射关系，获得两幅图像的几何变换模型，通过几何变换模型对待匹配图像进行几何变换后获得对齐图像；

步骤2.2，通过基于像素的空间域融合算法将参考图像和对齐图像进行融合，获得融合图像。

3.根据权利要求2所述的一种基于多源图像融合的路面病害识别方法，其特征在于，步骤2.2中，图像融合的公式为：

F(x_i,y_j)＝ω₁I₁(x_i,y_j)+ω₂I₂(x_i,y_j)i＝1,2,……m；j＝1,2,……n

其中，F为融合后图像，ω₁和ω₂分别为源图I₁和I₂的加权系数，其中ω₁+ω₂＝1；m×n为图像尺寸。

4.根据权利要求1所述的一种基于多源图像融合的路面病害识别方法，其特征在于，步骤3中，所述yolo神经网络包括输入端、Backbone，Neck和输出端，所述Backbone中的最后一层添加有CBAM注意力机制模块。

5.根据权利要求4所述的一种基于多源图像融合的路面病害识别方法，其特征在于，步骤3中，所述yolo神经网络的识别过程为：将目标图像分解为若干个图像在输入端检测，分解的图像检测完后，再将所有分解的图像框放回至大图中，对大图整体进行非极大抑制操作，将重叠区域中重复框进行去除，剩余的框为识别出的病害区域。

6.根据权利要求1述的一种基于多源图像融合的路面病害识别方法，其特征在于，所述CBAM注意力机制模块识别的过程为：将输入的特征图分别经过最大池化和平均池化得到两个特征图，然后分别将其送入一个两层的神经网络，最后将生成的特征经过激活函数进行激活最终生成通道特征图；将两个通道特征图作为空间注意模块的输入特征图，首先进行最大池化和平均池化，然后将两个特征图基于通道做拼接操作，然后通过一个7x7卷积操作降维为一个通道，最后经过激活函数生成空间特征图。

7.根据权利要求1所述的一种基于多源图像融合的路面病害识别方法，其特征在于，步骤4中，将预测框区域的图像提取成为子图像，通过路面病害分割算法将所述子图像进行病害分割，提取出分割出病害的位置信息，将病害的位置信息至于含有预测框的图像中，获得二值化的病害图像。

8.根据权利要求1所述的一种基于多源图像融合的路面病害识别方法，其特征在于，所述分割网络中引入有迁移学习进行训练；所述分割网络以unet为框架基础，主干网络为mobilenet。

9.根据权利要求1所述的一种基于多源图像融合的路面病害识别方法，其特征在于，所述路面病害参数包括长度、宽度和病害占比；所述路面病害参数被按照图片编号批量化输入至表格中。

10.一种基于多源图像融合的路面病害识别***，其特征在于，包括：

采集模块，针对同一区域，采集两类图像；

图像生成模块，用于将一类图像作为参考图像，另一类图像作为待匹配图像，对参考图像和待匹配图像进行特征匹配，基于特征匹配获得两幅图像的几何变换模型，通过几何变换模型将待匹配图像转换为对齐图像；通过空间域融合算法将参考图像和对齐图像融合后获得融合图像；

识别模块，用于通过yolo神经网络，在融合图像上识别出病害区域，将病害区域从融合图像中提取出来成为子图像；所述yolo神经网络中设置有CBAM注意力机制模块；

分割模块，用于将子图像通过分割网络进行语义分割，分割后获得二值化的子图像，将二值化的子图像还原至融合图像中，获得完整的二值图；所述分割网络以unet为框架基础，主干网络为mobilenet；

信息输出模块，通过matlab处理二值图，获得路面病害参数。

Images