CN114998770A - 一种公路标识提取方法及*** - Google Patents

Abstract

本发明涉及一种公路标识提取方法，属于公路标识提取领域，包括：获取原始无人机遥感影像；对所述原始无人机遥感影像进行二值化处理，得到第一图像；对所述第一图像进行腐蚀与闭操作处理，将粘连区域分离，得到第二图像；计算所述第二图像中连通区域的面积，并提取面积最大的部分作为干扰区域；对所述干扰区域进行膨胀操作，得到第三图像；将所述第三图像与所述原始无人机遥感影像做差，清除地物干扰，得到第四图像；构建车辆检测模型；将所述第四图像输入至所述车辆检测模型，识别所述第四图像中的车辆；将所述第四图像中的车辆清除，得到公路标识。本发明中的上述方案能够准确识别公路标识。

Description

一种公路标识提取方法及***

技术领域

本发明涉及道路工程和人工智能交叉领域，特别是涉及一种公路标识提取方法及***。

背景技术

在过去的数十年之间，中国的公路总里程呈现一个快速增长的趋势，但随之而来的则是更加复杂的公路养护问题。部分公路因为服役年限过长已经出现常见的公路病害，诸如公路标识的模糊与破损等。而公路标识线在提供信息、分割车道、车辆引流等方面有着重要作用，因此对于公路的巡检以达到排查或预防上述问题，对于我国未来的公路领域的发展至关重要。

公路标识作为马路上最为重要的部分，给司机提供了很多的信息，因为长时间受到车轮的摩擦以及自然作用(如风吹日晒)，这导致诸多的公路标识存在磨损、破裂等情况。许多公路标识都有重新绘制的需求，如何快速稳定的检测出来这部分公路标识，同时达到高频率对于公路进行巡航，成为了一个关键性的需求。

传统的人力或者探地雷达需要消耗大量的人力来满足公路巡检需求的频率，同时，航空遥感和卫星遥感得到的数据分辨率与重访周期也难以满足要求。但是无人机遥感技术的兴起给这一问题提供了新的视角与新的解决方案：得益于无人机遥感的超高分辨率以及受限制极小的重访周期，使用无人遥感技术来进行公路问题的巡检成为了一个新的思路。

然而，作为一个新兴的技术，无人机遥感的数据集略显不足，无人机遥感数据集在目标检测与目标追踪方面较为全面，但是在语义分割方面的数据集较为缺失，这使得通过语义分割的技术方法进行公路标识的快速提取暂时不可能。目前主流的处理方法主要都以来与传统的图形学方法，或者遥感方法，例如形态学运算、阈值分割、对象分割等。

为达到从无人机遥感影像当中提取出来公路标识的目的，需要克服两大困难，其一为无人机影像中复杂的地物对于图像本身的干扰，其二则为公路上大量车辆对于进一步标识提取带来的干扰。

为了克服上述两个难点，本发明提出了一种应用了形态学运算、阈值分割、深度学习YoloV5等技术的公路标识提取技术，实现了对于图像上公路区域的分割，以及公路车辆的提取。

发明内容

本发明的目的是提供一种公路标识提取方法及***，实现对图像上公路区域的分割以及公路车辆的提取。

为实现上述目的，本发明提供了如下方案：

一种公路标识提取方法，所述提取方法包括：

获取原始无人机遥感影像；

对所述原始无人机遥感影像进行二值化处理，得到第一图像；

对所述第一图像进行腐蚀与闭操作处理，将粘连区域分离，得到第二图像；

计算所述第二图像中连通区域的面积，并提取面积最大的部分作为干扰区域；

对所述干扰区域进行膨胀操作，得到第三图像；

将所述第三图像与所述原始无人机遥感影像做差，清除地物干扰，得到第四图像；

构建车辆检测模型；

将所述第四图像输入至所述车辆检测模型，识别所述第四图像中的车辆；

将所述第四图像中的车辆清除，得到公路标识。

可选的，所述提取方法在所述步骤“获取原始无人机遥感影像”之后，所述步骤“对所述原始无人机遥感影像进行二值化处理，得到第一图像”之前还包括：对所述原始无人机遥感影像进行预处理。

可选的，对所述原始无人机遥感影像进行预处理具体包括：

对所述原始无人机遥感影像的灰度值进行拉伸增强对比度；

对所述原始无人机遥感影像进行数据去噪；

对所述原始无人机遥感影像进行标签格式整理。

可选的，所述构建车辆检测模型具体包括：

从预处理后的原始无人机遥感影像中提取训练集；

利用所述训练集对Yolo5m模型进行训练，得到车辆检测模型。

基于本发明中的上述方法，本发明另外提供一种公路标识提取***，所述提取***包括：

原始图像获取模块，用于获取原始无人机遥感影像；

二值化处理模块，用于对所述原始无人机遥感影像进行二值化处理，得到第一图像；

腐蚀与闭操作处理模块，用于对所述第一图像进行腐蚀与闭操作处理，将粘连区域分离，得到第二图像；

连通区域的面积计算模块，用于计算所述第二图像中连通区域的面积，并提取面积最大的部分作为干扰区域；

膨胀操作模块，用于对所述干扰区域进行膨胀操作，得到第三图像；

做差模块，用于将所述第三图像与所述原始无人机遥感影像做差，清除地物干扰，得到第四图像；

车辆检测模型构建模块，用于构建车辆检测模型；

车辆识别模块，用于将所述第四图像输入至所述车辆检测模型，识别所述第四图像中的车辆；

公路标识确定模块，用于将所述第四图像中的车辆清除，得到公路标识。

可选的，所述提取***在所述原始图像获取模块和所述二值化处理模块之间还包括：预处理模块。

可选的，所述预处理模块具体包括：

灰度值拉伸单元，用于对所述原始无人机遥感影像的灰度值进行拉伸增强对比度；

去噪单元，用于对所述原始无人机遥感影像进行数据去噪；

标签格式整理单元，用于对所述原始无人机遥感影像进行标签格式整理。

可选的，所述车辆检测模型构建模块具体包括：

训练集获取模块，用于从预处理后的原始无人机遥感影像中提取训练集；

训练模块，用于利用所述训练集对Yolo5m模型进行训练，得到车辆检测模型。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明中的上述方法首先通过对数据进行预处理，其次，对图像进行形态学操作，以清除公路周围干扰项，从而可以获得一条干扰较少的公路，在使用训练好的YoloV5模型将公路的车辆提取出来，从图像中清除，最终从图像中提取到公路标识，大大提高了识别精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例公路标识提取方法流程图；

图2为本发明实施例原始图像；

图3为本发明实施例二值化处理后的图像；

图4为本发明实施例对非标线区域进行膨胀处理后的示意图；

图5为本发明实施例做差后的图像；

图6为本发明实施例灰度拉伸前的图像；

图7为本发明实施例灰度拉伸后的图像；

图8为本发明实施例白天图像检测结果示意图；

图9为本发明实施例夜间图像检测结果示意图；

图10为本发明实施例车辆识别结果示意图；

图11为本发明实施例公路标识检测结果示意图；

图12为本发明实施例路段不同位置的原遥感影像和对应的结果图；

图13为本发明实施例评估结果与提取结果示意图；

图14为本发明实施例公路标识提取***结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种公路标识提取方法及***，实现对图像上公路区域的分割以及公路车辆的提取。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

公路标识是指：公路表面用于标记车道、指示方向、提供信息等一系列白色或黄色车道线、导流线、导向线、斑马线等，因此对于公路标识的识别显得尤为重要。

本发明提出一种基于形态学方法、阈值分割方法以及深度学习中目标识别的方法的无人机遥感影像的提取公路地面标识的方法。本发明中主要采取的两大步骤提取公路标识。

本发明所采取的方法第一步是将原始图像转化为灰度图像再使用最大类间方差的算法(OTSU算法)实现了公路标识和公路本身的分离，这是由于公路标识本身呈现黄、白颜色，路面呈现灰黑色，两者的灰度值差异较大。然而这一步骤中会同时将周围地物以及道路车辆以同分割今来，这两者将会对于后续提取产生影像。

因此后续的过程存在两个需要重要步骤：1)完成对于周边地物干扰的剔除，2)完成车辆干扰的剔除。

由于周围的地物灰度值差异性较大，在进行上述的二值化处理过程中，周边地物的影响较大，本发明所采取的方法包括阈值分割法以及形态学的操作，实现了公路与周边物体的分离。

然后，由于路面时常有车辆的干扰，在这一步需要实现将车辆从图像中剔除。但是由于车辆的颜色特征与纹理特征各异以及与公路标识的相互遮盖关系，使得传统的图像处理中的阈值分割法、形态学操作、对象分割方法在这一阶段表现不佳，本发明采取了机器学习的方法，使用YoloV5m的网络进行训练，实现了从图像中提取车辆，由此将车辆从中剔除，去除车辆对于标识提取过程的影响。

此时，在完成公路提取、车辆去除的两个步骤之后，剩下的公路表面只包括道路标识，以此完成了对于道路标识的提取。下面对该方案进行详细介绍。

图1为本发明实施例公路标识提取方法流程图，如图1所示，所述提取方法包括：

步骤101：获取原始无人机遥感影像。

本发明中的数据选取UAVDT数据集，数据包括40000张带有标记的数据，数据只标记了在路面上的三种不同的车辆，包括：Car，Truck，Bus。每一张图片的大小为1024px*540px，RGB三通道。同时，数据集涵盖了不同的时间(晨昏、白天、夜间)，不同的天气(雨天、雾天)以及不同的地面场景。

在本发明的技术方案中，UAVDT数据集主要将会起到两个作用，其一是作为一个训练数据集，用于训练一个车辆定位模型，这一模型将会对于公路标识提取的过程起到很大的辅助作用；其二则是作为影像数据，本发明将会从这一系列的影像数据中提取公路标识。

步骤102：对所述原始无人机遥感影像进行二值化处理，得到第一图像。

原始图像如图2所示，二值化后的图像如图3所示。

步骤103：对所述第一图像进行腐蚀与闭操作处理，将粘连区域分离，得到第二图像。

为了可以更好的提取出来公路标线区域，需要尝试剔除图像中的其他区域。首先需要对原图像进行先腐蚀再进行闭运算的操作，这可以使得图像当中分区更加的明显，避免将多个靠近小区域错误的划分成为一个大的区域，导致其被剔除。

步骤104：计算所述第二图像中连通区域的面积，并提取面积最大的部分作为干扰区域。

本发明中使用的办法使对于图像当中的每一个连通域进行面积的统计计算，然后将上述连通域的面积进行平均，选择图像中大于平均面积的部分，得到非标线区域即干扰区。

步骤105：对所述干扰区域进行膨胀操作，得到第三图像。

非标线区域与目标区域重合较少，可以使用较大的核对于非标线区域进行膨胀，以扩大部分边缘。这样在于原图做差的时候，可以更好的去除非标线部分。膨胀操作后的如图4所示。不进行膨胀操作做差和进行了膨胀操作再做差，前者会保留额外的边缘线，这会对后续的步骤产生一定的阻碍，而后者则可以很好的清除非标线的部分。

步骤106：将所述第三图像与所述原始无人机遥感影像做差，清除地物干扰，得到第四图像，如图5所示。

上述步骤101-步骤106，主要实现的是清除地物干扰。

此时图像剩下的部分主要都是标线，然而还残留部分非标线区域的目标，此时使用形态学的方法会对于剩下的标线区域产生损坏，可行的办法是对于剩下的区域进行RGB通道的阈值分割进行进一步的剔除。对于发明所实验的图像而言，并不需要再对于原图像进行灰度阈值分割。

在完成了上述的步骤之后，就可以明显的看见公路上的标识，但与此同时，能看到车辆也被同样标记进入了该标识区域，并且由于部分车辆的总象素大小，灰度值特征与公路标识相差无几、并且与公路标识过于贴近，这使得使用形态学以及阈值分割的传统方法效果不佳，此时本发明采用深度学习的方法，从RGB图像中检测出车辆位置后，进行剔除。

这一步骤中主要采取了形态学的操作，完成了对于周围地物干扰的清除，后续将进行对于公路表面车辆干扰的提取。

步骤107：构建车辆检测模型。

该步骤具体包括：

从预处理后的原始无人机遥感影像中提取训练集；

利用所述训练集对Yolo5m模型进行训练，得到车辆检测模型。

此外，为了进一步提高模型的精度，在对Yolo5m模型进行训练之前，还需对数据进行预处理，主要包括：

数据去噪、对比度增强(灰度拉伸)以及标签格式整理。

其中，数据去噪常见的滤波方式包括中位数滤波、均值滤波、高斯滤波等。中值滤波是使用临域内的象素灰度值的中位数代替目标象素，均值滤波则是使用临域内象素灰度值的平均数代替目标象素，高斯滤波则是设定卷积核横纵向标准差之后，按照二维高斯函数。三种滤波方式中运算资源消耗最低的为中位数滤波，因此，本发明中选择中位数滤波的方法进行去噪。

灰度值拉伸是一种进行图像增强的重要手段，可以有效地提升低对比度的图像的清晰程度。低对比度的图像中灰度分布严重不均衡，往往分布在一段较为狭小的灰度值范围内。通过灰度值拉伸的方法可以将图像的灰度值尽可能的进行均衡的分布，从而提升图像的质。

如上所述，UAVDT数据集中由于包括夜晚、雨雾天等较为复杂的环境，使得图像整体的灰度值偏低，为了增强图像的对比度，采取灰度值拉伸的方法，将图像中最大灰度值映射至255，同时最小灰度值映射至0，以此增加整体的对比度。如图6和图7所示，分别为拉神前和拉伸后的图像。

在进行深度学习训练之前，需要对于标签的格式进行修改，原本数据中给出的格式不符合Yolo数据格式，如下所示。

表1 UAVDT标签格式

表2 Yolo标准数据格式

由此可得出数据转换的公式，如下：

处理预处理完后，要对Yolo5m模型进行训练。在训练完成模型之后，测试模型效率，用于对测试集当中的图片进行标记，平均每一张图片用时在25毫秒左右，原图和目标检测结果如图8和图9所示，图8为白天检测结果示意图，图9为夜间检测结果示意图。

可以看出训练的模型结果对于公路上的车辆有者很高的检测准确率。在后续的对于公路标识的过程中，通过检测结果所提供的定位框的位置，可以将车辆进行筛出。

步骤108：将所述第四图像输入至所述车辆检测模型，识别所述第四图像中的车辆。

步骤109：将所述第四图像中的车辆清除，得到公路标识。

上述提及的操作已经实现了对于标识区域的提取，并且完成了对于Yolo5m模型的训练之后，通过将原始图像输入到Yolo5m中进行检测，获取图像中车辆的位置，通过其定位结果将对应的区域抹除，实现对于公路表面车辆的剔除，如图10右侧所示(参见方框部分)。

在进行了车辆区域的剔除之后，图像剩下的目标既可以认为是公路标识区域。至此完成了对于公路标识区域的提取。提取结果的示意图如图11所示。

为了评估方法的稳定性在同一条公路上截取不同位置的几个影像，尝试进行评估，图11则是该路段不同位置的原遥感影像和对应的结果图：可以看出，本文的算法在该路段上有者较好的公路标识提取效果，特别是在没有雾气遮挡的时候，提取效果和图像本身的标识区域近似完全相同，公路标识的提取非常顺利。但是有雾气的干扰的图像，提取效果不佳，特别是雾气所笼罩的区域中，几乎无法进行公路标识的提取。同时可以注意到，即使拥有较低的对比度和清晰度，只要不被雾气所完全笼罩的区域，对于公路标识的提取效果依然十分良好。对于该公路区段的测试结果说明了本方法的可行性，同时对于轻度恶劣天气情况有者一定的抗干扰能力，也在一定程度上佐证了本方法的稳定性

如上所述，该方法在雾气较少的时候稳定性较好，为了进行正确的精确度的评估，选择上述稳定性较好的区域(雾较为稀薄)进行评估。

评估结果与提取结果如图13所示，对于上述结果进行精度评估，可以算得平均Precision＝92.23％，Recall＝91.72％。

综上所述，即使在存在大雾天气的情况下，本方法仍然可以达到较为稳定的公路标识提取，说明了方法的稳定性以及精确性。

基于本发明中的上述方法，本发明另外提供了一种公路标识提取***，如图14所示，所述***包括：

原始图像获取模块201，用于获取原始无人机遥感影像。

二值化处理模块202，用于对所述原始无人机遥感影像进行二值化处理，得到第一图像。

腐蚀与闭操作处理模块203，用于对所述第一图像进行腐蚀与闭操作处理，将粘连区域分离，得到第二图像。

连通区域的面积计算模块204，用于计算所述第二图像中连通区域的面积，并提取面积最大的部分作为干扰区域。

膨胀操作模块205，用于对所述干扰区域进行膨胀操作，得到第三图像。

做差模块206，用于将所述第三图像与所述原始无人机遥感影像做差，清除地物干扰，得到第四图像。

车辆检测模型构建模块207，用于构建车辆检测模型。

车辆识别模块208，用于将所述第四图像输入至所述车辆检测模型，识别所述第四图像中的车辆.

公路标识确定模块209，用于将所述第四图像中的车辆清除，得到公路标识。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种公路标识提取方法，其特征在于，所述提取方法包括：

获取原始无人机遥感影像；

对所述原始无人机遥感影像进行二值化处理，得到第一图像；

对所述第一图像进行腐蚀与闭操作处理，将粘连区域分离，得到第二图像；

计算所述第二图像中连通区域的面积，并提取面积最大的部分作为干扰区域；

对所述干扰区域进行膨胀操作，得到第三图像；

将所述第三图像与所述原始无人机遥感影像做差，清除地物干扰，得到第四图像；

构建车辆检测模型；

将所述第四图像输入至所述车辆检测模型，识别所述第四图像中的车辆；

将所述第四图像中的车辆清除，得到公路标识。

2.根据权利要求1所述的公路标识提取方法，其特征在于，所述提取方法在所述步骤“获取原始无人机遥感影像”之后，所述步骤“对所述原始无人机遥感影像进行二值化处理，得到第一图像”之前还包括：对所述原始无人机遥感影像进行预处理。

3.根据权利要求2所述的公路标识提取方法，其特征在于，对所述原始无人机遥感影像进行预处理具体包括：

对所述原始无人机遥感影像的灰度值进行拉伸增强对比度；

对所述原始无人机遥感影像进行数据去噪；

对所述原始无人机遥感影像进行标签格式整理。

4.根据权利要求2所述的公路标识提取方法，其特征在于，所述构建车辆检测模型具体包括：

从预处理后的原始无人机遥感影像中提取训练集；

利用所述训练集对Yolo5m模型进行训练，得到车辆检测模型。

5.一种公路标识提取***，其特征在于，所述提取***包括：

原始图像获取模块，用于获取原始无人机遥感影像；

二值化处理模块，用于对所述原始无人机遥感影像进行二值化处理，得到第一图像；

腐蚀与闭操作处理模块，用于对所述第一图像进行腐蚀与闭操作处理，将粘连区域分离，得到第二图像；

连通区域的面积计算模块，用于计算所述第二图像中连通区域的面积，并提取面积最大的部分作为干扰区域；

膨胀操作模块，用于对所述干扰区域进行膨胀操作，得到第三图像；

做差模块，用于将所述第三图像与所述原始无人机遥感影像做差，清除地物干扰，得到第四图像；

车辆检测模型构建模块，用于构建车辆检测模型；

车辆识别模块，用于将所述第四图像输入至所述车辆检测模型，识别所述第四图像中的车辆；

公路标识确定模块，用于将所述第四图像中的车辆清除，得到公路标识。

6.根据权利要求5所述的公路标识提取***，其特征在于，所述提取***在所述原始图像获取模块和所述二值化处理模块之间还包括：预处理模块。

7.根据权利要求6所述的公路标识提取***，其特征在于，所述预处理模块具体包括：

灰度值拉伸单元，用于对所述原始无人机遥感影像的灰度值进行拉伸增强对比度；

去噪单元，用于对所述原始无人机遥感影像进行数据去噪；

标签格式整理单元，用于对所述原始无人机遥感影像进行标签格式整理。

8.根据权利要求6所述的公路标识提取***，其特征在于，所述车辆检测模型构建模块具体包括：

训练集获取模块，用于从预处理后的原始无人机遥感影像中提取训练集；

训练模块，用于利用所述训练集对Yolo5m模型进行训练，得到车辆检测模型。

Images