CN115439750A - 道路病害检测方法、装置、电子设备及存储介质 - Google Patents

道路病害检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115439750A
CN115439750A CN202211158865.1A CN202211158865A CN115439750A CN 115439750 A CN115439750 A CN 115439750A CN 202211158865 A CN202211158865 A CN 202211158865A CN 115439750 A CN115439750 A CN 115439750A
Authority
CN
China
Prior art keywords
feature map
target
module
target feature
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211158865.1A
Other languages
English (en)
Inventor
许明
张弓
郑睿博
骆庚
郑文青
王广涛
熊茜楠
孙权泽
徐红
党韫垚
纪超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Arsc Underground Space Technology Development Co ltd
Original Assignee
Arsc Underground Space Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Arsc Underground Space Technology Development Co ltd filed Critical Arsc Underground Space Technology Development Co ltd
Priority to CN202211158865.1A priority Critical patent/CN115439750A/zh
Publication of CN115439750A publication Critical patent/CN115439750A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种道路病害检测方法、装置、电子设备及存储介质，所述方法包括：在原始的YOLOv5神经网络结构中增加一组小的目标检测预测头，使得目标检测模型能够提取到待检测图像的第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图，且该四个目标特征图表征的是不同粒度的特征，可以使得根据目标检测模型得到的目标特征图可以检测到小目标的特征，缓解剧烈的目标尺度变化带来的影响，提高了对小目标物体的检测性能，使得到的目标特征更全面；并根据该四个目标特征图得到的待检测图像的预测结果更精确。

Description

道路病害检测方法、装置、电子设备及存储介质
技术领域
本申请涉及智能交通技术领域，具体而言，涉及一种道路病害检测方法、装置、电子设备及存储介质。
背景技术
近年来，由于城市地下管网的破损渗漏等因素造成道路塌陷事故频发，影响了群众的生产生活，通过对道路进行养护可以保证道路路网的通行能力和运输效率、降低交通事故发生的概率，同时也可以延长道路路面的使用寿命。对道路养护之前，需要对道路进行病害检测，及时发现道路中存在的空洞、疏松、脱空等病害问题。
现有技术中，可以基于神经网络模型检测道路的病害情况。
但是，现有的神经网络模型存在无法检测到细小病害情况的问题。
发明内容
本申请的目的在于，针对上述现有技术中的不足，提供一种道路病害检测方法、装置、电子设备及存储介质，提高检测道路病害的精度。
为实现上述目的，本申请实施例采用的技术方案如下：
第一方面，本申请实施例提供了一种道路病害检测方法，所述方法包括：
接收终端设备发送的待检测图像；
将所述待检测图像输入预先训练得到的目标检测模型，在所述目标检测模型中提取所述待检测图像对应的第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图，并根据所述第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图得到所述待检测图像的预测结果，所述预测结果用于指示所述待检测图像对应的道路的病害信息，其中，所述第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图分别为所述目标检测模型中的四个不同尺度的预测头输出的特征图，所述第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图分别用于表征一种粒度的特征，且所述第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图对应的粒度依次***。
可选的，所述在所述目标检测模型中提取所述待检测图像对应的第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图，并根据所述第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图得到所述待检测图像的预测结果，包括：
将所述待检测图像输入所述目标检测模型的特征提取子网络中，得到第一中间特征图、第二中间特征图、第三中间特征图以及第四中间特征图；
将第一中间特征图、第二中间特征图、第三中间特征图以及第四中间特征图输入所述目标检测模型的特征融合子网络中，得到所述第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图；
将所述第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图输入所述目标检测模型的检测子网络中，得到所述待检测图像的预测结果。
可选的，所述将所述待检测图像输入所述目标检测模型的特征提取子网络中，得到第一中间特征图、第二中间特征图、第三中间特征图以及第四中间特征图，包括：
将所述待检测图像输入至所述目标检测模型的特征提取子网络中的第一标准卷积模块，由所述第一标准卷积模块以及与所述第一标准卷积模块连接的第一特征提取模块进行特征提取，得到所述第一中间特征图；
将所述第一中间特征图输入至特征提取子网络中的第二标准卷积模块，由所述第二标准卷积模块以及与所述第二标准卷积模块连接的第二特征提取模块进行特征提取，得到所述第二中间特征图；
将所述第二中间特征图输入至特征提取子网络中第三标准卷积模块，由所述第三标准卷积模块以及与所述第三标准卷积模块连接的第三特征提取模块进行特征提取，得到所述第三中间特征图；
将所述第三中间特征图输入至特征提取子网络中第四标准卷积模块，由所述第四标准卷积模块以及与所述第四标准卷积模块连接的第四特征提取模块进行特征提取，得到所述第四中间特征图。
可选的，所述将第一中间特征图、第二中间特征图、第三中间特征图以及第四中间特征图输入所述目标检测模型的特征融合子网络中，得到所述第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图，包括：
在所述特征融合子网络中，根据所述第一中间特征图、所述第二中间特征图、所述第三中间特征图、所述第四中间特征图得到第一合并输出特征图，并将所述第一合并输出特征图输入至所述特征融合子网络的第五特征提取模块中，由所述第五特征提取模块以及与所述第五特征提取模块连接的第一卷积层进行特征融合，得到第一目标特征图；
根据所述第二中间特征图以及所述第三中间特征图、所述第四中间特征图得到第二合并输出特征图，并根据所述第二合并输出特征图以及第一合并输出特征图得到第三合并输出特征图，将所述第三合并输出特征图输入至所述特征融合子网络的第六特征提取模块中，由所述第六特征提取模块以及与所述第六特征提取模块连接的第二卷积层进行特征融合，得到第二目标特征图；
根据所述第三中间特征图以及所述第四中间特征图得到第四合并输出特征图，并根据所述第四合并输出特征图以及所述第三合并输出特征图得到第五合并输出特征图，将所述第五合并输出特征图输入至所述特征融合子网络的第七特征提取模块中，由所述第七特征提取模块以及与所述第七特征提取模块连接的第三卷积层进行特征融合，得到第三目标特征图；
根据所述第五合并输出特征图以及所述第四中间特征图，得到第六合并输出特征图，并将所述第六合并输出特征图输入至所述特征融合子网络的第八特征提取模块中，由所述第八特征提取模块以及与所述第八特征提取模块连接的第四卷积层进行特征融合，得到第四目标特征图。
可选的，各特征提取模块分别包括依次连接的第一卷积模块、第二卷积模块、注意力机制模块、合并模块以及第三卷积模块；
所述注意力机制模块包括依次连接的第四卷积模块、第五卷积模块、通道注意力模块以及空间注意力模块。
可选的，所述将所述第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图输入所述目标检测模型的检测子网络中，得到所述待检测图像的预测结果，包括：
在所述检测子网络中，对所述第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图进行融合，得到融合后的目标特征图，并对所述融合后的目标特征图进行预测，得到预测边界框的信息，所述预测边界框的信息包括：预测边界框的位置信息、高度以及宽度信息；
根据所述预测边界框的信息以及真实框的高度以及宽度确定所述待检测图像的预测结果。
可选的，还包括：
获取多个样本图谱数据，将所述多个样本图谱输入至初始检测模型；
所述初始检测模型对各样本图谱数据进行特征提取以及预测，得到所述各样本图谱数据的预测结果；
根据所述各样本图谱数据的预测结果确定所述初始检测模型的损失信息；
根据所述初始检测模型的损失信息对所述初始检测模型进行迭代优化，得到所述目标检测模型。
第二方面，本申请实施例还提供了一种道路病害检测装置，所述装置包括：
接收模块，用于接收终端设备发送的待检测图像；
提取模块，用于将所述待检测图像输入预先训练得到的目标检测模型，在所述目标检测模型中提取所述待检测图像对应的第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图，并根据所述第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图得到所述待检测图像的预测结果，所述预测结果用于指示所述待检测图像对应的道路的病害信息，其中，所述第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图分别为所述目标检测模型中的四个不同尺度的预测头输出的特征图，所述第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图分别用于表征一种粒度的特征，且所述第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图对应的粒度依次***。
可选的，所述提取模块具体用于：
将所述待检测图像输入所述目标检测模型的特征提取子网络中，得到第一中间特征图、第二中间特征图、第三中间特征图以及第四中间特征图；
将第一中间特征图、第二中间特征图、第三中间特征图以及第四中间特征图输入所述目标检测模型的特征融合子网络中，得到所述第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图；
将所述第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图输入所述目标检测模型的检测子网络中，得到所述待检测图像的预测结果。
可选的，所述提取模块具体用于：
将所述待检测图像输入至所述目标检测模型的特征提取子网络中的第一标准卷积模块，由所述第一标准卷积模块以及与所述第一标准卷积模块连接的第一特征提取模块进行特征提取，得到所述第一中间特征图；
将所述第一中间特征图输入至特征提取子网络中的第二标准卷积模块，由所述第二标准卷积模块以及与所述第二标准卷积模块连接的第二特征提取模块进行特征提取，得到所述第二中间特征图；
将所述第二中间特征图输入至特征提取子网络中第三标准卷积模块，由所述第三标准卷积模块以及与所述第三标准卷积模块连接的第三特征提取模块进行特征提取，得到所述第三中间特征图；
将所述第三中间特征图输入至特征提取子网络中第四标准卷积模块，由所述第四标准卷积模块以及与所述第四标准卷积模块连接的第四特征提取模块进行特征提取，得到所述第四中间特征图。
可选的，所述提取模块具体用于：
在所述特征融合子网络中，根据所述第一中间特征图、所述第二中间特征图、所述第三中间特征图、所述第四中间特征图得到第一合并输出特征图，并将所述第一合并输出特征图输入至所述特征融合子网络的第五特征提取模块中，由所述第五特征提取模块以及与所述第五特征提取模块连接的第一卷积层进行特征融合，得到第一目标特征图；
根据所述第二中间特征图以及所述第三中间特征图、所述第四中间特征图得到第二合并输出特征图，并根据所述第二合并输出特征图以及第一合并输出特征图得到第三合并输出特征图，将所述第三合并输出特征图输入至所述特征融合子网络的第六特征提取模块中，由所述第六特征提取模块以及与所述第六特征提取模块连接的第二卷积层进行特征融合，得到第二目标特征图；
根据所述第三中间特征图以及所述第四中间特征图得到第四合并输出特征图，并根据所述第四合并输出特征图以及所述第三合并输出特征图得到第五合并输出特征图，将所述第五合并输出特征图输入至所述特征融合子网络的第七特征提取模块中，由所述第七特征提取模块以及与所述第七特征提取模块连接的第三卷积层进行特征融合，得到第三目标特征图；
根据所述第五合并输出特征图以及所述第四中间特征图，得到第六合并输出特征图，并将所述第六合并输出特征图输入至所述特征融合子网络的第八特征提取模块中，由所述第八特征提取模块以及与所述第八特征提取模块连接的第四卷积层进行特征融合，得到第四目标特征图。
可选的，各特征提取模块分别包括依次连接的第一卷积模块、第二卷积模块、注意力机制模块、合并模块以及第三卷积模块；
所述注意力机制模块包括依次连接的第四卷积模块、第五卷积模块、通道注意力模块以及空间注意力模块。
可选的，所述提取模块具体用于：
在所述检测子网络中，对所述第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图进行融合，得到融合后的目标特征图，并对所述融合后的目标特征图进行预测，得到预测边界框的信息，所述预测边界框的信息包括：预测边界框的位置信息、高度以及宽度信息；
根据所述预测边界框的信息以及真实框的高度以及宽度确定所述待检测图像的预测结果。
可选的，所述提取模块具体用于：
获取多个样本图谱数据，将所述多个样本图谱输入至初始检测模型；
所述初始检测模型对各样本图谱数据进行特征提取以及预测，得到所述各样本图谱数据的预测结果；
根据所述各样本图谱数据的预测结果确定所述初始检测模型的损失信息；
根据所述初始检测模型的损失信息对所述初始检测模型进行迭代优化，得到所述目标检测模型。
第三方面，本申请实施例还提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的程序指令，当应用程序运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述程序指令，以执行上述第一方面所述的道路病害检测方法的步骤。
第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被读取并执行上述第一方面所述的道路病害检测方法的步骤。
本申请的有益效果是：
本申请提供的一种道路病害检测方法、装置、电子设备及存储介质，通过在原始的YOLOv5神经网络结构中增加一组小的目标检测预测头，使得目标检测模型能够提取到待检测图像的第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图，且该四个目标特征图表征的是不同粒度的特征，可以使得根据目标检测模型得到的目标特征图可以检测到小目标的特征，缓解剧烈的目标尺度变化带来的影响，提高了对小目标物体的检测性能，使得到的目标特征更全面；并根据该四个目标特征图得到的待检测图像的预测结果更精确。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种示例性场景示意图；
图2为本申请实施例提供的一种服务器的架构示意图；
图3为本申请实施例提供的一种道路病害检测方法的完整流程示意图；
图4为本申请实施例提供的一种目标检测模型的结构示意图；
图5为本申请实施例提供的一种特征提取模块的结构示意图；
图6为本申请实施例提供的一种注意力机制模块的结构示意图；
图7为本申请实施例提供的一种道路病害检测方法的整体流程框架图；
图8为本申请实施例提供的一种道路病害检测方法的装置示意图；
图9为本申请实施例提供的一种电子设备的结构框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
随着地质雷达装备的持续更新，技术不断提高，三维探地雷达法因其高效率、高精度、高分辨率的特点，成为城市道路塌陷隐患应急性探测和普查性探测的首选技术方法和装备，但采集到的探测数据量达到TB级别，海量的雷达图谱数据仍然主要依靠人工判读，效率低；不同人员的判读标准不统一，隐患判定的准确性不稳定，易出现错判和漏判；筛查道路空洞等病害的智能识别***几乎处于空白。
目前，针对道路病害(空洞)检测智能识别技术的研究相对较少，不少研究是针对高速公路的路面裂缝的检测，二者在检测方法存在相似之处，但是浅层地下空间道路病害特征更为复杂，病害类型和雷达图谱数据表象存在“同病异像”、“同像异病”的现象。目前主流的目标检测算法分为两类，一类是Fast R-CNN和Faster R-CNN为代表的两阶段检测算法，另一类是以 SSD和YOLO为代表的单阶段检测算法。其中，两阶段算法模型体积较大，训练时间长，检测速度不高；单阶段算法模型体积较小，对小目标的检测性能有待提升。
本申请提供了一种对YOLO v5模型结构进行改进后得到改进后的检测模型，具体的，在原始的YOLO v5模型结构中增加了微小目标的预测头，引入了注意力机制结构，以及对模型的损失函数进行优化，提高了检测模型的检测精度以及效率。
图1为本申请实施例提供的一种示例性场景示意图，如图1所示，该方法应用于服务器，服务器与终端设备进行通信连接，其中终端设备可以是台式电脑、笔记本电脑、手机、平板电脑等电子设备。终端设备向服务器发送检测服务请求，服务器根据接收到的检测服务请求利用本申请实施例的方法进行检测，得到检测结果。
图2为本申请实施例提供的一种服务器的架构示意图，如图2所示，该服务器中包括数据库模块、模型运行模块以及服务模块。
可选的，数据库模块(Data-base)中包括模型库(models)、应用数据库(app-data)、日志数据存储库(logs)，其中，模型库是用来存储不同检测应用的算法模型；应用数据库是用来存储需要检测的图谱图像数据；日志数据存储库是用来存储***运行时的日志记录。
可选的，模型运行模块(model-runtime)可以支持多种语言方式，例如 C++、Python、Go等编程语言。
可选的，服务模块(API-server)可以用来部署多个应用服务，并且启动某一个应用服务来检测需要检测的图谱图像数据；当应用服务启动时，可以与模型运行模块进行通信，将检测的结果输入至数据库模块中进行保存。
图3为本申请实施例提供的一种道路病害检测方法的流程示意图，该方法的执行主体如前述的服务器。如图3所示，该方法包括：
S101、接收终端设备发送的待检测图像。
可选的，当服务器与终端设备建立通信连接后，终端设备可以向服务器发送检测图像请求，服务器接收终端设备发送的待检测图像，其中，该待检测图像可以为预先存储在终端设备数据库中的待检测图像，也可以为终端设备实时采集的一张图像。
可选的，该待检测图像为一张道路病害图像，可以使用三维地质雷达对实际的地理道路进行探测采集到的道路病害图像数据，一般的道路病害类型有空洞、脱空、富水、疏松等。
S102、将待检测图像输入预先训练得到的目标检测模型，在目标检测模型中提取待检测图像对应的第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图，并根据第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图得到待检测图像的预测结果。
可选的，服务器可以根据接收到的检测图像请求，使用预先在服务器安装的目标检测模型对待检测图像进行检测。其中，该目标检测模型为基于 YOLOv5神经网络模型改进的，在原始的YOLOv5神经网络模型中增加了一个用于微小目标特征检测的预测头，其次引入了CBAM注意力机制，使用C3-CBAM结构代替原始的C3结构，则，图4为本申请实施例提供的一种目标检测模型的结构示意图，如图4中所示，图中包括特征提取子网络、特征融合子网络，原始的YOLOv5神经网络结构的输出只有输出层2、3、 4层，其中，2、3、4层为原始YOLOv5神经网络的三个预测头；而本申请中的目标检测模型输出层包括1、2、3、4层，其中第一层输出为本申请增加的一组微小目标的预测头，使得目标检测模型可以结合原始的3个预测头在4种尺度上预测待检测图像的边界框，可以缓解剧烈的目标尺度变化带来的影响，对微小物体的检测更精确，提升了对微小目标的检测性能；另外，图4中使用C3CBAM结构替代了原始的YOLOv5神经网络结构中的 C3结构，使得在特征提取时可以根据通道和空间两个独立维度依次推断出注意力映射，使提取到的特征更细化。
可选的，服务器将待检测图像输入至预先训练得到的目标检测模型，在该目标检测模型中对待检测图像进行特征提取得到第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图，其中，第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图分别是目标检测模型中的四个不同尺度的预测头输出的特征图；第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图分别用于表征一种粒度的特征，且第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图对应的粒度依次***，其中，粒度指示的是要提取的特征图的像素尺寸大小，也就是说每一个目标特征图是在不同的粒度大小情况下提取的该粒度大小的图像的目标特征图；第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图对应的粒度依次***，也就是说第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图得到的目标特征对应的目标依次变的越来越大，例如，第一目标特征图可以得到的是微小目标的特征，第二目标特征图得到的为正常大小目标的特征，第三目标特征图得到的为较大目标的特征，第四目标特征图得到的为更大目标的特征。
示例性的，若待检测图像的尺寸大小为640×640像素大小的图像，则通过目标检测模型的特征提取得到的第一目标特征图的尺寸大小为 160×160，第二目标特征图的尺寸大小为80×80，第三目标特征图的尺寸大小为40×40，第四目标特征图的尺寸大小为20×20，其中，第一目标特征图的分辨率最高，所得到的目标特征越清晰，可以提升小目标的检测效果。
可选的，根据第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图得到待检测图像的预测结果，其中，该预测结果用于指示待检测图像对应的道路的病害信息，例如病害的类型。
本实施例中，通过在原始的YOLOv5神经网络结构中增加一组小的目标检测预测头，使得目标检测模型能够提取到待检测图像的第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图，且该四个目标特征图表征的是不同粒度的特征，可以使得根据目标检测模型得到的目标特征图可以检测到小目标的特征，缓解剧烈的目标尺度变化带来的影响，提高了对小目标物体的检测性能，使得到的目标特征更全面；并根据该四个目标特征图得到的待检测图像的预测结果更精确。
可选的，上述S102中在目标检测模型中提取待检测图像对应的第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图，并根据第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图得到待检测图像的预测结果，可以包括：
可选的，将待检测图像输入至目标检测模型的特征提取子网络中，得到第一中间特征图、第二中间特征图、第三中间特征图以及第四中间特征图，其中，目标检测模型的特征提取子网络中用于对待检测图像中的目标进行特征提取。
可选的，第一中间特征图、第二中间特征图、第三中间特征图以及第四中间特征图的尺寸大小不同，且像素尺寸大小越来越小，提取的目标越来越大。
可选的，将第一中间特征图、第二中间特征图、第三中间特征图以及第四中间特征图输入至目标检测模型的特征融合子网络中，得到第一目标特征图，第二目标特征图、第三目标特征图以及第四目标特征图，在特征融合子网络中对这四种尺寸大小的特征图进行特征融合，也就是说对第一中间特征图、第二中间特征图、第三中间特征图以及第四中间特征图进行特征混合和组合得到目标特征图。
可选的，将第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图输入目标检测模型的检测子网络中，通过目标检测模型的检测子网络对第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图进行检测，得到待检测图像的预测结果。
可选的，上述将待检测图像输入至目标检测模型的特征提取子网络中，得到第一中间特征图、第二中间特征图、第三中间特征图以及第四中间特征图，可以包括：
可选的，将待检测图像输入至目标检测模型的特征提取子网络中的第一标准卷积模块，由第一标准卷积模块以及与第一标准卷积模块连接的第一特征提取模块进行特征提取，得到第一中间特征图。其中，标准卷积模块 (CBS)是目标检测模型中的一个基础模块，由卷积层(conv)、归一化层 (Bath Normalization简称BN)以及silu激活函数组成。在第一标准卷积模块之前，还需输入至第零标准卷积模块，则待检测图像依次输入至第零标准卷积模块、第一标准卷积模块以及第一特征提取模块得到第一中间特征图。
可选的，将第一中间特征图输入至特征提取子网络中的第二标准卷积模块，由所述第二标准卷积模块以及与所述第二标准卷积模块连接的第二特征提取模块进行特征提取，得到第二中间特征图。
可选的，将第二中间特征图输入至特征提取子网络中第三标准卷积模块，由第三标准卷积模块以及与第三标准卷积模块连接的第三特征提取模块进行特征提取，得到第三中间特征图。
可选的，将第三中间特征图输入至特征提取子网络中第四标准卷积模块，由第四标准卷积模块以及与第四标准卷积模块连接的第四特征提取模块进行特征提取，得到第四中间特征图，其中，经过第四特征提取模块输出的特征图还需输入至池化层，得到第四中间特征图。
本实施例中，通过逐层对待检测图像进行特征提取，可以使得到的特征图更全面。
可选的，上述将第一中间特征图、第二中间特征图、第三中间特征图以及第四中间特征图输入目标检测模型的特征融合子网络中，得到第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图，可以包括：
可选的，上述图4中的目标检测模型的结构具体为：第零CBS模块-第一CBS模块-第一C3CBAM模块-第二CBS模块-第二C3CBAM模块-第三 CBS模块-第三C3CBAM模块-第四CBS模块-第四C3CBAM模块-第一 SPFF模块-第五CBS模块-第一upsample层-第一合并层-第九C3CBAM模块-第六CBS模块-第二upsample层-第二合并层-第十C3CBAM模块-第七 CBS模块-第三upsample层-第三合并层-第五C3CBAM模块-第八CBS模块-第四合并层-第六C3CBAM模块-第九CBS模块-第五合并层-第七 C3CBAM模块-第十CBS模块-第六合并层-第八C3CBAM模块。
其中，CBS模块为标准卷积模块，C3CBAM模块为特征提取模块。
可选的，在特征融合子网络中，根据第一中间特征图、第二中间特征图、第三中间特征图、第四中间特征图得到第一合并输出特征图，并将第一合并输出特征图输入至特征融合子网络的第五特征提取模块中，由第五特征提取模块以及与第五特征提取模块连接的第一卷积层进行特征融合，得到第一目标特征图。
具体地，将第四中间特征图依次输入第五CBS模块-第一upsample层- 第一合并层-第九C3CBAM模块-第六CBS模块-第二upsample层-第二合并层-第十C3CBAM模块-第七CBS模块-第三upsample层-第三合并层；将第三中间特征图依次输入至第一合并层-第九C3CBAM模块-第六CBS模块- 第二upsample层-第二合并层-第十C3CBAM模块-第七CBS模块-第三upsample层-第三合并层；将第二中间特征图依次输入至第二合并层-第十 C3CBAM模块-第七CBS模块-第三upsample层-第三合并层，在第三合并层中根据输入的第一中间特征图、第二中间特征图、第三中间特征图、第四中间特征图得到第三合并层的第一合并输出特征图，并将第一合并输出特征图输入至特征融合子网络的第五特征提取模块，由所述第五特征提取模块以及与第五特征提取模块连接的第一卷积层进行特征融合，得到第一目标特征图。
可选的，根据第二中间特征图以及第三中间特征图、第四中间特征图得到第二合并输出特征图，并根据第二合并输出特征图以及第一合并输出特征图得到第三合并输出特征图，将第三合并输出特征图输入至特征融合子网络的第六特征提取模块中，由第六特征提取模块以及与第六特征提取模块连接的第二卷积层进行特征融合，得到第二目标特征图。
具体地，将第四中间特征图依次输入至第五CBS模块-第一upsample 层-第一合并层-第九C3CBAM模块-第六CBS模块-第二upsample层-第二合并层；将第三中间特征图依次输入至第一合并层-第九C3CBAM模块-第六CBS模块-第二upsample层-第二合并层，以及将第二中间特征图输入至第二合并层，在第二合并层中根据输入的第二中间特征图以及第三中间特征图、第四中间特征图得到第二合并输出图，将第二合并输出图依次输入至第十C3CBAM模块-第七CBS模块-第四合并层；将第一合并输出图依次输入至第五C3CBAM模块-第八CBS模块-第四合并层；得到第四合并层的第三合并输出图，将该第三合并输出图输入至第六C3CBAM模块中，由第六 C3CBAM模块以及与第六C3CBAM模块连接的第二卷积层进行特征融合，得到第二目标特征图。
可选的，根据第三中间特征图以及第四中间特征图得到第四合并输出特征图，并根据第四合并输出特征图以及第三合并输出特征图得到第五合并输出特征图，将第五合并输出特征图输入至特征融合子网络的第七特征提取模块中，由第七特征提取模块以及与第七特征提取模块连接的第三卷积层进行特征融合，得到第三目标特征图。
具体地，将第四中间特征图依次输入第五CBS模块-第一upsample层- 第一合并层；将第三中间特征图输入至第一合并层，得到第一合并层的第四合并输出特征图；将第四合并输出特征图依次输入至第九C3CBAM模块- 第六CBS模块-第五合并层；将第三合并输出特征图依次输入至第六 C3CBAM模块-第九CBS模块-第五合并层；得到第五合并层的第五合并输出特征图，将第五合并输出特征图依次输入至第七C3CBAM模块-第三卷积层，得到第三目标特征图。
可选的，根据第五合并输出特征图以及第四中间特征图，得到第六合并输出特征图，并将第六合并输出特征图输入至特征融合子网络的第八特征提取模块中，由第八特征提取模块以及与第八特征提取模块连接的第四卷积层进行特征融合，得到第四目标特征图。
具体地，将第四中间特征图依次输入至第五CBS模块-第六合并层；将第五合并输出图依次输入至第七C3CBAM模块-第十CBS模块-第六合并层；得到第六合并层的第六合并输出特征图，并将第六合并输出特征图输入至特征融合子网络的第八特征提取模块中，由第八特征提取模块以及与第八特征提取模块连接的第四卷积层进行特征融合，得到第四目标特征图。
本实施例中，特征融合子网络的结构采用特征金字塔结构和路径聚合网络的结构，可以加强网络对不同缩放尺度对象特征融合的能力，特征金字塔结构主要是通过融合高低层特征提升对小目标物体的检测效果，在特征金字塔结构和路径聚合网络的结构的基础上增加了紫霞向上方向的路径，使低层的特征能够传递到高层中，两者结合可以对不同层的特征进行融合，可以提高对密集目标的检测性能。
可选的，各特征提取模块分别包括依次连接的第一卷积模块、第二卷积模块、注意力机制模块、合并模块以及第三卷积模块，其中，注意力机制模块包括依次连接的第四卷积模块、第五卷积模块、通道注意力模块以及空间注意力模块。图5为本申请实施例提供的一种特征提取模块的结构示意图，将注意力机制结构(CBAM)与C3结构结合，其中C3的结构中包括第一卷积模块(CBS)、第二卷积模块(CBS)、合并模块(concat)以及第三卷积模块(CBS)，其中，各卷积模块和上述中的标准卷积模块的结构一样，由卷积层(conv)、归一化层(Bath Normalization简称BN)以及silu激活函数组成，简称CBS模块；图6为本申请实施例提供的一种注意力机制模块的结构示意图，该注意力机制模块包括依次连接的第四卷积模块(CBS)、第五卷积模块(CBS)、通道注意力模块以及空间注意力模块。
可选的，注意力机制结构(Convolutional Block Attention Module，简称CBAM)由两个模块构成，分别为通道注意力(CAM)和空间注意力模块 (SAM)，CAM可以使网络关注图像的前景，使网络更加关注有意义的区域，而SAM可以让网络关注到整张图片中富含上下文信息的位置。
本申请实施例中，通过将注意力机制结构(CBAM)与C3结构结合，使得在特征提取过程中，可以沿着通道以及空间两个独立维度依次推断注意力映射，将注意力映射与输入的特征映射相乘，可以执行自适应特征细化，提高检测结果。
可选的，上述将第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图输入目标检测模型的检测子网络中，得到待检测图像的预测结果，可以包括：
可选的，在检测子网络中，对所述第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图进行融合，得到融合后的目标特征图，其中，融合后的目标特征图包括多个检测框，且该多个检测框指示的是道路病害类型以及道路病害的位置信息。
可选的，对融合后的目标特征图可以利用非极大值抑制算法(Nom- maximumsuppression，NMS)进行处理，根据融合后的目标特征图中的多个检测框的得分对多个检测框进行消除处理，筛选出得分最高的检测框作为待检测图像的预测结果，例如红色检测框可以表示空洞、紫色检测框可以表示疏松、褐色检测框可以表示富水等，检测框还可以包括该检测框的位置信息，也就是道路病害的地理坐标信息。
可选的，该方法还可以包括：
可选的，获取多个样本图谱数据，将多个样本图谱输入至初始检测模型，其中，该初始检测模型为上述目标检测模型优化前的初始检测模型。初始检测模型对各样本图谱数据进行特征提取以及预测，得到各样本图谱数据的预测结果，具体地特征提取以及预测过程如上述具体实施例中的特征提取以及预测过程，此处不作赘述。
可选的，根据各样本图谱数据的预测结果确定初始检测模型的损失信息，根据初始检测模型的损失信息对初始检测模型进行迭代优化，得到目标检测模型，其中，该损失信息可以为检测模型的损失函数，可以使用各样本图谱数据随机梯度下降法对初始检测模型的损失信息进行优化，当达到收敛条件时，将达到收敛条件时的初始检测模型作为目标检测模型。其中，收敛条件可以为得到的初始检测模型是最优化的或者预设迭代优化次数，当达到预设的迭代优化次数时，将最后一次优化时的初始检测模型作为目标检测模型。
可选的，在目标检测模型训练过程中，在检测子网络中，分别对第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图进行预测，各目标特征图对应的预测边界框的信息，其中，预测边界框的信息包括：预测边界框的位置信息、高度以及宽度信息。
根据各目标特征图对应的预测边界框的信息以及真实框的高度以及宽度对目标检测模型的损失结果进行优化，在优化过程中，可以根据多个样本图谱数据得到各样本图谱数据的第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图，通过各样本图谱数据的第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图对目标检测模型的损失结果进行迭代优化，当达到收敛条件时，将达到收敛条件时的损失结果作为目标检测模型的损失结果。
具体地，可以根据如下公式进行计算。
Figure BDA0003858535820000181
其中，ρ(bp，bg)为预测框和真实框中心点的欧式距离，ρ(wp，wg)和ρ(hp，hg)为预测边界框和真实框的宽的差值以及高的差值，Cw为预测框和真实框闭合包的宽，Ch为预测框和真实框闭合包的高，
Figure BDA0003858535820000191
其中A 为真实框的面积，B为预测边界框的面积，计算的是预测边界框和真实框的交集和并集的比值。
根据上述得到的目标检测模型的损失函数为lfocal-EIOU＝IoUγlEIou，其中γ为控制异常值抑制程度的参数。
上述公式是在CIoU的基础上将纵横比拆开，将纵横比的损失项拆分成预测框与真实框的宽和高的差值，因此CIoU反应的是纵横比的差异，并不是边界框的宽高的真实差异，有时会阻碍模型有效的优化相似性，因此，将纵横比的损失项拆分成预测框与真实框的宽和高的差值，加速了收敛提高了回归精度，使得在检测回归过程中可以专注与高质量的预测框。图7为本申请实施例提供的一种道路病害检测方法的整体流程框架图，如图7所示，图7中的识别算法为初始检测模型中的算法，对初始检测模型使用从测试样本数据中的病害样本数据集进行训练，得到目标检测模型，通过对目标检测模型进行评估，评估通过时将目标检测模型导出来，进行部署，从而发布安装至服务器。
其中，服务器接收到终端设备的连接请求以及检测图像请求后，启动服务器中的目标检测模型，使用目标检测模型对待检测图像进行检测，在对待检测图像进行检测之前，需要将待检测图像进行切割分块处理，每一个分割后的图像都包含各自对应的标识，使用目标检测模型对各分割后的图像分别进行检测并得到各分割后的图像的预测结果后，根据各分割后的图像的标识将各分割后的图像进行拼接还原，得到待检测图像的预测结果，并将待检测图像的预测结果返回至终端设备，终端设备对接收到的待检测图像的预测结果进行保存。
图8为本申请实施例提供的一种道路病害检测方法的装置示意图，如图8所示，该装置包括：
接收模块201，用于接收终端设备发送的待检测图像；
提取模块202，用于将所述待检测图像输入预先训练得到的目标检测模型，在所述目标检测模型中提取所述待检测图像对应的第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图，并根据所述第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图得到所述待检测图像的预测结果，所述预测结果用于指示所述待检测图像对应的道路的病害信息，其中，所述第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图分别为所述目标检测模型中的四个不同尺度的预测头输出的特征图，所述第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图分别用于表征一种粒度的特征，且所述第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图对应的粒度依次***。
可选的，提取模块202具体用于：
将所述待检测图像输入所述目标检测模型的特征提取子网络中，得到第一中间特征图、第二中间特征图、第三中间特征图以及第四中间特征图；
将第一中间特征图、第二中间特征图、第三中间特征图以及第四中间特征图输入所述目标检测模型的特征融合子网络中，得到所述第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图；
将所述第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图输入所述目标检测模型的检测子网络中，得到所述待检测图像的预测结果。
可选的，提取模块202具体用于：
将所述待检测图像输入至所述目标检测模型的特征提取子网络中的第一标准卷积模块，由所述第一标准卷积模块以及与所述第一标准卷积模块连接的第一特征提取模块进行特征提取，得到所述第一中间特征图；
将所述第一中间特征图输入至特征提取子网络中的第二标准卷积模块，由所述第二标准卷积模块以及与所述第二标准卷积模块连接的第二特征提取模块进行特征提取，得到所述第二中间特征图；
将所述第二中间特征图输入至特征提取子网络中第三标准卷积模块，由所述第三标准卷积模块以及与所述第三标准卷积模块连接的第三特征提取模块进行特征提取，得到所述第三中间特征图；
将所述第三中间特征图输入至特征提取子网络中第四标准卷积模块，由所述第四标准卷积模块以及与所述第四标准卷积模块连接的第四特征提取模块进行特征提取，得到所述第四中间特征图。
可选的，提取模块202具体用于：
在所述特征融合子网络中，根据所述第一中间特征图、所述第二中间特征图、所述第三中间特征图、所述第四中间特征图得到第一合并输出特征图，并将所述第一合并输出特征图输入至所述特征融合子网络的第五特征提取模块中，由所述第五特征提取模块以及与所述第五特征提取模块连接的第一卷积层进行特征融合，得到第一目标特征图；
根据所述第二中间特征图以及所述第三中间特征图、所述第四中间特征图得到第二合并输出特征图，并根据所述第二合并输出特征图以及第一合并输出特征图得到第三合并输出特征图，将所述第三合并输出特征图输入至所述特征融合子网络的第六特征提取模块中，由所述第六特征提取模块以及与所述第六特征提取模块连接的第二卷积层进行特征融合，得到第二目标特征图；
根据所述第三中间特征图以及所述第四中间特征图得到第四合并输出特征图，并根据所述第四合并输出特征图以及所述第三合并输出特征图得到第五合并输出特征图，将所述第五合并输出特征图输入至所述特征融合子网络的第七特征提取模块中，由所述第七特征提取模块以及与所述第七特征提取模块连接的第三卷积层进行特征融合，得到第三目标特征图；
根据所述第五合并输出特征图以及所述第四中间特征图，得到第六合并输出特征图，并将所述第六合并输出特征图输入至所述特征融合子网络的第八特征提取模块中，由所述第八特征提取模块以及与所述第八特征提取模块连接的第四卷积层进行特征融合，得到第四目标特征图。
可选的，各特征提取模块分别包括依次连接的第一卷积模块、第二卷积模块、注意力机制模块、合并模块以及第三卷积模块；
所述注意力机制模块包括依次连接的第四卷积模块、第五卷积模块、通道注意力模块以及空间注意力模块。
可选的，提取模块202具体用于：
在所述检测子网络中，对所述第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图进行融合，得到融合后的目标特征图，并对所述融合后的目标特征图进行预测，得到预测边界框的信息，所述预测边界框的信息包括：预测边界框的位置信息、高度以及宽度信息；
根据所述预测边界框的信息以及真实框的高度以及宽度确定所述待检测图像的预测结果。
可选的，提取模块202具体用于：
获取多个样本图谱数据，将所述多个样本图谱输入至初始检测模型；
所述初始检测模型对各样本图谱数据进行特征提取以及预测，得到所述各样本图谱数据的预测结果；
根据所述各样本图谱数据的预测结果确定所述初始检测模型的损失信息；
根据所述初始检测模型的损失信息对所述初始检测模型进行迭代优化，得到所述目标检测模型。
图9为本申请实施例提供的一种电子设备300的结构框图，如图9所示，该电子设备可包括：处理器301、存储器302。
可选的，还可以包括总线303，其中，所述存储器302用于存储有所述处理器301可执行的机器可读指令，当电子设备300运行时，所述处理器 301与所述存储器302存储之间通过总线303通信，所述机器可读指令被所述处理器301执行时执行上述方法实施例中的方法步骤。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述道路病害检测方法实施例中的方法步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read- Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种道路病害检测方法，其特征在于，应用于服务器，所述服务器与终端设备通信连接，所述方法包括：
接收终端设备发送的待检测图像；
将所述待检测图像输入预先训练得到的目标检测模型，在所述目标检测模型中提取所述待检测图像对应的第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图，并根据所述第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图得到所述待检测图像的预测结果，所述预测结果用于指示所述待检测图像对应的道路的病害信息，其中，所述第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图分别为所述目标检测模型中的四个不同尺度的预测头输出的特征图，所述第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图分别用于表征一种粒度的特征，且所述第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图对应的粒度依次***。
2.根据权利要求1所述的道路病害检测方法，其特征在于，所述在所述目标检测模型中提取所述待检测图像对应的第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图，并根据所述第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图得到所述待检测图像的预测结果，包括：
将所述待检测图像输入所述目标检测模型的特征提取子网络中，得到第一中间特征图、第二中间特征图、第三中间特征图以及第四中间特征图；
将第一中间特征图、第二中间特征图、第三中间特征图以及第四中间特征图输入所述目标检测模型的特征融合子网络中，得到所述第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图；
将所述第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图输入所述目标检测模型的检测子网络中，得到所述待检测图像的预测结果。
3.根据权利要求2所述的道路病害检测方法，其特征在于，所述将所述待检测图像输入所述目标检测模型的特征提取子网络中，得到第一中间特征图、第二中间特征图、第三中间特征图以及第四中间特征图，包括：
将所述待检测图像输入至所述目标检测模型的特征提取子网络中的第一标准卷积模块，由所述第一标准卷积模块以及与所述第一标准卷积模块连接的第一特征提取模块进行特征提取，得到所述第一中间特征图；
将所述第一中间特征图输入至特征提取子网络中的第二标准卷积模块，由所述第二标准卷积模块以及与所述第二标准卷积模块连接的第二特征提取模块进行特征提取，得到所述第二中间特征图；
将所述第二中间特征图输入至特征提取子网络中第三标准卷积模块，由所述第三标准卷积模块以及与所述第三标准卷积模块连接的第三特征提取模块进行特征提取，得到所述第三中间特征图；
将所述第三中间特征图输入至特征提取子网络中第四标准卷积模块，由所述第四标准卷积模块以及与所述第四标准卷积模块连接的第四特征提取模块进行特征提取，得到所述第四中间特征图。
4.根据权利要求2所述的道路病害检测方法，其特征在于，所述将第一中间特征图、第二中间特征图、第三中间特征图以及第四中间特征图输入所述目标检测模型的特征融合子网络中，得到所述第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图，包括：
在所述特征融合子网络中，根据所述第一中间特征图、所述第二中间特征图、所述第三中间特征图、所述第四中间特征图得到第一合并输出特征图，并将所述第一合并输出特征图输入至所述特征融合子网络的第五特征提取模块中，由所述第五特征提取模块以及与所述第五特征提取模块连接的第一卷积层进行特征融合，得到第一目标特征图；
根据所述第二中间特征图以及所述第三中间特征图、所述第四中间特征图得到第二合并输出特征图，并根据所述第二合并输出特征图以及第一合并输出特征图得到第三合并输出特征图，将所述第三合并输出特征图输入至所述特征融合子网络的第六特征提取模块中，由所述第六特征提取模块以及与所述第六特征提取模块连接的第二卷积层进行特征融合，得到第二目标特征图；
根据所述第三中间特征图以及所述第四中间特征图得到第四合并输出特征图，并根据所述第四合并输出特征图以及所述第三合并输出特征图得到第五合并输出特征图，将所述第五合并输出特征图输入至所述特征融合子网络的第七特征提取模块中，由所述第七特征提取模块以及与所述第七特征提取模块连接的第三卷积层进行特征融合，得到第三目标特征图；
根据所述第五合并输出特征图以及所述第四中间特征图，得到第六合并输出特征图，并将所述第六合并输出特征图输入至所述特征融合子网络的第八特征提取模块中，由所述第八特征提取模块以及与所述第八特征提取模块连接的第四卷积层进行特征融合，得到第四目标特征图。
5.根据权利要求3所述的道路病害检测方法，其特征在于，各特征提取模块分别包括依次连接的第一卷积模块、第二卷积模块、注意力机制模块、合并模块以及第三卷积模块；
所述注意力机制模块包括依次连接的第四卷积模块、第五卷积模块、通道注意力模块以及空间注意力模块。
6.根据权利要求2所述的道路病害检测方法，其特征在于，所述将所述第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图输入所述目标检测模型的检测子网络中，得到所述待检测图像的预测结果，包括：
在所述检测子网络中，对所述第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图进行融合，得到融合后的目标特征图，所述融合后的目标特征图包括多个检测框，检测框指示的是道路病害的类型以及道路病害的位置信息；
根据所述融合后的目标特征图中的多个检测框的得分度所述多个检测框进行筛选，将得分最高的检测框作为待检测图像的预测结果。
7.根据权利要求1-6任一项所述的道路病害检测方法，其特征在于，还包括：
获取多个样本图谱数据，将所述多个样本图谱输入至初始检测模型；
所述初始检测模型对各样本图谱数据进行特征提取以及预测，得到所述各样本图谱数据的预测结果；
根据所述各样本图谱数据的预测结果确定所述初始检测模型的损失信息；
根据所述初始检测模型的损失信息对所述初始检测模型进行迭代优化，得到所述目标检测模型。
8.一种道路病害检测装置，其特征在于，包括：
接收模块，用于接收终端设备发送的待检测图像；
提取模块，用于将所述待检测图像输入预先训练得到的目标检测模型，在所述目标检测模型中提取所述待检测图像对应的第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图，并根据所述第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图得到所述待检测图像的预测结果，所述预测结果用于指示所述待检测图像对应的道路的病害信息，其中，所述第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图分别用于表征一种粒度的特征，且所述第一目标特征图、第二目标特征图、第三目标特征图以及第四目标特征图对应的粒度依次***。
9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时实现上述权利要求1-7任一项所述的道路病害检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1-7任一项所述的道路病害检测方法的步骤。
CN202211158865.1A 2022-09-22 2022-09-22 道路病害检测方法、装置、电子设备及存储介质 Pending CN115439750A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211158865.1A CN115439750A (zh) 2022-09-22 2022-09-22 道路病害检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211158865.1A CN115439750A (zh) 2022-09-22 2022-09-22 道路病害检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115439750A true CN115439750A (zh) 2022-12-06

Family

ID=84249774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211158865.1A Pending CN115439750A (zh) 2022-09-22 2022-09-22 道路病害检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115439750A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758467A (zh) * 2023-05-05 2023-09-15 广州白云国际机场建设发展有限公司 一种民航安防设备领域的监控报警方法及装置
CN117078235A (zh) * 2023-10-17 2023-11-17 深圳市城市交通规划设计研究中心股份有限公司 全面评估的路网养护维修方法、电子设备及存储介质
CN117237448A (zh) * 2023-08-11 2023-12-15 北京交通大学 一种基于机器视觉的列车融合定位方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758467A (zh) * 2023-05-05 2023-09-15 广州白云国际机场建设发展有限公司 一种民航安防设备领域的监控报警方法及装置
CN117237448A (zh) * 2023-08-11 2023-12-15 北京交通大学 一种基于机器视觉的列车融合定位方法及装置
CN117078235A (zh) * 2023-10-17 2023-11-17 深圳市城市交通规划设计研究中心股份有限公司 全面评估的路网养护维修方法、电子设备及存储介质
CN117078235B (zh) * 2023-10-17 2024-03-26 深圳市城市交通规划设计研究中心股份有限公司 全面评估的路网养护维修方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US20210319561A1 (en) Image segmentation method and system for pavement disease based on deep learning
CN110084095B (zh) 车道线检测方法、车道线检测装置和计算机存储介质
CN115439750A (zh) 道路病害检测方法、装置、电子设备及存储介质
WO2019170012A1 (zh) 车道线数据处理方法、装置、计算机设备和存储介质
CN113033604B (zh) 一种基于SF-YOLOv4网络模型的车辆检测方法、***及存储介质
CN110163213B (zh) 基于视差图和多尺度深度网络模型的遥感图像分割方法
CN108776772A (zh) 一种跨时间建筑物变化检测建模方法以及检测装置、方法及存储介质
CN110675408A (zh) 基于深度学习的高分辨率影像建筑物提取方法及***
CN110798805B (zh) 基于gps轨迹的数据处理方法、装置及存储介质
CN111523439B (zh) 一种基于深度学习的目标检测的方法、***、设备及介质
CN109740410A (zh) 一种无需预设模板的列车组故障识别方法及装置
CN113255580A (zh) 抛洒物识别、车辆抛洒滴漏识别方法和装置
CN114639102B (zh) 基于关键点与尺寸回归的细胞分割方法和装置
Khatriker et al. Building footprint extraction from high resolution satellite imagery using segmentation
Buza et al. Unsupervised method for detection of high severity distresses on asphalt pavements
CN116597411A (zh) 极端天气下无人驾驶车辆识别交通标志的方法及***
Wang et al. Instance segmentation of soft‐story buildings from street‐view images with semiautomatic annotation
CN113870196A (zh) 一种基于锚点切图的图像处理方法、装置、设备和介质
CN114882490B (zh) 一种基于点引导定位的无受限场景车牌检测分类方法
CN110135382A (zh) 一种人体检测方法和装置
CN115880580A (zh) 一种云层影响下的光学遥感影像道路信息智能提取方法
Eftelioglu et al. Ring-net: road inference from gps trajectories using a deep segmentation network
CN113514053B (zh) 生成样本图像对的方法、装置和更新高精地图的方法
CN111738324B (zh) 一种基于分频卷积的多频率和多尺度融合的自动化裂缝检测方法
CN114140707A (zh) 一种电网故障巡检方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination