CN117670855A - 基于RoadU-Net的沥青路面病害智能识别及分类方法 - Google Patents
基于RoadU-Net的沥青路面病害智能识别及分类方法 Download PDFInfo
- Publication number
- CN117670855A CN117670855A CN202311735898.2A CN202311735898A CN117670855A CN 117670855 A CN117670855 A CN 117670855A CN 202311735898 A CN202311735898 A CN 202311735898A CN 117670855 A CN117670855 A CN 117670855A
- Authority
- CN
- China
- Prior art keywords
- roadu
- image
- crack
- diseases
- net
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 201000010099 disease Diseases 0.000 title claims abstract description 93
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 93
- 239000010426 asphalt Substances 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 36
- 230000006870 function Effects 0.000 claims abstract description 23
- 238000013136 deep learning model Methods 0.000 claims abstract description 22
- 238000012795 verification Methods 0.000 claims abstract description 21
- 230000008439 repair process Effects 0.000 claims abstract description 16
- 238000011158 quantitative evaluation Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000000926 separation method Methods 0.000 claims abstract description 7
- 239000003086 colorant Substances 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000012937 correction Methods 0.000 claims description 6
- 230000007797 corrosion Effects 0.000 claims description 6
- 238000005260 corrosion Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 238000007635 classification algorithm Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 230000003902 lesion Effects 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明的基于RoadU‑Net的沥青路面病害智能识别及分类方法，包括：为路面图像中的裂缝类病害、条状修补和路面标线标注对应的颜色，用标注好的图像构成训练集和验证集；对图像进行预处理；设置损失函数、优化器、超参数，构建RoadU‑Net深度学习模型，将训练集样本作为输入，完成模型训练；将路面图像经预处理后投入到训练好的RoadU‑Net深度学习模型中，进行沥青路面病害的识别；将每个通道的预测结果均视为二值图像，针对裂缝类病害，利用连通域分离函数提取二值图像中的连通域；当两连通域的外接矩形属于交叉或包含关系时，将两个外接矩形融合成一个矩形；将处理后的图像中的裂缝类病害分类为纵向裂缝、横向裂缝和龟裂；对不同种类的病害进行量化评估。
Description
技术领域
本发明属于沥青路面病害的智能识别及分类技术领域，涉及一种基于RoadU-Net的沥青路面病害智能识别及分类方法。
背景技术
目前沥青路面病害的传统检测方法是定期的进行人工巡查，该方法具有安全性差，主观性强、检测速度慢、精度低等缺点。随着多功能路面检测车的广泛应用，目前绝大多数的公路管养部门可实现在行车速度下采集路面图像，并由人工进行内业处理，提取和统计路面病害。但人工内业工作枯燥、耗时且易于出错。
发明内容
为解决上述技术问题，本发明的目的是提供一种基于RoadU-Net的沥青路面病害智能识别及分类方法。
本发明的一种基于RoadU-Net的沥青路面病害智能识别及分类方法，包括：
步骤1：为路面图像中的裂缝类病害、条状修补和路面标线分别标注对应的颜色，用标注好的图像构成训练集和验证集；
步骤2：对训练集与验证集中的图像进行预处理，重构图像尺寸并调整像素点的像素值；
步骤3：设置损失函数、优化器、超参数，构建RoadU-Net深度学习模型，将训练集样本作为输入，完成模型训练；
步骤4：将路面图像经预处理后投入到训练好的RoadU-Net深度学习模型中，进行沥青路面病害的识别，获得多通道的预测结果；
步骤5：将每个通道的预测结果均视为二值图像，针对裂缝类病害，利用连通域分离函数提取每张二值图像中的连通域，去除连通域像素点数量小于3000的裂缝病害识别结果；
步骤6：判断裂缝病害连通域的位置关系，当两连通域的外接矩形属于交叉或包含关系时，将两个外接矩形融合成一个矩形；
步骤7：采用裂缝类病害分类算法将步骤6处理后的图像中的裂缝类病害分类为纵向裂缝、横向裂缝和龟裂；
步骤8：针对不同种类的裂缝病害及条状修补病害进行量化评估。
进一步的，所述步骤1具体为：
步骤1.1：获取道路检测车采集到的路面图像；
步骤1.2：对每张图像中的识别目标进行人工标注，裂缝类病害标注为红色，条状修补标注为蓝色，路面标线标注为绿色；
步骤1.3：将标注好的图像构成数据库，并从数据库中筛选出图像分别作为训练集与验证集。
进一步的，所述步骤2具体为：
对训练集与验证集中的图像重构图像尺寸至2048×1024，调整图像动态范围，将每一个像素点的像素值均调整至0到1之间。
进一步的，所述步骤3具体为：
步骤3.1：搭建RoadU-Net深度学习模型；
步骤3.2：设置损失函数：采用交叉熵损失函数，具体为：
其中，yi表示该像素的真实类别，pi表示该像素的预测概率，n表示总像素数；
步骤3.3：设置优化器和超参数：采取Adam优化器，设定超参数批大小为4，学习率为1e-3，迭代次数为300，权重衰减、动量初值均采取默认值；
步骤3.4：将训练集作为输入，按照超参数的设置进行RoadU-Net深度学习模型的训练，使用标签张量与网络输出张量按损失函数计算训练误差，优化器利用训练误差进行模型参数更新，并在验证集上验证该轮模型的识别效果，当模型的性能达到稳定状态，即损失函数值和验证集的识别准确率均趋于收敛时，保存在验证集上表现最好的RoadU-Net模型参数。
进一步的，所述步骤3.1中搭建的RoadU-Net深度学习模型具体为：
所述模型的下采样路径采用卷积网络的经典结构，重复地应用两个3×3的卷积核，每个卷积核后跟随一个线性校正单元ReLU和一个2×2的最大池化层，用以提取输入路面图像的特征；所述模型的上采样路径中的每一步都包括：使用两个3×3的卷积核对特征图像进行卷积，每个卷积核后跟随一个线性校正单元ReLU，之后使用一个2×2的反卷积核对特征图像进行反卷积；为获得多尺度的特征，在每次反卷积之后，将反卷积特征层与下采样路径中存储的特征层进行合并，作为下一次反卷积的输入，该操作促进了训练过程中的反向传播损失最小化；在最后一层使用1×1的卷积核将64个分量的特征向量映射到4个通道中，最终输出一个与输入图像尺寸相同，具有4个通道的二值化病害图像。
进一步的，所述步骤4具体为：
将路面图像经预处理后投入到训练好的RoadU-Net深度学习模型中，经过推理得到预测输出，即获得有四个通道的二值图像，第0、1、2、3通道分别为背景、裂缝类病害、条状修补、路面标线的预测结果。
进一步的，所述步骤6具体为：
步骤6.1：判断裂缝病害连通域的位置关系，若为交叉关系，实现连通域的融合，融合后连通域的高与宽计算方法下式所示：
Hmerge＝H1+H2-ΔH
Wmerge＝W1+W2-ΔW
其中，Hmerge为融合矩形的高度，H1为矩形一的高度，H2为矩形二的高度，ΔH为矩形一与矩形二重叠高度值；Wmerge为融合矩形的宽度，W1为矩形一的宽度，W2为矩形二的宽度，ΔW为矩形一与矩形二重叠宽度值；
步骤6.2：若裂缝病害连通域的位置关系为包含关系，实现连通域的融合，融合后连通域的高与宽计算方法如下式所示：
Hmerge＝max(H1,H2)
Wmerge＝max(W1,W2)
步骤6.3：若裂缝病害连通域的位置关系为分离关系，则不做连通域的处理。
进一步的，所述步骤7具体为：
步骤7.1：输入融合后矩形的宽和高，分别为W和H；
步骤7.2：计算宽高比，即：Ratio＝W/H；
步骤7.3：如果Ratio>2.0，且H<0.5，则定义该裂缝为横向裂缝；
步骤7.4：如果Ratio>0.5，且W<0.5，则定义该裂缝为纵向裂缝；
步骤7.5：其它裂缝则均定义为龟裂。
进一步的，所述步骤8具体为：
步骤8.1：对于纵向裂缝、横向裂缝和条状修补提取其骨架长度用于量化评估；
步骤8.2：对于龟裂，通过获取连通域矩形框的面积进行量化评估。
进一步的，所述步骤8.1中提取其骨架长度的具体为：
步骤8.1.1：纵向裂缝、横向裂缝及条状修补二值图像中的连通域可视为集合A，根据下式对每个连通域进行形态学计算，获得该病害的完整骨架：
其中，为腐蚀操作，/>为开运算操作，B是一个结构元，而/>表示对A的连续k次腐蚀，即/>K是A被腐蚀为空集前的最后一次迭代步骤：/>
步骤8.1.2：以病害二值图像中的一个连通域作为输入，经过骨架提取函数的计算输出为该连通域的骨架，同时计算骨架长度。
本发明的一种基于RoadU-Net的沥青路面病害智能识别及分类方法，至少具有以下有益效果：
1、本发明使用RoadU-Net深度学习模型实现沥青路面多类别病害的像素级提取可以实现沥青路面病害的快速识别，减轻内业人工作业压力。
2、本发明方法可以实现裂缝病害的分类，并根据裂缝类别获取其特征信息，为后续路面技术状况指标的计算提供结构化数据。
3、本发明方法创造性地使用裂缝病害连通域融合的方法，使机器识别结果与道路工程师人工标注病害结果相似，进一步减轻人工内业压力。
4、本发明方法首次对条状修补病害进行几何信息的提取和量化评估，为后续条状修补病害的识别研究提供重要经验。
附图说明
图1是本发明的一种基于RoadU-Net的沥青路面病害智能识别及分类方法的流程图；
图2是本发明的RoadU-Net深度学习模型的示例图；
图3是本发明的针对裂缝病害连通域融合的示意图。
具体实施方式
如图1所示，本发明的基于RoadU-Net的沥青路面病害智能识别及分类方法，包括：
步骤1：为路面图像中的裂缝类病害、条状修补和路面标线分别标注对应的颜色，用标注好的图像构成训练集和验证集，所述步骤1具体为：
步骤1.1：获取道路检测车采集到的路面图像；
步骤1.2：对每张图像中的识别目标进行人工标注，裂缝类病害标注为红色，条状修补标注为蓝色，路面标线标注为绿色；
步骤1.3：将标注好的图像构成数据库，并从数据库中筛选出图像分别作为训练集与验证集。
步骤2：高分辨率的大尺寸沥青路面图像需要更多的计算资源，分布较广的路面图像动态范围会给智能识别算法的开发带来困难。基于以上两个原因，需要对训练集与验证集中的每张沥青路面图像进行预处理。进行重构图像尺寸并调整像素点的像素值，所述步骤2具体为：
对训练集与验证集中的图像重构图像尺寸至2048×1024，调整图像动态范围，将每一个像素点的像素值均调整至0到1之间。
步骤3：设置损失函数、优化器、超参数，构建RoadU-Net深度学习模型，将训练集样本作为输入，完成模型训练，所述步骤3具体为：
步骤3.1：搭建RoadU-Net深度学习模型，如图2所示；
所述RoadU-Net深度学习模型具体为：模型的下采样路径采用卷积网络的经典结构，重复地应用两个3×3的卷积核，每个卷积核后跟随一个线性校正单元ReLU和一个2×2的最大池化层，用以提取输入路面图像的特征；所述模型的上采样路径中的每一步都包括：使用两个3×3的卷积核对特征图像进行卷积，每个卷积核后跟随一个线性校正单元ReLU，之后使用一个2×2的反卷积核对特征图像进行反卷积；为获得多尺度的特征，在每次反卷积之后，将反卷积特征层与下采样路径中存储的特征层进行合并，作为下一次反卷积的输入，该操作促进了训练过程中的反向传播损失最小化；在最后一层使用1×1的卷积核将64个分量的特征向量映射到4个通道中，最终输出一个与输入图像尺寸相同，具有4个通道的二值化病害图像。
步骤3.2：设置损失函数：采用交叉熵损失函数，具体为：
其中，yi表示该像素的真实类别，pi表示该像素的预测概率，n表示总像素数；
步骤3.3：设置优化器和超参数：采取Adam优化器，该优化器通过对前面梯度的一阶矩和二阶矩进行估计，自动调整学***均梯度及其平方的指数加权平均值，利用以上信息更新学习率。设定超参数批大小为4，学习率为1e-3，迭代次数为300，权重衰减、动量初值均采取默认值；
步骤3.4：将训练集作为输入，按照超参数的设置进行RoadU-Net深度学习模型的训练，使用标签张量与网络输出张量按损失函数计算训练误差，优化器利用训练误差进行模型参数更新，并在验证集上验证该轮模型的识别效果，当模型的性能达到稳定状态，即损失函数值和验证集的识别准确率均趋于收敛时，保存在验证集上表现最好的RoadU-Net模型参数。
步骤4：将路面图像经预处理后投入到训练好的RoadU-Net深度学习模型中，进行沥青路面病害的识别，获得多通道的预测结果，所述步骤4具体为：
将路面图像经预处理后投入到训练好的RoadU-Net深度学习模型中，经过推理得到预测输出，即获得有四个通道的二值图像，第0、1、2、3通道分别为背景、裂缝类病害、条状修补、路面标线的预测结果。
步骤5：将每个通道的预测结果均视为二值图像，针对裂缝类病害，利用连通域分离函数提取每张二值图像中的连通域，为了提高裂缝类病害识别准确率，去除连通域像素点数量小于3000的裂缝病害识别结果；
步骤6：判断裂缝病害连通域的位置关系，当两连通域的外接矩形属于交叉或包含关系时，将两个外接矩形融合成一个矩形，所述步骤6具体为：
步骤6.1：判断裂缝病害连通域的位置关系，若为交叉关系，实现连通域的融合，融合后连通域的高与宽计算方法下式所示：
Hmerge＝H1+H2-ΔH
Wmerge＝W1+W2-ΔW
其中，Hmerge为融合矩形的高度，H1为矩形一的高度，H2为矩形二的高度，ΔH为矩形一与矩形二重叠高度值；Wmerge为融合矩形的宽度，W1为矩形一的宽度，W2为矩形二的宽度，ΔW为矩形一与矩形二重叠宽度值；
步骤6.2：若裂缝病害连通域的位置关系为包含关系，实现连通域的融合，融合后连通域的高与宽计算方法如下式所示：
Hmerge＝max(H1,H2) (3)
Wmerge＝max(W1,W2)
步骤6.3：若裂缝病害连通域的位置关系为分离关系，则不做连通域的处理。
融合后的结果如图3所示，矩形融合计算后的结果更接近道路工程师的主观判定结果。
步骤7：采用裂缝类病害分类算法将步骤6处理后的图像中的裂缝类病害分类为纵向裂缝、横向裂缝和龟裂，所述步骤7具体为：
步骤7.1：输入融合后矩形的宽和高，分别为W和H；
步骤7.2：计算宽高比，即：Ratio＝W/H；
步骤7.3：如果Ratio>2.0，且H<0.5，则定义该裂缝为横向裂缝；
步骤7.4：如果Ratio>0.5，且W<0.5，则定义该裂缝为纵向裂缝；
步骤7.5：其它裂缝则均定义为龟裂。
步骤8：在病害分类结果的基础上，针对不同种类的裂缝病害及条状修补病害进行量化评估，所述步骤8具体为：
步骤8.1：对于纵向裂缝、横向裂缝和条状修补提取其骨架长度用于量化评估；
具体实施时，提取其骨架长度的具体为：
步骤8.1.1：纵向裂缝、横向裂缝及条状修补二值图像中的连通域可视为集合A，根据下式对每个连通域进行形态学计算，获得该病害的完整骨架：
其中，为腐蚀操作，/>为开运算操作，B是一个结构元，而/>表示对A的连续k次腐蚀，即/>K是A被腐蚀为空集前的最后一次迭代步骤：/>
步骤8.1.2：以病害二值图像中的一个连通域作为输入，经过骨架提取函数的计算输出为该连通域的骨架，同时计算骨架长度。
步骤8.2：对于龟裂，通过获取连通域矩形框的面积进行量化评估。
最后，将所有病害的智能识别结果进行结构化存储。文本文件中的识别结果包括六部分：1)路面类型；2)病害类型；3)病害严重程度；4)病害外接矩形框的角点信息；5)病害量化评估信息(横、纵裂缝及条状修补为骨架长度，龟裂为面积)；6)病害所在图片名称。同时输出病害识别结果图像。最终，实现病害识别结果的数据结构化和可视化，为后续路面技术状况评估提供细化数据支持。
以上所述仅为本发明的较佳实施例，并不用以限制本发明的思想，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.基于RoadU-Net的沥青路面病害智能识别及分类方法，其特征在于，包括：
步骤1：为路面图像中的裂缝类病害、条状修补和路面标线分别标注对应的颜色，用标注好的图像构成训练集和验证集；
步骤2：对训练集与验证集中的图像进行预处理，重构图像尺寸并调整像素点的像素值；
步骤3：设置损失函数、优化器、超参数，构建RoadU-Net深度学习模型，将训练集样本作为输入，完成模型训练；
步骤4：将路面图像经预处理后投入到训练好的RoadU-Net深度学习模型中，进行沥青路面病害的识别，获得多通道的预测结果；
步骤5：将每个通道的预测结果均视为二值图像，针对裂缝类病害，利用连通域分离函数提取每张二值图像中的连通域，去除连通域像素点数量小于3000的裂缝病害识别结果；
步骤6：判断裂缝病害连通域的位置关系，当两连通域的外接矩形属于交叉或包含关系时，将两个外接矩形融合成一个矩形；
步骤7：采用裂缝类病害分类算法将步骤6处理后的图像中的裂缝类病害分类为纵向裂缝、横向裂缝和龟裂；
步骤8：针对不同种类的裂缝病害及条状修补病害进行量化评估。
2.如权利要求1所述的基于RoadU-Net的沥青路面病害智能识别及分类方法，其特征在于，所述步骤1具体为：
步骤1.1：获取道路检测车采集到的路面图像；
步骤1.2：对每张图像中的识别目标进行人工标注，裂缝类病害标注为红色，条状修补标注为蓝色，路面标线标注为绿色；
步骤1.3：将标注好的图像构成数据库，并从数据库中筛选出图像分别作为训练集与验证集。
3.如权利要求1所述的基于RoadU-Net的沥青路面病害智能识别及分类方法，其特征在于，所述步骤2具体为：
对训练集与验证集中的图像重构图像尺寸至2048×1024，调整图像动态范围，将每一个像素点的像素值均调整至0到1之间。
4.如权利要求1所述的基于RoadU-Net的沥青路面病害智能识别及分类方法，其特征在于，所述步骤3具体为：
步骤3.1：搭建RoadU-Net深度学习模型；
步骤3.2：设置损失函数：采用交叉熵损失函数，具体为：
其中，yi表示该像素的真实类别，pi表示该像素的预测概率，n表示总像素数；
步骤3.3：设置优化器和超参数：采取Adam优化器，设定超参数批大小为4，学习率为1e-3，迭代次数为300，权重衰减、动量初值均采取默认值；
步骤3.4：将训练集作为输入，按照超参数的设置进行RoadU-Net深度学习模型的训练，使用标签张量与网络输出张量按损失函数计算训练误差，优化器利用训练误差进行模型参数更新，并在验证集上验证该轮模型的识别效果，当模型的性能达到稳定状态，即损失函数值和验证集的识别准确率均趋于收敛时，保存在验证集上表现最好的RoadU-Net模型参数。
5.如权利要求4所述的基于RoadU-Net的沥青路面病害智能识别及分类方法，其特征在于，所述步骤3.1中搭建的RoadU-Net深度学习模型具体为：
所述模型的下采样路径采用卷积网络的经典结构，重复地应用两个3×3的卷积核，每个卷积核后跟随一个线性校正单元ReLU和一个2×2的最大池化层，用以提取输入路面图像的特征；所述模型的上采样路径中的每一步都包括：使用两个3×3的卷积核对特征图像进行卷积，每个卷积核后跟随一个线性校正单元ReLU，之后使用一个2×2的反卷积核对特征图像进行反卷积；为获得多尺度的特征，在每次反卷积之后，将反卷积特征层与下采样路径中存储的特征层进行合并，作为下一次反卷积的输入，该操作促进了训练过程中的反向传播损失最小化；在最后一层使用1×1的卷积核将64个分量的特征向量映射到4个通道中，最终输出一个与输入图像尺寸相同，具有4个通道的二值化病害图像。
6.如权利要求1所述的基于RoadU-Net的沥青路面病害智能识别及分类方法，其特征在于，所述步骤4具体为：
将路面图像经预处理后投入到训练好的RoadU-Net深度学习模型中，经过推理得到预测输出，即获得有四个通道的二值图像，第0、1、2、3通道分别为背景、裂缝类病害、条状修补、路面标线的预测结果。
7.如权利要求1所述的基于RoadU-Net的沥青路面病害智能识别及分类方法，其特征在于，所述步骤6具体为：
步骤6.1：判断裂缝病害连通域的位置关系，若为交叉关系，实现连通域的融合，融合后连通域的高与宽计算方法下式所示：
Hmerge＝H1+H2-ΔH
Wmerge＝W1+W2-ΔW
其中，Hmerge为融合矩形的高度，H1为矩形一的高度，H2为矩形二的高度，ΔH为矩形一与矩形二重叠高度值；Wmerge为融合矩形的宽度，W1为矩形一的宽度，W2为矩形二的宽度，ΔW为矩形一与矩形二重叠宽度值；
步骤6.2：若裂缝病害连通域的位置关系为包含关系，实现连通域的融合，融合后连通域的高与宽计算方法如下式所示：
Hmerge＝max(H1,H2)
Wmerge＝max(W1,W2)
步骤6.3：若裂缝病害连通域的位置关系为分离关系，则不做连通域的处理。
8.如权利要求1所述的基于RoadU-Net的沥青路面病害智能识别及分类方法，其特征在于，所述步骤7具体为：
步骤7.1：输入融合后矩形的宽和高，分别为W和H；
步骤7.2：计算宽高比，即：Ratio＝W/H；
步骤7.3：如果Ratio>2.0，且H<0.5，则定义该裂缝为横向裂缝；
步骤7.4：如果Ratio>0.5，且W<0.5，则定义该裂缝为纵向裂缝；
步骤7.5：其它裂缝则均定义为龟裂。
9.如权利要求1所述的基于RoadU-Net的沥青路面病害智能识别及分类方法，其特征在于，所述步骤8具体为：
步骤8.1：对于纵向裂缝、横向裂缝和条状修补提取其骨架长度用于量化评估；
步骤8.2：对于龟裂，通过获取连通域矩形框的面积进行量化评估。
10.如权利要求9所述的基于RoadU-Net的沥青路面病害智能识别及分类方法，其特征在于，所述步骤8.1中提取其骨架长度的具体为：
步骤8.1.1：纵向裂缝、横向裂缝及条状修补二值图像中的连通域可视为集合A，根据下式对每个连通域进行形态学计算，获得该病害的完整骨架：
其中，为腐蚀操作，/>为开运算操作，B是一个结构元，而/>表示对A的连续k次腐蚀，即/>K是A被腐蚀为空集前的最后一次迭代步骤：
步骤8.1.2：以病害二值图像中的一个连通域作为输入，经过骨架提取函数的计算输出为该连通域的骨架，同时计算骨架长度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311735898.2A CN117670855A (zh) | 2023-12-18 | 2023-12-18 | 基于RoadU-Net的沥青路面病害智能识别及分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311735898.2A CN117670855A (zh) | 2023-12-18 | 2023-12-18 | 基于RoadU-Net的沥青路面病害智能识别及分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117670855A true CN117670855A (zh) | 2024-03-08 |
Family
ID=90064034
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311735898.2A Pending CN117670855A (zh) | 2023-12-18 | 2023-12-18 | 基于RoadU-Net的沥青路面病害智能识别及分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117670855A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118038283A (zh) * | 2024-04-15 | 2024-05-14 | 贵州黔通工程技术有限公司 | 一种沥青路面隐伏病害检测方法及设备 |
-
2023
- 2023-12-18 CN CN202311735898.2A patent/CN117670855A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118038283A (zh) * | 2024-04-15 | 2024-05-14 | 贵州黔通工程技术有限公司 | 一种沥青路面隐伏病害检测方法及设备 |
| CN118038283B (zh) * | 2024-04-15 | 2024-06-21 | 贵州黔通工程技术有限公司 | 一种沥青路面隐伏病害检测方法及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110070008B (zh) | 一种采用无人机图像的桥梁病害识别方法 | |
| CN111325203A (zh) | 一种基于图像校正的美式车牌识别方法及*** | |
| CN109035273B (zh) | 一种免疫层析试纸卡的图像信号快速分割方法 | |
| CN114998852A (zh) | 一种基于深度学习的公路路面病害智能检测方法 | |
| CN111091541B (zh) | 一种铁路货车横跨梁组装螺母丢失故障识别方法 | |
| CN110889398B (zh) | 一种基于相似度网络的多模态图像能见度检测方法 | |
| CN104517122A (zh) | 一种基于优化卷积架构的图像目标识别方法 | |
| CN110751644B (zh) | 道路表面裂纹检测方法 | |
| CN117670855A (zh) | 基于RoadU-Net的沥青路面病害智能识别及分类方法 | |
| CN114663346A (zh) | 一种基于改进YOLOv5网络的带钢表面缺陷检测方法 | |
| CN113240623B (zh) | 一种路面病害检测方法及装置 | |
| CN112819748B (zh) | 一种带钢表面缺陷识别模型的训练方法及装置 | |
| CN116029980A (zh) | 一种基于改进SegNet的沥青路面损坏检测及评估方法 | |
| CN113762265B (zh) | 肺炎的分类分割方法及*** | |
| CN114627106A (zh) | 一种基于Cascade Mask R-CNN模型的焊缝缺陷检测方法 | |
| CN111126127A (zh) | 一种多级空间上下文特征指导的高分辨率遥感影像分类方法 | |
| CN115546768A (zh) | 基于多尺度机制和注意力机制的路面标线识别方法及*** | |
| CN106570503A (zh) | 识别车身颜色的方法和*** | |
| CN116012291A (zh) | 工业零件图像缺陷检测方法及***、电子设备和存储介质 | |
| Han et al. | Vision-based crack detection of asphalt pavement using deep convolutional neural network | |
| CN115170479A (zh) | 一种沥青路面修补病害自动提取方法 | |
| CN112489026A (zh) | 基于多分支并行卷积神经网络的沥青路面病害检测方法 | |
| CN113326846A (zh) | 一种基于机器视觉的桥梁表观病害快速检测方法 | |
| CN114241344A (zh) | 一种基于深度学习的植物叶片病虫害严重程度评估方法 | |
| CN116681657B (zh) | 基于改进YOLOv7模型的沥青路面病害检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |