CN113222904A - 改进PoolNet网络结构的混凝土路面裂缝检测方法 - Google Patents

改进PoolNet网络结构的混凝土路面裂缝检测方法 Download PDF

Info

Publication number
CN113222904A
CN113222904A CN202110432301.1A CN202110432301A CN113222904A CN 113222904 A CN113222904 A CN 113222904A CN 202110432301 A CN202110432301 A CN 202110432301A CN 113222904 A CN113222904 A CN 113222904A
Authority
CN
China
Prior art keywords
poolnet
network structure
pavement
improved
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110432301.1A
Other languages
English (en)
Other versions
CN113222904B (zh
Inventor
瞿中
曹冲
鲍康华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202110432301.1A priority Critical patent/CN113222904B/zh
Publication of CN113222904A publication Critical patent/CN113222904A/zh
Application granted granted Critical
Publication of CN113222904B publication Critical patent/CN113222904B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种改进PoolNet网络结构的混凝土路面裂缝检测方法，获取路面图像集，并筛选出具有裂缝的路面图像；基于仿射变换和非刚体变换，对所述路面图像以及对应的标注进行数据增强处理；将数据增强后的训练集输入改进PoolNet网络结构进行训练，直至迭代次数达到指定阈值或者性能指标满足应用要求，完成训练；基于测试集判断改进PoolNet网络结构是否满足应用要求，若满足，则保存改进PoolNet网络结构，若不满足，则修改数据增强和训练环境的超参数重新进行训练；使用训练好的模型进行路面裂缝检测，并对提取得到的路面裂缝使用基于连通域标记分类算法，对裂缝进行分类和严重程度的评估，准确地检测路面裂缝。

Description

改进PoolNet网络结构的混凝土路面裂缝检测方法
技术领域
本发明涉及路面裂缝检测技术领域，尤其涉及一种改进PoolNet网络结构的混凝土路面裂缝检测方法。
背景技术
路面裂缝检测是道路巡检养护的主要工作之一，及时地检测出路面裂缝有利于及早地修补路面缺陷，保证行车安全。以人工方式去巡查路面状况不仅巡检人员存在生命危险，而且工作效率较低。自动地路面裂缝检测技术能够提高检测效率，将人员从繁重的、乏味的重复性工作解脱出来。目前，已经有许多学者在路面裂缝检测算法领域做了大量研究。
当前，越来越多的基于深度学习的路面裂缝检测方法被提出，这些方法不再是人工设计的特征外加分类器的算法流程，而是精心设计一个端到端的卷积神经网络模型实现单阶段检测裂缝。但是深度学习方法的性能依赖于标记的训练数据、设计的网络模型以及模型训练策略。目前，裂缝检测方法能够对干净的、少噪声的路面准确地提取裂缝，而在含有阴影、污点、水渍、车道线等噪声以及不均匀光照条件地复杂路面环境下，容易受到噪声影响，将与裂缝相似的噪声(比如阴影、车道线)误检测为裂缝，不能够从复杂环境中提取路面图像中鲁棒性的裂缝特征，准确地检测路面裂缝。
发明内容
本发明的目的在于提供一种改进PoolNet网络结构的混凝土路面裂缝检测方法，能够从复杂环境中提取路面图像中鲁棒性的裂缝特征，准确地检测路面裂缝。
为实现上述目的，本发明提供了一种改进PoolNet网络结构的混凝土路面裂缝检测方法，包括以下步骤：
获取路面图像集，并从所述路面图像集中筛选出具有裂缝的路面图像，同时划分为训练集和测试集；
基于仿射变换和非刚体变换，对所述路面图像以及对应的标注进行数据增强处理；
将数据增强后的所述训练集输入改进PoolNet网络结构进行训练，直至迭代次数达到指定阈值或者性能指标满足应用要求，完成训练；
基于所述测试集判断所述改进PoolNet网络结构是否满足应用要求，若满足，则保存所述改进PoolNet网络结构，若不满足，则修改数据增强和训练环境的超参数重新进行训练；
使用训练好的模型进行路面裂缝检测，并对提取得到的路面裂缝使用基于连通域标记分类算法，对裂缝进行分类和严重程度的评估。
其中，基于仿射变换和非刚体变换，对所述路面图像以及对应的标注进行数据增强处理，包括：
获取随机生成的一个随机数，并判断所述随机数是否大于执行数据增强的阈值；
若大于执行数据增强的阈值，则以反射方式取所述路面图像较长边填充图像，并以多种设定的概率值进行数据增强处理。
其中，若大于执行数据增强的阈值，则以反射方式取所述路面图像较长边填充图像，并以多种设定的概率值进行数据增强处理，包括：
大于执行数据增强的阈值，则以反射方式取所述路面图像较长边填充图像，得到一个正方形图像；
以0.2的概率添加高斯噪声；
以0.5的概率进行水平翻转；
以0.5的概率随机仿射变换，包括以32个像素内随机平移，在放缩倍数区间[-0.1,0.1]内随机放缩以及旋转角区间[-30°,30°]内随机旋转；
以0.5的概率从三种非刚体变换中随机选择执行，三种非刚体变换包括随机调整亮度和对比度、弹性变换和打乱通道。
其中，将数据增强后的所述训练集输入改进PoolNet网络结构进行训练，直至迭代次数达到指定阈值或者性能指标满足应用要求，完成训练，包括：
将数据增强后的所述训练集输入改进PoolNet网络结构，正向推理得到预测结果；
使用改进加权交叉熵损失函数计算所述预测结果与标记之间的损失值；
使用随机梯度下降算法以当前所述损失值对所述改进PoolNet网络结构权重求导，反向传播梯度，更新所述改进PoolNet网络结构权重；
直到迭代次数达到指定阈值或者性能指标满足应用要求，完成训练。
其中，将数据增强后的所述训练集输入改进PoolNet网络结构，正向推理得到预测结果，包括：
使用基于VGG-FPN作为骨干网络，提取分别缩小2倍、4倍、8倍的多尺度卷积特征图；
使用改进的金字塔池化模块提取所述训练集中的所述路面图像的底层卷积特征，再分别2倍、4倍、8倍上采样后与相同尺度的浅层特征融合；
每次多尺度特征融合过程中，使用结合注意力机制的特征整合模块来平滑不同尺度特征的差距，整合不同尺度的特征融合；
使用整合后精炼卷积特征来预测路面裂缝。
本发明的一种改进PoolNet网络结构的混凝土路面裂缝检测方法，获取路面图像集，并从所述路面图像集中筛选出具有裂缝的路面图像，同时划分为训练集和测试集；基于仿射变换和非刚体变换，对所述路面图像以及对应的标注进行数据增强处理；将数据增强后的所述训练集输入改进PoolNet网络结构进行训练，直至迭代次数达到指定阈值或者性能指标满足应用要求，完成训练；基于所述测试集判断所述改进PoolNet网络结构是否满足应用要求，若满足，则保存所述改进PoolNet网络结构，若不满足，则修改数据增强和训练环境的超参数重新进行训练；使用训练好的模型进行路面裂缝检测，并对提取得到的路面裂缝使用基于连通域标记分类算法，对裂缝进行分类和严重程度的评估，能够从复杂环境中提取路面图像中鲁棒性的裂缝特征，准确地检测路面裂缝。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一种改进PoolNet网络结构的混凝土路面裂缝检测方法的步骤示意图。
图2是本发明提供的一种改进PoolNet网络结构的混凝土路面裂缝检测方法的流程示意图。
图3是本发明提供的改进的PoolNet网络结构。
图4是本发明提供的结合注意力机制的金字塔池化模块。
图5是本发明提供的结合注意力机制的特征整合模块。
图6是本发明提供的数据增强方法流程示意图。
图7是本发明提供的权重与样本数目占比的关系。
图8是本发明提供的图像数据变换后的结果。
图9是本发明提供的在DeepCrack、CRACK500和GAPS384数据集上检测结果图像。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
请参阅图1和图2，本发明提供一种改进PoolNet网络结构的混凝土路面裂缝检测方法，包括以下步骤：
S101、获取路面图像集，并从所述路面图像集中筛选出具有裂缝的路面图像，同时划分为训练集和测试集。
具体的，使用车载或者机载数字相机，朝着路面连续拍摄，采集路面图像集；筛选路面图像集中含有裂缝的路面图像，为了便于训练深度学习模型，将路面裂缝图像裁剪成小分辨率图像块，以多边形的形式标注路面裂缝图像并得到GroundTrue数据，构建训练数据集和测试数据集。
S102、基于仿射变换和非刚体变换，对所述路面图像以及对应的标注进行数据增强处理。
具体的，对输入训练模型的图像和标注进行同样的数据增强方法，增加训练数据的多样性，缓解模型因过拟合而降低性能。如图6所示，数据增强流程如下：
步骤2.1：生成一个0到1之间的随机小数r；
步骤2.2：如果r大于执行数据增强的阈值p，进入下一步进行数据增强操作；否则，跳过数据增强，保持输入图像。一般地，取p＝0.8；
步骤2.3：以反射方式取图像较长边填充图像，使其填充成一个正方形图像；
步骤2.4：以0.2的概率添加高斯噪声；
步骤2.5：以0.5的概率进行水平翻转；
步骤2.6：以0.5的概率随机仿射变换，包括以32个像素内随机平移，在放缩倍数区间[-0.1,0.1]内随机放缩以及旋转角区间[-30°,30°]内随机旋转；
步骤2.7：以0.5的概率从三种非刚体变换中随机选择执行，三种非刚体变换包括随机调整亮度和对比度、弹性变换和打乱通道。
数据增强是为了缓解网络模型过拟合，在训练模型阶段对训练图像进行变换，以提升模型的泛化能力。当前，路面裂缝图像较少，并且在图像中像素级地标注裂缝工作量大，公开数据集中数据量少。CNN模型直接在该数据集上训练容易发生过拟合现象，泛化性不强。因此，采用数据增强在路面裂缝检测领域是一种必要的步骤。
结合路面裂缝几何形状的特点，设计了一种图像数据增强方法，有机地组合仿射变换和非刚体变换。以反射的方式填充原图像较短边，使原图像成正方形，见图8(b)；以0.5概率对图像进行水平翻转，见图8(c)；对图像平移、放缩和旋转等仿射变换，见图8(d)；给图像加入高斯噪声；采用弹性变换、随机改变亮度和对比度、打乱通道三种非刚体变换，变换效果见图8(e),(f),(g)。最后经过变换后的图像明显与原图像不同，但具有高相似性的图像，有效地扩增训练图像，见图8(h)。
图像数据增强的一般流程为：让训练图像和对应标注图像执行同样的数据变换，再输入网络模型进行训练。改进的数据变换见表1。
表1数据增强算法
Figure BDA0003031843100000051
Figure BDA0003031843100000061
S103、将数据增强后的所述训练集输入改进PoolNet网络结构进行训练，直至迭代次数达到指定阈值或者性能指标满足应用要求，完成训练。
具体的，步骤3.1：将数据增强后原图像输入改进PoolNet网络结构；
步骤3.2：改进的PoolNet网络结构正向推理得到预测结果；
步骤3.3：以改进加权交叉熵损失函数计算预测结果与标记之间的损失值；
步骤3.4：使用随机梯度下降算法以当前损失值对改进PoolNet网络结构权重求导，反向传播梯度，更新改进PoolNet网络结构权重；
步骤3.5：迭代从步骤3.1-步骤3.4的过程，直到迭代次数达到指定次数或者性能指标满足应用要求。
步骤3.2中改进PoolNet网络结构(如图3所示)包含以下步骤：
步骤3.2.1：使用基于VGG-FPN作为骨干网络，提取分别缩小2倍、4倍、8倍的多尺度卷积特征图；
步骤3.2.2：单独引入一条由底层特征到不同尺度的浅层卷积特征的全局导向模块(Global Guide Module)，具体地，改进的金字塔池化模块(Pyramid Pooling Module)提取底层卷积特征，再分别2倍、4倍、8倍上采样后与相同尺度的浅层特征整合；
步骤3.2.3：每次多尺度特征融合过程中使用结合注意力机制的特征整合模块(FeatureAggregation Module)来平滑不同尺度特征的差距，整合不同尺度的特征融合；
步骤3.2.4：最后以整合后精炼卷积特征来预测输出结果。
其中，所述步骤3.2.2中结合注意力机制的金字塔池化模块(如图4所示)包括：
改进的金字塔池化模块在金字塔池化模块的基础上添加了全局上下文模块(Global Context Module)，以提取裂缝上下文特性。金字塔池化模块有三个并行池化分支，将输入特征分别降采样至分辨率为1×1、3×3和5×5的特征，再分别上采样恢复至输入特征图的分辨率，最后使用一个1×1卷积将特征图通道压缩到输入通道数。一般认为，被池化(降采样)至不同分辨率的特征具有不同的感受域，因此，金字塔池化模块具有整合不同感受域的能力，从而提升特征对裂缝表征能力。
全局上下文模块有构建全局上下文信息和非线性变换两个阶段，首先，输入特征被分成两个分支，一条分支使用1×1卷积将输入特征调整为HW×1×1，并使用Softmax函数将其数值规范至0-1之间的小数，得到注意力热力图，再与另一条恒等映射分支相点乘，得到C×1×1通道注意力向量；然后，注意力向量依次通过1×1卷积层、归一化层、Relu激活函数、1×1卷积层增加该变换的非线性。
在改进的金字塔池化模块中具有最小尺度的深层特征被分别引入多个较大尺度的浅层特征，为了让不同尺度特征融合更加“平滑”，在每个特征融合后接上一个结合全局上下文的特征整合模块。
其中，所述步骤3.2.3中结合注意力机制的特征整合模块(如图5所示)包括：
改进的特征整合模块在原始特征整合模块的基础上添加全局上下文模块。原始的特征整合模块有三个不同下采样倍率的并行分支，每个分支是一个平均池化、3×3卷积层和双线性插值上采样操作序列，再将三个并行分支特征以求和方式进行整合。此外，采用上述的全局上下文模块提取特征的全局信息，再与特征整合模块的结果求和，并使用3×3卷积获得最后整合特征图。
其中，所述步骤3.3中改进加权交叉熵损失函数包括：
在一张裂缝图像中裂缝像素(正样本)往往占整个图像的3％-5％，非裂缝像素(负样本)往往占95％-97％，存在着正负样本数目不平衡的问题，使用标准二值交叉熵函数(Binary Cross Entropy Function)训练改进PoolNet网络结构，计算得到损失值往往被非裂缝样本主导，难以学***衡，正、负样本项的权重为样本数目占比的负对数，样本数目与权重的关系如图7所示，正样本(裂缝)项的损失值因裂缝像素数目占比接近于0而拥有较大的权重，负样本(背景)项损失值因背景像素数目占比接近于1,而拥有较小的权重，实现了自适应地平衡正负样本损失值，改进的加权交叉熵损失函数如下：
Figure BDA0003031843100000081
其中，
Figure BDA0003031843100000082
y分别表示预测概率图和Ground True；
Figure BDA0003031843100000083
y(i)分别表示像素位置预测概率值和对应像素位置Ground True；|Y+|,|Y-|,N分别表示裂缝样本的数目，非裂缝样本的数目和概率图中样本总数。
S104、基于所述测试集判断所述改进PoolNet网络结构是否满足应用要求，若满足，则保存所述改进PoolNet网络结构，若不满足，则修改数据增强和训练环境的超参数重新进行训练。
具体的，在测试集上计算改进PoolNet网络结构的Precision、Recall和F1-score来评价其准确性；计算改进PoolNet网络结构的FLOPs和Params来评估其运行效率，如果改进PoolNet网络结构满足应用要求，则保存改进PoolNet网络结构用于提取路面裂缝，否则，修改数据增强和训练改进PoolNet网络结构的超参数重新训练。
S105、使用训练好的模型进行路面裂缝检测，并对提取得到的路面裂缝使用基于连通域标记分类算法，对裂缝进行分类和严重程度的评估。
具体的，使用训练好的模型进行路面裂缝检测，提取路面裂缝位置，并对提取的路面裂缝使用基于连通域标记分类算法，对裂缝进行分类和严重程度的评估。
为了验证提出的路面裂缝检测方法在混凝土路面图像中准确性，本发明在三个公开裂缝数据集DeepCrack、CRACK500和GAPS384上分别训练、测试本发明的方法。本发明选择了边缘检测方法HED和RCF、图像分割方法SegNet和U-Net、裂缝检测方法DeepCrack、CrackSeg作为对比方法，并分别计算了常用于边缘检测的Precise、Recall、F1-score和常用于图像分割的GlobalAcc、AP、mIoU客观评价指标，以此来综合对比所有方法准确性的优劣。在三个数据集上的测试结果图像如图9所示，(a)原图、(b)标记、(c)HED、(d)RCF、(e)SegNet、(f)U-Net、(g)CrackSeg、(h)DeepCrack、(i)本发明，图中第一、二、三行分别表示DeepCrack、CRACK500、GAPS384数据集测试结果图像。此外，三个数据集上测试结果图像的评价指标结果如表2-4所示。
从图9中第三行(c),(e),(g),(h),(i)可以看出，本发明具有很强的提取裂缝特征能力，能够鲁棒地检测裂缝，抵抗灰暗噪声。从图9中第二行(c),(d),(g),(h),(i)可以看出，与对比方法相比，本发明减少漏检的情况，裂缝断裂较少，连续性较好。此外，从图9中第一行可以看出，尽管所有方法在DeepCrack数据集上能够较好地检测，仍然可以看出，较对比方法，本发明的结果有更少的噪声，提取的裂缝更加清晰而连续。从表2-4中结果印证对结果图像的分析，在三个数据集中本发明几乎在所有指标上优于对比方法。
表2在DeepCrack数据集上评价指标结果
Figure BDA0003031843100000091
表3在CRACK500数据集上评价指标结果
Figure BDA0003031843100000092
表4在GAPS384数据集上评价指标结果
Figure BDA0003031843100000093
Figure BDA0003031843100000101
本发明的有益效果为：
1.改进的PoolNet网络结构，将注意力机制分别引入到金字塔池化模块和特征整合模块，使得改进PoolNet网络结构提取的裂缝特征更具有全局上下文信息。
2.改进的数据增强方法，结合仿射变换和三种非刚体变换(弹性变换、随机调整亮度和对比度和打乱通道)来扩增裂缝数据集，缓解改进PoolNet网络结构因路面裂缝训练图像少而过拟合。
3.改进的加权二值交叉熵损失函数，使用样本数目百分比和负对数函数来平衡训练样本数目不平衡问题。
本发明的一种改进PoolNet网络结构的混凝土路面裂缝检测方法，获取路面图像集，并从所述路面图像集中筛选出具有裂缝的路面图像，同时划分为训练集和测试集；基于仿射变换和非刚体变换，对所述路面图像以及对应的标注进行数据增强处理；将数据增强后的所述训练集输入改进PoolNet网络结构进行训练，直至迭代次数达到指定阈值或者性能指标满足应用要求，完成训练；基于所述测试集判断所述改进PoolNet网络结构是否满足应用要求，若满足，则保存所述改进PoolNet网络结构，若不满足，则修改数据增强重新进行训练；使用训练好的模型进行路面裂缝检测，提取路面裂缝位置，并对提取得到的路面裂缝使用基于连通域标记分类算法，对裂缝进行分类和严重程度的评估，能够从复杂环境中提取路面图像中鲁棒性的裂缝特征，准确地检测路面裂缝。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (5)

1.一种改进PoolNet网络结构的混凝土路面裂缝检测方法，其特征在于，包括以下步骤：
获取路面图像集，并从所述路面图像集中筛选出具有裂缝的路面图像，同时划分为训练集和测试集；
基于仿射变换和非刚体变换，对所述路面图像以及对应的标注进行数据增强处理；
将数据增强后的所述训练集输入改进PoolNet网络结构进行训练，直至迭代次数达到指定阈值或者性能指标满足应用要求，完成训练；
基于所述测试集判断所述改进PoolNet网络结构是否满足应用要求，若满足，则保存所述改进PoolNet网络结构，若不满足，则修改数据增强和训练环境的超参数重新进行训练；
使用训练好的模型进行路面裂缝检测，并对提取得到的路面裂缝使用基于连通域标记分类算法，对裂缝进行分类和严重程度的评估。
2.如权利要求1所述的改进PoolNet网络结构的混凝土路面裂缝检测方法，其特征在于，基于仿射变换和非刚体变换，对所述路面图像以及对应的标注进行数据增强处理，包括：
获取随机生成的一个随机数，并判断所述随机数是否大于执行数据增强的阈值；
若大于执行数据增强的阈值，则以反射方式取所述路面图像较长边填充图像，并以多种设定的概率值进行数据增强处理。
3.如权利要求2所述的改进PoolNet网络结构的混凝土路面裂缝检测方法，其特征在于，若大于执行数据增强的阈值，则以反射方式取所述路面图像较长边填充图像，并以多种设定的概率值进行数据增强处理，包括：
大于执行数据增强的阈值，则以反射方式取所述路面图像较长边填充图像，得到一个正方形图像；
以0.2的概率添加高斯噪声；
以0.5的概率进行水平翻转；
以0.5的概率随机仿射变换，包括以32个像素内随机平移，在放缩倍数区间[-0.1,0.1]内随机放缩以及旋转角区间[-30°,30°]内随机旋转；
以0.5的概率从三种非刚体变换中随机选择执行，三种非刚体变换包括弹性变换、随机调整亮度和对比度、打乱通道。
4.如权利要求1所述的改进PoolNet网络结构的混凝土路面裂缝检测方法，其特征在于，将数据增强后的所述训练集输入改进PoolNet网络结构进行训练，直至迭代次数达到指定阈值或者性能指标满足应用要求，完成训练，包括：
将数据增强后的所述训练集输入改进PoolNet网络结构，正向推理得到预测结果；
使用改进加权交叉熵损失函数计算所述预测结果与标记之间的损失值；
使用随机梯度下降算法以当前所述损失值对所述改进PoolNet网络结构权重求导，反向传播梯度，更新所述改进PoolNet网络结构权重；
直到迭代次数达到指定阈值或者性能指标满足应用要求，完成训练。
5.如权利要求4所述的改进PoolNet网络结构的混凝土路面裂缝检测方法，其特征在于，将数据增强后的所述训练集输入改进PoolNet网络结构，正向推理得到预测结果，包括：
使用基于VGG-FPN作为骨干网络，提取分别缩小2倍、4倍、8倍的多尺度卷积特征图；
使用改进的金字塔池化模块提取所述训练集中的所述路面图像的底层卷积特征，再分别2倍、4倍、8倍上采样后与相同尺度的浅层特征融合；
每次多尺度特征融合过程中，使用结合注意力机制的特征整合模块来平滑不同尺度特征的差距，整合不同尺度的特征融合；
使用整合后精炼卷积特征来预测路面裂缝。
CN202110432301.1A 2021-04-21 2021-04-21 改进PoolNet网络结构的混凝土路面裂缝检测方法 Active CN113222904B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110432301.1A CN113222904B (zh) 2021-04-21 2021-04-21 改进PoolNet网络结构的混凝土路面裂缝检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110432301.1A CN113222904B (zh) 2021-04-21 2021-04-21 改进PoolNet网络结构的混凝土路面裂缝检测方法

Publications (2)

Publication Number Publication Date
CN113222904A true CN113222904A (zh) 2021-08-06
CN113222904B CN113222904B (zh) 2023-04-07

Family

ID=77088340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110432301.1A Active CN113222904B (zh) 2021-04-21 2021-04-21 改进PoolNet网络结构的混凝土路面裂缝检测方法

Country Status (1)

Country Link
CN (1) CN113222904B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114219773A (zh) * 2021-11-30 2022-03-22 西北工业大学 一种桥梁裂缝检测数据集预筛选与标定方法
CN115919231A (zh) * 2022-10-24 2023-04-07 广州艾普凌智技术有限公司 一种基于内镜图像深度卷积网络模型的训练方法，应用及装置
US12051229B2 (en) 2021-01-14 2024-07-30 Tata Consultancy Services Limited System and method for attention-based surface crack segmentation

Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108520516A (zh) * 2018-04-09 2018-09-11 陕西师范大学 一种基于语义分割的桥梁路面裂缝检测和分割方法
CN109902693A (zh) * 2019-02-16 2019-06-18 太原理工大学 一种基于多注意力空间金字塔特征图像识别方法
CN110084299A (zh) * 2019-04-24 2019-08-02 中国人民解放军国防科技大学 基于多头融合注意力的目标检测方法和装置
CN110378484A (zh) * 2019-04-28 2019-10-25 清华大学 一种基于注意力机制的空洞卷积空间金字塔池化上下文学习方法
CN111031315A (zh) * 2019-11-18 2020-04-17 复旦大学 基于注意力机制和时间依赖性的压缩视频质量增强方法
CN111275044A (zh) * 2020-02-21 2020-06-12 西北工业大学 基于样本选择和自适应难例挖掘的弱监督目标检测方法
CN111339917A (zh) * 2020-02-24 2020-06-26 大连理工大学 一种真实场景下玻璃检测的方法
US20200273192A1 (en) * 2019-02-26 2020-08-27 Baidu Usa Llc Systems and methods for depth estimation using convolutional spatial propagation networks
CN111709304A (zh) * 2020-05-21 2020-09-25 江南大学 一种基于时空注意力增强特征融合网络的行为识别方法
CN111755131A (zh) * 2020-06-22 2020-10-09 武汉大学 一种基于注意力引导的covid-19早筛和严重程度评估方法和***
CN111833386A (zh) * 2020-07-22 2020-10-27 中国石油大学(华东) 一种基于多尺度信息和注意力机制的金字塔双目立体匹配方法
CN111860683A (zh) * 2020-07-30 2020-10-30 中国人民解放军国防科技大学 一种基于特征融合的目标检测方法
CN111898458A (zh) * 2020-07-07 2020-11-06 中国传媒大学 基于注意力机制的双模态任务学习的暴力视频识别方法
CN112070043A (zh) * 2020-09-15 2020-12-11 常熟理工学院 基于特征融合的安全帽佩戴卷积网络、训练及检测方法
US20210004670A1 (en) * 2019-07-01 2021-01-07 Adobe Inc. Training digital content classification models utilizing batchwise weighted loss functions and scaled padding based on source density
CN112258529A (zh) * 2020-11-02 2021-01-22 郑州大学 一种基于实例分割算法的路面裂缝像素级别检测方法
CN112287940A (zh) * 2020-10-30 2021-01-29 西安工程大学 一种基于深度学习的注意力机制的语义分割的方法
CN112381083A (zh) * 2020-06-12 2021-02-19 杭州喔影网络科技有限公司 一种基于潜在区域对的显著性感知图像裁剪方法
US20210056672A1 (en) * 2019-08-21 2021-02-25 Ping An Technology (Shenzhen) Co., Ltd. Fracture detection method, electronic device and storage medium
CN112418176A (zh) * 2020-12-09 2021-02-26 江西师范大学 一种基于金字塔池化多级特征融合网络的遥感图像语义分割方法
CN112562741A (zh) * 2021-02-20 2021-03-26 金陵科技学院 一种基于点积自注意力卷积神经网络的歌声检测方法
CN112560895A (zh) * 2020-11-20 2021-03-26 陕西师范大学 一种基于改进PSPNet网络的桥梁裂缝检测方法
CN112651892A (zh) * 2020-12-22 2021-04-13 中国科学技术大学 一种基于图像样本的自动数据增强策略选择方法
CN112651973A (zh) * 2020-12-14 2021-04-13 南京理工大学 基于特征金字塔注意力和混合注意力级联的语义分割方法

Patent Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108520516A (zh) * 2018-04-09 2018-09-11 陕西师范大学 一种基于语义分割的桥梁路面裂缝检测和分割方法
CN109902693A (zh) * 2019-02-16 2019-06-18 太原理工大学 一种基于多注意力空间金字塔特征图像识别方法
US20200273192A1 (en) * 2019-02-26 2020-08-27 Baidu Usa Llc Systems and methods for depth estimation using convolutional spatial propagation networks
CN110084299A (zh) * 2019-04-24 2019-08-02 中国人民解放军国防科技大学 基于多头融合注意力的目标检测方法和装置
CN110378484A (zh) * 2019-04-28 2019-10-25 清华大学 一种基于注意力机制的空洞卷积空间金字塔池化上下文学习方法
US20210004670A1 (en) * 2019-07-01 2021-01-07 Adobe Inc. Training digital content classification models utilizing batchwise weighted loss functions and scaled padding based on source density
US20210056672A1 (en) * 2019-08-21 2021-02-25 Ping An Technology (Shenzhen) Co., Ltd. Fracture detection method, electronic device and storage medium
CN111031315A (zh) * 2019-11-18 2020-04-17 复旦大学 基于注意力机制和时间依赖性的压缩视频质量增强方法
CN111275044A (zh) * 2020-02-21 2020-06-12 西北工业大学 基于样本选择和自适应难例挖掘的弱监督目标检测方法
CN111339917A (zh) * 2020-02-24 2020-06-26 大连理工大学 一种真实场景下玻璃检测的方法
CN111709304A (zh) * 2020-05-21 2020-09-25 江南大学 一种基于时空注意力增强特征融合网络的行为识别方法
CN112381083A (zh) * 2020-06-12 2021-02-19 杭州喔影网络科技有限公司 一种基于潜在区域对的显著性感知图像裁剪方法
CN111755131A (zh) * 2020-06-22 2020-10-09 武汉大学 一种基于注意力引导的covid-19早筛和严重程度评估方法和***
CN111898458A (zh) * 2020-07-07 2020-11-06 中国传媒大学 基于注意力机制的双模态任务学习的暴力视频识别方法
CN111833386A (zh) * 2020-07-22 2020-10-27 中国石油大学(华东) 一种基于多尺度信息和注意力机制的金字塔双目立体匹配方法
CN111860683A (zh) * 2020-07-30 2020-10-30 中国人民解放军国防科技大学 一种基于特征融合的目标检测方法
CN112070043A (zh) * 2020-09-15 2020-12-11 常熟理工学院 基于特征融合的安全帽佩戴卷积网络、训练及检测方法
CN112287940A (zh) * 2020-10-30 2021-01-29 西安工程大学 一种基于深度学习的注意力机制的语义分割的方法
CN112258529A (zh) * 2020-11-02 2021-01-22 郑州大学 一种基于实例分割算法的路面裂缝像素级别检测方法
CN112560895A (zh) * 2020-11-20 2021-03-26 陕西师范大学 一种基于改进PSPNet网络的桥梁裂缝检测方法
CN112418176A (zh) * 2020-12-09 2021-02-26 江西师范大学 一种基于金字塔池化多级特征融合网络的遥感图像语义分割方法
CN112651973A (zh) * 2020-12-14 2021-04-13 南京理工大学 基于特征金字塔注意力和混合注意力级联的语义分割方法
CN112651892A (zh) * 2020-12-22 2021-04-13 中国科学技术大学 一种基于图像样本的自动数据增强策略选择方法
CN112562741A (zh) * 2021-02-20 2021-03-26 金陵科技学院 一种基于点积自注意力卷积神经网络的歌声检测方法

Non-Patent Citations (17)

* Cited by examiner, † Cited by third party
Title
CAO Y等: ""GCNet：Non-Local Networks Meet Squeeze-Excitation Networks and Beyond"", 《IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOP》 *
CAO Y等: ""GCNet：Non-Local Networks Meet Squeeze-Excitation Networks and Beyond"", 《IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOP》, 31 December 2019 (2019-12-31), pages 1971 - 1980 *
PAPERWEEKLY: ""CVPR 2019|PoolNet：基于池化技术的显著性目标检测"", 《HTTPS://BLOG.CSDN.NET/C9YV2CF9I06K2A9E/ARTICLE/DETAILS/90605745》, 27 May 2019 (2019-05-27), pages 584 - 588 *
QIANG ZHOU等: ""Mixed Pooling and richer attention feature fusion for crack detection"", 《PATTERN RECOGNITION LETTERS》 *
QIANG ZHOU等: ""Mixed Pooling and richer attention feature fusion for crack detection"", 《PATTERN RECOGNITION LETTERS》, 11 February 2021 (2021-02-11), pages 96 - 102 *
SONG W等: ""Automatic Pavement Crack Detection and Classification Using Multiscale Feature Attention Network"", 《IEEE ACCESS》 *
SONG W等: ""Automatic Pavement Crack Detection and Classification Using Multiscale Feature Attention Network"", 《IEEE ACCESS》, no. 7, 31 December 2019 (2019-12-31), pages 1 - 12 *
ZHONG QU等: ""A Deeply Supervised Convolutional Neural Network for Pavement Crack Detection with Multisacle Feature Fusion"", 《IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS》 *
ZHONG QU等: ""A Deeply Supervised Convolutional Neural Network for Pavement Crack Detection with Multisacle Feature Fusion"", 《IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS》, 15 March 2021 (2021-03-15), pages 1345 - 1350 *
史彩娟等: ""基于深度学习的显著性目标检测综述"", 《计算机科学与探索》 *
史彩娟等: ""基于深度学习的显著性目标检测综述"", 《计算机科学与探索》, vol. 15, no. 2, 6 September 2020 (2020-09-06), pages 219 - 232 *
段迅达等: ""基于注意力机制与空间金字塔池化的行人属性识别"", 《济南大学学报（自然科学版）》 *
段迅达等: ""基于注意力机制与空间金字塔池化的行人属性识别"", 《济南大学学报（自然科学版）》, vol. 34, no. 4, 31 July 2020 (2020-07-31), pages 342 - 349 *
王丽苹等: ""基于卷积神经网络的混凝土路面裂缝检测"", 《计算机科学》, vol. 46, no. 11, 30 November 2019 (2019-11-30), pages 1 *
王欣等: ""注意力机制和特征融合的自动抠图算法"", 《计算机辅助设计与图形学学报》 *
王欣等: ""注意力机制和特征融合的自动抠图算法"", 《计算机辅助设计与图形学学报》, vol. 32, no. 9, 30 September 2020 (2020-09-30), pages 1473 - 1483 *
瞿中等: ""基于全U网络的混凝土路面裂缝检测算法"", 《计算机科学》, 5 November 2020 (2020-11-05), pages 1 - 8 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12051229B2 (en) 2021-01-14 2024-07-30 Tata Consultancy Services Limited System and method for attention-based surface crack segmentation
CN114219773A (zh) * 2021-11-30 2022-03-22 西北工业大学 一种桥梁裂缝检测数据集预筛选与标定方法
CN114219773B (zh) * 2021-11-30 2024-03-05 西北工业大学 一种桥梁裂缝检测数据集预筛选与标定方法
CN115919231A (zh) * 2022-10-24 2023-04-07 广州艾普凌智技术有限公司 一种基于内镜图像深度卷积网络模型的训练方法，应用及装置
CN115919231B (zh) * 2022-10-24 2023-09-19 广州艾普凌智技术有限公司 一种基于内镜图像深度卷积网络模型的训练方法，应用及装置

Also Published As

Publication number Publication date
CN113222904B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN113222904B (zh) 改进PoolNet网络结构的混凝土路面裂缝检测方法
CN110570396B (zh) 一种基于深度学习的工业产品缺陷检测方法
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN112348770B (zh) 一种基于多分辨率卷积网络的桥梁裂缝检测方法
CN113421263B (zh) 零件缺陷检测方法、设备、介质及计算机程序产品
CN110781924A (zh) 一种基于全卷积神经网络的侧扫声纳图像特征提取方法
CN112102229A (zh) 一种基于深度学习的工业ct检测缺陷的智能识别方法
CN113947590A (zh) 一种基于多尺度注意力引导和知识蒸馏的表面缺陷检测方法
CN114841972A (zh) 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法
CN113409314A (zh) 高空钢结构腐蚀的无人机视觉检测与评价方法及***
JP2020085546A (ja) 構造物の点検・補修支援システム
CN113469951B (zh) 一种基于级联区域卷积神经网络的轮毂缺陷检测方法
CN111652213A (zh) 一种基于深度学习的船舶水尺读数识别方法
CN113177456B (zh) 基于单阶段全卷积网络和多特征融合的遥感目标检测方法
CN117036348B (zh) 基于图像处理和裂纹识别模型的金属疲劳裂纹检测方法
CN115294541A (zh) 一种局部特征增强Transformer道路裂缝检测方法
CN113673556A (zh) 一种基于多尺度密集卷积网络的高光谱图像分类方法
CN115965862A (zh) 基于掩码网络融合图像特征的sar舰船目标检测方法
CN117218101A (zh) 一种基于语义分割的复合材料风电叶片缺陷检测方法
CN116703812A (zh) 一种基于深度学习的光伏组件裂纹检测方法与***
CN114612399A (zh) 一种用于手机外观标记的图片识别***及方法
CN112396580B (zh) 一种圆形零件缺陷检测方法
CN113988222A (zh) 一种基于Faster-RCNN的森林火灾检测与识别方法
CN103065296B (zh) 一种基于边缘特征的高分辨率遥感影像居民区提取方法
CN116958662A (zh) 一种基于卷积神经网络的钢带缺陷分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant