CN107945161A - 基于纹理特征提取的道路表面缺陷检测方法 - Google Patents

基于纹理特征提取的道路表面缺陷检测方法 Download PDF

Info

Publication number
CN107945161A
CN107945161A CN201711167478.3A CN201711167478A CN107945161A CN 107945161 A CN107945161 A CN 107945161A CN 201711167478 A CN201711167478 A CN 201711167478A CN 107945161 A CN107945161 A CN 107945161A
Authority
CN
China
Prior art keywords
road surface
surface defect
gray level
texture feature
level image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711167478.3A
Other languages
English (en)
Other versions
CN107945161B (zh
Inventor
陈里里
任君兰
曹浩
司吉兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Jiaotong University
Original Assignee
Chongqing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Jiaotong University filed Critical Chongqing Jiaotong University
Priority to CN201711167478.3A priority Critical patent/CN107945161B/zh
Publication of CN107945161A publication Critical patent/CN107945161A/zh
Application granted granted Critical
Publication of CN107945161B publication Critical patent/CN107945161B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24143Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明提供的一种基于纹理特征提取的道路表面缺陷检测方法,包括如下步骤:获取具有路面缺陷的图像并进行灰度处理形成路面缺陷灰度图像;对路面缺陷灰度图像进行纹理特征提取,提取出特征值组成纹理特征向量,将同一缺陷类别的纹理特征向量表征的路面缺陷灰度图像进行均分,形成训练集和测试集;并通过栈式自编码器对训练集进行高维抽象特征提取;将softmax layer逻辑分类层堆栈于栈式自编码器形成深度神经网络,通过深度神经网络对高维抽象特征进行训练,对测试集中的路面灰度图像完成分类识别;能够对道路表面缺陷进行准确检测,提升结果的精确性。

Description

基于纹理特征提取的道路表面缺陷检测方法
技术领域
本发明涉及一种道路表面缺陷检测方法,尤其涉及一种基于纹理特征提取的道路表面缺陷检测方法。
背景技术
道路的表面缺陷检测是保证交通正常运行的重要保障,现有技术中,对于道路表面缺陷检测包括如下方法:超声波、探测雷达、激光三角测量、人工检测、机器视觉等;上述中的检测方法中,存在如下缺陷:首先,人工介入较多,浪费人力,效率低,工作强度大,而且在检测过程中难以实现交通隔离,从而为工作人员带来严重的安全隐患;其次,现有的检测方法难以保证检测结果的准确性:由于路况收到环境的影响,自然环境中对于检测中的参数存在较为严重的干扰,为了提出干扰,使得计算过程复杂,难度大。
因此,需要提出一种新的道路表面缺陷检测方法,能够对道路表面缺陷进行准确检测,提升结果的精确性,从而利于后续的治理措施进行制定,而且能够有效减少人工介入,节约人力成本,提高检测效率,尤其是能够保证工作人员的安全,而且能够有效避免检测过程中对交通运行的影响。
发明内容
有鉴于此,本发明的目的是提出一种基于纹理特征提取的道路表面缺陷检测方法,能够对道路表面缺陷进行准确检测,提升结果的精确性,从而利于后续的治理措施进行制定,而且能够有效减少人工介入,节约人力成本,提高检测效率,尤其是能够保证工作人员的安全,而且能够有效避免检测过程中对交通运行的影响。
本发明提供的一种基于纹理特征提取的道路表面缺陷检测方法,包括如下步骤:
S1.获取具有路面缺陷的图像并进行灰度处理形成路面缺陷灰度图像;
S2.对路面缺陷灰度图像进行纹理特征提取,提取出特征值组成纹理特征向量,并以纹理特征向量表征路面缺陷灰度图像;
S4.将同一缺陷类别的纹理特征向量表征的路面缺陷灰度图像进行均分,形成训练集和测试集;
S5.以两个相同的自编码器构成栈式自编码器,并通过栈式自编码器对训练集进行高维抽象特征提取;
S6.将softmax layer逻辑分类层堆栈于栈式自编码器形成深度神经网络,通过深度神经网络对高维抽象特征进行训练,训练完成后,对测试集中的路面灰度图像完成分类识别。
进一步,还包括步骤S3:对纹理特征向量进行归一化处理,并通过如下公式进行:
其中,M为归一化处理后的纹理特征向量,a为待归一化处理的纹理特征向量的特征值,b为纹理特征向量中最大特征值,c为纹理特征向量中最小特征值。
进一步,路面缺陷包括坑槽、龟裂、裂纹和松散。
进一步,步骤S2中,包括如下步骤:
S21.采用灰度差分统计法对路面缺陷面灰度图像进行特征提取,并提取出三个特征值:差分平均值、差分对比度以及差分熵;
S22.采用Gabor算法对路面缺陷灰度图像进行特征提取,并提取出三个特征值:Gabor平均值、Gabor对比度和Gabor熵;
S23.采用灰度梯度法对路面缺陷灰度图像进行特征值提取,并提取出四个特征值:梯度平均值、梯度方差、梯度偏度和梯度峰度;
S24.采用灰度共生矩阵法对路面缺陷灰度图像进行特征提取,提取出五个特征值:能量、相关性、共生对比度、同质性和共生熵;
S25.采用灰度直方图法对路面缺陷灰度图像进行特征提取,提取出四个特征值:直方图均值、直方图方差、直方图偏度和直方图峰度;
S26.采用Tamura算法对路面缺陷灰度图像进行特征提取,提取出六个特征值:粗糙度、规整度、对比度、方向性、线性度和粗略度;
S27.将步骤S21-S26中所提取处的特征值按照提取顺序排列组成1×25阶表征路面缺陷灰度图像的纹理特征向量。
进一步,步骤S27中,按照如下顺序对各特征值进行排列形成1×25阶表征路面缺陷灰度图像的纹理特征向量:
直方图平均值、差分平均值、梯度平均值、Gabor平均值、能量、粗糙度、直方图方差、梯度方差、相关性、规整度、直方图偏度、梯度偏度、同质性、方向性、直方图峰度、梯度峰度、线性度、差分对比度、Gabor对比度、共生对比度、Tamura的对比度、粗略度、差分熵、Gabor熵、共生熵。
进一步,步骤S5中,自编码器由三层神经网络构成,分别是输入层、隐藏层和输出层,且自编码器的高维抽象特征提取训练过程如下:
从输入层到隐藏层的编码过程:
z=sigmoid(W(1)·x+v(1));其中,z为计算得到的新的抽象特征向量;sigmoid为编码过程的S型传递函数,W(1)为编码过程的权重矩阵,v(1)为编码过程的偏置向量,x为输入的训练集;
从隐藏层到输出层的解码过程:
其中,为解码后得到的输入数据的重构数据集,linear为解码过程中的线性传递函数,W(2)为解码过程的权重矩阵,v(2)为解码过程的偏置向量;
自编码器的输入数据与重构数据的误差调节:
;其中,K是输入数据的个数,是输入数据与输出数据的均方差总和,λ是正则化系数,L是隐藏层的数量,n是训练集的数量,k是训练集中变量的个数,是编码过程中训练集里样本j中变量i的权重矩阵,β是稀疏项系数,是神经元i的激活值和期望值ρ的交叉熵的K-L的散度,D(1)是编码的范围。
进一步,softmax layer逻辑分类层的计算过程如下:
计算训练集中每一个特征向量对应的所属道路表面缺陷类型的概率:
其中,其中:x(i)是训练集中第i个表征的路面缺陷灰度图像,y(i)是该表征图像对应的缺陷所属的二进制数字标签;θ是softmax layer所有逻辑分类层计算得到的参数矩阵,p(y(i)=k|x(i);θ)是该表征图像对应的所属道路表面缺陷类型的概率;是表征路面缺陷图像i对应逻辑分类层1,…,逻辑分类层k的参数矩阵的转置,则是该转置参数矩阵的指数函数预算;
对深度神经网络通过如下公式进行微调:
其中,其中,m是预估的表征图像即特征向量的数量,k是道路缺陷的种类数,1{y(i)=j}是表征图像i是否为对应缺陷种类j的判断函数;是表征路面缺陷图像i所对应类别j的概率矩阵的转置,是该转置矩阵的指数函数预算。
本发明的有益效果:通过本发明,能够对道路表面缺陷进行准确检测,提升结果的精确性,从而利于后续的治理措施进行制定,而且能够有效减少人工介入,节约人力成本,提高检测效率,尤其是能够保证工作人员的安全,而且能够有效避免检测过程中对交通运行的影响。
附图说明
下面结合附图和实施例对本发明作进一步描述:
图1为本发明的流程图。
图2为本发明的栈式自编码器的结构示意图。
图3为本发明的堆栈式自编码器的工作流程示意图。
具体实施方式
以下结合说明书附图对本发明进行进一步详细阐述,如图所示:
本发明提供的一种基于纹理特征提取的道路表面缺陷检测方法,包括如下步骤:
S1.获取具有路面缺陷的图像并进行灰度处理形成路面缺陷灰度图像;在采集图像过程中,采用德国的MantaG-419型工业高清摄像机进行路面缺陷视频拍摄,高清摄像机拍摄的初始物距定为3米,根据需要再进行手动调焦,直至调整到清晰出现缺陷纹理即可。为了获取道路表面缺陷图像,需用AE软件将采集到的路面缺陷视频转换成一帧一帧的图像,转换时设置每秒24帧的速率,且选择图像保存格式成为“PNG”,保存完成后道路表面缺陷图像得以获取。对采集的凸显路面缺陷的所有图像按缺陷类别分类,其中,路面缺陷类别包括坑槽、龟裂、裂纹和松散,每一类缺陷筛选出至少100张图像,将筛选出的图像进行分辨率调节,采用200dpi分辨率,且像素为900×900,且图像大小为900像素×900像素,裁剪所获得的所有道路表面缺陷图像尺寸为2.25×2.25英寸,处理完成后所有图像形成道路表面缺陷的图像数据库;然后对图像数据库中的图像进一步进行灰度转换处理:通过MATLAB软件中的imread函数读取图像数据库中的图像,该函数读取后得到以图像像素值组成的数组,这个数组即用来表达读取的原图像,然后通过MATLAB软件中的rgb2gray函数将原图像转换成灰度图像,通过灰度转换的处理,能够使获取的道路表面灰度图像中的缺陷清晰地体现不同对象的轮廓、纹理,从而利于后续的纹理特征提取;
S2.对路面缺陷灰度图像进行纹理特征提取,提取出特征值组成纹理特征向量,并以纹理特征向量表征路面缺陷灰度图像;
S4.将同一缺陷类别的纹理特征向量表征的路面缺陷灰度图像进行均分,形成训练集和测试集;取每一类道路表面缺陷所对应的灰度图像各100张,然后将每一类的灰度图像分成两份,每一份50张,一份为训练集,一份为测试集;
S5.以两个相同的自编码器构成栈式自编码器,并通过栈式自编码器对训练集进行高维抽象特征提取;
S6.将softmax layer逻辑分类层堆栈于栈式自编码器形成深度神经网络,通过深度神经网络对高维抽象特征进行训练,训练完成后,对测试集中的路面灰度图像完成分类识别,即当前图像属于四种路面缺陷中的哪一类;通过上述方法,能够对道路表面缺陷进行准确检测,提升结果的精确性,从而利于后续的治理措施进行制定,而且能够有效减少人工介入,节约人力成本,提高检测效率,尤其是能够保证工作人员的安全,而且能够有效避免检测过程中对交通运行的影响;其中,高维抽象特征指的是从特征向量即表征的图像中提取的能够综合表示该图像所有特点的特征值所组成的向量,且该向量具有更低的维数,即这种特征不仅仅能够反映图像纹理本质上的特点,还能突显纹理在形状、颜色变化、大小以及边缘等各个方面的特性。
本实施例中,还包括步骤S3:对纹理特征向量进行归一化处理,并通过如下公式进行:
其中,M为归一化处理后的纹理特征向量,a为待归一化处理的纹理特征向量的特征值,b为纹理特征向量中最大特征值,c为纹理特征向量中最小特征值,通过这种方式的处理,能够有效提高图像数据识别的准确性,并能够更加清楚的体现出特征值的差异性,利于后续的处理。
本实施例中,步骤S2中,包括如下步骤:
S21.采用灰度差分统计法对路面缺陷面灰度图像进行特征提取,并提取出三个特征值:差分平均值、差分对比度以及差分熵;
S22.采用Gabor算法对路面缺陷灰度图像进行特征提取,并提取出三个特征值:Gabor平均值、Gabor对比度和Gabor熵;
S23.采用灰度梯度法对路面缺陷灰度图像进行特征值提取,并提取出四个特征值:梯度平均值、梯度方差、梯度偏度和梯度峰度;
S24.采用灰度共生矩阵法对路面缺陷灰度图像进行特征提取,提取出五个特征值:能量、相关性、共生对比度、同质性和共生熵;
S25.采用灰度直方图法对路面缺陷灰度图像进行特征提取,提取出四个特征值:直方图均值、直方图方差、直方图偏度和直方图峰度;
S26.采用Tamura算法对路面缺陷灰度图像进行特征提取,提取出六个特征值:粗糙度、规整度、对比度、方向性、线性度和粗略度;
S27.将步骤S21-S26中所提取处的特征值按照提取顺序排列组成1×25阶表征路面缺陷灰度图像的纹理特征向量;通过上述方法,采用不同的方法提取出表征图像的不同特征值,然后将不同的特征值组合成特征向量来表征路面缺陷灰度图像,从而利于后续能够准确识别道路路面的缺陷,保证最终检测精确度。
在提取的路面图像中,由于路面图像的颜色特征、形状特征等都会随着路面图片采集过程中外部环境变化而变得不稳定,比如光线的变化等,因此,如何能够准确表征原图像的信息成为了一个技术难点;在本实施例中,通过6个特征提取法提取出25个纹理特征,然后依次按照如下顺序对这25个纹理特征值进行排列组成最终的1×25阶表征路面缺陷灰度图像的纹理特征向量:
直方图平均值、差分平均值、梯度平均值、Gabor平均值、能量、粗糙度、直方图方差、梯度方差、相关性、规整度、直方图偏度、梯度偏度、同质性、方向性、直方图峰度、梯度峰度、线性度、差分对比度、Gabor对比度、共生对比度、Tamura的对比度、粗略度、差分熵、Gabor熵、共生熵;通过上述方法的作用,能够从不同的角度提取出图像的纹理特征,从而能够完整的反应原图像,并且,通过25个纹理特征值准确反映处理路面图像在水平和垂直方向以及45等特殊角度上的纹理特征,从而精确地保证了图像信息的完整度,并且按照上述的排列方法,能够使得通过纹理特征向量表征的图像与原路面图像的性质完全相同,容易辨识,而且能够确保最终的检测结果准确性。
本实施例中,步骤S5中,自编码器由三层神经网络构成,分别是输入层、隐藏层和输出层,且自编码器的高维抽象特征提取训练过程如下:
从输入层到隐藏层的编码过程:
z=sigmoid(W(1)·x+v(1));其中,z为计算得到的新的抽象特征向量;sigmoid为编码过程的S型传递函数,W(1)为编码过程的权重矩阵,v(1)为编码过程的偏置向量,x为输入的训练集;
从隐藏层到输出层的解码过程:
其中,为解码后得到的输入数据的重构数据集,linear为解码过程中的线性传递函数,W(2)为解码过程的权重矩阵,v(2)为解码过程的偏置向量;
自编码器的输入数据与重构数据的误差调节:
;其中,K是输入数据的个数,是输入数据与输出数据的均方差总和,λ是正则化系数,L是隐藏层的数量,n是训练集的数量,k是训练集中变量的个数,是编码过程中训练集里样本j中变量i的权重矩阵,β是稀疏项系数,是神经元i的激活值和期望值ρ的交叉熵的K-L的散度,D(1)是编码的范围;在通过栈式自编码器进行高维抽象特征提取之前,需要进行自编码器的参数设置,其中:自编码器Ⅰ的参数设置:自编码器Ⅰ隐藏层的大小是10,表示在自编码器Ⅰ的隐藏层中神经元的个数;二次权重正则化的系数是0.01,即在提取高维抽象特征时赋予每个输入特征的分类权重系数;控制稀疏正则化影响系数是4,即控制高维特征向量因尽可能复现输入数据特征的稀疏程度;神经元所反映的训练样本的比例是0.05,即一个神经元与其对应需要处理的特征向量数的比例;解码器的变换函数是线性传递函数。
自动编码器Ⅱ的参数设置:自动编码器隐藏层的大小是9,表示在自编码器中的隐藏层中神经元的个数;二次权重正则化的系数是0.01,即在提取高维抽象特征时赋予每个输入特征的分类权重系数;控制稀疏正则化影响系数是4,即控制高维特征向量因尽可能复现输入数据特征的稀疏程度;神经元所反映的训练样本的比例是0.05,即一个神经元与其对应需要处理的特征向量数的比例;解码器的变换函数是线性传递函数;对自动缩放输入数据的自编码范围的设置。
本实施例中,softmax layer逻辑分类层的计算过程如下:
计算训练集中每一个特征向量对应的所属道路表面缺陷类型的概率:
其中,其中:x(i)是训练集中第i个表征的路面缺陷灰度图像,y(i)是该表征图像对应的缺陷所属的二进制数字标签;θ是softmax layer所有逻辑分类层计算得到的参数矩阵,p(y(i)=k|x(i);θ)是该表征图像对应的所属道路表面缺陷类型的概率;是表征路面缺陷图像i对应逻辑分类层1,…,逻辑分类层k的参数矩阵的转置,则是该转置参数矩阵的指数函数预算;
对深度神经网络通过如下公式进行微调:
其中,m是预估的表征图像即特征向量的数量,k是道路缺陷的种类数,1{y(i)=j}是表征图像i是否为对应缺陷种类j的判断函数;是表征路面缺陷图像i所对应类别j的概率矩阵的转置,是该转置矩阵的指数函数预算;由于softmax layer逻辑分类层通过一个假设的方程计算出输入数据所对应每一类缺陷的概率值大小,然后选择概率最大值所对应的类作为该数据的缺陷类型,实现数据的分类,同时类别之间严格互斥,即一个数据不会同时属于两种类型,因此,通过这种方式,能够准确识别出道路路面缺陷的类型,从而利于后续的治理措施的制定。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种基于纹理特征提取的道路表面缺陷检测方法,其特征在于:包括如下步骤:
S1.获取具有路面缺陷的图像并进行灰度处理形成路面缺陷灰度图像;
S2.对路面缺陷灰度图像进行纹理特征提取,提取出特征值组成纹理特征向量,并以纹理特征向量表征路面缺陷灰度图像;
S4.将同一缺陷类别的纹理特征向量表征的路面缺陷灰度图像进行均分,形成训练集和测试集;
S5.以两个相同的自编码器构成栈式自编码器,并通过栈式自编码器对训练集进行高维抽象特征提取;
S6.将softmax layer逻辑分类层堆栈于栈式自编码器形成深度神经网络,通过深度神经网络对高维抽象特征进行训练,训练完成后,对测试集中的路面灰度图像完成分类识别。
2.根据权利要求1所述基于纹理特征提取的道路表面缺陷检测方法,其特征在于:还包括步骤S3:对纹理特征向量进行归一化处理,并通过如下公式进行:
其中,M为归一化处理后的纹理特征向量,a为待归一化处理的纹理特征向量,b为纹理特征向量中最大特征值,c为纹理特征向量中最小特征值。
3.根据权利要求1所述基于纹理特征提取的道路表面缺陷检测方法,其特征在于:获取的路面缺陷包括坑槽、龟裂、裂纹和松散。
4.根据权利要求1所述基于纹理特征提取的道路表面缺陷检测方法,其特征在于:步骤S2中,包括如下步骤:
S21.采用灰度差分统计法对路面缺陷面灰度图像进行特征提取,并提取出三个特征值:差分平均值、差分对比度以及差分熵;
S22.采用Gabor算法对路面缺陷灰度图像进行特征提取,并提取出三个特征值:Gabor平均值、Gabor对比度和Gabor熵;
S23.采用灰度梯度法对路面缺陷灰度图像进行特征值提取,并提取出四个特征值:梯度平均值、梯度方差、梯度偏度和梯度峰度;
S24.采用灰度共生矩阵法对路面缺陷灰度图像进行特征提取,提取出五个特征值:能量、相关性、共生对比度、同质性和共生熵;
S25.采用灰度直方图法对路面缺陷灰度图像进行特征提取,提取出四个特征值:直方图均值、直方图方差、直方图偏度和直方图峰度;
S26.采用Tamura算法对路面缺陷灰度图像进行特征提取,提取出六个特征值:粗糙度、规整度、对比度、方向性、线性度和粗略度;
S27.将步骤S21-S26中所提取处的特征值排列组成1×25阶表征路面缺陷灰度图像的纹理特征向量。
5.根据权利要求4所述基于纹理特征提取的道路表面缺陷检测方法,其特征在于:步骤S27中,按照如下顺序对各特征值进行排列形成1×25阶表征路面缺陷灰度图像的纹理特征向量:
直方图平均值、差分平均值、梯度平均值、Gabor平均值、能量、粗糙度、直方图方差、梯度方差、相关性、规整度、直方图偏度、梯度偏度、同质性、方向性、直方图峰度、梯度峰度、线性度、差分对比度、Gabor对比度、共生对比度、Tamura的对比度、粗略度、差分熵、Gabor熵、共生熵。
6.根据权利要求1所述基于纹理特征提取的道路表面缺陷检测方法,其特征在于:步骤S5中,自编码器由三层神经网络构成,分别是输入层、隐藏层和输出层,且自编码器的高维抽象特征提取训练过程如下:
从输入层到隐藏层的编码过程:
z=sigmoid(W(1)·x+v(1));其中,z为计算得到的新的抽象特征向量;sigmoid为编码过程的S型传递函数,W(1)为编码过程的权重矩阵,v(1)为编码过程的偏置向量,x为输入的训练集;
从隐藏层到输出层的解码过程:
其中,为解码后得到的输入数据的重构数据集,linear为解码过程中的线性传递函数,W(2)为解码过程的权重矩阵,v(2)为解码过程的偏置向量;
自编码器的输入数据与重构数据的误差调节:
;其中,K是输入数据的个数,是输入数据与输出数据的均方差总和,λ是正则化系数,L是隐藏层的数量,n是训练集的数量,k是训练集中变量的个数,是编码过程中训练集里样本j中变量i的权重矩阵,β是稀疏项系数,是神经元i的激活值和期望值ρ的交叉熵的K-L的散度,D(1)是编码的范围。
7.根据权利要求1所述的基于纹理特征提取的道路表面缺陷检测方法,其特征在于:softmax layer逻辑分类层的计算过程如下:
计算训练集中每一个特征向量对应的所属道路表面缺陷类型的概率:
其中,其中:x(i)是训练集中第i个表征的路面缺陷灰度图像,y(i)是该表征图像对应的缺陷所属的二进制数字标签;θ是softmax layer所有逻辑分类层计算得到的参数矩阵,p(y(i)=k|x(i);θ)是该表征图像对应的所属道路表面缺陷类型的概率;是表征路面缺陷图像i对应逻辑分类层1,…,逻辑分类层k的参数矩阵的转置,则是该转置参数矩阵的指数函数预算;
对深度神经网络通过如下公式进行微调:
其中,m是预估的表征图像即特征向量的数量,k是道路缺陷的种类数,1{y(i)=j}是表征图像i是否为对应缺陷种类j的判断函数;是表征路面缺陷图像i所对应类别j的概率矩阵的转置,是该转置矩阵的指数函数预算。
CN201711167478.3A 2017-11-21 2017-11-21 基于纹理特征提取的道路表面缺陷检测方法 Expired - Fee Related CN107945161B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711167478.3A CN107945161B (zh) 2017-11-21 2017-11-21 基于纹理特征提取的道路表面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711167478.3A CN107945161B (zh) 2017-11-21 2017-11-21 基于纹理特征提取的道路表面缺陷检测方法

Publications (2)

Publication Number Publication Date
CN107945161A true CN107945161A (zh) 2018-04-20
CN107945161B CN107945161B (zh) 2020-10-23

Family

ID=61930548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711167478.3A Expired - Fee Related CN107945161B (zh) 2017-11-21 2017-11-21 基于纹理特征提取的道路表面缺陷检测方法

Country Status (1)

Country Link
CN (1) CN107945161B (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765404A (zh) * 2018-05-31 2018-11-06 南京行者易智能交通科技有限公司 一种基于深度学习图像分类的道路破损检测方法及装置
CN109145993A (zh) * 2018-08-27 2019-01-04 大连理工大学 基于多特征与非负自动编码器的sar图像分类方法
CN109255792A (zh) * 2018-08-02 2019-01-22 广州市鑫广飞信息科技有限公司 一种视频图像的分割方法、装置、终端设备及存储介质
CN109584286A (zh) * 2019-01-22 2019-04-05 东南大学 一种基于广义回归神经网络的沥青路面构造深度计算方法
CN109670392A (zh) * 2018-09-04 2019-04-23 中国人民解放军陆军工程大学 基于混合自动编码器道路图像语义分割方法
CN110119687A (zh) * 2019-04-17 2019-08-13 浙江工业大学 基于图像处理和卷积神经网络相结合的道路表面裂痕缺陷的检测方法
CN110176000A (zh) * 2019-06-03 2019-08-27 斑马网络技术有限公司 道路质量检测方法及装置、存储介质、电子设备
CN110992336A (zh) * 2019-12-02 2020-04-10 东莞西尼自动化科技有限公司 基于图像处理和人工智能的小样本缺陷检测方法
CN111028210A (zh) * 2019-11-25 2020-04-17 北京航天控制仪器研究所 基于稀疏自动编码器的深度神经网络玻璃管端面缺陷检测方法
CN111127424A (zh) * 2019-12-23 2020-05-08 交通运输部科学研究院 一种道路施工安全风险监测方法及***
CN111179263A (zh) * 2020-01-06 2020-05-19 宜通世纪物联网研究院(广州)有限公司 一种工业图像表面缺陷检测模型、方法、***及装置
CN111767874A (zh) * 2020-07-06 2020-10-13 中兴飞流信息科技有限公司 一种基于深度学习的路面病害检测方法
CN111797687A (zh) * 2020-06-02 2020-10-20 上海市城市建设设计研究总院(集团)有限公司 基于无人机航摄的道路损坏状况提取方法
CN112102254A (zh) * 2020-08-21 2020-12-18 佛山职业技术学院 基于机器视觉的木材表面缺陷检测方法与***
CN112098417A (zh) * 2020-09-07 2020-12-18 中国工程物理研究院激光聚变研究中心 环形抛光中沥青抛光盘表面钝化状态在线监测装置与方法
CN112418198A (zh) * 2021-01-25 2021-02-26 城云科技(中国)有限公司 基于灰度图能量值的人行走道的地砖起伏缺陷检测方法
CN113112458A (zh) * 2021-03-27 2021-07-13 上海工程技术大学 一种基于支持向量机的金属表面缺陷检测方法
CN113502721A (zh) * 2021-08-10 2021-10-15 重庆大学 一种基于路面纹理的路面性能确定方法及***
CN113505865A (zh) * 2021-09-10 2021-10-15 浙江双元科技股份有限公司 一种基于卷积神经网络的片材表面缺陷图像识别处理方法
CN113780259A (zh) * 2021-11-15 2021-12-10 中移(上海)信息通信科技有限公司 一种路面缺陷检测方法、装置、电子设备和可读存储介质
CN114370844A (zh) * 2021-12-20 2022-04-19 包头钢铁(集团)有限责任公司 一种板材表面特征值均匀度统计方法
CN114663767A (zh) * 2022-04-03 2022-06-24 国交空间信息技术(北京)有限公司 一种遥感影像沙埋路段识别方法
CN115937595A (zh) * 2022-12-20 2023-04-07 中交公路长大桥建设国家工程研究中心有限公司 一种基于智能数据处理的桥梁表观异常识别方法及***
CN117474909A (zh) * 2023-12-27 2024-01-30 深圳市信来誉包装有限公司 基于机器视觉的包装纸盒瑕疵检测方法
CN118015002A (zh) * 2024-04-10 2024-05-10 盈客通天下科技(大连)有限公司 一种交通工程路况视觉检测方法及***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508110A (zh) * 2011-10-10 2012-06-20 上海大学 基于纹理的绝缘子缺陷诊断方法
CN104866862A (zh) * 2015-04-27 2015-08-26 中南大学 一种带钢表面面积型缺陷识别分类的方法
CN105719259A (zh) * 2016-02-19 2016-06-29 上海理工大学 路面裂缝图像检测方法
CN105957092A (zh) * 2016-05-31 2016-09-21 福州大学 用于计算机辅助诊断的乳腺钼靶图像特征自学习提取方法
US20170076224A1 (en) * 2015-09-15 2017-03-16 International Business Machines Corporation Learning of classification model
CN106599810A (zh) * 2016-12-05 2017-04-26 电子科技大学 一种基于栈式自编码的头部姿态估计方法
CN106910186A (zh) * 2017-01-13 2017-06-30 陕西师范大学 一种基于cnn深度学习的桥梁裂缝检测定位方法
CN107133960A (zh) * 2017-04-21 2017-09-05 武汉大学 基于深度卷积神经网络的图像裂缝分割方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508110A (zh) * 2011-10-10 2012-06-20 上海大学 基于纹理的绝缘子缺陷诊断方法
CN104866862A (zh) * 2015-04-27 2015-08-26 中南大学 一种带钢表面面积型缺陷识别分类的方法
US20170076224A1 (en) * 2015-09-15 2017-03-16 International Business Machines Corporation Learning of classification model
CN105719259A (zh) * 2016-02-19 2016-06-29 上海理工大学 路面裂缝图像检测方法
CN105957092A (zh) * 2016-05-31 2016-09-21 福州大学 用于计算机辅助诊断的乳腺钼靶图像特征自学习提取方法
CN106599810A (zh) * 2016-12-05 2017-04-26 电子科技大学 一种基于栈式自编码的头部姿态估计方法
CN106910186A (zh) * 2017-01-13 2017-06-30 陕西师范大学 一种基于cnn深度学习的桥梁裂缝检测定位方法
CN107133960A (zh) * 2017-04-21 2017-09-05 武汉大学 基于深度卷积神经网络的图像裂缝分割方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ALIREZA MAKHZANI 等: "Adversarial Autoencoders", 《ARXIV PREPRINT ARXIV:1511.05644》 *
DIEDERIK P. KINGMA: "Auto-Encoding Variational Bayes", 《ARXIV:1312.6114V10》 *
徐婷 等: "基于改进神经网络的机器视觉的路面破损检测***研究", 《公路》 *
王斌: "医学图像检索的特征提取算法的开发与应用", 《中国优秀硕士学位论文全文数据库-信息科技辑》 *
鲁亚平: "面向深度网络的自编码器研究", 《中国优秀硕士学位论文全文数据库-信息科技辑》 *

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765404A (zh) * 2018-05-31 2018-11-06 南京行者易智能交通科技有限公司 一种基于深度学习图像分类的道路破损检测方法及装置
CN109255792A (zh) * 2018-08-02 2019-01-22 广州市鑫广飞信息科技有限公司 一种视频图像的分割方法、装置、终端设备及存储介质
CN109145993A (zh) * 2018-08-27 2019-01-04 大连理工大学 基于多特征与非负自动编码器的sar图像分类方法
CN109145993B (zh) * 2018-08-27 2021-05-07 大连理工大学 基于多特征与非负自动编码器的sar图像分类方法
CN109670392A (zh) * 2018-09-04 2019-04-23 中国人民解放军陆军工程大学 基于混合自动编码器道路图像语义分割方法
CN109584286A (zh) * 2019-01-22 2019-04-05 东南大学 一种基于广义回归神经网络的沥青路面构造深度计算方法
CN109584286B (zh) * 2019-01-22 2023-03-21 东南大学 一种基于广义回归神经网络的沥青路面构造深度计算方法
CN110119687A (zh) * 2019-04-17 2019-08-13 浙江工业大学 基于图像处理和卷积神经网络相结合的道路表面裂痕缺陷的检测方法
CN110176000A (zh) * 2019-06-03 2019-08-27 斑马网络技术有限公司 道路质量检测方法及装置、存储介质、电子设备
CN111028210A (zh) * 2019-11-25 2020-04-17 北京航天控制仪器研究所 基于稀疏自动编码器的深度神经网络玻璃管端面缺陷检测方法
CN110992336A (zh) * 2019-12-02 2020-04-10 东莞西尼自动化科技有限公司 基于图像处理和人工智能的小样本缺陷检测方法
CN111127424A (zh) * 2019-12-23 2020-05-08 交通运输部科学研究院 一种道路施工安全风险监测方法及***
CN111179263A (zh) * 2020-01-06 2020-05-19 宜通世纪物联网研究院(广州)有限公司 一种工业图像表面缺陷检测模型、方法、***及装置
CN111179263B (zh) * 2020-01-06 2023-10-13 广东宜通联云智能信息有限公司 一种工业图像表面缺陷检测模型、方法、***及装置
CN111797687A (zh) * 2020-06-02 2020-10-20 上海市城市建设设计研究总院(集团)有限公司 基于无人机航摄的道路损坏状况提取方法
CN111767874A (zh) * 2020-07-06 2020-10-13 中兴飞流信息科技有限公司 一种基于深度学习的路面病害检测方法
CN111767874B (zh) * 2020-07-06 2024-02-13 中兴飞流信息科技有限公司 一种基于深度学习的路面病害检测方法
CN112102254A (zh) * 2020-08-21 2020-12-18 佛山职业技术学院 基于机器视觉的木材表面缺陷检测方法与***
CN112098417A (zh) * 2020-09-07 2020-12-18 中国工程物理研究院激光聚变研究中心 环形抛光中沥青抛光盘表面钝化状态在线监测装置与方法
CN112418198B (zh) * 2021-01-25 2021-04-13 城云科技(中国)有限公司 基于灰度图能量值的人行走道的地砖起伏缺陷检测方法
CN112418198A (zh) * 2021-01-25 2021-02-26 城云科技(中国)有限公司 基于灰度图能量值的人行走道的地砖起伏缺陷检测方法
CN113112458A (zh) * 2021-03-27 2021-07-13 上海工程技术大学 一种基于支持向量机的金属表面缺陷检测方法
CN113502721A (zh) * 2021-08-10 2021-10-15 重庆大学 一种基于路面纹理的路面性能确定方法及***
CN113505865B (zh) * 2021-09-10 2021-12-07 浙江双元科技股份有限公司 一种基于卷积神经网络的片材表面缺陷图像识别处理方法
CN113505865A (zh) * 2021-09-10 2021-10-15 浙江双元科技股份有限公司 一种基于卷积神经网络的片材表面缺陷图像识别处理方法
CN113780259A (zh) * 2021-11-15 2021-12-10 中移(上海)信息通信科技有限公司 一种路面缺陷检测方法、装置、电子设备和可读存储介质
CN114370844A (zh) * 2021-12-20 2022-04-19 包头钢铁(集团)有限责任公司 一种板材表面特征值均匀度统计方法
CN114370844B (zh) * 2021-12-20 2024-03-22 包头钢铁(集团)有限责任公司 一种板材表面特征值均匀度统计方法
CN114663767A (zh) * 2022-04-03 2022-06-24 国交空间信息技术(北京)有限公司 一种遥感影像沙埋路段识别方法
CN115937595A (zh) * 2022-12-20 2023-04-07 中交公路长大桥建设国家工程研究中心有限公司 一种基于智能数据处理的桥梁表观异常识别方法及***
CN117474909A (zh) * 2023-12-27 2024-01-30 深圳市信来誉包装有限公司 基于机器视觉的包装纸盒瑕疵检测方法
CN117474909B (zh) * 2023-12-27 2024-04-05 深圳市信来誉包装有限公司 基于机器视觉的包装纸盒瑕疵检测方法
CN118015002A (zh) * 2024-04-10 2024-05-10 盈客通天下科技(大连)有限公司 一种交通工程路况视觉检测方法及***

Also Published As

Publication number Publication date
CN107945161B (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
CN107945161A (zh) 基于纹理特征提取的道路表面缺陷检测方法
CN109145830B (zh) 一种智能水尺识别方法
CN104346617B (zh) 一种基于滑动窗口和深度结构提取特征的细胞检测方法
CN104462494B (zh) 一种基于无监督特征学习的遥感图像检索方法及***
CN111639587B (zh) 基于多尺度谱空卷积神经网络的高光谱图像分类方法
CN109840483B (zh) 一种滑坡裂缝检测与识别的方法及装置
CN113554629A (zh) 基于人工智能的带钢红锈缺陷检测方法
CN106355579A (zh) 烟条表面褶皱的缺陷检测方法
CN112307919B (zh) 一种基于改进YOLOv3的单证图像中数字信息区域识别方法
CN115841447A (zh) 一种磁瓦表面缺陷的检测方法
CN109543585A (zh) 基于卷积神经网络的水下光学目标检测与识别方法
CN109034184A (zh) 一种基于深度学习的均压环检测识别方法
CN111127360A (zh) 一种基于自动编码器的灰度图像迁移学习方法
CN113111716A (zh) 一种基于深度学习的遥感影像半自动标注方法和装置
CN109902751B (zh) 融合卷积神经网络和半字模板匹配的表盘数字字符识别法
Kaya et al. An automatic identification method for the comparison of plant and honey pollen based on GLCM texture features and artificial neural network
Yusof et al. Tropical wood species recognition system based on gabor filter as image multiplier
CN113313678A (zh) 一种基于多尺度特征融合的***形态学自动分析方法
CN116993639A (zh) 基于结构重参数化的可见光与红外图像融合方法
CN116797602A (zh) 一种用于工业产品检测的表面缺陷鉴定方法和装置
CN116882486A (zh) 一种迁移学习权重的构建方法和装置及设备
CN116452408A (zh) 一种基于风格迁移的透明液体感知方法
CN115240030A (zh) 一种基于深度卷积神经网络的齿轮磨削烧伤分割方法
CN116228661A (zh) 布匹瑕疵在线检测方法及***
CN114821098A (zh) 一种基于灰度梯度融合特征及cnn的高速路面破损检测算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201023