CN107945161B - 基于纹理特征提取的道路表面缺陷检测方法 - Google Patents
基于纹理特征提取的道路表面缺陷检测方法 Download PDFInfo
- Publication number
- CN107945161B CN107945161B CN201711167478.3A CN201711167478A CN107945161B CN 107945161 B CN107945161 B CN 107945161B CN 201711167478 A CN201711167478 A CN 201711167478A CN 107945161 B CN107945161 B CN 107945161B
- Authority
- CN
- China
- Prior art keywords
- road surface
- gray level
- extracting
- image
- defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000007547 defect Effects 0.000 title claims abstract description 110
- 238000001514 detection method Methods 0.000 title claims abstract description 29
- 238000000605 extraction Methods 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 66
- 239000013598 vector Substances 0.000 claims abstract description 54
- 238000012549 training Methods 0.000 claims abstract description 39
- 238000013528 artificial neural network Methods 0.000 claims abstract description 14
- 238000012360 testing method Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 27
- 238000012512 characterization method Methods 0.000 claims description 10
- 210000002569 neuron Anatomy 0.000 claims description 9
- 238000012546 transfer Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 3
- 238000007619 statistical method Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Signal Processing (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Probability & Statistics with Applications (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明提供的一种基于纹理特征提取的道路表面缺陷检测方法,包括如下步骤:获取具有路面缺陷的图像并进行灰度处理形成路面缺陷灰度图像;对路面缺陷灰度图像进行纹理特征提取,提取出特征值组成纹理特征向量,将同一缺陷类别的纹理特征向量表征的路面缺陷灰度图像进行均分,形成训练集和测试集;并通过栈式自编码器对训练集进行高维抽象特征提取;将softmax layer逻辑分类层堆栈于栈式自编码器形成深度神经网络,通过深度神经网络对高维抽象特征进行训练,对测试集中的路面灰度图像完成分类识别;能够对道路表面缺陷进行准确检测,提升结果的精确性。
Description
技术领域
本发明涉及一种道路表面缺陷检测方法,尤其涉及一种基于纹理特征提取的道路表面缺陷检测方法。
背景技术
道路的表面缺陷检测是保证交通正常运行的重要保障,现有技术中,对于道路表面缺陷检测包括如下方法:超声波、探测雷达、激光三角测量、人工检测、机器视觉等;上述中的检测方法中,存在如下缺陷:首先,人工介入较多,浪费人力,效率低,工作强度大,而且在检测过程中难以实现交通隔离,从而为工作人员带来严重的安全隐患;其次,现有的检测方法难以保证检测结果的准确性:由于路况收到环境的影响,自然环境中对于检测中的参数存在较为严重的干扰,为了提出干扰,使得计算过程复杂,难度大。
因此,需要提出一种新的道路表面缺陷检测方法,能够对道路表面缺陷进行准确检测,提升结果的精确性,从而利于后续的治理措施进行制定,而且能够有效减少人工介入,节约人力成本,提高检测效率,尤其是能够保证工作人员的安全,而且能够有效避免检测过程中对交通运行的影响。
发明内容
有鉴于此,本发明的目的是提出一种基于纹理特征提取的道路表面缺陷检测方法,能够对道路表面缺陷进行准确检测,提升结果的精确性,从而利于后续的治理措施进行制定,而且能够有效减少人工介入,节约人力成本,提高检测效率,尤其是能够保证工作人员的安全,而且能够有效避免检测过程中对交通运行的影响。
本发明提供的一种基于纹理特征提取的道路表面缺陷检测方法,包括如下步骤:
S1.获取具有路面缺陷的图像并进行灰度处理形成路面缺陷灰度图像;
S2.对路面缺陷灰度图像进行纹理特征提取,提取出特征值组成纹理特征向量,并以纹理特征向量表征路面缺陷灰度图像;
S4.将同一缺陷类别的纹理特征向量表征的路面缺陷灰度图像进行均分,形成训练集和测试集;
S5.以两个相同的自编码器构成栈式自编码器,并通过栈式自编码器对训练集进行高维抽象特征提取;
S6.将softmax layer逻辑分类层堆栈于栈式自编码器形成深度神经网络,通过深度神经网络对高维抽象特征进行训练,训练完成后,对测试集中的路面灰度图像完成分类识别。
进一步,还包括步骤S3:对纹理特征向量进行归一化处理,并通过如下公式进行:
进一步,路面缺陷包括坑槽、龟裂、裂纹和松散。
进一步,步骤S2中,包括如下步骤:
S21.采用灰度差分统计法对路面缺陷面灰度图像进行特征提取,并提取出三个特征值:差分平均值、差分对比度以及差分熵;
S22.采用Gabor算法对路面缺陷灰度图像进行特征提取,并提取出三个特征值:Gabor平均值、Gabor对比度和Gabor熵;
S23.采用灰度梯度法对路面缺陷灰度图像进行特征值提取,并提取出四个特征值:梯度平均值、梯度方差、梯度偏度和梯度峰度;
S24.采用灰度共生矩阵法对路面缺陷灰度图像进行特征提取,提取出五个特征值:能量、相关性、共生对比度、同质性和共生熵;
S25.采用灰度直方图法对路面缺陷灰度图像进行特征提取,提取出四个特征值:直方图均值、直方图方差、直方图偏度和直方图峰度;
S26.采用Tamura算法对路面缺陷灰度图像进行特征提取,提取出六个特征值:粗糙度、规整度、对比度、方向性、线性度和粗略度;
S27.将步骤S21-S26中所提取处的特征值按照提取顺序排列组成1×25阶表征路面缺陷灰度图像的纹理特征向量。
进一步,步骤S27中,按照如下顺序对各特征值进行排列形成1×25阶表征路面缺陷灰度图像的纹理特征向量:
直方图平均值、差分平均值、梯度平均值、Gabor平均值、能量、粗糙度、直方图方差、梯度方差、相关性、规整度、直方图偏度、梯度偏度、同质性、方向性、直方图峰度、梯度峰度、线性度、差分对比度、Gabor对比度、共生对比度、Tamura的对比度、粗略度、差分熵、Gabor熵、共生熵。
进一步,步骤S5中,自编码器由三层神经网络构成,分别是输入层、隐藏层和输出层,且自编码器的高维抽象特征提取训练过程如下:
从输入层到隐藏层的编码过程:
z=sigmoid(W(1)·x+v(1));其中,z为计算得到的新的抽象特征向量;sigmoid为编码过程的S型传递函数,W(1)为编码过程的权重矩阵,v(1)为编码过程的偏置向量,x为输入的训练集;
从隐藏层到输出层的解码过程:
自编码器的输入数据与重构数据的误差调节:
其中,K是输入数据的个数,是输入数据与输出数据的均方差总和,λ是正则化系数,L是隐藏层的数量,n是训练集的数量,k是训练集中变量的个数,是编码过程中训练集里样本j中变量i的权重矩阵,β是稀疏项系数,是神经元i的激活值和期望值ρ的交叉熵的K-L的散度,D(1)是编码的范围。
进一步,softmax layer逻辑分类层的计算过程如下:
计算训练集中每一个特征向量对应的所属道路表面缺陷类型的概率:
其中,其中:x(i)是训练集中第i个表征的路面缺陷灰度图像,y(i)是该表征图像对应的缺陷所属的二进制数字标签;θ是softmax layer所有逻辑分类层计算得到的参数矩阵,p(y(i)=k|x(i);θ)是该表征图像对应的所属道路表面缺陷类型的概率;是表征路面缺陷图像i对应逻辑分类层1,…,逻辑分类层k的参数矩阵的转置,则是该转置参数矩阵的指数函数预算;
对深度神经网络通过如下公式进行微调:
其中,其中,m是预估的表征图像即特征向量的数量,k是道路缺陷的种类数,1{y(i)=j}是表征图像i是否为对应缺陷种类j的判断函数;是表征路面缺陷图像i所对应类别j的概率矩阵的转置,是该转置矩阵的指数函数预算。
本发明的有益效果:通过本发明,能够对道路表面缺陷进行准确检测,提升结果的精确性,从而利于后续的治理措施进行制定,而且能够有效减少人工介入,节约人力成本,提高检测效率,尤其是能够保证工作人员的安全,而且能够有效避免检测过程中对交通运行的影响。
附图说明
下面结合附图和实施例对本发明作进一步描述:
图1为本发明的流程图。
图2为本发明的栈式自编码器的结构示意图。
图3为本发明的堆栈式自编码器的工作流程示意图。
具体实施方式
以下结合说明书附图对本发明进行进一步详细阐述,如图所示:
本发明提供的一种基于纹理特征提取的道路表面缺陷检测方法,包括如下步骤:
S1.获取具有路面缺陷的图像并进行灰度处理形成路面缺陷灰度图像;在采集图像过程中,采用德国的MantaG-419型工业高清摄像机进行路面缺陷视频拍摄,高清摄像机拍摄的初始物距定为3米,根据需要再进行手动调焦,直至调整到清晰出现缺陷纹理即可。为了获取道路表面缺陷图像,需用AE软件将采集到的路面缺陷视频转换成一帧一帧的图像,转换时设置每秒24帧的速率,且选择图像保存格式成为“PNG”,保存完成后道路表面缺陷图像得以获取。对采集的凸显路面缺陷的所有图像按缺陷类别分类,其中,路面缺陷类别包括坑槽、龟裂、裂纹和松散,每一类缺陷筛选出至少100张图像,将筛选出的图像进行分辨率调节,采用200dpi分辨率,且像素为900×900,且图像大小为900像素×900像素,裁剪所获得的所有道路表面缺陷图像尺寸为2.25×2.25英寸,处理完成后所有图像形成道路表面缺陷的图像数据库;然后对图像数据库中的图像进一步进行灰度转换处理:通过MATLAB软件中的imread函数读取图像数据库中的图像,该函数读取后得到以图像像素值组成的数组,这个数组即用来表达读取的原图像,然后通过MATLAB软件中的rgb2gray函数将原图像转换成灰度图像,通过灰度转换的处理,能够使获取的道路表面灰度图像中的缺陷清晰地体现不同对象的轮廓、纹理,从而利于后续的纹理特征提取;
S2.对路面缺陷灰度图像进行纹理特征提取,提取出特征值组成纹理特征向量,并以纹理特征向量表征路面缺陷灰度图像;
S4.将同一缺陷类别的纹理特征向量表征的路面缺陷灰度图像进行均分,形成训练集和测试集;取每一类道路表面缺陷所对应的灰度图像各100张,然后将每一类的灰度图像分成两份,每一份50张,一份为训练集,一份为测试集;
S5.以两个相同的自编码器构成栈式自编码器,并通过栈式自编码器对训练集进行高维抽象特征提取;
S6.将softmax layer逻辑分类层堆栈于栈式自编码器形成深度神经网络,通过深度神经网络对高维抽象特征进行训练,训练完成后,对测试集中的路面灰度图像完成分类识别,即当前图像属于四种路面缺陷中的哪一类;通过上述方法,能够对道路表面缺陷进行准确检测,提升结果的精确性,从而利于后续的治理措施进行制定,而且能够有效减少人工介入,节约人力成本,提高检测效率,尤其是能够保证工作人员的安全,而且能够有效避免检测过程中对交通运行的影响;其中,高维抽象特征指的是从特征向量即表征的图像中提取的能够综合表示该图像所有特点的特征值所组成的向量,且该向量具有更低的维数,即这种特征不仅仅能够反映图像纹理本质上的特点,还能突显纹理在形状、颜色变化、大小以及边缘等各个方面的特性。
本实施例中,还包括步骤S3:对纹理特征向量进行归一化处理,并通过如下公式进行:
其中,M为归一化处理后的纹理特征向量,a为待归一化处理的纹理特征向量的特征值,b为纹理特征向量中最大特征值,c为纹理特征向量中最小特征值,通过这种方式的处理,能够有效提高图像数据识别的准确性,并能够更加清楚的体现出特征值的差异性,利于后续的处理。
本实施例中,步骤S2中,包括如下步骤:
S21.采用灰度差分统计法对路面缺陷面灰度图像进行特征提取,并提取出三个特征值:差分平均值、差分对比度以及差分熵;
S22.采用Gabor算法对路面缺陷灰度图像进行特征提取,并提取出三个特征值:Gabor平均值、Gabor对比度和Gabor熵;
S23.采用灰度梯度法对路面缺陷灰度图像进行特征值提取,并提取出四个特征值:梯度平均值、梯度方差、梯度偏度和梯度峰度;
S24.采用灰度共生矩阵法对路面缺陷灰度图像进行特征提取,提取出五个特征值:能量、相关性、共生对比度、同质性和共生熵;
S25.采用灰度直方图法对路面缺陷灰度图像进行特征提取,提取出四个特征值:直方图均值、直方图方差、直方图偏度和直方图峰度;
S26.采用Tamura算法对路面缺陷灰度图像进行特征提取,提取出六个特征值:粗糙度、规整度、对比度、方向性、线性度和粗略度;
S27.将步骤S21-S26中所提取处的特征值按照提取顺序排列组成1×25阶表征路面缺陷灰度图像的纹理特征向量;通过上述方法,采用不同的方法提取出表征图像的不同特征值,然后将不同的特征值组合成特征向量来表征路面缺陷灰度图像,从而利于后续能够准确识别道路路面的缺陷,保证最终检测精确度。
在提取的路面图像中,由于路面图像的颜色特征、形状特征等都会随着路面图片采集过程中外部环境变化而变得不稳定,比如光线的变化等,因此,如何能够准确表征原图像的信息成为了一个技术难点;在本实施例中,通过6个特征提取法提取出25个纹理特征,然后依次按照如下顺序对这25个纹理特征值进行排列组成最终的1×25阶表征路面缺陷灰度图像的纹理特征向量:
直方图平均值、差分平均值、梯度平均值、Gabor平均值、能量、粗糙度、直方图方差、梯度方差、相关性、规整度、直方图偏度、梯度偏度、同质性、方向性、直方图峰度、梯度峰度、线性度、差分对比度、Gabor对比度、共生对比度、Tamura的对比度、粗略度、差分熵、Gabor熵、共生熵;通过上述方法的作用,能够从不同的角度提取出图像的纹理特征,从而能够完整的反应原图像,并且,通过25个纹理特征值准确反映处理路面图像在水平和垂直方向以及45等特殊角度上的纹理特征,从而精确地保证了图像信息的完整度,并且按照上述的排列方法,能够使得通过纹理特征向量表征的图像与原路面图像的性质完全相同,容易辨识,而且能够确保最终的检测结果准确性。
本实施例中,步骤S5中,自编码器由三层神经网络构成,分别是输入层、隐藏层和输出层,且自编码器的高维抽象特征提取训练过程如下:
从输入层到隐藏层的编码过程:
z=sigmoid(W(1)·x+v(1));其中,z为计算得到的新的抽象特征向量;sigmoid为编码过程的S型传递函数,W(1)为编码过程的权重矩阵,v(1)为编码过程的偏置向量,x为输入的训练集;
从隐藏层到输出层的解码过程:
自编码器的输入数据与重构数据的误差调节:
其中,K是输入数据的个数,是输入数据与输出数据的均方差总和,λ是正则化系数,L是隐藏层的数量,n是训练集的数量,k是训练集中变量的个数,是编码过程中训练集里样本j中变量i的权重矩阵,β是稀疏项系数,是神经元i的激活值和期望值ρ的交叉熵的K-L的散度,D(1)是编码的范围;在通过栈式自编码器进行高维抽象特征提取之前,需要进行自编码器的参数设置,其中:自编码器Ⅰ的参数设置:自编码器Ⅰ隐藏层的大小是10,表示在自编码器Ⅰ的隐藏层中神经元的个数;二次权重正则化的系数是0.01,即在提取高维抽象特征时赋予每个输入特征的分类权重系数;控制稀疏正则化影响系数是4,即控制高维特征向量因尽可能复现输入数据特征的稀疏程度;神经元所反映的训练样本的比例是0.05,即一个神经元与其对应需要处理的特征向量数的比例;解码器的变换函数是线性传递函数。
自动编码器Ⅱ的参数设置:自动编码器隐藏层的大小是9,表示在自编码器中的隐藏层中神经元的个数;二次权重正则化的系数是0.01,即在提取高维抽象特征时赋予每个输入特征的分类权重系数;控制稀疏正则化影响系数是4,即控制高维特征向量因尽可能复现输入数据特征的稀疏程度;神经元所反映的训练样本的比例是0.05,即一个神经元与其对应需要处理的特征向量数的比例;解码器的变换函数是线性传递函数;对自动缩放输入数据的自编码范围的设置。
本实施例中,softmax layer逻辑分类层的计算过程如下:
计算训练集中每一个特征向量对应的所属道路表面缺陷类型的概率:
其中,其中:x(i)是训练集中第i个表征的路面缺陷灰度图像,y(i)是该表征图像对应的缺陷所属的二进制数字标签;θ是softmax layer所有逻辑分类层计算得到的参数矩阵,p(y(i)=k|x(i);θ)是该表征图像对应的所属道路表面缺陷类型的概率;是表征路面缺陷图像i对应逻辑分类层1,…,逻辑分类层k的参数矩阵的转置,则是该转置参数矩阵的指数函数预算;
对深度神经网络通过如下公式进行微调:
其中,m是预估的表征图像即特征向量的数量,k是道路缺陷的种类数,1{y(i)=j}是表征图像i是否为对应缺陷种类j的判断函数;是表征路面缺陷图像i所对应类别j的概率矩阵的转置,是该转置矩阵的指数函数预算;由于softmax layer逻辑分类层通过一个假设的方程计算出输入数据所对应每一类缺陷的概率值大小,然后选择概率最大值所对应的类作为该数据的缺陷类型,实现数据的分类,同时类别之间严格互斥,即一个数据不会同时属于两种类型,因此,通过这种方式,能够准确识别出道路路面缺陷的类型,从而利于后续的治理措施的制定。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (4)
1.一种基于纹理特征提取的道路表面缺陷检测方法,其特征在于:包括如下步骤:
S1.获取具有路面缺陷的图像并进行灰度处理形成路面缺陷灰度图像;
S2.对路面缺陷灰度图像进行纹理特征提取,提取出特征值组成纹理特征向量,并以纹理特征向量表征路面缺陷灰度图像;
S4.将同一缺陷类别的纹理特征向量表征的路面缺陷灰度图像进行均分,形成训练集和测试集;
S5.以两个相同的自编码器构成栈式自编码器,并通过栈式自编码器对训练集进行高维抽象特征提取;
S6.将softmax layer逻辑分类层堆栈于栈式自编码器形成深度神经网络,通过深度神经网络对高维抽象特征进行训练,训练完成后,对测试集中的路面灰度图像完成分类识别;步骤S2中,包括如下步骤:
S21.采用灰度差分统计法对路面缺陷面灰度图像进行特征提取,并提取出三个特征值:差分平均值、差分对比度以及差分熵;
S22.采用Gabor算法对路面缺陷灰度图像进行特征提取,并提取出三个特征值:Gabor平均值、Gabor对比度和Gabor熵;
S23.采用灰度梯度法对路面缺陷灰度图像进行特征值提取,并提取出四个特征值:梯度平均值、梯度方差、梯度偏度和梯度峰度;
S24.采用灰度共生矩阵法对路面缺陷灰度图像进行特征提取,提取出五个特征值:能量、相关性、共生对比度、同质性和共生熵;
S25.采用灰度直方图法对路面缺陷灰度图像进行特征提取,提取出四个特征值:直方图均值、直方图方差、直方图偏度和直方图峰度;
S26.采用Tamura算法对路面缺陷灰度图像进行特征提取,提取出六个特征值:粗糙度、规整度、对比度、方向性、线性度和粗略度;
S27.将步骤S21-S26中所提取处的特征值排列组成1×25阶表征路面缺陷灰度图像的纹理特征向量;
步骤S27中,按照如下顺序对各特征值进行排列形成1×25阶表征路面缺陷灰度图像的纹理特征向量:
直方图平均值、差分平均值、梯度平均值、Gabor平均值、能量、粗糙度、直方图方差、梯度方差、相关性、规整度、直方图偏度、梯度偏度、同质性、方向性、直方图峰度、梯度峰度、线性度、差分对比度、Gabor对比度、共生对比度、Tamura的对比度、粗略度、差分熵、Gabor熵、共生熵;
步骤S5中,自编码器由三层神经网络构成,分别是输入层、隐藏层和输出层,且自编码器的高维抽象特征提取训练过程如下:
从输入层到隐藏层的编码过程:
z=sigmoid(W(1)·x+v(1));其中,z为计算得到的新的抽象特征向量;sigmoid为编码过程的S型传递函数,W(1)为编码过程的权重矩阵,v(1)为编码过程的偏置向量,x为输入的训练集;
从隐藏层到输出层的解码过程:
自编码器的输入数据与重构数据的误差调节:
3.根据权利要求1所述基于纹理特征提取的道路表面缺陷检测方法,其特征在于:获取的路面缺陷包括坑槽、龟裂、裂纹和松散。
4.根据权利要求1所述的基于纹理特征提取的道路表面缺陷检测方法,其特征在于:softmax layer逻辑分类层的计算过程如下:
计算训练集中每一个特征向量对应的所属道路表面缺陷类型的概率:
其中,其中:x(i)是训练集中第i个表征的路面缺陷灰度图像,y(i)是该表征图像对应的缺陷所属的二进制数字标签;θ是softmax layer所有逻辑分类层计算得到的参数矩阵,p(y(i)=k|x(i);θ)是该表征图像对应的所属道路表面缺陷类型的概率;是表征路面缺陷图像i对应逻辑分类层1,…,逻辑分类层k的参数矩阵的转置,则是该转置参数矩阵的指数函数预算;
对深度神经网络通过如下公式进行微调:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711167478.3A CN107945161B (zh) | 2017-11-21 | 2017-11-21 | 基于纹理特征提取的道路表面缺陷检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711167478.3A CN107945161B (zh) | 2017-11-21 | 2017-11-21 | 基于纹理特征提取的道路表面缺陷检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107945161A CN107945161A (zh) | 2018-04-20 |
CN107945161B true CN107945161B (zh) | 2020-10-23 |
Family
ID=61930548
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711167478.3A Expired - Fee Related CN107945161B (zh) | 2017-11-21 | 2017-11-21 | 基于纹理特征提取的道路表面缺陷检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107945161B (zh) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108765404B (zh) * | 2018-05-31 | 2019-10-18 | 南京行者易智能交通科技有限公司 | 一种基于深度学习图像分类的道路破损检测方法及装置 |
CN109255792B (zh) * | 2018-08-02 | 2021-12-21 | 广州市鑫广飞信息科技有限公司 | 一种视频图像的分割方法、装置、终端设备及存储介质 |
CN109145993B (zh) * | 2018-08-27 | 2021-05-07 | 大连理工大学 | 基于多特征与非负自动编码器的sar图像分类方法 |
CN109670392A (zh) * | 2018-09-04 | 2019-04-23 | 中国人民解放军陆军工程大学 | 基于混合自动编码器道路图像语义分割方法 |
CN109584286B (zh) * | 2019-01-22 | 2023-03-21 | 东南大学 | 一种基于广义回归神经网络的沥青路面构造深度计算方法 |
CN110119687A (zh) * | 2019-04-17 | 2019-08-13 | 浙江工业大学 | 基于图像处理和卷积神经网络相结合的道路表面裂痕缺陷的检测方法 |
CN110176000B (zh) * | 2019-06-03 | 2022-04-05 | 斑马网络技术有限公司 | 道路质量检测方法及装置、存储介质、电子设备 |
CN111028210B (zh) * | 2019-11-25 | 2023-07-18 | 北京航天控制仪器研究所 | 一种基于深度神经网络的玻璃管端面缺陷检测方法 |
CN110992336A (zh) * | 2019-12-02 | 2020-04-10 | 东莞西尼自动化科技有限公司 | 基于图像处理和人工智能的小样本缺陷检测方法 |
CN111127424A (zh) * | 2019-12-23 | 2020-05-08 | 交通运输部科学研究院 | 一种道路施工安全风险监测方法及*** |
CN111179263B (zh) * | 2020-01-06 | 2023-10-13 | 广东宜通联云智能信息有限公司 | 一种工业图像表面缺陷检测模型、方法、***及装置 |
CN111797687A (zh) * | 2020-06-02 | 2020-10-20 | 上海市城市建设设计研究总院(集团)有限公司 | 基于无人机航摄的道路损坏状况提取方法 |
CN111767874B (zh) * | 2020-07-06 | 2024-02-13 | 中兴飞流信息科技有限公司 | 一种基于深度学习的路面病害检测方法 |
CN112102254A (zh) * | 2020-08-21 | 2020-12-18 | 佛山职业技术学院 | 基于机器视觉的木材表面缺陷检测方法与*** |
CN112098417B (zh) * | 2020-09-07 | 2022-09-20 | 中国工程物理研究院激光聚变研究中心 | 环形抛光中沥青抛光盘表面钝化状态在线监测装置与方法 |
CN112418198B (zh) * | 2021-01-25 | 2021-04-13 | 城云科技(中国)有限公司 | 基于灰度图能量值的人行走道的地砖起伏缺陷检测方法 |
CN113112458A (zh) * | 2021-03-27 | 2021-07-13 | 上海工程技术大学 | 一种基于支持向量机的金属表面缺陷检测方法 |
CN113502721A (zh) * | 2021-08-10 | 2021-10-15 | 重庆大学 | 一种基于路面纹理的路面性能确定方法及*** |
CN113505865B (zh) * | 2021-09-10 | 2021-12-07 | 浙江双元科技股份有限公司 | 一种基于卷积神经网络的片材表面缺陷图像识别处理方法 |
CN113780259B (zh) * | 2021-11-15 | 2022-03-15 | 中移(上海)信息通信科技有限公司 | 一种路面缺陷检测方法、装置、电子设备和可读存储介质 |
CN114370844B (zh) * | 2021-12-20 | 2024-03-22 | 包头钢铁(集团)有限责任公司 | 一种板材表面特征值均匀度统计方法 |
CN114663767A (zh) * | 2022-04-03 | 2022-06-24 | 国交空间信息技术(北京)有限公司 | 一种遥感影像沙埋路段识别方法 |
CN115937595A (zh) * | 2022-12-20 | 2023-04-07 | 中交公路长大桥建设国家工程研究中心有限公司 | 一种基于智能数据处理的桥梁表观异常识别方法及*** |
CN117474909B (zh) * | 2023-12-27 | 2024-04-05 | 深圳市信来誉包装有限公司 | 基于机器视觉的包装纸盒瑕疵检测方法 |
CN118015002B (zh) * | 2024-04-10 | 2024-06-18 | 盈客通天下科技(大连)有限公司 | 一种交通工程路况视觉检测方法及*** |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102508110A (zh) * | 2011-10-10 | 2012-06-20 | 上海大学 | 基于纹理的绝缘子缺陷诊断方法 |
CN104866862A (zh) * | 2015-04-27 | 2015-08-26 | 中南大学 | 一种带钢表面面积型缺陷识别分类的方法 |
CN105719259A (zh) * | 2016-02-19 | 2016-06-29 | 上海理工大学 | 路面裂缝图像检测方法 |
CN105957092A (zh) * | 2016-05-31 | 2016-09-21 | 福州大学 | 用于计算机辅助诊断的乳腺钼靶图像特征自学习提取方法 |
CN106599810A (zh) * | 2016-12-05 | 2017-04-26 | 电子科技大学 | 一种基于栈式自编码的头部姿态估计方法 |
CN106910186A (zh) * | 2017-01-13 | 2017-06-30 | 陕西师范大学 | 一种基于cnn深度学习的桥梁裂缝检测定位方法 |
CN107133960A (zh) * | 2017-04-21 | 2017-09-05 | 武汉大学 | 基于深度卷积神经网络的图像裂缝分割方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10579923B2 (en) * | 2015-09-15 | 2020-03-03 | International Business Machines Corporation | Learning of classification model |
-
2017
- 2017-11-21 CN CN201711167478.3A patent/CN107945161B/zh not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102508110A (zh) * | 2011-10-10 | 2012-06-20 | 上海大学 | 基于纹理的绝缘子缺陷诊断方法 |
CN104866862A (zh) * | 2015-04-27 | 2015-08-26 | 中南大学 | 一种带钢表面面积型缺陷识别分类的方法 |
CN105719259A (zh) * | 2016-02-19 | 2016-06-29 | 上海理工大学 | 路面裂缝图像检测方法 |
CN105957092A (zh) * | 2016-05-31 | 2016-09-21 | 福州大学 | 用于计算机辅助诊断的乳腺钼靶图像特征自学习提取方法 |
CN106599810A (zh) * | 2016-12-05 | 2017-04-26 | 电子科技大学 | 一种基于栈式自编码的头部姿态估计方法 |
CN106910186A (zh) * | 2017-01-13 | 2017-06-30 | 陕西师范大学 | 一种基于cnn深度学习的桥梁裂缝检测定位方法 |
CN107133960A (zh) * | 2017-04-21 | 2017-09-05 | 武汉大学 | 基于深度卷积神经网络的图像裂缝分割方法 |
Non-Patent Citations (5)
Title |
---|
Adversarial Autoencoders;Alireza Makhzani 等;《arXiv preprint arXiv:1511.05644》;20160525;第1-17页 * |
Auto-Encoding Variational Bayes;Diederik P. Kingma;《arXIV:1312.6114V10》;20140501;第1-14页 * |
医学图像检索的特征提取算法的开发与应用;王斌;《中国优秀硕士学位论文全文数据库-信息科技辑》;20111215(第S1期);第I138-1606页摘要、第3章 * |
基于改进神经网络的机器视觉的路面破损检测***研究;徐婷 等;《公路》;20120930(第9期);第210-213页第2-3节 * |
面向深度网络的自编码器研究;鲁亚平;《中国优秀硕士学位论文全文数据库-信息科技辑》;20170215(第2期);第I14-185页第2-3章 * |
Also Published As
Publication number | Publication date |
---|---|
CN107945161A (zh) | 2018-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107945161B (zh) | 基于纹理特征提取的道路表面缺陷检测方法 | |
CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
CN108388896B (zh) | 一种基于动态时序卷积神经网络的车牌识别方法 | |
CN108428231B (zh) | 一种基于随机森林的多参数零件表面粗糙度学习方法 | |
CN110188774B (zh) | 一种基于深度学习的电涡流扫描图像分类识别方法 | |
CN111815601A (zh) | 一种基于深度卷积自编码器的纹理图像表面缺陷检测方法 | |
CN103544499B (zh) | 一种基于机器视觉的表面瑕疵检测的纹理特征降维方法 | |
CN104715481B (zh) | 基于随机森林的多尺度印刷品缺陷检测方法 | |
CN110610475A (zh) | 一种深度卷积神经网络的视觉缺陷检测方法 | |
CN109002848B (zh) | 一种基于特征映射神经网络的弱小目标检测方法 | |
CN111639587B (zh) | 基于多尺度谱空卷积神经网络的高光谱图像分类方法 | |
CN116363127B (zh) | 基于图像处理的全降解塑料制品质量检测方法 | |
CN108829711B (zh) | 一种基于多特征融合的图像检索方法 | |
CN104732534B (zh) | 一种图像中显著目标的抠取方法及*** | |
CN110766708A (zh) | 基于轮廓相似度的图像比较方法 | |
CN111814852A (zh) | 图像检测方法、装置、电子设备和计算机可读存储介质 | |
CN115861226A (zh) | 基于特征值梯度变化的深度神经网络智能识别表面缺陷方法 | |
CN117197682B (zh) | 一种长波红外遥感影像进行盲元检测与去除的方法 | |
CN117036756B (zh) | 基于变分自动编码器的遥感图像匹配方法及*** | |
CN116129280B (zh) | 一种遥感影像雪检测的方法 | |
CN113313678A (zh) | 一种基于多尺度特征融合的***形态学自动分析方法 | |
CN117011280A (zh) | 基于点云分割的3d打印混凝土墙质量监测方法及*** | |
CN117392450A (zh) | 一种基于进化多尺度特征学习的钢铁材料质量解析方法 | |
CN114821098A (zh) | 一种基于灰度梯度融合特征及cnn的高速路面破损检测算法 | |
Magdalena et al. | Identification of beef and pork using gray level co-occurrence matrix and probabilistic neural network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20201023 |