CN112115982A - 一种基于yolov3的路面撒漏病害自动检测方法 - Google Patents
一种基于yolov3的路面撒漏病害自动检测方法 Download PDFInfo
- Publication number
- CN112115982A CN112115982A CN202010875105.7A CN202010875105A CN112115982A CN 112115982 A CN112115982 A CN 112115982A CN 202010875105 A CN202010875105 A CN 202010875105A CN 112115982 A CN112115982 A CN 112115982A
- Authority
- CN
- China
- Prior art keywords
- pavement
- leakage
- sample set
- detection
- leakage disease
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于yolov3的路面撒漏病害自动检测方法,涉及图像处理技术领域,包括收集路面撒漏病害图像,组成源样本集,并对所述源样本集进行预处理得到训练样本集;利用所述训练样本集对yolov3目标检测网络进行训练,得到初始路面撒漏病害检测器;在目标路段部署所述初始路面撒漏病害检测器进行路面撒漏病害的检测,并记录检测结果;对所述检测结果进行聚类和人工干预再标注得到目标样本集,利用所述目标样本集对所述初始路面撒漏病害检测器进行在线微调,提高在所述目标路段的准确率,得到目标路面撒漏病害检测器;本发明采用的迭代训练方法具有良好的泛化能力,能提高对未见路面场景和未见路面撒漏病害的识别精度。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种基于yolov3的路面撒漏病害自动检测方法。
背景技术
路容路貌建设正在我国大地如火如荼的开展,通过道路撒漏病害智能化检测促进道路清洁质量监督,对推进智慧养护、保洁智能化具有重要意义。当前,我国生活垃圾的处理市场能达到1100亿/年,道路清扫每年市场就能够达到550亿左右。路面撒漏病害的智能识别,可以辅助道路管理部门合理规划设计道路清洁管理模式,提升环卫清洁作业质量,有效降低道路清洁管理成本。
目前,基于计算机视觉的垃圾智能识别算法主要有两类:第一种是文献《改进CaffeNet模型在水面垃圾识别中的应用》中为提高水面垃圾识别的准确率,提出的一种改进CaffeNet的卷积神经网络模型。模型改进了卷积核的大小、卷积核的数量以及增加了一层稀疏结构,进而增强了网络模型特征提取的能力,降低了网络复杂度。该方法能减少水面波纹、物体倒影和桥梁等对水面垃圾识别的影响,具有较好的水面垃圾识别效果。但该方法鲁棒性欠佳,难以直接应用到路面等更加复杂的环境中;第二种文献《基于SSD算法的垃圾识别分类研究》中提出的基于SSD的垃圾识别检测算法,利用数据增强,提高模型的鲁棒性,可以达到对不同种类的垃圾进行快速和准确的识别,该方法的实时性较好,但对小目标的识别能力不足。
可以看到,针对小目标的检测,目前国内外常用的方法是,使用多尺度图像金字塔或将小目标上采样成大目标再进行检测。但这两种处理方法将严重影响算法的时间效率,从而使模型难以在算力较低的边缘计算设备上部署运行。
另一个问题是,待识别的目标通常须具有较统一且不变的视觉特征。路面上的环境复杂,而路面撒漏病害是一个较模糊的且难以尽举的定义。它们往往具有类间差距小(如木屑和树叶的视觉特征接近)和类内差异大(不同大小和不同颜色的塑料袋差异大)的视觉特征。因此,现有的目标检测算法及其部署使用方式,将会带来漏检和误检的问题。
因此,本领域的技术人员致力于开发一种基于yolov3的路面撒漏病害自动检测方法,克服现有技术的泛化能力不足的问题,针对不同的路面场景和新出现的路面撒漏病害能自适应地调整并完成训练,逐步提高撒漏病害识别的精确度。
发明内容
为了克服现有技术中的不足,本发明提出一种基于yolov3的路面撒漏病害自动检测方法,其能够解决路面撒漏病害较多且多为小目标时,无法同时兼顾识别准确率和时间效率的问题,以及算法面对新的道路环境和未在训练数据中出现的撒漏病害时的误检和漏检的问题。
为了实现上述目的,本发明的一种基于yolov3的路面撒漏病害自动检测方法,方法包括以下步骤:
S1、收集路面撒漏病害图像,组成源样本集,并对源样本集进行预处理得到训练样本集;
S2、利用训练样本集对yolov3目标检测网络进行训练,得到初始路面撒漏病害检测器;
S3、在目标路段部署初始路面撒漏病害检测器进行路面撒漏病害的检测,并记录检测结果;
S4、对检测结果进行聚类和人工干预再标注得到目标样本集,利用目标样本集对初始路面撒漏病害检测器进行在线微调,提高在目标路段的准确率,得到目标路面撒漏病害检测器。
优选的,S1还包括:
统计源样本集中各种撒漏病害出现的频次并排序,选取出现频次最高的前N个类别作为要检测的N种撒漏病害;
对训练样本集中每一个样本进行标注,获得训练样本集对应的样本标签。
优选的,预处理包括:
将图像进行水平翻转,得到待进一步处理图像;
将待进一步处理图像随机地进行平移变换、旋转变换和颜色变换,得到待归一化处理图像;
将待归一化处理图像进行归一化处理。
优选的,S2还包括:
S201、采用随机梯度下降算法训练yolov3目标检测网络,设定最大迭代次数,每次迭代采用最小批的方式(mini-batch)计算网络误差,用网络误差更新yolov3 目标检测网络中的参数;
S202、当达到预设的最大迭代次数时或在验证集上错误率不再下降时终止训练,获得初始路面撒漏病害检测器。
优选的,网络误差是yolov3目标检测网络输出的分类标签与样本标签的误差。
优选的,S3包括:
S301、重新收集路面撒漏病害图像,作为原始检测图像;
S302、对原始检测图像进行预处理后得到检测图像,组成检测样本集;
S303、利用初始撒漏病害检测器中的骨干网络提取检测图像的特征,并抽取网络的各级特征组成特征金字塔;
S304、特征分类;
S305、在检测图像中画出撒漏病害检测结果,并将结果输出,完成当前画面的撒漏病害检测;
S306、保存原始检测图像和检测结果。
优选的,特征分类是利用初始撒漏病害检测器中的分类网络对特征进行特征分类,设定阈值,如果输出值大于阈值,则判定该图像包含待检测的撒漏病害,否则判定为背景。
优选的,检测结果是初始路面撒漏病害检测器所输出的目标的坐标和置信度。
优选的,S4包括:
S401、设置置信度阈值,遍历置信度,置信度大于置信度阈值的样本直接加入训练样本集中,置信度小于置信度阈值的样本,则加入后处理样本集;
S402、对后处理样本集中的目标进行再标注,并加入到训练样本集中,得到目标样本集;
S403、使用目标样本集对初始路面撒漏病害检测器重复S201和S202进行微调, 在完成了预设的迭代次数后,得到目标路面撒漏病害检测器。
优选的,收集路面撒漏病害图像是从各路段的清扫车所拍摄的视频中截取N张包含路面撒漏病害样本的图像,图像模式为RGB。
本发明具有以下有益效果:
1、利用yolov3算法对路面撒漏病害识别的准确率和效率都比较高,利用特定的低功耗边缘GPU计算设备可实现对垃圾清扫车拍摄视频或图像的实时目标检测和识别。算法所提供的识别结果,可为后期的路面智能评价和打分奠定良好的基础。
2、本发明采用的迭代训练方法具有良好的泛化能力,能提高对未见路面场景和未见路面撒漏病害的识别精度。
附图说明
下面结合附图对本发明作进一步描写和阐述。
图1是本发明提出的一种基于yolov3的路面撒漏病害自动检测方法流程图。
具体实施方式
下面将结合附图、通过对本发明的优选实施方式的描述,更加清楚、完整地阐述本发明的技术方案。
实施例
如图1所示,本发明提出的一种基于yolov3的路面撒漏病害自动检测方法,方法包括如下步骤:
S1、收集路面撒漏病害图像,组成源样本集,并对源样本集进行预处理得到训练样本集;
在本步骤中,路面撒漏病害图像为RGB模式。
在本步骤中,预处理包括对源样本集的图像进行水平翻转;图像随机地进行平移变换、旋转变换和颜色变换;图像归一化处理。
在本步骤中,还包括统计源样本集中各种撒漏病害出现的频次并排序,选取出现频次最高的前N个类别作为要检测的N种撒漏病害;对所述训练样本集中每一个样本进行标注,获得所述训练样本集对应的样本标签。
在本实施例中,沿路面行驶的垃圾清扫车通过安装在车身上的摄像头拍摄视频,从视频中收集1000张包含路面撒漏病害样本的原始图像作为源样本集,原始图像像素大小为4096*2160,截取覆盖道路路面主体的区域的小块图像,并统一缩放至800*800,得到原始数据图。
对各个类别进行统计,选取影响路貌、出现频次高的七个类别,作为要识别的路面撒漏病害的类别,分别是:饮料瓶、塑料袋、盒子、纸片、木屑、树叶、碎石。
为增加检测器的鲁棒性,对缩放后的图像进行随机的水平翻转、平移变换(变换范围负5像素到正5像素之间且包含负5像素和正5像素)和旋转变换(变换范围负 30度到正30度之间且包含负30度和正30度)。之后图像的像素值除以255,像素的取值范围归一化在0到1之间且包含0和1,得到训练样本集。同时,对出现在训练样本集中的样本进行标注得到样本标签。
S2、利用训练样本集对yolov3目标检测网络进行训练,得到初始路面撒漏病害检测器。
在本步骤中,还包括如下子步骤,
S201,采用随机梯度下降算法训练yolov3目标检测网络,设定最大迭代次数,每次迭代采用最小批的方式(mini-batch)计算网络误差,用网络误差更新所述yolov3 目标检测网络中的参数。其中,网络误差是所述yolov3目标检测网络输出的分类标签与所述样本标签的误差。
S202,当达到预设的最大迭代次数时或在验证集上错误率不再下降时终止训练,获得所述初始路面撒漏病害检测器。
在本实施例中,最大迭代次数设为1500次,学习速率设为0.003,每次迭代输入100个样本。
S3、在目标路段部署初始路面撒漏病害检测器进行路面撒漏病害的检测,并记录检测结果。
在本步骤中,还包括如下子步骤,
S301、重新收集路面撒漏病害图像,作为原始检测图像;
S302、对原始检测图像进行预处理后得到检测图像,组成检测样本集;
S303、利用初始撒漏病害检测器中的骨干网络提取检测图像的特征,并抽取网络的各级特征组成特征金字塔;
S304、特征分类,特征分类是利用初始撒漏病害检测器中的分类网络对特征进行特征分类,设定阈值,如果输出值大于阈值,则判定该图像包含待检测的撒漏病害,否则判定为背景;
S305、在检测图像中画出撒漏病害检测结果,检测结果是初始路面撒漏病害检测器所输出的目标的坐标和置信度,并将结果输出,完成当前画面的撒漏病害检测;
S306、保存原始检测图像和检测结果。
S4、对检测结果进行聚类和人工干预再标注得到目标样本集,利用目标样本集对初始路面撒漏病害检测器进行在线微调,提高在目标路段的准确率,得到目标路面撒漏病害检测器。
在本步骤中,还包括如下子步骤,
S401、设置置信度阈值,遍历置信度,置信度大于置信度阈值的样本直接加入训练样本集中,置信度小于置信度阈值的样本,则加入后处理样本集;
S402、对后处理样本集中的目标进行再标注,并加入到训练样本集中,得到目标样本集;
S403、使用目标样本集对初始路面撒漏病害检测器重复S201和S202进行微调, 在完成了预设的迭代次数后,得到目标路面撒漏病害检测器。
上述具体实施方式仅仅对本发明的优选实施方式进行描述,而并非对本发明的保护范围进行限定。在不脱离本发明设计构思和精神范畴的前提下,本领域的普通技术人员根据本发明所提供的文字描述、附图对本发明的技术方案所作出的各种变形、替代和改进,均应属于本发明的保护范畴。本发明的保护范围由权利要求确定。
Claims (10)
1.一种基于yolov3的路面撒漏病害自动检测方法,其特征在于,所述方法包括以下步骤:
S1、收集路面撒漏病害图像,组成源样本集,并对所述源样本集进行预处理得到训练样本集;
S2、利用所述训练样本集对yolov3目标检测网络进行训练,得到初始路面撒漏病害检测器;
S3、在目标路段部署所述初始路面撒漏病害检测器进行路面撒漏病害的检测,并记录检测结果;
S4、对所述检测结果进行聚类和人工干预再标注得到目标样本集,利用所述目标样本集对所述初始路面撒漏病害检测器进行在线微调,提高在所述目标路段的准确率,得到目标路面撒漏病害检测器。
2.根据权利要求1所述的基于yolov3的路面撒漏病害自动检测方法,其特征在于,所述S1还包括:
统计所述源样本集中各种撒漏病害出现的频次并排序,选取出现频次最高的前N个类别作为要检测的N种撒漏病害;
对所述训练样本集中每一个样本进行标注,获得所述训练样本集对应的样本标签。
3.根据权利要求1所述的基于yolov3的路面撒漏病害自动检测方法,其特征在于,所述预处理包括:
将图像进行水平翻转,得到待进一步处理图像;
将所述待进一步处理图像随机地进行平移变换、旋转变换和颜色变换,得到待归一化处理图像;
将待归一化处理图像进行归一化处理。
4.根据权利要求2所述的基于yolov3的路面撒漏病害自动检测方法,其特征在于,所述S2还包括:
S201、采用随机梯度下降算法训练所述yolov3目标检测网络,设定最大迭代次数,每次迭代采用最小批的方式(mini-batch)计算网络误差,用所述网络误差更新所述yolov3目标检测网络中的参数;
S202、当达到预设的所述最大迭代次数时或在验证集上错误率不再下降时终止训练,获得所述初始路面撒漏病害检测器。
5.如权利要求4所述的基于yolov3的路面撒漏病害自动检测方法,其特征在于,所述网络误差是所述yolov3目标检测网络输出的分类标签与所述样本标签的误差。
6.如权利要求1所述的基于yolov3的路面撒漏病害自动检测方法,其特征在于,所述S3包括:
S301、重新收集路面撒漏病害图像,作为原始检测图像;
S302、对所述原始检测图像进行所述预处理后得到检测图像,组成检测样本集;
S303、利用所述初始撒漏病害检测器中的骨干网络提取所述检测图像的特征,并抽取网络的各级所述特征组成特征金字塔;
S304、对所述特征进行特征分类;
S305、在所述检测图像中画出撒漏病害检测结果,并将结果输出,完成当前画面的撒漏病害检测;
S306、保存所述原始检测图像和所述检测结果。
7.如权利要求6所述的yolov3的路面撒漏病害自动检测方法,其特征在于,所述特征分类是利用所述初始撒漏病害检测器中的分类网络对所述特征进行特征分类,设定阈值,如果输出值大于所述阈值,则判定该图像包含待检测的撒漏病害,否则判定为背景。
8.如权利要求6所述的yolov3的路面撒漏病害自动检测方法,其特征在于,所述检测结果是所述初始路面撒漏病害检测器所输出的目标的坐标和置信度。
9.如权利要求2所述的基于yolov3的路面撒漏病害自动检测方法,其特征在于,所述S4包括:
S401、设置置信度阈值,遍历所述置信度,所述置信度大于所述置信度阈值的样本直接加入所述训练样本集中,所述置信度小于所述置信度阈值的样本,则加入后处理样本集;
S402、对所述后处理样本集中的目标进行再标注,并加入到所述训练样本集中,得到所述目标样本集;
S403、使用目标样本集对初始路面撒漏病害检测器重复S201和S202进行微调,在完成了预设的迭代次数后,得到目标路面撒漏病害检测器。
10.如权利要求1或6所述的基于yolov3的路面撒漏病害自动检测方法,其特征在于,所述收集路面撒漏病害图像是从各路段的清扫车所拍摄的视频中截取N张包含路面撒漏病害样本的图像,图像模式为RGB。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010875105.7A CN112115982A (zh) | 2020-08-27 | 2020-08-27 | 一种基于yolov3的路面撒漏病害自动检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010875105.7A CN112115982A (zh) | 2020-08-27 | 2020-08-27 | 一种基于yolov3的路面撒漏病害自动检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112115982A true CN112115982A (zh) | 2020-12-22 |
Family
ID=73804946
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010875105.7A Pending CN112115982A (zh) | 2020-08-27 | 2020-08-27 | 一种基于yolov3的路面撒漏病害自动检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112115982A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110263675A (zh) * | 2019-06-03 | 2019-09-20 | 武汉联一合立技术有限公司 | 一种社区安保机器人的垃圾目标识别***及其识别方法 |
CN110533640A (zh) * | 2019-08-15 | 2019-12-03 | 北京交通大学 | 基于改进YOLOv3网络模型的轨道线路病害辨识方法 |
CN111523536A (zh) * | 2020-04-10 | 2020-08-11 | 南京智行信息科技有限公司 | 一种基于Faster RCNN的自适应路面抛洒物智能检测方法 |
CN111524121A (zh) * | 2020-04-22 | 2020-08-11 | 南京智行信息科技有限公司 | 一种基于机器视觉技术的路桥病害自动检测方法 |
-
2020
- 2020-08-27 CN CN202010875105.7A patent/CN112115982A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110263675A (zh) * | 2019-06-03 | 2019-09-20 | 武汉联一合立技术有限公司 | 一种社区安保机器人的垃圾目标识别***及其识别方法 |
CN110533640A (zh) * | 2019-08-15 | 2019-12-03 | 北京交通大学 | 基于改进YOLOv3网络模型的轨道线路病害辨识方法 |
CN111523536A (zh) * | 2020-04-10 | 2020-08-11 | 南京智行信息科技有限公司 | 一种基于Faster RCNN的自适应路面抛洒物智能检测方法 |
CN111524121A (zh) * | 2020-04-22 | 2020-08-11 | 南京智行信息科技有限公司 | 一种基于机器视觉技术的路桥病害自动检测方法 |
Non-Patent Citations (1)
Title |
---|
金瑶: ""城市道路视频中小像素目标检测"", 《光电工程》, pages 1 - 8 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Qu et al. | Crack detection of concrete pavement with cross-entropy loss function and improved VGG16 network model | |
CN106845408B (zh) | 一种复杂环境下的街道垃圾识别方法 | |
CN111080620B (zh) | 一种基于深度学习的道路病害检测方法 | |
CN106778835B (zh) | 融合场景信息和深度特征的遥感图像机场目标识别方法 | |
Rachmadi et al. | Vehicle color recognition using convolutional neural network | |
CN105404847B (zh) | 一种遗留物实时检测方法 | |
CN107103317A (zh) | 基于图像融合和盲反卷积的模糊车牌图像识别算法 | |
CN103530600B (zh) | 复杂光照下的车牌识别方法及*** | |
CN107609512A (zh) | 一种基于神经网络的视频人脸捕捉方法 | |
CN111523536A (zh) | 一种基于Faster RCNN的自适应路面抛洒物智能检测方法 | |
CN105260749B (zh) | 基于方向梯度二值模式和软级联svm的实时目标检测方法 | |
CN106557740B (zh) | 一种遥感图像中油库目标的识别方法 | |
CN103279752B (zh) | 一种基于改进Adaboost算法和人脸几何特征的眼睛定位方法 | |
CN106529532A (zh) | 一种基于积分特征通道与灰度投影的车牌识别*** | |
CN106295532B (zh) | 一种视频图像中的人体动作识别方法 | |
CN103258213A (zh) | 一种用于智能交通***中的动态车辆车型识别方法 | |
CN102998316A (zh) | 一种透明液体杂质检测***及其检测方法 | |
CN113221881B (zh) | 一种多层级的智能手机屏幕缺陷检测方法 | |
CN103198319A (zh) | 用于矿山井筒环境下的模糊图像角点提取方法 | |
CN103177266A (zh) | 储藏物害虫智能识别*** | |
CN110751619A (zh) | 一种绝缘子缺陷检测方法 | |
CN108509950A (zh) | 基于概率特征加权融合的铁路接触网支柱号牌检测识别法 | |
CN109448307A (zh) | 一种火源目标的识别方法和装置 | |
Zhao et al. | Research on detection method for the leakage of underwater pipeline by YOLOv3 | |
CN111950357A (zh) | 一种基于多特征yolov3的船用水面垃圾快速识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |