CN110674731A - 一种基于深度学习的道路清洁度量化方法 - Google Patents

一种基于深度学习的道路清洁度量化方法 Download PDF

Info

Publication number
CN110674731A
CN110674731A CN201910896277.XA CN201910896277A CN110674731A CN 110674731 A CN110674731 A CN 110674731A CN 201910896277 A CN201910896277 A CN 201910896277A CN 110674731 A CN110674731 A CN 110674731A
Authority
CN
China
Prior art keywords
road
garbage
cleanliness
training
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910896277.XA
Other languages
English (en)
Inventor
王涤成
杨建华
樊容伯
范孝波
陈浩
梁星陶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Yueda Special Vehicle Co Ltd
Original Assignee
Jiangsu Yueda Special Vehicle Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Yueda Special Vehicle Co Ltd filed Critical Jiangsu Yueda Special Vehicle Co Ltd
Priority to CN201910896277.XA priority Critical patent/CN110674731A/zh
Publication of CN110674731A publication Critical patent/CN110674731A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于深度学习的道路清洁度量化方法，属于人工智能技术领域。该量化方法与基于安装于车辆上的图像采集设备所采集的道路图像通过深度网络模型制定控制策略；量化步骤如下为：图像数据集的进行分类、定标，生成训练网络所需的训练集；通过深度网络模型进行训练和测试；通过深度网络模型的部分层数进行冻结并采用预训练模型参数，判断道路清洁度，以道路垃圾量决定吸尘器的功率。本发明提供的基于深度学习的道路清洁度量化方法，将深度学习运用于道路垃圾清洁度量化检测中，在服务器（可远程）加持的情况下，所使用的深度网络模型具有运算速度快，准确度高的特点，可以满足真实路况下的道路清洁度量化检测任务。

Description

一种基于深度学习的道路清洁度量化方法
技术领域
本发明涉及一种基于深度学习的道路清洁度量化方法，属于人工智能技术领域。
背景技术
人工智能不断发展促进着智慧城市日益完善，道路清洁作为每一个城市日常工作之一也应该让其更加智能与高效。然而，道路清扫专用车辆的智能化程度较低，尤其在控制吸尘器功率与道路清洁度关联关系方面鲜有研究。如何能够在保证路面清洁效果的基础上，让道路清洁车消耗更少的燃料，以及产生更小的噪声是评价道路清扫专用车辆智能程度的评定标准之一。
道路垃圾指的是道路清扫专用车能够清理的垃圾，包括树叶、纸屑、泥土等。在经过大量理论论证和实验发现，基于传统图像处理方法去提取道路垃圾具有一定局限性，即：一是目前图像处理的方法对于区分性较好的固体垃圾能做到较高的提取准确度，但对于沙土等易混入道路背景的垃圾区分性较差；二是传统图像处理算法的鲁棒性较差，例如路面裂痕、破损等噪声都会较大程度的影响识别效果；三是传统图像处理算法通用性较差，例如干路面和湿路面，水泥路面和柏油路面的区别会影响算法的可靠性，甚至会使得算法失效。
发明内容
本发明针对上述不足提供了一种基于深度学习的道路清洁度量化方法。
本发明采用如下技术方案：
本发明所述的一种基于深度学习的道路清洁度量化方法，该量化方法与基于安装于车辆上的图像采集设备所采集的道路图像，依据训练完成的深度网络模型输出值制定控制策略；所述量化步骤如下：
1）将图像采集设备所采集的道路图像形成图像数据集，并对图像数据集的进行分类、定标，生成训练网络所需的训练集；
2）通过搭建在服务器上的深度网络模型，对步骤1）中训练集进行训练和测试；
3）通过深度网络模型的部分层数进行冻结并采用在大规模数据集上训练完成的深度网络预训练模型参数，然后对其余层数进行训练；训练完成后得到深度网络模型K；
4）将得到深度网络模型K用于道路垃圾量化检测判断道路清洁度，将实时采集的道路影像输入深度网络模型K输出结果反馈至道路清洁车的吸尘器控制装置，以道路垃圾量决定吸尘器的功率。
本发明所述的基于深度学习的道路清洁度量化方法，所述的步骤1）道路图像数据集设定为: 收集不同道路上的不同数量垃圾图像样本，依据道路垃圾覆盖面积占比等级，将图像样本等级划分为无垃圾、少量垃圾、中量垃圾、大量垃圾；
所述的深度学习网络针对将无垃圾图像样本、少量垃圾图像样本、中量垃圾图像样本、大量垃圾图像样本制作成为训练集以用于深度网络模型的训练。
本发明所述的基于深度学习的道路清洁度量化方法，所述的步骤4）中道路垃圾量化检测判断道路清洁度采用采用“投票”机制降低误报率与漏报率。其采用的投票机制：此算法可以实现每秒处理多帧图像，所以可以在一定数量范围的图像帧中选择输出重复最高的结果，作为本周期的识别结果。
本发明所述的基于深度学习的道路清洁度量化方法，所述的步骤4）中以道路垃圾量决定吸尘器的功率的策略为：道路垃圾量越大吸尘器功率越大。
本发明所述的基于深度学习的道路清洁度量化方法，所述的图像采集设备为车载摄像头，所述的车载摄像头安装于车辆的车头部，车载摄像头的图像获取端竖直向下垂直于地面。
有益效果
本发明提供的基于深度学习的道路清洁度量化方法，将数据集的划分标准设置为垃圾量的大小，并分为无垃圾、少量垃圾、中量垃圾、大量垃圾四类，并经过验证深度学习可以用于数据泛性较强的分类中。
本发明提供的基于深度学习的道路清洁度量化方法，将深度学习运用于道路垃圾清洁度量化检测中，在服务器（可远程）加持的情况下，所使用的深度网络模型具有运算速度快，准确度高的特点，可以满足真实路况下的道路清洁度量化检测任务。
本发明提供的基于深度学习的道路清洁度量化方法，采用迁移学习的方法，根据网络和数据集特点设计冻结层，大大减少了所需数据集的大小，且模型的训练结果满足要求。
附图说明
图1是本发明基于深度学习的道路清洁度量化方法的流程图，
图2是本发明基于深度学习的道路清洁度量化方法采用的道路清扫专用车车载摄像头安装位置示意图；
图3是本发明基于深度学习的道路清洁度量化方法的道路垃圾部分数据分类示例。
具体实施方式
为使本发明实施例的目的和技术方案更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示：一种基于深度学习的道路清洁度量化方法，具体步骤如下：
步骤一、在道路清洁车车头处安装竖直向下的摄像头用于实时采集道路影像，将摄像头获取的道路图像接入车载工控机，并最终接入后台服务器。
车载摄像头安装要求为：1. 摄像头安装在车头处；2. 摄像头竖直向下，安装在车辆后视镜处；安装示意图如图2所示；
步骤二、通过车载摄像头，获取道路清洁车的真实路面图像数据集，并对数据集进行分类、定标。收集不同道路上的不同数量垃圾图像样本，依据道路垃圾覆盖面积占比等级，划分为无垃圾、少量垃圾、中量垃圾、大量垃圾四类；道路垃圾部分数据分类示例如图3所示；
步骤三、基于道路垃圾量化数据集，对深度学习模型进行训练和测试。首先将数据集按照一定比例分为训练集与测试集，对深度网络模型部分层数进行冻结并采用在大规模数据集上训练完成的深度网络预训练模型参数，然后对其余层数进行训练；训练完成后得到深度网络模型K。
步骤四、完成模型训练后，将模型用于道路垃圾量化检测，对步骤1）车载摄像头中采集的图像数据输入模型，判断道路清洁度。同时采用“投票”机制降低误报率和漏报率。其“投票”机制为，因为此算法可以实现每秒处理多帧图像，所以可以在一定数量范围的图像帧中选择输出重复最高的结果，作为本周期的识别结果；深度网络模型的输出为：无垃圾、少量垃圾、中量垃圾、大量垃圾四类，通过深度网络所输出的垃圾量的大小即可判断道路清洁度。
步骤五、将输出结果反馈至道路清洁车的吸尘器控制装置，以道路垃圾量决定吸尘器的功率。
吸尘器功率与道路垃圾量关系为：道路垃圾量越大，吸尘器功率越大。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (5)

1.一种基于深度学习的道路清洁度量化方法，其特征在于：该量化方法与基于安装于车辆上的图像采集设备所采集的道路图像，依据训练完成的深度网络模型输出值制定控制策略；所述量化步骤如下：
1）将图像采集设备所采集的道路图像形成图像数据集，由深度学习网络对图像数据集的进行分类、定标，生成训练网络所需的训练集；
2）通过搭建在服务器上的深度网络模型，对步骤1）中训练集进行训练和测试；
3）通过深度网络模型的部分层数进行冻结并采用在大规模数据集上训练完成的深度网络预训练模型参数，然后对其余层数进行训练；训练完成后得到深度网络模型K；
4）将得到深度网络模型K用于道路垃圾量化检测判断道路清洁度，将实时采集的道路影像输入深度网络模型K，其输出结果反馈至道路清洁车的吸尘器控制装置，以道路垃圾量决定吸尘器的功率。
2.根据权利要求1所述的基于深度学习的道路清洁度量化方法，其特征在于：所述的步骤1）道路图像数据集设定为: 收集不同道路上的不同数量垃圾图像样本，依据道路垃圾覆盖面积占比等级，将图像样本等级划分为无垃圾、少量垃圾、中量垃圾、大量垃圾；
所述的深度学习网络针对将无垃圾图像样本、少量垃圾图像样本、中量垃圾图像样本、大量垃圾图像样本制作成为训练集以用于深度网络模型的训练。
3.根据权利要求1所述的基于深度学习的道路清洁度量化方法，其特征在于：所述的步骤4）中道路垃圾量化检测判断道路清洁度采用采用投票机制降低误报率与漏报率；其采用的投票机制以实现每秒处理多帧图像，在一定数量范围的图像帧中选择输出重复最高的结果，作为本周期的识别结果。
4.根据权利要求1所述的基于深度学习的道路清洁度量化方法，其特征在于：所述的步骤4）中以道路垃圾量决定吸尘器的功率的策略为：道路垃圾量越大吸尘器功率越大。
5.根据权利要求1所述的基于深度学习的道路清洁度量化方法，其特征在于：所述的图像采集设备为车载摄像头，所述的车载摄像头安装于车辆的车头部，车载摄像头的图像获取端竖直向下垂直于地面。
CN201910896277.XA 2019-09-22 2019-09-22 一种基于深度学习的道路清洁度量化方法 Pending CN110674731A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910896277.XA CN110674731A (zh) 2019-09-22 2019-09-22 一种基于深度学习的道路清洁度量化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910896277.XA CN110674731A (zh) 2019-09-22 2019-09-22 一种基于深度学习的道路清洁度量化方法

Publications (1)

Publication Number Publication Date
CN110674731A true CN110674731A (zh) 2020-01-10

Family

ID=69077126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910896277.XA Pending CN110674731A (zh) 2019-09-22 2019-09-22 一种基于深度学习的道路清洁度量化方法

Country Status (1)

Country Link
CN (1) CN110674731A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598476A (zh) * 2020-05-22 2020-08-28 济源职业技术学院 一种基于稀疏自编码与svm的智慧城市环卫资源调度***
CN112257623A (zh) * 2020-10-28 2021-01-22 长沙立中汽车设计开发股份有限公司 一种路面清洁度判定和自动清扫方法及自动清扫环卫装置
CN114951160A (zh) * 2022-04-19 2022-08-30 北京石油化工学院 一种基于滚轮式的风管除尘装置
CN115151949A (zh) * 2022-06-02 2022-10-04 深圳市正浩创新科技股份有限公司 目标物归集方法、设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824066A (zh) * 2014-03-18 2014-05-28 厦门翼歌软件科技有限公司 一种基于视频流的车牌识别方法
CN109024417A (zh) * 2018-07-24 2018-12-18 长安大学 一种智能道路清扫车及其道路污染物识别方法和控制方法
CN109452914A (zh) * 2018-11-01 2019-03-12 北京石头世纪科技有限公司 智能清洁设备，清洁模式选择方法，计算机存储介质
CN109614924A (zh) * 2018-12-07 2019-04-12 江西洪都航空工业集团有限责任公司 一种基于深度学习算法的水面垃圾检测方法
CN109746226A (zh) * 2019-02-20 2019-05-14 南京海得电力科技有限公司 用于光伏电站运维的光伏板智能清扫***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824066A (zh) * 2014-03-18 2014-05-28 厦门翼歌软件科技有限公司 一种基于视频流的车牌识别方法
CN109024417A (zh) * 2018-07-24 2018-12-18 长安大学 一种智能道路清扫车及其道路污染物识别方法和控制方法
CN109452914A (zh) * 2018-11-01 2019-03-12 北京石头世纪科技有限公司 智能清洁设备，清洁模式选择方法，计算机存储介质
CN109614924A (zh) * 2018-12-07 2019-04-12 江西洪都航空工业集团有限责任公司 一种基于深度学习算法的水面垃圾检测方法
CN109746226A (zh) * 2019-02-20 2019-05-14 南京海得电力科技有限公司 用于光伏电站运维的光伏板智能清扫***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王平: ""基于深度卷积网的迁移学习技术研究"", 《中国优秀硕士学位论文全文数据库-信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598476A (zh) * 2020-05-22 2020-08-28 济源职业技术学院 一种基于稀疏自编码与svm的智慧城市环卫资源调度***
CN112257623A (zh) * 2020-10-28 2021-01-22 长沙立中汽车设计开发股份有限公司 一种路面清洁度判定和自动清扫方法及自动清扫环卫装置
CN114951160A (zh) * 2022-04-19 2022-08-30 北京石油化工学院 一种基于滚轮式的风管除尘装置
CN115151949A (zh) * 2022-06-02 2022-10-04 深圳市正浩创新科技股份有限公司 目标物归集方法、设备和存储介质
WO2023231021A1 (zh) * 2022-06-02 2023-12-07 深圳市正浩创新科技股份有限公司 目标物归集方法、设备和存储介质

Similar Documents

Publication Publication Date Title
CN110674731A (zh) 一种基于深度学习的道路清洁度量化方法
Akagic et al. Pavement crack detection using Otsu thresholding for image segmentation
CN103714363B (zh) 一种机动车尾气烟度视频识别***
CN106845424B (zh) 基于深度卷积网络的路面遗留物检测方法
CN103413441B (zh) 道路天气状况监控方法
CN108765404A (zh) 一种基于深度学习图像分类的道路破损检测方法及装置
CN107256635B (zh) 一种智能交通中基于分布式光纤传感的车辆识别方法
CN111553902B (zh) 一种基于大数据的公路路面安全监测***
CN103345842B (zh) 一种道路车辆分型***及方法
CN101975940A (zh) 基于分割组合的sar图像自适应恒虚警率目标检测方法
CN102682601A (zh) 基于优化svm的高速公路交通事件检测方法
CN110688922A (zh) 基于深度学习的交通拥堵检测***及检测方法
CN101814237A (zh) 一种基于车牌识别技术的道路状态判别器及其判别方法
CN103679214B (zh) 基于在线面积估计和多特征决策融合的车辆检测方法
CN116342895B (zh) 基于ai处理的提升再生资源分拣效率的方法及***
CN111025285B (zh) 一种基于图谱灰度自适应选取的沥青路面水损害检测方法
CN115311229A (zh) 基于激光雷达的路面病害检测分类方法、***和存储介质
CN116289444A (zh) 基于智能化的路面病害实时监测与预测装置及方法
CN115439643A (zh) 一种基于单目测量的道路病害尺寸分析与管理方法
CN115527364A (zh) 一种基于雷视数据融合的交通事故溯源方法及***
CN101075377A (zh) 基于偏最小二乘原理的高速公路交通事件自动检测方法
CN113469097B (zh) 一种基于ssd网络的水面漂浮物多相机实时检测方法
CN111915561A (zh) 一种基于图像识别和机器学习的螺栓状态监测方法
CN113066041A (zh) 一种基于栈稀疏自编码深度学习的路面裂缝检测方法
CN116805409A (zh) 一种利用行车视频进行路面状态识别与平整性评估的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200110

WD01 Invention patent application deemed withdrawn after publication