CN111985317A - 用于道路智能清扫的路面清洁度评估方法 - Google Patents

用于道路智能清扫的路面清洁度评估方法 Download PDF

Info

Publication number
CN111985317A
CN111985317A CN202010663905.2A CN202010663905A CN111985317A CN 111985317 A CN111985317 A CN 111985317A CN 202010663905 A CN202010663905 A CN 202010663905A CN 111985317 A CN111985317 A CN 111985317A
Authority
CN
China
Prior art keywords
layer
garbage
road surface
cleanliness
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010663905.2A
Other languages
English (en)
Other versions
CN111985317B (zh
Inventor
赵健成
顾昕程
杨致饶
徐江
高传宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Fujie Technology Co ltd
Original Assignee
Shanghai Fujie Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Fujie Technology Co ltd filed Critical Shanghai Fujie Technology Co ltd
Priority to CN202010663905.2A priority Critical patent/CN111985317B/zh
Publication of CN111985317A publication Critical patent/CN111985317A/zh
Application granted granted Critical
Publication of CN111985317B publication Critical patent/CN111985317B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于道路智能清扫的路面清洁度评估方法，通过Yolact路面分割网络提取路面区域，然后经过Yolov3目标检测网络获得大垃圾的定位和类别，同时利用MCNN密度估计网络获得小垃圾的密度分布；最后对所有垃圾加权求和，获得路面的清洁度指数。本发明采用迁移学习和图像增强算法，使训练模型获得更优的性能。通过对该领域的探索，结合图像分割，目标检测和密度估计算法成功实现了路面清洁度的估计。

Description

用于道路智能清扫的路面清洁度评估方法
技术领域
本发明涉及人工智能领域，尤其涉及一种用于道路智能清扫的路面清洁度评估方法。
背景技术
计算机视觉技术是使计算机模拟人类的视觉过程，具有感受环境的能力和人类视觉功能的技术。图像处理、人工智能和模式识别等技术的综合。
计算机视觉是在20世纪50年代从统计模式识别开始的，当时的工作主要集中在二维图像分析和识别上，如光学字符识别.工件表面、显微图片和航空图片的分析和解释等.60年代，Roberts(1965)通过计算机程序从数字图像中提取出诸如立方体、楔形体、棱柱体等多面体的三维结构，并对物体形状及物体的空间关系进行描述[Roberts 1965]。到了70年代，已经出现了一些视觉应用***『Guzman 1969，Maekworth 1973，』。70年代中期，麻省理工学院(MIT)人工智能(AI)实验室正式开设“机器视觉”(Machine Vision)课程，由国际著名学者B.K.P.Hom教授讲授。80年代以来，计算机视觉的研究已经历r从实验室走向实际应用的发展阶段。而计算机工业水平的飞速提高以及人工智能、并行处理和神经元网络等学科的发展，更促进了计算机视觉***的实用化和涉足许多复杂视觉过程的研究。目前，计算机视觉技术正在广泛的应用于计算几何、计算机图形学、图像处理、机器人学等多个领域中。
计算机视觉研究的目标有两个：一个是开发从输入的图像数据自动构造场景描述的图像理解***，另一个是理解人类视觉，以便有朝一日用机器代替人去作人类难以达到或根本无法达到的工作。当前，计算机视觉也是人工智能及机器人科学中颇为活跃的和卓有成效的热门研究课题。
神经网络技术是一种类似于动物神经网络行为特征，通过“观测”数据从而使计算机进行学习的算法模型。该技术依靠节点间连接关系的调整，达成信息处理的目的。目前已研究出多种神经网络，例如深度神经网络(Deep Neural Network,DNN)、卷积神经网络(Convolutional Neural Network,CNN)、深度信念网络(Deep Belief Network,DBN)等。能够应用于不同领域：图像处理、语音识别等。
其中卷积神经网络拥有良好特性，能够识别出图片的重要特征，大大提高了机器视觉的性能。本文主要研究卷积神经网络，由此简单列举经典网络：
(1)LeNet5
LeNet5是最早的卷积神经网络之一，适用于手写字体识别的经典模型，体积较小，仅拥有7层CNN。它通过卷积、池化等操作进行特征提取，简化了数据计算量，最后利用全连接层进行分类，为后代大型神经网络的搭建提供了框架。
(2)AlexNet
AlexNet于2012年诞生，它基于LeNet的思想，建立了5个卷积层与3个全连接层，成功将ReLu作为激活函数，采用多个GPU并行训练，提高了算法效率。同时提出了Dropout随机忽略神经元和数据增强的方法来防止模型训练过拟合。
(3)GoogleNet
GoogleNet是由谷歌研究的神经网络，与AlexNet相似，但体积更小，层次更深。它创造性地使用1x1的卷积核来进行升降维，同时利用多个尺度的卷积核进行卷积，再次减少了参数，降低了计算量。另外也增加了softmax函数来防止梯度消失等问题的产生。
A:张鹏程.一种融合移动边缘计算和深度学习的城市街道垃圾检测和清洁度评估方法；采用Faster R-CNN目标检测网络实现对路面垃圾的检测。可检测的垃圾类别包括：废纸，塑料袋，塑料瓶，易拉罐等。但是对于树叶，树枝，烟头等密集小垃圾无法有效检测。且训练样本较少，仅采用321张垃圾图像作为训练数据集，无法使网络模型得到充分的学习。因此基于检测结果的道路清洁度评估具有很大的局限性
B:Mohammad Saeed Rad.A Computer Vision System to Localize andClassify Wastes on the Streets；采用基于深度卷积的目标检测网络实现对路面小垃圾的检测和识别，包括树叶，烟头和树叶堆等。对稀疏的小目标有较好的效果，但是当目标高度重叠时无法有效感知。且算法对图像分辨率要求较高，当图像分辨率较低时无法有效的检测，而高分辨率图像会很大影响算法的实时性。同时为了消除相机的透视变换带来的目标尺度变化，摄像头安装时成像平面要求与地面平行，这也带来了一定的复杂度。
由于小垃圾所占像信息较少，高度重叠后外观特征变化大，A,B所采用的常规目标检测模型均无法对密集小垃圾有效的感知，且用于模型训练的垃圾数据较少，模型无法得到充分的学习，这也不利于模型感知路面垃圾。同时道路清洁度评估暂时不存在统一标准。这些都为计算机视觉道路清洁度评估工作带来了巨大的困难。
发明内容
1、本发明的目的
本发明为了解决密集小垃圾有效的感知的问题，而提出了一种于道路智能清扫的路面清洁度评估方法。
2、本发明所采用的技术方案
本发明公开了一种用于道路智能清扫的路面清洁度评估方法，通过Yolact路面分割网络提取路面区域，然后经过Yolov3目标检测网络获得大垃圾的定位和类别，同时利用MCNN密度估计网络获得小垃圾的密度分布；最后对所有垃圾加权求和，获得路面的清洁度指数。
优选的，采用实例分割算法对路面进行检测和分割，包括Mask R-CNN，FCIS，Yolact。
优选的，对数字图像或者视频中的多个感兴趣目标进行识别和定位，采用onestage目标检测算法yolov3，通过在图上铺设先验框并对物体的中心点，长宽，和类别进行回归实现目标的定位和识别。
优选的，密度估计：密度图为图像中的密集小目标提供了分布信息；考虑到常规目标检测算法无法对密集小目标有效的定位，采用密度估计算法计算小目标的分布信息。
优选的，采集路面垃圾图像数据，对每张图像中的目标做标注，有两种标注格式，一种是用于垃圾目标检测的矩形框标注格式(class，x，y，w，h)，其中第一个参数class代表标注内容的类别，第二个参数x代表归一化后目标中心点的x坐标，第三个参数y代表归一化后目标中心点的y坐标，第四个参数w代表归一化后的目标框宽度，第五个参数h代表归一化后的目标框高度；另一种是用于垃圾密度估计的点标注格式(x1，y1)，其中第一个参数x1表示目标中心点的x1坐标，第二个参数y1表示目标中心店的y1坐标；点标注格式通过卷积运算生成密度图数据格式。
优选的，路面分割神经网络采用的是yolact框架结构；首先使用ResNet101作为backbone，包括五个卷积模块,分别是conv1,...,conv5，FPN网络为P3层-P7层，C5层经过一个卷积层得到P5层；接着对P5层进行一次双线性插值将其放大，与经过卷积的C4层相加得到P4层；同样的方法得到P3层；此外，还对P5层进行了卷积得到P6层，对P6层进行卷积得到P7层；接下来是并行的操作，P3层被送入Protonet，同时P3层-P7层被送入PredictionHead；Protonet结构由多个3x3卷积层、上采样层和一个1x1的卷积层组成，使用了Relu作为激活函数；与Protonet并行的Prediction Head，首先是三个分支共享的3x3卷积层，然后是每一个分支有各自的3x3的卷积层；最后为了产生instance mask，将mask coefficient作为系数，将prototype分支的结果进行线性组合；将线性组合后结果经过sigmoid函数产生图像中路面对应的mask，将mask覆盖在原图像后提取出图像的路面区域。
优选的，用于大垃圾感知的目标检测网络采用的是Yolov3框架；采用dark net53作为特征提取网络，包括从第0层到第74层，它由一系列的1x1和3x3的卷积层组成，每个卷积层后有一个BN层和一个Leaky-ReLU层，同时Darknet 53也采用了残差连接；Darknet53之后的第75层到105层是yolo网络的特征交互层，分别在三个尺度进行边界框的预测，第一个尺度中，特征图经过了32倍的下采样，适合检测图像中尺寸较大的目标；第二个尺度中，特征图经过了16倍的下采样，具有中等大小的感受野，适合检测中等尺寸的目标；第三个尺度中，特征图经过了8倍的下采样，特征图分辨率较大，适合检测小尺寸的目标；通过在三个尺度下就行预测，得到图像中相对较大的垃圾的边界框和所属标签；从而得到大垃圾的类别及分布信息。
优选的，密集小垃圾的密度估计网络采用的是MCNN框架；包含三列卷积神经网络；池化层为2x2的最大池化，激活函数为ReLU；最后各列输出的结果合并到一起，并使用1x1的卷积核转换成图像中密集小垃圾的密度图。
优选的，基于垃圾分布计算道路清洁度：
其计算公式如下：
Figure BDA0002579636170000051
RC是路面的清洁度，值越低说明路面越干净；其中C1是所有小垃圾所产生的代价和；C2是所有大垃圾产生的代价和；S所评估的路面的面积；α和β是清洁度修正因子；
C1是基于密度图计算得到的，其计算公式如下：
C1＝sum(DesityMap)×W0 (2)
其中sum(DesityMap)表示对整张密度图逐像素求和，求和的结果代表着对小垃圾数量的估计；W0是每个小垃圾所占权重，小垃圾的权重W0始终为1；因此计算式(2)的结果代表所有小垃圾的加权求和；
C2是基于目标检测结果得到的，其计算公式如下：
Figure BDA0002579636170000052
其中Wn代表着第n个大垃圾所表示的类所占有的权重；n为目标检测得到的大垃圾的个数；因此计算式(3)的结果表示所有大垃圾的加权求和。
优选的，清扫前后清洁度对比验证清扫策略的有效性：
Figure BDA0002579636170000053
2、本发明所采用的有益效果
(1)本发明采用迁移学习和图像增强算法，使训练模型获得更优的性能。通过对该领域的探索，结合图像分割，目标检测和密度估计算法成功实现了路面清洁度的估计。
(2)目前在该领域的相关工作中，往往只采用单一的目标检测网络试图对路面垃圾进行定位识别，但是单一目标检测网络往往无法对密集小目标有良好的感知性能，而小垃圾在路面清洁度估计过程中往往占有较大的比重。本发明采用目标检测与密度估计联合感知的方式对路面上的垃圾进行定位和识别。经验证，该方案对各种尺度和密集程度的垃圾具有良好的准确性，实时性和容错性。
(3)本发明关于路面清洁度计算，由于行业内暂时缺乏统一标准，对路面清洁度标准进行了自己的定义。基于垃圾的权重和路面面积设计了路面清洁度计算公式，经验证，该公式具有一定合理性。
(4)本发明基于以上路面清洁度评估算法，可以通过前视以及后视摄像头采集清扫前与清扫后的路面图像，将清扫前后的路面清洁度进行对比，可以验证清扫策略的有效性。使清扫过程更加智能，具有很高的实用价值。
附图说明
图1为整体结构示意图；
图2为图像分割图；
图3为目标检测图；
图4为路面垃圾图像数据集图；
图5为yolact路面分割网络结构图；
图6为路面分割实例图；
图7为Yolov3网络结构图；
图8为垃圾目标检测实例图；
图9为MCNN密度估计网络结构图；
图10为垃圾密度估计实例图；
图11为联合目标检测和密度估计的垃圾分布图。
具体实施方式
下面结合本发明实例中的附图，对本发明实例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域技术人员在没有做创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
下面将结合附图对本发明实例作进一步地详细描述。
实施例1
图像分割
图像分割技术是计算机视觉领域的重要的研究方向之一，是图像语义理解的重要一环。与该技术相关的场景物体分割、人体前背景分割、人脸人体Parsing、三维重建等技术已经在无人驾驶、增强现实、安防监控等行业都得到广泛的应用。
图像分割是指根据灰度、彩色、空间纹理、几何形状等特征把图像划分成若干个互不相交的区域，使得这些特征在同一区域内表现出一致性或相似性，而在不同区域间表现出明显的不同。图像分割适用于理解要求较高的场景，如无人驾驶中对道路和非道路的分割。传统的图像分割方法有基于阈值的分割方法，基于区域的分割方法以及基于边缘的分割方法等。这类算法在复杂场景下往往具有很大的局限性。近年来受到深度学习发展的影响，出现了众多基于人工神经网络的图像分割方法。人工神经网络是由大规模神经元互联组成的高度非线性动力***，是在认识、理解人脑组织机构和运行机制的基础上模拟其结构和智能行为的一种工程***。这类分割方法能够挖掘图像更深层次的语义信息，从而实现更好的分割效果。
图像分割算法按照功能还可以分为：语义分割，实例分割，全景分割，以及超像素分割等。在这里采用实例分割算法对路面进行检测和分割。实例分割是对检测任务的扩展，要求描述出目标的像素级轮廓。目前在实例分割方面比较经典的网络有Mask R-CNN，FCIS，Yolact等。这些都是基于深度学习的实例分割方法。
目标检测
目标检测技术也是计算机视觉领域一个主要研究方向。其在安全、军事、交通、医疗等领域均得到了广泛的应用。
目标检测主要是对数字图像或者视频中的多个感兴趣目标进行识别和定位。传统的目标检测可分为三个步骤：首先选择图像中的候选区域，之后提取Haar、HOG等视觉特征，最后基于支持向量机模型、RF模型等常用分类器进行分类。随着深度学习的发展，目标检测算法也从基于手工特征的传统算法转向了基于人工神经网络的检测技术。后者的发展主要集中在两个方向：two stage算法如R-CNN系列和one stage算法如YOLO、SSD等。考虑到算法的实时性并兼顾性能。采用one stage目标检测算法yolov3。Yolov3通过在图上铺设先验框并对物体的中心点，长宽，和类别进行回归实现目标的定位和识别。
密度估计
密度估计是计算机视觉又一研究方向。在针对特定的宏观场景(例如鸟群)和微观世界(例如显微镜下的细胞)的目标数量感知任务中有广泛的应用。2016年，YingyingZhang等人利用多列卷积神经网络生成密度图，利用密度图对图像中的人群进行计数，达到了很好的效果。2017年，X.Q.Zhou等人成功利用密度图对小目标进行定位和识别。他们的研究表明，密度图可以为图像中的密集小目标提供了良好的分布信息。考虑到常规目标检测算法无法对密集小目标有效的定位，受此启发，采用密度估计算法计算小目标的分布信息。
考虑到该领域现存数据集较少，自行采集了路面垃圾图像数据集用于数据的分析和模型的训练，其中包含1000张路面垃圾图像样本，对每张图像中的目标都做了可靠的标注，有两种标注格式，一种是用于垃圾目标检测的矩形框标注格式(class，x，y，w，h)，其中第一个参数class代表标注内容的类别，第二个参数x代表归一化后目标中心点的x坐标，第三个参数y代表归一化后目标中心点的y坐标，第四个参数w代表归一化后的目标框宽度，第五个参数h代表归一化后的目标框高度。另一种是用于垃圾密度估计的点标注格式(x1，y1)，其中第一个参数x1表示目标中心点的x1坐标，第二个参数y1表示目标中心店的y1坐标。点标注格式通过卷积运算可以生成密度图数据格式。
如图5所示，整个网络采用的是yolact框架结构。首先使用ResNet101作为backbone，它有五个卷积模块,分别是conv1,...,conv5，这五个模块的输出分别对应图上的C1到C5。之后P3-P7是FPN网络。P5是由C5经过一个卷积层得到的；接着对P5进行一次双线性插值将其放大，与经过卷积的C4相加得到P4；同样的方法得到P3。此外，还对P5进行了卷积得到P6，对P6进行卷积得到P7。接下来是并行的操作，P3被送入Protonet，同时P3-P7被送入Prediction Head。Protonet结构由多个3x3卷积层、上采样层和一个1x1的卷积层组成，使用了Relu作为激活函数。与Protonet并行的Prediction Head首先是三个分支共享的3x3卷积层，然后是每一个分支有各自的3x3的卷积层。最后为了产生instance mask，将maskcoefficient作为系数，将prototype分支的结果进行线性组合。将线性组合后结果经过sigmoid函数产生最后的masks。如下图6所示。
通过前述的路面分割神经网络可以得到图像中路面对应的mask，将mask覆盖在原图像后可以提取出图像的路面区域。
如图7所示，用于垃圾感知(大垃圾)的目标检测网络采用的是Yolov3框架。其采用darknet53作为特征提取网络，包括从第0层到第74层，它由一系列的1x1和3x3的卷积层组成，每个卷积层后有一个BN层和一个Leaky-ReLU层，同时Darknet53也采用了残差连接。Darknet53之后的第75层到105层是yolo网络的特征交互层，分别在三个尺度进行边界框的预测，第一个尺度中，特征图经过了32倍的下采样，适合检测图像中尺寸较大的目标。第二个尺度中，特征图经过了16倍的下采样，具有中等大小的感受野，适合检测中等尺寸的目标。第三个尺度中，特征图经过了8倍的下采样，特征图分辨率较大，适合检测小尺寸的目标。通过在三个尺度下就行预测，输出最终的结果。
通过前述的目标检测神经网络可以得到图像中相对较大的垃圾的边界框(boundingbox)和所属标签(label)。从而得到大垃圾的类别及分布信息。如图8所示。
如图9所示，用于垃圾感知(密集小垃圾)的密度估计网络采用的是MCNN框架。MCNN是一种全卷积网络，其包含三列卷积神经网络，每列卷积核大小和数量各不相同，但网络结构基本一致。池化层为2x2的最大池化，激活函数为ReLU。另外为减少计算量，大卷积核对应的列对应的卷积核数量较少。最后各列输出的结果合并到一起，并使用1x1的卷积核转换成最终的密度图像。
通过前述的密度估计神经网络可以得到图像中密集小垃圾的密度图。从而得到密集小垃圾的分布信息。如图10所示。
5.5基于垃圾分布计算道路清洁度
本发明中提出了一种路面清洁度评估标准，用于衡量路面的干净程度。
其计算公式如下：
Figure BDA0002579636170000091
RC是路面的清洁度，值越低说明路面越干净。其中C1是所有小垃圾所产生的代价和。C2是所有大垃圾产生的代价和。S所评估的路面的面积。α和β是清洁度修正因子。
C1是基于密度图计算得到的，其计算公式如下：
C1＝sum(DesityMap)×W0 (2)
其中sum(DesityMap)表示对整张密度图逐像素求和，求和的结果代表着对小垃圾数量的估计。W0是每个小垃圾所占权重，在本发明中小垃圾的权重W0始终为1。因此计算式(2)的结果代表所有小垃圾的加权求和。
C2是基于目标检测结果得到的，其计算公式如下：
Figure BDA0002579636170000101
其中Wn代表着第n个大垃圾所表示的类所占有的权重。n为目标检测得到的大垃圾的个数。因此计算式(3)的结果表示所有大垃圾的加权求和。
各项权重W的定义如下：
Figure BDA0002579636170000102
为了将路面清洁度更好地量化，同时也引入一种基于等级的路面清洁度评估指标：
Figure BDA0002579636170000103
Figure BDA0002579636170000111
清扫前后清洁度对比：通过清扫前与清扫后的路面清洁度对比，验证清扫策略的有效性。其计算公式如下：
Figure BDA0002579636170000112
综上所述，本发明是一种基于图像分割，目标检测和密度估计的用于智能清扫的道路清洁度评估算法。该算法通过Yolact路面分割网络提取路面区域，然后经过Yolov3目标检测网络获得大垃圾的定位和类别，同时利用MCNN密度估计网络获得小垃圾的密度分布。最后对所有垃圾加权求和，获得路面的清洁度指数。该算法计算复杂度小，实时性高。联合目标检测和密度估计算法，能在多种复杂路面场景下对垃圾进行有效的定位和识别，得到可靠的路面垃圾分布信息，提高清洁度评估的稳定性和合理性。使路面清扫更加智能，具有很高的实用价值。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种用于道路智能清扫的路面清洁度评估方法，其特征在于：
通过Yolact路面分割网络提取路面区域，然后经过Yolov3目标检测网络获得大垃圾的定位和类别，同时利用MCNN密度估计网络获得小垃圾的密度分布；最后对所有垃圾加权求和，获得路面的清洁度指数。
2.根据权利要求1所述的用于道路智能清扫的路面清洁度评估方法，其特征在于：采用实例分割算法对路面进行检测和分割，包括Mask R-CNN，FCIS，Yolact。
3.根据权利要求1所述的用于道路智能清扫的路面清洁度评估方法，其特征在于：对数字图像或者视频中的多个感兴趣目标进行识别和定位，采用one stage目标检测算法yolov3，通过在图上铺设先验框并对物体的中心点，长宽，和类别进行回归实现目标的定位和识别。
4.根据权利要求1所述的用于道路智能清扫的路面清洁度评估方法，其特征在于密度估计：密度图为图像中的密集小目标提供了分布信息；考虑到常规目标检测算法无法对密集小目标有效的定位，采用密度估计算法计算小目标的分布信息。
5.根据权利要求4所述的用于道路智能清扫的路面清洁度评估方法，其特征在于：采集路面垃圾图像数据，对每张图像中的目标做标注，有两种标注格式，一种是用于垃圾目标检测的矩形框标注格式(class，x，y，w，h)，其中第一个参数class代表标注内容的类别，第二个参数x代表归一化后目标中心点的x坐标，第三个参数y代表归一化后目标中心点的y坐标，第四个参数w代表归一化后的目标框宽度，第五个参数h代表归一化后的目标框高度；另一种是用于垃圾密度估计的点标注格式(x1，y1)，其中第一个参数x1表示目标中心点的x1坐标，第二个参数y1表示目标中心店的y1坐标；点标注格式通过卷积运算生成密度图数据格式。
6.根据权利要求1所述的用于道路智能清扫的路面清洁度评估方法，其特征在于：路面分割神经网络采用的是yolact框架结构；首先使用ResNet101作为backbone，包括五个卷积模块,分别是conv1,...,conv5，FPN网络为P3层-P7层，C5层经过一个卷积层得到P5层；接着对P5层进行一次双线性插值将其放大，与经过卷积的C4层相加得到P4层；同样的方法得到P3层；此外，还对P5层进行了卷积得到P6层，对P6层进行卷积得到P7层；接下来是并行的操作，P3层被送入Protonet，同时P3层-P7层被送入Prediction Head；Protonet结构由多个3x3卷积层、上采样层和一个1x1的卷积层组成，使用了Relu作为激活函数；与Protonet并行的Prediction Head，首先是三个分支共享的3x3卷积层，然后是每一个分支有各自的3x3的卷积层；最后为了产生instance mask，将mask coefficient作为系数，将prototype分支的结果进行线性组合；将线性组合后结果经过sigmoid函数产生图像中路面对应的mask，将mask覆盖在原图像后提取出图像的路面区域。
7.根据权利要求1所述的用于道路智能清扫的路面清洁度评估方法，其特征在于：用于大垃圾感知的目标检测网络采用的是Yolov3框架；采用darknet53作为特征提取网络，包括从第0层到第74层，它由一系列的1x1和3x3的卷积层组成，每个卷积层后有一个BN层和一个Leaky-ReLU层，同时Darknet53也采用了残差连接；Darknet53之后的第75层到105层是yolo网络的特征交互层，分别在三个尺度进行边界框的预测，第一个尺度中，特征图经过了32倍的下采样，适合检测图像中尺寸较大的目标；第二个尺度中，特征图经过了16倍的下采样，具有中等大小的感受野，适合检测中等尺寸的目标；第三个尺度中，特征图经过了8倍的下采样，特征图分辨率较大，适合检测小尺寸的目标；通过在三个尺度下就行预测，得到图像中相对较大的垃圾的边界框和所属标签；从而得到大垃圾的类别及分布信息。
8.根据权利要求1所述的用于道路智能清扫的路面清洁度评估方法，其特征在于：密集小垃圾的密度估计网络采用的是MCNN框架；包含三列卷积神经网络；池化层为2x2的最大池化，激活函数为ReLU；最后各列输出的结果合并到一起，并使用1x1的卷积核转换成图像中密集小垃圾的密度图。
9.根据权利要求1所述的用于道路智能清扫的路面清洁度评估方法，其特征在于基于垃圾分布计算道路清洁度：
其计算公式如下：
Figure FDA0002579636160000021
RC是路面的清洁度，值越低说明路面越干净；其中C1是所有小垃圾所产生的代价和；C2是所有大垃圾产生的代价和；S所评估的路面的面积；α和β是清洁度修正因子；
C1是基于密度图计算得到的，其计算公式如下：
C1＝sum(DesityMap)×W0 (2)
其中sum(DesityMap)表示对整张密度图逐像素求和，求和的结果代表着对小垃圾数量的估计；W0是每个小垃圾所占权重，小垃圾的权重W0始终为1；因此计算式(2)的结果代表所有小垃圾的加权求和；
C2是基于目标检测结果得到的，其计算公式如下：
Figure FDA0002579636160000031
其中Wn代表着第n个大垃圾所表示的类所占有的权重；n为目标检测得到的大垃圾的个数；因此计算式(3)的结果表示所有大垃圾的加权求和。
10.根据权利要求6所述的用于道路智能清扫的路面清洁度评估方法，其特征在于：清扫前后清洁度对比验证清扫策略的有效性：
Figure FDA0002579636160000032
CN202010663905.2A 2020-07-10 2020-07-10 用于道路智能清扫的路面清洁度评估方法 Active CN111985317B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010663905.2A CN111985317B (zh) 2020-07-10 2020-07-10 用于道路智能清扫的路面清洁度评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010663905.2A CN111985317B (zh) 2020-07-10 2020-07-10 用于道路智能清扫的路面清洁度评估方法

Publications (2)

Publication Number Publication Date
CN111985317A true CN111985317A (zh) 2020-11-24
CN111985317B CN111985317B (zh) 2022-11-08

Family

ID=73439107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010663905.2A Active CN111985317B (zh) 2020-07-10 2020-07-10 用于道路智能清扫的路面清洁度评估方法

Country Status (1)

Country Link
CN (1) CN111985317B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669274A (zh) * 2020-12-23 2021-04-16 山东大学 一种用于表面异常区域像素级分割的多任务检测方法
CN113111703A (zh) * 2021-03-02 2021-07-13 郑州大学 基于多种卷积神经网络融合的机场道面病害异物检测方法
CN113343838A (zh) * 2021-06-03 2021-09-03 安徽大学 一种基于cnn神经网络的智能垃圾识别方法及装置
CN113449615A (zh) * 2021-06-16 2021-09-28 新安洁环境卫生股份有限公司 一种清扫作业质量智能检查方法、***及存储介质
CN113988719A (zh) * 2021-12-27 2022-01-28 南昌工程学院 城市道路环卫质量评价方法、装置、存储介质及设备
CN114708464A (zh) * 2022-06-01 2022-07-05 广东艺林绿化工程有限公司 一种基于道路垃圾分类的市政环卫清扫垃圾车清扫方法
CN114913477A (zh) * 2022-05-06 2022-08-16 广州市城市规划勘测设计研究院 城市管线防挖掘预警方法、装置、设备及介质
CN114991047A (zh) * 2022-08-02 2022-09-02 山东省凯麟环保设备股份有限公司 基于智能视觉和双向地面清洁度判断的清扫方法及***
CN115018801A (zh) * 2022-06-15 2022-09-06 湖南湘江智车出行科技有限公司 一种道路清洁度检测方法以及智能清扫方法
CN117745793A (zh) * 2024-01-30 2024-03-22 北京交通发展研究院 一种慢行道路宽度测量方法、***及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165582A (zh) * 2018-08-09 2019-01-08 河海大学 一种城市街道垃圾检测和清洁度评估方法
CN109753890A (zh) * 2018-12-18 2019-05-14 吉林大学 一种路面垃圾物智能识别与感知方法及其实现装置
CN111160186A (zh) * 2019-12-20 2020-05-15 上海寒武纪信息科技有限公司 智能垃圾分类处理方法及相关产品

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165582A (zh) * 2018-08-09 2019-01-08 河海大学 一种城市街道垃圾检测和清洁度评估方法
CN109753890A (zh) * 2018-12-18 2019-05-14 吉林大学 一种路面垃圾物智能识别与感知方法及其实现装置
CN111160186A (zh) * 2019-12-20 2020-05-15 上海寒武纪信息科技有限公司 智能垃圾分类处理方法及相关产品

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHANGLIN LI ETC.: ""Density Map Guided Object Detection in Aerial Images"", 《ARXIV:2004.05520V1[CS.CV]》 *
DANIEL BOLYA ETC.: ""YOLACT Real-time Instance Segmentation"", 《ARXIV:1904.02689V2[CS.CV]》 *
魏宏彬: ""基于改进型YOLO v3的蔬菜识别算法"", 《郑州大学学报（工学版）》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669274A (zh) * 2020-12-23 2021-04-16 山东大学 一种用于表面异常区域像素级分割的多任务检测方法
CN112669274B (zh) * 2020-12-23 2022-06-17 山东大学 一种用于表面异常区域像素级分割的多任务检测方法
CN113111703A (zh) * 2021-03-02 2021-07-13 郑州大学 基于多种卷积神经网络融合的机场道面病害异物检测方法
CN113343838A (zh) * 2021-06-03 2021-09-03 安徽大学 一种基于cnn神经网络的智能垃圾识别方法及装置
CN113449615A (zh) * 2021-06-16 2021-09-28 新安洁环境卫生股份有限公司 一种清扫作业质量智能检查方法、***及存储介质
CN113988719A (zh) * 2021-12-27 2022-01-28 南昌工程学院 城市道路环卫质量评价方法、装置、存储介质及设备
CN114913477A (zh) * 2022-05-06 2022-08-16 广州市城市规划勘测设计研究院 城市管线防挖掘预警方法、装置、设备及介质
CN114708464A (zh) * 2022-06-01 2022-07-05 广东艺林绿化工程有限公司 一种基于道路垃圾分类的市政环卫清扫垃圾车清扫方法
CN114708464B (zh) * 2022-06-01 2022-08-30 广东艺林绿化工程有限公司 一种基于道路垃圾分类的市政环卫清扫垃圾车清扫方法
CN115018801A (zh) * 2022-06-15 2022-09-06 湖南湘江智车出行科技有限公司 一种道路清洁度检测方法以及智能清扫方法
CN114991047A (zh) * 2022-08-02 2022-09-02 山东省凯麟环保设备股份有限公司 基于智能视觉和双向地面清洁度判断的清扫方法及***
CN117745793A (zh) * 2024-01-30 2024-03-22 北京交通发展研究院 一种慢行道路宽度测量方法、***及设备

Also Published As

Publication number Publication date
CN111985317B (zh) 2022-11-08

Similar Documents

Publication Publication Date Title
CN111985317B (zh) 用于道路智能清扫的路面清洁度评估方法
Ma et al. Multi-scale point-wise convolutional neural networks for 3D object segmentation from LiDAR point clouds in large-scale environments
de Jong et al. Unsupervised change detection in satellite images using convolutional neural networks
Ma et al. Capsule-based networks for road marking extraction and classification from mobile LiDAR point clouds
CN112488210A (zh) 一种基于图卷积神经网络的三维点云自动分类方法
CN111985316B (zh) 一种用于道路智能清扫的路面垃圾感知方法
Han et al. Image crowd counting using convolutional neural network and Markov random field
JP6397379B2 (ja) 変化領域検出装置、方法、及びプログラム
Cao et al. Robust vehicle detection by combining deep features with exemplar classification
Balaska et al. Enhancing satellite semantic maps with ground-level imagery
Alvarez et al. Road geometry classification by adaptive shape models
Singh et al. Semantic segmentation of satellite images using deep-unet
Haider et al. Human detection in aerial thermal imaging using a fully convolutional regression network
EP4174792A1 (en) Method for scene understanding and semantic analysis of objects
Wang et al. A feature-supervised generative adversarial network for environmental monitoring during hazy days
Du et al. ResDLPS-Net: Joint residual-dense optimization for large-scale point cloud semantic segmentation
Chen et al. Urban vegetation segmentation using terrestrial LiDAR point clouds based on point non-local means network
Li et al. An aerial image segmentation approach based on enhanced multi-scale convolutional neural network
CN105574545A (zh) 环境图像多视角语义切割方法及装置
Zuo et al. A remote sensing image semantic segmentation method by combining deformable convolution with conditional random fields
Lowphansirikul et al. 3D Semantic segmentation of large-scale point-clouds in urban areas using deep learning
Liu Learning full-reference quality-guided discriminative gradient cues for lane detection based on neural networks
Huang et al. Change detection with absolute difference of multiscale deep features
Li et al. A new algorithm of vehicle license plate location based on convolutional neural network
Kholik et al. Classification of traffic vehicle density using deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant