CN111401162A - 渣土车违法审核方法、电子装置、计算机设备和存储介质 - Google Patents

渣土车违法审核方法、电子装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111401162A
CN111401162A CN202010147175.0A CN202010147175A CN111401162A CN 111401162 A CN111401162 A CN 111401162A CN 202010147175 A CN202010147175 A CN 202010147175A CN 111401162 A CN111401162 A CN 111401162A
Authority
CN
China
Prior art keywords
vehicle
muck
target
license plate
truck
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010147175.0A
Other languages
English (en)
Inventor
周康明
张宪法
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eye Control Technology Co Ltd
Original Assignee
Shanghai Eye Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eye Control Technology Co Ltd filed Critical Shanghai Eye Control Technology Co Ltd
Priority to CN202010147175.0A priority Critical patent/CN111401162A/zh
Publication of CN111401162A publication Critical patent/CN111401162A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供的一种渣土车违法审核方法、电子装置、计算机设备和存储介质，通过获取交通环境下的待审核车辆图像；基于目标车辆检测识别模型识别出所述待审核车辆图像中的目标车辆，并判断所述目标车辆是否为渣土车；若所述目标车辆为渣土车，则基于渣土车装货识别模型确定所述渣土车的装货状态以及装货盖的覆盖状态；根据所述装货状态以及所述覆盖状态，确定所述渣土车是否违法。本申请可以自动审核渣土车是否违法，既节约了人力，又保证了审核工作的公开性和公正性。

Description

渣土车违法审核方法、电子装置、计算机设备和存储介质
技术领域
本发明涉及的人工智能目标检测技术领域，特别是涉及一种渣土车违法审核方法、电子装置、计算机设备和存储介质。
背景技术
随着社会经济的不断发展和人民生活水平的不断提高，一方面越来越多的居民拥有私家车辆，另一方面，城市的工程建设也越来越频繁。在此种情况下，政府对城市环保提出更高要求，尤其对通往市区或者郊区的工程用车，故此，要求对渣土车在装载货物的情况下，装货盖的覆盖状态进行违法审核。传统的渣土车违法审核方法主要是通过人工审核的方式，该方法成本较高，效率低下，并且长时间重复性查看图片易使人产生疲劳、注意力不集中等状态，最终影响审核准确率。
如何快速准确地对渣土车进行审核，同时避免人工检测成本高，检测人员易疲劳、易疏忽错误等弊端，是亟需解决的技术问题。
发明内容
鉴于以上所述现有技术的缺点，本申请的目的在于提供一种渣土车违法审核方法、电子装置、计算机设备和存储介质，以解决现有技术中的问题。
为实现上述目的及其他相关目的，本申请提供一种渣土车违法审核方法，所述方法包括：获取待审核车辆图像；基于目标车辆检测识别模型识别出所述待审核车辆图像中的目标车辆，并判断所述目标车辆是否为渣土车；若所述目标车辆为渣土车，则基于渣土车装货识别模型确定所述渣土车的装货状态以及装货盖的覆盖状态；根据所述装货状态以及所述覆盖状态，确定所述渣土车是否违法。
于本申请的一实施例中，所述基于车辆目标检测识别模型识别出所述待审核车辆图像中的目标车辆，并判断所述目标车辆是否为渣土车，包括：确定所述待审核车辆图像中的一个或多个车辆，并判断各所述车辆是否为目标尺寸范围内的车辆；若是，则判断所述目标尺寸范围内的车辆是否为黄色车牌车辆；若是，则检测所述黄色车牌车辆是否为重型货车；若是，则判定所述目标车辆为渣土车。
于本申请的一实施例中，所述目标车辆检测识别模型的构建方法包括：获取不同条件下得到的若干待训练车辆图像；标记所述待训练车辆图像中的车辆的种类；所述种类包括目标尺寸范围内的车辆和目标尺寸范围外的车辆；根据标记后的待训练车辆图像进行训练，获得车辆尺寸检测模型；根据所述车辆尺寸检测模型的输出结果，获取所述待训练车辆图像中，目标尺寸范围外的车辆的车辆图像；标记所述目标尺寸范围外的车辆的车辆图像中车辆的属性；其中，标记结果包括第一标签和第二标签，所述第一标签包括：黄色车牌、非黄色车牌以及无车牌中任意之一；所述第二标签包括：货车、非货车中任意之一；根据标记后的所述目标尺寸范围外的车辆的车辆图像进行训练，获得所述目标车辆检测识别模型。
于本申请的一实施例中，所述判定所述目标车辆为渣土车，包括：基于车牌污损识别模型识别所述目标车辆的车牌是否属于非污损车牌；若是，则基于车牌字符识别模型识别所述目标车辆的车牌号并将所述目标车辆的车牌号与所述目标车辆的标准车牌号进行匹配；若匹配成功，则判定所述目标车辆为渣土车。
于本申请的一实施例中，所述渣土车的装货状态包括：有货、无货中的任意之一；所述装货盖的覆盖状态包括：完全没有覆盖、部分覆盖以及完全覆盖中的任意之一。
于本申请的一实施例中，所述渣土车装货识别模型的构建方法，包括：获取不同类型的标准渣土车图像；标记所述标准渣土车图像中，车斗区域的装货状态以及装货盖的覆盖状态；根据标记后的标准渣土车图像进行训练，获得所述渣土车装货识别模型。
于本申请的一实施例中，所述根据所述装货状态以及所述覆盖状态，确定所述渣土车是否违法，包括：根据所述装货状态以及所述覆盖状态，输出用于确定所述渣土车违法类别的置信度；确定所述置信度中的最大值；根据所述最大值所对应的类别，确定所述渣土车是否违法。
为实现上述目的及其他相关目的，本申请提供一种电子装置，所述装置包括：获取模块，用于获取待审核车辆图像；处理模块，用于基于目标车辆检测识别模型识别出所述待审核车辆图像中的目标车辆，并判断所述目标车辆是否为渣土车；若所述目标车辆为渣土车，则基于渣土车装货识别模型确定所述渣土车的装货状态以及装货盖的覆盖状态；根据所述装货状态以及所述覆盖状态，确定所述渣土车是否违法。
为实现上述目的及其他相关目的，本申请提供一种计算机***，所述设备包括：存储器、处理器、及通信器；所述存储器用于存储计算机指令；所述处理器运行计算机指令实现如上所述的方法；所述通信器与外部设备进行通信。
为实现上述目的及其他相关目的，本申请提供一种计算机可读存储介质，存储有计算机指令，所述计算机指令被运行时执行如上所述的方法。
综上所述，本申请的一种渣土车违法审核方法、电子装置、计算机设备和存储介质，通过获取待审核车辆图像；基于目标车辆检测识别模型识别出所述待审核车辆图像中的目标车辆，并判断所述目标车辆是否为渣土车；若所述目标车辆为渣土车，则基于渣土车装货识别模型确定所述渣土车的装货状态以及装货盖的覆盖状态；根据所述装货状态以及所述覆盖状态，确定所述渣土车是否违法。
具有以下有益效果：
能够准确的从复杂环境中选择出不污损黄牌货车，过滤掉图片中远处模糊黄牌货车车辆以及近处不完整的黄牌货车车辆，进而准确定位到有效黄牌货车，然后准确识别出车牌号码，进而定位到目标车辆，最终审核出目标车辆是否渣土车违法，并给出违法原因以及未违法原因，同时审核过程的全程自动检测识别，既节约了人力，又保证了审核工作的公开、公正。
附图说明
图1显示为本申请于一实施例中的渣土车违法审核方法的流程示意图。
图2显示为本申请于一实施例中的渣土车违法审核方法中步骤S2的流程示意图。
图3显示为本申请于一实施例中的双属性识别深度网络模型的过程示意图。
图4显示为本申请于一实施例中的电子装置的模块示意图。
图5显示为本申请于一实施例中的计算机***的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。。
所述渣土车，也称拉土车、运渣车，不是特指哪一种车，而是指车辆用途是运送沙石、土灰等建筑料的卡车。渣土车比较常见的有大型翻斗车等，其多为大型载重卡车。
于本申请中所述的渣土车主要针对运送沙石、土灰、等建筑料的卡车，而不针对运送建材货、商品等其他货物的卡车。因渣土车所运输的沙石、土灰等建筑料多无外包装，且容易随车辆的行驶而被吹起或散落，因此，需要审核渣土车的装货或运输过程中的装货盖的覆盖状态，以免造成环境污染。其中，这里的装货盖为用于阻止渣土车中的货物显露出来的物品，可以为布料、金属制盖子等，此处不作具体限定。
传统的渣土车违法是否带盖的违法审核主要是通过人工方式，如通过交通道路摄像头抓拍渣土车图片，通过查看以进行审核。该方法成本较高，效率低下，并且长时间重复性查看图片易使人产生疲劳、注意力不集中等状态，最终影响审核准确率。本申请基于深度网络模型提出一种渣土车违法审核方法、电子装置、计算机设备和存储介质，以解决上述问题。
如图1所示，展示为本申请一实施例中的渣土车违法审核方法的流程示意图。如图所示，所述方法包括：
步骤S1：获取待审核车辆图像。
于本实施例中，获取交通环境下的车辆图像，如交通道路上的摄像头或监视器所捕获的针对车辆的图像，或是通过视频流而截取的图像；另外，还可以是人为拍摄的图像，如行人和执法人员拍摄的图像。以上均可作为本申请中的待审核图像以进行审核。
一方面，本申请可以直接针对交通道路上的摄像头所拍摄或采集的图像，进行实时或随机审核的应用场景；另一方面，还可以是审核部门或举报人提供车牌号码及拍摄的图像，进行针对性的渣土车违法审核的应用情景。
步骤S2：基于目标车辆检测识别模型识别出所述待审核车辆图像中的目标车辆，并判断所述目标车辆是否为渣土车。
于本申请一实施例中，所述步骤S2具体包括如下，具体可参考图2所示的流程图：
步骤S21：确定所述待审核车辆图像中的一个或多个车辆，并判断各所述车辆是否为目标尺寸范围内的车辆。
于本实施例中，所述车辆大或小可以依据预设目标尺寸来确定。例如，车身长超过六米为目标尺寸范围，其可以判定为大车，而目标尺寸范围外，即车身小于六米判定为小车。
步骤S22：若是，则判断所述目标尺寸范围内的车辆是否为黄色车牌车辆；
于本实施例中，在我国黄色车牌主要是挂在中重型货车、公交车、工程车等车上。普通家用车或小型车挂蓝色车牌。因此，通过确定是否为黄色车牌以进一步确定是否为渣土车。
步骤S23：若是，则检测所述黄色车牌车辆是否为重型货车；若是，则判定所述目标车辆为渣土车。
于本实施例中，因为渣土车的车斗较深，体积和重量大，因此，依据重型货车的定位是比较精确的。
于本实施例中，上述步骤是一个逐步找到渣土车的流程，因为并非每个待审核图像中一定包含渣土车，或者待审核图像不仅包含渣土车还经常包含其他车辆，因此，需要确定待审核图像中是否包含渣土车。另外，以上各步骤中若检测结果为否，则可认定为非相关车辆。
本申请通过渣土车的一些特点作为与其他车辆的区别点，主要包括但不限于：车辆的大小、对应车牌属性、车辆的属性等等。最终通过大车、黄色车牌、重型货车能够快速确定渣土车，或者确定属于渣土车的范畴。
于本申请一实施例中，所述步骤S2过程中所对应的网络模型构建过程具体如下：
1)获取不同条件下得到的若干待训练车辆图像。举例来说，这里的不同条件可以为不同路段，或同一路段下不同时间段。
2)标记所述待训练车辆图像中的车辆的种类；所述种类包括目标尺寸范围内的车辆和目标尺寸范围外的车辆；简单来说，目标尺寸范围内的车辆主要指大车，如车身超过6米的车辆；目标尺寸范围外的车辆主要指小车，如车身小于6米的车辆。
3)根据标记后的待训练车辆图像进行训练，获得车辆尺寸检测模型；
4)根据所述车辆尺寸检测模型的输出结果，获取所述待训练车辆图像中，目标尺寸范围外的车辆的车辆图像；
5)标记所述目标尺寸范围外的车辆的车辆图像中车辆的属性；其中，标记结果包括第一标签和第二标签，所述第一标签包括：黄色车牌、非黄色车牌以及无车牌中任意之一；所述第二标签包括：货车、非货车中任意之一；
6)根据标记后的所述目标尺寸范围外的车辆的车辆图像进行训练，获得所述目标车辆检测识别模型。
于本实施例中，本申请中采用现有基于深度学习常见的目标检测模型进行检测。如所述检测模型可以包括：Fast R-CNN、Faster R-CNN和FPN等基于候选区域的目标检测器，或者还可以包括YOLO、SSD和RetinaNet等在内的单次检测器。其中，如Fast R-CNN目标检测器，其使用特征提取器(CNN)先提取整个图像的特征之后，并使用ROI池化将其转化为固定大小的特征图块，将特征图作为输入层进行卷积，包含特征提取器、分类器和边界框回归器在内的整个网络能通过多任务损失函数进行端到端的训练，这种多任务损失即结合了分类损失和定位损失的方法，大大提升了模型准确度。
于本实施例中，本申请采用现有基于深度学习常见的语义分割模型进行分割。图像语义分割就是机器自动从图像中分割出对象区域，并识别其中的内容。语义分割方法在处理图像时，具体到像素级别，也就是说，该方法会将图像中每个像素分配到某个对象类别。
在深度学习应用到计算机视觉领域之前，一般使用纹理基元森林(TextonForest)或是随机森林(Random Forest)方法来构建用于语义分割的分类器。卷积神经网络(CNN)不仅能很好地实现图像分类，而且在分割问题中也取得了很大的进展。最初，图像块分类是常用的深度学习方法，即利用每个像素周围的图像块分别将各像素分成对应的类别。其中，使用图像块的主要原因是分类网络通常具有全连接层，其输入需为固定大小的图像块。完全卷积网络(Fully Convolutional Networks)的提出，其推广了原有的CNN结构，在不带有全连接层的情况下能进行密集预测。这种结构的提出使得分割图谱可以生成任意大小的图像，且与图像块分类方法相比，也提高了处理速度。在后来，几乎所有关于语义分割的最新研究都采用了这种结构。
除了全连接层结构，在分割问题中很难使用CNN网络的另一个问题是存在池化层。池化层不仅能增大上层卷积核的感受野，而且能聚合背景同时丢弃部分位置信息。然而，语义分割方法需对类别图谱进行精确调整，因此需保留池化层中所舍弃的位置信息。研究者提出了两个不同形式的结构来解决这个问题。第一种方法是编码器-解码器(encoder-decoder)结构。其中，编码器使用池化层逐渐缩减输入数据的空间维度，而解码器通过反卷积层等网络层逐步恢复目标的细节和相应的空间维度。从编码器到解码器之间，通常存在直接的信息连接，来帮助解码器更好地恢复目标细节。在这种方法中，一种典型结构为U-Net网络。第二种方法使用了称作空洞卷积的结构，且去除了池化层结构。条件随机场(Conditional Random Field，CRF)方法通常在后期处理中用于改进分割效果。CRF方法是一种基于底层图像像素强度进行“平滑”分割的图模型，在运行时会将像素强度相似的点标记为同一类别。
本专利主要是针对渣土车违法审核判断的场景提出一种新的方法，结合基于深度学习的分类、检测模型实现，对这些模型本身没有结构上改进。还需说明的是，后文中的模型构建以均基于此。
举例来说，采用基于深度学习的大小车辆检测模型检测出待审核图像X中的车辆xi，并判断车辆xi是否是大车，如果xi为小车，则令xic＝0，如果xi为大车，则令xic＝0进入下一步。其中，X表示一张待审核图像，xi(i＝0,1,2,...,n)表示图像中的第i个车辆图像，n表示X中检测出的所有车辆。
基于深度学习双属性识别模型获得的重型货车车牌分类模型判断出大车xi属于{黄牌、非黄牌、无车牌}、{重型货车、非重型货车}中的哪两类，若xi不是黄牌货车，则令xic＝0，如果xi为黄牌货车，则令xic＝1，并进入下一步；以及，若xi不是非重型货车，则令xic＝0，如果xi为重型货车，则令xic＝1，并进入下一步。
于本申请一实施例中，参考图3所示，所述双属性识别深度网络模型的具体识别过程为：训练阶段，网络输入为图像和对应的两个labels({货车、非货车}、{黄牌、非黄牌、无车牌})；识别阶段，网络输入为一张图像。图像经过resnet-18基础网络，获得其featuremap，feature map会再通过两个不同的全连接层分支以及softmax层获得两个标签的分类结果，最终获得当前图像的分类结果。
于本申请一实施例中，所述判定所述目标车辆为渣土车，包括：
A、基于车牌污损识别模型识别所述目标车辆的车牌是否属于非污损车牌；
B、若是，则基于车牌字符识别模型识别所述目标车辆的车牌号并将所述目标车辆的车牌号与所述目标车辆的标准车牌号进行匹配；
C、若匹配成功，则判定所述目标车辆为渣土车。
于本实施例中，本方法除了可以直接针对交通道路上的摄像头所拍摄或采集的图像，进行实时或随机审核的应用场景，还可以是审核部门或举报人提供车牌号码及拍摄的图像，进行针对性的应用情景。因此，本方法中还包括车牌的检测，并且在获得车牌信息之后，一方面可以依据预先指定的车牌信息确定对应待审核的车辆，另一方面，还可以将得到的所述审核结果与所述车牌信息进行关联，例如若存在违法情况，则通过车牌信息直接由交警部门或相关部门进行处罚。
于本申请一实施例中，上述步骤过程中所对应的网络模型构建过程具体如下：
1)采用矩形框标记图像中所述车辆的车牌位置，并标记为正常车牌还是污损车牌；
2)依据已标记图像训练目标检测识别深度神经网络模型，获得车牌目标检测污损识别模型；
3)利用所述车牌目标检测污损识别模型获得正常车牌图像，进行人工标记车牌的字符号码；
4)依据已标记车牌的字符号码图像训练车牌是被深度神经网络模型，获得车牌字符识别模型。
承上举例来说，基于深度学习的车牌目标检测污损识别模型检测识别出重型货车xi上的车牌图像为pijc。其中，pijc表示重型货车xi上检测出的第j个车牌的类别为c，j∈"1,2,3,...,m"，m表示选择的车牌个数，c∈"0,1,2"。其中，当c＝0时，表示检测目标为背景；当c＝1时，表示检测目标为污损车牌；当c＝2时，表示检测目标为正常车牌。如果pijc存在正常车牌，则令xic＝1，并进入下一步，否则令xic＝0。
再举例，基于深度学习车牌字符识别模型识别出重型货车xi的车牌pij的字符为rij。其中rij表示第i重型货车中第j个车牌的模型识别车牌号。接着，对比rij与真实目标车辆车牌号R的差异，这里差异比较是根据识别车牌号与真实车牌号R是否存在除汉字外对应4位字符相同，如果存在rij＝R，则令xic＝1，并进入下一步，否则令xic＝0。
步骤S3：若所述目标车辆为渣土车，则基于渣土车装货识别模型确定所述渣土车的装货状态以及装货盖的覆盖状态。
于本实施例中，若所述目标车辆不为渣土车，则得到目标车辆不存在的未违法的审核结果。
于本申请一实施例中，所述渣土车的装货状态包括：有货、无货中的任意之一；所述装货盖的覆盖状态包括：完全没有覆盖、部分覆盖以及完全覆盖中的任意之一。
举例来说，所述渣土车的装货状态以及装货盖的覆盖状态可以总结为：没有覆盖，有货；没有覆盖，无货；部分覆盖，有货；部分覆盖，无货等几种情况。
具体地，所述渣土车装货识别模型的构建方法，包括：
1)获取不同类型的标准渣土车图像；
2)标记所述标准渣土车图像中，车斗区域的装货状态以及装货盖的覆盖状态。
3)根据标记后的标准渣土车图像进行训练，获得所述渣土车装货识别模型。
步骤S4：根据所述装货状态以及所述覆盖状态，确定所述渣土车是否违法。
例如，所述渣土车装货是否违法的审核结果包括以下几种：
1)违法状态疑似，无法看清；
2)未违法，无货且无盖；
3)违法，无盖且不见车斗底；
4)未违法，装货且无盖；
5)违法，装货且盖不严实；
6)未违法，装货且盖严实。
于本申请一实施例中，所述根据所述装货状态以及所述覆盖状态，确定所述渣土车是否违法，包括：根据所述装货状态以及所述覆盖状态，输出用于确定所述渣土车违法类别的置信度；确定所述置信度中的最大值；根据所述最大值所对应的类别，确定所述渣土车是否违法。
举例来说，根据待审核图片X上的所有车辆xi的状态类型xic和渣土车类别hic以及渣土车置信度yic，判断X的违法状态。首先判断是否存在xic＝1成立，如果不存在，则X的违法状态为未违法，给出未违法原因为“目标车辆不存在”；如果存在，当hic＝0或者hic＝4，则X的违法状态为未违法，并且如果yi0>yi4，未违法原因为“空车无盖”，否则未违法原因为“装货盖严实”；当hic＝2或者hic＝3，则X的违法状态为违法，并且如果yi2>yi3，违法原因为“装货无盖”，否则违法原因为“装货没盖严实”；当hic＝2，则X的违法状态疑似，疑似原因为或“车斗无法看清”。
综上所述，本申请所述方法主要应用于交通摄像头抓拍图像中目标车辆是否渣土车违法审核，利用深度学习目标检测、目标分类和字符识别模型，能够准确的从复杂环境中选择出不污损黄牌货车，过滤掉图片中远处模糊黄牌货车车辆以及近处不完整的黄牌货车车辆，进而准确定位到有效黄牌货车，然后准确识别出车牌号码，进而定位到目标车辆，最终审核出目标车辆是否渣土车违法，并给出违法原因以及未违法原因，同时审核过程的全程自动检测识别，既节约了人力，又保证了审核工作的公开、公正。
如图4所示，展示为本申请于一实施例中的电子装置的模块示意图。如图所示，所述装置400包括：
获取模块401，用于获取交通环境下的待审核图像；
处理模块402，用于基于目标车辆检测识别模型识别出所述待审核车辆图像中的目标车辆，并判断所述目标车辆是否为渣土车；若所述目标车辆为渣土车，则基于渣土车装货识别模型确定所述渣土车的装货状态以及装货盖的覆盖状态；根据所述装货状态以及所述覆盖状态，确定所述渣土车是否违法。
需要说明的是，上述装置各模块/单元之间的信息交互、执行过程等内容，由于与本申请所述方法实施例基于同一构思，其带来的技术效果与本申请方法实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。
还需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些单元可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，处理模块402可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上处理模块402的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital signal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上***(system-on-a-chip，简称SOC)的形式实现。
如图5所示，展示为本申请于一实施例中的计算机***的结构示意图。如图所示，所述计算机***500包括：存储器501、处理器502、及通信器503；所述存储器501用于存储计算机指令；所述处理器502运行计算机指令实现如图1所述的方法；所述通信器503与外部设备通信，例如交通***的摄像头或监视器，以获取待审核图像。
在一些实施例中，所述计算机***500中的所述存储器501的数量均可以是一或多个，所述处理器502的数量均可以是一或多个，所述通信器503的数量均可以是一或多个，而图5中均以一个为例。
于本申请一实施例中，所述计算机***500中的处理器502会按照如图1所述的步骤，将一个或多个以应用程序的进程对应的指令加载到存储器501中，并由处理器502来运行存储在存储器502中的应用程序，从而实现如图1所述的方法。
所述存储器501可以包括随机存取存储器(RandomAccessMemory，简称RAM)，也可以包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。所述存储器501存储有操作***和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。操作***可包括各种***程序，用于实现各种基础业务以及处理基于硬件的任务。
所述处理器502可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
所述通信器503用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信连接。所述通信器503可包含一组或多组不同通信方式的模块，例如，与CAN总线通信连接的CAN通信模块。所述通信连接可以是一个或多个有线/无线通讯方式及其组合。通信方式包括：互联网、CAN、内联网、广域网(WAN)、局域网(LAN)、无线网络、数字用户线(DSL)网络、帧中继网络、异步传输模式(ATM)网络、虚拟专用网络(VPN)和/或任何其它合适的通信网络中的任何一个或多个。例如：WIFI、蓝牙、NFC、GPRS、GSM、及以太网中任意一种及多种组合。
在一些具体的应用中，所述计算机***500的各个组件通过总线***耦合在一起，其中总线***除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清除说明起见，在图5中将各种总线都成为总线***。
于本申请的一实施例中，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如图1所述的方法。
所述计算机可读存储介质，本领域普通技术人员可以理解：实现上述***及各单元功能的实施例可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述***及各单元功能的实施例；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述，本申请提供的一种渣土车违法审核方法、电子装置、计算机设备和存储介质，通过获取待审核车辆图像；基于目标车辆检测识别模型识别出所述待审核车辆图像中的目标车辆，并判断所述目标车辆是否为渣土车；若所述目标车辆为渣土车，则基于渣土车装货识别模型确定所述渣土车的装货状态以及装货盖的覆盖状态；根据所述装货状态以及所述覆盖状态，确定所述渣土车是否违法。
本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中包含通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (10)

1.一种渣土车违法审核方法，其特征在于，所述方法包括：
获取待审核车辆图像；
基于目标车辆检测识别模型识别出所述待审核车辆图像中的目标车辆，并判断所述目标车辆是否为渣土车；
若所述目标车辆为渣土车，则基于渣土车装货识别模型确定所述渣土车的装货状态以及装货盖的覆盖状态；
根据所述装货状态以及所述覆盖状态，确定所述渣土车是否违法。
2.根据权利要求1所述的渣土车违法审核方法，其特征在于，所述基于车辆目标检测识别模型识别出所述待审核车辆图像中的目标车辆，并判断所述目标车辆是否为渣土车，包括：
确定所述待审核车辆图像中的一个或多个车辆，并判断各所述车辆是否为目标尺寸范围内的车辆；
若是，则判断所述目标尺寸范围内的车辆是否为黄色车牌车辆；
若是，则检测所述黄色车牌车辆是否为重型货车；
若是，则判定所述目标车辆为渣土车。
3.根据权利要求2所述的渣土车违法审核方法，其特征在于，所述目标车辆检测识别模型的构建方法包括：
获取不同条件下得到的若干待训练车辆图像；
标记所述待训练车辆图像中的车辆的种类；所述种类包括目标尺寸范围内的车辆和目标尺寸范围外的车辆；
根据标记后的待训练车辆图像进行训练，获得车辆尺寸检测模型；
根据所述车辆尺寸检测模型的输出结果，获取所述待训练车辆图像中，目标尺寸范围外的车辆的车辆图像；
标记所述目标尺寸范围外的车辆的车辆图像中车辆的属性；其中，标记结果包括第一标签和第二标签，所述第一标签包括：黄色车牌、非黄色车牌以及无车牌中任意之一；所述第二标签包括：货车、非货车中任意之一；
根据标记后的所述目标尺寸范围外的车辆的车辆图像进行训练，获得所述目标车辆检测识别模型。
4.根据权利要求2所述的渣土车违法审核方法，其特征在于，所述判定所述目标车辆为渣土车，包括：
基于车牌污损识别模型识别所述目标车辆的车牌是否属于非污损车牌；
若是，则基于车牌字符识别模型识别所述目标车辆的车牌号并将所述目标车辆的车牌号与所述目标车辆的标准车牌号进行匹配；
若匹配成功，则判定所述目标车辆为渣土车。
5.根据权利要求1所述的渣土车违法审核方法，其特征在于，所述渣土车的装货状态包括：有货、无货中的任意之一；
所述装货盖的覆盖状态包括：完全没有覆盖、部分覆盖以及完全覆盖中的任意之一。
6.根据权利要求1所述的渣土车违法审核方法，其特征在于，所述渣土车装货识别模型的构建方法，包括：
获取不同类型的标准渣土车图像；
标记所述标准渣土车图像中，车斗区域的装货状态以及装货盖的覆盖状态；
根据标记后的标准渣土车图像进行训练，获得所述渣土车装货识别模型。
7.根据权利要求1所述的渣土车违法审核方法，其特征在于，所述根据所述装货状态以及所述覆盖状态，确定所述渣土车是否违法，包括：
根据所述装货状态以及所述覆盖状态，输出用于确定所述渣土车违法类别的置信度；
确定所述置信度中的最大值；
根据所述最大值所对应的类别，确定所述渣土车是否违法。
8.一种电子装置，其特征在于，所述装置包括：
获取模块，用于获取待审核车辆图像；
处理模块，用于基于目标车辆检测识别模型识别出所述待审核车辆图像中的目标车辆，并判断所述目标车辆是否为渣土车；若所述目标车辆为渣土车，则基于渣土车装货识别模型确定所述渣土车的装货状态以及装货盖的覆盖状态；根据所述装货状态以及所述覆盖状态，确定所述渣土车是否违法。
9.一种计算机设备，其特征在于，所述设备包括：存储器、处理器、及通信器；所述存储器用于存储计算机指令；所述处理器运行计算机指令实现如权利要求1至7中任意一项所述的方法；所述通信器与外部设备进行通信。
10.一种计算机可读存储介质，其特征在于，存储有计算机指令，所述计算机指令被运行时执行如权利要求1至7中任一项所述的方法。
CN202010147175.0A 2020-03-05 2020-03-05 渣土车违法审核方法、电子装置、计算机设备和存储介质 Pending CN111401162A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010147175.0A CN111401162A (zh) 2020-03-05 2020-03-05 渣土车违法审核方法、电子装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010147175.0A CN111401162A (zh) 2020-03-05 2020-03-05 渣土车违法审核方法、电子装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN111401162A true CN111401162A (zh) 2020-07-10

Family

ID=71430514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010147175.0A Pending CN111401162A (zh) 2020-03-05 2020-03-05 渣土车违法审核方法、电子装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN111401162A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112133097A (zh) * 2020-09-25 2020-12-25 重庆市盈科物联网信息技术有限公司 一种基于互联网+的交通驾驶行为管理方法及***
CN112287882A (zh) * 2020-11-18 2021-01-29 成都佳华物链云科技有限公司 渣土车属性识别方法、装置、电子设备及存储介质
CN112730166A (zh) * 2020-12-31 2021-04-30 北京佳华智联科技有限公司 抑制大气颗粒物排放措施的检测方法、装置和检测装置
CN112749674A (zh) * 2021-01-20 2021-05-04 青岛以萨数据技术有限公司 一种渣土车预警方法、设备、***及存储介质
CN112801056A (zh) * 2021-04-02 2021-05-14 上海闪马智能科技有限公司 一种基于局部图像分类的渣土车顶盖状态确定方法及***
CN113593252A (zh) * 2021-07-26 2021-11-02 西安商汤智能科技有限公司 渣土车管理方法及装置、电子设备及计算机可读存储介质
CN113688805A (zh) * 2021-10-25 2021-11-23 深圳联和智慧科技有限公司 一种基于无人机的无牌渣土车识别方法及***
CN114241433A (zh) * 2021-12-14 2022-03-25 中国农业大学 一种青饲收获机跟随料车车斗识别方法及***
CN115861904A (zh) * 2023-02-23 2023-03-28 青岛创新奇智科技集团股份有限公司 一种渣土车冒顶检测模型的生成方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108133599A (zh) * 2017-12-21 2018-06-08 山东亿海兰特通信科技有限公司 一种渣土车视频识别方法及***
CN109409337A (zh) * 2018-11-30 2019-03-01 公安部交通管理科学研究所 基于卷积神经网络的渣土车特征识别方法
CN110415529A (zh) * 2019-09-04 2019-11-05 上海眼控科技股份有限公司 车辆违章的自动处理方法、装置、计算机设备和存储介质
CN110807123A (zh) * 2019-10-29 2020-02-18 中国科学院上海微***与信息技术研究所 车辆长度计算方法、装置、***、计算机设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108133599A (zh) * 2017-12-21 2018-06-08 山东亿海兰特通信科技有限公司 一种渣土车视频识别方法及***
CN109409337A (zh) * 2018-11-30 2019-03-01 公安部交通管理科学研究所 基于卷积神经网络的渣土车特征识别方法
CN110415529A (zh) * 2019-09-04 2019-11-05 上海眼控科技股份有限公司 车辆违章的自动处理方法、装置、计算机设备和存储介质
CN110807123A (zh) * 2019-10-29 2020-02-18 中国科学院上海微***与信息技术研究所 车辆长度计算方法、装置、***、计算机设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘晓东等: "基于深度学习的渣土车顶部覆盖率识别***" *
周立波: "基于深度学习的渣土车违规行为分析" *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112133097A (zh) * 2020-09-25 2020-12-25 重庆市盈科物联网信息技术有限公司 一种基于互联网+的交通驾驶行为管理方法及***
CN112287882A (zh) * 2020-11-18 2021-01-29 成都佳华物链云科技有限公司 渣土车属性识别方法、装置、电子设备及存储介质
CN112730166A (zh) * 2020-12-31 2021-04-30 北京佳华智联科技有限公司 抑制大气颗粒物排放措施的检测方法、装置和检测装置
CN112749674A (zh) * 2021-01-20 2021-05-04 青岛以萨数据技术有限公司 一种渣土车预警方法、设备、***及存储介质
CN112801056A (zh) * 2021-04-02 2021-05-14 上海闪马智能科技有限公司 一种基于局部图像分类的渣土车顶盖状态确定方法及***
CN113593252A (zh) * 2021-07-26 2021-11-02 西安商汤智能科技有限公司 渣土车管理方法及装置、电子设备及计算机可读存储介质
CN113688805A (zh) * 2021-10-25 2021-11-23 深圳联和智慧科技有限公司 一种基于无人机的无牌渣土车识别方法及***
CN114241433A (zh) * 2021-12-14 2022-03-25 中国农业大学 一种青饲收获机跟随料车车斗识别方法及***
CN114241433B (zh) * 2021-12-14 2024-06-25 中国农业大学 一种青饲收获机跟随料车车斗识别方法及***
CN115861904A (zh) * 2023-02-23 2023-03-28 青岛创新奇智科技集团股份有限公司 一种渣土车冒顶检测模型的生成方法及***

Similar Documents

Publication Publication Date Title
CN111401162A (zh) 渣土车违法审核方法、电子装置、计算机设备和存储介质
Maeda et al. Road damage detection using deep neural networks with images captured through a smartphone
Siriborvornratanakul An automatic road distress visual inspection system using an onboard in‐car camera
Hadjidemetriou et al. Automated pavement patch detection and quantification using support vector machines
CN109416250B (zh) 运输车辆的车厢状态检测方法、车厢状态检测装置及终端
CN109993138A (zh) 一种车牌检测与识别方法及装置
CN105574550A (zh) 一种车辆识别方法及装置
CN105938560A (zh) 一种基于卷积神经网络的车型精细分类***
CN111191604A (zh) 检测车牌完整性的方法、设备和存储介质
CN112348791A (zh) 基于机器视觉的废钢智能检判方法、***、介质及终端
CN110751633A (zh) 基于深度学习的多轴大车制动检测方法、装置、***
KR102243493B1 (ko) 화물 차량의 낙하물 방지를 위한 적재 불량 단속 시스템
CN112749653A (zh) 行人检测方法、装置、电子设备及存储介质
KC Enhanced pothole detection system using YOLOX algorithm
CN111723705A (zh) 基于树莓派的厢式货车运输管理控制方法
WO2020258894A1 (zh) 车道线属性检测
CN115830399A (zh) 分类模型训练方法、装置、设备、存储介质和程序产品
CN115424217A (zh) 基于ai视觉的车辆智能识别方法、装置和电子设备
CN115761701A (zh) 激光雷达点云数据增强方法及装置、设备、存储介质
CN114758307A (zh) 一种危化品车检测方法、装置、存储介质及电子装置
CN113361914B (zh) 一种危险废物运输风险管控预警的方法与***
JP2023060729A (ja) Ｃｏ２排出量計算システムおよびｃｏ２排出量計算方法
Ciaparrone et al. A deep learning approach for road damage classification
Wu et al. Research on asphalt pavement disease detection based on improved YOLOv5s
Pu et al. A robust and real-time approach for license plate detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination