CN113762144A - 一种基于深度学习的黑烟车检测方法 - Google Patents

一种基于深度学习的黑烟车检测方法 Download PDF

Info

Publication number
CN113762144A
CN113762144A CN202111035079.8A CN202111035079A CN113762144A CN 113762144 A CN113762144 A CN 113762144A CN 202111035079 A CN202111035079 A CN 202111035079A CN 113762144 A CN113762144 A CN 113762144A
Authority
CN
China
Prior art keywords
vehicle
black smoke
model
image
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111035079.8A
Other languages
English (en)
Other versions
CN113762144B (zh
Inventor
路小波
袁立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202111035079.8A priority Critical patent/CN113762144B/zh
Publication of CN113762144A publication Critical patent/CN113762144A/zh
Application granted granted Critical
Publication of CN113762144B publication Critical patent/CN113762144B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的黑烟车检测方法,模型构建包括以下步骤:对实际道路摄像头获取的图像中的车辆目标进行标注,构建车辆目标检测数据集;采用YOLOv3模型对已标注的车辆目标数据集进行训练,实现模型对图像中的车辆目标进行检测并获得车辆目标尾部区域图像,以构建黑烟分类数据集;采用结合蒸馏和训练优化的改进的VisionTransformer模型进行黑烟分类模型训练以判断车辆是否排放黑烟;对实际道路视频传来的视频数据进行实时黑烟车检测,若发现黑烟车则警示,本发明采用计算机视觉的方式,在无人监视条件下,从视频数据中对黑烟车进行有效自动检测和警示的方法,能够有效提升黑烟车检测的精度和速度,避免受到图像中阴影等因素的干扰。

Description

一种基于深度学习的黑烟车检测方法
技术领域
本发明属于计算机视觉和交通视频检测领域,具体涉及一种基于深度学习的黑烟车检测方法。
背景技术
世界燃油汽车总量的持续快速增长给各国主要城市带来巨大的交通和环境问题,燃油车尾气的排放是大气污染气体的主要来源之一。以固体悬浮颗粒物和有毒有害气体为主要成分的燃油车尾气,会因接触或吸入的方式对人体健康造成不可逆的影响,还会产生雾霾、酸雨等现象对大气环境和土壤环境形成污染。因此,对道路中的黑烟车进行检测和报警对人体健康和生态环境具有重要意义。从车外采用传统方法进行黑烟车检测的方式,主要包括车辆年度审查、交通警察在道路中实际观测和采用人工方式对道路监控视频进行分析,采用这种方式不仅时效性差,还会耗费大量的人力资源,黑烟车漏检情况时有发生。然而,随着道路摄像头数量的增加,借助发展迅速的图像处理技术能够实现低成本、快速、高效地黑烟车识别。
基于计算机视觉的黑烟车检测的核心在于对图像中的黑烟进行分类识别,目前黑烟分类模型主要包括采用传统机器学习和深度学习的方法。基于传统机器学习的方法主要又分为借助判别模型和生成模型两种方法。传统方法对烟雾进行识别往往只能结合少数特征,若结合较多特征则计算复杂,故识别效果往往较差,且算法适应能力弱,应用场景十分有限。
基于深度学习的黑烟分类方法能够较好地自动进行特征提取进而解决了传统黑烟分类方法存在的上述问题。近来,Transformer模型在计算机视觉领域备受关注且在各具体任务下有不俗的表现,而在图像分类任务中具有代表性的是Vision Transformer,它采用的是脱离卷积神经网络而完全基于注意力机制的模型。
发明内容
为解决上述问题,本发明公开了一种基于深度学习的黑烟车检测方法,采用计算机视觉的方式,能够实现在无人监视条件下,从实际道路环境摄像头所获取的视频数据中对黑烟车进行有效自动检测和警示的方法,能够有效提升黑烟车检测的精度和速度,很大程度上避免受到图像中阴影等因素的干扰。
为达到上述目的,本发明的技术方案如下:
一种基于深度学习的黑烟车检测方法,包括以下步骤:
步骤一、对实际道路摄像头获取的图像中的车辆目标进行标注,构建车辆目标检测数据集;
步骤二、采用YOLOv3模型对已标注的车辆目标数据集进行训练,实现模型对图像中的车辆目标进行检测并获得车辆目标尾部区域图像,以构建黑烟分类数据集;
步骤三、采用结合蒸馏和训练优化的改进的Vision Transformer模型进行黑烟分类模型训练以判断车辆是否排放黑烟;
步骤四、对实际道路视频传来的视频数据进行实时黑烟车检测,若发现黑烟车则警示。
进一步,所述步骤一中,车辆目标检测数据集是由实际道路摄像头所拍摄视频等帧截取后的图像经标注后组成的,车辆目标包括小汽车、掀背车、厢型车、卡车、公交车共计5类。
进一步,所述步骤二中,采用YOLOv3模型进行训练后能够识别视频中的车辆目标,采用算法对在车辆目标框高度的70%处取一个边长等于车辆目标框宽度的正方形,并在保持中心点不变的基础上对正方形大小进行尺度变换,以此获得黑烟分类图像,采用人工方式对将车辆尾部图像分为有烟和无烟两类,构建黑烟分类数据集。
进一步,所述步骤三中,蒸馏是通过在编码器前,采用类似添加分类标志的方式,额外在输入末端加入一个蒸馏标志来实现的。引入已完成训练的Resnet-50网络作为导师模型,使蒸馏标志的输出尽可能接近导师模型对输入图片的输出。在训练过程中对原分类标志和蒸馏标志同时进行反向传播学习,能够使需要被训练的学生模型在与导师模型的交互中更好地对训练过程进行优化互补。训练过程中,将损失函数替换为如下所示的二值交叉熵损失函数:
Figure BDA0003246822220000021
其中N为批大小,σ为sigmoid函数,xn为模型输出,yn为标签值。
进一步,所述步骤四中,实际测试过程主要是一个两段过程,一是对视频逐帧图像中的车辆进行目标检测,之后将检出的车辆目标框的下部分区域进行扩大以作为黑烟分类器的核心区域,二是采用黑烟分类器根据车辆尾气特征对核心区域进行黑烟分类,以判断是否存在排烟情况。最后,若在连续几帧内都判断为有烟情况,则进行警示。
本发明的有益效果为:
1)本发明提供了一种基于深度学习的黑烟车检测方法,算法先对视频逐帧图像中的车辆进行目标检测之后选取车辆目标的尾部核心区域进行分类检测,采用此法能够有效提升黑烟车检测的精度和速度,算法能在很大程度上避免受到图像中阴影等因素的干扰。
2)本发明对分类网络模型引入额外的蒸馏标志,能够在数据标签外额外增加一个已完成训练的Resnet-50模型对训练过程进行额外的引导,能够强化模型训练的监督作用,进而在降低了训练成本的同时提升了模型的能力。
3)本发明针对性地对模型训练过程进行了优化,通过引入binary cross entropywith logits(二值交叉熵)损失函数,能够实现模型仅独立关心分类标志输出中的有烟类别的值并以此计算损失函数,从而能够有效降低训练过程中的运算量,降低模型收敛难度。
4)本发明解决了现有技术中不能实时、准确地对道路监控视频中黑烟车进行检测并对证据进行保存的问题;能够实时、准确地对道路监控视频中黑烟车进行检测并对证据进行保存,同时能够对多种时段、道路环境、车型进行较好地适配。
附图说明
图1是本发明的流程图。
图2是检测过程的流程图。
图3是实际道路摄像头所拍摄视频等帧截取后的图像。
图4是车辆目标检测结果。
图5是算法获得车辆目标尾部区域图像的计算过程。
图6是分类模型的框架图。
图7是实际道路黑烟车检测实测图。
具体实施方式
下面结合附图和具体实施方式,进一步阐明本发明,应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
实施例
本实施例整体逻辑框架如图1所示,对实际道路进行黑烟检测的逻辑过程如图2所示。
本实施例使用的图像为实际道路摄像头所拍摄视频等帧截取后的图像,如图3所示。
本实施例以图3中所示实际道路环境图像为例,这些图像中包括类型各不相同的车辆,在实际道路环境中,往往黑烟车在车流中的占比十分小。在获取道路视频图像帧后,对图像中不同类的车辆目标进行标注,车辆目标包括小汽车、掀背车、厢型车、卡车、公交车共计5类,从而完成车辆目标检测数据集的构建。
本实施例采用YOLOv3模型对已标注的车辆目标数据集按照训练集和测试集的划分进行训练,车辆目标检测结果如图4所示。
在实现模型对图像中的车辆目标进行检测后,采用算法获得车辆目标尾部区域图像,以构建黑烟分类数据集。算法具体思路为如图5所示,在车辆目标框高度的70%处取一个边长等于车辆目标框宽度的正方形,并在保持中心点不变的基础上对正方形大小进行尺度变换,以此获得黑烟分类核心区域图像。在此之后,采用人工方式对将车辆尾部图像分为有烟和无烟两类,构建黑烟分类数据集。
本实施例基于Transformer架构的Vision Transformer模型对黑烟进行分类,在此基础上,采用了结合蒸馏和优化损失函数的方式来达到更好的模型训练效果。该模型的框架图如图6所示,具体步骤如下所示:
1)图像输入处理:为满足应用于NLP模型的序列输入形式,可以用(P×P)大小的小块将(H,W,C)的图像切分为m个,之后用m×(P,P,C)的小块延展成m个长度为P2×C的序列即可。由于直接获取的序列长度较大,故在算法中采用全连接层对序列进行了降维压缩。
2)添加分类标志:由于模型放弃了Transformer中解码器的结构,模型在送入编码器之前,在图片信息最前端添加了一个可训练的分类标志x0,由该标志负责对分类预测结果进行表示。
3)添加位置信息:添加位置信息用于避免模型本身注意力机制无法对位置信息进行获取进而导致的信息混淆问题。对添加分类标志后的信息进行位置编码,将位置编码向量和由图像小块获取的嵌入向量进行相加就构成了后续编码器的输入。
4)编码器:采用了原编码器结构,主要包括多头自注意力机制和前馈网络两个过程。本文中,多头自注意力机制就是由8个自注意力模块构成的。每个自注意力模块进行Zi=softmax(QKT/d)V的运算,其中Q,K,V分别为Query向量,Key向量,Value向量,它们是由编码器输入X与可训练矩阵WQ,WK,WV相乘得到的,d为归一化因子。所以多头自注意力模块的输出Z就是由8个Zi进行加权拼接后经过一个全连接层获得的。前馈网络由两个全连接层对维度进行变换,相比于Transformer,本模型将ReLU激活函数替换为了更适宜Transformer模型的GELU以达到更好的效果。在编码器中,还添加了残差通道和LN层归一化操作,目的是提升模型优化速度,避免退化问题。
5)最后一个前馈网络的输出经过包含归一化层和全连接层的输出头后,可以得到位于最前端的分类标志,该标志中包含的模型对不同类别的预测值就是模型整体的输出。
6)蒸馏是通过在编码器前,采用类似添加分类标志的方式,额外在输入末端加入一个蒸馏标志来实现的。本发明引入已完成训练的Resnet-50网络作为导师模型,使蒸馏标志的输出尽可能接近导师模型对输入图片的输出。在训练过程中对原分类标志和蒸馏标志同时进行反向传播学习,能够使需要被训练的学生模型在与导师模型的交互中更好地对训练过程进行优化互补。
7)模型训练过程优化,通过引入binary cross entropy with logits损失函数,能够实现模型仅独立关心分类标志输出中的有烟类别的值并以此计算损失函数,从而能够有效降低训练过程中的运算量,降低模型收敛难度。
本发明在完成目标检测模型和黑烟分类模型的构建和训练后,可以实现对实际道路视频传来的视频数据进行实时黑烟车检测的检测过程,一是对视频逐帧图像中的车辆进行目标检测,之后将检出的车辆目标框的下部分区域进行扩大以作为黑烟分类器的核心区域,二是采用黑烟分类器根据车辆尾气特征对核心区域进行黑烟分类,若在连续几帧内都判断为有烟情况,则进行警示,实测结果如图7所示。其中矩形框内为车辆目标,方形框内为检测出车辆排放的黑烟。
本发明提供了一种基于深度学习的黑烟车检测方法,通过对YOLOv3目标检测模型和结合蒸馏与训练优化的改进的Vision Transformer黑烟分类模型进行分段训练和使用,本发明能够实现对实际道路环境中黑烟车实时、准确地进行检测。本发明对黑烟车检测的智能化和自动化有着重要作用,具有较大的应用前景。
本发明不局限于上述实施例所述的具体技术方案,除上述实施例外,本发明还可有其他实施方式。对于本领域的技术人员来说,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等形成的技术方案,均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于深度学习的黑烟车检测方法,其特征在于,该方法包括以下步骤:
步骤一、对实际道路摄像头获取的图像中的车辆目标进行标注,构建车辆目标检测数据集;
步骤二、采用YOLOv3模型对已标注的车辆目标数据集进行训练,实现模型对图像中的车辆目标进行检测并获得车辆目标尾部区域图像,以构建黑烟分类数据集;
步骤三、采用结合蒸馏和训练优化的改进的Vision Transformer模型进行黑烟分类模型训练以判断车辆是否排放黑烟;
步骤四、对实际道路视频传来的视频数据进行实时黑烟车检测,若发现黑烟车则警示。
2.根据权利要求1所述的方法,其特征在于:所述步骤一中,车辆目标检测数据集是由实际道路摄像头所拍摄视频等帧截取后的图像经标注后组成的,车辆目标包括小汽车、掀背车、厢型车、卡车、公交车共计5类。
3.根据权利要求1所述的一种基于深度学习的黑烟车检测方法,其特征在于:所述步骤二中,采用YOLOv3模型进行训练后能够识别视频中的车辆目标,采用算法对在车辆目标框高度的70%处取一个边长等于车辆目标框宽度的正方形,并在保持中心点不变的基础上对正方形大小进行尺度变换,以此获得黑烟分类图像,采用人工方式对将车辆尾部图像分为有烟和无烟两类,构建黑烟分类数据集。
4.根据权利要求1所述的一种基于深度学习的黑烟车检测方法,其特征在于:所述步骤三中,蒸馏是通过在编码器前,采用类似添加分类标志的方式,额外在输入末端加入一个蒸馏标志来实现的;引入已完成训练的Resnet-50网络作为导师模型,使蒸馏标志的输出尽可能接近导师模型对输入图片的输出;在训练过程中对原分类标志和蒸馏标志同时进行反向传播学习,能够使需要被训练的学生模型在与导师模型的交互中更好地对训练过程进行优化互补;训练过程中,将损失函数替换为如下所示的二值交叉熵损失函数:
Figure FDA0003246822210000011
其中N为批大小,σ为sigmoid函数,xn为模型输出,yn为标签值。
5.根据权利要求1所述的一种基于深度学习的黑烟车检测方法,其特征在于:所述步骤四中,实际测试过程主要是一个两段过程,一是对视频逐帧图像中的车辆进行目标检测,之后将检出的车辆目标框的下部分区域进行扩大以作为黑烟分类器的核心区域,二是采用黑烟分类器根据车辆尾气特征对核心区域进行黑烟分类,以判断是否存在排烟情况;最后,若在连续几帧内都判断为有烟情况,则进行警示。
CN202111035079.8A 2021-09-05 2021-09-05 一种基于深度学习的黑烟车检测方法 Active CN113762144B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111035079.8A CN113762144B (zh) 2021-09-05 2021-09-05 一种基于深度学习的黑烟车检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111035079.8A CN113762144B (zh) 2021-09-05 2021-09-05 一种基于深度学习的黑烟车检测方法

Publications (2)

Publication Number Publication Date
CN113762144A true CN113762144A (zh) 2021-12-07
CN113762144B CN113762144B (zh) 2024-02-23

Family

ID=78793002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111035079.8A Active CN113762144B (zh) 2021-09-05 2021-09-05 一种基于深度学习的黑烟车检测方法

Country Status (1)

Country Link
CN (1) CN113762144B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114722805A (zh) * 2022-06-10 2022-07-08 苏州大学 基于大小导师知识蒸馏的少样本情感分类方法
CN116311104A (zh) * 2023-05-15 2023-06-23 合肥市正茂科技有限公司 一种车辆改装识别模型的训练方法、装置、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165602A (zh) * 2018-08-27 2019-01-08 成都华安视讯科技有限公司 一种基于视频分析的黑烟车检测方法
CN112990004A (zh) * 2021-03-12 2021-06-18 中国科学技术大学智慧城市研究院(芜湖) 一种基于光流法和深度学习卷积神经网络的黑烟车检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165602A (zh) * 2018-08-27 2019-01-08 成都华安视讯科技有限公司 一种基于视频分析的黑烟车检测方法
CN112990004A (zh) * 2021-03-12 2021-06-18 中国科学技术大学智慧城市研究院(芜湖) 一种基于光流法和深度学习卷积神经网络的黑烟车检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王萍萍;仇润鹤;: "基于YOLOv3的车辆多目标检测", 科技与创新, no. 03 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114722805A (zh) * 2022-06-10 2022-07-08 苏州大学 基于大小导师知识蒸馏的少样本情感分类方法
CN116311104A (zh) * 2023-05-15 2023-06-23 合肥市正茂科技有限公司 一种车辆改装识别模型的训练方法、装置、设备及介质
CN116311104B (zh) * 2023-05-15 2023-08-22 合肥市正茂科技有限公司 一种车辆改装识别模型的训练方法、装置、设备及介质

Also Published As

Publication number Publication date
CN113762144B (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
CN107886073B (zh) 一种基于卷积神经网络的细粒度车辆多属性识别方法
CN107316007B (zh) 一种基于深度学习的监控图像多类物体检测与识别方法
CN111444939B (zh) 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法
CN111079640B (zh) 一种基于自动扩增样本的车型识别方法及***
CN111402211A (zh) 一种基于深度学习的高速列车车底异物识别方法
CN108039044B (zh) 基于多尺度卷积神经网络的车辆智能排队的***及方法
CN109993138A (zh) 一种车牌检测与识别方法及装置
CN113436169A (zh) 一种基于半监督语义分割的工业设备表面裂纹检测方法及***
CN113762144A (zh) 一种基于深度学习的黑烟车检测方法
CN113139594B (zh) 一种机载图像无人机目标自适应检测方法
CN111401418A (zh) 一种基于改进Faster r-cnn的员工着装规范检测方法
CN110648310A (zh) 基于注意力机制的弱监督铸件缺陷识别方法
CN112633149A (zh) 一种域自适应雾天图像目标检测方法和装置
CN113888754B (zh) 一种基于雷达视觉融合的车辆多属性识别方法
CN112712052A (zh) 一种机场全景视频中微弱目标的检测识别方法
CN115131747A (zh) 基于知识蒸馏的输电通道工程车辆目标检测方法及***
CN111540203B (zh) 基于Faster-RCNN调节绿灯通行时间的方法
CN111652214A (zh) 一种基于深度学习的垃圾瓶分选方法
CN112381043A (zh) 一种旗帜检测方法
CN113657305B (zh) 一种基于视频的黑烟车辆及林格曼黑度等级智能检测方法
CN117677969A (zh) 一种缺陷检测的方法和装置
CN113496210B (zh) 基于注意力机制的光伏组串跟踪及故障跟踪方法
CN112132088B (zh) 一种巡检点位漏巡识别方法
CN113408630A (zh) 一种变电站指示灯状态识别方法
CN115359306B (zh) 一种铁路货检高清图像智能识别方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant