CN108985197A - 基于多算法融合的出租车驾驶员吸烟行为的自动检测方法 - Google Patents

基于多算法融合的出租车驾驶员吸烟行为的自动检测方法 Download PDF

Info

Publication number
CN108985197A
CN108985197A CN201810705187.3A CN201810705187A CN108985197A CN 108985197 A CN108985197 A CN 108985197A CN 201810705187 A CN201810705187 A CN 201810705187A CN 108985197 A CN108985197 A CN 108985197A
Authority
CN
China
Prior art keywords
detection
region
front windshield
smog
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810705187.3A
Other languages
English (en)
Other versions
CN108985197B (zh
Inventor
贾克斌
黄训平
刘鹏宇
张日东
陈思玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201810705187.3A priority Critical patent/CN108985197B/zh
Publication of CN108985197A publication Critical patent/CN108985197A/zh
Application granted granted Critical
Publication of CN108985197B publication Critical patent/CN108985197B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于多算法融合的出租车驾驶员吸烟行为的自动检测方法，首先基于数据样本集建立用于前挡风玻璃区域检测的标准数据集。考虑到实际应用中速度的重要性，本方法利用实时性优异的Haar特征和Adaboost算法进行特征提取和训练，并加载检测数据和训练完成的分类器，实现对前挡风玻璃区域的初步检测。加载训练好的分类器进行检测的结果；接着基于二次检测后的前挡风玻璃区域划定右延伸区域。利用运动前景检测和烟雾在HSV颜色空间的颜色特征，提取疑似烟雾区域。利用疑似烟雾区域的平均质心运动距离和烟雾面积的扩散以及每帧运动距离和面积扩散的范围限定来降低误检。在保证实时性的前提下，实现对出租车驾驶员吸烟行为的高效检测。

Description

基于多算法融合的出租车驾驶员吸烟行为的自动检测方法
技术领域
本发明涉及机器学习，计算机视觉技术领域，尤其是涉及出租车驾驶员吸烟行为的自动检测技术。
背景技术
出租车具有灵活、舒适、定制化服务的特点，因此其逐渐成为人们最常选择的出行方式之一。
目前的非现场执法模式为人工通过电子监控平台实时回传的视频数据进行逐一排查，这种半自动的执法模式可以解决一部分执法人力资源紧张的问题。
同时，出租车行业属于服务性质行业，驾驶员的个人行为直接决定顾客的体验，因此，吸烟这种有害身心健康和污浊环境的行为已经被交通执法部门纳入了执法范围。因此，实现高效的出租车驾驶员的吸烟行为的自动检测技术已经势在必行。
出租车驾驶员的吸烟行为的自动检测关键在于出租车驾驶员所在区域和吸烟行为识别两部分，目前，国内外对于前者的研究还处于起步阶段，对于后者的研究相对较多，而对于二者结合的研究还并未开展。因此，本技术针对出租车驾驶员吸烟行为的有效行为展开研究。根据前期在出租车驾驶员发生违法违章行为的重灾区进行调研发现，该区域车流量极大，极易发生如图1所示的车辆之间相互遮挡的复杂情况，因此为不遗漏任一违法违章行为，提出一种基于出租车前挡风玻璃和车顶灯区域(定义为前挡风玻璃区域)的特征提取、Haar-Adaboost算法和滑动颜色直方图匹配、烟雾的平均质心的运动趋势和抖动限定的出租车驾驶员吸烟行为的检测方法，经实际环境测试，该方法能在复杂环境下保证82％以上的检测准确率。
发明内容
本发明要解决的技术问题是针对目前缺少对出租车驾驶员吸烟行为有效检测的问题，并且考虑到实际环境中的复杂情况，提出一种基于Haar-Adaboost和滑动颜色直方图匹配的驾驶员区域的精准定位，以及基于该区域的延伸区域的烟雾平均质心运动的出租车驾驶员吸烟行为的检测方法，在保证实时性的前提下，实现对出租车驾驶员吸烟行为的高效检测，整体流程如图2所示。
本发明采用的技术方案为基于多算法融合的出租车驾驶员吸烟行为的自动检测方法，该方法的实现过程如下：
Step1：首先基于数据样本集建立用于前挡风玻璃区域检测的标准数据集，所采用的数据样本集为交通监控摄像头采集的出租车图片，数据样本集中包含不同时间段和不同角度的出租车图片样本，其中正样本2719张，负样本7238张，部分样本如图3所示。
Step2：考虑到实际应用中速度的重要性，本方法利用实时性优异的Haar特征和Adaboost算法进行特征提取和训练，并加载检测数据和训练完成的分类器，实现对前挡风玻璃区域的初步检测。
Step3：加载训练好的分类器进行检测的结果，如图4所示；已具备前挡风玻璃区域的识别能力，但仍然存在少数误检区域。在前挡风玻璃区域的初步检测的基础上进行前挡风玻璃区域的二次检测，首先将获取的前挡风玻璃区域提取包含车顶灯的感兴趣区域，其次将该感兴趣区域分割成等高三等份，然后利用三等份分别进行滑动颜色直方图匹配，最后将不符合规律的前挡风玻璃区域删除，达到减少检测误检率的目的。
Step4：接着基于二次检测后的前挡风玻璃区域划定右延伸区域，此区域作为吸烟烟雾检测的关键区域，因为烟雾会从驾驶员这一侧的车窗飘出。然后利用运动前景检测和烟雾在HSV颜色空间的颜色特征，提取疑似烟雾区域。
Step5：最后利用疑似烟雾区域的平均质心运动距离和烟雾面积的扩散以及每帧运动距离和面积扩散的范围限定来降低误检，从而判定吸烟烟雾的存在，即判定存在吸烟行为。
本发明方法具有以下技术效果：
1、实现一种用前挡风玻璃区域的检测方法代替传统车辆的检测方法，提高出租车在复杂交通车流中的检出率。
2、实现一种滑动颜色直方图匹配的方法去匹配车顶灯区域，达到降低检测前挡风玻璃区域的误检率的目的。
3、基于实际交通场景的背景复杂性，提出用前挡风玻璃的延伸区域用作检测的关键区域，提高了检测吸烟行为所需的烟雾和手势信息的获取率。
4、提出一种吸烟烟雾平均质心运动和烟雾面积和运动限定步长的方法，提高吸烟烟雾的检测准确率。
附图说明
图1是实际环境中复杂车流的情况。
图2是出租车驾驶员吸烟行为检测的整体流程图。
图3是部分训练样本集。
图4是前挡风玻璃区域的初步检测结果。
图5是部分Haar特征模板。
图6是包含车顶灯的感兴趣区域划定。
图7是滑动颜色直方图匹配的过程和结果。
图8是前挡风玻璃区域的二次检测结果。
图9吸烟烟雾提取区域划定。
具体实施方式
本方法首先利用图5所示的Haar特征模板对前挡风玻璃区域样本集进行特征提取，在得到样本集的Haar特征描述后，利用Adaboost算法对特征进行学习和级联。具体过程如下：在待检测前挡风玻璃区域的图像上利用多尺度矩形窗口进行扫描，利用级联分类器对扫描的每个矩形窗口进行判断。如果图像中某矩形窗口通过了所有级联的分类器，说明该区域为前挡风玻璃区域；否则，说明该区域不是前挡风玻璃区域。
在获取前挡风玻璃区域后，设定其左上角坐标为P0(x0，y0)、宽度为W、高度为H。因此，需要分割包含车顶灯的感兴趣区域为分别以P0和P1(x1，y1) 为左上、右下顶点的矩形区域，其中x1＝x0+W，y1＝y0+H/7，如图6所示。然后利用提取的感兴趣区域进行滑动颜色直方图匹配，如图7(左)所示，将获取的感兴趣区域分成等高三等份，分别将每份与标准模板进行颜色直方图匹配，匹配相似度的计算采用的参数为巴氏距离，匹配的结果如图7(右)所示，因此，总结判定存在车顶灯的标准如公式(1)所示。
DBi为第i等份与标准模板之间的巴氏距离，i＝1,2,3。P(x)＝1为判定为包含车顶灯，P(x)＝0为判定为不包含车顶灯。通过滑动颜色直方图匹配的二次检测后，前挡风玻璃区域的筛选结果如图8所示。
然后利用筛选后的前挡风玻璃区域设置检测烟雾的延伸区域，具体设置为分别以P1和P2(x2，y2)为左上、右下的矩形区域，其中x2＝x1+0.5W，y2＝y1+6H/ 7，如图9所示。接着对该延伸区域进行基于Vibe的运动目标检测，将提取到的运动目标前景转换到HSV颜色空间，利用烟雾在HSV颜色空间存在S通道像素值归一化后小于0.25的特性进行疑似烟雾区域的筛选，然后对疑似烟雾前景进行矩形外包，因为烟雾在扩散过程中可能会分块扩散，因此，本方法采用计算每个分块的平均质心作为该帧的烟雾质心参与到烟雾质心的运动距离计算中。同时在检测过程难免会有干扰区域，其造成个结果为在计算烟雾质心运动距离时会***几个高峰值，因此，本方法限定了每帧烟雾运动的距离不能超过10个像素点。
为验证本方法的可行性，用本方法读取实际交通监控视频，其中，测试视频为20个，视频中存在吸烟行为的出租车驾驶员20名，不存在吸烟行为的出租车驾驶员224名，检测结果如下表所示。
表1：算法测试结果
其中TP为正确检测存在吸烟行为的司机个数，FP为错误检测存在吸烟行为的司机个数，TN为正确检测不存在吸烟行为的司机个数，FN为错误检测不存在吸烟行为的司机个数，TDR、FDR为方法的检测准确率和误检率，其定义分别为公式(2)和公式(3)。
TDR＝TP/(TP+FN)(2)
FDR＝(FP+FN)/(TP+FP+TN+FN)(3)
通过实验结果可得，本方法能够识别大部分存在吸烟行为的出租车司机，具备很强的实用性，能够缓解交通执法压力。

Claims (2)

1.基于多算法融合的出租车驾驶员吸烟行为的自动检测方法，其特征在于：该方法的实现过程如下，
Step1：首先基于数据样本集建立用于前挡风玻璃区域检测的标准数据集，所采用的数据样本集为交通监控摄像头采集的出租车图片，数据样本集中包含不同时间段和不同角度的出租车图片样本；
Step2：利用实时性优异的Haar特征和Adaboost算法进行特征提取和训练，并加载检测数据和训练完成的分类器，实现对前挡风玻璃区域的初步检测；
Step3：加载训练好的分类器进行检测的结果，已具备前挡风玻璃区域的识别能力，但仍然存在少数误检区域；在前挡风玻璃区域的初步检测的基础上进行前挡风玻璃区域的二次检测，首先将获取的前挡风玻璃区域提取包含车顶灯的感兴趣区域，其次将该感兴趣区域分割成等高三等份，然后利用三等份分别进行滑动颜色直方图匹配，最后将不符合规律的前挡风玻璃区域删除，达到减少检测误检率的目的；
Step4：接着基于二次检测后的前挡风玻璃区域划定右延伸区域，此区域作为吸烟烟雾检测的关键区域，因为烟雾会从驾驶员这一侧的车窗飘出；然后利用运动前景检测和烟雾在HSV颜色空间的颜色特征，提取疑似烟雾区域；
Step5：最后利用疑似烟雾区域的平均质心运动距离和烟雾面积的扩散以及每帧运动距离和面积扩散的范围限定来降低误检，从而判定吸烟烟雾的存在，即判定存在吸烟行为。
2.根据权利要求1所述的基于多算法融合的出租车驾驶员吸烟行为的自动检测方法，其特征在于：本方法首先利用Haar特征模板对前挡风玻璃区域样本集进行特征提取，在得到样本集的Haar特征描述后，利用Adaboost算法对特征进行学习和级联；具体过程如下：在待检测前挡风玻璃区域的图像上利用多尺度矩形窗口进行扫描，利用级联分类器对扫描的每个矩形窗口进行判断；如果图像中某矩形窗口通过了所有级联的分类器，说明该区域为前挡风玻璃区域；否则，说明该区域不是前挡风玻璃区域；
在获取前挡风玻璃区域后，设定其左上角坐标为P0(x0，y0)、宽度为W、高度为H；因此，需要分割包含车顶灯的感兴趣区域为分别以P0和P1(x1，y1)为左上、右下顶点的矩形区域，其中x1＝x0+W，y1＝y0+H/7；然后利用提取的感兴趣区域进行滑动颜色直方图匹配，将获取的感兴趣区域分成等高三等份，分别将每份与标准模板进行颜色直方图匹配，匹配相似度的计算采用的参数为巴氏距离，因此，总结判定存在车顶灯的标准如公式(1)所示；
DBi为第i等份与标准模板之间的巴氏距离，i＝1,2,3；P(x)＝1为判定为包含车顶灯，P(x)＝0为判定为不包含车顶灯；通过滑动颜色直方图匹配的二次检测后，得到前挡风玻璃区域的筛选结果；
然后利用筛选后的前挡风玻璃区域设置检测烟雾的延伸区域，具体设置为分别以P1和P2(x2，y2)为左上、右下的矩形区域，其中x2＝x1+0.5W，y2＝y1+6H/7；接着对该延伸区域进行基于Vibe的运动目标检测，将提取到的运动目标前景转换到HSV颜色空间，利用烟雾在HSV颜色空间存在S通道像素值归一化后小于0.25的特性进行疑似烟雾区域的筛选，然后对疑似烟雾前景进行矩形外包，因为烟雾在扩散过程中可能会分块扩散，因此，本方法采用计算每个分块的平均质心作为该帧的烟雾质心参与到烟雾质心的运动距离计算中；同时在检测过程难免会有干扰区域，其造成个结果为在计算烟雾质心运动距离时会***几个高峰值，因此，本方法限定每帧烟雾运动的距离不能超过10个像素点。
CN201810705187.3A 2018-07-01 2018-07-01 基于多算法融合的出租车驾驶员吸烟行为的自动检测方法 Active CN108985197B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810705187.3A CN108985197B (zh) 2018-07-01 2018-07-01 基于多算法融合的出租车驾驶员吸烟行为的自动检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810705187.3A CN108985197B (zh) 2018-07-01 2018-07-01 基于多算法融合的出租车驾驶员吸烟行为的自动检测方法

Publications (2)

Publication Number Publication Date
CN108985197A true CN108985197A (zh) 2018-12-11
CN108985197B CN108985197B (zh) 2021-07-30

Family

ID=64539200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810705187.3A Active CN108985197B (zh) 2018-07-01 2018-07-01 基于多算法融合的出租车驾驶员吸烟行为的自动检测方法

Country Status (1)

Country Link
CN (1) CN108985197B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110399766A (zh) * 2019-01-28 2019-11-01 浙江浩腾电子科技股份有限公司 基于深度学习的抽烟检测分析***
CN112735078A (zh) * 2020-12-24 2021-04-30 中标慧安信息技术股份有限公司 物联网的智能家居管理方法和***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1790541A2 (en) * 2005-11-23 2007-05-30 MobilEye Technologies, Ltd. Systems and methods for detecting obstructions in a camera field of view
CN203460775U (zh) * 2013-08-22 2014-03-05 江苏富新电子照明科技有限公司 一种汽车室内组合顶灯结构
CN104050480A (zh) * 2014-05-21 2014-09-17 燕山大学 基于计算机视觉的吸烟烟雾检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1790541A2 (en) * 2005-11-23 2007-05-30 MobilEye Technologies, Ltd. Systems and methods for detecting obstructions in a camera field of view
CN203460775U (zh) * 2013-08-22 2014-03-05 江苏富新电子照明科技有限公司 一种汽车室内组合顶灯结构
CN104050480A (zh) * 2014-05-21 2014-09-17 燕山大学 基于计算机视觉的吸烟烟雾检测方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
ANURAG MITTAL, DAN HUTTENLOCHER: "Scene Modeling for Wide Area Surveillance and Image Synthesis", 《 PROCEEDINGS IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION. CVPR 2000 (CAT. NO.PR00662)》 *
SIWEI CHEN等: "Taxi Drivers" Smoking Behavior Detection in Traffic Monitoring Video", 《2019 ASIA-PACIFIC SIGNAL AND INFORMATION PROCESSING ASSOCIATION ANNUAL SUMMIT AND CONFERENCE (APSIPA ASC)》 *
YOAV FREUND AND ROBERT E. SCHAPIRE: "A decision-theoretic generalization of on-line learning and an application to boosting", 《JOURNAL OF COMPUTER AND SYSTEM SCIENCES》 *
YUSUF ARTAN等: "Driver Cell Phone Usage Detection From HOV/HOT NIR Images", 《2014 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS》 *
张磊等: "基于HSV颜色空间和Vibe算法的运动目标检测", 《计算机工程与应用》 *
艾博: "基于视频监控的室内香烟烟雾检测算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
邝先验等: "基于Adaboost算法和颜色特征的公交车辆视频检测", 《广西师范大学学报（自然科学版）》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110399766A (zh) * 2019-01-28 2019-11-01 浙江浩腾电子科技股份有限公司 基于深度学习的抽烟检测分析***
CN112735078A (zh) * 2020-12-24 2021-04-30 中标慧安信息技术股份有限公司 物联网的智能家居管理方法和***
CN112735078B (zh) * 2020-12-24 2021-10-26 中标慧安信息技术股份有限公司 物联网的智能家居管理方法和***

Also Published As

Publication number Publication date
CN108985197B (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
CN109522793B (zh) 基于机器视觉的多人异常行为检测与识别方法
US10223597B2 (en) Method and system for calculating passenger crowdedness degree
CN109948582B (zh) 一种基于跟踪轨迹分析的车辆逆行智能检测方法
CN109145708B (zh) 一种基于rgb和d信息融合的人流量统计方法
CN103310444B (zh) 一种基于头顶摄像头的监控行人计数的方法
US8019157B2 (en) Method of vehicle segmentation and counting for nighttime video frames
CN109446917B (zh) 一种基于级联霍夫变换的消失点检测方法
CN105469105A (zh) 一种基于视频监控的香烟烟雾检测方法
CN104978567B (zh) 基于场景分类的车辆检测方法
CN102214309B (zh) 一种基于头肩模型的特定人体识别方法
US20130070969A1 (en) Method and system for people flow statistics
CN105160691A (zh) 基于颜色直方图的车身颜色识别方法
CN105303191A (zh) 一种前视监视场景下的行人计数方法和装置
CN106980855B (zh) 交通标志快速识别定位***及方法
CN102201059A (zh) 一种行人检测方法及装置
CN105426828A (zh) 人脸检测方法、装置及***
CN103679704A (zh) 一种基于光照补偿的视频运动阴影检测方法
CN102254428A (zh) 一种基于视频处理的交通拥塞检测方法
CN104657724A (zh) 一种交通视频行人检测方法
CN110633671A (zh) 基于深度图像的公交车客流实时统计方法
CN103679214B (zh) 基于在线面积估计和多特征决策融合的车辆检测方法
CN113947731A (zh) 一种基于接触网安全巡检的异物识别方法及***
CN103577832B (zh) 一种基于时空上下文的人流量统计方法
CN103927548A (zh) 一种新的避免车辆碰撞的刹车行为检测方法
CN110516600A (zh) 一种基于人脸检测的公交客流检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Jia Kebin

Inventor after: Huang Xunping

Inventor after: Liu Pengyu

Inventor after: Wang Zuyun

Inventor after: Liao Huimin

Inventor after: Zhang Ridong

Inventor after: Chen Siwei

Inventor before: Jia Kebin

Inventor before: Huang Xunping

Inventor before: Liu Pengyu

Inventor before: Zhang Ridong

Inventor before: Chen Siwei

GR01 Patent grant
GR01 Patent grant