CN106056071A - 一种驾驶员打电话行为的检测方法及装置 - Google Patents

一种驾驶员打电话行为的检测方法及装置 Download PDF

Info

Publication number
CN106056071A
CN106056071A CN201610368797.XA CN201610368797A CN106056071A CN 106056071 A CN106056071 A CN 106056071A CN 201610368797 A CN201610368797 A CN 201610368797A CN 106056071 A CN106056071 A CN 106056071A
Authority
CN
China
Prior art keywords
border
phone call
image
area
ksi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610368797.XA
Other languages
English (en)
Other versions
CN106056071B (zh
Inventor
李志国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhi Xinyuandong Science And Technology Ltd
Original Assignee
Beijing Zhi Xinyuandong Science And Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhi Xinyuandong Science And Technology Ltd filed Critical Beijing Zhi Xinyuandong Science And Technology Ltd
Priority to CN201610368797.XA priority Critical patent/CN106056071B/zh
Publication of CN106056071A publication Critical patent/CN106056071A/zh
Application granted granted Critical
Publication of CN106056071B publication Critical patent/CN106056071B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Neurology (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种驾驶员打电话行为的检测方法，该方法包括：选取标签的彩色图像为样本图像，采用卷积神经网络对样本图像进行反复训练，获取训练好的打电话检测模型；根据车牌区域获取车窗的候选区域；采用Hough变换在车窗的候选区域内检测直线，对直线进行聚类处理，提取车窗区域；采用人脸检测算法在车窗区域内进行检测，提取人脸区域；根据人脸区域获取打电话的感兴趣区域；利用训练好的打电话检测模型对感兴趣区域进行检测，输出检测结果。与现有技术相比，本发明能准确的检测出驾驶员的打电话行为，且鲁棒性较好。

Description

一种驾驶员打电话行为的检测方法及装置
技术领域
本发明涉及图像处理、视频监控以及智能交通，特别涉及驾驶员打电话行为的检测方法及装置。
背景技术
随着交通运输业的发展，交通事故已成为当今危害人类生命安全的主要公害之一，同时也是当前世界各国所面临的一个严重的社会问题。在交通事故的发生原因中，驾驶员注意力不集中是主要原因之一。据统计报告显示，开车时打电话会严重干扰驾驶员的注意力，使得发生车祸的风险比正常驾驶时高4倍以上。
目前，对于驾驶员行车途中打电话行为检测的研究还比较少，主要集中在基于手机信号进行检测。由于很难分辨是驾驶员在打电话还是乘客在打电话，基于手机信号的方式会有很多误检。随着计算机硬件和软件技术、图像处理技术和计算机视觉、模式识别等技术的发展，近年来基于图像处理的打电话行为检测得到了研究。
现有的基于图像处理的打电话行为检测大多是基于分类器的，例如公开号为CN104573659A和CN102567743A的中国发明专利申请是基于SVM(Support VectorMachines，支持向量机)分类器的，公开号为CN104966059A的中国发明专利申请是基于Cascade级联分类器的。然而由于分类器提取的特征有限，因此影响了打电话行为检测的检测准确率。
综上所述，目前迫切需要提出一种检测准确率较高的驾驶员打电话行为的检测方法及装置。
发明内容
有鉴于此，本发明的主要目的在于实现驾驶员打电话行为的检测，且检测准确率较高。
为达到上述目的，按照本发明的第一个方面，提供了一种驾驶员打电话行为的检测方法，该方法包括：
第一步骤，选取标签的彩色图像为样本图像，采用卷积神经网络对样本图像进行反复训练，获取训练好的打电话检测模型；
第二步骤，根据车牌区域获取车窗的候选区域；
第三步骤，采用Hough变换在车窗的候选区域内检测直线，对直线进行聚类处理，提取车窗区域；
第四步骤，采用人脸检测算法在车窗区域内进行检测，提取人脸区域；
第五步骤，根据人脸区域获取打电话的感兴趣区域；
第六步骤，利用训练好的打电话检测模型对感兴趣区域进行检测，输出检测结果。
所述第一步骤进一步包括：
样本选取步骤，选取标签驾驶员打电话的彩色图像、标签驾驶员未打电话的彩色图像、标签模糊的彩色图像作为样本图像；
初步训练步骤，利用卷积神经网络对样本图像进行特征训练，获得初步训练的模型；
二次训练步骤，选取测试图像，根据初步训练的模型对测试图像进行反复训练，直至模型收敛；
模型输出步骤，将收敛的模型作为训练好的驾驶员打电话检测模型并输出。
所述初步训练步骤中卷积神经网络包括：输入层、Th_Con个卷积层、Th_Pool个池化层、Th_Full个全连接层。其中，每层卷积层包括Th_CK个卷积核，卷积核的大小为CKSi*CKSi、步长为1。每层池化层的核的大小为KSi*KSi、步长为KSi。所述全连接层的最后一层全连接层输出的神经元的数量为3，即为3个驾驶员打电话检测类别。
进一步地，所述卷积神经网络包括：
输入层，输入Width*Height的图像；
第一层卷积层，输出Th_CK1个卷积核，卷积核的大小为CKSi1*CKSi1、步长为1；
第一层池化层，采用最大池化法输出KSi*KSi、步长为KSi的核；
第二层卷积层，输出Th_CK2个卷积核，卷积核的大小为CKSi2*CKSi2、步长为1；
第二层池化层，采用最大池化法输出KSi*KSi、步长为KSi的核；
第三层卷积层，输出Th_CK3个卷积核，卷积核的大小为CKSi3*CKSi3、步长为1；
第三层池化层，采用最大池化法输出KSi*KSi、步长为KSi的核；
全连接层，采用ReLU作为激活函数，输出Th_Neur个神经元；
全连接层，输出3个神经元，即3个打电话检测类别。
所述二次训练步骤进一步包括：
训练特征提取步骤，根据初步训练的模型提取测试图像的特征；
训练分类判定步骤，计算该特征与每一驾驶员打电话检测类别特征的相似度Simik，k表示第k个类别，k＝{1，2，3}，选取Simik值最大的类别作为候选检测类别；
反复训练步骤，计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复训练特征提取步骤和训练分类判定步骤，直至该模型收敛。
所述第二步骤进一步包括：
车牌区域定位步骤，根据车牌定位算法从采集的彩色图像中获取车牌区域；
车窗的候选区域边界获取步骤，根据车牌区域获取车牌区域的左边边界x＝pl、右边边界x＝pr、上边边界y＝pt、下边边界y＝pb，则车窗的候选区域的左边边界为右边边界为上边边界为下边边界为Wp为车牌区域的宽度，W为采集图像的宽度，λ3＜λ2；
车窗的候选区域输出步骤，根据车窗的候选区域的左边边界、右边边界、上边边界、下边边界，确定矩形区域，该矩形区域即为车窗的候选区域。
所述第三步骤进一步包括：
竖直边缘获取步骤，将车窗的候选区域进行灰度化处理，获取灰度的候选区域，采用滤波器，获取灰度的候选区域的竖直边缘图像；
二值图像获取步骤，采用阈值Th_F对数值边缘图像进行分割，获取二值图像；
直线检测步骤，采用Hough变换直线检测算法对二值图像进行处理，获取检测的直线序列y＝kix+bi，i＝1，2，…，N1，N1为直线的数量；
直线筛选步骤，若arctan|ki|≤Th_θ，则保留该直线，否则删除该直线，由此得到剩余的直线序列y＝kjx+bj，j＝1，2，…，N2，N2为剩余直线的数量；
上下边界获取步骤，扫描每条直线y＝kjx+bj，j＝1，2，…，N2，获取直线y＝kjx+bj的第一个像素点(xj1,yj1)和最后一个像素点(xj2,yj2)，在y方向上按将直线进行分段，获取对应的x方向上的长度，并将其放入LineHist数组中，采用聚类算法对LineHist数组进行聚类，将获取的聚类值最大的两条直线分别作为上边界和下边界；
左右边界获取步骤，分别扫描上边界、下边界，将上边界的第一个像素点和下边界的第一个像素点构成的直线作为左边界，将上边界的最后一个像素点和下边界的最后一个像素点构成的直线作为右边界；
车窗区域获取步骤，由上边界、左边界、右边界、下边界围成的区域即为车窗区域。
所述第五步骤进一步包括：
感兴趣区域边界获取步骤，根据人脸区域获取人脸区域的左边边界x＝fl、右边边界x＝fr、上边边界y＝ft、下边边界y＝fb，则打电话的感兴趣区域的左边边界为右边边界为上边边界为下边边界为Wf为人脸区域的宽度，W和H分别为采集图像的宽度和高度；
感兴趣区域获取步骤，根据打电话的感兴趣区域的左边边界、右边边界、上边边界、下边边界，确定矩形区域，该矩形区域即为感兴趣区域。
所述第六步骤进一步包括：
识别特征提取步骤，利用训练好的打电话检测模型提取感兴趣区域的特征；
识别分类判定步骤，计算感兴趣区域的特征与每一类别特征的相似度Simik，k表示第k个类别，k＝{1，2，3}，选取Simik值最大的类别作为驾驶员打电话检测结果并输出。
按照本发明的另一个方面，提供了一种驾驶员打电话行为的检测装置，该装置包括：
打电话检测模型获取模块，用于选取标签的彩色图像为样本图像，采用卷积神经网络对样本图像进行反复训练，获取训练好的打电话检测模型；
车窗的候选区域提取模块，用于根据车牌区域获取车窗的候选区域；
车窗区域提取模块，用于采用Hough变换在车窗的候选区域内检测直线，对直线进行聚类处理，提取车窗区域；
人脸区域提取模块，用于采用人脸检测算法在车窗区域内进行检测，提取人脸区域；
感兴趣区域提取模块，用于根据人脸区域获取打电话的感兴趣区域；
打电话检测模型检测模块，用于利用训练好的打电话检测模型对感兴趣区域进行检测，输出检测结果。
所述打电话检测模型获取模块进一步包括：
样本选取模块，用于选取标签驾驶员打电话的彩色图像、标签驾驶员未打电话的彩色图像、标签模糊的彩色图像作为样本图像；
初步训练模块，用于利用卷积神经网络对样本图像进行特征训练，获得初步训练的模型；
二次训练模块，用于选取测试图像，根据初步训练的模型对测试图像进行反复训练，直至模型收敛；
模型输出模块，用于将收敛的模型作为训练好的驾驶员打电话检测模型并输出。
所述二次训练模块进一步包括：
训练特征提取模块，用于根据初步训练的模型提取测试图像的特征；
训练分类判定模块，用于计算该特征与每一驾驶员打电话检测类别特征的相似度Simik，k表示第k个类别，k＝{1，2，3}，选取Simik值最大的类别作为候选检测类别；
反复训练模块，用于计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复训练特征提取模块和训练分类判定模块，直至该模型收敛。
所述车窗的候选区域提取模块进一步包括：
车牌区域定位模块，用于根据车牌定位算法从采集的彩色图像中获取车牌区域；
车窗的候选区域边界获取模块，用于根据车牌区域获取车牌区域的左边边界x＝pl、右边边界x＝pr、上边边界y＝pt、下边边界y＝pb，则车窗的候选区域的左边边界为右边边界为上边边界为下边边界为Wp为车牌区域的宽度，W为采集图像的宽度，λ3＜λ2；
车窗的候选区域获取模块，用于根据车窗的候选区域的左边边界、右边边界、上边边界、下边边界，确定矩形区域，该矩形区域即为车窗的候选区域。
所述车窗区域提取模块进一步包括：
竖直边缘获取模块，用于将车窗的候选区域进行灰度化处理，获取灰度的候选区域，采用滤波器，获取灰度的候选区域的竖直边缘图像；
二值图像获取模块，用于采用阈值Th_F对数值边缘图像进行分割，获取二值图像；
直线检测模块，用于采用Hough变换直线检测算法对二值图像进行处理，获取检测的直线序列y＝kix+bi，i＝1,2,…，N1，N1为直线的数量；
直线筛选模块，用于若arctan|ki|≤Th_θ，则保留该直线，否则删除该直线，由此得到剩余的直线序列y＝kjx+bj，j＝1，2，…，N2，N2为剩余直线的数量；
上下边界获取模块，用于扫描每条直线y＝kjx+bj，j＝1，2，…，N2，获取直线y＝kjx+bj的第一个像素点(xj1,yj1)和最后一个像素点(xj2,yj2)，在y方向上按将直线进行分段，获取对应的x方向上的长度，并将其放入LineHist数组中，采用聚类算法对LineHist数组进行聚类，将获取的聚类值最大的两条直线分别作为上边界和下边界；
左右边界获取模块，用于分别扫描上边界、下边界，将上边界的第一个像素点和下边界的第一个像素点构成的直线作为左边界，将上边界的最后一个像素点和下边界的最后一个像素点构成的直线作为右边界；
车窗区域获取模块，用于由上边界、左边界、右边界、下边界围成的区域即为车窗区域。
所述感兴趣区域提取模块进一步包括：
感兴趣区域边界获取模块，用于根据人脸区域获取人脸区域的左边边界x＝fl、右边边界x＝fr、上边边界y＝ft、下边边界y＝fb，则打电话的感兴趣区域的左边边界为右边边界为上边边界为下边边界为Wf为人脸区域的宽度，W和H分别为采集图像的宽度和高度；
感兴趣区域获取模块，用于根据打电话的感兴趣区域的左边边界、右边边界、上边边界、下边边界，确定矩形区域，该矩形区域即为感兴趣区域。
所述打电话检测模型检测模块进一步包括：
识别特征提取模块，用于利用训练好的打电话检测模型提取感兴趣区域的特征；
识别分类判定模块，用于计算感兴趣区域的特征与每一类别特征的相似度Simik，k表示第k个类别，k＝{1，2，3}，选取Simik值最大的类别作为驾驶员打电话检测结果并输出。
与现有的驾驶员打电话行为的检测技术相比，本发明的一种驾驶员打电话行为的检测方法及装置采用卷积神经网络，可以准确的检测出驾驶员打电话的行为，且鲁棒性较好；另外，本发明中的卷积神经网络训练了驾驶员打电话、驾驶员未打电话、模糊三个类别，可以分辨出模糊的情况。
附图说明
图1示出了按照本发明的一种驾驶员打电话行为的检测方法的流程图。
图2示出了按照本发明的一种驾驶员打电话行为的检测装置的框架图。
具体实施方式
为使贵审查员能进一步了解本发明的结构、特征及其他目的，现结合所附较佳实施例详细说明如下，所说明的较佳实施例仅用于说明本发明的技术方案，并非限定本发明。
图1给出了按照本发明的一种驾驶员打电话行为的检测方法的流程图。如图1所示，按照本发明的一种驾驶员打电话行为的检测方法包括：
第一步骤S1，选取标签的彩色图像为样本图像，采用卷积神经网络对样本图像进行反复训练，获取训练好的打电话检测模型；
第二步骤S2，根据车牌区域获取车窗的候选区域；
第三步骤S3，采用Hough变换在车窗的候选区域内检测直线，对直线进行聚类处理，提取车窗区域；
第四步骤S4，采用人脸检测算法在车窗区域内进行检测，提取人脸区域；
第五步骤S5，根据人脸区域获取打电话的感兴趣区域；
第六步骤S6，利用训练好的打电话检测模型对感兴趣区域进行检测，输出检测结果。
所述第一步骤S1进一步包括：
样本选取步骤S11，选取标签驾驶员打电话的彩色图像、标签驾驶员未打电话的彩色图像、标签模糊的彩色图像作为样本图像；
初步训练步骤S12，利用卷积神经网络对样本图像进行特征训练，获得初步训练的模型；
二次训练步骤S13，选取测试图像，根据初步训练的模型对测试图像进行反复训练，直至模型收敛；
模型输出步骤S14，将收敛的模型作为训练好的驾驶员打电话检测模型并输出。
其中，所述样本选取步骤S11中样本图像的宽度为Width、高度为Height。Width∈[64,192]，Height∈[64,192]。优选地，Width选为128，Height选为128。选取的标签驾驶员打电话的彩色图像数量可以大于500，选取的标签驾驶员未打电话的彩色图像数量可以大于500，选取的标签模糊的彩色图像数量可以大于500。优选地，分别选取1000～5000000个标签驾驶员打电话、驾驶员未打电话、模糊的彩色图像为样本图像。
所述初步训练步骤S12中卷积神经网络包括：输入层、Th_Con个卷积层、Th_Pool个池化层、Th_Full个全连接层。其中，每层卷积层包括Th_CK个卷积核，卷积核的大小为CKSi*CKSi、步长为1。每层池化层的核的大小为KSi*KSi、步长为KSi。所述全连接层的最后一层全连接层输出的神经元的数量为3，即为3个驾驶员打电话检测类别。
其中，所述Th_Con∈[2，8]，Th_Pool∈[2,8]，Th_Full∈[1,3]，Th_CK∈[Th_CKmin,Th_CKmax]，Th_CKmin∈[6,16]，Th_CKmax∈[30,512]，CKSi∈[3,7]，KSi∈[2,4]。
进一步地，所述卷积神经网络包括：
输入层，输入Width*Height的图像；
第一层卷积层，输出Th_CK1个卷积核，卷积核的大小为CKSi1*CKSi1、步长为1；
第一层池化层，采用最大池化法输出KSi*KSi、步长为KSi的核；
第二层卷积层，输出Th_CK2个卷积核，卷积核的大小为CKSi2*CKSi2、步长为1；
第二层池化层，采用最大池化法输出KSi*KSi、步长为KSi的核；
第三层卷积层，输出Th_CK3个卷积核，卷积核的大小为CKSi3*CKSi3、步长为1；
第三层池化层，采用最大池化法输出KSi*KSi、步长为KSi的核；
全连接层，采用ReLU作为激活函数，输出Th_Neur个神经元；
全连接层，输出3个神经元，即3个打电话检测类别。
其中，Th_CK1∈[6,20]，CKSi1∈[3,5]，KSi∈[2,4]，Th_CK2∈[6,40]，CKSi2∈[3,5]，Th_CK3∈[6,40]，CKSi3∈[3,5]，Th_Neur∈[64，10000]。
优选地，Th_CK1设为8，CKSi1设为5，KSi设为2，Th_CK2设为8，CKSi2设为5，Th_CK3设为8，CKSi3设为5，Th_Neur设为128。
所述第一层、第二层、第三层的池化层中的最大池化法可以替换为平均池化法。
所述全连接层中ReLU全称为Rectified Linear Units，中文译为修正线性单元，可以参考文献“Taming the ReLU with Parallel Dither in a Deep NeuralNetwork.AJR Simpson.Computer Science,2015”。
所述全连接层中ReLU可以替换为sigmoid函数或者tanh函数作为激活函数。
所述二次训练步骤S13进一步包括：
训练特征提取步骤S131，根据初步训练的模型提取测试图像的特征；
训练分类判定步骤S132，计算该特征与每一驾驶员打电话检测类别特征的相似度Simik，k表示第k个类别，k＝{1，2，3}，选取Simik值最大的类别作为候选检测类别；
反复训练步骤S133，计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复训练特征提取步骤S131和训练分类判定步骤S132，直至该模型收敛。
所述第二步骤S2进一步包括：
车牌区域定位步骤S21，根据车牌定位算法从采集的彩色图像中获取车牌区域；
车窗的候选区域边界获取步骤S22，根据车牌区域获取车牌区域的左边边界x＝pl、右边边界x＝pr、上边边界y＝pt、下边边界y＝pb，则车窗的候选区域的左边边界为右边边界为上边边界为下边边界为Wp为车牌区域的宽度，W为采集图像的宽度，λ3＜λ2；
车窗的候选区域输出步骤S23，根据车窗的候选区域的左边边界、右边边界、上边边界、下边边界，确定矩形区域，该矩形区域即为车窗的候选区域。
所述车牌区域定位步骤S21中车牌定位算法为现有的车牌定位算法。例如，“李文举，梁德群，张旗，樊鑫.基于边缘颜色对的车牌定位新方法.《计算机学报》,2004,27(2):204-208”。
所述λ1∈[1.2,1.8]，λ2∈[4.2,4.8]，λ3∈[0.3,0.8]。优选地，λ1选为1.5，λ2选为4.5，λ3选为0.5。
所述第三步骤S3进一步包括：
竖直边缘获取步骤S31，将车窗的候选区域进行灰度化处理，获取灰度的候选区域，采用滤波器，获取灰度的候选区域的竖直边缘图像；
二值图像获取步骤S32，采用阈值Th_F对数值边缘图像进行分割，获取二值图像；
直线检测步骤S33，采用Hough变换直线检测算法对二值图像进行处理，获取检测的直线序列y＝kix+bi，i＝1,2,…,N1，N1为直线的数量；
直线筛选步骤S34，若arctan|ki|≤Th_θ，则保留该直线，否则删除该直线，由此得到剩余的直线序列y＝kjx+bj，j＝1,2,…,N2，N2为剩余直线的数量；
上下边界获取步骤S35，扫描每条直线y＝kjx+bj，j＝1,2,…,N2，获取直线y＝kjx+bj的第一个像素点(xj1,yj1)和最后一个像素点(xj2,yj2)，在y方向上按将直线进行分段，获取对应的x方向上的长度，并将其放入LineHist数组中，采用聚类算法对LineHist数组进行聚类，将获取的聚类值最大的两条直线分别作为上边界和下边界；
左右边界获取步骤S36，分别扫描上边界、下边界，将上边界的第一个像素点和下边界的第一个像素点构成的直线作为左边界，将上边界的最后一个像素点和下边界的最后一个像素点构成的直线作为右边界；
车窗区域获取步骤S37，由上边界、左边界、右边界、下边界围成的区域即为车窗区域。
其中，所述二值图像获取步骤S32中Th_F∈[10,30]。优选地，Th_F选为20。
所述直线检测步骤S33中Hough变换直线检测算法通过现有的技术实现。例如，“段汝娇，赵伟，黄松岭，陈建业.一种基于改进Hough变换的直线快速检测算法.《仪器仪表学报》,2010,31(12):2774-2780”。
所述直线筛选步骤S34中Th_θ∈[5°,15°]。优选地。Th_θ选为10°。
所述上下边界获取步骤S35中Th_S为采样间隔，Th_S∈[5,20]。优选地，Th_S选为12。所述聚类算法通过现有的聚类算法实现。
所述第四步骤S4中的人脸检测算法可以通过现有的技术实现。例如，“郭志波，华继钊，严云洋，陈才扣，杨静宇.基于双阈值继承型AdaBoost算法的人脸快速检测.《数据采集与处理》,2008,23(3):306-310”。
所述第五步骤S5进一步包括：
感兴趣区域边界获取步骤S51，根据人脸区域获取人脸区域的左边边界x＝fl、右边边界x＝fr、上边边界y＝ft、下边边界y＝fb，则打电话的感兴趣区域的左边边界为右边边界为上边边界为下边边界为Wf为人脸区域的宽度，W和H分别为采集图像的宽度和高度；
感兴趣区域获取步骤S52，根据打电话的感兴趣区域的左边边界、右边边界、上边边界、下边边界，确定矩形区域，该矩形区域即为感兴趣区域。
其中，所述λ4∈[0.8,1.3]，λ5∈[0.3,0.8]，λ6∈[0.3,0.8]。优选地，λ4选为1，λ5选为0.5，λ6选为0.5。
所述第六步骤S6进一步包括：
识别特征提取步骤S61，利用训练好的打电话检测模型提取感兴趣区域的特征；
识别分类判定步骤S62，计算感兴趣区域的特征与每一类别特征的相似度Simik，k表示第k个类别，k＝{1，2，3}，选取Simik值最大的类别作为驾驶员打电话检测结果并输出。
图2给出了按照本发明的一种驾驶员打电话行为的检测装置的框架图。如图2所示，按照本发明的一种驾驶员打电话行为的检测装置包括：
打电话检测模型获取模块1，用于选取标签的彩色图像为样本图像，采用卷积神经网络对样本图像进行反复训练，获取训练好的打电话检测模型；
车窗的候选区域提取模块2，用于根据车牌区域获取车窗的候选区域；
车窗区域提取模块3，用于采用Hough变换在车窗的候选区域内检测直线，对直线进行聚类处理，提取车窗区域；
人脸区域提取模块4，用于采用人脸检测算法在车窗区域内进行检测，提取人脸区域；
感兴趣区域提取模块5，用于根据人脸区域获取打电话的感兴趣区域；
打电话检测模型检测模块6，用于利用训练好的打电话检测模型对感兴趣区域进行检测，输出检测结果。
所述打电话检测模型获取模块1进一步包括：
样本选取模块11，用于选取标签驾驶员打电话的彩色图像、标签驾驶员未打电话的彩色图像、标签模糊的彩色图像作为样本图像；
初步训练模块12，用于利用卷积神经网络对样本图像进行特征训练，获得初步训练的模型；
二次训练模块13，用于选取测试图像，根据初步训练的模型对测试图像进行反复训练，直至模型收敛；
模型输出模块14，用于将收敛的模型作为训练好的驾驶员打电话检测模型并输出。
其中，所述样本选取模块11中样本图像的宽度为Width、高度为Height。Width∈[64,192]，Height∈[64,192]。优选地，Width选为128，Height选为128。选取的标签驾驶员打电话的彩色图像数量可以大于500，选取的标签驾驶员未打电话的彩色图像数量可以大于500，选取的标签模糊的彩色图像数量可以大于500。优选地，分别选取1000～5000000个标签驾驶员打电话、驾驶员未打电话、模糊的彩色图像为样本图像。
所述初步训练模块12中卷积神经网络包括：输入层、Th_Con个卷积层、Th_Pool个池化层、Th_Full个全连接层。其中，每层卷积层包括Th_CK个卷积核，卷积核的大小为CKSi*CKSi、步长为1。每层池化层的核的大小为KSi*KSi、步长为KSi。所述全连接层的最后一层全连接层输出的神经元的数量为3，即为3个驾驶员打电话检测类别。
其中，所述Th_Con∈[2,8]，Th_Pool∈[2,8]，Th_Full∈[1,3]，Th_CK∈[Th_CKmin,Th_CKmax]，Th_CKmin∈[6,16]，Th_CKmax∈[30,512]，CKSi∈[3,7]，KSi∈[2,4]。
进一步地，所述卷积神经网络包括：
输入层，输入Width*Height的图像；
第一层卷积层，输出Th_CK1个卷积核，卷积核的大小为CKSi1*CKSi1、步长为1；
第一层池化层，采用最大池化法输出KSi*KSi、步长为KSi的核；
第二层卷积层，输出Th_CK2个卷积核，卷积核的大小为CKSi2*CKSi2、步长为1；
第二层池化层，采用最大池化法输出KSi*KSi、步长为KSi的核；
第三层卷积层，输出Th_CK3个卷积核，卷积核的大小为CKSi3*CKSi3、步长为1；
第三层池化层，采用最大池化法输出KSi*KSi、步长为KSi的核；
全连接层，采用ReLU作为激活函数，输出Th_Neur个神经元；
全连接层，输出3个神经元，即3个打电话检测类别。
其中，Th_CK1∈[6,20]，CKSi1∈[3,5]，KSi∈[2,4]，Th_CK2∈[6,40]，CKSi2∈[3,5]，Th_CK3∈[6,40]，CKSi3∈[3,5]，Th_Neur∈[64，10000]。
优选地，Th_CK1设为8，CKSi1设为5，KSi设为2，Th_CK2设为8，CKSi2设为5，Th_CK3设为8，CKSi3设为5，Th_Neur设为128。
所述第一层、第二层、第三层的池化层中的最大池化法可以替换为平均池化法。
所述全连接层中ReLU全称为Rectified Linear Units，中文译为修正线性单元，可以参考文献“Taming the ReLU with Parallel Dither in a Deep NeuralNetwork.AJR Simpson.Computer Science,2015”。
所述全连接层中ReLU可以替换为sigmoid函数或者tanh函数作为激活函数。
所述二次训练模块13进一步包括：
训练特征提取模块131，用于根据初步训练的模型提取测试图像的特征；
训练分类判定模块132，用于计算该特征与每一驾驶员打电话检测类别特征的相似度Simik，k表示第k个类别，k＝{1，2，3}，选取Simik值最大的类别作为候选检测类别；
反复训练模块133，用于计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复训练特征提取模块131和训练分类判定模块132，直至该模型收敛。
所述车窗的候选区域提取模块2进一步包括：
车牌区域定位模块21，用于根据车牌定位算法从采集的彩色图像中获取车牌区域；
车窗的候选区域边界获取模块22，用于根据车牌区域获取车牌区域的左边边界x＝pl、右边边界x＝pr、上边边界y＝pt、下边边界y＝pb，则车窗的候选区域的左边边界为右边边界为上边边界为下边边界为Wp为车牌区域的宽度，W为采集图像的宽度，λ3＜λ2；
车窗的候选区域获取模块23，用于根据车窗的候选区域的左边边界、右边边界、上边边界、下边边界，确定矩形区域，该矩形区域即为车窗的候选区域。
所述车牌区域定位模块21中车牌定位算法为现有的车牌定位算法。例如，“李文举，梁德群，张旗，樊鑫.基于边缘颜色对的车牌定位新方法.《计算机学报》,2004,27(2):204-208”。
所述λ1∈[1.2,1.8]，λ2∈[4.2,4.8]，λ3∈[0.3,0.8]。优选地，λ1选为1.5，λ2选为4.5，λ3选为0.5。
所述车窗区域提取模块3进一步包括：
竖直边缘获取模块31，用于将车窗的候选区域进行灰度化处理，获取灰度的候选区域，采用滤波器，获取灰度的候选区域的竖直边缘图像；
二值图像获取模块32，用于采用阈值Th_F对数值边缘图像进行分割，获取二值图像；
直线检测模块33，用于采用Hough变换直线检测算法对二值图像进行处理，获取检测的直线序列y＝kix+bi，i＝1,2,…，N1，N1为直线的数量；
直线筛选模块34，用于若arctan|ki|≤Th_θ，则保留该直线，否则删除该直线，由此得到剩余的直线序列y＝kjx+bj，j＝1，2，…，N2，N2为剩余直线的数量；
上下边界获取模块35，用于扫描每条直线y＝kjx+bj，j＝1，2，…，N2，获取直线y＝kjx+bj的第一个像素点(xj1,yj1)和最后一个像素点(xj2,yj2)，在y方向上按将直线进行分段，获取对应的x方向上的长度，并将其放入LineHist数组中，采用聚类算法对LineHist数组进行聚类，将获取的聚类值最大的两条直线分别作为上边界和下边界；
左右边界获取模块36，用于分别扫描上边界、下边界，将上边界的第一个像素点和下边界的第一个像素点构成的直线作为左边界，将上边界的最后一个像素点和下边界的最后一个像素点构成的直线作为右边界；
车窗区域获取模块37，用于由上边界、左边界、右边界、下边界围成的区域即为车窗区域。
其中，所述二值图像获取模块32中Th_F∈[10,30]。优选地，Th_F选为20。
所述直线检测模块33中Hough变换直线检测算法通过现有的技术实现。例如，“段汝娇，赵伟，黄松岭，陈建业.一种基于改进Hough变换的直线快速检测算法.《仪器仪表学报》,2010,31(12):2774-2780”。
所述直线筛选模块34中Th_θ∈[5°,15°]。优选地。Th_θ选为10°。
所述上下边界获取模块35中Th_S为采样间隔，Th_S∈[5,20]。优选地，Th_S选为12。所述聚类算法通过现有的聚类算法实现。
所述人脸区域提取模块4中的人脸检测算法可以通过现有的技术实现。例如，“郭志波，华继钊，严云洋，陈才扣，杨静宇.基于双阈值继承型AdaBoost算法的人脸快速检测.《数据采集与处理》,2008,23(3):306-310”。
所述感兴趣区域提取模块5进一步包括：
感兴趣区域边界获取模块51，用于根据人脸区域获取人脸区域的左边边界x＝fl、右边边界x＝fr、上边边界y＝ft、下边边界y＝fb，则打电话的感兴趣区域的左边边界为右边边界为上边边界为下边边界为Wf为人脸区域的宽度，W和H分别为采集图像的宽度和高度；
感兴趣区域获取模块52，用于根据打电话的感兴趣区域的左边边界、右边边界、上边边界、下边边界，确定矩形区域，该矩形区域即为感兴趣区域。
其中，所述λ4∈[0.8,1.3]，λ5∈[0.3,0.8]，λ6∈[0.3,0.8]。优选地，λ4选为1，λ5选为0.5，λ6选为0.5。
所述打电话检测模型检测模块6进一步包括：
识别特征提取模块61，用于利用训练好的打电话检测模型提取感兴趣区域的特征；
识别分类判定模块62，用于计算感兴趣区域的特征与每一类别特征的相似度Simik，k表示第k个类别，k＝{1，2，3}，选取Simik值最大的类别作为驾驶员打电话检测结果并输出。
与现有的驾驶员打电话行为的检测技术相比，本发明的一种驾驶员打电话行为的检测方法及装置采用卷积神经网络，可以准确的检测出驾驶员打电话的行为，且鲁棒性较好；另外，本发明中的卷积神经网络训练了驾驶员打电话、驾驶员未打电话、模糊三个类别，可以分辨出模糊的情况。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善，因此本发明只受到本发明权利要求的内容和范围的限制，其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。

Claims (18)

1.一种驾驶员打电话行为的检测方法，其特征在于，该方法包括：
第一步骤，选取标签的彩色图像为样本图像，采用卷积神经网络对样本图像进行反复训练，获取训练好的打电话检测模型；
第二步骤，根据车牌区域获取车窗的候选区域；
第三步骤，采用Hough变换在车窗的候选区域内检测直线，对直线进行聚类处理，提取车窗区域；
第四步骤，采用人脸检测算法在车窗区域内进行检测，提取人脸区域；
第五步骤，根据人脸区域获取打电话的感兴趣区域；
第六步骤，利用训练好的打电话检测模型对感兴趣区域进行检测，输出检测结果。
2.如权利要求1所述的方法，其特征在于，所述第一步骤包括：
样本选取步骤，选取标签驾驶员打电话的彩色图像、标签驾驶员未打电话的彩色图像、标签模糊的彩色图像作为样本图像；
初步训练步骤，利用卷积神经网络对样本图像进行特征训练，获得初步训练的模型；
二次训练步骤，选取测试图像，根据初步训练的模型对测试图像进行反复训练，直至模型收敛；
模型输出步骤，将收敛的模型作为训练好的驾驶员打电话检测模型并输出。
3.如权利要求2所述的方法，其特征在于，所述卷积神经网络包括：输入层、Th_Con个卷积层、Th_Pool个池化层、Th_Full个全连接层；
其中，每层卷积层包括Th_CK个卷积核，卷积核的大小为CKSi*CKSi、步长为1；每层池化层的核的大小为KSi*KSi、步长为KSi；所述全连接层的最后一层全连接层输出的神经元的数量为3，即为3个驾驶员打电话检测类别；
Th_Con∈[2,8]，Th_Pool∈[2,8]，Th_Full∈[1,3]，Th_CK∈[Th_CKmin,Th_CKmax]，Th_CKmin∈[6,16]，Th_CKmax∈[30,512]，CKSi∈[3,7]，KSi∈[2,4]。
4.如权利要求3所述的方法，其特征在于，所述卷积神经网络包括：
输入层，输入Width*Height的图像；
第一层卷积层，输出Th_CK1个卷积核，卷积核的大小为CKSi1*CKSi1、步长为 1；
第一层池化层，采用最大池化法输出KSi*KSi、步长为KSi的核；
第二层卷积层，输出Th_CK2个卷积核，卷积核的大小为CKSi2*CKSi2、步长为1；
第二层池化层，采用最大池化法输出KSi*KSi、步长为KSi的核；
第三层卷积层，输出Th_CK3个卷积核，卷积核的大小为CKSi3*CKSi3、步长为1；
第三层池化层，采用最大池化法输出KSi*KSi、步长为KSi的核；
全连接层，采用ReLU作为激活函数，输出Th_Neur个神经元；
全连接层，输出3个神经元，即3个打电话检测类别；
其中，Width∈[64,192]，Height∈[64,192]；Th_CK1∈[6,20]，CKSi1∈[3,5]，KSi∈[2,4]，Th_CK2∈[6,40]，CKSi2∈[3,5]，Th_CK3∈[6,40]，CKSi3∈[3,5]，Th_Neur∈[64,10000]。
5.如权利要求2所述的方法，所述二次训练步骤包括：
训练特征提取步骤，根据初步训练的模型提取测试图像的特征；
训练分类判定步骤，计算该特征与每一驾驶员打电话检测类别特征的相似度Simik，k表示第k个类别，k＝{1，2，3}，选取Simik值最大的类别作为候选检测类别；
反复训练步骤，计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复训练特征提取步骤和训练分类判定步骤，直至该模型收敛。
6.如权利要求1所述的方法，其特征在于，所述第二步骤包括：
车牌区域定位步骤，根据车牌定位算法从采集的彩色图像中获取车牌区域；
车窗的候选区域边界获取步骤，根据车牌区域获取车牌区域的左边边界x＝pl、右边边界x＝pr、上边边界y＝pt、下边边界y＝pb，则车窗的候选区域的左边边界为右边边界为 上边边界为 下边边界为Wp为车牌区域的宽度，W为采集图像的宽度，λ3＜λ2；
车窗的候选区域输出步骤，根据车窗的候选区域的左边边界、右边边界、上边边界、下边边界，确定矩形区域，该矩形区域即为车窗的候选区域；
其中，λ1∈[1.2,1.8]，λ2∈[4.2,4.8]，λ3∈[0.3,0.8]。
7.如权利要求1所述的方法，其特征在于，所述第三步骤包括：
竖直边缘获取步骤，将车窗的候选区域进行灰度化处理，获取灰度的候选区域，采用滤波器，获取灰度的候选区域的竖直边缘图像；
二值图像获取步骤，采用阈值Th_F对数值边缘图像进行分割，获取二值图像；直线检测步骤，采用Hough变换直线检测算法对二值图像进行处理，获取检测的直线序列y＝kix+bi，i＝1，2，…，N1，N1为直线的数量；
直线筛选步骤，若arctan|ki|≤Th_θ，则保留该直线，否则删除该直线，由此得到剩余的直线序列y＝kjx+bj，j＝1，2，…，N2，N2为剩余直线的数量；
上下边界获取步骤，扫描每条直线y＝kjx+bj，j＝1，2，…，N2，获取直线y＝kjx+bj的第一个像素点(xj1,yj1)和最后一个像素点(xj2,yj2)，在y方向上按 将直线进行分段，获取对应的x方向上的长度，并将其放入LineHist数组中，采用聚类算法对LineHist数组进行聚类，将获取的聚类值最大的两条直线分别作为上边界和下边界；
左右边界获取步骤，分别扫描上边界、下边界，将上边界的第一个像素点和下边界的第一个像素点构成的直线作为左边界，将上边界的最后一个像素点和下边界的最后一个像素点构成的直线作为右边界；
车窗区域获取步骤，由上边界、左边界、右边界、下边界围成的区域即为车窗区域；
其中，Th_F∈[10,30]，Th_θ∈[5°,15°]，Th_S∈[5,20]。
8.如权利要求1所述的方法，其特征在于，所述第五步骤包括：
感兴趣区域边界获取步骤，根据人脸区域获取人脸区域的左边边界x＝fl、右边边界x＝fr、上边边界y＝ft、下边边界y＝fb，则打电话的感兴趣区域的左边边界为右边边界为上边边界为下边边界为Wf为人脸区域的宽度，W和H分别为采集图像的宽度和高度；
感兴趣区域获取步骤，根据打电话的感兴趣区域的左边边界、右边边界、上边边界、下边边界，确定矩形区域，该矩形区域即为感兴趣区域；
其中，λ4∈[0.8,1.3]，λ5∈[0.3,0.8]，λ6∈[0.3,0.8]。
9.如权利要求1所述的方法，其特征在于，所述第六步骤包括：
识别特征提取步骤，利用训练好的打电话检测模型提取感兴趣区域的特征；
识别分类判定步骤，计算感兴趣区域的特征与每一类别特征的相似度Simik，k表示第k个类别，k＝{1，2，3}，选取Simik值最大的类别作为驾驶员打电话检测结果并输出。
10.一种驾驶员打电话行为的检测装置，其特征在于，该装置包括：
打电话检测模型获取模块，用于选取标签的彩色图像为样本图像，采用卷积神经网络对样本图像进行反复训练，获取训练好的打电话检测模型；
车窗的候选区域提取模块，用于根据车牌区域获取车窗的候选区域；
车窗区域提取模块，用于采用Hough变换在车窗的候选区域内检测直线，对直线进行聚类处理，提取车窗区域；
人脸区域提取模块，用于采用人脸检测算法在车窗区域内进行检测，提取人脸区域；
感兴趣区域提取模块，用于根据人脸区域获取打电话的感兴趣区域；
打电话检测模型检测模块，用于利用训练好的打电话检测模型对感兴趣区域进行检测，输出检测结果。
11.如权利要求10所述的装置，其特征在于，所述打电话检测模型获取模块包括：
样本选取模块，用于选取标签驾驶员打电话的彩色图像、标签驾驶员未打电话的彩色图像、标签模糊的彩色图像作为样本图像；
初步训练模块，用于利用卷积神经网络对样本图像进行特征训练，获得初步训练的模型；
二次训练模块，用于选取测试图像，根据初步训练的模型对测试图像进行反复训练，直至模型收敛；
模型输出模块，用于将收敛的模型作为训练好的驾驶员打电话检测模型并输出。
12.如权利要求11所述的装置，其特征在于，所述卷积神经网络包括：输入层、Th_Con个卷积层、Th_Pool个池化层、Th_Full个全连接层；
其中，每层卷积层包括Th_CK个卷积核，卷积核的大小为CKSi*CKSi、步长为1；每层池化层的核的大小为KSi*KSi、步长为KSi；所述全连接层的最后一层全连接层输出的神经元的数量为3，即为3个驾驶员打电话检测类别；
Th_Con∈[2,8]，Th_Pool∈[2,8]，Th_Full∈[1,3]，Th_CK∈[Th_CKmin,Th_CKmax]，Th_CKmin∈[6,16]，Th_CKmax∈[30,512]，CKSi∈[3,7]，KSi∈[2,4]。
13.如权利要求12所述的装置，其特征在于，所述卷积神经网络包括：
输入层，输入Width*Height的图像；
第一层卷积层，输出Th_CK1个卷积核，卷积核的大小为CKSi1*CKSi1、步长为1；
第一层池化层，采用最大池化法输出KSi*KSi、步长为KSi的核；
第二层卷积层，输出Th_CK2个卷积核，卷积核的大小为CKSi2*CKSi2、步长为1；
第二层池化层，采用最大池化法输出KSi*KSi、步长为KSi的核；
第三层卷积层，输出Th_CK3个卷积核，卷积核的大小为CKSi3*CKSi3、步长为1；
第三层池化层，采用最大池化法输出KSi*KSi、步长为KSi的核；
全连接层，采用ReLU作为激活函数，输出Th_Neur个神经元；
全连接层，输出3个神经元，即3个打电话检测类别；
其中，Width∈[64,192]，Height∈[64,192]；Th_CK1∈[6,20]，CKSi1∈[3,5]，KSi∈[2,4]，Th_CK2∈[6,40]，CKSi2∈[3,5]，Th_CK3∈[6,40]，CKSi3∈[3,5]，Th_Neur∈[64,10000]。
14.如权利要求11所述的装置，所述二次训练模块包括：
训练特征提取模块，用于根据初步训练的模型提取测试图像的特征；
训练分类判定模块，用于计算该特征与每一驾驶员打电话检测类别特征的相似度Simik，k表示第k个类别，k＝{1，2，3}，选取Simik值最大的类别作为候选检测类别；
反复训练模块，用于计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复训练特征提取模块和训练分类判定模块，直至该模型收敛。
15.如权利要求10所述的装置，其特征在于，所述车窗的候选区域提取模块包括：
车牌区域定位模块，用于根据车牌定位算法从采集的彩色图像中获取车牌区域；车窗的候选区域边界获取模块，用于根据车牌区域获取车牌区域的左边边界x＝pl、右边边界x＝pr、上边边界y＝pt、下边边界y＝pb，则车窗的候选区域的左边边界为右边边界为上边边界为下边边界为Wp为车牌区域的宽度，W为采集图像的宽度，λ3＜λ2；
车窗的候选区域获取模块，用于根据车窗的候选区域的左边边界、右边边界、上边边界、下边边界，确定矩形区域，该矩形区域即为车窗的候选区域；
其中，λ1∈[1.2,1.8]，λ2∈[4.2,4.8]，λ3∈[0.3,0.8]。
16.如权利要求10所述的装置，其特征在于，所述车窗区域提取模块包括：
竖直边缘获取模块，用于将车窗的候选区域进行灰度化处理，获取灰度的候选区 域，采用滤波器，获取灰度的候选区域的竖直边缘图像；
二值图像获取模块，用于采用阈值Th_F对数值边缘图像进行分割，获取二值图像；
直线检测模块，用于采用Hough变换直线检测算法对二值图像进行处理，获取检测的直线序列y＝kix+bi，i＝1，2，…，N1，N1为直线的数量；
直线筛选模块，用于若arctan|ki|≤Th_θ，则保留该直线，否则删除该直线，由此得到剩余的直线序列y＝kjx+bj，j＝1，2，…，N2，N2为剩余直线的数量；
上下边界获取模块，用于扫描每条直线y＝kjx+bj，j＝1，2，…，N2，获取直线y＝kjx+bj的第一个像素点(xj1,yj1)和最后一个像素点(xj2,yj2)，在y方向上按 将直线进行分段，获取对应的x方向上的长度，并将其放入LineHist数组中，采用聚类算法对LineHist数组进行聚类，将获取的聚类值最大的两条直线分别作为上边界和下边界；
左右边界获取模块，用于分别扫描上边界、下边界，将上边界的第一个像素点和下边界的第一个像素点构成的直线作为左边界，将上边界的最后一个像素点和下边界的最后一个像素点构成的直线作为右边界；
车窗区域获取模块，用于由上边界、左边界、右边界、下边界围成的区域即为车窗区域；
其中，Th_F∈[10,30]，Th_θ∈[5°,15°]，Th_S∈[5,20]。
17.如权利要求10所述的装置，其特征在于，所述感兴趣区域提取模块包括：感兴趣区域边界获取模块，用于根据人脸区域获取人脸区域的左边边界x＝fl、右边边界x＝fr、上边边界y＝ft、下边边界y＝fb，则打电话的感兴趣区域的左边边界为右边边界为上边边界为下边边界为Wf为人脸区域的宽度，W和H分别为采集图像的宽度和高度；
感兴趣区域获取模块，用于根据打电话的感兴趣区域的左边边界、右边边界、上边边界、下边边界，确定矩形区域，该矩形区域即为感兴趣区域；
其中，λ4∈[0.8,1.3]，λ5∈[0.3,0.8]，λ6∈[0.3,0.8]。
18.如权利要求10所述的装置，其特征在于，所述打电话检测模型检测模块包括：
识别特征提取模块，用于利用训练好的打电话检测模型提取感兴趣区域的特征；识别分类判定模块，用于计算感兴趣区域的特征与每一类别特征的相似度Simik，k表示第k个类别，k＝{1，2，3}，选取Simik值最大的类别作为驾驶员打电话检测结果并输出。
CN201610368797.XA 2016-05-30 2016-05-30 一种驾驶员打电话行为的检测方法及装置 Active CN106056071B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610368797.XA CN106056071B (zh) 2016-05-30 2016-05-30 一种驾驶员打电话行为的检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610368797.XA CN106056071B (zh) 2016-05-30 2016-05-30 一种驾驶员打电话行为的检测方法及装置

Publications (2)

Publication Number Publication Date
CN106056071A true CN106056071A (zh) 2016-10-26
CN106056071B CN106056071B (zh) 2019-05-10

Family

ID=57171292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610368797.XA Active CN106056071B (zh) 2016-05-30 2016-05-30 一种驾驶员打电话行为的检测方法及装置

Country Status (1)

Country Link
CN (1) CN106056071B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106503673A (zh) * 2016-11-03 2017-03-15 北京文安智能技术股份有限公司 一种交通驾驶行为的识别方法、装置及一种视频采集装置
CN106530730A (zh) * 2016-11-02 2017-03-22 重庆中科云丛科技有限公司 交通违规检测方法及***
CN106778583A (zh) * 2016-12-07 2017-05-31 北京理工大学 基于卷积神经网络的车辆属性识别方法与装置
CN107832728A (zh) * 2017-11-21 2018-03-23 天津英田视讯科技有限公司 一种基于视频的审判员打电话行为识别方法
CN108205649A (zh) * 2016-12-20 2018-06-26 浙江宇视科技有限公司 驾驶员开车接打电话的状态识别方法及装置
CN108509902A (zh) * 2018-03-30 2018-09-07 湖北文理学院 一种驾驶员行车过程中手持电话通话行为检测方法
CN108710857A (zh) * 2018-05-22 2018-10-26 深圳前海华夏智信数据科技有限公司 基于红外补光的人车识别方法及装置
CN108764034A (zh) * 2018-04-18 2018-11-06 浙江零跑科技有限公司 一种基于驾驶室近红外相机的分神驾驶行为预警方法
CN108875812A (zh) * 2018-06-01 2018-11-23 宁波工程学院 一种基于分支卷积神经网络的驾驶员行为分类方法
CN109376634A (zh) * 2018-10-15 2019-02-22 北京航天控制仪器研究所 一种基于神经网络的公交司机违规行为检测***
CN109410318A (zh) * 2018-09-30 2019-03-01 先临三维科技股份有限公司 三维模型生成方法、装置、设备和存储介质
CN109583442A (zh) * 2018-11-07 2019-04-05 北京智芯原动科技有限公司 基于线段检测的虚假车牌检测方法及装置
CN110059541A (zh) * 2019-02-28 2019-07-26 长江大学 一种驾驶中的手机使用行为检测方法及装置
CN110309764A (zh) * 2019-06-27 2019-10-08 浙江工业大学 一种基于深度学习的多阶段驾驶员打电话行为检测方法
CN110839128A (zh) * 2018-08-16 2020-02-25 杭州海康威视数字技术股份有限公司 拍照行为检测方法、装置及存储介质
CN111325058A (zh) * 2018-12-14 2020-06-23 长沙智能驾驶研究院有限公司 驾驶行为检测方法、装置、***及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2442538A1 (en) * 2010-10-07 2012-04-18 Research in Motion Limited Method and system for preventing device operation when driving
CN102567743A (zh) * 2011-12-20 2012-07-11 东南大学 基于视频图像的驾驶员姿态自动识别方法
CN103366506A (zh) * 2013-06-27 2013-10-23 北京理工大学 一种驾驶员行车途中接打手机行为的自动监控装置及方法
CN104156717A (zh) * 2014-08-31 2014-11-19 王好贤 基于图像处理技术的驾驶员驾车打电话违章识别方法
CN104966059A (zh) * 2015-06-15 2015-10-07 安徽创世科技有限公司 基于智能监控***的驾驶员开车打电话检测方法
CN105005759A (zh) * 2015-05-04 2015-10-28 南京理工大学 多特征融合的卡口图像前车窗的定位与提取方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2442538A1 (en) * 2010-10-07 2012-04-18 Research in Motion Limited Method and system for preventing device operation when driving
CN102567743A (zh) * 2011-12-20 2012-07-11 东南大学 基于视频图像的驾驶员姿态自动识别方法
CN103366506A (zh) * 2013-06-27 2013-10-23 北京理工大学 一种驾驶员行车途中接打手机行为的自动监控装置及方法
CN104156717A (zh) * 2014-08-31 2014-11-19 王好贤 基于图像处理技术的驾驶员驾车打电话违章识别方法
CN105005759A (zh) * 2015-05-04 2015-10-28 南京理工大学 多特征融合的卡口图像前车窗的定位与提取方法
CN104966059A (zh) * 2015-06-15 2015-10-07 安徽创世科技有限公司 基于智能监控***的驾驶员开车打电话检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DAN WANG ET AL；: "《Detecting Driver Use of Mobile Phone Based on In-car Camera》", 《2014 10TH INTERNATIONAL CONFERENCE ON COMPUTATIONAL INTELLIGENCE AND SECURITY》 *
张波 等；: "《基于机器视觉的驾驶人使用手持电话行为检测》", 《吉林大学学报(工学版)》 *
王丹 等；: "《基于机器视觉的驾驶员打电话行为检测》", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 *
魏民国 等；: "《基于机器视觉的驾驶人使用手持电话行为检测方法》", 《2014 中国汽车安全技术学术会议》 *
黎华东；: "《智能交通中的违章识别算法研究》", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530730A (zh) * 2016-11-02 2017-03-22 重庆中科云丛科技有限公司 交通违规检测方法及***
CN106503673A (zh) * 2016-11-03 2017-03-15 北京文安智能技术股份有限公司 一种交通驾驶行为的识别方法、装置及一种视频采集装置
CN106778583B (zh) * 2016-12-07 2019-12-17 北京理工大学 基于卷积神经网络的车辆属性识别方法与装置
CN106778583A (zh) * 2016-12-07 2017-05-31 北京理工大学 基于卷积神经网络的车辆属性识别方法与装置
CN108205649A (zh) * 2016-12-20 2018-06-26 浙江宇视科技有限公司 驾驶员开车接打电话的状态识别方法及装置
CN107832728A (zh) * 2017-11-21 2018-03-23 天津英田视讯科技有限公司 一种基于视频的审判员打电话行为识别方法
CN108509902A (zh) * 2018-03-30 2018-09-07 湖北文理学院 一种驾驶员行车过程中手持电话通话行为检测方法
CN108509902B (zh) * 2018-03-30 2020-07-03 湖北文理学院 一种驾驶员行车过程中手持电话通话行为检测方法
CN108764034A (zh) * 2018-04-18 2018-11-06 浙江零跑科技有限公司 一种基于驾驶室近红外相机的分神驾驶行为预警方法
CN108710857A (zh) * 2018-05-22 2018-10-26 深圳前海华夏智信数据科技有限公司 基于红外补光的人车识别方法及装置
CN108875812A (zh) * 2018-06-01 2018-11-23 宁波工程学院 一种基于分支卷积神经网络的驾驶员行为分类方法
CN108875812B (zh) * 2018-06-01 2021-10-22 宁波工程学院 一种基于分支卷积神经网络的驾驶员行为分类方法
CN110839128B (zh) * 2018-08-16 2021-04-27 杭州海康威视数字技术股份有限公司 拍照行为检测方法、装置及存储介质
CN110839128A (zh) * 2018-08-16 2020-02-25 杭州海康威视数字技术股份有限公司 拍照行为检测方法、装置及存储介质
US11978157B2 (en) 2018-09-30 2024-05-07 Shining 3D Tech Co., Ltd. Method and apparatus for generating three-dimensional model, device, and storage medium
CN109410318A (zh) * 2018-09-30 2019-03-01 先临三维科技股份有限公司 三维模型生成方法、装置、设备和存储介质
CN109376634A (zh) * 2018-10-15 2019-02-22 北京航天控制仪器研究所 一种基于神经网络的公交司机违规行为检测***
CN109583442B (zh) * 2018-11-07 2020-12-11 北京智芯原动科技有限公司 基于线段检测的虚假车牌检测方法及装置
CN109583442A (zh) * 2018-11-07 2019-04-05 北京智芯原动科技有限公司 基于线段检测的虚假车牌检测方法及装置
CN111325058A (zh) * 2018-12-14 2020-06-23 长沙智能驾驶研究院有限公司 驾驶行为检测方法、装置、***及存储介质
CN111325058B (zh) * 2018-12-14 2023-12-01 长沙智能驾驶研究院有限公司 驾驶行为检测方法、装置、***及存储介质
CN110059541A (zh) * 2019-02-28 2019-07-26 长江大学 一种驾驶中的手机使用行为检测方法及装置
CN110309764A (zh) * 2019-06-27 2019-10-08 浙江工业大学 一种基于深度学习的多阶段驾驶员打电话行为检测方法
CN110309764B (zh) * 2019-06-27 2021-06-01 浙江工业大学 一种基于深度学习的多阶段驾驶员打电话行为检测方法

Also Published As

Publication number Publication date
CN106056071B (zh) 2019-05-10

Similar Documents

Publication Publication Date Title
CN106056071A (zh) 一种驾驶员打电话行为的检测方法及装置
CN108875674B (zh) 一种基于多列融合卷积神经网络的驾驶员行为识别方法
CN102163284B (zh) 面向中文环境的复杂场景文本定位方法
CN106022285A (zh) 一种基于卷积神经网络的车款识别方法及装置
CN103258204B (zh) 一种基于Gabor和EOH特征的自动微表情识别方法
CN103324944B (zh) 一种基于svm和稀疏表示的假指纹检测方法
Aich et al. Global sum pooling: A generalization trick for object counting with small datasets of large images
CN103996047B (zh) 基于压缩谱聚类集成的高光谱图像分类方法
CN106446811A (zh) 基于深度学习的驾驶员疲劳检测方法及装置
CN108491077A (zh) 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法
CN107945153A (zh) 一种基于深度学习的路面裂缝检测方法
CN105809173B (zh) 一种基于仿生物视觉变换的图像rstn不变属性特征提取及识别方法
CN101930549B (zh) 基于第二代曲线波变换的静态人体检测方法
CN105608446A (zh) 一种视频流异常事件的检测方法及装置
CN106485224A (zh) 一种安全带佩戴识别方法及装置
CN106228166B (zh) 字符图像的识别方法
CN107358260A (zh) 一种基于表面波cnn的多光谱图像分类方法
Chen et al. Adaptive convolution for object detection
CN101383008A (zh) 基于视觉注意模型的图像分类方法
CN107092884A (zh) 一种快速粗精级联行人检测方法
CN111914838A (zh) 一种基于文本行识别的车牌识别方法
CN104008404B (zh) 一种基于显著直方图特征的行人检测方法及***
CN109460787A (zh) 入侵检测模型建立方法、装置及数据处理设备
CN107633229A (zh) 基于卷积神经网络的人脸检测方法及装置
CN104834909B (zh) 一种基于Gabor综合特征的图像特征描述方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant