CN111325872B - 基于计算机视觉的司机驾驶异常检测方法 - Google Patents

基于计算机视觉的司机驾驶异常检测方法 Download PDF

Info

Publication number
CN111325872B
CN111325872B CN202010071329.2A CN202010071329A CN111325872B CN 111325872 B CN111325872 B CN 111325872B CN 202010071329 A CN202010071329 A CN 202010071329A CN 111325872 B CN111325872 B CN 111325872B
Authority
CN
China
Prior art keywords
target detection
driver
target
detection
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010071329.2A
Other languages
English (en)
Other versions
CN111325872A (zh
Inventor
羊晋
司俊俊
涂波
刘孟奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hezhixin Shandong Big Data Technology Co ltd
Original Assignee
Hezhixin Shandong Big Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hezhixin Shandong Big Data Technology Co ltd filed Critical Hezhixin Shandong Big Data Technology Co ltd
Priority to CN202010071329.2A priority Critical patent/CN111325872B/zh
Publication of CN111325872A publication Critical patent/CN111325872A/zh
Application granted granted Critical
Publication of CN111325872B publication Critical patent/CN111325872B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)

Abstract

一种基于计算机视觉的司机驾驶异常检测设备及检测方法，其中，检测设备包括车载摄像头与视频记录存储回传设备，车载摄像头与视频记录存储回传设备连接，其特征在于，还包括在检测中心的检测服务器和数据存储服务器，检测服务器和数据存储服务器通过网络连接，检测服务器又通过网络与视频记录存储回传设备连接；在检测中心还有中心视频图像处理与目标检测设备，中心视频图像处理与目标检测装置与检测服务器连接，检测服务器通过网络与视频记录存储回传设备连接。本发明解决了现有监控手段人工分析工作量大、响应慢的问题，对司乘人员与车辆行驶情况的实时自动检测和监控，节约了大量的人力，准确有效，达到检测的目的。

Description

基于计算机视觉的司机驾驶异常检测方法
技术领域
本发明是一种基于计算机视觉的司机驾驶异常检测设备及检测方法，涉及计算机视觉、机器学习领域，是一种基于计算机视觉的司机驾驶情况检测方法。
背景技术
司机驾驶情况与车辆交通事故的产生直接相关，良好的驾驶行为可以减少车辆行驶过程中的交通事故的产生与人员伤亡；而不良的驾驶行为如疲劳驾驶、酒驾、驾驶过程中接打电话回复短信或是上网、双手脱离方向盘等都会导致司机注意力分散乃至车辆行驶异常，会更容易产生交通事故。
对于承运车辆来说，司机危险驾驶行为不仅容易导致道路交通事故，还会导致车内人员发送意外，尤其是公交车等承运人数较多且有站立乘客的车辆。此外，承运车辆司机除了通常的危险驾驶行为，还会出现乘客干扰司机等车辆内部事件导致司机无法正常驾驶。所以需要一种有效地检测司机驾驶情况的方法，检测司机是否安全驾驶、是否有注意力分散或是受到车辆内部人员干扰的情况。
当前司机驾驶行为通常是通过外装传感器检测车辆行驶状况需要在车辆外部或是传动***上安装相应传感器，成本较高且附加采集处理设备较多；或是加装内部摄像头，基于视频数据判定是否有非正常驾驶的情况，而视频监控数据分析多为人工监控、抽查方式，分析工作量较大、覆盖率小、效果差，且人工复查无法实时监控现场情况，难以实现异常驾驶情况全部监控并作出提醒与快速响应。
基于计算机视觉对司机进行驾驶行为监测的优势在于，1、很多承运车辆客车、公交车等甚至是私家车都会安装车内摄像头，对车内司机和乘客进行视频采集和分析，可供利用的数据（经过标注和未经标注）丰富；2. 随着计算机视觉技术与深度学习的发展，目标检测、人脸识别等技术都在快速发展，目标检测率、检测效率等都有显著的进步；3. 而先进的芯片设计制造技术使得大规模进行目标检测的成本降低，甚至可以通过部署剪枝模型在采集设备端，即边缘计算。
发明内容
本发明的目的是提供一种基于计算机视觉的司机驾驶异常检测设备及检测方法，通过检测设备自动对司机驾驶状态异常进行检测。
一种基于视频监控与计算机视觉的司机驾驶异常的检测设备，包括车载摄像头与视频记录存储回传设备，车载摄像头与视频记录存储回传设备连接，其特征在于，还包括在检测中心的检测服务器和数据存储服务器，检测服务器和数据存储服务器通过网络连接，检测服务器又通过网络与视频记录存储回传设备连接；在检测中心还有中心视频图像处理与目标检测设备，中心视频图像处理与目标检测装置与检测服务器连接，检测服务器通过网络与视频记录存储回传设备连接。
在车载设备端还有车载视频图像处理与目标检测设备，车载视频图像处理与目标检测设备与视频记录存储回传设备连接,回传数据包括车载视频图像数据和目标检测结果。
一种基于计算机视觉的司机驾驶异常检测设备及检测方法，包括三个部分，目标检测模型预训练部分、驾驶异常检测模型训练部分和驾驶异常检测部分。
目标检测模型预训练主要流程如下：
步骤一、目标检测数据集收集、标注：收集驾驶场景和一般场景下常见目标检测物训练数据集，包括人体、人脸、手部、常见侵入物，并根据需求补充特定场景下的目标检测数据集，并按人体、人脸、手部、常见侵入物的分类进行标注；完整的数据集应包括：所需目标检测物人体、人脸、手部、常见侵入物的图片数据和目标检测标注结果；目标检测标注结果包括目标类型、目标所在图像像素位置；保存数据集标注结果；
步骤二、目标数据集预处理，对收集到的目标检测训练数据进行预处理，包括不限于降噪、重采样，将图像尺寸M*N都预处理到M1*N1；
步骤三、对目标检测数据集合理倍增，作为模型训练数据集，并按照一定比例进行训练集与验证集划分，其中，进行训练集大于验证集；
步骤四、根据目标检测的效果、模型训练与在线预测的硬件设备支持，选择合适的深度学习框架；
步骤五、根据需要检测目标类型和特性选择适用的目标检测网络结构；
步骤六、利用训练集对目标检测模型进行迭代训练，并用验证集进行评估防止过拟合和梯度发散，当神经网络模型对验证集的目标检测效果不再变好或是达到预设的迭代训练次数，则停止训练，并将训练好的模型导出；
步骤七、利用深度学习模型剪枝算法进行模型裁剪，对主干网络进行冗余删除，降低输入网络大小，模型裁剪还包括卷积层裁剪和通道剪枝；
步骤八、输出训练好的的目标检测模型，该模型的目标检测算法输入图片尺寸为M1*N1，输出结果为目标类型以及目标检测框位置；
步骤九、将训练好的目标检测模型部署到视频采集端或驾驶行为检测中心服务器；
驾驶异常检测模型训练流程如下：
步骤十、收集司机驾驶视频数据以及对应的驾驶信息，其中视频数据为针对司机所拍摄的视频数据，驾驶信息包括驾驶过程中的车辆信息：车辆位置、车辆速度、车辆方向信息；
步骤十一、对收集到的司机驾驶视频数据进行标注，标注信息包括：正常驾驶和异常驾驶，以及对应的异常驾驶类型；
步骤十二、视频进行初步的预处理、降噪、降帧和裁剪变换；
步骤十三、基于训练好的的目标检测模型，利用目标检测算法对视频图像帧进行目标检测，识别人体，并框出检测到的人体，输出对应特征；
步骤十四、基于预先训练模型利用目标检测算法,（小目标效果良好的模型）对进行人体部位检测与物体检测，识别出人脸位置，手部位置，识别是否有其他影响驾驶物体；
步骤十五、基于步骤二、步骤三中目标检测信息计算特征参数；
步骤十六、选择合适的分类器模型，将步骤十五中计算的特征和步骤十中车辆行驶特征，包括车辆位置、车辆速度、车辆方向信息，结合步骤十一中的标注结果进行驾驶异常检测模型训练；
步骤十七、驾驶行为检测模型部署到进行检测的中心服务器上；
在完成模型训练后，将利用目标检测模型和驾驶行为检测模型对司机驾驶行为进行检测，包括下列步骤：
步骤十八、在车辆端安装车载摄像头与视频记录存储回传设备，车载摄像头与视频记录存储回传设备连接，在检测中心还设有检测服务器和数据存储服务器，检测服务器和数据存储服务器通过网络连接，检测服务器又通过网络与视频记录存储回传设备连接；在检测中心还有中心视频图像处理与目标检测设备，中心视频图像处理与目标检测装置与检测服务器连接，检测服务器通过网络与视频记录存储回传设备连接；
通过车载摄像头采集车辆驾驶位置的视频监控数据，同时获取车辆的运行状态、运行时速，车载摄像头将视频监控数据及同时获取的车辆的运行状态、运行时速，传输到视频记录存储回传设备进行数据存储，并将该存储的数据传输到检测中心的数据存储服务器；
步骤十九、与数据存储服务器连接的检测服务器对视频监控数据进行初步的预处理、降噪、降帧和裁剪变换；
步骤二十、基于预训练的目标检测模型利用目标检测算法对采集到的视频图像帧进行目标检测，识别人体，并框出检测到的人体；
步骤二十一、基于预先训练模型利用目标检测算法，通过视频图像处理与目标检测设备对进行人体部位检测与物体检测，识别出人脸位置，手部位置，识别是否有其他影响驾驶物体的目标检测信息；
步骤二十二、将目标检测信息作为计算的识别关键点参数，进行计算，得到目标检测结果数值；
步骤二十三、根据设定的规则，通过同时获取车辆的运行状态、运行时速及计算得到目标检测结果数值，判断司机是否在驾驶过程中存在违章行为，以及其他规定范围的异常行为，得到司机驾驶状态的检测结果；
步骤二十四、将检测结果传输并存储到数据库服务器存储。
其中，步骤四所述的选择的深度学习框架为Pytorch或Tensorflow；选择适用的目标检测网络结构为YOLOv3、M2Det或CornerNet；步骤十六选择合适的分类器模型选择的分类器模型中随机森林或梯度下降决策树。
其中，步骤十八所述的车载视频记录存储回传设备还连接有车载视频图像处理与目标检测设备，车载视频图像处理与目标检测设备对车载摄像头传回视频记录存储回传设备的视频图像实时进行检测，并将检测结果传回视频记录存储回传设备进行存储，视频记录存储回传设备将记录车载摄像头记录的视频监控数据及同时获取的车辆的运行状态、运行时速实时传输到数据存储服务器存储的同时，也实时将检测结果也传输到数据存储服务器存储。
其中，所述的车载视频图像处理与目标检测设备实时检测过程包括下列内容：
a.对视频监控数据进行初步的预处理、降噪、降帧和裁剪变换；
b.基于预训练模型利用目标检测算法对采集到的视频图像帧进行目标检测，识别人体，并框出检测到的人体；
c.基于预先训练模型利用目标检测算法，通过视频图像处理与目标检测设备对进行人体部位检测与物体检测，识别出人脸位置，手部位置，识别是否有其他影响驾驶物体的目标检测信息，并将目标检测信息输出到视频记录存储回传设备；
d.车载视频图像处理与目标检测设备将目标检测信息作为计算的识别关键点参数，进行计算，得到目标检测结果数值；
e.根据设定的规则，通过同时获取车辆的运行状态、运行时速及计算得到目标检测结果数值，判断司机是否在驾驶过程中存在违章行为，以及其他规定范围的异常行为，得到司机驾驶状态的检测结果；
f.将检测结果传输到视频记录存储回传设备。
其中，步骤二所述的对视频监控数据进行初步的预处理、降噪、降帧和裁剪变换包括下列内容，
a.对视频图像进行帧内降噪、帧间降噪，使用图像降噪算法进行处理;
b.根据后续目标检测设备性能和实际传输带宽对视频帧进行抽样，降低视频帧率为原帧率/N,N为大于1的整数；
c.根据目标检测设备性与预训练模型参数，选择合适分辨率将视频重新裁剪和变换，使得分辨率从原分辨率m*n变换为m1*n1，其中，m1*n1分辨率与后期目标检测模型大小一致。
其中，步骤三所述的基于预训练模型利用目标检测算法对采集到的视频图像帧进行目标检测，识别人体，并框出检测到的人体；具体为，
a.目标在图像所处的像素绝对位置，以图像的左下角为原点(0,0)，相对原点的横向像素数与纵向像素数(x, y)；
b.目标检测出目标框的左下角(x1,y1)与右上角坐标(x2,y2)，目标框像素面积=(y2-y1)*(x2-x1)；
c.目标的物体类型取决于目标检测预先训练模型输入图片数据类型，检测物体主要包括手机、非司机人脸。
其中，步骤五所述的关键点参数具体主要包括，
a.人脸，司机人脸中心位置，且与司机人脸库比对通过；
b.司机人脸有效面积，目标类型为人脸的像素面积； c.司机手部中心位置，
d.异常侵入物类型，主要包括手机、非司机人脸；
e.异常侵入物位置，异常侵入物中心坐标；
f.计算一定时间窗内特征变量的变化特征。
g.时间窗，司机人脸中心位置B1 图像坐标变动标准差，最大位移；
h.时间窗，司机人脸有效面积B2，最大面积，最小面积，标准差；
j.时间窗，失去人脸检测帧数比例。
其中，步骤六所述的以及其他规定范围的异常行为，还包括，
a.临时停车中，司机是否正常驾驶；
b.车辆行驶过程/临时停车中，司机驾驶行为异常：a)司机自身注意力分散；b)司机受到车内人员干扰。
其中，步骤十五中计算的特征包括：
A．基于目标检测，识别主要关键点参数的单帧特征，包括：
A1. 司机人脸中心位置，步骤三中目标类型为人脸，且与司机人脸库比对通过；
A2. 司机人脸有效面积，基于步骤三中目标类型为人脸的像素面积；
A3. 司机手部中心位置，步骤三中目标类型为手部中心位置。
A4. 异常侵入物类型，步骤三中目标类型为手机、非司机人脸。
A5. 异常侵入物位置，步骤三中目标检测出异常侵入物中心坐标。
B. 基于上文A中即单帧特征，计算一定时间窗内特征变量。
B1. t1时间窗（f1帧数），司机人脸中心位置B1 图像坐标变动标准差，最大位移；
B1. t1时间窗（f1帧数），司机人脸有效面积B2，最大面积，最小面积，标准差；
B3. t1时间窗（f1帧数），失去人脸检测帧数比例。
本发明解决了现有监控手段人工分析工作量大、响应慢的问题，本发明能够对司乘人员与车辆行驶情况的实时自动检测，进而达到监控的效果。本发明节约了大量的人力，准确有效，达到检测的目的。
附图说明
图1、为本发明第一阶段中基于计算机视觉的司机驾驶异常检测方法；
图2(a)、为本发明第二阶段中司机驾驶异常检测在中心服务器进行目标检测的设备结构示意图；
图2(b) 为本发明第二阶段中司机驾驶异常检测在视频采集端进行目标检测的设备结构示意图；
图3、为本发明第二阶段中司机驾驶异常检测***进行检测的工作流程；
图4、为本发明第三阶段目标检测模型预训练部分-模型离线训练与优化裁剪；
图5、为本发明第三阶段目标检测模型预训练部分-模型离线训练与优化裁剪；
图6、为本发明第三阶段驾驶异常检测模型训练部分。
具体实施方式
一种基于计算机视觉的司机驾驶异常检测设备，包括车载摄像头与视频记录存储回传设备，车载摄像头与视频记录存储回传设备连接，其特征在于，还包括在检测中心的检测服务器和数据存储服务器，检测服务器和数据存储服务器通过网络连接，检测服务器又通过网络与视频记录存储回传设备连接；在检测中心还有中心视频图像处理与目标检测设备，中心视频图像处理与目标检测装置与检测服务器连接，检测服务器通过网络与视频记录存储回传设备连接。
在车载设备端还有车载视频图像处理与目标检测设备，车载视频图像处理与目标检测设备与视频记录存储回传设备连接,回传数据包括车载视频图像数据和目标检测结果。
一种基基于计算机视觉的司机驾驶异常检测方法，包括三个部分，目标检测模型预训练部分、驾驶异常检测模型训练部分和驾驶异常检测部分。
目标检测模型预训练主要流程如下：
步骤一、目标检测数据集收集、标注：收集驾驶场景和一般场景下常见目标检测物训练数据集，包括人体、人脸、手部、常见侵入物，并根据需求补充特定场景下的目标检测数据集，并按人体、人脸、手部、常见侵入物的分类进行标注；完整的数据集应包括：所需目标检测物人体、人脸、手部、常见侵入物的图片数据和目标检测标注结果；目标检测标注结果包括目标类型、目标所在图像像素位置；保存数据集标注结果；
步骤二、目标数据集预处理，对收集到的目标检测训练数据进行预处理，包括不限于降噪、重采样，将图像尺寸M*N都预处理到M1*N1；
步骤三、对目标检测数据集合理倍增，作为模型训练数据集，并按照一定比例进行训练集与验证集划分，其中，进行训练集大于验证集；
步骤四、根据目标检测的效果、模型训练与在线预测的硬件设备支持，选择合适的深度学习框架；
步骤五、根据需要检测目标类型和特性选择适用的目标检测网络结构；
步骤六、利用训练集对目标检测模型进行迭代训练，并用验证集进行评估防止过拟合和梯度发散，当神经网络模型对验证集的目标检测效果不再变好或是达到预设的迭代训练次数，则停止训练，并将训练好的模型导出；
步骤七、利用深度学习模型剪枝算法进行模型裁剪，对主干网络进行冗余删除，降低输入网络大小，模型裁剪还包括卷积层裁剪和通道剪枝；
步骤八、输出训练好的的目标检测模型，该模型的目标检测算法输入图片尺寸为M1*N1，输出结果为目标类型以及目标检测框位置；
步骤九、将训练好的目标检测模型部署到视频采集端或驾驶行为检测中心服务器；
驾驶异常检测模型训练流程如下：
步骤十、收集司机驾驶视频数据以及对应的驾驶信息，其中视频数据为针对司机所拍摄的视频数据，驾驶信息包括驾驶过程中的车辆信息：车辆位置、车辆速度、车辆方向信息；
步骤十一、对收集到的司机驾驶视频数据进行标注，标注信息包括：正常驾驶和异常驾驶，以及对应的异常驾驶类型；
步骤十二、视频进行初步的预处理、降噪、降帧和裁剪变换；
步骤十三、基于训练好的的目标检测模型，利用目标检测算法对视频图像帧进行目标检测，识别人体，并框出检测到的人体，输出对应特征；
步骤十四、基于预先训练模型利用目标检测算法,（小目标效果良好的模型）对进行人体部位检测与物体检测，识别出人脸位置，手部位置，识别是否有其他影响驾驶物体；
步骤十五、基于步骤二、步骤三中目标检测信息计算特征参数；
步骤十六、选择合适的分类器模型，将步骤十五中计算的特征和步骤十中车辆行驶特征，包括车辆位置、车辆速度、车辆方向信息，结合步骤十一中的标注结果进行驾驶异常检测模型训练；
步骤十七、驾驶行为检测模型部署到进行检测的中心服务器上；
在完成模型训练后，将利用目标检测模型和驾驶行为检测模型对司机驾驶行为进行检测，包括下列步骤：
步骤十八、在车辆端安装车载摄像头与视频记录存储回传设备，车载摄像头与视频记录存储回传设备连接，在检测中心还设有检测服务器和数据存储服务器，检测服务器和数据存储服务器通过网络连接，检测服务器又通过网络与视频记录存储回传设备连接；在检测中心还有中心视频图像处理与目标检测设备，中心视频图像处理与目标检测装置与检测服务器连接，检测服务器通过网络与视频记录存储回传设备连接；
通过车载摄像头采集车辆驾驶位置的视频监控数据，同时获取车辆的运行状态、运行时速，车载摄像头将视频监控数据及同时获取的车辆的运行状态、运行时速，传输到视频记录存储回传设备进行数据存储，并将该存储的数据传输到检测中心的数据存储服务器；
步骤十九、与数据存储服务器连接的检测服务器对视频监控数据进行初步的预处理、降噪、降帧和裁剪变换；
步骤二十、基于预训练的目标检测模型利用目标检测算法对采集到的视频图像帧进行目标检测，识别人体，并框出检测到的人体；
步骤二十一、基于预先训练模型利用目标检测算法，通过视频图像处理与目标检测设备对进行人体部位检测与物体检测，识别出人脸位置，手部位置，识别是否有其他影响驾驶物体的目标检测信息；
步骤二十二、将目标检测信息作为计算的识别关键点参数，进行计算，得到目标检测结果数值；
步骤二十三、根据设定的规则，通过同时获取车辆的运行状态、运行时速及计算得到目标检测结果数值，判断司机是否在驾驶过程中存在违章行为，以及其他规定范围的异常行为，得到司机驾驶状态的检测结果；
步骤二十四、将检测结果传输并存储到数据库服务器存储。
其中，步骤四所述的选择的深度学习框架为Pytorch或Tensorflow；选择适用的目标检测网络结构为YOLOv3、M2Det或CornerNet；步骤十六选择合适的分类器模型选择的分类器模型中随机森林或梯度下降决策树。
其中，步骤十八所述的车载视频记录存储回传设备还连接有车载视频图像处理与目标检测设备，车载视频图像处理与目标检测设备对车载摄像头传回视频记录存储回传设备的视频图像实时进行检测，并将检测结果传回视频记录存储回传设备进行存储，视频记录存储回传设备将记录车载摄像头记录的视频监控数据及同时获取的车辆的运行状态、运行时速实时传输到数据存储服务器存储的同时，也实时将检测结果也传输到数据存储服务器存储。
其中，所述的车载视频图像处理与目标检测设备实时检测过程包括下列内容：
a.对视频监控数据进行初步的预处理、降噪、降帧和裁剪变换；
b.基于预训练模型利用目标检测算法对采集到的视频图像帧进行目标检测，识别人体，并框出检测到的人体；
c.基于预先训练模型利用目标检测算法，通过视频图像处理与目标检测设备对进行人体部位检测与物体检测，识别出人脸位置，手部位置，识别是否有其他影响驾驶物体的目标检测信息，并将目标检测信息输出到视频记录存储回传设备；
d.车载视频图像处理与目标检测设备将目标检测信息作为计算的识别关键点参数，进行计算，得到目标检测结果数值；
e.根据设定的规则，通过同时获取车辆的运行状态、运行时速及计算得到目标检测结果数值，判断司机是否在驾驶过程中存在违章行为，以及其他规定范围的异常行为，得到司机驾驶状态的检测结果；
f.将检测结果传输到视频记录存储回传设备。
其中，步骤二所述的对视频监控数据进行初步的预处理、降噪、降帧和裁剪变换包括下列内容，
a.对视频图像进行帧内降噪、帧间降噪，使用图像降噪算法进行处理;
b.根据后续目标检测设备性能和实际传输带宽对视频帧进行抽样，降低视频帧率为原帧率/N,N为大于1的整数；
c.根据目标检测设备性与预训练模型参数，选择合适分辨率将视频重新裁剪和变换，使得分辨率从原分辨率m*n变换为m1*n1，其中，m1*n1分辨率与后期目标检测模型大小一致。
其中，步骤三所述的基于预训练模型利用目标检测算法对采集到的视频图像帧进行目标检测，识别人体，并框出检测到的人体；具体为，
a.目标在图像所处的像素绝对位置，以图像的左下角为原点(0,0)，相对原点的横向像素数与纵向像素数(x, y)；
b.目标检测出目标框的左下角(x1,y1)与右上角坐标(x2,y2)，目标框像素面积=(y2-y1)*(x2-x1)；
c.目标的物体类型取决于目标检测预先训练模型输入图片数据类型，检测物体主要包括手机、非司机人脸。
其中，步骤五所述的关键点参数具体主要包括，
a.人脸，司机人脸中心位置，且与司机人脸库比对通过；
b.司机人脸有效面积，目标类型为人脸的像素面积； c.司机手部中心位置，
d.异常侵入物类型，主要包括手机、非司机人脸；
e.异常侵入物位置，异常侵入物中心坐标；
f.计算一定时间窗内特征变量的变化特征。
g.时间窗，司机人脸中心位置B1 图像坐标变动标准差，最大位移；
h.时间窗，司机人脸有效面积B2，最大面积，最小面积，标准差；
j.时间窗，失去人脸检测帧数比例。
其中，步骤六所述的以及其他规定范围的异常行为，还包括，
a.临时停车中，司机是否正常驾驶；
b.车辆行驶过程/临时停车中，司机驾驶行为异常：a)司机自身注意力分散；b)司机受到车内人员干扰。
其中，步骤十五中计算的特征包括：
A．基于目标检测，识别主要关键点参数的单帧特征，包括：
A1. 司机人脸中心位置，步骤三中目标类型为人脸，且与司机人脸库比对通过；
A2. 司机人脸有效面积，基于步骤三中目标类型为人脸的像素面积；
A3. 司机手部中心位置，步骤三中目标类型为手部中心位置。
A4. 异常侵入物类型，步骤三中目标类型为手机、非司机人脸。
A5. 异常侵入物位置，步骤三中目标检测出异常侵入物中心坐标。
B. 基于上文A中即单帧特征，计算一定时间窗内特征变量。
B1. t1时间窗（f1帧数），司机人脸中心位置B1 图像坐标变动标准差，最大位移；
B1. t1时间窗（f1帧数），司机人脸有效面积B2，最大面积，最小面积，标准差；
B3. t1时间窗（f1帧数），失去人脸检测帧数比例。
本发明为解决上述技术问题提供了一种基于计算机视觉的司机驾驶异常检测方法。本方法主要包括三部分：
目标检测模型预训练部分,驾驶异常检测模型训练部分，驾驶异常检测部分。
目标检测模型预训练主要流程如下：
步骤一、目标检测数据集收集、标注，收集驾驶场景和一般场景下常见目标检测物训练数据集，包括人体、人脸、手部、常见侵入物（手机等），并根据需求补充特定场景（承运车辆驾驶场景等）下的目标检测数据集并进行标注。完整的数据集应包括：包含所需目标检测物（人体、人脸、手部、常见侵入物（手机等））的图片数据；数据集标注结果；
步骤二、目标数据集预处理，对收集到的目标检测训练数据进行预处理，包括不限于降噪、重采样等，将图像尺寸（M*N）都预处理到(M1*N1)；
步骤三、对目标检测数据集合理倍增，作为模型训练数据集，并按照一定比例（例9：1）进行训练集与验证集划分；
步骤四、根据训练&预测平台以及模型特性选择合适的深度学习框架（Tensorflow、Pytorch等）；
步骤五、根据需要检测目标类型和特性（大小、范围等）选择适用的目标检测网络结构（Yolov3、CornerNet、M2Det等）；
步骤六、利用训练集对目标检测模型进行迭代训练，并用验证集进行评估防止过拟合和梯度发散；
步骤七、利用深度学习模型剪枝算法进行模型裁剪，对主干网络进行冗余删除，降低输入网络大小，卷积层裁剪和通道剪枝；
步骤八、输出对应的目标检测预训练模型，应用该模型的目标检测算法输入图片尺寸为(M1*N1)，输出结果为目标类型以及目标检测框位置
步骤九、目标检测模型部署，包括部署到视频采集端和驾驶行为检测中心服务器两种方式。
驾驶异常检测模型训练流程如下：
步骤十、收集司机驾驶视频数据以及对应的驾驶信息，其中视频数据为针对司机所拍摄的视频数据，驾驶信息包括驾驶过程中的车辆信息：车辆位置、车辆速度、车辆方向信息；
步骤十一、对收集到的司机驾驶视频数据进行标注，标注信息包括：正常驾驶和异常驾驶，以及对应的异常驾驶类型；
步骤十二、视频进行初步的预处理、降噪、降帧和裁剪变换；
步骤十三、基于步骤八预训练模型利用目标检测算法视频图像帧进行目标检测。识别人体，并框出检测到的人体，输出对应特征；
步骤十四、基于预先训练模型利用目标检测算法（小目标效果良好的模型）对进行人体部位检测与物体检测，识别出人脸位置，手部位置，识别是否有其他影响驾驶物体（手机等）；
步骤十五、基于步骤二、步骤三中目标检测信息计算特征参数
步骤十六、选择合适的分类器模型（决策树等），将步骤十五中计算的特征和步骤十中车辆行驶特征（车辆位置、车辆速度、车辆方向信息）结合已标注结果进行模型预训练。
步骤十七、驾驶行为检测模型部署，部署到进行检测的中心服务器上。
在完成模型预训练后，将利用目标检测模型和驾驶行为检测模型对司机驾驶行为进行检测，该方法主要流程如下：
步骤十八、采集车辆驾驶位置的视频监控数据，对视频进行初步的预处理、降噪、降帧和裁剪变换；
步骤十九、基于步骤九中部署的预训练模型利用目标检测算法（yolov3、M2Det、CornerNet等）对采集到的视频图像帧进行目标检测。识别人体，并框出检测到的人体，输出对应的目标检测结果；
步骤二十、基于步骤九中部署的预训练模型利用目标检测算法（小目标效果良好的模型）对进行人体部位检测与物体检测，识别出人脸位置，手部位置，识别是否有其他影响驾驶物体（手机等），以及目标框位置信息；
步骤二十一、基于步骤十九、步骤二十中目标检测信息计算特征参数，特征参数和步骤十五中相同；
步骤二十二、获取车辆位置、车辆速度、车辆方向信息；
步骤二十三、根据设定的规则，判断司机是否在驾驶过程中存在违章行为，以及其他规定范围的的异常行为，并利用步骤十六训练的模型实现对司机驾驶状态的检测。
其中，步骤一中的数据集标注结果应包括：
A.目标类型，检测到的目标具体类型；
B.目标框位置信息（目标检测结果为矩形框，图像中像素绝对位置，以图像的左下角为原点，相对原点的横向像素数与纵向像素数(x, y)，目标检测结果的矩形窗的左下角坐标（x1,y1）和右上角坐标(x2,y2) ）。
步骤九中的目标检测模型部署包括两种方式：
A.部署到视频采集端，即车载视频采集设备还应包括目标检测模块，并部署对应的目标检测模型；
B.部署到进行驾驶行为检测的中心服务器上。
其中，步骤十二对视频的预处理还包括：
A.对视频图像进行帧内降噪、帧间降噪，适用图像降噪算法进行处理；
B.根据目标检测设备性与预训练模型参数，选择合适分辨率将视频重新裁剪和变换，使得分辨率从原分辨率m*n变换为M1*N1（对应步骤8中输出模型的输入图片大小M1*N1）。
其中，步骤十三中输出的人体特征包括：
A.人体在图像所处的像素绝对位置，以图像的左下角为原点，相对原点的横向像素数与纵向像素数(x, y)；
B.目标检测出人体框的左下角(x1,y1)与右上角坐标(x2,y2)，人体框像素面积=(y2-y1)*(x2-x1)。
其中，步骤十四中输出的视频特征包括：
A.目标在图像所处的像素绝对位置，以图像的左下角为原点，相对原点的横向像素数与纵向像素数(x, y)；
B.目标检测出目标框的左下角(x1,y1)与右上角坐标(x2,y2)，目标框像素面积=(y2-y1)*(x2-x1)；
C.目标的类型，本步骤中输出的类型包括：人脸、手部、异常侵入物（物体类型取决于目标检测预先训练模型输入图片数据类型，当前主要检测物体包括手机、非司机人脸）。
其中，步骤十五中计算的特征包括：
A．基于目标检测，识别主要关键点参数的单帧特征，包括：
A1. 司机人脸中心位置，步骤三中目标类型为人脸，且与司机人脸库比对通过。
A2. 司机人脸有效面积，基于步骤三中目标类型为人脸的像素面积
A3. 司机手部中心位置，步骤三中目标类型为手部中心位置
A4. 异常侵入物类型，步骤三中目标类型为手机、非司机人脸。
A5. 异常侵入物位置，步骤三中目标检测出异常侵入物中心坐标。
D.基于上文A中即单帧特征，计算一定时间窗内特征变量。
B1. t1时间窗（f1帧数），司机人脸中心位置B1 图像坐标变动标准差，最大位移；
B1. t1时间窗（f1帧数），司机人脸有效面积B2，最大面积，最小面积，标准差；
B3. t1时间窗（f1帧数），失去人脸检测帧数比例。
其中，步骤十六中检测到的司机驾驶行为检测分类包括：
A.当前司机驾驶状态为正常驾驶
B.司机驾驶过程中图像中出现异常侵入物并且为手机，且中心距离小于阈值经过自学习机器学习模型判断，为行车过程中操作手机；
C.司机驾驶过程中图像中出现异常侵入物并且是其他人脸、物体或是手部等，且中心距离小于阈值经过自学习机器学习模型判断，为行程过程中受到干扰；
D.司机人脸在一定时间窗内失去检测超过阈值，司机疑似注意力不集中或是脱离驾驶；
步骤十八中的视频预处理还包括：
A.对视频图像进行帧内降噪、帧间降噪，适用图像降噪算法进行处理
B.根据后续目标检测设备性能和实际传输带宽对视频帧进行抽样，降低视频帧率为原帧率/N（N>1,）。
C.根据目标检测设备性与预训练模型参数，选择合适分辨率将视频重新裁剪和变换，使得分辨率从原分辨率m*n变换为m1*n1。
其中，步骤二十三中为实现对司机驾驶行为姿态的判断过程如下：
A.基于预先训练模型检测司机人脸位置，与司机人脸数据库比对，如人脸识别识别超出异常值，认为非认证上岗司机。
B.步骤二十二计算得到特征（同步骤十五中特征，A1.司机人脸中心位置，A2司机人脸有效面积，A3司机手部中心位置）满足一定阈值范围，或是经过自学习机器学习模型（决策树）判断，司机处于正常驾驶操作过程中。
C.司机处于异常驾驶过程中，基于特征（同步骤十五中特征，A1.司机人脸中心位置，A2司机人脸有效面积，A3司机手部中心位置，A4. 异常侵入物类型，A5. 异常侵入物位置），以及步骤22中获取的车辆行驶特征（车辆位置、车辆速度、车辆方向信息），利用步骤16中训练得到的异常驾驶检测模型检测司机异常驾驶类型。
其中中，步骤二十三中可检测到的异常驾驶行为包括：
A.异常侵入物为手机，且中心距离小于阈值经过自学习机器学习模型判断，为行车过程中操作手机；
B.异常侵入物为其他人脸、物体或是手部等，且中心距离小于阈值经过自学习机器学习模型判断，为行程过程中受到干扰；
C.司机人脸在一定时间窗内失去检测超过阈值，司机疑似注意力不集中或是脱离驾驶；
D.其他疑似异常驾驶行为。
本发明为实现司机驾驶异常的监测记录与快速响应，基于摄像头数据、目标检测、异常分析数据建立一整套监测、记录分析***，该司机驾驶异常检测***包括：
1.车载摄像头与视频记录存储回传设备，车载摄像头安装与司机驾乘位置前方，覆盖司机位置大部分人体和全部人脸，具备视频数据的采集、存储、数据回传功能。
2.司机驾驶视频图像处理与目标检测设备，分为两种：
a）部署在中心服务器，1中的摄像头将视频数据采集实时回传到中心服务器，进行目标检测，将目标检测结果和抽样帧数据传输到司机驾驶行为检测服务器；
b）部署在视频采集端，即该设备和车载摄像头部署在一起，读取视频数据并进行目标检测，回传目标检测结果和抽样帧数据传输到司机驾驶行为检测服务器。
3.司机驾驶行为检测服务器，基于目标检测结果和车辆信息计算特征，进行行为检测。
4.数据存储、web页面服务器，负责本***中各项业务数据的记录存储和提供web服务。
该司机驾驶异常检测***主要工作流程包括：
1.在车辆端安装视频监控***，采集车辆内部司机端的视频监控数据，并记录存储。
2.利用车辆视频数据，基于预训练的目标监测模型，进行目标检测并回传数据到中心服务器。有两种方式：
a)一种在视频采集端同时进行视频采集和目标检测，回传目标检测结果和抽样视频帧数据。
b)实时回传视频采集数据，在服务器端进行目标检测与特征计算并存储。
3.基于上文异常驾驶状态检测的方法进行驾驶行为检测，记录异常驾驶行为的基本信息，包括：
c)视频采集信息，时间、帧率、分辨率等；
d)车辆信息，车牌号、编号、车辆类型等；
e)行驶状态信息，当前线路、速度、位置等；
f)司机信息，司机登记信息、当前司机人脸数据；
g)异常驾驶状态类型，异常驾驶：
i.司机人脸目标检测失败，疑似注意力不集中等；
ii.司机离开驾驶岗位；
iii.行车过程中接打电话操作手机等；
iv.行车过程受到他人干扰，如检测到干扰人，则进行图像分割保存
v.其他异常驾驶行为。
4.根据预先设定的报警模型和响应机制，对异常驾驶状态进行报警并通知相应的处置方。
5.回传车载视频信息（通过有线、无线、蜂窝网、存储介质等方式），抽取对应异常驾驶视频片段，进行人工确认与复核。
6.基于人工复核异常驾驶数据，增量训练驾驶行为异常检测模型。
为提高异常驾驶行为检测的效率，识别准确率等，需对目标检测模型以及基于目标检测抽取特征进行驾驶行为分类的模型进行训练以及基于复核数据增量训练，该***包括两部分：目标检测模型预训练部分、驾驶异常检测模型训练部分。
***中目标检测模型预训练部分，分为数据采集与标注、模型离线训练与优化裁剪、线上模型部署与预测四个步骤：
数据采集与标注阶段包括：
A1. 收集驾驶场景下常见目标检测训练数据集，包括人体、人脸、手部、常见侵入物（手机等）。
A2. 对于承运车辆司机检测，在授权下收集司机人脸数据数据，包括不同角度、姿态数据。
A3. 对收集到的目标检测训练数据进行预处理，包括不限于降噪、重采样等，进行人工标注。
A4. 整理原始图片和标注信息作为标注数据集。
模型离线训练与优化裁剪阶段包括：
B1. 对数据采集与标注阶段进行预处理，并合理倍增部分数据集，作为模型训练数据集；
B2. 对模型训练数据集按照一定比例（例9：1）进行训练集与验证集划分
B3. 根据训练&预测平台以及模型特性选择合适的深度学习框架（Tensorflow、Pytorch等），根据需要检测目标类型和特性（大小、范围等）选择适用的目标检测网络结构（Yolov3、CornerNet、M2Det等）。
B4. 利用训练集对目标检测模型进行迭代训练，并用验证集进行评估防止过拟合和梯度发散。
B5. 利用深度学习模型剪枝算法进行模型裁剪
线上模型部署与预测包括：
C1. 部署训练好的目标检测模型，包括两种方式：C1a、边缘计算，部署到采集设备终端上；C1b、集中部署于司机驾驶行为检测***的中心服务器集群
C2. 对采集到的视频进行预处理，按帧抽取成图像数据进行目标检测在线预测。
进一步的，上述步骤B5中的模型剪枝包括：对主干网络进行冗余删除，降低输入网络大小，卷积层裁剪和通道剪枝。
为及时优化驾驶异常检测***，并利用生产数据和异常驾驶复核结果增量训练异常检测模型，本***中司机驾驶异常检测模型训练部分，主要流程：
1.基于现有司机异常驾驶视频片段数据，进行标注
2.基于目标检测数据进行特征抽取，包括：
1.1 静态特征
a)司机人脸中心位置；
b)司机人脸有效面积；
c)司机手部中心位置；
d)异常侵入物类型；
e)异常侵入物位置。
f)其他特征
1.2 一定时间内累计时序特征
a)t1时间窗（f1帧数），司机人脸中心位置B1 图像坐标变动标准差，最大位移；
b)t1时间窗（f1帧数），司机人脸有效面积B2，最大面积，最小面积，标准差；
c)t1时间窗（f1帧数），失去人脸检测帧数比例；
d) 其他时序特征。
1.3 车辆行驶特征
a)车辆位置；
b)车辆速度；
c)车辆方向信息。
3.选择合适的分类器模型（决策树等），结合已标注结果进行模型预训练。
4.在线进行驾驶行为异常检测分类检测。
5.结合复核数据与对应特征进行分类器重训练。
本发明利用目标检测算法抽取特征并结合机器学习算法进行司机驾驶行为分类识别，以实现对司乘人员与车辆行驶情况的实时全面监控，解决现有监控手段人工分析工作量大、响应慢等问题。

Claims (9)

1.一种基于计算机视觉的司机驾驶异常检测方法，包括三个部分，目标检测模型预训练部分、驾驶异常检测模型训练部分和驾驶异常检测部分；
目标检测模型预训练主要流程如下：
步骤一、目标检测数据集收集、标注：收集驾驶场景和一般场景下常见目标检测物训练数据集，包括人体、人脸、手部、常见侵入物，并根据需求补充特定场景下的目标检测数据集，并按人体、人脸、手部、常见侵入物的分类进行标注；完整的数据集应包括：所需目标检测物人体、人脸、手部、常见侵入物的图片数据和目标检测标注结果；目标检测标注结果包括目标类型、目标所在图像像素位置；保存数据集标注结果；
步骤二、目标检测数据集预处理，对收集到的目标检测训练数据进行预处理，包括不限于降噪、重采样，将目标检测中的图片尺寸M*N都预处理到M1*N1；
步骤三、对目标检测数据集合理倍增，作为模型训练数据集，并按照一定比例进行训练集与验证集划分，其中，进行训练集大于验证集；
步骤四、根据目标检测的效果、模型训练与在线预测的硬件设备支持，选择合适的深度学习框架；
步骤五、根据需要检测目标类型和特性选择适用的目标检测网络结构；
步骤六、利用训练集对目标检测模型进行迭代训练，并用验证集进行评估防止过拟合和梯度发散，当神经网络模型对验证集的目标检测效果不再变好或是达到预设的迭代训练次数，则停止训练，并将训练好的模型导出；
步骤七、利用深度学习模型剪枝算法进行模型裁剪，对主干网络进行冗余删除，降低输入网络大小，模型裁剪还包括卷积层裁剪和通道剪枝；
步骤八、输出训练好的目标检测模型，该模型的目标检测算法输入图片尺寸为M1*N1，输出结果为目标类型以及目标检测框位置；
步骤九、将训练好的目标检测模型传输部署并存储到视频采集端或驾驶异常检测中心服务器，作为后续进行目标检测所需的模型；
驾驶异常检测模型训练流程如下：
步骤十、收集司机驾驶视频数据，其中视频数据为针对司机所拍摄的视频数据
步骤十一、对收集到的司机驾驶视频数据进行标注，标注信息包括：正常驾驶和异常驾驶，以及对应的异常驾驶类型；
步骤十二、视频进行初步的预处理、降噪、降帧和裁剪变换；
步骤十三、基于训练好的目标检测模型，利用目标检测算法对视频图像帧进行目标检测，识别人体，并框出检测到的人体，输出对应特征；
步骤十四、基于训练好的目标检测模型，利用目标检测算法,进行人体部位检测与物体检测，识别出人脸位置，手部位置，识别是否有其他影响驾驶物体；
步骤十五、基于步骤十三、步骤十四中目标检测信息计算特征参数；
步骤十六、选择合适的分类器模型，将步骤十五中计算的特征结合步骤十一中的标注结果进行驾驶异常检测模型训练；
步骤十七、驾驶异常检测模型部署到进行检测的中心服务器上；
在完成模型训练后，将利用目标检测模型和驾驶异常检测模型对司机驾驶行为进行检测，包括下列步骤：
步骤十八、在车辆端安装车载摄像头与视频记录存储回传设备，车载摄像头与视频记录存储回传设备连接，在检测中心还设有检测服务器和数据存储服务器，检测服务器和数据存储服务器通过网络连接，检测服务器又通过网络与视频记录存储回传设备连接；在检测中心还有中心视频图像处理与目标检测装置，中心视频图像处理与目标检测装置与检测服务器连接，检测服务器通过网络与视频记录存储回传设备连接；
通过车载摄像头采集车辆驾驶位置的视频监控数据，车载摄像头将视频监控数据传输到视频记录存储回传设备进行数据存储，并将该存储的数据传输到检测中心的数据存储服务器；
步骤十九、与数据存储服务器连接的检测服务器对视频监控数据进行初步的预处理、降噪、降帧和裁剪变换；
步骤二十、基于训练好的目标检测模型利用目标检测算法对采集到的视频图像帧进行目标检测，识别人体，并框出检测到的人体；
步骤二十一、基于训练好的目标检测模型利用目标检测算法，通过中心视频图像处理与目标检测装置对进行人体部位检测与物体检测，识别出人脸位置，手部位置，识别是否有其他影响驾驶物体的目标检测信息；
步骤二十二、将目标检测信息作为计算的识别关键点参数，进行计算，得到目标检测结果数值；
步骤二十三、根据设定的规则，判断司机是否在驾驶过程中存在违章行为，以及其他规定范围的异常行为，得到司机驾驶状态的检测结果；
步骤二十四、将检测结果传输并存储到用于记录司机驾驶异常数据的数据库服务器存储。
2.根据权利要求1所述的一种基于计算机视觉的司机驾驶异常检测方法，其特征在于，步骤四所述的选择的深度学习框架为Pytorch或Tensorflow；选择适用的目标检测网络结构为YOLOv3、M2Det或CornerNet；步骤十六选择合适的分类器模型用于驾驶异常检测，包括随机森林或梯度下降决策树。
3.根据权利要求1或2所述的一种基于计算机视觉的司机驾驶异常检测方法，其特征在于，步骤十八所述的车载摄像头与视频记录存储回传设备还连接有车载视频图像处理与目标检测设备，车载视频图像处理与目标检测设备对车载摄像头传回视频记录存储回传设备的视频图像实时进行检测，并将检测结果传回视频记录存储回传设备进行存储，视频记录存储回传设备将记录车载摄像头记录的视频监控数据实时传输到数据存储服务器存储的同时，也实时将检测结果也传输到数据存储服务器存储。
4.根据权利要求3所述的一种基于计算机视觉的司机驾驶异常检测方法，其特征在于，所述的车载视频图像处理与目标检测设备实时检测过程包括下列内容：
a.对视频监控数据进行初步的预处理、降噪、降帧和裁剪变换；
b.基于部署到视频采集端的训练好的目标检测模型利用目标检测算法对采集到的视频图像帧进行目标检测，识别人体，并框出检测到的人体；
c. 基于部署到视频采集端的训练好的目标检测模型利用目标检测算法，通过车载视频图像处理与目标检测设备对进行人体部位检测与物体检测，识别出人脸位置，手部位置，识别是否有其他影响驾驶物体的目标检测信息，并将目标检测信息输出到视频记录存储回传设备；
d.车载视频图像处理与目标检测设备将目标检测信息作为计算的识别关键点参数，进行计算，得到目标检测结果数值；
e.根据设定的规则，判断司机是否在驾驶过程中存在违章行为，以及其他规定范围的异常行为，得到司机驾驶状态的检测结果；
f.将检测结果传输到视频记录存储回传设备。
5.根据权利要求1所述的一种基于计算机视觉的司机驾驶异常检测方法，其特征在于，步骤十二所述的对视频进行初步的预处理、降噪、降帧和裁剪变换；
a.对视频图像进行帧内降噪、帧间降噪，使用图像降噪算法进行处理;
b.根据后续目标检测设备性能和实际传输带宽对视频帧进行抽样，降低视频帧率为原帧率/H,H为大于1的整数；
c.根据目标检测设备性能与基于训练好的目标检测模型，选择合适分辨率将视频重新裁剪和变换，使得分辨率从视频的原始尺寸m*n变换为M1*N1。
6.根据权利要求1所述的一种基于计算机视觉的司机驾驶异常检测方法，其特征在于，步骤二十所述的基于训练好的目标检测模型利用目标检测算法对采集到的视频图像帧进行目标检测，识别人体，并框出检测到的人体；具体为，
a.目标在图像所处的像素绝对位置，以图像的左下角为原点(0,0)，相对原点的横向像素数与纵向像素数(x, y)；
b.目标检测出目标框的左下角(x1,y1)与右上角坐标(x2,y2)，目标框像素面积= (y2-y1)*(x2-x1)；
c.目标的物体类型取决于训练好的目标检测模型输入图片数据类型，检测物体主要包括手机、非司机人脸。
7.根据权利要求1所述的一种基于计算机视觉的司机驾驶异常检测方法，其特征在于，步骤十五所述的特征参数具体主要包括，
a.人脸，司机人脸中心位置，且与司机人脸库比对通过；
b.司机人脸有效面积，目标类型为人脸的像素面积； c.司机手部中心位置，
d.异常侵入物类型，主要包括手机、非司机人脸；
e.异常侵入物位置，异常侵入物中心坐标；
f.计算一定时间窗内特征变量的变化特征；
g.时间窗，司机人脸中心位置B1 图像坐标变动标准差，最大位移；
h.时间窗，司机人脸有效面积B2，最大面积，最小面积，标准差；
j.时间窗，失去人脸检测帧数比例。
8.根据权利要求1所述的一种基于计算机视觉的司机驾驶异常检测方法，其特征在于，步骤二十三所述的以及其他规定范围的异常行为，还包括，
a.司机是否正常驾驶；
b.司机驾驶行为异常：a)司机自身注意力分散；b)司机受到车内人员干扰。
9.根据权利要求1所述的一种基于计算机视觉的司机驾驶异常检测方法，其特征在于，步骤十五中计算的特征包括：
A．基于目标检测，识别主要关键点参数的单帧特征，包括：
1）司机人脸中心位置，步骤十四中目标类型为人脸，且与司机人脸库比对通过；
2）司机人脸有效面积，基于步骤十四中目标类型为人脸的像素面积；
3）司机手部中心位置，步骤十四中目标类型为手部中心位置;
4）异常侵入物类型，步骤十四中目标类型为手机、非司机人脸;
5）异常侵入物位置，步骤十四中目标检测出异常侵入物中心坐标;
B．基于上文A中即单帧特征，计算一定时间窗内特征变量:
1）时间长度为t1的时间窗内，司机人脸中心位置B1 图像坐标变动标准差，最大位移；
2）时间长度为t1的时间窗内，司机人脸有效面积B2，最大面积，最小面积，标准差；
3）时间长度为t1的时间窗内，失去人脸检测帧数比例。
CN202010071329.2A 2020-01-21 2020-01-21 基于计算机视觉的司机驾驶异常检测方法 Active CN111325872B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010071329.2A CN111325872B (zh) 2020-01-21 2020-01-21 基于计算机视觉的司机驾驶异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010071329.2A CN111325872B (zh) 2020-01-21 2020-01-21 基于计算机视觉的司机驾驶异常检测方法

Publications (2)

Publication Number Publication Date
CN111325872A CN111325872A (zh) 2020-06-23
CN111325872B true CN111325872B (zh) 2021-03-16

Family

ID=71167223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010071329.2A Active CN111325872B (zh) 2020-01-21 2020-01-21 基于计算机视觉的司机驾驶异常检测方法

Country Status (1)

Country Link
CN (1) CN111325872B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111765904B (zh) * 2020-06-29 2023-12-15 北京百度网讯科技有限公司 自动驾驶车辆的测试方法、装置、电子设备和介质
CN112149511A (zh) * 2020-08-27 2020-12-29 深圳市点创科技有限公司 基于神经网络的驾驶员违规行为检测方法、终端、装置
CN112070051B (zh) * 2020-09-16 2022-09-20 华东交通大学 基于剪枝压缩的疲劳驾驶快速检测方法
CN112288280A (zh) * 2020-10-30 2021-01-29 大陆投资(中国)有限公司 一种评价提供出行服务的司机的***及方法
CN112434564B (zh) * 2020-11-04 2023-06-27 北方工业大学 公交车内异常聚集行为的检测***
CN112347906B (zh) * 2020-11-04 2023-06-27 北方工业大学 公交车内异常聚集行为的检测方法
CN112782090B (zh) * 2020-12-28 2022-01-28 中国科学院长春光学精密机械与物理研究所 一种酒驾自动监测***及检测方法
CN112906515A (zh) * 2021-02-03 2021-06-04 珠海研果科技有限公司 车内异常行为识别方法、***、电子设备及存储介质
CN115512511A (zh) * 2021-06-07 2022-12-23 中移物联网有限公司 一种预警方法、装置、移动终端及可读存储介质
CN113518205A (zh) * 2021-06-11 2021-10-19 南京和贤电子科技有限公司 一种基于ai分析的视频巡查处理方法
CN114756211B (zh) * 2022-05-13 2022-12-16 北京百度网讯科技有限公司 模型训练方法、装置、电子设备和存储介质
CN115565354B (zh) * 2022-11-18 2023-03-10 深圳智者行天下科技有限公司 一种基于人工智能的商用车驾驶员安全监测***
CN116309351B (zh) * 2023-02-15 2023-11-21 浙江丽威汽车控制***有限公司 一种汽车工程物料供给加工***
CN116894225B (zh) * 2023-09-08 2024-03-01 国汽(北京)智能网联汽车研究院有限公司 驾驶行为异常分析方法及其装置、设备、介质
CN117076711A (zh) * 2023-10-12 2023-11-17 北京汇通天下物联科技有限公司 驾驶行为识别模型的训练方法、识别方法、装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108423006A (zh) * 2018-02-02 2018-08-21 辽宁友邦网络科技有限公司 一种辅助驾驶预警方法及***
CN108875595A (zh) * 2018-05-29 2018-11-23 重庆大学 一种基于深度学习和多层特征融合的驾驶场景目标检测方法
US10255528B1 (en) * 2017-12-06 2019-04-09 Lytx, Inc. Sensor fusion for lane departure behavior detection
CN110147738A (zh) * 2019-04-29 2019-08-20 中国人民解放军海军特色医学中心 一种驾驶员疲劳监测预警方法及***
CN110641521A (zh) * 2019-09-21 2020-01-03 河南蓝信科技有限责任公司 动车组司机行为智能识别***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10255528B1 (en) * 2017-12-06 2019-04-09 Lytx, Inc. Sensor fusion for lane departure behavior detection
CN108423006A (zh) * 2018-02-02 2018-08-21 辽宁友邦网络科技有限公司 一种辅助驾驶预警方法及***
CN108875595A (zh) * 2018-05-29 2018-11-23 重庆大学 一种基于深度学习和多层特征融合的驾驶场景目标检测方法
CN110147738A (zh) * 2019-04-29 2019-08-20 中国人民解放军海军特色医学中心 一种驾驶员疲劳监测预警方法及***
CN110641521A (zh) * 2019-09-21 2020-01-03 河南蓝信科技有限责任公司 动车组司机行为智能识别***

Also Published As

Publication number Publication date
CN111325872A (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
CN111325872B (zh) 基于计算机视觉的司机驾驶异常检测方法
US9881221B2 (en) Method and system for estimating gaze direction of vehicle drivers
US8339282B2 (en) Security systems
WO2020042984A1 (zh) 一种车辆行为检测方法及装置
CN110895662A (zh) 车辆超载报警方法、装置、电子设备及存储介质
CN103366506A (zh) 一种驾驶员行车途中接打手机行为的自动监控装置及方法
CN110222596B (zh) 一种基于视觉的驾驶员行为分析防作弊方法
Nakashima et al. Passenger counter based on random forest regressor using drive recorder and sensors in buses
CN112434566B (zh) 客流统计方法、装置、电子设备及存储介质
CN106570444A (zh) 基于行为识别的车载智能提醒方法及***
CN109919066B (zh) 一种检测轨道交通车厢内乘客密度异常的方法和装置
CN105448105A (zh) 一种基于巡逻警车的监控***
CN112597965A (zh) 一种驾驶行为识别方法、装置和计算机可读存储介质
CN111950499A (zh) 一种检测车载人员统计信息的方法
CN110838230A (zh) 一种移动视频监控方法、监控中心及***
CN114898297A (zh) 基于目标检测和目标跟踪的非机动车违法行为判定的方法
CN114926824A (zh) 一种不良驾驶行为判别方法
CN110909641A (zh) 一种检测摩托车超载的方法、装置及***
CN114120250B (zh) 一种基于视频的机动车辆违法载人检测方法
CN105206060A (zh) 一种基于sift特征的车型识别装置及其方法
CN112509190B (zh) 基于屏蔽门客流计数的地铁车辆断面客流统计方法
CN114743140A (zh) 一种基于人工智能技术的消防通道占用识别方法和装置
CN113989787A (zh) 一种危险驾驶行为的检测方法以及***
KR102479516B1 (ko) Cctv 영상 기반 딥 러닝을 이용한 다중객체 검출 시스템
CN113808397A (zh) 非机动车事故的数据处理方法、装置和云端服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant