CN110728218A - 危险驾驶行为的预警方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施例提供一种危险驾驶行为的预警方法、装置、电子设备及存储介质，该方法包括：获取第一驾驶图像信息，所述第一驾驶图像信息包括驾驶人员；对所述第一驾驶图像信息进行预处理，得到第二驾驶图像信息，所述第二驾驶图像信息包括驾驶行为；对所述第二驾驶图像的驾驶行为进行特征检测，判断是否包含危险驾驶行为；若包含所述危险驾驶行为，则发出危险驾驶行为的预警提示。由于通过对驾驶人员的驾驶行为进行检测，判断出驾驶人员的驾驶行为是危险驾驶行为后，发出对驾驶人员的预警提示，能够在驾驶人员出现危险驾驶行为后，有效的对驾驶人员进行预警提示。

Description

危险驾驶行为的预警方法、装置、电子设备及存储介质

技术领域

本发明涉及图像识别技术领域，尤其涉及一种危险驾驶行为的预警方法、装置、电子设备及存储介质。

背景技术

随着经济发展，越来越多人出行都会选择自己开车，马路上车流量越来越大，如果发生交通事故则会造成道路拥塞、人员伤亡等严重后果，发生交通事故的原因有很多，其中一部分原因是由于司机有危险驾驶行为导致，例如，酒驾、疲劳驾驶、长时间驾驶等。司机在驾驶车辆的过程中，司机本身注意力集中在驾驶上，无法注意自身的驾驶行为，一旦司机处于酒驾、疲劳驾驶、长时间驾驶等驾驶条件下，司机的注意力更为衰弱，然而司机的危险驾驶行为无法被检测到，导致无法对司机的危险驾驶行为做出预警。

发明内容

本发明实施例提供一种危险驾驶行为的预警方法、装置、电子设备及存储介质，能够更有效地对司机的危险驾驶行为做出有效预警。

第一方面，本发明实施例提供一种危险驾驶行为的预警方法，包括：

获取第一驾驶图像信息，所述第一驾驶图像信息包括驾驶人员；

对所述第一驾驶图像信息进行预处理，得到第二驾驶图像信息，所述第二驾驶图像信息包括驾驶行为；

对所述第二驾驶图像的驾驶行为进行特征检测，判断是否包含危险驾驶行为；

若包含所述危险驾驶行为，则发出危险驾驶行为的预警提示。

第二方面，本发明实施例提供一种危险驾驶行为的预警装置，包括：

获取模块，用于获取第一驾驶图像信息，所述第一驾驶图像信息包括驾驶人员；

预处理模块，用于对所述第一驾驶图像信息进行预处理，得到第二驾驶图像信息，所述第二驾驶图像信息包括驾驶行为；

检测模块，用于对所述第二驾驶图像的驾驶行为进行特征检测，判断是否包含危险驾驶行为；

提示模块，用于若包含所述危险驾驶行为，则发出危险驾驶行为的预警提示。

第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例提供的危险驾驶行为的预警方法中的步骤。

第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例提供的危险驾驶行为的预警方法中的步骤。

本发明实施例中，获取第一驾驶图像信息，所述第一驾驶图像信息包括驾驶人员；对所述第一驾驶图像信息进行预处理，得到第二驾驶图像信息，所述第二驾驶图像信息包括驾驶行为；对所述第二驾驶图像的驾驶行为进行特征检测，判断是否包含危险驾驶行为；若包含所述危险驾驶行为，则发出危险驾驶行为的预警提示。由于通过对驾驶人员的驾驶行为进行检测，判断出驾驶人员的驾驶行为是危险驾驶行为后，发出对驾驶人员的预警提示，能够在驾驶人员出现危险驾驶行为后，有效的对驾驶人员进行预警提示。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种危险驾驶行为的预警方法应用的***架构示意图；

图2是本发明实施例提供的一种危险驾驶行为的预警方法的流程示意图；

图3是本发明实施例提供的另一种危险驾驶行为的预警方法的流程示意图；

图4是本发明实施例提供的另一种危险驾驶行为的预警方法的流程示意图；

图5是本发明实施例提供的另一种危险驾驶行为的预警方法的流程示意图；

图6是本发明实施例提供的另一种危险驾驶行为的预警方法的流程示意图；

图7是本发明实施例提供的另一种危险驾驶行为的预警方法的流程示意图；

图8是本发明实施例提供的另一种危险驾驶行为的预警方法的流程示意图；

图9是本发明实施例提供的一种危险驾驶行为的预警装置的结构示意图；

图10是本发明实施例提供的一种预处理模块902的结构示意图；

图11是本发明实施例提供的另一种危险驾驶行为的预警装置的结构示意图；

图12是本发明实施例提供的一种第一检测模块903的结构示意图；

图13是本发明实施例提供的另一种第一检测模块903的结构示意图；

图14是本发明实施例提供的一种第一提示模块904的结构示意图；

图15是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为更进一步清楚的描述本发明的发明意图，请参见图1，图1为本发明实施例提供的一种可选***架构的示意图，如图1所示，该可选***架构100包括用户终端设备101、102、103，网络104、服务器105及车载终端设备106。网络104用以在用户终端设备101、 102、103和服务器105之间提供通信链路的介质，以及网络104还用以在用户终端设备101、 102、103和车载终端设备106之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用用户终端设备101、102、103通过网络104与服务器105交互，以接收或发送通信数据信息等，还可以使用用户终端设备101、102、103通过网络104与车载终端设备106交互，以获取车载终端设备106采集到的图像信息。用户终端设备101、102、 103上可以安装有各种客户端应用，例如危险驾驶行为的预警软件等。

用户终端设备101、102、103可以是具有提示功能并且支持语音提示、震动提示、音乐提示的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机、车载中控和固定式计算机等等。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上危险驾驶行为的预警提供支持的后台服务器。

车载终端设备106可以是提供图像采集功能的设备，例如：行车记录仪、车载摄像头、自定义安装摄像头等可以采集驾驶人员图像的图像采集设备。

需要说明的是，本申请实施例所提供的危险驾驶行为的预警方法一般由服务器/终端设备执行，相应地，危险驾驶行为的预警装置一般设置于服务器/终端设备中。

在一些可能的实施例中，可以使用用户终端设备101、102、103对驾驶人员进行图像采集，而无需车载终端设备106。在另外一些可能的实施例中，车载终端设备106也可以通过网络104将获取到的图像信息上传到服务器105中进行处理，而不需要通过用户终端设备101、102、103。

应该理解，图1中的用户终端设备、网络、服务器以及车载终端设备的数目仅仅是示意性的。根据实现需要，可以具有任意数目的用户终端设备、网络、服务器以及车载终端设备。

请参见图2，图2是本发明实施例提供的一种危险驾驶行为的预警方法的流程示意图，如图2所示，包括以下步骤：

201、获取第一驾驶图像信息，所述第一驾驶图像信息包括驾驶人员。

其中，上述的第一驾驶图像信息可以由设置车内的车载终端进行获取，上述的车载终端可以是具备拍摄功能的图像采集设备，该图像采集设备的采集对象为驾驶人员，上述图像采集装置可以是内置在行车记录仪上的摄像头，也可以是安装在其他位置的能够采集驾驶人员图像的摄像头。上述的摄像头可以是3D摄像头，也可以是2D摄像头，上述的3D摄像头可以采集到图像的深度信息，在基于图像深度信息的图像检测引擎中，能够更准度的检测驾驶人员的身体姿态和驾驶行为；上述的2D摄像头采集到图像信息，可以在基于 2D图像信息的图像检测引擎中进行检测，硬件成本低；在一些可能的实现方式中，上述的图像采集装置也还可以是用户端的摄像头，此时，需要将用户端调整到能够采集驾驶人员图像的角度和姿态。上述的第一驾驶图像信息可以是静态的图片信息，也可以是动态的视频流信息。

需要说明的是，上述的驾驶人员也可以称为司机或驾驶员。

在一些可能的实施例中，当第一驾驶图像信息为图片信息时，对第一驾驶图像信息的获取可以是通过摄像头进行拍照得到照片，上述的第一驾驶图像信息可以是多张图片信息，可以是连续多张图片信息，可以由摄像头进行定时拍照所得。也可以是在摄像头拍摄的视频流信息中进行截取得到的图像帧。另外，当第一驾驶图像信息为在摄像头拍摄的视频流信息中进行截取得到时，可以是根据图像质量评估算法在视频流信息中对各视频帧进行图像质量评估，截取图像质量达到预先设定的质量阈值的图像帧。

202、对所述第一驾驶图像信息进行预处理，得到第二驾驶图像信息，所述第二驾驶图像信息包括驾驶行为。

该步骤中，上述的预处理可以包括对第一驾驶图像信息的图像矫正、图像增强、灰度化、图像分割等处理。当第一驾驶图像信息为视频流信息时，上述的预处理还包括对视频流信息的解码，以得到视频流图像帧，再对视频流图像帧进行图像矫正、图像增强、灰度化、图像分割等处理，上述的预处理可以是车载终端设备上进行，也可以是用户终端设备上进行，还可以是在服务器中进行。上述的第二驾驶图像信息包括驾驶行为可以理解为，在经过对第一图像信息进行预处理后，得到的第二驾驶图像中还包括驾驶人员的驾驶行为，上述的驾驶行为可以包括驾驶人员的手与方向盘的关系、头与座位的关系、脚与踏板的关系以及人脸等。在一些可能的实施例中，上述的第二驾驶图像可以包括驾驶人员的手与方向盘的关系、头与座位的关系、脚与踏板的关系以及人脸中的至少一项，上述的至少一项可以理解为可以是只包括一项，也可以是包括多顶，还可以是全部包括。

203、对所述第二驾驶图像的驾驶行为进行特征检测。

该步骤中，上述对驾驶行为进行特征检测可以是通过图像检测引擎进行，上述的图像检测引擎中训练有图像检测功能，可以通过图像检测引擎中的卷积神经网络对第二驾驶图像的驾驶行为进行特征提取，将提取到的驾驶行为的特征值与危险驾驶行为数据库中的危险驾驶行为特征值进行比对。

204、判断是否包含危险驾驶行为。

判断提取到的驾驶行为的特征值与危险驾驶行为数据库中的危险驾驶行为特征值的相似度是否大于或等于预先设定的阈值，若大于或等于该预先设定的阈值，则可以认为驾驶行为是危险驾驶行为，若小于该预先设定的阈值，则可以认为驾驶行为不是危险驾驶行为。上述的危险驾驶行为数据库中存储有各种危险驾驶行为的特征值，上述的危险驾驶行为数据库可以理解为一个独立的数据库，也可以是一个大的数据库中的一块用于存储危险驾驶行为特征值的存储区域。若是，则执行步骤105，若否，则执行步骤106。

205、发出危险驾驶行为的预警提示。

上述的危险驾驶行为由步骤103进行判断，上述的预警提示可以是语音提示、震动提示、音乐提示等。上述的语音提示可以是向驾驶人员进行提示，比如：“亲爱的驾驶员，您现在正处于危险驾驶行为中，请注意安全”，上述的震动提示可以是蜂鸣式震动，上述的音乐提示可以用于长时间驾驶行为或疲劳驾驶行为时，自动播放预先设置的可以提振精神的音乐。上述的预警提示可以是通过用户终端进行提示，另外，也可以是通过车载的提示终端(比如车载播放器)进行提示，上述的预警提示是可以向驾驶人员进行提示，同时，还可以是向交通部门进行预警提示，在一些可能的实施例中，还可以是向绑定了联系方式的其他人员进行预警提示，以家人为例：“亲爱的用户，您的家人XX正处于危险驾驶行为中，请提醒其注意驾驶安全”等。

206、发出正常驾驶的提示或不发出任何提示。

上述的正常提示可以是针对驾驶人员的语音提示，或者是针对绑定了联系方式的其他人员进行信息提示，该信息提示可以是语音、短信、邮件或其他信息通知方式。针对驾驶人员的语音提示比如：“亲爱的驾驶员，您现在正处于正常驾驶行为中，请注意保持”；针对绑定了联系方式的其他人员进行提示可以是，以家人为例：“亲爱的用户，您的家人 XX正处于正常驾驶行为中，请放心，并提醒其注意行车安全”等。

需要说明的是，本发明实施例提供的危险驾驶行为的预警方法可以应用于危险驾驶行为的预警设备，例如：手机、行车记录仪、车载中控、计算机、服务器等可以进行危险驾驶行为的预警的设备。

本发明实施例中，获取第一驾驶图像信息，所述第一驾驶图像信息包括驾驶人员；对所述第一驾驶图像信息进行预处理，得到第二驾驶图像信息，所述第二驾驶图像信息包括驾驶行为；对所述第二驾驶图像的驾驶行为进行特征检测，判断是否包含危险驾驶行为；若包含所述危险驾驶行为，则发出危险驾驶行为的预警提示。由于通过对驾驶人员的驾驶行为进行检测，判断出驾驶人员的驾驶行为是危险驾驶行为后，发出对驾驶人员的预警提示，能够在驾驶人员出现危险驾驶行为后，有效的对驾驶人员进行预警提示。

请参见图3，图3是图2实施例中步骤202的具体流程示意图，如图3所示，包括以下步骤：

301、通过图像分割算法对所述第一驾驶图像信息进行图像分割，得到多个图像分割区域。

上述的图像分割可以是基于阈值的分割、基于边缘的分割、基于区域的分割、基于聚类分析的图像分割、基于小波变换的分割、基于数学形态学的分割、基于人工神经网络的分割等方法中的一种或是多种结合。本发明实施例中优选基于阈值的分割，可以利用直方图对图像进行分割，就是用一个或几个阈值将图像的灰度直方图分成几个类，认为图像中灰度值在同一类中的像素属于同一特征。通过图像分割算法将第一驾驶图像信息中的图像分割成多个图像分割区域，比如：手与方向盘的区域、脚与踏板的区域、头与座位的区域、人脸区域、其他区域等。

302、对所述多个图像分割区域进行驾驶行为检测，提取包含有驾驶行为的图像分割区域，得到所述第二驾驶图像信息。

上述的多个图像分割区域为步骤301所得的图像分割区域，上述对图像分割区域进行驾驶行为检测可以是利用图像分割区域的像素阈值进行比对，上述的像素阈值可以理解为模板的像素阈值，比如：以手与方向盘的模板上的像素值做为像素阈值，在对多个图像分割区域进行检测时，分别计算每个图像分割区域的像素值，并与像素阈值比对，计算得到各个图像分割区域的像素值与像素阈值的相似度，如果存在像素值与像素阈值的相似度大于98％的图像分割区域，则可以认为该图像分割区域包含有手与方向盘，在存在多个时，取相似度最大的一张做为第二驾驶图像。

这样，通过对第一驾驶图像进行图像分割，得到的第二驾驶图像中包括驾驶行为，在对第二驾驶图像进行检测时，可以避免对其他背景图像进行检测，进而减少检测的计算量，提高危险驾驶行为的检测速度。

需要说明的是，上述的图像分割可以是车载终端设备上进行，也可以是用户终端设备上进行，还可以是在服务器中进行。

请参见图4，图4是本发明实施例提供的另一种危险驾驶行为的预警方法的流程示意图，如图4所示，包括以下步骤：

400、获取当前驾驶环境条件。

上述的驾驶环境条件包括市区驾驶环境、高速公路驾驶环境、白天驾驶环境、夜晚驾驶环境、省道或国道驾驶环境以及乡村道路驾驶环境等。

上述的驾驶环境条件可以根据图像采集设备采集到的图像进行判断，比如获取到的图像中包含有居民楼，或行人较多时，可以认为是市区驾驶环境；获取到的图像中包含高速公路的限速标识，或包含服务区标识时，可以认为是调整公路驾驶环境；当获取到图像的光线较好时，可以认为是白天驾驶环境；当获取到的图像的光线不好时，可以认为是夜晚驾驶环境；当获取到的图像中包含省道或国道标识时，可以认为是省道或国道驾驶环境；当获取到的图像中包含田野、农作物时，可以认为是乡村道路驾驶环境。

上述的车辆驾驶模式包括省油模式、运动模式、越野模式、巡航模式等。上述的车辆驾驶模式可以从车辆的控制***中进行获取。

401、根据当前环境驾驶条件或车辆驾驶模式，定时或实时获取由图像采集设备采集到的第一驾驶图像信息。

在该步骤中，图像采集设备可以定时或实时对驾驶人员进行图像采集，图像采集设备再定时或实时的将采集到的第一驾驶图像信息发送到用户终端设备或服务器上。

上述的定时获取或实时获取可以根据当前环境驾驶条件进行确定。

比如，当前驾驶环境条件为市区驾驶环境时，由于市区的人流量和车流量较多，可以实时获取由图像采集设备采集到的第一驾驶图像信息。

当前驾驶环境条件为高速公路驾驶环境时，由于在高速公路的车速较高，需要驾驶人员时刻保持高度的注意力，可以实时获取由图像采集设备采集到的第一驾驶图像信息。

当前驾驶环境条件为白天驾驶环境时，在人流量与车流量高的路段可以实时获取由图像采集设备采集到的第一驾驶图像信息，在人流量与车流量较低的路段可以定时获取由图像采集设备采集到的第一驾驶图像信息。

当前驾驶环境条件为夜晚驾驶环境时，由于夜晚行车条件较差，需要驾驶人员时刻保持高度的注意力，可以实时获取由图像采集设备采集到的第一驾驶图像信息。

当前驾驶环境条件为省道或国道驾驶环境时，由于省道或国道驾驶环境车流量较少，可以实时获取由图像采集设备采集到的第一驾驶图像信息。

当前驾驶环境条件为乡村道路驾驶环境时，由于乡村道路驾驶环境的车流量较少，且信号质量较低，可以实时获取由图像采集设备采集到的第一驾驶图像信息。

上述的定时获取或实时获取可以根据当前车辆驾驶模式进行确定。

比如，当车辆处于省油模式驾驶中时，由于车速不高，可以定时获取由图像采集设备采集到的第一驾驶图像信息。

当车辆处于运动模式时，由于车速较高，可以实时获取由图像采集设备采集到的第一驾驶图像信息。

当车辆处于越野模式时，由于道路情况复杂，需要驾驶人员时刻保持高度的注意力，可以实时获取由图像采集设备采集到的第一驾驶图像信息。

当车辆处于巡航模式，由于车速较低，车辆与驾驶人员的关联度较低，可以定时获取由图像采集设备采集到的第一驾驶图像信息。

402、对所述第一驾驶图像信息进行预处理，得到第二驾驶图像信息，所述第二驾驶图像信息包括驾驶行为。

403、对所述第二驾驶图像的驾驶行为进行特征检测。

404、判断是否包含危险驾驶行为；若是，则执行步骤405，若否，则执行步骤406。

405、发出危险驾驶行为的预警提示。

406、发出正常驾驶的提示或不发出任何提示。

在本发明实施例中，定时或实时对采集到的驾驶人员的图像信息进行检测，可以及时检测到检测到驾驶人员的危险驾驶行为。另外，根据当前环境驾驶条件或车辆驾驶模式确定获取的方式，可以在不同当前环境驾驶条件或车辆驾驶模式切换第一图像的方式，在保证检测及时性的情况下，优化资源的配置。

请参见图5，图5是本发明实施例提供的另一种危险驾驶行为的预警方法的流程示意图，如图5所示，第二驾驶图像信息包括驾驶人员的人脸，所述危险驾驶行为包括连续驾驶，该方法还包括以下步骤：

501、对T1时间的第二驾驶图像进行人脸检测，得到第一人脸检测结果。

上述的人脸检测可以是对第二驾驶图像中的人脸进行检测，上述的第一人脸检测结果用以表示T1时间的人脸特征，即是用以表示T1时间驾驶人员是谁。上述的第一人脸检测结果可以是通过图像检测引擎提取到的人脸特征值。

502、对T2时间的第二驾驶图像进行人脸检测，得到第二人脸检测结果。

上述的第二人脸检测结果用以表示T2时间的人脸特征，即是用以表示T2时间驾驶人员是谁。上述的第二人脸检测结果可以是通过图像检测引擎提取到的人脸特征值。

503、计算所述第一人脸检测结果与所述第二人脸检测结果的相似度。

上述的相似度计算可以是将第一人脸检测结果中的人脸特征值与第二人脸检测结果中的人脸特征值进行欧几里得距离计算、或者余弦计算、或者皮尔森相关系数计算等。

504、判断T1时间与T2时间的驾驶人员是否相同；若是，则执行步骤505，若否，则执行步骤506。

根据步骤503中的计算得到相似度，判断T1时间与T2时间的驾驶人员是否相同。具体的，可以预先设置一个阈值，从而通过相似度与该阈值进行比较，判断相似度是否大于该阈值，若大于或等于，则说明T1时间与T2时间的驾驶人员是相同的，是同一个驾驶人员。若小于，则说明T1时间与T2时间的驾驶人员是不相同的，不是同一个驾驶人员，可能在中途停车换驾驶人员了。需要说明的是，T1时间与T2时间之间相差的时间大于等于一个预先设定的时间，该预先设定的时间可以是交通法规中规定的连续驾驶时长，比如4 个小时等，也可以是自己进行设定的。

505、若相同，则发出连续驾驶的预警提示。

上述连续驾驶的预警提示可以是语音提示、震动提示、音乐提示等。

506、若不同，则保持当前状态不进行预警提示。

在一些可能的实施例中，上述的第一检测结果与第二检测结果还可以是对驾驶人员进行识别后的驾驶人员身份信息。上述判断T1时间与T2时间的驾驶人员是否相同可以是基于驾驶人员身份信息进行判断，上述的身份信息可以是姓名、身份证号、年龄等信息。

上述的保持当前状态不进行预警提示，可以避免提示信息造成正常驾驶的驾驶人员注意力分散的情况。

这样，通过判断T1时间与T2时间的驾驶人员是否相同，可以更加精确的判断出驾驶人员是否出现长时间的连续驾驶。

请参见图6，图6是图2实施例中步骤203的具体流程示意图，如图6所示，包括以下步骤：

601、提取所述第二驾驶图像的驾驶行为特征值。

在本发明实施例中，危险驾驶行为包括违规驾驶行为，上述的违规驾驶行为可以是单手握方向盘、双手离开方向盘、未注视道路前方、身体连续晃动(酒驾或毒驾)，脚同时放在油门和刹车踏板上、光脚驾驶、高跟鞋驾驶、拖鞋驾驶等。上述的驾驶行为可以包括驾驶人员的手与方向盘的关系、头与座位的关系、脚与踏板的关系以及人脸等。上述的驾驶行为特征值可以通过图像检测引擎进行提取，具体的，可以是通过图像检测引擎中的卷积神经网络进行特征提取。

602、计算所述驾驶行为特征值与预先设置的违规驾驶行为特征值的相似度。

上述的驾驶行为特征值可以由步骤501得到，上述的预先设置的违规驾驶行为特征值可以是存储在危险驾驶行为数据库中的违规驾驶行为特征值，将该驾驶行为特征值与危险驾驶行为数据库中的违规驾驶行为特征值进行遍历比对，以得到该驾驶行为特征值与危险驾驶行为数据库中的各个违规驾驶行为特征值的相似度。上述的相似度计算可以是将该驾驶行为特征值与危险驾驶行为数据库中的各个违规驾驶行为特征值进行欧几里得距离计算、或者余弦计算、或者皮尔森相关系数计算等。

603、基于所述驾驶行为特征值与预先设置的违规驾驶行为特征值的相似度判断是否包含违规驾驶行为。

上述的判断可以是设置一个相似度阈值，通过判断驾驶行为特征值与预先设置的违规驾驶行为特征值的相似度与该相似度阈值的关系，来判断是否包含驾驶行为，比如：提取手与方向盘的特征值，与单手握方向盘、双手离开方向盘的违规驾驶行为特征值进行比对，如果手与方向盘的特征值与单手握方向盘或者双手离开方向盘的违规驾驶行为特征值的相似度大于阈值，则可以认为包含违规驾驶行为。提取身体(包括头部)与座位的特征值，与未注视道路前方或身体连续晃动的违规驾驶行为特征值进行比对，如果体(包括头部)与未注视道路前方或身体连续晃动的违规驾驶行为特征值的相似度大于阈值，则可以认为包含违规驾驶行为。

通过将驾驶行为与违规驾驶行为进行比对，可以快速判断驾驶人员是否是危险驾驶。

请参见图7，图7是图2实施例中步骤203的另一种具体流程示意图，如图7所示，包括以下步骤：

701、提取所述第二驾驶图像中驾驶人员的人脸特征值。

在本发明实施例中，危险驾驶行为包括疲劳驾驶行为，上述的疲劳驾驶行为可以是驾驶人员睁眼程度小、张嘴打哈欠、用手揉眼等。上述的驾驶行为可以包括驾驶人员的睁眼程度、张嘴程度或时间、手与眼的关系等。上述的驾驶行为特征值可以通过图像检测引擎进行提取，具体的，可以是通过图像检测引擎中的卷积神经网络进行特征提取。

702、计算所述人脸特征值与预先设置的疲劳人脸特征的相似度。

上述的驾驶行为特征值可以由步骤501得到，上述的预先设置的疲劳驾驶行为特征值可以是存储在危险驾驶行为数据库中的疲劳驾驶行为特征值，将该驾驶行为特征值与危险驾驶行为数据库中的疲劳驾驶行为特征值进行遍历比对，以得到该驾驶行为特征值与危险驾驶行为数据库中的各个疲劳驾驶行为特征值的相似度。上述的相似度计算可以是将该驾驶行为特征值与危险驾驶行为数据库中的各个疲劳驾驶行为特征值进行欧几里得距离计算、或者余弦计算、或者皮尔森相关系数计算等。

703、基于所述人脸特征值与预先设置的疲劳人脸特征的相似度判断是否包含疲劳驾驶行为。

上述的判断可以是设置一个相似度阈值，通过判断驾驶行为特征值与预先设置的违规驾驶行为特征值的相似度与该相似度阈值的关系，来判断是否包含驾驶行为。具体的，可以提取手与眼的特征值，与用手揉眼的疲劳驾驶行为特征值进行比对，如果手与眼的特征值的特征值与用手揉眼的疲劳驾驶行为特征值的相似度大于阈值，则可以认为包含疲劳驾驶行为。可以提取睁眼程度的特征值，与睁眼程度小的疲劳驾驶行为特征值进行比对，如果睁眼程度的特征值与睁眼程度小的疲劳驾驶行为特征值的相似度大于阈值，则可以认为包含疲劳驾驶行为。可以提取张嘴程度的特征值，与张嘴打哈欠的疲劳驾驶行为特征值进行比对，如果张嘴程度的特征值与张嘴打哈欠的疲劳驾驶行为特征值的相似度大于阈值，则可以认为包含疲劳驾驶行为。

在一些可能的实施例中，可以提取连续多张第二驾驶图像信息中的张嘴程度的特征值，在与张嘴打哈欠的疲劳驾驶行为特征值进行比对后，若大于阈值，则计算连续时间，根据连续时间来判断是否是张嘴打哈欠的疲劳驾驶行为。

在一些可能的实施例中，可以在驾驶人员开始驾驶车辆的时候，获取到该驾驶人员的人脸图像信息，提取该人脸图像信息中的睁眼程度特征值存储到数据库中，用于比对后面的提取到睁眼程度特征值，这样，可以避免眼睛小的驾驶人员被频繁预警。

通过对驾驶人员的人脸进行疲劳检测，可以准确知道驾驶人脸是否处于疲劳驾驶。

请参见图8，图8是本发明实施例提供的另一种危险驾驶行为的预警方法的流程示意图，如图8所示，该方法包括以下步骤：

801、获取第一驾驶图像信息，所述第一驾驶图像信息包括驾驶人员。

802、对所述第一驾驶图像信息进行预处理，得到第二驾驶图像信息，所述第二驾驶图像信息包括驾驶行为。

803、对所述第二驾驶图像的驾驶行为进行特征检测。

804、判断是否包含危险驾驶行为；若包含所述危险驾驶行为，则执行步骤805，若不包含所述危险驾驶行为，则执行步骤807。

805、判断所述危险驾驶行为的危险等级。

上述的危险等级可以是5级，危险等级与危险程度成正相关，比如，1级危险等级可以是单手握方向盘、吃东西等，2级危险等级可以是未注视道路前方、张嘴打哈欠、用手揉眼等，3级危险等级可以是睁眼程度小、身体连续晃动等，4级危险等级可以是出现多个 1级或2级的情况，5级危险等级可以是出现至少一个3级，多个1级或2级的情况。

806、根据所述危险驾驶行为的危险等级，发出对应的危险等级的预警提示。

上述的危险等级可以对应的不同的预警提示，比如，1级或2级的危险等级对应的预警提示可以是对驾驶人员进行语音提示、震动提示、音乐提示等，3级以上的危险等级可以在对驾驶人员进行预警提示的同时，还对交通管理部门以及绑定联系人进行提示。

807、发出正常驾驶的提示或不发出任何提示。

这样，可以根据不同的危险等级，做出不同的预警提示，提高预警提示的效果。

请参见图9，图9是本发明实施例提供的一种危险驾驶行为的预警装置的结构示意图，如图9所示，装置900包括：

获取模块901，用于获取第一驾驶图像信息，所述第一驾驶图像信息包括驾驶人员；

预处理模块902，用于对所述第一驾驶图像信息进行预处理，得到第二驾驶图像信息，所述第二驾驶图像信息包括驾驶行为；

第一检测模块903，用于对所述第二驾驶图像的驾驶行为进行特征检测，判断是否包含危险驾驶行为；

第一提示模块904，用于若包含所述危险驾驶行为，则发出危险驾驶行为的预警提示。

可选的，如图10所示，所述预处理模块902包括：

分割单元9021，用于通过图像分割算法对所述第一驾驶图像信息进行图像分割，得到多个图像分割区域；

检测单元9022，用于对所述多个图像分割区域进行驾驶行为检测，提取包含有驾驶行为的图像分割区域，得到所述第二驾驶图像信息。

可选的，所述获取模块901包括：

第一获取单元，用于获取当前驾驶环境条件或车辆驾驶模式；

第二获取单元，用于根据所述当前环境驾驶条件或车辆驾驶模式，定时或实时获取由图像采集设备采集到的第一驾驶图像信息。

还用于获取第一驾驶图像信息，所述第一驾驶图像信息包括驾驶人员。

可选的，如图11所示，第二驾驶图像信息包括驾驶人员的人脸，所述危险驾驶行为包括连续驾驶，装置900还包括：

第二检测模块905，用于对T1时间的第二驾驶图像进行人脸检测，得到第一人脸检测结果；

第三检测模块906，对T2时间的第二驾驶图像进行人脸检测，得到第二人脸检测结果；

人员判断模块907，用于根据所述第一人脸检测结果与所述第二人脸检测结果的相似度，判断驾驶人员是否相同；

第二提示模块908，用于若相同，则发出连续驾驶的预警提示；

其中所述T1时间与T2时间之间相差的时间大于等于一个预先设定的时间。

可选的，如图12所示，所述危险驾驶行为包括违规驾驶行为，所述第一检测模块903 包括：

第一提取单元9031，用于提取所述第二驾驶图像的驾驶行为特征值；

第一计算单元9032，用于计算所述驾驶行为特征值与预先设置的违规驾驶行为特征值的相似度；

第一判断单元9033，用于基于所述驾驶行为特征值与预先设置的违规驾驶行为特征值的相似度判断是否包含违规驾驶行为。

可选的，如图13所示，第二驾驶图像信息包括驾驶人员的人脸，所述第一检测模块903包括：

第二提取单元9034，用于提取所述第二驾驶图像中驾驶人员的人脸特征值；

第二计算单元9035，用于计算所述人脸特征值与预先设置的疲劳人脸特征的相似度；

第二判断单元9036，用于基于所述人脸特征值与预先设置的疲劳人脸特征的相似度判断是否包含疲劳驾驶行为。

可选的，如图14所示，第一提示模块904，包括：

第三判断单元9041，用于判断所述危险驾驶行为的危险等级；

提示单元9042，用于根据所述危险驾驶行为的危险等级，发出对应的危险等级的预警提示。

本发明实施例提供的危险驾驶行为的预警装置能够实现图2－图8的方法实施例中的各个实施方式，以及相应有益效果，为避免重复，这里不再赘述。

参见图15，图15是本发明实施例提供的一种电子设备的结构示意图，如图15所示，包括：存储器1502、处理器1501及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中：

处理器1501用于调用存储器1502存储的计算机程序，执行如下步骤：

获取第一驾驶图像信息，所述第一驾驶图像信息包括驾驶人员；

对所述第一驾驶图像信息进行预处理，得到第二驾驶图像信息，所述第二驾驶图像信息包括驾驶行为；

对所述第二驾驶图像的驾驶行为进行特征检测，判断是否包含危险驾驶行为；

若包含所述危险驾驶行为，则发出危险驾驶行为的预警提示。

可选的，处理器1501执行的所述对所述第一驾驶图像信息进行预处理，得到第二驾驶图像信息，包括：

通过图像分割算法对所述第一驾驶图像信息进行图像分割，得到多个图像分割区域；

对所述多个图像分割区域进行驾驶行为检测，提取包含有驾驶行为的图像分割区域，得到所述第二驾驶图像信息。

可选的，处理器1501执行的所述获取第一驾驶图像信息，包括：

获取当前驾驶环境条件或车辆驾驶模式；

根据所述当前环境驾驶条件或车辆驾驶模式，定时或实时获取由图像采集设备采集到的第一驾驶图像信息。

可选的，第二驾驶图像信息包括驾驶人员的人脸，所述危险驾驶行为包括连续驾驶，处理器1501还执行以上步骤：

对T1时间的第二驾驶图像进行人脸检测，得到第一人脸检测结果；

对T2时间的第二驾驶图像进行人脸检测，得到第二人脸检测结果；

根据所述第一人脸检测结果与所述第二人脸检测结果的相似度，判断驾驶人员是否相同；

若相同，则发出连续驾驶的预警提示；

其中所述T1时间与T2时间之间相差的时间大于等于一个预先设定的时间。

可选的，所述危险驾驶行为包括违规驾驶行为，处理器1501执行的所述对所述第二驾驶图像的驾驶行为进行特征检测，判断是否包含危险驾驶行为，包括：

提取所述第二驾驶图像的驾驶行为特征值；

计算所述驾驶行为特征值与预先设置的违规驾驶行为特征值的相似度；

基于所述驾驶行为特征值与预先设置的违规驾驶行为特征值的相似度判断是否包含违规驾驶行为。

可选的，第二驾驶图像信息包括驾驶人员的人脸，处理器1501执行的所述危险驾驶行为包括疲劳驾驶行为，所述对所述第二驾驶图像的驾驶行为进行特征检测，判断是否包含危险驾驶行为，包括：

提取所述第二驾驶图像中驾驶人员的人脸特征值；

计算所述人脸特征值与预先设置的疲劳人脸特征的相似度；

基于所述人脸特征值与预先设置的疲劳人脸特征的相似度判断是否包含疲劳驾驶行为。

可选的，处理器1501执行的所述若包含所述危险驾驶行为，则发出危险驾驶行为的预警提示，包括：

判断所述危险驾驶行为的危险等级；

根据所述危险驾驶行为的危险等级，发出对应的危险等级的预警提示。

需要说明的是，本发明实施例提供的电子设备可以应用于危险驾驶行为的预警设备，例如：手机、行车记录仪、车载中控、计算机、服务器等可以进行危险驾驶行为的预警的设备。

本发明实施例提供的电子设备能够实现图1－图8的方法实施例中的各个实施方式，以及相应有益效果，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的危险驾驶行为的预警方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random AccessMemory，简称RAM)等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种危险驾驶行为的预警方法，其特征在于，包括：

获取第一驾驶图像信息，所述第一驾驶图像信息包括驾驶人员；

对所述第一驾驶图像信息进行预处理，得到第二驾驶图像信息，所述第二驾驶图像信息包括驾驶行为；

对所述第二驾驶图像的驾驶行为进行特征检测，判断是否包含危险驾驶行为；

若包含所述危险驾驶行为，则发出危险驾驶行为的预警提示。

2.如权利要求1所述的方法，其特征在于，所述对所述第一驾驶图像信息进行预处理，得到第二驾驶图像信息包括：

通过图像分割算法对所述第一驾驶图像信息进行图像分割，得到多个图像分割区域；

对所述多个图像分割区域进行驾驶行为检测，提取包含有驾驶行为的图像分割区域，得到所述第二驾驶图像信息。

3.如权利要求1所述的方法，其特征在于，所述获取第一驾驶图像信息，包括：

获取当前驾驶环境条件或车辆驾驶模式；

根据所述当前环境驾驶条件或车辆驾驶模式，定时或实时获取由图像采集设备采集到的第一驾驶图像信息。

4.如权利要求1所述的方法，其特征在于，第二驾驶图像信息包括驾驶人员的人脸，所述危险驾驶行为包括连续驾驶，所述方法还包括：

对T1时间的第二驾驶图像进行人脸检测，得到第一人脸检测结果；

对T2时间的第二驾驶图像进行人脸检测，得到第二人脸检测结果；

根据所述第一人脸检测结果与所述第二人脸检测结果的相似度，判断驾驶人员是否相同；

若相同，则发出连续驾驶的预警提示；

其中所述T1时间与T2时间之间相差的时间大于等于一个预先设定的时间。

5.如权利要求1所述的方法，其特征在于，所述危险驾驶行为包括违规驾驶行为，所述对所述第二驾驶图像的驾驶行为进行特征检测，判断是否包含危险驾驶行为，包括：

提取所述第二驾驶图像的驾驶行为特征值；

计算所述驾驶行为特征值与预先设置的违规驾驶行为特征值的相似度；

基于所述驾驶行为特征值与预先设置的违规驾驶行为特征值的相似度判断是否包含违规驾驶行为。

6.如权利要求1所述的方法，其特征在于，第二驾驶图像信息包括驾驶人员的人脸，所述危险驾驶行为包括疲劳驾驶行为，所述对所述第二驾驶图像的驾驶行为进行特征检测，判断是否包含危险驾驶行为，包括：

提取所述第二驾驶图像中驾驶人员的人脸特征值；

计算所述人脸特征值与预先设置的疲劳人脸特征的相似度；

基于所述人脸特征值与预先设置的疲劳人脸特征的相似度判断是否包含疲劳驾驶行为。

7.如权利要求1至6中任一所述的方法，其特征在于，所述若包含所述危险驾驶行为，则发出危险驾驶行为的预警提示，包括：

判断所述危险驾驶行为的危险等级；

根据所述危险驾驶行为的危险等级，发出对应的危险等级的预警提示。

8.一种危险驾驶行为的预警装置，其特征在于，包括：

获取模块，用于获取第一驾驶图像信息，所述第一驾驶图像信息包括驾驶人员；

预处理模块，用于对所述第一驾驶图像信息进行预处理，得到第二驾驶图像信息，所述第二驾驶图像信息包括驾驶行为；

第一检测模块，用于对所述第二驾驶图像的驾驶行为进行特征检测，判断是否包含危险驾驶行为；

第一提示模块，用于若包含所述危险驾驶行为，则发出危险驾驶行为的预警提示。

9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的危险驾驶行为的预警方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的危险驾驶行为的预警方法中的步骤。

Images