CN108647708A - 驾驶员评估方法、装置、设备和存储介质 - Google Patents

驾驶员评估方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN108647708A
CN108647708A CN201810398792.0A CN201810398792A CN108647708A CN 108647708 A CN108647708 A CN 108647708A CN 201810398792 A CN201810398792 A CN 201810398792A CN 108647708 A CN108647708 A CN 108647708A
Authority
CN
China
Prior art keywords
driver
driving
driving behavior
behavior
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810398792.0A
Other languages
English (en)
Inventor
席好宁
张毅
张凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua Berkeley Shenzhen College Preparatory Office
Original Assignee
Tsinghua Berkeley Shenzhen College Preparatory Office
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua Berkeley Shenzhen College Preparatory Office filed Critical Tsinghua Berkeley Shenzhen College Preparatory Office
Priority to CN201810398792.0A priority Critical patent/CN108647708A/zh
Publication of CN108647708A publication Critical patent/CN108647708A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例公开了一种驾驶员评估方法、装置、设备和存储介质，该方法包括：获取驾驶员的驾驶图像；通过人脸判别装置对驾驶图像进行分析以确定驾驶员身份，其中，人脸判别装置包括多种人脸识别模型，并将多数人脸识别算法输出的人脸识别结果作为最终结果；根据驾驶员身份或驾驶图像确定驾驶行为，并将驾驶行为与驾驶员身份进行关联；根据驾驶行为对驾驶员进行评估，评估至少包括驾驶行为评估或绩效评估中的一种。解决了现有车载***不能规范驾驶员驾驶行为的问题，达到通过规范驾驶员的驾驶行为来提高车辆驾驶安全的技术效果。

Description

驾驶员评估方法、装置、设备和存储介质
技术领域
本发明实施例涉及图像处理，尤其涉及一种驾驶员评估方法、装置、设备和存储介质。
背景技术
为了保障交通安全，目前已经有许多车载***通过对车辆和道路信息的获取和监控来减少交通事故的发生。例如：现有的行车记录仪可以通过记录车辆的速度、驾驶时间以及外部道路环境相关的信息预防交通事故；GPS导航仪则结合车辆在道路的位置实时给出“前方事故多发地段，请谨慎驾驶”的提示。这些保障措施在一定程度上可以减少交通事故的发生，却不能提高驾驶员的安全驾驶意识，使驾驶员通过规范驾驶行为避免交通事故的发生。
发明内容
本发明实施例提供一种驾驶员评估方法、装置、设备和存储介质，解决了现有车载***不能规范驾驶员驾驶行为的问题，达到通过规范驾驶员的驾驶行为来提高车辆驾驶安全的技术效果。
第一方面，本发明实施例提供了一种驾驶员评估方法，包括：
获取驾驶员的驾驶图像；
通过人脸判别装置对所述驾驶图像进行分析以确定驾驶员身份，其中，所述人脸判别装置包括基于不同人脸识别算法的多种人脸识别模型，并将多数人脸识别模型输出的人脸识别结果作为最终结果；
根据所述驾驶员身份或所述驾驶图像确定驾驶行为，并将所述驾驶行为与所述驾驶员身份进行关联；
根据所述驾驶行为对驾驶员进行评估，所述评估至少包括驾驶行为评估或绩效评估中的一种。
进一步，所述人脸判别装置包括奇数种人脸识别模型；
当所有的人脸识别模型输出的结果均不相同时，将预设人脸识别模型对应的人脸识别结果作为最终结果输出。
进一步，所述人脸判别装置包括EignFace算法、FisherFace算法和LBP算法。
进一步，根据所述驾驶员身份确定驾驶行为，包括：
根据所述驾驶员身份的持续时间确定驾驶时长，所述驾驶时长至少包括当前驾驶时长、当天累计驾驶时长、月累计驾驶时长和驾驶超时次数中的一个。
进一步，根据所述驾驶图像确定驾驶行为，并将所述驾驶行为与所述驾驶员身份进行关联，包括：
基于预设方向梯度特征提取算法，获取驾驶图像的方向梯度直方图特征；
通过已训练的SVM分类器分析所述方向梯度直方图特征，以确定驾驶员是否存在手机使用行为，所述SVM分类器至少包括局部SVM分类器或全局SVM分类器中的一种；
当所述驾驶员存在手机使用行为时，将所述手机使用行为与所述驾驶员身份进行关联。
进一步，根据所述驾驶图像确定驾驶行为，并将所述驾驶行为与所述驾驶员身份进行关联，包括：
通过垂直水平积分投影法确定所述驾驶图像中的多个特征点；
求取驾驶图像的二值化图像；
根据所述特征点的像素灰度值与预设灰度阈值的大小关系，确定驾驶员是否佩戴安全带；
当所述驾驶员未佩戴安全带时，将未佩戴安全带的驾驶行为与所述驾驶员身份进行关联。
进一步，所述根据所确定的所述驾驶行为对驾驶员进行评估，当所述评估包括驾驶行为评估时，还包括：
当检测到违规驾驶行为时，输出对应的语音提示，其中，所述违规驾驶行为包括超时驾驶行为、手机使用行为以及未佩戴安全带行为。
第二方面，本发明实施例还提供了一种驾驶员评估装置，包括：
驾驶图像获取模块，用于获取驾驶员的驾驶图像；
驾驶员身份确定模块，用于通过人脸判别装置对所述驾驶图像进行分析以确定驾驶员身份，其中，所述人脸判别装置包括基于不同人脸识别算法的多种人脸识别模型，并将多数人脸识别模型输出的人脸识别结果作为最终结果；
驾驶行为确定模块，用于根据所述驾驶员身份或所述驾驶图像确定驾驶行为，并将所述驾驶行为与所述驾驶员身份进行关联；
评估模块，用于根据所述驾驶行为对驾驶员进行评估，所述评估至少包括驾驶行为评估或绩效评估中的一种。
进一步，还包括模型模块，所述模型模块用于存储驾驶行为评估模型，所述评估模型基于目标训练数据构建，所述目标训练数据包括目标车辆的所有驾驶员的驾驶行为数据或者具有目标车辆驾驶资格的所有驾驶员的驾驶行为数据。
第三方面，本发明实施例还提供了一种驾驶行为评估设备，所述设备包括：
摄像头，用于获取驾驶图像；
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的驾驶员评估方法。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的驾驶员评估方法。
本实施例提供的驾驶员评估的技术方案，通过人脸判别装置对获取的驾驶图像进行分析以确定驾驶员身份，其中，人脸判别装置包括基于不同人脸识别算法的多种人脸识别模型，并将多数人脸识别模型输出的人脸识别结果作为最终结果，相较于单一的人脸识别算法，通过多种人脸识别算法同时进行人脸识别，并将多数人脸识别算法对应的人脸识别模型输出的人脸识别结果作为最终结果，可以提高人脸识别的准确度；根据驾驶员身份或驾驶图像确定驾驶行为，将驾驶行为与驾驶员身份进行关联，可以提高驾驶员评估的准确性；根据驾驶行为对驾驶员进行评估，评估至少包括驾驶行为评估或绩效评估中的一种，可以准确客观地对驾驶员进行评估，可以快速准确地获取驾驶员的绩效评估信息，还能防止人为因素的影响。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的驾驶员评估方法的流程图；
图2是本发明实施例二提供的人脸判别装置创建方法的流程图；
图3是本发明实施例三提供的驾驶员评估方法的流程图；
图4是本发明实施例四提供的根据驾驶图像确定驾驶行为的方法的流程图；
图5是本发明实施例五提供的根据驾驶图像确定驾驶行为的方法的流程图；
图6是本发明实施例五提供的安全带图像示意图；
图7是本发明实施例五提供的未佩戴安全带的图像示意图；
图8是本发明实施例五提供的包括安全带的二值图像；
图9是本发明实施例六提供的驾驶员评估装置的结构框图；
图10是本发明实施例七提供的驾驶行为评估设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下将参照本发明实施例中的附图，通过实施方式清楚、完整地描述本发明的技术方案，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
图1是本发明实施例一提供的驾驶员评估方法的流程图。本实施例的技术方案适用于通过驾驶员的驾驶行为来评估驾驶员的驾驶质量或绩效的情况，尤其适用于客运或货运车辆的驾驶员评估。该方法可以由本发明实施例提供的驾驶员评估装置来执行，该装置可以采用软件和/或硬件的方式实现，并配置在处理器中应用。该方法具体包括如下步骤：
S102、获取驾驶员的驾驶图像。
通过摄像头获取驾驶员的驾驶图像，摄像头可设置于车辆的前挡风玻璃上，摄像头优选为可旋转摄像头，能够自动寻找人脸的正向，或人脸的近似正向。驾驶图像拍摄的人体范围大小应根据图像分析需求，比如，当图像分析目的包括人脸识别时，驾驶图像应包括人脸。
S104、通过人脸判别装置对驾驶图像进行分析以确定驾驶员身份，其中，人脸判别装置包括基于不同人脸识别算法的多种人脸识别模型，并将多数人脸识别模型输出的人脸识别结果作为最终结果。
在驾驶员评估之前，通常需要确定驾驶员身份，然后再将不同部分的评估结果关联至所确定的身份。本实施例通过人脸判别装置确定驾驶员身份，且人脸判别装置包括多种人脸识别模型，并将多数人脸识别算法输出的人脸识别结果作为最终结果；当所有的人脸识别模型输出的结果均不相同时，将预设人脸识别模型对应的人脸识别结果作为最终结果输出。
可选地，本实施例中的人脸判别装置包括奇数种人脸识别算法，为了提高人脸判别装置的人脸识别速度，人脸判别装置可设置三种人脸识别算法，具体的人脸识别算法可以根据实际需要进行配置，本实施例优选的三种人脸识别算法分别为EignFace算法(特征脸算法)、FisherFace算法和局部二值模式(LocalBinary Patterns，简称LBP)算法。
S106、根据驾驶员身份或驾驶图像确定驾驶行为，并将驾驶行为与驾驶员身份进行关联。
在对驾驶员评估之前，要先获取驾驶员的驾驶行为，本实施例根据驾驶员的身份或者驾驶图像获取驾驶员的驾驶行为，然后分析所获取的驾驶行为是否违规。当驾驶行为为违规驾驶行为时，将当前驾驶员身份的此项违规驾驶行为加一。当然，在将违规驾驶行为加一的同时，记录该违规驾驶行为参数，比如时间参数，以及将当前违规驾驶行为中的全部帧图像或是某一帧图像存储在设定位置，并与该违规驾驶行为关联，以便于违规驾驶行为的统计和查阅。
S108、根据驾驶行为对驾驶员进行评估，评估至少包括驾驶行为评估或绩效评估中的一种。
在根据所获取的驾驶行为对驾驶员进行评估时，本实施例先判断每帧驾驶图像中的驾驶行为是否违规，并统计每一项驾驶行为的违规次数，通过设定时间段内的违规次数对驾驶员进行评估，比如进行驾驶行为评估或绩效评估。
可以理解的是，由于人做一个使用手机或是解开安全带或系安全带的动作通常需要几秒，因此也可以判断预设间隔的驾驶图像的驾驶行为是否合格。在对驾驶行为进行评估时，也可以将驾驶行划分为等级，确定所获取的驾驶行为的等级，然后统计低于预设等级的驾驶行为次数，作为违规驾驶行为次数，再通过违规驾驶行为次数对驾驶员进行评估。
本实施例提供的驾驶员评估的技术方案，通过人脸判别装置对获取的驾驶图像进行分析以确定驾驶员身份，其中，人脸判别装置包括基于不同人脸识别算法的多种人脸识别模型，并将多数人脸识别模型输出的人脸识别结果作为最终结果，相较于单一的人脸识别算法，通过多种人脸识别算法同时进行人脸识别，并将多数人脸识别算法对应的人脸识别模型输出的人脸识别结果作为最终结果，可以提高人脸识别的准确度；根据驾驶员身份或驾驶图像确定驾驶行为，将驾驶行为与驾驶员身份进行关联，可以提高驾驶员评估的准确性；根据驾驶行为对驾驶员进行评估，评估至少包括驾驶行为评估或绩效评估中的一种，可以准确客观地对驾驶员进行评估，可以快速准确地获取驾驶员的绩效评估信息，还能防止人为因素的影响。
实施例二
图2是本发明实施例二提供的人脸判别装置创建方法的流程图。本发明实施例在上述实施例的获取驾驶员的驾驶图像之前，增加了人脸判别装置创建方法的步骤。
S1011、获取用于模型训练的驾驶图像，并根据驾驶图像确定训练样本数据。
为了提高人脸识别模型的稳定性和识别结果的准确性，本实施例从各个方面获取训练集样本，比如车窗外的动静背景、不同光照强度(比如白天和黑夜)、不同表情、不同配饰(比如眼镜、耳钉)等。另外，为了减少模型训练的数据量，以及提高模型的稳定性，本实施例通过自动或人工方式获取驾驶图像的人脸部分，而将驾驶员的头发、下颌等部分去掉，仅把驾驶员人脸图像的五官部分作为训练样本数据。
S1012、使用训练样本数据训练每一种人脸识别算法对应的人脸识别模型。
本实施例的人脸识别算法优选包括EignFace算法、FisherFace算法和LBP算法，采用训练样本数据训练基于EignFace算法的人脸识别模型、基于FisherFace算法的人脸识别模型和基于LBP算法的人脸识别模型。上述人脸识别模型训练中，可以使用相同的训练样本数据，也可以使用不同的训练样本数据。
S1013将多数人脸识别模型输出的同一人脸识别结果，或是预设人脸识别模型的人脸识别结果作为最后结果输出。
为了提高人脸判别装置的人脸识别结果的准确性，本实施例为其设置了多个人脸识别模型，并将多数人脸识别模型输出的同一人脸识别结果作为最后结果，当所有的人脸识别模型输出的结果均不相同时，将预设人脸识别算法对应的人脸识别模型输出的结果作为最后结果。
本发明实施例中，通过获取的训练样本数据对基于EignFace算法的人脸识别模型、基于FisherFace算法的人脸识别模型和基于LBP算法的人脸识别模型分别进行训练，三个人脸识别模型独立工作，最后将多数人脸识别算法对应的人脸识别模型输出的同一人脸识别结果，或是预设人脸识别算法对应的人脸识别模型输出的人脸识别结果作为最后结果，大大提高了人脸识别结果的准确性。
实施例三
图3是本发明实施例三提供的驾驶员评估方法的流程图。本发明实施例是对上述任意实施例的根据驾驶员身份确定驾驶行为，并将驾驶行为与驾驶员身份进行关联的优化。如图3所示，该方法包括：
S102、获取驾驶员的驾驶图像。
S104、通过人脸判别装置对驾驶图像进行分析以确定驾驶员身份，其中，人脸判别装置包括多种人脸识别模型，并将多数人脸识别算法输出的人脸识别结果作为最终结果。
S106、根据驾驶员身份确定驾驶行为，并将驾驶行为与驾驶员身份进行关联。
确定驾驶员的驾驶时长是为了确定驾驶员的疲劳状态，因此需要将驾驶员与驾驶时长关联在一起，现有技术的计时方式通常仅适用于某一车辆只有一名司机的情况，当该车辆有多名司机时，无法确定每位司机的驾驶时长，本实施例通过驾驶员身份的持续时间确定驾驶时长，可选地，通过车辆行驶过程中，驾驶员身份的持续时间确定驾驶时长，车辆行驶状态可以通过GPS导航***等能够采集车辆位置信息或是车辆行驶信息的信号来确定。
为了提高车辆驾驶的安全性，当车辆单次行驶时间超过预设时间，比如3小时时，则发出提示信息，比如语音提示信息，提示驾驶员已达到安全驾驶时间，应休息等。
进一步的，为了避免驾驶员作弊，或是为了保证驾驶员良好的精神状态，本实施例还设置了全天累计驾驶时长，即求取每个驾驶员一天中的所有驾驶时长之和，当累计驾驶时长达到预设时长，比如8小时时，则发出提示信息，比如语音提示信息，提示驾驶员已达到安全驾驶时间，应休息等。优选地，当前一驾驶时长达到预设时间后，需间隔预设时间才能进行新的驾驶，当预设时间内进行第二次驾驶时，则发出提示信息，提示驾驶员应进行充分休息再进行新的驾驶旅程。
员工的绩效考核通常以月或年为单位，通过本实施例可以获取驾驶员每个月或每年的驾驶时长信息。为了节省***内存，可以仅保存驾驶超时记录，在便于驾驶员评估的同时，又能大大滴节省***内存，减少***成本。
为了防止驾驶员的违规驾驶，比如疲劳驾驶，当驾驶员出现驾驶超时，且继续驾驶时，除了继续播放提示音之外，还将该车辆信息和司机信息发送至远程监控平台，远程监控平台可以是车队指挥平台。
S108、根据驾驶行为对驾驶员进行评估，评估至少包括驾驶行为评估或绩效评估中的一种。
本实施例通过驾驶员身份的持续时间确定驾驶员的驾驶时长，进而确定驾驶员的单次驾驶时长、全天累计驾驶时长以及驾驶超时次数等，实现了准确、快速地确定驾驶员的疲劳驾驶程度，在无需人为干预的情况下，降低驾驶员由于疲劳驾驶带来的危险。
实施例四
图4是本发明实施例四提供的根据驾驶图像确定驾驶行为的方法的流程图。本发明实施例是对上述任意实施例根据驾驶图像确定驾驶行为，并将驾驶行为与驾驶员身份进行关联的优化。如图4所示，该方法包括：
S1061、基于预设方向梯度特征提取算法，获取驾驶图像的方向梯度直方图特征。
S1062、通过已训练的SVM分类器分析方向梯度直方图特征，以确定驾驶员是否存在手机使用行为，SVM分类器至少包括局部SVM分类器或全局SVM分类器中的一种。
将获取的方向梯度直方图特征输入至已训练的支持向量机(SupportVectorMachine，简称SVM)分类器，由已训练的SVM分类器确定驾驶员是否存在手机使用行为。为了提高SVM分类器的准确性，本实施例先建立局部分类器，然后基于局部最优分类器建立全局分类器。
S1063、当驾驶员存在手机使用行为时，将手机使用行为与驾驶员身份进行关联。
当驾驶员存在手机使用行为时，将该驾驶员身份对应的手机使用行为次数加一。
SVM分类器在使用前需要对其进行训练，该模型训练过程为包括：
1、获取训练样本图像
本步骤中的驾驶图像可以与人脸判别装置的模型训练数据相同或是不同，无论相同与否，这些用于SVM分类器训练的驾驶图像优选包括正样本和负样本，比如，400张正样本，35张负样本，所有样本大小可设置为96×128，正样本包括驾驶员持手机通话的不同姿势，负样本是人工选取的驾驶员做出的类似使用手机行为的驾驶图像的截图，或是分类器在训练过程中错误检测的区域截图，比如手机在驾驶图像中的显示面积较小的图像。
2、提取训练样本的方向梯度直方图(Histogram of Oriented Gradient，简称HOG)特征
在使用HOG算子提取驾驶员手机特征的过程中，本文首先把400张大小为96×128的样本图像分成大量的图块(block)，设细胞单元(cell)的大小为8×8，图块(block)大小为k×k，其中k分别取8、10、12、14、16，图块(block)由4个大小为0.5k×0.5k的细胞单元构成，水平和竖直方向上的移动步长都设置为2。水平方向上有96/8-1＝11个扫描窗口，竖直方向上有128/8-1＝15个扫描窗口，由此得到大量图块(block)的HOG特征向量，且HOG特征向量的总维数为64维。
3、基于正负样本局部区域的HOG特征训练局部SVM分类器。
将每个图块的HOG特征向量对应一个64维的SVM分类器，那么每幅图像对应许多局部分类器。本实施例基于SVM的局部分类器为线性分类器，线性核函数的参数coef值设为0.01。
4、从局部分类器中选取最优局部分类器。
首先使用正负样本图像对局部分类器的识别率进行测试，挑选出有一半以上概率能正确识别的分类器，作为最优局部分类器。
5、获取最优局部分类器对正负样本的分类结果。
使用局部分类器对正负样本进行检测，如果识别结果是驾驶员持手机，记为1，如果识别结果是驾驶员不持手机，记为-1，获取最优局部分类器对正负样本的分类结果。
6、将局部分类器组合成全局分类器。
第i类训练样本可以用向量xi＝[xi1，xi2，xi3，…xiO]T，(i＝1，2，…n)表示，xqk表示在q个局部分类器的前提下，使用第k个分类器输出的二分类结果。yi是第i类训练样本对应的分类结果。yi∈{1，-1}，y＝1表示正样本，y＝-1表示负样本。最后一步得到的分类结果{(xn，yn)}即为全局SVM分类器的分类结果。
在视频流一帧帧播放的过程中，不断地对驾驶员的手机进行多尺度HOG检测，并将HOG特征输入至全局SVM分类器，SVM全局分类器经过约1.5s的处理时间，即可识别出驾驶员是手持手机。
本实施例中的SVM分类器通过HOG特征识别驾驶图像中是否存在驾驶员手持手机的行为，识别速度快、准确率高。
实施例五
图5是本发明实施例五提供的根据驾驶图像确定驾驶行为的方法的流程图。本发明实施例是对上述任意实施例的根据驾驶图像确定驾驶行为，并将驾驶行为与驾驶员身份进行关联的优化。如图5所示，该方法包括：
S1071、通过垂直水平积分投影法获取驾驶图像中的多个特征点坐标。
为了能够判断驾驶员是否佩戴安全带，驾驶图像需要包括驾驶员上身部分，即驾驶图像上能够显示出驾驶员正常佩戴安全带时的全部或部分安全带区域。
为了提高安全带识别的准确率，通常需要先对图像进行预处理，比如光线补偿等，然后使用垂直水平积分投影法获取驾驶图像中的多个特征点，特征点位于安全带所佩戴的位置，本实施例中的特征点个数可选为三个，三个特征点的可选分布位置包括腰带左侧点、腰带右侧点以及肩带点。可以理解的是，光线补偿可以通过图像处理手段进行光线补偿，也可以通过提高驾驶图像拍摄环境的光亮来提高安全带与背景衣服的对比度，以达到光线补偿的效果。
S1072、求取驾驶图像的二值化图像。
将当前驾驶图像转化为灰度图像，然后基于预设灰度阈值将灰度图像转化为二值化图像，参见图7所示的二值化图像。
S1073、根据多个特征点的灰度值与预设灰度阈值的大小关系，确定驾驶员是否佩戴安全带。
根据多个特征点的坐标确定特征点在灰度图像中的像素灰度值，并判断特征点的像素灰度值与预设灰度阈值的大小关系，当特征点的像素灰度值小于预设灰度阈值时，则表示驾驶员已佩戴安全带，否则，则表示驾驶员没有佩戴安全带。
其中，预设灰度阈值的获取方法可以是：获取包括安全带的驾驶图像与不包括安全带的驾驶图像的多对图像，比如几百对，且前述图像优选在不同场景不同光线下获取，如图6所示，然后求取每幅驾驶图像的灰度图像，基于相同的灰度阈值对他们进行二值化，然后求取每一对驾驶图像对应像素的像素灰度值的均方根差，以作为预设灰度阈值。
如图7所示，该图中的特征点的灰度差值为24.1475，高于预设灰度阈值，因此该附图中的驾驶员未佩戴安全带。
如图8所示，该图中的特征点的灰度差值为23.122，小于预设灰度阈值，因此该附图中的驾驶员佩戴了安全带。
S1074、当驾驶员未佩戴安全带时，将未佩戴安全带的驾驶行为与驾驶员身份进行关联。
通过驾驶行为评估驾驶员时，通常是根据违规驾驶行为评估驾驶员，因此当驾驶员未佩戴安全带时，将未佩戴安全带的驾驶行为与驾驶员身份进行关联，同时输出语音提示，提示驾驶员佩戴安全带。
另外，为了提高对安全带与背景衣服的对比度，安全带的材质可采用荧光材料，或者通过LED灯光照射进行光线补偿。
本实施例通过垂直水平积分投影法与灰度差值的结合，确定驾驶员是否佩戴安全带，大大提高了安全带的识别速度和准确率。
实施例六
图9是本发明实施例六提供的驾驶员评估装置的结构框图。该装置用于执行上述任意实施例所提供的驾驶员评估方法，该装置可由软件或硬件实现。该装置包括：
驾驶图像获取模块11，用于获取驾驶员的驾驶图像；
驾驶员身份确定模块12，用于通过人脸判别装置对所述驾驶图像进行分析以确定驾驶员身份，其中，所述人脸判别装置包括奇数种人脸识别算法，并将多数人脸识别算法输出的人脸识别结果作为最终结果；
驾驶行为确定模块13，用于根据所述驾驶员身份或所述驾驶图像确定驾驶行为，并将所述驾驶行为与所述驾驶员身份进行关联；
评估模块14，用于根据所述驾驶行为对驾驶员进行评估，所述评估至少包括驾驶行为评估或绩效评估中的一种。
本发明实施例提供的驾驶行为评估装置的技术方案，通过人脸判别装置对获取的驾驶图像进行分析以确定驾驶员身份，其中，人脸判别装置包括基于不同人脸识别算法的多种人脸识别模型，并将多数人脸识别模型输出的人脸识别结果作为最终结果，相较于单一的人脸识别算法，通过多种人脸识别算法同时进行人脸识别，并将多数人脸识别算法对应的人脸识别模型输出的人脸识别结果作为最终结果，可以提高人脸识别的准确度；根据驾驶员身份或驾驶图像确定驾驶行为，将驾驶行为与驾驶员身份进行关联，可以提高驾驶员评估的准确性；根据驾驶行为对驾驶员进行评估，评估至少包括驾驶行为评估或绩效评估中的一种，可以准确客观地对驾驶员进行评估，可以快速准确地获取驾驶员的绩效评估信息，还能防止人为因素的影响。
本发明实施例所提供的驾驶行为评估装置可执行本发明任意实施例所提供的驾驶行为评估方法，具备执行方法相应的功能模块和有益效果。
实施例七
图10为本发明实施例七提供的驾驶行为评估设备的结构示意图，如图10所示，该设备包括摄像头100，用于获取驾驶图像；处理器101、存储器102、输入装置103以及输出装置104；设备中处理器101的数量可以是一个或多个，图10中以一个处理器101为例；设备中的处理器101、存储器102、输入装置103以及输出装置104可以通过总线或其他方式连接，图10以通过总线连接为例。
存储器102作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的驾驶行为评估方法对应的程序指令/模块(例如，驾驶图像获取模块11、驾驶员身份确定模块12、驾驶员身份确定模块13和评估模块14)。处理器101通过运行存储在存储器102中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的驾驶行为评估方法。
存储器102可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器102可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器102可进一步包括相对于处理器101远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置103可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。
输出装置104可包括显示屏等显示设备，例如，用户终端的显示屏。
实施例八
本发明实施例八还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种驾驶行为评估方法，该方法包括：
获取驾驶员的驾驶图像；
通过人脸判别装置对所述驾驶图像进行分析以确定驾驶员身份，其中，所述人脸判别装置包括基于不同人脸识别算法的多种人脸识别模型，并将多数所述人脸识别模型输出的人脸识别结果作为最终结果；
根据所述驾驶员身份或所述驾驶图像确定驾驶行为，并将所述驾驶行为与所述驾驶员身份进行关联；
根据所述驾驶行为对驾驶员进行评估，所述评估至少包括驾驶行为评估或绩效评估中的一种。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的驾驶员评估方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(RandomAccess Memory，简称RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的驾驶员评估方法。
值得注意的是，上述驾驶员评估装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种驾驶员评估方法，其特征在于，包括：
获取驾驶员的驾驶图像；
通过人脸判别装置对所述驾驶图像进行分析以确定驾驶员身份，其中，所述人脸判别装置包括基于不同人脸识别算法的多种人脸识别模型，并将多数所述人脸识别模型输出的人脸识别结果作为最终结果；
根据所述驾驶员身份或所述驾驶图像确定驾驶行为，并将所述驾驶行为与所述驾驶员身份进行关联；
根据所述驾驶行为对驾驶员进行评估，所述评估至少包括驾驶行为评估或绩效评估中的一种。
2.根据权利要求1所述的方法，其特征在于，所述人脸判别装置包括奇数种人脸识别模型；
当所有的人脸识别模型输出的结果均不相同时，将预设人脸识别模型对应的人脸识别结果作为最终结果输出。
3.根据权利要求2所述的方法，其特征在于，所述人脸判别装置包括EignFace算法、FisherFace算法和LBP算法。
4.根据权利要求1所述的方法，其特征在于，根据所述驾驶员身份确定驾驶行为，包括：
根据所述驾驶员身份的持续时间确定驾驶时长，所述驾驶时长至少包括当前驾驶时长、当天累计驾驶时长、月累计驾驶时长和驾驶超时次数中的一个。
5.根据权利要求1所述的方法，其特征在于，根据所述驾驶图像确定驾驶行为，并将所述驾驶行为与所述驾驶员身份进行关联，包括：
基于预设方向梯度特征提取算法，获取驾驶图像的方向梯度直方图特征；
通过已训练的SVM分类器分析所述方向梯度直方图特征，以确定驾驶员是否存在手机使用行为，所述SVM分类器至少包括局部SVM分类器或全局SVM分类器中的一种；
当所述驾驶员存在手机使用行为时，将所述手机使用行为与所述驾驶员身份进行关联。
6.根据权利要求1所述的方法，其特征在于，根据所述驾驶图像确定驾驶行为，并将所述驾驶行为与所述驾驶员身份进行关联，包括：
通过垂直水平积分投影法确定所述驾驶图像中的多个特征点；
求取所述驾驶图像的二值化图像；
根据所述特征点的像素灰度值与预设灰度阈值的大小关系，确定驾驶员是否佩戴安全带；
当所述驾驶员未佩戴安全带时，将未佩戴安全带的驾驶行为与所述驾驶员身份进行关联。
7.根据权利要求6所述的方法，其特征在于，所述根据所确定的所述驾驶行为对驾驶员进行评估，当所述评估包括驾驶行为评估时，还包括：
当检测到违规驾驶行为时，输出对应的语音提示，其中，所述违规驾驶行为包括超时驾驶行为、手机使用行为以及未佩戴安全带行为。
8.一种驾驶员评估装置，其特征在于，包括：
驾驶图像获取模块，用于获取驾驶员的驾驶图像；
驾驶员身份确定模块，用于通过人脸判别装置对所述驾驶图像进行分析以确定驾驶员身份，其中，所述人脸判别装置包括基于不同人脸识别算法的多种人脸识别模型，并将多数人脸识别模型输出的人脸识别结果作为最终结果；
驾驶行为确定模块，根据所述驾驶员身份或所述驾驶图像确定驾驶行为，并将所述驾驶行为与所述驾驶员身份进行关联；
评估模块，用于根据所述驾驶行为对驾驶员进行评估，所述评估至少包括驾驶行为评估或绩效评估中的一种。
9.根据权利要求8所述的装置，其特征在于，还包括模型模块，所述模型模块用于存储驾驶行为评估模型，所述评估模型基于目标训练数据构建，所述目标训练数据包括目标车辆的所有驾驶员的驾驶行为数据或者具有目标车辆驾驶资格的所有驾驶员的驾驶行为数据。
10.一种驾驶行为评估设备，其特征在于，所述设备包括：
摄像头，用于获取驾驶图像；
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的驾驶员评估方法。
11.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的驾驶员评估方法。
CN201810398792.0A 2018-04-28 2018-04-28 驾驶员评估方法、装置、设备和存储介质 Pending CN108647708A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810398792.0A CN108647708A (zh) 2018-04-28 2018-04-28 驾驶员评估方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810398792.0A CN108647708A (zh) 2018-04-28 2018-04-28 驾驶员评估方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN108647708A true CN108647708A (zh) 2018-10-12

Family

ID=63748392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810398792.0A Pending CN108647708A (zh) 2018-04-28 2018-04-28 驾驶员评估方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN108647708A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109460780A (zh) * 2018-10-17 2019-03-12 深兰科技（上海）有限公司 人工神经网络的车辆安全驾驶检测方法、装置及存储介质
CN109461344A (zh) * 2018-12-07 2019-03-12 黑匣子(杭州)车联网科技有限公司 一种汽车驾驶行为测评的方法
CN110276245A (zh) * 2019-05-09 2019-09-24 浙江吉利控股集团有限公司 一种驾驶员的人脸识别方法、装置、***及终端
CN110648075A (zh) * 2019-09-27 2020-01-03 重庆大学 驾驶安全评估方法及装置
CN112329543A (zh) * 2020-10-12 2021-02-05 易显智能科技有限责任公司 一种驾驶能力过程性评价的方法及相关装置
CN112712010A (zh) * 2020-12-28 2021-04-27 科大讯飞股份有限公司 共用车辆驾驶员安全驾驶评估方法、装置以及设备
CN112800854A (zh) * 2021-01-04 2021-05-14 中南大学 一种基于图像的机车乘务员作业自动分析***
CN112949015A (zh) * 2019-12-10 2021-06-11 奥迪股份公司 建模装置、辅助***、车辆、方法和存储介质
CN113997940A (zh) * 2021-12-20 2022-02-01 镁佳(北京)科技有限公司 一种驾驶行为监测方法及装置
CN115520196A (zh) * 2022-09-19 2022-12-27 广州汽车集团股份有限公司 驾驶员的体重确定方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102592143A (zh) * 2012-01-09 2012-07-18 清华大学 一种驾驶员行车中手持电话违规行为检测方法
CN104331687A (zh) * 2014-10-30 2015-02-04 安徽国华光电技术有限公司 一种基于车载式视频分析的未系安全带行为检测方法
CN105096528A (zh) * 2015-08-05 2015-11-25 广州云从信息科技有限公司 一种疲劳驾驶检测方法及***
JP2017151694A (ja) * 2016-02-24 2017-08-31 株式会社デンソー 安全確認診断システム及び安全確認診断方法
CN107563280A (zh) * 2017-07-24 2018-01-09 南京道熵信息技术有限公司 基于多模型的人脸识别方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102592143A (zh) * 2012-01-09 2012-07-18 清华大学 一种驾驶员行车中手持电话违规行为检测方法
CN104331687A (zh) * 2014-10-30 2015-02-04 安徽国华光电技术有限公司 一种基于车载式视频分析的未系安全带行为检测方法
CN105096528A (zh) * 2015-08-05 2015-11-25 广州云从信息科技有限公司 一种疲劳驾驶检测方法及***
JP2017151694A (ja) * 2016-02-24 2017-08-31 株式会社デンソー 安全確認診断システム及び安全確認診断方法
CN107563280A (zh) * 2017-07-24 2018-01-09 南京道熵信息技术有限公司 基于多模型的人脸识别方法和装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109460780A (zh) * 2018-10-17 2019-03-12 深兰科技（上海）有限公司 人工神经网络的车辆安全驾驶检测方法、装置及存储介质
CN109461344A (zh) * 2018-12-07 2019-03-12 黑匣子(杭州)车联网科技有限公司 一种汽车驾驶行为测评的方法
CN110276245A (zh) * 2019-05-09 2019-09-24 浙江吉利控股集团有限公司 一种驾驶员的人脸识别方法、装置、***及终端
CN110648075A (zh) * 2019-09-27 2020-01-03 重庆大学 驾驶安全评估方法及装置
CN112949015A (zh) * 2019-12-10 2021-06-11 奥迪股份公司 建模装置、辅助***、车辆、方法和存储介质
CN112329543A (zh) * 2020-10-12 2021-02-05 易显智能科技有限责任公司 一种驾驶能力过程性评价的方法及相关装置
CN112712010A (zh) * 2020-12-28 2021-04-27 科大讯飞股份有限公司 共用车辆驾驶员安全驾驶评估方法、装置以及设备
CN112800854A (zh) * 2021-01-04 2021-05-14 中南大学 一种基于图像的机车乘务员作业自动分析***
CN113997940A (zh) * 2021-12-20 2022-02-01 镁佳(北京)科技有限公司 一种驾驶行为监测方法及装置
CN115520196A (zh) * 2022-09-19 2022-12-27 广州汽车集团股份有限公司 驾驶员的体重确定方法、装置、电子设备及存储介质
CN115520196B (zh) * 2022-09-19 2023-10-13 广州汽车集团股份有限公司 驾驶员的体重确定方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN108647708A (zh) 驾驶员评估方法、装置、设备和存储介质
CN110532976B (zh) 基于机器学习和多特征融合的疲劳驾驶检测方法及***
CN103714660B (zh) 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的***
CN102289660B (zh) 一种基于手部姿态跟踪的违规驾驶行为检测方法
CN106652468A (zh) 车辆道路前车违规检测和自车违规预警提醒装置及方法
CN105373779B (zh) 一种车辆安全带智能检测方法及智能检测***
CN105488453B (zh) 一种基于图像处理的驾驶员未系安全带检测识别方法
CN103679168B (zh) 文字区域检测方法及装置
CN109584507A (zh) 驾驶行为监测方法、装置、***、交通工具和存储介质
CN104361332B (zh) 一种用于疲劳驾驶检测的人脸眼睛区域定位方法
US20150116493A1 (en) Method and system for estimating gaze direction of vehicle drivers
CN101211411B (zh) 一种人体检测的方法和装置
CN105956548A (zh) 驾驶员疲劳状况检测方法和装置
Kashevnik et al. Seat belt fastness detection based on image analysis from vehicle in-abin camera
CN102855500A (zh) 一种基于Haar和HoG特征的前车检测方法
CN104268596A (zh) 一种车牌识别器及其车牌检测方法与***
CN107529659B (zh) 安全带佩戴检测方法、装置及电子设备
CN105404862A (zh) 一种基于手部跟踪的安全驾驶检测方法
CN108804987B (zh) 门开闭状态检测方法和装置、以及人流检测***
CN103700220A (zh) 一种疲劳驾驶监控装置
CN109800654A (zh) 车载摄像头检测处理方法、装置及车辆
CN106295474A (zh) 船舶驾驶员的疲劳检测方法、***和服务器
CN104574819A (zh) 一种基于嘴巴特征的疲劳驾驶检测方法
Shaily et al. Smart driver monitoring system
CN114926824A (zh) 一种不良驾驶行为判别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181012

RJ01 Rejection of invention patent application after publication