CN112690794B

CN112690794B - 驾驶员状态检测方法、***和装置

Info

Publication number: CN112690794B
Application number: CN202011612628.9A
Authority: CN
Inventors: 杨国栋; 宋士佳; 孙超; 王文伟
Original assignee: Shenzhen Automotive Research Institute of Beijing University of Technology
Current assignee: Shenzhen Automotive Research Institute of Beijing University of Technology
Priority date: 2020-12-30
Filing date: 2020-12-30
Publication date: 2022-08-30
Anticipated expiration: 2040-12-30
Also published as: CN112690794A

Abstract

本发明涉及安全驾驶技术领域，具体涉及一种驾驶员状态检测方法、***和装置。其中方法包括：通过计算机视觉的方法实时获取驾驶员的多个预先标定的身体部位的位置以及座舱的位置；根据多个身体部位的位置以及座舱的位置，分别计算每个预先标定的身体部位与座舱之间的角度关系；再采用训练好的神经网络模型来检测驾驶员是否疲劳驾驶，由于考虑了多个身体部位与座舱之间的角度关系，使得检测的结果更加准确。另外，该方法和现有的手握式检测方法相比，对现有的车辆改造更小；和现有的眼镜、面部跟踪式方法相比，无需要高精度的传感器，且解决了驾驶员不能佩戴口罩和眼镜的技术问题，使得检测结果更加准确。

Description

驾驶员状态检测方法、***和装置

技术领域

本发明涉及安全驾驶技术领域，具体涉及一种驾驶员状态检测方法、***和装置。

背景技术

近年来，车辆得到了普及，交通事故也随之增多。其中，驾驶员状态极大程度影响了车辆的安全状态；例如，当驾驶员在驾驶过程中使用手机、弯腰捡拾物品或驾驶员疲劳、睡眠不足时，容易忽视道路情况，诱发交通事故。因此，有必要检测驾驶员状态并在驾驶员状态不佳时进行提醒和处置。特别的，近年来高级辅助驾驶(ADAS)***得到推广和应用，驾驶员在驾驶此类车辆时更容易分神，从而极大增加了驾驶风险。

目前，现有技术中一些检测***采用的方法和装置包括：①手握式，要求驾驶员手握方向盘指定传感器位置，通过检测握持状态来分析得出驾驶员状态，此方法难以识别驾驶员疲劳状态；②眼睛、面部跟踪式，通过在驾驶员前方安装摄像头和运行程序得出驾驶员是否专注于驾驶车辆，此方法要求摄像头精度高，由于眼镜和面部细小的变化特征比较难以捕捉，因此检测的误报率高，因此也很难准确的识别出驾驶员的疲劳状态。同时，采用这种方法驾驶员不能佩戴口罩和眼镜，因此使用环境也有一定的限制。

发明内容

本发明主要解决的技术问题是现有的检测技术无法准确的检测出驾驶员的疲劳状态。

一种驾驶员状态检测方法,包括：

通过计算机视觉的方法实时获取驾驶员的多个预先标定的身体部位的位置以及座舱的位置；

根据所述多个身体部位的位置以及座舱的位置，分别计算每个预先标定的身体部位与座舱之间的角度关系；

将每个预先标定的身体部位与座舱之间的角度关系输入到预先训练好的神经网络模型中，得到驾驶员疲劳程度的评分；

判断所述疲劳程度的评分是否满足预设的报警提醒触发条件，若是则发出报警提醒信号以提醒驾驶员。

在一种实施例中，所述通过计算机视觉的方法实时获取驾驶员的多个预先标定的身体部位的位置以及座舱的位置包括：

实时获取驾驶舱内的图像，所述图像中的目标至少包括驾驶员和座舱；

对所述图像进行特征提取获取驾驶员多个预先标定的身体部位的位置以及驾驶舱的位置。

在一种实施例中，还包括：驾驶员判断当前报警提醒信号是否为误报警，若是则手动触发上传流程，以将当前获取的图像加入训练集，以用于继续训练所述神经网络模型。

在一种实施例中，所述多个预先标定的身体部位包括：左臂、右臂、躯干、头部和颈部。

一种驾驶员状态检测***,包括：

位置信息获取单元，用于通过计算机视觉的方法实时获取驾驶员的多个预先标定的身体部位的位置以及座舱的位置；

角度关系计算单元，用于根据所述多个身体部位的位置以及座舱的位置，分别计算每个预先标定的身体部位与座舱之间的角度关系；

评分计算单元，用于将每个预先标定的身体部位与座舱之间的角度关系输入到预先训练好的神经网络模型中，得到驾驶员疲劳程度的评分；

报警提醒单元，用于判断所述疲劳程度的评分是否满足预设的报警提醒触发条件，若是则发出报警提醒信号以提醒驾驶员。

在一种实施例中，所述位置信息获取单元包括：

图像获取模块，用于实时获取驾驶舱内的图像，所述图像中的目标至少包括驾驶员和座舱；

特征提取模块，用于对所述图像进行特征提取获取驾驶员多个预先标定的身体部位的位置以及驾驶舱的位置。

进一步的，还包括：

误报警处理模块，用于在驾驶员判断当前报警提醒信号为误报警时触发上传流程，以将当前获取的图像加入训练集，以用于继续训练所述神经网络模型。

一种驾驶员状态检测装置，包括：

摄像头，用于实时获取驾驶舱内的图像，所述图像中的目标至少包括驾驶员和座舱；

处理器，用于对所述图像进行特征提取获取驾驶员多个预先标定的身体部位的位置以及驾驶舱的位置；根据所述多个身体部位的位置以及座舱的位置，分别计算每个预先标定的身体部位与座舱之间的角度关系；将每个预先标定的身体部位与座舱之间的角度关系输入到预先训练好的神经网络模型中，得到驾驶员疲劳程度的评分；判断所述疲劳程度的评分是否满足预设的报警提醒触发条件，若是则向报警器发出报警触发信号；

报警器，用于在所述报警触发信号的触发下发出报警信息。

一种车辆，包括如上所述的驾驶员状态检测***或者如上所述的驾驶员状态检测装置。

一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现如上所述的方法。

依据上述实施例的驾驶员状态检测方法,其包括：通过计算机视觉的方法实时获取驾驶员的多个预先标定的身体部位的位置以及座舱的位置；根据多个身体部位的位置以及座舱的位置，分别计算每个预先标定的身体部位与座舱之间的角度关系；将每个预先标定的身体部位与座舱之间的角度关系输入到预先训练好的神经网络模型中，得到驾驶员疲劳程度的评分；判断疲劳程度的评分是否满足预设的报警提醒触发条件，若是则发出报警提醒信号以提醒驾驶员。本申请通过获取多个预先标定的身体部位与座舱之间的角度关系，再采用训练好的神经网络模型来检测驾驶员是否疲劳驾驶，由于考虑了多个身体部位与座舱之间的角度关系，使得检测的结果更加准确。另外，该方法和现有的手握式检测方法相比，对现有的车辆改造更小；和现有的眼镜、面部跟踪式方法相比，无需要高精度的传感器，且解决了驾驶员不能佩戴口罩和眼镜的技术问题，使得检测结果更加准确。

附图说明

图1为本申请实施例的驾驶员状态检测方法流程图；

图2为本申请实施例的驾驶员状态检测***结构框图；

图3为本申请实施例的位置信息获取单元结构框图；

图4为本申请实施例的驾驶员状态检测装置结构框图；

图5为本申请实施例的检测装置在驾驶室内安装示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

计算机视觉(Computer Vision)是指用计算机实现人的视觉功能——对客观世界的三维场景的感知、识别和理解。这意味着计算机视觉技术的研究目标是使计算机具有通过二维图像认知三维环境信息的能力。因此不仅需要使机器能感知三维环境中物体的几何信息(形状、位置、姿态、运动等)而且能对它们进行描述、存储、识别与理解。可以认为，计算机视觉与研究人类或动物的视觉是不同的：它借助于几何、物理和学习技术来构筑模型，用统计的方法来处理数据。人工智能的完整闭环包括感知、认知、推理再反馈到感知的过程，其中视觉在我们的感知***中占据大部分的感知过程。所以研究视觉是研究计算机的感知重要的一步。

神经网络：神经网络是一种运算模型，由大量的节点(或称“神经元”)和之间相互的联接构成。每个节点代表一种特定的输出函数，称为激励函数、激活函数(activationfunction)。每两个节点间的联接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。

实施例一：

请参考图1，本申请提供一种驾驶员状态检测方法,其特征在于，包括：

步骤101：通过计算机视觉的方法实时获取驾驶员的多个预先标定的身体部位的位置以及座舱的位置。

具体的，本实施例中，实时获取驾驶舱内的图像，图像中的目标至少包括驾驶员和座舱；对图像进行特征提取获取驾驶员多个预先标定的身体部位的位置以及驾驶舱的位置。本实施例的将图像采集模块(如摄像头)安装在驾驶舱内以采集驾驶舱内的图像。预先在驾驶舱内建立参考坐标系，并在该坐标系下对驾驶舱的位置以及驾驶员多个预先标定的身体部位的位置的坐标进行表示，例如通过对实时获取的图像或视频的缩放、旋转、拉伸完成座舱坐标系的标定参数。其中，本实施例中的多个预先标定的身体部位包括：左臂、右臂、躯干、头部和颈部。当获取图像后通过对图像进行特征提取识别出座舱(即驾驶室的座椅)以及驾驶员左臂、右臂、躯干、头部和颈部的位置，获取其在预先建立的坐标系下的坐标。

步骤102：根据多个身体部位的位置以及座舱的位置，分别计算每个预先标定的身体部位与座舱之间的角度关系。根据左臂、右臂、躯干、头部和颈部的坐标以及座舱的坐标计算身体部位与座舱之间的空间角度关系。

国际汽车工程师协会基于大量研究和试验发布的《SAE J1517驾驶员选择的座椅位置》、《SAE J287驾驶员手控制区域》、《SAE J1052机动车驾驶员和乘客头部位置》等对汽车生产制造商在设计生产车辆座舱提出了严格的参数化要求，正确使用座椅、安全带装置等的驾驶员的体态一般符合上述各文件的量化要求，驾驶员此时是视野良好、操纵方便、舒适的。基于生活经验，驾驶员在疲劳或分神时伴有低头、仰头、转身(转头)、歪坐等行为，颈部与躯干角度、躯干与座舱角度、头部与颈枕位置等多个量化指标不再满足要求，算法可据此识别出疲劳或分神状态。因此，国际标准上对座舱设计有要求，对头、颈、背、臂与座舱的关系也有要求。只要驾驶员正确调整了座椅且处于正常驾驶状态，身体各部位是不会偏离设计要求的。

步骤103：将每个预先标定的身体部位与座舱之间的角度关系输入到预先训练好的神经网络模型中，得到驾驶员疲劳程度或分神程度的评分。

其中，本实施例的神经网络模型通过大量的数据和图像训练得到，例如获取大量的驾驶员正常行驶时候的图像和疲劳驾驶时候的图像，获取其身体部位与座舱之间的角度关系作为初始模型的输入，其中对于大量疲劳图像对应的驾驶时候的驾驶员身体部位与座舱之间的角度关系，对每一个都标注其疲劳程度的评分和分神程度的评分，将驾驶员身体部位与座舱之间的角度关系作为训练的输入。将驾驶员疲劳程度和分神程度的评分作为输出，以此来训练神经网络模型。从而得到参数W和评估函数f,本实施例中，(y1，y2)＝f(x)＝w*x，其中y1和y2分别是对疲劳程度和分神程度的评分。其中，W表示权重参数，x的物理意义是通过计算机视觉识别得出的参数，在本实施例中W和x都是矩阵。例如：

W＝[w11,w12,w13；W21,w22,w23…]。

x＝[x1,x2,x3…]。

例如：X1＝颈部与座舱靠背的x向(歪头)旋转角度＝1。

X2＝颈部与座舱靠背的y向(抬头、低头)旋转角度＝2。

X3＝颈部与座舱靠背的z向(转头)旋转角度＝3。

W＝[10,1,1；1,1,10]。

对应数字越大也就是认为该指标对最终评分影响的权重越大，在这里歪头对疲劳的评分权重大，转头对分神的评分权重大。那么Y＝[y1，y2]＝[15,33]。

步骤104：判断疲劳程度和/或分神程度的评分是否满足预设的报警提醒触发条件，若是则发出报警提醒信号以提醒驾驶员。

其中，预先分别设置一个疲劳程度和分神程度的评分，如计算得到当前驾驶员的疲劳程度或分神程度的评分高于设置的值，则表示满足报警提醒触发条件，则发出报警提醒信号以提醒驾驶员。其中，报警提醒信号可以为语音信号、光信号、振动信号中的任意一个或者多个组合。

进一步的，在一种实施例中，驾驶员还判断当前报警提醒信号是否为误报警，若是则手动触发上传流程，以将当前获取的图像加入训练集，以用于继续训练神经网络模型。因为人体体型差异，车辆在设计的时候不饿能做到覆盖所有人群。对于过于高大或瘦小的驾驶员，他们的自然坐姿就和一般驾驶员有较大差异，因此会产生误报警。误报的图像用于模型训练时的输入为驾驶员左臂、右臂、躯干、头部和颈部的坐标以及座舱的坐标和“误报警”的标签作为训练集。输出为调整后的权重参数W。例如，在驾驶员的操控面板上设有误报触发按键，报警提醒信号发出后，驾驶员判断当前信号为误报时，则触发操控面板上的误报触发按键，将当前获取的图像加入训练集。这样反复的多次训练，可以使得神经网络模型的检测更加准确。

在另一种实施例中，在操作面板上设有上报按钮，上报按钮通过数据线与处理器连接，驾驶员可以触发上报按钮可以上报信息，将当前获取的图像加入训练集。

在另一种实施例中，上报按钮还可以通过无线传输的形式与处理器进行通信。无线传输的形式包括蓝牙、wifi等。或者在另一种实施例中，还可以采用语音识别控制的方式发出上报指令，这样避免手动触发按钮。

进一步的，在另一种实施例中，为了避免驾驶员恶意关闭驾驶员监控***。因为驾驶员反馈为“误报警”后，计算机难以判断是不是真的为“误报警”，如果直接加入训练集，那么神经网络模型就被错误的数据训练，可能损害模型的识别精度，不能再准确识别出驾驶员的状态。因此在驾驶员判断当前报警提醒信号为误报后，触发上传当前图像后，通过误报判定模块进一步判断当前报警信息是否为误报，若判定当前的报警提醒信号确实为误报则再将当前的获取的图像加入训练集。其中，误报判定模块可以是和后台服务器连接，通过驾驶舱内的摄像头获取的图像信息，后台服务人员可以远程分析驾驶员是否处于疲劳驾驶，若后台进一步确定是误报则返回给误报判定模块“误报”指令，该误报判定模块确定为误报再将当前获取的图像加入训练集，若后台判断为非误报，则将当前获取的图像标记为疲劳状态。

本实施例通过获取多个预先标定的身体部位与座舱之间的角度关系，再采用训练好的神经网络模型来检测驾驶员是否疲劳驾驶，由于考虑了多个身体部位与座舱之间的角度关系，使得检测的结果更加准确。另外，该方法和现有的手握式检测方法相比，对现有的车辆改造更小；和现有的眼镜、面部跟踪式方法相比，无需要高精度的传感器，且解决了驾驶员不能佩戴口罩和眼镜的技术问题，使得检测结果更加准确。

实施例二：

请参考图2，本实施例提供一种驾驶员状态检测***,其包括位置信息获取单元201、角度关系计算单元202、评分计算单元203、报警提醒单元204。位置信息获取单元201用于通过计算机视觉的方法实时获取驾驶员的多个预先标定的身体部位的位置以及座舱的位置；角度关系计算单元202用于根据多个身体部位的位置以及座舱的位置，分别计算每个预先标定的身体部位与座舱之间的角度关系；评分计算单元203用于将每个预先标定的身体部位与座舱之间的角度关系输入到预先训练好的神经网络模型中，得到驾驶员疲劳程度和分神程度的评分。报警提醒单元204用于判断疲劳程度和/或分神程度的评分是否满足预设的报警提醒触发条件，若是则发出报警提醒信号以提醒驾驶员。

其中，位置信息获取单元201、角度关系计算单元202、评分计算单元203和报警提醒单元204中都包括处理器和存储模块，存储模块中存储有程序，该程序能够被处理器执行以实现各个单元的数据处理功能。

其中，如图3，位置信息获取单元201包括：图像获取模块2011和特征提取模块2012。图像获取模块2011用于实时获取驾驶舱内的图像，图像中的目标至少包括驾驶员和座舱。本实施例的图像获取模块2011包括多个摄像头，多个摄像头设置在驾驶舱内，例如多个摄像头分别布置在驾驶员前方、侧方、后方和上方，用于获取驾驶舱的图像。特征提取模块2012用于对图像进行特征提取获取驾驶员多个预先标定的身体部位的位置以及驾驶舱的位置。

其中，报警提醒单元204还包括报警器，报警器用于发出报警提醒信号，本实施例可以采用语音信号、光信号、振动信号中的任意一个或者多个组合。

进一步的，本实施例提供的驾驶员状态检测***还包括误报警处理模块205用于在驾驶员判断当前报警提醒信号为误报警时触发上传流程，以将当前获取的图像加入训练集，以用于继续训练神经网络模型。

本实施例的***通过获取多个预先标定的身体部位与座舱之间的角度关系，再采用训练好的神经网络模型来检测驾驶员是否疲劳驾驶，由于考虑了多个身体部位与座舱之间的角度关系，使得检测的结果更加准确。另外，该方法和现有的手握式检测方法相比，对现有的车辆改造更小；和现有的眼镜、面部跟踪式方法相比，无需要高精度的传感器，且解决了驾驶员不能佩戴口罩和眼镜的技术问题，使得检测结果更加准确。

实施例三：

一种驾驶员状态检测装置，如图4和图5，其包括：摄像头301、处理器302和报警器303。

其中，摄像头301用于实时获取驾驶舱内的图像，图像中的目标至少包括驾驶员和座舱。处理器302用于对图像进行特征提取获取驾驶员多个预先标定的身体部位的位置以及驾驶舱的位置；根据多个身体部位的位置以及座舱的位置，分别计算每个预先标定的身体部位与座舱之间的角度关系；将每个预先标定的身体部位与座舱之间的角度关系输入到预先训练好的神经网络模型中，得到驾驶员疲劳程度和分神程度的评分；并判断疲劳程度和/或分神程度的评分是否满足预设的报警提醒触发条件，若是则向报警器发出报警触发信号。报警器303用于在报警触发信号的触发下发出报警信息。

采用本实施例的驾驶员状态装置，可以准确的检测到驾驶员的状态的，在其疲劳或者分神的情况下，及时发出报警信息以提醒其，避免了疲劳驾驶，保证了驾驶的安全。

实施例四：

本实施例提供一种计算机可读存储介质，其包括程序，所述程序能够被处理器执行以实现如上实施例一提供的驾驶员状态检测方法。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的***进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims

1.一种驾驶员状态检测方法,其特征在于，包括：

2.如权利要求1所述的驾驶员状态检测方法,其特征在于，所述通过计算机视觉的方法实时获取驾驶员的多个预先标定的身体部位的位置以及座舱的位置包括：

3.如权利要求1所述的驾驶员状态检测方法,其特征在于，还包括：驾驶员判断当前报警提醒信号是否为误报警，若是则手动触发上传流程，以将当前获取的图像加入训练集，以用于继续训练所述神经网络模型。

4.如权利要求1所述的驾驶员状态检测方法,其特征在于，所述多个预先标定的身体部位包括：左臂、右臂、躯干、头部和颈部。

5.一种驾驶员状态检测***,其特征在于，包括：

6.如权利要求5所述的驾驶员状态检测***,其特征在于，所述位置信息获取单元包括：

7.如权利要求5所述的驾驶员状态检测***,其特征在于，还包括：误报警处理模块，用于在驾驶员判断当前报警提醒信号为误报警时触发上传流程，以将当前获取的图像加入训练集，以用于继续训练所述神经网络模型。

8.一种驾驶员状态检测装置，其特征在于，包括：

报警器，用于在所述报警触发信号的触发下发出报警信息。

9.一种车辆，其特征在于，包括如权利要求5-7任一项所述的驾驶员状态检测***或者如权利要求8所述的驾驶员状态检测装置。

10.一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现如权利要求1-4中任一项所述的方法。