CN115661800A - 基于视线方向时间关系学习的危险驾驶行为检测方法 - Google Patents

Abstract

本发明公开了一种基于视线方向时间关系学习的危险驾驶行为检测方法。本发明设计卷积神经网络分别估计驾驶员头部朝向和双眼朝向。针对可能出现的头部朝向和双眼朝向不一致的情况，设计头部朝向和双眼朝向联合网络，估计驾驶员视线方向。并针对在驾驶过程中，视线方向随着时间多变，而难以准确危险视线方向状态的问题，设计基于高斯时间权重来学习视线方向的时间关系，构建视线方向的时间定位网络，实现可靠的危险视线方向的时间定位。当危险视线方向的持续时间超过阈值时，对驾驶员进行安全警告。本发明能够处理头部和双眼朝向不一致的情况，也能够鲁棒处理不同的视线方向时间变化过程，可以有效实现危险驾驶行为检测。

Description

基于视线方向时间关系学习的危险驾驶行为检测方法

技术领域

本发明涉及驾驶员视线方向检测及时间定位技术领域，尤其涉及一种基于视线方向时间关系学习的危险驾驶行为检测方法。

背景技术

为了保证良好的交通秩序，保证人民生命财产安全，需要对正在驾驶中的驾驶员进行危险驾驶行为监测。随着深度学习和计算机视觉的快速发展，基于视频信息检测危险驾驶行为的方法正逐步引起该行业的重视。

中国专利申请公布号CN114005093A《基于视频分析的驾驶行为告警方法、装置、设备及介质》，提出了一种基于视频分析的驾驶行为告警方法，根据物体特征标注图像中目标车辆与其他车辆的位置信息、车速信息、行车轨迹信息及预先获取的多个危险驾驶特征识别出目标车辆出现危险驾驶行为的图像，当预设单位时间内，出现危险驾驶行为的图像数量大于预设阈值时，对目标车辆的驾驶员进行告警。但是只是利用车的外部信息进行检测，没有结合驾驶员的驾驶状态，无法做到提前预警。中国专利申请公布号CN113942450A《车载智能驾驶预警***和车辆》，提出了一种车载智能驾驶预警***和车辆，其中视线检测模块用于获取驾驶员的视线状态对预警执行模块进行控制，但对于驾驶员的视线状态预测没有结合时间信息，在驾驶员视线状态变化较大的时候，该方法得到的信息会有所损失，从而引起误判产生。

Kellnhofer等人在《Gaze360:Physically Unconstrained Gaze Estimation inthe Wild》中提出了一个基于时序的视线估计模型和一种误差估计损失函数，提取了较为可靠的视线方向。Eunji Chong等人在《Detecting Attended Visual Targets in Video》中解决了在视频中检测注意目标的问题，识别视频中每一帧中的每个人都在看哪里，并正确地处理注视目标在帧外的情况。

然而，如图8所示，上述方法并未考虑，在视线方向上，可能出现的头部朝向和双眼朝向不一致的情况；在驾驶过程中，视线方向随着时间变化较大而难以准确定位危险视线方向状态的问题。因此，我们提出了一种基于视线方向时间关系学习的安全驾驶行为检测方法。该方法设计了头部朝向和双眼朝向联合网络，来估计驾驶员视线方向，设计了基于高斯时间权重来学习视线方向的时间关系，构建视线方向的时间定位网络，实现可靠的危险视线方向的时间定位。

发明内容

本发明目的就是为了弥补已有技术的缺陷，提供一种基于视线方向时间关系学习的危险驾驶行为检测方法。

本发明是通过以下技术方案实现的：

一种基于视线方向时间关系学习的危险驾驶行为检测方法，在驾驶员的驾驶过程中，持续检测驾驶员的视线状态以及该状态的时间定位，当视线状态处于危险视线状态且持续时长大于安全时长，则对驾驶员发出提醒，具体包括如下步骤：

步骤1、输入安全驾驶数据集，进行头部朝向估计网络训练，获得头部朝向估计网络参数模型；

步骤2、输入安全驾驶数据集，进行双眼视线方向估计网络训练，获得双眼视线方向估计网络参数模型；

步骤3、输入安全驾驶数据集，进行头部与双眼联合视线方向估计网络训练，获得头部与双眼联合视线方向估计网络参数模型；

步骤4、输入安全驾驶数据集，进行视线状态时间定位网络训练，获得视线状态时间定位网络参数模型；

步骤5、在驾驶员的驾驶过程，估计驾驶员的视线状态时间定位，对驾驶员的危险驾驶行为进行检测。

步骤1所述的输入安全驾驶数据集，进行头部朝向估计网络训练，获得头部朝向估计网络参数模型，具体包括以下步骤：

步骤1-1：输入头部检测数据集，训练基于Yolov5的头部检测网络模型；

步骤1-2：输入安全驾驶训练集，使用步骤1-1中训练好的头部检测网络模型对输入的图像进行头部区域检测，裁剪后获得头部区域图像；

步骤1-3：对步骤1-2获得的头部区域图像进行归一化处理，使其尺寸统一，并获得图像中心点O^head，用图像中心点O^head表示头部中心点，以头部中心点为坐标原点，水平方向为x轴，垂直方向为y轴，建立直角坐标系；

步骤1-4：将归一化后的头部区域图像通过头部朝向估计网络，头部朝向估计网络由ResNet-34网络和三个全连接层构成，得到头部朝向向量

分别表示横坐标与纵坐标；

步骤1-5：计算步骤1-4中得到的头部朝向向量

与真实的向量

之间的损失函数，

分别表示横坐标与纵坐标，损失函数公式如下：

步骤1-6：使用步骤1-5的损失函数，对步骤1-4中的头部朝向估计网络进行训练，获得头部朝向估计网络参数模型。

步骤2所述的输入安全驾驶数据集，进行双眼视线方向估计网络训练，获得双眼视线方向估计网络参数模型，具体包括以下步骤：

步骤2-1：输入人眼检测数据集，训练基于Yolov5的左眼检测网络模型；

步骤2-2：输入安全驾驶训练集，使用步骤1-2的方法获得头部区域头像，然后使用步骤2-1训练好的左眼检测网络模型，在头部区域图像中，进行左眼区域检测，裁剪后获得左眼区域图像；

步骤2-3：对步骤2-2中获得的左眼区域图像分别进行归一化处理，使其尺寸统一，并获得图像中心点O^left_eye，用图像中心点O^left_eye表示左眼中心点，以头部中心点为坐标原点，水平方向为x轴，垂直方向为y轴，建立直角坐标系；

步骤2-4：使步骤2-3中归一化后的左眼区域图像通过双眼视线方向估计网络的左支，双眼视线方向估计网络的左支由ResNet-18网络构成，产生左眼的视线方向向量

分别表示横坐标与纵坐标；

步骤2-5：输入人眼检测数据集，训练基于Yolov5的右眼检测网络模型；

步骤2-6：输入安全驾驶训练集，使用步骤1-2的方法获得头部区域头像，然后使用步骤2-5训练好的右眼检测网络模型，在头部区域图像中进行右眼区域检测，裁剪后获得右眼区域图像；

步骤2-7：对步骤2-6中获得的右眼区域图像分别进行归一化处理，使其尺寸统一，并获得图像中心点O^right_eye，用图像中心点O^right_eye表示右眼中心点，以头部中心点为坐标原点，水平方向为x轴，垂直方向为y轴，建立直角坐标系；

步骤2-8：使步骤2-7中归一化后的右眼区域图像通过双眼视线方向估计网络的右支，双眼视线方向估计网络的右支由ResNet-18网络构成，产生右眼的视线方向向量

分别表示横坐标与纵坐标；

步骤2-9：将步骤2-4中获得的左眼视线方向向量和步骤2-8右眼视线方向向量通过一个含有一个隐藏层的多层感知器φ_eye，产生双眼视线方向向量

分别表示横坐标与纵坐标：

α^bin_eye＝φ_eye(α^left_eye,α^right_eye)

步骤2-10：计算步骤2-9中的双眼视线方向向量

与真实的向量

之间的损失函数，损失函数公式如下：

步骤2-11：使用步骤2-10中的损失函数，对步骤2-4、步骤2-8和步骤2-9组成的双眼视线方向估计网络进行训练，获得双眼视线方向估计网络参数模型。

步骤3所述的输入安全驾驶数据集，进行头部与双眼联合视线方向估计网络训练，获得头部与双眼联合视线方向估计网络参数模型，具体包括以下步骤：

步骤3-1：输入安全驾驶训练集，使用步骤1-1中训练好的头部检测网络模型对输入图像进行头部区域检测，裁剪后获得头部区域图像；

步骤3-2：对步骤3-1中获得的头部区域图像，使用步骤1中训练好的头部朝向估计网络模型，利用步骤1-4的方法，提取头部朝向向量

步骤3-3：对步骤3-1中获得的头部区域图像，使用步骤2中训练好的双眼视线方向估计网络模型，利用步骤2-1到步骤2-9的方法，在头部区域图像中提取双眼视线方向向量

步骤3-4：将步骤3-2中获得的头部朝向向量α^head与步骤3-3中获得的双眼视线方向向量α^bin_eye通过一个含有一个隐藏层的多层感知器φ(·)，输出结果表示为归一化的头部与双眼联合视线方向向量

分别表示横坐标与纵坐标：

α^union＝φ(α^head,α^bin_eye)

步骤3-5：计算步骤3-4中得到的头部与双眼联合视线方向向量

与真实的向量

之间的损失函数，损失函数公式如下：

步骤3-6：使用步骤3-5中的损失函数，对头部与双眼联合视线方向估计网络进行训练，获得头部与双眼联合视线方向估计网络参数模型。

步骤4所述的输入安全驾驶数据集，进行视线状态时间定位网络训练，获得视线状态时间定位网络参数模型，具体包括以下步骤：

步骤4-1：输入安全驾驶数据集，对包含驾驶员头部的原始视频连续采样，得到视频帧序列；

步骤4-2：使用步骤3中训练好的头部与双眼联合视线方向估计网络模型，利用步骤3-1到步骤3-4的方法，对每个视频帧中的驾驶员进行头部与双眼联合视线方向估计，获得所有视频帧中的驾驶员的联合视线方向向量

步骤4-3：将步骤4-2中得到的所有视频帧中的驾驶员的联合视线方向

转化为视线角度特征，转化公式如下：

步骤4-4：将步骤4-3中得到的所有视频帧中的驾驶员的视线角度特征，组成视线角度特征序列

T为时间长度，t为某一时刻，t∈{1,2,...,T}，θ_t表示t时刻视频帧中的驾驶员的视线角度特征；

步骤4-5：将步骤4-4中得到的视线角度特征序列Θ，通过两个一维卷积层、一个最大池化层和一个一维时序卷积层，得到新的视线角度特征序列

θ′_t为t时刻的视线角度特征；

步骤4-6：对于t时刻的视线角度特征θ′_t，利用一个高斯核G_t来表示θ′_t的时间尺度，t∈{1,2,...,T}；

步骤4-6-1：将步骤4-5中得到的视线角度特征序列Θ′，通过一个一维卷积层，得到所有视线角度特征的高斯核G_t的标准差序列

并通过sigmoid操作将每个标准差限制在(0,1)，σ_t表示高斯核G_t的标准差；

步骤4-6-2：T为时间长度，定义Z为归一化常数，

i∈{1,2,...,T}，t∈{1,2,...,T}，μ_t表示高斯核G_t中的数学期望，p_i为高斯核G_t的参数，则利用步骤4-6-1中学习到的标准差序列

将t时刻的视线角度特征θ′_t的高斯核的权值表示为：

步骤4-6-3：将时间位置为t的视线角度特征θ′_t的中心位置表示为：

步骤4-6-4：定义r_d为时间尺度比例，利用步骤4-6-1中学习到的标准差序列

将时间位置为t的视线角度特征θ′_t的宽度表示为：

步骤4-7：对于步骤4-6中得到的所有高斯核，使用高斯核融合算法，对相邻且重叠度较大的两个高斯核进行融合，获得融合结束后的高斯核集合以及融合结束后的高斯核的时间位置集合；

步骤4-7-1：定义t₁时刻的高斯核与t₂时刻的高斯核之间时间交集的长度为

时间并集的长度为

重叠度为

步骤4-7-2：定义原始的高斯核集合

定义融合过程结束后的高斯核集合为G^end，定义融合结束后的高斯核的时间位置集合为T′；

步骤4-7-3：输入原始的高斯核集合G^start，初始化G^end为空集，定义q∈{1,2,...,T}，z∈{1,2,...,T}，q,z均表示时间位置；

步骤4-7-4：使q指向G^start中的第一个高斯核，z指向G^start中的第二个高斯核，即初始化q＝1，z＝2；

步骤4-7-5：计算

和

之间的重叠度IoU，σ_q表示高斯核

的标准差，σ_z表示高斯核

的标准差，μ_q表示高斯核

中的数学期望，μ_z表示高斯核

中的数学期望；；

步骤4-7-5-1：计算

和

两个高斯核的时间交集的长度H_q,z，计算公式如下，center_q表示时间位置为q的视线角度特征的中心位置，center_z表示时间位置为z的视线角度特征的中心位置，width_q表示时间位置为q的视线角度特征的时间宽度，width_z表示时间位置为z的视线角度特征的时间宽度，：

H_q,z＝length((center_q-width_q,center_q+width_q)∩(center_z-width_z,center_z+width_z))

步骤4-7-5-2：计算

和

两个高斯核的时间并集的长度L_q,z，计算公式如下：

L_q,z＝length((center_q-width_q,center_q+width_q)∪(center_z-width_z,center_z+width_z))

步骤4-7-5-3：计算

和

两个高斯核之间的重叠度IoU_q,z，计算公式如下：

IoU_q,z＝H_q,z/L_q,z

步骤4-7-6：根据步骤4-7-5-3中得到的IoU_q,z，比较IoU_q,z与0.7的大小；

步骤4-7-6-1：若IoU_q,z≥0.7，根据如下的融合公式：

融合

与

将融合结果保存到

时间(q+z)/2加入集合T′；

步骤4-7-6-2：若IoU_q,z＜0.7，将高斯核

加入集合G^end，将时间q加入集合T′，q＝z，

步骤4-7-7：将z指向G^start中的下一个高斯核，即z＝z+1；

步骤4-7-8：比较q与T的大小；

步骤4-7-8-1：当q≤T时，遍历还未结束，则重复执行步骤4-7-5到步骤4-7-8；

步骤4-7-8-2：当q＞T时，遍历结束，则执行步骤4-7-9；

步骤4-7-9：执行完步骤4-7-8后，获得融合过程结束后的高斯核集合G^end以及融合结束后的高斯核的时间位置集合T′；

步骤4-8：利用步骤4-7中得到的融合高斯核集合G^end中的每个高斯核，根据融合高斯曲线中的权值计算特征序列

中的每个特征的加权和，得到视线角度融合特征序列Θ″＝{θ″_t}，θ″_t为t时刻的视线角度融合特征，t∈{1,2,...,T}，i∈{1,2,...,T}，t′∈T′，W_t′[i]为t′时刻的融合高斯曲线的权重，视线角度融合特征计算公式如下：

步骤4-9：根据步骤4-8中得到的融合特征序列Θ″，使用阈值分类的方法，经过分类函数φ_classify(·)得到各融合特征的视线状态分类结果序列

t∈{1,2,...,T}，分类函数如下：

其中，β₁为安全视线角度的下边界，β₂为安全视线角度的上边界；

步骤4-10：根据步骤4-6-3中的方法，获得的时间位置为t的视线角度特征θ′_t的中心位置center_t，组成中心位置值序列

步骤4-11：根据步骤4-6-4中的方法，获得时间位置为t的视线角度特征θ′_t的宽度width_t，组成宽度值序列

步骤4-12：遍历步骤4-9中得到的分类结果序列Y、步骤4-10中得到的中心位置值序列

以及步骤4-11中得到的宽度值序列

得到各段视线状态的起始位置

与结束位置

j为视线状态的段号，j∈A，A是各段视线状态段号的集合；

步骤4-13：根据步骤4-12中得到的各段视线状态的起始位置

和结束位置

与真实的起始位置

和宽度

计算定位损失，损失函数如下：

步骤4-14：使用步骤4-13中的损失函数，对视线状态时间定位网络进行训练，获得视线状态时间定位网络模型参数。

步骤5所述的在驾驶员的驾驶过程，估计驾驶员的视线状态时间定位，对驾驶员的危险驾驶行为进行检测，具体包括以下步骤：

步骤5-1：在驾驶员的驾驶过程中，摄像头持续拍摄包含驾驶员头部的视频；

步骤5-2：对拍摄的视频连续采帧；

步骤5-3：对步骤5-2中采集的所有视频帧，使用步骤4-2到步骤4-3的方法，获得所有视频帧中的驾驶员的视线角度特征，组成视线角度特征序列；

步骤5-4：将步骤5-3中得到的视线角度特征序列作为输入，送入视线状态时间定位网络模型，进行检测，获得各段视线状态的起始位置和结束位置；

步骤5-5：根据步骤5-4中得到的各段视线状态的起始位置和结束位置，获得各段视线状态的持续时长；

步骤5-6：对步骤5-5中得到的各段视线状态的持续时间进行检测，当视线状态处于危险视线状态，且持续时长大于安全时长，则认定为危险驾驶行为，***对驾驶员发出提醒。

本发明的优点是：本发明能够处理头部和双眼朝向不一致的情况，也能够鲁棒处理不同的视线方向时间变化过程，可以有效实现危险驾驶行为检测。

附图说明

图1为基于视线方向时间关系学习的危险驾驶行为检测方法流程图；

图2为视线状态划分示意图(图2(a)为根据角度划分的视线状态图；图2(b)为两种视线状态的示意图)；

图3为头部朝向向量提取示意图；

图4为双眼视线方向向量提取示意图；

图5为头部与双眼联合视线方向提取示意图；

图6为高斯核学习流程图；

图7为视线状态时间定位示意图；

图8为使用时间关系学习与不使用时间关系学习对比图。

具体实施方式

如图1所示，一种基于视线方向时间关系学习的危险驾驶行为检测方法，在驾驶员的驾驶过程中，摄像头持续拍摄包含驾驶员头部的视频，对视频连续采帧，每4帧采一帧，共采32帧。根据视频帧序列，估计驾驶员的视线状态时间定位(视线状态划分如图2所示)，对驾驶员的危险驾驶行为进行检测，具体包括如下步骤：

步骤1、输入安全驾驶数据集，进行头部朝向估计网络训练，获得头部朝向估计网络参数模型；

步骤1-1：输入头部检测数据集，训练基于Yolov5的头部检测网络模型；

步骤1-2：输入安全驾驶训练集，使用步骤1-1中训练好的头部检测网络模型对输入的图像进行头部区域检测，裁剪后获得头部区域图像；

步骤1-3：对步骤1-2获得的头部区域图像进行归一化处理，使其尺寸统一，并获得图像中心点O^head，用图像中心点O^head表示头部中心点，以头部中心点为坐标原点，水平方向为x轴，垂直方向为y轴，建立直角坐标系；

步骤1-4：将归一化后的头部区域图像通过头部朝向估计网络，头部朝向估计网络由ResNet-34网络和三个全连接层构成，得到头部朝向向量

分别表示横坐标与纵坐标；

步骤1-5：计算步骤1-4中得到的头部朝向向量

与真实的向量

之间的损失函数，

分别表示横坐标与纵坐标，损失函数公式如下：

步骤1-6：使用步骤1-5的损失函数，对步骤1-4中的头部朝向估计网络进行训练，获得头部朝向估计网络参数模型。

步骤2、输入安全驾驶数据集，进行双眼视线方向估计网络训练，获得双眼视线方向估计网络参数模型；

步骤2-1：输入人眼检测数据集，训练基于Yolov5的左眼检测网络模型；

步骤2-2：输入安全驾驶训练集，使用步骤1-2的方法获得头部区域头像，然后使用步骤2-1训练好的左眼检测网络模型，在头部区域图像中，进行左眼区域检测，裁剪后获得左眼区域图像；

步骤2-3：对步骤2-2中获得的左眼区域图像分别进行归一化处理，使其尺寸统一，并获得图像中心点O^left_eye，用图像中心点O^left_eye表示左眼中心点，以头部中心点为坐标原点，水平方向为x轴，垂直方向为y轴，建立直角坐标系；

步骤2-4：使步骤2-3中归一化后的左眼区域图像通过双眼视线方向估计网络的左支，双眼视线方向估计网络的左支由ResNet-18网络构成，产生左眼的视线方向向量

分别表示横坐标与纵坐标；

步骤2-5：输入人眼检测数据集，训练基于Yolov5的右眼检测网络模型；

步骤2-6：输入安全驾驶训练集，使用步骤1-2的方法获得头部区域头像，然后使用步骤2-5训练好的右眼检测网络模型，在头部区域图像中进行右眼区域检测，裁剪后获得右眼区域图像；

步骤2-7：对步骤2-6中获得的右眼区域图像分别进行归一化处理，使其尺寸统一，并获得图像中心点O^right_eye，用图像中心点O^right_eye表示右眼中心点，以头部中心点为坐标原点，水平方向为x轴，垂直方向为y轴，建立直角坐标系；

步骤2-8：使步骤2-7中归一化后的右眼区域图像通过双眼视线方向估计网络的右支，双眼视线方向估计网络的右支由ResNet-18网络构成，产生右眼的视线方向向量

分别表示横坐标与纵坐标；

步骤2-9：将步骤2-4中获得的左眼视线方向向量和步骤2-8右眼视线方向向量通过一个含有一个隐藏层的多层感知器φ_eye，产生双眼视线方向向量

分别表示横坐标与纵坐标：

α^bin_eye＝φ_eye(α^left_eye,α^right_eye)

步骤2-10：计算步骤2-9中的双眼视线方向向量

与真实的向量

之间的损失函数，损失函数公式如下：

步骤2-11：使用步骤2-10中的损失函数，对步骤2-4、步骤2-8和步骤2-9组成的双眼视线方向估计网络进行训练，获得双眼视线方向估计网络参数模型。

步骤3、输入安全驾驶数据集，进行头部与双眼联合视线方向估计网络训练，获得头部与双眼联合视线方向估计网络参数模型；

步骤3-1：输入安全驾驶训练集，使用步骤1-1中训练好的头部检测网络模型对输入图像进行头部区域检测，裁剪后获得头部区域图像；

步骤3-2：对步骤3-1中获得的头部区域图像，使用步骤1中训练好的头部朝向估计网络模型，利用步骤1-4的方法，提取头部朝向向量

步骤3-3：对步骤3-1中获得的头部区域图像，使用步骤2中训练好的双眼视线方向估计网络模型，利用步骤2-1到步骤2-9的方法，在头部区域图像中提取双眼视线方向向量

步骤3-4：将步骤3-2中获得的头部朝向向量α^head与步骤3-3中获得的双眼视线方向向量α^bin_eye通过一个含有一个隐藏层的多层感知器φ(·)，输出结果表示为归一化的头部与双眼联合视线方向向量

分别表示横坐标与纵坐标：

α^union＝φ(α^head,α^bin_eye)

步骤3-5：计算步骤3-4中得到的头部与双眼联合视线方向向量

与真实的向量

之间的损失函数，损失函数公式如下：

步骤3-6：使用步骤3-5中的损失函数，对头部与双眼联合视线方向估计网络进行训练，获得头部与双眼联合视线方向估计网络参数模型。

步骤4、输入安全驾驶数据集，进行视线状态时间定位网络训练，获得视线状态时间定位网络参数模型；

步骤4-1：输入安全驾驶数据集，对包含驾驶员头部的原始视频连续采样，得到视频帧序列；

步骤4-2：使用步骤3中训练好的头部与双眼联合视线方向估计网络模型，利用步骤3-1到步骤3-4的方法，对每个视频帧中的驾驶员进行头部与双眼联合视线方向估计，获得所有视频帧中的驾驶员的联合视线方向向量

步骤4-3：将步骤4-2中得到的所有视频帧中的驾驶员的联合视线方向

转化为视线角度特征，转化公式如下：

步骤4-4：将步骤4-3中得到的所有视频帧中的驾驶员的视线角度特征，组成视线角度特征序列

T为时间长度，t为某一时刻，t∈{1,2,...,T}，θ_t表示t时刻视频帧中的驾驶员的视线角度特征；

步骤4-5：将步骤4-4中得到的视线角度特征序列Θ，通过两个一维卷积层、一个最大池化层和一个一维时序卷积层，得到新的视线角度特征序列

θ′_t为t时刻的视线角度特征；

步骤4-6：对于t时刻的视线角度特征θ′_t，利用一个高斯核G_t来表示θ′_t的时间尺度，t∈{1,2,...,T}；

步骤4-6-1：将步骤4-5中得到的视线角度特征序列Θ′，通过一个一维卷积层，得到所有视线角度特征的高斯核G_t的标准差序列

并通过sigmoid操作将每个标准差限制在(0,1)，σ_t表示高斯核G_t的标准差；

步骤4-6-2：T为时间长度，定义Z为归一化常数，

i∈{1,2,...,T}，t∈{1,2,...,T}，μ_t表示高斯核G_t中的数学期望，p_i为高斯核G_t的参数，则利用步骤4-6-1中学习到的标准差序列

将t时刻的视线角度特征θ′_t的高斯核的权值表示为：

步骤4-6-3：将时间位置为t的视线角度特征θ′_t的中心位置表示为：

步骤4-6-4：定义r_d为时间尺度比例，利用步骤4-6-1中学习到的标准差序列

将时间位置为t的视线角度特征θ′_t的宽度表示为：

步骤4-7：对于步骤4-6中得到的所有高斯核，使用高斯核融合算法，对相邻且重叠度较大的两个高斯核进行融合，获得融合结束后的高斯核集合以及融合结束后的高斯核的时间位置集合；

步骤4-7-1：定义t₁时刻的高斯核与t₂时刻的高斯核之间时间交集的长度为

时间并集的长度为

重叠度为

步骤4-7-2：定义原始的高斯核集合

定义融合过程结束后的高斯核集合为G^end，定义融合结束后的高斯核的时间位置集合为T′；

步骤4-7-3：输入原始的高斯核集合G^start，初始化G^end为空集，定义q∈{1,2,...,T}，z∈{1,2,...,T}，q,z均表示时间位置；

步骤4-7-4：使q指向G^start中的第一个高斯核，z指向G^start中的第二个高斯核，即初始化q＝1，z＝2；

步骤4-7-5：计算

和

之间的重叠度IoU，σ_q表示高斯核

的标准差，σ_z表示高斯核

的标准差，μ_q表示高斯核

中的数学期望，μ_z表示高斯核

中的数学期望；；

步骤4-7-5-1：计算

和

两个高斯核的时间交集的长度H_q,z，计算公式如下，center_q表示时间位置为q的视线角度特征的中心位置，center_z表示时间位置为z的视线角度特征的中心位置，width_q表示时间位置为q的视线角度特征的时间宽度，width_z表示时间位置为z的视线角度特征的时间宽度，：

H_q,z＝length((center_q-width_q,center_q+width_q)∩(center_z-width_z,center_z+width_z))

步骤4-7-5-2：计算

和

两个高斯核的时间并集的长度L_q,z，计算公式如下：

L_q,z＝length((center_q-width_q,center_q+width_q)∪(center_z-width_z,center_z+width_z))

步骤4-7-5-3：计算

和

两个高斯核之间的重叠度IoU_q,z，计算公式如下：

IoU_q,z＝H_q,z/L_q,z

步骤4-7-6：根据步骤4-7-5-3中得到的IoU_q,z，比较IoU_q,z与0.7的大小；

步骤4-7-6-1：若IoU_q,z≥0.7，根据如下的融合公式：

融合

与

将融合结果保存到

时间(q+z)/2加入集合T′；

步骤4-7-6-2：若IoU_q,z＜0.7，将高斯核

加入集合G^end，将时间q加入集合T′，q＝z，

步骤4-7-7：将z指向G^start中的下一个高斯核，即z＝z+1；

步骤4-7-8：比较q与T的大小；

步骤4-7-8-1：当q≤T时，遍历还未结束，则重复执行步骤4-7-5到步骤4-7-8；

步骤4-7-8-2：当q＞T时，遍历结束，则执行步骤4-7-9；

步骤4-7-9：执行完步骤4-7-8后，获得融合过程结束后的高斯核集合G^end以及融合结束后的高斯核的时间位置集合T′；

步骤4-8：利用步骤4-7中得到的融合高斯核集合G^end中的每个高斯核，根据融合高斯曲线中的权值计算特征序列

中的每个特征的加权和，得到视线角度融合特征序列Θ″＝{θ″_t}，θ″_t为t时刻的视线角度融合特征，t∈{1,2,...,T}，i∈{1,2,...,T}，t′∈T′，W_t′[i]为t′时刻的融合高斯曲线的权重，视线角度融合特征计算公式如下：

步骤4-9：根据步骤4-8中得到的融合特征序列Θ″，使用阈值分类的方法，经过分类函数φ_classify(·)得到各融合特征的视线状态分类结果序列

t∈{1,2,...,T}，分类函数如下：

其中，β₁为安全视线角度的下边界，β₂为安全视线角度的上边界；

步骤4-10：根据步骤4-6-3中的方法，获得的时间位置为t的视线角度特征θ′_t的中心位置center_t，组成中心位置值序列

步骤4-11：根据步骤4-6-4中的方法，获得时间位置为t的视线角度特征θ′_t的宽度width_t，组成宽度值序列

步骤4-12：遍历步骤4-9中得到的分类结果序列Y、步骤4-10中得到的中心位置值序列

以及步骤4-11中得到的宽度值序列

得到各段视线状态的起始位置

与结束位置

j为视线状态的段号，j∈A，A是各段视线状态段号的集合；

步骤4-13：根据步骤4-12中得到的各段视线状态的起始位置

和结束位置

与真实的起始位置

和宽度

计算定位损失，损失函数如下：

步骤4-14：使用步骤4-13中的损失函数，对视线状态时间定位网络进行训练，获得视线状态时间定位网络模型参数。

步骤5、在驾驶员的驾驶过程，估计驾驶员的视线状态时间定位，对驾驶员的危险驾驶行为进行检测；

步骤5-1：在驾驶员的驾驶过程中，摄像头持续拍摄包含驾驶员头部的视频；

步骤5-2：对拍摄的视频连续采帧；

步骤5-3：对步骤5-2中采集的所有视频帧，使用步骤4-2到步骤4-3的方法，获得所有视频帧中的驾驶员的视线角度特征，组成视线角度特征序列；

步骤5-4：将步骤5-3中得到的视线角度特征序列作为输入，送入视线状态时间定位网络模型，进行检测，获得各段视线状态的起始位置和结束位置；

步骤5-5：根据步骤5-4中得到的各段视线状态的起始位置和结束位置，获得各段视线状态的持续时长；

步骤5-6：对步骤5-5中得到的各段视线状态的持续时间进行检测，当视线状态处于危险视线状态，且持续时长大于安全时长，则认定为危险驾驶行为，***对驾驶员发出提醒。

Claims (6)

1.一种基于视线方向时间关系学习的危险驾驶行为检测方法，其特征在于：在驾驶员的驾驶过程中，摄像头持续拍摄包含驾驶员头部的视频，对视频连续采帧；根据视频帧序列，估计驾驶员的视线状态时间定位，对驾驶员的危险驾驶行为进行检测，具体包括如下步骤：

步骤1、输入安全驾驶数据集，进行头部朝向估计网络训练，获得头部朝向估计网络参数模型；

步骤2、输入安全驾驶数据集，进行双眼视线方向估计网络训练，获得双眼视线方向估计网络参数模型；

步骤3、输入安全驾驶数据集，进行头部与双眼联合视线方向估计网络训练，获得头部与双眼联合视线方向估计网络参数模型；

步骤4、输入安全驾驶数据集，进行视线状态时间定位网络训练，获得视线状态时间定位网络参数模型；

步骤5、在驾驶员的驾驶过程，估计驾驶员的视线状态时间定位，对驾驶员的危险驾驶行为进行检测。

2.根据权利要求1所述的一种基于视线方向时间关系学习的危险驾驶行为检测方法，其特征在于：步骤1所述的输入安全驾驶数据集，进行头部朝向估计网络训练，获得头部朝向估计网络参数模型，具体包括以下步骤：

步骤1-1：输入头部检测数据集，训练基于Yolov5的头部检测网络模型；

步骤1-2：输入安全驾驶训练集，使用步骤1-1中训练好的头部检测网络模型对输入的图像进行头部区域检测，裁剪后获得头部区域图像；

步骤1-3：对步骤1-2获得的头部区域图像进行归一化处理，使其尺寸统一，并获得图像中心点O^head，用图像中心点O^head表示头部中心点，以头部中心点为坐标原点，水平方向为x轴，垂直方向为y轴，建立直角坐标系；

步骤1-4：将归一化后的头部区域图像通过头部朝向估计网络，头部朝向估计网络由ResNet-34网络和三个全连接层构成，得到头部朝向向量

分别表示横坐标与纵坐标；

步骤1-5：计算步骤1-4中得到的头部朝向向量

与真实的向量

之间的损失函数，

分别表示横坐标与纵坐标，损失函数公式如下：

步骤1-6：使用步骤1-5的损失函数，对步骤1-4中的头部朝向估计网络进行训练，获得头部朝向估计网络参数模型。

3.根据权利要求2所述的一种基于视线方向时间关系学习的危险驾驶行为检测方法，其特征在于，步骤2中所述的输入安全驾驶数据集，进行双眼视线方向估计网络训练，获得双眼视线方向估计网络参数模型，具体包括以下步骤：

步骤2-1：输入人眼检测数据集，训练基于Yolov5的左眼检测网络模型；

步骤2-2：输入安全驾驶训练集，使用步骤1-2的方法获得头部区域头像，然后使用步骤2-1训练好的左眼检测网络模型，在头部区域图像中，进行左眼区域检测，裁剪后获得左眼区域图像；

步骤2-3：对步骤2-2中获得的左眼区域图像分别进行归一化处理，使其尺寸统一，并获得图像中心点O^left_eye，用图像中心点O^left_eye表示左眼中心点，以头部中心点为坐标原点，水平方向为x轴，垂直方向为y轴，建立直角坐标系；

步骤2-4：使步骤2-3中归一化后的左眼区域图像通过双眼视线方向估计网络的左支，双眼视线方向估计网络的左支由ResNet-18网络构成，产生左眼的视线方向向量

分别表示横坐标与纵坐标；

步骤2-5：输入人眼检测数据集，训练基于Yolov5的右眼检测网络模型；

步骤2-6：输入安全驾驶训练集，使用步骤1-2的方法获得头部区域头像，然后使用步骤2-5训练好的右眼检测网络模型，在头部区域图像中进行右眼区域检测，裁剪后获得右眼区域图像；

步骤2-7：对步骤2-6中获得的右眼区域图像分别进行归一化处理，使其尺寸统一，并获得图像中心点O^right_eye，用图像中心点O^right_eye表示右眼中心点，以头部中心点为坐标原点，水平方向为x轴，垂直方向为y轴，建立直角坐标系；

步骤2-8：使步骤2-7中归一化后的右眼区域图像通过双眼视线方向估计网络的右支，双眼视线方向估计网络的右支由ResNet-18网络构成，产生右眼的视线方向向量

分别表示横坐标与纵坐标；

步骤2-9：将步骤2-4中获得的左眼视线方向向量和步骤2-8右眼视线方向向量通过一个含有一个隐藏层的多层感知器φ_eye，产生双眼视线方向向量

分别表示横坐标与纵坐标：

α^bin_eye＝φ_eye(α^left_eye,α^right_eye)

步骤2-10：计算步骤2-9中的双眼视线方向向量

与真实的向量

之间的损失函数，损失函数公式如下：

步骤2-11：使用步骤2-10中的损失函数，对步骤2-4、步骤2-8和步骤2-9组成的双眼视线方向估计网络进行训练，获得双眼视线方向估计网络参数模型。

4.根据权利要求3所述的一种基于视线方向时间关系学习的危险驾驶行为检测方法，其特征在于，步骤3中所述的输入安全驾驶数据集，进行头部与双眼联合视线方向估计网络训练，获得头部与双眼联合视线方向估计网络参数模型，具体包括以下步骤：

步骤3-1：输入安全驾驶训练集，使用步骤1-1中训练好的头部检测网络模型对输入图像进行头部区域检测，裁剪后获得头部区域图像；

步骤3-2：对步骤3-1中获得的头部区域图像，使用步骤1中训练好的头部朝向估计网络模型，利用步骤1-4的方法，提取头部朝向向量

步骤3-3：对步骤3-1中获得的头部区域图像，使用步骤2中训练好的双眼视线方向估计网络模型，利用步骤2-1到步骤2-9的方法，在头部区域图像中提取双眼视线方向向量

步骤3-4：将步骤3-2中获得的头部朝向向量α^head与步骤3-3中获得的双眼视线方向向量α^bin_eye通过一个含有一个隐藏层的多层感知器φ(·)，输出结果表示为归一化的头部与双眼联合视线方向向量

分别表示横坐标与纵坐标：

α^union＝φ(α^head,α^bin_eye)

步骤3-5：计算步骤3-4中得到的头部与双眼联合视线方向向量

与真实的向量

之间的损失函数，损失函数公式如下：

步骤3-6：使用步骤3-5中的损失函数，对头部与双眼联合视线方向估计网络进行训练，获得头部与双眼联合视线方向估计网络参数模型。

5.根据权利要求4所述的一种基于视线方向时间关系学习的危险驾驶行为检测方法，其特征在于：步骤4中所述的输入安全驾驶数据集，进行视线状态时间定位网络训练，获得视线状态时间定位网络参数模型，具体包括以下步骤：

步骤4-1：输入安全驾驶数据集，对包含驾驶员头部的原始视频连续采样，得到视频帧序列；

步骤4-2：使用步骤3中训练好的头部与双眼联合视线方向估计网络模型，利用步骤3-1到步骤3-4的方法，对每个视频帧中的驾驶员进行头部与双眼联合视线方向估计，获得所有视频帧中的驾驶员的联合视线方向向量

步骤4-3：将步骤4-2中得到的所有视频帧中的驾驶员的联合视线方向

转化为视线角度特征，转化公式如下：

步骤4-4：将步骤4-3中得到的所有视频帧中的驾驶员的视线角度特征，组成视线角度特征序列

T为时间长度，t为某一时刻，t∈{1,2,...,T}，θ_t表示t时刻视频帧中的驾驶员的视线角度特征；

步骤4-5：将步骤4-4中得到的视线角度特征序列Θ，通过两个一维卷积层、一个最大池化层和一个一维时序卷积层，得到新的视线角度特征序列

θ_t′为t时刻的视线角度特征；

步骤4-6：对于t时刻的视线角度特征θ′_t，利用一个高斯核G_t来表示θ′_t的时间尺度，t∈{1,2,...,T}；

步骤4-6-1：将步骤4-5中得到的视线角度特征序列Θ′，通过一个一维卷积层，得到所有视线角度特征的高斯核G_t的标准差序列

并通过sigmoid操作将每个标准差限制在(0,1)，σ_t表示高斯核G_t的标准差；

步骤4-6-2：T为时间长度，定义Z为归一化常数，

i∈{1,2,...,T}，t∈{1,2,...,T}，μ_t表示高斯核G_t中的数学期望，p_i为高斯核G_t的参数，则利用步骤4-6-1中学习到的标准差序列

将t时刻的视线角度特征θ_t′的高斯核的权值表示为：

步骤4-6-3：将时间位置为t的视线角度特征θ_t′的中心位置表示为：

步骤4-6-4：定义r_d为时间尺度比例，利用步骤4-6-1中学习到的标准差序列

将时间位置为t的视线角度特征θ_t′的宽度表示为：

步骤4-7：对于步骤4-6中得到的所有高斯核，使用高斯核融合算法，对相邻且重叠度较大的两个高斯核进行融合，获得融合结束后的高斯核集合以及融合结束后的高斯核的时间位置集合；

步骤4-7-1：定义t₁时刻的高斯核与t₂时刻的高斯核之间时间交集的长度为

时间并集的长度为

重叠度为

步骤4-7-2：定义原始的高斯核集合

定义融合过程结束后的高斯核集合为G^end，定义融合结束后的高斯核的时间位置集合为T′；

步骤4-7-3：输入原始的高斯核集合G^start，初始化G^end为空集，定义q∈{1,2,...,T}，z∈{1,2,...,T}，q,z均表示时间位置；

步骤4-7-4：使q指向G^start中的第一个高斯核，z指向G^start中的第二个高斯核，即初始化q＝1，z＝2；

步骤4-7-5：计算

和

之间的重叠度IoU，σ_q表示高斯核

的标准差，σ_z表示高斯核

的标准差，μ_q表示高斯核

中的数学期望，μ_z表示高斯核

中的数学期望；

步骤4-7-5-1：计算

和

两个高斯核的时间交集的长度H_q,z，计算公式如下，center_q表示时间位置为q的视线角度特征的中心位置，center_z表示时间位置为z的视线角度特征的中心位置，width_q表示时间位置为q的视线角度特征的时间宽度，width_z表示时间位置为z的视线角度特征的时间宽度，：

H_q,z＝length((center_q-width_q,center_q+width_q)∩(center_z-width_z,center_z+width_z))

步骤4-7-5-2：计算

和

两个高斯核的时间并集的长度L_q,z，计算公式如下：

L_q,z＝length((center_q-width_q,center_q+width_q)∪(center_z-width_z,center_z+width_z))

步骤4-7-5-3：计算

和

两个高斯核之间的重叠度IoU_q,z，计算公式如下：

IoU_q,z＝H_q,z/L_q,z

步骤4-7-6：根据步骤4-7-5-3中得到的IoU_q,z，比较IoU_q,z与0.7的大小；

步骤4-7-6-1：若IoU_q,z≥0.7，根据如下的融合公式：

融合

与

将融合结果保存到

时间(q+z)/2加入集合T′；

步骤4-7-6-2：若IoU_q,z＜0.7，将高斯核

加入集合G^end，将时间q加入集合T′，q＝z，

步骤4-7-7：将z指向G^start中的下一个高斯核，即z＝z+1；

步骤4-7-8：比较q与T的大小；

步骤4-7-8-1：当q≤T时，遍历还未结束，则重复执行步骤4-7-5到步骤4-7-8；

步骤4-7-8-2：当q＞T时，遍历结束，则执行步骤4-7-9；

步骤4-7-9：执行完步骤4-7-8后，获得融合过程结束后的高斯核集合G^end以及融合结束后的高斯核的时间位置集合T′；

步骤4-8：利用步骤4-7中得到的融合高斯核集合G^end中的每个高斯核，根据融合高斯曲线中的权值计算特征序列

中的每个特征的加权和，得到视线角度融合特征序列Θ″＝{θ″_t}，θ″_t为t时刻的视线角度融合特征，t∈{1,2,...,T}，i∈{1,2,...,T}，t′∈T′，W_t′[i]为t′时刻的融合高斯曲线的权重，视线角度融合特征计算公式如下：

步骤4-9：根据步骤4-8中得到的融合特征序列Θ″，使用阈值分类的方法，经过分类函数φ_classify(·)得到各融合特征的视线状态分类结果序列

t∈{1,2,...,T}，分类函数如下：

其中，β₁为安全视线角度的下边界，β₂为安全视线角度的上边界；

步骤4-10：根据步骤4-6-3中的方法，获得的时间位置为t的视线角度特征θ′_t的中心位置center_t，组成中心位置值序列

步骤4-11：根据步骤4-6-4中的方法，获得时间位置为t的视线角度特征θ_t′的宽度width_t，组成宽度值序列

步骤4-12：遍历步骤4-9中得到的分类结果序列Y、步骤4-10中得到的中心位置值序列

以及步骤4-11中得到的宽度值序列

得到各段视线状态的起始位置

与结束位置

j为视线状态的段号，j∈A，A是各段视线状态段号的集合；

步骤4-13：根据步骤4-12中得到的各段视线状态的起始位置

和结束位置

与真实的起始位置

和宽度

计算定位损失，损失函数如下：

步骤4-14：使用步骤4-13中的损失函数，对视线状态时间定位网络进行训练，获得视线状态时间定位网络模型参数。

6.根据权利要求5所述的一种基于视线方向时间关系学习的危险驾驶行为检测方法，其特征在于：步骤5中所述的在驾驶员的驾驶过程，估计驾驶员的视线状态时间定位，对驾驶员的危险驾驶行为进行检测，具体包括以下步骤：

步骤5-1：在驾驶员的驾驶过程中，摄像头持续拍摄包含驾驶员头部的视频；

步骤5-2：对拍摄的视频连续采帧；

步骤5-3：对步骤5-2中采集的所有视频帧，使用步骤4-2到步骤4-3的方法，获得所有视频帧中的驾驶员的视线角度特征，组成视线角度特征序列；

步骤5-4：将步骤5-3中得到的视线角度特征序列作为输入，送入视线状态时间定位网络模型，进行检测，获得各段视线状态的起始位置和结束位置；

步骤5-5：根据步骤5-4中得到的各段视线状态的起始位置和结束位置，获得各段视线状态的持续时长；

步骤5-6：对步骤5-5中得到的各段视线状态的持续时间进行检测，当视线状态处于危险视线状态，且持续时长大于安全时长，则认定为危险驾驶行为，***对驾驶员发出提醒。

Images