CN105809152A - 一种基于多源信息融合的驾驶员认知分心监测方法 - Google Patents

Abstract

本发明涉及一种基于多源信息融合的驾驶员认知分心监测方法，属于汽车主动安全技术领域，该方法包括：实时采集方向盘转角、车速和驾驶员头部朝向、注视点位置坐标信息；将实时采集到的数据按时间先后排列成数据序列；根据在计算时间窗长度范围内计算得到的方向盘转角、车速以及驾驶员头部朝向、注视点位置坐标的时域统计指标集合(认知分心特征集合)，采用基于支持向量机的特征级多源信息融合的认知分心监测算法对驾驶员认知分心状态进行实时监测，从而达到提升驾驶安全，减少道路交通事故的目的。

Description

一种基于多源信息融合的驾驶员认知分心监测方法

技术领域

本发明属于汽车主动安全技术领域，特别涉及基于驾驶员操作信息和眼动信息的驾驶员认知分心状态监测技术。

背景技术

在人员、机动车、道路环境三者构成的道路交通***中，机动车驾驶员是***的一个薄弱环节，驾驶过程复杂，包含情景感知、决策和执行等多个环节，难免发生分心失误、判断错误等突发异常，直接导致行车风险。引发驾驶员失误的原因很多，注意力低下是其中最重要的一种。驾驶员注意力监测***是一种先进汽车驾驶辅助***，它对驾驶员的注意力状态进行实时监测，当驾驶员注意力低下时，直接给予警报提示，并为其它驾驶辅助***提供驾驶员注意力状态，提升***对驾驶员状态的适应性，增强***功效。

现有的注意力监测***多针对变化过程缓慢的由疲劳引起的注意力低下，而分心时变性强，监测实时性要求高，现有驾驶员注意力监测无法应对分心的这一特点；现有的注意力监测***多以视觉分心为监测目标，而认知分心表现复杂，结论一致性差，难以挖掘不同驾驶场景下的共性特征，监测难度大。因此，有必要基于驾驶员认知分心的关键表现特征，采用多源信息融合的方法建立可靠、快速的驾驶认知分心在线监测算法。

为实现对驾驶员认知分心状态的有效监测，首先需寻求能反映分心驾驶的关键特征，其次是采用合理的技术手段融合不同关键特征信息并给出相应的状态决策结果。驾驶员分心状态驾驶与常态驾驶在生理信号、眼动信息、驾驶绩效三个方面的表现有显著的特征差异，基于生理信号的监测方法受限于设备笨重，侵入性过强，难以实际运用，现有的分心监测方法在指标选取上有两类方法，第一个是实用导向型——基于驾驶绩效，数据来源简单，成本低，第二个是信息融合型——综合眼动信息和驾驶绩效，随着自动驾驶技术的发展，基于驾驶操作、驾驶绩效的简单监测方法将不再适用，基于机器视觉的驾驶员注意力状态监测属于半自动、自动驾驶时代，且考虑到认知分心无明显的外部表现特征，特征级的信息融合有助于提高监测性能。

发明内容

本发明克服已有技术的不足之处，提出一种基于多源信息融合的驾驶员认知分心监测方法，该方法通过CAN总线采集方向盘转角和车速信息，通过非接触式眼动仪获取驾驶员头部朝向、注视点位置坐标信息，可实时监测驾驶员认知分心状态，从而达到提升驾驶安全，减少道路交通事故的目的。

为达到以上目的，本发明所采用的解决方案是：

提出的一种基于多源信息融合的驾驶员认知分心监测方法，主要利用方向盘转角、车速信号和驾驶员头部朝向、注视点位置坐标的时域统计特征组成认知分心特征集合，对驾驶员认知分心状态进行监测，适应不同复杂度场景；该方法包括以下步骤：

1)驾驶员认知注意状态模型的建立及认知分心监测参数的标定：

11)采集多源驾驶信息训练样本数据：

将某特定驾驶场景采集得到的多源驾驶信息数据作为训练样本按照驾驶员认知分心状态进行标记，将样本集合分为认知分心和常态两类；

12)对采集的数据进行认知分心特征集合D计算：

根据步骤11)采集的训练样本数据计算每个计算时间窗内的认知分心特征信号d，并以此组成认知分心特征集合D，第i个时间窗计算得到1个特征集合D(T_w1,i),D(T_w1,i)＝[d_1i，d_2i，…，d_ni]，该认知分心特征信号包含驾驶绩效指标与眼动信息指标两部分，用于进行认知分心监测，特征信号包括方向盘转角、车速和头部朝向、注视点位置坐标；

13)对特征集合D(T_w1,i),进行标准化处理：

采用最小-最大标准化对特征集合D(T_w1,i)进行线性变换，将特征集合D(T_w1,i)中每一个特征信号d_i映射到d_i′∈[d′_{i，new_min},d′_{i,new_max}]，如式(1.1)：

$d_i^{\′}=\frac{(d_i-d_{i,min})(d_{i,new\_max}^{\′}-d_{i,new\_min}^{\′})}{d_{i,\max }-d_{i,\min }}+d_{i,new\_\min }^{\′}---\left(1.1\right)$

且

其中d′_{i,new_min}和表示集合D(T_w1,i)中指标样本经过映射后的最小值和最大值；

14)根据标准化处理后的特征集合D(T_w1,i)进行驾驶员认知注意状态模型的建立：

对每个计算时间窗，基于支持向量机模型建立驾驶员认知注意状态模型，该模型采用高斯径向基核函数表示，如式(1.3)：

$k(X,Y)=\exp \left\{\frac{{\left|X-Y\right|}^2}{2{\mathrm{\σ}}^2}\right\}---\left(1.3\right)$

其中，|X-Y|为两个特征集合之间的距离，σ为常数；用每个计算时间窗内的特征集合D(T_w1,i)进行模型训练，用于训练的特征集合D(T_w1,i)中一半样本特征信号为认知分心，一半样本特征信号为常态；

根据采集到的训练样本数据，按照设定的计算时间窗长度T_W和重叠度O_p进行特征集合计算与建模，得到一系列按照时间窗序列编号的驾驶员认知注意状态子模型SVM(i)，该子模型构成设定时间长度内覆盖的训练样本数据的驾驶员认知注意状态模型，取需要覆盖的训练样本数据长度为T_t，认知注意状态子模型数量n可由式(1.4)求得：

$n=floor\[\frac{T_t-T_{w1}}{T_{w1}(1-O_p)}+1\]---\left(1.4\right)$

其中，floor()函数表示括号内实数向小取整；

15)对连续时间窗计算得到的已知特征集合D(T_w1,i)进行认知分心状态判别，i＝1,2,…,i,…,n：

采用留一法将训练集样本留取一个样本进行测试，输入到剩余样本训练得到的驾驶员认知注意状态模型中进行认知分心状态的判定结果。每次留取一个样本进行测试，其余样本集作为训练，遍历全部训练集样本：

16)采用一致性检验对认知分心监测参数进行标定：

标定的参数包括计算时间窗长度T_w1、计算时间窗重叠度O_p和缓冲区长度L_b，性能以识别率CR，以及快速性S为衡量目标；

2)对驾驶员认知分心的监测：

21)对驾驶员多源驾驶信息测试样本数据采集：

采用步骤1)的方法获得的通过一致性检验的最优参数组合(T_w1o，O_po，L_bo)作为对驾驶员认知分心的判断模型采用的参数；取计算时间窗的窗宽为T_w1o，时间窗的终点为当前时刻t₀，起始点为时刻(t₀-T_w1o)，两个相邻计算时间窗的数据重叠度为O_po％，

22)对采集的数据进行认知分心特征集合D计算：

根据步骤21)采集的数据计算每个计算时间窗内的认知分心特征信号d，并以此组成认知分心特征集合D，第i个时间窗计算得到1个特征集合D(T_w1o,i),D(T_w1o,i)＝[d_1i，d_2i，…，d_ni]，该认知分心特征信号包含驾驶绩效指标与眼动信息指标两部分，用于进行认知分心监测，特征信号来自方向盘转角、车速和头部朝向、注视点位置坐标；

23)对特征集合D(T_w1o,i),进行标准化处理：

采用最小-最大标准化对特征集合D(T_w1o,i)进行线性变换，将特征集合D(T_w1o,i)中每一个特征信号d_i映射到d′_i∈[d′_{i,new_min},d′_{i,new_max}]，如式(1.1)，其中d′_{i,new_min}和表示集合D(T_w1o,i)中指标样本经过映射后的最小值和最大值，且如式(1.2)；

24)对连续时间窗计算得到的未知特征集合D(T_w1o,i)进行认知分心状态判别得到最终判定结果。

由于采用了以上技术方案，本发明的特点及效果是：

本发明的技术方案通过CAN总线采集方向盘转角和车速信息，通过非接触式眼动仪获取驾驶员头部朝向、注视点位置坐标信息，为驾驶员注意力监测***在特征级多源信息融合上提供了重要参考。

本发明应用于驾驶员认知分心在线监测，能够实时获取驾驶员的注意力状态，从源头避免危险驾驶行为的发生；还可应用于先进汽车驾驶辅助***对驾驶员状态的适应性提升，增强安全***功效，从而提升道路行车安全。

附图说明

图1是本发明驾驶员认知分心监测算法框图。第一部分为模型建立与方法参数标定，第二部分为方法应用。

具体实施方式

本发明提出的一种基于多源信息融合的驾驶员认知分心监测方法结合附图和实施例详细说明如下：

本发明提出的一种基于多源信息融合的驾驶员认知分心监测方法，主要利用方向盘转角、车速信号和驾驶员头部朝向、注视点位置坐标的时域统计特征组成认知分心特征集合，对驾驶员认知分心状态进行监测，适应不同复杂度场景；该方法具体流程如图1所示，包括以下步骤：

1)驾驶员认知注意状态模型的建立及认知分心监测参数的标定：

11)采集多源驾驶信息训练样本数据：

采集的数据包括方向盘转角、车速，驾驶员头部朝向、注视点位置坐标；数据采样频率为2～100Hz；其中方向盘转角、车速通过解析CAN总线数据输出得到，方向盘转角Str单位为度(°)，车速单位为千米/小时(km/h)，驾驶员头部朝向、注视点位置坐标通过非接触式眼动仪输出得到，头部朝向单位为弧度(rad)，注视点X、Y坐标单位为度(°)；将实时采集到的数据按时间先后排列成数据序列；取计算时间窗的窗宽为T_w1，T_w1为2～5s，时间窗的终点为当前时刻t₀，起始点为时刻(t₀-T_w1)，两个相邻计算时间窗的数据重叠度为O_p(单位：％)；

将某特定驾驶场景(如高速公路直线行驶)采集得到的多源驾驶信息数据作为训练样本按照驾驶员认知分心状态进行标记，将样本集合分为认知分心(驾驶同时执行特定认知次任务，如打手机)，以及常态两类；

12)对采集的数据进行认知分心特征集合D计算：

根据步骤11)采集的训练样本数据计算每个计算时间窗内的认知分心特征信号d，并以此组成认知分心特征集合D(第i个时间窗计算得到1个特征集合D(T_w1,i),D(T_w1,i)＝[d_1i，d_2i，…，d_ni])，该认知分心特征信号包含驾驶绩效指标与眼动信息指标两部分，用于进行认知分心监测，特征信号包括方向盘转角、车速和头部朝向、注视点位置坐标；具体包括：

121)驾驶绩效指标包含的特征信号如下：

方向盘转角Str和车速V信号的均值Mean，标准差Std，变异系数CV，最大值Max，幅度Amp，均方根Rms，25百分位Q₁，50百分位Q₂，75百分位Q₃，25百分位均值MeanQ₁，75百分位均值MeanQ₃，峰值频次PeakFrq，极差PeakAmpl，以及方向盘转角Str的中位转向百分比NeuPerc，大幅度转向百分比LarPerc，大幅度转向时长LarTime，如表1所示；

表1驾驶绩效指标计算方法

122)眼动信息指标包含的特征信号如下：

头部朝向HHg，头部朝向标准差HHg_std，注视点水平坐标Gaze_X，注视点水平坐标标准差Gaze_X_std，注视点垂直坐标Gaze_Y，注视点垂直坐标标准差Gaze_Y_std。

由所述两类特征信号得到每个时间窗内用于驾驶员认知分心监测的特征集D＝{Mean(V),Std(V),CV(V),Max(V),Amp(V),Rms(V),Q₁(V),Q₂(V),Q₃(V),MeanQ₁(V),MeanQ₃(V),PeakFrq(V),PeakAmpl(V),Mean(Str),Std(Str),CV(Str),Max(Str),Amp(Str),Rms(Str),Q₁(Str),Q₂(Str),Q₃(Str),MeanQ₁(Str),MeanQ₃(Str),PeakFrq(Str),PeakAmpl(Str),NeuPerc(Str),LarPerc(Str),LarTime(Str),HHg,HHg_std,Gaze_X，Gaze_X_std,Gaze_Y，Gaze_Y_std}。一个时间窗数据计算得到的特征集合D包含：该时间窗内采集到车速信号和方向盘转角信号的均值、标准差、变异系数、最大值、最大值和均值之差值、均方根、25百分位值、50百分位值、75百分位值、25百分位以内均值、75百分位以上均值、局部极值出现的频次、最大值和最小值之差值；方向盘转角信号的绝对值小于0.25°范围信号时间占比、绝对值大于2°范围信号时间占比、绝对值大于2°范围信号时间累积长度；头部朝向角度信号的均值、标准差，注视点水平坐标信号的均值、标准差，注视点垂直坐标信号的均值、标准差。

13)对特征集合D(T_w1,i),进行标准化处理：

采用最小-最大标准化对特征集合D(T_w1,i)进行线性变换，将特征集合D(T_w1,i)中每一个特征信号d_i映射到d′_i∈[d′_{i,new_min},d′_{i,new_max}]，如式(1.1)：

$d_i^{\′}=\frac{(d_i-d_{i,min})(d_{i,new\_max}^{\′}-d_{i,new\_min}^{\′})}{d_{i,\max }-d_{i,\min }}+d_{i,new\_\min }^{\′}---\left(1.1\right)$

且

其中d′_{i,new_min}和表示集合D(T_w1,i)中指标样本经过映射后的最小值和最大值；

14)根据标准化处理后的特征集合D(T_w1,i)进行驾驶员认知注意状态模型的建立：

对每个计算时间窗，基于支持向量机模型建立驾驶员认知注意状态模型，该模型采用高斯径向基核函数表示，如式(1.3)：

$k(X,Y)=\exp \left\{\frac{{\left|X-Y\right|}^2}{2{\mathrm{\σ}}^2}\right\}---\left(1.3\right)$

其中，|X-Y|为两个特征集合之间的距离，σ为常数，取值为1；用每个计算时间窗内的特征集合D(T_w1,i)进行模型训练，用于训练的特征集合D(T_w1,i)中一半样本特征信号为认知分心，一半样本特征信号为常态；

根据采集到的训练样本数据，按照设定的计算时间窗长度T_W和重叠度O_p进行特征集合计算与建模，得到一系列按照时间窗序列编号的驾驶员认知注意状态子模型SVM(i)，该子模型构成设定时间长度内覆盖的训练样本数据的驾驶员认知注意状态模型，取需要覆盖的训练样本数据长度为T_t，认知注意状态子模型数量n可由式(1.4)求得：

$n=floor\[\frac{T_t-T_{w1}}{T_{w1}(1-O_p)}+1\]---\left(1.4\right)$

其中，floor()函数表示括号内实数向小取整。

15)对连续时间窗计算得到的已知特征集合D(T_w1,i)(i＝1,2,…,n)进行认知分心状态判别：

采用留一法将训练集样本留取一个样本进行测试，输入到剩余样本训练得到的驾驶员认知注意状态模型中进行认知分心状态的判定结果。每次留取一个样本进行测试，其余样本集作为训练，遍历全部训练集样本：

151)单个计算时间窗内的训练集样本的认知状态判定：

根据步骤12)和13)的计算方法将步骤11)采集到的多源驾驶信息数据中i个计算时间窗(窗宽T_w1)计算得到1个认知分心特征集合D(T_w1,i)，输入到步骤14)训练好的驾驶员认知注意状态子模型SVM(i)中，得到第i个计算时间窗特征信号属于认知分心(ds)或者常态(dn)的初步判别结果ds_i或dn_i；

152)对初步判别结果进行滤波识别：

将步骤151)得到的各个计算时间窗内特征信号的初步判别结果按照时间顺序进入长度为L_b(单位：s)的缓冲区(L_b＝3～12s)，当缓冲区内各个计算时间窗内特征信号的初步判定结果一致(全为ds或全为dn)，则给出最终判定结果，即驾驶员的认知注意状态属于认知分心或常态，从驾驶员认知分心开始到被所述方法检测到所消耗的时间用于表征最终判定结果的快速性S，如式(1.5)：

S＝(k-1)(1-O_p)T_w1＋T_w1(1.5)

其中k为给出最终判定结果的计算时间窗序号；当前n个计算时间窗结果依次进入缓冲区，而并未得到初步判定结果一致的缓冲区，则判定失效；驾驶员认知注意状态的最终判定结果，如图1所示；

16)采用一致性检验对认知分心监测参数进行标定：

标定的参数包括计算时间窗长度T_w1、计算时间窗重叠度O_p和缓冲区长度L_b，性能以识别率CR(将分心和常态分别识别正确的样本占总样本的比例)，以及快速性S为衡量目标；具体包括；

161)识别结果与训练集样本标签的一致性检验：

训练集样本分为常态与认知分心两类，通过152)步骤得到留取样本的最终判定结果(测试标签)。比较采集得到的样本标签和152)步骤得到的最终判定结果，测试标签与训练集样本标签一致，则进入162)步骤进行进一步检验；测试标签与训练集样本标签不一致，则该留取样本记为方法失败(识别错误)；

162)识别结果稳定性的一致性检验：

对通过161)一致性检验的识别正确的留取样本执行本步骤。在第一次给出最终判定结果后，继续执行步骤152)，直到缓冲区内得到初步判定结果再次达成一致则停止一致性检验；a)如果再次达成一致的结果与152)步骤已经给出的最终判定结果不同，则方法失败(虽然判定正确，但算法稳定性差)；b)如果该结果与最终判定结果一致，则方法通过一致性检验(判定正确，且算法稳定性好)；c)如果无法再次得到初步判定结果一致的缓冲区，则方法失败(虽然判定正确，但算法稳定性差)。

163)统计不同参数组合(T_w1，O_p，L_b)下的方法性能指标：

对留取样本通过161)步骤和162)步骤的一致性检验后的两种结果，方法失败与方法成功，按步骤15)所述留一法每次留取一个样本进行测试，其余样本集作为训练，遍历全部训练集样本，统计全部训练集样本方法成功占总数的比例，记为识别率CR；对方法成功的训练样本，计算快速性S，如式(1.5)。

在测试的参数范围内，对不同参数组合(T_w1，O_p，L_b)重复执行步骤12)～16)，将认知分心检测参数通过采集得到的样本，以识别率和决策快速性为优化目标，求得最优参数组合(T_w1o，O_po，L_bo)作为对驾驶员认知分心的判断模型采用的参数。

2)对驾驶员认知分心的监测：

21)对驾驶员多源驾驶信息测试样本数据采集：

采集的数据包括方向盘转角、车速，驾驶员头部朝向、注视点位置坐标；数据采样频率为2～100Hz；其中方向盘转角、车速通过解析CAN总线数据输出得到，方向盘转角Str单位为度(°)，车速单位为千米/小时(km/h)，驾驶员头部朝向、注视点位置坐标通过非接触式眼动仪输出得到，头部朝向单位为弧度(rad)，注视点X、Y坐标单位为度(°)；将实时采集到的数据按时间先后排列成数据序列；

采用步骤1)的方法获得的通过一致性检验的最优参数组合(T_w1o，O_po，L_bo)作为应用时对驾驶员认知分心的判断模型采用的参数；取计算时间窗的窗宽为T_w1o，时间窗的终点为当前时刻t₀，起始点为时刻(t₀-T_w1o)，两个相邻计算时间窗的数据重叠度为O_po(单位：％)，例如，本实施例数据的采样频率为60Hz，经步骤1)得到最优的计算时间窗为：窗宽T_w1o＝5s，重叠度O_po＝75％，缓冲区长度为：L_bo＝3s。

22)对采集的数据进行认知分心特征集合D计算：

根据步骤21)采集的数据计算每个计算时间窗内的认知分心特征信号d，并以此组成认知分心特征集合D(第i个时间窗计算得到1个特征集合D(T_w1o,i),D(T_w1o,i)＝[d_1i，d_2i，…，d_ni])，该认知分心特征信号包含驾驶绩效指标与眼动信息指标两部分，用于进行认知分心监测，特征信号来自方向盘转角、车速和头部朝向、注视点位置坐标；具体包括：

221)驾驶绩效指标包含的特征信号如下：

方向盘转角Str和车速V信号的均值Mean，标准差Std，变异系数CV，最大值Max，幅度Amp，均方根Rms，25百分位Q₁，50百分位Q₂，75百分位Q₃，25百分位均值MeanQ₁，75百分位均值MeanQ₃，峰值频次PeakFrq，极差PeakAmpl，以及方向盘转角Str的中位转向百分比NeuPerc，大幅度转向百分比LarPerc，大幅度转向时长LarTime，如表1所示；

222)眼动信息指标包含的特征信号如下：

头部朝向HHg，头部朝向标准差HHg_std，注视点水平坐标Gaze_X，注视点水平坐标标准差Gaze_X_std，注视点垂直坐标Gaze_Y，注视点垂直坐标标准差Gaze_Y_std。

由所述两类特征信号得到每个时间窗内用于驾驶员认知分心监测的特征集D＝{Mean(V),Std(V),CV(V),Max(V),Amp(V),Rms(V),Q₁(V),Q₂(V),Q₃(V),MeanQ₁(V),MeanQ₃(V),PeakFrq(V),PeakAmpl(V),Mean(Str),Std(Str),CV(Str),Max(Str),Amp(Str),Rms(Str),Q₁(Str),Q₂(Str),Q₃(Str),MeanQ₁(Str),MeanQ₃(Str),PeakFrq(Str),PeakAmpl(Str),NeuPerc(Str),LarPerc(Str),LarTime(Str),HHg,HHg_std,Gaze_X，Gaze_X_std,Gaze_Y，Gaze_Y_std}。一个时间窗数据计算得到的特征集合D包含：该时间窗内采集到车速信号和方向盘转角信号的均值、标准差、变异系数、最大值、最大值和均值之差值、均方根、25百分位值、50百分位值、75百分位值、25百分位以内均值、75百分位以上均值、局部极值出现的频次、最大值和最小值之差值；方向盘转角信号的绝对值小于0.25°范围信号时间占比、绝对值大于2°范围信号时间占比、绝对值大于2°范围信号时间累积长度；头部朝向角度信号的均值、标准差，注视点水平坐标信号的均值、标准差，注视点垂直坐标信号的均值、标准差。

23)对特征集合D(T_w1o,i),进行标准化处理：

采用最小-最大标准化对特征集合D(T_w1o,i)进行线性变换，将特征集合D(T_w1o,i)中每一个特征信号d_i映射到d′_i∈[d′_{i,new_min},d′_{i,new_max}]，计算方法，如式(1.1)，其中d′_{i,new_min}和表示集合D(T_w1o,i)中指标样本经过映射后的最小值和最大值，且如式(1.2)。

24)对连续时间窗计算得到的未知特征集合D(T_w1o,i)(i＝1,2,…,n)进行认知分心状态判别：将未知样本输入到步骤14)得到的驾驶员认知注意状态模型中，得到最终判定结果；具体包括：

241)单个计算时间窗的认知状态判定：

根据步骤22)和23)的计算方法将步骤21)采集到的多源驾驶信息数据中i个计算时间窗(窗宽T_w1o)计算得到1个认知分心特征集合D(T_w1o,i)，输入到步骤14)训练好的驾驶员认知注意状态子模型SVM(i)中，得到第i个计算时间窗特征信号属于认知分心(ds)或者常态(dn)的初步判别结果ds_i或dn_i；

242)对初步判别结果进行滤波识别：

将步骤241)得到的各个计算时间窗内特征信号的初步判别结果按照时间顺序进入长度为L_bo(单位：s)的缓冲区，当缓冲区内各个计算时间窗内特征信号的初步判定结果一致(全为ds或全为dn)，则给出最终判定结果，即驾驶员的认知注意状态属于认知分心或常态，并得到用于表征方法的决策快速性的所消耗时间S；当前n个计算时间窗结果依次进入缓冲区，而并未得到初步判定结果一致的缓冲区，则判定失效。

本发明应用于驾驶员认知分心在线监测，能够实时获取驾驶员的认知注意状态，从源头避免危险驾驶行为的发生；还可应用于先进汽车驾驶辅助***对驾驶员状态的适应性提升，增强安全***功效，从而提升道路行车安全。

本发明不限于此实施例，任何通过本发明的揭示而做出的不脱离本发明范畴的改进与修改都在本发明的保护范围之内。

本发明的方法性能通过一个具体实施例进行说明如下：

1)模型建立与参数标定

本发明利用驾驶模拟器采集常态驾驶与分心驾驶在两种典型驾驶场景下的驾驶数据，两种典型驾驶场景分别为停止标志控制的交叉路口(城市道路)和限速高速公路(高速公路)。城市道路场景为停止标识控制的交叉路口(共11人参与)，道路为双向双车道，由中国交通规则，设定单车道宽3.75m。自车在非优先通行道路驾驶，与自车方向交叉的道路为优先通行道路，停止标识要求驾驶员需要在停止线外停车观察，等待横向车流通过，确认安全后方可离开。高速公路场景为限速高速公路(共16人参与)，道路为6车道双向公路，由中国交通规则，设定单车道宽3.75m。自车在如图所示中央车道行驶，不可换道，车速由被试控制，要求按照本车道交通限速标志规定的最低车速和最高车速行驶。

驾驶员在驾驶模拟器设定的虚拟场景中完全自主驾驶车辆，采集的数据片段为通过交叉路口以及经过限速标志。驾驶员的认知分心状态由钟表认知次任务产生，该次任务占用驾驶员的视觉空间工作记忆。在一组次任务中，被试将依次听到3个随机化设置的时间(1:00–12:59)，每个时间之间的停顿间隔为5s，当听到一个时间，例如10:30(十点三十分)时，被试需要在脑海中描绘该时间对应的表盘和指针情况，口头指出时针和分针是否成锐角，即回答“是”或者“否”。

正常无次任务同时进行的驾驶数据样本标记为常态，次任务与驾驶同时进行的驾驶数据样本标记为认知分心。

11)采集多源驾驶信息训练样本数据：

从驾驶模拟器上采集车辆状态数据，从安装在驾驶模拟器车身内部的眼动仪采集驾驶员头部运动和眼部注视信息。采集的数据包括方向盘转角、车速，驾驶员头部朝向、注视点位置坐标；数据采样频率为60Hz；其中方向盘转角Str单位为度(°)，车速单位为千米/小时(km/h)，驾驶员头部朝向单位为弧度(rad)，注视点X、Y坐标单位为度(°)；将实时采集到的数据按时间先后排列成数据序列；取计算时间窗的窗宽为T_w1(单位：s)，T_w1测试范围为2s和5s，时间窗的终点为当前时刻t₀，起始点为时刻(t₀-T_w1)，两个相邻计算时间窗的数据重叠度为O_p(单位：％)，O_p测试范围为25％，50％，75％和95％。

12)对采集的数据进行认知分心特征集合D计算：

根据步骤11)采集的数据计算每个计算时间窗内的认知分心特征信号d，并以此组成认知分心特征集合D(第i个时间窗计算得到1个特征集合D(T_w1,i),D(T_w1,i)＝[d_1i，d_2i，…，d_ni])，该认知分心特征信号包含驾驶绩效指标与眼动信息指标两部分，用于进行认知分心监测，特征信号来自方向盘转角、车速和头部朝向、注视点位置坐标。

一个时间窗数据计算得到的特征集合D包含：该时间窗内采集到车速信号和方向盘转角信号的均值、标准差、变异系数、最大值、最大值和均值之差值、均方根、25百分位值、50百分位值、75百分位值、25百分位以内均值、75百分位以上均值、局部极值出现的频次、最大值和最小值之差值；方向盘转角信号的绝对值小于0.25°范围信号时间占比、绝对值大于2°范围信号时间占比、绝对值大于2°范围信号时间累积长度；头部朝向角度信号的均值、标准差，注视点水平坐标信号的均值、标准差，注视点垂直坐标信号的均值、标准差。如本实施例交叉路口通过场景某测试样本采集得到的数据第一个时间窗计算得到D(1,Tw₁＝2s)。

13)对特征集合D(T_w1,i)进行标准化处理：

采用最小-最大标准化对特征集合D(T_w1,i)进行线性变换，将特征集合D(T_w1,i)中每一个特征信号d映射到d′∈[-1,1]，计算方法如式(1.1)，其中d_{new_min}和d_{new_max}表示训练样本集合D中，某特征信号的最大值和最小值。以测试样本第一个计算时间窗车速均值信号为例，取值d＝37.2km/h，训练集合中第一个计算时间窗车速均值信号最大值d_{new_max}＝56.8km/h，最小值d_{new_max}＝19.9km/h，经过式(1.1)计算得到归一化后的测试样本第一个计算时间窗车速均值信号d′＝-0.0623。

14)根据标准化处理后的特征集合D(T_w1,i)进行驾驶员认知注意状态模型的建立：

对每个计算时间窗，基于支持向量机模型建立驾驶员认知注意状态模型，该模型采用高斯径向基核函数表示，如式(1.3)。用每个计算时间窗内的特征集合D(T_w1,i)进行模型训练，用于训练的特征集合D(T_w1,i)中一半样本特征信号为认知分心，一半样本特征信号为常态。

根据采集到的训练样本数据，按照特定计算时间窗长度T_w1和重叠度O_p进行特征集合计算与建模，可以得到一系列按照时间窗序列编号的驾驶员认知注意状态子模型SVM(i)，这些子模型构成覆盖一定时间长度训练样本数据的驾驶员认知注意状态模型，认知注意状态子模型数量n由实际应用需求确定。本实施例中，样本数据片段长度约30s，使模型覆盖30s数据片段，取T_w1＝5s，两个相邻计算时间窗的数据重叠度为O_p＝75％，由式(1.4)可以求得子模型数量n＝21。

本实施例采用“LIBSVM”Matlab工具包进行模型训练和测试。

15)对连续时间窗计算得到的已知特征集合D(T_w1,i)(i＝1,2,…,21)进行认知分心状态判别：

该步骤采用留一法，将训练集样本留取一个样本作为测试，输入到剩余样本训练得到的驾驶员认知注意状态模型中，进行判定，结果与标记一致则识别正确，结果与标记不一致则识别错误。每次留取一个样本作为测试，其余样本集作为训练，这样遍历全部训练集样本。

151)单个计算时间窗的认知状态判定：

如图1驾驶员认知分心监测方法所示，根据步骤12)和13)的计算方法将步骤11)采集到的多源驾驶信息数据中前5个计算时间窗(窗宽T_w1＝5s，重叠度O_p＝75％)计算得到5个认知分心特征集合D(i,T_w1,O_p),i＝1,2,…5，输入到步骤14)训练好的1～5个驾驶员认知注意状态子模型中，得到初步判定结果序列(ds,ds,ds,ds,dn,dn,dn,dn)；

152)对初步判别结果进行滤波识别：

步骤151)得到初步判定结果序列(ds,ds,ds,ds,dn,dn,dn,dn)按照时间顺序进入长度为L_b＝5s的缓冲区，时间窗计算特征集合的间隔为T_w1(1-O_p)＝1.25s，因此L_b＝5s的缓冲区内可容纳4个初步判定结果序列，当取到第4个初步判定结果，缓冲区内初步判定结果一致(全为ds)，则给出最终判定结果，即驾驶员的认知注意状态属于认知分心。

16)采用一致性检验对认知分心监测参数进行标定：

标定的参数包括计算时间窗长度T_w1、计算时间窗重叠度O_p和缓冲区长度L_b，性能以识别率CR(将分心和常态分别识别正确的样本占总样本的比例)，以及快速性S为衡量目标；具体包括；

161)识别结果与训练集样本标签的一致性检验：

训练集样本分为常态与认知分心两类，通过152)步骤得到留取样本的最终判定结果(测试标签)。比较采集得到的样本标签和152)步骤得到的最终判定结果，测试标签与训练集样本标签一致，则进入162)步骤进行进一步检验，如152)所示留取样本判定为认知分心，其训练集样本为认知分心，则该留取样本进入162)步骤检验；测试标签与训练集样本标签不一致，则该留取样本记为方法失败(识别错误)；

162)识别方法稳定性的一致性检验：

对通过161)一致性检验的识别正确的留取样本执行本步骤。在第一次给出最终判定结果后，继续执行步骤152)，直到缓冲区内得到初步判定结果再次达成一致则停止一致性检验，151)步骤得到的初步判定结果序列(ds,ds,ds,ds,dn,dn,dn,dn)在152)步骤按照时间顺序进入长度为L_b＝5s的缓冲区，时间窗计算特征集合的间隔为T_w1(1-O_p)＝1.25s，因此L_b＝5s的缓冲区内可容纳4个初步判定结果序列，当取到第4个初步判定结果，缓冲区内初步判定结果一致(全为ds)，则给出驾驶员的认知注意状态属于认知分心的最终判定结果，继续执行152)步骤，可以看到当序列后4个dn进入缓冲区，则缓冲区内初步判定结果再次达成一致(全为dn)。

根据下述判定原则：a)如果再次达成一致的结果与152)步骤已经给出的最终判定结果不同，则方法失败(虽然判定正确，但算法稳定性差)；b)如果该结果与最终判定结果一致，则方法通过一致性检验(判定正确，且算法稳定性好)；c)如果无法再次得到初步判定结果一致的缓冲区，则方法失败(虽然判定正确，但算法稳定性差)；该留取样本两次在缓冲区达成一致的最终判定结果不同，属于a)情况。

163)统计特定参数组合(T_w1，O_p，L_b)下的方法性能指标：

留取样本通过161)步骤和162)步骤的一致性检验后，有两种结果，方法失败与方法成功，未能通过162)步骤的一致性检验，该留取样本标记为方法失败。如步骤15)所述，留一法每次留取一个样本进行测试，其余样本集作为训练，遍历全部训练集样本，统计全部训练集样本方法成功占总数的比例，记为识别率CR；对方法成功的训练样本，计算快速性S，如式(1.5)。

本发明的认知分心监测算法平衡决策快速性和识别率，快速性好但识别率低造成误警，快速性差即使识别率高也会降低算法效用。由本发明的实施例参数测试范围以及性能指标定义如表2所示。

表2参数测试范围和性能指标

通过采集得到的训练样本，以识别率和决策快速性为优化目标，求得最优参数组合(T_w1o＝5s，O_po＝75％，L_bo＝3s)作为应用时对驾驶员认知分心的判断模型采用的参数。最佳方法参数组合的在线监测性能如表3所示。

表3最佳算法参数组合下的在线监测性能统计

由实施例性能结果可知，本发明的驾驶员认知分心监测方法在不同场景间性能稳定，不仅识别率较高，且快速性好。

Claims (5)

1.一种基于多源信息融合的驾驶员认知分心监测方法，其特征在于，该方法包括以下步骤：

1)驾驶员认知注意状态模型的建立及认知分心监测参数的标定：

11)采集多源驾驶信息训练样本数据：

将某特定驾驶场景采集得到的多源驾驶信息数据作为训练样本按照驾驶员认知分心状态进行标记，将样本集合分为认知分心和常态两类；

12)对采集的数据进行认知分心特征集合D计算：

根据步骤11)采集的训练样本数据计算每个计算时间窗内的认知分心特征信号d，并以此组成认知分心特征集合D，第i个时间窗计算得到1个特征集合D(T_w1,i),D(T_w1,i)＝[d_1i，d_2i，…，d_ni]，该认知分心特征信号包含驾驶绩效指标与眼动信息指标两部分，用于进行认知分心监测，特征信号包括方向盘转角、车速和头部朝向、注视点位置坐标；

13)对特征集合D(T_w1,i),进行标准化处理：

采用最小-最大标准化对特征集合D(T_w1,i)进行线性变换，将特征集合D(T_w1,i)中每一个特征信号d_i映射到d′_i∈[d′_{i,new_min},d′_{i,new_max}]，如式(1.1)：

且

其中d′_{i,new_min}和表示集合D(T_w1,i)中指标样本经过映射后的最小值和最大值；

14)根据标准化处理后的特征集合D(T_w1,i)进行驾驶员认知注意状态模型的建立：

对每个计算时间窗，基于支持向量机模型建立驾驶员认知注意状态模型，该模型采用高斯径向基核函数表示，如式(1.3)：

其中，|X-Y|为两个特征集合之间的距离，σ为常数；用每个计算时间窗内的特征集合D(T_w1,i)进行模型训练，用于训练的特征集合D(T_w1,i)中一半样本特征信号为认知分心，一半样本特征信号为常态；

根据采集到的训练样本数据，按照设定的计算时间窗长度TW和重叠度O_p进行特征集合计算与建模，得到一系列按照时间窗序列编号的驾驶员认知注意状态子模型SVM(i)，该子模型构成设定时间长度内覆盖的训练样本数据的驾驶员认知注意状态模型，取需要覆盖的训练样本数据长度为T_t，认知注意状态子模型数量n可由式(1.4)求得：

其中，floor()函数表示括号内实数向小取整；

15)对连续时间窗计算得到的已知特征集合D(T_w1,i)进行认知分心状态判别，i＝1,2,…,i,…,n：

采用留一法将训练集样本留取一个样本进行测试，输入到剩余样本训练得到的驾驶员认知注意状态模型中进行认知分心状态的判定结果。每次留取一个样本进行测试，其余样本集作为训练，遍历全部训练集样本：

16)采用一致性检验对认知分心监测参数进行标定：

标定的参数包括计算时间窗长度T_w1、计算时间窗重叠度O_p和缓冲区长度L_b，性能以识别率CR，以及快速性S为衡量目标；

2)对驾驶员认知分心的监测：

21)对驾驶员多源驾驶信息测试样本数据采集：

采用步骤1)的方法获得的通过一致性检验的最优参数组合(T_w1o，O_po，L_bo)作为对驾驶员认知分心的判断模型采用的参数；取计算时间窗的窗宽为T_w1o，时间窗的终点为当前时刻t₀，起始点为时刻(t₀-T_w1o)，两个相邻计算时间窗的数据重叠度为O_po％；

22)对采集的数据进行认知分心特征集合D计算：

根据步骤21)采集的数据计算每个计算时间窗内的认知分心特征信号d，并以此组成认知分心特征集合D，第i个时间窗计算得到1个特征集合D(T_w1o,i),D(T_w1o,i)＝[d_1i，d_2i，…，d_ni]，该认知分心特征信号包含驾驶绩效指标与眼动信息指标两部分，用于进行认知分心监测，特征信号来自方向盘转角、车速和头部朝向、注视点位置坐标；

23)对特征集合D(T_w1o,i),进行标准化处理：

采用最小-最大标准化对特征集合D(T_w1o,i)进行线性变换，将特征集合D(T_w1o,i)中每一个特征信号d_i映射到d′_i∈[d′_{i,new_min},d′_{i,new_max}]，如式(1.1)，其中d′_{i,new_min}和表示集合D(T_w1o,i)中指标样本经过映射后的最小值和最大值，且如式(1.2)；

24)对连续时间窗计算得到的未知特征集合D(T_w1o,i)进行认知分心状态判别：将未知样本输入到步骤14)得到的驾驶员认知注意状态模型中，得到最终判定结果。

2.如权利要求1所述基于多源信息融合的驾驶员认知分心监测方法，其特征在于，所述步骤15)具体包括：

151)单个计算时间窗内的训练集样本的认知状态判定：

根据步骤12)和13)的计算方法将步骤11)采集到的多源驾驶信息数据中i个计算时间窗计算得到1个认知分心特征集合D(T_w1,i)，窗宽T_w1，输入到步骤14)训练好的驾驶员认知注意状态子模型SVM(i)中，得到第i个计算时间窗特征信号属于认知分心(ds)或者常态(dn)的初步判别结果ds_i或dn_i；

152)对初步判别结果进行滤波识别：

将步骤151)得到的各个计算时间窗内特征信号的初步判别结果按照时间顺序进入长度为L_b的缓冲区，L_b＝3～12s，当缓冲区内各个计算时间窗内特征信号的初步判定结果一致，全为ds或全为dn，则给出最终判定结果，即驾驶员的认知注意状态属于认知分心或常态，从驾驶员认知分心开始到被所述方法检测到所消耗的时间用于表征最终判定结果的快速性S，如式(1.5)：

S＝(k-1)(1-O_p)T_w1+T_w1(1.5)

其中k为给出最终判定结果的计算时间窗序号；当前n个计算时间窗结果依次进入缓冲区，而并未得到初步判定结果一致的缓冲区，则判定失效。

3.如权利要求2所述基于多源信息融合的驾驶员认知分心监测方法，其特征在于，所述步骤16)具体包括：

161)识别结果与训练集样本标签的一致性检验：

训练集样本分为常态与认知分心两类，通过152)步骤得到留取样本的最终判定结果，比较采集得到的样本标签和152)步骤得到的最终判定结果，测试标签与训练集样本标签一致，则进入162)步骤进行进一步检验；测试标签与训练集样本标签不一致，则该留取样本记为方法失败；

162)识别结果稳定性的一致性检验：

在第一次给出最终判定结果后，继续执行步骤152)，直到缓冲区内得到初步判定结果再次达成一致则停止一致性检验；a)如果再次达成一致的结果与152)步骤已经给出的最终判定结果不同，则方法失败；b)如果该结果与最终判定结果一致，则方法通过一致性检验；c)如果无法再次得到初步判定结果一致的缓冲区，则方法失败；

163)统计不同参数组合(T_w1，O_p，L_b)下的方法性能指标：

对留取样本通过161)步骤和162)步骤的一致性检验后，产生的方法失败与方法成功两种结果，按步骤15)所述留一法每次留取一个样本进行测试，其余样本集作为训练，遍历全部训练集样本，统计全部训练集样本方法成功占总数的比例，记为识别率CR；对方法成功的训练样本，计算快速性S，如式(1.5)；

在参数的测试范围内，对不同参数组合(T_w1，O_p，L_b)重复执行步骤12)～16)，将认知分心检测参数通过采集得到的样本，以识别率和决策快速性为优化目标，求得最优参数组合(T_w1o，O_po，L_bo)作为对驾驶员认知分心的判断模型采用的参数。

4.如权利要求1所述基于多源信息融合的驾驶员认知分心监测方法，其特征在于，所述步骤221)驾驶绩效指标包含的特征信号如下：

方向盘转角Str和车速V信号的均值Mean，标准差Std，变异系数CV，最大值Max，幅度Amp，均方根Rms，25百分位Q₁，50百分位Q₂，75百分位Q₃，25百分位均值MeanQ₁，75百分位均值MeanQ₃，峰值频次PeakFrq，极差PeakAmpl，以及方向盘转角Str的中位转向百分比NeuPerc，大幅度转向百分比LarPerc，大幅度转向时长LarTime；

222)眼动信息指标包含的特征信号如下：

头部朝向HHg，头部朝向标准差HHg_std，注视点水平坐标Gaze_X，注视点水平坐标标准差Gaze_X_std，注视点垂直坐标Gaze_Y，注视点垂直坐标标准差Gaze_Y_std。

5.如权利要求1所述基于多源信息融合的驾驶员认知分心监测方法，其特征在于，所述步骤24)具体包括：

241)单个计算时间窗的认知状态判定：

根据步骤22)和23)的计算方法将步骤21)采集到的多源驾驶信息数据中i个计算时间窗计算得到1个认知分心特征集合D(T_w1o,i)，时间窗宽为T_w1o，输入到步骤14)训练好的驾驶员认知注意状态子模型SVM(i)中，得到第i个计算时间窗特征信号属于认知分心(ds)或者常态(dn)的初步判别结果ds_i或dn_i；

242)对初步判别结果进行滤波识别：

将步骤241)得到的各个计算时间窗内特征信号的初步判别结果按照时间顺序进入长度为L_bo的缓冲区，当缓冲区内各个计算时间窗内特征信号的初步判定结果一致，全为ds或全为dn，则给出最终判定结果，即驾驶员的认知注意状态属于认知分心或常态，并得到用于表征方法的决策快速性的所消耗时间S；当前n个计算时间窗结果依次进入缓冲区，而并未得到初步判定结果一致的缓冲区，则判定失效。