CN115027484A - 一种面向高度自动驾驶的人机融合感知方法 - Google Patents

Abstract

本发明公开了一种面向高度自动驾驶的人机融合感知方法，其方法为：第一步、数据预处理；第二步、驾驶情境感知；第三步、驾驶员典型生物信号提取；第四步、驾驶员驾驶意图理解；第五步、人机混合增强感知图谱生成。有益效果：实现了人类驾驶员与智能驾驶***的有机结合；降低了信息复杂度，降低了驾驶员的感知负担的同时，不会错过关键信息，保证了整体***的安全性；本发明能够结合多学科的先进技术手段，符合自动驾驶技术发展趋势，具有广泛的应用前景和多场景、多工况下的可行性。

Description

一种面向高度自动驾驶的人机融合感知方法

技术领域

本发明涉及一种人机融合感知方法，特别涉及一种面向高度自动驾驶的人机融合感知方法。

背景技术

随着汽车技术的不断发展，车辆的智能化水平越来越高，智能汽车已经成为汽车技术的主要发展方向之一，并且在车辆的各个方面都得到了研究应用。智能汽车的车辆运行过程可以大致的概括为：感知、决策与规划和控制三个过程，三个方面现在都已经成为了汽车行业公认的研究热点。根据国际汽车工程师学会(SAE International)的分级标准，目前主要的技术攻坚集中在L3、L4级的有条件自动驾驶和高度自动驾驶的相关研究上。人机共驾技术正是在这样的大背景下产生的一种具有极高可行性、极强实用性的智能汽车解决方案。

目前，国内外的人机共驾技术正在不断更新迭代，全世界的汽车工程师提出了各种方案已解决人机共驾的感知问题，人机共驾感知技术具有以下特点。首先，保持人在回路特性。与大部分高度自动驾驶或完全自动驾驶的感知技术不同，人机共驾感知技术不仅需要及其对周围交通环境进行感知，还需要保持驾驶员至少保持最低限度的对交通环境的感知，这样不仅极大地提高了***的安全性，同时还增加了***的可解释性和可靠性。其次，汽车和驾驶员的感知具有相同地位。与传统ADAS感知技术不同，人机共驾感知***不是仅仅作为辅助驾驶员的工具，而是具有和驾驶员相同地位的“另一个驾驶员”，它与驾驶员协同合作完成整体驾驶的感知任务，从而明显减轻驾驶员的感知负担。

目前，有关于人机共驾的感知方案，由于技术本身的难度和核心理论体系的不完整，目前还没有形成一个公认的解决方案。存在着准确度不够高、实时性无法保证或适用场合不够全面等诸多问题。

中国专利CN201910666351.9公开了一种面向人机共驾智能网联车辆的驾驶权切换及碰撞预警***，该***感知模块仅做到了对周围交通环境进行了感知。中国专利CN202111100769.7公开了一种智能驾驶车辆的环境感知***、方法、车辆及存储介质，融合了激光雷达传感器、IMU传感器、RTK定位信息和高精地图对智能驾驶车辆周围环境进行了驾驶环境感知。中国专利CN 201910420661.2公开了一种智能驾驶路侧设备感知信息融合处理方法、装置、设备和存储介质，能够对感知子信息基于时间校准进行融合处理，达到良好的感知效果。上述3个专利即代表了当前主流智能驾驶***的感知方案，只能针对驾驶环境中物体进行独立的感知，不能满足人机共驾***的驾驶员与人机共驾***相辅相成这一理念要求，无法站在驾驶员的视角来判断驾驶员对人机共驾感知层的需求。

发明内容

本发明的目的是为了解决现有的智能驾驶***的感知方案，只能针对驾驶环境中物体进行独立的感知，不能满足人机共驾***的驾驶员与人机共驾***相辅相成这一理念要求，无法站在驾驶员的视角来判断驾驶员对人机共驾感知层需求的问题，而提供的一种面向高度自动驾驶的人机融合感知方法。

本发明提供的面向高度自动驾驶的人机融合感知方法，其方法包括的步骤如下：

第一步、数据预处理，具体步骤如下：

步骤一、进行数据采集：采集智能车辆上所搭载的车载CAN总线、各相机传感器信号、各激光雷达毫米波雷达信号、车路协同设备信号，按照固定采样周期采集以下传感器数据：车载CAN总线上产生的以时间序列表示的车辆操纵与运动状态数据，具体包括离合刹车油门踏板操纵信号、变速器操纵信号、方向盘操纵信号；各相机传感器上产生的一定帧率的彩色图像流，相机传感器主要有分布在驾驶员前方识别驾驶员状态的相机传感器和分布在车辆四周用于识别周围交通环境的相机传感器，分别输出带有驾驶员状态信息的彩色图像流和带有周围交通环境信息的彩色图像流；各激光雷达毫米波雷达传感器上产生一定帧率的周围物体运动状态列表，毫米波雷达主要分布在车辆四周，输出带有周围交通环境信息的周围物体运动状态列表；车路协同设备传递来的实时交通状态信号列表；

步骤二、对数据进行校验和对齐：具体环节如下：

环节一、传感器数据有效性验证：分别读取车载总线信号、车辆状态测量信号和多模态环境传感信号的数值并评估它们是否是在传感器正常工作时采集生成，用一个整数标记体现，正值表示传感器工作正常，负值表示异常；若判断出输入信号异常，则在第一步的输出信号车载总线对齐信号、车辆状态测量对齐信号和多模态环境传感对齐信号中将整数标记设置为负数；

环节二、时间对齐：时间对齐指根据传感器物理硬件信息，是指相机传感器和毫米波雷达传感器的帧率和启动时间，将不同传感器在不同时间坐标系下采集到的数据统一到同一个时间坐标系下，这样使得不同传感器的数据之间相互联系，有利于后续的数据分析工作；

时间对齐的策略包括但不限于：设置公共数据缓存区存储不同传感器数据；根据帧率和启动时间的信息计算绝对时间；或智能车辆***内部设置***相对时间，从而对所有传感器数据设置全局时间戳；

环节三、空间对齐：传感器空间对齐指根据传感器安放位置信息，将不同传感器在各自坐标系下采集到的数据统一到同一坐标系，即车辆坐标系下，这样使得不同传感器的数据之间相互联系，有利于后续的数据分析工作；

环节四、整合对齐后的数据：经过时间对齐和空间对齐后的传感器数据实际是带有周围物体运动状况的交通环境图像流和一个统一时空坐标系后的驾驶员状态彩色图像流，这两部分分别整合为统一格式的结构体发送给第二步和第三步作为其数据输入；

第二步、驾驶情境感知，具体步骤如下：

步骤一、头动信号识别：头动信号识别主要识别驾驶员头部姿势的三个姿态角以及眼睛的空间位置，头动识别方法采用卷积神经网络，卷积神经网络的具体结构如下：

将输入图像裁剪为256*256*3的图像，依次经过第一卷积层、、第一池化层、第二卷积层和第二池化层处理后得到16*16*128的特征层，再经过一个由128个神经元组成的神经层，经softmax算法归一化处理后即可得到脸部各特征点的坐标位置，第一卷积层的卷积核大小为3*3*3，第一卷积层的卷积步长为2；第一池化层采用最大池化的方法，第一池化层大小为3*3，第一池化层的步长为2；第二卷积层的卷积核大小为3*3*32，第二卷积层的步长为2；第二池化层采用最大池化的方法，第二池化层的大小为2*2，第二池化层的步长为2；前述特征点包括眉毛、眼角、角膜、瞳孔、鼻尖、鼻孔、嘴巴、下巴和耳朵，根据特征点的位置，运用主动外观模型的方法即可得到驾驶员头部姿态的估计，从而得到驾驶员的头动信号，此信号将作为第四步驾驶员驾驶意图理解的部分输入；

步骤二、眼动信号识别：眼动信号识别主要识别眼动矢量生物信号，通过识别驾驶员眼动矢量对驾驶员的注视行为进行建模，从而得到驾驶员的注视方向，眼动信号识别与步骤一类似，主要使用了卷积神经网络输出的角膜和瞳孔特征点，通过双目摄像头采集的同一时刻下同一特征点的位置进行空间建模，得到三维眼球模型，从而计算出眼睛在空间中的位置和眼动矢量，计算出的眼动信号作为输入传递给第四步和驾驶员驾驶意图理解和第五步人机混合增强感知图谱生成；

第三步、驾驶员典型生物信号提取，具体步骤如下：

步骤一、驾驶环境感知：利用第一步预处理后的各传感器传递来的车辆周围交通环境信息，提取出必要的交通参与物组成典型的交通工况，建立的交通环境中包括周围短时间内可能与主车产生交互的所有交通参与物的相关信息，包括的类别、相对距离和相对速度；驾驶环境感知还需要对车道线和交通标志道路信息进行识别，识别方法包括但不限于：基于计算机视觉的图像识别算法拟合车道线、识别交通标志和交通灯信号；基于车路协同的智能交通***车基—路基设备通讯传输车道、交通标志和交通灯信息；或基于云端高精地图信息的交通道路信息读取；为了实现交通参与物的提取采用以下方案进行运算：

方案一、安全时间算法：该算法是一种基于跟随车与前车碰撞时间的一种前向碰撞预警算法，碰撞时间计算公式如下：

TTC＝D/(V_r-V_f)

式中，D表示跟随车与前车之间的距离；V_r表示跟随车的速度；V_f表示前车的速度，该算法用于同一车道线上交通参与物的提取；

而对于不同车道线上的交通参与物，碰撞时间计算公式则变化为：

TTC＝D/v

式中，D为两车预计碰撞位置与本车位置的距离；v为本车速度；

设置TTC阈值能够提取出周围环境中需要考虑的交通参与物；

方案二、安全距离算法：在实际交通环境中，存在一些交通参与物不会和本车产生安全风险，但却能够对主车的驾驶产生影响，对于这部分交通物体与主车之间的空间绝对距离有一定的关系，定义安全距离DS，具体公式如下：

DS＝vm*2

式中，vm＝max{v_e，v_o，10}，单位为km/h；v_e为主车车速，单位为km/h；v_o为周围物体速度，单位为km/h；DS单位为m；

当DS小于主车与物体间实际距离时则表明该物体在安全距离范围内，会对主车驾驶产生影响，应纳入交通环境建模范围内；

步骤二、驾驶情景理解：驾驶情景定义为当前时刻下，驾驶员获取驾驶相关信息的外部环境，对驾驶情景的理解主要指对基于步骤一所搭建的驾驶环境对当前驾驶工况的提取，典型的驾驶情景包括但不限于：通畅的城市道路、拥堵的城市道路、十字路口、场地园区、高速公路和高架桥，提取方法使用特征对比，根据道路上交通参与物的密度、速度、道路的形状和交通灯的位置关键参数的值划分出不同的驾驶情景；

步骤三、驾驶情境推理：驾驶情境指一段时间内，能够对驾驶员及自动驾驶***产生影响的驾驶环境状态及发展趋势，驾驶情境推理的目的是对当前驾驶环境状态进行综合考量，在综合考虑驾驶员状态后给出最合适的感知图谱，以达到融合增强感知的效果，驾驶情境推理模型的输入为步骤二所生成的驾驶情景历史数据，驾驶情境推理方法为深度学习的Sentiment Analysis方法，对驾驶情境进行量化表示，表示方法为SA＝[sa₁,sa₂]，其中sa_i取值范围为1-5，sa₁表示交通危机状况，sa₁＝1表示环境中无安全风险，逐级递增至sa₁＝5表示本车即将发生不可避免的交通事故；sa₂表示当前交通拥堵程度，sa₂＝1表示道路畅通，逐级递增至sa₂＝5表示本车处于严重的拥堵中；

第四步、驾驶员驾驶意图理解，具体步骤如下：

步骤一、车辆横向驾驶意图理解：通过驾驶员的头动信号、眼动信号、驾驶环境和车载CAN总线传输来的驾驶操作信号，对驾驶员的横向驾驶意图进行推测，驾驶员横向驾驶意图包括但不限于转向、换道和切入；车辆横向驾驶意图理解使用隐马尔可夫模型进行建立，隐马尔可夫模型解决理解驾驶员横向驾驶意图问题分为如下三个环节：

环节一、模型数据定义和采集：驾驶员横向驾驶意图理解问题对应隐马尔可夫模型的评价问题，即对概率值的估值问题，该问题的核心是求得某一交通情境和驾驶员状态下，驾驶员横向驾驶意图为某一值的概率为多少；

将驾驶员的横向驾驶意图表示为Q，定义如下：

Q＝-3，-2，-1,0,1,2分别表示驾驶员当前时刻横向驾驶意图为掉头、向左转向、向左变道、保持直行、向右变道和向右转向；

将驾驶员的头动信号、眼动信号、驾驶环境和车载CAN总线传输来的驾驶操作信号作为观测变量输入，经过时间离散化后得到观测变量序列O₁、O₂、…、O_t,将驾驶员横向驾驶意图作为隐马尔可夫模型的隐状态变量，经过时间离散化后得到隐状态变量序列Q₁、Q₂、…、Q_t；

隐马尔可夫模型参数定义为λ＝(π,A,B)，其中π表示***的初始状态概率，A表示状态转移矩阵，B表示发射矩阵，初始状态概率π:模型在初始时刻各状态出现的概率，记为π＝(π₁,π₂,…,π_t)，π_i表示模型的初始观测变量数据为Oi的概率，状态转移概率A:模型在各个隐状态间转换的概率，记为矩阵A＝[a_ij]，其中a_ij表示在任意时刻t，若隐状态变量数据为Q_i，则在下一时刻隐状态变量数据为Q_j的概率，发射矩阵B：模型观测变量与隐状态变量之间的概率关系，记为矩阵B＝[b_jk]，其中b_jk表示在任意时刻t，若观测变量数据为O_j，则在当前时刻隐状态变量数据为Q_k的概率；

根据上述定义的参数，进行实验采集足够大的数据集，再根据K-means聚类算法对数据集进行初始化和分组，得到模型的初始参数λ₀；

环节二、模型训练：模型训练指根据得到的数据集，根据隐马尔可夫模型的原理进行深度学习重复训练，提高模型的精确度使之能够正常的进行驾驶员横向驾驶意图理解；

模型训练的主要内容为：利用前向-后向算法计算对于采集的数据集中当前训练所使用的的观测变量数据O_train的输出概率P(O_train|λ)，应用EM算法更新模型参数λ,具体包括计算新的状态转移矩阵A和新的发射矩阵B，通过更换使用的观测变量数据和对应的隐状态变量数据进行重复训练，并对P(O_train|λ)进行监测，当该值收敛变化极小或不再改变时，训练结束，将最后一次训练后得到的隐马尔可夫模型参数λ_end作为最终的隐马尔可夫模型参数，得到用于实际驾驶员横向驾驶意图理解的隐马尔可夫模型；

环节三、驾驶员横向驾驶意图理解：隐马尔可夫模型经过训练后用于驾驶员横向驾驶意图理解，理解过程即为隐马尔可夫模型的解码问题求解过程，解码过程使用viterbi算法，将一段时间内驾驶员的头动信号、眼动信号、驾驶环境和车载CAN总线传输来的驾驶操作信号离散化后得到观察变量序列O₁、…、O_t输入模型，求出下一时刻驾驶员横向驾驶意图Q分别为-3、-2、-1、0、1、2的概率，取概率最大者作为最终的驾驶员横向驾驶意图输出；

步骤二、车辆纵向驾驶意图理解：通过驾驶员的头动信号、眼动信号、驾驶环境和车载CAN总线传输来的驾驶操作信号，对驾驶员的纵向驾驶意图进行推测，驾驶员纵向驾驶意图包括但不限于跟车、加速、制动、停车和保持；

步骤三、其他驾驶员驾驶意图理解：通过驾驶员的头动信号、眼动信号、驾驶环境和车载CAN总线传输来的驾驶操作信号，对驾驶员的其他驾驶意图进行推测，驾驶员其他驾驶意图包括但不限于犹豫和超车；

上述的步骤一、步骤二、步骤三为驾驶员不同方面的驾驶意图理解，相互解耦互不干涉，在推理时并行判断，步骤一、步骤二、步骤三的判断具有相似性，步骤二和步骤三与步骤一的方法类似；

第五步、人机混合增强感知图谱生成，具体步骤如下：

步骤一、驾驶员感知目标建模：在绝大多数情况下，驾驶员能够正确的掌控驾驶，因此，机器和驾驶员进行融合感知的第一步应该是了解驾驶员的感知目标；驾驶员感知目标建模包括以下环节：

环节一、驾驶员注视方向建模：根据检测到的驾驶员头动信号和眼动信号对驾驶员当前的注视方向矢量进行建模，注视方向矢量包括驾驶员双眼中心在车辆坐标系下的位置(xe,ye,ze)和注视方向在车辆坐标系下的单位向量(xd,yd,zd)；

环节二、驾驶员感兴趣区域ROI判断：当驾驶员注视方向在某一段时间内保持在了相同或相近的一段区域，则可认为该区域为驾驶员感兴趣区域，驾驶员感兴趣区域中的物体则为驾驶员感知目标；

环节三、驾驶员感知目标建模：驾驶员感知目标确认后需要在步骤四的人机混合增强感知图谱中展示出，因此，需要建立结构体序列来存储感知图谱输出目标信息，在人机混合增强感知图谱中，对物体的ID、相对位置、相对速度和TTC进行记录，在步骤四人机混合增强感知图谱中输出；

相对位置指物体相对于车辆边缘的最短距离，而不是物体在车辆坐标系中的位置，以适应驾驶员的感知习惯，相对速度在表示时取和速度，速度值的正负规定为：相对速度矢量与主车速度矢量的夹角为锐角时取正，夹角为钝角时取负；

根据先前计算得到的驾驶情境分析驾驶员的关注目标，并设置标志位对严重影响当前驾驶情境的目标进行标记，标志位为0表示影响一般；标志位为1表示影响较大，需要特别提醒；标志位为2表示影响非常大，情况紧急，这也标志着当前时刻下判断驾驶情境为危险；

步骤二、驾驶员感知盲区建模：驾驶员的感知是受限的，车辆驾驶过程中存在许多驾驶员无法感知到的盲区，这些盲区的信息在很多时候会成为避免事故发生的关键；驾驶员感知盲区主要包括：

前盲区：指引擎盖前方的部分区域，由车身的高度和车头的长度因素造成；

后盲区：指车辆后方的后视镜和反光镜都不能看到的区域，在建模时近似地认为车辆后方所有区域由于无法得到足够的观察而全部作为盲区处理；

后视镜盲区：指车辆两侧由于后视镜视场有限而为包含的区域，AB柱盲区，位于挡风玻璃两侧由于AB柱遮挡而无法观察到的区域；

上述盲区区域范围内若存在物体，作为关键信息告知驾驶员，在建模时，基于光沿直线传播原理建立盲区所覆盖区域的空间位置模型；

步骤三、机器感知图谱建模：机器感知图谱主要包括驾驶员无法主动感知到的需要机器协助感知的部分，主要包括盲区感知图谱建模、驾驶员疏忽性感知图谱建模和基于驾驶员驾驶意图的需求性感知图谱；盲区感知图谱建模指通过对比周围驾驶环境中物体的空间位置和盲区空间位置筛选出所有处于盲区的物体，记录下物体的ID、相对位置、相对速度和TTC信息，并计算该物体对当前驾驶情境的影响严重程度标志，之后发送给步骤四的人机混合增强感知图谱，驾驶员疏忽性感知图谱指周围驾驶环境中未处在盲区，也没有处于驾驶员感兴趣区域中，但应当被驾驶员注意的物体，这类物体的筛选通过计算该物体对当前驾驶情境的影响严重程度标志完成，在计算后对标志大于0的物体的ID、相对位置、相对速度、TTC和严重程度标志进行记录，与之前相似的，发送给步骤四的人机混合增强感知图谱；基于驾驶员驾驶意图的需求性感知图谱是指驾驶员完成一项驾驶操纵行为时，往往需要对多个目标进行感知，驾驶员变道时需要观察侧前方车辆的同时也需要观察侧后方车辆，除了步骤一中所述的感兴趣区域外，还需要根据驾驶员的驾驶意图对特定位置的物体进行感知，此环节的输入为第四步中所得到的3种驾驶员驾驶意图，采用高维空间搜索算法得到上述的特定位置物体的感知结果，作为输出通过HMI呈现给驾驶员；

步骤四、人机混合增强感知图谱建模：人机混合增强感知图谱作为整个***的输出，提供给驾驶员和智能驾驶***双方感知结果输出，给驾驶员提供的感知图谱主要包括第五步中中步骤一、步骤二和步骤三所感知到的需要展示给驾驶员的所有物体的量化数据信息、前方的交通信号灯信息和当前行驶道路的交通标志信息，给智能驾驶***提供的感知图谱包括，周围驾驶环境中所有物体的全部信息、驾驶情境信息、驾驶员驾驶意图信息，人机混合增强感知图谱向驾驶员的输出环节如下：

环节一、感知图谱对驾驶员输出：通过HUD抬头显示技术直接在前挡风玻璃上投射，在驾驶员感知目标方向上显示驾驶员感知目标的ID、相对位置、相对速度和TTC信息；对于第五步步骤三中所识别出的驾驶员疏忽性感知图谱中的物体作相同处理；若第五步步骤三中所识别出的盲区感知图谱中的物体存在，则在前挡风玻璃下部以警告的形式提示，警告内容除了常规的ID、相对速度、TTC信息以外，还需要包括所处的盲区位置，以取代相对与主车的位置，这样更加直观，能够更有效的减轻驾驶员感知负担，达到良好的人机增强感知效果；

对于上述图谱显示，根据感知图谱中物体对当前驾驶情境的影响严重程度标志位置进行不同颜色的显示，对于严重程度标志位为0的物体，显示使用绿色，对于严重程度标志位为1的物体，显示使用橙色，对于严重程度标志位为2的物体，显示使用红色；

在显示时，如果存在两个或多个物体的显示重叠，则根据物体对当前驾驶情境的影响严重程度标志位进行判断，优先显示严重程度标志位值大的；如果存在两个或多个物体的显示重叠且严重程度标志位值相同，则根据相对距离进行排序，优先显示相对距离近的；

另外，交通灯信号、交通标志信号在前挡风玻璃的顶部显示，当驾驶员做出了违反交通规则的操作时，顶部显示高亮闪烁显示以警告驾驶员；

环节二、感知图谱对人机共驾智能驾驶***输出：人机混合增强感知图谱作为人机共驾技术的感知层，需要输出驾驶员的相关信息，包括驾驶员驾驶意图，周围驾驶环境中的物体全部信息、驾驶情境信息则作为后续规划与决策、控制的计算输入输出。

本发明的有益效果：

本发明所述的人机融合感知方法对于驾驶员状态、驾驶员类型、车辆类型等没有要求，具有普适性；本发明的所有模块均做到了驾驶员在环，实现了人类驾驶员与智能驾驶***的有机结合；本发明所述的人机融合感知方法能够对驾驶员进行全方面的认知，从而根据驾驶员的状态、感知目标等信息提供个性化的融合感知图谱输出，降低了信息复杂度，降低了驾驶员的感知负担的同时，不会错过关键信息，保证了整体***的安全性；本发明所述的的人机融合感知方法还能兼容不同的人机共驾决策规划和控制***，丰富的信息接口能够满足绝大多数人机共驾决策规划和控制***的需求；本发明能够结合多学科的先进技术手段，符合自动驾驶技术发展趋势，具有广泛的应用前景和多场景、多工况下的可行性。

附图说明

图1为本发明所述的人机融合感知方法的流程示意图。

图2为本发明所述的人机融合感知方法框架示意图。

图3为本发明所述的第一步的示例性架构示意图。

图4为本发明所述的第二步的示例性架构示意图。

图5为本发明所述的第三步的示例性架构示意图。

图6为本发明所述的第四步的示例性架构示意图。

图7为本发明所述的第五步的示例性架构示意图。

图8为本发明所述的卷积神经网络的结构示意图。

图9本发明所述的自注意力机制的算法流程示意图。

图10为本发明所述的驾驶意图理解逻辑示意图。

图11本发明所述的盲区示意图。

图12为本发明所述的人机混合增强图谱HUD显示的结果示意图。

图13为本发明所述的人机混合增强感知图谱与人机共驾智能驾驶***的信息传递示意图。

具体实施方式

请参阅图1至图13所示：

本发明所提供的面向高度自动驾驶的人机融合感知方法，其方法包括的步骤如下：

第一步、数据预处理

第二步、驾驶情境感知

第三步、驾驶员典型生物信号提取

第四步、驾驶员驾驶意图理解

第五步、人机混合增强感知图谱生成

第一步中数据预处理的过程如下：

步骤一、进行数据采集。采集智能车辆上所搭载的车载CAN总线、各相机传感器信号、各激光雷达毫米波雷达信号、车路协同设备信号，按照固定采样周期采集以下传感器数据：车载CAN总线上产生的以时间序列表示的车辆操纵与运动状态数据，具体包括离合刹车油门踏板操纵信号、变速器操纵信号、方向盘操纵信号；各相机传感器上产生的一定帧率的彩色图像流，相机传感器主要有分布在驾驶员前方识别驾驶员状态的相机传感器和分布在车辆四周用于识别周围交通环境的相机传感器，分别输出带有驾驶员状态信息的彩色图像流和带有周围交通环境信息的彩色图像流；各激光雷达毫米波雷达传感器上产生一定帧率的周围物体运动状态列表，毫米波雷达主要分布在车辆四周，输出带有周围交通环境信息的周围物体运动状态列表；车路协同设备传递来的实时交通状态信号列表

步骤二、对数据进行校验和对齐。该步骤具体内容包括：

环节一、传感器数据有效性验证。分别读取车载总线信号、车辆状态测量信号和多模态环境传感信号的数值并评估它们是否是在传感器正常工作时采集生成，用一个整数标记体现，正值表示传感器工作正常，负值表示异常；若判断出输入信号异常，则在第一步的输出信号车载总线对齐信号、车辆状态测量对齐信号和多模态环境传感对齐信号中将整数标记设置为负数。

环节二、时间对齐。时间对齐指根据传感器物理硬件信息，如相机传感器和毫米波雷达传感器的帧率、启动时间等，将不同传感器在不同时间坐标系下采集到的数据统一到同一个时间坐标系下，这样使得不同传感器的数据之间相互联系，有利于后续的数据分析工作。

时间对齐的策略包括但不限于：设置公共数据缓存区存储不同传感器数据；根据帧率、启动时间等信息计算绝对时间；或智能车辆***内部设置***相对时间，从而对所有传感器数据设置全局时间戳。

环节三、空间对齐。与时间对齐类似的，传感器空间对齐指根据传感器安放位置信息，将不同传感器在各自坐标系下采集到的数据统一到同一坐标系，车辆坐标系下，这样使得不同传感器的数据之间相互联系，有利于后续的数据分析工作。

环节四、整合对齐后的数据。经过时间对齐和空间对齐后的传感器数据实际是带有周围物体运动状况的交通环境图像流和一个统一时空坐标系后的驾驶员状态彩色图像流，这两部分分别整合为统一格式的结构体发送给第二步和第三步作为其数据输入。

第二步中驾驶员典型生物信号提取的过程如下：

步骤一、头动信号识别。头动信号识别主要识别驾驶员头部姿势的三个姿态角(Yaw、Roll、Pitch)以及眼睛的空间位置。

步骤二、眼动信号识别。眼动信号识别主要识别眼动矢量生物信号。通过识别驾驶员眼动矢量可以对驾驶员的注视行为进行建模，从而得到驾驶员的注视方向。

步骤一所述的头动识别方法为卷积神经网络。卷积神经网络作为主流的深度学习方法，广泛的使用于计算机视觉图像识别领域，具有速度快、精度高的优点。

本步骤所使用的的卷积神经网络如图8所示，具体结构如下：

将输入图像裁剪为256*256*3的图像，依次经过第一卷积层(卷积核大小为3*3*3，卷积步长为2)、第一池化层(采用最大池化的方法，大小3*3，步长为2)、第二卷积层(卷积核大小为3*3*32，步长为2)、第二池化层(采用最大池化的方法，大小2*2，步长为2)处理后得到16*16*128的特征层，在经过一个由128个神经元组成的神经层，经softmax算法归一化处理后即可得到脸部各特征点的坐标位置。上面所述的特征点包括眉毛、眼角、角膜、瞳孔、鼻尖、鼻孔、嘴巴、下巴、耳朵。

根据上述特征点的位置，运用主动外观模型(AAM)的方法即可得到驾驶员头部姿态的估计，从而得到驾驶员的头动信号，此信号将作为第四步驾驶员驾驶意图理解的部分输入。

步骤二所述的眼动信号识别与步骤一类似，主要使用了卷积神经网络输出的角膜和瞳孔特征点，通过双目摄像头采集的同一时刻下同一特征点的位置进行空间建模，得到三维眼球模型，从而计算出眼睛在空间中的位置和眼动矢量。计算出的眼动信号作为输入传递给第四步和驾驶员驾驶意图理解和第五步人机混合增强感知图谱生成。

第三步中驾驶情境感知的过程如下：

步骤一、驾驶环境感知。利用第一步预处理后的各传感器传递来的车辆周围交通环境信息，提取出必要的交通参与物组成典型的交通工况，建立的交通环境中应包括周围短时间内可能与主车产生交互的所有交通参与物的相关信息，包括类别(人、车、锥桶等)、相对距离(包括横向距离和纵向距离)、相对速度。

此外，步骤一驾驶环境感知还需要对车道线、交通标志等道路信息进行识别。识别方法包括但不限于：基于计算机视觉的图像识别算法拟合车道线、识别交通标志、交通灯信号；基于车路协同的智能交通***车基——路基设备通讯传输车道、交通标志、交通灯信息；或基于云端高精地图信息的交通道路信息读取。

步骤二、驾驶情景理解。驾驶情景定义为当前时刻下，驾驶员获取驾驶相关信息的外部环境。对驾驶情景的理解主要指对基于步骤一所搭建的驾驶环境对当前驾驶工况的提取。典型的驾驶情景包括但不限于：通畅的城市道路、拥堵的城市道路、十字路口、场地园区、高速公路、高架桥等。提取方法可以使用特征对比，根据道路上交通参与物的密度、速度、道路的形状、交通灯的位置等关键参数的值划分出不同的驾驶情景。

步骤三、驾驶情境推理。驾驶情境指一段时间内，能够对驾驶员及自动驾驶***产生影响的驾驶环境状态及发展趋势。驾驶情境推理的目的是对当前驾驶环境状态进行综合考量，在综合考虑驾驶员状态后给出最合适的感知图谱，以达到融合增强感知的效果。

步骤一中为了实现交通参与物的提取可使用以下方案进行运算：

方案一：安全时间算法。该算法是一种基于跟随车与前车碰撞时间的一种前向碰撞预警算法，碰撞时间计算公式为：

TTC＝D/(V_r-V_f)

式中，D表示跟随车与前车之间的距离；V_r表示跟随车的速度；V_f表示前车的速度。该算法可以用于同一车道线上交通参与物的提取。

而对于不同车道线上的交通参与物，碰撞时间计算公式则变化为：

TTC＝D/v

式中，D为两车预计碰撞位置与本车位置的距离；v为本车速度。

设置TTC阈值即可提取出周围环境中需要考虑的交通参与物，本专利建议低速工况(低于40km/h)下取5s，中速工况(低于80km/h)下取7.5s，高速工况(高于80km/h)下取10s。

方案二：安全距离算法。在实际交通环境中，存在一些交通参与物不会和本车产生安全风险，但却能够对主车的驾驶产生影响，对于这部分交通物体与主车之间的空间绝对距离有一定的关系。定义安全距离DS：

DS＝vm*2

式中，vm＝max{v_e，v_o，10}，单位为km/h；v_e为主车车速，单位为km/h；v_o为周围物体速度，单位为km/h；DS单位为m。

当DS小于主车与物体间实际距离时则表明该物体在安全距离范围内，会对主车驾驶产生影响，应纳入交通环境建模范围内。

步骤三中的驾驶情境推理模型的输入为步骤二所生成的驾驶情景历史数据，驾驶情境推理方法为深度学习的Sentiment Analysis方法，算法设计结构如图9所示。为了量化考虑驾驶情境，对驾驶情境进行量化表示，表示方法为SA＝[sa₁,sa₂]，其中sa_i取值范围为1-5，sa₁表示交通危机状况，sa₁＝1表示环境中无安全风险，逐级递增至sa₁＝5表示本车即将发生不可避免的交通事故；sa₂表示当前交通拥堵程度，sa₂＝1表示道路畅通，逐级递增至sa₂＝5表示本车处于严重的拥堵中。

第四步中驾驶员驾驶意图理解的过程如下：

步骤一、车辆横向驾驶意图理解。通过驾驶员的头动信号、眼动信号、驾驶环境和车载CAN总线传输来的驾驶操作信号，对驾驶员的横向驾驶意图进行推测。驾驶员横向驾驶意图包括但不限于转向、换道、切入。

步骤二、车辆纵向驾驶意图理解。通过驾驶员的头动信号、眼动信号、驾驶环境和车载CAN总线传输来的驾驶操作信号，对驾驶员的纵向驾驶意图进行推测。驾驶员纵向驾驶意图包括但不限于跟车、加速、制动、停车、保持。

步骤三、其他驾驶员驾驶意图理解。通过驾驶员的头动信号、眼动信号、驾驶环境和车载CAN总线传输来的驾驶操作信号，对驾驶员的其他驾驶意图进行推测。驾驶员其他驾驶意图包括但不限于犹豫、超车。

步骤一、步骤二、步骤三为驾驶员不同方面的驾驶意图理解，相互解耦互不干涉，在推理时并行判断。

由于步骤一、步骤二、步骤三的判断具有相似性，仅对步骤一进行详细阐述，步骤二、步骤三与步骤一的方法类似。

步骤一所述的车辆横向驾驶意图理解使用隐马尔可夫模型进行建立，隐马尔可夫模型解决理解驾驶员横向驾驶意图问题分为三个环节：

环节一、模型数据定义和采集。驾驶员横向驾驶意图理解问题对应隐马尔可夫模型的评价问题，即对概率值的估值问题，该问题的核心是求得某一交通情境和驾驶员状态下，驾驶员横向驾驶意图为某一值的概率为多少。

我们将驾驶员的横向驾驶意图表示为Q，定义如下：

Q＝-3，-2，-1,0,1,2分别表示驾驶员当前时刻横向驾驶意图为掉头、向左转向、向左变道、保持直行、向右变道、向右转向。

我们将驾驶员的头动信号、眼动信号、驾驶环境和车载CAN总线传输来的驾驶操作信号作为观测变量输入，经过时间离散化后得到观测变量序列O₁、O₂、。。。、O_t。我们将驾驶员横向驾驶意图作为隐马尔可夫模型的隐状态变量，经过时间离散化后得到隐状态变量序列Q₁、Q₂、。。。、Q_t。

隐马尔可夫模型参数定义为λ＝(π,A,B)，其中π表示***的初始状态概率，A表示状态转移矩阵，B表示发射矩阵。初始状态概率π:模型在初始时刻各状态出现的概率，通常记为π＝(π₁,π₂,…,π_t)，π_i表示模型的初始观测变量数据为Oi的概率。状态转移概率A:模型在各个隐状态间转换的概率，通常记为矩阵A＝[a_ij]，其中a_ij表示在任意时刻t，若隐状态变量数据为Q_i，则在下一时刻隐状态变量数据为Q_j的概率。发射矩阵B：模型观测变量与隐状态变量之间的概率关系，通常记为矩阵B＝[b_jk]，其中b_jk表示在任意时刻t，若观测变量数据为O_j，则在当前时刻隐状态变量数据为Q_k的概率。

进一步的，根据上述定义的参数，进行实验采集足够大的数据集，再根据K-means聚类算法对数据集进行初始化和分组，得到模型的初始参数λ₀。

环节二、模型训练。模型训练指根据得到的数据集，根据隐马尔可夫模型的原理进行深度学习重复训练，提高模型的精确度使之能够正常的进行驾驶员横向驾驶意图理解。

模型训练的主要内容为：利用前向-后向算法计算对于采集的数据集中当前训练所使用的的观测变量数据O_train的输出概率P(O_train|λ)。应用EM算法更新模型参数λ,具体包括计算新的状态转移矩阵A和新的发射矩阵B。通过更换使用的观测变量数据和对应的隐状态变量数据进行重复训练，并对P(O_train|λ)进行监测，当该值收敛变化极小或不再改变时，训练结束，将最后一次训练后得到的隐马尔可夫模型参数λ_end作为最终的隐马尔可夫模型参数，得到可以用于实际驾驶员横向驾驶意图理解的隐马尔可夫模型。

环节三、驾驶员横向驾驶意图理解。隐马尔可夫模型经过训练后可用于驾驶员横向驾驶意图理解。理解过程即为隐马尔可夫模型的解码问题求解过程，如图10所示。解码过程使用viterbi算法，将一段时间内驾驶员的头动信号、眼动信号、驾驶环境和车载CAN总线传输来的驾驶操作信号离散化后得到观察变量序列O₁，。。。，O_t输入模型，求出下一时刻驾驶员横向驾驶意图Q分别为-3、-2、-1、0、1、2的概率，取概率最大者作为最终的驾驶员横向驾驶意图输出。

第五步中人机混合增强感知图谱生成的过程如下：

步骤一、驾驶员感知目标建模。在绝大多数情况下，驾驶员能够正确的掌控驾驶，因此，机器和驾驶员进行融合感知的第一步应该是了解驾驶员的感知目标。

步骤二、驾驶员感知盲区建模。驾驶员的感知是受限的，车辆驾驶过程中存在许多驾驶员无法感知到的盲区，这些盲区的信息在很多时候会成为避免事故发生的关键。

步骤三、机器感知图谱建模。机器感知图谱主要包括驾驶员无法主动感知到的需要机器协助感知的部分。主要包括盲区感知图谱建模、驾驶员疏忽性感知图谱建模、基于驾驶员驾驶意图的需求性感知图谱。

步骤四、人机混合增强感知图谱建模。人机混合增强感知图谱作为整个***的输出，提供给驾驶员和智能驾驶***双方感知结果输出。给驾驶员提供的感知图谱主要包括步骤一、步骤二、步骤三所感知到的需要展示给驾驶员的所有物体的量化数据信息、前方的交通信号灯信息、当前行驶道路的交通标志信息。给智能驾驶***提供的感知图谱包括，周围驾驶环境中所有物体的全部信息、驾驶情境信息、驾驶员驾驶意图信息。

步骤一所述的驾驶员感知目标建模包括以下环节：

环节一、驾驶员注视方向建模。根据步骤一中检测到的驾驶员头动信号和眼动信号对驾驶员当前的注视方向矢量进行建模。注视方向矢量包括驾驶员双眼中心在车辆坐标系下的位置(xe,ye,ze)和注视方向在车辆坐标系下的单位向量(xd,yd,zd)。

环节二、驾驶员感兴趣区域ROI判断。当驾驶员注视方向在某一段时间内保持在了相同或相近的一段区域，则可认为该区域为驾驶员感兴趣区域，驾驶员感兴趣区域中的物体则为驾驶员感知目标。

环节三、驾驶员感知目标建模。驾驶员感知目标确认后需要在步骤四的人机混合增强感知图谱中展示出，因此，需要建立结构体序列来存储感知图谱输出目标信息。相较于人类驾驶员，机器感知的优势之一在于能够得到精确到数字的量化结果，在人机混合增强感知图谱中，我们对物体的ID、相对位置、相对速度、TTC进行记录，在步骤四人机混合增强感知图谱中输出。

特别的，相对位置指物体相对于车辆边缘的最短距离，而不是物体在车辆坐标系中的位置，以适应驾驶员的感知习惯。相对速度在表示时取和速度，速度值的正负规定为：相对速度矢量与主车速度矢量的夹角为锐角时取正，夹角为钝角时取负。

进一步的，我们可以根据先前计算得到的驾驶情境分析驾驶员的关注目标，并设置标志位对严重影响当前驾驶情境的目标进行标记，标志位为0表示影响一般；标志位为1表示影响较大，需要特别提醒；标志位为2表示影响非常大，情况紧急，这也标志着当前时刻下判断驾驶情境为危险。

步骤二所述的驾驶员感知盲区主要包括：

前盲区，指引擎盖前方的部分区域，由车身的高度、车头的长度等因素造成。后盲区，指车辆后方的后视镜和反光镜都不能看到的区域，在建模时可以近似地认为车辆后方所有区域由于无法得到足够的观察而全部作为盲区处理。后视镜盲区，指车辆两侧由于后视镜视场有限而为包含的区域。AB柱盲区，位于挡风玻璃两侧由于AB柱遮挡而无法观察到的区域。

盲区具体范围如图11所示。

上述盲区区域范围内若存在物体，应作为关键信息告知驾驶员，在建模时，可以基于光沿直线传播原理建立盲区所覆盖区域的空间位置模型。

步骤三所述的盲区感知图谱建模指通过对比周围驾驶环境中物体的空间位置和盲区空间位置筛选出所有处于盲区的物体，记录下物体的ID、相对位置、相对速度、TTC信息，并计算该物体对当前驾驶情境的影响严重程度标志。之后发送给步骤四的人机混合增强感知图谱。

步骤三所述的驾驶员疏忽性感知图谱指周围驾驶环境中未处在盲区，也没有处于驾驶员感兴趣区域中，但应当被驾驶员注意的物体。这类物体的筛选可以通过计算该物体对当前驾驶情境的影响严重程度标志完成，在计算后对标志大于0的物体的ID、相对位置、相对速度、TTC和严重程度标志进行记录。与之前相似的，发送给步骤四的人机混合增强感知图谱。

步骤三所述的基于驾驶员驾驶意图的需求性感知图谱。驾驶员完成一项驾驶操纵行为时，往往需要对多个目标进行感知，例如驾驶员变道时需要观察侧前方车辆的同时也需要观察侧后方车辆，换而言之，除了步骤一中所述的感兴趣区域外，还需要根据驾驶员的驾驶意图对特定位置的物体进行感知。此环节的输入为第四部中所得到的3种驾驶员驾驶意图，采用高维空间搜索算法即可得到上述的特定位置物体的感知结果，作为输出通过HMI呈现给驾驶员。

步骤四所述的人机混合增强感知图谱向驾驶员的输出具体如下：

环节一、感知图谱对驾驶员输出。通过HUD抬头显示技术直接在前挡风玻璃上投射，在驾驶员感知目标方向上显示驾驶员感知目标的ID、相对位置、相对速度、TTC信息；对于步骤三中所识别出的驾驶员疏忽性感知图谱中的物体作相同处理；若步骤三中所识别出的盲区感知图谱中的物体存在，则在前挡风玻璃下部以警告的形式提示，警告内容除了常规的ID、相对速度、TTC信息以外，还需要包括所处的盲区位置，以取代相对与主车的位置，这样更加直观，能够更有效的减轻驾驶员感知负担，达到良好的人机增强感知效果。

进一步的，对于上述图谱显示，根据感知图谱中物体对当前驾驶情境的影响严重程度标志位值进行不同颜色的显示，对于严重程度标志位为0的物体，显示使用绿色，对于严重程度标志位为1的物体，显示使用橙色，对于严重程度标志位为2的物体，显示使用红色。

在显示时，如果存在两个或多个物体的显示重叠，则根据物体对当前驾驶情境的影响严重程度标志位进行判断，优先显示严重程度标志位值大的；如果存在两个或多个物体的显示重叠且严重程度标志位值相同，则根据相对距离进行排序，优先显示相对距离近的。

另外，交通灯信号、交通标志信号在前挡风玻璃的顶部显示，当驾驶员做出了违反交通规则的操作时，顶部显示高亮闪烁显示以警告驾驶员。

人机混合增强感知图谱HUD显示示例如图12所示。

环节二、感知图谱对人机共驾智能驾驶***输出。人机混合增强感知图谱向智能驾驶***的输出基于智能驾驶***的要求，随着人机共驾技术的发展，人机共驾智能驾驶***规划与决策层、控制层越来越多的考虑驾驶员个性化因素的影响，为此，人机混合增强感知图谱作为人机共驾技术的感知层，需要输出驾驶员的相关信息，如驾驶员驾驶意图，其他驾驶员状态量如驾驶员疲劳状态、驾驶员个性等本专利不做进一步讨论，可以根据人机共驾智能汽车框架的需要进行填充，识别方法与驾驶员驾驶意图类似。周围驾驶环境中的物体全部信息、驾驶情境信息则作为后续规划与决策、控制的计算输入输出。

附图13为人机混合增强感知图谱与人机共驾智能驾驶***的信息传递。

Claims (1)

1.一种面向高度自动驾驶的人机融合感知方法，其特征在于：其方法包括的步骤如下：

第一步、数据预处理，具体步骤如下：

步骤一、进行数据采集：采集智能车辆上所搭载的车载CAN总线、各相机传感器信号、各激光雷达毫米波雷达信号、车路协同设备信号，按照固定采样周期采集以下传感器数据：车载CAN总线上产生的以时间序列表示的车辆操纵与运动状态数据，具体包括离合刹车油门踏板操纵信号、变速器操纵信号、方向盘操纵信号；各相机传感器上产生的一定帧率的彩色图像流，相机传感器主要有分布在驾驶员前方识别驾驶员状态的相机传感器和分布在车辆四周用于识别周围交通环境的相机传感器，分别输出带有驾驶员状态信息的彩色图像流和带有周围交通环境信息的彩色图像流；各激光雷达毫米波雷达传感器上产生一定帧率的周围物体运动状态列表，毫米波雷达主要分布在车辆四周，输出带有周围交通环境信息的周围物体运动状态列表；车路协同设备传递来的实时交通状态信号列表；

步骤二、对数据进行校验和对齐：具体环节如下：

环节一、传感器数据有效性验证：分别读取车载总线信号、车辆状态测量信号和多模态环境传感信号的数值并评估它们是否是在传感器正常工作时采集生成，用一个整数标记体现，正值表示传感器工作正常，负值表示异常；若判断出输入信号异常，则在第一步的输出信号车载总线对齐信号、车辆状态测量对齐信号和多模态环境传感对齐信号中将整数标记设置为负数；

环节二、时间对齐：时间对齐指根据传感器物理硬件信息，是指相机传感器和毫米波雷达传感器的帧率和启动时间，将不同传感器在不同时间坐标系下采集到的数据统一到同一个时间坐标系下，这样使得不同传感器的数据之间相互联系，有利于后续的数据分析工作；

时间对齐的策略包括但不限于：设置公共数据缓存区存储不同传感器数据；根据帧率和启动时间的信息计算绝对时间；或智能车辆***内部设置***相对时间，从而对所有传感器数据设置全局时间戳；

环节三、空间对齐：传感器空间对齐指根据传感器安放位置信息，将不同传感器在各自坐标系下采集到的数据统一到同一坐标系，即车辆坐标系下，这样使得不同传感器的数据之间相互联系，有利于后续的数据分析工作；

环节四、整合对齐后的数据：经过时间对齐和空间对齐后的传感器数据实际是带有周围物体运动状况的交通环境图像流和一个统一时空坐标系后的驾驶员状态彩色图像流，这两部分分别整合为统一格式的结构体发送给第二步和第三步作为其数据输入；

第二步、驾驶情境感知，具体步骤如下：

步骤一、头动信号识别：头动信号识别主要识别驾驶员头部姿势的三个姿态角以及眼睛的空间位置，头动识别方法采用卷积神经网络，卷积神经网络的具体结构如下：

将输入图像裁剪为256*256*3的图像，依次经过第一卷积层、、第一池化层、第二卷积层和第二池化层处理后得到16*16*128的特征层，再经过一个由128个神经元组成的神经层，经softmax算法归一化处理后即可得到脸部各特征点的坐标位置，第一卷积层的卷积核大小为3*3*3，第一卷积层的卷积步长为2；第一池化层采用最大池化的方法，第一池化层大小为3*3，第一池化层的步长为2；第二卷积层的卷积核大小为3*3*32，第二卷积层的步长为2；第二池化层采用最大池化的方法，第二池化层的大小为2*2，第二池化层的步长为2；前述特征点包括眉毛、眼角、角膜、瞳孔、鼻尖、鼻孔、嘴巴、下巴和耳朵，根据特征点的位置，运用主动外观模型的方法即可得到驾驶员头部姿态的估计，从而得到驾驶员的头动信号，此信号将作为第四步驾驶员驾驶意图理解的部分输入；

步骤二、眼动信号识别：眼动信号识别主要识别眼动矢量生物信号，通过识别驾驶员眼动矢量对驾驶员的注视行为进行建模，从而得到驾驶员的注视方向，眼动信号识别与步骤一类似，主要使用了卷积神经网络输出的角膜和瞳孔特征点，通过双目摄像头采集的同一时刻下同一特征点的位置进行空间建模，得到三维眼球模型，从而计算出眼睛在空间中的位置和眼动矢量，计算出的眼动信号作为输入传递给第四步和驾驶员驾驶意图理解和第五步人机混合增强感知图谱生成；

第三步、驾驶员典型生物信号提取，具体步骤如下：

步骤一、驾驶环境感知：利用第一步预处理后的各传感器传递来的车辆周围交通环境信息，提取出必要的交通参与物组成典型的交通工况，建立的交通环境中包括周围短时间内可能与主车产生交互的所有交通参与物的相关信息，包括的类别、相对距离和相对速度；驾驶环境感知还需要对车道线和交通标志道路信息进行识别，识别方法包括但不限于：基于计算机视觉的图像识别算法拟合车道线、识别交通标志和交通灯信号；基于车路协同的智能交通***车基—路基设备通讯传输车道、交通标志和交通灯信息；或基于云端高精地图信息的交通道路信息读取；为了实现交通参与物的提取采用以下方案进行运算：

方案一、安全时间算法：该算法是一种基于跟随车与前车碰撞时间的一种前向碰撞预警算法，碰撞时间计算公式如下：

TTC＝D/(V_r-V_f)

式中，D表示跟随车与前车之间的距离；V_r表示跟随车的速度；V_f表示前车的速度，该算法用于同一车道线上交通参与物的提取；

而对于不同车道线上的交通参与物，碰撞时间计算公式则变化为：

TTC＝D/v

式中，D为两车预计碰撞位置与本车位置的距离；v为本车速度；

设置TTC阈值能够提取出周围环境中需要考虑的交通参与物；

方案二、安全距离算法：在实际交通环境中，存在一些交通参与物不会和本车产生安全风险，但却能够对主车的驾驶产生影响，对于这部分交通物体与主车之间的空间绝对距离有一定的关系，定义安全距离DS，具体公式如下：

DS＝vm*2

式中，vm＝max{v_e，v_o，10}，单位为km/h；v_e为主车车速，单位为km/h；v_o为周围物体速度，单位为km/h；DS单位为m；

当DS小于主车与物体间实际距离时则表明该物体在安全距离范围内，会对主车驾驶产生影响，应纳入交通环境建模范围内；

步骤二、驾驶情景理解：驾驶情景定义为当前时刻下，驾驶员获取驾驶相关信息的外部环境，对驾驶情景的理解主要指对基于步骤一所搭建的驾驶环境对当前驾驶工况的提取，典型的驾驶情景包括但不限于：通畅的城市道路、拥堵的城市道路、十字路口、场地园区、高速公路和高架桥，提取方法使用特征对比，根据道路上交通参与物的密度、速度、道路的形状和交通灯的位置关键参数的值划分出不同的驾驶情景；

步骤三、驾驶情境推理：驾驶情境指一段时间内，能够对驾驶员及自动驾驶***产生影响的驾驶环境状态及发展趋势，驾驶情境推理的目的是对当前驾驶环境状态进行综合考量，在综合考虑驾驶员状态后给出最合适的感知图谱，以达到融合增强感知的效果，驾驶情境推理模型的输入为步骤二所生成的驾驶情景历史数据，驾驶情境推理方法为深度学习的Sentiment Analysis方法，对驾驶情境进行量化表示，表示方法为SA＝[sa₁,sa₂]，其中sa_i取值范围为1-5，sa₁表示交通危机状况，sa₁＝1表示环境中无安全风险，逐级递增至sa₁＝5表示本车即将发生不可避免的交通事故；sa₂表示当前交通拥堵程度，sa₂＝1表示道路畅通，逐级递增至sa₂＝5表示本车处于严重的拥堵中；

第四步、驾驶员驾驶意图理解，具体步骤如下：

步骤一、车辆横向驾驶意图理解：通过驾驶员的头动信号、眼动信号、驾驶环境和车载CAN总线传输来的驾驶操作信号，对驾驶员的横向驾驶意图进行推测，驾驶员横向驾驶意图包括但不限于转向、换道和切入；车辆横向驾驶意图理解使用隐马尔可夫模型进行建立，隐马尔可夫模型解决理解驾驶员横向驾驶意图问题分为如下三个环节：

环节一、模型数据定义和采集：驾驶员横向驾驶意图理解问题对应隐马尔可夫模型的评价问题，即对概率值的估值问题，该问题的核心是求得某一交通情境和驾驶员状态下，驾驶员横向驾驶意图为某一值的概率为多少；

将驾驶员的横向驾驶意图表示为Q，定义如下：

Q＝-3，-2，-1,0,1,2分别表示驾驶员当前时刻横向驾驶意图为掉头、向左转向、向左变道、保持直行、向右变道和向右转向；

将驾驶员的头动信号、眼动信号、驾驶环境和车载CAN总线传输来的驾驶操作信号作为观测变量输入，经过时间离散化后得到观测变量序列O₁、O₂、…、O_t,将驾驶员横向驾驶意图作为隐马尔可夫模型的隐状态变量，经过时间离散化后得到隐状态变量序列Q₁、Q₂、…、Q_t；

隐马尔可夫模型参数定义为λ＝(π,A,B)，其中π表示***的初始状态概率，A表示状态转移矩阵，B表示发射矩阵，初始状态概率π:模型在初始时刻各状态出现的概率，记为π＝(π₁,π₂,…,π_t)，π_i表示模型的初始观测变量数据为Oi的概率，状态转移概率A:模型在各个隐状态间转换的概率，记为矩阵A＝[a_ij]，其中a_ij表示在任意时刻t，若隐状态变量数据为Q_i，则在下一时刻隐状态变量数据为Q_j的概率，发射矩阵B：模型观测变量与隐状态变量之间的概率关系，记为矩阵B＝[b_jk]，其中b_jk表示在任意时刻t，若观测变量数据为O_j，则在当前时刻隐状态变量数据为Q_k的概率；

根据上述定义的参数，进行实验采集足够大的数据集，再根据K-means聚类算法对数据集进行初始化和分组，得到模型的初始参数λ₀；

环节二、模型训练：模型训练指根据得到的数据集，根据隐马尔可夫模型的原理进行深度学习重复训练，提高模型的精确度使之能够正常的进行驾驶员横向驾驶意图理解；

模型训练的主要内容为：利用前向-后向算法计算对于采集的数据集中当前训练所使用的的观测变量数据O_train的输出概率P(O_train|λ)，应用EM算法更新模型参数λ,具体包括计算新的状态转移矩阵A和新的发射矩阵B，通过更换使用的观测变量数据和对应的隐状态变量数据进行重复训练，并对P(O_train|λ)进行监测，当该值收敛变化极小或不再改变时，训练结束，将最后一次训练后得到的隐马尔可夫模型参数λ_end作为最终的隐马尔可夫模型参数，得到用于实际驾驶员横向驾驶意图理解的隐马尔可夫模型；

环节三、驾驶员横向驾驶意图理解：隐马尔可夫模型经过训练后用于驾驶员横向驾驶意图理解，理解过程即为隐马尔可夫模型的解码问题求解过程，解码过程使用viterbi算法，将一段时间内驾驶员的头动信号、眼动信号、驾驶环境和车载CAN总线传输来的驾驶操作信号离散化后得到观察变量序列O₁、…、O_t输入模型，求出下一时刻驾驶员横向驾驶意图Q分别为-3、-2、-1、0、1、2的概率，取概率最大者作为最终的驾驶员横向驾驶意图输出；

步骤二、车辆纵向驾驶意图理解：通过驾驶员的头动信号、眼动信号、驾驶环境和车载CAN总线传输来的驾驶操作信号，对驾驶员的纵向驾驶意图进行推测，驾驶员纵向驾驶意图包括但不限于跟车、加速、制动、停车和保持；

步骤三、其他驾驶员驾驶意图理解：通过驾驶员的头动信号、眼动信号、驾驶环境和车载CAN总线传输来的驾驶操作信号，对驾驶员的其他驾驶意图进行推测，驾驶员其他驾驶意图包括但不限于犹豫和超车；

上述的步骤一、步骤二、步骤三为驾驶员不同方面的驾驶意图理解，相互解耦互不干涉，在推理时并行判断，步骤一、步骤二、步骤三的判断具有相似性，步骤二和步骤三与步骤一的方法类似；

第五步、人机混合增强感知图谱生成，具体步骤如下：

步骤一、驾驶员感知目标建模：在绝大多数情况下，驾驶员能够正确的掌控驾驶，因此，机器和驾驶员进行融合感知的第一步应该是了解驾驶员的感知目标；驾驶员感知目标建模包括以下环节：

环节一、驾驶员注视方向建模：根据检测到的驾驶员头动信号和眼动信号对驾驶员当前的注视方向矢量进行建模，注视方向矢量包括驾驶员双眼中心在车辆坐标系下的位置(xe,ye,ze)和注视方向在车辆坐标系下的单位向量(xd,yd,zd)；

环节二、驾驶员感兴趣区域ROI判断：当驾驶员注视方向在某一段时间内保持在了相同或相近的一段区域，则可认为该区域为驾驶员感兴趣区域，驾驶员感兴趣区域中的物体则为驾驶员感知目标；

环节三、驾驶员感知目标建模：驾驶员感知目标确认后需要在步骤四的人机混合增强感知图谱中展示出，因此，需要建立结构体序列来存储感知图谱输出目标信息，在人机混合增强感知图谱中，对物体的ID、相对位置、相对速度和TTC进行记录，在步骤四人机混合增强感知图谱中输出；

相对位置指物体相对于车辆边缘的最短距离，而不是物体在车辆坐标系中的位置，以适应驾驶员的感知习惯，相对速度在表示时取和速度，速度值的正负规定为：相对速度矢量与主车速度矢量的夹角为锐角时取正，夹角为钝角时取负；

根据先前计算得到的驾驶情境分析驾驶员的关注目标，并设置标志位对严重影响当前驾驶情境的目标进行标记，标志位为0表示影响一般；标志位为1表示影响较大，需要特别提醒；标志位为2表示影响非常大，情况紧急，这也标志着当前时刻下判断驾驶情境为危险；

步骤二、驾驶员感知盲区建模：驾驶员的感知是受限的，车辆驾驶过程中存在许多驾驶员无法感知到的盲区，这些盲区的信息在很多时候会成为避免事故发生的关键；驾驶员感知盲区主要包括：

前盲区：指引擎盖前方的部分区域，由车身的高度和车头的长度因素造成；

后盲区：指车辆后方的后视镜和反光镜都不能看到的区域，在建模时近似地认为车辆后方所有区域由于无法得到足够的观察而全部作为盲区处理；

后视镜盲区：指车辆两侧由于后视镜视场有限而为包含的区域，AB柱盲区，位于挡风玻璃两侧由于AB柱遮挡而无法观察到的区域；

上述盲区区域范围内若存在物体，作为关键信息告知驾驶员，在建模时，基于光沿直线传播原理建立盲区所覆盖区域的空间位置模型；

步骤三、机器感知图谱建模：机器感知图谱主要包括驾驶员无法主动感知到的需要机器协助感知的部分，主要包括盲区感知图谱建模、驾驶员疏忽性感知图谱建模和基于驾驶员驾驶意图的需求性感知图谱；盲区感知图谱建模指通过对比周围驾驶环境中物体的空间位置和盲区空间位置筛选出所有处于盲区的物体，记录下物体的ID、相对位置、相对速度和TTC信息，并计算该物体对当前驾驶情境的影响严重程度标志，之后发送给步骤四的人机混合增强感知图谱，驾驶员疏忽性感知图谱指周围驾驶环境中未处在盲区，也没有处于驾驶员感兴趣区域中，但应当被驾驶员注意的物体，这类物体的筛选通过计算该物体对当前驾驶情境的影响严重程度标志完成，在计算后对标志大于0的物体的ID、相对位置、相对速度、TTC和严重程度标志进行记录，与之前相似的，发送给步骤四的人机混合增强感知图谱；基于驾驶员驾驶意图的需求性感知图谱是指驾驶员完成一项驾驶操纵行为时，往往需要对多个目标进行感知，驾驶员变道时需要观察侧前方车辆的同时也需要观察侧后方车辆，除了步骤一中所述的感兴趣区域外，还需要根据驾驶员的驾驶意图对特定位置的物体进行感知，此环节的输入为第四步中所得到的3种驾驶员驾驶意图，采用高维空间搜索算法得到上述的特定位置物体的感知结果，作为输出通过HMI呈现给驾驶员；

步骤四、人机混合增强感知图谱建模：人机混合增强感知图谱作为整个***的输出，提供给驾驶员和智能驾驶***双方感知结果输出，给驾驶员提供的感知图谱主要包括第五步中中步骤一、步骤二和步骤三所感知到的需要展示给驾驶员的所有物体的量化数据信息、前方的交通信号灯信息和当前行驶道路的交通标志信息，给智能驾驶***提供的感知图谱包括，周围驾驶环境中所有物体的全部信息、驾驶情境信息、驾驶员驾驶意图信息，人机混合增强感知图谱向驾驶员的输出环节如下：

环节一、感知图谱对驾驶员输出：通过HUD抬头显示技术直接在前挡风玻璃上投射，在驾驶员感知目标方向上显示驾驶员感知目标的ID、相对位置、相对速度和TTC信息；对于第五步步骤三中所识别出的驾驶员疏忽性感知图谱中的物体作相同处理；若第五步步骤三中所识别出的盲区感知图谱中的物体存在，则在前挡风玻璃下部以警告的形式提示，警告内容除了常规的ID、相对速度、TTC信息以外，还需要包括所处的盲区位置，以取代相对与主车的位置，这样更加直观，能够更有效的减轻驾驶员感知负担，达到良好的人机增强感知效果；

对于上述图谱显示，根据感知图谱中物体对当前驾驶情境的影响严重程度标志位置进行不同颜色的显示，对于严重程度标志位为0的物体，显示使用绿色，对于严重程度标志位为1的物体，显示使用橙色，对于严重程度标志位为2的物体，显示使用红色；

在显示时，如果存在两个或多个物体的显示重叠，则根据物体对当前驾驶情境的影响严重程度标志位进行判断，优先显示严重程度标志位值大的；如果存在两个或多个物体的显示重叠且严重程度标志位值相同，则根据相对距离进行排序，优先显示相对距离近的；

另外，交通灯信号、交通标志信号在前挡风玻璃的顶部显示，当驾驶员做出了违反交通规则的操作时，顶部显示高亮闪烁显示以警告驾驶员；

环节二、感知图谱对人机共驾智能驾驶***输出：人机混合增强感知图谱作为人机共驾技术的感知层，需要输出驾驶员的相关信息，包括驾驶员驾驶意图，周围驾驶环境中的物体全部信息、驾驶情境信息则作为后续规划与决策、控制的计算输入输出。

Images