CN112435503B - 一种辨识高危行人意图的智能汽车主动避撞方法 - Google Patents

Abstract

本发明公开了一种辨识高危行人意图的智能汽车主动避撞方法，S1获取车辆自身行驶信息与环境信息；识别行人、位置；获取车辆当前行驶状态信息；S2利用深度卷积神经网络模型辨识行人姿态和注意力状态；利用Openpose算法获取行人关键点特征信息，将提取的行人关键点输入到长短时记忆网络模型中，提取行人身体姿态和注意力状态特征，实现对行人注意力状态的分类识别；S3基于动态贝叶斯网络模型，融合S2中行人姿态和注意力状态概率，辨识行人穿行或避让意图；S4若S3中判断行人有穿行马路意图时，计算与前方行人的最小安全距离；S5当车辆与前方行人的距离小于1.5倍最小安全距离时，车辆制动，同时投影灯在车辆前方投影出红色警示区域。

Description

一种辨识高危行人意图的智能汽车主动避撞方法

技术领域

本发明属于行驶安全技术领域，具体涉及一种通过辨识高危行人意图的智能汽车主动避撞方法。

背景技术

随着近年来汽车保有量的快速增加，道路交通安全问题已经成为社会关注的重点。在人车混杂环境下，车辆与行人的碰撞事故频频发生。智能汽车如何有效避免因行人违规横穿马路造成的交通事故，一直困扰着车辆主动安全研究领域人员。

目前，针对人车混杂环境下行人保护问题的研究，可分为两类，一类是把行人当作特殊静态障碍物，利用卷积神经网络等人工智能算法识别行人并获取其位置信息，从而提高行人检测的准确率和运算速度；另一类基于人工智能算法辨识人体姿态特征、追踪行人轨迹并预判行人位置，一定程度上提高了智能车辆在人车混杂环境下的安全性。

中国专利申请公开号CN109117701A的专利公开了一种图卷积的行人意图识别技术，该方法通过图卷积算法提取行人运动特征，再利用神经网络辨识行人行为意图。但这仅仅考虑到了行人的身体姿态，事实上一些处于追逐打闹、打电话聊天的行人，往往会忽视外界其他交通参与者，因而行人的分神状态同样对其运动轨迹影响巨大。

发明内容

为了解决上述问题，本发明提出了一种辨识高危行人意图的智能汽车主动避撞方法。具体技术方案如下：一种辨识高危行人意图的智能汽车主动避撞方法，包括如下步骤：

1)获取车辆自身行驶信息与环境信息；

CCD相机可以安装在车辆前挡风玻璃中间位置，根据相机采集的图像识别行人；毫米波雷达安装在车辆前保险杠处，用于获取行人位置等；利用车辆CAN总线获取车辆当前行驶状态信息，所述车辆行驶状态信息包括车辆行驶速度信息；

2)利用深度卷积神经网络辨识行人行为特征和精神状态特征；

利用Openpose算法获取行人关键点特征信息，将提取的行人关键点输入到长短时记忆网络模型中，提取行人身体姿态和注意力状态特征，实现行人注意力状态的分类识别；

3)基于动态贝叶斯网络，融合步骤2)中行人姿态行为和注意力状态概率，从而辨识行人穿行或避让意图；

以自车对行人行为的影响，行人目的地等作为隐藏变量，以人车相对距离，车辆行驶速度，行人身体朝向，行人注意力状态特征作为观测层变量，搭建动态贝叶斯网络模型；通过后验概率推理，得到动态贝叶斯网络的输出即行人穿行或避让意图的分类，并将该输出作为步骤4的输入；

4)若步骤3中判断行人将有穿行马路意图时，计算与前方行人的最小安全距离；

5)当车辆与前方行人的距离小于1.5倍安全距离时，车辆由电子控制单元控制制动，同时投影灯在车辆前方投影出红色警示区域；

6)单位时间之内，重复步骤1至步骤5直到车辆到达安全地点；

进一步的，上述步骤2)中，利用深度卷积神经网络算法辨识人车混杂环境下行人身体姿态和注意力状态特征；

所述深度卷积神经网络模型包括：

2.1)输入图片先经过VGG19网络的前十层和另外两个卷积层获得特征图，再利用双支线网络预测关键点位置，第一个分支预测身体部位间的亲和度，第二个分支预测身体部位位置的置信度图，利用非极大抑制获取候选关键点集，最后通过贪心推理计算出图像关键点位置的全局最优解，获取图像中所有的人18个人体关键点的位置。双分支的损失函数

和

分别表示为

其中，

表示亲和度分支的真实值，

表示置信图分支的真实值，

表示亲和度分支的预测值，

表示置信图分支的预测值，W(p)可以取值为0或1，防止算法惩罚那些没有标注信息的关键点，J表示亲和度分支的样本数，C表示置信图分支的样本数。

2.2)利用提取到的行人关键点坐标信息x_t作为输入,通过长短期记忆网络进行高层次特征提取，其中长短期记忆网络在每个时间步内采用遗忘门控制上一层细胞的隐藏状态，计算过程如公式所示：

F_t＝σ(W_Fh_t-1+U_Fx_t+b_F) (3)

式中，F_t表示遗忘门，h_t表示短期状态，W_F和U_F表示遗忘门的权重矩阵，b_F表示遗忘门的偏置，σ是sigmod激活函数。

输入门更新细胞状态信息，计算过程如公式所示：

I_t＝σ(W_Ih_t-1+U_Ix_t+b_I) (4)

式中，I_t表示输入门，W_I和U_I表示输入门的权重矩阵，b_I表示输入门的偏置。

输出门结合历史信息和新输入信息得出当前细胞隐藏状态的输出，计算过程如公式所示：

O_t＝σ(W_Oh_t-1+U_Ox_t+b_O) (5)

式中，O_t表示输出门，W_O和U_O表示输出门的权重矩阵，b_O表示输入门的偏置。

利用输出门和当前时刻的记忆单元状态计算的隐含层输出值如下：

h_t＝O_ttanh(c_t) (6)

式中，c_t代表新的单元状态。

最后利用全连接层f计算长短期记忆网络输出向量h_t的权重w_t，经过softmax层输出行人分神或集中两种注意力状态分类a_t的预测结果。

进一步的，上述步骤3)中，设计动态贝叶斯网络模型包括如下步骤：

3.1)定义动态贝叶斯网络的节点

隐层节点包含两层信息：第一层是人车碰撞危险、行人目的地、行人位置以及行人注意力状态，第二层是行人是否避让车辆；隐层变量集合E＝{R,D,P}和C＝{I}，均为离散变量，其中R表示人车碰撞危险、D表示行人目的地、P表示行人位置，I表示行人是否避让车辆；

观测层节点主要包括两层信息：行人与车辆的纵向与横向距离，车辆行驶速度，行人身体朝向，行人注意力状态类别；观测层变量集合O＝{L_lon,L_lat,V_v,O_P}和A＝{A_P}，其中O_p,A_p为离散变量，L_lon,L_lat,V_v为连续变量，L_lon,L_lat表示行人与车辆的纵向与横向距离，V_v表示车辆行驶速度，O_P行人身体朝向，A_P表示行人注意力状态类别；

3.2)网络结构的未知参数训练

给定变量集{L_lon,L_lat,V_v,O_p,A_p}和训练集T，通过学习网络参数找到一个最佳匹配此训练集T的网络N＝(D,θ)，并采用一个匹配性函数度量训练样本和网络的匹配程度；其中，D表示网络结构，θ表示网络的参数；

根据S2中深度卷积神经网络算法可以获得观测层变量的发生概率，隐层和观测层间的条件概率利用训练集T进行参数学习，可以使用最大似然估计法作为匹配性函数来训练。设训练样本T关于网络参数θ的似然函数为L(θ)＝logP(T|θ)，利用梯度优化算法计算最优解

3.3)根据观测层变量的后验概率推断

后验概率是指根据观测层变量推断出的隐层变量概率分布，其具体过程如下：

1)预测：用t时刻的概率分布得到t+1时刻的联合概率分布；设t时刻所有离散隐层变量{E_t,C_t}的联合分布为

条件变量的转移概率为P(E_t+1|E_t)，上一时刻变量的后验分布是

则t+1时刻的离散隐层变量{E_t,C_t,E_t+1,C_t+1}联合分布为：

2)更新：引入t+1时刻的观测变量来获得新的概率分布；其中一个观测变量O为{L_lon,L_lat,V_v}，另一个观测变量A为{A_p}，则t+1时刻的离散隐层变量{E_t,C_t,E_t+1,C_t+1}联合分布为：

进一步的，上述步骤4)中，设计的行人最小安全距离模型如下：

a_v-max＝μg (10)

式子：S_must—最小安全距离，v_v—自车车速，a_v-max—自车最大制动减速度，d₀—人车静止时应具有的最小安全距离，g―重力加速度，μ―路面附着力系数。

进一步的，上述步骤5)中所述的投影灯是安装在车头保险杠中间处，利用将灯光投影到车辆行驶前方，用来警示行人处于人车碰撞风险区域。

本发明的有益效果：

1、针对处于追逐打闹、打电话聊天的行人对外界环境信息感知存在某种程度疏忽的问题，本发明在深度卷积神经网络算法辨识出行人身体姿态特征的基础上，还将行人的注意力状态融合到动态贝叶斯网络中，提前发现前方行人的高危行为，为智能汽车辅助驾驶***的决策及控制提供准确依据。

2、针对现有的神经网络模型行人意图识别的泛化能力、可解释性差且含标签的数据较少，本文利用动态贝叶斯网络，以人车距离，车辆行驶速度，行人身体朝向等作为观测变量，并融合行人注意力状态特征，实现多时序下行人穿行或避让意图的预测。

附图说明

图1是本发明方法流程图。

图2是行人注意力状态预测框架图。

图3是长短期记忆网络结构图。

图4是动态贝叶斯网络网络。

具体实施方式

下面结合附图对本发明作进一步说明。

本发明提出了一种辨识高危行人意图的智能汽车主动避撞方法。具体技术方案如下：一种辨识高危行人意图的智能汽车主动避撞方法，如图1所示，包括如下步骤：

1)获取车辆自身行驶信息与环境信息；

CCD相机可以安装在车辆前挡风玻璃中间位置，根据相机采集的图像识别行人及其姿态；毫米波雷达安装在车辆前保险杠处，用于获取行人位置等；利用车辆CAN总线获取车辆当前行驶状态信息，所述车辆行驶状态信息包括车辆行驶速度信息；

2)利用深度卷积神经网络辨识行人行为特征和精神状态特征；

利用Openpose算法获取行人关键点特征信息，将提取的行人关键点输入到长短时记忆网络模型中，分别提取行人身体姿态和注意力状态特征，实现对行人注意力状态的分类识别；

3)基于动态贝叶斯网络，融合步骤2)中行人姿态和注意力状态概率，从而辨识行人穿行和避让意图；

以自车对行人行为的影响，行人目的地等作为隐藏变量，以人车相对距离，车辆行驶速度，行人身体朝向，行人注意力状态特征作为观测层变量，搭建动态贝叶斯网络模型；通过后验概率推理，得到动态贝叶斯网络的输出即行人是否穿行的估计概率，并将该输出作为步骤4的输入；

4)若步骤3中判断行人将有穿行马路意图时，计算与前方行人的最小安全距离；

5)当车辆与前方行人的距离小于1.5倍安全距离时，车辆由电子控制单元控制制动，同时投影灯在车辆前方投影出红色警示区域；

6)单位时间之内，重复步骤1至步骤5直到车辆到达安全地点；

进一步的，上述步骤2)中，利用深度卷积神经网络模型算法辨识人车混杂环境下行人身体姿态和分神状态特征，具体如下：

2.1)输入图片先经过VGG19网络的前十层获得特征图。再利用双支线网络预测关键点位置，第一个分支预测身体部位间的亲和度，第二个分支预测身体部位位置的置信度图，利用非极大抑制获取候选关键点集，最后通过贪心推理计算出图像关键点位置的全局最优解，对图像中所有的人生成18个人体关键点。

双分支的损失函数

和

分别表示为

其中，

表示亲和度分支的真实值，

表示置信图分支的真实值，

表示亲和度分支的预测值，

表示置信图分支的预测值，W(p)可以取值为0或1，防止算法惩罚那些没有标注信息的关键点，J表示亲和度分支的样本数，C表示置信图分支的样本数。

2.2)如图2所示，利用提取到的行人关键点坐标信息x_t作为输入,通过长短期记忆网络进行高层次特征提取。如图3所示，长短期记忆网络在每个时间步内采用遗忘门控制上一层细胞的隐藏状态，计算过程如公式所示：

F_t＝σ(W_Fh_t-1+U_Fx_t+b_F) (3)

式中，F_t表示遗忘门，h_t表示短期状态，W_F和U_F表示遗忘门的权重矩阵，b_F表示遗忘门的偏置，σ是sigmod激活函数。

输入门更新细胞状态信息，计算过程如公式所示：

I_t＝σ(W_Ih_t-1+U_Ix_t+b_I) (4)

式中，I_t代表输入门，W_I和U_I代表输入门的权重矩阵，b_I代表输入门的偏置。

输出门结合历史信息和新输入信息得出当前细胞隐藏状态的输出，计算过程如公式所示：

O_t＝σ(W_Oh_t-1+U_Ox_t+b_O) (5)

式中，O_t代表输出门，W_O和U_O代表输出门的权重矩阵，b_O代表输入门的偏置。

利用输出门和当前时刻的记忆单元状态计算的隐含层输出值如下：

h_t＝O_ttanh(c_t) (6)

式中，c_t代表新的单元状态。

最后利用全连接层f计算长短期记忆网络输出向量h_t的权重w_t，经过softmax层输出行人分神或集中两种注意力状态分类a_t的预测结果。

进一步的，如图4所示，上述步骤3)中，设计动态贝叶斯网络模型包括如下步骤：

3.1)定义动态贝叶斯网络的节点

隐层节点包含两层信息：第一层是人车碰撞危险、行人目的地、行人位置以及行人注意力状态，第二层是行人是否避让车辆；隐层变量集合E＝{R,D,P}和C＝{I}，均为离散变量，其中R表示人车碰撞危险、D表示行人目的地、P表示行人位置，I表示行人是否避让车辆；

观测层节点主要包括两层信息：行人与车辆的纵向与横向距离，车辆行驶速度，行人身体朝向，行人注意力状态类别；观测层变量集合O＝{L_lon,L_lat,V_v,O_P}和A＝{A_P}，其中O_p,A_p为离散变量，L_lon,L_lat,V_v为连续变量，L_lon,L_lat表示行人与车辆的纵向与横向距离，V_v表示车辆行驶速度，O_P行人身体朝向，A_P表示行人注意力状态类别；

3.2)网络最优参数的训练

给定变量集{L_lon,L_lat,V_v,O_p,A_p}和训练集T，通过学习网络参数找到一个最佳匹配此训练集T的网络N＝(D,θ)，并采用一个匹配性函数度量训练样本和网络的匹配程度；其中，D表示网络结构，θ表示网络的参数；

根据S2中深度卷积神经网络算法可以获得观测层变量的发生概率，隐层和观测层间的条件概率利用训练集T进行参数学习，可以使用最大似然估计法作为匹配性函数来训练。设训练样本T关于网络参数θ的似然函数为L(θ)＝logP(T|θ)，利用梯度优化算法计算最优解

3.3)根据观测层变量的后验概率推断

后验概率是指根据观测层变量推断出的隐层变量概率分布，其具体过程如下：

1)预测：用t时刻的概率分布得到t+1时刻的联合概率分布；设t时刻所有离散隐层变量{E_t,C_t}的联合分布为

条件变量的转移概率为P(E_t+1|E_t)，上一时刻变量的后验分布是

则t+1时刻的离散隐层变量{E_t,C_t,E_t+1,C_t+1}联合分布为：

2)更新：引入t+1时刻的观测变量来获得新的概率分布；其中一个观测变量O为{L_lon,L_lat,V_v}，另一个观测变量A为{A_p}，则t+1时刻的离散隐层变量{E_t,C_t,E_t+1,C_t+1}联合分布为：

进一步的，上述步骤4)中，设计的行人最小安全距离模型如下：

a_v-max＝μg (10)

式子：S_must—最小安全距离，v_v—自车车速，a_v-max—自车最大制动减速度，d₀—人车静止时应具有的最小安全距离，g―重力加速度，μ―路面附着力系数。

进一步的，上述步骤5)中所述的投影灯是安装在车头保险杠中间处，利用将灯光投影到车辆行驶前方，用来警示行人处于人车碰撞风险区域。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技术所创的等效方式或变更均应包含在本发明的保护范围之内。

Claims (7)

1.一种辨识高危行人意图的智能汽车主动避撞方法，其特征在于，包括：

S1获取车辆自身行驶信息与环境信息；

采集环境图像，识别行人并获取行人位置；获取车辆当前行驶状态信息，包括车辆行驶速度信息；

S2利用深度卷积神经网络模型辨识行人行为特征和精神状态特征；

利用Openpose算法获取行人关键点特征信息，将提取的行人关键点输入到长短时记忆网络模型中，提取行人身体姿态和注意力状态特征，实现对行人注意力状态的分类识别；

S3基于动态贝叶斯网络模型，融合S2中提出的行人姿态和注意力状态分类，辨识行人过街意图；所述S3中动态贝叶斯网络模型的设计包括如下：

S3.1定义动态贝叶斯网络的节点

隐层节点包含两层信息：第一层是人车碰撞危险、行人目的地、行人位置以及行人注意力状态，第二层是行人穿行意图；隐层变量集合E＝{R,D,P}和C＝{I}，均为离散变量；

观测层节点主要包括两层信息：行人与车辆的纵向与横向距离，车辆行驶速度，行人身体朝向，行人注意力状态类别；观测层变量集合O＝{L_lon,L_lat,V_v,O_P}和A＝{A_P}，其中O_p,A_p为离散变量，L_lon,L_lat,V_v为连续变量；

S3.2优化网络结构

给定变量集{L_lon,L_lat,V_v,O_p,A_p}和训练集T，通过学习网络参数找到一个最佳匹配此训练集T的网络N＝(D,θ)，并采用一个匹配性函数度量训练样本和网络的匹配程度；其中，D表示网络结构，θ表示网络的参数；

S3.3网络节点间的未知参数学习

根据深度卷积神经网络算法获得观测层变量的发生概率，隐层和观测层间的条件概率利用训练集进行参数学习，使用最大似然估计法来训练；设训练样本T关于网络参数θ的似然函数为L(θ)＝logP(T|θ)，利用梯度优化算法计算最优解；

S3.4根据观测层变量的后验概率推断

后验概率是指根据观测层变量推断出的隐层变量概率分布，其具体包括：

1)预测：用t时刻的概率分布得到t+1时刻的联合概率分布；设t时刻所有离散隐层变量{E_t,C_t}的联合分布为

则t+1时刻的离散隐层变量{E_t,C_t,E_t+1,C_t+1}联合分布为：

2)更新：引入t+1时刻的观测变量来获得新的概率分布；其中一个观测变量O为{L_lon,L_lat,V_v}，另一个观测变量B为{A_p,G_p}，则t+1时刻的离散隐层变量{E_t,C_t,E_t+1,C_t+1}联合分布为：

S4若S3中判断行人有穿行马路意图时，计算与前方行人的最小安全距离；

S5当车辆与前方行人的距离小于1.5倍最小安全距离时，车辆制动，同时投影灯在车辆前方投影出红色警示区域。

2.根据权利要求1所述的一种辨识高危行人意图的智能汽车主动避撞方法，其特征在于，所述S1中，环境图像的采集利用安装在车辆前挡风玻璃中间位置的CCD相机实现；所述获取行人位置利用安装在车辆前保险杠处的毫米波雷达实现。

3.根据权利要求1所述的一种辨识高危行人意图的智能汽车主动避撞方法，其特征在于，所述S2的深度卷积神经网络模型的设计包括：

S2.1输入图片先经过VGG19网络的前十层和另外两个卷积层获得特征图，再利用双支线网络预测关键点位置，第一个分支预测身体部位间的亲和度，第二个分支预测身体部位位置的置信度图，利用非极大抑制获取候选关键点集，最后通过贪心推理计算出图像关键点位置的全局最优解，获取图像中所有的人18个人体关键点的位置，双分支的损失函数

和

分别表示为

其中，

表示亲和度分支的预测值，

表示置信图分支的预测值，

表示亲和度分支的真实值，

表示置信图分支的真实值，W(p)可以取值为0或1，防止算法惩罚那些没有标注信息的关键点；

S2.2)利用提取到的行人关键点坐标信息x_t作为输入，通过长短期记忆网络进行高层次特征提取，其中长短期记忆网络在每个时间步内采用遗忘门控制上一层细胞的隐藏状态，计算过程如公式所示：

F_t＝σ(W_Fh_t-1+U_Fx_t+b_F) (3)

式中，F_t代表遗忘门，W_F和U_F代表遗忘门的权重矩阵，b_F代表遗忘门的偏置；

输入门更新细胞状态信息，计算过程如公式所示：

I_t＝σ(W_Ih_t-1+U_Ix_t+b_I) (4)

式中，I_t代表输入门，W_I和U_I代表输入门的权重矩阵，b_I代表输入门的偏置；

输出门结合历史信息和新输入信息得出当前细胞隐藏状态的输出，计算过程如公式所示：

O_t＝σ(W_Oh_t-1+U_Ox_t+b_O) (5)

式中，O_t代表输出门，W_O和U_O代表输出门的权重矩阵，b_O代表输入门的偏置；

利用输出门和当前时刻的记忆单元状态计算的隐含层输出值如下：

h_t＝O_ttanh(c_t) (6)

S2.3利用全连接层f计算长短期记忆网络输出向量h_t的权重w_t，经过softmax层输出行人分神或集中两种注意力状态分类a_t的预测结果。

4.根据权利要求3所述的一种辨识高危行人意图的智能汽车主动避撞方法，其特征在于，所述S2利用深度卷积神经网络模型辨识行人行为特征和精神状态特征的方法包括如下：

S2.1输入图片先经过VGG19网络的前十层获得特征图，再利用双支线网络预测关键点位置，第一个分支预测身体部位间的亲和度，第二个分支预测身体部位位置的置信度图，利用非极大抑制获取候选关键点集，最后通过贪心推理计算出图像关键点位置的全局最优解，对图像中所有的人生成18个人体关键点；

S2.2利用提取到的行人关键点坐标信息作为输入，通过长短期记忆网络进行高层次特征提取，实现前后数据帧关联；根据行人关键点坐标信息提取姿态特征，采用具有长短时记忆网络对行人处于分神或集中两种注意力状态进行分类识别。

5.根据权利要求1所述的一种辨识高危行人意图的智能汽车主动避撞方法，其特征在于，所述S4中最小安全距离模型设计为：

a_v-max＝μg (10)

式子：S_must—最小安全距离，v_v—自车车速，a_v-max—自车最大制动减速度，d₀—人车静止时应具有的最小安全距离，g―重力加速度，μ―路面附着力系数。

6.根据权利要求1所述的一种辨识高危行人意图的智能汽车主动避撞方法，其特征在于，所述S5中投影灯安装在车头保险杠中间处，利用将灯光投影到车辆行驶前方，用来警示行人处于人车碰撞风险区域。

7.根据权利要求1所述的一种辨识高危行人意图的智能汽车主动避撞方法，其特征在于，所述S1-S5可循环执行。

Images