CN114926823B - 基于wgcn的车辆驾驶行为预测方法 - Google Patents

Abstract

本发明涉及车辆驾驶行为预测技术领域，涉及一种基于WGCN的车辆驾驶行为预测方法，包括：一、生成每辆车的特征矩阵和本地地图；二、特征矩阵加权后和经过CNN编码后的本地地图构建成一张图，并输入到边‑增强的图卷积神经网络GCN中；三、通过GCN提取输入数据的特征，利用GCN的边‑增强注意力机制使边特征的维数增加，提高权重系数分配的准确率；利用GCN的特征传递机制使得车辆的交互特征能以图的形式进行传递，充分表示了车辆之间的交互关系变化；四、将GCN输出的交互特征输入Transformer进行训练；五、通过全连接层获得对车辆驾驶行为的预测结果。本发明使得对车辆驾驶行为预测有更高的准确性。

Description

基于WGCN的车辆驾驶行为预测方法

技术领域

本发明涉及车辆驾驶行为预测技术领域，具体地说，涉及一种基于WGCN的车辆驾驶行为预测方法。

背景技术

随着车联网技术以及机器学习技术的发展，在车辆驾驶领域中，传统的辅助驾驶功能，如：自适应定速巡航(Adaptive Cruise Control，ACC)以及车道保持(Lane Keeping，LP)，已经不能满足人们对于车辆智能化的需求，人们迫切需要一种功能更加丰富，更加智能的车辆辅助驾驶***。因此，自动驾驶技术逐渐的进入了人们的视野。要实现车辆的自动驾驶，首先，需要为车辆配备许多传感器如毫米波雷达、车载图像传感器，以及全球定位***(Global Positioning System，GPS)，以获取实时的准确的自身车辆信息与周围环境信息。其次，需要为车辆配备强大的独立计算单元，如特斯拉的FSD(Full Self-DrivingComputer，FSD)、华为的MDC(Mobile Data Center，MDC)，来对海量的数据进行快速准确的计算。最后还需要与现代通信技术结合，使得车辆收集的各种信息以及车辆的请求能够快速的传输响应。然而，传统的自动驾驶汽车受到连接车辆数量、道路环境、交通状况、计算单元的计算能力等因素影响，使得车辆难以提供较高的自动驾驶服务质量。除此之外，自动驾驶的车辆所拥有的通信资源有限，尤其是在复杂的交通场景下，会使得车辆接收与发送数据产生较高延迟，无法处理实时数据，引发安全问题。

移动边缘计算和深度学习的出现，有助于解决自动驾驶计算和通信资源不足的问题，并可以提升自动驾驶汽车的智能化。具体而言，自动驾驶中的各个任务，如车辆识别，车辆行为预测等等功能都可以通过深度学习实现，并能得到较高的准确性，有文献提出一种基于隐马尔科夫链的方法能预测0.5-0.7s内的变道行为；有文献等人通过传感器获取油门、方向盘、车辆偏向角等信息，在ACT-R架构上进行驾驶行为预测取得较好的效果；有文献建立了模糊神经网络，将危险系数、换道可行性系数结合，能对驾驶人的行为意图做出判断。通过深度学习获得的神经网络模型则可以放置在边缘服务器，车辆可以通过请求边缘服务器来获得低时延高精度的自动驾驶服务。有文献基于LSTM网络提出一种实时流量预测的算法，该算法通过学习车辆的移动与交互信息来提取车辆行为特征，得到了较高的预测准确性。有文献利用多通道网格图来表示交通场景，并使用CNN对车辆的驾驶轨迹进行预测，得到了较好的预测效果。

尽管目前对车辆驾驶行为预测的研究取得了一定的进展，但仍有两个方面的问题亟需解决。首先，现有研究对车辆之间交互信息的考虑还较少，缺失了车辆之间相互影响的关键信息，对预测的准确性有一定的影响。其次，目前许多研究仅单独考虑车辆的时间特性与空间特征，缺少结合时间与空间特性的研究，使得车辆行驶信息的特征不够充分。

发明内容

本发明的内容是提供一种基于WGCN的车辆驾驶行为预测方法，其能够克服现有技术的某种或某些缺陷。

根据本发明的一种基于WGCN的车辆驾驶行为预测方法，其包括以下步骤：

一、生成每辆车的特征矩阵和本地地图；

二、特征矩阵加权后和经过CNN编码后的本地地图构建成一张图，并输入到GCN中；

三、通过GCN提取输入数据的特征，利用GCN的边-增强注意力机制使边特征的维数增加，提高权重系数分配的准确率；利用GCN的特征传递机制使得车辆的交互特征能以图的形式进行传递，充分表示了车辆之间的交互关系变化；

四、将GCN输出的交互特征输入Transformer进行训练；

五、通过全连接层获得对车辆驾驶行为的预测结果。

作为优选，步骤一中，生成特征矩阵X，X＝[P,M]，其中P为节点特征矩阵，包括位置(x,y)，速度(v_x,v_y)，和航向角θ，M为本地地图；

作为优选，步骤三中，边-增强注意力机制中的边-增强是增加边特征的维度，使得边特征能表达更多信息；注意力机制是给不同的顶点分配不同的权重系数，不同的权重的顶点在处理时具有不同的优先级，顶点的权重越高，表示顶点的信息越丰富，影响力越大。

作为优选，边-增强注意力机制中，顶点n与周围顶点的边特征向量进行计算周围车辆的权重值，最终目的是生成一个带权值的邻接矩阵，来表示不同车辆之间的影响大小，邻接矩阵表示如下：

A′＝softmax(A)

上述公式描述注意力矩阵A′的过程，首先需要让边特征矩阵E经过归一化得到E′，然后让边特征矩阵与可训练的注意力参数矩阵W_a相乘，得到注意力矩阵A，随后将矩阵A的进行softmax计算得到A′，使得A′中元素的值在0到1的范围内，以便于表示不同的权重；最后得到加权邻接矩阵A_adj：

A_adj＝E′A′。

作为优选，特征传递机制中，车辆间的邻接关系与交互特征以图的形式作为神经网络的输入，利用图卷积神经网络的特征传递方式进行信息更新，使得网络能充分的提取车辆之间的内在关系；

特征矩阵X与加权邻接矩阵A_adj作为更新信息在构建的交互模型中进行传播，具体更新过程如下：

其中H^k为隐藏矩阵，当k＝0时，α为权重系数，i＝1,2,...,m，M′＝CNN(M)，g＝[P′,M′]，H⁰＝g，即为经特征矩阵加权后和经过CNN编码后的本地地图构建成的一张图；k代表的是在当前在GCN的第l层进行计算，代表的是可训练的权重矩阵，在训练时进行更新；最后，三者相乘的结果经过激活函数后得到H^k+1；利用图卷积神经网络进行特征传递，能捕捉输入的车辆特征矩阵与加权邻接矩阵的关系特征。

面向车联网场景中的车辆驾驶行为预测问题，本发明提出一种基于WGCN(Weighted Graph Neural Network)的车辆驾驶行为预测方法。该方法首先生成特征矩阵，然后加权和经过CNN编码后的本地地图构建成一张图，再利用GCN的边-增强注意力机制使边特征的维数增加，提高了权重系数分配的准确率，使得提取的交互特征更加丰富；其次利用GCN图卷积神经网络的特征传递机制使得车辆的交互特征能以图的形式进行传递，充分表示了车辆之间的交互关系变化，从而使得对车辆驾驶行为预测有更高的准确性。最后输入Transformer进行训练，通过全连接层获得预测结果，能较佳地对车辆驾驶行为进行预测。

附图说明

图1为实施例中一种基于WGCN的车辆驾驶行为预测方法的流程图；

图2为实施例中车辆驾驶行为预测网络模型示意图；

图3为实施例中边-增强注意力机制示意图。

具体实施方式

为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。应当理解的是，实施例仅仅是对本发明进行解释而并非限定。

实施例

如图1所示，本实施例提供了一种基于WGCN的车辆驾驶行为预测方法，其包括以下步骤：

一、生成每辆车的特征矩阵和本地地图；

二、特征矩阵加权后和经过CNN编码后的本地地图构建成一张图，并输入到边-增强的图卷积神经网络GCN中；

三、通过GCN提取输入数据的特征，利用GCN的边-增强注意力机制使边特征的维数增加，提高权重系数分配的准确率；利用GCN的特征传递机制使得车辆的交互特征能以图的形式进行传递，充分表示了车辆之间的交互关系变化；

四、将GCN输出的交互特征输入Transformer进行训练；

五、通过全连接层获得对车辆驾驶行为的预测结果。

边-增强注意力机制中，顶点n与周围顶点的边特征向量进行计算周围车辆的权重值，最终目的是生成一个带权值的邻接矩阵，来表示不同车辆之间的影响大小，邻接矩阵表示如下：

A′＝softmax(A)

上述公式描述注意力矩阵A′的过程，首先需要让边特征矩阵E经过归一化得到E′，然后让边特征矩阵与可训练的注意力参数矩阵W_a相乘，得到注意力矩阵A，随后将矩阵A的进行softmax计算得到A′，使得A′中元素的值在0到1的范围内，以便于表示不同的权重；最后得到加权邻接矩阵A_adj：

A_adj＝E′A′。

特征传递机制中，车辆间的邻接关系与交互特征以图的形式作为神经网络的输入，利用图卷积神经网络的特征传递方式进行信息更新，使得网络能充分的提取车辆之间的内在关系；

特征矩阵X与加权邻接矩阵A_adj作为更新信息在构建的交互模型中进行传播，具体更新过程如下：

其中H^k为隐藏矩阵，当k＝0时，α为权重系数，i＝1,2,...,m，M′＝CNN(M)，g＝[P′,M′]，H⁰＝g，即为经特征矩阵加权后和经过CNN编码后的本地地图构建成的一张图；k代表的是在当前在GCN的第l层进行计算，代表的是可训练的权重矩阵，在训练时进行更新；最后，三者相乘的结果经过激活函数后得到H^k+1；利用图卷积神经网络进行特征传递，能捕捉输入的车辆特征矩阵与加权邻接矩阵的关系特征。

Transformer整体的执行速度更快，相同任务的收敛轮次，Transformer比LSTM收敛快了将近十倍，Transformer训练也比LSTM更快。

Transformer不使用递归，Transformer通过使用全局对比来实现无限的注意力跨度。它无需按顺序处理每个代理，而是一次性处理整个序列并创建注意力矩阵，其中每个输出都是输入的加权总和。举个例子来说，在自然语言处理中，可以将法语单词"accord"表示为"The(0)+agreement"(1)+...神经网络通过学习得到注意力矩阵的权重。

但Transformer缺乏对时间维度的建模，即使有Position Encoding也和LSTM这种天然的时序网络有差距。

而这个问题可以由历史加权图解决，历史加权图以及包含了时间信息，就不需要Transformer进行建模。

网络模型

图2是一条高速公路上，对车辆驾驶行为预测的网络模型示意图，描述了车辆在多条车道上行驶。图中的Cloud Server是位于云端的云服务器，是预测任务的数据中心与计算中心，MEC服务器则是位于边缘的协助云服务器进行存储和计算的服务器。自我车辆与周围车辆可以通过V2V的方式进行信息传递，同时车辆也可以通过V2I的方式与MEC与CloudServer进行通信。当自我车辆发出预测请求时，需要获取周围车辆当前的车辆的驾驶信息以及历史轨迹数据，然后根据得到的数据对周围车辆的未来驾驶行为做出预测，如车辆保持速度直行、车辆加速驾驶、车辆减速驾驶、车辆左转或者车辆右转等车辆驾驶行为。在本实施例的场景中，又设置有多个处在不同地理位置的MEC服务器，这些服务器会与车辆同时进行数据收集与深度学习任务。这样设置的好处在于可以充分利用各个MEC服务器与车辆计算存储能力，又可以把所有信息相结合获取更加完整的数据。

基于边-增强的图卷积神经网络模型

为了更好地提取复杂动态场景下车辆之间的邻接与交互特征，本实施例设计了基于边-增强注意力机制的图卷积神经网络模型，该模型具有两个重要机制，分别是边-增强注意力机制与基于图卷积神经网络的特征传递机制。边-增强注意力机制通过增加边特征的维数，提高权重系数分配的准确率，使得提取的交互特征更加丰富；图卷积神经网络的特征传递机制是通过引入节点特征矩阵与加权邻接矩阵以动态图的数据形式传递与更新节点交互特征，从而充分刻画自我车辆与周围车辆间的交互关系的变化。

边-增强注意力机制

边-增强注意力机制中的边-增强指的是增加边特征的维度，使得边特征能表达更多信息；注意力机制指的是是给不同的顶点分配不同的权重系数，不同的权重的顶点在处理时具有不同的优先级。顶点的权重越高，表示顶点的信息越丰富，影响力越大。

在实际的交通场景下，车辆的驾驶行为具有高复杂性，因此要获得较好的预测效果则需要充分的提取出车辆的交互特征。传统的图神经网络网络模型如：图注意力网络(Graph Attention Network，GAT)和图卷积神经网络(Graph Convolutional Network，GCN)都不能很好的满足这个需求，是由于GCN只考虑了两个顶点之间是否有边，而GAT虽然可以让边带上权重，表示各个顶点的影响大小，但边的特征仍然只能是一个实数，也就是说边所包含的特征不够丰富，总而言之，这两种传统的图神经网络模型不能充分的表达边的特征，因此不能有效的提取出车辆交互的特征。

注意力机制体现在车辆之间的相对状态，如：某个车辆距离自我车辆的距离很近，容易发生碰撞，因此将此车辆赋予较高的权重，使得此车的影响变大。边缘增强注意力机制的改进在于边的特征可以是多维的，而不仅仅是一个实数，使得边包含的信息更多，权重系数分配更为准确。如图3所示，顶点n与周围顶点的边特征向量进行计算周围车辆的权重值，此步骤最终的目的是生成一个带权值的邻接矩阵，来表示不同车辆之间的影响大小，邻接矩阵具体的表示如下：

A′＝softmax(A)

上述公式描述了注意力矩阵A′的过程，首先需要让边特征矩阵E经过归一化得到E′，然后让边特征矩阵与可训练的注意力参数矩阵W_a相乘，得到注意力矩阵A，随后将矩阵A的进行softmax计算得到A′，使得A′中元素的值在0到1的范围内，以便于表示不同的权重。最后得到加权邻接矩阵A_adj：

A_adj＝E′A′。

图卷积神经网络的特征传递机制

车辆间的邻接关系与交互特征以图的形式作为神经网络的输入，利用图卷积神经网络的特征传递方式进行信息更新，使得网络能更加充分的提取车辆之间的内在关系。由上可以得到特征矩阵X与加权邻接矩阵A_adj，这两个矩阵作为更新信息在构建的交互模型中进行传播，具体更新过程如下：

其中H^k为隐藏矩阵，当k＝0时，α为权重系数，i＝1,2,...,m，M′＝CNN(M)，g＝[P′,M′]，H⁰＝g，即为经特征矩阵加权后和经过CNN编码后的本地地图构建成的一张图。k代表的是在当前在GCN的第k层进行计算，代表的是可训练的权重矩阵，在训练时进行更新。最后，三者相乘的结果经过激活函数后得到H^k+1。因此，利用图卷积神经网络进行特征传递，可以较好的捕捉输入的车辆特征矩阵以及带权邻接矩阵的关系的特征，实际上就是可以对复杂的交通图进行信息提取，以供后面的步骤处理，综上，GCN的本质就是一个信息提取器。

问题定义与建模

车辆在公路上进行正常驾驶，会产生不同的驾驶的行为，如：变道，直行等，因此本实施例对车辆驾驶行为进行定义。车辆驾驶行为指的是车辆在道路上根据不同的交通状态，做出相应的动作，使得车辆驾驶状态改变的行为。行为的种类可以首先分为三大类分别是：保持直行(Keep Lane，KL)、向左变道(Turn Left，TL)、向右变道(Turn Right，TR)，可以记作：Act³＝{KL,TL,TR}。在此基础的三大类上，驾驶行为可以进一步分为：加速直行(KeepLane And Accelerate，KLA)、保持匀速(Keep Lane And Speed，KLS)、减速直行(Keep LaneAnd Slow Down，KLD)、向左变道(Turn Left，TL)、向右变道(Turn Right，TR)，记作Act⁵＝{KLA,KLS,KLD,TL,TR}。

因此本实施例需要解决的问题便可以描述为：给定自我车辆X₀与周围车辆X_k(k∈[1,n])的节点特征矩阵X、和T_his时间内的历史特征S，对T_fut时间后的车辆驾驶行为进行预测：

Predict：

Y^pre＝{y₀,y₁,...,y_n}

Subject to：

获取有变道行为的中心车辆

由于一般情况下车辆都倾向于保持原车道驾驶，变道行为相比较而言发生较少，所以在选择自我车辆的时候需要选择有变道行为的车辆，这样对周围车辆的驾驶行为进行预测才具有意义，因此从原始数据中筛选出变道车辆的数据，其算法如下：

算法1：变道车辆选择

算法1主要功能是从NGSIM的I-80数据S里选择具有变道行为的车辆数据F。其中的关键点在于需要将同一Vehicle_ID的车辆按时间顺序排列，将Lane_ID发生变化的车辆的数据加入到F中。随后的步骤将基于此数据进行操作。

获取中心车辆的周围车辆

算法2：选择中心车辆的周围车辆

车辆上所部署的传感器有一定距离限制，同时，车辆与车辆之间的相互影响也有距离限制，车辆之间距离越远，影响作用越小，因此需要选择离中心车辆一定距离内的车辆作为周围车辆。如算法2所示，根据车辆的Vehicle_ID，Frame_ID确定中心车辆与当前帧内存在的所有车辆，并计算每个车辆与中心车辆距离，并选择在距离dis内的车辆作为有效的周围车辆。

获取边特征矩阵

由上可知本实施例设计的车辆交互模型为图结构，具有特征矩阵X与边特征E，特征矩阵X的获取较为简单，可以直接根据公式得到，边特征矩阵E较为复杂，算法3对边特征矩阵E的获取进行了描述。其中关键的步骤为处理对角线元素，使边特征矩阵E的每个元素不为0。

算法3：计算边特征矩阵

以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (2)

1.基于WGCN的车辆驾驶行为预测方法，其特征在于：包括以下步骤：

一、生成每辆车的特征矩阵和本地地图；

二、特征矩阵加权后和经过CNN编码后的本地地图构建成一张图，并输入到GCN中；

三、通过GCN提取输入数据的特征，利用GCN的边-增强注意力机制使边特征的维数增加，提高权重系数分配的准确率；利用GCN的特征传递机制使得车辆的交互特征能以图的形式进行传递，充分表示了车辆之间的交互关系变化；

步骤三中，边-增强注意力机制中的边-增强是增加边特征的维度，使得边特征能表达更多信息；注意力机制是给不同的顶点分配不同的权重系数，不同的权重的顶点在处理时具有不同的优先级，顶点的权重越高，表示顶点的信息越丰富，影响力越大；

边-增强注意力机制中，顶点n与周围顶点的边特征向量进行计算周围车辆的权重值，最终目的是生成一个带权值的邻接矩阵，来表示不同车辆之间的影响大小，邻接矩阵表示如下：

A′＝softmax(A)

上述公式描述注意力矩阵A′的过程，首先需要让边特征矩阵E经过归一化得到E′，然后让边特征矩阵与可训练的注意力参数矩阵W_a相乘，得到注意力矩阵A，随后将矩阵A的进行softmax计算得到A′，使得A′中元素的值在0到1的范围内，以便于表示不同的权重；最后得到加权邻接矩阵A_adj：

A_adj＝E′A′；

特征传递机制中，车辆间的邻接关系与交互特征以图的形式作为神经网络的输入，利用图卷积神经网络的特征传递方式进行信息更新，使得网络能充分的提取车辆之间的内在关系；

特征矩阵X与加权邻接矩阵A_adj作为更新信息在构建的交互模型中进行传播，具体更新过程如下：

其中H^k为隐藏矩阵，当k＝0时，

α为权重系数，i＝1,2,...,m，

M′＝CNN(M)，g＝[P′,M′]，H⁰＝g，即为经特征矩阵加权后和经过CNN编码后的本地地图构建成的一张图；k代表的是在当前在GCN的第l层进行计算，W_g ^k代表的是可训练的权重矩阵，在训练时进行更新；最后，三者相乘的结果经过激活函数后得到H^k+1；利用图卷积神经网络进行特征传递，能捕捉输入的车辆特征矩阵与加权邻接矩阵的关系特征；

四、将GCN输出的交互特征输入Transformer进行训练；

五、通过全连接层获得对车辆驾驶行为的预测结果。

2.根据权利要求1所述的基于WGCN的车辆驾驶行为预测方法，其特征在于：步骤一中，生成特征矩阵X，X＝[P,M]，其中P为节点特征矩阵，包括位置(x,y)，速度(v_x,v_y)，和航向角θ，M为本地地图；

Images