CN114379540B - 考虑前方障碍物影响的大型营运车辆防侧翻驾驶决策方法 - Google Patents

Abstract

本发明公开了一种考虑前方障碍物影响的大型营运车辆防侧翻驾驶决策方法。首先，明确防侧翻驾驶决策方法适用的交通场景。其次，将防侧翻驾驶决策问题建模为马尔科夫决策过程，利用标准的策略梯度算法建立大型营运车辆的防侧翻驾驶决策模型。最后，对防侧翻驾驶决策模型进行训练，得到不同行驶工况下的防侧翻驾驶策略。本发明提出的决策方法，考虑了执行防侧翻驾驶策略过程中的安全隐患，克服了现有方法缺乏有效性和可靠性的不足，为营运车辆提供直行、转向、加速、减速等明确的驾驶策略，实现了有效、可靠的大型营运车辆防侧翻驾驶决策。

Description

考虑前方障碍物影响的大型营运车辆防侧翻驾驶决策方法

技术领域

本发明涉及一种防侧翻驾驶决策方法，尤其是涉及一种考虑前方障碍物影响的大型营运车辆防侧翻驾驶决策方法，属于汽车安全技术领域。

背景技术

营运车辆作为我国道路运输的主要承担者，其安全状况直接影响我国道路交通运输安全。运输过程中一旦发生交通事故，易导致群死群伤、货物脱落、燃烧、***等严重后果，造成财产损失、环境污染、生态破坏等恶劣影响，且极易诱发大型、特大型安全事故，严重威胁道路交通安全。

美国公路交通安全管理局的相关数据表明，在所有营运车辆交通事故中，侧翻事故的危害程度仅次于碰撞事故，位居第2位。因此，侧翻主动防控对于保障道路交通安全，提升道路运输重特大事故防控能力具有重要意义。防侧翻驾驶决策作为侧翻主动防控的重要一环，如果能够在侧翻事故发生前，确定合理的防侧翻干预策略，为营运车辆提供准确、可靠的制动减速等驾驶策略，可以大幅度降低因侧翻造成的交通事故发生频率。

目前，已有文献、专利对防侧翻驾驶决策方法进行了研究，主要包括基于动力学模型和基于数据驱动的方法两类。基于动力学模型的防侧翻决策方法是利用侧向加速度、侧倾角等参数辨识车辆侧翻风险，将车轮制动力或转向角作为控制量，利用PID(Proportional Integral Derivative)控制、滑模控制等控制算法建立防侧翻控制策略。然而，不同车辆的动力学模型具有差异性，使得防侧翻驾驶决策的可靠性和适应性较差。

基于数据驱动的防侧翻决策方法是将车辆运动状态信息等数据进行提取和分析，通过交互式的自学习机制对模型进行训练和拟合，进而形成自动化的决策模型，目前，该方法较少使用。发明专利“一种基于深度强化学习的重型营运车辆防侧翻驾驶决策方法”(公开号：CN112580148A)和“一种考虑路面附着条件的大型营运车辆防侧翻决策方法”(申请号：202111225841.9)利用深度强化学习算法建立了防侧翻驾驶决策模型，得到营运车辆的防侧翻驾驶策略。然而，以上专利适用的交通环境相对简单，未考虑前方车辆对防侧翻驾驶决策的影响。

总体而言，以上两类方法虽然起到一定的防侧翻效果，但在决策的有效性和可靠性方面仍存在不足，原因在于未考虑执行防侧翻驾驶策略过程中的安全隐患。具体地，在营运车辆前方存在障碍物的交通环境下，若采用舒缓制动等防侧翻驾驶策略，较长的制动距离易增加前向碰撞的风险。若进行紧急制动，虽可以避免发生前向碰撞，但过大的制动减速度将进一步加剧车辆的侧翻风险，使得营运车辆更容易失稳而发生侧翻，无法起到防侧翻的效果。因此，合理、有效的防侧翻驾驶决策应同时兼顾前向防撞和防侧翻两方面。

已有的大型营运车辆防侧翻驾驶决策方法，未考虑前方障碍物对行车安全的影响，忽略了执行防侧翻驾驶策略过程中的安全隐患，无法满足同时避免前向碰撞和车辆侧翻的行车安全需求。在营运车辆前方存在障碍物的交通环境下，尚缺乏有效、可靠的大型营运车辆防侧翻驾驶决策方法。

发明内容

发明目的：针对大型营运车辆防侧翻驾驶决策方法有效性和可靠性低的问题，本发明公开了一种基于考虑前方障碍物影响的大型营运车辆防侧翻驾驶决策方法。该方法考虑了执行防侧翻驾驶策略过程中的安全隐患，克服了现有方法缺乏有效性和可靠性的不足，为营运车辆提供直行、转向、加速、减速等明确的驾驶策略，有效降低执行防侧翻驾驶策略过程中的安全隐患，提高了大型营运车辆防侧翻驾驶决策的有效性和可靠性

技术方案：本发明针对大型营运车辆，如半挂罐车、重型货车，提出了一种考虑前方障碍物影响的防侧翻驾驶决策方法。首先，明确防侧翻驾驶决策方法适用的交通场景。其次，将防侧翻驾驶决策问题建模为马尔科夫决策过程，利用标准的策略梯度算法建立大型营运车辆的防侧翻驾驶决策模型。最后，对防侧翻驾驶决策模型进行训练，得到不同行驶工况下的防侧翻驾驶策略，实现了有效、可靠的防侧翻驾驶决策。包括以下步骤：

步骤一：明确防侧翻驾驶决策方法适用的交通场景

为了减少或避免大型营运车辆发生侧翻事故，提高车辆的运行安全性，本发明提出了一种考虑前方障碍物影响的大型营运车辆侧翻主动安全防控决策方法，其适用的场景为：

大型营运车辆(即自车C₀)行驶在多车道的高等级公路，其所在车道的前方存在交通参与者(即前车C₁)。当自车进行制动、变道或经过弯道时，为了保障行车安全，应有效、及时地为驾驶员提供制动减速、转向等决策策略。

在本发明中，多车道是指车道的数量大于等于3。前车是指位于大型营运车辆(自车)行驶道路前方，且位于同一车道线内、行驶方向相同、距离最近的车辆。

步骤二：建立大型营运车辆的防侧翻驾驶决策模型

针对大型营运车辆防侧翻驾驶决策方法有效性和可靠性低的问题，本发明综合考虑驾驶员操作、行驶工况和交通环境对驾驶决策的影响，建立有效、可靠的防侧翻驾驶决策模型。

本发明采用标准的策略梯度算法，并基于步骤一所述的交通场景，建立防侧翻驾驶决策模型，研究前方障碍物存在情况下的营运车辆防侧翻驾驶策略。具体包括以下4个子步骤：

子步骤1：定义防侧翻驾驶决策模型的基础参数

考虑到大型营运车辆的未来运动状态同时受当前运动状态和当前动作影响，本发明将防侧翻驾驶决策问题建模为马尔科夫决策过程，并对模型的基础参数进行定义：t时刻的状态空间S_t、t+1时刻的状态空间S_t+1、t时刻的动作空间A_t以及动作空间A_t对应的回报值R_t。具体地：

(1)定义状态空间

大型营运车辆的侧倾稳定性不仅与车辆自身的运动状态有关，还与道路状态有关。因此，本发明利用车辆运动状态信息定义状态空间：

S_t＝[v_lon,v_hor,a_lon,a_hor,ω_yaw,θ_roll,θ_swa,δ_brake,δ_thr,L_f,D_rel] (1)

其中，v_lon,v_hor分别表示大型营运车辆的纵向、横向速度，单位均为米每秒；a_lon,a_hor分别表示纵向、侧向加速度，单位均为米每二次方秒，可通过厘米级高精度组合导航***测量获得；ω_yaw,θ_roll分别表示横摆角速度和侧倾角，单位分别为弧度每秒、度，可通过MEMS陀螺仪测量获得；θ_swa为车辆的方向盘转角，单位为度，δ_brake,δ_thr分别表示制动踏板开度和节气门开度，单位均为百分数，可通过读取车身CAN总线信息获得；L_f为板簧压力横向转移率，可通过压力传感器测量的车轴钢板弹簧所受压力计算获得，D_rel表示自车与前车的相对距离，单位为米，可通过毫米波雷达采集获得。

(2)定义动作空间

为了综合考虑横向和纵向控制对防侧翻的影响，合理、有效地输出防侧翻驾驶决策策略，本发明将方向盘转角和制动踏板开度作为控制量，定义决策模型输出的驾驶策略，即t时刻的动作空间A_t＝[θ_{swa_out},δ_{brake_out}]。

其中，θ_{swa_out}表示归一化后的方向盘转角控制量，范围为[-1,1]，δ_{brake_out}表示归一化后的制动踏板开度，范围为[0,1]。当δ_brake＝0时，表示车辆未进行制动，当δ_brake＝1时，表示车辆以最大制动减速度进行制动。

(3)定义奖励函数

为了实现对动作空间优劣的定量评价，本发明将奖励函数设计为：

R_t＝δ₁·r₁(t)+δ₂·r₂(t)+r₃(t) (2)

式中，R_t为t时刻的总奖励函数，r₁(t),r₂(t),r₃(t)分别表示防侧翻奖励函数、防追尾奖励函数和惩罚函数；δ₁,δ₂分别表示防侧翻奖励函数的权重系数和防追尾奖励函数的权重系数。

考虑到利用单个侧翻表征参数估计侧翻风险缺乏准确性的问题，综合考虑侧倾角、侧向加速度和板簧压力横向载荷转移率3个表征参数对侧翻的影响，建立防侧翻奖励函数r₁(t)：

式中，a_thr,θ_thr,L_thr分别表示预设的侧向加速度阈值、侧倾角阈值和板簧压力横向转移率阈值，μ₁表示奖励函数r₁(t)的权重系数；

为了降低执行防侧翻驾驶策略过程中的安全隐患，在防侧翻决策过程中，大型营运车辆应避免与前方障碍物发生碰撞；为此，建立前向防撞奖励函数r₂(t)：

r₂(t)＝μ₂|D_rel-D_safe| (4)

式中，D_safe表示自车与前车的安全距离，μ₂表示奖励函数r₂(t)的权重系数；

考虑到合理的安全距离，应同时兼顾通行效率和行车安全；为此，采用可变车头时距作为自动驾驶营运车辆的最小安全距离D_w；

D_w＝v_lonτ+v_forT+L_min (5)

式中，τ表示车间时距，单位为秒，v_for表示前方车辆的速度，单位为米每秒，L_min表示临界距离，单位为米；

为了纠正驾驶决策过程中的错误策略，建立惩罚函数：

r₃(t)＝-S_pen (6)

式中，S_pen为惩罚值，在本发明中，取S_pen＝200，表示若车辆发生侧翻或追尾事故，决策模型会得到-200的惩罚。

子步骤2：设计防侧翻驾驶决策模型的网络架构

利用Actor-Critic框架搭建防侧翻驾驶决策模型，包括Actor网络和Critic网络两部分。其中，Actor网络将状态空间S_t作为输入，并对特征向量进行回归，从而输出连续动作A_t；Critic网络将状态空间S_t和动作A_t作为输入，从而评估当前“状态-动作”的价值。

为Actor和Critic网络构建结构相同的三层全连接网络，三层网络的激活函数均为线性整流函数(Rectified Linear Unit,ReLU)，其表达式为：f(x)＝max(0,x)。

步骤三：训练防侧翻驾驶决策模型

对防侧翻驾驶决策模型中的参数进行训练，具体步骤包括：

子步骤1：初始化策略函数的参数θ₀和值函数的参数φ₀；

子步骤2：对策略函数和值函数的参数进行迭代更新，每一次迭代包括子步骤2.1至子步骤2.6，具体地：

子步骤2.1：在环境中执行策略π_k＝π(θ_k)，搜集轨迹的集合D_k＝{τ_i}；

子步骤2.2：计算后续折扣奖励值

子步骤2.3：基于当前的值函数将时序差分算法作为优势函数的估计量，计算优势函数的估计值；

子步骤2.4：估计策略梯度；

子步骤2.5：计算策略的更新；

子步骤2.6：拟合值函数；

子步骤3：按照子步骤1和子步骤2提供的方法进行迭代更新，使防侧翻驾驶决策模型逐渐收敛。在训练过程中，若车辆发生侧翻或碰撞，则终止当前回合并开始新的回合进行训练。当迭代达到最大次数或大型营运车辆利用模型输出的决策策略稳定有效地实现防侧翻时，表示迭代完成。

最后，将大型营运车辆的运动状态信息输入到已训练的防侧翻驾驶决策模型中，可以在线输出防侧翻驾驶决策策略，实现了有效、可靠的大型营运车辆防侧翻驾驶决策。

有益效果：相比于一般的防侧翻驾驶决策方法，本发明提出的方法具有更为有效和可靠的特点，具体体现在：

(1)本发明提出的方法针对驾驶决策过程中的防侧翻要素动态耦合，设计了精细化的奖励函数，综合考虑了行车安全门限值、前向障碍物类型、车辆侧倾稳定性等因素对营运车辆行车安全的影响，可以输出不同行驶工况下的直行、转向、加速、减速等防侧翻驾驶策略，实现了有效、可靠的营运车辆防侧翻驾驶决策。

(2)本发明提出的方法考虑了前方障碍物对行车安全的影响，同时兼顾防侧翻和前向碰撞两个方面，可以有效降低执行防侧翻驾驶策略过程中的安全隐患，进一步提高了大型营运车辆防侧翻驾驶决策的有效性和可靠性。

(3)本发明提出的方法无需进行复杂的动力学建模，计算方法简单清晰。

附图说明

图1是本发明的技术路线示意图；

图2是本发明适用的交通场景示意图。

具体实施方式

下面结合附图对本发明的技术方案作进一步的说明。

营运车辆作为我国道路运输的主要承担者，其安全状况直接影响我国道路交通运输安全。运输过程中一旦发生交通事故，易导致群死群伤、货物脱落、燃烧、***等严重后果，造成财产损失、环境污染、生态破坏等恶劣影响，且极易诱发大型、特大型安全事故，严重威胁道路交通安全。

美国公路交通安全管理局的相关数据表明，在所有营运车辆交通事故中，侧翻事故的危害程度仅次于碰撞事故，位居第2位。因此，侧翻主动防控对于保障道路交通安全，提升道路运输重特大事故防控能力具有重要意义。防侧翻驾驶决策作为侧翻主动防控的重要一环，如果能够在侧翻事故发生前，确定合理的防侧翻干预策略，为营运车辆提供准确、可靠的制动减速等驾驶策略，可以大幅度降低因侧翻造成的交通事故发生频率。

目前，已有文献、专利对防侧翻驾驶决策方法进行了研究，主要包括基于动力学模型和基于数据驱动的方法两类。基于动力学模型的防侧翻决策方法是利用侧向加速度、侧倾角等参数辨识车辆侧翻风险，将车轮制动力或转向角作为控制量，利用PID(Proportional Integral Derivative)控制、滑模控制等控制算法建立防侧翻控制策略。然而，不同车辆的动力学模型具有差异性，使得防侧翻驾驶决策的可靠性和适应性较差。

基于数据驱动的防侧翻决策方法是将车辆运动状态信息等数据进行提取和分析，通过交互式的自学习机制对模型进行训练和拟合，进而形成自动化的决策模型，目前，该方法较少使用。发明专利“一种基于深度强化学习的重型营运车辆防侧翻驾驶决策方法”(公开号：CN112580148A)和“一种考虑路面附着条件的大型营运车辆防侧翻决策方法”(申请号：202111225841.9)利用深度强化学习算法建立了防侧翻驾驶决策模型，得到营运车辆的防侧翻驾驶策略。然而，以上专利适用的交通环境相对简单，未考虑前方车辆对防侧翻驾驶决策的影响。

总体而言，以上两类方法虽然起到一定的防侧翻效果，但在决策的有效性和可靠性方面仍存在不足，原因在于未考虑执行防侧翻驾驶策略过程中的安全隐患。具体地，在营运车辆前方存在障碍物的交通环境下，若采用舒缓制动等防侧翻驾驶策略，较长的制动距离易增加前向碰撞的风险。若进行紧急制动，虽可以避免发生前向碰撞，但过大的制动减速度将进一步加剧车辆的侧翻风险，使得营运车辆更容易失稳而发生侧翻，无法起到防侧翻的效果。因此，合理、有效的防侧翻驾驶决策应同时兼顾前向防撞和防侧翻两方面。

已有的大型营运车辆防侧翻驾驶决策方法，未考虑前方障碍物对行车安全的影响，忽略了执行防侧翻驾驶策略过程中的安全隐患，无法满足同时避免前向碰撞和车辆侧翻的行车安全需求。在营运车辆前方存在障碍物的交通环境下，尚缺乏有效、可靠的大型营运车辆防侧翻驾驶决策方法。

针对大型营运车辆防侧翻驾驶决策方法有效性和可靠性低的问题，本发明针对大型营运车辆，如半挂罐车、重型货车，提出了一种考虑前方障碍物影响的大型营运车辆防侧翻驾驶决策方法。首先，明确防侧翻驾驶决策方法适用的交通场景。其次，将防侧翻驾驶决策问题建模为马尔科夫决策过程，利用标准的策略梯度算法建立大型营运车辆的防侧翻驾驶决策模型。最后，对防侧翻驾驶决策模型进行训练，得到不同行驶工况下的防侧翻驾驶策略，实现了有效、可靠的大型营运车辆防侧翻驾驶决策。本发明的技术路线如图1所示，具体步骤如下：

步骤一：明确防侧翻驾驶决策方法适用的交通场景

为了减少或避免大型营运车辆发生侧翻事故，提高车辆的运行安全性，本发明提出了一种考虑前方障碍物影响的大型营运车辆侧翻主动安全防控决策方法，其适用的场景如图2所示，具体描述为：

大型营运车辆(即自车C₀)行驶在多车道的高等级公路，其所在车道的前方存在交通参与者(即前车C₁)。当自车进行制动、变道或经过弯道时，为了保障行车安全，应有效、及时地为驾驶员提供制动减速、转向等决策策略。

在本发明中，多车道是指车道的数量大于等于3。前车是指位于大型营运车辆(自车)行驶道路前方，且位于同一车道线内、行驶方向相同、距离最近的车辆。

步骤二：建立大型营运车辆的防侧翻驾驶决策模型

针对大型营运车辆防侧翻驾驶决策方法有效性和可靠性低的问题，本发明综合考虑驾驶员操作、行驶工况和交通环境对驾驶决策的影响，建立有效、可靠的防侧翻驾驶决策模型。

道路状态和驾驶员行为的复杂性和不确定性是影响防侧翻驾驶决策的重要因素，考虑到深度强化学习对不确定性的适应性特点，以及对道路状态等高维特征的充分挖掘和表征能力，本发明采用深度强化学习算法建立防侧翻驾驶决策模型。

本发明采用标准的策略梯度算法，并基于步骤一所述的交通场景，建立防侧翻驾驶决策模型，研究前方障碍物存在情况下的营运车辆防侧翻驾驶策略。具体包括以下4个子步骤：

子步骤1：定义防侧翻驾驶决策模型的基础参数

考虑到大型营运车辆的未来运动状态同时受当前运动状态和当前动作影响，本发明将防侧翻驾驶决策问题建模为马尔科夫决策过程，并对模型的基础参数进行定义：t时刻的状态空间S_t、t+1时刻的状态空间S_t+1、t时刻的动作空间A_t以及动作空间A_t对应的回报值R_t。具体地：

(1)定义状态空间

大型营运车辆的侧倾稳定性不仅与车辆自身的运动状态有关，还与道路状态有关。因此，本发明利用车辆运动状态信息定义状态空间：

S_t＝[v_lon,v_hor,a_lon,a_hor,ω_yaw,θ_roll,θ_swa,δ_brake,δ_thr,L_f,D_rel] (1)

其中，v_lon,v_hor分别表示大型营运车辆的纵向、横向速度，单位均为米每秒；a_lon,a_hor分别表示纵向、侧向加速度，单位均为米每二次方秒，可通过厘米级高精度组合导航***测量获得；ω_yaw,θ_roll分别表示横摆角速度和侧倾角，单位分别为弧度每秒、度，可通过MEMS陀螺仪测量获得；θ_swa为车辆的方向盘转角，单位为度，δ_brake,δ_thr分别表示制动踏板开度和节气门开度，单位均为百分数，可通过读取车身CAN总线信息获得；L_f为板簧压力横向转移率，可通过压力传感器测量的车轴钢板弹簧所受压力计算获得，D_rel表示自车与前车的相对距离，单位为米，可通过毫米波雷达采集获得。

(2)定义动作空间

为了综合考虑横向和纵向控制对防侧翻的影响，合理、有效地输出防侧翻驾驶决策策略，本发明将方向盘转角和制动踏板开度作为控制量，定义决策模型输出的驾驶策略，即t时刻的动作空间A_t＝[θ_{swa_out},δ_{brake_out}]。

其中，θ_{swa_out}表示归一化后的方向盘转角控制量，范围为[-1,1]，δ_{brake_out}表示归一化后的制动踏板开度，范围为[0,1]。当δ_brake＝0时，表示车辆未进行制动，当δ_brake＝1时，表示车辆以最大制动减速度进行制动。

(3)定义奖励函数

为了实现对动作空间优劣的定量评价，本发明将奖励函数设计为：

R_t＝δ₁·r₁(t)+δ₂·r₂(t)+r₃(t) (2)

式中，R_t为t时刻的总奖励函数，r₁(t),r₂(t),r₃(t)分别表示防侧翻奖励函数、防追尾奖励函数和惩罚函数；δ₁,δ₂分别表示防侧翻奖励函数的权重系数和防追尾奖励函数的权重系数。

考虑到利用单个侧翻表征参数估计侧翻风险缺乏准确性的问题，综合考虑侧倾角、侧向加速度和板簧压力横向载荷转移率3个表征参数对侧翻的影响，建立防侧翻奖励函数r₁(t)：

式中，a_thr,θ_thr,L_thr分别表示预设的侧向加速度阈值、侧倾角阈值和板簧压力横向转移率阈值，μ₁表示奖励函数r₁(t)的权重系数；

为了降低执行防侧翻驾驶策略过程中的安全隐患，在防侧翻决策过程中，大型营运车辆应避免与前方障碍物发生碰撞；为此，建立前向防撞奖励函数r₂(t)：

r₂(t)＝μ₂|D_rel-D_safe| (4)

式中，D_safe表示自车与前车的安全距离，μ₂表示奖励函数r₂(t)的权重系数；

考虑到合理的安全距离，应同时兼顾通行效率和行车安全；为此，采用可变车头时距作为自动驾驶营运车辆的最小安全距离D_w；

D_w＝v_lonτ+v_forT+L_min (5)

式中，τ表示车间时距，单位为秒，v_for表示前方车辆的速度，单位为米每秒，L_min表示临界距离，单位为米；

为了纠正驾驶决策过程中的错误策略，建立惩罚函数：

r₃(t)＝-S_pen (6)

式中，S_pen为惩罚值，在本发明中，取S_pen＝200，表示若车辆发生侧翻或追尾事故，决策模型会得到-200的惩罚。

子步骤2：设计防侧翻驾驶决策模型的网络架构

利用Actor-Critic框架搭建防侧翻驾驶决策模型，包括Actor网络和Critic网络两部分。其中，Actor网络将状态空间S_t作为输入，并对特征向量进行回归，从而输出连续动作A_t；Critic网络将状态空间S_t和动作A_t作为输入，从而评估当前“状态-动作”的价值。

为Actor和Critic网络构建结构相同的三层全连接网络，三层网络的激活函数均为线性整流函数(Rectified Linear Unit，ReLU)，其表达式为：f(x)＝max(0，x)。

步骤三：训练防侧翻驾驶决策模型

对防侧翻驾驶决策模型中的参数进行训练，具体步骤包括：

子步骤1：初始化策略函数的参数θ₀和值函数的参数φ₀；

子步骤2：对策略函数和值函数的参数进行迭代更新，每一次迭代包括子步骤2.1至子步骤2.6，具体地：

子步骤2.1：在环境中执行策略π_k＝π(θ_k)，搜集轨迹的集合D_k＝{τ_i}；

子步骤2.2：计算后续折扣奖励值

子步骤2.3：基于当前的值函数将时序差分算法作为优势函数的估计量，计算优势函数的估计值；

子步骤2.4：估计策略梯度；

子步骤2.5：计算策略的更新；

子步骤2.6：拟合值函数；

子步骤3：按照子步骤1和子步骤2提供的方法进行迭代更新，使防侧翻驾驶决策模型逐渐收敛。在训练过程中，若车辆发生侧翻或碰撞，则终止当前回合并开始新的回合进行训练。当迭代达到最大次数或大型营运车辆利用模型输出的决策策略稳定有效地实现防侧翻时，表示迭代完成。

最后，将大型营运车辆的运动状态信息输入到已训练的防侧翻驾驶决策模型中，可以在线输出防侧翻驾驶决策策略，实现了有效、可靠的大型营运车辆防侧翻驾驶决策。

Claims (1)

1.一种考虑前方障碍物影响的大型营运车辆防侧翻驾驶决策方法；首先，明确侧翻主动防控决策方法适用的交通场景；其次，利用传感器采集车辆的运动状态信息；最后，将侧翻主动防控决策问题建模为马尔科夫决策过程，利用标准的策略梯度算法建立大型营运车辆的侧翻主动防控决策模型，得到不同行驶工况下的防侧翻驾驶策略；其特征在于：

步骤一：明确防侧翻驾驶决策方法适用的交通场景

大型营运车辆,即自车C₀行驶在多车道的高等级公路，其所在车道的前方存在交通参与者,即前车C₁；当自车进行制动、变道或经过弯道时，为了保障行车安全，应有效、及时地为驾驶员提供决策策略包括，制动减速、转向；

多车道是指车道的数量大于等于3；前车是指位于自车C₀行驶道路前方，且位于同一车道线内、行驶方向相同、距离最近的车辆；

步骤二：建立大型营运车辆的防侧翻驾驶决策模型

采用标准的策略梯度算法，并基于步骤一所述的交通场景，建立防侧翻驾驶决策模型，研究前方障碍物存在情况下的营运车辆防侧翻驾驶策略；具体包括以下4个子步骤：

子步骤1：定义防侧翻驾驶决策模型的基础参数

考虑到大型营运车辆的未来运动状态同时受当前运动状态和当前动作影响，将防侧翻驾驶决策问题建模为马尔科夫决策过程，并对模型的基础参数进行定义：t时刻的状态空间S_t、t+1时刻的状态空间S_t+1、t时刻的动作空间A_t以及动作空间A_t对应的回报值R_t；具体地：

(1)定义状态空间

大型营运车辆的侧倾稳定性不仅与车辆自身的运动状态有关，还与道路状态有关；因此，利用车辆运动状态信息定义状态空间：

S_t＝[v_lon,v_hor,a_lon,a_hor,ω_yaw,θ_roll,θ_swa,δ_brake,δ_thr,L_f,D_rel] (1)

其中，v_lon,v_hor分别表示大型营运车辆的纵向、横向速度，单位均为米每秒；a_lon,a_hor分别表示纵向、侧向加速度，单位均为米每二次方秒，通过厘米级高精度组合导航***测量获得；ω_yaw,θ_roll分别表示横摆角速度和侧倾角，单位分别为弧度每秒、度，通过MEMS陀螺仪测量获得；θ_swa为车辆的方向盘转角，单位为度，δ_brake,δ_thr分别表示制动踏板开度和节气门开度，单位均为百分数，通过读取车身CAN总线信息获得；L_f为板簧压力横向转移率，通过压力传感器测量的车轴钢板弹簧所受压力计算获得，D_rel表示自车与前车的相对距离，单位为米，通过毫米波雷达采集获得；

(2)定义动作空间

将方向盘转角和制动踏板开度作为控制量，定义决策模型输出的驾驶策略，即t时刻的动作空间A_t＝[θ_{swa_out},δ_{brake_out}]；

其中，θ_{swa_out}表示归一化后的方向盘转角控制量，范围为[-1,1]，δ_{brake_out}表示归一化后的制动踏板开度，范围为[0,1]；当δ_brake＝0时，表示车辆未进行制动，当δ_brake＝1时，表示车辆以最大制动减速度进行制动；

(3)定义奖励函数

将奖励函数设计为：

R_t＝δ₁·r₁(t)+δ₂·r₂(t)+r₃(t) (2)

式中，R_t为t时刻的总奖励函数，r₁(t),r₂(t),r₃(t)分别表示防侧翻奖励函数、防追尾奖励函数和惩罚函数；δ₁,δ₂分别表示防侧翻奖励函数的权重系数和防追尾奖励函数的权重系数；

考虑到利用单个侧翻表征参数估计侧翻风险缺乏准确性的问题，综合考虑侧倾角、侧向加速度和板簧压力横向载荷转移率3个表征参数对侧翻的影响，建立防侧翻奖励函数r₁(t)：

式中，a_thr,θ_thr,L_thr分别表示预设的侧向加速度阈值、侧倾角阈值和板簧压力横向转移率阈值，μ₁表示奖励函数r₁(t)的权重系数；

为了降低执行防侧翻驾驶策略过程中的安全隐患，在防侧翻决策过程中，大型营运车辆应避免与前方障碍物发生碰撞；为此，建立前向防撞奖励函数r₂(t)：

r₂(t)＝μ₂|D_rel-D_safe| (4)

式中，D_safe表示自车与前车的安全距离，μ₂表示奖励函数r₂(t)的权重系数；

考虑到合理的安全距离，应同时兼顾通行效率和行车安全；为此，采用可变车头时距作为自动驾驶营运车辆的最小安全距离D_w；

D_w＝v_lonτ+v_forT+L_min (5)

式中，τ表示车间时距，单位为秒，v_for表示前方车辆的速度，单位为米每秒，L_min表示临界距离，单位为米；

为了纠正驾驶决策过程中的错误策略，建立惩罚函数r₃(t)：

r₃(t)＝-S_pen (6)

式中，S_pen为惩罚值，取S_pen＝200，表示若车辆发生侧翻或追尾事故，决策模型会得到-200的惩罚；

子步骤2：设计防侧翻驾驶决策模型的网络架构

利用Actor-Critic框架搭建防侧翻驾驶决策模型，包括Actor网络和Critic网络两部分；其中，Actor网络将状态空间S_t作为输入，并对特征向量进行回归，从而输出连续动作A_t；Critic网络将状态空间S_t和动作A_t作为输入，从而评估当前“状态-动作”的价值；

为Actor和Critic网络构建结构相同的三层全连接网络，三层网络的激活函数均为线性整流函数，其表达式为：f(x)＝max(0,x)；

步骤三：训练防侧翻驾驶决策模型

对防侧翻驾驶决策模型中的参数进行训练，具体步骤包括：

子步骤1：初始化策略函数的参数θ₀和值函数的参数φ₀；

子步骤2：对策略函数和值函数的参数进行迭代更新，每一次迭代包括子步骤2.1至子步骤2.6，具体地：

子步骤2.1：在环境中执行策略π_k＝π(θ_k)，搜集轨迹的集合D_k＝{τ_i}；

子步骤2.2：计算后续折扣奖励值

子步骤2.3：基于当前的值函数将时序差分算法作为优势函数的估计量，计算优势函数的估计值；

子步骤2.4：估计策略梯度；

子步骤2.5：计算策略的更新；

子步骤2.6：拟合值函数；

子步骤3：按照子步骤1和子步骤2提供的方法进行迭代更新，使防侧翻驾驶决策模型逐渐收敛；在训练过程中，若车辆发生侧翻或碰撞，则终止当前回合并开始新的回合进行训练；当迭代达到最大次数或大型营运车辆利用模型输出的决策策略稳定有效地实现防侧翻时，表示迭代完成；

最后，将大型营运车辆的运动状态信息输入到已训练的防侧翻驾驶决策模型中，可以在线输出防侧翻驾驶决策策略，实现了有效、可靠的大型营运车辆防侧翻驾驶决策。