CN112052956B - 一种强化车辆执行最佳动作的训练方法 - Google Patents
一种强化车辆执行最佳动作的训练方法 Download PDFInfo
- Publication number
- CN112052956B CN112052956B CN202010683340.4A CN202010683340A CN112052956B CN 112052956 B CN112052956 B CN 112052956B CN 202010683340 A CN202010683340 A CN 202010683340A CN 112052956 B CN112052956 B CN 112052956B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- action
- state
- function
- influence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009471 action Effects 0.000 title claims abstract description 129
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000012549 training Methods 0.000 title claims abstract description 18
- 238000005728 strengthening Methods 0.000 title abstract description 5
- 230000006870 function Effects 0.000 claims abstract description 39
- 238000011156 evaluation Methods 0.000 claims abstract description 24
- 230000008859 change Effects 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims description 7
- 238000013459 approach Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 abstract description 2
- 230000001133 acceleration Effects 0.000 description 5
- 230000010355 oscillation Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 231100000817 safety factor Toxicity 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Feedback Control In General (AREA)
- Traffic Control Systems (AREA)
Abstract
一种强化车辆执行最佳动作的训练方法,首先根据不同维度的状态参数,评估车辆状态变化,建立状态影响函数;其次根据动作对车辆整体状态的影响调整各可执行动作概率分布;最终根据***熵判断车辆动作学***,使车辆获得自主学***,克服了现有技术中由于环境数据有限导致的模型自适应性差的问题。
Description
技术领域
本发明涉及车联网控制领域,特别涉及一种强化车辆执行最佳动作的训练方法。
背景技术
智能网联车辆是通过智能控制器进行分析决策从而控制车辆在复杂多变的环境中实现安全行驶,现有的分析决策模型是通过开发者提前将各种可能会遇到的环境部署到决策模型中,使车辆在某一特定环境下,自动执行最优动作,保证车辆行驶安全。在构建的决策模型中,模型参数是经过反复实践确定的,因此,网联车辆决策模型的建立工作量巨大,面对***的车辆行驶环境,开发者并不能够保证决策模型中包含每一种驾驶环境,即现有的分析决策模型并不能很好的适应复杂多变的环境,因此,需要一种能够强化车辆执行最佳动作的训练方法,使车辆具备自主学习能力,当遇到陌生环境时,能够经过训练学习,不断调整执行动作,直到执行最佳动作,达到适应新的环境的目的。
发明内容
为解决上述技术问题,本发明提出具备自主学习能力的一种强化车辆执行最佳动作的训练方法。
本方法中,主要包括以下步骤:
S1:获取车辆在某一时刻t的车辆必要的行车状态及可执行动作合集,使各可执行动作执行概率均匀分布;
必要的状态合集是指车辆在环境感知决策过程中需要参考的当前车辆信息数据;在t时刻,获取车辆的状态参数集合S,其中S包括但不限于车辆行驶速度、加速度、偏航角度、在地图中的坐标位置等信息、障碍物位置坐标等。
S2:从动作集中随机选择某个或者某一组可执行动作执行;
动作集中可能既包含单个动作,也包含动作组。
S3:根据不同维度的状态参数,评估车辆状态变化,建立状态影响函数;
当车辆执行某一动作后,车辆状态发生变化,以多个状态评估参数评估车辆状态的变化,例如车辆震荡参数、车辆行驶效率,车辆安全系数等评估参数。建立以动作执行为输入变量,以状态评估参数为输出变量的映射函数即状态影响函数;建立状态参数s的临界值s1、s2及理想值s0,其中s0∈[s1,s2],当s0超出该临界值区间时,表示状态参数不可接受。
建立车辆状态变化合集:
ε=ε(s)={ε(si)|i=1,2,……ns}
其中,ns为车辆状态集大小,ε表示当前车辆状态与理想行驶状态的差值,差值越大,说明当前车辆状态越不理想。
建立执行动作对车辆在t时刻的某一状态评估参数的影响函数:
在上式中,第一项计算的是受控变量与期望值之间的平方误差,第二项计算的是对动作大小(强度)变化进行的奖惩数,选取时刻t,时间段为x的动作大小变化,ωt表示t时刻执行动作大小,表示在t-x时间段内的执行动作大小的均值,其中,c1、c2为正数,分别表示第一项、第二项对本函数的影响因子,σ表示执行动作向量,a为函数的量级控制参数,A为二阶对角矩阵,表示σ各个分量对函数的影响。
根据执行动作对车辆某一状态评估参数的影响函数建立该动作
对车辆整体状态的影响函数:
ε(s)={w1s1(t)+w2s2(t)+wisi(t)}
其中,wi表示该状态评估因素对整个车辆状态的影响因子,si(t)表示评估参数影响函数。
S4:根据动作对车辆整体状态的影响调整各可执行动作概率分布
其中,Pi表示调整后的动作执行概率,Pi-1表示该动作原执行概率,η为函数模型参数;yi-1表示上一次动作执行时损失函数迭代的目标值,损失函数的计算方法如下:
S5:根据***熵判断车辆动作学习能力;
上式中,P(Ek|Si)表示在si状态下,车辆执行动作Ek的概率。***熵能够判断车辆执行动作的自我调整能力,进而可以判断动作执行模型的自适应性。
根据***熵判断车辆是否已经学习最优执行动作。当***熵趋于最小值时,说明车辆已经学会在多个执行动作中选择最佳执行动作,当***熵不能趋近最小值时,车辆需要继续重复上述步骤进行学习。
有益效果:本发明方法能够极大的提高智能驾驶车辆的智能化水平。一方面,本发明方法使车辆获得自主学***,克服了现有技术中由于环境数据有限导致的模型自适应性差的问题。
附图说明
图1为本发明的逻辑流程示意图。
具体实施方式
以下将结合实施例对本发明的技术方案进行清楚、完整地描述,显然,基于本发明中的方法,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有变化,都属于本发明保护的范围。
本方法中,主要包括以下步骤:
S1:获取车辆在某一时刻t的车辆必要的行车状态及可执行动作合集,使各可执行动作执行概率均匀分布;
具体地,必要的状态合集是指车辆在环境感知决策过程中需要参考的当前车辆信息数据;在t时刻,获取车辆的状态参数集合S,其中S包括但不限于车辆行驶速度、加速度、偏航角度、在地图中的坐标位置等信息、障碍物位置坐标等。
具体地,可执行动作合集是指车辆在该环境下能够执行的所有动作合集。在t时刻,获取车辆的可执行动作合集E,其中E包括但不限于车辆可执行的加速度,可执行的方向盘偏转角度等动作。
S2:从动作集中随机选择某个或者某一组可执行动作执行;
某一个动作是指不需要其他配合动作的、通过改变某一个单独数据参数就能够完成的执行动作,例如直线制动动作,仅需要控制改变速度这一参数即可;某一组动作是指需要其他动作配合、需要改变多个控制参数才能完成的执行动作,例如转向动作,至少需要同时改变方向盘偏转角度参数、车辆行驶速度参数才能够配合完成转向执行动作。因此,动作集中可能既包含单个动作,也包含动作组。
S3:根据不同维度的状态参数,评估车辆状态变化,建立状态影响函数;
当车辆执行某一动作后,车辆状态发生变化,以多个状态评估参数评估车辆状态的变化,例如车辆震荡参数、车辆行驶效率,车辆安全系数等评估参数。建立以动作执行为输入变量,以状态评估参数为输出变量的映射函数即状态影响函数;建立状态参数s的临界值s1、s2及理想值s0,其中s0∈[s1,s2],当s0超出该临界值区间时,表示状态参数不可接受。
具体地,在车辆的行驶过程中,某一动作的执行影响多个状态评估参数,在执行动作时,必须将各个状态评估参数保持动态平衡才能使车辆达到理想状态,例如,车辆在一些起伏路面行驶过程中,随着速度的增加,车辆震荡参数将会持续增大,影响乘车体验,而随着车速的减小,车辆震荡参数逐渐降低,乘车体验变好,但车辆行驶效率降低。
该过程中,动作执行是速度控制,速度控制所影响的状态评估参数包括车辆震荡参数和行驶效率,因此,需要使车辆震荡参数和行驶效率达到一个平衡状态,即在保证车辆通行效率的同时保证车辆乘车体验,从而使车辆处于最理想的行驶状态。建立车辆状态变化合集:
ε=ε(s)={ε(si)|i=1,2,……ns}
其中,ns为车辆状态集大小,ε表示当前车辆状态与理想行驶状态的差值,差值越大,说明当前车辆状态越不理想。
建立动作与车辆状态参数的对应关系:(si,Ek)。
建立执行动作对车辆在t时刻的某一状态评估参数的影响函数:
在上式中,第一项计算的是受控变量与期望值之间的平方误差,第二项计算的是对动作大小即强度变化进行的奖惩数,选取时刻t,时间段为x的动作大小变化,ωt表示t时刻执行动作大小,表示在t-x时间段内的执行动作大小的均值,其中,c1、c2为正数,分别表示第一项、第二项对本函数的影响因子,σ表示执行动作向量,a为函数的量级控制参数,可以避免车辆在学习过程中的数值不稳定性,A为二阶对角矩阵,表示σ各个分量对函数的影响。动作大小变化可以根据单位时间内相关的车辆状态评估参数的变化来确定,例如在执行加速动作的过程中,加速度的大小可以以速度的变化来确定。
根据执行动作对车辆某一状态评估参数的影响函数建立该动作对车辆整体状态的影响函数:
ε(s)={w1s1(t)+w2s2(t)+wisi(t)}
其中,si(t)表示评估参数影响函数,wi表示该状态评估因素对整个车辆状态的影响因子,在训练初期,影响因子的确定可以结合专家经验确定,专家确定可根据AHP层次分析法,两两比较状态评估因素对车辆整体状态影响的重要程度,构建对比矩阵,通过求特征根的方式确定影响因子数值,并通过后期的训练不断修正影响因子。
进一步地,当车辆在执行某项动作后,任一状态评估参数超出可接受评估范围,此时该动作对车辆状态的影响函数直接取特定值或者较大的常数r,例如r=0或r=100000。
根据该动作车辆整体状态的影响:判断车辆状态变化合集,即当前车辆状态与理想行驶状态的差值,差值越大,说明当前车辆状态越不理想。
S4:根据动作对车辆整体状态的影响调整各可执行动作概率分布
其中,Pi表示调整后的动作执行概率,Pi-1表示该动作原执行概率,η为函数模型参数,无特别要求,可以根据需要自动调整;yi-1表示上一次动作执行时损失函数迭代的目标值,损失函数的计算方法如下:
S5:根据***熵判断车辆动作学习能力,
上式中,P(Ek|si)表示在si状态下,车辆执行动作Ek的概率。***熵能够判断车辆执行动作的自我调整能力,进而可以判断动作执行模型的自适应性。
根据***熵判断车辆是否已经学习最优执行动作,具体地,判断***熵是否趋于最小值,当***熵趋于最小值时,说明车辆已经学会在多个执行动作中选择最佳执行动作,当***熵不能趋近最小值时,车辆需要继续重复上述步骤进行学习。
需要说明的是,同后期实际应用相比,本发明方法更适用于网联车辆的前期训练,通过车辆的自主学习能力,可以省去巨大的人工训练工作量。在某些情况下,例如由于学习次数较少时,车辆还不能学习到最佳的执行动作,车辆可能会执行一些比较糟糕的选择,如果在实际应用中,可能会产生较为恶劣的后果。但是,即便如此,同现有技术相比,本方法也是较为先进的,现有技术中一些车辆的预设模型中不具备某些环境,那么当车辆一旦进入该陌生环境,车辆每次都会随机的选择动作执行,而本方法,或许车辆在前几次会选择比较糟糕的动作执行,但随着车辆的不断学习,随着进入该陌生环境的次数增多,车辆会逐渐调整动作,直到找到最佳的执行动作,并在以后进入该环境时,直接执行最佳动作,本方法同现有的技术相比,具有实质性的进步。
Claims (2)
1.一种强化车辆执行最佳动作的训练方法,其特征是,包括以下步骤:
S1:获取车辆在某一时刻t的车辆必要的行车状态及可执行动作合集,使各可执行动作执行概率均匀分布;
S2:从动作集中随机选择某个或者某一组可执行动作执行;
S3:根据不同维度的状态参数,评估车辆状态变化,建立状态影响函数;
所述的S3中,具体包括:
S301:建立车辆状态变化合集:
ε=ε(s)={ε(si)|i=1,2,……ns}
其中,ns为车辆状态集大小,ε表示当前车辆状态与理想行驶状态的差值,差值越大,说明当前车辆状态越不理想;
S302:建立执行动作对车辆在t时刻的某一状态评估参数的影响函数:
在上式中,第一项计算的是受控变量与期望值之间的平方误差,第二项计算的是对动作大小即强度变化进行的奖惩数,选取时刻t,时间段为x的动作大小变化,ωt表示t时刻执行动作大小,表示在t-x时间段内的执行动作大小的均值,其中,c1、c2为正数,分别表示第一项、第二项对本函数的影响因子,σ表示执行动作向量,a为函数的量级控制参数,可以避免车辆在学习过程中的数值不稳定性,A为二阶对角矩阵,表示σ各个分量对函数的影响;
S303:根据执行动作对车辆某一状态评估参数的影响函数建立该动作;
对车辆整体状态的影响函数:
ε(s)={w1s1(t)+w2s2(t)+wisi(t)}
其中,wi表示该状态评估因素对整个车辆状态的影响因子,在训练初期,影响因子的确定可以结合专家经验确定,通过后期的训练不断修正影响因子,si(t)表示评估参数影响函数;
S4:根据动作对车辆整体状态的影响调整各可执行动作概率分布;
所述的S4中,根据如下公式计算可执行动作概率分布:
其中,Pi表示调整后的动作执行概率,Pi-1表示该动作原执行概率,η为函数模型参数,可以根据需要自动调整;yi-1表示上一次动作执行时损失函数迭代的目标值;
S5:根据***熵判断车辆动作学习能力,判断车辆是否已学习到最优执行动作,当***熵趋于最小值时,说明车辆已经学会在多个执行动作中选择最佳执行动作,当***熵不能趋近最小值时,车辆需要继续重复上述步骤进行学习。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010683340.4A CN112052956B (zh) | 2020-07-16 | 2020-07-16 | 一种强化车辆执行最佳动作的训练方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010683340.4A CN112052956B (zh) | 2020-07-16 | 2020-07-16 | 一种强化车辆执行最佳动作的训练方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112052956A CN112052956A (zh) | 2020-12-08 |
CN112052956B true CN112052956B (zh) | 2021-12-17 |
Family
ID=73601202
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010683340.4A Active CN112052956B (zh) | 2020-07-16 | 2020-07-16 | 一种强化车辆执行最佳动作的训练方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112052956B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013148958A (ja) * | 2012-01-17 | 2013-08-01 | Toyota Motor Corp | 走行支援装置 |
WO2019047596A1 (zh) * | 2017-09-05 | 2019-03-14 | 百度在线网络技术(北京)有限公司 | 一种用于驾驶模式切换的方法和装置 |
CN109624986A (zh) * | 2019-03-01 | 2019-04-16 | 吉林大学 | 一种基于模式切换的驾驶风格的学习巡航控制***及方法 |
CN109948781A (zh) * | 2019-03-21 | 2019-06-28 | 中国人民解放军国防科技大学 | 用于自动驾驶车辆的连续动作在线学习控制方法及*** |
CN110969848A (zh) * | 2019-11-26 | 2020-04-07 | 武汉理工大学 | 一种对向双车道下基于强化学习的自动驾驶超车决策方法 |
CN111222630A (zh) * | 2020-01-17 | 2020-06-02 | 北京工业大学 | 一种基于深度强化学习的自主驾驶规则学习方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110298122B (zh) * | 2019-07-03 | 2021-04-27 | 北京理工大学 | 基于冲突消解的无人驾驶车辆城市交叉口左转决策方法 |
-
2020
- 2020-07-16 CN CN202010683340.4A patent/CN112052956B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013148958A (ja) * | 2012-01-17 | 2013-08-01 | Toyota Motor Corp | 走行支援装置 |
WO2019047596A1 (zh) * | 2017-09-05 | 2019-03-14 | 百度在线网络技术(北京)有限公司 | 一种用于驾驶模式切换的方法和装置 |
CN109624986A (zh) * | 2019-03-01 | 2019-04-16 | 吉林大学 | 一种基于模式切换的驾驶风格的学习巡航控制***及方法 |
CN109948781A (zh) * | 2019-03-21 | 2019-06-28 | 中国人民解放军国防科技大学 | 用于自动驾驶车辆的连续动作在线学习控制方法及*** |
CN110969848A (zh) * | 2019-11-26 | 2020-04-07 | 武汉理工大学 | 一种对向双车道下基于强化学习的自动驾驶超车决策方法 |
CN111222630A (zh) * | 2020-01-17 | 2020-06-02 | 北京工业大学 | 一种基于深度强化学习的自主驾驶规则学习方法 |
Non-Patent Citations (7)
Title |
---|
Development of Human-Like Driving Decision Making Model based on Human Brain Mechanism;Tsuyoshi Sakuma;《2019 IEEE/SICE International Symposium on System Integration (SII)》;20190429;第770-775页 * |
Learning Driving Scene Prediction from Environmental Perception of Vehicle Fleet Data;Justus Jordan等;《2015 IEEE 18th International Conference on Intelligent Transportation Systems》;20151102;第547-552页 * |
Proactive Caching in Auto Driving Scene via Deep Reinforcement Learning;Zihui Zhu等;《2019 11th International Conference on Wireless Communications and Signal Processing (WCSP)》;20191209;第1-6页 * |
基于MM-STConv的端到端自动驾驶行为决策模型;赵祥模等;《中国公路学报》;20200331;第33卷(第03期);第170-183页 * |
考虑驾驶风格的智能车自主驾驶决策方法;王鑫鹏等;《交通信息与安全》;20200628(第02期);第37-46页 * |
自动驾驶汽车的智能决策模型研究;张效宇等;《汽车实用技术》;20200715;第42-45页 * |
自动驾驶车辆决策控制方法研究;高健博;《中国优秀硕士论文全文数据库信息科技II辑》;20200615;C035-165 * |
Also Published As
Publication number | Publication date |
---|---|
CN112052956A (zh) | 2020-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Xiao et al. | Adaptive control barrier functions | |
US20220363259A1 (en) | Method for generating lane changing decision-making model, method for lane changing decision-making of unmanned vehicle and electronic device | |
CN109388073B (zh) | 一种车辆动态模拟的方法和装置 | |
Ammar et al. | Autonomous cross-domain knowledge transfer in lifelong policy gradient reinforcement learning | |
CN110442020B (zh) | 一种新型的基于鲸鱼优化算法的容错控制方法 | |
CN111008449A (zh) | 一种用于战场仿真环境下深度强化学习推演决策训练的加速方法 | |
CN107633105B (zh) | 一种基于改进混合蛙跳算法的四旋翼无人机参数辨识方法 | |
JP2010134863A (ja) | 制御対象の制御入力決定手段 | |
CN115993781B (zh) | 抗网络攻击无人集群***协同控制方法、终端及存储介质 | |
CN113472242B (zh) | 基于多智能体的抗干扰自适应模糊滑模协同控制方法 | |
US20210263526A1 (en) | Method and device for supporting maneuver planning for an automated driving vehicle or a robot | |
CN108985449B (zh) | 一种对卷积神经网络处理器的控制方法及装置 | |
WO2021146108A1 (en) | Nearby driver intent determining autonomous driving system | |
CN112936266A (zh) | 网络化机械臂***自适应一致性切换控制方法及*** | |
Hager et al. | Adaptive Neural network control of a helicopter system with optimal observer and actor-critic design | |
CN109249393B (zh) | 一种基于经验控制的多参数机器人实时行为校正方法 | |
CN113419424B (zh) | 减少过估计的模型化强化学习机器人控制方法及*** | |
CN112052956B (zh) | 一种强化车辆执行最佳动作的训练方法 | |
CN113625753A (zh) | 一种由专家规则引导神经网络学习无人机机动飞行的方法 | |
CN110888323A (zh) | 一种用于切换***智能优化的控制方法 | |
CN110641290A (zh) | 基于模型预测算法的四轮独立电驱动车辆速度控制方法 | |
CN114670856B (zh) | 一种基于bp神经网络的参数自整定纵向控制方法及*** | |
CN114359349A (zh) | 一种用于车辆自适应路径跟踪的终身学习方法及*** | |
CN115469548A (zh) | 具有输入饱和的未知非线性多智能体有限时间分群一致性控制方法 | |
US11501167B2 (en) | Learning domain randomization distributions for transfer learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A Training Method for Strengthening Vehicle Execution of Optimal Actions Granted publication date: 20211217 Pledgee: Huaxia Bank Co.,Ltd. Jinan Branch Pledgor: SHANDONG PROMOTE ELECTROMECHANICAL TECHNOLOGY CO.,LTD. Registration number: Y2024980010384 |
|
PE01 | Entry into force of the registration of the contract for pledge of patent right |