CN115303290A - 车辆混合关键级***的***关键级切换方法及*** - Google Patents
车辆混合关键级***的***关键级切换方法及*** Download PDFInfo
- Publication number
- CN115303290A CN115303290A CN202211223802.XA CN202211223802A CN115303290A CN 115303290 A CN115303290 A CN 115303290A CN 202211223802 A CN202211223802 A CN 202211223802A CN 115303290 A CN115303290 A CN 115303290A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- key level
- state
- state value
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000006870 function Effects 0.000 claims description 127
- 230000002787 reinforcement Effects 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 2
- 230000009471 action Effects 0.000 description 23
- 230000008569 process Effects 0.000 description 9
- 238000013507 mapping Methods 0.000 description 6
- 239000003795 chemical substances by application Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- BULVZWIRKLYCBC-UHFFFAOYSA-N phorate Chemical compound CCOP(=S)(OCC)SCSCC BULVZWIRKLYCBC-UHFFFAOYSA-N 0.000 description 2
- 241001539917 Actina Species 0.000 description 1
- 241000135164 Timea Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 125000004432 carbon atom Chemical group C* 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2510/00—Input parameters relating to a particular sub-units
- B60W2510/24—Energy storage means
- B60W2510/242—Energy storage means for electrical energy
- B60W2510/244—Charge state
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/05—Type of road, e.g. motorways, local streets, paved or unpaved roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/402—Type
- B60W2554/4029—Pedestrians
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
- B60W2555/20—Ambient conditions, e.g. wind or rain
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Electric Propulsion And Braking For Vehicles (AREA)
Abstract
本发明涉及一种车辆混合关键级***的***关键级切换方法及***,属于混合关键级***技术领域,先根据车辆的驾驶主体确定驾驶主体状态值,对车辆的内部环境数据进行处理,得到车辆内部状态值,对车辆的外部环境数据进行处理,得到车辆外部状态值,然后以驾驶主体状态值、车辆内部状态值和车辆外部状态值作为输入,利用强化学习模型确定待切换的目标***关键级,最后执行目标***关键级对应的功能集,使车辆处于目标***关键级,从而结合多种因素进行***关键级切换的综合判断,通过强化学习的方法确定***关键级的最佳切换点,提高车辆的整体安全性和计算资源的利用效率。
Description
技术领域
本发明涉及混合关键级***技术领域,特别是涉及一种车辆混合关键级***的***关键级切换方法及***。
背景技术
把具有不同关键等级的多个功能集成于同一嵌入式计算平台,以平衡***中越来越复杂的功能与受限的计算资源、硬件尺寸、功耗以及成本等资源之间的矛盾,是当代嵌入式***发展的重要趋势,这种***被称为混合关键级***。在混合关键级***的调度中,一方面需要充分考虑功能的关键等级,通过保证具有较高关键等级的功能的及时完成,以满足***的安全性和可靠性要求,另一方面需要通过对***资源的有效配置,优化具有低关键等级的功能调度,以提升***的整体性能。
车辆的混合关键级***具有多个***关键级,每一***关键级对应多个不同的功能,车辆需要按照实际需求处于不同的***关键级。但目前,车辆的混合关键级***的***提升和降落机制存在不足,无法确定***关键级的最佳切换点。基于此,亟需一种车辆混合关键级***的***关键级切换技术。
发明内容
本发明的目的是提供一种车辆混合关键级***的***关键级切换方法及***,通过强化学习的方法确定***关键级的最佳切换点,提高车辆的整体安全性和计算资源的利用效率。
为实现上述目的,本发明提供了如下方案:
一种车辆混合关键级***的***关键级切换方法,所述***关键级切换方法包括:
根据车辆的驾驶主体确定驾驶主体状态值;
对所述车辆的内部环境数据进行处理,得到车辆内部状态值;所述车辆内部状态值包括电池荷电状态和处理器平均负载;
对所述车辆的外部环境数据进行处理,得到车辆外部状态值;所述车辆外部状态值包括前后方车辆数目、前后方行人数目、道路类型和天气类别;
以所述驾驶主体状态值、所述车辆内部状态值和所述车辆外部状态值作为输入,利用强化学习模型确定待切换的目标***关键级;
执行所述目标***关键级对应的功能集,使所述车辆处于所述目标***关键级。
一种车辆混合关键级***的***关键级切换***,所述***关键级切换***包括:
状态确定模块,用于根据车辆的驾驶主体确定驾驶主体状态值;对所述车辆的内部环境数据进行处理,得到车辆内部状态值;所述车辆内部状态值包括电池荷电状态和处理器平均负载;对所述车辆的外部环境数据进行处理,得到车辆外部状态值;所述车辆外部状态值包括前后方车辆数目、前后方行人数目、道路类型和天气类别;
关键级确定模块,用于以所述驾驶主体状态值、所述车辆内部状态值和所述车辆外部状态值作为输入,利用强化学习模型确定待切换的目标***关键级;
关键级切换模块,用于执行所述目标***关键级对应的功能集,使所述车辆处于所述目标***关键级。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明用于提供一种车辆混合关键级***的***关键级切换方法及***,先根据车辆的驾驶主体确定驾驶主体状态值,对车辆的内部环境数据进行处理,得到车辆内部状态值,对车辆的外部环境数据进行处理,得到车辆外部状态值,然后以驾驶主体状态值、车辆内部状态值和车辆外部状态值作为输入,利用强化学习模型确定待切换的目标***关键级,最后执行目标***关键级对应的功能集,使车辆处于目标***关键级,从而结合多种因素进行***关键级切换的综合判断,通过强化学习的方法确定***关键级的最佳切换点,提高车辆的整体安全性和计算资源的利用效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例1所提供的***关键级切换方法的方法流程图;
图2为本发明实施例1所提供的***关键级切换方法的原理框图;
图3为本发明实施例1所提供的Q表训练过程的流程示意图;
图4为本发明实施例2所提供的***关键级切换***的***框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种车辆混合关键级***的***关键级切换方法及***,通过强化学习的方法确定***关键级的最佳切换点,提高车辆的整体安全性和计算资源的利用效率。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1:
本实施例用于提供一种车辆混合关键级***的***关键级切换方法,如图1和图2所示,所述***关键级切换方法包括:
S1:根据车辆的驾驶主体确定驾驶主体状态值;
驾驶主体判断是进行***关键级切换的首要依据,如自适应巡航、自动泊车等高级别自动驾驶功能应在无人驾驶状态下被赋予更高的执行保障。本实施例通过判断车辆的驾驶主体,得到驾驶主体状态值。具体的,获取车辆的驾驶主体,若车辆的驾驶主体为车辆,即此时车辆处于无人驾驶状态,则驾驶主体状态值drive-state为1;若车辆的驾驶主体为人,即此时车辆处于人工驾驶状态,则驾驶主体状态值drive-state为0。
目前一般是通过选择模式的方式,来令人驾驶车辆或者令车辆处于无人驾驶状态,故本实施例可以通过获取所选择的模式,来确定车辆的驾驶主体。
S2:对所述车辆的内部环境数据进行处理,得到车辆内部状态值;所述车辆内部状态值包括电池荷电状态和处理器平均负载;
本实施例中的车辆的内部环境数据是指安全攸关的属于车辆自身范畴的相关数据,如车辆的各个硬件组件的诊断状态值、车辆的高低压电池的荷电状态、处理器的工作参数等,这些数据反映了车辆本身是否安全和稳定,当车辆处于诊断异常、电量低下或是处理器负荷过高等状态时,应当给予安全相关的功能所对应的任务更多的计算资源预算,即最坏执行时间。本实施例通过处理车辆的内部环境数据,具体将所关注的车辆的内部环境数据进行获取或二次处理,得到安全相关的车辆内部状态值。
具体的,S2可以包括:获取车辆的内部环境数据,内部环境数据包括高压电池的荷电状态、低压电池的荷电状态和各个处理器的工作参数,工作参数包括忙碌时间、闲置时间、平均频率和最大主频。以高压电池的荷电状态和低压电池的荷电状态组成电池荷电状态。以各个处理器的工作参数作为输入,利用平均负载计算公式计算得到处理器平均负载,电池荷电状态和处理器平均负载组成车辆内部状态值。
平均负载计算公式为:
S3:对所述车辆的外部环境数据进行处理,得到车辆外部状态值;所述车辆外部状态值包括前后方车辆数目、前后方行人数目、道路类型和天气类别;
本实施例中的车辆的外部环境数据是指直接影响车辆安全的外部环境数据,即可能会导致车辆发生碰撞、侧翻等安全事故的数据,如前后方车辆数目、前后方行人数目、道路类型、天气类别等,这些数据反映了车辆外部环境是否“恶劣”,在多大程度上影响车辆发生安全事件的可能性。本实施例通过处理车辆的外部环境数据,具体将所关注的车辆的外部环境数据进行获取或二次处理,得到安全相关的车辆外部状态值。
具体的,S3可以包括:获取车辆的外部环境数据,外部环境数据包括安装于车辆上的激光雷达采集的激光雷达点云数据、安装于车辆上的摄像头采集的图像数据以及天气信息。根据激光雷达点云数据和图像数据进行车辆识别,得到前后方车辆数目,可通过双传感器特征级数据融合方法进行车辆识别。对图像数据进行行人识别,得到前后方行人数目,可基于深度学习的行人识别与定位方法进行行人识别。对图像数据进行道路识别,得到道路类型,可通过道路识别算法进行道路识别。根据天气信息确定天气类别。前后方车辆数目、前后方行人数目、道路类型和天气类别组成车辆外部状态值。
需要说明的是,本实施例所用的车辆识别、行人识别和道路识别的方法均可采用现有的任意一种方法,在此不再赘述。
S4:以所述驾驶主体状态值、所述车辆内部状态值和所述车辆外部状态值作为输入,利用强化学习模型确定待切换的目标***关键级;
以S1、S2和S3所得到的三类状态值(三类状态值即强化学习模型中的状态)作为强化学习模型的输入,通过强化学习模型决定应当切换的目标***关键级(***关键级即强化学习模型中的动作),从而进行决策。具体而言,在确定了输入强化学习模型的状态后,根据Q表遍历动作,找到使得Q值最大的动作,将该动作作为决策得到应当切换的目标***关键级。若***关键级不变,则继续执行原***关键级对应的功能集;若***关键级提升,则仅保障提升后的***关键级对应的功能集的服务质量;若***关键级下降,则保障下降后的***关键级对应的功能集的服务质量。
具体的,S4可以包括:以驾驶主体状态值、车辆内部状态值和车辆外部状态值作为输入,利用强化学习模型中的训练好的Q表确定每一***关键级所对应的Q值,训练好的Q表包括在不同状态下选择每一***关键级分别对应的Q值。选取Q值最大的***关键级作为待切换的目标***关键级。
本实施例的强化学习模型是车辆在前期研发过程中预先研制的完善成熟的强化学习模型,而非车辆投入使用后所形成的,训练好的Q表则通过预先研制的训练过程得到,具体的,如图3所示,在S4之前,对初始Q表进行迭代训练,得到训练好的Q表可以包括:
(1)定义强化学习模型中的智慧体、状态、动作、奖励值和Q表。
本实施例的智慧体(agent)为当前的***调度器,即控制***关键级切换的决策体,决定哪些功能可被保证服务质量。状态(state)和动作(action)的定义如下:t时刻的状态为驾驶主体状态值、安全相关的车辆内部状态值、安全相关的车辆外部状态值的集合,使用矢量s t 来表征这一集合,s t =[drive-state,in-state 1,in-state 2,…,ex-state 1,ex- state 2,…]T,in-state 1为第一个车辆内部状态值,in-state 2为第二个车辆内部状态值,ex-state 1为第一个车辆外部状态值,ex-state 2为第二个车辆外部状态值。t时刻的动作a t 代表切换关键级的行为,a t ,当a t 时,意味着决策将***关键级切换至第k个***关键级。
定义在状态s t 下选择动作a t 的奖励值(reward)为R(s t ,a t ),动作引发***关键级切换后,若没有功能错失其截止期限要求,则R(s t ,a t )为正数,代表奖励;若有功能错失其截止期限要求,则R(s t ,a t )为负数,代表惩罚。Q表为一张二维表,横坐标为状态,纵坐标为动作,Q表存储的内容是在状态s t 下选择动作a t 的Q值,即Q(s t ,a t ),运用Q学习训练时,最终目的就是要得到一张收敛的Q表(也即训练好的Q表),使智能体到达某个状态时,能根据训练好的Q表选择对自己最有利的动作。
Q表的更新公式如下:
其中,Q(s t ,a t )表示t时刻在状态s t 下选择动作a t 的Q值;α是学习效率,其值位于0-1之间;γ是折扣因子,其值位于0-1之间,表示下一时刻最大Q值对当前时刻的影响,取值越高,说明未来时刻对当前时刻的影响越大;Q(s t+1,a t+1)表示t+1时刻在状态s t+1下选择动作a t+1的Q值;maxQ(s t+1,a t+1)表示t+1时刻智能体能取得的最大Q值。
(2)确定训练场景,并初始化Q表和状态。
训练场景可以为纯软件模拟仿真环境,也可以为基于样车实测的真实场景,在确定训练场景后,对Q表进行初始化操作,得到初始Q表,初始Q表内的初始值可取随机数,也可均置为0。状态的初值取决于训练环境,在训练环境和训练开始时间确定后,初始状态即确定下来。
(3)迭代训练,更新Q表。
从初始时间开始,***调度器不断根据Q表做出动作。具体而言,在t时刻时,由于状态s t 可以得到,于是根据Q表,遍历动作,选择使得Q值最大的动作a t ,将其作为决策,即本轮决定切换的目标***关键级,动作做出后,可根据反馈得到奖励值R(s t ,a t )。t时刻的流程结束后,进行到t+1时刻,可得状态s t+1,于是可根据Q表更新公式,得到,此时完成Q表的第t次迭代。
更为具体的,一次迭代过程可以包括:获取样本状态,样本状态包括驾驶主体状态值样本、车辆内部状态值样本和车辆外部状态值样本,第一次迭代的样本状态为(2)中确定的初始状态,后续迭代的样本状态即为训练场景下所采集的车辆状态。以样本状态作为输入,利用初始Q表选择待切换的目标***关键级样本,即选择Q值最大的***关键级作为目标***关键级样本。执行目标***关键级样本对应的功能集样本,根据车辆反馈得到奖励值,若车辆反馈为功能集样本中的每一功能样本均未错失截止期限,则奖励值为第一预设值;若车辆反馈为功能集样本中的任一功能样本错失截止期限,则奖励值为第二预设值,第一预设值为正数,第二预设值为负数。根据奖励值对初始Q表进行更新,得到更新后Q表,即采用(1)中的Q表更新公式对Q表进行更新。
(4)Q表收敛,完成训练。
当Q表数据连续1000次的变化均小于可接受阈值,说明Q表已经收敛,停止训练。此时最优策略已经生成,车辆在每一个状态下,都可通过选择使Q值能取得最大值的动作来完成决策。
具体的,迭代过程可以包括:判断是否达到迭代停止条件,迭代停止条件包括:更新后Q表相对于初始Q表的变化连续N次小于预设阈值。若是,则以更新后Q表作为训练好的Q表;若否,则以更新后Q表作为下一迭代的初始Q表,返回“获取样本状态”的步骤。
S5:执行所述目标***关键级对应的功能集,使所述车辆处于所述目标***关键级。
在确定目标***关键级后,本实施例会执行该目标***关键级对应的功能集,并返回S1继续下一轮决策。本实施例会预先定义允许执行的功能集与***关键级的映射关系,***关键级发生改变后,仅保障切换后的***关键级对应的功能集中的功能的服务质量,至此本轮决策结束,并开始下一轮决策。
本实施例预先定义允许执行的功能集与***关键级的映射关系的步骤可以包括:
(1)自动驾驶车辆混合关键级***中功能集和功能模型的建立;
本实施例的功能集包括多个功能,每一功能均对应一功能模型,功能模型包括功能的释放周期、功能的相对截止时间、功能在不同***关键级下的执行时间预算和功能的功能关键级。
功能集可表示为:
其中,n表示车辆***中功能的个数;F i 代表一项独立的功能。本实施例中的单个功能指的是车辆完成某一实际用途的任务。
每一功能对应一功能模型,对于单个的功能模型,使用一个元组(tuple)进行描述。功能模型可表示为:
其中,T i 代表功能F i 的释放周期,即从开始释放功能F i 后,每经过T i 进行下一次功能F i 的释放;D i 代表功能F i 的相对截止时间,假设功能F i 于时间t 1释放,则功能F i 需要在时间[t 1,t 1+D i ]内完成执行;为一个矢量,代表功能F i 在不同***关键级下的执行时间预算;代表功能F i 自身的功能关键级,功能关键级和其对安全的影响直接相关,越安全攸关的功能则其功能关键级越高,且。
(2)定义允许执行的功能集与***关键级的映射关系;
自动驾驶车辆混合关键级***的***关键级模型的表示如下:
其中,S代表当前***的***关键级(system criticality),***关键级代表当前***的操作模式,在低的***关键级下,在功能的调度上倾向于保证所有功能的实现,以提供更好的车辆整体表现;在高的***关键级下,在功能的调度上则倾向于保证高关键级功能(更加安全攸关的功能)的实现,以保证车辆的安全性。对于,有。
不同***关键级的级别不同,***关键级的级别越高,***关键级所对应的功能集所包括的功能的个数越少。定义允许执行的功能集与***关键级的映射关系,即当***关键级为时,车辆只保障其对应的功能集E k 中包含的功能的服务质量。
本实施例预先定义了每个***关键级所对应的允许执行的功能集,当决策动作产生后,会将***关键级调整,这时仅保证调整后的***关键级所对应的允许执行的功能集所包含的各个功能的服务质量。
本实施例针对现有混合关键级***中***提升和降落机制的不足,提供一种面向L4级别自动驾驶汽车的***关键级切换方法,针对自动驾驶车辆的真实使用场合,结合车辆内部和外部的各种影响因素进行关键级切换的综合判断,通过强化学习的方法得到车辆***关键级切换的最佳点,以提高车辆的整体安全性和计算资源的利用效率。本实施例的方法实质上是一种关键级提升/回落机制,在更高的***关键级下保障和安全攸关的功能的服务质量,在较低的***关键级下尽量保障所有功能的服务质量。
以下给出一具体示例来对本实施例的***关键级切换方法进行进一步的介绍:
(1)自动驾驶车辆混合关键级***中功能模型的建立;
(1.1)自动驾驶车辆混合关键级***的功能集的建立:
该示例中,自动驾驶车辆混合关键级***的功能集共包括9个功能,F代表所有功能的全集合,F i (i=1,2,...,9)代表单个独立的功能,F 1代表加速控制任务,F 2代表制动控制任务,F 3代表转向控制任务,F 4代表激光雷达感知任务,F 5代表毫米波雷达感知任务,F 6代表摄像头感知任务,F 7代表自动驾驶决策任务,F 8代表V2X任务,F 9代表车载娱乐任务。
(1.2)自动驾驶车辆混合关键级***的功能模型的建立:
对于单个的功能模型F i ,使用一个元组(tuple)进行描述。该元组中,T i 代表功能F i 的释放周期,即从开始释放功能F i 后,每经过T i 进行下一次功能F i 的释放;D i 代表功能F i 的相对截止时间,假设功能F i 于时间t 1释放,则在此释放的示例中,功能F i 需要在时间[t 1,t 1+D i ]内完成执行;为一个矢量,代表功能F i 在不同***关键级下的执行时间预算;代表功能F i 自身的功能关键级,功能关键级和其对安全的影响直接相关,越安全攸关的功能则其功能的关键级越高,且。
此处所定义的功能模型用于(2),在(2)中定义了各个***关键级下对应的允许执行的功能集,每个功能集均包含有不同数量的功能,每一功能均对应一个功能模型。
(2)定义允许执行的功能集与***关键级的映射关系;
(2.1)自动驾驶车辆混合关键级***的***关键级模型的建立:
S代表当前***的***关键级(system criticality),***关键级代表当前***的操作模式,在低的***关键级下,在功能的调度上倾向于保证所有功能的实现,以提供更好的车辆整体表现;在高的***关键级下,在功能的调度上则倾向于保证高关键级功能(更加安全攸关的功能)的实现。对于,有,即本示例中有三个***关键级,表示当前***处于低关键级,表示当前***处于中关键级,表示当前***处于高关键级。
(2.2)定义允许执行的功能集与***关键级的映射关系:
作为具体实施方式,可设置各个功能集如下:
在此定义了每个***关键级所对应的允许执行的功能集,当决策动作产生后,会将***关键级调整,这时仅保证调整后的***关键级所对应的允许执行的功能集所包含的各个功能的服务质量。如:若经过决策,***关键级切换至,则仅保障最高关键级的功能F 1,F 2,F 3,F 4,F 5,F 6,F 7的服务质量。
(3)判断车辆的驾驶主体,得到驾驶主体状态值;
驾驶主体判断是进行***关键级切换的首要依据,如自适应巡航、自动泊车等高级别自动驾驶功能应在无人驾驶状态下被赋予更高的执行保障。通过判断车辆的驾驶主体,得到驾驶主体状态值drive-state,当驾驶主体为车辆本身,即无人驾驶,则驾驶主体状态值drive-state为1;当驾驶主体为人,则驾驶主体状态值drive-state为0。
(4)处理车辆的内部环境数据,得到安全相关的车辆内部状态值;
车辆的内部环境数据指安全攸关的属于车辆自身范畴的相关数据,如车辆的各个硬件组件的诊断状态值、车辆的高低压电池的荷电状态、处理器的工作参数等,这些数据反映了车辆本身是否安全和稳定,当车辆处于诊断异常、电量低下或是处理器负荷过高等状态时,应当给予安全相关的功能的任务更多的计算资源预算,即最坏执行时间。该步骤的操作为,将所关注的车辆的内部环境数据进行获取或二次处理,得到安全相关的车辆内部状态值集in-state。在本示例中选取车辆低压电池的荷电状态和车内处理器的平均负载作为所关注的车辆内部状态值。
(4.1)获取车辆低压电池的荷电状态,得到内部状态值1:
从车辆低压电池的电池管理***(Battery Management System)读取低压电池的荷电状态(State of Charge),将其作为内部状态值1。
(4.2)获取车内处理器的平均负载,得到内部状态值2:
上式中,为处理器i在一个公式计算周期内的忙碌时间,为处理器i在一个公式计算周期内的闲置时间,为处理器i在该公式计算周期内的平均频率,为处理器i的最大主频。将计算得到的处理器的平均负载作为内部状态值2。
(5)处理车辆的外部环境数据,得到安全相关的车辆外部状态值;
车辆的外部环境数据是指直接影响车辆安全的外部环境数据,即可能会导致车辆发生碰撞、侧翻等安全事故的数据,如前后方车辆数目、前后方行人数目、道路类型、天气类别等,这些数据反映了车辆外部环境是否“恶劣”,在多大程度上影响车辆发生安全事件的可能性。该步骤的操作为,将所关注的车辆外部环境数据进行获取或二次处理,得到安全相关的车辆外部状态值集ex-state。本示例选取前后方车辆数目、前后方行人数目、道路类型、天气类别作为所关注的外部状态值。
(5.1)获取车辆前后方车辆数目,得到外部状态值1:
收集激光雷达的激光雷达点云数据和摄像头获取的图像数据,通过双传感器特征级数据融合方法进行车辆识别,从而得到车辆数目,并将其作为外部状态值1。
(5.2)获取车辆潜在行驶轨迹内的行人数目,得到外部状态值2:
收集摄像头获取的图像数据,通过基于深度学习的行人识别与定位,得到潜在行驶轨迹内的行人数目,并将其作为外部状态值2。
(5.3)获取道路类型,得到外部状态值3:
收集摄像头获取的图像数据,通过道路识别算法,得到道路类型,并将其作为外部状态值3。
(5.4)获取天气类别,得到外部状态值4:
根据车辆收到的网络天气相关信息,得到此时车辆所在区域的天气类别,并将其作为外部状态值4。
(6)根据得到的三类状态值,通过预先研制的成熟的强化学习模型决定应当切换的***关键级,从而进行决策;
(6.1)根据(3)、(4)和(5)得到的三类状态值,将其作为强化学习模型的输入,即强化学习模型中的状态,通过强化学习模型决定应当切换的***关键级,即强化学习模型中的动作,从而进行决策。
具体而言,即在确定了输入强化学习模型的状态后,根据Q表(Q表通过预先研制的训练过程得到)遍历动作,找到使得Q值最大的动作,将该动作作为决策,该动作即为应当切换的***关键级。若***关键级不变,则维持原***关键级中对应的功能集;若***关键级提升,则仅保障提升后的***关键级下的功能集的服务质量;若***关键级下降,则保障下降后的***关键级下的所有功能集的服务质量。
值得指出的是,该步骤所用到的强化学习模型应当是车辆在前期研发过程中预先研制完善成熟的,而非车辆投入使用后所形成的。
(6.2)定义强化学习模型中的智慧体、状态、动作、奖励值和Q表。
智慧体(agent)为当前的***调度器,即***关键级的切换的决策体,决定哪些功能可被保证服务质量。状态(state)和动作(action)的定义如下。t时刻时的状态为驾驶主体状态值、安全相关的车辆内部状态值、安全相关的车辆外部状态值的集合,使用矢量s t 来表征这一集合,s t ,动作a t 代表切换关键级的行为,a t 。如当a t 时,意味着决策为切换***关键级至。
奖励值和Q表的定义如S4所述,在此不再赘述。
(6.3)确定训练场景,并初始化Q表和状态。
(6.4)迭代训练,更新Q表。
(6.5)Q表收敛,完成训练。
上述训练过程与S4指出的训练过程相同,在此不再赘述。
(7)执行该***关键级对应的功能集,并转到(3)继续下一轮决策。
根据(6)得到的动作,决定***应当切换至的***关键级。(2)定义了允许执行的功能集与***关键级的映射关系,***关键级发生改变后,仅保障切换后的***关键级对应的功能集中的功能的服务质量。至此本轮决策结束,并转至(3)开始下一轮决策。
实施例2:
本实施例用于提供一种车辆混合关键级***的***关键级切换***,如图4所示,所述***关键级切换***包括:
状态确定模块M1,用于根据车辆的驾驶主体确定驾驶主体状态值;对所述车辆的内部环境数据进行处理,得到车辆内部状态值;所述车辆内部状态值包括电池荷电状态和处理器平均负载;对所述车辆的外部环境数据进行处理,得到车辆外部状态值;所述车辆外部状态值包括前后方车辆数目、前后方行人数目、道路类型和天气类别;
关键级确定模块M2,用于以所述驾驶主体状态值、所述车辆内部状态值和所述车辆外部状态值作为输入,利用强化学习模型确定待切换的目标***关键级;
关键级切换模块M3,用于执行所述目标***关键级对应的功能集,使所述车辆处于所述目标***关键级。
本说明书中每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种车辆混合关键级***的***关键级切换方法,其特征在于,所述***关键级切换方法包括:
根据车辆的驾驶主体确定驾驶主体状态值;
对所述车辆的内部环境数据进行处理,得到车辆内部状态值;所述车辆内部状态值包括电池荷电状态和处理器平均负载;
对所述车辆的外部环境数据进行处理,得到车辆外部状态值;所述车辆外部状态值包括前后方车辆数目、前后方行人数目、道路类型和天气类别;
以所述驾驶主体状态值、所述车辆内部状态值和所述车辆外部状态值作为输入,利用强化学习模型确定待切换的目标***关键级;
执行所述目标***关键级对应的功能集,使所述车辆处于所述目标***关键级。
2.根据权利要求1所述的车辆混合关键级***的***关键级切换方法,其特征在于,所述根据车辆的驾驶主体确定驾驶主体状态值具体包括:
获取车辆的驾驶主体;
若所述车辆的驾驶主体为车辆,则驾驶主体状态值为1;
若所述车辆的驾驶主体为人,则所述驾驶主体状态值为0。
3.根据权利要求1所述的车辆混合关键级***的***关键级切换方法,其特征在于,所述对所述车辆的内部环境数据进行处理,得到车辆内部状态值具体包括:
获取所述车辆的内部环境数据;所述内部环境数据包括高压电池的荷电状态、低压电池的荷电状态和各个处理器的工作参数;所述工作参数包括忙碌时间、闲置时间、平均频率和最大主频;
以所述高压电池的荷电状态和所述低压电池的荷电状态组成电池荷电状态;
以所述各个处理器的工作参数作为输入,利用平均负载计算公式计算得到处理器平均负载;所述电池荷电状态和所述处理器平均负载组成车辆内部状态值。
4.根据权利要求1所述的车辆混合关键级***的***关键级切换方法,其特征在于,所述对所述车辆的外部环境数据进行处理,得到车辆外部状态值具体包括:
获取所述车辆的外部环境数据;所述外部环境数据包括安装于所述车辆上的激光雷达采集的激光雷达点云数据、安装于所述车辆上的摄像头采集的图像数据以及天气信息;
根据所述激光雷达点云数据和所述图像数据进行车辆识别,得到前后方车辆数目;
对所述图像数据进行行人识别,得到前后方行人数目;
对所述图像数据进行道路识别,得到道路类型;
根据所述天气信息确定天气类别;所述前后方车辆数目、所述前后方行人数目、所述道路类型和所述天气类别组成车辆外部状态值。
5.根据权利要求1所述的车辆混合关键级***的***关键级切换方法,其特征在于,所述以所述驾驶主体状态值、所述车辆内部状态值和所述车辆外部状态值作为输入,利用强化学习模型确定待切换的目标***关键级具体包括:
以所述驾驶主体状态值、所述车辆内部状态值和所述车辆外部状态值作为输入,利用强化学习模型中的训练好的Q表确定每一***关键级所对应的Q值;所述训练好的Q表包括在不同状态下选择每一***关键级分别对应的Q值;
选取所述Q值最大的***关键级作为待切换的目标***关键级。
6.根据权利要求5所述的车辆混合关键级***的***关键级切换方法,其特征在于,在以所述驾驶主体状态值、所述车辆内部状态值和所述车辆外部状态值作为输入,利用强化学习模型确定待切换的目标***关键级之前,所述***关键级切换方法还包括:对初始Q表进行迭代训练,得到训练好的Q表;
对Q表进行初始化,得到初始Q表;
获取样本状态;所述样本状态包括驾驶主体状态值样本、车辆内部状态值样本和车辆外部状态值样本;
以所述样本状态作为输入,利用初始Q表选择待切换的目标***关键级样本;
执行所述目标***关键级样本对应的功能集样本,根据车辆反馈得到奖励值;若所述车辆反馈为所述功能集样本中的每一功能样本均未错失截止期限,则所述奖励值为第一预设值;若所述车辆反馈为所述功能集样本中的任一功能样本错失截止期限,则所述奖励值为第二预设值;所述第一预设值为正数;所述第二预设值为负数;
根据所述奖励值对所述初始Q表进行更新,得到更新后Q表;
判断是否达到迭代停止条件;
若是,则以所述更新后Q表作为训练好的Q表;
若否,则以所述更新后Q表作为下一迭代的初始Q表,返回“获取样本状态”的步骤。
7.根据权利要求6所述的车辆混合关键级***的***关键级切换方法,其特征在于,所述迭代停止条件包括:所述更新后Q表相对于所述初始Q表的变化连续N次小于预设阈值。
8.根据权利要求1所述的车辆混合关键级***的***关键级切换方法,其特征在于,所述功能集包括多个功能;每一所述功能均对应一功能模型;所述功能模型包括所述功能的释放周期、所述功能的相对截止时间、所述功能在不同***关键级下的执行时间预算和所述功能的功能关键级。
9.根据权利要求1所述的车辆混合关键级***的***关键级切换方法,其特征在于,不同***关键级的级别不同;所述***关键级的级别越高,所述***关键级所对应的功能集所包括的功能的个数越少。
10.一种车辆混合关键级***的***关键级切换***,其特征在于,所述***关键级切换***包括:
状态确定模块,用于根据车辆的驾驶主体确定驾驶主体状态值;对所述车辆的内部环境数据进行处理,得到车辆内部状态值;所述车辆内部状态值包括电池荷电状态和处理器平均负载;对所述车辆的外部环境数据进行处理,得到车辆外部状态值;所述车辆外部状态值包括前后方车辆数目、前后方行人数目、道路类型和天气类别;
关键级确定模块,用于以所述驾驶主体状态值、所述车辆内部状态值和所述车辆外部状态值作为输入,利用强化学习模型确定待切换的目标***关键级;
关键级切换模块,用于执行所述目标***关键级对应的功能集,使所述车辆处于所述目标***关键级。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211223802.XA CN115303290B (zh) | 2022-10-09 | 2022-10-09 | 车辆混合关键级***的***关键级切换方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211223802.XA CN115303290B (zh) | 2022-10-09 | 2022-10-09 | 车辆混合关键级***的***关键级切换方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115303290A true CN115303290A (zh) | 2022-11-08 |
CN115303290B CN115303290B (zh) | 2022-12-06 |
Family
ID=83867313
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211223802.XA Active CN115303290B (zh) | 2022-10-09 | 2022-10-09 | 车辆混合关键级***的***关键级切换方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115303290B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115793623A (zh) * | 2023-02-08 | 2023-03-14 | 北京理工大学 | 一种车辆混合关键***的硬件在环测试装置及方法 |
CN115878294A (zh) * | 2023-02-28 | 2023-03-31 | 北京理工大学 | 基于边缘计算的车辆混合关键***的任务联合调度方法 |
CN116755865A (zh) * | 2023-08-15 | 2023-09-15 | 北京理工大学 | 一种基于汽车嵌入式平台的混合关键***部署方法及装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180261020A1 (en) * | 2017-03-13 | 2018-09-13 | Renovo Motors, Inc. | Systems and methods for processing vehicle sensor data |
CN109799805A (zh) * | 2019-01-17 | 2019-05-24 | 湖南大学 | 一种可靠性感知的高性能汽车电子调度算法 |
CN110147492A (zh) * | 2019-04-12 | 2019-08-20 | 北京梧桐车联科技有限责任公司 | 一种信息处理方法、交通工具及存储介质 |
WO2020109136A1 (de) * | 2018-11-30 | 2020-06-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren, computerprogramm und vorrichtung zur bewertung der kritikalität einer menschlichen steuerungsmöglichkeit eines fahrzeugs, das über ein automatisiertes steuerungssystem verfügt |
CN112861269A (zh) * | 2021-03-11 | 2021-05-28 | 合肥工业大学 | 一种基于深度强化学习优先提取的汽车纵向多态控制方法 |
WO2022043625A1 (fr) * | 2020-08-27 | 2022-03-03 | Psa Automobiles Sa | Réseau de flux priorisés de données embarqué dans un vehicule |
WO2022096187A1 (de) * | 2020-11-04 | 2022-05-12 | Robert Bosch Gmbh | Verfahren zur durchführung von regelvorgängen in einem fahrzeug |
-
2022
- 2022-10-09 CN CN202211223802.XA patent/CN115303290B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180261020A1 (en) * | 2017-03-13 | 2018-09-13 | Renovo Motors, Inc. | Systems and methods for processing vehicle sensor data |
WO2020109136A1 (de) * | 2018-11-30 | 2020-06-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren, computerprogramm und vorrichtung zur bewertung der kritikalität einer menschlichen steuerungsmöglichkeit eines fahrzeugs, das über ein automatisiertes steuerungssystem verfügt |
CN109799805A (zh) * | 2019-01-17 | 2019-05-24 | 湖南大学 | 一种可靠性感知的高性能汽车电子调度算法 |
CN110147492A (zh) * | 2019-04-12 | 2019-08-20 | 北京梧桐车联科技有限责任公司 | 一种信息处理方法、交通工具及存储介质 |
WO2022043625A1 (fr) * | 2020-08-27 | 2022-03-03 | Psa Automobiles Sa | Réseau de flux priorisés de données embarqué dans un vehicule |
WO2022096187A1 (de) * | 2020-11-04 | 2022-05-12 | Robert Bosch Gmbh | Verfahren zur durchführung von regelvorgängen in einem fahrzeug |
CN112861269A (zh) * | 2021-03-11 | 2021-05-28 | 合肥工业大学 | 一种基于深度强化学习优先提取的汽车纵向多态控制方法 |
Non-Patent Citations (1)
Title |
---|
唐宇晴: "一类面向汽车电子***的混合关键级任务协同调度研究", 《中国优秀硕士学位论文全文数据库 工程科技II辑》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115793623A (zh) * | 2023-02-08 | 2023-03-14 | 北京理工大学 | 一种车辆混合关键***的硬件在环测试装置及方法 |
CN115793623B (zh) * | 2023-02-08 | 2023-05-16 | 北京理工大学 | 一种车辆混合关键***的硬件在环测试装置及方法 |
CN115878294A (zh) * | 2023-02-28 | 2023-03-31 | 北京理工大学 | 基于边缘计算的车辆混合关键***的任务联合调度方法 |
CN116755865A (zh) * | 2023-08-15 | 2023-09-15 | 北京理工大学 | 一种基于汽车嵌入式平台的混合关键***部署方法及装置 |
CN116755865B (zh) * | 2023-08-15 | 2023-11-10 | 北京理工大学 | 一种基于汽车嵌入式平台的混合关键***部署方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN115303290B (zh) | 2022-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115303290B (zh) | 车辆混合关键级***的***关键级切换方法及*** | |
US11181913B2 (en) | Autonomous vehicle fleet model training and testing | |
CN109976340B (zh) | 一种基于深度增强学习的人机协同动态避障方法及*** | |
CN109991987B (zh) | 自动驾驶决策方法及装置 | |
CN106143490B (zh) | 车辆自适应巡航控制方法及装置 | |
CN112249032B (zh) | 一种自动驾驶决策方法、***、设备及计算机存储介质 | |
WO2021129156A1 (zh) | 智能汽车的控制方法、装置和控制*** | |
CN113253739A (zh) | 一种用于高速公路的驾驶行为决策方法 | |
CN113665593A (zh) | 一种车辆智能驾驶纵向控制方法、***及存储介质 | |
CN112026585B (zh) | 车辆节能控制方法、装置、设备和存储介质 | |
Škugor et al. | Analysis of a game theory-based model of vehicle-pedestrian interaction at uncontrolled crosswalks | |
Li et al. | Energy-efficient autonomous vehicle control using reinforcement learning and interactive traffic simulations | |
CN116495014B (zh) | 一种自进化非博弈自动驾驶车辆人机共驾方法及*** | |
JP7142538B2 (ja) | 車両認識装置および車両制御装置 | |
CN116572993A (zh) | 智能车辆风险敏感型序贯行为决策方法、装置及设备 | |
CN116306800A (zh) | 一种基于强化学习的智能驾驶决策学习方法 | |
CN113485300B (zh) | 一种基于强化学习的自动驾驶车辆碰撞测试方法 | |
CN114399107A (zh) | 一种交通状态感知信息的预测方法及*** | |
Valenti et al. | Battery aging-aware online optimal control: An energy management system for hybrid electric vehicles supported by a bio-inspired velocity prediction | |
CN115034281A (zh) | 一种基于RoboSim的自动驾驶行为决策模型的构建方法 | |
CN118343165A (zh) | 一种基于驾驶员特性的拟人化跟车方法 | |
CN116560241B (zh) | 面向铰接车的显式循环模型预测控制轨迹跟踪方法和装置 | |
CN116729386B (zh) | 多交叉路口场景下车辆分层规划和控制方法及装置 | |
CN114407892B (zh) | 车辆的加速度控制方法、装置、设备和存储介质 | |
CN118124609A (zh) | 一种车辆控制方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |