CN115472038B - 一种基于深度强化学习的自动泊车方法和*** - Google Patents
一种基于深度强化学习的自动泊车方法和*** Download PDFInfo
- Publication number
- CN115472038B CN115472038B CN202211353517.XA CN202211353517A CN115472038B CN 115472038 B CN115472038 B CN 115472038B CN 202211353517 A CN202211353517 A CN 202211353517A CN 115472038 B CN115472038 B CN 115472038B
- Authority
- CN
- China
- Prior art keywords
- network
- initial
- action
- vehicle
- executor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 230000002787 reinforcement Effects 0.000 title claims abstract description 18
- 230000009471 action Effects 0.000 claims abstract description 151
- 238000012549 training Methods 0.000 claims abstract description 66
- 238000013528 artificial neural network Methods 0.000 claims abstract description 28
- 230000006870 function Effects 0.000 claims description 31
- 230000008901 benefit Effects 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
- G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
- G08G1/096805—Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Atmospheric Sciences (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种基于深度强化学习的自动泊车方法和***,包括构建初始评价者网络和初始执行者网络;基于状态的状态价值基线,对所述初始评价者网络和所述初始执行者网络进行训练得到执行者网络;获取车辆的当前图像;获取当前车辆位置和车位位置;将所述当前图像、所述当前车辆位置和所述车位位置输入所述执行者网络,所述执行者网络输出当前动作执行策略;车辆基于所述当前动作执行策略执行动作,并基于执行后的下一图像、下一车辆位置和所述车位位置获取下一动作执行策略,直到车辆完成自动泊车任务;使用深度神经网络生成车辆的控制指令,通过评价者执行者算法完成对深度神经网络的训练,使得能更好地实现自动泊车。
Description
技术领域
本发明涉及自动驾驶技术领域,具体而言,涉及一种基于深度强化学习的自动泊车方法和***。
背景技术
泊车任务是日常生活中经常遇到的情景,尤其当目标泊位周遭可行驶空间范围较小时,泊车任务往往需要驾驶员有着大量的驾驶经验以及驾驶技巧,这对于缺乏经验的驾驶员来说并不能确保相应泊车任务的完成。而传统方案大多采用了多摄像头和车载雷达作为车辆环境感知手段,提高了***成本也加大了特征信息抽取的复杂度,同时将车辆路径规划以及车辆的运动控制相互割裂开来,泊车***模块设计复杂。
有鉴于此,本发明提出了一种基于深度强化学习的自动泊车方法和***,以满足日常生活中对于自动泊车任务的需求的同时提供一种端到端的自动泊车解决方案。该发明采用摄像头作为环境感知手段,使用深度神经网络生成车辆的控制指令,通过评价者执行者算法完成对深度神经网络的训练,最终实现自动泊车功能。
发明内容
本发明的目的在于提供一种基于深度强化学习的自动泊车方法,包括构建初始评价者网络和初始执行者网络;基于状态的状态价值基线,对所述初始评价者网络和所述初始执行者网络进行训练得到执行者网络;其中,训练得到执行者网络,包括基于动作执行策略的价值和所述状态价值基线,构建所述初始执行者网络的收益梯度;其中,构建所述收益梯度的公式为:
其中,表示所述收益梯度;表示累计收益;表示动作奖励;
表示动作奖励的折扣率;表示车辆在t+1时刻的状态价值基线;表示
车辆在t时刻的状态价值基线;表示在状态的情况下执行动作的样本动
作执行策略;基于所述收益梯度,更新所述初始执行者网络的网络参数,直到所述收益梯度
达到最大值;将得到最大值收益梯度时的初始执行者网络作为训练好的执行者网络;获取
车辆的当前图像;所述当前图像包括车辆处于当前环境下的状态;获取当前车辆位置和车
位位置;将所述当前图像、所述当前车辆位置和所述车位位置输入所述执行者网络,所述执
行者网络输出当前动作执行策略;车辆基于所述当前动作执行策略执行动作,并基于执行
后的下一图像、下一车辆位置和所述车位位置获取下一动作执行策略,直到车辆完成自动
泊车任务。
进一步的,通过构建多层数据结构,得到所述初始评价者网络和所述初始执行者网络,包括所述数据结构的第一层采用7*7的卷积操作和最大池化操作;所述数据结构的第二层采用残差模块进行特征提取;所述数据结构的第三层采用残差模块进行特征提取;所述数据结构的第四层采用残差模块进行特征提取;所述数据结构的第五层采用残差模块进行特征提取;所述数据结构的第六层采用平均池化操作。
进一步的,所述训练得到执行者网络,包括将样本图像、样本车辆位置和样本车位位置输入所述初始执行者网络,所述初始执行者网络输出样本动作执行策略;车辆基于所述样本动作执行策略执行动作;获取执行所述样本动作执行策略的动作奖励;将所述样本图像、所述执行动作、所述动作奖励和下一样本图像作为训练样本并存入经验池;所述下一样本图像为执行动作后得到的车辆环境的图像;从所述经验池中随机抽取训练样本;将被抽取的训练样本中的样本图像和下一样本图像输入所述初始执行者网络,得到动作执行策略的价值和所述状态价值基线;基于所述动作执行策略的价值和所述状态价值基线,更新所述初始执行者网络和所述初始评价者网络的网络参数;当车辆未发生碰撞且所述初始执行者网络和所述初始评价者网络训练完成时,得到训练好的所述执行者网络和评价者网络。
进一步的,更新所述初始执行者网络的网络参数的公式为:
其中,表示更新后的所述初始执行者网络的网络参数;表示所述初始执行
者网络的网络参数;表示所述初始执行者网络的学习率;表示动作奖励的折扣率;
表示所述动作执行策略的价值;表示所述状态价值基线; 表示所述被
抽取的训练样本的样本动作执行策略;更新所述初始评价者网络的网络参数的公式为:
其中,表示更新后的所述初始评价者网络的网络参数;表示所述初始评
价者网络的网络参数;表示所述初始评价者网络的学习率;表示所述动作执行策略
的价值;表示所述状态价值基线;表示所述被选取的训练样本的状态价值
基线。
进一步的,所述评价者网络训练完成,包括基于所述状态价值基线,构建所述初始评价者网络的损失函数;基于所述损失函数,更新所述初始评价者网络的网络参数,直到所述损失函数达到最小值;将得到最小值损失函数时的初始评价者网络作为训练好的评价者网络。
进一步的,构建所述损失函数的公式为:
进一步的,动作执行策略的公式为:
本发明的目的在于提供一种基于深度强化学习的自动泊车***,包括深度神经网络构建模块、深度神经网络训练模块、图像获取模块、位置获取模块、确定模块和循环模块;所述深度神经网络构建模块用于构建初始评价者网络和初始执行者网络;所述深度神经网络训练模块用于基于状态的状态价值基线,对所述初始评价者网络和所述初始执行者网络进行训练得到执行者网络;其中,训练得到执行者网络,包括基于动作执行策略的价值和所述状态价值基线,构建所述初始执行者网络的收益梯度;其中,构建所述收益梯度的公式为:
其中,表示所述收益梯度;表示累计收益;表示动作奖励;表
示动作奖励的折扣率;表示车辆在t+1时刻的状态价值基线;表示车
辆在t时刻的状态价值基线;表示在状态的情况下执行动作的样本动作
执行策略;基于所述收益梯度,更新所述初始执行者网络的网络参数,直到所述收益梯度达
到最大值;将得到最大值收益梯度时的初始执行者网络作为训练好的执行者网络;所述图
像获取模块用于获取车辆的当前图像;所述当前图像包括车辆处于当前环境下的状态;所
述位置获取模块用于获取当前车辆位置和车位位置;所述确定模块用于将所述当前图像、
所述当前车辆位置和所述车位位置输入所述执行者网络,所述执行者网络输出当前动作执
行策略;所述循环模块用于车辆基于所述当前动作执行策略执行动作,并基于执行后的下
一图像、下一车辆位置和所述车位位置获取下一动作执行策略,直到车辆完成自动泊车任
务。
本发明实施例的技术方案至少具有如下优点和有益效果:
本发明中的一些实施例通过构建收益梯度,并基于收益梯度的最大值来更新执行者网络,可以极大提升网络训练的收敛速率。
本发明中的一些实施例通过采用基于状态基线的评价者执行者算法进行网络的训练,通过在训练执行者网络的同时训练评价者网络,以使得更新后的执行者网络可以基于更新后的评价者网络的评价更新网络的参数,提高了参数更新的准确率,且状态价值基线为评价者网络根据历史动作和价值得到的评价基准,可以使得评价值的变化在一定的范围之内,减少误差。
本发明中的一些实施例通过采用基于势函数差值形式的奖励函数,使得能够进一步提升深度强化学习环境中车辆对于环境空间的探索效率。
附图说明
图1为本发明一些实施例提供的一种基于深度强化学习的自动泊车方法的示例性流程图;
图2为本发明一些实施例提供的训练得到执行者网络的示例性流程图;
图3为本发明一些实施例提供的一种基于深度强化学习的自动泊车***的示例性模块图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
图1为本发明一些实施例提供的一种基于深度强化学习的自动泊车方法的示例性流程图。在一些实施例中,流程100可以由***300执行。如图1所示流程100可以包括以下步骤:
步骤110,构建初始评价者网络和初始执行者网络。在一些实施例中,步骤110可以由深度神经网络构建模块310执行。
初始执行者网络可以是指用于训练得到执行者网络的深度神经网络。执行者网络可以用于基于输入的车辆的当前图像,确定动作执行策略。当前图像可以是指车辆处于当前环境的图像。在一些实施例中,车辆上设置有摄像头,摄像头可以获取车辆所处的环境的图像。动作执行策略可以是指基于车辆当前所处的环境所作能出的执行动作。例如,将维度为3*224*224的车辆的当前图像输入执行者网络,执行者网络输出10*1*1的动作执行策略。其中,10表示十种可以做出的执行动作。
执行动作采用离散的动作空间,在一些实施例中,动作执行策略的公式为:
初始评价者网络可以是指用于训练得到评价者网络的深度神经网络。评价者网络可以用于基于动作执行策略,确定该动作执行策略的价值。
在一些实施例中,深度神经网络构建模块310可以通过各种构建深度神经网络的方式构建执行者网络和评价者网络。
步骤120,基于状态的动作价值基线,对初始评价者网络和初始执行者网络进行训练得到执行者网络。在一些实施例中,步骤120可以由深度神经网络训练模块320执行。
状态价值基线可以反应车辆当前所处的状态。在一些实施例中,状态价值基线可以通过评价者网络得到。例如,可以将车辆的当前图像、执行动作后的下一图像和对应的动作执行策略输入评价者网络,评价者网络输出车辆在当前状态的状态价值基线和车辆在下一状态的状态价值基线。
在一些实施例中,深度神经网络训练模块320可以通过各种训练深度机器学习模型的方法训练初始执行者网络,得到执行者网络。关于训练得到执行者网络的更多内容,参见图2及其相关描述。
步骤130,获取车辆的当前图像;当前图像包括车辆处于当前环境下的状态。在一些实施例中,步骤130可以由图像获取模块330执行。
关于当前图像及获取当前图像的相关内容,参见步骤110及其相关描述。
步骤140,获取当前车辆位置和车位位置。在一些实施例中,步骤140可以由位置获取模块340执行。
在一些实施例中,位置获取模块340可以通过各种可行的方式获取当前车辆位置和车位位置。例如,可以通过车载GPS获取车辆的当前位置;与车库通信连接获取车库中空闲车位的位置信息等。
步骤150,将当前图像、当前车辆位置和车位位置输入执行者网络,执行者网络输出当前动作执行策略。在一些实施例中,步骤150可以由确定模块350执行。
步骤160,车辆基于当前动作执行策略执行动作,并基于执行后的下一图像、下一车辆位置和车位位置获取下一动作执行策略,直到车辆完成自动泊车任务。在一些实施例中,步骤160可以由循环模块360执行。
下一图像可以是指车辆执行动作后到达下一状态时,获取的车辆周围环境的图像。获取下一图像的方式与获取当前图像的方式一样。下一车辆位置可以是指车辆执行动作后到达的位置。获取下一车辆位置的方式与获取当前车辆位置的方式一样。
在一些实施例中,执行者网络可以分别根据车辆多次所处的环境确定车辆的多次执行动作。车辆可以分别执行动作,直到车辆到达泊车位置。在一些实施例中,可以在车辆上设置GNSS传感器,基于GNSS传感器获取的车辆的传感器经度、传感器维度及车辆姿态和车位的车位经度、车位维度及要求车辆的姿态的差值,确定车辆是否到达泊车位置。在一些实施例中,可以选取车辆当前所处位置GNSS对应的经纬度坐标与车辆在终点位置处(车位)的GNSS经纬度坐标之间的距离构建状态的势函数表示:
本发明中的一些实施例通过图像信息的变化来表征车辆状态的变化,进而根据车辆所处不同的状态确定最优的动作执行策略,实现了车辆泊车路径的动态规划并同时通过动作执行策略完成了车辆的运动控制。在此,车辆前置摄像头输入图像通过深度神经网络计算后输出车辆的控制策略,以此完成端到端的自动泊车功能实现。
初始评价者网络和初始执行者网络的结构可以包括输入层、输出层和六层数据结构层。通过构建多层数据结构,得到初始评价者网络和初始执行者网络,数据结构的第一层采用7*7的卷积操作和最大池化操作;数据结构的第二层采用残差模块进行特征提取;数据结构的第三层采用残差模块进行特征提取;数据结构的第四层采用残差模块进行特征提取;数据结构的第五层采用残差模块进行特征提取;数据结构的第六层采用平均池化操作。
输入层可以用于输入3*224*224的图像数据。在一些实施例中,输入像素尺寸接受大小为224*224的RGB彩色图片。输出层用于将得到的特征向量全连接后输出。对于执行者网络,其输出的特征向量的维度为10*1*1,其中,10对应车辆的10种动作。对于评价者网络,其输出的特征向量的维度为1*1*1,其中,1对应动作的价值。
图2为本发明一些实施例提供的训练得到执行者网络的示例性流程图。在一些实施例中,流程200可以由深度神经网络训练模块320执行。如图2所示,流程200可以包括以下步骤:
样本图像可以是指用于训练执行者网络的车辆的当前环境的图像。样本车辆位置可以是指用于训练执行者网络的车辆的当前所在位置。样本车位位置可以是指在训练过程中需要车辆泊车的车位的位置。在一些实施例中,可以通过车辆自动泊车得到样本图像、样本车辆位置和样本车位位置。例如,可以预先设定泊车的样本车位位置和车辆的初始位置,然后模拟车辆的实际工作场景,得到样本图像和样本车辆位置。其中,初始位置可以基于环境的设计得到。
执行动作可以是指车辆从当前状态到达下一状态的动作。例如,车辆根据执行策略中被选取概率最高的动作进行移动。
其中,表示比例系数,其作用是将缩放到合理的区间,可以通过需求实际确
定;表示时刻奖励函数中基于势函数差值的组成部分;表示碰撞惩罚,当没
有碰撞发生时为0,当发生碰撞时为-2;表示完成自动泊入后的奖励,任务完成时给
予+5的奖励。
步骤260,将被抽取的训练样本中的样本图像和下一样本图像输入初始执行者网络,得到动作执行策略的价值和状态价值基线。
步骤270,基于动作执行策略的价值和状态价值基线,更新初始执行者网络和初始评价者网络的网络参数。
在一些实施例中,可以通过迭代的方式更新初始执行者网络和初始评价者网络的网络参数。
在一些实施例中,更新初始执行者网络的网络参数的公式为:
其中,表示更新后的初始执行者网络的网络参数;表示初始执行者网络的
网络参数,初始网络参数通过初始化模型得到;表示初始执行者网络的学习率,初始执
行者网络的学习率通过初始化模拟泊车环境确定;表示动作执行策略的价值;表
示状态价值基线;表示被抽取的训练样本的样本动作执行策略。
更新初始评价者网络的网络参数的公式为:
其中,表示更新后的初始评价者网络的网络参数;表示初始评价者网络
的网络参数,初始网络参数通过初始化模型得到;表示初始评价者网络的学习率,初始
评价者网络的学习率通过初始化模拟泊车环境确定;表示动作执行策略的价值;
表示状态价值基线;表示被选取的训练样本的状态价值基线。
在一些实施例中,
步骤280,当车辆未发生碰撞且初始执行者网络和初始评价者网络训练完成时,得到训练好的执行者网络和评价者网络。
未发生碰撞是指车辆在完成泊车的过程中未发生碰撞。
在一些实施例中,执行者网络训练完成,包括基于动作执行策略的价值和状态价值基线,构建初始执行者网络的收益梯度;基于收益梯度,更新初始执行者网络的网络参数,直到收益梯度达到最大值;将得到最大值收益梯度时的初始执行者网络作为训练好的执行者网络。
在一些实施例中,构建收益梯度的公式为:
在一些实施例中,评价者网络训练完成,包括基于状态价值基线,构建初始评价者网络的损失函数;基于损失函数,更新初始评价者网络的网络参数,直到损失函数达到最小值;将得到最小值损失函数时的初始评价者网络作为训练好的评价者网络。
在一些实施例中,构建损失函数的公式为:
若车辆发生碰撞或完成了自动泊车任务,则将车辆所在***环境重新初始化,再次进行训练,直到网络输出的动作策略满足自动泊车需求。
本说明书中的一些实施例采用两个深度神经网络分别用于车辆动作执行策略的生成、即执行者;以及车辆状态价值的估计、即评价者。通过使用基于值函数的强化学习算法对策略梯度算法过程中的车辆动作价值函数进行估计,弥补了策略梯度算法在未知环境中对于车辆状态价值无法准确获得的不足。
图3为本发明一些实施例提供的一种基于深度强化学习的自动泊车***的示例性模块图。如图3所示,***300可以包括深度神经网络构建模块310、深度神经网络训练模块320、图像获取模块330、位置获取模块340、确定模块350和循环模块360。
深度神经网络构建模块310用于构建初始评价者网络和初始执行者网络。关于深度神经网络构建模块310的更多内容,参见图1及其相关描述。
深度神经网络训练模块320用于基于状态的状态价值基线,对初始评价者网络和初始执行者网络进行训练得到执行者网络。关于深度神经网络训练模块320的更多内容,参见图1及其相关描述。
图像获取模块330用于获取车辆的当前图像;当前图像包括车辆处于当前环境下的状态。关于图像获取模块330的更多内容,参见图1及其相关描述。
位置获取模块340用于获取当前车辆位置和车位位置。关于位置获取模块340的更多内容,参见图1及其相关描述。
确定模块350用于将所述当前图像、所述当前车辆位置和所述车位位置输入所述执行者网络,所述执行者网络输出当前动作执行策略。关于确定模块350的更多内容,参见图1及其相关描述。
循环模块360用于车辆基于当前动作执行策略执行动作,并基于执行后的下一图像、下一车辆位置和车位位置获取下一动作执行策略,直到车辆完成自动泊车任务。关于循环模块360的更多内容,参见图1及其相关描述。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于深度强化学习的自动泊车方法,其特征在于,包括:
构建初始评价者网络和初始执行者网络;通过构建多层数据结构,得到所述初始评价者网络和所述初始执行者网络,包括:
所述数据结构的第一层采用7*7的卷积操作和最大池化操作;
所述数据结构的第二层采用残差模块进行特征提取;
所述数据结构的第三层采用残差模块进行特征提取;
所述数据结构的第四层采用残差模块进行特征提取;
所述数据结构的第五层采用残差模块进行特征提取;
所述数据结构的第六层采用平均池化操作;
基于状态的状态价值基线,对所述初始评价者网络和所述初始执行者网络进行训练得到执行者网络;其中,训练得到执行者网络,包括:
基于动作执行策略的价值和所述状态价值基线,构建所述初始执行者网络的收益梯度;其中,构建所述收益梯度的公式为:
基于所述收益梯度,更新所述初始执行者网络的网络参数,直到所述收益梯度达到最大值;
将得到最大值收益梯度时的初始执行者网络作为训练好的执行者网络;
获取车辆的当前图像;所述当前图像包括车辆处于当前环境下的状态;
获取当前车辆位置和车位位置;
将所述当前图像、所述当前车辆位置和所述车位位置输入所述执行者网络,所述执行者网络输出当前动作执行策略;动作执行策略是指基于车辆当前所处的环境所做出的执行动作;动作执行策略的公式为:
所述训练得到执行者网络,还包括:
将样本图像、样本车辆位置和样本车位位置输入所述初始执行者网络,所述初始执行者网络输出样本动作执行策略;
车辆基于所述样本动作执行策略执行动作;
获取执行所述样本动作执行策略的动作奖励;
将所述样本图像、所述执行动作、所述动作奖励和下一样本图像作为训练样本并存入经验池;所述下一样本图像为执行动作后得到的车辆环境的图像;
从所述经验池中随机抽取训练样本;
将被抽取的训练样本中的样本图像和下一样本图像输入所述初始执行者网络,得到动作执行策略的价值和所述状态价值基线;
基于所述动作执行策略的价值和所述状态价值基线,更新所述初始执行者网络和所述初始评价者网络的网络参数;
当车辆未发生碰撞且所述初始执行者网络和所述初始评价者网络训练完成时,得到训练好的所述执行者网络和评价者网络;
车辆基于所述当前动作执行策略执行动作,并基于执行后的下一图像、下一车辆位置和所述车位位置获取下一动作执行策略,直到车辆完成自动泊车任务。
3.根据权利要求1所述的基于深度强化学习的自动泊车方法,其特征在于,所述评价者网络训练完成,包括:
基于所述状态价值基线,构建所述初始评价者网络的损失函数;
基于所述损失函数,更新所述初始评价者网络的网络参数,直到所述损失函数达到最小值;
将得到最小值损失函数时的初始评价者网络作为训练好的评价者网络。
5.一种基于深度强化学习的自动泊车***,其特征在于,包括深度神经网络构建模块、深度神经网络训练模块、图像获取模块、位置获取模块、确定模块和循环模块;
所述深度神经网络构建模块用于构建初始评价者网络和初始执行者网络;通过构建多层数据结构,得到所述初始评价者网络和所述初始执行者网络,包括:
所述数据结构的第一层采用7*7的卷积操作和最大池化操作;
所述数据结构的第二层采用残差模块进行特征提取;
所述数据结构的第三层采用残差模块进行特征提取;
所述数据结构的第四层采用残差模块进行特征提取;
所述数据结构的第五层采用残差模块进行特征提取;
所述数据结构的第六层采用平均池化操作;
所述深度神经网络训练模块用于基于状态的状态价值基线,对所述初始评价者网络和所述初始执行者网络进行训练得到执行者网络;其中,训练得到执行者网络,包括基于动作执行策略的价值和所述状态价值基线,构建所述初始执行者网络的收益梯度;其中,构建所述收益梯度的公式为:
其中,表示所述收益梯度;表示累计收益;表示动作奖励;表示动作奖励的折扣率;表示车辆在t+1时刻的状态价值基线;表示车辆在t时刻的状态价值基线;表示在状态的情况下执行动作的样本动作执行策略;基于所述收益梯度,更新所述初始执行者网络的网络参数,直到所述收益梯度达到最大值;将得到最大值收益梯度时的初始执行者网络作为训练好的执行者网络;
所述图像获取模块用于获取车辆的当前图像;所述当前图像包括车辆处于当前环境下的状态;
所述位置获取模块用于获取当前车辆位置和车位位置;
所述确定模块用于将所述当前图像、所述当前车辆位置和所述车位位置输入所述执行者网络,所述执行者网络输出当前动作执行策略;动作执行策略是指基于车辆当前所处的环境所做出的执行动作;动作执行策略的公式为:
所述训练得到执行者网络,还包括:
将样本图像、样本车辆位置和样本车位位置输入所述初始执行者网络,所述初始执行者网络输出样本动作执行策略;
车辆基于所述样本动作执行策略执行动作;
获取执行所述样本动作执行策略的动作奖励;
将所述样本图像、所述执行动作、所述动作奖励和下一样本图像作为训练样本并存入经验池;所述下一样本图像为执行动作后得到的车辆环境的图像;
从所述经验池中随机抽取训练样本;
将被抽取的训练样本中的样本图像和下一样本图像输入所述初始执行者网络,得到动作执行策略的价值和所述状态价值基线;
基于所述动作执行策略的价值和所述状态价值基线,更新所述初始执行者网络和所述初始评价者网络的网络参数;
当车辆未发生碰撞且所述初始执行者网络和所述初始评价者网络训练完成时,得到训练好的所述执行者网络和评价者网络;
所述循环模块用于车辆基于所述当前动作执行策略执行动作,并基于执行后的下一图像、下一车辆位置和所述车位位置获取下一动作执行策略,直到车辆完成自动泊车任务。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211353517.XA CN115472038B (zh) | 2022-11-01 | 2022-11-01 | 一种基于深度强化学习的自动泊车方法和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211353517.XA CN115472038B (zh) | 2022-11-01 | 2022-11-01 | 一种基于深度强化学习的自动泊车方法和*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115472038A CN115472038A (zh) | 2022-12-13 |
CN115472038B true CN115472038B (zh) | 2023-02-03 |
Family
ID=84337502
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211353517.XA Active CN115472038B (zh) | 2022-11-01 | 2022-11-01 | 一种基于深度强化学习的自动泊车方法和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115472038B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110136481A (zh) * | 2018-09-20 | 2019-08-16 | 初速度(苏州)科技有限公司 | 一种基于深度强化学习的停车策略 |
CN111645673A (zh) * | 2020-06-17 | 2020-09-11 | 西南科技大学 | 一种基于深度强化学习的自动泊车方法 |
CN112061116A (zh) * | 2020-08-21 | 2020-12-11 | 浙江大学 | 一种基于势能场函数逼近的强化学习方法的泊车策略 |
CN112356830A (zh) * | 2020-11-25 | 2021-02-12 | 同济大学 | 一种基于模型强化学习的智能泊车方法 |
CN113859226A (zh) * | 2021-11-04 | 2021-12-31 | 赵奕帆 | 一种基于强化学习的运动规划与自动泊车方法 |
CN114454875A (zh) * | 2022-02-25 | 2022-05-10 | 深圳信息职业技术学院 | 一种基于强化学习的城市道路自动泊车方法及*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190220737A1 (en) * | 2018-01-17 | 2019-07-18 | Hengshuai Yao | Method of generating training data for training a neural network, method of training a neural network and using neural network for autonomous operations |
-
2022
- 2022-11-01 CN CN202211353517.XA patent/CN115472038B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110136481A (zh) * | 2018-09-20 | 2019-08-16 | 初速度(苏州)科技有限公司 | 一种基于深度强化学习的停车策略 |
CN111645673A (zh) * | 2020-06-17 | 2020-09-11 | 西南科技大学 | 一种基于深度强化学习的自动泊车方法 |
CN112061116A (zh) * | 2020-08-21 | 2020-12-11 | 浙江大学 | 一种基于势能场函数逼近的强化学习方法的泊车策略 |
CN112356830A (zh) * | 2020-11-25 | 2021-02-12 | 同济大学 | 一种基于模型强化学习的智能泊车方法 |
CN113859226A (zh) * | 2021-11-04 | 2021-12-31 | 赵奕帆 | 一种基于强化学习的运动规划与自动泊车方法 |
CN114454875A (zh) * | 2022-02-25 | 2022-05-10 | 深圳信息职业技术学院 | 一种基于强化学习的城市道路自动泊车方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN115472038A (zh) | 2022-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110969655B (zh) | 用于检测车位的方法、装置、设备、存储介质以及车辆 | |
CN110136199B (zh) | 一种基于摄像头的车辆定位、建图的方法和装置 | |
US11494937B2 (en) | Multi-task multi-sensor fusion for three-dimensional object detection | |
CN110954113B (zh) | 一种车辆位姿的修正方法和装置 | |
CN110647839A (zh) | 自动驾驶策略的生成方法、装置及计算机可读存储介质 | |
CN110126817A (zh) | 一种自适应任意点与固定点间泊车或召回的方法及*** | |
CN111860072A (zh) | 泊车控制方法、装置、计算机设备及计算机可读存储介质 | |
CN115867940A (zh) | 从3d边界框的单眼深度监督 | |
CN113970922A (zh) | 点云数据的处理方法、智能行驶控制方法及装置 | |
CN111580526B (zh) | 面向固定车辆编队场景的协同驾驶方法 | |
CN115494849A (zh) | 一种自动驾驶车辆导航控制方法及*** | |
CN115249266A (zh) | 航路点位置预测方法、***、设备及存储介质 | |
CN117058474B (zh) | 一种基于多传感器融合的深度估计方法及*** | |
CN115472038B (zh) | 一种基于深度强化学习的自动泊车方法和*** | |
CN114220040A (zh) | 一种泊车方法、终端及计算机可读存储介质 | |
US20210398014A1 (en) | Reinforcement learning based control of imitative policies for autonomous driving | |
CN116734850A (zh) | 一种基于视觉输入的无人平台强化学习自主导航***及方法 | |
CN116664498A (zh) | 车位检测模型的训练方法、车位检测方法、装置和设备 | |
CN114104005B (zh) | 自动驾驶设备的决策方法、装置、设备及可读存储介质 | |
CN113624223B (zh) | 一种室内停车场地图构建方法及装置 | |
CN113034538B (zh) | 一种视觉惯导设备的位姿跟踪方法、装置及视觉惯导设备 | |
EP4281945A1 (en) | Static occupancy tracking | |
US12051001B2 (en) | Multi-task multi-sensor fusion for three-dimensional object detection | |
CN116740681B (zh) | 目标检测方法、装置、车辆和存储介质 | |
CN117805843A (zh) | 基于固态激光雷达的定位与建图方法及相关产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |