CN105128856A - 停车入库方法及装置 - Google Patents

Abstract

本发明公开了一种停车入库方法及装置，属于汽车主动安全领域。该方法包括：根据本车的状态信息确定第一动作控制参数；对第一动作控制参数进行评估，确定第二动作控制参数；根据第二动作控制参数调整本车位置状态，调整后的本车位置状态为第一位置状态；若第一位置状态为预设状态，则将本车处于第一位置状态时在停车环境中的位置信息和目标车位在停车环境中的位置信息作为自适应动态规划算法的输入参数，得到输出参数；将输出参数对应路径作为目标行驶路径；根据目标行驶路径控制本车完成停车入库动作。本发明解决了停车入库方法稳定性较差，可靠性较低，且灵活性较差的问题，实现了提高稳定性、可靠度和灵活性的效果，用于控制车辆停车入库。

Description

停车入库方法及装置

技术领域

本发明涉及汽车主动安全领域，特别涉及一种停车入库方法及装置。

背景技术

随着科技的发展，尤其是智能计算的飞速发展，智能化汽车的研究成为各大车企聚焦的热点。停车入库是智能驾驶技术中必不可少的功能之一，在停车过程中，行驶路径的多少决定了停车方法的优劣。

现有技术中，停车入库方法利用雷达检测停车环境状态，利用摄像头检测车位线，通过相应的控制算法控制本车与障碍物如障碍车的距离、本车与车位线的距离，然后按照人为设定的车辆行驶路径，调整本车与障碍车的距离、本车与车位线的距离。

由于上述停车入库方法中的车辆行驶路径是人为设定的，该方法属于监督学习过程，而在实际应用中，车位的宽度、障碍车的位置及车辆的初始位置常常不固定，所以基于人为设定的车辆行驶路径的停车入库方法的稳定性较差，可靠性较低，且灵活性较差。

发明内容

为了解决现有停车入库方法稳定性较差，可靠性较低，且灵活性较差的问题，本发明提供了一种停车入库方法及装置。所述技术方案如下：

第一方面，提供了一种停车入库方法，所述方法包括：

根据本车的状态信息确定第一动作控制参数，所述状态信息包括本车在停车环境中的位置信息、目标车位在所述停车环境中的位置信息，所述第一动作控制参数包括油门或刹车的第一初始力度值、方向盘旋转的第一初始角度；

对所述第一动作控制参数进行评估，确定第二动作控制参数，所述第二动作控制参数包括油门或刹车的参考力度值、方向盘旋转的参考角度；

根据所述第二动作控制参数调整本车的位置状态，调整后的本车的位置状态为第一位置状态；

判断所述第一位置状态是否为预设状态；

若所述第一位置状态为预设状态，则将本车处于所述第一位置状态时在停车环境中的位置信息和所述目标车位在所述停车环境中的位置信息作为自适应动态规划算法的输入参数，得到所述自适应动态规划算法的输出参数；

将所述自适应动态规划算法的输出参数对应的路径作为目标行驶路径；

根据所述目标行驶路径控制本车完成停车入库动作。

可选的，所述根据本车的状态信息确定第一动作控制参数，包括：

将向动作网络输入所述状态信息后，所述动作网络输出的参数确定为所述第一动作控制参数，所述动作网络为包含隐藏层的多输入多输出非线性神经网络；

所述对所述第一动作控制参数进行评估，确定第二动作控制参数，包括：

采用评价网络对所述第一动作控制参数进行评估，确定所述动作网络输出的第二动作控制参数，所述评价网络为包含隐藏层的多输入多输出非线性神经网络。

可选的，所述判断所述第一位置状态是否为预设状态，包括：

判断本车与障碍物是否发生碰撞；

若本车与所述障碍物发生碰撞，确定所述第一位置状态为预设状态；

若本车与所述障碍物未发生碰撞，确定所述第一位置状态不为预设状态。

可选的，所述停车环境划分为至少两个面积相等的网格，每个所述网格对应一个位置状态，在所述根据所述目标行驶路径控制本车完成停车入库动作之前，所述方法还包括：

若本车与所述障碍物未发生碰撞，则检测本车是否到达所述目标车位；

若本车到达所述目标车位，则将本车处于所述第一位置状态时在停车环境中的位置信息和所述目标车位在所述停车环境中的位置信息作为所述自适应动态规划算法的输入参数，得到所述自适应动态规划算法的输出参数，并将所述自适应动态规划算法的输出参数对应的路径作为目标行驶路径；

若本车未到达所述目标车位，则检测本车的移动步数是否大于预设步数，所述移动步数为本车移动一次所经过的网格数；

若本车的移动步数大于所述预设步数，则将本车处于所述第一位置状态时在停车环境中的位置信息和所述目标车位在所述停车环境中的位置信息作为所述自适应动态规划算法的输入参数，得到所述自适应动态规划算法的输出参数，并将所述自适应动态规划算法的输出参数对应的路径作为目标行驶路径；

若本车的移动步数不大于所述预设步数，则根据本车的当前状态确定第三动作控制参数，所述第三动作控制参数包括油门或刹车的第二初始力度值、方向盘旋转的第二初始角度。

可选的，所述将本车处于所述第一位置状态时在停车环境中的位置信息和所述目标车位在所述停车环境中的位置信息作为自适应动态规划算法的输入参数，得到所述自适应动态规划算法的输出参数，包括：

将本车处于所述第一位置状态时在停车环境中的位置信息和所述目标车位在所述停车环境中的位置信息作为所述动作网络的输入参数，得到所述动作网络的第一输出参数；

根据增强学习算法确定的增强信号组，采用所述评价网络对所述动作网络的第一输出参数进行评估，得到所述动作网络的第二输出参数，所述增强信号组包括本车在各个位置状态对应的增强信号；

所述将所述自适应动态规划算法的输出参数对应的路径作为目标行驶路径，包括：

将所述动作网络的第二输出参数对应的路径作为所述目标行驶路径。

第二方面，提供了一种停车入库装置，所述装置包括：

第一确定单元，用于根据本车的状态信息确定第一动作控制参数，所述状态信息包括本车在停车环境中的位置信息、目标车位在所述停车环境中的位置信息，所述第一动作控制参数包括油门或刹车的第一初始力度值、方向盘旋转的第一初始角度；

第二确定单元，用于对所述第一动作控制参数进行评估，确定第二动作控制参数，所述第二动作控制参数包括油门或刹车的参考力度值、方向盘旋转的参考角度；

调整单元，用于根据所述第二动作控制参数调整本车的位置状态，调整后的本车的位置状态为第一位置状态；

判断单元，用于判断所述第一位置状态是否为预设状态；

第一处理单元，用于在所述第一位置状态为预设状态时，将本车处于所述第一位置状态时在停车环境中的位置信息和所述目标车位在所述停车环境中的位置信息作为自适应动态规划算法的输入参数，得到所述自适应动态规划算法的输出参数；

第二处理单元，用于将所述自适应动态规划算法的输出参数对应的路径作为目标行驶路径；

控制单元，用于根据所述目标行驶路径控制本车完成停车入库动作。

可选的，所述第一确定单元，包括：

第一确定模块，用于将向动作网络输入所述状态信息后，所述动作网络输出的参数确定为所述第一动作控制参数，所述动作网络为包含隐藏层的多输入多输出非线性神经网络；

所述第二确定单元，包括：

第二确定模块，用于采用评价网络对所述第一动作控制参数进行评估，确定所述动作网络输出的第二动作控制参数，所述评价网络为包含隐藏层的多输入多输出非线性神经网络。

可选的，所述判断单元，包括：

判断模块，用于判断本车与障碍物是否发生碰撞；

第三确定模块，用于在本车与所述障碍物发生碰撞时，确定所述第一位置状态为预设状态；

第四确定模块，用于在本车与所述障碍物未发生碰撞时，确定所述第一位置状态不为预设状态。

可选的，所述停车环境划分为至少两个面积相等的网格，每个所述网格对应一个位置状态，所述装置还包括：

第一检测单元，用于在本车与所述障碍物未发生碰撞时，检测本车是否到达所述目标车位；

第三处理单元，用于在本车到达所述目标车位时，将本车处于所述第一位置状态时在停车环境中的位置信息和所述目标车位在所述停车环境中的位置信息作为所述自适应动态规划算法的输入参数，得到所述自适应动态规划算法的输出参数，并将所述自适应动态规划算法的输出参数对应的路径作为目标行驶路径；

第二检测单元，用于在本车未到达所述目标车位时，检测本车的移动步数是否大于预设步数，所述移动步数为本车移动一次所经过的网格数；

第四处理单元，用于在本车的移动步数大于所述预设步数时，将本车处于所述第一位置状态时在停车环境中的位置信息和所述目标车位在所述停车环境中的位置信息作为所述自适应动态规划算法的输入参数，得到所述自适应动态规划算法的输出参数，并将所述自适应动态规划算法的输出参数对应的路径作为目标行驶路径；

第三确定单元，用于在本车的移动步数不大于所述预设步数时，根据本车的当前状态确定第三动作控制参数，所述第三动作控制参数包括油门或刹车的第二初始力度值、方向盘旋转的第二初始角度。

可选的，所述第一处理单元，包括：

第一处理模块，用于将本车处于所述第一位置状态时在停车环境中的位置信息和所述目标车位在所述停车环境中的位置信息作为所述动作网络的输入参数，得到所述动作网络的第一输出参数；

第二处理模块，用于根据增强学习算法确定的增强信号组，采用所述评价网络对所述动作网络的第一输出参数进行评估，得到所述动作网络的第二输出参数，所述增强信号组包括本车在各个位置状态对应的增强信号；

所述第二处理单元，包括：

第三处理模块，用于将所述动作网络的第二输出参数对应的路径作为所述目标行驶路径。

本发明提供了一种停车入库方法及装置，能够对第一动作控制参数进行评估，确定第二动作控制参数，再根据第二动作控制参数调整本车的位置状态，若该位置状态为预设状态，则根据自适应动态规划算法确定目标行驶路径，从而控制本车完成停车入库动作，相较于现有技术，提高了车辆的自主学习能力，因此，提高了车辆停车入库时的稳定性，可靠性和灵活性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种停车入库方法的流程图；

图2-1是本发明实施例提供的另一种停车入库方法的流程图；

图2-2是本发明实施例提供的一种自适应动态规划***的结构图；

图2-3是本发明实施例提供的一种停车环境的示意图；

图2-4是本发明实施例提供的一种得到自适应动态规划算法的输出参数的流程图；

图2-5是本发明实施例提供的一种增强信号的设置规则示意图；

图2-6本发明实施例提供的一种预设增强信号的示意图；

图2-7是对图2-6中的预设增强信号进行更新后的增强信号示意图；

图2-8本发明实施例提供的一种增强信号组的示意图

图2-9是本发明实施例提供的一种动作网络的第二输出参数对应的路径的示意图；

图3-1是本发明实施例提供的一种停车入库装置的结构示意图；

图3-2是本发明实施例提供的一种第一确定单元的结构示意图；

图3-3是本发明实施例提供的一种第二确定单元的结构示意图；

图3-4是本发明实施例提供的一种判断单元的结构示意图

图3-5是本发明实施例提供的另一种停车入库装置的结构示意图；

图3-6是本发明实施例提供的一种第一处理单元的结构示意图；

图3-7是本发明实施例提供的一种第二处理单元的结构示意图。

通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

本发明实施例提供了一种停车入库方法，如图1所示，该停车入库方法可以包括：

步骤101、根据本车的状态信息确定第一动作控制参数，该状态信息包括本车在停车环境中的位置信息、目标车位在停车环境中的位置信息，该第一动作控制参数包括油门或刹车的第一初始力度值、方向盘旋转的第一初始角度。

步骤102、对第一动作控制参数进行评估，确定第二动作控制参数，该第二动作控制参数包括油门或刹车的参考力度值、方向盘旋转的参考角度。

步骤103、根据第二动作控制参数调整本车的位置状态，调整后的本车的位置状态为第一位置状态。

步骤104、判断第一位置状态是否为预设状态。

步骤105、若第一位置状态为预设状态，则将本车处于第一位置状态时在停车环境中的位置信息和目标车位在停车环境中的位置信息作为自适应动态规划算法的输入参数，得到自适应动态规划算法的输出参数。

步骤106、将自适应动态规划算法的输出参数对应的路径作为目标行驶路径。

步骤107、根据目标行驶路径控制本车完成停车入库动作。

综上所述，本发明实施例提供的停车入库方法，能够对第一动作控制参数进行评估，确定第二动作控制参数，再根据第二动作控制参数调整本车的位置状态，若该位置状态为预设状态，则根据自适应动态规划算法确定目标行驶路径，从而控制本车完成停车入库动作，相较于现有技术，提高了车辆的自主学习能力，因此，提高了车辆停车入库时的稳定性，可靠性和灵活性。

可选的，步骤101包括：将向动作网络输入状态信息后，动作网络输出的参数确定为第一动作控制参数，该动作网络为包含隐藏层的多输入多输出非线性神经网络。

步骤102包括：采用评价网络对第一动作控制参数进行评估，确定动作网络输出的第二动作控制参数，该评价网络为包含隐藏层的多输入多输出非线性神经网络。

步骤104包括：判断本车与障碍物是否发生碰撞；若本车与障碍物发生碰撞，确定第一位置状态为预设状态；若本车与障碍物未发生碰撞，确定第一位置状态不为预设状态。

停车环境划分为至少两个面积相等的网格，每个网格对应一个位置状态，在步骤107之前，该停车入库方法还可以包括：

若本车与障碍物未发生碰撞，则检测本车是否到达目标车位；

若本车到达目标车位，则将本车处于第一位置状态时在停车环境中的位置信息和目标车位在停车环境中的位置信息作为自适应动态规划算法的输入参数，得到自适应动态规划算法的输出参数，并将自适应动态规划算法的输出参数对应的路径作为目标行驶路径；

若本车未到达目标车位，则检测本车的移动步数是否大于预设步数，该移动步数为本车移动一次所经过的网格数；

若本车的移动步数大于预设步数，则将本车处于第一位置状态时在停车环境中的位置信息和目标车位在停车环境中的位置信息作为自适应动态规划算法的输入参数，得到自适应动态规划算法的输出参数，并将自适应动态规划算法的输出参数对应的路径作为目标行驶路径；

若本车的移动步数不大于预设步数，则根据本车的当前状态确定第三动作控制参数，该第三动作控制参数包括油门或刹车的第二初始力度值、方向盘旋转的第二初始角度。

可选的，步骤105包括：将本车处于第一位置状态时在停车环境中的位置信息和目标车位在停车环境中的位置信息作为动作网络的输入参数，得到动作网络的第一输出参数；根据增强学习算法确定的增强信号组，采用评价网络对动作网络的第一输出参数进行评估，得到动作网络的第二输出参数，增强信号组包括本车在各个位置状态对应的增强信号。

相应的，步骤106包括：将动作网络的第二输出参数对应的路径作为目标行驶路径。

综上所述，本发明实施例提供的停车入库方法，能够对第一动作控制参数进行评估，确定第二动作控制参数，再根据第二动作控制参数调整本车的位置状态，若该位置状态为预设状态，则根据自适应动态规划算法确定目标行驶路径，从而控制本车完成停车入库动作，相较于现有技术，提高了车辆的自主学习能力，因此，提高了车辆停车入库时的稳定性，可靠性和灵活性。

本发明实施例提供了一种停车入库方法，如图2-1所示，该停车入库方法可以包括：

步骤201、根据本车的状态信息确定第一动作控制参数。执行步骤202。

本车的状态信息包括本车在停车环境中的位置信息、目标车位在停车环境中的位置信息，第一动作控制参数包括油门或刹车的第一初始力度值、方向盘旋转的第一初始角度。

本发明实施例提供的停车入库方法采用自适应动态规划算法确定目标行驶路径。基于自适应动态规划算法的停车入库方法的过程是一个学习的过程，车辆(即本车)在成功与失败的经验中学会如何使用最短的行驶路径完成停车入库动作。由于车辆在学习过程中存在失败的现象，因此可以先在计算机上进行试验，待车辆(即虚拟车辆)完成学习过程之后，再将学习算法中的相关值移植到实际车辆中。计算机在进行试验时可以先设置两个初始参数，如最大试验次数MaxTrail＝1000，最大移动步数即预设步数MaxStep＝7。停车环境可以划分为至少两个面积相等的网格，每个网格对应一个位置状态，而移动步数指的是车辆移动一次所经过的网格数。图2-2示出了自适应动态规划算法对应的***结构图，如图2-2所示，该***由动作网络和评价网络两个神经网络组成，动作网络和评价网络均为包含隐藏层的多输入多输出非线性神经网络，两个神经网格均采用非线性多层感知机结构的正向输送网络。采用该***使车辆进行自主学习的过程可以为：动作网络根据车辆的当前状态量X(t)产生一个决策动作U(t)，其中，X(t)包括车辆在停车环境中的位置及目标车位在停车环境中的位置，决策动作U(t)对应一组动作控制参数，该动作控制参数包括油门或刹车的第一初始力度值、方向盘旋转的第一初始角度。决策动作U(t)会改变车辆当前的位置状态，使得车辆从当前位置状态转变到一个新的位置状态，相应获得一个新的状态量X(t+1)。与此同时，停车环境会反馈给车辆一个增强信号r(t)，该增强信号r(t)用于表示对决策动作U(t)的立即回报。本发明实施例通过增强信号表示车辆受到的奖励或惩罚。通常，增强信号用数值来表示，数值的大小表示决策动作的“好”与“坏”。增强信号会被输入到评价网络，使评价网络输出代价函数J(t)，然后使评价网络并对动作网络产生的决策动作对应的动作控制参数进行实时评估。两个神经网络产生输出后，***将对两个输出进行反馈调节，其中，评价网络的反馈调节策略是：利用代价函数J(t)的值去近似折算增强信号无穷累加和。动作网络的反馈调节策略是通过比较效用函数U_c(t)期望值和代价函数J(t)的大小，得到动作误差，根据该动作误差，利用梯度下降法对两个神经网络的权值进行调节，进而使动作网络输出的动作控制参数趋于最优，达到使决策动作趋于最优的目的。其中，代价函数J(t)用于表示车辆根据动作网络输出的决策动作行驶时付出的代价，效用函数U_c(t)用于表示自适应动态规划算法***的输入参数与决策动作U(t)之间的关系。图2-2中的X(t)和X(t+1)为***的输入量，R(t)为增强信号的累加和，U_c(t)为效用函数，α为折算因子，用于表示后一状态对前一状态的影响程度，J(t-1)表示前一状态的代价函数。

同样，对于新的状态量X(t+1)，车辆也会做出新的决策动作U(t+1)，并从停车环境中获取一个新的增强信号r(t+1)。以此类推，即车辆在每个时刻都会与停车环境交互，根据停车环境反馈的增强信号值，在线调节动作策略，以便在后续决策动作中获得最大的回报。

参考图2-2，步骤201具体包括：将向动作网络输入状态信息后，动作网络输出的参数确定为第一动作控制参数。

随机选取车辆的状态，并将该状态作为车辆的初始状态。当车辆处于初始状态时，试验次数trail＝0。每一次试验开始时，移动步数step＝0。车辆的状态指的是车辆在停车环境中的位置及目标车位在停车环境中的位置。本发明实施例将停车环境离散化，如可以将停车环境划分为多个网格，每个网格对应一个位置状态，如图2-3所示的停车环境被划分为11*9个网格，通常，车辆从当前位置行驶至目标车位，需要经过多个网格。图2-3中的231表示其他车辆，232也表示其他车辆，233表示本车，234表示目标车位。需要补充说明的是，实际应用中，停车环境被划分的网格数远比图2-3中的网格数多得多，本发明实施例对此不作限定。

示例的，车辆上可以安装雷达和摄像机，通过雷达和摄像机实时检测车辆的状态，获取车辆的状态信息，如通过雷达检测目标车位的边界和其他车辆，通过摄像机检测车位线。其中，其他车辆为障碍车，障碍车和目标车位的边界为障碍物。当车辆处于初始状态时，动作网络将随机产生一个决策动作，进而得到第一动作控制参数，根据该第一动作控制参数能够使车辆到达一个新的位置状态。

步骤202、对第一动作控制参数进行评估，确定第二动作控制参数。执行步骤203。

第二动作控制参数包括油门或刹车的参考力度值、方向盘旋转的参考角度。当车辆到达一个新的位置状态时，车辆会被停车环境给予一个增强信号，评价网络根据停车环境给予的增强信号，产生代价函数，对动作网络产生的决策动作对应的动作控制参数进行实时评估，得到第二动作控制参数。

参考图2-2，步骤202具体包括：采用评价网络对第一动作控制参数进行评估，确定动作网络输出的第二动作控制参数。

步骤203、根据第二动作控制参数调整本车的位置状态，调整后的本车的位置状态为第一位置状态。执行步骤204。

根据第二动作控制参数调整本车的位置状态，调整后的本车的位置状态为第一位置状态，此时，移动步数step＝step’+1，step’表示车辆处于上一位置状态时对应的移动步数。

步骤204、判断本车与障碍物是否发生碰撞。若本车与障碍物发生碰撞，执行步骤205；若本车与障碍物未发生碰撞，执行步骤208。

判断车辆与障碍物是否发生碰撞，具体的，可以判断车辆与障碍车是否发生碰撞，或车辆是否行使至目标车位的边界。若本车与障碍物发生碰撞，则按照步骤205根据增强学习算法更新增强信号值，并进行下一次试验，重新随机选取车辆的初始状态，最终获取增强学习算法的输出参数，从而确定车辆的目标行驶路径；若本车与障碍物未发生碰撞，则检测本车是否到达目标车位。

步骤205、将本车处于第一位置状态时在停车环境中的位置信息和目标车位在停车环境中的位置信息作为自适应动态规划算法的输入参数，得到自适应动态规划算法的输出参数。执行步骤206。

具体的，如图2-4所示，步骤205可以包括：

步骤2051、将本车处于第一位置状态时在停车环境中的位置信息和目标车位在停车环境中的位置信息作为动作网络的输入参数，得到动作网络的第一输出参数。

步骤2052、根据增强学习算法确定的增强信号组，采用评价网络对动作网络的第一输出参数进行评估，得到动作网络的第二输出参数。

本发明实施例中，车辆在初始状态时的增强信号的设置规则可以为：车辆到达目标车位获得增强信号r＝+1，车辆与障碍物发生碰撞获得增强信号r＝-0.2，其他状态下车辆获得增强信号r＝0。图2-5示出了对应的增强信号的设置规则示意图。图2-5中，281表示本车，282表示其他车辆，283表示目标车位，箭头旁边的数字表示车辆按照某一决策动作从一个位置状态转移到另一位置状态的增强信号。

该增强信号组包括本车在各个位置状态对应的增强信号。其中，根据增强学习(Q-Learning)算法确定增强信号组的过程可以参考图2-6至图2-8，图2-6至图2-8中的9个网格表示车辆可能位于停车环境中的9个位置状态，这9位置状态分别为S1至S9。本发明实施例假设S3为目标车位。如图2-6所示，箭头用于指示车辆选择某一决策动作后从一个位置状态转移到另一位置状态，箭头旁边的数字表示预设增强信号。示例的，按照增强信号的设置规则，车辆从位置状态S1转移到位置状态S2的增强信号r12(图2-5中未标识)为0，车辆从位置状态S2转移到位置状态S3的增强信号r23(图2-5中未标识)为1。

采用增强更新公式，对图2-6中的增强信号进行更新，得到图2-7中的增强信号，该增强更新公式为：

其中，r为图2-5中的增强信号，表示车辆从当前位置状态转移到下一个位置状态的增强信号，α为折算因子，示例的，α可以为0.8。x表示当前位置状态，x’表示下一个位置状态，u’表示下一位置状态对应的决策动作，maxQ(x’，u’)表示车辆在下一位置状态选择决策动作时产生的最大增强信号，为图2-7中的增强信号，表示车辆在当前位置状态选择某一决策动作对应的动作控制参数获得的增强信号。假设对图2-6中的增强信号r12进行更新，则采用增强更新公式可以得到：

从而得到r12更新后的增强信号为0.8。如图2-7所示，箭头用于指示车辆选择某一决策动作后从一个位置状态转移到另一位置状态，箭头旁边的数字为Q值，该Q值表示车辆从一个位置状态选择一个决策动作对应的动作控制参数获得的最大累计增强信号。

接着在图2-7的基础上，根据最大值公式，确定车辆在各个位置状态对应的增强信号，得到增强信号组。该最大值公式为：

其中，x表示当前位置状态，u表示当前位置状态对应的决策动作，V^*(x)表示车辆在当前位置状态对应的增强信号。图2-8示出了该增强信号组的示意图，图2-8中，箭头用于指示车辆选择某一决策动作后从一个位置状态转移到另一位置状态，箭头旁边的数字为V值，表示车辆在各个位置状态对应的增强信号，该V值也表示车辆在一个位置状态下获得的最大累计增强信号。

由上述过程确定了增强信号组之后，可以采用自适应动态规划***中的评价网络对动作网络的第一输出参数进行评估，得到动作网络的第二输出参数。该第二输出参数即为动作控制参数，评估过程可以参考步骤201中的相关说明。基于自适应动态规划算法的增强信号组是通过评价网络产生的代价函数来拟合基于增强学习算法的增强信号组。

步骤206、将自适应动态规划算法的输出参数对应的路径作为目标行驶路径。执行步骤207。

步骤206具体包括：将动作网络的第二输出参数对应的路径作为目标行驶路径。第二输出参数为步骤2052得到的参数。

图2-9示出了动作网络的第二输出参数对应的路径的示意图。假设初始状态车辆从图2-8中的位置状态S7出发，由图2-9可知，车辆到达目标车位即位置状态S3的最短行驶路径即目标行驶路径可以有多条，该目标行驶路径可以为S7-S4-S1-S2-S3，也可以为S7-S8-S9-S6-S3，还可以为S7-S4-S5-S6-S3等。由于停车环境对应的网格的数量很多，所以车辆行驶的路线近似于光滑曲线，如图2-3所示的行驶路线。

步骤207、根据目标行驶路径控制本车完成停车入库动作。

获取了目标行驶路径，即可根据目标行驶路径控制本车完成停车入库动作。

步骤208、检测本车是否到达目标车位。若本车到达目标车位，执行步骤205，若本车未到达目标车位，执行步骤209。

若本车到达目标车位，则根据自适应动态规划算法更新增强信号值，并进行下一次试验，重新随机选取车辆的初始状态。若本车未到达目标车位，则检测本车的移动步数是否大于预设步数。

步骤209、检测本车的移动步数是否大于预设步数。若本车的移动步数大于预设步数，执行步骤205，若本车的移动步数不大于预设步数，执行步骤201。

若本车的移动步数大于预设步数，则根据自适应动态规划算法更新增强信号值，并进行下一次试验，重新随机选取车辆的初始状态。若本车的移动步数不大于预设步数，则执行步骤201，根据车辆的状态信息确定第一动作控制参数。

重复执行步骤205更新增强信号值，直到试验次数大于最大试验次数MaxTrail＝1000。接着将最后一次更新的增强信号值即学习值移植到实际车辆中，使得实际车辆在现实停车环境中根据该学习值完成停车入库过程。

需要说明的是，若预设增强信号设置得比较大，如车辆到达目标车位时获得的增强信号r＝100，则在整个试验结束之后，为了便于计算，可以将增强学习算法的输出参数进行归一化处理，也就是使最后一次更新的增强信号值的取值单位为[0,1]，然后将归一化后的结果作为最终停车入库的值，并将其移植到实际车辆中，使得实际车辆在现实停车环境中能够根据该学习值完成停车入库过程。

本发明实施例提供的停车入库方法，解决了智能车自主停车控制算法设计的问题，利用自适应动态规划算法，使智能车自主与停车环境进行交互，获得相应的增强信号，并通过增强信号值自主学习停车入库经验并存储停车入库经验，最终使得智能车在车位宽度、障碍车的位置及车辆的初始位置不固定的情况下，具体更好的稳定性和自适应性。该停车入库方法能够使智能车自主学习，实现在不同停车环境下的最优停车策略，使智能车在停车入库时的行驶路径最少，从而使智能车自主停车具有更好的稳定性，自适应性，机动性和灵活性。

综上所述，本发明实施例提供的停车入库方法，能够对第一动作控制参数进行评估，确定第二动作控制参数，再根据第二动作控制参数调整本车的位置状态，若该位置状态为预设状态，则根据自适应动态规划算法确定目标行驶路径，从而控制本车完成停车入库动作，相较于现有技术，提高了车辆的自主学习能力，因此，提高了车辆停车入库时的稳定性，可靠性，机动性和灵活性。

本发明实施例提供了一种停车入库装置，如图3-1所示，该停车入库装置可以包括：

第一确定单元301，用于根据本车的状态信息确定第一动作控制参数，状态信息包括本车在停车环境中的位置信息、目标车位在停车环境中的位置信息，该第一动作控制参数包括油门或刹车的第一初始力度值、方向盘旋转的第一初始角度。

第二确定单元302，用于对第一动作控制参数进行评估，确定第二动作控制参数，该第二动作控制参数包括油门或刹车的参考力度值、方向盘旋转的参考角度。

调整单元303，用于根据第二动作控制参数调整本车的位置状态，调整后的本车的位置状态为第一位置状态。

判断单元304，用于判断第一位置状态是否为预设状态。

第一处理单元305，用于在第一位置状态为预设状态时，将本车处于第一位置状态时在停车环境中的位置信息和目标车位在停车环境中的位置信息作为自适应动态规划算法的输入参数，得到自适应动态规划算法的输出参数。

第二处理单元306，用于将自适应动态规划算法的输出参数对应的路径作为目标行驶路径。

控制单元307，用于根据目标行驶路径控制本车完成停车入库动作。

综上所述，本发明实施例提供的停车入库装置，能够对第一动作控制参数进行评估，确定第二动作控制参数，再根据第二动作控制参数调整本车的位置状态，若该位置状态为预设状态，则根据自适应动态规划算法确定目标行驶路径，从而控制本车完成停车入库动作，相较于现有技术，提高了车辆的自主学习能力，因此，提高了车辆停车入库时的稳定性，可靠性和灵活性。

可选的，如图3-2所示，第一确定单元301，包括：

第一确定模块3011，用于将向动作网络输入状态信息后，动作网络输出的参数确定为第一动作控制参数，该动作网络为包含隐藏层的多输入多输出非线性神经网络。

如图3-3所示，第二确定单元302，包括：

第二确定模块3021，用于采用评价网络对第一动作控制参数进行评估，确定动作网络输出的第二动作控制参数，该评价网络为包含隐藏层的多输入多输出非线性神经网络。

如图3-4所示，判断单元304，包括：

判断模块3041，用于判断本车与障碍物是否发生碰撞。

第三确定模块3042，用于在本车与障碍物发生碰撞时，确定第一位置状态为预设状态。

第四确定模块3043，用于在本车与障碍物未发生碰撞时，确定第一位置状态不为预设状态。

如图3-5所示，该停车入库装置还可以包括：

第一检测单元308，用于在本车与障碍物未发生碰撞时，检测本车是否到达目标车位。

第三处理单元309，用于在本车到达目标车位时，将本车处于第一位置状态时在停车环境中的位置信息和目标车位在停车环境中的位置信息作为自适应动态规划算法的输入参数，得到自适应动态规划算法的输出参数，并将自适应动态规划算法的输出参数对应的路径作为目标行驶路径。

第二检测单元310，用于在本车未到达目标车位时，检测本车的移动步数是否大于预设步数，移动步数为本车移动一次所经过的网格数。

第四处理单元311，用于在本车的移动步数大于预设步数时，将本车处于第一位置状态时在停车环境中的位置信息和目标车位在停车环境中的位置信息作为自适应动态规划算法的输入参数，得到自适应动态规划算法的输出参数，并将自适应动态规划算法的输出参数对应的路径作为目标行驶路径。

第三确定单元312，用于在本车的移动步数不大于预设步数时，根据本车的当前状态确定第三动作控制参数，该第三动作控制参数包括油门或刹车的第二初始力度值、方向盘旋转的第二初始角度。

可选的，如图3-6所示，第一处理单元305，包括：

第一处理模块3051，用于将本车处于第一位置状态时在停车环境中的位置信息和目标车位在停车环境中的位置信息作为动作网络的输入参数，得到动作网络的第一输出参数。

第二处理模块3052，用于根据增强学习算法确定的增强信号组，采用评价网络对动作网络的第一输出参数进行评估，得到动作网络的第二输出参数，增强信号组包括本车在各个位置状态对应的增强信号。

相应的，如图3-7所示，第二处理单元306，包括：

第三处理模块3061，用于将动作网络的第二输出参数对应的路径作为目标行驶路径。

综上所述，本发明实施例提供的停车入库装置，能够对第一动作控制参数进行评估，确定第二动作控制参数，再根据第二动作控制参数调整本车的位置状态，若该位置状态为预设状态，则根据自适应动态规划算法确定目标行驶路径，从而控制本车完成停车入库动作，相较于现有技术，提高了车辆的自主学习能力，因此，提高了车辆停车入库时的稳定性，可靠性，机动性和灵活性。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置、单元和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种停车入库方法，其特征在于，所述方法包括：

根据本车的状态信息确定第一动作控制参数，所述状态信息包括本车在停车环境中的位置信息、目标车位在所述停车环境中的位置信息，所述第一动作控制参数包括油门或刹车的第一初始力度值、方向盘旋转的第一初始角度；

对所述第一动作控制参数进行评估，确定第二动作控制参数，所述第二动作控制参数包括油门或刹车的参考力度值、方向盘旋转的参考角度；

根据所述第二动作控制参数调整本车的位置状态，调整后的本车的位置状态为第一位置状态；

判断所述第一位置状态是否为预设状态；

若所述第一位置状态为预设状态，则将本车处于所述第一位置状态时在停车环境中的位置信息和所述目标车位在所述停车环境中的位置信息作为自适应动态规划算法的输入参数，得到所述自适应动态规划算法的输出参数；

将所述自适应动态规划算法的输出参数对应的路径作为目标行驶路径；

根据所述目标行驶路径控制本车完成停车入库动作。

2.根据权利要求1所述的方法，其特征在于，所述根据本车的状态信息确定第一动作控制参数，包括：

将向动作网络输入所述状态信息后，所述动作网络输出的参数确定为所述第一动作控制参数，所述动作网络为包含隐藏层的多输入多输出非线性神经网络；

所述对所述第一动作控制参数进行评估，确定第二动作控制参数，包括：

采用评价网络对所述第一动作控制参数进行评估，确定所述动作网络输出的第二动作控制参数，所述评价网络为包含隐藏层的多输入多输出非线性神经网络。

3.根据权利要求1所述的方法，其特征在于，

所述判断所述第一位置状态是否为预设状态，包括：

判断本车与障碍物是否发生碰撞；

若本车与所述障碍物发生碰撞，确定所述第一位置状态为预设状态；

若本车与所述障碍物未发生碰撞，确定所述第一位置状态不为预设状态。

4.根据权利要求3所述的方法，其特征在于，所述停车环境划分为至少两个面积相等的网格，每个所述网格对应一个位置状态，在所述根据所述目标行驶路径控制本车完成停车入库动作之前，所述方法还包括：

若本车与所述障碍物未发生碰撞，则检测本车是否到达所述目标车位；

若本车到达所述目标车位，则将本车处于所述第一位置状态时在停车环境中的位置信息和所述目标车位在所述停车环境中的位置信息作为所述自适应动态规划算法的输入参数，得到所述自适应动态规划算法的输出参数，并将所述自适应动态规划算法的输出参数对应的路径作为目标行驶路径；

若本车未到达所述目标车位，则检测本车的移动步数是否大于预设步数，所述移动步数为本车移动一次所经过的网格数；

若本车的移动步数大于所述预设步数，则将本车处于所述第一位置状态时在停车环境中的位置信息和所述目标车位在所述停车环境中的位置信息作为所述自适应动态规划算法的输入参数，得到所述自适应动态规划算法的输出参数，并将所述自适应动态规划算法的输出参数对应的路径作为目标行驶路径；

若本车的移动步数不大于所述预设步数，则根据本车的当前状态确定第三动作控制参数，所述第三动作控制参数包括油门或刹车的第二初始力度值、方向盘旋转的第二初始角度。

5.根据权利要求2所述的方法，其特征在于，所述将本车处于所述第一位置状态时在停车环境中的位置信息和所述目标车位在所述停车环境中的位置信息作为自适应动态规划算法的输入参数，得到所述自适应动态规划算法的输出参数，包括：

将本车处于所述第一位置状态时在停车环境中的位置信息和所述目标车位在所述停车环境中的位置信息作为所述动作网络的输入参数，得到所述动作网络的第一输出参数；

根据增强学习算法确定的增强信号组，采用所述评价网络对所述动作网络的第一输出参数进行评估，得到所述动作网络的第二输出参数，所述增强信号组包括本车在各个位置状态对应的增强信号；

所述将所述自适应动态规划算法的输出参数对应的路径作为目标行驶路径，包括：

将所述动作网络的第二输出参数对应的路径作为所述目标行驶路径。

6.一种停车入库装置，其特征在于，所述装置包括：

第一确定单元，用于根据本车的状态信息确定第一动作控制参数，所述状态信息包括本车在停车环境中的位置信息、目标车位在所述停车环境中的位置信息，所述第一动作控制参数包括油门或刹车的第一初始力度值、方向盘旋转的第一初始角度；

第二确定单元，用于对所述第一动作控制参数进行评估，确定第二动作控制参数，所述第二动作控制参数包括油门或刹车的参考力度值、方向盘旋转的参考角度；

调整单元，用于根据所述第二动作控制参数调整本车的位置状态，调整后的本车的位置状态为第一位置状态；

判断单元，用于判断所述第一位置状态是否为预设状态；

第一处理单元，用于在所述第一位置状态为预设状态时，将本车处于所述第一位置状态时在停车环境中的位置信息和所述目标车位在所述停车环境中的位置信息作为自适应动态规划算法的输入参数，得到所述自适应动态规划算法的输出参数；

第二处理单元，用于将所述自适应动态规划算法的输出参数对应的路径作为目标行驶路径；

控制单元，用于根据所述目标行驶路径控制本车完成停车入库动作。

7.根据权利要求6所述的装置，其特征在于，所述第一确定单元，包括：

第一确定模块，用于将向动作网络输入所述状态信息后，所述动作网络输出的参数确定为所述第一动作控制参数，所述动作网络为包含隐藏层的多输入多输出非线性神经网络；

所述第二确定单元，包括：

第二确定模块，用于采用评价网络对所述第一动作控制参数进行评估，确定所述动作网络输出的第二动作控制参数，所述评价网络为包含隐藏层的多输入多输出非线性神经网络。

8.根据权利要求6所述的装置，其特征在于，

所述判断单元，包括：

判断模块，用于判断本车与障碍物是否发生碰撞；

第三确定模块，用于在本车与所述障碍物发生碰撞时，确定所述第一位置状态为预设状态；

第四确定模块，用于在本车与所述障碍物未发生碰撞时，确定所述第一位置状态不为预设状态。

9.根据权利要求8所述的装置，其特征在于，所述停车环境划分为至少两个面积相等的网格，每个所述网格对应一个位置状态，所述装置还包括：

第一检测单元，用于在本车与所述障碍物未发生碰撞时，检测本车是否到达所述目标车位；

第三处理单元，用于在本车到达所述目标车位时，将本车处于所述第一位置状态时在停车环境中的位置信息和所述目标车位在所述停车环境中的位置信息作为所述自适应动态规划算法的输入参数，得到所述自适应动态规划算法的输出参数，并将所述自适应动态规划算法的输出参数对应的路径作为目标行驶路径；

第二检测单元，用于在本车未到达所述目标车位时，检测本车的移动步数是否大于预设步数，所述移动步数为本车移动一次所经过的网格数；

第四处理单元，用于在本车的移动步数大于所述预设步数时，将本车处于所述第一位置状态时在停车环境中的位置信息和所述目标车位在所述停车环境中的位置信息作为所述自适应动态规划算法的输入参数，得到所述自适应动态规划算法的输出参数，并将所述自适应动态规划算法的输出参数对应的路径作为目标行驶路径；

第三确定单元，用于在本车的移动步数不大于所述预设步数时，根据本车的当前状态确定第三动作控制参数，所述第三动作控制参数包括油门或刹车的第二初始力度值、方向盘旋转的第二初始角度。

10.根据权利要求7所述的装置，其特征在于，所述第一处理单元，包括：

第一处理模块，用于将本车处于所述第一位置状态时在停车环境中的位置信息和所述目标车位在所述停车环境中的位置信息作为所述动作网络的输入参数，得到所述动作网络的第一输出参数；

第二处理模块，用于根据增强学习算法确定的增强信号组，采用所述评价网络对所述动作网络的第一输出参数进行评估，得到所述动作网络的第二输出参数，所述增强信号组包括本车在各个位置状态对应的增强信号；

所述第二处理单元，包括：

第三处理模块，用于将所述动作网络的第二输出参数对应的路径作为所述目标行驶路径。