CN110663073A - 策略生成装置及车辆 - Google Patents

Abstract

生成用于决定车辆的自动驾驶中的轨道的策略的装置具备报酬推定器以及处理部，该处理部以使通过将车辆的周围的状况和车辆的行动输入到报酬推定器而得到的报酬的期待值变高的方式生成策略。报酬基于由规定的驾驶员进行的实际的行动来更新。被输入到报酬推定器的车辆的行动基于策略来更新。

Description

策略生成装置及车辆

技术领域

本发明涉及策略生成装置以及车辆。

背景技术

人工智能相关技术已被利用于驾驶辅助、自动驾驶。在专利文献1中，记载了利用基于熟练驾驶员的注视行为模型的神经网络，根据对象物的配置图案提取高危险度对象物的技术。

现有技术文献

专利文献

专利文献1：日本特开2008-230296号公报

发明内容

发明要解决的问题

在专利文献1中，仅将提取出的高危险度对象目标提示给驾驶员，不用于车辆的行驶控制。能够使用高危险度对象目标来规定在自动驾驶中应被抑制的行动(例如，向这样的目标接近)。但是，仅通过避免应被抑制的行动来模仿人类驾驶员、特别是驾驶熟练者进行的自然的行驶是困难的。本发明的一个方面的目的在于，提供一种用于生成对人类驾驶员进行的行驶进行模仿的策略的技术。

解决问题的手段

根据一部分的实施方式，提供生成用于决定车辆的自动驾驶中的轨道的策略的装置，其特征在于，具有报酬推定器以及处理部，该处理部以使通过将车辆的周围的状况和上述车辆的行动输入到上述报酬推定器而得到的报酬的期待值变高的方式生成策略，上述报酬基于由规定的驾驶员进行的实际的行动来更新，被输入到上述报酬推定器的上述车辆的行动基于上述策略来更新。

发明效果

根据本发明，提供一种用于生成对人类驾驶员进行的行驶进行模仿的策略的技术。

通过参照附图的以下的说明使本发明的其他特征及优点变得明了。在附图中，对相同或同样的结构标注相同的附图标记。

附图说明

附图包含于说明书中且构成其一部分，表示本发明的实施方式并与其记述一起用于说明本发明的原理。

图1是对一部分实施方式的车辆的结构例进行说明的图。

图2是对一部分实施方式的生成策略的装置的结构例进行说明的图。

图3是对一部分实施方式的生成策略的方法的例子进行说明的图。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。在各种实施方式中，对相同的要素标注相同的附图标记，并省略重复的说明。另外，各实施方式能够适当变更、组合。

图1是本发明的一个实施方式所涉及的车辆用控制装置的框图，对车辆1进行控制。在图1中，以俯视图和侧视图表示车辆1的概要。作为一个例子，车辆1为轿车型的四轮乘用车。

图1的控制装置包括控制单元2。控制单元2包括通过车内网络连接为能够通信的多个ECU20～29。各ECU包括以CPU为代表的处理器、半导体存储器等存储设备、以及与外部设备连接的接口等。在存储设备中保存有处理器所执行的程序、处理器在处理中使用的数据等。各ECU可以具备多个处理器、存储设备以及接口等。例如，ECU20具备处理器20a和存储器20b。处理器20a执行保存在存储器20b中的程序所包含的命令，由此执行ECU20的处理。取而代之，ECU20也可以具备用于执行ECU20的处理的ASIC等的专用的集成电路。

以下针对各ECU20～29所负责的功能等进行说明。此外，可以对ECU的数量、所负责的功能适当地设计，也可以比本实施方式更加细化或者进行整合。

ECU20执行与车辆1的自动驾驶有关的控制。在自动驾驶中，对车辆1的转向以及加速减速中的至少任意一项进行自动控制。在后述的控制例中，对转向以及加速减速这两者进行自动控制。

ECU21对电动动力转向装置3进行控制。电动动力转向装置3包括根据驾驶员对方向盘31的驾驶操作(转向操作)而使前轮转向的机构。另外，电动动力转向装置3包括发挥用于辅助转向操作或者使前轮自动转向的驱动力的马达、对转向角进行检测的传感器等。在车辆1的驾驶状态为自动驾驶的情况下，ECU21与来自ECU20的指示相对应地对电动动力转向装置3进行自动控制，并控制车辆1的行进方向。

ECU22以及ECU23进行检测车辆1的周围状况的检测单元41～43的控制以及检测结果的信息处理。检测单元41为对车辆1的前方进行拍摄的摄像机(以下有时表述为摄像机41。)，在本实施方式的情况下，在车辆1的车顶前部设置有两个摄像机41。通过对摄像机41所拍摄到的图像进行分析，能够对目标的轮廓、道路上的车道的区划线(白线等)进行提取。

检测单元42为光学雷达(激光雷达)(以下，有时表述为光学雷达42)，对车辆1的周围的目标进行检测、对与目标的距离进行测距。在本实施方式的情况下，设置有五个光学雷达42，在车辆1的前部的各角部各设置有一个，在后部中央设置有一个，并且在后部各侧方各设置有一个。检测单元43为毫米波雷达(以下有时表述为雷达43)，对车辆1的周围的目标进行检测、对与目标的距离进行测距。在本实施方式的情况下，设置有五个雷达43，在车辆1的前部中央设置有一个，在前部各角部各设置有一个，并且在后部各角部各设置有一个。

ECU22进行一方的摄像机41、各光学雷达42的控制以及检测结果的信息处理。ECU23进行另一方的摄像机42、各雷达43的控制以及检测结果的信息处理。通过具备两组对车辆的周围状况进行检测的装置，能够提高检测结果的可靠性，另外，通过具备摄像机、光学雷达以及雷达这样的不同种类的检测单元，能够多方面地对车辆周边环境进行分析。

ECU24进行陀螺仪传感器5、GPS传感器24b、通信装置24c的控制以及检测结果或通信结果的信息处理。陀螺仪传感器5检测车辆1的旋转运动。根据陀螺仪传感器5的检测结果、车轮速度等对车辆1的行进路径进行判定。GPS传感器24b检测车辆1的当前位置。通信装置24c与提供地图信息、交通信息的服务器进行无线通信，并获取上述信息。ECU24能够访问在存储设备中构建的地图信息的数据库24a，ECU24进行从当前位置至目的地的路径探索等。ECU24、地图数据库24a、GPS传感器24b构成所谓的导航装置。

ECU25具备车与车之间的通信用的通信装置25a。通信装置25a与周边的其他车辆进行无线通信，并进行车辆间的信息交换。

ECU26对动力装置6进行控制。动力装置6是输出使得车辆1的驱动轮旋转的驱动力的机构，例如包括发动机与变速器。ECU26例如与由设置在油门踏板7A上的操作检测传感器7a检测到的驾驶员的驾驶操作(油门操作或者加速操作)相对应地对发动机的输出进行控制、基于车速传感器7c所检测到的车速等信息而切换变速器的变速挡。在车辆1的驾驶状态为自动驾驶的情况下，ECU26与来自ECU20的指示相对应地对动力装置6进行自动控制，并控制车辆1的加速减速。

ECU27对包含方向指示器8(转向灯)的照明器件(头灯、尾灯等)进行控制。在图1的例子的情况下，方向指示器8设置于车辆1的前部、车门后视镜以及后部。

ECU28进行输入输出装置9的控制。输入输出装置9进行相对于驾驶员的信息的输出和来自驾驶员的信息的输入的接受。语音输出装置91通过语音对驾驶员报告信息。显示装置92通过图像的显示对驾驶员报告信息。显示装置92例如配置在驾驶座的正面并构成仪表盘等。此外，在此举例示出了语音和显示，但是也可以通过振动、光来报告信息。另外，可以组合语音、显示、振动或者光中的多个来报告信息。进一步地，可以根据应报告的信息的等级(例如紧急度)改变组合、改变报告方式。输入装置93是配置在驾驶员能够操作的位置而对车辆1进行指示的开关组，但也可以包括语音输入装置。

ECU29对制动装置10、驻车制动器(未图示)进行控制。制动装置10例如为盘式制动装置，设置于车辆1的各车轮，通过对车轮的旋转施加阻力而使车辆1减速或者停止。ECU29例如与由设置在制动踏板7B上的操作检测传感器7b检测到的驾驶员的驾驶操作(制动操作)相对应地对制动装置10的工作进行控制。在车辆1的驾驶状态为自动驾驶的情况下，ECU29与来自ECU20的指示相对应地对制动装置10进行自动控制，并控制车辆1的减速以及停止。制动装置10、驻车制动器还能够为了维持车辆1的停止状态而进行工作。另外，在动力装置6的变速器具备驻车锁止机构的情况下，还能够为了维持车辆1的停止状态而使其工作。

接着，参照图2，对用于生成用于计算自动驾驶中的路径的策略的装置200的结构进行说明。所谓策略，是指用于针对车辆1的给定的周围状况算出车辆1应采取的轨道的模型(函数)。

车辆1应采取的轨道例如是指车辆1为了朝向目的地行驶而在短期间(例如5秒钟)内车辆1应该行驶的轨道。该轨道通过以规定时间(例如0.1秒)为刻度决定车辆1的位置来确定。例如，在以0.1秒为刻度确定5秒钟的轨道的情况下，分别决定从0.1秒后到5.0秒后的50个时间点的车辆1的位置，将连结该50个点的轨道决定为车辆1应行进的轨道。这里的“短期间”是与车辆1行驶的全部行程相比显著较短的时间，例如，基于检测单元能够检测周围的环境的范围、车辆1的制动所需要的时间等来决定。另外，“规定时间”被设定为车辆1能够适应周围的环境的变化那样的较短程度。ECU20按照这样确定的轨道，指示ECU21、ECU26及ECU29，控制车辆1的转向、加速减速。

装置200具备处理器201、存储器202、报酬推定器203以及存储装置204。处理器201例如是CPU等通用电路，负责装置200整体的处理。存储器202由ROM、RAM的组合构成，从存储装置204读取并执行装置200的动作所需的程序、数据。

报酬推定器203是用于进行深层学习的设备。报酬推定器203可以由CPU等通用电路构成，也可以由ASIC、FPGA等专用电路构成。存储装置204保存装置200的处理中所使用的数据，例如由HDD、SDD构成。存储装置204可以包含在装置200中，也可以构成为与装置200不同的装置。例如，存储装置204也可以是通过网络与装置200连接的数据库服务器等。

例如，存储装置204存储有基于规定的驾驶员的实际的行驶数据的参照行动。规定的驾驶员例如可以包括无事故驾驶员、出租车驾驶员和受到认定的驾驶熟练者中的至少任一个。无事故驾驶员是指在规定的期间(例如5年)没有发生事故的驾驶员。出租车驾驶员是指以驾驶出租车为职业的驾驶员。受到认定的驾驶熟练者是指从政府、企业等受到优良的认定的驾驶员。以下，将驾驶熟练者作为规定的驾驶员来处理。

参照行动是指车辆的周围状况和在该周围状况下驾驶熟练者实际采取的行动的组合。周围状况例如包括本车辆的速度、车道中的本车辆的位置、其他的目标(其他车辆、行人)相对于本车辆的位置等。行动包括例如车辆的例如加速器操作量的变化、制动器操作量的变化、方向盘操作量的变化、方向指示器的操作。存储装置204存储例如50万组左右的该参照驱动。行动可以用一个值表现各操作量，也可以针对各操作量表现为具有各值的概率分布。该概率分布是在车辆1所处的状况下驾驶熟练者采取的概率越高的行动则具有越高的值，驾驶熟练者采取的概率越低的行动则具有越低的值的分布。另外，也可以从多个车辆收集行驶数据，从其中提取不进行紧急起动、紧急制动、紧急转向或者满足行驶速度稳定等规定的基准的行驶数据，作为驾驶熟练者的行驶数据来处理。

接着，参照图3，对用于生成用于计算自动驾驶中的路径的策略的方法进行说明。该方法由装置200的处理器201执行。在以下的方法中，通过逆强化学习生成策略。

在步骤S301中，处理器201进行针对各事件的报酬的初始设定。在被分配报酬的事件中，存在被给予正的报酬的事件和被给予负的报酬的事件。作为被给予正的报酬的事件，存在车辆在限制时间内到达目的地的情况。作为被给予负的报酬的事件，存在车辆与其他车辆碰撞的情况、尽管能够行进但继续停止的情况、以高速在距离行人较近的区域行驶的情况、进行了紧急加速/紧急减速的情况等。

在步骤S302中，处理器201进行暂定策略的初始设定。所谓暂定策略，是指通过后续的处理根据需要更新的暂定的策略。例如，暂定策略的初始设定也可以通过随机地设定模型的参数来进行。

在步骤S303中，处理器201使用报酬推定器203进行机械学习，由此计算出针对给定的周围状况按照暂定策略进行了行动的情况下的报酬的期待值。首先，处理器201随机地决定一种车辆所处的初始的周围状况。然后，处理器201针对该周围状况，按照暂定策略来决定车辆采取的行为。之后，处理器201模拟车辆采取了该行动的情况下的周围状况的变化。处理器201反复进行该处理，直到经过一定期间(例如1小时)、或到达设定了报酬的事件为止，计算在该行驶中发生的事件的报酬的期待值。具体而言，处理器201计算通过向报酬推定器203输入车辆的周围状况和车辆的行动而得到的报酬的期待值。

在步骤S304中，处理器201判定计算出的报酬的期待值是否满足学习结束条件。处理器201在满足条件的情况下(步骤S304中为“是”)使处理进入步骤S306，在不满足条件的情况下(步骤S304中为“否”)使处理进入步骤S305。例如，处理器201在多次试验中计算出的报酬的期待值超过了阈值的情况下判定为满足学习结束条件。

在步骤S305中，处理器201更新暂定策略并使处理返回到步骤S303。例如，处理器201以使报酬的期待值变高的方式更新暂定策略。

在步骤S306中，处理器201将通过步骤S302～S305得到的暂定策略设为中间策略。中间策略是指通过步骤S302～S305的强化学习而得到的策略。

在步骤S307中，处理器201针对某状况，按照中间策略来决定车辆采取的行动。该状况从存储于存储装置204的驾驶熟练者的参照行动所包含的状况中选择。在该步骤中，也可以针对多个状况分别决定行动。

在步骤S308中，处理器201对在步骤S307中决定的行动和在相同状况下的参照行动进行比较，判定它们的误差是否在阈值以下。处理器201在误差为阈值以下的情况下(步骤S308中为“是”)使处理进入步骤S310，在误差大于阈值的情况下(在步骤S308中为“否”)使处理进入步骤S309。例如，对于加速器操作量，也可以在两者之差为参照行动量的1％以下时判定为误差为阈值以下。

在步骤S309中，处理器201更新针对个别事件的报酬。例如，处理器201以使与上述的参照行动之间的误差减少的方式更新报酬。然后，处理器201使处理返回到步骤S302，再次决定中间策略。

在步骤S310中，处理器201将通过步骤S301～S309得到的中间策略设为最终策略。最终策略是指保存在车辆1的ECU20中且用于自动驾驶的策略。

在ECU20的存储器20b中保存该最终策略。ECU20的处理器20a通过对车辆1的周围的状况应用最终策略来决定轨道，并按照该轨道来控制车辆1的行驶。

<实施方式的总结>

<结构1>

一种装置，是生成用于决定车辆(1)的自动驾驶中的轨道的策略的装置(200)，其特征在于，具备：

报酬推定器(203)；以及

处理部(201)，其以使通过将车辆的周围的状况和上述车辆的行动输入到上述报酬推定器而得到的报酬的期待值变高的方式生成策略，

上述报酬基于由规定的驾驶员进行的实际的行动来更新，

被输入到上述报酬推定器的上述车辆的行动基于上述策略来更新。

根据该结构，能够生成对驾驶员的行动进行模仿的策略。

<结构2>

根据结构1所述的装置，其特征在于，上述处理部根据基于上述策略而决定的行动与上述规定的驾驶员的实际的行动之间的比较结果来更新上述报酬。

根据该结构，能够生成对人类驾驶员进行的行驶进行模仿的策略。

<结构3>

根据结构1或2所述的装置，其特征在于，上述规定的驾驶员包含无事故驾驶员、出租车驾驶员和受到认定的驾驶熟练者中的至少任一个。

根据该结构，能够生成对技术较高的驾驶员的行动进行模仿的策略。

<结构4>

一种车辆，是进行自动驾驶的车辆(1)，其特征在于，具备：

存储部(20b)，其保存由结构1至3中任一项所述的装置(200)生成的策略；以及

控制部(20a)，其通过对上述车辆的周围的状况应用上述策略来决定轨道，并按照上述轨道来控制上述车辆的行驶。

根据该结构，能够按照对驾驶员的行动进行模仿的策略进行自动驾驶。

本发明不限于上述实施方式，能够在不脱离本发明的精神和范围的情况下进行各种变更和变形。因此，为了明确本发明的范围，附加以下的权利要求。

Claims (4)

1.一种装置，是生成用于决定车辆的自动驾驶中的轨道的策略的装置，其特征在于，具备：

报酬推定器；以及

处理部，其以使通过将车辆的周围的状况和所述车辆的行动输入到所述报酬推定器而得到的报酬的期待值变高的方式生成策略，

所述报酬基于由规定的驾驶员进行的实际的行动来更新，

被输入到所述报酬推定器的所述车辆的行动基于所述策略来更新。

2.根据权利要求1所述的装置，其特征在于，所述处理部根据基于所述策略而决定的行动与所述规定的驾驶员的实际的行动之间的比较结果来更新所述报酬。

3.根据权利要求1或2所述的装置，其特征在于，所述规定的驾驶员包含无事故驾驶员、出租车驾驶员和受到认定的驾驶熟练者中的至少任一个。

4.一种车辆，是进行自动驾驶的车辆，其特征在于，具备：

存储部，其保存由权利要求1至3中任一项所述的装置生成的策略；以及

控制部，其通过对所述车辆的周围的状况应用所述策略来决定轨道，并按照所述轨道来控制所述车辆的行驶。

Images