CN110709272B - 车辆控制***、车辆控制方法及存储介质 - Google Patents

Abstract

车辆控制***具备：驾驶支援控制部，其以互不相同的多个程度执行车辆的驾驶支援；信息输出部，其输出信息；以及输出控制部，其基于由所述驾驶支援控制部进行的驾驶支援的程度的变化，来控制所述信息输出部以便输出暗示对乘客要求的所述乘客的监视对象或操作对象的信息。

Description

车辆控制***、车辆控制方法及存储介质

技术领域

本发明涉及车辆控制***、车辆控制方法及程序。

背景技术

关于自动地控制车辆的加减速或转向中的至少一方来使车辆行驶的技术(以下称作“自动驾驶”)的研究不断进展。与此关联而公开了如下技术：基于自动驾驶车辆的***状态来判断自动驾驶等级，根据该自动驾驶等级，来使对车辆的操作部的图像及操作部进行操作的人的部分的图像同时显示于显示部(例如参照专利文献1)。

在先技术文献

专利文献

专利文献1：日本特开2015-182624号公报

发明内容

发明要解决的课题

然而，在以往技术的方法中，仅是表示乘客的行动的图像显示于显示部，因此乘客有时难以瞬时识别从车辆要求着的内容。

本发明是考虑这样的情况而完成的，其目的之一在于提供能够向乘客以容易识别的方式提示伴随驾驶支援的程度的变化而对乘客要求的内容的车辆控制***、车辆控制方法及程序。

用于解决课题的方案

(1)：一种车辆控制***，其中，所述车辆控制***具备：驾驶支援控制部200、300，其以互不相同的多个程度执行车辆的驾驶支援；信息输出部400，其输出信息；以及输出控制部120，其基于由所述驾驶支援控制部进行的驾驶支援的程度的变化，控制所述信息输出部以输出暗示对乘客要求的所述乘客的监视对象或操作对象的信息。

(2)：在(1)的基础上，所述信息输出部包括反射显示部460，该反射显示部460使来自规定的光源的光在所述车辆的前风窗玻璃或设置于所述前风窗玻璃附近的反射部反射，所述输出控制部在由所述驾驶支援控制部进行的驾驶支援的程度变化为要求使所述乘客注视所述车辆的前方的程度的情况下，使所述反射显示部进行规定的动作。

(3)：在(1)或(2)的基础上，所述车辆控制***还具备在所述车辆的手动驾驶时供所述乘客操作的驾驶操作件80，所述信息输出部为设置于所述驾驶操作件的发光部430，所述输出控制部在由所述驾驶支援控制部进行的驾驶支援的程度变化为要求所述乘客操作驾驶操作件的程度的情况下，使设置于所述驾驶操作件的发光部发光、闪烁或停止发光。

(4)：在(1)或(2)的基础上，所述车辆控制***还具备在所述车辆的手动驾驶时供所述乘客操作的驾驶操作件，所述信息输出部为设置于所述驾驶操作件的发光部，所述输出控制部根据由所述驾驶支援控制部进行的所述驾驶支援的程度来使所述发光部发光、闪烁或停止发光，而且在所述驾驶支援的程度变化为要求所述乘客操作驾驶操作件的程度的情况下，使所述发光部的发光状态与变化之前的发光状态不同。

(5)：在(4)的基础上，所述输出控制部在所述驾驶支援执行时和对所述乘客要求操作时中的任一状态下均进行所述发光部的发光、闪烁，使所述驾驶支援执行时和对所述乘客要求操作时彼此的发光、闪烁、发光色及发光亮度中的至少一个不同。

(6)：在(3)～(5)中任一项的基础上，所述输出控制部在所述驾驶支援的程度变化为比变化之前的驾驶支援的程度低的程度的情况下，使所述发光部发光、闪烁或停止发光。

(7)：在(1)～(6)中任一项的基础上，所述车辆控制***还具备：座椅安全带装置482，其在使所述乘客就座于座椅的状态下通过座椅安全带482A来保持所述乘客；以及振动部484，其使所述座椅安全带振动，所述输出控制部在由所述驾驶支援控制部进行的驾驶支援的程度变化的情况下，使所述振动部工作。

(8)：在(1)～(7)中任一项的基础上，所述车辆控制***还具备监视所述乘客的状态的乘客状态监视部130、140，在由所述乘客状态监视部判定为所述乘客进行了规定的动作之前，所述输出控制部使暗示对所述乘客要求的所述乘客的监视对象或操作对象的信息的输出继续。

(9)：在(8)的基础上，所述车辆控制***还具备识别所述车辆的周边状况的外界识别部321，所述信息输出部包括显示与驾驶支援相关的信息的显示部450，所述输出控制部与所述驾驶支援的程度对应地使由所述外界识别部识别到的所述车辆的周边状况显示于所述显示部，在由所述驾驶支援控制部进行的驾驶支援的程度变化的情况下，在由所述乘客状态监视部判定为所述乘客进行了规定的动作之前，与所述车辆的周边状况的显示相比加强地使暗示对所述乘客要求的所述乘客的监视对象或操作对象的信息显示于所述显示部。

(10)：一种车辆控制方法，其中，所述车辆控制方法使车载计算机进行如下处理：以互不相同的多个程度执行车辆的驾驶支援；以及基于所述驾驶支援的程度的变化，控制信息输出部以输出暗示对乘客要求的所述乘客的监视对象或操作对象的信息。

(11)：一种程序，其中，所述程序使车载计算机进行如下处理：以互不相同的多个程度执行车辆的驾驶支援；以及基于所述驾驶支援的程度的变化，控制信息输出部以输出暗示对乘客要求的所述乘客的监视对象或操作对象的信息。

发明效果

根据(1)～(11)，能够向乘客以容易识别的方式提示伴随驾驶支援的程度的变化而对乘客要求的内容。

附图说明

图1是包括实施方式的车辆控制***的车辆***1的结构图。

图2是表示由本车位置识别部322识别出本车辆M相对于行驶车道 L1的相对位置及姿态的情形的图。

图3是表示基于推荐车道来生成目标轨道的情形的图。

图4是用于说明车道变更时的处理的图(其1)。

图5是用于说明车道变更时的处理的图(其2)。

图6是表示本车辆M中的HMI400的一例的图。

图7是例示出第三显示部470与发光部472的位置关系的一个侧面的图。

图8是例示出第三显示部470与发光部472的位置关系的另一侧面的图。

图9是用于说明使用第三显示部470的画面的一部分区域来通知第三显示部470能够使用的情况的图。

图10是表示本车辆M从手动驾驶起开始自动驾驶并由自动驾驶执行车道变更为止的各种场景的图。

图11是表示在手动驾驶时显示的第一画面IM1-1及第二画面IM2-1 的一例的图。

图12是表示因主开关(MAIN)412***作了而显示的第三画面IM3-1 及第四画面IM4-1的一例的图。

图13是表示在自动开关(AUTO)414***作了时显示于第一显示部 450及HUD460的画面IM3-2及画面IM4-2的一例的图。

图14是表示在第一程度的驾驶支援的执行时显示于驾驶支援状态显示区域620-2的图像的一例的图。

图15是表示包含油门踏板和乘客的脚的要求动作通知图像623的显示例的图。

图16是表示在第二程度的驾驶支援中，显示于第一显示部450及 HUD460的画面的一例的图。

图17是表示在车道变更的开始时显示的第三画面IM3-4及第四画面 IM4-4的一例的图。

图18是表示在车道变更的执行中显示的第三画面IM3-5及第四画面 IM4-5的一例的图。

图19是表示在场景(1)～(3)中由HMI控制部120执行的处理的流程的一例的流程图。

图20是表示HMI控制部120使第三画面IM3-1显示于第一显示部450 的处理的一例的流程图。

图21是表示本车辆M的行为进行变化的事件发生的情况的显示控制处理的一例的流程图。

图22是表示对本车辆M执行第三程度下的驾驶支援，之后，从第三程度到执行第二程度下的驾驶支援的各种场景的图。

图23是表示在本车辆M的加速控制时显示的第三画面IM3-6及第四画面IM4-6的一例的图。

图24是表示在低速追随行驶时显示的第三画面IM3-7及第四画面 IM4-7的一例的图。

图25是表示为了对乘客要求周边监视而显示的第三画面IM3-8及第四画面IM4-8的一例的图。

图26是表示从第三程度切换到第二程度的情况的第三画面IM3-9及第四画面IM4-9的一例的图。

图27是表示在场景(4)～(6)中由HMI控制部120执行的处理的流程的一例的流程图。

图28是表示由HMI控制部120进行特定功能的执行处理的流程的流程图。

图29是表示根据驾驶的程度而显示于第三显示部470的图像变化的情形的一例的图。

图30是表示将本车辆M从第二程度的驾驶支援切换为通过手动驾驶进行的行驶为止的各种场景的图。

图31是表示在向手动驾驶时切换的要求时显示的第三画面IM3-10及第四画面IM4-10的一例的图。

图32是表示加强了用于使乘客执行手动驾驶的警告的第三画面 IM3-11及第四画面IM4-11的一例的图。

图33是用于说明使座椅安全带振动而向乘客进行警告的图。

图34是表示将结束自动驾驶的意旨的信息显示的第三画面IM3-12及第四画面IM4-12的一例的图。

图35是表示本车辆M的紧急停止时的第三画面IM3-13及第四画面 IM4-13的一例的图。

图36是表示在场景(7)～(9)中由HMI控制部120执行的处理的流程的一例的流程图。

图37是用于说明与驾驶支援关联的各种设备或控制的切换时机的图。

图38是用于说明实施方式的驾驶支援的切换控制的图。

具体实施方式

以下，参照附图来说明本发明的车辆控制***、车辆控制方法及车辆控制程序的实施方式。在实施方式中，车辆控制***适用于能够自动驾驶 (自主驾驶)的自动驾驶车辆。自动驾驶是指车辆在作为原则而不需要由乘客进行操作的状态下进行行驶的情况，认为是驾驶支援的一种。需要说明的是，自动驾驶车辆也能够通过手动驾驶进行行驶。需要说明的是，在以下的说明中，“乘客”是指就座于驾驶员座即设置有驾驶操作件的座椅上的乘客。

在本实施方式中，在驾驶支援的程度中例如存在：第一程度，其通过 ACC(Adaptive Cruise Control System)、LKAS(Lane Keeping Assistance System)等驾驶支援装置工作来执行驾驶支援；第二程度，其比第一程度的控制程度高，乘客不进行对于车辆的驾驶操作件的操作，而自动地控制车辆的加减速或转向中的至少一方来执行自动驾驶，但对乘客要求某种程度的周边监视义务；以及第三程度，其比第二程度的控制程度高，对乘客不要求周边监视义务(或者要求比第二程度低的周边监视义务)。在本实施方式中，第二程度及第三程度的驾驶支援相当于自动驾驶。

[整体结构]

图1是包括实施方式的车辆控制***的车辆***1的结构图。搭载有车辆***1的车辆(以下，称作本车辆M)例如是二轮、三轮、四轮等的车辆，其驱动源是柴油发动机、汽油发动机等内燃机、电动机、或者它们的组合。电动机使用由与内燃机连结的发电机发出的发电电力、或者二次电池、燃料电池的放电电力来进行动作。

车辆***1例如具备相机10、雷达装置12、探测器14、物体识别装置16、通信装置20、导航装置50、MPU(Map Positioning Unit)60、车辆传感器70、驾驶操作件80、车室内相机90、主控制部100、驾驶支援控制部200、自动驾驶控制单元300、HMI(Human MachineInterface)400、行驶驱动力输出装置500、制动装置510及转向装置520。这些装置、设备通过CAN(Controller Area Network)通信线等多路通信线、串行通信线、无线通信网等而彼此连接。需要说明的是，图1所示的结构只不过是一例，既可以省略结构的一部分，也可以还追加别的结构。

在实施方式中，“车辆控制***”例如包括主控制部100、驾驶支援控制部200、自动驾驶控制单元300及HMI400。HMI控制部120为“输出控制部”的一例。另外，操作件状态判定部130和乘客状态监视部140 组合起来是“乘客状态监视部”的一例。另外，驾驶支援控制部200和自动驾驶控制单元300组合起来是“驾驶支援控制部”的一例。另外， HMI400为“信息输出部”的一例。

相机10例如是利用了CCD(Charge Coupled Device)、CMOS (ComplementaryMetal Oxide Semiconductor)等固体摄像元件的数码相机。相机10在搭载有车辆***1的本车辆M的任意部位安装有一个或多个。在对前方进行拍摄的情况下，相机10安装于前风窗玻璃上部、车室内后视镜背面等。在对后方进行拍摄的情况下，相机10安装于后风窗玻璃上部、背门等。在对侧方进行拍摄的情况下，相机10安装于车门上后视镜等。相机10例如周期性地反复对本车辆M的周边进行拍摄。相机10也可以是立体摄影机。

雷达装置12向本车辆M的周边放射毫米波等电波，并且检测由物体反射后的电波(反射波)来至少检测物体的位置(距离及方位)。雷达装置12在本车辆M的任意部位安装有一个或多个。雷达装置12也可以通过FMCW(Frequency Modulated Continuous Wave)方式来检测物体的位置及速度。

探测器14是测定相对于照射光的散射光来检测直至对象的距离的 LIDAR(LightDetection and Ranging、或者Laser Imaging Detection and Ranging)。探测器14在本车辆M的任意部位安装有一个或多个。

物体识别装置16对由相机10、雷达装置12及探测器14中的一部分或全部检测的检测结果进行传感器融合处理，来识别物体的位置、种类、速度等。物体识别装置16将识别结果向驾驶支援控制部200及自动驾驶控制单元300输出。

通信装置20例如利用蜂窝网、Wi-Fi网、Bluetooth(注册商标)、DSRC (DedicatedShort Range Communication)等与存在于本车辆M的周边的其他车辆进行通信，或者经由无线基地站与各种服务器装置进行通信。另外，通信装置20也可以与车外的人员所持的终端装置进行通信。

导航装置50例如具备GNSS(Global Navigation Satellite System)接收机51、导航HMI52及路径决定部53，并将第一地图信息54保持于HDD (Hard Disk Drive)、闪存器等存储装置。GNSS接收机51基于从GNSS 卫星接收到的信号来确定本车辆M的位置。本车辆M的位置也可以通过利用了车辆传感器70的输出的INS(Inertial Navigation System)来确定或补充。导航HMI52包括显示装置、扬声器、触摸面板及按键等。导航HMI52 也可以与后述的HMI400的一部分或全部共用化。路径决定部53例如参照第一地图信息54来决定从由GNSS接收机51确定出的本车辆M的位置(或者被输入的任意的位置)到由乘客使用导航HMI52而输入的目的地的路径(例如，包括与行驶到目的地时途经地相关的信息)。第一地图信息54例如是通过表示道路的线路和由线路连接的节点来表现道路形状的信息。第一地图信息54也可以包括道路的曲率、POI(Point Of Interest) 信息等。由路径决定部53决定出的路径向MPU60输出。另外，导航装置 50也可以基于由路径决定部53决定出的路径来进行使用了导航HMI52的路径引导。需要说明的是，导航装置50例如也可以通过用户持有的智能手机、平板终端等终端装置的功能来实现。另外，导航装置50也可以经由通信装置20向导航服务器发送当前位置和目的地来取得导航服务器回复的路径。

MPU60例如作为推荐车道决定部61而发挥功能，将第二地图信息62 保持于HDD、闪存器等存储装置。推荐车道决定部61将从导航装置50 提供的路径分割为多个区段(例如，在车辆行进方向上按100[m]分割)，并参照第二地图信息62而按区段决定推荐车道。推荐车道决定部61进行从左数第几车道上行驶这样的决定。推荐车道决定部61在路径中存在分支部位、汇合部位等的情况下，以使本车辆M能够在用于向分支目的地行进的合理的行驶路径上行驶的方式决定推荐车道。

第二地图信息62是比第一地图信息54精度高的地图信息。第二地图信息62例如包括车道的中央的信息或者车道的边界的信息等。另外，在第二地图信息62可以包括道路信息、交通限制信息、住所信息(住所、邮政编码)、设施信息、电话号码信息等。在道路信息中包括高速道路、收费道路、国道、都道府县道这样的表示道路的类别的信息、道路的车道数、紧急停车带的区域、各车道的宽度、道路的坡度、道路的位置(包括经度、纬度、高度的三维坐标)、车道的转弯的曲率、车道的汇合点及分支点的位置、以及设置于道路的标识等信息。第二地图信息62可以通过使用通信装置20来访问其他装置而随时更新。

车辆传感器70包括检测本车辆M的速度的车速传感器、检测加速度的加速度传感器、检测绕铅垂轴的角速度的横摆角速度传感器、以及检测本车辆M的朝向的方位传感器等。

驾驶操作件80例如也可以包括油门踏板、制动踏板、换挡杆、转向盘及其他操作件。在驾驶操作件80安装有检测操作量或者操作的有无的传感器，其检测结果向主控制部100、驾驶支援控制部200、自动驾驶控制单元300、或者行驶驱动力输出装置500、制动装置510及转向装置520 中任一项或多项输出。

车室内相机90例如以就座于在车室内设置的座椅上的乘客(尤其是，就座于驾驶员座的乘客)的面部为中心进行拍摄。车室内相机90是利用了CCD、CMOS等固体摄像元件的数码相机。车室内相机90例如周期性地对乘客进行拍摄。车室内相机90的拍摄图像向主控制部100输出。

[各种控制装置]

车辆***1作为控制***的结构的一部分，例如具备主控制部100、驾驶支援控制部200及自动驾驶控制单元300。需要说明的是，主控制部100也可以与驾驶支援控制部200或自动驾驶控制单元300中的某一个合并。

[主控制部]

主控制部100当驾驶支援的程度的切换时，进行与此相关的HMI400 的控制等。主控制部100例如具备切换控制部110、HMI控制部120、操作件状态判定部130及乘客状态监视部140。切换控制部110、HMI控制部120、操作件状态判定部130及乘客状态监视部140分别通过CPU (Central Processing Unit)等处理器执行程序来实现。另外，这些功能部中的一部分或全部既可以通过LSI(Large Scale Integration)、ASIC (Application SpecificIntegrated Circuit)、FPGA(Field-Programmable Gate Array)等硬件来实现，也可以通过软件与硬件的协同配合来实现。

切换控制部110例如基于从包含于HMI400的规定的开关(例如后述的主开关及自动开关)输入的操作信号来切换驾驶支援的程度。另外，切换控制部110例如也可以基于对油门踏板、制动踏板、转向盘等驾驶操作件80指示加速、减速或转向的操作，来取消驾驶支援并向手动驾驶切换。对切换控制部110的功能的详细情况后述。

需要说明的是，切换控制部110也可以基于由行动计划生成部323生成的行动计划来切换驾驶支援的程度。例如，切换控制部110也可以在由行动计划规定的自动驾驶的结束预定地点使驾驶支援结束。

HMI控制部120使HMI400输出与驾驶支援的程度的切换相关联的通知等。另外，HMI控制部120在对于本车辆M发生了规定的事项的情况下，切换向HMI400输出的内容。另外，HMI控制部120也可以使HMI400 输出与由操作件状态判定部130或乘客状态监视部140的一方或双方判定的判定结果相关的信息。另外，HMI控制部120也可以将由HMI400接受到的信息向驾驶支援控制部200或自动驾驶控制单元300的一方或双方输出。对HMI控制部120的功能的详细情况后述。

操作件状态判定部130例如判定驾驶操作件80所包括的转向盘是否为正***作的状态(具体而言，是指在当前正进行意图的操作的情况下能够立刻操作的状态或把持状态)。对操作件状态判定部130的功能的详细情况后述。

乘客状态监视部140基于车室内相机90的拍摄图像来监视本车辆M 的至少就座于驾驶员座的乘客的状态。乘客状态监视部140例如作为监视之一来判定该乘客是否监视着本车辆M的周围。对乘客状态监视部140 的功能的详细情况后述。

[驾驶支援控制部]

驾驶支援控制部200执行第一程度的驾驶支援。驾驶支援控制部200 例如执行ACC、LKAS及其他的驾驶支援控制。例如，驾驶支援控制部200在执行ACC时，基于从相机10、雷达装置12及探测器14经由物体识别装置16而输入的信息，以在将本车辆M与前行车辆的车间距离保持为恒定的状态下进行行驶的方式来控制行驶驱动力输出装置500及制动装置510。即，驾驶支援控制部200进行基于与前行车辆的车间距离的加减速控制(速度控制)。另外，驾驶支援控制部200在执行LKAS时，以使本车辆M一边维持当前行驶中的行驶车道(行车道保持)一边行驶的方式控制转向装置520。即，驾驶支援控制部200进行用于车道维持的转向控制。关于第一程度的驾驶支援的种类，也可以包括除了不要求对驾驶操作件80的操作的自动驾驶(第二程度及第三程度)以外的各种的控制。

[自动驾驶控制单元]

自动驾驶控制单元300执行第二程度及第三程度的驾驶支援。自动驾驶控制单元300例如具备第一控制部320及第二控制部340。第一控制部 320和第二控制部340分别通过CPU等处理器执行程序来实现。另外，这些各功能部中的一部分或全部既可以通过LSI、ASIC、FPGA等硬件来实现，也可以通过软件与硬件的协同配合来实现。

第一控制部320例如具备外界识别部321、本车位置识别部322及行动计划生成部323。

外界识别部321识别本车辆M的周边状况。例如，外界识别部321 基于从相机10、雷达装置12及探测器14经由物体识别装置16而输入的信息，来识别周边车辆的位置及速度、加速度等的状态。周边车辆的位置可以由该周边车辆的重心、角部等代表点来表示，也可以由通过周边车辆的轮廓表现出的区域来表示。所谓周边车辆的“状态”也可以包括周边车辆的加速度、加加速度、或者“行动状态”(例如是否正在进行车道变更、或者是否正要进行车道变更)。

外界识别部321也可以识别上述的周边车辆、障碍物(例如，护栏、电线杆、驻车车辆、行人等人员)、道路形状及其他物体中的至少一个。

本车位置识别部322例如识别本车辆M正行驶的车道(行驶车道)、以及本车辆M相对于行驶车道的相对位置及姿态。本车位置识别部322 例如通过对从第二地图信息62得到的道路划分线的图案(例如实线与虚线的排列)和从由相机10拍摄到的图像识别出的本车辆M的周边的道路划分线的图案进行比较，来识别行驶车道。在该识别中，也可以加进从导航装置50取得的本车辆M的位置、由INS处理的处理结果。

并且，本车位置识别部322例如识别本车辆M相对于行驶车道的位置、姿态。图2是表示由本车位置识别部322识别出本车辆M相对于行驶车道L1的相对位置及姿态的情形的图。本车位置识别部322例如将本车辆M的基准点(例如重心)从行驶车道中央CL的偏离OS、以及本车辆M的行进方向相对于将行驶车道中央CL相连的线所成的角度θ作为本车辆M相对于行驶车道L1的相对位置及姿态来识别。需要说明的是，也可以代替于此，本车位置识别部322将本车辆M的基准点相对于行驶车道L1的任一侧端部的位置等作为本车辆M相对于行驶车道的相对位置来识别。由本车位置识别部322识别的本车辆M的相对位置向推荐车道决定部61及行动计划生成部323提供。

行动计划生成部323生成用于使本车辆M相对于目的地等进行自动驾驶的行动计划。例如，行动计划生成部323以在由推荐车道决定部61 决定出的推荐车道上行驶的方式、且能够应对本车辆M的周边状况的方式决定在自动驾驶控制中依次执行的事件。在实施方式的自动驾驶的事件中例如存在以恒定速度在相同的行驶车道上行驶的定速行驶事件、以低速度(例如60[km/h]以下)为条件而追随前行车辆的低速追随事件、变更本车辆M的行驶车道的车道变更事件、赶超前行车辆的赶超事件、使车辆在汇合地点汇合的汇合事件、使本车辆M在道路的分支地点向目的方向行驶的分支事件、以及使本车辆M紧急停车的紧急停车事件等。另外，在这些事件的执行中，也有时基于本车辆M的周边状况(周边车辆、行人的存在、道路施工引起的车道狭窄等)，来计划用于躲避的行动。

行动计划生成部323生成本车辆M将来行驶的目标轨道。目标轨道表现为将本车辆M应该到达的地点(轨道点)依次排列而成的轨道。轨道点是每隔规定的行驶距离的本车辆M应该到达的地点，与此不同每隔规定的采样时间(例如零点几[sec]程度)的目标速度及目标加速度作为目标轨道的一部分来生成。另外，轨道点也可以是每隔规定的采样时间的、在该采样时刻下的本车辆M应该到达的位置。在该情况下，目标速度、目标加速度的信息由轨道点的间隔来表现。

图3是表示基于推荐车道生成目标轨道的情形的图。如图所示，推荐车道设定为适合于沿着直至目的地为止的路径行驶。当来到距推荐车道的切换地点的规定距离跟前(可以根据事件的种类来决定)时，行动计划生成部323起动车道变更事件、分支事件、汇合事件等。在各事件的执行中，在产生需要躲避障碍物的情况下，如图所示生成躲避轨道。

另外，行动计划生成部323当起动车道变更事件时，生成用于车道变更的目标轨道。图4及图5是用于说明车道变更时的处理的图。首先，行动计划生成部323从在与本车辆M行驶的车道(本车道)L1相邻的相邻车道且为车道变更目的地的相邻车道L2上行驶的周边车辆中选择2台周边车辆，并在上述的周边车辆之间设定车道变更目标位置TAs。以下，将相邻车道中在车道变更目标位置TAs的紧前方行驶的周边车辆称作前方基准车辆mB，并将相邻车道中在车道变更目标位置TAs的紧后方行驶的周边车辆称作后方基准车辆mC来进行说明。车道变更目标位置TAs是基于本车辆M与前方基准车辆mB及后方基准车辆mC的位置关系而得到的相对的位置。

在图4的例子中，示出行动计划生成部323设定了车道变更目标位置 TAs的情形。图中，mA表示前行车辆，mB表示前方基准车辆，mC表示后方基准车辆。另外，箭头d表示本车辆M的行进(行驶)方向。在图4 的例子的情况下，行动计划生成部323在相邻车道L2上且在前方基准车辆mB与后方基准车辆mC之间设定车道变更目标位置TAs。

接着，行动计划生成部323判定是否满足一次条件，该一次条件用于判定是否能够向车道变更目标位置TAs(即前方基准车辆mB与后方基准车辆mC之间)进行车道变更。

一次条件例如是在相邻车道上设置的禁止区域RA中一台周边车辆也不存在且本车辆M与前方基准车辆mB及后方基准车辆mC的碰撞富余时间TTC分别比阈值大的条件。需要说明的是，该判定条件是在本车辆M 的侧方设定了车道变更目标位置TAs的情况的一例。在不满足一次条件的情况下，行动计划生成部323再次设定车道变更目标位置TAs。此时，可以等待至能够设定满足一次条件的车道变更目标位置TAs的时机，或者变更车道变更目标位置TAs而进行用于向车道变更目标位置TAs的侧方移动的速度控制。

如图4所示，行动计划生成部323例如将本车辆M向车道变更目的地的车道L2投影，来设定在该投影的前后具有若干的富余距离的禁止区域RA。禁止区域RA设定为从车道L2的横向的一端延伸到另一端的区域。

在禁止区域RA内不存在周边车辆的情况下，行动计划生成部323例如设想使本车辆M的前端及后端向车道变更目的地的车道L2侧假想地延伸出的延伸线FM及延伸线RM。行动计划生成部323算出延伸线FM与前方基准车辆mB的碰撞富余时间TTC(B)、以及延伸线RM与后方基准车辆mC的碰撞富余时间TTC(C)。碰撞富余时间TTC(B)是通过将延伸线FM与前方基准车辆mB的距离除以本车辆M与前方基准车辆 mB的相对速度而导出的时间。碰撞富余时间TTC(C)是通过将延伸线 RM与后方基准车辆mC的距离除以本车辆M与后方基准车辆mC的相对速度而导出的时间。轨道生成部118在碰撞富余时间TTC(B)比阈值Th (B)大且碰撞富余时间TTC(C)比阈值Th(C)大的情况下，判定为满足一次条件。阈值Th(B)与阈值Th(C)可以为相同的值，也可以为不同的值。

在满足一次条件的情况下，行动计划生成部323生成用于车道变更的轨道的候补。在图5的例子中，行动计划生成部323假定为前行车辆MA、前方基准车辆mB及后方基准车辆mC以规定的速度模型进行行驶，并基于这3台车辆的速度模型与本车辆M的速度，以本车辆M不与前行车辆 MA干涉且在将来的某时刻位于前方基准车辆mB与后方基准车辆mC之间的方式生成轨道的候补。例如行动计划生成部323使用样条曲线等多项式曲线从当前的本车辆M的位置平滑地连接到将来的某时刻的前方基准车辆mB的位置、或者车道变更目的地的车道的中央且车道变更的结束地点，且在该曲线上以等间隔或不等间隔配置规定个数轨道点K。此时，行动计划生成部323以轨道点K中的至少一个配置于车道变更目标位置TAs 内的方式生成轨道。

在各种场景中，行动计划生成部323生成多个目标轨道的候补，并选择在该时间点适合于直至目的地为止的路径的最佳的目标轨道。

第二控制部340例如具备行驶控制部342。行驶控制部342以本车辆 M按预定的时刻通过由行动计划生成部323生成的目标轨道的方式控制行驶驱动力输出装置500、制动装置510及转向装置520。

HMI400对车内的乘客提示各种信息，并且接受由乘客进行的输入操作。HMI400例如包括各种显示装置、发光部、扬声器、蜂鸣器、触摸面板、各种操作开关及按键等中的一部分或全部。另外，在HMI400也可以包括通过座椅安全带以使乘客就座于座椅的状态进行保持的座椅安全带装置的一部分。对HMI400的功能的详细情况后述。

行驶驱动力输出装置500将用于使车辆行驶的行驶驱动力(转矩)向驱动轮输出。行驶驱动力输出装置500例如具备内燃机、电动机及变速器等的组合和对它们进行控制的ECU(Electronic Control Unit)。ECU按照从行驶控制部342输入的信息或者从驾驶操作件80输入的信息来控制上述的结构。

制动装置510例如具备制动钳、向制动钳传递液压的液压缸、使液压缸产生液压的电动马达、以及制动ECU。制动ECU按照从行驶控制部342 输入的信息或者从驾驶操作件80输入的信息来控制电动马达，并使与制动操作相应的制动转矩向各车轮输出。制动装置510也可以具备将通过驾驶操作件80所包含的制动踏板的操作而产生的液压经由主液压缸向液压缸传递的机构作为备用。需要说明的是，制动装置510不限于上述说明的结构，也可以是按照从行驶控制部342输入的信息或者从驾驶操作件80 输入的信息来控制致动器，从而将主液压缸的液压向液压缸传递的电子控制式液压制动装置。另外，制动装置510也可以具备液压、电动等多***的制动装置。

转向装置520例如具备转向ECU和电动马达。电动马达例如使力作用于齿条-小齿轮机构来变更转向轮的朝向。转向ECU按照从行驶控制部 342输入的信息或者从驾驶操作件80输入的信息来驱动电动马达，使转向轮的朝向变更。

需要说明的是，在手动驾驶时，来自驾驶操作件80的输入信息直接向行驶驱动力输出装置500、制动装置510及转向装置520输出。另外，来自驾驶操作件80的输入信息也可以经由自动驾驶控制单元300而向行驶驱动力输出装置500、制动装置510及转向装置520输出。行驶驱动力输出装置500、制动装置510及转向装置520的各ECU基于来自驾驶操作件80等的输入信息来进行各自的动作。

[HMI400的结构]

以下，说明实施方式的HMI400的结构例。图6是表示本车辆M中的 HMI400的一例的图。HMI400例如具备第一操作部410、第二操作部420、发光部430R及发光部430L、第三操作部440、第一显示部450、HUD(Head Up Display)(第二显示部)460及第三显示部470。HUD460为“反射显示部”的一例。

第一操作部410、第二操作部420及发光部430R、430L设置于作为驾驶操作件80之一的转向盘82。另外，在转向盘82设置有把持传感器 82A。把持传感器82A例如是沿着转向盘82的周向设置的静电容量传感器。把持传感器82A将物体接近或接触了检测对象的区域这一情况检测为静电容量的变化。把持传感器82A在静电容量为阈值以上的情况下，将规定的检测信号向主控制部100的操作件状态判定部130输出。该阈值例如设定为比乘客把持着转向盘82的情况下产生的电容量低的值。另外，把持传感器82A也可以不论是否为阈值以上，都将表示静电容量的检测信号向操作件状态判定部130输出。

第一操作部410例如具备主开关412和自动开关414。主开关412是用于使驾驶支援成为能够开始的状态的开关。换言之，主开关412是后述的用于使执行驾驶支援之前的准备阶段中的处理(内部处理)开始的开关、或者是用于使以下情况成为可能的开关，该情况是指判定驾驶支援是否为能够开始的状态。

在主开关412***作了的情况下，本车辆M并不立刻开始驾驶支援的执行，而是进行在执行驾驶支援之前的准备阶段中的处理。准备阶段中的处理例如是指物体识别的处理的开始(具体而言，卡尔曼滤波器的动作开始等)。当在主开关412***作而驾驶支援成为了能够开始的状态的状态下(即从***作起经过了某种程度的时间之后)操作自动开关414时，开始用于驾驶支援的控制。即，自动开关414是在驾驶支援为能够开始的状态下，用于实际上使第一程度的驾驶支援开始的开关。

第二操作部420具备用于使带图像的通话功能(也称作电视电话)的提供开始的操作开关422。发光部430R、430L例如配置于转向盘82的从中央的轮毂部朝向环状的轮缘部延伸的轮辐部。发光部430R、430L通过 HMI控制部120的控制来控制点亮状态。

第三操作部440例如具备从乘客观察时向跟前侧突出的转动操作部 442和开关操作部444。转动操作部442形成为大致圆筒状，且能够绕轴线进行旋转操作。开关操作部444设置于转动操作部442的周边、转动操作部442的顶面。第三操作部440具备对转动操作部442的旋转角度和旋转速度进行检测的编码器等未图示的旋转传感器和对开关操作部444的位移进行检测的未图示的位移传感器，将从各个传感器输出的检测值向主控制部100输出。向主控制部100输出的检测值用于向第三显示部470的画面输出的箭头、选择按钮、确定按钮等的操作、输入文字的选择、确定等。

另外，第三操作部440也可以是通过指尖触摸显示画面来进行选择、确定操作等的所谓的触摸面板式的操作部。另外，在第三操作部440设置有能够以规定的颜色发光的发光部446。

第一显示部450例如是设置于仪表板的驾驶员座的正面附近且乘客从转向盘82的间隙或者越过转向盘82能够视觉辨认的显示装置。第一显示部450例如是LCD(LiquidCrystal Display)、有机EL(Electro Luminescence) 显示装置等。在第一显示部450上显示本车辆M的手动驾驶时或自动驾驶时的行驶所需要的信息、或者与向乘客的指示相关的信息。手动驾驶时的本车辆M的行驶所需要的信息例如是指本车辆M的速度、发动机转速、燃料余量、散热器水温、行驶距离及其他的信息。另一方面，自动驾驶时的本车辆M的行驶所需要的信息例如是指本车辆M的将来的轨道、驾驶支援的程度、以及对乘客的指示等信息。

HUD460例如配置于比第一显示部450高的位置。HUD460向规定的成像部投影影像。例如，HUD460通过向例如驾驶员座前方的前风窗玻璃的一部分投影图像来使就座于驾驶员座的乘客的眼睛视觉辨认虚像。由 HUD460投影的图像的显示区域比第一显示部450中的图像的显示区域小。这是为了抑制因由HUD460投影的图像而使乘客看漏处于该图像的前方的现实的物体。需要说明的是，在实施方式中，电可以代替HUD460，将本车辆M的前风窗玻璃设为反射显示部。在该情况下，例如，HMI控制部120使组装于仪表板的LED(Light EmittingDiode)等规定的光源发光，使来自光源的光在前风窗玻璃反射。另外，在实施方式中，也可以将设置于前风窗玻璃附近的反射部设为反射显示部。在该情况下，HMI控制部 120使LED等规定的光源发光，使来自光源的光在反射部反射。

第三显示部470例如安装于仪表板的中央部。第三显示部470例如是 LCD、有机EL显示装置等。第三显示部470例如显示与由导航装置50执行的导航处理对应的图像、或电视电话中的对方的影像等。另外，第三显示部470可以显示电视节目，或者播放DVD，或者显示下载的电影等的内容。

另外，在第三显示部470也可以设置发光部472。图7是例示了第三显示部470与发光部472的位置关系的一个侧面(aspect)的图。例如，发光部472设置于第三显示部470的一部分或附近。附近是指发光部472 与第三显示部470的最短距离为例如几[em](更具体而言，3[em]左右)以下的范围。在图7的例子中，安装有沿着形成第三显示部470的画面形状的至少一边延伸的发光部472。

图8是例示了第三显示部470与发光部472的位置关系的另一侧面的图。在图8的例子中，第三显示部470设置于处于其前方的上部的仪表板部的遮光部474的下部。另外，发光部472的发光不被遮光部474遮挡，而能够被乘客视觉辨认。通过采用该方式遮光部474能够抑制日光等外部光向第三显示部470照射，并且能够遮蔽掺入发光部472的外部光的至少一部分，因此能够提高乘客对发光的视觉辨认性。

发光部472以在第三显示部470为能够使用的情况下进行发光的方式被HMI控制部120控制。能够使用例如是指能够通过操作第二操作部420 而将与带图像的通话功能相关的画面显示于第三显示部470，或者能够通过第三操作部440的操作而将与电影、电视节目相关的图像显示于第三显示部470。

图9是用于说明使用第三显示部470的画面的一部分的区域来通知第三显示部470能够使用的情况的图。HMI控制部120对第三显示部470的整个画面区域分配第一显示区域476和第二显示区域478。第一显示区域 476是第三显示部470的画面整体中的、沿着任一边延伸的像素区域。HMI 控制部120在第三显示部470成为了能够使用的情况下，使第一显示区域 476以规定的颜色或规定的形状中的一方或双方进行点亮或闪烁。由此，能够不设置发光部472地向乘客通知第三显示部470为能够使用的状态。

另外，HMI控制部120在第二显示区域478显示由第二操作部420或第三操作部440操作的内容、或者通过操作而执行的内容。

[与自动驾驶相关联的HMI400的显示控制]

接着，说明与自动驾驶相关联的HMI400的显示控制。需要说明的是，以下所示的显示画面中的布局只是一例，能够任意进行变更。布局是指配置、色彩、比例尺及其他。

图10是表示本车辆M从手动驾驶开始自动驾驶直至执行通过自动驾驶进行的车道变更的各种场景的图。在图10的例子中，场景(1)是本车辆M通过手动驾驶从一般道路进入高速道路的场景。场景(2)是本车辆 M从手动驾驶切换为自动驾驶的场景。场景(3)是本车辆M通过自动驾驶执行车道变更的场景。说明与以下场景(1)～(3)的各个场景对应的显示控制。

<场景(1)>

场景(1)例如是进入高速道路之前的场景。在该场景下，第一操作部410的主开关412及自动开关414未***作，因此不执行驾驶支援而进行手动驾驶。在进行手动驾驶的情况下，HMI控制部120使第一显示部 450显示为了驾驶员座的乘客使用驾驶操作件80来手动驾驶本车辆M所需要的信息。另外，HMI控制部120使HUD460显示在第一显示部450 显示的信息中的一部分的信息。在图11中示出该情况下的画面。

图11是表示在手动驾驶时显示的第一画面IM1-1及第二画面IM2-1 的一例的图。第一画面IM1-1是由第一显示部450显示的画面，第二画面 IM2-1是通过由HUD460投影而映入乘客的眼睛的画面。HMI控制部120 作为手动驾驶时本车辆M的行驶所需要的信息，使第一画面IM1-1显示例如本车辆M的蓄电池余量、旋转速度、挡位、室内气温、行驶距离、行驶速度、燃料余量等信息。另外，HMI控制部120使第二画面IM2-1 比第一画面IM1-1小地显示在第一画面IM1-1显示的图像中的速度的信息。如前述那样，通过HUD460投影而映入乘客的眼睛的图像的识别区域比由第一显示部450显示图像的显示区域小。因此，HMI控制部120使第一显示部450显示与本车辆M的驾驶支援相关的比较详细的第一信息(详细信息)，使HUD460显示比详细信息简单的信息即与驾驶支援相关的第二信息(简单信息)。简单信息例如是指相对于详细信息而言信息量少的信息。另外，简单信息也可以是指显示的项目的种类、数量比作为详细信息而显示的项目的种类、数量少的信息。另外，简单信息还可以是指相对于作为详细信息显示的图像而言，降低分辨率、或者简化或变形了的图像。另外，第二信息也可以是第一信息中的、重要度高的信息、紧急性高的信息。

例如，HMI控制部120使HUD460将提取出的详细信息的一部分的信息作为简单信息来显示。例如，在图11中，HMI控制部120提取显示于第一画面IM1-1的详细的信息中的表示本车辆M的速度的信息，并使第二画面IM2-1显示提取出的信息。这样，使第一显示部450显示详细信息，并使HUD460显示简单信息，由此能够适当地提供与驾驶支援相关的信息，并且能够避免使乘客的眼睛疲劳。

<场景(2)>

在场景(2)中，本车辆M进入了高速道路。HMI控制部120当接受到由乘客操作了主开关412这一情况时，变更使第一显示部450及HUD460 显示的画面。在图12中示出变更后的画面的显示内容。

图12是表示通过主开关412***作而显示的第三画面IM3-1及第四画面IM4-1的一例的图。第三画面IM3-1是由第一显示部450显示的画面，第四画面IM4-1是通过由HUD460投影而映入乘客的眼睛的画面。以下附图所示的第三画面IM3-X(X是任意的自然数)及第四画面IM4-X也同样。第三画面IM3-X及第四画面IM4-X在驾驶支援能够执行的状态及驾驶支援执行中的状态下连续显示。

在第三画面IM3-1中，作为显示与驾驶支援相关的信息的区域，而包括周边检测信息显示区域600-1、驾驶支援状态显示区域620-1及驾驶支援开始操作引导区域640-1。以下，将第三画面IM3-X中的各个区域称作周边检测信息显示区域600-X、驾驶支援状态显示区域620-X、以及驾驶支援开始操作引导区域640-X。

HMI控制部120使周边检测信息显示区域600-1显示从第二地图信息 62取得到的表示本车辆M的前方的道路形状的图像、由本车位置识别部 322识别出的表示本车辆M的图像、以及由外界识别部321识别出的表示周边车辆m的图像。需要说明的是，HMI控制部120使第一显示部450 显示由外界识别部321识别出的表示全部的周边车辆m的图像。另外， HMI控制部120也可以使第一显示部450仅显示由外界识别部321识别出的全部的周边车辆m中的对本车辆M的将来的轨道带来影响的周边车辆 m。由此，能够减少乘客所监视的对象的车辆，能够减轻监视负担。

另外，HMI控制部120使驾驶支援状态显示区域620-1显示表示本车辆M能够执行的驾驶支援(包括自动驾驶)的状态的候补的全部信息。在图12的例中，作为表示驾驶支援的状态的候补的信息，示出表示“Assist”、“Hands Off”、“Eyes Off”这三个指示的图像621。例如，通过各个指示单体、或者多个指示的组合来表示驾驶支援的程度。

指示“Assist”是表示本车辆M正以ACC、LKAS等第一程度执行驾驶支援、或者是表示本车辆M为能够向第一程度下的驾驶支援转移的状态。关于是否正以第一程度执行驾驶支援、或者是否为能够向第一程度下的驾驶支援转移的状态，能够通过后述的要求动作通知图像622来掌握。

指示“Hands Off”是表示本车辆M为正以第二程度执行驾驶支援的状态、或者是表示本车辆M为能够向第二程度下的驾驶支援转移的状态，其中，在第二程度中乘客可以不对驾驶操作件80进行操作，但对乘客要求周边监视义务。关于是否正以第二程度执行驾驶支援、或者是否为能够向第二程度下的驾驶支援转移的状态，能够通过要求动作通知图像622来掌握。

指示“Eyes Off”是表示本车辆M为乘客正以第三程度执行驾驶支援的状态、或者是表示本车辆M为能够向第三程度下的驾驶支援转移的状态，其中，在第三程度中可以不对驾驶操作件80进行操作且不对乘客要求周边监视义务。关于是否正以第三程度执行驾驶支援、或者是否为能够向第三程度下的驾驶支援转移的状态，能够通过要求动作通知图像622来掌握。需要说明的是，在图12的例子中，示出未执行本车辆M的驾驶支援的状态(手动驾驶状态)。

另外，HMI控制部120使驾驶支援状态显示区域620-1在与表示“Assist”、“HandsOff”、“Eyes Off”这三个指示的图像621对应的显示位置处显示要求动作通知图像622。“对应”是指存在横向排列、纵向排列、表示建立对应关系的引导线等、人能够识别对应关系的情形。作为一例，“与图像621对应的显示位置”是指与图像621相邻的显示位置，表示以图像621的显示位置为基准而距上下左右的至少一方几[cm]以下 (例如，3[cm]以下)的显示位置。要求动作通知图像622例如是表示乘客对驾驶操作件80进行的规定的动作的图像。要求动作通知图像622 例如包括表示驾驶操作件80的图像和表示乘客的规定的部位的图像。要求动作通知图像622例如是示意性地表示转向盘82与乘客的手的位置关系的图像。

HMI控制部120使驾驶支援开始操作引导区域640-1显示对用于使驾驶支援开始的乘客的操作进行引导的信息。在图12的例子中，在驾驶支援开始操作引导区域640-1中，通过乘客操作自动开关414来引导开始驾驶支援。

HMI控制部120也可以除了在驾驶支援开始操作引导区域640-1显示通过乘客操作自动开关414来开始驾驶支援之外，或者代替于此，使表示通过乘客操作自动开关414来开始驾驶支援的意旨的声音从HMI400所包含的扬声器输出。

在周边检测信息显示区域600-1、驾驶支援状态显示区域620-1及驾驶支援开始操作引导区域640-1上分别显示的信息的至少一部分也可以显示于其他的显示区域。另外，在第三画面IM3-1也可以显示与本车辆M 的行驶距离、车内温度、燃料、速度及挡位相关的信息。

相对于在第三画面IM3-1显示的详细信息，HMI控制部120使 HUD460的第四画面IM4-1显示提取详细信息的一部分而得到的简单信息。在HUD460的第四画面IM4-1上显示有在第一显示部450的显示画面 IM3-1上显示的与驾驶支援相关的信息中的、与本车辆M的前方的道路形状相关的信息及表示本车辆M的速度的信息。

在图12所示的状态下，当作为规定的事项而检测到由乘客操作了自动开关414时，主控制部100使驾驶支援控制部200执行第一程度的驾驶支援。另外，HMI控制部120将使第一显示部450及HUD460显示的画面向例如图13所示的画面变更。

图13是表示在自动开关414***作了的情况下在第一显示部450及 HUD460显示的画面IM3-2及IM4-2的一例的图。HMI控制部120使表示正执行的驾驶支援的程度的图像以能够与表示其他的驾驶支援的程度的图像辨别开的方式显示。例如HMI控制部120使第三画面IM3-2的驾驶支援状态显示区域620-2高亮显示指示“Assist”的图像。由此，乘客能够掌握第一程度的驾驶支援正在进行的情况。

在此，作为要求动作通知图像622，HMI控制部120将如下动态图像作为要求动作通知图像622来显示，该动态图像是对乘客要求为了向与“Hands Off”对应的驾驶支援的程度(自动驾驶)转变所需要的动作。动态图像例如是指包含规定的物体伴随着时间经过而动态地移动的动态对象的图像。另外，在动态图像中也可以包含动画。

例如，在第一程度的驾驶支援执行中且能够执行第二程度的驾驶支援的情况下，作为用于向第二程度的驾驶支援切换的与乘客的操作方法相关的信息，HMI控制部120使第三画面IM3-2的驾驶支援状态显示区域620-2 显示用于使乘客的手成为从转向盘82离开了的状态的示意性地示出了乘客的操作内容的要求动作通知图像622。

图14是表示在第一程度的驾驶支援的执行时在驾驶支援状态显示区域620-2显示的图像的一例的图。HMI控制部120使驾驶支援状态显示区域620-2显示示出三个指示的图像621、以及要求动作通知图像622。在要求动作通知图像622例如包含表示转向盘82的图像622A、以及表示乘客的手的图像622BL、622BR。

例如，HMI控制部120使表示乘客的手的图像622BL、622BR从表示转向盘82的图像622A向箭头A、B方向离开的动画显示。另外，HMI 控制部120也可以使表示转向盘82的图像622A及表示乘客的手的图像 622BL、622BR加强显示。由此表示三个指示的图像621中的表示“Assist”的指示的图像被高亮显示，因此，乘客能够直观地掌握执行着第一程度的驾驶支援的情况，进一步地乘客能够通过要求动作通知图像622的动画直观地掌握正要求手从转向盘82离开的动作的情况。

另外，代替表示转向盘82的图像622A及表示乘客的手的图像622BL、 622BR的要求动作通知图像622，或者除此之外，作为要求动作通知图像 623，HMI控制部120也可以使第三画面IM3-2的驾驶支援状态显示区域620-2显示示意性地示出油门踏板与乘客的脚的位置关系的图像或者示意性地示出制动踏板与乘客的脚的位置关系的图像。

图15是表示包含油门踏板和乘客的脚在内的要求动作通知图像623 的显示例的图。HMI控制部120使图15所示的驾驶支援状态显示区域 620-2显示表示三个指示的图像621、以及要求动作通知图像623。在要求动作通知图像623包含表示油门踏板的图像623A、以及表示乘客的脚的图像623B。例如，在第一程度的驾驶支援执行中且第二程度的驾驶支援能够执行的情况下，为了向第二程度的驾驶支援切换，HMI控制部120使以下动画显示，该动画表示乘客的脚的图像623B从表示油门踏板的图像 623A向箭头C方向离开。另外，HMI控制部120也可以使表示油门踏板的图像623A及表示乘客的脚的图像623B加强显示。由此，乘客能够直观地掌握正要求脚从油门踏板离开的动作的情况。

另外，HMI控制部120也可以使周边检测信息显示区域600-2显示表示通过乘客执行与要求动作通知图像622对应的动作而开始驾驶支援的意旨的信息。在图13的例子中，在周边检测信息显示区域600-2上显示通过手从转向盘82(在图中为“方向盘”)离开而开始驾驶支援(在图中为“自动行驶”)的意旨的信息。

另外，HMI控制部120在对乘客要求使手从转向盘82离开的动作的情况下，也可以使设置于转向盘82的发光部430R、430L点亮或闪烁。

另外，HMI控制部120在对乘客要求使手从转向盘82离开的动作的情况下，也可以使表示该意旨的声音从HMI400所包括的扬声器输出。HMI 控制部120也可以将与使手从转向盘82离开的动作对应的要求动作通知图像622的显示、发光部430R、430L的点亮或闪烁、以及声音输出中的多形态组合并从各种设备输出。

HMI控制部120使HUD460的第四画面IM4-2显示与第四画面IM4-1 同样的信息。

在此，操作件状态判定部130判定是否为由乘客把持着转向盘82的状态。操作件状态判定部130例如基于前述的从把持传感器82A的输出来判定是否为操作着转向盘82的状态。

切换控制部110在由操作件状态判定部130判定出是由乘客操作了自动开关414之后由乘客把持着转向盘82的状态的情况下，使驾驶支援控制部200持续第一程度的驾驶支援。

另外，切换控制部110在由操作件状态判定部130判定出是在操作了自动开关414的状态下满足向第二程度的驾驶支援转变的各条件且未由乘客把持着转向盘82的状态的情况下，使自动驾驶控制单元300执行第二程度的驾驶支援(即自动驾驶)。

另外，HMI控制部120在自动驾驶控制单元300执行第二程度的驾驶支援的情况下，将显示于第一显示部450及HUD460的画面向例如图16 所示的画面变更。

图16是表示在第二程度的驾驶支援中显示于第一显示部450及 HUD460的画面的一例的图。HMI控制部120使第三画面IM3-3的驾驶支援状态显示区域620-3高亮显示与第二程度的驾驶支援对应的“Hands Off”的图像。由此，乘客能够掌握进行着第二程度的驾驶支援。

另外，HMI控制部120使周边检测信息显示区域600-3显示例如表示从第二地图信息62取得到的本车辆M的前方的道路形状的图像、表示由本车位置识别部322识别到的本车辆M的图像、表示由外界识别部321 取得到的周边车辆m的图像、以及表示由行动计划生成部323生成的本车辆M的将来的轨道的将来轨道图像602。另外，HMI控制部120使周边检测信息显示区域600-3显示开始第二程度的驾驶支援(在图中是自动行驶)，但使乘客继续监视周边的交通状况的意旨的信息。

主控制部100的乘客状态监视部140监视乘客继续监视着周边的交通状况。例如，乘客状态监视部140通过车室内相机90的拍摄图像来取得就座于驾驶员座的乘客的面部图像，并从取得到的面部图像取得视线方向。例如，乘客状态监视部140也可以通过利用了神经网络等的深度学习来从车室内相机90的拍摄图像取得乘客的视线方向。例如，输入通过解析不特定多个的面部图像而得到的眼睛、鼻、口等特征信息、眼球的虹膜的位置，预先构筑输出视线方向地学习了的神经网络。并且，乘客状态监视部 140通过向该神经网络输入本车辆M的乘客的面部图像来取得该乘客的视线方向。

另外，乘客状态监视部140根据乘客的视线方向是否包含于被预先决定出的能够对周边进行监视的方向的范围，来判定乘客是否进行着本车辆 M的周边监视。乘客状态监视部140在乘客的视线方向不包含于被预先决定出的能够对周边进行监视的方向的范围的情况或不能取得乘客的视线方向的情况下，判定为未进行周边监视。在判定出未进行周边监视的情况下，HMI控制部120为了使乘客周边监视，也可以进行基于声音等的警告。

另外，乘客状态监视部140在乘客的视线方向包含于被预先决定出的能够对周边进行监视的方向的范围的情况下，判定为乘客进行着周边监视。在该情况下，自动驾驶控制单元300持续第二程度的驾驶支援。需要说明的是，在本车辆M的驾驶支援开始中的情况下，也可以在驾驶支援开始操作引导区域640-3中什么都不显示。

除了与第四画面IM4-2同样的信息之外，HMI控制部120还使 HUD460的第四画面IM4-3显示表示本车辆M的将来的轨道的将来轨道图像602。

<场景(3)>

在场景(3)中，自动驾驶控制单元300进行基于第二程度的驾驶支援的本车辆M的车道变更。在该情况下，HMI控制部120使第一显示部 450或HUD460的一方或双方显示与驾驶支援对应的画面。

例如，HMI控制部120在本车辆M的行为发生变化之前的第一时机 (例如，行为发生变化的5秒前)使表示由自动驾驶控制单元300执行的本车辆M的车道变更事件的发生的图像以第一显示形态显示。

图17是表示在本车辆M的行为发生变化之前的第一时机显示的第三画面IM3-4及第四画面IM4-4的一例的图。HMI控制部120使第三画面 IM3-4的周边检测信息显示区域600-4除了显示在周边检测信息显示区域 600-3显示出的内容之外，例如还显示图像604，该图像604表示示出本车用M车道变更的方向的意旨。在图17的例子中，显示在本车辆M向与行驶车道相邻的右车道进行车道变更的图像604。

图像604例如是不含有文本信息的图像。在图17的例子中，图像604 是沿着道路宽度方向表示本车辆M的前进道路变更方向的图形。HMI控制部120例如对表示本车辆M的前进道路变更方向的图形赋予外框，并使第一显示部450显示赋予了外框的图像。另外，HMI控制部120将图像 604划分为多个区域，并对划分出的多个区域分别赋予外框而进行显示。另外，HMI控制部120也可以通过沿着本车辆M的前进道路变更方向顺次显示的动画来显示划分有多个区域中的各个区域的外框。

另外，HMI控制部120使驾驶支援状态显示区域620-4显示表示本车辆M的前进道路变更的转向指示624。转向指示624例如是表示前进道路变更方向的箭头等图形。HMI控制部120在与显示图像604的第一时机同步的时机使第一显示部450显示转向指示624。

HMI控制部120使HUD460的第四画面IM4-4显示与第四画面IM4-3 同样的信息。

另外，HMI控制部120在比第一时机靠后的时机且本车辆M的行为发生变化之前的第二时机(例如，行为发生变化的2秒前)，使周边检测信息显示区域600-4显示对图像604进行了加强显示的图像。

图18是表示在本车辆M的行为发生变化之前的第二时机显示的第三画面IM3-5及第四画面IM4-5的一例的图。HMI控制部120使第三画面 IM3-5的周边检测信息显示区域600-5显示对图像604进行了加强显示的图像606。HMI控制部120例如使周边检测信息显示区域600-5显示使图像604的外框之中显色的显示形态(第二显示形态)。另外，HMI控制部120也可以以如下方式通过动画来显示：沿着本车辆M的前进道路变更方向对在图像604中划分出的多个区域的各自的外框顺次加强显示。另外， HMI控制部120也可以在第一时机使图像606显示，并在第二时机使图像 606闪烁显示。另外，HMI控制部120也可以在第一时机使图像606显示，并在第二时机使图像606以比在第一时机显示出的颜色显眼的颜色显示。由此，能够使乘客直观地掌握前进道路变更方向。

另外，HMI控制部120使周边检测信息显示区域600-5上显示出的将来轨道图像602在与第二时机同步的时机向与前进道路变更方向对应的方向变化。由此，乘客能够直观地掌握本车辆M的车道变更中的行为的变化开始的情况。

HMI控制部120使HUD460的第四画面IM4-5显示与第四画面IM4-4 同样的信息。另外，HMI控制部120使显示于HUD460的第四画面IM4-5 的将来轨道图像602在与第二时机同步了的时机向与前进道路变更对应的方向变化而进行显示。

<与场景(1)～(3)对应的处理流程>

图19是表示在场景(1)～(3)中由HMI控制部120执行的处理的流程的一例的流程图。首先，HMI控制部120判定是否接受到主开关412 的操作(步骤S100)。在未接受到主开关412的操作的情况下，HMI控制部120使本车辆M的第一显示部450显示第一画面IM1-1(步骤S102)，并使HUD460显示第二画面IM2-1(步骤S104)。

另外，在接受到主开关412的操作的情况下，HMI控制部120使第一显示部450显示第三画面IM3-1(步骤S106)，并使HUD460显示第四画面IM4-1(步骤S108)。对步骤S106的处理的详细情况后述。

接着，HMI控制部120向乘客通知操作自动开关414的动作要求(步骤S110)。接着，HMI控制部120判定是否接受到自动开关414的操作 (步骤S112)。在接受到自动开关414的操作的情况下，HMI控制部120 在第三画面IM3-1及第四画面IM4-1显示表示第一程度的驾驶支援执行着的图像(步骤S114)。接着，HMI控制部120向乘客通知使手从转向盘 82离开的动作要求(步骤S116)。

接着，HMI控制部120由操作件状态判定部130判定乘客的手是否从转向盘82离开了(步骤S118)。在乘客的手从转向盘82离开了的情况下， HMI控制部120在第三画面IM3-3显示表示第二程度的驾驶支援执行着的图像(步骤S120)。对步骤S120的处理的详细情况后述。由此，本流程图的处理结束。

接着，说明步骤S106的处理的详细情况。图20是表示HMI控制部 120使第一显示部450显示第三画面IM3-1的处理的一例的流程图。在图 20的例子中，HMI控制部120使周边检测信息显示区域600-1显示表示车辆的前方的道路形状的图像、表示车辆的图像、以及表示周边车辆的图像 (步骤S200)。接着，HMI控制部120使驾驶支援状态显示区域620-1 显示表示驾驶支援的程度的图像、以及与对乘客要求的动作相关的图像 (步骤S202)。接着，HMI控制部120使驾驶支援开始操作引导区域640-1 显示对用于使驾驶支援开始的乘客的操作进行引导的信息(步骤S204)。由此，本流程图的处理结束。

接着，说明在步骤S120的处理中，在显示着表示第二程度的驾驶支援执行着的图像的状态下，本车辆M的行为发生变化的事件产生的情况的显示控制处理。图21是表示本车辆M的行为发生变化的事件产生的情况的显示控制处理的一例的流程图。图21的处理在第二程度或第三程度的驾驶支援的执行中反复执行。执行驾驶执行中，在图21中，自动驾驶控制单元300通过自动驾驶判定本车辆M的行为发生变化的事件是否产生(步骤S300)。在本车辆M的行为发生变化的事件产生的情况下，HMI 控制部120使表示伴随有本车辆M的行为的变化的事件的产生的图像在本车辆M的行为发生变化之前的第一时机显示(步骤S302)。

接着，HMI控制部120判定是否到达了本车辆M的行为的变化发生之前的第二时机(步骤S304)。在未到达本车辆的行为的变化发生之前的第二时机的情况下，HMI控制部120在到达第二时机之前等待，在到达了第二时机的情况下，使表示伴随有本车辆M的行为的变化的事件的产生的图像加强显示(步骤S306)。由此，本流程图的处理结束。通过图21 的处理，能够使乘客容易地掌握车辆的行为发生变化的时机

接着，说明场景(4)～(6)。图22是表示对本车辆M执行第三程度下的驾驶支援，之后从第三程度起到执行第二程度下的驾驶支援为止的各种场景的图。在图22的例子中，场景(4)是本车辆M追随拥堵中的周边车辆m，从而本车辆M的驾驶支援从第二程度切换为第三程度的场景。场景(5)是执行着作为本车辆M为第三程度的驾驶支援的一例的低速追随行驶的场景。低速追随行驶(TJP；Traffic Jam Pilot)是指以规定速度以下追随前行车辆的控制形态。规定速度是指(例如60[km/h]以下)。低速追随行驶在本车辆M的速度为规定速度以下且与前行车辆m的车间距离为规定距离(确认)以内时启动。在低速追随行驶中，通过在混杂的道路持续追随前行车辆这样的比较的容易的控制，能够实现可靠性高的自动驾驶。需要说明的是，低速追随行驶也可以将规定速度以下或者追随着前行车辆的情况作为启动条件。场景(6)是本车辆M的驾驶支援从第三程度切换为第二程度的场景。以下，说明与场景(4)～(6)的各个场景对应的显示控制。

<场景(4)>

在场景(4)中，自动驾驶控制单元300还未到低速追随行驶而正进行本车辆M的加速控制。在该情况下，HMI控制部120在第一显示部450 或HUD460的一方或双方显示与驾驶支援对应的画面。

图23是表示在本车辆M的加速控制时显示的第三画面IM3-6及第四画面IM4-6的一例的图。在该图所示的场景中，还未满足低速追随行驶的启动条件。HMI控制部120使第三画面IM3-6的周边检测信息显示区域 600-6显示表示加速控制正被执行的图像608。图像608是表示本车辆M 的加速的图形。图像608显示于表示本车辆M的图像的前方。在该情况下，HMI控制部120也可以在本车辆M加速之前的第一时机以赋予了图像608的外框的显示形态进行显示，在本车辆M加速之前的第二时机以将图像的外框之中着色的显示形态显示。另外，HMI控制部120在加速时也可以使图像608朝向本车辆的行进方向移动那样的动画显示。与此相反， HMI控制部120在减速时也可以使图像608朝向本车辆M移动那样的动画显示。由此，乘客能够直观地掌握本车辆M的加速控制正被执行的情况。

HMI控制部120使HUD460的第四画面IM4-6显示与第四画面IM4-5 同样的信息。

<场景(5)>

在场景(5)中，执行低速追随行驶。在该情况下，HMI控制部120 使第一显示部450及HUD460显示与低速追随行驶对应的画面。

图24是表示在低速追随行驶时显示的第三画面IM3-7及第四画面 IM4-7的一例的图。HMI控制部120使周边检测信息显示区域600-7显示表示第三程度的驾驶支援正被执行的周边检测图像610A。

周边检测图像610A例如是表示通过相机10、雷达装置12、探测器 14、物体识别装置16及外界识别部321进行着本车辆M的周围的监视的图像。周边检测图像610A例如是从本车辆M的中心朝向外侧使波纹扩展那样的动画。

另外，HMI控制部120使第三画面IM3-7的驾驶支援状态显示区域620-7高亮显示表示本车辆M未对乘客要求周边监视义务的情况的指示“Eyes Off”、以及表示本车辆M不需要进行驾驶操作件80的操作的情况的指示“Hands OFF”的图像。另外，HMI控制部120使驾驶支援状态显示区域620-7显示表示通过相机10、雷达装置12、探测器14、物体识别装置16及外界识别部321来进行着本车辆M的周围的监视的情况的图像626。

另外，HMI控制部120使HUD460的第四画面IM4-7除了显示与第四画面IM4-6同样的信息之外，还显示表示第三程度的驾驶支援正被执行的周边检测图像610B。周边检测图像610B例如是从本车辆M的中心朝向外侧使波纹扩展那样的动画。

HMI控制部120使显示于第三画面IM3-7的周边检测图像610A与显示于第四画面IM4-8的周边检测图像610B的动作速度和动作周期中的一方或双方连动。由此，能够使乘客直观地掌握显示于第三画面IM3-7的周边检测图像610A和显示于第四画面IM4-8的周边检测图像610B是相同的信息这一情况。

另外，HMI控制部120也可以将从显示于第三画面IM3-7的周边检测图像610A中的动画的显示形态(详细显示形态)中留出间隔而得到的显示形态作为使第四画面IM4-8显示的周边检测图像610B的显示形态(简单显示形态)。例如，HMI控制部120将由详细显示形态显示的周边检测图像610A的动态对象(圆环状的波纹)的动作速度与动作周期中的一方或双方放慢而得到的显示形态作为简单显示形态。

另外，HMI控制部120也可以将减少详细显示形态的动态对象的数量而得到的显示形态作为简单显示形态。

另外，HMI控制部120也可以使作为详细显示形态而使第三画面 IM3-7的周边检测信息显示区域600-7显示的外界的视野的范围与作为简单显示形态而使第四画面IM4-8显示的外界的视野的范围不同。外界的视野的范围是指从乘客以什么样的方向、多少位变焦来观察外界而被决定的范围。例如，圆环状的动态对象的大小(例如，最大半径)与各个图像中的外界的视野的范围相对应。

另外，在未对乘客要求周边监视义务的状态下，HMI控制部120进行用于向乘客通知HMI400的各种设备中的能够使用的设备的控制。例如，在自动驾驶控制单元300执行着基于第三程度的驾驶支援的情况下，设为第三显示部470能够使用。在该情况下，HMI控制部120如图7或图8作示那样，使设置于第三显示部470的一部分或附近的发光部472以规定的颜色发光。

另外，HMI控制部120在第三显示部470能够使用的情况下，也可以如图9所示那样，使第三显示部470的画面的显示区域中的第一显示区域 476以规定的颜色或规定的形状的一方或双方显示。

另外，在为了进行使第三显示部470显示的内容的选择等而需要操作第三操作部440的情况下，HMI控制部120控制设置于第三操作部440的发光部446以规定的颜色发光。例如，HMI控制部120使发光部472及发光部446以相同的颜色发光。由此，乘客能够直观地掌握能够使用的设备、该设备的操作部。

例如，在第三显示部470能够使用的状态下第三操作部440***作了的情况下，HMI控制部120使第三显示部470显示与操作内容对应的画面。另外，HMI控制部120在第三显示部470能够使用的状态下第二操作部 420的操作开关422***作了的情况下，使第三显示部470显示进行通话的对方的图像。由此，乘客能够一边观察显示于第三显示部470的对方一边享受通话。即，乘客能够利用电视电话。

另外，HMI控制部120使由车室内相机90拍摄到的图像与由设置于车室内的话筒(未图示)取得到的乘客的声音建立对应关系，并向通话对方的车辆、终端装置发送。

例如，车室内相机90所包含的摄像元件在红外光及可见光的波长范围具有灵敏度。车室内相机90也可以具备阻断红外光而使可见光沿着摄像元件的方向透过的镜头滤光镜。通过HMI控制部120的控制，机械的机构运转，由此镜头滤光镜被控制在阻断向车室内相机90入射的红外光的位置(设定位置)或不阻断向车室内相机90入射的红外光的位置(非设定位置)。例如，HMI控制部120在图像被使用于电视电话的情况下，镜头滤光镜被控制在设定位置，在图像被适用于乘客的监视的情况下，镜头滤光镜被控制在非设定位置。由此，仅由可见光拍摄出的图像用于电视电话，由可见光及红外光拍摄出的图像用于乘客的监视。由此，取得适合于用途的图像。尤其是，在图像被使用于电视电话的情况下，将没有违和感的图像向通话对方的装置等发送。

需要说明的是，在本车辆M中也可以代替车室内相机90而设置有电视电话专用的相机。在该情况下，HMI控制部120使由电视电话专用的相机拍摄到的图像与由话筒取得到的声音建立对应关系，并向通话对方的车辆或终端装置发送。

<场景(6)>

在场景(6)中，不存在进行低速追随的前行车辆m，因此自动驾驶控制单元300使本车辆M从第三程度切换到第二程度的驾驶支援。在该情况下，HMI控制部120基于驾驶支援的程度的变化，而如图25所示那样，使第一显示部450或HUD460的一方或双方显示提示对乘客要求的乘客的监视对象或操作对象的信息。

图25是表示为了对乘客要求周边监视而被显示的第三画面IM3-8及第四画面IM4-8的一例的图。HMI控制部120使周边检测信息显示区域 600-8显示低速追随行驶(在图中为“拥堵追随自动驾驶”)结束的意旨的信息、以及表示使乘客确认周边的交通状况的意旨的信息。

另外，HMI控制部120使第四画面IM4-8显示对乘客要求注视本车辆 M的前方的前方注视要求图像650。前方注视要求图像650是包含表示车辆M的前方的规定的区域的椭圆形状的区域的图像。另外，前方注视要求图像650也可以是圆形状、矩形形状等规定的形状，也可以是促使乘客注意的标志、记号文字等信息。另外，HMI控制部120使前方注视要求图像650以规定的颜色点亮或闪烁。另外，HMI控制部120也可以使组装于仪表板的LED发光，并在前风窗玻璃或反射部反射LED的发光，由此促使乘客向前方注视。

乘客状态监视部140通过车室内相机90的拍摄图像来判定乘客是否进行着周边监视。在判定出乘客进行着周边监视的情况下，切换控制部110 使自动驾驶控制单元300将本车辆M的驾驶支援从第三程度切换到第二程度。HMI控制部120如图26所示那样，使第一显示部450或HUD460 的一方或双方显示与基于第二程度的驾驶支援对应的画面。

图26是表示从第三程度切换到了第二程度的情况的第三画面IM3-9 及第四画面IM4-9的一例的图。在图26的例子中，示出了本车辆M通过第二程度的驾驶支援加速到由行动计划生成部323确定出的目标速度(例如80[km/h])的例子。HMI控制部120例如使第三画面IM3-9的周边检测信息显示区域600-9显示例如表示加速控制被执行着的图像608。

另外，HMI控制部120使第三画面IM3-9的驾驶支援状态显示区域 620-9高亮显示与本车辆M的第二程度的驾驶支援对应的“Hands OFF”的图像。另外，HMI控制部120使驾驶支援状态显示区域620-9显示表示与第二程度的驾驶支援对应的乘客的操作内容的要求动作通知图像622。由此，乘客能够直观地掌握本车辆M的驾驶支援从第三程度切换到了第二程度。

<与场景(4)～(6)对应的处理流程>

图27是表示在场景(4)～(6)中由HMI控制部120执行的处理的流程的一例的流程图。首先，HMI控制部120判定自动驾驶控制单元300 是否开始了低速追随行驶(步骤S400)。在开始了低速追随行驶的情况下， HMI控制部120在第三画面IM3及第四画面IM4显示表示第三程度的驾驶支援被执行着的图像(步骤S402)。接着，HMI控制部120使设置于通过第三程度的驾驶支援而成为了能够使用的设备的发光部发光(步骤 S404)。

接着，HMI控制部120由自动驾驶控制单元300判定是否结束本车辆 M的低速追随行驶(步骤S406)。在不结束低速追随行驶的情况下，持续基于步骤S402及S404的处理的图像显示及发光部的发光。即，在S404 的处理中，HMI控制部120在设备能够使用的期间，使设置于设备的发光部的发光持续。

另外，在结束低速追随行驶的情况下，HMI控制部120在第三画面IM3 及第四画面IM4显示用于使乘客进行周边监视的信息(步骤S408)。接着，HMI控制部120显示表示第二程度的驾驶支援被执行着的图像(步骤 S410)。由此，本流程图的处理结束。

另外，像场景(4)～(6)那样，HMI控制部120在车辆是不停车中的情况或者驾驶支援的程度不是第三程度的情况下，通过被使用而进行乘客的视线从车辆周边离开的特定功能的使用限制，在车辆为停车中的情况或者驾驶支援的程度为第三程度的情况下，解除特定功能的使用限制。特定功能例如是指包括电视电话功能，在第三显示部470显示与本车辆M的控制、行驶无关的内容的功能。与本车辆M的控制、行驶无关的内容例如是指作为娱乐使乘客视听的存储于DVD的图像、从电视台发送的图像 (电视的图像)、以及示出电视电话中的通话对方的图像等。

图28是表示由HMI控制部120执行的特定功能的执行处理的流程的流程图。在本流程图的处理中，说明了特定功能是电视电话功能的情况。电视电话功能是指收发图像(实时的图像)、声音，一边观察表示通话对方的图像一边使通话进行的功能。通话对方的图像显示于第三显示部470。另外，HMI控制部120控制通信装置20，并与通话对方的通信装置确立通信，而收发包含图像及声音的信息，由此实现电视电话功能。

首先，HMI控制部120基于与从驾驶支援控制部200及自动驾驶控制单元300取得到的信息，来判定本车辆M是否为停车中(步骤S500)。在本车辆M为停车中的情况下，HMI控制部120解除电视电话功能的使用限制(步骤S502)。由此，乘客能够利用电视电话功能。

在本车辆M不是停车中的情况下，HMI控制部120基于从自动驾驶控制单元300取得到的信息，来判定本车辆M是否为低速追随行驶中(步骤S504)。在本车辆M为低速追随行驶中的情况下，HMI控制部120解除电视电话功能的使用限制(步骤S502)。由此，乘客能够利用电视电话。

在本车辆M既不是停车中也不是低速追随行驶中的情况下，HMI控制部120仅许可声音的利用(步骤S506)。由此，本流程图的一例程的处理结束。

图29是表示通过驾驶的程度显示于第三显示部470的图像发生变化的情形的一例的图。如图29的(A)所示的那样，例如在第三程度的驾驶支援被执行着的情况下，通话对方的影像显示于第三显示部470，且通话对方的声音从扬声器输出。由此，乘客能够利用电视电话。与此相对，如图29的(B)所示的那样，例如在从第三程度的驾驶支援转移到其他程度的驾驶支援或手动驾驶的情况下，在第三显示部470显示出的通话对方的影像停止，仅通话对方的声音从扬声器输出。由此，乘客能够监视本车辆 M的周边。

如上所述，HMI控制部120在驾驶支援转移到第三程度，本车辆M 的乘客不需要进行周边监视的情况(到达了后述的图37的时刻T4的情况) 下，通过解除特定功能的使用限制，能够更适当地控制特定功能。

接着，说明场景(7)～(9)。图30是表示使本车辆M从第二程度的驾驶支援切换为基于手动驾驶的行驶为止的各种场景的图。在图30的例子中，场景(7)是本车辆M基于行动计划进行用于脱离高速道路的车道变更的场景。场景(8)是本车辆M切换为手动驾驶的场景。场景(9) 是本车辆M通过手动驾驶从高速道路向一般道路移动的场景。说明与以下场景(7)～(9)的各个场景对应的显示控制。

<场景(7)>

在场景(7)中，自动驾驶控制单元300执行用于使本车辆M向左侧进行车道变更的驾驶支援。在该情况下，HMI控制部120在第一显示部 450或HUD460的一方或双方显示与驾驶支援对应的画面。需要说明的是，对于车道变更的开始时及执行时的显示例，由于是将图17及图18所示的本车辆M的向右车道车道变更的内容置换为向左车道的车道变更而进行同样的显示，因此省略在此的具体的说明。

<场景(8)>

在场景(8)中，自动驾驶控制单元300进行用于使本车辆M切换为手动驾驶的控制。在该情况下，HMI控制部120在第一显示部450或 HUD460的一方或双方上显示用于使乘客执行手动驾驶的图像。

图31是表示在向手动驾驶时切换要求时显示的第三画面IM3-10及第四画面IM4-10的一例的图。由于接近高速道路的出口，因此HMI控制部 120使第三画面IM3-10的周边检测信息显示区域600-10显示对乘客要求转向盘82的操作的意旨的要求动作通知图像628。另外，作为要求动作通知图像628，HMI控制部120也可以使表示乘客的手的图像接近表示转向盘82的图像那样的动画显示。

另外，HMI控制部120使第三画面IM3-10的驾驶支援状态显示区域 620-10高亮显示与第二程度的驾驶支援对应的“Hands OFF”的图像及与第一程度的驾驶支援对应的“Assist”的图像。

在此，HMI控制部120基于操作件状态判定部130的判定结果来判定是否为乘客把持着转向盘82的状态。HMI控制部120在即便经过规定时间后也未由操作件状态判定部130判定出乘客把持着转向盘82的状态的情况下，使第一显示部450或HUD460的一方或双方显示阶段性地加强警告而用于使乘客执行手动驾驶的图像。

图32是表示加强了用于使乘客执行手动驾驶的警告的第三画面 IM3-11及第四画面IM4-11的一例的图。HMI控制部120例如使第三画面 IM-11的驾驶支援状态显示区域600-11比本车辆M的周边状况的显示更加强地显示提示对乘客要求的乘客的监视对象或操作对象的信息。具体而言，HMI控制部120使第三画面IM-11的驾驶支援状态显示区域600-11 代替显示表示本车辆M的前方的道路形状的图像、表示本车辆M的图像、表示本车辆M的将来的轨道的图像而重叠显示表示使乘客操作转向盘82 的信息。

另外，HMI控制部120使第四画面IM4-11显示示意性地表示转向盘 82与乘客的手的位置关系的要求动作通知图像660。作为要求动作通知图像660，HMI控制部120也可以使表示乘客的手的图像接近并把持表示转向盘82的图像那样的动画显示。另外，HMI控制部120为了使乘客把持转向盘82，也可以通过声音等进行警告。

另外，HMI控制部120为了使乘客把持转向盘82，使设置于转向盘 82的发光部430R、430L发光、或闪烁、或使发光停止。由此，能够使乘客容易地识别到伴随驾驶支援的程度的变化而对乘客要求的内容。

另外，HMI控制部120在驾驶支援的程度变化为要求使乘客操作转向盘82的程度的情况下，使发光部430R、430L的发光状态与程度变化之前的发光状态不同。另外，HMI控制部120例如在根据本车辆M的驾驶支援的程度而使发光部430R、430L发光、闪烁着的状态下对乘客要求把持转向盘82的情况下，使发光部430R、430L的发光状态与当前的发光状态不同。例如，HMI控制部120相对于当前的发光状态使发光部430R、430L 的发光、闪烁、发光色及发光亮度中的至少一个不同。换言之，HMI控制部120在驾驶支援执行时和对乘客要求操作时中的任一状态下均进行发光部的发光、闪烁，使驾驶支援执行时和对乘客要求操作时彼此的发光、闪烁、发光色及发光亮度中的至少一个不同。

另外，在驾驶支援的程度变化为比当前的驾驶支援的程度低的程度的情况下，HMI控制部120使发光部430R、430L发光、闪烁或使发光停止。由此，能够向乘客传达是使转向盘82把持的必要性高的驾驶支援。

另外，HMI控制部120在由操作件状态判定部130判定出即使经过了规定时间之后也为乘客未把持着转向盘82的状态的情况下，也可以阶段性地加强警告并使扬声器输出声音。另外，HMI控制部120也可以使座椅或座椅安全带振动的振动部工作，并以阶段性的强度使座椅或座椅安全带振动来进行警告。

图33是用于说明使座椅安全带振动来向乘客进行警告的图。在图31 中，例如具备本车辆M的座椅480、座椅安全带装置482及振动部484。座椅安全带装置482是所谓的三点式的座椅安全带装置。座椅安全带装置 482例如具备座椅安全带482A、卷取座椅安全带482A的卷取部482B、在座椅480的规定的位置固定座椅安全带482A的固定器482C、以及相对于设置于座椅安全带482A的舌片能够装卸的带扣482D。振动部484通过 HMI控制部120的控制使座椅安全带以规定的周期及规定的强度振动。

HMI控制部120在使乘客把持转向盘82的时机下使振动部484工作。由此，乘客能够直观地掌握把持转向盘82并开始手动驾驶的情况。

另外，在由操作件状态判定部130判定出即使HMI控制部120从进行图32所示的显示起经过规定时间乘客也未把持着转向盘82的情况下， HMI控制部120如图34所示的那样显示结束驾驶支援(例如自动驾驶) 的意旨的画面。

图34是表示显示将自动驾驶结束的意旨的信息的第三画面IM3-12及第四画面IM4-12的一例的图。HMI控制部120使为了结束自动驾驶而催促驾驶操作的替换的信息与表示本车辆M的前方的道路形状的图像、表示本车辆M的图像、表示本车辆M的将来的轨道的图像重叠地显示于第三画面IM-12的驾驶支援状态显示区域600-12。另外，HMI控制部120 在第三画面IM3-12的驾驶支援状态显示区域620-12高亮显示“Hands Off”的图像，但也可以使第三画面IM3-12的驾驶支援状态显示区域620-12以与图29所示的高亮显示不同的颜色等高亮显示。

另外，HMI控制部120使第四画面IM4-12显示示意性地表示转向盘 82与乘客的手的位置关系的要求动作通知图像660。另外，HMI控制部 120为了使乘客把持转向盘82，也可以通过与显示图30所示的第三画面 IM3-11及第四画面IM4-12相比加强的声音等进行警告。另外，HMI控制部120为了使乘客把持转向盘82，也可以使发光部430R、430L点亮或闪烁。例如，HMI控制部120为了使警告加强，缩短闪烁周期、或者以多种颜色使发光部430R、430L点亮或闪烁。

另外，HMI控制部120例如也可以通过在第一显示部450显示第三画面IM3-12、并在HUD460显示第四画面IM4-12的时机下使振动部484工作，来使座椅安全带482A振动。在该情况下，HMI控制部120可以与在使第三画面IM3-11及第四画面IM4-11显示了图像时的座椅安全带482A 的振动相比成为强的振动的方式使振动部484工作。由此，乘客能够直观地掌握自动驾驶结束的情况。

另外，在操作件状态判定部130判定出即使从HMI控制部120进行图32所示的显示起经过规定时间乘客也未把持着转向盘82的情况下，主控制部100使自动驾驶控制单元300执行用于使本车辆M向规定的位置 (例如，路肩、最近的停车场区域)紧急停止的自动驾驶。在该情况下， HMI控制部120如图35所示那样，使第三画面IM3-13显示表示以自动驾驶执行本车辆M的紧急停止的意旨的画面。

图35是表示本车辆M的紧急停止时的第三画面IM3-13及第四画面 IM4-13的一例的图。HMI控制部120使第三画面IM3-13的驾驶支援状态显示区域600-13显示进行紧急停止的意旨的信息。需要说明的是，第三画面IM3-13的形态的通知是比第三画面IM3-10～IM3-12的形态的通知强的警报。

<场景(9)>

在场景(9)中，是乘客接受把持转向盘82的意旨的指示，在驾驶支援结束之前把持转向盘82，开始手动驾驶，并从高速道路进入一般道路的场景。切换控制部110将本车辆M的行驶状态切换为通过乘客的手动驾驶进行的状态。HMI控制部120使第一显示部450显示第一画面IM1-1，使HUD460显示第二画面IM1-2。

<与场景(7)～(9)对应的处理流程>

图36是表示在场景(7)～(9)中由HMI控制部120执行的处理的流程的一例的流程图。在本处理中，如上所述，HMI控制部120在执行着自动驾驶时，进行对本车辆M的乘客要求规定的行动(例如转向盘82的把持)的通知，随着从通知的开始起经过时间，以阶段性地加强所述通知的方式使通知的形态变化，并使输出部输出通知。输出部是指显示图像的显示部、输出声音的扬声器等。需要说明的是，在本处理中，规定的行动作为一例设为是把持转向盘82，但是代替于此(除此以外)，也可以是乘客监视周边、以乘客能够操作的方式使脚放置于驾驶操作件80(例如油门踏板、制动踏板)等。

首先，HMI控制部120判定是否结束驾驶支援(步骤S600)。在结束驾驶支援的情况下，HMI控制部120使第一显示部450在维持了表示本车辆M行驶的轨道的图像的状态下，显示表示催促乘客把持转向盘82的图像(例如画面IM3-10)(步骤S602)。

接着，HMI控制部120通过由操作件状态判定部130判定的判定结果，来判定在第一规定时间以内乘客是否把持了转向盘82(步骤S604)。

在判定出在第一规定时间以内乘客把持了转向盘的情况下，HMI控制部120使第一显示部450显示第一画面IM1(步骤S606)，并使HUD460 显示第二画面IM2(步骤S608)。即，在步骤S606及步骤S608的处理中，HMI控制部120将显示于第一显示部450及HUD460的画面返回按压主开关412之前的画面。另外，也可以是除了步骤S606或步骤S608的处理之外，或者代替于此，HMI控制部120将主开关412的状态返回按压开关之前的状态。

另外，在步骤S604中，未判定出在第一规定时间以内乘客把持了转向盘的情况下，HMI控制部120代替表示本车辆M行驶的轨道的图标而使第一显示部450显示表示要求乘客把持转向盘82的图像(例如画面 IM3-11)(步骤S610)。

接着，HMI控制部120通过由操作件状态判定部130判定的判定结果，来判定在第二规定时间以内乘客是否把持了转向盘82(步骤S612)。在判定为在第二规定时间以内乘客把持了转向盘的情况下，HMI控制部120 使第一显示部450显示第一画面IM1(步骤S606)，并使HUD460显示第二画面IM2(步骤S608)。

在步骤S612中，未判定出在第二规定时间以内乘客把持了转向盘的情况下，HMI控制部120使第一显示部450显示表示结束驾驶支援的图像 (例如第三画面IM3-12)(步骤S614)。另外，此时，HMI控制部120 使振动座椅安全带482A的振动部484工作。需要说明的是，在实施方式中，也可以是，在座椅480设置有使该座椅480振动的振动部。在该情况下，在未判定出在第二规定时间以内乘客把持了转向盘的情况下，HMI 控制部120也可以使设置于座椅480的振动部工作。

接着，HMI控制部120通过由操作件状态判定部130判定的判定结果，来判定在第三规定时间以内乘客是否把持了转向盘82(步骤S616)。在判定出在第三规定时间以内乘客把持了转向盘的情况，HMI控制部120使第一显示部450显示第一画面IM1(步骤S606)，并使HUD460显示第二画面IM2(步骤S608)。

在步骤S616中，未判定出在第三规定时间以内乘客把持了转向盘的情况下，HMI控制部120在第一显示部450显示执行本车辆M的紧急停止的意旨的图像(步骤S618)。由此，本流程图的处理结束。

<与驾驶支援关联的各种设备或控制的切换时机>

在此，使用附图来说明与本车辆M的驾驶支援关联的各种设备或控制的切换时机。图37是用于说明与驾驶支援关联的各种设备或控制的切换时机的图。

在图37中，作为与驾驶支援关联的切换，示出(A)主开关412的接通/断开、(B)自动开关414的接通/断开、(C)手动驾驶模式显示的开启/关闭、(D)驾驶支援模式显示的开启/关闭、(E)第一程度的驾驶支援的开启/关闭、(F)把持着/未把持着转向盘82、(G)第二程度的驾驶支援的开启/关闭、(H)第三程度的驾驶支援的开启/关闭、(I)需要/不需要乘客的驾驶监视相对于时刻的经过的切换时机。

在时刻T0下，通过乘客的手动驾驶本车辆M行驶着。在该情况下，主开关412及自动开关414未***作，在第一显示部450及HUD460显示手动驾驶模式下的画面(第一画面IM1、第二画面IM2)。另外，在时刻 T0，对于本车辆M的驾驶支援(第一程度～第三程度)未实施，乘客需要把持转向盘82并且进行周边监视。

在时刻T1，由乘客执行使主开关412接通的操作。在该情况下，在第一显示部450及HUD460显示驾驶支援模式下的画面(第三画面IM3、第四画面IM4)。在时刻T1～T2的状态下，未进行通过驾驶支援进行的行驶控制，持续进行手动驾驶。

在时刻T2，由乘客执行使自动开关414接通的操作。在该情况下，主控制部100使驾驶支援控制部200执行第一程度的驾驶支援。HMI控制部120在驾驶支援模式显示中，显示通过乘客使手从转向盘82离开来执行第二程度的驾驶支援的图像。

在时刻T3，在本车辆M能够进行第二程度的驾驶支援的状态下乘客使手从转向盘82离开。在该情况下，切换控制部110从由驾驶支援控制部200进行的第一程度的驾驶支援执行由自动驾驶控制单元300进行的第二程度的驾驶支援。

在时刻T4，例如通过本车辆M进行低速追随行驶，执行第三程度的驾驶支援。在该情况下，乘客不需要周边监视。

在时刻T5，第三程度的驾驶支援结束，切换为第二程度的驾驶支援。因此，乘客需要周边监视。另外，在时刻T5，进行用于从第二程度的驾驶支援切换为手动驾驶的显示。在该情况下，HMI控制部120在驾驶支援模式显示中显示用于使乘客把持转向盘82的信息。

在时刻T6，乘客把持转向盘82。在该情况下，切换控制部110从由自动驾驶控制单元300进行的第二程度的驾驶支援切换为由驾驶支援控制部200进行的第一程度的驾驶支援。另外，切换控制部110在第一程度的驾驶支援经过了规定时间之后，切换为手动驾驶。

在时刻T7，本车辆M被切换为手动驾驶。在该情况下，主开关412 及自动开关414在与本车辆M切换为手动驾驶的时机对应地切换为断开。

接着，说明实施方式的驾驶支援的切换控制。图38是用于说明实施方式的驾驶支援的切换控制的图。基于实施方式的本车辆M的驾驶控制存在由第一程度～第三程度的驾驶支援进行的驾驶控制、以及由乘客的手动驾驶进行的驾驶控制。切换控制部110例如基于本车辆M的行驶状态、乘客的状态，来在图38的(a)～(h)所示的切换模式中进行驾驶控制的切换。

在切换模式(a)中，切换控制部110将本车辆M的驾驶控制从手动驾驶切换为第一程度的驾驶支援。在该情况下，切换控制部110使驾驶支援控制部200执行第一程度的驾驶支援。

在切换模式(b)中，切换控制部110从第一程度的驾驶支援切换为第二程度的驾驶支援。在该情况下，切换控制部110使自动驾驶控制单元 300执行第二程度的驾驶支援。

在切换模式(c)中，切换控制部110从第二程度的驾驶支援切换为第三程度的驾驶支援。在该情况下，切换控制部110使自动驾驶控制单元 300执行第三程度的驾驶支援。

在切换模式(d)中，切换控制部110从第三程度的驾驶支援切换为第二程度的驾驶支援。在该情况下，切换控制部110使自动驾驶控制单元 300执行第二程度的驾驶支援。

在切换模式(e)中，切换控制部110从第二程度的驾驶支援切换为第一程度的驾驶支援。在该情况下，切换控制部110使驾驶支援控制部200 执行第一程度的驾驶支援。

在切换模式(f)中，切换控制部110从第一程度的驾驶支援切换为手动驾驶。在该情况下，切换控制部110使由手动驾驶进行的驾驶控制执行。

在切换模式(g)中，切换控制部110在执行第二程度的驾驶支援中，在本车辆M发生了规定的事项的情况下，从第二程度的驾驶支援切换为手动驾驶。规定的事项例如是指自动驾驶控制单元300接受到的值与预先设想出的规定范围的值不同的情况、来自其他设备的信号被阻断了的情况、以及对于控制对象设备不能够发送信号这样的情况。

在切换模式(h)中，切换控制部110在特定的场景中，为乘客把持着转向盘82的状态的情况下，使自动驾驶控制单元300持续第二程度的驾驶支援。特定的画面例如是指本车辆M在高速公路出入口、汇接点等斜坡(连接通路)上行驶这样的场景。切换控制部110分别与切换模式对应地切换本车辆M的驾驶控制。

根据以上说明的实施方式，能够向乘客以容易识别的方式提示伴随驾驶支援的程度的变化而对乘客要求的内容。

以上，使用实施方式说明了本发明的具体实施方式，但本发明丝毫不被这样的实施方式限定，在不脱离本发明的主旨的范围内能够施加各种变形及替换。

附图标记说明：

1…车辆***、10…相机、12…雷达装置、14…探测器、16…物体识别装置、20…通信装置、50…导航装置、60…MPU、70…车辆传感器、80…驾驶操作件、90…车室内相机、100…主控制部、110…切换控制部、 120…HMI控制部、130…操作件状态判定部、140…乘客状态监视部、200…驾驶支援控制部、300…自动驾驶控制单元、320…第一控制部、340…第二控制部、400…HMI、500…行驶驱动力输出装置、510…制动装置、520…转向装置、M…本车辆。

Claims (11)

1.一种车辆控制***，其中，

所述车辆控制***具备：

驾驶支援控制部，其以互不相同的多个程度执行车辆的驾驶支援；

信息输出部，其输出信息；以及

输出控制部，其基于由所述驾驶支援控制部进行的驾驶支援的程度的变化，控制所述信息输出部以输出暗示对乘客要求的所述乘客的监视对象或操作对象的信息，

所述输出控制部使所述信息输出部显示表示基于所述车辆够执行的驾驶支援的程度的所述乘客的状态的候补的全部信息，并且使所显示的表示所述乘客的状态的候补的全部信息中的、表示与由所述驾驶支援控制部执行的驾驶支援的程度对应的所述乘客的状态的候补的信息比其他表示所述乘客的状态的候补的信息加强显示。

2.根据权利要求1所述的车辆控制***，其中，

所述信息输出部包括反射显示部，该反射显示部使来自规定的光源的光在所述车辆的前风窗玻璃或设置于所述前风窗玻璃附近的反射部反射，

所述输出控制部在由所述驾驶支援控制部进行的驾驶支援的程度变化为要求使所述乘客注视所述车辆的前方的程度的情况下，使所述反射显示部进行规定的动作。

3.根据权利要求1或2所述的车辆控制***，其中，

所述车辆控制***还具备在所述车辆的手动驾驶时供所述乘客操作的驾驶操作件，

所述信息输出部为设置于所述驾驶操作件的发光部，

所述输出控制部在由所述驾驶支援控制部进行的驾驶支援的程度变化为要求所述乘客操作驾驶操作件的程度的情况下，使设置于所述驾驶操作件的发光部发光、闪烁或停止发光。

4.根据权利要求1或2所述的车辆控制***，其中，

所述车辆控制***还具备在所述车辆的手动驾驶时供所述乘客操作的驾驶操作件，

所述信息输出部为设置于所述驾驶操作件的发光部，

所述输出控制部根据由所述驾驶支援控制部进行的所述驾驶支援的程度来使所述发光部发光、闪烁或停止发光，而且在所述驾驶支援的程度变化为要求所述乘客操作驾驶操作件的程度的情况下，使所述发光部的发光状态与变化之前的发光状态不同。

5.根据权利要求4所述的车辆控制***，其中，

所述输出控制部在所述驾驶支援执行时和对所述乘客要求操作时中的任一状态下均进行所述发光部的发光、闪烁，使所述驾驶支援执行时和对所述乘客要求操作时彼此的发光、闪烁、发光色及发光亮度中的至少一个不同。

6.根据权利要求3所述的车辆控制***，其中，

所述输出控制部在所述驾驶支援的程度变化为比变化之前的驾驶支援的程度低的程度的情况下，使所述发光部发光、闪烁或停止发光。

7.根据权利要求1或2所述的车辆控制***，其中，

所述车辆控制***还具备：

座椅安全带装置，其在使所述乘客就座于座椅的状态下通过座椅安全带来保持所述乘客；以及

振动部，其使所述座椅安全带振动，

所述输出控制部在由所述驾驶支援控制部进行的驾驶支援的程度变化的情况下，使所述振动部工作。

8.根据权利要求1或2所述的车辆控制***，其中，

所述车辆控制***还具备监视所述乘客的状态的乘客状态监视部，

在由所述乘客状态监视部判定为所述乘客进行了规定的动作之前，所述输出控制部使暗示对所述乘客要求的所述乘客的监视对象或操作对象的信息的输出继续。

9.根据权利要求8所述的车辆控制***，其中，

所述车辆控制***还具备识别所述车辆的周边状况的外界识别部，

所述信息输出部包括显示与驾驶支援相关的信息的显示部，

所述输出控制部与所述驾驶支援的程度对应地使由所述外界识别部识别到的所述车辆的周边状况显示于所述显示部，在由所述驾驶支援控制部进行的驾驶支援的程度变化的情况下，在由所述乘客状态监视部判定为所述乘客进行了规定的动作之前，与所述车辆的周边状况的显示相比加强地使暗示对所述乘客要求的所述乘客的监视对象或操作对象的信息显示于所述显示部。

10.一种车辆控制方法，其中，

所述车辆控制方法使车载计算机进行如下处理：

以互不相同的多个程度执行车辆的驾驶支援；

基于所述驾驶支援的程度的变化，控制信息输出部以输出暗示对乘客要求的所述乘客的监视对象或操作对象的信息；

使所述信息输出部显示表示基于所述车辆够执行的驾驶支援的程度的所述乘客的状态的候补的全部信息，并且使所显示的表示所述乘客的状态的候补的全部信息中的、表示与所执行的所述车辆的驾驶支援的程度对应的所述乘客的状态的候补的信息比其他表示所述乘客的状态的候补的信息加强显示。

11.一种存储介质，其存储有程序，其中，

所述程序使车载计算机进行如下处理：

以互不相同的多个程度执行车辆的驾驶支援；

基于所述驾驶支援的程度的变化，控制信息输出部以输出暗示对乘客要求的所述乘客的监视对象或操作对象的信息；

使所述信息输出部显示表示基于所述车辆够执行的驾驶支援的程度的所述乘客的状态的候补的全部信息，并且使所显示的表示所述乘客的状态的候补的全部信息中的、表示与所执行的所述车辆的驾驶支援的程度对应的所述乘客的状态的候补的信息比其他表示所述乘客的状态的候补的信息加强显示。

Images