CN111656423A - 信息处理装置、移动装置、方法以及程序 - Google Patents

Abstract

本发明实现了一种配置，其中输入驾驶员信息和环境信息，并且其中估计表示自主驾驶中的驾驶员是否处于驾驶员能够执行安全的手动驾驶的状态的安全性指标值或能够返回到手动驾驶的时间。本发明包括：驾驶员信息获取单元，其获取诸如汽车的移动装置的驾驶员信息；环境信息获取单元，其获取移动装置的环境信息；以及安全性判定单元，其被输入驾驶员信息和环境信息，并且学习并计算表示自主驾驶中的移动装置中的驾驶员是否处于驾驶员能够执行安全的手动驾驶的状态的安全性指标值。安全性判定单元还估计能够返回手动驾驶的时间，其是自主驾驶中的移动装置中的驾驶员能够开始安全的手动驾驶之前的时间。

Description

信息处理装置、移动装置、方法以及程序

技术领域

本公开涉及信息处理装置、移动装置、方法以及程序。更具体地，本公开涉及用于执行控制以切换自动驾驶和手动驾驶的信息处理装置、移动装置、方法以及程序。

背景技术

近年来，与自动驾驶相关的技术得到了积极的发展。

自动驾驶技术是通过使用设置在车辆(汽车)中的诸如位置检测装置的各种传感器来使得能够在道路上自动行驶的技术，并且预测自动驾驶技术将在未来迅速普及。

但是，在当前状况下，自动驾驶处于发展阶段，认为将花费时间来实现100％的自动驾驶，并且预测，对于一段时间，将在适当地切换由驾驶员执行的自动驾驶和手动驾驶的同时执行行驶。

例如，预测将需要以在诸如高速道路的具有充分的道路宽度的直线道路上以自动驾驶模式进行行驶，并且在车辆从高速道路离开而停在停车场中的期望位置或者在具有窄的道路宽度的山路等上的情况下，执行切换到手动驾驶模式并根据由驾驶员执行的操作进行行驶的方式切换模式。

例如，在车辆执行自动驾驶的同时，驾驶员不需要将视线指向作为车辆行驶方向的向前方向，并且具有诸如打瞌睡、看电视、读书、或者面朝后坐并与坐在后座上的人交谈的行动的自由度。

在切换自动驾驶和手动驾驶而行驶的车辆中，在需要从自动驾驶模式切换到手动驾驶模式的情况下，需要使驾驶员开始手动驾驶。

然而，例如，在执行自动驾驶期间，如果驾驶员打瞌睡，则驾驶员的清醒度劣化。换句话说，意识水平已经劣化。如上所述，在降低的清醒度的状态下执行切换为手动驾驶模式的情况下，无法进行通常的手动驾驶，并且在最坏的情况下，有可能发生事故。

为了确保驾驶的安全性，需要在驾驶员清醒度高的状态下，换句话说，在驾驶员非常有意识的状态下，开始手动驾驶。

为此，需要检查驾驶员的清醒度。

专利文献1(日本专利No.4980988)是作为公开用于检查驾驶员的清醒度的技术的现有技术的示例。该文献公开了一种配置，其中通过使用驾驶员的诸如视线或瞳孔直径的面部信息或生物信息来估计驾驶员的注意力的劣化状态。

但是，包括专利文献1的现有技术没有公开控制从自动驾驶安全地恢复到手动驾驶所需的通知定时的配置。

在需要从自动驾驶模式切换到手动驾驶模式的情况下，需要发出通知以使驾驶员开始手动驾驶。

如果该通知定时过迟，则在驾驶员的清醒度较低的状态下，换句话说，在意识水平已经劣化的状态下，开始手动驾驶，并且存在事故的发生概率增大的问题。

引文列表

专利文献

专利文献1：日本专利No.4980988

发明内容

本发明要解决的问题

本公开是鉴于例如上述程序而做出的，并且本公开的目的是提供使得能够安全地执行从自动驾驶到手动驾驶的切换的信息处理装置、移动装置、方法和程序。

问题的解决方案

本公开的第一方面是：

一种信息处理装置，包括：安全性判定单元，其接收驾驶员信息和环境信息作为输入，并计算指示在自动驾驶期间车辆中的驾驶员是否处于能够执行安全的手动驾驶的状态的安全性指标值。

此外，本公开的第二方面是：

一种移动装置，包括：

驾驶员信息获取单元，其获取所述移动装置的驾驶员信息；

环境信息获取单元，其获取所述移动装置的环境信息；以及

安全性判定单元，其接收驾驶员信息和环境信息作为输入，并计算指示在自动驾驶期间所述移动装置中的驾驶员是否处于能够执行安全的手动驾驶的状态的安全性指标值。

此外，本公开的第三方面是：

一种由信息处理装置执行的信息处理方法，所述信息处理方法包括：

安全性判定单元接收驾驶员信息和环境信息作为输入，并执行用于计算指示在自动驾驶期间车辆中的驾驶员是否处于能够执行安全的手动驾驶的状态的安全性指标值的处理。

此外，本公开的第四方面是：

一种由移动装置执行的信息处理方法，所述信息处理方法包括：

驾驶员信息获取单元获取所述移动装置的驾驶员信息的驾驶员信息获取步骤；

环境信息获取单元获取所述移动装置的环境信息的环境信息获取步骤；以及

安全性判定单元接收驾驶员信息和环境信息作为输入，并计算指示在自动驾驶期间所述移动装置中的驾驶员是否处于能够执行安全的手动驾驶的状态的安全性指标值的安全性判定步骤。

此外，本公开的第五方面是：

一种使信息处理装置执行信息处理的程序，所述信息处理包括：

安全性判定单元接收驾驶员信息和环境信息作为输入，并计算指示在自动驾驶期间车辆中的驾驶员是否处于能够执行安全的手动驾驶的状态的安全性指标值。

注意，根据本公开的程序是例如可以由以计算机可读形式提供程序的存储介质或通信介质提供给可以执行各种程序代码的信息处理装置或计算机***的程序。通过以计算机可读形式提供这样的程序，在信息处理装置或计算机***上执行根据该程序的处理。

通过基于本公开的稍后描述的示例或附图的更详细的描述，将阐明本公开的其他目的、特征或优点。注意，这里描述的***是包括多个装置的逻辑集合的配置，并且并不总是在同一外壳中包括具有各自配置的装置。

发明的效果

通过采用本公开的一个示例中的配置，实现了一种配置，其中输入驾驶员信息和环境信息，并且估计指示正在执行自动驾驶的驾驶员是否处于能够执行安全的手动驾驶的状态或手动驾驶恢复可用时间的安全性指标值。

具体地，例如，该配置包括：驾驶员信息获取单元，其获取诸如汽车的移动装置的驾驶员信息；环境信息获取单元，其获取所述移动装置的环境信息；以及安全性判定单元，其接收驾驶员信息和环境信息作为输入、学习并计算指示自动驾驶期间移动装置中的驾驶员是否处于能够执行安全的手动驾驶的状态的安全性指标值。安全性判定单元还估计手动驾驶恢复可用时间，该手动驾驶恢复可用时间包括直到自动驾驶期间移动装置中的驾驶员能够开始安全的手动驾驶为止的时间。

通过采用这种配置，实现了输入驾驶员信息和环境信息，并且估计指示正在执行自动驾驶的驾驶员是否处于能够执行安全的手动驾驶的状态或手动驾驶恢复可用时间的安全性指标值的配置。

注意，这里描述的效果仅是说明性的而非限制性的，并且可以呈现附加效果。

附图说明

图1是说明根据本公开的移动装置的一种配置示例的图。

图2是说明在根据本公开的移动装置的显示单元上显示的数据的一个示例的图。

图3是说明由根据本公开的移动装置执行的处理的图。

图4是说明根据本公开的移动装置的配置示例的图。

图5是说明根据本公开的移动装置的配置示例的图。

图6是说明根据本公开的移动装置的传感器配置示例的图。

图7是示出由根据本公开的移动装置执行的从自动驾驶模式到手动驾驶模式的模式切换顺序的一个示例的图。

图8是示出说明自动驾驶的操作顺序的一个示例的流程图的图。

图9是示出已经时时设置或生成由驾驶员设置目的地而确定的自动驾驶允许/禁止区间的行驶路线的一个示例的图。

图10是说明行驶路线上的行驶区间显示的信息处理的图。

图11是示出最终进行的行驶区间显示的一个示例的图。

图12是示出行驶区间显示随时间经过的变化的示例(滚动的示例)的图。

图13是示出在平板终端装置(以下，简称为“平板电脑”)的画面上显示的行驶路线上的行驶区间显示的一个示例的图。

图14是示出驾驶员通过实际使用平板电脑来执行次要任务的状态的一个示例的图。

图15是示出在第二区间中新生成谨慎行驶区间Sd，并通过进行闪烁显示向驾驶员发出警告的状态的图。

图16是示出在平板电脑的屏幕上弹出小窗口的状态的图。

图17是说明安全性判定单元的具体配置示例和处理的图。

图18是示出说明学习处理的序列示例的流程图的图。

图19是示出说明学习处理的序列示例的流程图的图。

图20是说明学习器输入/输出数据的配置示例的图。

图21是示出说明在从自动驾驶模式切换到手动驾驶模式时执行的一系列处理的一个示例的流程图的图。

图22是说明与观察值相对应的可观测评估值与恢复延迟时间(＝手动驾驶恢复可用时间)之间的多条关系信息(观察图)的分布示例以及恢复成功率的图。

图23是说明根据驾驶员在自动驾驶模式下正在执行的处理类型(次要任务)的手动驾驶恢复可用时间的图。

图24是说明信息处理装置的硬件配置示例的图。

具体实施方式

下面参考附图描述根据本公开的信息处理装置、移动装置、方法和程序的细节。注意，根据以下描述的项目提供描述。

1.移动装置和信息处理装置的配置和处理的概述

2.移动装置的具体配置和处理示例

3.从自动驾驶模式到手动驾驶模式的模式切换顺序

4.自动驾驶的操作顺序示例

5.由移动装置执行的安全性确定处理和手动驾驶恢复可用时间估计处理

6.由根据本公开的移动装置和信息处理装置执行的处理的序列

7.信息处理装置的配置示例

8.根据本公开的配置的概述

[1.移动装置和信息处理装置的配置和处理的概述]

首先，参照图1和随后的附图描述移动装置和信息处理装置的配置和处理的概述。

根据本公开的移动装置例如是能够在切换自动驾驶和手动驾驶的同时行驶的汽车。

在这种汽车中，在需要从自动驾驶模式向手动驾驶模式切换的情况下，需要使驾驶员开始手动驾驶。

然而，在执行自动驾驶期间，由驾驶员执行各类型型的处理(次要任务)。

例如，简单地从方向盘释放手包括类似于驾驶时驾驶员注视汽车前方的情况、驾驶员读书的情况或者驾驶员打瞌睡的情况。

驾驶员的清醒度(意识水平)由于这些处理之间的差异而改变。

例如，如果驾驶员打瞌睡，则驾驶员的清醒度劣化。换句话说，意识水平已经劣化。在清醒度已经劣化的状态下，如上所述，不能执行正常的手动驾驶。如果在这种状态下执行向手动驾驶模式的切换，在最坏的情况下，有可能发生事故。

为了确保驾驶的安全性，需要在驾驶员清醒度高的状态下，换句话说，在驾驶员非常有意识的状态下，开始手动驾驶。

为此，需要根据在执行自动驾驶期间驾驶员的清醒度来改变发出从自动驾驶切换到手动驾驶的请求的通知定时。

例如，在执行自动驾驶期间驾驶员面向前方并且正在看着道路的情况下，驾驶员具有高的清醒度，换句话说，驾驶员可以在任何时间开始手动驾驶。

在这种情况下，在需要手动驾驶的时间之前的时刻发出切换到手动驾驶的通知就足够了。这是因为驾驶员能够立即开始安全的手动驾驶。

然而，在执行自动驾驶期间驾驶员正在打瞌睡的情况下，驾驶员具有极低的清醒度。

在这种情况下，如果在需要手动驾驶的时间之前的时刻就发出切换到手动驾驶的通知，则驾驶员必须在无意识的状态下开始手动驾驶。这导致事故发生的可能性增加。因此，在清醒度低的情况下，如上所述，需要在较早阶段发出切换到手动驾驶的通知。

根据本公开的移动装置或能够安装在移动装置中的信息处理装置例如根据驾驶员的清醒度来控制切换到手动驾驶的通知的定时。

此外，在本公开的一个示例中，除了诸如清醒度的驾驶员信息之外，还通过使用诸如移动装置的行驶时间、驾驶员操作信息、道路的环境信息等的信息或者与过去发生的事故有关的信息来计算切换到手动驾驶的通知的最佳定时。

例如，在本公开的一个示例中，执行学习处理以通过使用上述信息(即，诸如移动装置的行驶时间、驾驶员操作信息、道路的环境信息等的信息或者与过去发生的事故有关的信息)中的每一条来计算清醒度，并且作为学习处理的结果计算最佳通知定时。

注意，学习处理可以在用作移动装置的汽车中执行，或者可以在能够与用作移动装置的汽车通信的服务器中执行。

此外，在本公开的一个示例中，在上述通知定时计算处理中，考虑与个体驾驶员有关的信息(即驾驶历史、事故历史、驾驶员的手动驾驶开始之后的驾驶操作信息)以及与汽车的类型有关的信息等，来执行处理。

此外，还使用了乘员的数量或与装载货物有关的信息。

注意，在使用许多类型的信息的情况下，可以在许多类型的信息已经根据数据特性被分类为用于高级学习的信息和用于在线学习的信息的状态下使用许多类型的信息。

参照图1和以下的附图，对根据本公开的移动装置和能够安装于该移动装置中的信息处理装置的配置和处理进行说明。

图1是示出作为根据本公开的移动装置的一个示例的汽车10的一个配置示例的图。

根据本公开的信息处理装置被安装在图1所示的汽车10上。

图1所示的汽车10是能够以手动驾驶模式和自动驾驶模式这两种驾驶模式驾驶的汽车。

在手动驾驶模式中，基于驾驶员20执行的操作，即方向盘执行的操作或加速器、制动器等执行的操作，来进行行驶。

相反，在自动驾驶模式中，驾驶员20不需要执行操作，并且基于来自例如位置传感器、其他周边信息检测传感器等的传感器信息来执行驾驶。

位置传感器例如是GPS接收器等，并且周边信息检测传感器例如是相机、超声波传感器、雷达、光检测和测距或激光成像检测和测距(LiDAR)、声纳等。

注意，图1是说明本公开的概述的图，并且示意性地示出了主要组件。详细的配置将在后面描述。

如图1所示，汽车10包括数据处理单元11、驾驶员信息获取单元12、环境信息获取单元13、通信单元14和通知单元15。

驾驶员信息获取单元12获取例如用于确定驾驶员的清醒度的信息、驾驶员操作信息等。具体地，驾驶员信息获取单元12包括例如捕获驾驶员的面部图像的相机、各操作单元(诸如方向盘、加速器或制动器)的操作信息获取单元等。

环境信息获取单元13获取汽车10的行驶环境信息。示例包括汽车的前侧、后侧、左侧和右侧的图像信息、来自GPS的位置信息、来自光检测和测距或激光成像检测和测距(LiDAR)、声纳等的与周围障碍物有关的信息等。

数据处理单元11接收由驾驶员信息获取单元12获取的驾驶员信息或由环境信息获取单元13获取的环境信息作为输入，并计算指示自动驾驶期间车辆内的驾驶员是否能够执行安全的手动驾驶、手动驾驶期间驾驶员是否正在执行安全驾驶等的安全性指标值。

此外，例如，在需要从自动驾驶模式切换到手动驾驶模式的情况下，以执行切换到手动驾驶模式的方式执行用于经由通知单元15发出通知的处理。

假定该通知处理的定时是例如通过对驾驶员信息获取单元12和环境信息获取单元13进行输入而计算出的最佳定时。

换句话说，假定使用驾驶员20可以开始安全的手动驾驶的定时。

具体地，在驾驶员具有高清醒度的情况下，就在手动驾驶开始时间之前，例如，在五秒之前，发出通知。在驾驶员具有低的清醒度的情况下，以有富裕的时间执行处理，例如，以在手动驾驶开始时间之前20秒发出通知的方式执行处理。稍后描述最佳通知定时的具体计算。

通知单元15包括显示单元、声音输出单元、或者方向盘或座椅的发出该通知的振动器。

在图2中示出了在配置通知单元15的显示单元上进行的警告显示的示例。

如图2所示，在显示单元30上进行下面描述的各个显示。

驾驶模式信息＝"自动驾驶"，

警告显示＝"请切换到手动驾驶"。

在显示驾驶模式信息的区域中，在执行自动驾驶模式期间显示"自动驾驶"，并且在执行手动驾驶模式期间显示"手动驾驶"。

在显示警告显示信息的区域中，是在自动驾驶模式下执行自动驾驶的同时进行下述显示的显示区域。

"请切换到手动驾驶"

另外，如图1所示，汽车10具有能够经由通信单元14与服务器30进行通信的配置。

例如，可以在服务器30中执行由数据处理单元11执行的用于计算输出通知的适当时间的处理的一部分，并且具体地，执行学习处理。

稍后描述这种情况的具体示例。

图3是示出由根据本公开的移动装置或信息处理装置执行的处理的具体示例的图。

图3是示出设置在自动驾驶模式下执行自动驾驶期间请求切换到手动驾驶的通知的适当定时的示例的图，并且示出了通知处理的下述两个示例。

(a)在执行自动驾驶期间驾驶员具有高的清醒度的情况下的通知处理

(b)在执行自动驾驶期间驾驶员具有低的清醒度的情况下的通知处理

示例(a)是在执行自动驾驶期间驾驶员面向前方并且正在看着道路的示例。在这种情况下，驾驶员具有高的清醒度，换句话说，驾驶员可以在任何时间开始手动驾驶。

在这种情况下，即使就在需要手动驾驶的时间之前的时刻发出切换到手动驾驶的通知，驾驶员也可以立即开始安全的手动驾驶。

在示例(b)中，例如，在执行自动驾驶期间驾驶员正在打瞌睡的情况下，驾驶具有极低的清醒度。

在这种情况下，如果就在需要手动驾驶的时间之前的时刻发出切换到手动驾驶的通知，则驾驶员在无意识的状态下开始手动驾驶，并且发生事故的可能性高。因此，在清醒度低的情况下，如上所述，需要在较早阶段发出切换到手动驾驶的通知。

[2.移动装置的具体配置和处理示例]

接下来，参考图4和随后的附图描述根据本公开的移动装置10的具体配置和处理示例。

图4示出了移动装置100的配置示例。注意，在下文中，在将设置有移动装置100的车辆与其他车辆区分开的情况下，将设置有移动装置100的车辆称为本车或本车辆。

移动装置100包括输入单元101、数据获取单元102、通信单元103、车内装置104、输出控制器105、输出单元106、驱动***控制器107、驱动***108、主体***控制器109、主体***110、存储装置111和自动驾驶控制器112。

输入单元101、数据获取单元102、通信单元103、输出控制器105、驱动***控制器107、主体***控制器109、存储装置111以及自动驾驶控制器112经由通信网络121相互连接。通信网络121例如包括符合任意标准的车载通信网络，诸如控制器区域网络(CAN)、局域互联网络(LIN)、局域网(LAN)或FlexRay(注册商标)、总线等。注意，在一些情况下，移动装置100的各个单元在没有通信网络121的情况下直接连接。

另外，以下，在移动装置100的各个单元经由通信网络121执行通信的情况下，省略通信网络121的说明。例如，在输入单元101和自动驾驶控制器112经由通信网络121执行通信的情况下，简单地描述输入单元101和自动驾驶控制器112执行通信。

输入单元101包括乘客用来输入各类型型的数据、指令等的装置。例如，输入单元101包括诸如触摸面板、按钮、麦克风、开关或操纵杆的操作装置、可以通过使用诸如声音或手势的手动操作以外的方法来执行输入操作的操作装置等。此外，例如，输入单元101可以是使用红外线或其他无线电波的遥控装置，或者是与移动装置100的操作相对应的外部连接装置，诸如移动装置或可穿戴装置。输入单元101基于乘客输入的数据、指令等生成输入信号，并将该输入信号提供给移动装置100的各个单元。

数据获取单元102包括获取在由移动装置100执行的处理中使用的数据的各种传感器等，并且将所获取的数据提供给移动装置100的各个单元。

例如，数据获取单元102包括检测本车的状态的各种传感器等。具体地，例如，数据获取单元102包括陀螺仪传感器、加速度传感器、惯性测量单元(IMU)、检测在加速器踏板上执行的操作量、在制动踏板上执行的操作量、方向盘的转向角、发动机速度、马达的转速、车轮的转速等的传感器。

此外，例如，数据获取单元102包括检测与本车的外部有关的信息的各种传感器。具体地，例如，数据获取单元102包括成像装置，诸如飞行时间(ToF)相机、立体相机、单目相机、红外相机或其他相机。此外，例如，数据获取单元102包括检测天气、气象现象等的环境传感器，以及检测本车周围的物体的周边信息检测传感器。环境传感器包括例如雨滴传感器、雾传感器、阳光传感器、雪传感器等。周边信息检测传感器包括例如超声波传感器、雷达、光检测和测距或激光成像检测和测距(LiDAR)、声纳等。

例如，图5示出了检测与本车的外部有关的信息的各种传感器的安装示例。例如，在车辆7900的前鼻、侧视镜、后保险杠、后门或车厢中的挡风玻璃的上部中的至少一个位置中设置成像装置7910、7912、7914、7916和7918。

包括在前鼻中的成像装置7910和包括在车厢中的挡风玻璃的上部中的成像装置7918主要获取车辆7900的前侧的图像。侧视镜中包括的成像装置7912和7914主要获取车辆7900的侧面的图像。包括在后保险杠或后门中的成像装置7916主要获取车辆7900的后侧的图像。包括在车厢中的挡风玻璃的上部中的成像装置7918主要用于检测前行车辆、或行人、障碍物、交通灯、交通标志、车道等。此外，在将来的自动驾驶中，当车辆右转或左转时，可以将使用扩展到在更宽范围内的右转或左转之后穿过道路的行人，并且进一步扩展到接近人行横道的物体的范围。

注意，图5示出了成像装置7910、7912、7914和7916中的每一个的图像捕获范围的一个示例。成像范围a表示设置在前鼻的成像装置7910的成像范围，成像范围b和c分别表示设置在侧视镜的成像装置7912和7914的成像范围，成像范围d表示设置在后保险杠或后门的成像装置7916的成像范围。例如，通过将由成像装置7910、7912、7914和7916捕获的图像数据彼此叠加，获取从上方观看车辆7900的俯瞰图像、车辆周边被曲面包围的全周立体显示图像等。

设置在车辆7900的前部、后部、侧部、拐角和车厢中的挡风玻璃的上部的传感器7920、7922、7924、7926、7928和7930可以是例如超声波传感器或雷达。设置在车辆7900的前鼻、后保险杠、后门和车厢中的挡风玻璃的上部的传感器7920、7926和7930可以是例如LiDAR。这些传感器7920到7930主要用于检测前行车辆、行人、障碍物等。这些检测结果可以进一步用于改善上述俯瞰显示或全周立体显示中的立体物体的显示。

返回图4，继续对各个组件的描述。数据获取单元102包括检测本车的当前位置的各种传感器。具体地，例如，数据获取单元102包括从GNSS卫星接收GNSS信号的全球导航卫星***(GNSS)接收器等。

此外，例如，数据获取单元102包括检测车内信息的各种传感器。具体地，例如，数据获取单元102包括对驾驶员进行成像的成像装置、检测驾驶员的生物信息的生物传感器、收集车厢中的声音的麦克风等。生物传感器例如设置在座椅表面、方向盘等上，并且检测坐在座椅上的乘客的就座状态或保持方向盘的驾驶员的生物信息。作为生物信号，可以使用多样化可观测的数据，诸如心率、脉搏率、血流、呼吸、心身相关性、视觉刺激、脑电波、出汗状况、头部、眼睛的姿势和行为、注视、眨眼、扫视、微扫视、固视、漂移、凝视、或虹膜的瞳孔反应。这些反映可观测驾驶状态的生物体活动可观测信息由后述的安全性判定单元155使用，以基于作为通过观察而估计的可观测评估值而汇总的、与评估值的日志相关联的恢复延迟时间特性，计算作为对应的驾驶员的恢复延迟事例的固有特性的恢复通知定时。

图6示出包括在数据获取单元102中并获取与车辆中的驾驶员有关的信息的各种传感器的示例。例如，数据获取单元102包括ToF相机、立体相机、座椅应变仪等作为检测驾驶员的位置或姿势的检测器。此外，数据获取单元102包括面部(头部)识别装置、驾驶员眼睛追踪器、驾驶员头部追踪器等作为获取驾驶员的生物体活动可观测信息的检测器。

此外，数据获取单元102包括作为获取驾驶员的生物体活动可观测信息的检测器的生命信号检测器。此外，数据获取单元102包括驾驶员识别单元。注意，使用密码、个人识别号等的知识认证和使用面部、指纹、瞳孔的虹膜、声波纹等的生物认证也可以被考虑作为认证方法。

通信单元103与车内装置104以及各种车外装置、服务器、基站等执行通信，并发送从移动装置100的各个单元提供的数据或将接收到的数据提供给移动装置100的各个单元。注意，通信单元103所支持的通信协议不受特别限制，并且通信单元103还可以支持多类型型的通信协议。

例如，通信单元103通过使用无线LAN、蓝牙(注册商标)、近场通信(NFC)、无线USB(WUSB)等与车内装置104执行无线通信。此外，例如，通信单元103通过使用通用串行总线(USB)、高清晰度多媒体接口(HDMI)(注册商标)、移动高清晰度链路(MHL)等，经由未示出的连接端子(以及如果需要的话，线缆)与车内装置104执行有线通信。

此外，例如，通信单元103经由基站或接入点与存在于外部网络(例如，因特网、云网络或公司专用网络)上的装备(例如，应用服务器或控制服务器)执行通信。此外，例如，通信单元103通过使用对等(P2P)技术与存在于本车附近的终端(例如，行人或商店的终端，或机器类型通信(MTC)终端)执行通信。

此外，例如，通信单元103执行诸如车辆与车辆间通信、车辆与基础设施间通信、车辆与家庭间通信或车辆与行人间通信的V2X通信。此外，例如，通信单元103包括信标接收器，接收从设置在道路上的无线站等发送的无线电波或电磁波，并且获取与当前位置、交通堵塞、交通管制、所需时间等有关的信息。注意，可以经由通信单元与作为先导车辆并且在区间中行驶的前方行驶车辆进行配对，可以获取由安装于前行车辆中的数据获取单元获取的信息作为向前行驶期间的信息，并可以将其用于本车的数据获取单元102的补充数据。特别是，在使用先导车辆的纵列行驶等中，实现了进一步确保后续线路的安全性的手段。

车内装置104例如包括乘客所持有的移动装置(平板电脑、智能电话等)或可穿戴装置、被携带或安装到本车的信息装置、搜索到任意目的地的路线的导航装置等。注意，如果考虑到由于自动驾驶的普及，乘员不总是固定在就坐固定位置，则用途将来可以扩展到可以以从视频再现装置、游戏装备或其他车辆安装可拆卸的方式使用的装备。在本示例中，通过使用仅向对应的驾驶员呈现与需要驾驶员的干预的地点有关的信息的示例来提供描述。然而，该信息可以进一步提供给纵列行驶中的后续车辆等，此外，通过不断地向客运共乘公共汽车或长途配送商用车辆的运行管理中心提供该信息，可以实现与远程行驶支持的适当组合的使用。

输出控制器105控制向本车的乘客或车辆外部输出各类型型的信息。例如，输出控制器105通过生成包括视觉信息或听觉信息中的至少一个的输出信号并将该输出信号提供给输出单元106，来控制来自输出单元106的视觉信息(例如，图像数据)和听觉信息(例如，声音数据)的输出。具体地，例如，输出控制器105组合由数据获取单元102中彼此不同的成像装置捕获的图像数据，生成俯瞰图像、全景图像等，并且将包括所生成的图像的输出信号提供给输出单元106。此外，例如，输出控制器105针对诸如碰撞、接触或进入危险区域的危险生成包括警告声音、警告消息等的声音数据，并且将包括所生成的声音数据的输出信号提供给输出单元106。

输出单元106包括能够向本车的乘客或车辆外部输出视觉信息或听觉信息的装置。例如，输出单元106包括显示装置、仪表板、音频扬声器、耳机、乘客佩戴的诸如眼镜型显示器的可穿戴装置、投影仪、灯等。例如，输出单元106中包括的显示装置可以是包括正常显示器的装置，或者可以是在驾驶员的视野中显示听觉信息的装置，诸如平视显示器、透射型显示器或具有增强现实(AR)显示功能的装置。

驱动***控制器107通过生成各种控制信号并将各种控制信号提供给驱动***108来控制驱动***108。此外，驱动***控制器107根据需要向驱动***108以外的各个单元提供控制信号，并且发出对驱动***108的控制状态的通知等。

驱动***108包括与本车的驱动***相关的各种装置。例如，驱动***108包括产生驱动力的驱动力生成装置(诸如内燃机或驱动马达)、将驱动力传递到车轮的驱动力传递机构、调节转向角的转向机构、生成制动力的制动装置、防抱死制动***(ABS)、电子稳定控制(ESC)、电动转向装置等。

主体***控制器109通过生成各种控制信号，并将各种控制信号提供给主体***110来控制主体***110。此外，主体***控制器109根据需要向主体***110以外的各个单元提供控制信号，并且发出对主体***110的控制状态的通知等。

主体***110包括装配在车身中的主体***的各种装置。例如，主体***110包括无钥匙进入***、智能钥匙***、电动车窗装置、电动座椅、方向盘、空调、各种灯(例如，头灯、尾灯、刹车灯、转向信号、雾灯等)等。

存储装置111包括例如只读存储器(ROM)、随机存取存储器(RAM)、诸如硬盘驱动器(HDD)的磁存储装置、半导体存储装置、光存储装置、磁光存储装置等。存储装置111存储由移动装置100的各个单元所使用的各种程序、数据等。例如，存储装置111存储地图数据，诸如三维高精度地图(例如动态地图)、具有较低精度并且覆盖比高精度地图更宽的区域的全局地图、或者包括与本车的周围有关的信息的本地地图。

自动驾驶控制器112执行与自动驾驶相关的控制，诸如自主行驶或驾驶支持。具体地，例如，自动驾驶控制器112执行旨在实现包括本车的碰撞避免或冲击减轻、基于车辆之间的距离的跟随行驶、车速维持行驶、本车的碰撞警告、本车的车道偏离警告等的高级驾驶员辅助***(ADAS)的功能的协同控制。此外，例如，自动驾驶控制器112执行旨在用于独立于驾驶员执行的操作的自主行驶的自动驾驶等的协作控制。自动驾驶控制器112包括检测单元131、自身位置估计单元132、状况分析器133、规划单元134和动作控制器135。

检测单元131检测控制自动驾驶所需的各类型型的信息。检测单元131包括车外信息检测单元141、车内信息检测单元142以及车辆状态检测单元143。

车外信息检测单元141基于来自移动装置100的各个单元的数据或信号执行用于检测与本车的车外有关的信息的处理。例如，车外信息检测单元141执行用于检测本车周围的物体的处理、识别处理和跟踪处理，以及用于检测与物体之间的距离和相对速度的处理。作为待检测的物体的示例包括车辆、人、障碍物、构造物、道路、交通灯、交通标识、道路标识等。

此外，例如，车外信息检测单元141进行用于检测本车的周围环境的处理。待检测的周围环境的示例包括天气、气温、湿度、亮度、路面状态等。车外信息检测单元141将表示检测处理结果的数据提供给自身位置估计单元132、地图分析器151、状况分析器133的交通规则识别器152和状况识别器153、动作控制器135的紧急情况回避单元171等。

对于车外信息检测单元141获取的信息，如果作为能够进行自动驾驶行驶的区间的行驶区间是从基础设施集中地提供不断更新的本地动态地图的区间，则主要可以从基础设施提供信息。或者，可以在侵入到对应的区间之前，从在该区间行驶的先行的车辆或车辆组预先不断更新信息的状态下进行行驶。此外，例如，在本地动态地图不是通过基础设施不断更新到最新版本的情况下，或者在其他情况下，特别是在纵列行驶等情况下，为了获取就在更安全的侵入区间之前的道路信息，可以进一步补充地使用从已经侵入一区间的先导车辆获取的道路环境信息。在许多情况下，根据从基础设施提供的这些预先信息的存在与否来确定是否可以在区间中执行自动驾驶。从基础设施提供的关于路线的自动驾驶可用性信息大致相当于提供不可见的轨迹作为所谓的"信息"。注意，为了方便起见，在车外信息检测单元141安装在本车辆中的假设下示出车外信息检测单元141。然而，通过使用由前行车辆获取的作为"信息"的信息，可以进一步提高行驶期间的预先可预测性。

车内信息检测单元142基于来自移动装置100的各个单元的数据或信号，进行用于检测车内信息的处理。例如，车内信息检测单元142执行用于认证和识别驾驶员的处理、用于检测驾驶员的状态的处理、用于检测乘客的处理、用于检测车内环境的处理等。要检测的驾驶员的状态的示例包括身体状况、清醒度、专注度、疲劳度、视线方向、详细的眼球行为等。

此外，预期将来将在驾驶员从驾驶转向任务完全脱离的状态下使用自动驾驶。驾驶员将临时打瞌睡或者将开始其他任务，并且***将需要掌握恢复到驾驶所需的意识的清醒和恢复已经进展到什么程度。换句话说，传统上提出的驾驶员监视***主要包括用于监视诸如困倦的意识劣化的检测手段。然而，将来，驾驶员根本不会干预驾驶转向。因此，***将不包括用于基于转向装置等的转向稳定性直接观察驾驶员驾驶中的干预程度的手段，并且将需要观察驾驶所需的意识的恢复从驾驶员的准确意识状态未知的状态的转变，掌握驾驶员的准确内部清醒状态，并且推进从自动驾驶转向到手动驾驶的干预转移。

因此，车内信息检测单元142主要具有重要的两级作用。第一个作用是在自动驾驶期间对驾驶员状态的被动监视，第二个作用是对驾驶员周围的认知、感知和确定，以及进一步对转向装置达到在从***发出恢复请求之后并且在到达谨慎驾驶区间之前可以执行手动驾驶的水平的可操作性的检测和确定。作为控制，可以进一步对整个车辆执行故障自诊断。在由于自动驾驶功能的一部分发生故障而导致车辆的自动驾驶功能劣化的情况下，可以类似地促使驾驶员尽早恢复到手动驾驶。这里，被动监视是指不请求来自驾驶员的意识的响应反应的检测手段，并且不排除从装置发射物理无线电波、光等并检测响应信号的检测手段。换句话说，涉及对在小睡等期间没有意识的驾驶员的状态的监视，并且假定不是驾驶员的认知响应反应的类别是被动方法。不排除分析和评估由于施加无线电波、红外线等引起的反射或漫射信号的主动响应装置。相反，用于对请求来自驾驶员的响应反应的意识响应进行请求的手段是主动的。

待检测的车内环境的示例包括气温、湿度、亮度、气味等。车内信息检测单元142将指示检测处理的结果的数据提供给状况分析器133的状况识别器153和动作控制器135。注意，在发现***向驾驶员发出驾驶恢复指示后，驾驶员到正确的截止时间之前无法实现手动驾驶，并且确定即使在维持自驾驶并执行时间延迟的状态下执行减速控制也没有及时执行接管的情况下，向***的紧急情况回避单元171等发出指示，并开始减速/后退/停止过程，以使车辆后退。换句话说，即使在不及时使其作为初始状态的情况下，也能够通过使车辆尽早开始减速来获得到达接管极限的到达时间。

车辆状态检测单元143根据来自移动装置100的各个单元的数据或信号，执行用于检测本车的状态的处理。作为待检测对象的本车的状态的示例包括速度、加速度、转向角、异常的有无及内容、驾驶操作的状态、电动座椅的位置及倾斜、门锁的状态、其他车载装置的状态等。车辆状态检测单元143将指示检测处理的结果的数据提供给状况分析器133的状况识别器153、动作控制器135的紧急情况回避单元171等。

自身位置估计单元132基于来自移动装置100的各个单元(例如车外信息检测单元141、状况分析器133的状况识别器153等)的数据或信号，执行用于估计本车的位置、姿势等的处理。此外，自身位置估计单元132根据需要生成用于估计自身位置的局部地图(以下称为自身位置估计地图)。

例如，假设自身位置估计地图是使用诸如同时定位与地图绘制(SLAM)的技术的高精度地图。自身位置估计单元132将指示估计处理的结果的数据提供给状况分析器133的地图分析器151、交通规则识别器152和状况识别器153等。此外，自身位置估计单元132将自身位置估计地图存储在存储装置111中。

状况分析器133执行用于分析本车和周围的状况的处理。状况分析器133包括地图分析器151、交通规则识别器152、状况识别器153、状况预测单元154和安全性判定单元155。

地图解析器151根据需要通过使用来自移动装置100的各个单元(例如自身位置估计单元132、车外信息检测单元141等)的数据或信号执行用于对存储在存储装置111中的各种地图进行分析的处理，并且构建包括自动驾驶处理所需的信息的地图。地图分析器151将所构建的地图提供给规划单元134的交通规则识别器152、状况识别器153、状况预测单元154、路线规划单元161、行动规划单元162和运动规划单元163等。

交通规则识别器152基于来自移动装置100的各个单元(例如自身位置估计单元132、车外信息检测单元141、地图分析器151等)的数据或信号，执行用于识别本车周围的交通规则的处理。在该识别处理中，例如，识别本车周围的交通灯的位置和状态、本车周围的交通管制的内容、可行驶的交通车道等。交通规则识别器152将指示识别处理的结果的数据提供给状况预测单元154等。

状况识别器153基于来自移动装置100的各个单元(例如自身位置估计单元132、车外信息检测单元141、车内信息检测单元142、车辆状态检测单元143、地图分析器151等)的数据或信号，执行用于识别与本车相关的状况的处理。例如，状况识别器153执行用于识别本车的状况、本车周围的状况、本车的驾驶员的状况等的处理。此外，状况识别器153根据需要生成用于识别本车周围的状况的本地地图(下文中称为状况识别地图)。例如，假设状况识别地图是占有栅格地图。

作为待识别对象的本车的状况的示例包括本车的位置、姿势、移动(例如，速度、加速度、移动方向等)以及决定本车的运动特性的货物的装载量或由于货物的装载而导致的车身重心的移动、轮胎气压、根据车辆固有并且进一步装载的货物固有的状况(诸如根据制动衬块磨损状况而产生的制动距离的移动、为了防止在负载制动时产生的货物移动而允许的最大减速制动、根据液体载置物的曲线行驶中的离心松弛极限速度)以及即使在诸如路面磨损系数、杆曲线或坡度的完全相同的道路环境下车辆自身的特性、以及负载等的控制变化所需的恢复开始定时。因此，需要收集、学***而期望的恢复的宽限时间的增加的参数设置为固定值，但并不一定采用用于统一地确定自累积学习中的所有通知定时确定条件的方法。

作为待识别对象的本车周围的状况的示例包括周围静止物体的类型和位置、周围移动物体的类型、位置和移动(例如速度、加速度、移动方向等)、周围道路的构成和路面状态、天气、气温、湿度、周围的亮度等。作为待识别对象的驾驶员的状态的示例包括身体状况、清醒度、专注度、疲劳度、视线的移动、驾驶操作等。为了使车辆安全行驶，要处理的控制开始点根据在车辆固有的状态下装载的装载量、安装部被固定到底盘的状态、重心的偏心状态、最大减速可用加速度值、最大负载可用离心力、根据驾驶员的状态的恢复响应延迟量等显著地改变。

状况识别器153将指示识别处理的结果的数据(根据需要，包括状况识别地图)提供给自身位置估计单元132、状况预测单元154等。此外，状况识别器153将状况识别地图存储在存储装置111中。

状况预测单元154基于来自移动装置100的各个单元(例如地图分析器151、交通规则识别器152、状况识别器153等)的数据或信号，执行用于预测与本车相关的状况的处理。例如，状况预测单元154执行用于预测本车的状况、本车周围的状况、驾驶员的状况等的处理。

作为待预测对象的本车的状况的示例包括本车的行为、异常的发生、可行驶距离等。作为待预测对象的本车周围的状况的示例包括本车周围的移动物体的行为、交通灯的状态变化、诸如天气的环境的变化等。作为待预测对象的驾驶员的状况的示例包括驾驶员的行为、身体状况等。

状况预测单元154将表示预测处理结果的数据与来自交通规则识别器152和状况识别器153的数据一起提供给计划单元134的路线计划单元161、行动计划单元162和动作计划单元163等。

安全性判定单元155根据驾驶员的恢复行动模式、车辆特性等来学习最佳的恢复定时，并将学习到的信息提供给状况识别器153等。由此，例如，能够向驾驶员呈现统计获得的以预定的一定比率以上驾驶员正常从自动驾驶恢复到手动驾驶所需的最佳定时。

路线计划单元161基于来自移动装置100的各个单元(例如地图分析器151、状况预测单元154等)的数据或信号计划到目的地的路线。例如，路线计划单元161基于全球地图，设置从当前位置到指定目的地的路线。此外，例如，路线计划单元161基于交通堵塞、事故、交通限制、作业状况等、驾驶员的身体状况等，适当地变更路线。路线计划单元161将表示所计划的路线的数据提供给行动计划单元162等。

行动计划单元162根据来自移动装置100的各个单元(例如地图分析器151、状况预测单元154等)的数据或信号，计划在计划时间内安全行驶在由路线计划单元161计划的路线上的本车的行动。例如，行动计划单元162计划出发、停止、行驶方向(例如前进、后退、左转、右转、方向转换等)、行驶车道、行驶速度、通过等。行动计划单元162将表示计划的本车的行动的数据提供给动作计划单元163等。

动作计划单元163基于来自移动装置100的各个单元(例如地图分析器151、状况预测单元154等)的数据或信号，计划用于实现由行动计划单元162计划的行动的本车的动作。例如，动作计划单元163计划加速度、减速度、行驶轨迹等。动作计划单元163将表示计划的本车的动作的数据提供给动作控制器135的加减速控制器172和方向控制器173等。

动作控制器135控制本地的动作。动作控制器135包括紧急情况回避单元171、加减速控制器172和方向控制器173。

紧急情况回避单元171基于车外信息检测单元141、车内信息检测单元142以及车辆状态检测单元143的检测结果，执行用于检测诸如碰撞、接触、进入危险区域、驾驶员的异常、车辆的异常的紧急情况的处理。紧急情况回避单元171在检测到发生紧急情况的情况下，计划本车用于回避紧急情况的动作，诸如急停或急转弯。紧急情况回避单元171将表示计划的本车的动作的数据提供给加减速控制单元172、方向控制单元173等。

加减速控制器172控制加减速，以实现由动作计划单元163或紧急情况回避单元171计划的本车的动作。例如，加减速控制器172计算用于实现所计划的加减速或急停而对驱动力生成器或制动装置的控制目标值，并将表示计算出的控制目标值的控制命令提供给驱动***控制器107。注意，主要有两种可能发生紧急情况的情况。具体而言，存在在由基础设施所获取的本地动态地图等中自动驾驶期间的行驶路线上，最初被判定为安全的道路上自动驾驶期间，由于意外的原因而发生意外事故并且无法及时执行紧急恢复的情况，以及驾驶员难以从自动驾驶准确地恢复到手动驾驶的情况。

方向控制器173控制用于实现由动作计划单元163或紧急情况回避单元171计划的本车的动作的方向。例如，方向控制器173计算用于实现由动作计划单元163或紧急情况回避单元171计划的行驶轨迹或急转弯而对转向机构的控制目标值，并将表示计算出的控制目标值的控制命令提供给驱动***控制器107。

[3.从自动驾驶模式到手动驾驶模式的模式切换的顺序]

接下来，描述从自动驾驶模式到手动驾驶模式的接管顺序。

图7示意性地示出由自动驾驶控制器112执行的从自动驾驶模式到手动驾驶模式的模式切换的顺序的一个示例。

在步骤S1中，驾驶员处于从驾驶转向完全脱离的状态。例如，在这种状态下，驾驶员可以执行诸如小睡、观看视频、专注于游戏或者使用诸如平板电脑或智能电话的视觉工具的任务的次要任务。可以想到，使用诸如平板电脑或智能电话的视觉工具的任务例如在驾驶员座位已经移位的状态下或者在与驾驶员座位不同的座位中执行。

根据驾驶员的这些状态，当驾驶员接近路线上的要求恢复到手动驾驶的区间时，预期驾驶员恢复所需的时间将根据当前任务的内容而显著改变。如果就在事件到来之前发出通知，则恢复所需的时间不足，或者在事件到来之前为了确保余量而过早发出通知的情况下，到恢复实际所需的定时为止的时间过长。如果因此导致未在准确的定时发出通知的情况反复发生，***的通知定时的定时可靠性降低，驾驶员降低了通知的意识，结果，驾驶员忽视了采取准确的措施，并且这将导致接管失败的风险性高，并妨碍可靠地执行次要任务。因此，为了使驾驶员响应于通知而开始用于驾驶恢复的准确措施，***需要优化通知定时。

如上参考图2所述，步骤S2指示手动驾驶恢复请求通知的定时。通过使用诸如振动的动态方式或以视觉或听觉的方式向驾驶员发出驾驶恢复的通知。例如，自动驾驶控制器112监视驾驶员的稳定状态，掌握通知的定时，并且在适当的定时发出通知。换句话说，期望在前阶段被动监视时段期间，不断且被动地监视驾驶员执行次要任务的状态，***可以计算通知的最佳定时，不断且连续地执行步骤S1时段期间的被动监视，并且使恢复定时和恢复通知匹配驾驶员固有的恢复特性。

换句话说，期望学习根据驾驶员的恢复行动模式、车辆的特性等的最佳恢复定时，并且向驾驶员呈现统计获得的以预定的一定比率以上驾驶员正常从自动驾驶恢复到手动驾驶所需的最佳定时。在这种情况下，在驾驶员在一定时间段期间没有对通知做出响应的情况下，使用发出报警声等来发出警告。

在步骤S3中，检查驾驶员是否已经进行了就坐恢复。在步骤S4中，通过分析面部或眼球的行为(诸如扫视)来检查驾驶员的内部清醒度的状态。在步骤S5中，监测驾驶员的实际转向情况的稳定性。然后，在步骤S6中，完成从自动驾驶到手动驾驶的接管。

[4.自动驾驶的操作顺序示例]

接下来，参照图8所示的流程图描述自动驾驶的操作顺序的一个示例。

图8所示的流程图是用于说明实现移动装置100的自动驾驶的操作顺序的流程图。

首先，在步骤S11中，执行驾驶员认证。该驾驶员认证是通过使用利用密码、个人识别号等的知识认证，或者利用面部、指纹、瞳孔的虹膜、声波纹等的生物认证，或者通过使用知识认证和生物认证两者来执行的。通过进行驾驶员认证，如上所述，即使在多个驾驶员驾驶同一车辆的情况下，也可以累积用于确定与每个驾驶员相关联的通知定时的信息。

接下来，在步骤S12中，驾驶员操作输入单元101以设置目的地。在这种情况下，驾驶员基于仪表板上的显示执行输入操作

注意，本示例描述了在假定在车辆上设置路线的情况下的示例。然而，可以通过在进入车辆之前使用智能电话或者在离开家之前使用个人计算机来预先执行远程预先预约设置等。此外，汽车的***可以根据驾驶员根据日程表已经假定的日程来执行预先计划设置，可以更新和获取道路环境的LDM信息(即以高精度不断地更新车辆行驶的道路的行驶地图信息的所谓的本地动态地图(LDM)信息)等，并且可以在进入车辆时或进入车辆之前以门卫的方式进一步进行实际行驶建议显示等。

接下来，在步骤S13中，开始行驶路线上的行驶区间显示。该行驶区间显示例如在仪表板上进行，或者例如在平板电脑等中进行，其中驾驶员执行次要任务，使得行驶区间和作业窗口并排布置。由此，在作业窗口中执行任务的驾驶员能够容易地识别从当前地点开始起的到达预测时间轴上的行驶路线上的驾驶员干预必要区间和自动驾驶可用区间。

在该行驶区间显示中，呈现前进日程和与到各地点的接近有关的信息。在该行驶区间显示中，在从当前地点开始起的到达预测时间轴上显示行驶路线上的驾驶员干预必要区间和自动驾驶可用区间。然后，驾驶员干预必要区间包括手动驾驶区间、从自动驾驶向手动驾驶的接管区间以及从自动驾驶向谨慎行驶的谨慎行驶区间。稍后描述该行驶区间显示的细节。

接下来，在步骤S14中，开始LDM更新信息的获取。根据LDM更新信息的获取，行驶区间显示的内容可以被改变为最新状态。接下来，在步骤S15中，开始行驶。接下来，在步骤S16中，基于本车的位置信息和获取的LDM更新信息，更新行驶区间显示的显示。由此，行驶区间显示以各区间接近本车的方式根据行驶而滚动显示。

呈现与伴随行驶而相对接近的向前行驶环境、对应的本车辆的接管所需的定时等相关的信息的手段并不限于滚动手段，并且作为其他方法优选地采用其中即将到来的时间间隔直观且明确，并且能够减少误识别地知道应开始向驾驶的恢复的定时的手段。例如，可以干预模仿沙漏的时间呈现方法或者用于直接向用户以计时器类型的手表的形式佩戴的装备呈现接管剩余时间的手段。

接下来，在步骤S17中，监视驾驶员的状态。接下来，在步骤S18中，执行事件变化对应处理。该事件变化对应处理包括用于处理行驶路线上已经存在自动驾驶模式和手动驾驶模式之间的切换点或谨慎行驶区间正在接近的情况的模式切换处理、用于处理在行驶路线上新发生模式切换点或谨慎行驶区间的驾驶员干预必要区间的情况的事件发生处理等。此后，适当地重复步骤S16至步骤S18的处理。

"行驶区间显示的细节"

图9示出了由驾驶员设置目的地确定的行驶路线的一个示例。在该行驶路线中，存在自动驾驶可用区间Sa、手动驾驶区间Sb、从自动驾驶到手动驾驶的接管区间Sc、以及从自动驾驶到谨慎行驶的谨慎行驶区间Sd。这里，接管区间Sc总是就出现在手动驾驶区间Sb之前，并且要求驾驶员处于恢复到手动驾驶的位置。另外，谨慎行驶区间Sd是在处于向手动驾驶恢复的位置的驾驶员执行谨慎监视的状态下维持自动驾驶的同时能够以减速执行行驶的区间。

在所示的示例中，自动驾驶可用区间Sa以绿色示出，手动驾驶区间Sb以红色示出，并且接管区间Sc和谨慎行驶区间Sd以黄色示出。注意，为了方便起见，通过使用不同的图案来示出各个颜色。

在诸如中心信息显示器或平板电脑的显示装置上的行驶区间显示中，在从当前地点起的到达预测时间轴上显示行驶路线的上述各区间。自动驾驶控制器112基于行驶路线信息和交通信息执行用于行驶路线的行驶区间显示的信息处理。

图10(a)以固定比例示出了在从当前地点的移动距离轴上的行进路线上的每个区间。图10(b)示出了各地点处的平均道路交通流的速度v(t)。图10(c)示出了通过使用速度v(t)转换成时间轴的移动距离轴上表示的各区间。由此，在从当前地点的到达预测时间轴上表示行驶路线上的各区间。换句话说，可以在通过使用每个对应区间中的平均速度执行除法而获得的时间轴上表示行进路线上的物理距离。

在本实施例中，如图10(d)所示，将进行了行驶区间显示的所有区间划分为三个区间，并且变更各区间的时间轴。换句话说，从当前地点到第一地点(时间t0，例如，大约10分钟)的第一区间被显示为第一时间轴上的时间线性显示最近区间。例如，时间t0被设置为在普通驾驶员终止次要任务之后并且在普通驾驶员恢复驾驶之前的必要且充分的时间段。根据行驶接近的最近区间具有与在看起来以一定速度进行的地图上的指示效果相等的视觉直观效果，因此驾驶员可以在接近事件之后开始准备准确的驾驶恢复。存在可以以稍微准确的方式直觉地掌握恢复将开始的点的优点。换句话说，显示该区间的目的是向用户提供驾驶员的准确恢复点的开始确定信息。

此外，从第一地点(时间t0)到第二地点(时间t1，例如，大约一小时)的第二区间被显示为时间轴上的时间倒数显示区间，该时间轴从第一时间轴顺序地改变到相对于该第一时间轴以预定比率缩减的第二时间轴。显示该第二区间的目的主要是为了在小显示器中准确地向驾驶员提供长时段期间的道路状况，因为如果以与上述第一区间的比例倍率相等的比例倍率进行显示，则难以在小显示空间中显示长时段。这使得驾驶员能够容易地掌握直到前方某一区间的哪个地点根据行驶将不请求驾驶干预，并且具有能够按照计划执行参与次要任务的优点。驾驶的干预和非干预明显地彼此分离。此外，在与第三方等通信之后的次要任务中，在计划从次要任务中释放驾驶员等时呈现重要信息方面发挥作用。

在此，参照图10(d)描述用于设置第二显示区间的方法。当假设三角形的高度是h0时，根据下面描述的公式(1)获得在其结束之前h存在的地点处的时间t。

t＝t0*h0/h (1)

此外，第二地点(时间t1)处的第二时间轴已经相对于第一时间轴以hs/h0的比率减小。例如，在hs＝h0/8的情况下，降低率为1/8。

在以恒定车速进行行驶的情况下，上述第二显示区间的显示对应于在观看地图上的行驶直线展开显示区间在行驶方向上倾斜的地图时的显示，或者倾斜地观看道路平面上的前侧的状态。换句话说，该显示区间的视觉效果也可以说是，由于根据显示图像的高度位置能够直观地掌握远近，因此，即使不在画面上显示准确的位置显示的刻度等，也能够容易地掌握感觉距离的显示。然后，远处区间的尺寸减小，但并不是在行驶中立即到达的地点。因此，尽管粗略预测是重要的，但是驾驶员不需要类似于近处地点那样感觉上掌握严格的到达时间信息。这在计划执行次要任务时是优选的。

此外，从第二地点(时间t1)到第三地点(时间t2)的第三区间被显示为第二时间轴上的时间线性显示远处区间(hs/h0的减小率)。如上所述，通过显示三个划分的区间，驾驶员可以在有限的显示空间中详细地知道时间上最近的区间信息，并且可以知道时间上远处区间信息。注意，以第二区间的显示形式的远处部分的显示低于人的视觉分辨率，并且进一步低于***的显示分辨率极限，不能被区分计划和确定次要任务所需的信息，并且显示功能变得无用。因此，最有效的显示是在能够直观地充分掌握时间区间的感觉的阶段完成显示比例的减小，适当地显示需要干预区间和不需要区间的划分，并且在之后的区间中再次使显示比例恢复到固定比例的显示。

注意，车辆控制***100具有时间t0、t1和t3的默认值。可以想到，时间t0、t1和t3的值在长距离驾驶和短距离驾驶之间改变。因此，默认值的数量不限于1。可以使用多类型型的默认值，并且驾驶员(用户)或***可以根据行驶路线选择性地使用多类型型的默认值。此外，还可以想到，时间t0、t1和t3的值可以由驾驶员(用户)任意设置。

图11(a)和11(b)示出了最终显示的行驶区间显示的示例。注意，通过使用箭头的长度来指示时间轴是否是线性的，以及时间轴的减小率的变化。在图11(a)的情况下，所有的区间，即第一区间、第二区间和第三区间，被显示为具有第一宽度。

相反，在图11(b)的情况下，从当前地点到第一地点(时间t0)的第一区间被显示为具有第一宽度，从第一地点(时间t0)到第二地点(时间t1)的第二区间被显示为具有从第一宽度顺序地改变为比第一宽度窄的第二宽度的宽度，并且从第二地点(时间T1)到第三地点(时间T2)的第三区间被显示为具有第二宽度。这使得驾驶员能够视觉地识别第二区间和第三区间的时间轴相对于第一区间的减小程度。换句话说，图10的显示形式是仅考虑行进方向上的减小率的显示。通过进一步根据透视而人为地改变与显示信息的行进方向交叉的宽度，能够发挥与沿着道路或地图的行进观察时面向无限远方向的透视效果相同的透视效果，并且与注视画面的情况相比，能够直观且容易地掌握驾驶干预必要区间的分布。特别地，在仅第二区间旋转而不是逆时钟并且被观察的情况下，在以恒定速度行驶的情况下，看起来匹配道路的前侧的道路宽度和在每个对应地点处的到达时间。因此，即使不能观察并判断正确的位置刻度，也能够直观地掌握实际到达各地点的感觉，并且能够实现能够进行时间分配的显示形式。

注意，例如，在如第三区间的具有小的减小率hs/h0的部分中，如果具有短时间长度的区间被显示为具有没有变化的时间长度，则该区间被显示得非常细，并且预期驾驶员将难以识别该区间。因此，即使在实际上驾驶员干预区间(手动驾驶区间、接管区间、以及谨慎行驶区间)长度小于或等于一定时间长度的情况下，也以该一定时间长度显示驾驶员干预区间。在这种情况下，例如，在接管区间和手动驾驶区间连续的情况下，可以省略接管区间的显示。在图11(a)和11(b)中，第三区间中的第一手动驾驶区间Sb的显示指示这种状态。由此，在时间轴的尺寸显著减小的第三区间中，能够将时间长度短的驾驶员干预必要区间显示为驾驶员能够识别的区间。

此外，在像第三区间那样具有小的缩小率hs/h0的部分中，在手动驾驶区间Sb以短周期间歇地连续的情况下，所有手动驾驶区间Sb被连续地显示。在图11(a)和11(b)中，第三区间中的第二手动驾驶区间Sb的显示指示这种连续显示的状态。实际上，如图11(c)所示，如上所述显示的手动驾驶区间Sb除了手动驾驶区间Sb之外还包括具有短时段的接管区间Sd和自动驾驶可用区间Sa。注意，如稍后所述，例如，可以通过在平板电脑等上进行行驶区间显示的状态下对应地点进行双触摸来进行详细显示。

基于本车的位置信息和获取的LDM更新信息，更新行驶路线上的上述行驶区间显示。由此，行驶区间显示以各区间接近本车的方式随着时间的经过而滚动显示。图12(a)至12(d)示出了行进区间显示随着时间的经过而变化的示例。该示例表示以锥形方式显示第二区间的示例，但是类似的情况适用于所有区间被显示为具有相同宽度的情况。

在这种情况下，在第一区间中，每个区间快速移动。此外，在第二区间中，时间轴的尺寸的减小在从第三区间的一侧更靠近第一区间的一侧的地点处变得更小，因此每个区间移动得更快。此外，在第三区间中，时间轴的尺寸的减小变得更大，因此每个区间缓慢地移动。

图13(a)和13(b)示出了在平板电脑182的画面上显示的行进路线上的行驶区间显示181的示例。图13(a)示出了在纵向长的形状下使用平板电脑182的情况的示例。在这种情况下，行驶区间显示181在弯曲状态下沿着左手侧和上侧进行，并且与用作在平板电脑182上执行的次要任务的执行画面的作业窗口平行地进行。图13(b)示出了在横向长的形状下使用平板电脑182的情况的示例。类似地，在这种情况下，行驶区间显示181在弯曲状态下沿左手侧和上侧进行，并且与用作在平板电脑182上执行的次要任务的执行画面的作业窗口平行地进行。注意，在所示的示例中，行驶区间显示181以弯曲状态设置在平板电脑182的画面上。然而，在能够充分地获取布置空间的情况下，也可以想到的是，线性地布置行驶区间显示181。

图14示出了驾驶员通过实际使用平板电脑182执行次要任务的状态的一个示例。在该示例中，在横向长的形状下使用平板电脑182。在平板电脑182的画面上，行驶区间显示181在弯曲状态下沿左手侧和上侧进行。注意，可以根据驾驶员(用户)执行的操作来选择是否在画面上进行该行驶区间显示181。在该情况下，例如，在画面上不进行行驶区间显示181的情况下，以及在驾驶员干预必要区间在一定时间段内进入并向驾驶员发出通知的情况下，可以在画面上自动进行行驶区间显示181。

在平板电脑182的画面上进行行驶区间显示181的状态下，在显示区间中新生成了驾驶员干预必要区间的情况下，新生成的驾驶员干预必要区间被新显示。在这种情况下，例如，该新生成的驾驶员干预必要区间被显示为在一定时间段期间闪烁开关，使得该新生成的驾驶员干预必要区间可以与另一区间区分开。该闪烁显示可以伴随有警告报警声。在此，作为新生成驾驶员干预必须区间的情况，包括新生成谨慎行驶区间或手动行驶区间的情况以及将谨慎行驶区间变更为手动行驶区间的情况。

图15示出了在第二区间中新生成谨慎行驶区间Sd并且通过使用闪烁显示向驾驶员发出警告的状态。注意，在这种情况下，闪烁，即，警告状态，能够由驾驶员通过触摸显示为闪烁开关的谨慎行驶区间Sd的显示部分而停止。或者，通过驾驶员触摸显示为闪烁开关的谨慎行驶区间Sd的显示部分可以弹出小窗口，并且闪烁，即，警告状态，可以通过触摸画面以同意而停止。

此外，在平板电脑182的画面上进行行驶区间显示181的状态下，在驾驶员(用户)双触摸并指定任意地点的情况下，弹出小窗口，例如，如图16所示，并且进行与该地点有关的显示。

[5.由移动装置执行的安全性判定处理和手动驾驶恢复可用时间估计处理]

接下来，描述由移动装置执行的安全性判定处理和手动驾驶恢复可用时间估计处理。

这些处理主要由在参照图4描述的移动装置100的自动驾驶控制器112中配置的安全性判定单元155执行。

如上所述，安全性判定单元155根据驾驶员的恢复行动模式、车辆特性等来学习最佳的恢复定时，并将所学习的信息提供给状况识别器153等。由此，例如，能够向驾驶员呈现统计获得的以预定的一定比率以上驾驶员正常从自动驾驶恢复到手动驾驶所需的最佳定时。

图17是说明安全性判定单元155的具体配置示例以及处理的图。

左手侧示出了诸如汽车的移动装置200，并且右手侧示出了经由网络与移动装置100执行通信的服务器300。

移动装置200包括驾驶员信息获取单元201、环境信息获取单元202、驾驶员个人识别信息获取单元203、安全性判定单元210、通知控制器221、通知单元222、通信单元230和存储装置240。

注意，安全性判定单元210对应于在图4中所示的状况分析器133中配置的安全性判定单元155。

安全性判定单元210包括学习处理单元211、安全性判定处理执行单元(手动驾驶恢复可用时间估计单元)212、以及个人认证处理单元213。

服务器300包括学习数据获取或生成单元301、学习处理单元302、通信单元303和存储装置304。

首先，描述由移动装置200的各组件执行的处理。

驾驶员信息获取单元201包括相机或各种传感器，并且获取与驾驶员有关的信息。

由驾驶员信息获取单元201获取的驾驶员信息的示例包括从包括眼球区域的图像获取的视线方向、眼球行为和瞳孔直径、从包括面部区域的图像获取的面部表情等。

由驾驶员信息获取单元201获取的这些信息例如用作用于确定驾驶员的清醒度的信息。

注意，上述示例是已经简化和描述的内容，驾驶员的详细状态不能通过获取与眼睛、面部等有关的简单信息来确定，并且驾驶员的清醒度的确定包括预先的历史信息或对眼睛、面部等执行详细的行为分析，以及根据可观测值全面地执行驾驶员的手动驾驶恢复所需的内部清醒状态的分级确定。以下描述在确定中使用的这些生物信息中的一些的示例。

用于观测驾驶员的清醒状态、通过观测脑内的活动区域确认的对象或确定的部分的活动状况的手段的示例是诸如通过电学方式检测电位而得到的脑电波的观察、使用头部表层的血流的红外线的观察或使用脑内功能的fMRI的评估的大规模的测量仪器。但是，在当今的技术中，该仪器完全不适合于通过安装在车辆中来正常和通常地使用，并且获得在实验环境下与诸如心跳波形或EOG的其他生物体的相关性，以及基于这些生物信息的离线学习的使用受到限制。

另外，尽管在突然需要接管的阶段中，难以直接用于判定短期清醒状态，但也存在通过连续地预先获取中期和长期的预先日志信息，能够用于预先预测清醒恢复的信息。从***接收到恢复通知之后且在恢复之前所需的时间根据各种因素(诸如睡眠深度、疲劳累积程度、或者在接收到通知的时间点从小睡开始所经过的时间)以及个体特性而改变。这些预先信息难以给出直接的恢复时间，但是用作清醒恢复的影响因素。因此，可用的可观测的信息被用作用于估计清醒恢复时间的影响因子。

根据驾驶员的这些状态来获取由驾驶员信息获取单元201获取的这些驾驶员信息的日志，并且还基于诸如接收到恢复通知或接近目标接管事件的触发来观察清醒状态。例如，在驾驶员佩戴并使用诸如手表的可观测装置的情况下，长期日志的观察可以包括在进入车辆之前的寿命日志。在这种情况下，与预先休息状态或过度睡眠或睡眠不足状态有关的信息也可以用作判定的帮助。在预先日志获取不可用的情况下的正常使用中，用户可以进入车辆并且例如可以通过评估心电图的洛伦兹曲线从安装在车辆上的各种传感器观测诸如疲劳或睡意的注意力丢失程度，还可以根据与心跳、脉搏波或血流、血压以及呼吸或呼气/体臭的中期和长期变化日志有关的信息来估计紧张状态或疲劳状态，并且还可以通过分析用户在与***的口头(询问)响应中的话语音调或响应延迟来估计驾驶员的状态。此外，也可以采用用于分析诸如面部表情、面朝下、或疏忽驾驶状态的发生的行动的手段。

此外，可以通过评估手势的速度确定指示响应特性或执行活动量的主动评估来确定状态。

如上所述，预先观测由驾驶员信息获取单元201获取的驾驶员信息的日志，并且预先监视清醒恢复影响因子。为了执行最终的接管判定，需要高精度地判定内部清醒状态。当从另一观点观察驾驶员的清醒和从自动驾驶到手动驾驶的恢复时，驾驶员的状态根据下述顺序按时间序列改变。

1.确认需要接管的事件的发生，

2.掌握并认知伴随接管必要性的必要状况，以及

3.在声音通知的情况下，通知的掌握和认知包括对通知的响应，并且响应是起床、使用开关的认知和确认、使用手势的响应和确认、使用将手放置在方向盘上的行动认知的检测、或驾驶员座椅就座恢复的检测。

4.通常，假定接收到恢复通知并最终返回到恢复姿势的驾驶员在开始操作诸如方向盘、制动器、加速器的转向装置之前，执行掌握并检查恢复到手动驾驶所需的状况的过程，并开始装置的转向，因此主要的信息获取手段之一是视觉信息的获取。

5.当驾驶员能够视觉地确认状况时，驾驶员开始操作适当的转向装置。但是，为了安全，***不是立即接管整个转向，而是执行逐渐地将接管提前到驾驶员对转向的适当干预和肌肉转向响应状况能够被确认的阶段的过程。

由驾驶员信息获取单元201获取的驾驶员信息包括在该一系列处理中观测的功能。

已经描述了由驾驶员信息获取单元201获取的驾驶员信息进一步掌握视觉状况，并且在上述处理4中，直到进一步执行视觉认知、确定和计划才准备手动转向。通过仅捕获在视线的中心视野中确定所需的信息，驾驶员不能确定和计划要采取的转向行动。因此，视线指向风险确定所需的对象，该对象通常由周边视野捕获，并且中心视野＝视线指向该方向。因此，由于扫视而产生的眼球摆动的快速行动。当对象位于视线的中心视野中时，主要开始固视以便促进对对象的理解，并且当在掌握目标的特征的同时通过参考脑内的知识信息完成对对象的确定时，引起理解。然后，当完成对对象的理解时，在同时且并行地进行对要掌握的下一对象的掌握的新方向上进行眼球的扫视行动，或者执行用于取消相对方向上的移动的追踪旋转，以便进行对掌握对象的行动的确定。

换句话说，当在作为眼球的视觉信息搜索行动而出现的广域扫视搜索、跟踪随行进的流动的跟踪行动、视线停留直到对视线所指向的被关注体认知为止的固视微移动、其范围、波动稳定性、扫视到关注点的停留时间等的初始视觉获取、以及知识认知和认知确定的确认固视微移动的循环中执行确定时，也就是说，引起判定发生的微小时间延迟受到脑内活动量的影响，并且还存在可以短期观测到该影响的现象。在此，特别地，在视觉反射行动中，假定个别驾驶员参考他们自己的视觉记忆，从已经开始被掌握的软信息开始风险确定，并且补充在无意识状态下执行固视和轻微移动的同时解决确定所需的附加补充信息，直到执行风险确定。因此，间歇地重复评估由于扫视引起的眼球摆动之后立即的初始视觉信息并且在无意识状态下精心地重复驾驶行动确定以决定继续驾驶所需的确定，以及重复扫视以获取接下来要检查的信息的序列。然后，获取驾驶转向所需的信息的任务是清醒和认知下的行动，因此眼球的这一系列行为表现为眼球的详细行为，其强烈地反映了驾驶需要手动恢复的内部清醒状态的恢复水平。

此外，驾驶员信息获取单元201还包括获取驾驶员操作信息的操作信息获取单元。这些包括例如捕获驾驶员的面部图像的相机、各操作单元(方向盘、加速器、制动器等)的操作信息获取单元等。

环境信息获取单元202获取各类型型的环境信息。

由环境信息获取单元202获取的环境信息的示例包括来自设置在移动装置200中的成像单元的图像、深度信息或三维结构信息、来自设置在移动体中的诸如LiDAR的传感器的地形信息、来自GPS的位置信息、来自设置在例如道路的基础设施中的通信装置的信息(诸如交通灯的状态或与标志有关的信息)等。

驾驶员个人识别信息获取单元203获取例如可以在诸如虹膜认证、指纹认证、静脉认证或声纹认证的个人认证中采用的信息。

注意，图17中所示的驾驶员信息获取单元201、环境信息获取单元202和驾驶员个人识别信息获取单元203的配置对应于图4中所示的配置中的数据获取单元102和检测单元131的相应配置。

安全性判定单元210包括学习处理单元211、安全性判定处理执行单元(手动驾驶恢复可用时间估计单元)212、以及个人认证处理单元213。

个人认证处理单元213接收由驾驶员个人识别信息获取单元203获取的例如虹膜认证、指纹认证、静脉认证、声纹认证等中的个人认证信息作为输入，并且执行个人认证处理。

从存储装置240或服务器300获取在该认证处理中所需的登记信息。

例如，当驾驶员进入用作移动装置的汽车时，执行个人认证作为个人识别处理。在个人识别之后，驾驶员信息、时间、驾驶输入和道路的环境信息等被不断地或定期地记录，并被发送到服务器300。

注意，可以将从驾驶员个人识别信息获取单元203输入的并且可以在诸如虹膜认证、指纹认证、静脉认证或声纹认证的个人认证中采用的信息发送到服务器300，并且可以由服务器300通过使用在服务器300中登记的信息来执行个人认证处理。

学习处理单元211接收由驾驶员信息获取单元201获取的驾驶员信息、由环境信息获取单元202获取的环境信息等作为输入，并且使用这些输入信息执行用于安全性判定的学习处理。

具体而言，例如，构造能够计算与"驾驶员信息"或"环境信息"对应的"安全性指标值"或"手动驾驶恢复可用时间估计值"的学习器。注意，学习器不仅执行学习以执行限于驾驶员固有的特性的判定，而且还根据车辆特性、环境特性等学习特性。例如，当被识别为同一驾驶员的驾驶员考虑到使用私人汽车用于通勤的乘用车的转向特性以及职业从事中连接有重负载的车辆的车辆行为特性的安全性而进行驾驶时，转向开始点、制动量等根据行驶状况而显著变化。因此，通过学习对其安全性有贡献的变化因素的因素，可以获得包括状况或车辆特性的优化的学习器。

注意，学习器是指能够通过使用机器学习来学习输入/输出关系的模型、算法、参数等的集合。有诸如统计学习器、学习模型、机器学习模型、统计学习模型、预测器、预测模型、估计器、或估计模型的各种名称，但它们都具有大致相同的含义，因此在此采用名称"学习器"。根据具体目的，可以使用诸如"分类器"、"分类模型"、"识别装置"、"识别模型"、"回归学习器"、"回归学习模型"或"生成模型"的名称，但是名称"学习器"是包括所有这些概念的广义概念。

安全性判定处理执行单元212接收由驾驶员信息获取单元201获取的驾驶员信息、由环境信息获取单元202获取的环境信息等作为输入，还使用作为由学习处理单元211执行的学习的结果的学习器或从服务器300获取的学习器，并基于当前时刻的驾驶员信息和环境信息计算安全性指标值。

此外，估计在安全的手动驾驶恢复之前所需的时间(＝手动驾驶恢复可用时间)。

注意，安全的手动驾驶恢复之前的时间是基于驾驶员到达请求接接管的地点之前以高一定比率开始手动驾驶的时间来计算的，而不是通过直接评估安全性来计算的时间。请求开始准备恢复到手动驾驶的定时受诸如相应车辆的动作特性、道路环境状况或天气的各种因素的影响，因此，通过考虑这些影响，可以使安全性最大化。

通知控制器221基于由安全性判定处理执行单元212估计的手动驾驶恢复可用时间，如上参照图2所述，控制手动驾驶开始请求通知的通知定时，并经由通知单元222发出通知。

注意，通知单元222包括例如警报、窗口上的显示、方向盘或座椅的振动处理执行单元等。

通信单元230与诸如服务器300的外部装置执行通信。

接下来，描述由服务器300的每个组件执行的处理。

服务器300包括学习数据获取或生成单元301、学习处理单元302、通信单元303和存储装置304。

学习数据获取或生成单元301获取或生成构造学习器所需的学习器输入/输出数据。具体地，例如，从连接到网络的各种移动装置获取"驾驶员信息"或"环境信息"。此外，例如，生成基于诸如地图数据、事故发生状况数据或交通堵塞数据的能够获取的各类型型的数据的用于学习的数据。注意，这里使用表述"学习器输入/输出数据"，但是这是在监督学习中被称为教导数据、训练数据等的数据。如果仅能够学习所希望的输入输出关系，则不排除使用诸如无人监督学习、半监督学习或强化学习的其他方法的学习可能性，因此在此使用通用名称"学习器输入输出数据"。

这些数据被存储在存储装置304中。

学习处理单元303使用由学习器输入/输出数据获取或生成单元301获取或生成并存储在存储装置304中的学习器输入/输出数据来执行学习处理。

作为该学习处理的结果，例如，构成能够计算与"驾驶员信息"或"环境信息"对应的"安全性指标值"或"手动驾驶恢复可用时间估计值"的学习器输入输出数据。

接下来，描述移动装置200的安全性判定单元210的处理的详细情况。

安全性判定单元210包括学习处理单元211、安全性判定处理执行单元(手动驾驶恢复可用时间估计单元)212、以及个人认证处理单元213。

学习处理单元211接收由驾驶员信息获取单元201获取的驾驶员信息和由环境信息获取单元202获取的环境信息作为输入，并且使用这些输入信息执行用于安全性判定的学习处理。

安全性判定处理执行单元(手动驾驶恢复可用时间估计单元)212接收由驾驶员信息获取单元201获取的驾驶员信息、由环境信息获取单元202获取的环境信息等作为输入，进而使用作为学习处理单元211的学习结果的学习器或者从服务器300获取的学习器，并基于当前时刻的驾驶员信息和环境信息计算安全性指标值。

此外，估计在安全的手动驾驶恢复之前所需的时间(＝手动驾驶恢复可用时间)。

注意，在输入输出数据不存在并且无法从学习处理单元211获取学习后的学习器的初始状态下，安全性判定处理执行单元(手动驾驶恢复可用时间估计单元)212从存储装置240获取例如使用预先通过实验获取的未指定的大量数据而学习的学习器，并使用该学习器来执行安全性指标值计算处理或手动驾驶恢复可用时间估计处理。

或者，输出规定的固定的手动驾驶恢复可用时间作为估计值。

注意，还可以从服务器300获取在使用未指定的大量数据的学习处理中生成的学习器。

在学习处理单元211已经执行学习处理之后，通过使用学习器执行基于已经输入的驾驶员信息和环境信息的安全性指标值计算处理或者手动驾驶恢复可用时间估计处理。

学习处理单元211执行用于构建例如下述信息(a)和(b)之间的对应关系的学习处理：

(a)由驾驶员信息获取单元201获取的驾驶员信息和由环境信息获取单元202获取的环境信息；以及

(b)指示在将通知从自动驾驶模式切换到手动驾驶模式之后，驾驶员是否能够在安全状态下执行驾驶的操作信息。

注意，如上所述，驾驶员信息获取单元12除了具有用于判定驾驶员的清醒度的信息获取处理之外，还具有例如获取驾驶员操作信息(即，与对各操作单元(方向盘、加速器、制动器等)进行的操作相关的信息)的功能。

换句话说，学习处理单元211获取驾驶员信息和环境信息，获取在特定定时如以上参照图2所述、发出手动驾驶恢复请求通知之后驾驶员的驾驶操作信息，并且检查是否正在执行安全驾驶。

如果正在执行安全驾驶，则在获取了相同的驾驶员信息和相同的环境信息的情况下，判定手动驾驶恢复请求通知的通知定时可能进一步延迟。

相反，如果没有正在执行安全驾驶，则在获取相同的驾驶员信息和相同的环境信息的情况下，判定要提前手动驾驶恢复请求通知的通知定时。

在由学习处理单元211执行的学习处理中，构造用于确定这种手动驾驶恢复请求通知的通知定时的学习器。

注意，在由学习处理单元211执行的学习处理中，除了用于确定手动驾驶恢复请求通知的通知定时的数据之外，还构造了可以在用于已经获取了特定驾驶员信息和环境信息的情况下确定驾驶员是否能够执行安全的手动驾驶的处理中采用的学习器，即，其中"驾驶员信息和环境信息"与"安全性指标值"彼此相关联的学习器。

通过获取从驾驶员的每次事件发生时发生的恢复通知预先特性的转变，并且通过还使用(b)表示驾驶员是否能够在安全状态下进行驾驶的操作信息作为教导数据来执行成功/失败判定或接管质量评估，实现了包括自给式(self-contained)学习器的***，并且作为学习器的特征，可以提高精度。

如上所述，在由学习处理单元211执行的学习处理中，可以获得与由驾驶员信息获取单元201获取的驾驶员信息和由环境信息获取单元202获取的环境信息相关联的安全性指标值数据。

此外，可以计算与由驾驶员信息获取单元201获取的驾驶员信息和由环境信息获取单元202获取的环境信息相对应的手动驾驶恢复可用时间(安全的手动驾驶恢复之前所需的时间)。

可以基于该手动驾驶恢复可用时间，确定向驾驶员发出的手动驾驶开始请求通知的通知时间。

由学习处理单元211执行的学习处理的结果数据被存储在存储装置240中。

存储在存储装置240中的数据(学习器和/或学习器输入/输出数据)包括例如以下描述的数据。

可以在存储装置240中累积以下数据：

与驾驶员信息和环境信息相关联的安全性指标值数据；

与驾驶员信息和环境信息相关联的手动驾驶恢复可用时间(安全的手动驾驶恢复之前所需的时间)(＝手动驾驶开始请求的最佳预先通知时间)；

手动驾驶开始请求通知后的驾驶员信息的异常、环境信息的异常、恢复所需的时间；以及

学习器。

存储装置240中累积的数据被定期发送到服务器300。

服务器300将从移动装置200接收的数据存储在存储装置304中，并且进一步基于学习数据生成单元301中的接收数据执行学习处理。

服务器300能够从大量的移动装置(汽车)接收大量的数据，并且能够基于该大量的数据执行学习处理。结果，可以获得具有更高通用性和更高精确度的输入/输出数据(学习器)。

服务器300基于大量数据执行学习处理以更新学习器，并且将学习器存储在服务器300的存储装置304中。

存储在服务器300的存储装置304中的学习器包括与上述存储在移动装置200的存储装置240中的数据类似的数据。换句话说，以下数据被存储在服务器300的存储装置304中：

学习器；

与驾驶员信息和环境信息相关联的安全性指标值数据；

与驾驶员信息和环境信息相关联的手动驾驶恢复可用时间(安全的手动驾驶恢复之前所需的时间)(＝手动驾驶开始请求的最佳预先通知时间)；以及

手动驾驶开始请求通知之后的驾驶员信息的异常、环境信息的异常和恢复所需的时间。

存储在服务器300的存储装置304中的这些学习器被随时提供给移动装置200，并且被在移动装置200的安全性判定单元210的安全判断处理单元212中用于基于由驾驶员信息获取单元201获取的驾驶员信息和由环境信息获取单元202获取的环境信息、手动驾驶恢复可用时间等，计算安全性指标值。

注意，学习处理单元211可以生成使得能够通过在学习数据中包括个人识别信息、车辆类型信息、时间信息等预测与个人、汽车(车辆类型等)或时间相关联的安全性指标值或手动驾驶恢复可用时间的学习器。

个人识别信息可以经由个人认证处理单元213获取。

可以从环境信息获取单元202获取车辆类型信息。或者，可以采用使用预先存储在存储装置中的数据的配置。

安全性判定处理执行单元(手动驾驶恢复可用时间估计单元)212使用作为由学习处理单元211执行的学习处理的结果而计算出的学习器来获取手动驾驶恢复可用时间，并基于所获取的手动驾驶恢复可用时间来发出手动驾驶恢复请求通知。

此外，学习处理单元211在该通知之后从驾驶员信息获取单元201和环境信息获取单元202获取驾驶员的驾驶操作信息，并且确定是否正在执行正常驾驶。

根据该判定，例如以在以高频率发生异常的情况下提前通知时间并且在以低频率发生异常的情况下延迟通知时间的方式更新学习器和/或执行重新学习以实现输出。该更新/重新学习处理也能够进行通知时间控制。

接下来，描述由移动装置200的安全性判定单元210的安全性判定处理单元212执行的手动驾驶恢复可用时间估计处理的具体示例。

如上所述，在自动驾驶期间，驾驶员可以执行各类型型的处理(次要任务)，并且清醒度根据正在执行的次要任务而显著改变。

例如，从方向盘简单的释放手包括类似于驾驶时驾驶员注视汽车前方的情况、驾驶员读书的情况或者驾驶员打瞌睡的情况。驾驶员的清醒度(意识水平)由于这些处理之间的差异而改变。

例如，如果驾驶员打瞌睡，则驾驶员的清醒度劣化。换句话说，意识水平已经劣化。在清醒度已经劣化的状态下，如上所述，不能执行正常的手动驾驶。如果在该状态下执行向手动驾驶模式的切换，则在最坏的情况下，有可能发生事故。

因此，为了执行由安全性判定处理单元212执行的手动驾驶恢复可用时间估计处理，优选地，驾驶员信息获取单元201获取使得能够在执行自动驾驶期间检查驾驶员的次要任务执行状况的信息，并且学习处理单元211使用这些数据执行学习处理。

优选地，用于该目的驾驶员信息获取单元201的配置包括被设置成观测车辆内部的相机、设置在方向盘或座椅中的压力传感器、温度传感器等。

学习处理单元211通过使用从相机获得的图像来计算面部认证、头部姿势估计、视线估计、身体姿势估计和行动识别的结果，并且在学习处理中使用这些数据。

当执行次要任务时，利用以已知在自动驾驶状态下已经获取了输入信息的方式添加的附加信息来执行管理。在从次要任务恢复时，需要以驾驶员返回到手动驾驶状态的方式，在根据任意方法计算的恢复可用时间之前将信息呈现给驾驶员。在用于估计手动驾驶恢复可用时间的数据未被充分收集的时间点，需要在可靠地实现恢复的时间发出恢复通知。由于个人特征尚未被学***均值等而得到的统计数据来设置以目标成功率进行恢复的定义时间。

此外，在使用该定期时间时，第一次使用***的用户是谨慎的，因此可以执行考虑该特性的偏移设置。

此时，每当发生接管事件时就测量从信息呈现到恢复到手动驾驶的时间段，并且以记录日志的形式将该时间段记录和确定为手动驾驶恢复可用时间。

此外，在判定已经进行了向手动驾驶的恢复时，可以参考预先学习结果。如果重复类似的执行，则可以收集用于估计与指定个体和指定车辆有关的恢复可用时间的数据。

在充分收集了用于估计安全性指标值或估计手动驾驶恢复可用时间的数据的情况下，可以通过使用例如以下输入/输出数据执行机器学习处理来构造预测安全性指标值或最佳恢复可用时间的学习器。

输入：驾驶员信息、环境信息等

输出：安全性指标值或手动驾驶恢复可用时间

此外，在固有授权的固有恢复特性中，在一些情况下，恢复时间根据驾驶员过去的驾驶经验或环境条件而改变。例如，准备恢复后的恢复所需的时间根据诸如由于雨天等导致视野不良的状况、夜间状况、视野的障碍物成为逆光的状态、早晨或傍晚累积了累积疲劳的状况、同一驾驶员在通勤时使用私人汽车的行动、驾驶中的大型公共汽车或货物装载车辆的车辆特性的状况而不是唯一的。以下，这些许多状况因素是示例，并且这些因素大致分为两组，并且被称为"驾驶员信息"或"环境信息"。

接下来，参考图18中所示的流程图描述由移动装置200的学习处理单元211和服务器300的学习处理单元302执行的学习处理的序列示例。

如上所述，移动装置200的学习处理单元211和服务器300的学习处理单元302构成使得能够计算与"驾驶员信息"或"环境信息"相对应的"安全性指标值"或"手动驾驶恢复可用时间估计值"的学习器。

首先，在步骤S21中，输入"驾驶员信息"或"环境信息"。

接下来，在步骤S22中，从驾驶员信息获取单元获取由于手动驾驶开始请求通知而开始手动驾驶后的驾驶员的操作信息，并计算与是否正在进行安全操作相应的安全性指标值。

如上所述，驾驶员信息获取单元12除了具有用于确定驾驶员的清醒度的信息获取处理之外，还具有获取驾驶员操作信息(即，与对每个操作单元(方向盘、加速器、制动器等)执行的操作有关的信息)的功能。

注意，在步骤S22的安全性指标值计算处理中，可以通过除了驾驶员操作信息之外使用例如特定事件应对信息或事故信息来执行用于计算安全性指标值的处理。例如，可以采用这样的配置，其中，通过除了"驾驶员信息"或"环境信息"之外，还使用与时间或道路信息等对应的事件应对信息来计算安全性指标值。事件应对信息通过作为驾驶员的准确的转向判定评估水平而连续地监视驾驶转向状况，而例如针对例如如果开始车辆偏离行驶车道的行驶，是否在适当的定时执行了用于校正的方向盘操作、是否在稳定的观测中观测到延迟、是否发生了过度校正行动、校正切入间隔是否不规则地发生等的变化幅度，即转向校正的生成加速度的变化，连续地执行综合的转向安全性评估。

一旦***开始使驾驶员控制车辆***，驾驶员就用方向盘、制动器或加速器输入转向意图。因此，从转向的校正转向的上述示例中显而易见的是，***可以开始评估***已经确定在转向中期望的理想时速行驶控制与由驾驶员执行的控制之间的差异，因此可以从驾驶员的转向有效性定量地评估驾驶员的清醒度恢复水平。在***控制已经被提交给驾驶员的阶段中，***已经完成转向干预。由此，***可以获取日志数据集，该日志数据集包含开始接管之前的诸如驾驶员状态、车辆状态、环境状态的所谓的"驾驶员信息"和"环境信息"的历史和成功/失败、正常接管所需的实际延迟时间、开始接管时的转向的质量评估日志、以及完全恢复所需的恢复行为特性变化曲线等。

在随后的步骤S23中，生成包括输入信息(驾驶员信息、环境信息等)和安全性指标值之间的对应数据的输入/输出数据，并且更新学习器。发生事件是在行驶计划中预定接管的事件或在行驶时间期间新发生的事件，并且它们不总是需要彼此区分。获取恢复之前预先获取的并且由于车辆的重复使用而发生的观测值以及接管结果的成功/失败的确定以及成功、回避和质量的确定的一组日志作为学习数据集。

重复执行步骤S21至S23的处理，并且通过使用大量学习数据来顺序地更新包括输入信息(驾驶员信息、环境信息等)与安全性指标值之间的对应数据的学习器。

步骤S24的处理是在服务器300的学习处理单元302已经构造了学习器的情况下的处理。

在步骤S24中，将服务器300生成的最新学习器发送给移动装置(汽车)。

注意，图18所示的流程是用于生成包括"驾驶员信息、环境信息等"和"安全性指标值"之间的对应数据的学习器的处理的流程。此外，参照图19所示的流程描述在"手动驾驶恢复可用时间"与"驾驶员信息、环境信息等"相关联的输入/输出数据的学习器的情况下的处理序列。

首先，在步骤S31中，输入"驾驶员信息"或"环境信息"。

接下来，在步骤S32中，测量从手动驾驶开始请求通知时间到手动驾驶开始的时间。

接下来，在步骤S33中，从驾驶员信息获取单元获取手动驾驶开始后的驾驶员的操作信息，并计算与是否正在进行安全操作相应的安全性指标值。

注意，在步骤S33的安全性指标值计算处理中，例如，除了驾驶员的操作信息以外，还可以使用特定的事故信息来执行用于计算安全性指标值的处理。例如，可以采用其中除了"驾驶员信息"或"环境信息"之外，还通过使用与时间或道路信息等对应的事故信息来计算安全性指标值的配置。

在随后的步骤S34中，计算使得基于手动驾驶开始之后的操作信息的安全性指标值大于或等于一定值(安全)所需要的从通知时间到手动驾驶开始时间的经过时间(手动驾驶恢复可用时间)。

在随后的步骤S35中，生成包括输入信息(驾驶员信息、环境信息等)、安全性指标值和手动驾驶恢复可用时间之间的对应数据的输入/输出数据，并且更新学习器。

反复执行步骤S31至S35的处理，并且通过使用大量学习数据来顺序地更新通过使用输入信息(驾驶员信息、环境信息等)、安全性指标值和手动驾驶恢复可用时间之间的对应数据而配置的学习器。

步骤S36的处理是在由服务器300的学习处理单元302已经构造了学习器的情况下的处理。

在步骤S36中，将由服务器300生成的最新学习器发送给移动装置(汽车)。

在图20中示出了在该学习器构造处理中生成的学习器的输入/输出数据的示例。

图20所示的数据是由输入信息(驾驶员信息、环境信息等)、安全性指标值和手动驾驶恢复可用时间之间的对应数据构成的学习器输入/输出数据。

注意，驾驶员信息或环境信息包括由彼此不同的多个传感器获取的多个观测值(参数)。

换句话说，驾驶员信息或环境信息包括一组多个参数。

图20所示的示例中的安全性指标值是通过使用0至1、0(危险)至1(安全)的值而设置的示例。

这是一个示例，如上所述，也可以采用0(危险)和1(安全)或其他数值范围的二元设置。

手动驾驶恢复可用时间估计值是在上述图19的流程中的步骤S34的处理中计算出的时间。换句话说，这是使得基于手动驾驶开始之后的操作信息的安全性指标值大于或等于一定值(安全)所需要的从通知时间到手动驾驶开始时间的经过时间(手动驾驶恢复可用时间)的计算值。

图17所示的安全性判定单元210的安全性判定处理执行单元(手动驾驶恢复可用时间估计单元)212使用这样的学习器，并且估计与例如驾驶员信息、环境信息等的输入信息对应的安全性指标值或手动驾驶恢复可用时间。

例如，执行采用学习器的手动驾驶恢复可用时间估计处理作为以下处理。

安全性判定处理执行单元(手动驾驶恢复可用时间估计单元)212接收由驾驶员信息获取单元201获取的驾驶员信息、由环境信息获取单元202获取的环境信息等作为输入。

此外，使用作为学习处理单元211执行的学习的结果的学习器或从服务器300获取的学习器，即，通过使用具有图20所示的数据配置的输入/输出数据学习的学习器，并且基于当前时间的驾驶员信息和环境信息来估计安全的手动驾驶恢复之前所需的时间(＝手动驾驶恢复可用时间)。

注意，图20所示的数据包括"驾驶员信息和环境信息"与"安全性指标值和手动驾驶恢复可用时间"之间的对应数据，但这是一个示例。例如，通过将个人识别信息、车辆类型信息、时间信息等包括在数据中，能够生成包括与个人、汽车(车辆类型等)或时间相关联的安全性指标值或手动驾驶恢复可用时间的学习器。

此外，类似地，在同一人进入例如车辆类型不同的车辆的情况下，通过提供各车辆的输入信息的相关性，可以执行类似的手动驾驶恢复可用时间估计。通过新收集车辆的信息并执行附加学习，可以进一步提高预测的精度。本技术除了适用于个体的恢复可用时间预测之外，还能够应用于适用于车辆的手动驾驶恢复可用时间预测。

此外，在多个人进入一个车辆的情况下，可以构造学习器，其计算与进入车辆的驾驶员和同乘者的成员相关联的恢复可用时间估计值。

通过采用这种配置，能够预测与进入车辆的驾驶员和同乘者的成员相应的最佳手动驾驶恢复可用时间。

如上所述，通过考虑驾驶员的手动驾驶开始之后的用作与个体驾驶员有关的信息、与汽车类型有关的信息等的驾驶历史、事故历史和驾驶操作信息来执行处理，或者通过使用与乘客数量或装载货物有关的信息来执行学习处理，可以生成与各种情况相应的学习器。

注意，在使用许多类型的信息的情况下，可以采用如下的配置，其中在已经根据数据特性划分许多类型的信息以用于高级学习和用于在线学习的状态下使用许多类型的信息。

[6.由根据本公开的移动装置和信息处理装置执行的处理的序列]

接下来，描述由根据本公开的移动装置和信息处理装置执行的处理的序列。

图21所示的流程图是说明用作根据本公开的移动装置的汽车在从自动驾驶模式切换至手动驾驶模式时执行的处理的序列的一个示例的流程图。

在步骤S41中，移动装置观测从自动驾驶模式向手动驾驶模式的切换请求的发生事件。

该观测信息例如基于道路环境的LDM信息而获取。

换句话说，基于车辆行驶的道路的高密度行驶地图信息被不断地更新的所谓的本地动态地图(LDM)信息来执行获取。

作为具体示例，例如，在基于LDM已经获取开始从高速公路侵入到公共道路的日程的情况下，执行对从自动驾驶模式到手动驾驶模式的切换请求的发生事件的确定。

接下来，在步骤S42中，获得观测值。该观测值获取处理例如由图17所示的驾驶员信息获取单元201、环境信息获取单元202和驾驶员个人识别信息获取单元203执行。注意，这些配置对应于图4所示的配置中的数据获取单元102和检测单元131的相应配置。

如上所述，驾驶员信息获取单元201包括相机或各种传感器，并获取驾驶员的信息，例如，用于确定驾驶员的清醒度的信息。示例包括从包括眼球区域的图像获取的视线方向、眼球行为和瞳孔直径、从包括面部区域的图像获取的面部表情等。驾驶员信息获取单元201还获取与驾驶员对各操作单元(方向盘、加速器、制动器等)执行的操作有关的信息。

环境信息获取单元202获取例如来自设置在移动装置中的成像单元的图像、深度信息或三维结构信息、来自设置在移动体中的诸如LiDAR的传感器的地形信息、来自GPS的位置信息、来自设置在例如道路的基础设施中的通信装置的信息，诸如交通灯的状态或与标志有关的信息等。

接下来，在步骤S43中，基于获取的观测值计算手动驾驶恢复可用时间。

该处理是由图17所示的安全性判定单元210的安全性判定处理执行单元(手动驾驶恢复可用时间估计单元)212执行的处理。

安全性判定处理执行单元(手动驾驶恢复可用时间估计单元)212接收由驾驶员信息获取单元201获取的驾驶员信息、环境信息获取单元202获取的环境信息等作为输入。此外，使用作为由学习处理单元211执行的学习的结果的学习器或从服务器300获取的学习器，并且基于当前时间的驾驶员信息和环境信息来估计安全的手动驾驶恢复之前所需的时间(＝手动驾驶恢复可用时间)。

这里，所使用的学习器例如是通过使用以上参照图20描述的输入/输出数据而学习的学习器。

注意，如上所述，12中所示的数据是包括"驾驶员信息和环境信息"与"安全性指标值和手动驾驶恢复可用时间"之间的对应数据的学习器输入/输出数据。

图20示出了在假定输入信息的组合的情况下通过基于驾驶员信息和环境信息的组合来组合特定参数而形成的表的示例。然而，实际上，固有的组合事件的发生频率不是很高。每次事件作为各种情况或状况的组合而发生，因此信息被多维地输入，并且指示驾驶员的前进状况的信息的日志不总是存在。然后，即使在相同的生物信息的观测值的情况下，用于根据所获取的视觉信息执行确定的延迟由于个体固有的体质、手势、经验、记忆等而具有个体差异。

为了在各种条件下执行更准确的判定，使用包括驾驶员信息和安全性指标的集合的数据组，并且通过学习来更新安全性判定装置。用于学习的方法的可想到的示例包括支持向量机、增强、卷积神经网络、深度置信网络、长期短期记忆等。在更新时，可以将新获取的数据组添加到用于提前学习的数据组，并且可以执行重新学习，或者可以使用在线学习。

安全性判定处理执行单元(手动驾驶恢复可用时间估计单元)212使用利用图20所示的数据学习的学习器，并且通过将驾驶员信息和环境信息作为输入执行预测。或者，也可以使用从图20所示的数据中选择包含与驾驶员信息获取单元201获取的驾驶员信息和环境信息获取单元202获取的环境信息的各参数最接近的参数的条目，并且获取所选条目中设置的手动驾驶恢复可用时间估计值的简单方法。

注意，在估计手动驾驶恢复可用时间的处理中使用的学习器可以按每个驾驶员来设置，或者也可以设置为在观测信息中包括自动驾驶的执行期间的次要任务的类型。

在这种情况下，执行使用正在执行驾驶的驾驶员的个人识别信息和与当前的次要任务的类型有关的信息作为观测信息的处理(手动驾驶恢复可用时间估计处理)。

图22(a)示出了与观测值对应的可观测评估值与恢复延迟时间(＝手动驾驶恢复可用时间)之间的多条关系信息(观测图)的分布的一个示例。该示例对应于特定驾驶员的特定次要任务的类型。为了根据该多个关系信息(观测图)计算恢复延迟时间，提取在与所获取的观测值相对应的评估值方向的方向上具有固定宽度的区域(以虚线矩形框示出)中的关系信息(观测图)。图中的虚线C表示在驾驶员的不同观测值下观测到图22(b)中后述的恢复成功率为0.95的恢复延迟时间时的边界线。

通过在比虚线C长的宽限时间(即较早的宽限时间)向驾驶员发出自动到手动恢复通知或警告，获得了确保驾驶员的自动到手动恢复以0.95或更高的比率成功的区域。注意，在每个对应时间处驾驶员从自动驾驶向手动驾驶的正常恢复的目标值(恢复率的请求)例如根据路侧的基础设施的必要性来指定，并被提供给个别区间通过车辆。

注意，在车辆在行驶道路上的停止不导致对周围的障碍的情况下，仅需要通过停止车辆并将速度降低到***能够应对的速度来应对。通常，在很多情况下，都不希望在行驶道路上停车。因此，作为默认设置，高恢复率是期望的。特别地，在诸如大城市高速公路的指定路线上，在一些情况下，即使不从基础设施特意提供更新信息，也会默认地获得极高的恢复成功率。

图22(b)示出从提取出的多个关系信息(观测图)得到的恢复延迟时间与恢复成功率之间的关系。这里，曲线a表示在每个恢复延迟时间的独立成功率，并且曲线b表示在每个恢复延迟时间的累积成功率。在这种情况下，基于曲线b计算恢复延迟时间t1，使得获得规定的成功率，在所示示例中为0.95的成功率。

该计算处理例如由参照图17描述的安全性判定单元210执行。例如，该计算处理由安全性判定单元210使用存储在存储装置240中并且在过去获取的可观测评估值与恢复延迟时间之间的多个关系信息(观测图)的分布信息来执行。

图23是说明与在自动驾驶模式下驾驶员从驾驶转向任务脱离的状态下执行的处理(次要任务)的类型相应的手动驾驶恢复可用时间的图。

如图22(b)所示，个体分布轮廓对应于基于观测值(即，驾驶员的状态)预测的曲线a。换句话说，在以要求的恢复概率从自动驾驶到手动驾驶的接管点完成时，从在各阶段检测出的并且能够评估驾驶员的清醒度的观测值参照驾驶员的恢复所需的过去的特性，并且基于恢复的曲线(图22(b)的恢复成功率曲线)具有所希望的值的时刻t1，监视在各恢复阶段是否达到了恢复所需的实际状态，直到接管完成为止。

例如，在小睡的情况下的初始曲线是通过根据在自动驾驶中的小睡时段期间被动监测的诸如呼吸或脉搏波的观测信息估计睡眠水平并且观测在发出清醒警告之后相应驾驶员的恢复延迟特性而获得的累积平均分布。中间的每个分布根据在清醒之后的移动恢复过程期间已经观测到的驾驶员的状态来确定。观测到图示的"6.小睡情况"，确定及时发出清醒警告的右侧定时，并且之后的中间过程表示根据预测中间点的可观测驾驶员的状态评估值预测的恢复预算内的恢复时间分布。

在中途继续观测对剩余接管限制(即依次减少直到接管为止的时限)的不违反，并且在存在违反风险的情况下，降低速度，并且执行时间延期生成等。注意，例如，在没有步骤"6.小睡情况"和"5.就坐"的情况下从"4.非驾驶姿势不规则旋转就坐"开始恢复时的分布中，从第一种状况认知掌握开始恢复过程。因此，作为从"6.小睡情况"开始的中间过程中的状态的相同项目"4.非驾驶姿势不规则旋转就坐"的姿势是相同的，但是思考过程是在有意识恢复过程中。在从一开始就从"4.非驾驶姿势不规则旋转就坐"的姿势的状况认知开始的情况下，需要状况认知的时间，并且花费更长的时间。

注意，在一些情况下，在存储装置中没有充分地存储驾驶中的驾驶员的可观测评估值与恢复延迟时间之间的关系信息。在这种情况下，可以通过使用预先在存储装置中提供的作为基于例如从相同年龄的驾驶员群体收集的信息而生成的恢复特性信息的恢复的假定分布信息，来计算恢复延迟时间t1。由于驾驶员固有的特性尚未充分地学习，因此可以基于该信息以相同的恢复概率来使用该恢复信息，或者可以设置更高的恢复成功率。注意，从人体工程学观点来看没有经验的用户是更加谨慎的。因此，在使用的早期阶段中预期尽早恢复，并且随着驾驶员变得习惯于使用，驾驶员自身逐渐配合与***的通知同步的行动。注意，在驾驶大量车辆的流通业务中、公共汽车、出租车等的运行业务中、以及在将不同的车辆作为共享汽车或租赁用汽车使用的情况下，也可以对驾驶员进行个人认证，可以通过远程服务器等集中或分散地管理或学习可观测信息和驾驶的恢复特性，并且，也可以在不总是将与恢复特性相关的数据保持在个体车辆中的情况下执行远程学习处理或保持。

此外，通知定时是重要的，因此，在恢复成功率是成功/失败之前的统一时间的假设下提供了描述。然而，可以在不将从自动驾驶的手动驾驶的成功/失败限制为二元成功/失败的情况下，进一步执行扩展到恢复接管质量的确定。换句话说，达到实际恢复确认的恢复过程转变的延迟时间、响应于通知的恢复开始延迟、中间恢复行动的保持等是在可容许时间内的恢复，并且可以进一步作为恢复质量评估值输入到学习器。

现在返回到图21。在步骤S44中，在由在步骤S43中计算出的恢复延迟时间指定的通知定时，即在接管目标事件(从自动驾驶到手动驾驶的接管区间或从自动驾驶到谨慎行驶的谨慎行驶区间)变得更接近恢复延迟时间的定时，发出通知以提示驾驶员恢复驾驶。该通知例如作为显示处理发出，如以上参考图2所述。或者，该通知可以作为声音输出或方向盘或座椅的振动发出。例如，在驾驶员正在小睡的情况下，选择用于将驾驶员从睡眠状态唤醒的通知方法。

接下来，在步骤S45中，监视驾驶员的恢复转变。然后，在步骤S46中，基于步骤S45中的监视结果来确定在恢复延迟时间内是否可以进行驾驶恢复。当判定可以进行驾驶恢复时，驾驶员在步骤S47中进行驾驶恢复。此后，在步骤S48中，更新学习数据。换句话说，添加了相对于在上述驾驶恢复时的驾驶员的初始次要任务的类型的可观测的评估值与实际恢复延迟时间之间的关系信息(观测图)的一个样本值。此后，在步骤S50中，处理终止。注意，在本示例中，已经提供了仅学习在每个事件中生成的该标绘数据的描述。然而，实际上，学习很大程度上取决于事件发生之前的先前状态(历史)。因此，通过进行多维学习，能够进一步提高根据驾驶员的状态观测值的恢复延迟所需时间的估计精度。

此外，当在步骤S46中确定将不能进行驾驶恢复时，在步骤S51中执行减速、缓慢行进和后退到车辆停止的序列的开始。接下来，在步骤S52中，发出接管缺陷事件的处罚的记录，并且终止处理。注意，该处罚的记录被存储在存储装置中。

[7.信息处理装置的配置示例]

上述处理可以采用参照图4描述的移动装置的配置来执行。但是，也可以例如通过安装在移动装置上的信息处理装置来进行一部分处理。

参考图24描述这种信息处理装置的硬件配置示例。

图24是示出信息处理装置的硬件配置示例的图。

中央处理单元(CPU)501其中根据存储在只读存储器(ROM)502或存储装置508中的程序执行各类型型的处理的数据处理单元的作用。例如，执行根据上述示例中描述的序列的处理。

随机存取存储器(RAM)503存储由CPU501执行的程序、数据等。上述CPU501、ROM502和RAM503通过总线504相互连接。

CPU501经由总线504连接到输入/输出接口505，并且输入/输出接口505连接到包括各种开关、键盘、触摸面板、鼠标、麦克风、诸如传感器、相机或GPS的状况数据获取单元等的输入单元506以及包括显示器、扬声器等的输出单元507。

注意，来自传感器521的输入信息也被输入到输入单元506。

此外，输出单元507将驱动信息输出到移动装置的驱动单元522。

CPU501接收从输入单元506输入的命令、状况数据等作为输入，执行各类型型的处理，并将处理结果输出到例如输出单元507。

连接到输入/输出接口505的存储装置508包括例如硬盘等，并且存储由CPU501执行的程序或各类型型的数据。通信单元509起经由诸如因特网或局域网的网络的数据通信的发送/接收单元的作用，并且执行与外部装置的通信。

连接到输入/输出接口505的驱动器510驱动诸如磁盘、光盘、磁光盘或半导体存储器(例如，存储卡)的可移动介质511，并记录或读取数据。

[8.根据本公开的配置的概要]

以上已经参考具体示例详细描述了本公开的示例。然而，显然，本领域技术人员可以在不背离本公开的主旨的情况下对实施例进行修改或替换。换句话说，本发明已经以示例的形式公开，并且不应被解释为限制。为了确定本公开的要点，应当考虑权利要求。

注意，这里公开的技术可以采用以下描述的配置。

(1)一种信息处理装置，包括：

安全性判定单元，其接收驾驶员信息和环境信息作为输入，并计算指示在自动驾驶期间车辆中的驾驶员是否处于能够执行安全的手动驾驶的状态的安全性指标值。

(2)根据(1)所述的信息处理装置，

其中，所述安全性判定单元执行：

接收驾驶员信息和环境信息作为输入，并且估计手动驾驶恢复可用时间，该手动驾驶恢复可用时间包括直到在自动驾驶期间车辆中的驾驶员能够开始安全的手动驾驶为止的时间。

(3)根据(1)或(2)所述的信息处理装置，

其中，所述安全性判定单元：

执行学习处理，并生成其中驾驶员信息和环境信息与安全性指标值相关联的学习器；以及

采用生成的学习器，并计算安全性指标值。

(4)根据(2)所述的信息处理装置，

其中，所述安全性判定单元：

执行学习处理，并生成其中驾驶员信息和环境信息与手动驾驶恢复可用时间相关联的学习器；以及

采用生成的学习器，并估计手动驾驶恢复可用时间。

(5)根据(1)至(4)中任一项所述的信息处理装置，还包括：

通信单元，其执行与服务器的通信，

其中，所述信息处理装置从服务器获取其中以下的数据(a)和(b)相互关联的学习器：

(a)驾驶员信息和环境信息；以及

(b)至少安全性指标值或手动驾驶恢复可用时间，所述手动驾驶恢复可用时间包括直到在自动驾驶期间车辆中的驾驶员能够开始安全的手动驾驶为止的时间。

(6)根据(1)至(5)中任一项所述的信息处理装置，

其中，驾驶员信息包括能够计算驾驶员的清醒度的信息。

(7)根据(1)至(6)中任一项所述的信息处理装置，

其中，驾驶员信息包括视线方向、眼球行为、瞳孔直径和面部表情中的至少一项，所述视线方向、所述眼球行为和所述瞳孔直径是从包括眼球区域的图像获取的，所述面部表情是从包括面部区域的图像获取的。

(8)根据(1)至(7)中任一项所述的信息处理装置，

其中，驾驶员信息包括包含在模式从自动驾驶模式切换到手动驾驶模式之后的驾驶员的操作信息的信息。

(9)根据(1)至(8)中任一项所述的信息处理装置，

其中，环境信息包括捕获图像、深度信息、三维结构信息、LiDAR获取信息、地形信息和位置信息中的至少一项。

(10)根据(1)至(9)中任一项所述的信息处理装置，

其中，所述安全性判定单元：

执行学习处理，并生成其中驾驶员信息和环境信息与手动驾驶恢复可用时间相关联的学习器；以及

采用生成的学习器，并计算手动驾驶恢复可用时间，以及

所述信息处理装置还包括：

通知控制器，其执行用于在基于由所述安全性判定单元计算出的手动驾驶恢复可用时间而确定的定时经由通知单元向驾驶员发出手动驾驶恢复请求通知的通知处理。

(11)根据(10)所述的信息处理装置，

其中，所述通知单元包括显示单元、声音输出单元和振动器中的至少之一。

(12)一种移动装置，包括：

驾驶员信息获取单元，其获取所述移动装置的驾驶员信息；

环境信息获取单元，其获取所述移动装置的环境信息；以及

安全性判定单元，其接收驾驶员信息和环境信息作为输入，并计算指示在自动驾驶期间所述移动装置中的驾驶员是否处于能够执行安全的手动驾驶的状态的安全性指标值。

(13)根据(12)所述的移动装置，

其中，所述安全性判定单元执行：

接收驾驶员信息和环境信息作为输入，并且估计手动驾驶恢复可用时间，该手动驾驶恢复可用时间包括直到在自动驾驶期间所述移动装置中的驾驶员能够开始安全的手动驾驶为止的时间。

(14)根据(12)或(13)所述的移动装置，

其中，所述安全性判定单元：

执行学习处理，并生成其中驾驶员信息和环境信息与安全性指标值相关联的学习器；以及

采用生成的学习器，并计算安全性指标值。

(15)根据(13)所述的移动装置，

其中，所述安全性判定单元：

执行学习处理，并生成其中驾驶员信息和环境信息与手动驾驶恢复可用时间相关联的学习器；以及

采用生成的学习器，并估计手动驾驶恢复可用时间。

(16)根据(15)所述的移动装置，还包括：

通知控制器，其执行用于在基于由所述安全性判定单元计算出的手动驾驶恢复可用时间而确定的定时经由通知单元向驾驶员发出手动驾驶恢复请求通知的通知处理。

(17)根据(16)所述的移动装置，

其中，所述通知单元包括显示单元、声音输出单元和振动器中的至少之一。

(18)一种由信息处理装置执行的信息处理方法，所述信息处理方法包括：

安全性判定单元接收驾驶员信息和环境信息作为输入，并执行用于计算指示在自动驾驶期间车辆中的驾驶员是否处于能够执行安全的手动驾驶的状态的安全性指标值的处理。

(19)一种由移动装置执行的信息处理方法，所述信息处理方法包括：

驾驶员信息获取单元获取所述移动装置的驾驶员信息的驾驶员信息获取步骤；

环境信息获取单元获取所述移动装置的环境信息的环境信息获取步骤；以及

安全性判定单元接收驾驶员信息和环境信息作为输入，并计算指示在自动驾驶期间所述移动装置中的驾驶员是否处于能够执行安全的手动驾驶的状态的安全性指标值的安全性判定步骤。

(20)一种使信息处理装置执行信息处理的程序，所述信息处理包括：

安全性判定单元接收驾驶员信息和环境信息作为输入，并计算指示在自动驾驶期间车辆中的驾驶员是否处于能够执行安全的手动驾驶的状态的安全性指标值。

此外，说明书中描述的一系列处理可以由硬件或软件、或者硬件和软件的组合配置来执行。在通过软件执行一系列处理的情况下，可以通过将记录处理序列的程序安装在已经并入专用硬件的计算机内的存储器中来执行一系列处理，或者可以通过将程序安装在可以执行各类型型的处理的通用计算机中来执行一系列处理。例如，可以预先将程序记录在记录介质中。程序可以从记录介质安装在计算机中，或者程序可以经由诸如局域网(LAN)或因特网的网络接收，并且可以安装在诸如内置硬盘的记录介质中。

注意，在本说明书中描述的各类型型的处理可以根据说明书按顺序执行，或者可以根据执行处理的装置的处理能力或根据需要并行地或单独地执行。此外，这里描述的***是包括多个装置的逻辑集合的配置，并且并不总是在同一外壳中包括具有各自配置的装置。

工业适用性

如上所述，通过采用本公开的一个示例中的配置，实现了一种配置，其中输入驾驶员信息和环境信息，并且估计指示正在执行自动驾驶的驾驶员是否处于能够执行安全的手动驾驶的状态的安全指标值或手动驾驶恢复可用时间。

具体地，例如，该配置包括：驾驶员信息获取单元，其获取诸如汽车的移动装置的驾驶员信息；环境信息获取单元，其获取所述移动装置的环境信息；以及安全性判定单元，其接收驾驶员信息和环境信息作为输入，并且学习并计算指示自动驾驶期间移动装置中的驾驶员是否处于能够执行安全的手动驾驶的状态的安全性指标值。安全性判定单元还估计手动驾驶恢复可用时间，该手动驾驶恢复可用时间包括直到自动驾驶期间移动装置中的驾驶员能够开始安全的手动驾驶为止所需的时间。

通过采用该配置，实现了输入驾驶员信息和环境信息，并且估计表示正在执行自动驾驶的驾驶员是否处于能够执行安全的手动驾驶的状态的安全性指标值或手动驾驶恢复可用时间的配置。

附图标记列表

10 汽车

11 数据处理单元

12 驾驶员信息获取单元

13 环境信息获取单元

14 通信单元

15 通知单元

20 驾驶员

30 服务器

100 移动装置

101 输入单元

102 数据获取单元

103 通信单元

104 车内装置

105 输出控制器

106 输出单元

107 驱动***控制器

108 驱动***

109 主体***控制器

110 主体***

111 存储装置

112 自动驾驶控制器

121 通信网络

131 检测单元

132 自身位置估计单元

133 状况分析器

134 计划单元

135 动作控制器

141 车外信息检测单元

142 车内信息检测单元

143 车辆状态检测单元

151 地图分析器

152 交通规则识别器

153 状况识别器

154 状况预测单元

155 安全性判定单元

161 路线计划单元

162 行动计划单元

163 动作计划单元

171 紧急情况回避单元

172 加减速控制器

173 方向控制器

201 移动装置

181 行驶区间显示

182 平板电脑

201 驾驶员信息获取单元

202 环境信息获取单元

203 驾驶员个人识别信息获取单元

210 安全性判定单元

211 学习处理单元

211 安全性判定处理执行单元(手动驾驶恢复可用时间估计单元)

213 个人认证处理单元

221 通知控制器

222 通知单元

230 通信单元

240 存储装置

300 服务器

301 学习数据获取或生成单元

302 学习处理单元

303 通信单元

304 存储装置

501 CPU

502 ROM

503 RAM

504 总线

505 输入/输出接口

506 输入单元

507 输出单元

508 存储装置

509 通信单元

510 驱动器

511 可移除介质

521 传感器

522 驱动单元

Claims (20)

1.一种信息处理装置，包括：

安全性判定单元，其接收驾驶员信息和环境信息作为输入，并计算指示在自动驾驶期间车辆中的驾驶员是否处于能够执行安全的手动驾驶的状态的安全性指标值。

2.根据权利要求1所述的信息处理装置，

其中，所述安全性判定单元执行：

接收驾驶员信息和环境信息作为输入，并且估计手动驾驶恢复可用时间，该手动驾驶恢复可用时间包括直到在自动驾驶期间车辆中的驾驶员能够开始安全的手动驾驶为止的时间。

3.根据权利要求1所述的信息处理装置，

其中，所述安全性判定单元：

执行学习处理，并生成其中驾驶员信息和环境信息与安全性指标值相关联的学习器；以及

采用生成的学习器，并计算安全性指标值。

4.根据权利要求2所述的信息处理装置，

其中，所述安全性判定单元：

执行学习处理，并生成其中驾驶员信息和环境信息与手动驾驶恢复可用时间相关联的学习器；以及

采用生成的学习器，并估计手动驾驶恢复可用时间。

5.根据权利要求1所述的信息处理装置，还包括：

通信单元，其执行与服务器的通信，

其中，所述信息处理装置从服务器获取其中以下的数据(a)和(b)相互关联的学习器：

(a)驾驶员信息和环境信息；以及

(b)至少安全性指标值或手动驾驶恢复可用时间，所述手动驾驶恢复可用时间包括直到在自动驾驶期间车辆中的驾驶员能够开始安全的手动驾驶为止的时间。

6.根据权利要求1所述的信息处理装置，

其中，驾驶员信息包括能够计算驾驶员的清醒度的信息。

7.根据权利要求1所述的信息处理装置，

其中，驾驶员信息包括视线方向、眼球行为、瞳孔直径和面部表情中的至少一项，所述视线方向、所述眼球行为和所述瞳孔直径是从包括眼球区域的图像获取的，所述面部表情是从包括面部区域的图像获取的。

8.根据权利要求1所述的信息处理装置，

其中，驾驶员信息包括包含在模式从自动驾驶模式切换到手动驾驶模式之后的驾驶员的操作信息的信息。

9.根据权利要求1所述的信息处理装置，

其中，环境信息包括捕获图像、深度信息、三维结构信息、LiDAR获取信息、地形信息和位置信息中的至少一项。

10.根据权利要求1所述的信息处理装置，

其中，所述安全性判定单元：

执行学习处理，并生成其中驾驶员信息和环境信息与手动驾驶恢复可用时间相关联的学习器；以及

采用生成的学习器，并计算手动驾驶恢复可用时间，以及

所述信息处理装置还包括：

通知控制器，其执行用于在基于由所述安全性判定单元计算出的手动驾驶恢复可用时间而确定的定时经由通知单元向驾驶员发出手动驾驶恢复请求通知的通知处理。

11.根据权利要求10所述的信息处理装置，

其中，所述通知单元包括显示单元、声音输出单元和振动器中的至少之一。

12.一种移动装置，包括：

驾驶员信息获取单元，其获取所述移动装置的驾驶员信息；

环境信息获取单元，其获取所述移动装置的环境信息；以及

安全性判定单元，其接收驾驶员信息和环境信息作为输入，并计算指示在自动驾驶期间所述移动装置中的驾驶员是否处于能够执行安全的手动驾驶的状态的安全性指标值。

13.根据权利要求12所述的移动装置，

其中，所述安全性判定单元执行：

接收驾驶员信息和环境信息作为输入，并且估计手动驾驶恢复可用时间，该手动驾驶恢复可用时间包括直到在自动驾驶期间所述移动装置中的驾驶员能够开始安全的手动驾驶为止的时间。

14.根据权利要求12所述的移动装置，

其中，所述安全性判定单元：

执行学习处理，并生成其中驾驶员信息和环境信息与安全性指标值相关联的学习器；以及

采用生成的学习器，并计算安全性指标值。

15.根据权利要求13所述的移动装置，

其中，所述安全性判定单元：

执行学习处理，并生成其中驾驶员信息和环境信息与手动驾驶恢复可用时间相关联的学习器；以及

采用生成的学习器，并估计手动驾驶恢复可用时间。

16.根据权利要求15所述的移动装置，还包括：

通知控制器，其执行用于在基于由所述安全性判定单元计算出的手动驾驶恢复可用时间而确定的定时经由通知单元向驾驶员发出手动驾驶恢复请求通知的通知处理。

17.根据权利要求16所述的移动装置，

其中，所述通知单元包括显示单元、声音输出单元和振动器中的至少之一。

18.一种由信息处理装置执行的信息处理方法，所述信息处理方法包括：

安全性判定单元接收驾驶员信息和环境信息作为输入，并执行用于计算指示在自动驾驶期间车辆中的驾驶员是否处于能够执行安全的手动驾驶的状态的安全性指标值的处理。

19.一种由移动装置执行的信息处理方法，所述信息处理方法包括：

驾驶员信息获取单元获取所述移动装置的驾驶员信息的驾驶员信息获取步骤；

环境信息获取单元获取所述移动装置的环境信息的环境信息获取步骤；以及

安全性判定单元接收驾驶员信息和环境信息作为输入，并计算指示在自动驾驶期间所述移动装置中的驾驶员是否处于能够执行安全的手动驾驶的状态的安全性指标值的安全性判定步骤。

20.一种使信息处理装置执行信息处理的程序，所述信息处理包括：

安全性判定单元接收驾驶员信息和环境信息作为输入，并计算指示在自动驾驶期间车辆中的驾驶员是否处于能够执行安全的手动驾驶的状态的安全性指标值。

Images