CN114930422A - 信息处理设备、移动装置、信息处理***、信息处理方法和程序 - Google Patents

信息处理设备、移动装置、信息处理***、信息处理方法和程序 Download PDF

Info

Publication number
CN114930422A
CN114930422A CN202080088137.0A CN202080088137A CN114930422A CN 114930422 A CN114930422 A CN 114930422A CN 202080088137 A CN202080088137 A CN 202080088137A CN 114930422 A CN114930422 A CN 114930422A
Authority
CN
China
Prior art keywords
information
vehicle
section
driver
travel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080088137.0A
Other languages
English (en)
Inventor
大场英史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN114930422A publication Critical patent/CN114930422A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0059Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3697Output of additional, non-guidance related information, e.g. low fuel level
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0061Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/007Switching between manual and automatic parameter input, and vice versa
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明创建并显示在车辆行驶路线上设置的指示控制中心是否可以提供远程驾驶辅助服务的信息的显示数据。本发明包括数据处理单元,其生成具有表示车辆的行驶路线上的自动驾驶区间和手动驾驶区间的区间信息的行驶区间显示数据,并生成显示数据,该显示数据具有被设定为表示控制中心的远程驾驶辅助服务的可提供性的信息,作为与行驶区间显示数据中包含的行驶位置相关联的附加信息。数据处理单元生成显示数据,其中根据行驶区间显示数据,与行驶位置相关联地设置指示是否可以提供远程驾驶辅助服务的图标。

Description

信息处理设备、移动装置、信息处理***、信息处理方法和 程序
技术领域
本公开涉及信息处理设备、移动装置、信息处理***、信息处理方法和程序。更具体地说,本公开涉及用于实现能够在自动驾驶和手动驾驶之间切换的移动装置(例如车辆)的安全行驶的信息处理设备、移动装置、信息处理***、信息处理方法和程序。
背景技术
近年来,与自动驾驶相关的技术得到了积极开发。自动驾驶技术是通过使用车辆(汽车)上提供的位置检测装置以及对影响自身车辆的行驶路线的周围环境进行检测、认知确定等所需的各种传感器,实现在道路上自动行驶的技术。这种技术预计在未来会迅速普及。注意, PTL 1(JP 2015-141051A)是传统技术的一个示例,其公开了与自动驾驶***有关的技术。
然而,在当前情况下,自动驾驶仍处于开发阶段。因此,人们认为,在各种类型的普通车辆可行驶的环境中实现无缝和100%自动驾驶需要巨大的基础设施投资和时间。
考虑到诸如传统型私家车之类的车辆的可用性,有必要允许在任意两点之间自由移动。为了实现这一目的,预计目前仍需要在根据基础设施或道路状况在自动驾驶和驾驶员的手动驾驶之间进行适当切换的情况下的行驶。
然而,在特定情况下,驾驶员可能很难从自动驾驶转变到手动驾驶。在这种情况下,根据远程辅助(即根据来自外部控制中心的控制方的指示或在外部控制中心的操作员的远程控制下)驾驶车辆是有效的。为了实现自动驾驶车辆的普及,有必要构建用于从控制方给出指示和从操作员进行远程控制的配置。然而,在目前的情况下,还没有给出关于这些配置的具体提议。
[引文列表]
[专利文献]
[PTL 1]
JP 2015-141051A
[PTL 2]
PCT专利公报号WO2019/097944
发明内容
[技术问题]
例如,本公开是考虑到上述问题而开发的。本公开的一个目的是提供用于对能够在自动驾驶和手动驾驶之间进行切换的移动装置(例如车辆),通过给出来自控制方的指示和从操作员进行远程控制来实现安全行驶的信息处理设备、移动装置、信息处理***、信息处理方法和程序。
[针对问题的解决方案]
本公开的第一方面涉及一种信息处理设备,包括:数据处理单元,数据处理单元生成具有表示车辆的行驶路线上的自动驾驶区间和手动驾驶区间的区间信息的行驶区间显示数据,并进一步生成显示数据,该显示数据具有被设定为表示控制中心的远程驾驶辅助服务的可提供性的信息,作为与行驶区间显示数据中包含的行驶位置相关联的附加信息。
此外,本公开的第二方面涉及一种能够在自动驾驶和手动驾驶之间切换的移动装置。所述移动装置包括:获取与所述移动装置的驾驶员相关联的驾驶员信息的驾驶员信息获取单元;获取移动装置周围的周围信息的环境信息获取单元;以及数据处理单元,数据处理单元生成用于允许识别车辆的行驶路线上的至少自动驾驶允许区间和手动驾驶区间的行驶区间显示数据。数据处理单元生成显示数据,该显示数据具有被设定为表示控制中心的远程驾驶辅助服务的可提供性的信息,作为与行驶区间显示数据中包含的行驶位置相关联的附加信息。
此外,本公开的第三方面涉及包括移动装置和控制中心的信息处理***。控制中心向移动装置发送指示远程驾驶辅助服务的可提供性的信息。移动装置包括数据处理单元,数据处理单元生成具有表示车辆的行驶路线上的自动驾驶区间和手动驾驶区间的区间信息的行驶区间显示数据,并且还生成显示数据,该显示数据具有被设定为表示控制中心的远程驾驶辅助服务的可提供性的信息,作为与行驶区间显示数据中包含的行驶位置相关联的附加信息。
此外,本公开的第四方面涉及一种由信息处理设备执行的信息处理方法。该方法包括:通过信息处理设备的数据处理单元,生成具有表示车辆的行驶路线上的自动驾驶区间和手动驾驶区间的区间信息的行驶区间显示数据,并进一步生成显示数据,该显示数据具有被设定为表示控制中心的远程驾驶辅助服务的可提供性的信息,作为与行驶区间显示数据中包含的行驶位置相关联的附加信息。
此外,本公开的第五方面涉及一种使信息处理设备执行信息处理的程序。该程序使信息处理设备的数据处理单元生成具有表示车辆的行驶路线上的自动驾驶区间和手动驾驶区间的区间信息的行驶区间显示数据,并进一步生成显示数据,该显示数据具有被设定为表示控制中心的远程驾驶辅助服务的可提供性的信息,作为与行驶区间显示数据中包含的行驶位置相关联的附加信息。
注意,根据本公开的程序是例如可以使用以计算机可读形式提供的记录介质或通信介质为能够执行各种程序代码的信息处理设备或计算机***提供的程序。在以计算机可读形式提供的这种程序下,在信息处理设备或计算机***上实现与该程序相对应的处理。
通过基于下面描述的本公开实施例和附图的更详细描述,本公开的其他目的、特征和优点将变得显而易见。注意,本说明书中的***指的是由多个设备构成的逻辑集合配置。相应配置的装置不一定限于容纳在同一壳体中的装置。
[发明的有利效果]
根据本公开的一个实施例,提供了一种用于生成和显示显示数据的配置,该显示数据具有在车辆行驶路线上设置并表示控制中心的远程驾驶辅助服务的可提供性的信息。
具体来说,比如,该配置包括数据处理单元,数据处理单元生成具有表示车辆的行驶路线上的自动驾驶区间和手动驾驶区间的区间信息的行驶区间显示数据,并进一步生成显示数据,该显示数据具有被设定为表示控制中心的远程驾驶辅助服务的可提供性的信息,作为与行驶区间显示数据中包含的行驶位置相关联的附加信息。数据处理单元生成具有表示远程驾驶辅助服务的可提供性并且与根据所述行驶区间显示数据的行驶位置相关联地设定的图标的显示数据。
该配置提供生成并显示在车辆行驶路线上设置并表示控制中心的远程驾驶辅助服务的可提供性的显示数据的配置。
注意,本说明书中描述的有利效果仅通过示例的方式呈现。要产生的有利效果不限于这些效果。此外,还可以提供附加优点。
附图说明
图1是说明本公开的移动装置的配置示例的图。
图2是说明本公开的移动装置的驾驶员信息获取单元的配置示例的图。
图3是说明本公开的移动装置的环境信息获取单元的传感器的配置示例的图。
图4是说明在本公开的移动装置的显示单元上显示的数据的示例的图。
图5是说明由本公开的移动装置执行的处理的图。
图6是说明由本公开的移动装置执行的处理的图。
图7是示出由本公开的移动装置执行的从自动驾驶模式切换到手动驾驶模式的模式切换序列的示例的图。
图8是呈现说明自动驾驶的操作序列的示例的流程图的图。
图9是描绘行驶路线的示例的图,该行驶路线具有被设置或生成为根据驾驶员设置的目的地确定的自动驾驶允许或禁止区间的点。
图10是说明在行驶路线中的行驶区间显示的信息处理的图。
图11示出了每个示出了最终显示的行驶区间显示的示例的图。
图12示出了每个示出了随时间经过的行驶区间显示的改变示例 (滚动示例)的图。
图13是说明添加到行驶区间显示数据的附加信息的附加显示示例的图。
图14是说明添加到行驶区间显示数据的附加信息的附加显示示例的图。
图15是说明添加到行驶区间显示数据的附加信息的附加显示示例的图。
图16是说明添加到行驶区间显示数据的附加信息的附加显示示例的图。
图17是说明添加到行驶区间显示数据的附加信息的附加显示示例的图。
图18是说明添加到行驶区间显示数据的附加信息的附加显示示例的图。
图19是说明从自动驾驶到手动驾驶的转变处理的示例的图。
图20是解释与对应于观察值的可观察评估值和恢复延迟时间 (即,手动驾驶恢复允许时间)之间的关系相关联的多条信息(观察图)的分布示例以及恢复成功率的图。
图21是说明与驾驶员在自动驾驶模式(二次任务)下执行的处理类型相应的手动驾驶恢复允许时间的图。
图22是示出从自动驾驶到手动驾驶的转变处理的示例的图。
图23是说明行驶路线信息的显示数据的示例的图。
图24是说明与行驶路线显示数据一起显示的图标的示例的图。
图25是示出具有与行驶路线显示数据一起显示的图标的显示数据的示例的图。
图26是说明允许检查控制中心的控制方或远程驾驶辅助操作员在哪个地点可用的显示数据的使用示例的图。
图27是说明用于在行驶区间显示数据上显示远程驾驶辅助服务可提供性信息等的图标的示例的图。
图28是说明用于在行驶区间显示数据上显示远程驾驶辅助服务可提供性信息等的图标的示例的图。
图29是说明用于在行驶区间显示数据上显示远程驾驶辅助服务可提供性信息等的图标的示例的图。
图30是说明用于在行驶区间显示数据上显示远程驾驶辅助服务可提供性信息等的图标的示例的图。
图31是说明设置了附加信息的行驶区间显示数据的示例的图。
图32是说明为其设置了指示远程驾驶辅助服务可提供性信息等的附加信息的行驶区间显示数据的示例的图。
图33是说明为其设置了指示远程驾驶辅助服务可提供性信息等的附加信息的行驶区间显示数据的示例的图。
图34是说明为其设置了指示远程驾驶辅助服务可提供性信息等的附加信息的行驶区间显示数据的示例的图。
图35是说明为其设置了指示远程驾驶辅助服务可提供性信息等的附加信息的行驶区间显示数据的示例的图。
图36是说明为其设置了指示远程驾驶辅助服务可提供性信息等的附加信息的行驶区间显示数据的示例的图。
图37是说明为其设置了指示远程驾驶辅助服务可提供性信息等的附加信息的行驶区间显示数据的示例的图。
图38是说明为其设置了指示远程驾驶辅助服务可提供性信息等的附加信息的行驶区间显示数据的示例的图。
图39是说明为其设置了指示远程驾驶辅助服务可提供性信息等的附加信息的行驶区间显示数据的示例的图。
图40是说明(A)由控制中心执行的处理和(B)远程驾驶辅助的社会需求的图。
图41是说明(A)由控制中心获取的输入信息,(B)由控制中心执行的数据处理,以及(C)由控制中心向外部提供的提供信息的图。
图42是说明由车辆或车辆中设置的信息处理设备执行的处理的图。
图43是说明基于通知信息的驾驶员的思考和确定处理的示例的图。
图44是说明本公开的移动装置的配置示例的图。
图45是说明信息处理设备或包括在服务器或控制中心中的信息处理设备的硬件配置示例的图。
具体实施方式
下文将参考附图描述本公开的信息处理设备、移动装置、信息处理***、信息处理方法和程序的细节。请注意,描述将根据以下项目给出。
1.本公开的移动装置和信息处理设备的配置和处理概要
2.从自动驾驶模式到手动驾驶模式的模式切换序列
3.自动驾驶操作序列示例
4.行驶区间显示数据的具体示例
5.伴随与控制中心的通信的行驶控制处理
6.用于利用在行驶区间显示数据上设定的附加信息来提供信息的配置
7.从自动驾驶到手动驾驶的转变处理的具体示例
8.在从自动驾驶到手动驾驶的转变处理定时的远程驾驶辅助服务的使用示例
9.远程驾驶辅助服务的组合使用示例
10.远程驾驶辅助服务可提供性信息的提供示例
11.用于在行驶区间显示数据上显示远程驾驶辅助服务可提供性信息等的配置示例
12.控制中心的配置和处理
13.由车辆或车辆中设置的信息处理设备执行的处理,以及驾驶员基于通知信息的思考和确定处理
14.移动装置(车辆)的配置示例
15.信息处理设备的配置示例
16.本公开的配置总结
[1.本公开的移动装置和信息处理设备的配置和处理概要]
首先参考图1和随后的图描述本公开的移动装置和信息处理设备的配置和处理的概要。
例如,本公开的移动装置是车辆(汽车),其是具有与外部控制中心通信以实现行驶的功能的移动装置。
注意,本公开的移动装置可以是自动驾驶车辆(汽车),或者能够在行驶期间在自动驾驶和手动驾驶之间切换的车辆(汽车)。
注意,下文描述的将是本公开的移动装置的典型示例,其使用能够在行驶期间在自动驾驶和手动驾驶之间切换的车辆。
在上述类型的车辆需要从自动驾驶模式切换到手动驾驶模式的情况下,要求驾驶员开始手动驾驶。
在执行自动驾驶期间,驾驶员无需参与驾驶,因此允许驾驶员执行除驾驶以外的各种工作(任务)。注意,由驾驶员执行的除驾驶以外的任务(工作)在下文中称为二次任务。
在自动驾驶期间,驾驶员可以执行各种类型的二次任务。例如,驾驶员可以以类似于驾驶期间的方式的方式(除了驾驶员将手从方向盘移开以外)注视汽车前方,或者可以看书或打瞌睡。
驾驶员的清醒水平(意识水平)因这些处理的不同而不同。
例如,在打瞌睡期间驾驶员的清醒水平降低。换句话说,意识水平下降到较低的状态。在这种低清醒状态下,很难实现正常的手动驾驶。当在这种状态下模式突然切换到手动驾驶模式时,在最坏的情况下可能导致事故。
在这种情况下,如果通过与外部控制中心的通信在从控制中心的操作员给出的控制下执行行驶,则可以实现安全行驶。
请注意,驾驶员执行的手动驾驶需要在高清醒状态下启动,即在清醒状态下启动,以确保手动驾驶的足够安全。
为此,即使在执行自动驾驶期间,也有必要对驾驶员进行观察(监视),并获取允许确定驾驶员的清醒状态的数据。
将参考图1和下图描述本公开的移动装置和可附接到移动装置的信息处理设备的配置和处理。
图1是示出作为本公开的移动装置的一个示例的汽车10的一个配置示例的图。
本公开的信息处理设备附接到图1所示的车辆(汽车)10。
图1所示的车辆10是能够在两种驾驶模式(即手动驾驶模式和自动驾驶模式)下执行驾驶的汽车。
手动驾驶模式根据驾驶员20的操作,即方向盘(转向)操作和使用加速器、制动器等的操作,来执行行驶。
另一方面,自动驾驶模式不需要由驾驶员20执行的操作,并且基于例如由位置传感器、其他环境信息检测传感器等获得的传感器信息来实现驾驶。
位置传感器例如是GPS接收器等,而环境信息检测传感器例如由相机、立体相机、ToF传感器、超声波传感器、雷达、LiDAR(光检测和测距、激光成像检测和测距)、声纳等构成。
注意,图1是解释本公开的概要的图,并且示意性地描绘了主要组成元件。下面将描述详细的配置。
如图1所示,车辆10包括数据处理单元11、驾驶员信息获取单元12、环境信息获取单元13、通信单元14、通知单元15和存储单元 16。
例如,驾驶员信息获取单元12获取用于确定驾驶员的清醒水平的信息、与驾驶员相关联的状态信息等。
驾驶员信息获取单元12包括用于检测车辆内部信息的各种类型的传感器。具体地,例如,驾驶员信息获取单元12包括用于对驾驶员成像的成像设备、用于检测与驾驶员相关联的生物信息的生物传感器、用于收集车舱中的语音的麦克风等。例如,生物传感器设置在座椅表面、方向盘等上,并检测坐在座椅上的乘员的就坐状态或与握着方向盘的驾驶员相关联的生物信息。
各种类型的可观察数据可用作生命信号,例如心率、脉搏率、血流、呼吸、身心连接、视觉刺激、脑电图、出汗状态、头部姿势和行为、眼睛、凝视、眨眼、扫视(saccade)、微扫视、固定凝视、漂移、盯着看(stare)、PERCLOS(眼睑闭合百分比)以及虹膜的瞳孔反应。
注意,扫视和微扫视都是眼球行为信息。眼球执行与用于消除由于半规管的运动而引起的眼球的旋转运动等的反射行为相应的行为,以及响应于与在外周视野中捕获的运动体相关联的风险信息而高速移动中心视野的扫视动作。
此外,为了在对象的感知、识别和确定的步骤中基于记忆确定基本上在中心视野中捕获的对象,进行在捕获的对象附近的诸如固定凝视和微扫视、震颤(tremor)和漂移之类的行为。当另一个注意力吸引现象是固定水平或更低水平的现象时,在感知、识别和确定对象的过程中,驾驶员将他或她的视线指向中央视野中捕获的对象。
特别地,后一种认知和决定行为与大脑内的理解有很大的关联。因此,可以根据这些观察的结果来估计清醒状态。用于将视线移向新对象的扫视动作由各种类型的因素引起,例如进入周边视野的不同风险因素、由诸如警报之类的声音产生的刺激、撞击以及由记忆产生的刺激。因此,对于每个人来说,上述眼球行为在行为的检测、发生频率和持续时间方面是相当不同的行为,即使对于每种情况、驾驶体验、疲劳程度等具有一定的倾向。另一方面,驾驶员的清醒水平的恢复质量可以被评估为基于稳定清醒性下稳定时段期间的行为的驾驶员的清醒水平评估。
图2描绘了用于获得与车辆中的驾驶员相关联的信息的各种类型的传感器的示例,各传感器被包括在驾驶员信息获取单元12中。例如,驾驶员信息获取单元12包括相机、立体相机、ToF传感器、座椅应变仪或其他装置作为用于检测驾驶员的位置和姿势的检测器。此外,驾驶员信息获取单元12包括面部识别器(面部(头部)识别)、驾驶员眼睛***、驾驶员头部***或其他装置,作为用于获得与驾驶员相关的生命活动可观察信息的检测器。
此外,驾驶员信息获取单元12包括作为用于获得与驾驶员相关的生命活动可观察信息的检测器的生命信号检测器。此外,驾驶员信息获取单元12包括驾驶员标识单元。注意,被认为可采用的标识方法可以是使用密码、个人标识号等的知识标识,也可以是使用面部、指纹、瞳孔虹膜、声纹等的生命标识。
环境信息获取单元13获取与车辆10相关联的自身车辆状态和行驶环境信息。例如,环境信息获取单元13获取信息,例如汽车前方、后方、左侧和右侧的图像信息、通过GPS获得的位置信息以及指示周围障碍物并从LiDAR(光检测和测距、激光成像检测和测距)、声纳等获得的障碍物信息。
环境信息获取单元13包括用于检测自身车辆状态等的各种类型的传感器。具体地,例如,环境信息获取单元13包括陀螺仪传感器、加速度传感器、惯性测量单元(IMU)、用于检测加速踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机速度、马达速度或车轮的转速等的传感器等。
此外,例如,环境信息获取单元13包括用于检测与自身车辆的外部相关联的信息的各种类型的传感器。具体地,例如,环境信息获取单元13包括成像设备,例如ToF(飞行时间)相机、立体相机、单眼相机、红外相机和其他类型的相机。此外,例如,环境信息获取单元13包括用于检测天气、气象等的环境传感器和用于检测自身车辆周围的物体的环境信息检测传感器。环境传感器例如由雨滴传感器、雾传感器、阳光传感器、雪传感器等构成。环境信息检测传感器例如由超声波传感器、雷达、LiDAR(光检测和测距、激光成像检测和测距)、声纳等构成。
例如,图3描绘了用于检测与自身车辆外部相关联的信息的各种类型的传感器的安装示例。Cam1、Cam2、Cam3、Cam4和Cam5 中的每一个是成像设备(相机)。例如,在车辆10的前鼻、侧视镜、后保险杠、后门以及车舱中的风挡的上部中的至少一个处设置相机。
设置在前鼻上的成像设备Cam1和设置在车舱内风挡的上部的成像设备Cam5各自主要获取车辆10的前方图像。设置在侧视镜上的每个成像设备Cam2和Cam3主要获取车辆10的侧方图像。设置在后保险杠或后门上的成像设备Cam4主要获取车辆10的后方图像。设置在车舱内风挡上部的成像设备Cam5主要用于检测前方车辆,或检测行人、障碍物、交通信号灯、交通标志、车道等。此外,在未来的自动驾驶中,可允许扩展使用,以便在车辆左转或右转时,在更大范围内或进而在十字路口上的接近物体的范围内检测位于前方的右转或左转道路上的横穿行人。
注意,图3描绘了成像设备Cam1、Cam2、Cam3和Cam4的每个成像范围的示例。成像范围“a”表示设置在前鼻上的成像设备 Cam1的成像范围,图像范围“b”和“c”表示设置在相应侧视镜上的成像设备Cam2和Cam3的成像范围,成像范围“d”表示设置在后保险杠或后门上的成像设备Cam4的成像范围。例如,通过重叠由成像设备Cam1、Cam2、Cam3和Cam4捕获的图像数据,获得从上方观看的车辆10的鸟瞰图像,此外获得通过使用曲面等围绕车辆***部分的整个四周并且三维的显示图像。
图3所示的Sen1、Sen2、Sen3、Sen4、Sen5和Sen6均为传感器。例如,这些传感器中的每一个是诸如超声波传感器或雷达之类的传感器。
这些传感器被设置在车辆10的前部、后部、侧面、角部和车舱内风挡的上部处。设置在车辆10的前鼻、后保险杠、后门和车舱内风挡的上部的传感器Sen1、Sen4和Sen6例如可以是LiDAR。这些传感器Sen1至Sen6中的每一个主要用于检测前车、行人、障碍物等。这些检测的结果可以进一步应用于相机捕获的图像的鸟瞰显示,以及整个四周且三维的显示的三维物体显示的改进。
数据处理单元11执行自动驾驶控制处理。此外,数据处理单元 11接收由驾驶员信息获取单元12获取的驾驶员信息的输入和由环境信息获取单元13获取的环境信息(如车辆信息和外部信息),并对获取的信息执行抽象处理、加密处理、记录处理、分析处理等。
下文将描述这些处理的详情。
此外,数据处理单元11计算指示车辆中驾驶员的状态(例如在自动驾驶期间车辆中的驾驶员是否处于允许执行安全手动驾驶的状态,手动驾驶期间驾驶员是否正在执行安全驾驶等)的安全指标值。
此外,在需要从自动驾驶模式切换到手动驾驶模式的情况下,例如,数据处理单元11通过通知单元15执行用于发出促使切换到手动驾驶模式的通知的处理。
例如,假定该通知处理是在通过分析从驾驶员信息获取单元12 和环境信息获取单元13输入的信息计算出的最佳定时进行的。
换句话说,在驾驶员20可以开始安全手动驾驶的这种定时执行通知处理。
具体而言,在驾驶员坐在驾驶员座椅上,并在高清醒水平下定期对前方进行目视检查的情况下,在紧接在手动驾驶开始时间之前(例如手动驾驶开始时间前5秒)发出通知。在驾驶员处于低清醒水平的情况下,例如,执行足够提前地在手动驾驶开始时间之前20秒发出通知的处理。
适当的通知时间的计算由车辆10的数据处理单元11或图1所示的服务器30执行。具体而言,例如,最佳通知时间是基于已经生成的学习数据计算的。
通知单元15由发出该通知的显示单元或音频输出单元或者方向盘或座椅的振动器构成。
图4描绘了构成通知单元15的显示单元上显示的警告指示的示例。
如图4所示,将下面呈现的指示显示在显示单元30上。
驾驶模式信息=“自动驾驶”,以及
警告指示=“切换到手动驾驶。”
在驾驶模式信息指示区域中,在执行自动驾驶模式期间显示指示“自动驾驶”,并且在执行手动驾驶模式期间显示指示“手动驾驶”。
警告指示信息指示区域是在自动驾驶模式下执行自动驾驶期间显示以下指示的指示区域。
“切换到手动驾驶”
请注意,本例是详细说明解释的示例。然而,该指示不限于该文本指示,而是可以是使用诸如象形图之类的符号的指示。此外,用于呈现通知的方法不限于视觉信息,而是可以使用音声、专用光源的闪烁和照明、座椅振动或引导信号等来实现。因此,该方法不限于任何特定手段。
由驾驶员信息获取单元12获取的驾驶信息和由环境信息获取单元13获取诸如车辆信息和外部信息之类的环境信息被记录在存储单元16中。要记录的信息不限于简单获取的信息,而是可以与通知处理的定时和基于***的数据处理单元11所获取的信息确定和生成的各种类型的通知、从呈现装置向驾驶员作为通知发出的信息、指示由驾驶员对通知信息的识别和确认的信息、产生变化的时间等一起被记录,以检查驾驶员何时获得了信息以及驾驶员何时执行了必要的目标动作。
注意,可以将存储在存储单元16中的信息,即由驾驶员信息获取单元12获取的驾驶信息和由环境信息获取单元13获取的诸如车辆信息和外部信息之类的环境信息,通过通信单元30发送到服务器30,并存储在服务器30的存储单元中。
例如,存储在存储单元16或服务器30中的信息用于执行在事故发生时分析事故原因的处理、评估驾驶员的处理等。具体而言,该信息用于执行如下处理:例如用于评估如何提供指示驾驶员选择的可能选项的信息,以及作为风险降低选择的确定,驾驶员做出了什么样的确定以及在什么定时做出的。此外,该信息被定义为确认记录信息,该信息对于时间序列过程确认是否在行驶行程区间中进行紧急停车以避免从自动驾驶到手动驾驶的适当转变失败的风险至关重要。
如图1所示,车辆10具有能够通过通信单元14与服务器30和外部控制中心40通信的配置。
服务器30执行用于提供车辆10的道路信息的处理、存储由车辆 10的驾驶员信息获取单元12和环境信息获取单元13获取的信息的处理以及其他处理。下面将详细描述这些处理。
例如,控制中心40向驾驶员发出与从控制方给出的驾驶操作等相关联的指示,并执行与车辆相关联的、从远程驾驶辅助操作员给出的远程行驶控制和其他处理。下面还将描述这些的具体处理。
图5是描绘由本公开的移动装置和信息处理设备执行的处理的具体示例的图。
图5是示出在自动驾驶模式下执行自动驾驶期间发出手动驾驶切换请求的通知的适当定时的设置示例的图,并且呈现了以下两个通知处理示例。
(a)在执行自动驾驶期间驾驶员处于高清醒水平的情况下的通知处理,以及
(b)在执行自动驾驶期间驾驶员清醒水平低的情况下的通知处理。
示例(a)是在执行自动驾驶期间,驾驶员面向前方并查看道路的示例。在这种情况下,驾驶员的清醒水平处于高水平状态,即处于允许驾驶员随时开始手动驾驶的状态。
在这种情况下,即使在紧接在需要手动驾驶的时间之前给出切换到手动驾驶的通知,驾驶员也能够快速启动安全的手动驾驶。
示例(b)是驾驶员的清醒水平处于极低水平状态的示例,例如,驾驶员在执行自动驾驶期间打瞌睡。
在这种情况下,当在紧接在需要手动驾驶的时间之前给出切换到手动驾驶的通知时,驾驶员在意识不清的情况下开始手动驾驶。因此,驾驶员更可能造成事故。因此,在这种低清醒水平的情况下,有必要提前给出切换到手动驾驶的通知。
此外,对于具有行李室并允许驾驶员在执行自动驾驶期间进入行李室并在其中工作的车辆,例如送货车,优选地根据例如图6所示的三种情况,为手动驾驶切换请求的通知定时提供以下不同设置。
(a)在执行自动驾驶期间驾驶员处于高清醒水平的情况下的通知处理,
(b)在执行自动驾驶期间驾驶员的低清醒水平的情况下的通知处理,以及
(c)在执行自动驾驶期间驾驶员离开驾驶员座椅的情况下的通知处理。
示例(a)是在执行自动驾驶期间驾驶员面向前方并查看道路的示例。在这种情况下,驾驶员的清醒水平处于高水平状态,即处于允许驾驶员随时开始手动驾驶的状态。
在这种情况下,即使在紧接在需要手动驾驶的时间之前给出切换到手动驾驶的通知,驾驶员也能够快速启动安全的手动驾驶。
示例(b)是例如驾驶员在执行自动驾驶期间打瞌睡的情况的示例。在这种情况下,驾驶员的清醒水平处于极低水平状态。
在这种情况下,当在紧接在需要手动驾驶的时间之前给出切换到手动驾驶的通知时,驾驶员在意识不清的情况下开始手动驾驶。因此,驾驶员更可能造成事故。因此,在这种低清醒水平的情况下,有必要提前给出切换到手动驾驶的通知。
示例(c)是例如驾驶员在执行自动驾驶期间离开驾驶员座椅并工作的情况的示例。在这种情况下,驾驶员需要时间以回到驾驶员座椅上。
在这种情况下,当在紧接在需要手动驾驶的时间之前给出切换到手动驾驶的通知时,车辆10可能在驾驶员恢复驾驶员座椅之前进入手动驾驶区间。因此,在驾驶员离开驾驶员座椅的这种情况下,有必要提前给出切换到手动驾驶的通知。
请注意,为了便于理解,切换到手动驾驶的通知时间是使用诸如“早”和“紧接在…之前”之类的抽象表达来解释的。然而,在实际情况下,车辆10的***(数据处理单元)以类型方式学习驾驶员的行为特性等,并计算最佳通知定时。例如,***(数据处理单元11) 基于观察到的驾驶员状态估计驾驶员清醒状态,并参考与驾驶恢复之前所需时间相关联的分布(该分布是预先生成的)与当前行驶道路上的恢复成功率之间的相关性数据,计算正常转变高度可能完成的通知时间。
此后,***在与计算相对应的地点处和到达目标转变地点之前的点处发出通知。具体而言,例如,作为本申请人先前提交的专利申请的PTL 2(PCT专利公报WO2019/097944)中描述的方法是可用的。具体而言,可用的是这样一种方法,该方法基于对驾驶员的恢复时间分布的学习结果来估计驾驶员恢复所需的时间,从而计算通知定时。在以下描述中,假设车辆侧的***估计驾驶员应恢复的定时,并在***估计的定时向驾驶员发出通知,并且驾驶员识别或处理该通知,或对该通知执行其他处理。
[2.从自动驾驶模式到手动驾驶模式的模式切换序列]
随后将描述从自动驾驶模式到手动驾驶模式的转变序列。
图7示意性地描述了由数据处理单元11执行的从自动驾驶模式切换到手动驾驶模式的模式切换序列的示例。
在步骤S1中,驾驶员处于完全脱离驾驶操纵的状态。在此状态下,数据处理单元11根据从驾驶员信息获取单元12和环境信息获取单元13输入的信息执行监视处理(被动监视)。
例如,驾驶员可以执行二次任务,如小睡、观看视频、专注于游戏,或使用诸如平板电脑和智能电话之类的可视化工具执行工作。还认为,使用可视化工具(例如平板电脑和智能电话)的工作是在驾驶员座椅移动的状态下或在不同于驾驶员座椅的座椅上执行的。
据估计,取决于在路线上接近需要恢复到手动驾驶的区间时的如上所述的驾驶员状态,驾驶员恢复所需的时间随当时的工作内容而大不相同。
步骤S2是用于发出如之前参考图4所述的手动驾驶恢复请求通知的定时。数据处理单元11通过分析从驾驶员信息获取单元12和环境信息获取单元13输入的信息来计算最佳通知定时。对驾驶员的通知处理可采用各种模式。例如,使用诸如振动之类的动态触觉或视觉或听觉方式发出驾驶恢复通知。
例如,数据处理单元11基于指示驾驶员的稳定状态的监视信息来识别发出通知的定时,并在适当的定时发出通知。具体地说,***在前一阶段的被动监视时段中以被动方式持续监视驾驶员的二次任务的执行状态,以计算通知的最佳定时。优选的是,***在步骤S1的时段中持续且不断地执行被动监视,以根据驾驶员特有的恢复特性确定恢复定时并发出恢复通知。
换言之,优选的是,***根据驾驶员的恢复行为模式、车辆特性等学习最佳恢复定时,并向驾驶员呈现统计上获得的、驾驶员以等于或高于既定比率的比率从自动驾驶以正常方式恢复手动驾驶所需的最佳定时。在这种情况下,如果驾驶员在固定时间内没有对通知做出响应,则使用鸣响警报给出警告。
在步骤S3中,检查驾驶员是否已恢复并坐下。在步骤S4中,通过分析面部或眼球行为(例如扫视),检查驾驶员的内部清醒水平的状态。在步骤S5中,监视驾驶员实际操纵条件的稳定性水平。此后,在步骤S6中,完成从自动驾驶到手动驾驶的转变。
[3.自动驾驶操作序列示例]
随后将参考图8中呈现的流程图来描述自动驾驶的操作序列的示例。
图8所示的流程图是用于解释安装在车辆10上的信息处理设备的数据处理单元11执行的自动驾驶的操作序列的流程图。
首先,在步骤S11中,标识驾驶员。该驾驶员标识通过使用密码、个人标识号等的知识标识、使用面部、指纹、瞳孔虹膜、声纹等的生命标识、或知识标识和生命标识的组合来实现。以这种方式执行的驾驶员标识允许累积用于确定与每个驾驶员相关联的通知定时的信息,即使在多个驾驶员驾驶同一车辆的情况下也是如此。
接下来,在步骤S12中,通过驾驶员通过输入单元输入的操作来设置目的地。例如,驾驶员根据仪表板上的显示输入操作。
注意,在本实施例中描述的是这样一个示例,其中假定在上车后设置行驶安排。然而,例如,可以在上车之前使用智能电话或者在离开驾驶员自己的家之前使用个人计算机预先设置远程提前预订等。或者,车辆的***可根据指示驾驶员所假设的安排的安排表设置预先规划,并更新和获取指示道路环境的本地动态地图(LDM)信息,即,通常被称为LDM信息的信息,它作为指示车辆行驶的道路的信息以高密度且不断地更新行驶地图信息,例如,以在上车时或上车前以服务员的方式进一步呈现实际的行驶建议显示等。
本地动态地图(LDM)信息是例如从服务器30提供并根据道路状况顺序更新的信息。
在步骤S13中,随后开始显示行驶路线中的行驶区间。
行驶区间显示数据是包括诸如行驶安排道路的自动驾驶允许区间、手动驾驶区间(驾驶员干预必要区间)之类的区间信息的显示数据。
驾驶员可以通过查看行驶区间显示数据来识别手动驾驶区间的接近。
例如,该行驶区间显示被呈现在仪表板上,或显示在驾驶员在其上执行二次任务的平板电脑或类似设备上的工作窗口旁边。以这种方式,使用工作窗口执行工作的驾驶员可以基于从当前地点起的到达预测时间轴容易地识别行驶路线中的驾驶员干预必要区间和自动驾驶允许区间。
在该行驶区间显示上呈现了前方安排和指示接近每个地点的信息。在该行驶区间显示中,使用从当前地点起的到达预测时间轴呈现行驶路线的驾驶员干预必要区间和自动驾驶允许区间。此外,驾驶员干预必要区间包括手动驾驶区间、执行从自动驾驶到手动驾驶的转变的转变区间、以及自动驾驶后的谨慎行驶区间。下面将描述该行驶区间显示数据的详情。
在步骤S14中,随后开始获取LDM更新信息。通过获取此LDM 更新信息,可将行驶区间显示的内容更新至最新状态。在步骤S15中,随后开始行驶。
响应于行驶开始,连续执行步骤S16至S18中的处理。
在步骤S16中,开始用于获取、分析、转换和记录驾驶员信息和环境信息的处理。
图1所示的数据处理单元11接收与驾驶员相关联并由驾驶员信息获取单元12获取的观测信息以及由环境信息获取单元13获取的环境信息的输入,例如车辆信息和外部信息,并开始分析、转换以及记录获取的信息的处理。
此外,在所获取的信息包括在个人信息保护法规下不允许原样记录的数据(如面部图像)的情况下,数据处理单元11对这些数据执行抽象处理或加密处理,并执行在存储单元16或服务器30中记录处理后的数据的处理。
存储在存储单元16或服务器30中的加密数据的解码需要仅驾驶员知道的密钥(例如,密码)。
将在下一阶段描述步骤S16中用于获取、分析、转换和记录驾驶员信息和环境信息的细节或处理。
在步骤S17中,随后基于与自身车辆相关联的位置信息和获取的 LDM更新信息来更新行驶区间显示的显示。结果,例如,滚动显示行驶区间显示,使得每个区间随着行驶而接近自身车辆。
下面将描述行驶区间显示数据的具体示例。
在步骤S18中,随后执行事件改变应对处理。该事件改变应对处理包括:模式切换处理,用于应对以下情况,即,在行驶路线中已经存在切换地点作为在自动驾驶模式和手动驾驶模式之间切换的地点,或者谨慎行驶区间正在接近;事件生成处理,用于应对在行驶路线中新生成模式切换地点或谨慎行驶区间的驾驶员干预必要区间的情况;以及其他处理。此后,以适当的方式重复步骤S17和步骤S18的处理。
[4.行驶区间显示数据的具体示例]
接下来,将描述行驶区间显示数据的具体示例。
如上所述,在图8所示的流程中,在步骤S13中显示行驶路线中的行驶区间,并且在步骤S17中执行更新行驶区间显示数据的处理。
如上所述,行驶区间显示数据是包括诸如行驶安排道路的自动驾驶允许区间和手动驾驶区间(驾驶员干预必要区间)之类的区间信息的显示数据。
例如,在执行自动驾驶期间执行各种二次任务的驾驶员可以通过查看行驶区间显示数据来识别手动驾驶区间的接近。
将参考图9和之后的图描述行驶区间显示数据的具体示例。
请注意,例如,该行驶区间显示被显示在仪表板上,或显示在驾驶员在其上执行二次任务的平板电脑等上的工作窗口旁边。以这种方式,使用工作窗口执行工作的驾驶员可以基于从当前地点起的到达预测时间轴容易地识别行驶路线中的驾驶员干预必要区间和自动驾驶允许区间。
图9示出了在根据驾驶员设置的目的地确定的行驶路线上显示的行驶区间显示数据的示例。行驶路线包括自动驾驶允许区间Sa、手动驾驶区间Sb、执行从自动驾驶到手动驾驶的转变的转变区间Sc以及自动驾驶后的谨慎行驶区间Sd。本文中的每个转变区间Sc始终位于紧接在手动驾驶区间Sb之前的位置,并且要求驾驶员具有手动驾驶的恢复姿势。此外,每个谨慎行驶区间Sd是如下的区间:例如,在驾驶员以手动驾驶的恢复姿势谨慎监视下,允许自动驾驶而不改变,但是速度被降低。
在所描述的示例中,自动驾驶允许区间Sa用绿色表示,手动驾驶区间Sb用红色表示,转变区间Sc和谨慎行驶区间Sd用黄色表示。请注意,为了方便起见,每种颜色都以不同的图案表示。
为了使用诸如车辆10的中心信息显示器或平板电脑之类的显示设备来显示行驶区间,基于从当前地点起的到达预测时间轴来指示上述行驶路线的每个区间。数据处理单元11根据行驶路线信息和交通信息,执行用于显示行驶路线中的行驶区间的信息处理。
图10的(a)部分使用距离当前地点的行驶距离轴以固定比例呈现行驶路线的每个区间。图10的(b)部分表示每个地点处平均道路交通的流速v(t)。图10的部分(c)表示在使用速度v(t)从基于移位距离轴指示的区间转换后基于时间轴指示的每个区间。以这种方式,使用从当前地点起的到达预测时间轴来指示行驶路线的每个区间。具体地说,可以通过将行驶路线的物理距离除以每个区间的预测平均速度,使用时间轴表示各区间。
根据本实施例,如图10的部分(d)所示,由行驶区间显示表示的所有区间被划分为三个区间,并且每个区间的时间轴是变化的。具体地,使用第一时间轴指示从当前地点到第一地点的第一区间(时间 t0,例如,大约10分钟),作为时间线性显示最近区间。例如,时间t0被设置为足以让普通驾驶员完成二次任务并恢复驾驶的时间。随着行驶而接近的最近区间产生与在地图上以固定速度指示行驶等同的视觉直观效果。因此,驾驶员可以根据对事件的接近,开始准备准确恢复驾驶。因此,提供了这样一种有利的效果,即开始恢复的点可以本能地以一定的准确度识别出来。换句话说,本区间的显示目的是为用户提供用于确定驾驶员的准确恢复点的开始的开始确定信息。
此外,使用以预定比率从第一时间轴顺序改变到从第一时间轴减小的第二时间轴的时间轴来表示从第一地点(时间t0)到第二地点(时间t1,例如,大约一小时)的第二区间,作为时间倒数显示区间。在主要以与上述第一区间等同的比例放大率显示的情况下,很难在狭窄的显示空间中呈现长时段的显示。因此,该第二区间的显示目的是通过使用窄显示为驾驶员提供用于提供准确且较长时段路况的办法。通过这种方式,随着行驶,驾驶员可以很容易地识别在某个固定的在先区间中的哪个地点之前,不需要驾驶干预。因此,提供了这样一种有利的效果,即可以以安排的方式实现对二次任务的参与。因此,第二区间允许良好组织的派生干预,并且还起到了呈现用于规划驾驶员从通过与第三方等的交换而产生的二次任务等中解放出来的重要信息的作用。
这里将参考图10的部分(d)描述用于设置第二显示区间的方法。假设三角形的高度为h0,使用以下等式(1)计算三角形的远端之前 h的点处的时间t。
t=t0*h0/h...(1)
此外,从第一时间轴以hs/h0的比率减小第二点(时间t1)处的第二时间轴。例如,在hs=h0/8的情况下,减小比率为1/8。
在以恒定车辆速度行驶的情况下,上述第二显示区间的显示对应于在行驶方向上倾斜地观看的地图上的行驶线性延伸显示区间的显示,或者倾斜地观看道路平面中的前方的状态。换句话说,作为该显示区间的视觉效果,可以直观地获得显示图像高度位置的距离。因此,该显示被认为是这样的显示,其中可以容易识别直观距离,而无需在屏幕上显示精确位置指示的比例尺等。此外,减少了远区间。该区间不是通过行驶立即到达的地点,因此需要作为重要因素进行粗略预测,但不需要驾驶员直观地识别与近点处的精确到达时间信息相当的精确到达时间信息。因此,第二区间也适用于规划二次任务的执行。
此外,使用第二时间轴(减少率:hs/h0)来指示从第二地点(时间t1)到第三地点(时间t2)的第三区间,作为时间线性显示远区间。通过将该显示分为三个区间,驾驶员可以知道时间上最近的区间信息的细节,也可以在有限的显示空间内知道时间上较远的区间信息。注意,当在不从第二区间的显示模式改变的情况下显示远部分时,人类视觉分辨率进而***显示分辨率可能降低到限制分辨率或更低。在这种情况下,很难辨别二次任务的规划确定所需的信息,并且显示功能的意义丢失。因此,最有效的显示如下。也就是说,在可以实现在时间方面充分直观地识别区间感以及干预必要区间和不必要区间的适当分类显示这两者的阶段中,结束显示比例的减小,并且在之后的区间中再次执行固定比例的显示。
注意,车辆10的存储单元16存储时间t0、t1和t3的默认值。还可以认为,远距离驾驶的时间t0、t1和t3被设置为与近距离驾驶的时间t0、t1和t3不同的值。因此,每个默认值不限于一个值,而是可以具有多种类型,使得驾驶员(用户)或***根据行驶路线选择性地使用这些值。还可以认为,驾驶员(用户)设置时间t0、t1和t3 的期望值。
图11的(a)和(b)部分各自描绘了最终呈现的行驶区间显示的示例。请注意,每个箭头的长度表示时间轴是否为线性的,还表示时间轴的缩小率的变化。在图11的部分(a)的情况下,第一区间、第二区间和第三区间都显示为具有第一宽度的区间,每个区间都没有改变。
另一方面,在图11的部分(b)的情况下,从当前地点到第一地点(时间t0)的第一区间用第一宽度指示,从第一地点(时间t0)到第二地点(时间t1)的第二区间用从第一宽度到小于第一宽度的第二宽度顺序改变的宽度指示,从第二地点(时间T1)到第三地点(时间T2)的第三区间用第二宽度指示。以这种方式,驾驶员能够从视觉上识别第二区间和第三区间的时间轴相对于第一区间的缩小程度。
具体地,图11的部分(a)的显示模式是仅考虑行驶方向上的缩小率的显示。然而,如图11的(b)部分所示,通过与距离对应地改变关于行驶方向的显示信息的横断宽度,可以进一步获得与在沿着道路或地图上的行驶的无限方向上观看到的效果相同的距离效果。以这种方式,通过查看图11的部分(b)中驾驶干预必要区间的分布的画面,与通过仅瞬间查看图11的部分(a)中的画面相比,可以容易且更直观地识别由到达时间距离产生的距离感。特别地,在只有第二区间被逆时针旋转并观看的情况下,道路前方的道路宽度和相应地点处的到达时间变得与以恒定速度行驶的情况下的道路宽度和到达时间相当。因此,可以直观地识别到每个地点的到达时间,而无需在显示屏上视觉确定准确的位置存储器。因此,例如,驾驶员可以轻松实现用于执行二次任务的时间分配。
此外,如果在不改变时间长度的情况下,显示例如如第三区间中那样在缩小率hs/h0小的部分中具有短时间长度的区间,则该区间被表示为极窄区间。在这种情况下,预计驾驶员变得很难识别该区间。因此,即使在驾驶员干预区间(手动驾驶区间、转变区间、谨慎行驶区间)实际上具有固定时间长度或更小的情况下,驾驶员干预区间也被显示为具有固定时间长度的区间。在这种情况下,例如,在连续地设置转变区间和手动驾驶区间的情况下,可以省略转变区间的显示。在图11的(a)和(b)部分中第三区间的初始手动驾驶区间Sb的显示对应于这种状态。以这种方式,具有小时间长度的驾驶员干预必要区间可以以这样的方式来显示,即,使得在时间轴显著缩小的第三区间中驾驶员可以识别驾驶员干预必要区间。换句话说,这种显示起到了防止忽视的作用。
此外,在手动驾驶区间Sb在如第三区间中那样在缩小率hs/h0 小的部分中以短周期间歇地连续的情况下,整个部分被表示为连续手动驾驶区间Sb。在图11的(a)和(b)的每个部分中的第三区间的第二手动驾驶区间Sb的显示对应于上述连接的显示状态。以这种方式显示的手动驾驶区间Sb除了包括手动驾驶区间Sb之外,实际上还包括均为短时段的转变区间Sd和自动驾驶允许区间Sa,如图11的部分(c)所示。注意,例如,在如下所述的平板电脑等上显示行驶区间的状态下,可以响应于在相应位置处的双击来呈现位置的细节。
基于与自身车辆相关联的位置信息和获取的LDM更新信息,更新如上所述的行驶路线上的行驶区间显示。以这种方式,滚动显示行驶区间显示,使得每个区间随着时间的经过而接近自身车辆。图12 的(a)至(d)部分各自描绘了随着时间的经过的行驶区间显示的改变示例。此示例表示第二区间以锥形形状显示的示例。然而,这同样适用于所有区间均表示为具有相同宽度的区间的情况。
在这种情况下,快速实现第一区间中各区间之间的移动。此外,随着从第三区间到第一区间的靠近,第二区间中的时间轴的缩小减小。因此,随着靠近第一区间,显示在各区间之间更快速地移动。此外,时间轴在第三区间中被更加缩小。相应地,显示在各区间之间缓慢移动。
[5.伴随着与控制中心的通信的行驶控制处理]
接下来将描述由车辆10执行并伴随着与图1所示的控制中心40 的通信的行驶控制处理。
例如,存在这样的情况,其中驾驶员坐在车辆10的驾驶员座椅上,车辆10能够在行驶期间在自动驾驶和手动驾驶之间切换,如前面描述的图1所示,并且驾驶员需要在通过自动驾驶的行驶期间切换到手动驾驶。然而,例如,如果驾驶员正在打瞌睡,即使提前通知,驾驶员也可能很难从自动驾驶转变到手动驾驶。在这种情况下,如果车辆在远程辅助下行驶,例如从图1所示的控制中心40进行远程控制,则可以实现安全行驶。
下文将描述这种需要与控制中心40通信的行驶控制。
当驾驶员在使用自动驾驶期间正在执行除驾驶以外的任务(即,二次任务/NDRA:非驾驶相关活动)时,车辆10的***(数据处理单元)基于由环境信息获取单元13等获取的信息(例如,前方发生了事故)确定自动驾驶可能难以继续,并发出让驾驶员恢复到手动驾驶的恢复通知。
在这种情况下,如果驾驶员很难在延长的时间内完成到正常手动驾驶的转变,则使用车辆10的***(数据处理单元)中包含的风险最小化车辆控制器(MRM:最小风险机动),执行用于紧急使车辆 10减速或使车辆10停止的处理,以防止事故。
然而,在主要道路上交通量大或车辆在狭窄道路区间简单停车的情况下,不经考虑的减速可能导致后车的碰撞,或完全堵塞允许通行的道路,因此可能对社会必不可少的交通基础设施的效率产生相当大的阻碍。
为了减少这些社会负面因素,在确定驾驶员的手动驾驶转变困难的情况下,远程控制中心40的及时和精确的驾驶辅助是有效的。远程辅助允许在没有MRM的紧急减速或停车的情况下继续安全行驶。
为了获得有效的远程辅助,需要在从需要远程辅助的定时开始没有延迟的情况下,产生这样一种状态,即,可以提供来自控制中心40 的控制方的指示提供服务或实际执行远程行驶控制的远程操作员的远程控制服务。
注意,控制方和操作员(远程驾驶辅助操作员)位于控制中心 40中。控制方主要为车辆驾驶员提供指示、建议和操作员的优先分配分类。操作员(远程驾驶辅助操作员)执行用于在远程控制下实现车辆行驶的处理。
在目前的自动驾驶技术水平下,车辆在任何环境下高速自动行驶仍然被认为是困难的。因此,必要时需要从自动驾驶切换到手动驾驶。
例如,如果即使在接近车辆难以通过自动驾驶经过的区间时驾驶员也无法实现到手动驾驶的适当恢复,则***可能需要使用风险最小化车辆控制器(MRM)紧急使车辆停止。在这种情况下,如果在狭窄道路区间中进行紧急停止,车辆成为交通障碍。
许多私人拥有的车辆都具有可作为从任何出发点A到任何目的地B的交通工具的优势。驾驶员很难在不执行操纵操作的情况下完成该旅程的所有行程的自动行驶。
因此,例如,在车辆10的***(数据处理单元)基于从本地动态地图(LDM)获得的信息或安装设备的性能确定在不从自动驾驶切换的情况下难以通过某个区间的情况下,***代替驾驶员请求来自外部控制中心40的远程辅助。如果可以及时地接收到来自控制中心40的该远程辅助服务,则允许防止车辆紧急应对控制(例如风险最小化车辆控制器(MRM)的紧急停止)的执行。
例如,即使在从出发地点A行驶到目的地地点B时,在不从自动驾驶改变的情况下很难通过某个区间时,图1所示的车辆10也能够通过在对应的区间中接收来自控制中心40的远程辅助服务,在远程驾驶辅助下继续自动驾驶。因此,允许驾驶员20继续执行除驾驶以外的二次任务。
通过提供如上所述的及时远程操纵辅助服务,即使驾驶员脱离驾驶操纵操作时,也可以继续安全自动驾驶。因此,在不增加社会负面因素(例如使用风险最小化车辆控制器(MRM)的紧急停车)的情况下提高了可用性。
然而,为了在没有时间延迟的情况下及时实现许多车辆的远程驾驶辅助,与行驶车辆数量相对应的大量操作员,即控制方或远程操纵操作员,需要永久驻扎在控制中心40中。
由控制中心40提供的远程辅助的机制是针对作为受益人的驾驶员的服务,因此难以无穷无尽地提供。因此,需要进行管理,减少不必要的使用。
还需要提供这样一种机制,其防止过度使用从控制中心40提供给驾驶员的远程辅助服务,并减少服务的使用。例如,对过度使用实行按使用付费制度是有效措施之一。此外,激励使用较小服务量的优秀驾驶员的这种管理也是有效的。
作为远程驾驶辅助服务,构建用于根据使用模式向远程辅助服务的用户提供激励、收费或处罚的机制、用于确定用户使用该服务的适当性的机制、用于将确定结果通知用户的机制等,以在向驾驶员提供指示或建议的控制方和提供实际远程驾驶辅助的操作员的供应和需求之间保持最佳平衡被认为是有效的。
在通过某一车辆行驶区间的情况下,如果驾驶员或车辆10的自动驾驶***(数据处理单元11)能够预先获取指示在该区间中是否需要远程驾驶辅助、在通过该区间期间是否可靠地提供足够的控制服务的供应、以及是否可靠地提供通过控制服务分配的足够的远程操纵操作员等的信息,则车辆10或驾驶员20可以采取最佳措施。
例如,可以提前更改路线,或者可以执行促使临时进入服务区并在那里等待的这种措施。
进一步可采用的措施是,例如,找到一辆用于带路和引导行驶的车辆,并执行自动行驶以作为配对车辆跟随该车辆。
如上所述,如果将与控制中心40的实际操纵操作员或控制方相关联的提供可用性信息、指示允许引导行驶的车辆的存在或不存在的信息、指示诸如服务区之类的等待地方中的空置空间的信息组合起来,并提供给自动行驶车辆,那么车辆驾驶员可以采取措施,例如提前退避到普通道路、在服务区中等待、以及向不同的车辆提供激励点,并请求作为带路车辆的引导。
例如,如果获得了这些类型的信息,即使在驾驶员在难以退避的主要道路(如东京大都会高速公路)上行驶期间很难立即恢复到手动驾驶的情况下,驾驶员或自动车辆10的驾驶***(数据处理单元11) 可以确定采取在早期阶段从主要道路进入允许减速或车辆停车的普通道路的这样的措施。因此,例如,可以避免在主要道路上对后车造成交通阻碍。
然而,例如,与控制方或控制中心40的实际操纵操作员相关联的供应可用性信息被顺序地改变。因此,获得实际状况并不容易。
此外,每个车辆或远程辅助服务的每个用户(驾驶员)有不同的需求。因此,通过采用能够以适合于用户需求的形式提供信息并允许用户选择适合于用户需求的优先级的服务的配置,可以实现平滑管理。
假设用户(驾驶员)在各种模式下使用远程辅助服务。例如,以下使用模式被假定为特定使用模式。
(a)由沿着规定路线的行驶车辆使用,如校车,其行驶路线或目的地已确定,无需用户进行任何驾驶干预,
(b)由作为老年人或患有疾病且无法驾驶车辆的人员的驾驶员为了行驶到医院或去购物而使用,
(c)由无人运输车为了运输到人口较少地区的农产品的主要收集地点而使用,
(d)分类式使用,用于允许根据紧急程度基于优先级程度按优先级使用远程辅助服务,
(e)由无法响应来自***的手动驾驶请求适当进行到手动驾驶的转变的普通驾驶员使用(对驾驶员的二次任务执行辅助),
(f)在高速公路入口或出口处使用,在该入口或出口处,通过带路车辆跟随行驶的自动驾驶结束;由在异常等时已退避至路肩的车辆使用,以及
(g)在使用带路车辆进行自动驾驶期间通过手动驾驶必要区间时使用。
例如,假设上述远程辅助服务的各种类型的使用模式。
要求控制中心40将有限数量的控制方或远程驾驶辅助操作员适当地分配给远程辅助服务的这些各种类型的使用模式。
[6.用于利用在行驶区间显示数据上设置的附加信息来提供信息的配置]
接下来,将描述用于利用在行驶区间显示数据上设置的附加信息来提供信息的配置。
以上参考图9至12描述的行驶区间显示数据是用于在驾驶员使用自动驾驶期间,在行驶路线上每个接近道路上辅助恢复驾驶员的干预的机制之一。
然而,参考图9到12描述的显示示例是仅行驶区间显示数据的显示示例。具体地,所述显示示例是仅包括与以下区间相关联的位置信息的行驶区间显示数据的示例。
自动驾驶允许区间Sa,
手动驾驶区间Sb,
转变区间Sc,其中执行从自动驾驶到手动驾驶的转变,以及
谨慎行驶区间Sd。
包括在图1中的配置中的数据处理单元11还为该行驶区间显示数据生成对用户(驾驶员)有用的信息作为附加信息,并将该信息呈现给用户(驾驶员)。
将参考图13和之后的图描述附加信息的具体示例。
图13示出了以下附加信息显示示例。
附加信息“a”:当无法恢复到手动驾驶时,提供低速绕行道路的区间(例如,与公路平行的普通道路),
附加信息“b”:显示冲出风险的区间、需要在谨慎情况下手动行驶的区间,
附加信息“c”:手动驾驶恢复放弃禁止区间(受到处罚的区间) (例如,可能因车道减少而出现交通堵塞或道路封闭的区间),以及
附加信息d:可以显著改变区间长度的区间,例如交通堵塞区间。
例如,如图13所示,这些附加信息项中的每一项被显示为特定颜色区域或图标与解释性信息的组合。
允许用户(驾驶员)参考这些信息项来检查有关车辆行驶方向的详细信息。
注意,可采用仅显示图标的这样的设置,以在用户对任何图标执行触摸处理或点击处理的情况下呈现解释。
如图14所示,还可以采用这样的配置:显示指示在道路上配备的标志、加油站、服务区、工程等的信息、绕行道路信息等。图14 示出了以下附加信息显示示例。
附加信息e1至e5:标志信息、加油站信息,和
附加信息“f”:绕行道路位置指南信息。
注意,图14中描绘的附加信息e1和附加信息“f”例如均为进入手动驾驶区间之前的绕行道路信息,并且例如作为在允许经由绕行道路进入另一自动驾驶区间的情况下可用的指示信息来提供。
此外,可以将指示在行驶区间显示数据70上呈现的每个区间(Sa 到Sd)处的到达时间的到达时间信息显示为图15所示的附加信息“g”。
此外,可以进一步显示每个显示区间(近距离区间到远距离区间) 的时间转换(或距离)显示放大率信息,作为图15中描绘的附加信息“h”。
在图15所示的示例中,近距离区间的放大率为1:1,而远距离区间的放大率为1:25。例如,在以预定单位长度为单位的近距离区间的实际区间长度为1Km的情况下,以相同预定单位长度为单位的远距离区间的实际区间长度为25Km。
以相同预定单位长度为单位的中距离区间的实际区间长度为t× 1Km。
在上述描述中,“距离”用于以从上方查看地图的概念进行解释。然而,在作为实际设备的显示的实现的情况下,每个地点处的到达时间是最重要的行为确定所必需的信息。因此,优选的是用于行驶方向的显示轴是转换为预测到达时间的显示轴。
此外,如图16所示,各种类型的定时信息可以被另外显示为附加信息。图16示出了以下附加信息显示示例。
附加信息“m”:风险最小化车辆控制器(MRM:最小风险机动)开始点位置(在难以检测到手动驾驶恢复过程的开始的情况下开始紧急减速、停车或退避的定时),
附加信息n1:通知点(手动驾驶恢复请求通知的通知点),附加信息n2:警告点(手动驾驶恢复请求的警告点),以及
附加信息“p”:通知点之前的剩余时间。
用户(驾驶员)可以基于这些附加信息项来检查与未来给出的各种通知、警告、自动驾驶控制处理等相关联的详细信息。
注意,可以基于与用户(驾驶员)相关联的行为信息来改变这些附加信息项中的每一项的显示位置和显示定时。
例如,在用户(驾驶员)以能够立即恢复到手动驾驶的状态坐在驾驶员座椅上的情况下,采用图16所示的显示模式。在用户(驾驶员)离开驾驶员座椅或不处于允许立即恢复到手动驾驶的状态的情况下,例如在睡眠的情况下,采用图17所示的显示模式。
图17描绘了类似于图16的附加信息。然而,与以下信息项相关联的显示位置和时间信息被显示在靠近当前位置和当前时间的位置处。
附加信息n1:通知点(手动驾驶恢复请求通知的通知点),附加信息n2:警告点(手动驾驶恢复请求的警告点),以及
附加信息“p”:通知点之前的剩余时间。
上述显示方式允许用户(驾驶员)识别高度紧急状态,并在早期定时开始准备恢复到手动驾驶。
图18是示出随时间经过的附加信息的更新处理的示例的图。
具体地,图18描绘了随着时间的经过(t1到t3)的包括以下附加信息的显示数据的更新处理的示例。
附加信息“m”:风险最小化车辆控制器(MRM:最小风险机动)开始点位置(在难以检测到手动驾驶恢复过程的开始的情况下开始紧急减速、停车或退避的定时),
附加信息n1:通知点(手动驾驶恢复请求通知的通知点),
附加信息“p”:通知点之前的剩余时间,
附加信息“e”:标志(指示绕行道路的标志),以及
附加信息“f”:绕行道路位置指南信息。
时间t1和时间t2中的每一个是显示数据处于允许进入绕行道路的状态的示例。
显示数据指示以下附加信息。
附加信息“e”:标志(指示绕行道路的标志),以及
附加信息“f”:绕行道路位置指南信息。
时间t3是不可能进入绕行道路时的显示数据的示例。
时间t3处的显示数据被更新为不显示以下附加信息项的状态。
附加信息“e”:标志(指示绕行道路的标志),以及
附加信息“f”:绕行道路位置指南信息。
以这种方式,数据处理单元执行用于在每个时间点仅选择和显示可供用户(驾驶员)使用的信息的显示控制。
如上所述,例如,用户(驾驶员)可以参考为行驶区间显示数据设置并提供给用户(驾驶员)的附加信息,预先检查不允许使用自动驾驶的区间正在接近的事实。
用户(驾驶员)可以通过检查设置了附加信息的行驶区间显示数据,预先识别随着行驶路线上的行驶而可变化的风险,例如未来行驶路线是否处于不可能以自动驾驶模式行驶的状态。
例如,在高速公路上行驶期间,可以获得指示在高速公路出口处的到达时间、作为休息区的SA或PA等的信息。
然而,在即使在接近允许通过自动驾驶行驶的区间的终点时也无法切换到手动驾驶并通过区间的情况下,用户无法仅基于这些类型的信息检查最佳措施。
换言之,用户完全无法识别是否使用风险最小化车辆控制器(MRM)执行紧急停车处理等,或者当前状态是否是通过接收诸如远程驾驶辅助之类的支持而允许继续自动驾驶的情况。
也就是说,在自动驾驶在车辆10的***(数据处理单元11)的控制下继续而没有变化的情况下,用户事先没有用于检查在需要转变到手动驾驶的地点处是否可接收预期的远程驾驶辅助服务的信息。
结果,例如,如果无法接收到来自控制中心40的远程辅助,并且用户(驾驶员)无法恢复手动驾驶,则车辆10的***开始诸如紧急避免处理之类的控制,例如使用风险最小化车辆控制器(MRM) 的紧急停车。在这种情况下,可能造成社会障碍,例如道路上的交通障碍。
[7.从自动驾驶到手动驾驶的转变处理的具体示例]
随后将描述从自动驾驶到手动驾驶的转变处理的具体示例。
在执行自动驾驶期间,例如,驾驶员执行除驾驶以外的二次任务,或打瞌睡。在这种情况下执行从自动驾驶到手动驾驶的转变处理的情况下,需要用于提高恢复手动驾驶的成功率的机制。
当驾驶员在配备自动驾驶功能的车辆上执行驾驶以外的任务 (=NDRA,二次任务)时,大脑的许多工作记忆进入与二次任务的记忆相关的状态。
在这种情况下,即使在二次任务中断后,与二次任务相关的内容也占用短期记忆。因此,很难在短时间内识别原本是主要任务的驾驶操纵的状态。
例如,在将视线指向显示作为二次任务玩的游戏的显示器的情况下,用户(驾驶员)最初开始通过对前方道路行驶环境进行视觉检查来收集补偿缺少信息的信息,然后开始考虑做出用于将自动行驶期间的车辆驾驶切换为手动驾驶的各种确定。这个处理需要预定的时间。因此,到主要任务(即手动驾驶)的恢复可能被延迟。
人类对行为的确定是通过主要基于其记忆预测未来风险来进行的。当人类感到一些危险时,他基于当时大脑的工作记忆中剩余的信息进行确定。为了快速做出这种确定,多维度地留下尽可能多的信息作为确定因素是有效的。
因此,即使在用户(驾驶员)执行二次任务期间,如果在大脑的工作记忆中保留了用于确定未来风险所需的记忆信息,也可以在短时间内做出准确的确定。
注意,本申请人已经提交了涉及用于减少如上所述恢复手动驾驶所需时间的配置的多个专利申请。
具体而言,本申请人已提交以下专利申请。
(1)PCT专利申请PCT/JP2018/038740(PCT专利公报 WO2019/082774),
(2)PCT专利申请PCT/JP2018/000095(PCT专利公报 WO2018/135318),
(3)日本专利申请2018-171586(PCT专利申请 PCT/JP2019/034078),以及
(4)日本专利申请2019-079644
例如,上述专利申请(1)公开了一种配置,其以多尺度时间序列生成短期、中期和长期显示数据,并将生成的数据呈现给用户(驾驶员),以提供指示近期未来引起的事件的信息。
上述专利申请(2)公开了一种配置,其通过对恢复手动驾驶的延迟给予惩罚,在心理上向用户(驾驶员)给予恢复刺激。
此外,上述专利申请(3)提出了一种配置,该配置使得用户(驾驶员)执行预定课题,并评估成功或失败的结果,以确定用户(驾驶员)的思维状态或清醒状态。
此外,上述专利申请(4)公开了一种用于为用户(驾驶员)提供指示惩罚或风险的信息的配置。
例如,可以通过使用这些配置的组合来实现以下处理。
通过使用上述专利申请(1)中描述的配置,能够把握在到达目的地之前车辆的行驶路线上的手动驾驶和远程辅助的必要性的大致未来前景。
通过使用上述专利申请(2)中描述的配置,可以检查在转变到手动驾驶时的延迟的情况下施加的惩罚。
此外,通过使用上述专利申请(3)中描述的配置,通过记录呈现给用户(驾驶员)的课题的成功或失败的结果,惩罚不会成为纯粹的形式,而是可以作为风险刺激被强化。因此,可以将心理权重添加到确定手动驾驶转变的执行的重要性。
此外,通过使用上述专利申请(4)中描述的配置,在早期阶段没有收到手动驾驶转变请求的情况下产生的风险被视觉呈现给用户 (驾驶员)。通过这种方式,刺激可以成为更可靠的刺激。
这些专利申请中描述的配置是主要用于提高驾驶员恢复手动驾驶的可靠性的配置。然而,如果驾驶员在从自动驾驶区间进入手动驾驶区间时没有完成手动驾驶的恢复,则只有这些配置的车辆***很可能使用风险最小化车辆控制器(MRM)执行紧急停车处理。结果,导致交通阻碍或交通堵塞。
为了降低此类交通阻塞的风险,有必要采用一种除用于提高驾驶员恢复手动驾驶的可靠性的措施以外的机制。具体地说,即使在未实现驾驶员的手动驾驶恢复的情况下,也通过从控制中心40接收远程驾驶辅助服务来消除车辆的***使用风险最小化车辆控制器(MRM) 执行紧急停车处理的必要性。因此,交通阻碍或交通堵塞的发生是可以避免的。
然而,为了在从自动驾驶区间进入手动驾驶区间的定时可靠地从控制中心40接收远程驾驶辅助服务,控制中心40中的控制方或操作员需要处于服务可提供状态。为了满足这一要求,需要在服务的供求之间保持平衡。
为了促使驾驶员以不造成交通阻碍的方式行事,例如,向驾驶员提供以下信息是有效的。
未来行驶路线预测信息,即与行驶方向前方情况相关的信息,以及
指示用于避免由紧急停车等造成的交通阻碍的手段的选项的信息,以及每个选项的风险确定信息。
例如,向驾驶员提供这些类型的信息是有效的。
即使仅向驾驶员提供指示远程驾驶辅助服务的存在或不存在的信息,也难以根据控制方、操作员、区域中的通信容量等的可用性来确定服务是否实际可接收。因此,该信息不足以作为提供的信息。
在确定难以继续自动驾驶的情况下,车辆10的***(数据处理单元11)首先向驾驶员发出从自动驾驶转变到手动驾驶的请求。
需要足够地在手动驾驶区间开始之前发出给驾驶员的从自动驾驶转变到手动驾驶的请求。
将参考图19描述从自动驾驶到手动驾驶的转变处理的示例。
图19描绘了在自动驾驶区间中行驶期间的车辆10。手动驾驶区间正在前方靠近。
图19示出了沿图19中从左向右延伸的时间轴(t)的以下定时点。
t1:切换到手动驾驶的通知定时,
t2:允许从自动驾驶退避的最终出口,
t3:通过MRM紧急停车的限制点,以及
tc:手动驾驶区间开始点。
车辆10的驾驶员信息获取单元12执行对当前执行自动驾驶的车辆10的驾驶员12的监视。车辆10的***(数据处理单元11)根据通过该监视处理获得的驾驶员状态,确定用于发出切换到手动驾驶的请求的通知定时。
车辆10的***(数据处理单元11)以类型方式学习驾驶员的行为特性等,并计算最佳通知定时。例如,***(数据处理单元11)基于驾驶员的观察状态估计驾驶员清醒状态,并参考与驾驶恢复之前所需时间相关联的分布(该分布是预先生成的)与当前行驶道路上的恢复成功率之间的相关性数据,计算正常转变高度可能完成的通知时间。
此后,***在与计算相对应的地点处和到达目标转变地点之前的点处发出通知。
请注意,在评估手动驾驶恢复允许时间的处理时使用的学习器可以针对每个驾驶员来设置,或者可以被设置为具有包括在执行自动驾驶期间的二次任务的类型的观察信息。
在这种情况下,执行使用与当前驾驶的驾驶员相关联的个人身份信息以及指示当前执行的二次任务的类型的信息作为观察信息的处理(手动驾驶恢复允许时间估计处理)。
图20(a)描绘了与对应于观察值的可观察评估值和恢复延迟时间(即,手动驾驶恢复允许时间)之间的关系相关联的多条信息(观察图)的分布的示例。此示例对应于某个驾驶员的某类二次任务。为了从多条关系信息(观察图)计算恢复延迟时间,提取在评估值方向上具有固定宽度且对应于获取的观察值(由虚线矩形框指示)的区域内的关系信息(观察图)。图20(a)中的点线“c”表示当使用不同驾驶员的观察值观察下面描述的图20(b)中恢复成功率为0.95的恢复延迟时间时的边界线。
通过按比点线“c”更长的延长时间(即更早的延长时间)发出恢复通知或警报,以便驾驶员从自动驾驶恢复到手动驾驶,来获得确保驾驶员以0.95或更高的比率从自动驾驶成功恢复到手动驾驶的区域。请注意,例如,对于每种情况驾驶员从自动驾驶到手动驾驶的正常恢复的目标值(RRR:恢复率请求)是基于路边基础设施的必要性来确定的,并将其提供给通过该区间的单个车辆。
请注意,如果即使在行驶道路上停车时,也不会对周围环境产生阻碍因素,则采取停车和降低车速直到***可应对的速度的措施就足够了。通常,在许多情况下,不一定认为车辆在行驶道路上停车是可取的,因此希望将高恢复率设置为默认值。特别地,在大都会高速公路等中的特定路线的情况下,即使从基础设施提供了更新的信息,默认情况下也需要极高的恢复成功率。
图20(b)描绘了基于提取的多条关系信息(观察图)获得的恢复成功率和恢复延迟时间之间的关系。此处的曲线“a”表示每个恢复延迟时间的单个成功率,而曲线“b”表示每个恢复延迟时间的累积成功率。在这种情况下,基于曲线“b”计算恢复延迟时间t1,从而可以获得预定比率的成功率,或者在图20(b)所示的示例中的0.95 的成功率。
例如,使用表示与先前获取并存储在存储单元中的恢复延迟时间和可观察评估值之间的关系相关联的多条信息(观察图)的分布信息来执行该计算处理。
图21是解释与当驾驶员处于与自动驾驶模式中的驾驶操纵工作脱离的状态时执行的处理(二次任务)的类型相应的手动驾驶恢复允许时间的图。
每个分布剖面对应于图20(b)中描绘的观察值,即基于驾驶员状态预测的曲线“a”。具体而言,为了以必要的恢复概率在转变点处完成从自动驾驶到手动驾驶的恢复,基于允许评估驾驶员的清醒水平的评估并且在每个阶段中检测到的观察值,以恢复所需的驾驶员先前特性为基准,基于对应的剖面(图20(b)中的恢复成功率剖面) 变成期望值的时间t1,持续监视每个恢复阶段是否已经达到恢复实际所需的状态,直到完成转变。
例如,当驾驶员打盹时获得的初始曲线是基于从在自动驾驶期间在打盹时段中被动监测的观察信息(例如呼吸和脉搏波)获得的睡眠水平的估计,在发出清醒警报后对应驾驶员的总恢复延迟特性的平均分布。每个中间分布是根据在清醒后的后续移动(shift)恢复过程期间观察到的驾驶员状态确定的。通过观察图21所示的“6.在打盹的情况下”来确定图21右侧所示的能够及时发出清醒警报的定时。后续中间行程(course)是根据预测中间点处的可观察驾驶员状态评估值预测的恢复预算中的恢复时间分布。
对于每个中间阶段,持续观察没有违反在转变完成之前剩余转变时间限制顺序地减小。在存在违反风险的情况下,执行诸如减速和生成时间延长之类的应对处理。此外,当恢复从“4.非驾驶姿势不规则旋转就坐”开始,而没有“6.在打盹的情况下”和“5.就坐”的步骤时,恢复处理从初始状态识别和理解开始。在这种情况下,状态“4. 非驾驶姿势不规则旋转就坐”中的与从“6.在打盹的情况下”开始的中间步骤相同的项目的思考处理在恢复意识处理中,即使姿势是相同的。因此,在最初从“4.非驾驶姿势不规则旋转就坐”的姿势从状态识别开始的情况下,由于用于状态识别的时间的必要性,分布变得更长。
此外,存在与可观察评估值和当前驾驶的驾驶员的恢复延迟时间之间的关系相关联的信息未在存储单元中充分累积的情况。在这种情况下,例如,可以使用存储单元中预先准备的作为基于从同一代中的驾驶员群体收集的信息生成的恢复特性信息的假设分布信息来计算恢复延迟时间t1。尚未充分关于驾驶员特有的特性来学习该恢复信息,因此可按相同的恢复概率使用该恢复信息,或基于该信息给予更高的恢复成功率的设定。请注意,从人体工程学方面看没有经验的用户更为谨慎,因此预期他们在使用的初始阶段会在早期阶段恢复。当驾驶员变得习惯使用时,驾驶员自己适应于与来自***的通知对应的行为。此外,在诸如运营大量车辆的物流行业、运输行业(如公交公司和出租车公司)以及汽车共享或租车行业之类的领域中使用不同的车辆的情况下,不一定需要在每个单独车辆中保留恢复特性的数据,但是可以在驾驶员的个人标识之后,在远程学习处理中处理恢复特性的数据,或者通过使用远程服务器等以集中或分散的方式管理和学习可观察信息和驾驶的恢复特性,来保留恢复特性的数据。
此外,在该描述中,假设恢复成功率被定义为直到成功或失败的统一时间,因为通知定时是重要的。然而,从自动驾驶切换到手动驾驶的成功或失败不限于使用二元值的成功或失败,而是可以基于扩展的恢复转变质量来进一步区分。具体地,在实际恢复检查之前的恢复过程转变的延迟时间、从通知起的恢复开始延迟、中间恢复动作的停滞等可以作为允许时间内的恢复和恢复质量评估值两者被进一步输入到学习器。
[8.在从自动驾驶到手动驾驶的转变处理定时的远程驾驶辅助服务的使用示例]
接下来,将描述在从自动驾驶到手动驾驶的转变处理定时的远程驾驶辅助服务的使用示例。
上面参考图19描述的从自动驾驶到手动驾驶的转变处理是在不存在来自控制中心40的远程驾驶辅助服务的情况下的处理示例。
在存在来自控制中心40的驾驶辅助服务的情况下,允许车辆10 的驾驶员20在来自控制中心40的远程驾驶辅助服务下继续自动驾驶,而不恢复手动驾驶。
图22是示出类似于上面解释的图19的从自动驾驶到手动驾驶的转变处理的示例的图。图22描绘了在自动驾驶区间中行驶期间的车辆10。手动驾驶区间正在前方靠近。
图22示出了与上述图19类似的、沿图22中从左向右延伸的时间轴(t)的以下定时点。
t1:切换到手动驾驶的通知定时,
t2:允许从自动驾驶退避的最终出口,
t3:通过MRM紧急停车的限制点,以及
tc:手动驾驶区间开始点。
图22进一步示出了以下定时。
tx:远程驾驶辅助服务请求最终允许点
如果车辆10的驾驶员或车辆的自动驾驶***在此定时前请求控制中心40提供驾驶辅助服务,则允许在随后的手动驾驶区间中在来自控制中心40的驾驶辅助下继续自动驾驶。
然而,该定时tx随着控制中心的控制方或操作员的状态而变化。在定时tx之前,为驾驶员或车辆的自动驾驶***提供驾驶辅助服务供应可用性信息或风险信息。从图1所示的服务器30或控制中心40提供该信息。
[9.远程驾驶辅助服务的复合使用示例]
接下来,将描述远程驾驶辅助服务的复合使用示例。
如参考图22所述,在车辆自动驾驶期间驾驶员不可能实现到手动驾驶的适当转变的情况下采用的使用模式是从控制中心40提供的远程驾驶辅助服务的有效使用模式的示例。
在这种情况下,需要由控制中心40的操作员立即实现的紧急应对。
另一方面,在以低速在常规路线上行驶的车辆(例如环线公共汽车)发生异常时接收到远程驾驶辅助服务以继续在自动驾驶下行驶的使用模式下,不一定需要由控制中心40的操作员立即实现的紧急应对。
如上所述,从控制中心40提供的远程驾驶辅助服务有各种使用模式和紧急程度。因此,为了高效地管理操作员,有必要获取与需要辅助的路线、高度需要辅助的车辆等相关联的信息,并分析这些类型的信息。
此外,如下的处理是有效的:当从驾驶员的车辆接收到对于提供远程驾驶辅助服务来说有效的信息时,提供对驾驶员给予激励的信息,该车辆在由控制中心40的固定数量的控制方监视的预定宽区域内的监视区的道路区间中的各车辆之中,并且,另一方面,向接收远程驾驶辅助服务的车辆给予诸如预定收费之类的惩罚。
该处理允许作为服务受益人的驾驶员为提高服务质量做出贡献,并适当地确定服务的使用。
此外,例如,在图22所示的车辆10行进到从自动驾驶区间到手动驾驶区间的切换点,然后请求控制中心40在该切换点处提供远程驾驶辅助的情况下,车辆10别无选择,例如,只能使用风险最小化控制器(MRM)进行紧急停车,如果车辆10无法立即接收到辅助的话。
控制中心40的控制方和操作员的数量是有限的。因此,很难为每个车辆分配控制方和操作员。不知道什么时候会发生事件。因此,考虑到成本,很难安排许多控制方和操作员处于等待状态来应对这种事件。
因此,即使从某一车辆发出了接收远程驾驶辅助服务的请求,在控制方或操作员正在应对不同车辆的情况下,该请求也被拒绝。因此,可以使用风险最小化控制器(MRM)进行紧急停车。
为了通过使用有限数量的控制方和远程驾驶辅助操作员为大量车辆提供适当的服务,有效的是设置提供服务的优先顺序,或构建一种机制来防止与用户侧相对应的驾驶员侧的过度服务依赖性。
作为防止与用户侧相对应的驾驶员侧的过度服务依赖性的机制,有效的是,提供为服务的使用设定费用,并在不使用服务的情况下给予激励的机制。
此外,优选地为作为车辆用户的驾驶员提供尽可能大的信息量,以确定是否接收远程驾驶辅助服务。例如,优选地,向作为车辆用户的驾驶员提供以下信息项。
指示远程驾驶辅助服务可在哪个行驶区间接收的信息,以及
在辅助不可接收的情况下,与应对方法相关的信息,例如指示到服务区的退避路线以及从大都会高速公路等的禁止停车道路区间到普通城镇区域中的允许低速行驶或停车的道路的退避路线的信息。
请注意,控制方和操作员的拥塞水平随时被更新。因此,有必要不断更新信息并提供最新信息。
只要不因交通堵塞等原因造成行驶停滞,就需要在主干道上进行高速行驶。可采用的是这样一种配置,其提供限于除上述需要高速行驶的区间以外的区域的远程驾驶辅助服务,该区域仅允许低速行驶。
这是作为低速移动服务的使用模式,即通常称为Maas(移动即服务)的模式,假设在窄范围内使用,并且例如仅在有限的区域内使用自动驾驶。具体而言,该模式包括例如被称为“最后一英里”等的无人自动驾驶车辆的使用模式。
一个也是可以想象的想法是如下配置,即,如上文所述,仅为在不使用主要道路的低速行驶路线上运行的校车、在无人区公共地运营的车辆等提供服务。
如果在高速行驶区间(如主干道)中尝试自动驾驶,车辆的减速或停车可能导致交通堵塞或碰撞。此外,如果在高速行驶区间中尝试自动驾驶,则要求车辆本身基于获取的信息实现高水平的环境识别性能或高水平的信号处理性能。此外,行驶环境的地图数据的新鲜度或信息量显著增加,并导致增加初始投资或维护和管理成本的问题。
然而,通常很难仅通过低速行驶路线构成车辆到目的地的路线。
许多主要道路,如高速公路,不允许低速行驶车辆行驶。因此,在仅在低速行驶允许区间中执行自动行驶的低速行驶车辆试图在高速行驶区间中行驶的情况下,在高速行驶区间中需要手动驾驶。
如果如上所述在高速行驶区间中从控制中心40可以接收远程驾驶辅助服务,则仅在低速行驶允许区间执行自动行驶的低速行驶车辆也能够实现高速自动驾驶。因此,可行驶路线范围大大扩大。
然而,为了在接收远程驾驶辅助服务时实现高速行驶自动驾驶,需要接收无缝远程驾驶辅助服务。因此,有必要创建能够持续提供固定且稳定的远程支持的***。为了以制度化的方式持续维护和管理这一服务供应***,还必须确保对稳定和持续服务的需求。换句话说,需要在服务的需求和供应之间的平衡状态。
请注意,在许多情况下在公共交通服务(例如,执行低速自动驾驶的公交车)中,只有用户上车,而没有驾驶员。在这种情况下,用户向车辆的控制***发出指示并请求控制中心40提供远程驾驶辅助服务的上述服务使用模式是不可采用的。
另一方面,如果普通车辆的用户在使用自动驾驶时未经考虑地请求控制中心40提供远程驾驶辅助服务,则控制中心40的负荷、操作员的负荷和通信资源负荷增加。因此,服务本身极有可能停滞。
当驾驶员使用自动驾驶功能时产生的一个优点是,允许驾驶员在此期间脱离驾驶操纵并执行二次任务。
为了专注于二次任务,重要的是保持远程驾驶辅助服务持续稳定可用的状态。
但是,如果驾驶员过度依赖远程驾驶辅助服务,即使在从车辆***向驾驶员发出手动驾驶恢复请求时,驾驶员也可能拒绝恢复手动驾驶。在这种情况下,如果此时无法提供远程驾驶辅助服务,则可能产生危险状态。
因此,驾驶员需要不断意识到,无论远程驾驶辅助服务的可提供性如何,都可能导致需要恢复手动驾驶的情况。为了达到这一目的,需要采取这样的措施,即,对远程驾驶辅助服务的使用收取费用,或对不必要地使用远程驾驶辅助服务进行惩罚。
这样的措施允许用户以适当的方式使用远程驾驶辅助服务,而不过度依赖远程驾驶辅助服务。因此,可以以适当的方式减少对远程驾驶辅助服务的需求,并且供应和需求变得很好地平衡。
自动驾驶车辆的驾驶员需要准确识别在车辆自动驾驶期间要在什么定时之前进行手动驾驶的恢复。
为此,重要的是认识到延迟恢复手动驾驶的风险。
具体而言,识别以下风险是有效的。
错过到绕道的出口的风险,
用于当前执行的二次任务的终端的开始使用限制的风险,
额外收费的风险,
在退避区临时强行停车,
转移到限制上限速度的行驶模式以进行处罚,
持续固定时段停止使用自动驾驶模式,以及
记录违反使用的风险。
被认为产生的有利效果是如下效果:驾驶员在意识到这些风险后,减少对远程驾驶辅助服务的过度使用,并以适当的方式使用该服务。
[10.远程驾驶辅助服务可提供性信息的提供示例]
接下来,将描述远程驾驶辅助服务可提供性信息的提供示例。
将参考图23和随后的图描述远程驾驶辅助服务可提供性信息的提供示例。
如图23所示,假设安排车辆10在从行驶起点A到行驶终点B 的路线上行驶。例如,车辆10的***(数据处理单元)可以基于从外部服务器提供的本地动态地图(LDM)等,获取关于从行驶起点A 到行驶终点B的路线的路线信息或交通信息。
例如,基于该获取的信息,在车辆10的显示单元上显示图23 所示的行驶路线信息。
此外,本公开的配置将图24所示的图标与该行驶路线显示数据一起显示。
图24显示了以下四种类型的图标。
(1)控制方可用状态显示图标,
(2)控制方不可用状态显示图标,
(3)远程驾驶辅助操作员可用状态显示图标,以及
(4)远程驾驶辅助操作员不可用状态显示图标。
请注意,如上所述,控制方主要向车辆用户提供指示或建议。操作员(远程驾驶辅助操作员)执行用于在远程控制下实现车辆的行驶的处理。
“(1)控制方可用状态显示图标”是指示控制方提供的服务(例如控制方的指示和建议)处于可用状态的图标。
“(2)控制方不可用状态显示图标”是指示控制方提供的服务 (例如控制方的指示和建议)处于不可用状态的图标。
“(3)远程驾驶辅助操作员可用状态显示图标”是表示远程驾驶辅助操作员提供的远程驾驶辅助服务处于可用状态的图标。
“(4)远程驾驶辅助操作员不可用状态显示图标”是表示远程驾驶辅助操作员提供的远程驾驶辅助服务处于不可用状态的图标。
图25示出了显示数据的示例,该显示数据与行驶路线显示数据一起显示图24所示的图标。
例如,在公路汇合点P01处,显示以下两个图标。
(1)控制方可用状态显示图标,以及
(3)远程驾驶辅助操作员可用状态显示图标。
显然,来自控制方和远程驾驶辅助操作员的服务都可以在公路汇合点P01处使用。
但是,在点P02处,显示以下图标。
(2)控制方不可用状态显示图标。
很明显,控制方的服务在点P02和该点之后变得不可用。
在点P04处,显示以下图标。
(1)控制方不可用状态显示图标。
很明显,控制方的服务在点P04和该点之后变得可用。
类似地,在点P03处,
显示(4)远程驾驶辅助操作员不可用状态显示图标。很明显,远程驾驶辅助操作员提供的远程驾驶辅助服务在点P03处和该点之后变得不可用。
在P05点处,
显示(3)远程驾驶辅助操作员可用状态显示图标。很明显,远程驾驶辅助操作员提供的远程驾驶辅助服务在点P05处和该点之后变得可用。
如上所述,本公开被配置为在车辆10的行驶路线上显示以下图标。
(1)控制方可用状态显示图标,
(2)控制方不可用状态显示图标,
(3)远程驾驶辅助操作员可用状态显示图标,以及
(4)远程驾驶辅助操作员不可用状态显示图标。
根据控制中心40的控制方和远程辅助操作员的使用状态,顺序地更新包括这些图标的行驶路线信息的显示数据。
注意,该显示数据例如从图1所示的控制中心40被提供给车辆 10。或者,例如,通过提供LDM的服务器30将显示数据从控制中心 40提供给车辆10。
查看此显示数据的车辆10的驾驶员可以检查控制中心40的控制方或远程驾驶辅助操作员在哪个点处是可用的。
将参考图26描述特定使用示例。例如,如图26所示,假设当车辆10在点P02和P03之间的中间点处行驶时,由于事故,在图26的右中间部分所示的从Px到Py的区间中,自动驾驶区间被切换到手动驾驶区间。
关于从自动驾驶区间到手动驾驶区间的切换的该信息可基于包括以上参考图9到12描述的行驶区间信息的LDM来识别。
根据本公开的配置,指示来自控制方或远程驾驶辅助操作员的服务的可提供性的图标被显示在行驶路线上,如图26所示。
位于点P02和P03之间的区间中的车辆10的驾驶员检查到控制方在P02和该点之后不可用,在点P04和该点之后变为可用,然后在通过点P04后将用于接收远程驾驶辅助的请求通知给控制方。远程驾驶辅助操作员可在P05及该点之后使用。允许车辆10在P05和该点之后接收远程驾驶辅助服务,并在继续自动驾驶的同时通过意外地产生的从Px到Py的手动驾驶区间。
如上所述,呈现指示来自控制方和远程驾驶辅助操作员的服务的可提供性的每个图标。检查这些图标的驾驶员可以识别出在行驶路线的哪个地点处可以或不可以从控制方和远程驾驶辅助操作员接收服务。此后,提供了对用户施加不同程度负担的多个选项,例如在中途通过不同的迂回IC汇合1并朝着到普通道路的出口行驶的选项,以及在服务区SA2中中途停车的选项。
因此,例如,接近服务不可用的区间的驾驶员可以请求控制中心 40提供服务。此外,如果根据供应可用性信息事先可以识别服务不可接收的事实,则可以事先自愿选择允许退避到位于服务不可用的区间之前的区间的选项。这样的选项可以防止风险最小化车辆控制器 (MRM)执行紧急停车,因为行驶在安排的路线上继续。
[11.在行驶区间显示数据上显示远程驾驶辅助服务可提供性信息等的配置示例]
接下来,将描述用于在上面参考图9到12说明的行驶区间显示数据上显示远程驾驶辅助服务可提供性信息等的配置示例。
如上参考图9至12所述,在行驶区间显示数据中显示指示自动驾驶区间和手动驾驶区间的区间信息。此外,如参考图13至19所述,将各种类型的附加信息添加到行驶区间显示数据以生成显示数据。
下文将进一步描述在行驶区间显示数据上显示远程驾驶辅助服务可提供性信息等的配置示例。
首先,将参考图27到29描述用于在行驶区间显示数据上显示远程驾驶辅助服务可提供性信息等的图标的示例。
图27示出了与参考图24的上述描述类似的以下四种类型的图标。
(1)控制方可用状态显示图标,
(2)控制方不可用状态显示图标,
(3)远程驾驶辅助操作员可用状态显示图标,以及
(4)远程驾驶辅助操作员不可用状态显示图标。
图27示出了这四种类型的图标中的两种的显示示例。
(显示示例1)是以以下方式切换显示的显示示例。
(1)控制方可用状态显示图标=彩色显示,
(2)控制方不可用状态显示图标=灰色显示,
(3)远程驾驶辅助操作员可用状态显示图标=彩色显示,以及
(4)远程驾驶辅助操作员不可用状态显示图标=灰色显示。
(显示示例2)是不同于(显示示例1)的显示示例,并且是以以下方式切换显示的显示示例。
(1)控制方可用状态显示图标=绿色显示,
(2)控制方不可用状态显示图标=红色显示,
(3)远程驾驶辅助操作员可用状态显示图标=绿色显示,以及
(4)远程驾驶辅助操作员不可用状态显示图标=红色显示。
例如,可以采用包括上述示例在内的各种显示示例。
此外,图28示出了远程驾驶辅助操作员可用性状态显示图标的不同显示示例。
(显示示例3)是以以下方式切换显示的显示示例。
(3)远程驾驶辅助操作员可用状态显示图标=操作员显示,以及
(4)远程驾驶辅助操作员不可用状态显示图标=操作员不显示。
(显示示例4)是不同于(显示示例3)的显示示例,是以以下方式切换各个显示的显示示例。
(3)远程驾驶辅助操作员可用状态显示图标=从侧面看的操作员的显示,以及
(4)远程驾驶辅助操作员不可用状态显示图标=从侧面看的操作员的不显示。
图29呈现了带路车辆可用性状态显示图标的两个显示示例,每个图标指示是否可以使用带路车辆实现自动驾驶。
“(5)带路车辆可用状态显示图标”是指示可使用带路车辆实现自动驾驶的状态的图标。
“(6)带路车辆不可用状态显示图标”是指示不可使用带路车辆实现自动驾驶的状态的图标。
(显示示例1)是以以下方式切换显示的显示示例。
(5)带路车辆可用状态显示图标=彩色显示,以及
(6)带路车辆不可用状态显示图标=灰色显示。
(显示示例2)是以以下方式切换显示的显示示例。
(5)带路车辆可用状态显示图标=彩色显示,以及
(6)带路车辆不可用状态显示图标=背景灰色显示。
图30示出了各自指示与控制中心的通信状态的图标的两个显示示例。
“(7)控制中心通信良好状态显示图标”是指示以良好方式可执行与控制中心40的通信的图标。
“(8)控制中心通信拥塞状态显示图标”是指示与控制中心40 的通信拥塞且不能以良好方式执行的图标。
(显示示例1)是以以下方式切换显示的显示示例。
(7)控制中心通信良好状态显示图标=彩色显示,以及
(8)控制中心通信拥塞状态显示图标=灰色显示。
(显示示例2)是以以下方式切换显示的显示示例。
(7)控制中心通信良好状态显示图标=彩色显示,以及
(8)控制中心通信拥塞状态显示图标=背景灰色显示。
接下来将描述其中各种类型的这些图标与参考图9到19说明的行驶区间显示数据一起被显示的示例。
图31是连同行驶区间显示数据一起呈现与上面参照图13至19 解释的信息类似的附加信息的显示数据的示例。
注意,图31和之后的图中呈现的行驶区间显示数据被统一地描绘,在行驶区间显示数据中省略了区间单位不同的显示模式。实际上,手动驾驶区间和自动驾驶区间是以区别的方式显示的。
除了图31所示的显示数据之外,图32还示出了指示远程驾驶辅助服务可提供性信息等的显示数据的示例。
图32所示的显示示例是显示数据的示例,其指示在左侧的呈现图31所示的附加信息的行驶区间显示数据,以及在右侧的远程驾驶辅助服务可提供性信息等。
以下图标呈现在显示数据的右部。
控制方图标51,
远程驾驶辅助操作员图标52,
带路车辆图标53,以及
控制中心图标54。
显示这四种类型的图标。
这些图标被配置为与行驶位置相对应地切换显示,以便允许识别服务的可用性和随着行驶位置在左侧呈现的行驶区间显示数据中的通信状态的改变。
查看这些图标的每个显示状态的用户(驾驶员)可以随着车辆 10的行驶识别每个服务的可用性状态。
注意,例如,用户可以执行用于放大左侧的行驶区间显示数据的显示的处理,或者用于滚动行驶区间显示数据的处理。
显示单元是触摸面板。如图33所示,用户可以通过使用手指触摸行驶区间显示数据并向上或向下滑动行驶区间显示数据来实现滚动,并且通过向左或向右滑动行驶区间显示数据来实现缩放。注意,为了清楚地解释操作方法,本文通过示例来描述使用触摸面板的触觉感知操作。然而,可以采用通过手势识别实现的空中操作、通过使用诸如HUD之类的AR将图投影到虚拟空间中实现的直观操作HMI 等。
图33所示的示例是放大显示的示例。
此外,通过触摸并选择作为包括在图33下部所示的图标组中的图标之一的图标,可以在放大显示的行驶区间显示数据上显示与所选择的图标的服务可提供性状态相关联的转变信息。
图34描绘了另一个不同的显示示例。
图34所示的显示数据是这样的示例:响应于用户在左侧的行驶区间显示数据的一部分的触摸而在触摸位置显示“服务可用性详细数据显示位置线”,以作为子数据显示与和该线对应的行驶位置处的每种服务类型相关联的可用性详细数据。
右上部分示出的“服务可用性详细数据”是与用户触摸的位置相对应的行驶位置处的每种服务类型的可用性详细数据。
对于通信、控制方、操作员(远程驾驶辅助操作员)和带路车辆的每个可用性,显示被呈现为从最小到最大的级别数据。
随着显示图标的数量(0到5)变大,可用性增加,即,服务可接收的可能性增大。
此外,在当请求从远程驾驶辅助操作员接收远程驾驶辅助时,需要对控制方进行预约处理作为预处理的配置的情况下,用户(驾驶员) 需要检查控制方服务可用性信息以及远程驾驶辅助操作员服务可用性信息。
例如,在图35所示的情况下,在用户(驾驶员)希望在从P2 到P3的区间中使用远程驾驶辅助操作员的服务的情况下,在这种情况下的预约处理需要通过在从P2到P3的区间之前的控制方服务可用时段内与控制方通信来执行。根据图35所示的示例,有必要通过在点P1之前与控制方的通信,给出对于在从P2到P3的区间中的远程驾驶辅助操作员的服务使用的请求。
图36是数据显示示例,其允许选择性地显示与行驶区间显示数据一起显示的数据,并且可以在简单代表性数据(或集成数据)和每个资源的单独详细数据之间进行选择。
根据用户向左或向右滑动中心箭头,显示可在左侧的简单代表性数据(或集成数据)和右侧的每个资源的单独详细数据之间切换。
此外,在执行使用远程驾驶辅助操作员的服务的远程驾驶辅助下的自动驾驶的情况下,可以使用与行驶区间显示数据一起显示的附加信息来给出指定自动驾驶行驶路线的指示。
例如,如图37所示,用户(驾驶员)将与行驶区间显示数据接触的手指从点“a”滑动到与行驶区间显示数据上的绕行道路标志相对应的位置“b”。该滑动处理信息被发送到控制中心40的控制单元。
控制中心40的控制单元分析该滑动处理信息,并确定用户(驾驶员)希望在点“a”处朝着绕行道路进行绕行。此后,控制单元更新自动驾驶行驶控制的行驶规划以朝着绕行道路进行绕行,并给出进入绕行道路的指示。虽然在图37中没有描述,但通过接收更新的行驶规划的提供并获得指示驾驶员已进入绕行道路的新行驶信息,可以实现确认。
此外,如图38所示,当用户(驾驶员)将与行驶区间显示数据接触的手指从点“c”滑动到与停车区标志相对应的位置“d”时,该滑动处理信息被发送到控制中心40的控制单元。
控制中心40的控制单元分析该滑动处理信息,并确定用户(驾驶员)希望在点“c”处进入停车区。此后,控制单元更新自动驾驶行驶控制的行驶规划以进入停车区,并给出进入绕行道路的指示。虽然在图38中没有描述,但通过接收更新的行驶规划的提供并获得指示驾驶员已进入绕行道路的新行驶信息,可以实现确认。
此外,如图39所示,可以执行使用图标的处理。
当触摸这些点时,手指从对应于控制方图标且包含在服务可提供区域中的特定点“a”滑动到对应于图39所示的绕行道路标志的位置“b”。该滑动处理信息被发送到控制中心40的控制单元。
控制中心40的控制单元分析该滑动处理信息,确定用户(驾驶员)希望在点“a”处绕行到绕行道路,并给出用于导致绕行到绕行道路的来自控制方的指示。
此外,如图39所示,响应于用户对“c”、“d”和“e”的滑动处理,执行以下处理。
当触摸这些点时,手指从对应于控制方图标且包含在服务可提供区域中的特定点“c”滑向对应于带路车辆图标且包含在服务可提供区域中的特定点“d”,并进一步滑向对应于行驶车道限制标志的位置“e”。
车辆10的信息处理设备的数据处理单元11将该滑动处理信息发送到控制中心40的控制单元。
控制中心40的控制单元分析该滑动处理信息,确定用户(驾驶员)希望请求控制方在地点“c”提供带路车辆,以便在地点“e”在带路车辆的引导下执行自动行驶,并提供用于执行与此希望对应的处理的服务。
车辆10的信息处理设备的数据处理单元11基于与从控制中心 40接收到的用户操作信息相对应的远程驾驶辅助控制信息来执行车辆10的自动行驶。
以这种方式,用户(驾驶员)可以使用显示数据执行各种处理。
在本公开中,描述了远程控制方、远程操作员等的各种使用模式,以解释用户的显示数据的直接操作。然而,当服务的可提供性得到高效管理时,建立各种类型的使用模式,例如使用语音呼叫来交换和识别这些服务的会员专用服务员服务,以及与自动语音识别或人工智能相结合的操作。
[12.控制中心的配置和处理]
接下来,将描述控制中心40的配置和处理。
安全引入自动驾驶***的想法之一是,构建用于在难以仅使用车辆的自动驾驶***进行应对的情况下,在从远程控制中心40接收驾驶辅助时以低速驾驶车辆的配置。
此外,作为实现高速自动驾驶的方法,存在一个计划,该计划促进专用公路网络等中道路环境、通信环境以及退避处的维护、LDM 更新基础设施的维护等,并且例如仅允许将自动驾驶限制于满足这些的固定条件的区间。
然而,即使在假设通过自动驾驶高速行驶的情况下,当发生意外事件(如事故)时,也需要驾驶员手动驾驶。此外,随着未来自动驾驶功能的进步,需要驾驶员恢复手动驾驶的情况的数量逐渐减少。因此,驾驶员极有可能专注于驾驶以外的二次任务,并在出现意外事件时延迟恢复手动驾驶。
在驾驶员无法恢复手动驾驶的情况下,采取诸如在路肩等上紧急停车之类的措施。然而,这种停车处理导致交通堵塞或类似情况,并使社会活动停滞。作为减少此类情况发生的手段,由控制中心40的控制方或远程驾驶辅助操作员提供驾驶辅助服务是有效的。
图40是说明(A)由控制中心40执行的处理和(B)远程驾驶辅助的社会需求的图。
如图40所示,由控制中心40执行的(A)处理大致分为以下两个主要处理和三个子处理。
(主处理1)控制方或远程驾驶辅助操作员提供服务,
(主处理2)控制方和远程驾驶辅助操作员的最佳配置,以及通知服务可提供性信息的通知处理,
(子处理1)收集与每个区域的远程驾驶辅助请求车辆相关的信息,
(子处理2)收集与每个区域的远程驾驶辅助必要区间相关的信息(使用LDM),以及
(子处理3)车辆进入(预定)可控区域的分析和预测处理。
此外,远程驾驶辅助的(B)社会需求包括以下多种类型。
(1类)远程驾驶辅助必需车辆,
(2类)补充远程驾驶辅助必要车辆,以及
(3类)允许在自动驾驶和手动驾驶之间切换的普通车辆或商用车辆。
(1类)的远程驾驶辅助必需车辆是仅由不允许驾驶的用户(如患者和幼儿园儿童)乘坐的车辆。
(2类)的补充远程驾驶辅助必要车辆是难以执行安全驾驶的用户(例如患者和老年人)的车辆。
假定在难以恢复手动驾驶时使用(3类)允许在自动驾驶和手动驾驶之间切换的普通车辆或商用车辆。
控制中心40需要准备能够提供与图40的(B)中所示的需要远程驾驶辅助的社会需求相对应的服务的***,并为此目的执行图40 的(A)中所示的处理。
图41是说明(A)由控制中心40获取的输入信息、(B)由控制中心40执行的数据处理以及(C)由控制中心40向外部提供的提供信息的图。
例如,由控制中心40获取的(A)输入信息包括以下类型的信息。
(a1)基础设施信息(指示道路状况、事故等的信息),
(a2)气象或天气信息,
(a3)日历信息,
(a4)服务使用统计信息(学习数据),
(a5)诸如校车之类的服务使用的事先预订信息,以及
(a6)与车辆退避区域相关的允许容纳量信息。
这些信息项是从外部服务器、服务用户(车辆或驾驶员)等获取的。
注意,由控制中心40执行并在此呈现的(B)数据处理是除参考图40解释的主处理和子处理之外的处理,并且主要使用图41中的 (A)输入信息来执行。例如,这些处理包括以下处理。
(b1)可确保时间同步和冗余的通信基础设施裕度的预测处理,
(b2)控制方提供的服务的裕度的预测处理,
(b3)远程驾驶辅助操作员提供的服务的裕度的预测处理,
(b4)控制方的工作/待命调度处理,
(b5)远程驾驶辅助操作员的工作/待命调度处理,以及
(b6)带路引导车辆的管理处理。
注意,这些处理可以响应例如来自服务使用车辆的处理请求而执行,或者可以顺序地执行。
此外,通过执行与带路引导车辆的通信处理来执行带路引导车辆的(b6)管理处理。
例如,由控制中心40提供给外部的(C)提供信息包括以下类型的信息。
(c1)预测针对每个区域和时间段要保护的通信频带的信息,
(c2)预测针对每个区域和时间段的控制方服务的可用性的信息,
(c3)预测针对每个区域和时间段的远程驾驶辅助操作员服务的可用性的信息,
(c4)预测针对每个区域和时间段的带路引导车辆的可用性的信息,
(c5)根据从路线行驶车辆收到的信息,根据需要更新的最新信息,以及
(c6)从个别行驶车辆接收(为其他车辆提供)的信息。
为希望接收从控制中心40提供的服务的车辆或驾驶员提供这些信息项。
注意,本公开中用这一术语表示的控制中心是指广义上的控制中心,包括在实际控制方执行职责的情况下分配给真实人员的职责、部分自动化处理(例如自动语音识别和通知创建),以及使用人工智能等对基于先前信息获得的数据的预测信息计算。与这些服务相关联的可用性预测信息包括从设备使用能力和信息更新状态到人员可供应分布状态的范围。
[13.车辆或车内设置的信息处理设备执行的处理,以及驾驶员基于通知信息的思考和确定处理]
接下来将描述由车辆10或车辆10中设置的信息处理设备执行的处理,以及驾驶员基于通知信息的思考和确定处理。
图42是说明由车辆10或车辆10中设置的信息处理设备执行的处理的图。
车辆10或车辆10中的信息处理设备从控制中心40接收提供信息的输入。图42中的(C.提供信息)是参考图41解释的从控制中心 40提供的(C.提供信息),并且对应于以下信息。
(c1)预测针对每个区域和时间段要保护的通信频带的信息,
(c2)预测针对每个区域和时间段的控制方服务的可用性的信息,
(c3)预测针对每个区域和时间段的远程驾驶辅助操作员服务的可用性的信息,
(c4)预测针对每个区域和时间段的带路引导车辆的可用性的信息,
(c5)根据从路线行驶车辆收到的信息,根据需要更新的最新信息,以及
(c6)从个别行驶车辆接收(为其他车辆提供)的信息。
此外,车辆10或车辆10中的信息处理设备从服务器30接收静态地图、本地动态地图(LDM)等。
车辆10的信息处理设备的数据处理单元11接收如上所述从外部获取的信息的输入,以及来自车辆内部设置的驾驶员信息获取单元12 或环境信息获取单元13的获取信息,并执行各种类型的数据处理。
如图42所示,由驾驶员信息获取单元12或在车辆内部设置的环境信息获取单元13获取的获取信息是外部环境信息和驾驶员信息(例如,恢复可能性信息(学习数据使用))。
车辆10的数据处理单元11使用这些信息项执行例如在图42中描绘的数据处理(d1)到(d6)。
具体而言,例如,执行以下处理。
(d1)用于预测每个行驶路线区间的通过速度的处理,
(d2)用于预测每个行驶路线区间的到达时间的处理,
(d3)用于获取在每个行驶路线区间的每个到达时间的控制方、操作员和带路车辆的供应可用性状态的处理,
(d4)用于获取在每个行驶路线区间的每个到达时间的通行事件(例如,PA、施工区间、绕行普通道路出口和学校区域)信息的处理,
(d5)检测和分析用户(驾驶员)的操作(对显示屏的触摸、滑动或类似操作),以及基于分析结果的处理(例如,基于用户请求发送服务接收请求),以及
(d6)基于驾驶员关于恢复手动驾驶和恢复进度质量的特性的通知、警告、风险最小化车辆控制器(MRM:最小风险机动)的发动控制处理。
例如,数据处理单元11执行上述处理。通过诸如显示单元之类的通知单元15,作为通知给出要给予与用户对应的驾驶员20的信息。此外,在向控制中心40发出提供服务请求的情况下,例如,通过通信单元14将该服务请求提交给控制中心40。
注意,在以上参考图25至39描述的本公开的处理中,对于每个地点,作为通知给出指示控制中心40的控制方或远程驾驶辅助操作员的可用性的最新信息。
根据本公开的处理,例如,将以下类型的信息作为通知给予驾驶员20。
与控制方关联的可用性信息,
与远程驾驶辅助操作员相关的可用性信息,以及
与绕行(避让)路线相关的引导信息。
例如,被通知上述信息的驾驶员20将这些信息项引入驾驶员大脑的工作记忆中,即使在执行二次任务期间也是如此,并且可以被敦促在适当的定时采取最佳行为以避免风险。
本文的一个重要观点是,人类为了进行行为确定而要参考的大量信息被存储为分散在大脑不同部分的信息。具体来说,视觉信息和言语化信息存储在不同的存储部分中。因此,作为简单地被言语化为“危险”的存储信息而存储的信息不被解释为“危险”,除非以智能的方式解释该信息。
图43是说明基于通知信息的驾驶员的思考和确定处理的示例的图。
本公开的车辆10的信息处理设备的数据处理单元11生成包括被附加给行驶区间显示数据的远程驾驶辅助服务可提供性信息等的显示数据,并将生成的显示数据显示在显示单元上。具体地说,该显示数据是上面参考图32至39说明的显示数据。
将参考图43描述查看通过将远程驾驶辅助服务可提供性信息等添加到如上所述的行驶区间显示数据而生成的显示数据的驾驶员的思考和确定处理的示例。
例如,图43的(1)到(4)中的每个部分呈现了查看图43所示的显示数据的驾驶员的思考和确定处理示例。
图43的部分(1)是查看与行驶区间显示数据一起显示的“车道限制标志”的驾驶员的思考示例。
查看此显示数据的驾驶员知道行驶路线上存在道路封锁风险地点,并将该地点识别为手动驾驶转变请求点。在该地点处,驾驶员可以执行从各种选项(例如,自愿手动驾驶切换、使用MRM的紧急停车以及远程驾驶辅助请求)中选择最佳选项的选择处理。
此外,还认识到,使用MRM的紧急停车产生道路封锁风险,并有受到惩罚的风险。
图43的部分(2)给出了查看“远程驾驶辅助服务可提供性信息”的驾驶员的思考示例。
查看该显示数据的驾驶员识别出,在通过某个区间期间,控制方或远程驾驶辅助操作员的服务是可接收的,但预测到通信所需频带不足的警告,因此确定难以接收远程驾驶辅助。
因此,驾驶员可以根据该确定提前开始准备手动驾驶。
图43的部分(3)是查看“绕行道路标志”的驾驶员的思考示例。
在例如由于驾驶员健康状况不佳而难以进行手动驾驶转变的情况下,查看此显示数据的驾驶员可以选择在早期阶段接收远程驾驶辅助,并退避至绕行道路。从显示数据还可以识别接收远程驾驶辅助和实现退避的限制点。
图43的部分(4)呈现了查看“远程驾驶辅助服务可提供性信息中的带路车辆服务可用性信息”的驾驶员的思考示例。
查看此显示数据的驾驶员可以确定是否允许在带路车辆的引导下通过自动驾驶禁止区间,并进行提前预约。但是,如果未使用预约的带路车辆,则存在诸如将来停止接收远程驾驶辅助服务之类的惩罚的风险。因此需要准确的确定。
此外,图43的右下部分示出了驾驶员可从显示数据获取的风险信息的示例。
区间(a)是需要驾驶员谨慎行驶的区间。可以预先识别表示没有远程驾驶辅助操作员的供应的风险信息。
区间(b)是可以预先识别由于使用MRM减速或紧急停车而导致交通堵塞的可能性高或可能性低的区间。
如上所述,通过将远程驾驶辅助服务可提供性信息等添加到行驶区间显示数据来生成显示数据,并将显示数据作为显式视觉信息视觉地提供给驾驶员。以这种方式,各种类型的思考和确定处理所需的信息作为选定的行为确定信息连同接近时间的感觉一起作用于驾驶员的工作记忆。因此,驾驶员可以根据风险权重做出准确的确定。
本公开被配置为向驾驶员呈现各种类型的信息,用于与风险一起识别恢复手动驾驶的必要性,并将有效信息和风险信息添加到查看了呈现的数据的驾驶员的大脑中的工作记忆。因此,驾驶员可以采取最佳措施,如恢复手动驾驶。因此,预计这将产生提高恢复手动驾驶的成功概率的效果。
注意,在本公开的配置中呈现给用户(驾驶员)的信息包括例如以下类型的信息。
(1)根据行驶路线指示自动驾驶和手动驾驶的区间、转变点等的区间设置信息,
(2)指示根据行驶路线开始行驶后发生的事故或事件的信息,以及
(3)指示行驶路线上的服务区(SA)、停车区(PA)、互通式立交(IC)、出口(EXIT)等的信息。
驾驶员可以基于这些信息项识别自动驾驶行驶的提前放弃点、休息点等,并且可以执行诸如远程驾驶辅助服务请求之类的最优处理。
此外,本公开的配置中的车辆10的信息处理设备向用户(驾驶员)呈现以下信息。
(4)与根据行驶路线上每个行驶区间中的手动驾驶转变成功率 (RRR:恢复请求率)的目标值的恢复手动驾驶的定时相关的信息(通知信息),
(5)与行驶路线的每个位置处的远程驾驶辅助服务相关的远程驾驶辅助服务可提供性信息(控制方、操作员、无线可用性频带、供应裕度以及与带路车辆预订相关的信息),
(6)在未根据手动驾驶转变请求实现手动驾驶转变的情况下,使用风险最小化控制器(MRM)进行紧急停车的地点,
(7)指示需要驾驶员的手动驾驶或谨慎行驶的区间的信息(例如,动物的出现、被水覆盖的道路、落石、雪崩警告),以及
(8)手动驾驶转变失败时的惩罚信息。
各种类型的数据以这种方式生成并呈现给驾驶员。因此,驾驶员可以在准确确定的基础上,采取实现安全行驶的最佳措施。此外,驾驶员确定各种类型的行为选择,以使每个可能行为的优势和由此行为产生的风险得到很好的平衡,并以用户主观观点将风险降低到一定水平或更低同时来行事。因此,本公开中通过示例给出的信息呈现方法对于防止使用自动驾驶功能的用户过度且主动地依赖自动驾驶功能或远程辅助功能起着重要作用。
[14.移动装置(车辆)的配置示例]
接下来,将参考图44描述与图1所示的车辆10相对应的本公开的移动装置100的特定配置示例。
注意,在将设置了移动装置100的车辆与其他车辆区别开来的情况下,在下文中该车辆将被称为自身车辆或自身汽车。
如图44所示,移动装置100包括输入单元101、数据获取单元 102、通信单元103、车载设备104、输出控制单元105、输出单元106、驱动***控制单元107、驱动***108、车身***控制单元109、车身***110、存储单元111和自动驾驶控制单元112。
输入单元101、数据获取单元102、通信单元103、输出控制单元105、驱动***控制单元107、车身***控制单元109、存储单元 111和自动驾驶控制单元112经由通信网络121彼此连接。例如,通信网络121由CAN(控制器局域网)、LIN(本地互连网络)、LAN (局域网)或符合给定标准(例如FlexRay(注册商标))的车载通信网络、总线等构成。注意,在一些情况下,移动装置100的各单元彼此直接连接,而不使用通信网络121。
此外,以下假设在移动装置100的各单元经由通信网络121彼此通信的情况下,省略对通信网络121的描述。例如,在输入单元101 和自动驾驶控制单元112经由通信网络121彼此通信的情况下,这种情况仅以输入单元101和自动驾驶控制单元112彼此通信的方式来表述。
输入单元101包括由乘员操作以输入各种类型的数据、指示等的装置。例如,输入单元101包括诸如触摸面板、按钮、麦克风、开关和杆之类的操作装置,以及通过使用除手动操作以外的方法(例如语音和手势)实现输入的操作装置等。此外,例如,输入单元101可以是使用红外光或其他无线电波的远程控制设备,或者可根据从移动装置100给出的操作来操作的外部连接设备,例如移动设备或可穿戴设备。输入单元101基于从乘员输入的数据、指示等生成输入信号,并将输入信号提供给移动装置100的每个单元。
数据获取单元102包括用于获取用于由移动装置100执行的处理的数据的各种类型的传感器等,并将获取的数据提供给移动装置100 的每个单元。
例如,数据获取单元102包括用于检测自身车辆的状态等的各种类型的传感器。具体地说,例如,数据获取单元102包括陀螺传感器、加速度传感器、惯性测量单元(IMU)、用于检测加速踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机转速、马达转速或车轮的转速等的传感器等。
此外,例如,数据获取单元102包括用于检测与自身车辆外部相关联的信息的各种类型的传感器。具体地,例如,数据获取单元102 包括成像设备,例如ToF(飞行时间)相机、立体相机、单目相机、红外相机和其他类型的相机。此外,例如,数据获取单元102包括用于检测天气、气象等的环境传感器,以及用于检测自身车辆周围的物体的周围信息检测传感器。环境传感器例如由雨滴传感器、雾传感器、阳光传感器、雪传感器等构成。周围信息检测传感器例如由超声波传感器、雷达、LiDAR(光检测和测距、激光成像检测和测距)、声纳等构成。
作为数据获取单元102的组成元件的各种类型的传感器的安装示例类似于上文参考图3解释的示例,这些传感器被设置来检测与自身车辆外部相关联的信息。
在车辆的各种位置设置多个成像设备和传感器。
数据获取单元102还包括用于检测自身车辆的当前位置的各种类型的传感器。具体地,例如,数据获取单元102包括用于从GNSS (全球导航卫星***)卫星接收GNSS信号的GNSS接收器等。
此外,例如,数据获取单元102包括用于检测与车辆内部相关联的信息的各种类型的传感器。具体地说,例如,数据获取单元102包括用于对驾驶员成像的成像设备、用于检测与驾驶员相关联的生物信息的生物传感器、用于在车舱内收集声音的麦克风等。例如,生物传感器设置在座椅表面、方向盘等上,并检测坐在座椅上的乘员的就坐状态或与握着方向盘的驾驶员相关的生物信息。各种类型的可观察数据可用作生命信号,例如心率、脉搏率、血流、呼吸、身心连接、视觉刺激、脑电图、出汗状态、头部姿势和行为、眼睛、凝视、眨眼、扫视、微扫视、固定凝视、漂移、盯着看、PERCLOS(眼睑闭合百分比)以及虹膜的瞳孔反应。这些反映可观察驾驶状态的生命活动可观察信息项由在下文中描述的安全判别单元155用于计算恢复通知定时,作为与对应驾驶员的恢复延迟情况相关联并且从恢复延迟时间特性获得的特有特性,该恢复延迟时间特性是作为从观察估计的可观察值来汇集的并且与评估值的记录相关联。
包括在数据获取单元102中的用于获取与车辆中的驾驶员相关联的信息的各种类型的传感器的示例类似于上文参考图2解释的示例。
具体地说,数据获取单元102包括相机、立体相机、ToF传感器、座椅应变计等作为用于检测驾驶员的位置和姿势的检测器。此外,数据获取单元102包括面部识别器(面部(头部)识别)、驾驶员眼睛***、驾驶员头部***等,作为用于获取与驾驶员相关联的生命活动可观察信息的检测器。
此外,数据获取单元102包括生命信号检测器,作为获取与驾驶员相关联的生命活动可观察信息的检测器。此外,数据获取单元102 包括驾驶员标识单元。注意,被认为可采用的标识方法可以是使用密码、个人标识号等的知识标识,也可以是使用面部、指纹、瞳孔虹膜、声纹等的生命标识。
通信单元103与车载设备104和车外的各种类型的设备、服务器、基站等通信,以发送从移动装置100的各单元提供的数据,并将接收到的数据提供给移动装置100的各单元。注意,由通信单元103支持的通信协议不限于任何特定协议。此外,通信单元103可以支持多种类型的通信协议。
例如,通信单元103通过使用无线LAN、蓝牙(注册商标)、 NFC(近场通信)、WUSB(无线USB)等的无线通信与车载设备104 通信。此外,例如,通信单元103通过使用USB(通用串行总线)、 HDMI(注册商标)(高清多媒体接口)、MHL(移动高清链路)等经由未描绘的连接终端(以及必要时的缆线)的有线通信与车载设备 104通信。
此外,例如,通信单元103经由基站或接入点与外部网络(例如,互联网、云网络或特定于提供商的网络)上存在的设备(例如,应用服务器或控制服务器)通信。此外,例如,通信单元103使用P2P(点对点)技术与存在于自身车辆附近的终端(例如,行人或商店的终端,或MTC(机器类型通信)终端)通信。
此外,例如,通信单元103执行V2X通信,例如车辆到车辆通信、车辆到基础设施通信、车辆到家庭通信和车辆到行人(车辆到行人)通信。此外,例如,通信单元103包括信标接收单元,用于接收从道路上设置的无线电台等生成的无线电波或电磁波,并获取指示当前位置、交通堵塞、交通管制、所需时间等的信息。注意,在区间中行驶期间,可以使用通信单元从在前方行驶并作为可能的带路车辆配对的前车上安装的数据获取单元获取信息,作为在先行驶信息,以通过使用该信息来补充自身车辆的数据获取单元102的数据,特别地,作为用于在通过带路车辆实现的车队行驶等中确保后续车队的更高安全性的手段。
例如,车载设备104包括由乘员携带的移动装置(例如平板电脑、智能电话)或可穿戴设备、并入或附接到自身车辆的信息设备、搜索到所需目的地的路径的导航设备等。注意,考虑到随着自动驾驶的普及,乘员不一定固定在座椅固定位置,扩展使用在未来适用于可从车辆设施拆卸的设备,例如视频再现器和游戏设备。根据本实施例中给出的示例的描述,仅向驾驶员呈现指示需要驾驶员干预的地点的信息。然而,该信息可进一步提供给车队行驶等中的后续车辆,或通过不断向旅客运输公交巴士或长途配送商用车的运营管理中心提供信息,根据需要进一步与远程行驶辅助结合使用。
输出控制单元105控制向自身车辆的乘员或车辆外部输出各种类型的信息。例如,输出控制单元105生成包括视觉信息(例如,图像数据)和听觉信息(例如,音频数据)中的至少任一个的输出信号,并将输出信号提供给输出单元106,以控制从输出单元106的视觉信息和听觉信息的输出。具体地,例如,输出控制单元105合成由数据获取单元102的不同成像设备捕获的图像数据,以生成鸟瞰图像、全景图像等,并将包括生成的图像的输出信号提供给输出单元106。此外,例如,输出控制单元105针对诸如碰撞、接触、进入危险区等之类的危险生成包括警告声音、警告消息等的音频数据,并将包括生成的音频数据的输出信号提供给输出单元106。
输出单元106包括能够向自身车辆的乘员或车辆外部输出视觉信息或听觉信息的装置。例如,输出单元106包括显示设备、仪表板、音频扬声器、耳机、可穿戴设备(例如乘员佩戴的眼镜型显示器)、投影仪、灯等。输出单元106中包括的显示设备可以是在驾驶员的视野内显示视觉信息的设备,例如平视显示器、透射型显示器、具有 AR(增强现实)显示功能的设备,以及包括普通显示器的设备。
驱动***控制单元107生成各种类型的控制信号,并将生成的控制信号提供给驱动***108以控制驱动***108。此外,例如,驱动***控制单元107根据需要向驱动***108以外的部件提供控制信号,以发出驱动***108的控制状态的通知。
驱动***108包括与自身车辆的驱动***相关联的各种类型的装置。例如,驱动***108包括用于产生驱动力的驱动力产生装置(例如内燃机和驱动马达)、用于将驱动力传递到车轮的驱动力传递机构、调整转向角的转向机构、产生制动力的制动装置、ABS(防抱死制动***)、ESC(电子稳定控制)、电动助力转向装置等。
车身***控制单元109生成各种类型的控制信号,并将生成的控制信号提供给车身***110以控制车身***110。此外,车身***控制单元109根据需要向车身***110以外的部件提供控制信号,以发出关于车身***110的控制状态的通知。
车身***110包括与安装在车身上的车身***相关联的各种类型的装置。例如,车身***110包括无钥匙进入***、智能钥匙***、电动车窗装置、电动座椅、方向盘、空调装置、各种类型的灯(例如前照灯、倒车灯、制动灯、方向指示灯、雾灯)等。
例如,存储单元111包括诸如ROM(只读存储器)、RAM(随机存取存储器)和HDD(硬盘驱动器)之类的磁存储设备、半导体存储设备、光存储设备、光磁存储设备等。存储单元111存储由移动装置100的单元使用的各种类型的程序、数据等。例如,存储单元111 存储地图数据,例如三维高精度地图(例如动态地图)、精度较低且覆盖范围比高精度地图更广的全局地图,以及包括自身车辆周围的信息的局部地图。
自动驾驶控制单元112控制自动驾驶,例如自动行驶和驾驶辅助。具体地说,例如,自动驾驶控制单元112执行协作控制,以实现 ADAS(高级驾驶员辅助***)的功能,包括自身车辆的碰撞避免或减震、基于车辆之间的距离的跟随行驶、恒速行驶、对自身车辆的碰撞警告、对自身车辆的车道偏离警告等。此外,例如,自动驾驶控制单元112执行旨在自动驾驶等的协作控制,以便在不需要驾驶员操作的情况下自动行驶。自动驾驶控制单元112包括检测单元131、自身位置估计单元132、状态分析单元133、规划单元134和动作控制单元135。
检测单元131检测用于控制自动驾驶所需的各种类型的信息。检测单元131包括车辆外部信息检测单元141、车辆内部信息检测单元 142和车辆状态检测单元143。
车辆外部信息检测单元141基于来自移动装置100的各个单元的数据或信号,执行用于检测与自身车辆外部相关联的信息的检测处理。例如,车辆外部信息检测单元141对自身车辆周围的对象执行检测处理、识别处理和跟踪处理,以及用于检测到对象的距离和相对速度的检测处理。与检测目标相对应的对象的示例包括车辆、人、障碍物、结构、道路、交通灯、交通标志、道路标志等。
此外,例如,车辆外部信息检测单元141执行用于检测自身车辆周围的周围环境的检测处理。与检测目标相对应的周围环境的示例包括天气、温度、湿度、亮度、路面状态等。车辆外部信息检测单元141 将指示检测处理结果的数据提供给自身位置估计单元132、地图分析单元151、交通规则识别单元152、状态分析单元133的状态识别单元153、动作控制单元135的紧急情况避免单元171等。
由车辆外部信息检测单元141获取的信息的提供主要可从行驶区间中的基础设施接收,其中作为重点允许自动驾驶行驶的区间,从基础设施提供持续更新的本地动态地图(LDM)。或者,在自身车辆进入该区间之前,可以利用从本区间前方行驶的车辆或车辆组接收到的持续信息更新来允许行驶。此外,例如,在未从基础设施不断更新最新的本地动态地图的情况下,从进入区间的带路车辆获得的道路环境信息可进一步以补充方式被使用,以便获得紧接在进入该区间之前的更安全的道路信息,尤其是在车队行驶等期间。在许多情况下,基于是否存在从基础设施提供的这些事先信息项来确定在某个区间中是否允许自动驾驶。从基础设施提供的经过更新且构成关于路线的自动行驶启用/禁用信息的新的本地动态地图(LDM)相当于提供了一条不可见的轨道,通常称为“信息”。注意,图44中的描述是基于车辆外部信息检测单元141为了方便而安装在自身车辆上的假设给出的。然而,通过使用由在前方行驶的车辆获得的信息作为“信息”,可以进一步提高行驶期间的事前可预测性。
车辆内部信息检测单元142基于来自移动装置100的单元的数据或信号,执行用于检测车内信息的检测处理。例如,车辆内部信息检测单元142执行用于标识和识别驾驶员的标识处理和识别处理、用于检测驾驶员状态的检测处理、用于检测乘员的检测处理、用于检测车内环境的检测处理等。与检测目标相对应的驾驶员的状态的示例包括身体状况、清醒水平、注意力水平、疲劳水平、视线方向、眼球详细行为等。
此外,在未来自动驾驶允许驾驶员从驾驶的操纵工作完全脱离的假设下,***有必要识别暂时打瞌睡或已开始其他工作的驾驶员恢复驾驶所需的意识清醒恢复的进展阶段。具体地说,传统上认为的驾驶员监视***主要使用用于监视诸如嗜睡之类的意识下降的检测手段。然而,预计驾驶员将来根本不需要干预驾驶操纵,因此,用于基于操纵装置等的操纵稳定性直接观察驾驶员的干预水平的***的手段被取消。因此,有必要在基于从关于驾驶员的准确的意识状态的未知状态起观察到驾驶所需的意识恢复的转变,识别了驾驶员的准确的内部清醒状态之后,促进从操纵的自动驾驶到手动驾驶的干预的转移。
因此,车辆内部信息检测单元142主要具有两级主要作用。其中一个作用是在自动驾驶期间被动监视驾驶员的状态的作用,而另一个作用是从自***发出恢复请求起检测和确定驾驶员的周边识别、感知、确定、进而操纵装置的操作能力,直到在到达谨慎驾驶区间之前允许手动驾驶的水平为止。此外,要执行的控制可能包括对整个车辆进行自动故障诊断,以敦促驾驶员在早期阶段类似地恢复手动驾驶,即使在由于自动驾驶的部分功能故障导致自动驾驶功能下降的情况下也是如此。本文中的被动监视指的是不需要驾驶员意识中的响应反应的类型的检测手段,并且不排除从设备产生物理无线电波、光等并检测响应信号的监视。具体而言,被动监视是指在无意识状态下(如打瞌睡)监视驾驶员的状态。除识别响应反应外的驾驶员的分类被定义为被动***。不排除分析和评估通过照射无线电波、红外光等而获得的反射或扩散信号的主动响应装置。另一方面,需要有意识的响应作为驾驶员的响应反应的监视被定义为主动监视。
与检测目标相对应的车辆内部环境的示例包括温度、湿度、亮度、气味等。车辆内部信息检测单元142将指示检测处理结果的数据提供给状态分析单元133的状态识别单元153和动作控制单元135。此外,在基于在从***向驾驶员发出恢复驾驶之后无法在准确的时间限制内实现手动驾驶的确定,确定即使在自动驾驶期间的减速控制下并且在时间延长的情况下也无法及时实现转变的情况下,通过向***的紧急情况避免单元171等发出指示,启动用于减速和退避/停止的过程,以退避车辆。换句话说,即使在作为初始状态类似地不及时的情况下,也可以通过在早期阶段对车辆进行减速来延长达到转变限制的到达时间。通过延长达到转变限制的到达时间,产生了用于***对事件采取措施的时间。因此,可以采取确保安全的措施。然而,如下文所述,未经考虑的减速或缓慢行驶会造成交通堵塞或增加碰撞风险。因此,这些技术的应用是受到限制的。
车辆状态检测单元143基于来自移动装置100的单元的数据或信号,执行用于检测自身车辆的状态的检测处理。作为检测目标的自身车辆状态的示例包括速度、加速度、转向角、是否存在异常内容、驾驶操作状态、电动座椅的位置和倾斜度、门锁状态、其他车载设备的状态等。车辆状态检测单元143将指示检测处理结果的数据提供给状态分析单元133的状态识别单元153、动作控制单元135的紧急情况避免单元171等。
自身位置估计单元132基于从移动装置100的单元(例如车辆外部信息检测单元141和状态分析单元133的状态识别单元153)接收的数据或信号,执行用于估计自身车辆的位置、姿势等的估计处理。此外,自身位置估计单元132根据需要生成用于估计自身位置的局部地图(以下称为自身位置估计地图)。
例如,自身位置估计地图是使用诸如SLAM(同步定位和映射) 之类的技术的高精度地图。自身位置估计单元132将指示估计处理的结果的数据提供给状态分析单元133的地图分析单元151、交通规则识别单元152、状态识别单元153等。此外,自身位置估计单元132将自身位置估计地图存储在存储单元111中。
状态分析单元133执行用于分析自身车辆的状态和环境状态的分析处理。状态分析单元133包括地图分析单元151、交通规则识别单元152、状态识别单元153、状态预测单元154和安全判别单元155。
必要时,地图分析单元151使用从移动装置100的单元(例如自身位置估计单元132和车辆外部信息检测单元141)接收的数据或信号,执行用于分析存储单元111中存储的各种类型的地图的分析处理,以构建包含自动驾驶处理所需信息的地图。地图分析单元151将构建的地图提供给交通规则识别单元152、状态识别单元153和状态预测单元154,并且进一步提供给规划单元134的路线规划单元161、行为规划单元162和动作规划单元163等。
交通规则识别单元152基于从移动装置100的单元(例如自身位置估计单元132、车辆外部信息检测单元141和地图分析单元151) 接收的数据或信号,执行用于识别自身车辆周围的交通规则的识别处理。例如,通过该识别处理识别自身车辆周围的交通灯的位置和状态、自身车辆周围的交通法规的内容、可行驶车道等。交通规则识别单元 152将指示识别处理的结果的数据提供给状态预测单元154等。
状态识别单元153基于从移动装置100的单元(例如自身位置估计单元132、车辆外部信息检测单元141、车辆内部信息检测单元142、车辆状态检测单元143以及地图分析单元151)接收的数据或信号,执行用于识别与自身车辆相关联的状态的识别处理。例如,状态识别单元153执行用于识别自身车辆的状态、自身车辆周围的状态、自身车辆的驾驶员的状态等的识别处理。此外,根据需要,状态识别单元 153生成用于识别自身车辆周围的状态的本地地图(以下称为状态识别地图)。例如,状态识别地图是占用栅格地图。
控制所需的恢复开始定时取决于车辆本身的特性和负荷等(例如自身车辆的位置、姿态和移动(例如速度、加速度、移动方向),车辆特有的条件和装载货物特有的条件,例如确定自身车辆运动特性的货物载荷和由货物装载引起的车体重心移动、轮胎压力、由制动片磨损条件引起的制动距离移动、防止由负载制动引起的负载移动的允许最大减速制动,在曲线上行驶时由液体负载引起的离心力的松弛限制速度,以及路面的摩擦系数、道路曲线和坡度)而不同,即使在作为识别目标的自身车辆的状态的完全相同的道路环境下也是如此。因此,有必要收集和了解各种类型的这些条件,并在最佳控制定时反映这些条件。在根据车辆类型或负载确定控制定时时,仅观察和监视自身车辆的异常的存在或不存在、内容等是不够的。例如,在运输和递送公司中,可以预先将固定值设置为参数,用于根据每种负载特有的特性,确定为恢复增加期望的延长时间,以确保一定程度的安全。不一定需要采用基于自积累学习统一地确定所有通知定时确定条件的方法。
与识别目标相对应的自身车辆周围状态的示例包括周围静止物体的类型和位置、移动物体的类型、位置和移动(例如速度、加速度和移动方向)、周围道路的配置和路面状态、周围天气、温度、湿度和亮度等。与识别目标相对应的驾驶员状态的示例包括身体状况、清醒水平、注意力水平、疲劳水平、视线方向、驾驶操作等。为了车辆的安全行驶,需要措施的控制起点根据车辆特有状态下承载的负载量、装载部分的底盘固定状态、重心偏移状态、最大减速加速度值、最大可装载离心力和驾驶员状态而显著不同,并且还根据恢复响应延迟量而显著不同。
状态识别单元153将指示识别处理的结果的数据(必要时包括状态识别地图)提供给自身位置估计单元132、状态预测单元154等。此外,状态识别单元153将状态识别地图存储在存储单元111中。
状态预测单元154基于从移动装置100的单元(例如地图分析单元151、交通规则识别单元152和状态识别单元153)接收的数据或信号,执行用于预测自身车辆的状态的预测处理。例如,状态预测单元154执行用于预测自身车辆的状态、自身车辆周围的状态、驾驶员的状态等的预测处理。
与预测目标相对应的车辆状态的示例包括自身车辆的行为、异常的发生、可行驶距离等。与预测目标相对应的自身车辆周围状态的示例包括自身车辆周围移动体的行为、交通灯的条件变化、环境变化(例如天气变化)等。作为预测目标的驾驶员状态示例包括驾驶员的行为和身体状况等。
状态预测单元154将指示预测处理的结果的数据与从交通规则识别单元152和状态识别单元153接收的数据一起提供给规划单元 134的路线规划单元161、行为规划单元162和动作规划单元163等。
安全判别单元155学习与驾驶员的恢复行为模式、车辆特性等相对应的最佳恢复定时,并为状态识别单元153等提供由此获得的学习信息。以这种方式,例如,能够向驾驶员呈现统计上获得的、驾驶员以等于或高于既定固定比率的比率从自动驾驶以正常方式恢复手动驾驶所需的最佳定时。
路线规划单元161基于从诸如地图分析单元151和状态预测单元 154之类的移动装置100的单元接收的数据或信号规划到目的地的路线。例如,路线规划单元161基于全局地图设置从当前位置到指定目的地的路线。此外,例如,路线规划单元161基于诸如交通堵塞、事故、交通管制和施工、驾驶员的身体状况之类的情况等根据需要改变路线。交通路线规划单元161向行为规划单元162等提供指示所规划路线的数据。
行为规划单元162基于从诸如地图分析单元151和状态预测单元 154之类的移动装置100的单元接收的数据或信号,规划自身车辆在路线规划单元161规划的路线中以计划的时间安全行驶的行为。例如,行为规划单元162规划出发、停车、行驶方向(例如,前进、后退、左转、右转和方向改变)、行驶车道、行驶速度、超车等。行为规划单元162向动作规划单元163等提供指示自身车辆的规划行为的数据。
动作规划单元163基于从诸如地图分析单元151和状态预测单元 154之类的移动装置100的单元接收的数据或信号,规划自身车辆的动作,以实现由行为规划单元162规划的行为。例如,动作规划单元 163规划加速、减速、行驶轨道等。动作规划单元163向动作控制单元135的加速/减速控制单元172和方向控制单元173等提供指示自身车辆的规划动作的数据。
动作控制单元135控制自身车辆的动作。动作控制单元135包括紧急情况避免单元171、加速/减速控制单元172和方向控制单元173。
紧急情况避免单元171基于由车辆外部信息检测单元141、车辆内部信息检测单元142以及车辆状态检测单元143获得的检测结果,执行用于检测诸如碰撞、接触、进入危险区域、驾驶员异常和车辆异常之类的紧急情况的检测处理。紧急情况避免单元171在检测到紧急情况发生的情况下,规划自身车辆的动作,以避免紧急情况,例如突然停止和突然转向。紧急情况避免单元171向加速/减速控制单元172、方向控制单元173等提供指示自身车辆的规划动作的数据。
加速/减速控制单元172执行加速/减速控制,以实现由动作规划单元163或紧急情况避免单元171规划的自身车辆的动作。例如,加速/减速控制单元172计算用于实现规划的加速、减速或突然停止的驱动力产生装置或制动装置的控制目标值,并将指示计算出的控制目标值的控制命令提供给驱动***控制单元107。请注意,紧急情况可能主要由两种情况中的每一种引起。具体而言,这两种情况中的一种情况是如下情况:在基于从自动驾驶的行驶路线中的基础设施获取的本地动态地图最初被定义为安全道路的道路上自动驾驶时,在由于突发原因发生意外事故时,未及时实现驾驶员的紧急恢复。另一种情况是如下情况:驾驶员很难从自动驾驶准确恢复手动驾驶。
方向控制单元173执行方向控制,以实现动作规划单元163或紧急情况避免单元171规划的自身车辆的动作。例如,方向控制单元173 计算用于实现由动作规划单元163或紧急情况避免单元171规划的行驶轨道或突然转弯的转向机构的控制目标值,并将指示计算出的控制目标值的控制命令提供给驱动***控制单元107。
[15.信息处理设备的配置示例]
可以通过应用参考图44描述的移动装置的配置来执行上述处理。然而,例如,一些处理可以由可从移动装置分离的信息处理设备来执行。
将参考图45描述这样的信息处理设备的硬件配置示例。
注意,参考图45描述的配置也适用于图1所示的服务器30或控制中心40内的信息处理设备的硬件配置。
将参考图45描述这些设备的硬件配置。
CPU(中央处理单元)301用作数据处理单元,其根据存储在 ROM(只读存储器)302或存储单元308中的程序执行各种类型的处理。例如,根据上述实施例中描述的序列执行处理。
RAM(随机存取存储器)303存储由CPU 301执行的程序、数据等。上述CPU 301、ROM302和RAM 303经由总线304彼此连接。
CPU 301经由总线304连接到输入/输出接口305。由各种类型的开关、键盘、触摸面板、鼠标、麦克风和诸如传感器、相机和GPS 之类的信息获取单元等构成的输入单元306,以及由显示器、扬声器等构成的输出单元307连接到输入/输出接口305。
注意,从传感器321接收的输入信息也被输入到输入单元306。
此外,输出单元307还向移动装置的驱动单元322输出驱动信息。
例如,CPU 301从输入单元306接收命令、状态数据等的输入,执行各种类型的处理,并将处理结果输出到输出单元307。
连接到输入/输出接口305的存储单元308例如由硬盘等构成,并且存储由CPU 301执行的程序和各种类型的数据。通信单元309 用作经由诸如因特网和局域网之类的网络进行数据通信的发送/接收单元,并且与外部设备通信。
连接到输入/输出接口305的驱动器310驱动由半导体存储器等构成的可移除介质311,例如磁盘、光盘、磁光盘和存储卡,并执行数据的记录或读取。
[16.本公开的配置总结]
已经参考特定实施例详细描述了本公开的实施例。然而,显而易见,本领域技术人员可以在不脱离本公开主题的情况下对实施例进行修正或替换。换句话说,本发明已通过示例的方式公开。因此,本发明不应被解释为仅限于本示例的发明。为了确定本公开的主题,应当考虑权利要求。
注意,本说明书中公开的技术可以具有以下配置。
(1)一种信息处理设备,包括:
数据处理单元,数据处理单元生成具有表示车辆的行驶路线上的自动驾驶区间和手动驾驶区间的区间信息的行驶区间显示数据,并进一步生成显示数据,该显示数据具有被设定为表示控制中心的远程驾驶辅助服务的可提供性的信息,作为与行驶区间显示数据中包含的行驶位置相关联的附加信息。
(2)根据(1)的信息处理设备,其中所述数据处理单元生成具有表示远程驾驶辅助服务的可提供性并且与根据所述行驶区间显示数据的行驶位置相关联地设定的图标的显示数据。
(3)根据(1)或(2)的信息处理设备,其中所述数据处理单元生成具有多个图标的显示数据,所述多个图标包括表示可提供远程驾驶辅助服务的第一图标和表示不可提供远程驾驶辅助服务的第二图标,与根据行驶区间显示数据的行驶位置相关联地设定所述多个图标。
(4)根据(1)至(3)中任一项所述的信息处理设备,
其中,控制中心具有向驾驶员发出指示的控制方和远程控制车辆的远程驾驶辅助操作员,以及
数据处理单元生成用于允许识别以下服务可提供性信息(a)和 (b)的显示数据:
(a)表示控制方的服务的可提供性的信息,以及
(b)表示远程驾驶辅助操作员的服务的可提供性的信息。
(5)根据(1)至(4)中任一项所述的信息处理设备,其中所述数据处理单元还生成用于允许识别表示是否允许通过带路车辆的引导来行驶的信息的显示数据。
(6)根据(1)至(5)中任一项所述的信息处理设备,其中所述数据处理单元还生成用于允许识别表示所述控制中心的通信拥塞状态的信息的显示数据。
(7)根据(1)至(6)中任一项所述的信息处理设备,其中所述数据处理单元生成具有车辆被安排为在早时间段中行驶的近距离区间和车辆被安排为在晚时间段中行驶的远距离区间的行驶区间显示数据,近距离区间和远距离区间被设定为使得近距离区间的显示宽度(W)变得大于远距离区间的显示宽度。
(8)根据(1)至(7)中任一项所述的信息处理设备,其中,所述数据处理单元生成被配置成使得远距离区间的显示数据的每单位显示长度的距离变得大于近距离区间的显示数据的每单位显示长度的距离的行驶区间显示数据。
(9)根据(1)至(8)中任一项所述的信息处理设备,其中数据处理单元基于来自控制中心的远程驾驶辅助控制来执行车辆的自动行驶。
(10)根据(1)至(9)中任一项的信息处理设备,其中,数据处理单元获取对于具有被设定为表示控制中心的远程驾驶辅助服务的可提供性的信息的显示数据的用户操作信息,并将用户操作信息发送给控制中心。
(11)根据(10)的信息处理设备,其中所述用户操作信息包括包含用于指定表示远程驾驶辅助服务的可提供性的图标的信息的操作信息。
(12)根据(11)的信息处理设备,其中,所述用户操作信息包括包含所述行驶区间显示数据上的行驶位置的操作信息。
(13)根据(10)至(12)中任一项所述的信息处理设备,其中,数据处理单元基于与从控制中心接收的用户操作信息相对应的远程驾驶辅助控制信息执行车辆的自动行驶。
(14)一种能够在自动驾驶和手动驾驶之间切换的移动装置,所述移动装置包括:
获取与所述移动装置的驾驶员相关联的驾驶员信息的驾驶员信息获取单元;
获取移动装置周围的周围信息的环境信息获取单元;以及
数据处理单元,数据处理单元生成用于允许识别车辆的行驶路线上的至少自动驾驶允许区间和手动驾驶区间的行驶区间显示数据,
其中,所述数据处理单元生成显示数据,该显示数据具有被设定为表示控制中心的远程驾驶辅助服务的可提供性的信息,作为与行驶区间显示数据中包含的行驶位置相关联的附加信息。
(15)一种信息处理***,包括:
移动装置;和
控制中心,
其中,控制中心向移动装置发送指示远程驾驶辅助服务的可提供性的信息,以及
移动装置包括数据处理单元,数据处理单元生成具有表示车辆的行驶路线上的自动驾驶区间和手动驾驶区间的区间信息的行驶区间显示数据,并且还生成显示数据,该显示数据具有被设定为表示控制中心的远程驾驶辅助服务的可提供性的信息,作为与行驶区间显示数据中包含的行驶位置相关联的附加信息。
(16)根据(15)的信息处理***,
其中,控制中心向移动装置发送表示向驾驶员发出指示的控制方的服务的可提供性的信息和表示远程控制车辆的远程驾驶辅助操作员的服务的可提供性的信息,以及
移动装置的数据处理单元生成用于允许识别以下服务可提供性信息(a)和(b)的显示数据:
(a)表示控制方的服务的可提供性的信息,以及
(b)表示远程驾驶辅助操作员的服务的可提供性的信息。
(17)一种由信息处理设备执行的信息处理方法,该方法包括:
通过信息处理设备的数据处理单元,
生成具有表示车辆的行驶路线上的自动驾驶区间和手动驾驶区间的区间信息的行驶区间显示数据,并进一步生成显示数据,该显示数据具有被设定为表示控制中心的远程驾驶辅助服务的可提供性的信息,作为与行驶区间显示数据中包含的行驶位置相关联的附加信息。
(18)一种使信息处理设备执行信息处理的程序,该程序包括:
使信息处理设备的数据处理单元生成具有表示车辆的行驶路线上的自动驾驶区间和手动驾驶区间的区间信息的行驶区间显示数据,并进一步生成显示数据,该显示数据具有被设定为表示控制中心的远程驾驶辅助服务的可提供性的信息,作为与行驶区间显示数据中包含的行驶位置相关联的附加信息。
此外,说明书中描述的一系列过程可以通过硬件、软件或两者的组合配置来执行。在通过软件执行处理的情况下,记录了处理序列的程序可以安装在集成在专用硬件中的计算机的存储器中并执行,或者可以安装在能够执行各种类型的处理的通用计算机中并执行。例如,可以预先将程序记录在记录介质中。程序可以从记录介质安装在计算机中,也可以通过诸如LAN(局域网)和因特网之类的网络接收,并安装在诸如内置硬盘之类的记录介质中。
注意,说明书中描述的各种类型的处理不仅可以按根据说明的时间序列执行,还可以根据执行处理的设备的处理能力或根据需要并行或单独地执行。此外,本说明书中的***是指由多个设备构成的逻辑集合配置。相应配置的装置不一定限于容纳在同一壳体中的装置。
[工业适用性]
如上所述,根据本公开的一个实施例,提供了一种用于生成显示数据的配置,该显示数据具有在车辆行驶路线上设置并且表示控制中心的远程驾驶辅助服务的可提供性的信息。
具体来说,比如,该配置包括数据处理单元,其生成具有表示车辆的行驶路线上的自动驾驶区间和手动驾驶区间的区间信息的行驶区间显示数据,并进一步生成显示数据,该显示数据具有被设定为表示控制中心的远程驾驶辅助服务的可提供性的信息,作为与行驶区间显示数据中包含的行驶位置相关联的附加信息。数据处理单元生成具有表示远程驾驶辅助服务的可提供性并且与根据所述行驶区间显示数据的行驶位置相关联地设定的图标的显示数据。
该配置提供生成并显示在车辆行驶路线上设置并表示控制中心的远程驾驶辅助服务的可提供性的显示数据的配置。
[参考标志清单]
10:车辆
11:数据处理单元
12:驾驶员信息获取单元
13:环境信息获取单元
14:通信单元
15:通知单元
16:存储单元
20:驾驶员
30:服务器
40:控制中心
51:控制方图标
52:远程驾驶辅助操作员图标
53:带路车辆图标
54:控制中心图标
100:移动装置
101:输入单元
102:数据获取单元
103:通信单元
104:车载设备
105:输出控制单元
106:输出单元
107:驱动***控制单元
108:驱动***
109:车身***控制单元
110:车身***
111:存储单元
112:自动驾驶控制单元
121:通信网络
131:检测单元
132:自身位置估计单元
133:状况分析单元
134:规划单元
135:动作控制单元
141:车辆外部信息检测单元
142:车辆内部信息检测单元
143:车辆状态检测单元
151:地图分析单元
152:交通规则识别单元
153:状态识别单元
154:状态预测单元
155:安全判别单元
161:路线规划单元
162:行为规划单元
163:动作规划单元
171:紧急情况避免单元
172:加速/减速控制单元
173:方向控制单元
301:CPU
302:ROM
303:RAM
304:总线
305:输入/输出接口
306:输入单元
307:输出单元
308:存储单元
309:通信单元
310:驱动器
311:可移除介质
321:传感器
322:驱动单元。

Claims (18)

1.一种信息处理设备,包括:
数据处理单元,数据处理单元生成具有表示车辆的行驶路线上的自动驾驶区间和手动驾驶区间的区间信息的行驶区间显示数据,并进一步生成显示数据,该显示数据具有被设定为表示控制中心的远程驾驶辅助服务的可提供性的信息,作为与行驶区间显示数据中包含的行驶位置相关联的附加信息。
2.根据权利要求1所述的信息处理设备,其中所述数据处理单元生成具有表示远程驾驶辅助服务的可提供性并且与根据所述行驶区间显示数据的行驶位置相关联地设定的图标的显示数据。
3.根据权利要求1所述的信息处理设备,其中所述数据处理单元生成具有多个图标的显示数据,所述多个图标包括表示可提供远程驾驶辅助服务的第一图标和表示不可提供远程驾驶辅助服务的第二图标,与根据行驶区间显示数据的行驶位置相关联地设定所述多个图标。
4.根据权利要求1所述的信息处理设备,其中
控制中心具有向驾驶员发出指示的控制方和远程控制车辆的远程驾驶辅助操作员,以及
数据处理单元生成用于允许识别以下服务可提供性信息(a)和(b)的显示数据:
(a)表示控制方的服务的可提供性的信息,以及
(b)表示远程驾驶辅助操作员的服务的可提供性的信息。
5.根据权利要求1所述的信息处理设备,其中所述数据处理单元还生成用于允许识别表示是否允许通过带路车辆的引导来行驶的信息的显示数据。
6.根据权利要求1所述的信息处理设备,其中所述数据处理单元还生成用于允许识别表示所述控制中心的通信拥塞状态的信息的显示数据。
7.根据权利要求1所述的信息处理设备,其中所述数据处理单元生成具有车辆被安排为在早时间段中行驶的近距离区间和车辆被安排为在晚时间段中行驶的远距离区间的行驶区间显示数据,近距离区间和远距离区间被设定为使得近距离区间的显示宽度(W)变得大于远距离区间的显示宽度。
8.根据权利要求1所述的信息处理设备,其中,所述数据处理单元生成被配置成使得远距离区间的显示数据的每单位显示长度的距离变得大于近距离区间的显示数据的每单位显示长度的距离的行驶区间显示数据。
9.根据权利要求1所述的信息处理设备,其中数据处理单元基于来自控制中心的远程驾驶辅助控制来执行车辆的自动行驶。
10.根据权利要求1所述的信息处理设备,其中,数据处理单元获取对于具有被设定为表示控制中心的远程驾驶辅助服务的可提供性的信息的显示数据的用户操作信息,并将用户操作信息发送给控制中心。
11.根据权利要求10所述的信息处理设备,其中所述用户操作信息包括包含用于指定表示远程驾驶辅助服务的可提供性的图标的信息的操作信息。
12.根据权利要求10所述的信息处理设备,其中,所述用户操作信息包括包含所述行驶区间显示数据上的行驶位置的操作信息。
13.根据权利要求10所述的信息处理设备,其中,数据处理单元基于与从控制中心接收的用户操作信息相对应的远程驾驶辅助控制信息执行车辆的自动行驶。
14.一种能够在自动驾驶和手动驾驶之间切换的移动装置,所述移动装置包括:
获取与所述移动装置的驾驶员相关联的驾驶员信息的驾驶员信息获取单元;
获取移动装置周围的周围信息的环境信息获取单元;以及
数据处理单元,数据处理单元生成用于允许识别车辆的行驶路线上的至少自动驾驶允许区间和手动驾驶区间的行驶区间显示数据,
其中,所述数据处理单元生成显示数据,该显示数据具有被设定为表示控制中心的远程驾驶辅助服务的可提供性的信息,作为与行驶区间显示数据中包含的行驶位置相关联的附加信息。
15.一种信息处理***,包括:
移动装置;和
控制中心,
其中,控制中心向移动装置发送指示远程驾驶辅助服务的可提供性的信息,以及
移动装置包括数据处理单元,数据处理单元生成具有表示车辆的行驶路线上的自动驾驶区间和手动驾驶区间的区间信息的行驶区间显示数据,并且还生成显示数据,该显示数据具有被设定为表示控制中心的远程驾驶辅助服务的可提供性的信息,作为与行驶区间显示数据中包含的行驶位置相关联的附加信息。
16.根据权利要求15所述的信息处理***,
其中,控制中心向移动装置发送表示向驾驶员发出指示的控制方的服务的可提供性的信息和表示远程控制车辆的远程驾驶辅助操作员的服务的可提供性的信息,以及
移动装置的数据处理单元生成用于允许识别以下服务可提供性信息(a)和(b)的显示数据:
(a)表示控制方的服务的可提供性的信息,以及
(b)表示远程驾驶辅助操作员的服务的可提供性的信息。
17.一种由信息处理设备执行的信息处理方法,该方法包括:
通过信息处理设备的数据处理单元,
生成具有表示车辆的行驶路线上的自动驾驶区间和手动驾驶区间的区间信息的行驶区间显示数据,并进一步生成显示数据,该显示数据具有被设定为表示控制中心的远程驾驶辅助服务的可提供性的信息,作为与行驶区间显示数据中包含的行驶位置相关联的附加信息。
18.一种使信息处理设备执行信息处理的程序,该程序包括:
使信息处理设备的数据处理单元生成具有表示车辆的行驶路线上的自动驾驶区间和手动驾驶区间的区间信息的行驶区间显示数据,并进一步生成显示数据,该显示数据具有被设定为表示控制中心的远程驾驶辅助服务的可提供性的信息,作为与行驶区间显示数据中包含的行驶位置相关联的附加信息。
CN202080088137.0A 2019-12-26 2020-11-26 信息处理设备、移动装置、信息处理***、信息处理方法和程序 Pending CN114930422A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-236414 2019-12-26
JP2019236414 2019-12-26
PCT/JP2020/043962 WO2021131474A1 (ja) 2019-12-26 2020-11-26 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム

Publications (1)

Publication Number Publication Date
CN114930422A true CN114930422A (zh) 2022-08-19

Family

ID=76574364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080088137.0A Pending CN114930422A (zh) 2019-12-26 2020-11-26 信息处理设备、移动装置、信息处理***、信息处理方法和程序

Country Status (6)

Country Link
US (1) US20230017970A1 (zh)
EP (1) EP4083960A4 (zh)
JP (1) JPWO2021131474A1 (zh)
KR (1) KR20220113947A (zh)
CN (1) CN114930422A (zh)
WO (1) WO2021131474A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113665590B (zh) * 2021-09-24 2024-04-19 阿波罗智联(北京)科技有限公司 控制车辆的方法、装置、设备、介质和车辆
CN113911138B (zh) * 2021-11-12 2024-02-13 董昊天 一种基于无线定位的主动化车辆智能导向辅助驾驶***
CN114648876B (zh) * 2022-03-25 2023-03-21 山东高速股份有限公司 一种基于移动感知数据的交通事故预警***
JP7496447B2 (ja) 2022-09-12 2024-06-06 ソフトバンク株式会社 監視支援システム、監視支援装置の制御方法、及び監視支援装置の制御プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101033978A (zh) * 2007-01-30 2007-09-12 珠海市智汽电子科技有限公司 智能汽车辅助导航和自动兼辅助驾驶***
CN107207013A (zh) * 2014-12-12 2017-09-26 索尼公司 自动驾驶控制设备以及自动驾驶控制方法和程序
CN107430007A (zh) * 2014-12-30 2017-12-01 罗伯特·博世有限公司 基于自动‑手动驾驶偏好比例的路线选择
CN107835932A (zh) * 2015-07-08 2018-03-23 本田技研工业株式会社 自动驾驶控制装置
WO2019082774A1 (ja) * 2017-10-24 2019-05-02 ソニーセミコンダクタソリューションズ株式会社 情報処理装置および情報処理方法
JP2019190835A (ja) * 2018-04-18 2019-10-31 株式会社Soken 車両遠隔操作支援システム
CN110609544A (zh) * 2018-06-15 2019-12-24 本田技研工业株式会社 远程驾驶管理装置以及计算机可读存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3568621B2 (ja) * 1995-04-20 2004-09-22 株式会社日立製作所 地図表示装置
JP6269105B2 (ja) 2014-01-27 2018-01-31 アイシン・エィ・ダブリュ株式会社 自動運転支援システム、自動運転支援方法及びコンピュータプログラム
JP6369028B2 (ja) * 2014-01-27 2018-08-08 アイシン・エィ・ダブリュ株式会社 経路探索システム、経路探索方法及びコンピュータプログラム
AU2016262563B2 (en) * 2015-05-13 2019-03-14 Uber Technologies, Inc. Autonomous vehicle operated with guide assistance
US20190329791A1 (en) 2017-01-19 2019-10-31 Sony Semiconductor Solutions Corporation Vehicle control apparatus and vehicle control method
JP2018171586A (ja) 2017-03-31 2018-11-08 富士フイルム株式会社 積層フィルムの製造方法
JP6987601B2 (ja) 2017-10-23 2022-01-05 キヤノン株式会社 誘導加熱装置
US20200283028A1 (en) 2017-11-17 2020-09-10 Sony Semiconductor Solutions Corporation Information processing apparatus and information processing method
DE112019002145T5 (de) * 2018-04-26 2021-03-04 Sony Semiconductor Solutions Corporation Informationsverarbeitungsvorrichtung, mobile vorrichtung, informationsverarbeitungssystem, verfahren und programm
US11782434B2 (en) * 2018-08-10 2023-10-10 Mitsubishi Electric Corporation Driving plan generating apparatus, remote driving server, and method for generating driving plan
CN113508066A (zh) * 2019-03-29 2021-10-15 英特尔公司 自主交通工具***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101033978A (zh) * 2007-01-30 2007-09-12 珠海市智汽电子科技有限公司 智能汽车辅助导航和自动兼辅助驾驶***
CN107207013A (zh) * 2014-12-12 2017-09-26 索尼公司 自动驾驶控制设备以及自动驾驶控制方法和程序
CN107430007A (zh) * 2014-12-30 2017-12-01 罗伯特·博世有限公司 基于自动‑手动驾驶偏好比例的路线选择
CN107835932A (zh) * 2015-07-08 2018-03-23 本田技研工业株式会社 自动驾驶控制装置
WO2019082774A1 (ja) * 2017-10-24 2019-05-02 ソニーセミコンダクタソリューションズ株式会社 情報処理装置および情報処理方法
JP2019190835A (ja) * 2018-04-18 2019-10-31 株式会社Soken 車両遠隔操作支援システム
CN110609544A (zh) * 2018-06-15 2019-12-24 本田技研工业株式会社 远程驾驶管理装置以及计算机可读存储介质

Also Published As

Publication number Publication date
EP4083960A1 (en) 2022-11-02
WO2021131474A1 (ja) 2021-07-01
EP4083960A4 (en) 2023-02-01
US20230017970A1 (en) 2023-01-19
KR20220113947A (ko) 2022-08-17
JPWO2021131474A1 (zh) 2021-07-01

Similar Documents

Publication Publication Date Title
US11993293B2 (en) Information processing apparatus, moving apparatus, and method, and program
US11738757B2 (en) Information processing device, moving apparatus, method, and program
CN111315627B (zh) 信息处理装置和信息处理方法
CN111989729B (zh) 信息处理装置、移动装置、信息处理***、方法和程序
KR102669020B1 (ko) 정보 처리 장치, 이동 장치, 및 방법, 그리고 프로그램
JP7431223B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
US20210155269A1 (en) Information processing device, mobile device, information processing system, method, and program
EP4083960A1 (en) Information processing device, movement device, information processing system, method, and program
EP4030326A1 (en) Information processing device, mobile device, information processing system, method, and program
US11866073B2 (en) Information processing device, information processing system, and information processing method for wearable information terminal for a driver of an automatic driving vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination