CN117980846A - 移动控制***、移动控制方法、移动控制设备和信息处理设备 - Google Patents

Abstract

按照本公开的移动控制***(1)包括彼此通信的第一处理单元(121)和第二处理单元(220)，其中第一处理单元基于对处理所需的响应时间没有约束的非实时处理，使用从第二处理单元获取的传感器信息来生成用于控制移动设备的移动路线的路线信息，并且第二处理单元基于对处理所需的响应时间有约束的实时处理，沿着由第一处理单元生成的路线信息控制移动设备的移动。

Description

移动控制***、移动控制方法、移动控制设备和信息处理设备

技术领域

本公开涉及移动控制***、移动控制方法、移动控制设备和信息处理设备。更特别地，本公开涉及用于移动设备的自动驾驶或高级驾驶辅助***(ADAS)的移动控制技术。

背景技术

作为与诸如汽车之类的移动设备相关的技术，已知通过处理器等生成移动设备的路线并控制移动设备跟随该路线行驶来进行移动设备的自主行驶的技术。

关于此类自动驾驶技术，已知基于使用从数据库获取的地图信息和从搭载在车辆上的传感器获取的信息确定的行驶路线来控制加速器、制动器、转向器等的技术(例如，专利文献1)。

引文列表

专利文献

专利文献1：WO 2016/194134A

发明内容

技术问题

按照现有技术，可以高精度地进行移动设备的移动控制，比如路线生成和路线跟随控制。这里，从安全性的角度来看，除了使得能够高精度地进行移动控制之外，还需要进行高响应性的移动控制。然而，在高精度地进行这种移动控制的情况下，处理负荷通常增加，并且响应性恶化。另一方面，如果将处理负荷抑制得较低并强调响应性，则移动控制的精度降低，结果，安全性受损。这样，现有技术在兼顾为了进行高安全性的移动控制所要求的移动控制的高精度和高响应性方面存在问题。

于是，在本公开中，提出一种实现高精度和高响应性的移动控制的移动控制***、移动控制方法、移动控制设备和信息处理设备。

问题的解决方案

为了解决上述问题，按照本公开的实施例的移动控制***包括配置为彼此通信的第一处理单元和第二处理单元，其中所述第一处理单元基于对处理所需的响应时间没有的约束的非实时处理，使用从所述第二处理单元获取的传感器信息来生成用于控制移动设备的移动路线的路线信息，并且所述第二处理单元基于对处理所需的响应时间有约束的实时处理，沿着由所述第一处理单元生成的所述路线信息控制所述移动设备的移动。

附图说明

图1是图解说明按照实施例的移动控制***的概况的示图。

图2是用于说明按照实施例的移动控制的示图。

图3是图解说明按照实施例的实时处理设备的构成例子的示图。

图4是图解说明按照实施例的实时处理设备的数据库的例子的示图。

图5是图解说明按照实施例的实时处理设备的数据库的例子的示图。

图6是图解说明按照实施例的非实时处理设备的构成例子的示图。

图7是图解说明按照实施例的非实时处理设备的数据库的例子的示图。

图8是图解说明按照实施例的非实时处理设备的数据库的例子的示图。

图9是用于说明按照实施例的移动控制的示图(1)。

图10是用于说明按照实施例的移动控制的示图(2)。

图11是用于说明按照实施例的移动控制的示图(3)。

图12是用于说明按照实施例的移动控制的示图(4)。

图13是用于说明按照实施例的移动控制的示图(5)。

图14是用于说明按照实施例的移动控制的示图(6)。

图15是用于说明按照实施例的移动控制的示图(7)。

图16是用于说明按照实施例的移动控制的示图(8)。

图17是用于说明按照实施例的移动控制的示图(9)。

图18是图解说明按照实施例的处理的流程的流程图。

图19是图解说明按照实施例的处理的流程的序列图。

图20是图解说明按照变形例的移动控制***的概况的示图。

图21是图解说明移动控制***的构成例子的框图。

图22是图解说明按照实施例的感测区域的例子的示图。

图23是图解说明实现按照实施例的移动控制***的功能的计算机的例子的硬件构成图。

具体实施方式

在下文中，将参考附图详细描述本公开的实施例。注意，在下面的每个实施例中，相同的组件用相同的附图标记表示，以便省略冗余描述。

将按照以下的项目顺序来描述本公开。

1.实施例

1-1.按照实施例的移动控制***的构成

1-2.按照实施例的移动控制的例子

1-3.按照实施例的移动控制的过程

1-4.按照实施例的变形例

2.其他实施例

2-1.移动设备的构成

2-2.其他

3.按照本公开的移动控制***的效果

4.硬件构成

(1.实施例)

(1-1.按照实施例的移动控制***的构成)

图1是图解说明按照本公开的实施例的移动控制***1的构成的示图。具体地，在图1中，示出了图解说明在按照本公开的移动控制***中包括的实时处理设备100和非实时处理设备的概况的示图。

按照本公开的实施例的移动控制被应用于如下情况：进行自动驾驶的预定移动设备基于由移动设备的用户设定的目的地和从数据库获取的地图信息来确定全局路线，并基于全局路线和从传感器等获取的移动设备周围的信息进行跟随移动设备的局部移动路线的移动控制。这里，全局路线指的是从移动设备的行驶起点到目的地的一般路线。局部移动路线指示关于全局路线的特定移动路线，比如具体道路和车道的选择、行驶在车道的中心或者行驶在道路的边缘。在下文中，移动路线指示局部移动路线，而路线信息指示表示移动路线的信息。除了汽车之外，按照实施例的移动设备还包括自行车、摩托车、货物运输车辆、机器人等。然而，在实施例中，作为移动设备的例子例示了汽车，并且将描述移动设备的移动控制。此外，在实施例中，实时处理设备100指示移动设备本身或包括在移动设备中的移动控制设备。此外，在实施例中，作为例子，将使用存在于实时处理设备100外部的云服务器200来描述非实时处理设备。按照实施例的移动控制由实时处理设备100和非实时处理设备进行。

通常，当进行自主移动控制时，汽车基于设定的目的地和地图信息来确定路线，并且在识别周围物体、道路形状等的同时进行跟随所确定的路线的移动控制。作为例子，通过进行以下控制来实现跟随所确定的路线的移动控制。由诸如处理器之类的控制单元确定的诸如加速器位置、变速器车速或转向角之类的信息通过诸如控制器局域网络(CAN)之类的车内通信被发送到各个电子控制单元(ECU)，比如发动机变速器控制ECU、制动器控制ECU或动力转向器控制ECU。然后，用于进行发动机变速器控制、制动器控制和动力转向器控制的相应ECU控制发动机变速器、制动器和转向器。由进行发动机变速器控制、制动器控制和动力转向器控制的各个ECU执行的处理被称为实时处理或实际时间处理，并且是对其保证响应时间、并且除了输出结果值的正确性之外、处理结果的正确性还取决于输出结果的时间的处理。换句话说，实时处理和实际时间处理指示用来设定从接收到处理命令的输入到输出处理结果的延迟时间的最后期限或允许范围，并且不超过该最后期限或允许的时间的处理方法。这样，在实时处理和实际时间处理中，通过对完成处理和进行输出之前所需的时间施加约束，可以执行高响应性的处理。汽车可以通过具有响应时间的约束的实时处理，无延迟地进行诸如制动之类的控制。在诸如汽车之类的移动设备中，由于控制延迟可能导致严重事故，因此需要通过作为其响应时间得到保证的处理的实时处理来进行制动器、加速器等的控制。特别地，在汽车需要紧急停止的情况下，在汽车从制动操作开始实际停止之前，进行包括需要制动器控制的状况确定、向制动器发送控制命令以及开始制动器处理的一系列控制。然而，在这些控制任意之一中，延迟的发生会大大损害安全性。

顺便提及，即使对于进行发动机变速器控制、制动器控制和动力转向器控制的每个ECU保证响应时间，也并不总是能够执行其安全性理想地得到确保的处理。例如，发动机变速器控制、制动器控制和动力转向器控制可以通过其响应时间得到保证的实时处理来进行，而诸如加速器位置、变速器车速或转向角之类的信息的确定和发送可以在不保证响应时间的控制下进行。在这种情况下，关于作为诸如发动机变速器控制、制动器控制或动力转向器控制之类的控制的前提的信息的确定和发送，可以通过不施加作为响应时间的保证的约束来高精度地执行处理。然而，存在在一系列的控制中发生延迟的可能性，从而存在结果不能确保安全性的可能性。

为了避免由于这种控制延迟而引起的安全性的恶化，整个移动控制***可以通过具有保证响应时间的约束的实时处理来构建。然而，在整个移动控制***通过具有保证响应时间的约束的实时处理来构建的情况下，通过要求在一系列的整个控制内保证响应时间，处理的精度可能会恶化。于是，存在结果不能确保安全性的可能性。

于是，按照本公开的移动控制***1通过以下描述的处理解决了上述问题。移动控制***1包括实时处理设备100和云服务器200，实时处理设备执行对处理所需的响应时间有约束的实时处理，云服务器200执行对处理所需的响应时间没有约束的非实时处理。云服务器200是信息处理设备的例子，并且生成用于控制移动设备的移动路线的路线信息。实时处理设备100是移动控制设备的例子，并且按照生成的路线信息控制移动设备的移动。

云服务器200可以通过对处理所需的响应时间没有约束的非实时处理来生成路线信息，从而高精度地生成移动路线。另一方面，实时处理设备100可以通过对处理所需的响应时间有约束的实时处理来进行响应性高的路线跟随控制。即，虽然移动控制***1对于制动器或加速器的控制以及作为控制的前提的信息的确定和发送施加了保证响应时间的约束，但是移动控制***1对于作为这些的前提的路线信息的生成没有施加保证响应时间的约束。通过这样的构成，移动控制***1可以进行其安全性得到确保的移动控制。注意，另外，关于路线信息的生成，云服务器200在实时处理设备100到达实时处理设备100行驶在的移动路线的终点之前的预定时间或距离内生成下一个路线信息。于是，即使由于不施加保证响应时间的约束而稍微延迟地生成路线信息，在一系列的移动控制中也不会发生延迟。

在下文中，将参考图1和图2描述按照实施例的移动控制***1的概况和移动控制的例子。注意，在以下的描述中，假设在移动控制***1中包括的实时处理设备100搭载在作为移动设备的汽车上，或者汽车本身起实时处理设备100的作用。即，在以下的描述中，实时处理设备100可以被理解为汽车(移动设备)。

在图1中图解所示的例子中，假设移动控制***1包括实时处理设备100和云服务器200。实时处理设备100包括第一传感器110、控制单元120、第二传感器130、内部传感器140、以及加速器和制动器/转向器150。

第一传感器110是获取关于移动设备或移动设备周围的信息的传感器，并被称为高端传感器等。由第一传感器获取的信息用于诸如由云服务器200生成路线信息之类的处理。由第一传感器获取的信息可以经由诸如以太网或WiFi之类的通信发送到云服务器200。作为第一传感器110的具体例子，例示了摄像头、光探测和测距(LiDAR)、毫米波雷达、超声波传感器、全球定位***(GPS)等。由第一传感器110获取的信息的具体示例将在后面参考图7详细描述。

第二传感器130是获取关于移动设备或移动设备周围的信息的传感器，并且是获取用于诸如由安全MCU 122进行的物体检测或紧急制动之类的处理的第二传感器信息的传感器。第二传感器130被称为安全传感器等。第二传感器130经由CAN通信等将获取的信息发送到安全MCU 122。作为第二传感器130的具体例子，例示了摄像头、光探测和测距(LiDAR)、毫米波雷达、超声波传感器等。

内部传感器140是获取关于移动设备的行为的信息的传感器，该信息是用于实时处理单元121进行的自我位置估计(航位推算)的内部传感器信息。作为内部传感器140的具体例子，例示了惯性测量单元(IMU)(加速度传感器、角速度传感器)、车速(车轮)编码器等。

控制单元120是执行实时处理(比如用于跟随路线信息的移动控制或紧急制动)的处理器。控制单元120通过例如由中央处理单元(CPU)、微处理单元(MPU)或图形处理单元(GPU)使用随机存取存储器(RAM)等作为工作区，执行存储在控制单元120中的程序(例如，按照本公开的移动控制程序)来实现。此外，控制单元120是控制器(控制器)，并且例如可以通过诸如专用集成电路(ASIC)或现场可编程门阵列(FPGA)之类的集成电路来实现。

控制单元120还包括实时处理单元121和安全MCU 122，并且实现或执行将在下面描述的移动控制的功能和作用。注意，控制单元120的内部构成不限于图1中图解所示的构成，可以是其他构成，只要该构成进行后面描述的移动控制即可。

实时处理单元121从第一传感器110和内部传感器140接收传感器信息，向第一传感器信息和内部传感器信息赋予时间戳，并将所述信息发送到云服务器200。实时处理单元121例如被称为实时单元等。此外，基于内部传感器信息估计实时处理设备100的位置。此外，实时处理单元121从云服务器200接收实时处理设备100的位置识别结果和路线信息，校正实时处理设备100的位置估计，并且进行跟随路线信息的行驶控制。

安全MCU 122从第二传感器130接收第二传感器信息，并基于第二传感器的信息进行路线上的物体检测、紧急控制等。

加速器和制动器/转向器150基于从安全MCU 122和实时处理单元121接收的诸如加速器位置或转向角之类的控制信息，进行诸如加速器、制动器或转向器之类的实时处理设备100的行驶控制。除了加速器和制动器以及转向器的硬件模块之外，加速器和制动器/转向器150还包括实际控制加速器和制动器以及转向器的硬件模块的加速器控制ECU、制动器控制ECU和转向器控制ECU。此外，代替每个ECU，可以设置控制加速器和制动器以及转向器的所有硬件模块的单个ECU。

云服务器200是执行对于保证响应时间没有约束的非实时处理的设备。云服务器200生成实时处理设备100的移动路线的路线信息，识别实时处理设备100的位置，并识别实时处理设备100的移动路线的路线上的物体。此外，除了特别由实时处理设备100执行的处理以外，与移动控制相关的所有处理都可以由云服务器200执行。在移动控制***1中，除了云服务器200以外的组件执行具有作为响应时间的约束的保证的处理，而云服务器200执行对于保证响应时间没有约束的处理。

接下来，将参考图2描述由移动控制***1执行的移动控制处理的概况。图2是图解说明由实时处理设备100和云服务器200执行的移动控制***1的移动控制处理的框图。在图2中，示为示意框图，图解说明了由移动控制***1执行的移动控制处理的流程。

在图2中图解所示的例子中，首先，实时处理设备100从第二传感器130获取第二传感器信息(步骤S10)。实时处理设备100输出第二传感器130的第二传感器信息(步骤S11)。接下来，实时处理设备100基于第二传感器130的第二传感器信息，检测实时处理设备100的移动路线的路线上的障碍物(步骤S12)。然后，实时处理设备100输出关于检测到的障碍物的信息，以使实时处理设备100跟随移动路线行驶(步骤S13)。注意，在步骤S12中由实时处理设备100检测到的障碍物的例子可以是其他移动设备、行人、诸如动物之类的移动物体、诸如路线上的垃圾或废物之类的静止物体、以及诸如信号灯和标志之类的交通标志。此外，检测不仅包括仅仅检测物体的存在，而且包括用于识别含义信息的处理，比如检测物体是正在通过人行横道的行人，或者检测物体是指示限速为50Km/h的标志。

此外，实时处理设备100从内部传感器信息中获取传感器信息(步骤S20)。实时处理设备100输出获取的内部传感器信息以用于自我位置估计(步骤S21)。接下来，实时处理设备100使用获取的内部传感器信息来估计实时处理设备100的位置(步骤S22)。然后，实时处理设备100输出实时处理设备100的估计位置，以用于使实时处理设备100跟随移动路线行驶(步骤S23)。此外，实时处理设备100基于后面描述的云服务器200进行的实时处理设备100的位置识别，输出实时处理设备100的估计位置以便校正(步骤S24)。此外，实时处理设备100输出获取的内部传感器信息以便赋予时间戳(步骤S25)。

此外，实时处理设备100从第一传感器获取第一传感器信息(步骤S30)。实时处理设备100输出获取的第一传感器信息以便赋予时间戳(步骤S31)。

接下来，实时处理设备100向内部传感器信息和第一传感器信息赋予时间戳(步骤S32)。这里，时间戳是指示获取传感器信息时的时间戳的信息。实时处理设备100将被赋予时间戳的第一传感器信息发送到云服务器200，以便由云服务器200进行物体识别(步骤S33)。此外，实时处理设备100发送被赋予时间戳的内部传感器信息和第一传感器信息，以便由云服务器200识别实时处理设备100的位置(步骤S34)。

接下来，云服务器200进行物体识别(步骤S35)。然后，输出物体识别的结果以生成路线(步骤S36)。

接下来，云服务器200基于被赋予时间戳的第一传感器信息和内部传感器信息，识别实时处理设备100的位置(步骤S37)。这里，位置识别是由云服务器200识别移动设备的位置。与由移动设备估计移动设备的相对位置变化的自我位置估计不同，在位置识别中，通过使用被赋予时间戳的第一传感器信息来识别移动设备的绝对位置。注意，由于要识别的移动设备的位置是移动设备在所赋予的时间戳时的位置，因此该位置是在完成位置识别时移动设备的过去位置。

接下来，云服务器200将位置识别的结果发送到实时处理设备100，以便校正实时处理设备100的位置估计(步骤S38)。此外，云服务器200输出位置识别的结果以生成路线(步骤S39)。

接下来，云服务器200基于物体识别的结果和实时处理设备100的位置识别的结果，生成实时处理设备100的移动路线的路线信息(步骤S40)。然后，云服务器200将移动路线的路线信息发送到实时处理设备100(步骤S41)。这里，路线信息的生成是生成连接到移动设备当前正行驶在的路线的路线信息。此外，路线信息的生成不限于生成连接到移动设备当前正行驶在的路线的路线，并且预先创建下一路线可以是步骤S35中的路线生成。路线信息包括诸如移动设备在某个时刻的目标位置、姿势、速度、加速度、角速度或角加速度之类的信息。

接下来，实时处理设备100基于实时处理设备100的位置估计的结果和云服务器200的位置识别的结果来校正估计的位置(步骤S42)。然后，实时处理设备100输出校正后的位置估计的结果(步骤S43)。由于云服务器200识别的移动设备的位置信息是移动设备在所赋予的时间戳时的位置，因此位置估计的校正是在被赋予时间戳时的位置估计的结果的校正。由于步骤S22中基于内部传感器140的传感器信息的位置估计是基于相对位置变化的位置估计，因此归因于其性质会累积误差。例如，在移动设备每行驶1km，在移动设备的行驶方向上导致10cm的误差的内部传感器的自我位置估计的情况下，行驶10km会导致1m的误差。于是，实时处理设备100可以通过使用由云服务器200识别的绝对位置信息校正过去的位置估计的结果来校正累积误差，并且可以进行更精确的位置估计。注意，作为补充，对于这种自我位置的校正，可取的是云服务器200进行的移动设备的位置识别比移动设备自身进行的位置估计更精确。于是，在本实施例中，可以执行对于保证响应时间没有约束的高精度处理的云服务器200进行这样的位置识别。

接下来，实时处理设备100基于实时处理设备100进行的移动路线的路线上的障碍物检测的结果和校正后的位置估计的结果，以及云服务器200的移动路线的路线信息，进行跟随移动路线的行驶控制(步骤S50)。

如上所述，在移动控制***1中，实时处理设备100执行需要保证响应时间的处理和控制，比如位置估计、路线上的障碍物检测、位置估计结果的校正、相对于移动路线的路线跟随行驶。另一方面，云服务器200执行响应性不重要、要求高精度的处理，比如移动路线的路线信息的生成或移动设备在某个过去时间点的位置的识别。这样，移动控制***1可以通过由具有不同性质的设备分担并执行移动设备的处理和控制，实现移动设备的处理和控制的高精度以及高响应性。于是，移动控制***1可以进行安全性高的移动控制。

接下来，将参考图3描述实时处理设备100的内部构成。图3是图解说明按照实施例的实时处理设备100的构成例子的示图。在图3中，图解说明了实时处理设备100的框图。除了图2中图解所示的第一传感器110、控制单元120、第二传感器130、内部传感器140以及加速器和制动器/转向器150之外，实时处理设备100还包括通信单元160和存储单元170。实时处理设备100的各个单元执行的处理是具有保证响应时间的约束的实时处理。然而，在实时处理设备100的各个单元执行的处理中，一部分的处理可以是对于保证响应时间没有约束的非实时处理。

通信单元160在实时处理设备100和网络之间进行通信，并发送和接收预定信息。

存储单元170存储诸如被赋予时间戳的传感器信息之类的数据。存储在存储单元170中的数据是从在实时处理设备100中包括的传感器(比如，第一传感器110)提供的传感器信息，和经由通信单元160从云服务器200提供的信息。此外，存储在存储单元170中的数据被适当地输出到控制单元120等并由控制单元120等使用，并且经由通信单元160输出到云服务器200并由云服务器200使用。

控制单元120包括实时处理单元121和安全MCU 122。实时处理单元121包括路线跟随单元1211、自我位置估计单元1212、自我位置校正单元1213和时间戳赋予单元1214。

路线跟随单元1211基于由云服务器200生成的路线信息，执行用于实时处理设备100进行路线跟随行驶的处理。

自我位置估计单元1212基于内部传感器信息进行自我位置估计，内部传感器信息是从内部传感器140获取的关于实时处理设备100的行为的传感器信息。在内部传感器信息中包括的实时处理设备100的行为是由车轮编码器获取的移动距离或移动速度、关于基于IMU的加速度的信息等。自我位置估计单元1212按照内部传感器信息测量实时处理设备100的相对移动速度、移动方向等，并估计实时处理设备100的位置。

自我位置校正单元1213使用经由通信单元从云服务器200获取的实时处理设备100的位置的识别结果，校正由自我位置估计单元1212估计的实时处理设备100的位置。云服务器200基于第一传感器信息和内部传感器信息以及这些传感器信息的时间戳来识别实时处理设备100的位置。于是，云服务器200对实时处理设备100的位置的识别结果是被赋予时间戳时的结果。于是，由自我位置校正单元1213校正的实时处理设备100的位置也是被赋予时间戳时的实时处理设备100的位置。由自我位置校正单元1213进行的实时处理设备100的位置的这种校正可以被称为实时处理设备100的位置的重新估计。此外，路线跟随单元1211可以进一步使用位置重新估计的结果来执行用于进行路线跟随行驶的处理。

时间戳赋予单元1214将获取传感器信息时的时间戳赋予从第一传感器110获取的第一传感器信息和内部传感器信息。通过时间戳赋予单元1214将时间戳赋予传感器信息，例如，当云服务器200使用传感器信息执行处理时，可以通过参考被赋予的时间戳来执行更精确的处理。注意，时间戳也可以被赋予第二传感器信息。

安全MCU 122包括物体检测单元1221和安全机构1222。安全MCU 122执行在实时处理设备100执行的处理中特别要求安全性和紧迫性的处理。

物体检测单元1221使用从第二传感器获取的第二传感器信息，检测存在于第二传感器的检测范围内(比如在移动设备行驶在的路线上或附近)的物体。物体检测单元1221进行的物体检测不仅包括仅仅感知物体的存在，而且包括诸如物体的类型和上下文的理解或行动预测之类的识别处理。例如，物体检测单元1221感知人的存在，并且根据该人是行人并即将穿过人行横道和过去几秒内的移动历史(移动方向和加速度)来预测后续行动。另外，包括交通信号灯的点亮颜色的识别和预测、道路标志识别、白线识别、诸如自行车之类移动物体的识别、行动预测等。

安全机构1222在紧急情况等时进行移动设备的紧急控制、紧急回避和诸如指示云服务器200重新规划移动路线之类的紧急控制。安全机构1222进行的紧急控制是基于诸如实时处理设备100的行驶速度、物体检测单元1221使用第二传感器信息检测到的物体的类型、或者从实时处理设备100到物体的距离之类的信息进行的。安全机构1222进行移动设备的紧急控制的情况是云服务器200进行的路线的生成被延迟的情况、物体存在于实时处理设备100的行驶路线上的情况等。作为安全机构1222的紧急控制的例子，例示了用于使实时处理设备100停止在行驶路线上或行驶路线附近的紧急控制。

图4和图5中图解说明在存储单元170中包括的数据库的例子。图4中的数据库171是示出了指示获取传感器信息的时刻的时间戳与被赋予时间戳的各个传感器信息以及基于各个传感器信息的自我位置估计的结果之间的对应关系的数据库。注意，由于第二传感器信息主要由实时处理设备100使用，因此赋予时间戳不是必须的。此外，为了便于描述，在图4中，假设获取包括第一传感器、第二传感器、内部传感器的传感器信息的定时是统一的。然而，只要获取各个传感器的传感器信息的定时不同步，所述定时就不同。于是，通常赋予不同的时间戳。此外，如上所述，第一传感器、第二传感器和内部传感器包括诸如摄像头或毫米波雷达之类的多个传感器。这里，为了便于描述，将多个传感器统称为第一传感器、第二传感器和内部传感器。此外，例如，在第一传感器包括摄像头和毫米波雷达的情况下，只要摄像头和毫米波雷达的传感器信息获取的定时不同步，就向摄像头的传感器信息和毫米波雷达的传感器信息赋予不同的时间戳。

当向各个传感器的传感器信息赋予指示给出该传感器信息的时刻的时间戳时，实时处理设备100将时间戳发送到云服务器200。云服务器200参照时间戳，并在获取传感器信息时执行各种类型的处理，比如基于传感器信息的移动设备的位置识别。在云服务器200基于传感器信息执行各种类型的处理的情况下，在没有向传感器信息赋予时间戳的情况下，在处理中出现时间误差，使得基于过去的传感器信息识别当前的自我位置。在赋予时间戳的情况下，可以识别在赋予时间戳的过去时刻的自我位置。于是，在处理中不会出现时间误差。

图5中的数据库172是存储在存储单元170中的由云服务器200生成的路线信息。路线信息对于每条路线定义目标时刻，并且包括诸如在目标时刻的目标位置、姿势、速度、加速度、角速度和角加速度之类的一些或全部信息。在所有信息都包括在路线信息中的情况下，可以进行精确的路线跟随。然而，需要参照大量的信息。如上所述，由于路线跟随是由对于保证响应时间具有约束的实时处理设备100进行的，因此可能存在难以在该约束内，在参照大量信息的同时进行控制的情况。在这种情况下，例如，在路线信息中包括的信息中，可以只参照目标位置、时刻、姿势和速度。此外，在参照所有信息的同时，可以对各个信息进行加权并进行参照。

此外，在图5中图解所示的数据库172中，对于单个路线信息R100设定五个目标时刻T100～T108以及与相应目标时刻对应的目标位置OP100～OP108等。注意，尽管云服务器200对于单个路线信息设定多个目标时刻和与目标时刻对应的目标位置等，但是针对单个路线设定的目标时刻的数量、与目标时刻对应的目标位置不限于图5中图解所示的例子中的那些。注意，用于生成路线信息的云服务器200侧的处理在后面描述。这样，存储单元170将云服务器200生成的路线信息存储为数据库172。

接下来，将参考图6来描述云服务器200的内部构成。图6是图解说明按照实施例的非实时处理设备(云服务器200)的构成例子的示图。在图6中，图解说明了云服务器200的框图。云服务器200包括通信单元210、非实时处理单元220和存储单元230。

通信单元在云服务器200和网络之间进行通信，并在它们之间发送和接收各种类型的信息。

非实时处理单元220执行云服务器200的处理，并且包括获取单元221、位置识别单元222、物体检测单元223和路线生成单元224。由非实时处理执行的处理是对于保证响应时间没有约束的非实时处理，并且该处理是基于从实时处理设备100获取的各种类型的传感器信息和被赋予给传感器信息的时间戳来执行的。

存储单元230存储从实时处理设备100获取的传感器信息，并存储生成的路线信息。

获取单元221经由通信单元210从实时处理设备100获取各种类型的传感器信息。

位置识别单元222基于由获取单元221获取的第一传感器110的传感器信息和内部传感器140的传感器信息，以及被赋予给各个传感器信息的时间戳来识别实时处理设备100的位置。于是，位置识别单元222对实时处理设备100的位置的识别结果是精度比实时处理设备100仅仅基于内部传感器信息通过实时处理估计的位置估计的结果更高的结果。此外，位置识别单元222对实时处理设备100的位置的识别结果是被赋予时间戳时的实时处理设备100的过去位置。第一传感器110的传感器信息被称为内部传感器140的传感器信息。

物体检测单元223基于由获取单元221获取的第一传感器信息，检测存在于第一传感器110的可检测范围内(比如在移动设备行驶在的路线上或附近)的障碍物。

障碍物的例子可以是其他移动设备、行人、诸如动物之类的移动物体、诸如路线上的垃圾或废物之类的静止物体、以及诸如信号灯和标志之类的交通标志。此外，物体检测单元223的检测不仅包括仅仅检测物体，而且包括识别处理，比如对物体的类型或上下文的理解或者行动预测。例如，检测包括用于识别含义信息的处理，使得检测到的物体是正在通过人行横道的行人，或者该物体是指示限速为50Km/h的标志。此外，物体检测包括用于根据该人是行人、并且将要穿过人行横道、或者过去几秒钟内的移动历史(移动方向和加速度)来预测后续行动的处理。此外，另外，物体检测包括交通信号灯的点亮颜色的识别和预测、道路标志识别、白线识别、诸如自行车之类移动物体的识别、行动预测等。注意，物体检测单元223的物体检测是基于第一传感器110的信息，通过没有保证响应时间的约束的非实时处理来进行的。于是，与通过实时处理执行的物体检测单元1221的处理相比，可以进行更精确的物体检测。

路线生成单元224基于由位置识别单元222识别的实时处理设备100的位置和关于由物体检测单元223检测到的物体的信息来生成路线信息。由路线生成单元224生成的路线信息对于单个路线信息设定多个目标时刻、对应于这些目标时刻的目标位置等。然而，对于单个路线设定的目标时刻的数量、对应于这些目标时刻的目标位置等是适当地设定的。例如，路线生成单元224可以对于单个路线信息设定单个目标时刻、对应于目标时刻的目标位置等，或者可以设定100个目标时刻、对应于这些目标时刻的目标位置等。例如，在云服务器200生成高速公路上的路线信息的情况下，路线宽度较宽，并且弯道的数量较少。于是，单个路线信息的长度可以为1km，并且对于该路线可以确定5个目标时刻、对应于目标时刻的目标位置等。另一方面，在生成用于通过高速公路上的收费站的路线信息的情况下，路线生成单元224可以将单个路线信息的长度设定为100m，并且对于该路线确定20个目标时刻、对应于目标时刻的目标位置等。此外，路线生成单元224可以一次生成多个路线信息，并且如果已经生成了实时处理设备100正在行驶的路线的下一个路线信息，则路线生成单元224可以进一步生成下一个路线。

图7图解说明了作为包括在存储单元230中的数据库的例子的数据库231，该数据库是从第一传感器110获取的第一传感器的信息。向在数据库231中包括的第一传感器的信息赋予与获取传感器信息的时刻对应的时间戳。例如，位置识别单元222参照存储在存储单元230中的第一传感器110的传感器信息和内部传感器140的传感器信息(未示出)以及赋予每个传感器的时间戳来识别移动设备的位置。

图8图解说明了作为包括在存储单元230中的数据库的例子的数据库232，该数据库是由路线生成单元224生成的路线。在路线生成单元224生成了路线信息之后，存储单元230将路线信息存储在数据库中。路线信息如上所述对于每个路线定义目标时刻，并且包括诸如在目标时刻的目标位置、姿势、速度、加速度、角速度和角加速度之类的一些或全部信息。

(1-2.按照实施例的移动控制的例子)

接下来，将参考图9，沿着从时刻t01到时刻t02的连续时刻变化，描述基于由云服务器200的路线生成单元224生成的路线信息的实时处理设备100的路线跟随控制。图9是图解说明其中实时处理设备100从云服务器200接收路线信息并跟随路线信息行驶的控制的示图。路线信息R10由云服务器200生成，并且是实时处理设备100在时刻t01跟随行驶的路线信息。路线信息Rf是在实时处理设备100到达路线信息R10的末端之前的预定时刻或预定距离，由云服务器200生成的路线信息，并且与路线信息R10的末端相连。

在时刻t01，实时处理设备100进行用于跟随由云服务器200生成的路线信息R10的移动控制。在时刻t02，云服务器200生成与在时刻t01的路线信息Rf对应的路线信息R11，并将路线信息R11发送到实时处理设备100。实时处理设备100接收路线信息R11，然后当到达路线信息R10的末端时进行用于跟随路线信息R11行驶的移动控制。这样，在到达目的地以前，实时处理设备100在接收由云服务器200适当生成的路线信息的同时跟随路线信息行驶。

接下来，参考图10，将描述由实时处理设备100基于云服务器200识别的实时处理设备100的位置来校正实时处理设备100的位置的处理。在图10中，时刻t10、t20和t30指示连续的时刻变化。在时刻t10，实时处理设备100跟随由云服务器200生成的路线信息R20行驶。实时处理设备100基于内部传感器140的传感器信息估计实时处理设备100的自我位置是位置SP10。位置P10是实时处理设备100的实际位置，并且如图10中图解所示，实时处理设备100的实际位置P10不同于由自我位置估计单元1212估计的位置PS10。

云服务器200从实时处理设备100获取由实时处理设备100在时刻t10获取的第一传感器110和内部传感器140的各个传感器信息，并基于各个传感器信息识别实时处理设备100的位置。云服务器200识别的实时处理设备100的位置是与被赋予第一传感器110的传感器信息和内部传感器140的传感器信息的时间戳的时刻对应的实时处理设备100的位置。即，云服务器200识别的实时处理设备100的位置是在时刻t10的位置，并且是在识别处理完成时实时处理设备100的过去位置。云服务器200将识别的实时处理设备100的位置发送给实时处理设备100。

接下来，在时刻t20，实时处理设备100基于云服务器200识别的实时处理设备100的位置，将作为在时刻t10的自我位置估计结果的SP10校正为AP10。如上所述，由于云服务器200识别的实时处理设备100的位置是在时刻t10的实时处理设备100的位置，因此要校正的自我位置估计的结果是在时刻t10的自我位置估计的结果。这里，P20是在时刻t20的实时处理设备100的实际位置，SP20是在时刻t20的实时处理设备100的自我位置估计结果。尽管实时处理设备100在时刻t20识别出在时刻t10估计的自我位置中存在误差，但是在时刻t20，实时处理设备100在累积误差的同时跟随路线信息R20行驶。

接下来，在时刻t30，实时处理设备100基于在时刻t10的校正后的自我位置AP10，将在时刻t20估计的自我位置SP20校正为AP20。由于实时处理设备100通过内部传感器140估计自我位置，因此在出现误差的情况下，误差在行驶期间累积。然而，通过如图10中图解所示，使用云服务器200识别的过去位置，可以减少误差并估计准确的自我位置。

接下来，将参考图11～图17描述实时处理设备100进行的用于避免与路线上的物体相撞的控制。在图11～图17的描述中，路线上的物体可以由在实时处理设备100的安全MCU 122包括中的物体检测单元1221检测，或者由在云服务器200的非实时处理单元220中包括的物体检测单元223检测。此外，实时处理设备100和路线上的物体之间的距离可以由在实时处理设备100的安全MCU 122中包括的物体检测单元1221检测，或者由在云服务器200的非实时处理单元220中包括的物体检测单元223检测。然而，可取的是路线上的物体的检测以及实时处理设备100和路线上的物体之间的距离的检测两者都通过实时处理来进行。

首先，参考图11和图12，将描述实时处理设备100和路线上的物体之间的距离足够长的情况。这里，所述距离足够长的情况指示从实时处理设备100检测到路线上的物体到相撞为止，实时处理设备100有足够的时间基于重新规划的路线信息开始行驶的情况。路线信息是通过实时处理设备100指示云服务器200重新规划路线信息，云服务器200重新规划路线信息并将路线信息发送到实时处理设备100来重新规划的。然后，实时处理设备100开始跟随重新规划的路线信息行驶，并且进行行驶以避开路线上的物体。注意，实时处理设备100可以将云服务器200重新规划路线信息等所需的时间的平均值等作为数据存储。通过将云服务器200重新规划路线信息所需的时间的平均值与根据实时处理设备100和路线上的物体之间的距离计算的相撞之前的时间进行比较，可以判定距离是否足够长。

图11是图解说明在实时处理设备100跟随行驶的路线信息R30的路线上，与实时处理设备100仅仅相隔距离d1存在物体H1的状况的示图。在这种情况下，如果继续跟随路线信息R30行驶，则会发生与路线上的物体H1的相撞。于是，实时处理设备100指示云服务器200重新规划路线信息，并且云服务器200重新规划路线信息R30，生成路线信息R31以避开路线上的物体H1，并将路线信息R31发送到实时处理设备100。实时处理设备100通过跟随接收到的路线信息R31行驶，可以避开路线上的物体H1。

在图12中，作为鸟瞰图示出并描述了图11中的状况。图12中的水平轴指示距离。这里，省略与图11重叠的描述。在图12中，距离d10是在实时处理设备100通过使用紧急制动进行停止控制的情况下，在实时处理设备100停止以前实时处理设备100行驶的距离。距离d20指示在云服务器200在实时处理设备100通过紧急制动进行减速的同时重新规划路线信息的情况下，在完成路线信息的重新规划之前实时处理设备100行驶的距离。距离d30指示在云服务器200在实时处理设备100通过紧急制动进行减速的同时重新规划路线信息的情况下，在实时处理设备100开始跟随重新规划的路线信息行驶以前实时处理设备100行驶的距离。距离d40指示在云服务器200在实时处理设备100不进行紧急制动时重新规划路线信息的情况下，在完成路线信息的重新规划以前实时处理设备100行驶的距离。距离d50指示在云服务器200在实时处理设备100不进行紧急制动时重新规划路线信息的情况下，在实时处理设备100开始跟随重新规划的路线规划行驶以前实时处理设备100行驶的距离。注意，由于距离d10～d50根据实时处理设备100的速度、路线的路面状态等而变化，因此距离d10～d50仅指示与路线上的物体的位置的相对距离关系。

如上所述，图11和图12中图解所示的实时处理设备100和路线上的物体H1之间的距离d1大于距离d50。于是，即使实时处理设备100不进行紧急制动，也可以通过跟随由云服务器200重新规划的路线信息行驶来避免与路线上的物体H1的相撞。

接下来，参考图13和图14，将描述实时处理设备100和路线上的物体H2之间的距离大于距离d30并且小于距离d40的情况。

图13是图解说明在实时处理设备100跟随行驶的路线信息R40的路线上，与实时处理设备100仅仅相隔距离d2存在物体H2的状况的示图。在图13中，在实时处理设备100跟随行驶的路线信息R40的路线上，与实时处理设备100仅仅相隔距离d2存在物体H2。在这种情况下，如果实时处理设备100继续跟随路线信息R40行驶，则会发生与路线上的物体H2的相撞。于是，云服务器200重新规划路线信息R40，生成路线信息R41以避开路线上的物体H2，并将路线信息R41发送到实时处理设备100。实时处理设备100通过跟随接收到的路线信息R41行驶，可以避开路线上的物体H2。然而，在这种情况下，如果实时处理设备100没有通过紧急制动进行减速，则实时处理设备100在云服务器200完成路线信息的重新规划之前到达距离d2，并且与物体H2相撞。于是，在这种情况下，实时处理设备100通过紧急制动进行减速。实时处理设备100通过紧急制动进行减速，使得在与路线上的物体H2相撞之前，云服务器200完成路线信息的重新规划，并且实时处理设备100可以避开路线上的物体H2。注意，在这种情况下，实时处理设备100可以通过采取紧急制动进行停止来避免与物体H2相撞。然而，优选的是通过紧急制动进行减速并跟随路线信息R41行驶，因为可以不停止地继续行驶。

图14是图解说明在实时处理设备100跟随行驶的路线信息R40的路线上，与实时处理设备100b仅仅相隔距离d2存在物体H2的状况的示图。图14是作为鸟瞰图示出并描述了图13中的状况的示图。

图14中的水平轴指示距离。这里，省略与图13重叠的描述。如图14中图解所示，从实时处理设备100到路线上的物体H2的距离d2是大于距离d30的距离，并且是小于距离d40的距离。即，即使云服务器200生成路线信息R41以便避开物体H2，如果实时处理设备100不进行紧急制动，那么也不可能避免与物体H2相撞。于是，实时处理设备100在通过紧急制动进行减速的同时，跟随重新规划的路线信息R41行驶。结果，实时处理设备100可以在避开路线上的物体H2的同时不停止地行驶。

接下来，参照图15和图16，将描述实时处理设备100和路线上的物体之间的距离大于距离d10并且小于距离d20的情况。

在图15中，在实时处理设备100跟随行驶的路线信息R50的路线上，与实时处理设备100仅仅相隔距离d3存在路线上的物体H3。在这种情况下，如果继续跟随路线信息R50行驶，则会发生与路线上的物体H3的相撞。此外，在该距离下，即使实时处理设备100通过紧急制动进行减速，也存在云服务器200在实时处理设备100与路线上的物体H3相撞之前无法完成路线信息的重新规划的可能性。于是，即使在这种情况下，实时处理设备100也通过紧急制动进行停止控制。结果，可以避免与路线上的物体H3相撞。

图16是作为鸟瞰图示出图15中的状况的示图。这里，省略与图15重叠的描述。如图16中图解所示，从实时处理设备100到路线上的物体H3的距离d3是大于距离d10的距离，并且是小于距离d20的距离。实时处理设备100通过紧急制动执行停止处理，因为按照到物体H3的距离，不能及时地进行云服务器200进行的路线信息的重新规划。结果，实时处理设备100可以避免与路线上的物体H3相撞。

接下来，参考图17，描述云服务器200没有响应的情况，即，云服务器200由于某种原因没有规划路线信息的情况。实时处理设备100跟随路线信息R60行驶。然后，实时处理设备100在到达只相隔距离d50的路线信息R60的末端之前的预定时间或距离从云服务器200接收下一路线信息R61，并继续行驶。然而，存在云服务器200不响应，并且实时处理设备100在到达路线信息R60的末端之前的预定时间或距离不能从云服务器200接收下一路线信息R61的情况。在这种情况下，当在保持速度的情况下到达路线信息R60的末端时，实时处理设备100不具有之后的路线信息。于是，存在不能控制实时处理设备100的行驶的可能性。于是，在实时处理设备100在到达路线信息R60的末端之前的预定时间或距离不能从云服务器200接收下一路线信息R61的情况下，实时处理设备100被控制为在路线信息R60的末端停车。注意，在这种情况下，如果路线信息R60的末端是诸如车道之类停车有危险的地点，则实时处理设备100的安全机构1222可以控制实时处理设备100的行驶，以便在安全位置停车。

(1-3.按照实施例的移动控制的过程)

接下来，将参考图18描述按照实施例的移动控制的过程。图18是图解说明按照实施例的处理的流程的流程图。

如图18中图解所示，实时处理设备100从内部传感器140获取内部传感器信息(步骤S60)。接下来，实时处理设备100从第一传感器110获取第一传感器信息(步骤S61)。注意，内部传感器的信息的获取和第一传感器信息的获取可以同时进行，或者可以首先进行第一传感器信息的获取。

接下来，实时处理设备100对第一传感器信息和内部传感器信息赋予时间戳(步骤S62)。接下来，实时处理设备100使用内部传感器信息估计实时处理设备100的位置(步骤S63)。

实时处理设备100将被赋予时间戳的第一传感器信息和内部传感器信息发送到云服务器200(步骤S64)。

云服务器200获取地图信息(步骤S65)。接下来，云服务器200从实时处理设备100接收被赋予时间戳的第一传感器信息和内部传感器信息(步骤S66)。注意，云服务器200获取地图信息的步骤和接收被赋予时间戳的第一传感器信息和内部传感器信息的步骤不限于按此顺序进行，可以按相反的顺序或并行地进行。

接下来，云服务器200基于获取的第一传感器信息和内部传感器信息来识别实时处理设备100的位置(步骤S67)。此外，云服务器200基于获取的第一传感器信息来识别实时处理设备100正行驶在的路线信息的路线上的物体(步骤S68)。步骤S67和S68可以按相反的顺序进行或者并行进行。

接下来，云服务器200基于实时处理设备100的路线上的物体识别的结果和实时处理设备100的位置识别的结果生成路线信息(步骤S69)。

然后，云服务器200将生成的路线信息和实时处理设备100的位置识别的结果发送到实时处理设备100(步骤S70)。

接下来，实时处理设备100从云服务器200接收路线信息和位置识别的结果(步骤S71)。然后，实时处理设备100基于从云服务器200接收的位置识别的结果，校正步骤S63中的位置估计的结果(步骤S72)。这里，步骤S63中的使用内部传感器信息的实时处理设备100的位置估计可以在任何定时进行，只要在步骤S72之前进行位置估计即可。

然后，实时处理设备100基于在步骤S71中获取的路线信息，进行行驶控制，以便跟随路线信息(步骤S73)。

从行驶控制开始的时间点到行驶控制结束的时间点，重复执行从步骤S60到步骤S73的上述一系列处理。

接下来，将参考图19描述按照实施例的一系列移动控制的过程。图19是图解说明按照实施例的一系列移动控制的流程的序列图。

首先，云服务器200将路线信息发送到实时处理单元121(步骤S80)。实时处理单元121基于接收到的路线信息，将关于用于跟随路线行驶的加速器位置、转向角等的信息发送到加速器和制动器/转向器150(步骤S81)。加速器和制动器/转向器150基于接收到的关于加速器位置、转向角等的信息控制加速器和转向器。

接下来，第二传感器130将第二传感器信息发送到安全MCU 122(步骤S82)。安全MCU 122基于接收到的第二传感器信息检测路线上的障碍物(步骤S83)。在安全MCU 122检测到障碍物的情况下，安全MCU 122将关于用于进行移动控制以便避免与障碍物碰撞的加速器位置、转向角等的信息发送到加速器和制动器/转向器150(步骤S84)。

接下来，内部传感器140将内部传感器信息发送到实时处理单元121(步骤S85)。此外，第一传感器110将第一传感器信息发送到实时处理单元121(步骤S86)。

实时处理单元121对接收到的第一传感器信息和内部传感器信息赋予时间戳(步骤S87)。此外，实时处理单元121将被赋予时间戳的第一传感器信息和内部传感器信息发送到云服务器200(步骤S88)。

接下来，实时处理单元121基于内部传感器信息估计实时处理设备100的位置(步骤S89)。注意，即使没有被赋予时间戳，也可以进行实时处理单元121基于内部传感器信息进行的位置估计，例如，可以在步骤S85之后和步骤S87之前进行位置估计。

云服务器200基于接收到的第一传感器信息和内部传感器信息，以及被赋予给第一传感器信息和内部传感器信息的时间戳，识别实时处理设备100的位置(步骤S90)。

云服务器200将位置识别的结果发送到实时处理单元121(步骤S91)。实时处理单元121基于接收到的位置识别的结果校正位置估计的结果(步骤S92)。

此外，云服务器200基于第一传感器信息识别为实时处理设备100的移动控制所需的物体(交通信号灯的点亮颜色、道路标志、白线识别、移动体识别等)(步骤S93)。此时，云服务器200还可以基于物体过去的时间序列数据(移动方向、速度、加速度、信号灯的点亮时间等)来进行物体行动预测(预定时间之后的物体的位置或交通信号灯的点亮颜色)。

然后，云服务器200根据步骤S90中的位置识别的结果和步骤S93中的物体识别的结果生成路线信息(步骤S94)。此时，除了位置识别的结果和物体识别的结果之外，云服务器200还将存储在云服务器中的地图信息和路线信息发送到实时处理单元121(步骤S95)。

实时处理单元121基于接收到的路线信息，将关于用于跟随路线行驶的加速器位置、转向角等的信息发送到加速器和制动器/转向器150(步骤S96)，并进行跟随路线信息的移动控制。根据上述一系列处理，实时处理设备100进行移动控制。

注意，实时处理设备100和云服务器200在步骤S80和S81之后并在步骤S95和S96之前适当地执行步骤S82～S93。即，实时处理设备100在获取与步骤S80相关的路线信息之后并在获取与步骤S95相关的路线信息之前，至少执行一次步骤S82～S92中的各个步骤。此外，在发送与步骤S80相关的路线信息之后并在生成与步骤S94相关的下一路线信息之前，云服务器200至少执行一次步骤S90～S94中的各个步骤。注意，实时处理设备100和云服务器200不需要次数相同地执行步骤S82～S93中的各个步骤，例如，与其他步骤相比，可以仅更多次地执行步骤S82和S83中的路线上的障碍物的检测。

(1-4.按照实施例的变形例)

按照实施例的移动控制可以以除实施例以外的各种不同模式进行。于是，在下文中，将描述实时处理设备100的另一个实施例。

在本实施例中，非实时处理设备被描述为云服务器200。然而，非实时处理设备不限于云服务器200，可以是包括在移动设备中的处理器。

于是，将参考图20描述实时处理设备100的另一个实施例。在图20中图解所示的例子中，移动控制***1A包括实时处理设备100A，并且实时处理设备100A包括非实时处理单元200A、第一传感器110A、控制单元120A、第二传感器130A、内部传感器140A、以及加速器和制动器/转向器150A。此外，控制单元120A包括实时处理单元121A和安全MCU 122A。

非实时处理单元200A执行与图1中图解所示的云服务器200类似的处理。第一传感器110A对应于图1中图解所示的第一传感器110。控制单元120A对应于图1中图解所示的控制单元120。第二传感器130A对应于图1中图解所示的第二传感器130。内部传感器140A对应于图1中图解所示的内部传感器140。加速器和制动器/转向器150A对应于图1中图解所示的加速器和制动器/转向器150。实时处理单元121A对应于图1中图解所示的实时处理单元121。安全MCU 122A对应于图1中图解所示的安全MCU 122。

如上所述，如果非实时处理单元200A被配置为在处理设备100A中包括的设备，则与一系列移动控制相关的数据通信在处理设备中完成。这导致实时处理设备100A不太可能受通信延迟等的影响的效果。

(2.其他实施例)

(2-1.移动设备的构成)

图21是图解说明作为本技术应用于的移动设备控制***的例子的车辆控制***11的构成例子的框图。

车辆控制***11设置在车辆10中，执行与车辆10的行驶辅助和自动驾驶相关的处理。

车辆控制***11包括车辆控制电子控制单元(ECU)21、通信单元22、地图信息累积单元23、全球导航卫星***(GNSS)接收单元24、外部识别传感器25、车内传感器26、车辆传感器27、记录单元28、行驶辅助和自动驾驶控制单元29、驾驶员监测***(DMS)30、人机接口(HMI)31和车辆控制单元32。

车辆控制ECU 21、通信单元22、地图信息累积单元23、GNSS接收单元24、外部识别传感器25、车内传感器26、车辆传感器27、记录单元28、行驶辅助和自动驾驶控制单元29、驾驶员监测***(DMS)30、人机接口(HMI)31和车辆控制单元32经由通信网络41彼此可通信地连接。通信网络41例如包括符合诸如控制器局域网络(CAN)、局部互联网络(LIN)、局域网(LAN)、FlexRay(注册商标)或以太网(注册商标)之类的数字双向通信标准的车载通信网络、总线等。可以根据要传送的数据的类型有选择地使用通信网络41，例如，CAN适用于与车辆控制相关的数据，而以太网适用于大容量数据。注意，车辆控制***11的各个单元可以不经由通信网络41，而使用假定在较短距离进行通信的无线通信(例如，近场通信(NFC)或蓝牙(注册商标))直接连接。

注意，在下文中，在车辆控制***11的各个单元经由通信网络41进行通信的情况下，将省略通信网络41的描述。例如，在车辆控制ECU 21和通信单元22经由通信网络41进行通信的情况下，简单地描述为车辆控制ECU 21和通信单元22进行通信。

车辆控制ECU 21包括各种处理器，例如，中央处理单元(CPU)、微处理单元(MPU)等。车辆控制ECU 21控制车辆控制***11的全部或一些功能。

通信单元22与车内及车外的各种设备、其他车辆、服务器、基站等通信，并发送和接收各种数据。此时，通信单元22可以使用多种通信方法进行通信。

将示意地描述可以通过通信单元22进行的与车外的通信。例如，通信单元22利用诸如第五代移动通信***(5G)、长期演进(LTE)或专用短程通信(DSRC)之类的无线通信方法，经由基站或接入点与存在于外部网络上的服务器(在下文中，称为外部服务器)等进行通信。通信单元22与之通信的外部网络例如是因特网、云网络或公司特有的网络等。用于通过通信单元22与外部网络进行通信的通信方法没有特别限制，只要该通信方法是能够以等于或大于预定速度的通信速度，并且在等于或大于预定距离的距离上进行数字双向通信的无线通信方法即可。

此外，例如，通信单元22可以使用对等(P2P)技术与存在于自身车辆附近的终端进行通信。存在于自身车辆附近的终端例如是附接到以较低速度移动的移动体(比如行人或自行车)的终端、安装在商店等中的固定位置的终端、或者机器类型通信(MTC)终端。此外，通信单元22可以进行V2X通信。V2X通信是自身车辆与其他车辆之间的通信，例如，与其他车辆的车辆对车辆通信、与路边设备等的车辆对基础设施通信、与住宅的车辆对住宅通信、与行人拥有的终端的车辆对行人通信等。

通信单元22例如可以从外部(空中下载)接收用于更新用于控制车辆控制***11的操作的软件的程序。通信单元22还可以从外部接收地图信息、交通信息、车辆10周围的信息等。此外，例如，通信单元22可以将关于车辆10的信息、车辆10周围的信息等发送到外部。由通信单元22发送到外部的关于车辆10的信息例如是指示车辆10的状态的数据、识别单元73的识别结果等。此外，例如，通信单元22进行与诸如eCall之类的车辆紧急呼叫***对应的通信。

将示意地描述可以通过通信单元22进行的与车内的通信。通信单元22例如可以使用无线通信与车辆中的各个设备进行通信。通信单元22例如可以利用能够通过无线通信以等于或高于预定速度的通信速度进行数字双向通信的通信方法，比如无线LAN、蓝牙、NFC或无线USB(WUSB)，与车辆中的设备进行无线通信。通信单元22不限于此，并且通信单元22可以使用有线通信与车辆中的各个设备进行通信。例如，通信单元22可以经由连接到连接端子(未示出)的电缆通过有线通信与车辆中的各个设备进行通信。通信单元22可以利用能够通过有线通信以等于或高于预定速度的通信速度进行数字双向通信的通信方法，例如通用串行总线(USB)、高清多媒体接口(HDMI)(注册商标)以及移动高清链路(MHL)，与车辆中的各个设备进行通信。

这里，车辆中的设备例如表示车辆中未连接到通信网络41的设备。作为车辆中的设备，例如，设想由诸如驾驶员之类的乘员拥有的移动设备或可穿戴式设备、带入车辆中并临时设置在车辆中的信息设备等。

例如，通信单元22接收从无线电波信标、光学信标或诸如FM复用广播之类的车辆信息和通信***(VICS)(注册商标)发送的电磁波。

地图信息累积单元23累积从外部获取的地图和/或在车辆10中创建的地图。例如，地图信息累积单元23累积三维高精度地图、精度比高精度地图低但覆盖更宽区域的全局地图等。

高精度地图例如是动态地图、点云地图、矢量地图等。动态地图例如是包括动态信息、半动态信息、半静态信息和静态信息这四层的地图，并且从外部服务器等提供给车辆10。点云地图是包括点云(点云数据)的地图。这里，假设矢量地图指示适用于高级驾驶员辅助***(ADAS)的地图，其中诸如车道和信号灯的位置之类的交通信息与点云地图关联。

点云地图和矢量地图例如可以从外部服务器等提供，并且可以基于雷达52、LiDAR53等的感测结果由车辆10创建，作为用于与后面描述的局部地图进行匹配的地图，并且可以累积在地图信息累积单元23中。此外，在从外部服务器等提供高精度地图的情况下，为了减小通信容量，例如，从外部服务器等获取与车辆10将行驶的规划路线有关的数百平方米的地图数据。

位置信息获取单元24从GNSS信号卫星接收GNSS信号，并获取车辆10的位置信息。接收的GNSS信号被提供给行驶辅助和自动驾驶控制单元29。注意，位置信息获取单元24可以例如使用信标来获取位置信息，而不限于使用GNSS信号的方法。

外部识别传感器25包括用于识别车辆10外部的状况的各种传感器，并将来自各个传感器的传感器数据提供给车辆控制***11的各个单元。包括在外部识别传感器25中的传感器的类型和数量可以是任意的。

例如，外部识别传感器25包括摄像头51、雷达52、光探测和测距、激光成像探测和测距(LiDAR)53、以及超声波传感器54。不限于此，外部识别传感器25可以具有包括摄像头51、雷达52、LiDAR 53以及超声波传感器54中的一个或多个传感器的构成。摄像头51、雷达52、LiDAR 53以及超声波传感器54的数量并无特别限制，只要它们能够实际安装在车辆10中即可。此外，包括在外部识别传感器25中的传感器的类型不限于本例，外部识别传感器25可以包括其他类型的传感器。包括在外部识别传感器25中的各个传感器的感测区域的例子将在后面描述。

注意，摄像头51的成像方法并无特别限制，只要成像方法是能够进行距离测量的成像方法即可。例如，作为摄像头51，必要时可以应用各种成像方法的摄像头，比如飞行时间(ToF)摄像头、立体摄像头、单目摄像头和红外摄像头。摄像头51不限于此，摄像头51可以只获取捕获的图像而不考虑距离测量。

此外，例如，外部识别传感器25可以包括用于检测车辆10的环境的环境传感器。环境传感器是用于检测诸如天气、气候或亮度之类的环境的传感器，例如可以包括诸如雨滴传感器、雾传感器、日照传感器、雪传感器和照度传感器之类的各种传感器。

此外，例如，外部识别传感器25包括用于检测车辆10周围的声音、声源的位置等的麦克风。

车内传感器26包括用于检测关于车辆内部的信息的各种传感器，并将来自各个传感器的传感器数据提供给车辆控制***11的各个单元。包括在车内传感器26中的各种传感器的类型和数量并无特别限制，只要它们能够实际安装在车辆10中即可。

例如，车内传感器26可以包括摄像头、雷达、就座传感器、方向盘传感器、麦克风和生物传感器中的一个或多个传感器。例如，作为包括在车内传感器26中的摄像头，可以使用能够进行距离测量的各种成像方法的摄像头，比如飞行时间(ToF)摄像头、立体摄像头、单目摄像头和红外摄像头。摄像头不限于此，并且包括在车内传感器26中的摄像头可以只获取捕获的图像而不考虑距离测量。包括在车内传感器26中的生物传感器例如设置在座椅、方向盘等中，并检测诸如驾驶员之类的乘员的各种生物信息。

车辆传感器27包括用于检测车辆10的状态的各种传感器，并将来自各个传感器的传感器数据提供给车辆控制***11的各个单元。包括在车辆传感器27中的各种传感器的类型和数量并无特别限制，只要它们能够实际安装在车辆10中即可。

例如，车辆传感器27包括速度传感器、加速度传感器、角速度传感器(陀螺仪传感器)和作为包括这些传感器的集成传感器的惯性测量单元(IMU)。例如，车辆传感器27包括检测方向盘转向角的转向角传感器、横摆角速率传感器、检测加速踏板的操作量的加速器传感器、以及检测制动踏板的操作量的制动传感器。例如，车辆传感器27包括检测发动机或电动机的转数的旋转传感器、检测轮胎气压的气压传感器、检测轮胎滑移率的滑移率传感器、以及检测车轮转速的轮速传感器。例如，车辆传感器27包括检测电池的余量和温度的电池传感器，以及检测外部冲击的冲击传感器。

记录单元28包括非易失性存储介质或易失性存储介质中的至少一个，并存储数据和程序。记录单元28例如被用作电可擦除可编程只读存储器(EEPROM)和随机存取存储器(RAM)，并且作为存储介质，可以应用诸如硬盘驱动器(HDD)之类的磁存储设备、半导体存储设备、光存储设备和磁-光存储设备。记录单元28记录由车辆控制***11的各个单元使用的各种程序和数据。例如，记录单元28包括事件数据记录器(EDR)和自动驾驶用数据存储***(DSSAD)，并记录在诸如事故之类的事件前后的车辆10的信息和由车内传感器26获取的生物信息。

行驶辅助和自动驾驶控制单元29控制车辆10的行驶辅助和自动驾驶。例如，行驶辅助和自动驾驶控制单元29包括分析单元61、行动规划单元62和操作控制单元63。

分析单元61进行对车辆10及车辆10周围的状况的分析处理。分析单元61包括自我位置估计单元71、传感器融合单元72和识别单元73。

自我位置估计单元71基于来自外部识别传感器25的传感器数据和累积在地图信息累积单元23中的高精度地图，估计车辆10的自我位置。例如，自我位置估计单元71基于来自外部识别传感器25的传感器数据生成局部地图，并通过将局部地图与高精度地图进行匹配来估计车辆10的自我位置。车辆10的位置例如以后轮对车轴的中心为基准。

局部地图例如是使用诸如同时定位与地图构建(SLAM)之类的技术创建的三维高精度地图、占据栅格地图等。三维高精度地图例如是上述点云地图等。占据栅格地图是其中车辆10周围的三维或二维空间被划分成预定大小的栅格(格子)，并且以栅格为单位指示物体的占据状态的地图。物体的占据状态例如通过物体的有无或存在概率来指示。例如，局部地图也用于识别单元73对车辆10外部的状况的检测处理和识别处理。

注意，自我位置估计单元71可以基于GNSS信号和来自车辆传感器27的传感器数据来估计车辆10的自我位置。

传感器融合单元72进行组合多个不同类型的传感器数据(例如，从摄像头51提供的图像数据和从雷达52提供的传感器数据)，以获取新的信息的传感器融合处理。用于组合不同类型的传感器数据的方法包括集成、融合、关联等。

识别单元73执行检测车辆10外部的状况的检测处理和识别车辆10外部的状况的识别处理。

例如，识别单元73基于来自外部识别传感器25的信息、来自自我位置估计单元71的信息、来自传感器融合单元72的信息等，执行对车辆10外部的状况的检测处理和识别处理。

具体地，例如，识别单元73执行对车辆10周围的物体的检测处理、识别处理等。物体检测处理例如是检测物体的有无、大小、形状、位置、移动等的处理。物体识别处理例如是识别诸如物体的类型之类的属性或识别特定物体的处理。不过，检测处理和识别处理不一定是明确分开的，可能重叠。

例如，识别单元73通过进行针对点云的每个簇对基于LiDAR 53、雷达52等的传感器数据的点云分类的聚类，检测车辆10周围的物体。结果，检测车辆10周围的物体的有无、大小、形状和位置。

例如，识别单元73通过进行跟随通过聚类分类的点云的簇的运动的追踪，检测车辆10周围的物体的运动。结果，检测车辆10周围的物体的速度和行驶方向(移动矢量)。

例如，识别单元73相对于从摄像头51提供的图像数据检测或识别车辆、人、自行车、障碍物、建筑物、道路、交通信号灯、交通标志、道路标志等。此外，通过执行诸如语义分割之类的识别处理，可以识别车辆10周围的物体的类型。

例如，识别单元73可以基于累积在地图信息累积单元23中的地图、自我位置估计单元71的自我位置的估计结果、以及识别单元73的车辆10周围的物体的识别结果，执行识别车辆10周围的交通规则的处理。通过该处理，识别单元73可以识别信号灯的位置和状态、交通标志和道路标志的内容、交通管制的内容、可行驶的车道等。

例如，识别单元73可以执行对车辆10的周围环境的识别处理。作为要由识别单元73识别的周围环境，设想天气、温度、湿度、亮度、路面状况等。

行动规划单元62创建车辆10的行动规划。例如，行动规划单元62通过执行路线规划和路线跟随的处理来创建行动规划。

注意，路线规划(全局路径规划)是规划从起点到终点的大致路线的处理。该路线规划被称为轨迹规划，并且还包括在路线规划所规划的路线中，考虑到车辆10的运动特性而允许在车辆10附近安全并平稳地行驶的轨迹生成(局部路径规划)的处理。路线规划可以区分为长期路线规划，启动生成可以区分为短期路线规划或局部路线规划。安全第一路线代表与启动生成、短期路线规划或局部路线规划相似的概念。

路线跟随是规划用于在所规划的时间内，安全并正确地行驶在路线规划所规划的路线上的操作的处理。行动规划单元62例如可以基于路线跟随处理的结果来计算车辆10的目标速度和目标角速度。

操作控制单元63控制车辆10的操作，以便实现由行动规划单元62创建的行动规划。

例如，操作控制单元63控制包括在后面描述的车辆控制单元32中的转向控制单元81、制动控制单元82和驱动控制单元83，以控制加速/减速和方向，使得车辆10行驶在通过轨迹规划计算的轨迹上。例如，操作控制单元63进行旨在实现诸如防撞或冲击减轻、跟随行驶、车辆定速行驶、自身车辆的碰撞报警、或者本车的车道偏离报警之类的ADAS的功能的协同控制。例如，操作控制单元63进行旨在车辆不依赖于驾驶员的操作地自主行驶的自动驾驶等的协同控制。

DMS 30基于来自车内传感器26的传感器数据、输入到后面描述的HMI 31的输入数据等，执行驾驶员认证处理、对驾驶员的状态的识别处理等。在这种情况下，作为要由DMS30识别的驾驶员的状态，例如，设想身体状况、清醒程度、专注度、疲劳度、视线方向、酒醉程度、驾驶操作、姿势等。

注意，DMS 30可以执行认证除驾驶员以外的乘员的处理以及识别乘员的状态的处理。此外，例如，DMS 30可以基于来自车内传感器26的传感器数据执行识别车辆中的状况的处理。作为要识别的车辆中的状况，例如，设想温度、湿度、亮度、气味等。

HMI 31输入各种类型的数据、指令等，并将各种类型的数据呈现给驾驶员等。

将示意地描述HMI 31进行的数据的输入。HMI 31包括供个人输入数据的输入设备。HMI 31基于利用输入设备输入的数据、指令等生成输入信号，并将输入信号提供给车辆控制***11的各个单元。HMI 31例如包括诸如触摸面板、按钮、开关或控制杆之类的操作设备，作为输入设备。不限于此，HMI 31还可以包括能够通过使用语音或手势的方法而不是手动操作来输入信息的输入设备。此外，HMI 31可以使用例如使用红外线或无线电波的远程控制设备，或者与车辆控制***11的操作对应的诸如移动设备或可穿戴式设备之类的外部连接设备作为输入设备。

将示意地描述HMI 31进行的数据的呈现。HMI 31生成关于乘员或车辆外部的视觉信息、听觉信息和触觉信息。此外，HMI 31进行用于控制每条生成信息的输出、输出内容、输出定时、输出方法等的输出控制。例如，HMI 31生成并输出由操作屏幕、车辆10的状态显示、报警显示、指示车辆10周围的状况的监视器图像等的图像或光指示的信息，作为视觉信息。此外，例如，HMI 31生成并输出由诸如语音导航、报警声音或报警消息之类的声音指示的信息，作为听觉信息。此外，例如，HMI 31生成并输出通过力、振动、运动等给予乘员的触觉的信息作为触觉信息。

作为HMI 31输出视觉信息的输出设备，例如，可以应用通过自身显示图像来呈现视觉信息的显示设备，或者通过投影图像来呈现视觉信息的投影仪设备。注意，除了具有普通显示器的显示设备之外，显示设备可以是在乘员的视野中显示视觉信息的设备，比如抬头显示器、透射式显示器、或具有增强现实(AR)功能的可穿戴式设备。此外，HMI 31可以使用在设置于车辆10中的导航设备、仪表板、摄像头监测***(CMS)、电子后视镜、灯等中包括的显示设备，作为输出视觉信息的输出设备。

作为HMI 31输出听觉信息的输出设备，例如，可以应用音频扬声器、头戴式耳机或耳塞式耳机。

作为HMI 31输出触觉信息的输出设备，例如，可以应用使用触觉技术的触觉元件。触觉元件例如设置在诸如方向盘或座椅之类的车辆10的乘员要触摸的部分中。

车辆控制单元32控制车辆10的各个单元。车辆控制单元32包括转向控制单元81、制动控制单元82、驱动控制单元83、车身***控制单元84、车灯控制单元85和喇叭控制单元86。

转向控制单元81进行车辆10的转向***的状态的检测、控制等。转向***例如包括包含方向盘等的转向机构、电动助力转向装置等。转向控制单元81例如包括诸如控制该转向***的ECU之类的控制单元、驱动该转向***的致动器等。

制动控制单元82进行车辆10的制动***的状态的检测、控制等。制动***例如包括包含制动踏板等的制动机构、防抱死制动***(ABS)、再生制动机构等。制动控制单元82例如包括诸如控制该制动***的ECU之类的控制单元等。

驱动控制单元83进行车辆10的驱动***的状态的检测、控制等。驱动***例如包括加速踏板、诸如内燃机或驱动电动机之类用于生成驱动力的驱动力生成设备、用于将驱动力传递到车轮的驱动力传递机构等。驱动控制单元83例如包括诸如控制该驱动***的ECU之类的控制单元等。

车身***控制单元84进行车辆10的车身***的状态的检测、控制等。车身***例如包括无钥匙进入***、智能钥匙***、电动车窗设备、电动座椅、空调器、安全气囊、安全带、变速杆等。车身***控制单元84例如包括诸如控制该车身***的ECU之类的控制单元等。

车灯控制单元85进行车辆10的各种车灯的状态的检测、控制等。作为要控制的车灯，例如，设想前照灯、尾灯、雾灯、转向灯、制动灯、投影灯、保险杠指示灯等。车灯控制单元85包括诸如进行车灯控制的ECU之类的控制单元等。

喇叭控制单元86进行车辆10的汽车喇叭的状态的检测、控制等。喇叭控制单元86例如包括诸如控制汽车喇叭的ECU之类的控制单元等。

图22是图解说明图21中的外部识别传感器25中的摄像头51、雷达52、LiDAR 53、超声波传感器54等的感测区域的例子的示图。注意，图22示意地图解说明了从上方观察的车辆10的状态，其中左端侧是车辆10的前端(前)侧，而右端侧是车辆10的后端(后)侧。

感测区域101F和101B图解说明超声波传感器54的感测区域的例子。感测区域101F通过多个超声波传感器54覆盖车辆10的前端周围的区域。感测区域101B通过多个超声波传感器54覆盖车辆10的后端周围的区域。

感测区域101F和101B中的感测结果例如用于车辆10的泊车辅助等。

感测区域102F～102B图解说明短距离或中距离用雷达52的感测区域的例子。感测区域102F在车辆10的前侧覆盖比感测区域101F更远的位置。感测区域102B在车辆10的后侧覆盖比感测区域101B更远的位置。感测区域102L覆盖车辆10的左侧面的后侧周围的区域。感测区域102R覆盖车辆10的右侧面的后侧周围的区域。

感测区域102F中的感测结果例如用于检测存在于车辆10的前侧的车辆、行人等。感测区域102B中的感测结果例如用于防止车辆10的后侧的碰撞的功能等。感测区域102L和102R中的感测结果例如用于检测在车辆10的侧面盲区中的物体等。

感测区域103F～103B图解说明摄像头51的感测区域的例子。感测区域103F在车辆10的前侧覆盖比感测区域102F更远的位置。感测区域103B在车辆10的后侧覆盖比感测区域102B更远的位置。感测区域103L覆盖车辆10的左侧面周围的区域。感测区域103R覆盖车辆10的右侧面周围的区域。

感测区域103F中的感测结果例如可以用于交通信号灯或交通标志的识别、车道偏离防止辅助***和自动前照灯控制***。感测区域103B中的感测结果例如可以用于泊车辅助、环视***等。感测区域103L和103R中的感测结果例如可以用于环视***。

感测区域104图解说明LiDAR 53的感测区域的例子。感测区域104在车辆10的前侧覆盖比感测区域103F更远的位置。另一方面，感测区域104在左右方向上的范围比感测区域103F窄。

感测区域104中的感测结果例如用于检测诸如周围车辆之类的物体。

感测区域105图解说明远距离雷达52的感测区域的例子。感测区域105在车辆10的前侧覆盖比感测区域104更远的位置。另一方面，感测区域105在左右方向上的范围比感测区域104窄。

感测区域105中的感测结果例如用于自适应巡航控制(ACC)、紧急制动、碰撞避免等。

注意，包括在外部识别传感器25中的传感器：摄像头51；雷达52；LiDAR 53；和超声波传感器54的相应感测区域可以具有除图2中的构成以外的各种构成。具体地，超声波传感器54也可以在车辆10的侧面进行感测，或者LiDAR 53可以在车辆10的后侧进行感测。此外，各个传感器的安装位置不限于上述各个例子。此外，传感器的数量可以是一个或者多个。

图21中的车辆10和图3中的实时处理设备100之间的对应关系如下。车辆10和车辆控制***11对应于实时处理设备100。处理器(车辆控制ECU)21对应于控制单元120、实时处理单元121和安全MCU 122。通信单元22对应于通信单元160。地图信息累积单元23对应于存储单元170。GNSS接收单元24对应于第一传感器110和GPS113。外部识别传感器25对应于第一传感器110和第二传感器130。车内传感器26和车辆传感器27对应于内部传感器140。记录单元28对应于存储单元170。行驶辅助和自动驾驶控制单元29对应于控制单元120、实时处理单元121和安全MCU 122。分析单元61对应于控制单元120、实时处理单元121和安全MCU122。自我位置估计单元71对应于自我位置估计单元1212和自我位置校正单元1213。传感器融合单元72对应于控制单元120、实时处理单元121和安全MCU 122。识别单元73对应于安全MCU 122和物体检测单元1221。行动规划单元62对应于安全机构1222和路线跟随单元1211。操作控制单元63对应于路线跟随单元1211、安全机构1222以及加速器和制动器/转向器150。DMS 30对应于存储单元170。HMI 31对应于控制单元120。车辆控制单元32对应于控制单元120。

(2-2.其他)

在上述各个实施例中描述的各个处理中，描述为自动执行的全部或部分处理可以手动执行，或者描述为手动执行的全部或部分处理可以自动执行。另外，除非另有规定，否则在本文中描述并在附图中图解所示的处理过程、具体名称和包含各种数据和参数的信息可以被任意变更。例如，在各个附图中图解所示的各种信息不限于附图中图解所示的信息。

此外，图解所示的各个设备的各个组件是功能概念性的，并且不一定如图解所示那样物理构成。即，各个设备的分布和集成的具体形式不限于图解所示的那些，可以按照各种负荷、使用条件等，以适当的单位在功能上或物理上分布和集成其全部或部分。

此外，上述各个实施例和变形例可以在处理内容不矛盾的范围内适当地组合。此外，在上述实施例中，作为移动体的例子描述了汽车。然而，按照本公开的信息处理可应用于除汽车以外的移动体。例如，移动体可以是小型车辆，比如自动自行车或自动三轮自行车，诸如公共汽车或卡车之类的大型车辆，或者诸如机器人或无人机之类的自主移动体。

此外，本文中描述的效果仅仅是例子而不受限制，并且可以实现其他效果。

(3.按照本公开的移动控制***的效果)

如上所述，按照本公开的移动控制***1包括实时处理设备100和非实时处理设备(云服务器200)，并且实时处理设备100和非实时控制设备彼此通信。实时处理设备100执行具有保证响应时间的约束的实时处理，而非实时处理设备执行没有保证响应时间的约束的非实时处理。实时处理设备100可以是移动设备，可以包括在移动设备中。

非实时处理设备通过非实时处理，使用从实时处理设备100获取的传感器信息来执行各种类型的处理。例如，非实时处理设备生成实时处理设备100的行驶路线的路线信息。然后，实时处理设备100通过实时处理，进行用于跟随路线信息的行驶控制。

这样，按照本公开的移动控制***1通过非实时处理设备生成路线信息，并且通过实时处理设备100跟随路线信息行驶。结果，移动控制***1能够进行实现高精度和高响应性两者的安全性高的移动控制。

此外，实时处理设备100基于传感器信息检测在实时处理设备100的行驶路线上或附近的物体，并进行包括实时处理设备100的紧急制动控制或指示云服务器200重新规划移动路线中的一个或多个的紧急控制。此外，在实时处理设备100不能与云服务器200通信的情况下以及在云服务器200不正常操作的情况下，实时处理设备100进行紧急控制。结果，可以进一步提高紧急情况下的安全性。

此外，实时处理设备100向传感器信息赋予时间戳，并将被赋予了时间戳的传感器信息发送给云服务器200。云服务器200基于被赋予了时间戳的传感器信息，识别实时处理设备100的位置并生成实时处理设备100的路线信息。结果，通过在被赋予时间戳的时刻执行信息处理，可以执行没有时间误差的精确信息处理。

此外，实时处理设备100基于云服务器200识别的实时处理设备100的位置来校正位置估计的结果。此外，实时处理设备100使用校正后的位置估计的结果重新估计实时处理设备100在当前时刻的位置。结果，实时处理设备100可以更准确地估计位置，并且更准确地跟随路线信息行驶。

此外，按照本公开的移动控制设备(在实施例中为实时处理设备100)包括与第一处理单元(在实施例中为非实时处理单元220或非实时处理单元200A)通信的通信单元(在实施例中为通信单元160)，和控制移动设备的移动的第二处理单元(在实施例中为实时处理单元121)。通信单元从第一处理单元接收路线信息，第一处理单元基于对处理所需的响应时间没有约束的非实时处理，使用从第二处理单元获取的传感器信息生成用于控制移动设备的移动路线的路线信息。第二处理单元基于对处理所需的响应时间有约束的实时处理，沿着通过通信单元从第一处理单元接收到的路线信息控制移动设备的移动。这样，移动控制设备通过基于路线信息来控制移动，能够进行实现高精度和高响应性两者的安全性高的移动控制，所述路线信息是基于非实时处理高精度地生成的。

此外，按照本公开的信息处理设备(在实施例中为云服务器200)包括与第二处理单元(在实施例中为实时处理单元121)通信的通信单元(在实施例中为通信单元210)，和生成移动设备的路线信息的第一处理单元(在实施例中为非实时处理单元220和非实时处理单元200A)。第一处理单元基于对处理所需的响应时间没有约束的非实时处理，使用从第二处理单元获取的传感器信息来生成用于控制移动设备的移动路线的路线信息。通信单元将路线信息发送到第二处理单元。这样，信息处理设备通过将基于非实时处理高精度地生成的路线信息发送到实际控制移动设备的第一处理单元，能够进行实现高精度和高响应性两者的安全性高的移动控制。

(4.硬件构成)

诸如按照上述各个实施例的实时处理设备100之类的信息设备例如由具有图23中图解所示的构成的计算机1000。在下文中，将举例描述按照实施例的实时处理设备100。图23是图解说明实现实时处理设备100的功能的计算机1000的例子的硬件构成图。计算机1000包括CPU 1100、RAM 1200、只读存储器(ROM)1300、硬盘驱动器(HDD)1400、通信接口1500和输入/输出接口1600。计算机1000的各个单元通过总线1050连接。

CPU 1100基于存储在ROM 1300或HDD 1400中的程序进行操作，并控制各个单元。例如，CPU 1100将存储在ROM 1300或HDD 1400中的程序展开到RAM 1200中，并执行与各种程序对应的处理。

ROM 1300存储在启动计算机1000时，由CPU 1100执行的基本输入输出***(BIOS)等的引导程序、依赖于计算机1000的硬件的程序等。

HDD 1400是非临时地记录由CPU 1100执行的程序、用于该程序的数据等的计算机可读记录介质。具体地，HDD 1400是记录作为程序数据1450的例子的按照本公开的移动控制程序的记录介质。

通信接口1500是用于将计算机1000连接到外部网络1550(例如，因特网)的因特网。例如，CPU 1100经由通信接口1500从其他设备接收数据，或者将CPU 1100生成的数据发送到其他设备。

输入/输出接口1600是用于将输入/输出设备1650连接到计算机1000的接口。例如，CPU 1100经由输入/输出接口1600从诸如键盘或鼠标之类的输入设备接收数据。此外，CPU 1100经由输入/输出接口1600将数据发送到诸如显示器、扬声器或打印机之类的输出设备。此外，输入/输出接口1600可以起读取记录在预定的一个或多个记录介质等中的程序的介质接口的作用。介质例如是诸如数字通用光盘(DVD)或相变可重写光盘(PD)的光学记录介质、诸如磁光盘(MO)之类的磁光记录介质、磁带介质、磁记录介质或半导体存储器。

例如，在计算机1000起按照实施例的实时处理设备100的作用的情况下，计算机1000的CPU 1100通过执行加载在RAM 1200上的移动控制程序来实现控制单元120等的功能。此外，HDD 1400将按照本公开的移动控制程序和数据存储在存储单元170中。注意，CPU1100从HDD 1400读取并执行程序数据1450。然而，作为另一个例子，可以经由外部网络1550从其他设备获取这些程序。

注意，本技术可以具有以下构成。

(1)一种移动控制***，包括：

被配置为彼此通信的第一处理单元和第二处理单元，其中

所述第一处理单元

基于对处理所需的响应时间没有约束的非实时处理，使用从所述第二处理单元获取的传感器信息来生成用于控制移动设备的移动路线的路线信息，并且

所述第二处理单元

基于对处理所需的响应时间有约束的实时处理，沿着由所述第一处理单元生成的所述路线信息控制所述移动设备的移动。

(2)按照(1)所述的移动控制***，其中

所述第一处理单元包括在云服务器中，并且

所述第二处理单元包括在所述移动设备中。

(3)按照(1)或(2)所述的移动控制***，其中

所述第二处理单元

基于作为所述传感器信息当中与所述移动设备的行为相关的传感器信息的内部传感器信息来估计所述移动设备的位置，并且基于所述位置估计的结果和所述路线信息来控制所述移动设备跟随所述移动路线行驶。

(4)按照(3)所述的移动控制***，其中

所述第二处理单元

基于所述传感器信息检测在所述移动路线的路线上及路线周围的物体，并且基于所述移动设备的行为和所述移动设备与所述物体之间的距离，进行所述移动设备的紧急制动控制或指示所述第一处理单元重新规划所述移动路线中的一个或多个。

(5)按照(1)～(4)任意之一所述的移动控制***，其中

所述第二处理单元向所述传感器信息赋予时间戳，并且

所述第一处理单元基于被赋予所述时间戳的所述传感器信息，识别所述移动设备在所述时间戳的时刻的位置。

(6)按照(5)所述的移动控制***，其中

所述第二处理单元

基于由所述第一处理单元识别的所述移动设备的位置，校正在所述时间戳的所述时刻的位置估计的结果，并且使用校正后的所述位置估计的结果来重新估计所述移动设备在当前时刻的位置。

(7)按照(6)所述的移动控制***，其中

所述第二处理单元

基于重新估计的所述移动设备在当前时刻的位置，沿着所述路线信息控制所述移动设备的移动。

(8)按照(1)～(7)任意之一所述的移动控制***，其中

所述第一处理单元

基于所述传感器信息进行物体识别，所述物体识别包括交通信号灯的点亮颜色识别、道路标志识别、白线识别、移动物体识别和移动物体的行动预测中的至少一个或多个。

(9)按照(8)所述的移动控制***，其中

所述第一处理单元

基于所述位置识别的结果和所述物体识别的结果生成所述路线信息。

(10)按照(1)～(9)任意之一所述的移动控制***，其中

所述第一处理单元

在所述移动设备在所述移动路线上行驶时，生成连接到所述移动路线的第二移动路线。

(11)按照(10)所述的移动控制***，其中

所述第二处理单元，

在所述第一处理单元进行的第二移动路线的生成被延迟的情况下，控制所述移动设备停止在移动路线上或在移动路线附近。

(12)按照(1)或(3)～(11)任意之一所述的移动控制***，其中

所述第一处理单元和所述第二处理单元包括在所述移动设备中。

(13)一种由彼此通信的第一处理单元和第二处理单元进行的移动控制方法，所述方法包括：

由所述第一处理单元，基于对处理所需的响应时间没有约束的非实时处理，使用从所述第二处理单元获取的传感器信息来生成用于控制移动设备的移动路线的路线信息；以及

由所述第二处理单元，基于对处理所需的响应时间有约束的实时处理，沿着由所述第一处理单元生成的所述路线信息控制所述移动设备的移动。

(14)一种移动控制设备，包括：

通信单元，所述通信单元被配置为与第一处理单元通信；和

第二处理单元，所述第二处理单元被配置为控制移动设备的移动，其中

所述通信单元

从所述第一处理单元接收路线信息，所述第一处理单元基于对处理所需的响应时间没有约束的非实时处理，使用从所述第二处理单元获取的传感器信息来生成用于控制所述移动设备的移动路线的所述路线信息，并且

所述第二处理单元

基于对处理所需的响应时间有约束的实时处理，沿着所述通信单元从所述第一处理单元接收的所述路线信息控制所述移动设备的移动。

(15)一种信息处理设备，包括：

通信单元，所述通信单元被配置为与第二处理单元通信；和

第一处理单元，所述第一处理单元被配置为生成移动设备的路线信息，其中

所述第一处理单元

基于对处理所需的响应时间没有约束的非实时处理，使用从所述第二处理单元获取的传感器信息来生成用于控制所述移动设备的移动路线的路线信息，并且

所述通信单元

将所述路线信息发送到所述第二处理单元。

附图标记列表

1移动控制***

100实时处理设备

110第一传感器

120控制单元

130第二传感器

140内部传感器

150加速器和制动器/转向器

160通信单元

170存储单元

200云服务器

210通信单元

220非实时处理单元

230存储单元

Claims (15)

1.一种移动控制***，包括：

被配置为彼此通信的第一处理单元和第二处理单元，其中

所述第一处理单元

基于对处理所需的响应时间没有约束的非实时处理，使用从所述第二处理单元获取的传感器信息来生成用于控制移动设备的移动路线的路线信息，并且

所述第二处理单元

基于对处理所需的响应时间有约束的实时处理，沿着由所述第一处理单元生成的所述路线信息控制所述移动设备的移动。

2.按照权利要求1所述的移动控制***，其中

所述第一处理单元包括在云服务器中，并且

所述第二处理单元包括在所述移动设备中。

3.按照权利要求2所述的移动控制***，其中

所述第二处理单元

基于作为所述传感器信息当中与所述移动设备的行为相关的传感器信息的内部传感器信息来估计所述移动设备的位置，并且基于所述位置估计的结果和所述路线信息来控制所述移动设备跟随所述移动路线行驶。

4.按照权利要求3所述的移动控制***，其中

所述第二处理单元

基于所述传感器信息检测在所述移动路线的路线上及路线周围的物体，并且基于所述移动设备的行为和所述移动设备与所述物体之间的距离，进行所述移动设备的紧急制动控制或指示所述第一处理单元重新规划所述移动路线中的一个或多个。

5.按照权利要求3所述的移动控制***，其中

所述第二处理单元向所述传感器信息赋予时间戳，并且

所述第一处理单元基于被赋予所述时间戳的所述传感器信息，识别所述移动设备在所述时间戳的时刻的位置。

6.按照权利要求5所述的移动控制***，其中

所述第二处理单元

基于由所述第一处理单元识别的所述移动设备的位置，校正在所述时间戳的所述时刻的位置估计的结果，并且使用校正后的所述位置估计的结果来重新估计所述移动设备在当前时刻的位置。

7.按照权利要求6所述的移动控制***，其中

所述第二处理单元

基于重新估计的所述移动设备在当前时刻的位置，沿着所述路线信息控制所述移动设备的移动。

8.按照权利要求5所述的移动控制***，其中

所述第一处理单元

基于所述传感器信息进行物体识别，所述物体识别包括交通信号灯的点亮颜色识别、道路标志识别、白线识别、移动物体识别和移动物体的行动预测中的至少一个或多个。

9.按照权利要求8所述的移动控制***，其中

所述第一处理单元

基于所述位置识别的结果和所述物体识别的结果生成所述路线信息。

10.按照权利要求9所述的移动控制***，其中

所述第一处理单元

在所述移动设备在所述移动路线上行驶时，生成连接到所述移动路线的第二移动路线。

11.按照权利要求10所述的移动控制***，其中

所述第二处理单元，

在所述第一处理单元进行的第二移动路线的生成被延迟的情况下，控制所述移动设备停止在移动路线上或在移动路线附近。

12.按照权利要求1所述的移动控制***，其中

所述第一处理单元和所述第二处理单元包括在所述移动设备中。

13.一种由彼此通信的第一处理单元和第二处理单元进行的移动控制方法，所述方法包括：

由所述第一处理单元，基于对处理所需的响应时间没有约束的非实时处理，使用从所述第二处理单元获取的传感器信息来生成用于控制移动设备的移动路线的路线信息；以及

由所述第二处理单元，基于对处理所需的响应时间有约束的实时处理，沿着由所述第一处理单元生成的所述路线信息控制所述移动设备的移动。

14.一种移动控制设备，包括：

通信单元，所述通信单元被配置为与第一处理单元通信；和

第二处理单元，所述第二处理单元被配置为控制移动设备的移动，其中

所述通信单元

从所述第一处理单元接收路线信息，所述第一处理单元基于对处理所需的响应时间没有约束的非实时处理，使用从所述第二处理单元获取的传感器信息来生成用于控制所述移动设备的移动路线的所述路线信息，并且

所述第二处理单元

基于对处理所需的响应时间有约束的实时处理，沿着所述通信单元从所述第一处理单元接收的所述路线信息控制所述移动设备的移动。

15.一种信息处理设备，包括：

通信单元，所述通信单元被配置为与第二处理单元通信；和

第一处理单元，所述第一处理单元被配置为生成移动设备的路线信息，其中

所述第一处理单元

基于对处理所需的响应时间没有约束的非实时处理，使用从所述第二处理单元获取的传感器信息来生成用于控制所述移动设备的移动路线的路线信息，并且

所述通信单元

将所述路线信息发送到所述第二处理单元。