CN111386563B - 教师数据生成装置 - Google Patents

Abstract

由外部环境信息获取部302获取由搭载在车辆中的摄像机等收集到的外部环境信息，并通过标记处理部304赋予标签。此时，如果在获取到标记对象的信息的时刻下车辆能够不进行回避动作地通行，则所赋予的标签是表示能够通过的标签。另一方面，在进行了回避动作的情况下，可以不对外部环境信息赋予标签，也可以赋予表示不能通过的标签。

Description

教师数据生成装置

技术领域

本发明涉及例如收集用于自动驾驶的机器学习用教师数据的教师数据生成装置。

背景技术

在车辆的自动驾驶技术中，提出了基于通过机器学习而对行驶中的各种状况下的驾驶操作进行了学习的人工智能的车辆控制。在基于人工智能的车辆控制中，以摄像机、雷达等车载传感器的检测数据作为输入，例如通过与从输入数据中提取出的特征量相应的输出，来进行制动器等的制动控制、进行转向的转向控制、发动机等的动力的驱动控制、照明等的周边设备的周边控制等行驶控制。作为用于机器学习的技术之一，存在具有教师的学习。在具有教师的学习中，预先准备对预先输入的数据赋予了注解(也被称为标签或标志等)的教师数据，将该教师数据作为输入而使人工智能进行学习。例如在将图像数据作为输入数据的情况下，作为表示应该在该图像数据中识别的障碍、白线、标识、信号等的信息而赋予注解。例如，在专利文献1中记载了利用这样的机器学习的***的一个例子。由此，通过将输入图像分割为多个块，并利用通过预先根据用户的指示而指定了类别的学习用数据进行了学习的装置，将这些块分类为与在各块中包含通路区域的可能性相应的类别。

现有技术文献

专利文献

专利文献1：日本特开2011-150627号公报

发明内容

发明所要解决的问题

但是，作为自动驾驶的教师数据而收集的信息庞大，对所收集的信息赋予用于机器学习的注解的作业也成为庞大的作业，成为需要大量的劳力和经费、时间的作业。

本发明是鉴于上述现有例而完成的，其目的在于减轻为了机器学习所需的劳力、经费、时间等。

用于解决问题的手段

为了实现上述目的，本发明具有以下的构成。

即，根据本发明的一个方面，是用于自动行驶的数据生成装置，具有：

获取机构，其获取外部环境信息；以及

标记机构，其对由所述获取机构获取到的外部环境信息中包含的关注信息赋予与车辆在收集到所述外部环境信息的位置进行过通过这一情况相应的标签。

发明效果

根据本发明，能够使针对外部环境信息的标记的至少一部分自动化，能够实现教师数据生成作业的劳力削减、时间缩短、成本削减。

本发明的其他特征以及优点，通过以附图为参照的以下说明而得以明确。此外，在附图中，对于相同或同样的构成，标注相同的附图标记。

附图说明

附图包含于说明书中且构成其一部分，表示本发明的实施方式并与其记述一起用于说明本发明的原理。

图1是表示车辆***的构成的说明图。

图2是表示服务器的构成的框图。

图3是表示用于基于外部环境信息而生成自动驾驶模型的构成的框图。

图4是用于使用自动驾驶模型的车辆的自动驾驶控制的框图。

图5是表示对所获取的外部环境信息进行标记的步骤的流程图。

图6是表示行驶中的标记的具体例的图。

具体实施方式

[第一实施方式]

●车辆用控制装置的构成

图1是本发明的一个实施方式所涉及的车辆用控制装置的框图。在图1中，以俯视图和侧视图示出了车辆1的概要。作为一个例子，车辆1是轿车型的四轮乘用车。在本实施方式中，车辆1是用于生成自动驾驶模型的数据收集车，同时是能够实施使用所生成的自动驾驶模型的自动驾驶的车辆。此外，本实施方式中的自动驾驶模型是将成为输出的车辆的控制参数与成为输入的各种信息建立了对应的数据的集成，在本例中通过使成为基础的人工智能进行学习而生成。车辆1在作为数据收集车而进行工作时，基本上以手动驾驶模式由驾驶员进行驾驶，各传感器用于收集作为教师数据的基础的数据。另一方面，在作为自动驾驶车辆而进行工作时，车辆1以自动驾驶模式行驶，各传感器收集表示外部或者本车辆的状态的数据，该数据被用作用于自动驾驶的控制的输入。此外，将用于数据收集的模式称为数据收集模式。在数据收集模式中，通过各种传感器获取表示车辆1的外部环境的状态的外部环境信息和表示本车辆的状态的本车状态信息，并将这些信息发送至服务器(称为教师数据生成服务器。)。在教师数据生成服务器中，实施对所收集到的数据进行机械分类的标记处理和进一步地通过手动处理赋予注解的注解处理并作为用于机器学习的教师数据。此外，也可以将标记处理包含在注解处理中，但在本实施方式中，将注解处理的一部分自动化，将该被自动化的步骤称为标记处理来加以区别。

图1的控制装置包括控制单元2。控制单元2包括通过车内网络而连接为可通信的多个ECU20～ECU29。各ECU包括以CPU为代表的处理器、半导体存储器等存储设备以及与外部设备之间的接口等。在存储设备中存储有处理器所执行的程序、处理器在处理中使用的数据等。各ECU可以具备多个处理器、存储设备以及接口等。

以下，对各ECU20～ECU 29所负责的功能等进行说明。此外，关于ECU的数量、负责的功能，可以进行适当设计，也可以比本实施方式更细化或者整合。

ECU20执行与车辆1的自动驾驶有关的控制。在自动驾驶中，对车辆1的转向、加速减速中的至少任一项进行自动控制。另外，自动驾驶也可以基于通过图3所示的构成而生成的自动驾驶模型来进行。另外，ECU20还执行与生成自动驾驶模型时使用的用于机器学习的教师数据的收集有关的控制。在本例中例如按照驾驶员所设定的模式(自动驾驶模式或数据收集模式)来执行自动驾驶和数据收集中的哪一个。

ECU21对电动动力转向装置3进行控制。电动动力转向装置3包括根据驾驶员对方向盘31的驾驶操作(转向操作)而使前轮转向的机构。另外，电动动力转向装置3包括发挥用于辅助转向操作或者使前轮自动转向的驱动力的马达、对转向角进行检测的传感器等。在车辆1的驾驶状态是自动驾驶的情况下，ECU21根据来自ECU20的指示而对电动动力转向装置3进行自动控制，并控制车辆1的行进方向。也可以将由传感器检测到的转向角在数据收集模式中设为作为收集对象的本车状态信息的一部分并发送至教师数据生成服务器。

ECU22以及ECU 23进行对检测车辆的周围状况的检测单元41～检测单元43的控制以及检测结果的信息处理。检测单元41是对车辆1的前方进行拍摄的摄像机(以下，有时表述为摄像机41。)，在本实施方式的情况下，在车辆1的车顶前部设置有两个。通过对摄像机41所拍摄到的图像进行分析，能够提取出目标物的轮廓、道路上的车道的划分线(白线等)。也可以将由摄像机41拍摄到的以帧为单位的影像在数据收集模式中设为作为收集对象的外部环境信息的一部分并发送至教师数据生成服务器。在该情况下，理想的是，发送的对象为全部帧，但是为了削减数据量，也可以进行间隔剔除。在进行帧的间隔剔除的情况下，优选设定为间隔剔除后的帧的间隔不超过在图5等中说明的标记处理的时间间隔那样的间隔剔除率。

检测单元42是光学雷达(light detection and ranging：也称为激光雷达)(以下，有时表述为光学雷达42)，对车辆1的周围的目标物进行检测、对与目标物之间的距离进行测距。在本实施方式的情况下，设置有五个光学雷达42，在车辆1的前部的各角部各设置有一个，在后部中央设置有一个，并且在后部各侧方各设置有一个。检测单元43是毫米波雷达(以下，有时表述为雷达43)，对车辆1的周围的目标物进行检测、对与目标物之间的距离进行测距。在本实施方式的情况下，设置有五个雷达43，在车辆1的前部中央设置有一个，在前部各角部各设置有一个，在后部各角部各设置有一个。在数据收集模式中，也可以将由光学雷达42、雷达43检测到的数据作为外部环境信息的一部分发送至教师数据生成服务器。

ECU22进行对一方的摄像机41、各光学雷达42的控制以及检测结果的信息处理。ECU23进行对另一方的摄像机41、各雷达43的控制以及检测结果的信息处理。通过具备两组对车辆的周围状况进行检测的装置，能够提高检测结果的可靠性，另外，通过具备摄像机、光学雷达、雷达这样的不同种类的检测单元，能够多方面地进行车辆的周边环境的分析。有时将这些检测单元41、42、43(摄像机41、光学雷达42、雷达43)称为车辆外部的传感器(外部传感器)。此外，外部传感器中除此之外还可以包括外部气温传感器等用于确定其他外部环境的传感器。该传感器的检测结果也可以由ECU22、ECU23进行处理。外部传感器的检测结果能够用于通过其他ECU例如ECU20等确定行驶环境。

ECU24进行对陀螺仪传感器5、GPS传感器24b、通信装置24c的控制以及检测结果或通信结果的信息处理。陀螺仪传感器5对车辆1的旋转运动进行检测，例如对车辆1的绕前后轴的角速度或在此基础上的绕上下轴以及绕左右轴的角速度进行检测。ECU24还能够从陀螺仪传感器5的检测结果中获取车辆1的偏航率(偏航角速度)。能够根据陀螺仪传感器5的检测结果、车轮速度等对车辆1的行进路径进行判定。GPS传感器24b对车辆1的当前位置进行检测。通信装置24c与提供地图信息、交通信息的服务器进行无线通信，并获取这些信息。进一步地，能够经由通信装置24c获取与气象信息、路面状态有关的路面信息等外部信息。气象信息、路面信息不仅是与车辆的当前位置附近有关的信息，在设定了行驶路径的情况下，还能够获取与沿着该路径的地域有关的信息。进一步地，通信装置24c能够与图2所示的服务器(也称为教师数据收集服务器。)进行无线通信，并将通过各种车载传感器、例如摄像机获取到的外部环境信息的全部或一部分发送至教师数据收集服务器。ECU24能够访问在存储设备中构建的地图信息的数据库24a，ECU24进行从当前位置至目的地的路径探索等。除此之外，ECU24还可以进行对车辆1的左右以及前后方向(或者进一步地上下方向)上的加速度进行检测的加速度传感器、绕这些轴的角加速度传感器的输出信号的处理。这些传感器可以设置于与陀螺仪传感器5相同的传感器单元。这些传感器以及后述的车轮速度传感器7c等是对车辆1自身的状态进行检测的车辆内部的传感器，也总称为内部传感器。另外，从这些传感器得到的偏航率、加速度能够经由总线而传递至其他ECU例如ECU20，用于行驶环境的确定。另外，在数据收集模式中，由内部传感器得到的信息也可以作为本车状态信息而发送至教师数据收集服务器。

ECU25具备车与车之间通信用的通信装置25a。通信装置25a与周边的其他车辆进行无线通信，并进行车辆间的信息交换。为了获取上述的外部信息，也可以使用通信装置25a。

ECU26对动力装置6进行控制。动力装置6是输出使车辆1的驱动轮旋转的驱动力的机构，动力装置6例如包括发动机和变速器。ECU26例如根据由设置在油门踏板7A上的操作检测传感器7a所检测到的驾驶员的驾驶操作(油门操作或者加速操作)而对发动机的输出进行控制，或者基于车轮速度传感器7c所检测到的车速等信息来切换变速器的变速挡。在车辆1的驾驶状态是自动驾驶的情况下，ECU26根据来自ECU20的指示而对动力装置6进行自动控制，并控制车辆1的加速减速。如上所述，从车轮速度传感器7c的信号得到的车轮速度(或者从其他检测信号得到的信息)以及由操作检测传感器7a检测到的驾驶员的驾驶操作的状态可以用于其他ECU例如ECU20所进行的行驶环境的特定处理，也可以作为本车状态信息的一部分而发送至教师数据收集服务器。

ECU27对包括方向指示器8(转向灯)的照明器件(前照灯、尾灯等)进行控制。在图1的例子的情况下，方向指示器8设置于车辆1的前部、车门镜以及后部。

ECU28进行对输入输出装置9的控制。输入输出装置9进行对驾驶员的信息输出和对来自驾驶员的信息输入的接受。语音输出装置91通过语音对驾驶员报告信息。显示装置92通过图像的显示对驾驶员报告信息。显示装置92例如配置于驾驶席正面，并构成仪表盘等。此外，在此举例示出了语音和显示，但是也可以通过振动、光来报告信息。另外，也可以组合语音、显示、振动或者光中的多个来报告信息。进一步地，还可以根据待报告的信息的等级(例如紧急度)而使组合不同或者使报告方式不同。

输入装置93是配置在驾驶员能够操作的位置而对车辆1进行指示的开关组或者触摸面板等，还可以包括语音输入装置。

ECU29对制动装置10、驻车制动器(未图示)进行控制。制动装置10例如是盘式制动装置，设置于车辆1的各车轮，通过对车轮的旋转施加阻力来使车辆1减速或者停止。ECU29例如根据由设置在制动踏板7B上的操作检测传感器7b所检测到的驾驶员的驾驶操作(制动操作)而对制动装置10的工作进行控制。在车辆1的驾驶状态是自动驾驶的情况下，ECU29根据来自ECU20的指示而对制动装置10进行自动控制，并控制车辆1的减速以及停止。制动装置10、驻车制动器还能够为了维持车辆1的停止状态而进行工作。另外，在动力装置6的变速器具备驻车锁止机构的情况下，还能够为了维持车辆1的停止状态而使所述驻车锁止机构工作。进一步地，在数据收集模式中，也可以将由操作检测传感器7b检测到的驾驶员的驾驶操作状态作为本车状态信息的一部分发送至教师数据收集服务器。另外，表示制动、上述的转向角的信息可以是表示规定的程度以上的状态的变化的信息，在表示状态的变化的信息中可以附加表示发生了状态的变化的时刻的时刻信息。通过将表示制动、操舵的状态的信息与时刻建立关联，能够确定发生了状态的变化的时刻，通过使该时刻在车辆1整体同步，能够实现与其他传感器的检测数据的同步。当然，这只不过是实现所收集到的数据之间的同步的方法的一个例子。

●教师数据收集服务器

图2表示教师数据收集服务器200的硬件构成。教师数据收集服务器200基本上具有通用计算机的构成。CPU211执行加载到存储器212中的程序而实现例如图3所示那样的功能构成，并且执行图5所示的步骤。在存储器212中存储程序、处理对象的数据等。用户界面部216对操作员显示图像数据等，另外，接受操作员所进行的输入。例如，能够显示从影像数据中提取出的帧，并接受注解的输入。在文件存储器213中存储从车辆1接收到的、或经由积累介质输入的数据文件、程序文件。数据文件中包括由车辆1收集到的外部环境信息、本车状态信息等。网络接口214例如与车辆1的通信装置24c进行无线通信，并接收由车辆1收集到的外部环境信息、本车状态信息。此外，教师数据收集服务器200根据所收集到的数据生成教师数据，并进一步地从中生成由人工智能实现的自动驾驶模型，因此也可以称为数据生成装置。

图3中示出了教师数据收集服务器200用于基于所收集到的教师数据而生成自动驾驶模型的功能框图的一个例子。外部环境信息获取部302取出存储在文件存储器213中的外部环境信息，并将该外部环境信息输入至标记处理部304。在此，外部环境信息获取部302不限于获取存储在文件存储器213中的全部外部环境信息，有时也提取其一部分。外部环境信息中包含由摄像机拍摄到的影像数据、由光学雷达、雷达获取到的障碍物数据等。这些数据例如是在时间上离散的数据，可以称之为是表示所获取的时机下的车辆外部的状态的数据。例如，影像数据由以规定时间间隔捕捉到的帧构成，各帧是拍摄到该帧的时刻下的、摄像机41的拍摄范围内的图像。这对于由其他传感器获取到的数据也是同样的。而且，如果该某一时刻下的数据例如是影像的话，则帧成为本实施方式中的标记处理的对象。可以将所捕捉到的全部帧作为标记对象，但例如在帧率高至超过自动驾驶的控制的精度等也可以不将全部帧作为对象的情况下等，也可以从连续的帧组中获取间隔剔除后的帧。

标记处理部304将所输入的外部环境信息作为关注信息，按照规定的基准对关注信息赋予标签。例如，在使用影像作为外部环境信息的情况下，外部环境信息获取部302以帧为单位向标记处理部304输入外部环境信息。标记处理部304将所输入的帧作为关注信息并对其赋予标签。标签的赋予有时也称为标志附加。另外，也可以将标签认为是注解的一部分。关于标记处理的详细内容将参照图5在后文中叙述。标记处理部304将赋予了标签的关注信息暂时存储在数据存储部306中。标记处理部304所赋予的标签是表示车辆能够通过的场所等的标签。关于标签的赋予方法，将参照图5在后面更详细地进行说明。

注解处理部308从数据存储部306中取出标记处理完毕的外部环境信息、例如影像的帧，并附加从注解输入部310输入的注解。但是，对于由标记处理部304赋予完毕的标签也可以不附加注解。即，在本实施方式中，也可以不通过注解处理部308重新赋予表示能够通过的区域的信息作为注解。注解是由操作员输入的信息，应当生成的驾驶模型表示应该根据输入而输出外部环境信息的信息。例如，在对影像中的障碍物、白线等进行识别时，可以是表示应成为识别结果的帧图像中的障碍物、白线等的位置、区域的信息等。在该情况下，行驶控制用的参数不直接输出，但例如可以进行用于将所识别到的障碍物、白线等作为输入而输出行驶控制用的参数的学习而生成自动驾驶模型。当然这仅是一个例子，根据所输入的外部环境信息的种类，并进一步地根据应该将外部环境信息作为输入而输出的信息，来附加适当的注解。另外，标签、注解也可以不与关注信息本身建立关联，而是与从关注信息中提取出的特征信息建立关联。

学习部312将由注解处理部308附加注解后的外部环境信息作为教师数据输入到成为基础的人工智能中，并使其进行学习。学习部312通过学习而生成并输出自动驾驶模型314。本实施方式的自动驾驶模型314是将附带注解的外部环境信息作为输入，并将与输入相应的行驶控制参数作为输出的数据的集成，但输出可以是图像识别的识别结果，也可以是其他输出。例如，可以将图像中车辆能够通过的位置作为输出来得到。该确定的位置，例如优选为由相对于车辆的距离和方向所确定的地图上的位置。形成该自动驾驶模型的数据的集成，例如也可以视为将所输入的外部环境信息作为参数进行加权并对该加权后的参数进行运算而向最终的输出进行映射的转换表。内包在自动驾驶模型314中的权重例如也可以认为是表示参数之间的关联的强度或参数的影响力的强度的值，学习还可以称之为是指根据作为教师数据给出的输入与输出的对应而对该加权进行修正或决定的过程。此外，关于学习的方法，采用现有的方法即可。此外，在图3中，将输入限定为附带注解的外部环境信息，但不限于此，例如也可以进一步输入本车状态信息来生成自动驾驶模型。

所生成并输出的自动驾驶模型被搭载于实现自动驾驶的行驶控制的车辆1中并用于自动驾驶。图4表示用于车辆1通过自动驾驶进行行驶的构成，例如通过由ECU20执行程序来实现。在图4中，对不仅将外部环境信息作为输入还将本车状态信息作为输入来进行行驶控制的例子进行说明。外部环境信息获取部402获取车辆1所具备的摄像机41、光学雷达42、雷达43等各传感器的输出并输入至自动驾驶控制部406中。本车状态信息获取部404获取由车辆1所具备的传感器检测到的转向角、制动力(制动踩踏力)、油门开度等并输入至自动驾驶控制部406中。自动驾驶控制部406使用教师数据收集服务器200所生成的自动驾驶模型408，输出与输入对应的控制参数来实现行驶控制。在该例子中，控制对象为转向(steering)、制动(brake)、驱动(发动机或马达)，用于各自的输出被传递至转向控制部410、制动控制部412、驱动控制部414。各控制部根据所输入的控制参数来实施各自的控制。当然，除此之外也可以包括其他控制对象，例如包括照明等。在此，转向控制部410、制动控制部412、驱动控制部414根据从自动驾驶控制部406输入的控制信息而来进行控制。例如，自动驾驶控制部406作为自动驾驶模型408的输出而在实时获取中的影像帧中得到能够通行的位置。在该情况下，自动驾驶控制部406为了在所得到的能够通行的位置进行行驶而对转向、制动、驱动进行控制。

图5表示外部环境信息获取部302以及标记处理部304所进行的标记处理的步骤。硬件上的执行主体是CPU211。标记处理在本例中例如是着眼于构成影像(或者动画)的帧并将标签与该帧建立关联的处理。直观而言，本实施方式的标记处理可以称之为是将车辆所通过的路径标记在由摄像机41拍摄到的影像的帧中的处理。在此，首先获取外部环境信息(S501)，从中提取为了进行标记而使用的参照数据(S503)。由此，根据影像数据的帧率以及车辆的速度，能够防止帧间的车辆的行进距离过短、处理负担变得过大。在该参照数据中还包含作为标记对象的标记对象数据(或者也简称为对象数据、对象信息或对象帧)。在使用所获取的外部环境信息整体(即影像的全部帧)的情况下，由于可以说已经提取了所需的数据，因此也可以不进行步骤S503。

在此，在本实施方式中，例如通过以下的方法进行帧的提取。在本实施方式中，在车宽方向上并列地配置有两台摄像机41(参照图1)。因此，在步骤S501中，获取由这两台摄像机41拍摄到的同步的影像。在步骤S503中，根据从视点不同的同步的两个帧的视差推定到帧内的特定的目标为止的距离，并推定在连续的帧间车辆所行进的距离。而且，以帧间的行进距离大致恒定的方式提取出帧。距离的推定也可以不对全部帧进行，而是每隔一定的帧进行。这是因为，可以期待在一般公路上行驶的车辆的加速度通常不会是过大的加速度。在步骤S503中提取出的帧是为了进行标记而参照的帧，其中的至少一部分成为标记对象帧。在使用全部帧进行标记的情况下，也可以不进行步骤S503的提取。

接着，在步骤S505中，确定在步骤S503中提取出的帧中的适当的帧、例如最早的行驶场景，并着眼于其中的开头的帧。所关注的帧是标记对象帧，将其称为关注帧。此外，行驶场景可以确定为上述的帧间的行进距离超过规定值的场景。作为成为阈值的规定值，选择0或大于0的值即可。另外，也在此确定关注帧的下一个标记对象帧。将该帧称为参照标记对象帧。有时在关注帧与参照标记对象帧之间存在帧，但将这些帧和参照标记对象帧一并称为参照帧。在此，例如，设为大致车辆的行进距离并试图对每隔大致距离L的帧进行标记。若按照在步骤S503中说明的要领从影像中推定出的帧间的车辆的行进距离为D(在对帧进行了间隔剔除的情况下，为除以间隔剔除率而得到的值)，则距离L换算为帧数成为L/D(帧)。在步骤S505中，例如将从开头的标记对象帧起间隔了L/D帧的帧确定为参照标记对象帧即可。此外，标记对象帧可以是仅由两个摄像机中的任一方拍摄到的影像。对帧间的行进距离进行推定的方法也可以是其他方法，例如也可以参照与影像同步的速度信息、同样地与影像同步的加速度信息。

若着眼于标记对象帧，则在步骤S507中，确定该关注帧中的本车辆的通过位置，并赋予表示该位置能够通过的标记(“能够通行”标签)。因此，例如，参照关注帧之后的参照帧，确定在参照帧中恰好通过的区域。然后，将该区域与关注帧上建立对应，并将该处作为能够通过的区域而赋予标签。如果以针对车宽方向在中央以其视线与车辆的直行方向平行的方式设置摄像机42，则帧的中心成为帧拍摄时的车辆的行进方向。因此，帧的下边中央部的与车辆尺寸相当的区域是恰好通过中的区域。由于摄像机41相对于车辆固定，因此即使车辆恰好通过中的区域在帧外也能够确定。将该区域映射到关注帧上。例如，通过对参照帧和关注帧的图像进行识别并将各个图像建立对应，能够进行该映射。当存在多个参照帧的情况下，对关注帧中的多个区域赋予能够通行的标签。当然，映射的结果为关注帧外的区域是标记的对象外。区域的确定例如可以通过帧内的坐标、矢量等来进行。

在步骤S507中赋予标签后的标记完毕的帧在步骤S509中存储于数据存储部306中。这成为注解处理的对象。在步骤S511中，判定是否存在应进行标记处理的未处理的帧，如果不存在未处理的帧则结束处理。另一方面，如果存在未处理的帧，则确定并关注下一个标记对象帧。这将当前的参照标记对象帧作为新的关注帧，并按照在步骤S505中说明的要领确定新的参照标记对象帧即可。然后，向步骤S507分支，反复进行标记处理。

图6表示对影像帧和帧内的特定区域赋予标签的例子。当然，该例子是为了可视化而以示意性的方式示出的。在帧610中包含目标611。将该帧作为标记对象帧，将帧620以及帧630作为参照帧执行图5的处理。此外，帧620和帧630是为了示出不同的状况作为例子而提示的，并非同时实现。在参照帧620中，箭头622表示速度矢量。而且，以区域A’表示恰好通过的区域。若将其映射到帧610上，则区域A是能够通过的区域，在确定了区域A的基础上，赋予表示能够通行的标签。此外，例如，如果在区域A’中包含有目标611，并且在图像上已经确定了目标611，则也可以对该目标611赋予能够通行的标签。在该情况下，既可以一并赋予针对区域A’的标签，也可以仅对目标赋予标签。同样地，在参照帧630中，也在箭头623的下方确定“通过区域B’”。然后，将其映射到帧610中，并对所映射的区域B赋予能够通行标签。

如上所述，根据本实施方式，能够对外部环境信息机械地或者自动地赋予标签。关于所赋予的标签，不需要附加注解，因此能够减轻用于注解处理的劳力、时间、成本。另外，在本实施方式中，标签的赋予基于车辆实际上能够通行的实绩，因此能够实现可靠性高的标记。

此外，在本实施方式中，对在教师数据生成服务器200中具备标记处理部304的情况进行了说明，但也可以将标记处理部304设置在车辆1中，在对由摄像机41等收集到的数据通过车辆而实施标记处理之后发送至教师数据生成服务器。在该情况下，车辆所通过的位置例如能够根据由摄像机41获取到的影像(帧)和包含行驶速度等的本车状态信息以实时进行确定，因此只要对该位置标注“能够通过”的标签即可。另外，将车辆1所收集到的数据传递给教师数据生成服务器200的介质不仅是无线通信，也可以将收集到的数据暂时积累在积累型介质中，并将其连同介质一起转移到教师数据生成服务器200中，也可以通过有线通信来发送。另外，如图6所例示的那样，对于“能够通过”的标签，也可以由标记处理部304来赋予。在赋予的情况下，在图5的步骤S507中进行标记。另外，标记的对象不限于图像数据，只要是作为教师数据的数据，也可以是其他数据。另外，所赋予的标签也不限于是否能够通过，只要是能够机械地赋予的标签，也可以是具有其他意思的标签。

●实施方式的总结

以上所说明的本实施方式总结如下。

(1)本实施方式的第一方式在于一种数据收集装置，是用于自动行驶的数据生成装置，其特征在于，所述数据生成装置具有：

获取机构，其获取外部环境信息；以及

标记机构，其对由所述获取机构获取到的外部环境信息中包含的关注信息赋予与车辆在收集到所述外部环境信息的位置进行过通行这一情况相应的标签。

根据该构成，能够使针对外部环境信息的标记的至少一部分自动化，能够实现教师数据生成作业的劳力削减、时间缩短、成本削减。

(2)本实施方式的第二方式在于一种数据生成装置，其特征在于，在第一方式的基础上，所述获取机构获取由搭载在车辆上的检测机构检测到的所述外部环境信息。

根据该构成，外部环境信息能够由车辆搭载型的检测机构获取，能够更高效地、并且以更高的可靠性生成教师数据。

(3)本实施方式的第三方式在于一种数据生成装置，其特征在于，在第二方式的基础上，所述标记机构基于在从获取到所述关注信息的位置起行驶了规定距离的位置获取到的所述外部环境信息来确定所述车辆的通过位置，并在所述关注信息中在与所述通过位置对应的位置赋予能够通过的标签。

根据该构成，尤其是能够高效地进行表示车辆能够通过的标签的赋予。

(4)本实施方式的第四方式在于一种数据生成装置，其特征在于，在第三方式的基础上，在所述外部环境信息中包含由摄像机拍摄到的以帧为单位的图像信息，

所述标记机构将所述帧作为所述关注信息来赋予所述标签。

根据该构成，能够将图像信息的帧作为外部环境信息来进行标记，能够使来自图像数据的教师数据的生成高效化。

(5)本实施方式的第五方式在于一种数据生成装置，其特征在于，在第四方式的基础上，所述规定距离是与预先决定的帧的间隔相当的距离。

根据该构成，能够以与预先决定的帧数相当的延迟来进行标记处理，能够实现处理的迅速化，能够节约对帧进行缓冲的存储器。

(6)本实施方式的第六方式在于一种数据生成装置，其特征在于，在第四方式至第五方式的基础上，所述标记机构每隔规定数量的帧而赋予标签。

根据该构成，能够对标记对象帧进行间隔剔除，能够实现处理负荷的减轻。

(7)本实施方式的第七方式在于一种数据生成装置，其特征在于，在第三方式至第六方式的基础上，所述标记机构针对在所述关注帧中未通行的区域判定为不能通行，并对所述关注信息赋予不能通行的标签。

根据该构成，不仅限于能够通过的情况，在不能通行的情况下也能够赋予标签。

(8)本实施方式的第八方式在于一种数据生成装置，其特征在于，在第一方式至第七方式的基础上，所述数据生成装置还具有根据操作员的操作对由所述标记机构标注有所述标签的所述外部环境信息进一步附加注解而生成教师数据的机构。

根据该构成，能够生成基于标记完毕的外部环境信息进一步附加有注解而成的教师数据。

(9)本实施方式的第九方式在于一种数据生成装置，其特征在于，在第八方式的基础上，所述数据生成装置还具有学习机构，该学习机构进行使用了所述教师数据的机器学习而生成自动驾驶模型。

根据该构成，能够基于自动地进行了标记的外部环境信息而生成用于车辆的自动驾驶的自动驾驶模型。

进一步地，本发明并不局限于上述实施方式，可以不脱离本发明的精神以及范围地进行各种变更以及变形。因此，为了公开本发明的范围，附上以下的权利要求。

Claims (7)

1.一种数据生成装置，是用于自动行驶的数据生成装置，其特征在于，所述数据生成装置具有：

获取机构，其获取由搭载在车辆上的检测机构检测到的外部环境信息；以及

标记机构，其对由所述获取机构获取到的外部环境信息中包含的关注信息赋予与车辆在收集到所述外部环境信息的位置进行过通行这一情况相应的标签，

所述标记机构基于在从获取到所述关注信息的位置起行驶了规定距离的位置获取到的所述外部环境信息来确定所述车辆的通过位置，并在所述关注信息中在与所述通过位置对应的位置赋予能够通过的标签。

2.根据权利要求1所述的数据生成装置，其特征在于，

在所述外部环境信息中包含由摄像机拍摄到的以帧为单位的图像信息，

所述标记机构将所述帧作为所述关注信息来赋予所述标签。

3.根据权利要求2所述的数据生成装置，其特征在于，

所述规定距离是与预先决定的帧的间隔相当的距离。

4.根据权利要求2所述的数据生成装置，其特征在于，

所述标记机构每隔规定数量的帧而赋予标签。

5.根据权利要求1所述的数据生成装置，其特征在于，

所述标记机构针对在所述关注信息中未通行的区域判定为不能通行，并对所述关注信息赋予不能通行的标签。

6.根据权利要求1～5中任一项所述的数据生成装置，其特征在于，

所述数据生成装置还具有根据操作员的操作对由所述标记机构标注有所述标签的所述外部环境信息进一步附加注解而生成教师数据的机构。

7.根据权利要求6所述的数据生成装置，其特征在于，

所述数据生成装置还具有学习机构，该学习机构进行使用了所述教师数据的机器学习而生成自动驾驶模型。

Images