CN113611008B - 一种车辆行驶场景采集方法、装置、设备及介质 - Google Patents

Abstract

本发明公开了一种车辆行驶场景采集方法、装置、设备及介质。在车辆与目标的距离大于预设距离时，将采集的环境图像作为第一采集数据，存储在第一存储区内；在车辆与目标的距离变为小于或等于预设距离时，对当前采集的环境图像进行场景识别，若识别结果为非预设场景，则将环境图像作为第一采集数据，存储在第一存储区内；若识别结果为预设场景，则将环境图像作为第二采集数据，存储在第二存储区内。通过在线实时识别场景，并将属于非预设场景和属于预设场景的环境图像分别作为第一采集数据和第二采集数据，并分开存储，无需离线对大量数据进行筛选，提高了场景采集效率，节省了计算资源。

Description

一种车辆行驶场景采集方法、装置、设备及介质

技术领域

本发明实施例涉及自动驾驶技术领域，尤其涉及一种车辆行驶场景采集方法、装置、设备及介质。

背景技术

无人驾驶车辆是一种新型智能汽车，通过搭载的传感器对其周围环境进行感知，采集环境信息。通过控制装置(即，车载智能大脑)对环境信息进行精准的计算分析，并最终通过向ECU(Electronic Control Unit，电子控制单元)发出指令来分别控制无人驾驶车辆中的不同设备，从而实现车辆的全自动运行，达到无人驾驶的目的。

要实现L4级别无人驾驶，需要通过强大的人工智能算法处理更多、更复杂的场景。现有的场景采集方式通常为：首先采集大量数据，然后离线对这些数据进行筛选，筛选出所需要的场景。现有的场景的采集方式需要消耗大量的计算资源，且存在采集效率低下的问题。

发明内容

本发明提供一种车辆行驶场景采集方法、装置、设备及介质，以节省计算资源，提高采集效率。

第一方面，本发明实施例提供了一种车辆行驶场景采集方法，包括：

获取车辆行驶过程中的位置信息和环境图像；

根据车辆的位置信息确定所述车辆与目标的距离；

若所述距离大于预设距离，则将所述环境图像作为第一采集数据，存储在第一存储区内；

若所述距离等于预设距离，则对当前采集的环境图像进行场景识别；

若识别结果为非预设场景，则将所述环境图像作为第一采集数据，存储在第一存储区内；

若识别结果为预设场景，则将所述环境图像作为第二采集数据，存储在第二存储区内。

第二方面，本发明实施例还提供了一种车辆行驶场景采集装置，包括：

获取模块，用于获取车辆行驶过程中的位置信息和环境图像；

距离确定模块，用于根据车辆的位置信息确定所述车辆与目标的距离；

第一存储模块，用于在所述距离大于预设距离时，将所述环境图像作为第一采集数据，存储在第一存储区内；

场景识别模块，用于在所述距离等于预设距离时，对当前采集的环境图像进行场景识别；

第二存储模块，用于在识别结果为非预设场景时，将所述环境图像作为第一采集数据，存储在第一存储区内；

第三存储模块，用于在识别结果为预设场景时，将所述环境图像作为第二采集数据，存储在第二存储区内。

第三方面，本发明实施例还提供了一种计算机设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明第一方面提供的车辆行驶场景采集方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明第一方面提供的车辆行驶场景采集方法。

本发明实施例提供的车辆行驶场景采集方法，在车辆与目标的距离大于预设距离时，将采集的环境图像作为第一采集数据，存储在第一存储区内；在车辆与目标的距离变为小于或等于预设距离时，对当前采集的环境图像进行场景识别，若识别结果为非预设场景，则将环境图像作为第一采集数据，存储在第一存储区内；若识别结果为预设场景，则将环境图像作为第二采集数据，存储在第二存储区内。通过在线实时识别场景，并将属于非预设场景和属于预设场景的环境图像分别作为第一采集数据和第二采集数据，并分开存储，无需离线对大量数据进行筛选，提高了场景采集效率，节省了计算资源。

附图说明

图1为本发明实施例提供的无人驾驶车辆的结构示意图；

图2为本发明实施例一提供的一种交通信号灯的长尾场景采集方法的流程图；

图3A是本发明实施例二提供的一种场景识别的流程图；

图3B为本发明实施例提供的一种Faster RCNN模型的处理流程图；

图3C为本发明实施例提供的一种区域生成网络的结构示意图；

图4是本发明实施例三提供的一种场景识别的流程图；

图5为本发明实施例四提供的一种车辆行驶场景采集装置的结构示意图；

图6为本发明实施例五提供的一种计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

图1为本发明实施例提供的无人驾驶车辆的结构示意图，如图1所示，无人驾驶车辆可以包括控制设备101，总线102，ECU(Electronic Control Unit，电子控制单元)103，传感器104和执行器件105。

其中。控制设备101负责整个无人驾驶车辆的总体智能控制。控制设备101可以是单独设置的控制器，例如可编程逻辑控制器(Programmable LogicController，PLC)、单片机、工业控制机等；也可以是由其他具有输入/输出端口，并具有运算控制功能的电子器件组成的设备；还可以是安装有无人驾驶车辆控制类应用的计算机设备。控制设备101可以对从总线102上接收到的ECU 103发来的数据和/或传感器104发来的数据进行分析处理，作出相应的决策，并将决策对应的指令发送到总线102。

总线102可以是用于连接控制设备101，ECU 103、传感器104以及无人驾驶车辆的其他未示出的设备的总线。由于CAN(Controller AreaNetwork，控制器局域网络)总线的高性能和可靠性已被广泛认同，因此目前无人驾驶车辆中常用的总线为CAN总线。当然，可以理解的是总线102也可以是其他类型的总线。

总线102可以将控制设备101发出的指令发送给ECU 103，ECU 103将上述指令进行分析处理后发给相应的执行器件105执行。执行器件105可以包括方向盘、制动踏板、加速踏板等。

上述传感器104包括但不限于激光雷达、相机、GPS(Global PositioningSystem)，等等。

需要说明的是，本发明实施例所提供的车辆行驶场景采集方法可以由控制设备101执行，相应地，车辆行驶场景采集装置一般设置于控制设备101中。

应该理解，图1中的控制设备101、总线102、ECU 103、传感器104和执行器件105的数目仅仅是示意性的。根据实现需要，可以具有任意数目的控制设备101、总线102、ECU103、传感器104和执行器件105，本发明实施例在此不做限定。

实施例一

图2为本发明实施例一提供的一种车辆行驶场景采集方法的流程图，本实施例可适用于无人驾驶车辆行驶场景的采集，该方法可以由本发明实施例提供的一种车辆行驶场景采集装置来执行，该装置可以由软件和/或硬件的方式实现，通常配置于计算机设备中，如图2所示，该方法具体包括如下步骤：

S201、获取车辆行驶过程中的位置信息和环境图像。

在本发明实施例中，在无人驾驶车辆行进过程中，通过无人驾驶车辆搭载的传感器获取车辆的位置信息和环境图像。在本发明实施例中，无人驾驶车辆搭载有车载相机，车载相机用于在无人驾驶车辆行进过程中采集环境图像，通过车载相机获取无人驾驶车辆行进过程中车载相机采集的环境图像。环境图像可以是车载相机的可视范围(视角)内的图像，通常为无人驾驶车辆正前方、车载相机视角范围内的图像。

在本发明的一些实施例中，无人驾驶车辆搭载GPS，GPS用于在无人驾驶车辆行进过程中采集车辆的位置信息。在本发明的另一实施例中，无人驾驶车辆搭载有激光雷达，在无人驾驶车辆行进过程中，获取激光雷达采集的点云数据，并将点云数据与全局语义地图做配准，进而确定无人驾驶车辆当前的位置信息。

S202、根据车辆的位置信息确定车辆与目标的距离。

在获取到车辆的位置信息后，将该位置信息与已知的目标的位置信息进行比对，确定当前车辆与目标的距离。其中，目标可以是路口、交通信号灯、车辆停靠区等。

S203、判断当前车辆与目标的距离是否小于或等于预设距离。

将当前车辆与目标的距离与预设距离进行比较，判断当前车辆与目标的距离是否小于等于预设距离。在当前车辆与目标的距离大于预设距离时，执行步骤S204，在当前车辆与目标的距离小于或等于预设距离时，执行步骤S205。

S204、将环境图像作为第一采集数据，存储在第一存储区内。

在当前车辆与目标的距离大于预设距离时，将环境图像作为第一采集数据，存储在第一存储区内。第一采集数据可以用于辅助导航，例如，障碍物识别、红绿灯指示信息识别等。

S205、对当前采集的环境图像进行场景识别。

随着无人驾驶车辆的行进，距离目标越来越近，当车辆与目标的距离小于或等于预设距离时，对当前采集的环境图像进行场景识别。场景识别过程为对环境图像的处理过程，例如，将环境图像输入预先训练好的场景识别模型中进行处理，对环境图像进行分类识别，确定识别结果。本发明实施例中，对环境图像进行场景识别的具体方法不做限定。示例性的，在本发明的一些实施例中，可以通过传统的机器学习算法来实现，比如逻辑回归，支持向量机；在本发明的另一些实施例中，也可以通过深度学习算法来实现，例如卷积神经网络。

S206、若识别结果为非预设场景，则将环境图像作为第一采集数据，存储在第一存储区内。

若上述场景识别的识别结果为非预设场景，则将环境图像作为第一采集数据，存储在第一存储区内。预设场景可以是上述目标的长尾(Long Tail)场景，长尾场景主要指种类繁多、发生概率较低或者突发的场景。例如，交通信号灯的长尾场景(例如，交通信号灯被遮挡、交通信号灯反光、外界环境光太强等场景)导致无人驾驶车辆无法识别交通信号灯的信息，影响无人驾驶车辆正常运行。

S207、若识别结果为预设场景，则将环境图像作为第二采集数据，存储在第二存储区内。

若上述识别结果为预设场景，则将环境图像作为第二采集数据，存储在第二存储区内。第二采集数据可用于优化无人驾驶车辆处理该预设场景时的决策，提高无人驾驶车辆的无人驾驶级别和安全性。

本发明实施例提供的车辆行驶场景采集方法，在车辆与目标的距离大于预设距离时，将采集的环境图像作为第一采集数据，存储在第一存储区内；在车辆与目标的距离变为小于或等于预设距离时，对当前采集的环境图像进行场景识别，若识别结果为非预设场景，则将环境图像作为第一采集数据，存储在第一存储区内；若识别结果为预设场景，则将环境图像作为第二采集数据，存储在第二存储区内。通过在线实时识别场景，并将属于非预设场景和属于预设场景的环境图像分别作为第一采集数据和第二采集数据，并分开存储，无需离线对大量数据进行筛选，提高了场景采集效率，节省了计算资源。

实施例二

图3A是本发明实施例二提供的一种场景识别的流程图，本实施例在上述实施例一的基础上进行细化，详细描述了场景识别的过程，如图3A所示，该方法包括：

S301、从环境图像中检测目标。

示例性的，在该实施例中，以目标为交通信号灯，预设场景为交通信号灯的长尾场景为示例，对本发明实施例进行说明。在本发明实施例中，采用目标检测模型从环境图像中检测出交通信号灯。示例性的，本发明实施例采用Faster RCNN模型对环境图像进行目标检测，从中检测出交通信号灯。

图3B为本发明实施例提供的一种Faster RCNN模型的处理流程图，如图3B所示，Faster RCNN模型包括卷积网络(Conv layers)、区域生成网络(Region ProposalNetwork，RPN)、RoI Pooling层、全连接层(Fully Connected Layers，FC)、分类头(C-head)和回归头(R-head)。

具体的，卷积网络对输入的环境图像进行卷积处理，从环境图像提取出特征图(Feature Map)。示例性的，卷积网络可以是ResNet或VGG网络，本发明实施例在此不做限定。区域生成网络接收卷积网络输出的特征图，并从特征图筛选出可能包含交通信号灯的候选区域(Region of Interest，RoI)。RoI Pooling层综合特征图和候选区域的信息，对候选区域在特征图中对应的区域的元素进行全局最大池化操作，输出尺寸固定的候选特征图(Proposal Feature Maps)。全连接层将候选特征图映射至标记空间，得到一个向量。分类头对该向量进行分类，得到候选区域属于各目标的概率向量。回归头用于对候选区域的边界进行边界框回归，得到更加精确的目标检测框。在概率向量中交通信号灯对应的概率值最大时，我们认为目标检测框中的目标为交通信号灯，并在环境图像中显示目标检测框。

图3C为本发明实施例提供的一种区域生成网络的结构示意图，如图3C所示，具体的，在本发明实施例中，区域生成网络生成候选区域的过程如下：

1、针对特征图中的每一元素，生成以该元素为中心点的多个不同尺度的锚框。

具体的，针对特征图中的每一元素，生成以该元素为中心点的9个不同尺度的锚框(anchors)，锚框的矩阵表达为[x，y，w，h]，其中，x，y为锚框中心点的位置坐标，w，h为锚框的宽和高。

如图3C所示，对尺寸大小为M×N的特征图进行1×1的卷积操作，输出图像尺寸为M×N×18，这也就刚好对应了特征图中每一个元素都有9个锚框。

2、从多个不同尺度的锚框中确定包括检测对象的目标锚框。

对上述步骤中得到的每一个锚框进行目标检测，确定锚框中是否包含有检测对象。当锚框内包括检测对象时(只知道有检测对象，但不知道具体的类别)，该锚框即为包括检测对象的目标锚框。

具体的，确定包括检测对象的目标锚框的过程如下：

2-1、将锚框中的特征进行分类，得到锚框包括检测对象的概率值。

具体的，将锚框中的特征输入预置的分类器中，即将特征图经1×1卷积后的输出图像输入分类器中。如图3C所示，分类器可以是Softmax分类器，Softmax分类器的分类函数是Softmax函数。在机器学习尤其是深度学习中，Softmax函数是个非常常用而且比较重要的函数，尤其在多分类的场景中使用广泛。在本发明实施例中，Softmax函数把输入的特征映射为概率值为0-1之间的实数并输出。

2-2、将概率值与第一预设值进行比较。

具体的，将得到的概率值与第一预设值(例如0.5)进行比较。

2-3、当概率值大于或等于第一预设值时，确定锚框为包括检测对象的目标锚框。

具体的，当概率值大于或等于第一预设值时，确定锚框中包括检测对象，该锚框为包括检测对象的目标锚框。当概率值小于第一预设值时，确定锚框中不包括检测对象，该锚框为非目标锚框。

3、对目标锚框进行平移和缩放处理，得到候选区域，检测对象完全位于候选区域内。

具体的，如图3C所示，对特征图进行1×1的卷积操作，输出图像尺寸为M×N×36，存储为[1，4x9，H，W]，相当于特征图的每个元素都有9个锚框，每个锚框又都有4个用于回归的变换量[dx，dy，dh，dw]。变换量dx，dy为对目标锚框的中心点进行平移的偏移量，变换量dh，dw为对目标锚框的宽和高进行缩放的缩放量。Proposal层用于综合所有变换量和目标锚框，并对目标锚框进行平移和缩放，得到精准的候选区域，使得检测对象尽可能完全位于候选区域内。

S302、将目标所在区域从环境图像中分割出来，得到包括目标的目标区域。

如前文所述，在环境图像中检测出交通信号灯，并以目标检测框的形式标注出来，交通信号灯位于目标检测框内。将交通信号灯所在区域从环境图像中分割出来，得到包括交通信号灯的目标区域。示例性的，目标区域可以刚好与目标检测框重合，或略大于目标检测框，本发明实施例在此不做限定。

S303、对目标区域进行场景识别，确定识别结果。

示例性的，将包括交通信号灯的目标区域输入长尾场景识别模型中进行处理，对包括交通信号灯的目标区域进行分类识别，确定识别结果。示例性的，对目标区域进行长尾场景识别的具体方法不做限定。

其中，识别结果可以包括正常和交通信号灯的各种长尾场景，例如，交通信号灯被遮挡、交通信号灯反光或外界环境光太强等。

交通信号灯的长尾场景通常只影响环境图像的局部(即交通信号灯所在的目标区域)，通过从环境图像中分割出包括交通信号灯的目标区域，并对目标区域进行长尾场景识别，避免全局图像(即整个环境图像)中目标区域以外的信息的干扰，提高了识别准确率；同时，避免针对全局图像进行识别时效率低下的问题，提高了识别效率。

在本发明的一些实施例中，步骤S303包括如下子步骤：

S3031、从目标区域中提取表征图像信息的特征向量。

在本发明实施例中，可以通过分类模型对目标区域进行分类，分类模型可以是VGG、ResNet或AlexNet等，本发明实施例在此不做限定。示例性的，通过分类模型中的卷积网络从目标区域中提取表征图像信息的特征向量。

S3032、基于特征向量确定各场景的概率值。

在本发明实施例中，可以先对特征向量进行归一化处理，得到概率向量，该概率向量中每一元素即为当前交通信号灯属于各长尾场景和非长尾场景的概率值。

S3033、将概率值最大的场景作为识别结果。

将概率向量中的最大值对应的场景作为识别结果。示例性的，若概率向量中反光场景对应的元素值最大，则认为识别结果为反光场景。若概率向量中非长尾场景对应的元素值最大，则认为识别结果为非长尾场景。

示例性的，若识别结果为非长尾场景，则将环境图像作为第一采集数据，存储在第一存储区内。

在本发明的一些实施例中，在识别结果为非长尾场景时，识别交通信号灯的指示信息，指示信息可以包括交通信号灯的颜色(红、黄、绿)和形状(圆形、左箭头、右箭头、上箭头)。具体的，可以通过图像识别技术识别交通信号灯的指示信息，本发明实施例在此不做赘述。然后，根据指示信息确定无人驾驶车辆的行进策略。具体的，根据交通信号灯的指示信息确定无人驾驶车辆的行进策略，例如，路口停车等候、路口直行、路口左转、路口右转等。

示例性的，若识别结果为长尾场景，则将环境图像作为第二采集数据，存储在第二存储区内。

示例性的，在本发明的一些实施例中，为了避免由于单帧环境图像的偶然性导致采集的数据有误(例如，将正常的交通信号灯误识别为长尾场景)，在本发明的一些实施例中，通过多帧环境图像的识别结果来判断一个路口的交通信号灯是否属于长尾场景的交通信号灯，然后将属于长尾场景的环境图像作为第二采集数据。具体过程如下：

1、获取无人驾驶车辆距离交通信号灯预设的距离阈值内多帧环境图像对应的多个识别结果。

具体的，获取无人驾驶车辆距离交通信号灯预设的距离阈值(例如100米)内的多帧环境图像，并分别进行识别，得到多帧环境图像对应的多个识别结果。长尾场景识别的具体过程在前述实施例已有详细记载，本发明实施例在此不再赘述。

2、从多帧环境图像中确定存在长尾场景的目标图像。

具体的，基于识别结果对多帧环境图像进行筛选，从中筛选出存在长尾场景的环境图像作为目标图像。

3、在目标图像的数量超过预设的数量阈值时，将目标图像作为第二采集数据，存储在第二存储区内。

具体的，判断该路口对应的目标图像的数量是否超过预设的数量阈值(例如5张)，在目标图像的数量超过预设的数量阈值时，将目标图像作为第二采集数据，存储在第二存储区内。

在本发明的一些实施例中，在上述识别结果为长尾场景时，将对应的目标区域作为长尾场景识别模型的离线训练样本，以便在无人驾驶车辆离线时，对长尾场景识别模型进行自学习的模型训练，优化长尾场景识别模型的模型参数。

具体的，利用识别结果对环境图像进行标注。例如，识别结果为交通信号灯反光，则在环境图像中以目标检测框示出交通信号灯，并对该目标检测框(或者目标区域)打上表示交通信号灯反光的标签(例如1)，得到标注数据，将标注数据作为训练样本去训练长尾场景识别模型。

本发明实施例提供的车辆行驶场景采集方法，在车辆与目标的距离大于预设距离时，将采集的环境图像作为第一采集数据，存储在第一存储区内；在车辆与目标的距离变为小于或等于预设距离时，对当前采集的环境图像进行场景识别，若识别结果为非预设场景，则将环境图像作为第一采集数据，存储在第一存储区内；若识别结果为预设场景，则将环境图像作为第二采集数据，存储在第二存储区内。通过在线实时识别场景，并将属于非预设场景和属于预设场景的环境图像分别作为第一采集数据和第二采集数据，并分开存储，无需离线对大量数据进行筛选，提高了场景采集效率，节省了计算资源。通过从环境图像中分割出包括目标的目标区域，对目标区域进行场景识别，确定识别结果，提高了识别准确率和识别效率。通过多帧环境图像的识别结果来判断一个路口的交通信号灯是否属于长尾场景的交通信号灯，避免由于单帧环境图像的偶然性导致采集的数据有误，提高了采集的长尾场景的准确度。

实施例三

图4是本发明实施例三提供的一种场景识别的流程图，本实施例在上述实施例一的基础上进行细化，详细描述了场景识别的过程，该实施例与实施例二的区别为获取目标区域的方式不同，如图4所示，该方法包括：

S401、获取全局语义地图。

在本发明实施例中，全局语义地图为预先构建的高精度的点云地图，并内置于无人驾驶车辆的控制设备中。具体的，在本发明实施例中，无人驾驶车辆搭载有激光雷达，激光雷达发射包括多条(例如32线或64线)激光的激光束，并接收物体表面反射回的反射激光。激光雷达准确地测量激光从发射到被反射回的传播时间。鉴于光速是已知的，传播时间即可被转换为对距离的测量。结合激光雷达的高度和激光扫描角度，就可以准确地计算出每一个光斑的在激光雷达所在的坐标系中的三维坐标。通过预先在道路中逡巡，在无人驾驶车辆逡巡过程中，持续驱动激光雷达扫描车辆周围环境。可以预先构建高精度的全局语义地图。

S402、基于位置信息从全局语义地图中查询目标的位置信息。

具体的，根据无人驾驶车辆的位置信息确定车辆在全局语义地图中的第一位置，进而根据第一位置在全局语义地图中查找目标(例如，交通信号灯)的第二位置。其中，第一位置和第二位置均为3D位置信息。

S403、基于目标的位置信息从环境图像中分割出包括目标的目标区域。

示例性的，在本发明一具体实施例中，首先将交通信号灯的3D位置信息转换为2D位置信息，得到交通信号灯在环境图像中的位置信息，然后基于交通信号灯在环境图像中的位置信息从环境图像中分割出包括交通信号灯的目标区域，目标区域可以略大于交通信号灯。

具体的，将交通信号灯的3D位置信息转换为2D位置信息的具体过程如下：

1、查询交通信号灯的点云在激光雷达所在的坐标系上的第一坐标。

具体的，对于激光雷达所在的坐标系上，点云可以表示为Pw＝(x_j，y_j，z_j，i_j)，其中，j＝1,2,…,N，表示点云的数量，点云中的每个点的信息包括坐标信息(x_j，y_j，z_j)和接收到的激光强度(i_j)。

2、将第一坐标映射为相机所在的坐标系上的第二坐标。

具体的，基于相机的外部参数将第一坐标映射为相机所在的坐标系上的第二坐标。相机的外部参数是相机在世界坐标系的参数，包括相机在世界坐标系的位置、旋转方向和偏移方向等，该外部参数可以用旋转矩阵R和平移向量t表示：

第二坐标Pc可表示为：

P_c＝RP_w＝(x_c,y_c,z_c)

3、将第二坐标映射为环境图像中的第三坐标。

具体的，基于相机的内部参数和外部参数，将第二坐标映射为环境图像中的第三坐标。相机的内部参数包括相机的焦距、成像的像素尺寸等，内部参数可以用矩阵K表示：

第三坐标Puv可表示为：

Puv＝K(Pc+t)＝(u,v)

通过上述坐标变换，将交通信号灯的3D位置信息转换为2D位置信息。

S404、对目标区域进行场景识别，确定识别结果。

示例性的，将包括交通信号灯的目标区域输入长尾场景识别模型中进行处理，对包括交通信号灯的目标区域进行分类识别，确定识别结果。示例性的，对目标区域进行长尾场景识别的具体方法不做限定。

其中，识别结果可以包括正常和交通信号灯的各种长尾场景，例如，交通信号灯被遮挡、交通信号灯反光或外界环境光太强等。

交通信号灯的长尾场景通常只影响环境图像的局部(即交通信号灯所在的目标区域)，通过从环境图像中分割出包括交通信号灯的目标区域，并对目标区域进行长尾场景识别，避免全局图像(即整个环境图像)中目标区域以外的信息的干扰，提高了识别准确率；同时，避免针对全局图像进行识别时效率低下的问题，提高了识别效率。

具体的，对目标区域的场景识别过程在前述实施例中已有详细记载，本发明实施例在此不再赘述。

本发明实施例提供的车辆行驶场景采集方法，在车辆与目标的距离大于预设距离时，将采集的环境图像作为第一采集数据，存储在第一存储区内；在车辆与目标的距离变为小于或等于预设距离时，对当前采集的环境图像进行场景识别，若识别结果为非预设场景，则将环境图像作为第一采集数据，存储在第一存储区内；若识别结果为预设场景，则将环境图像作为第二采集数据，存储在第二存储区内。通过在线实时识别场景，并将属于非预设场景和属于预设场景的环境图像分别作为第一采集数据和第二采集数据，并分开存储，无需离线对大量数据进行筛选，提高了场景采集效率，节省了计算资源。通过从环境图像中分割出包括目标的目标区域，对目标区域进行场景识别，确定识别结果，提高了识别准确率和识别效率。

实施例四

图5为本发明实施例四提供的一种车辆行驶场景采集装置的结构示意图，如图5所示，该装置包括：

获取模块501，用于获取车辆行驶过程中的位置信息和环境图像；

距离确定模块502，用于根据车辆的位置信息确定所述车辆与目标的距离；

第一存储模块503，用于在所述距离大于预设距离时，将所述环境图像作为第一采集数据，存储在第一存储区内；

场景识别模块504，用于在所述距离等于预设距离时，对当前采集的环境图像进行场景识别；

第二存储模块505，用于在识别结果为非预设场景时，将所述环境图像作为第一采集数据，存储在第一存储区内；

第三存储模块506，用于在识别结果为预设场景时，将所述环境图像作为第二采集数据，存储在第二存储区内。

在本发明的一些实施例中，场景识别模块504包括：

图像分割子模块，用于从所述环境图像中分割出包括所述目标的目标区域；

识别结果确定子模块，用于对所述目标区域进行场景识别，确定识别结果。

在本发明的一些实施例中，图像分割子模块包括：

目标检测单元，用于从所述环境图像中检测出所述目标；

第一分割单元，用于将所述目标所在区域从所述环境图像中分割出来，得到包括所述目标的目标区域。

在本发明的一些实施例中，图像分割子模块包括：

获取单元，用于获取全局语义地图；

位置查询单元，用于基于所述位置信息从所述全局语义地图中查询所述目标的位置信息；

第二分割单元，用于基于所述目标的位置信息从所述环境图像中分割出包括所述目标的目标区域。

在本发明的一些实施例中，第二分割单元包括：

位置信息转换子单元，用于将所述目标的3D位置信息转换2D位置信息，得到所述目标在所述环境图像中的位置信息；

分割子单元，用于基于所述目标在所述环境图像中的位置信息从所述环境图像中分割出包括所述目标的目标区域。

在本发明的一些实施例中，识别结果确定子模块包括：

特征提取单元，用于从所述目标区域中提取表征图像信息的特征向量；

概率值确定单元，用于基于所述特征向量确定各场景的概率值；

识别结果确定单元，用于将所述概率值最大的场景作为识别结果。

在本发明的一些实施例中，第三存储模块506包括：

识别结构获取子模块，用于获取无人驾驶车辆距离所述目标预设的距离阈值内多帧环境图像对应的多个识别结果；

目标图像确定子模块，用于从多帧环境图像中确定存在预设场景的目标图像；

存储子模块，用于在所述目标图像的数量超过预设的数量阈值时，将所述目标图像作为第二采集数据，存储在第二存储区内。

在本发明的一些实施例中，所述目标为交通信号灯，所述预设场景为交通信号灯的长尾场景，所述车辆行驶场景采集装置还包括：

指示信息识别模块，用于在所述识别结果为非长尾场景时，识别所述交通信号灯的指示信息；

行进策略确定模块，用于根据所述指示信息确定所述车辆的行进策略。

上述车辆行驶场景采集装置可执行本发明任意实施例所提供的车辆行驶场景采集方法，具备执行方法相应的功能模块和有益效果。

实施例五

本发明实施例五提供了一种计算机设备，图6为本发明实施例五提供的一种计算机设备的结构示意图，如图6所示，该计算机设备包括：

处理器601、存储器602、通信模块603、输入装置604和输出装置605；移动终端中处理器601的数量可以是一个或多个，图6中以一个处理器601为例；计算机设备中的处理器601、存储器602、通信模块603、输入装置604和输出装置605可以通过总线或其他方式连接，图6中以通过总线连接为例。上述处理器601、存储器602、通信模块603、输入装置604和输出装置605可以集成在计算机设备上。

存储器602作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如上述实施例中的车辆行驶场景采集方法对应的模块。处理器601通过运行存储在存储器602中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的车辆行驶场景采集方法。

存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据微型计算机的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器602可进一步包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

通信模块603，用于与外界设备(例如智能终端)建立连接，并实现与外界设备的数据交互。输入装置604可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。

本实施例提供的一种计算机设备，可执行本发明上述任意实施例提供的车辆行驶场景采集方法，具有相应的功能和有益效果。

实施例六

本发明实施例六提供了一种包含计算机可执行指令的存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明上述任意实施例提供的车辆行驶场景采集方法，包括：

获取车辆行驶过程中的位置信息和环境图像；

根据车辆位置信息确定所述车辆与目标的距离；

若所述距离大于预设距离，则将所述环境图像作为第一采集数据，存储在第一存储区内；

若所述距离等于预设距离，则对当前采集的环境图像进行场景识别；

若识别结果为非预设场景，则将所述环境图像作为第一采集数据，存储在第一存储区内；

若识别结果为预设场景，则将所述环境图像作为第二采集数据，存储在第二存储区内。

需要说明的是，对于装置、设备和存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台移动终端(可以是机器人，个人计算机，服务器，或者网络设备等)执行本发明任意实施例所述的车辆行驶场景采集方法。

值得注意的是，上述装置中，所包括的各个模块、子模块、单元、子单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种车辆行驶场景采集方法，其特征在于，包括：

获取车辆行驶过程中的位置信息和环境图像；

根据车辆位置信息确定所述车辆与目标的距离；

若所述距离大于预设距离，则将所述环境图像作为第一采集数据，存储在第一存储区内；

若所述距离小于等于预设距离，则对当前采集的环境图像进行场景识别；

若识别结果为非预设场景，则将所述环境图像作为第一采集数据，存储在第一存储区内；其中，所述预设场景是上述目标的长尾场景，所述长尾场景是指种类繁多、发生概率较低或者突发的场景；

若识别结果为预设场景，则将所述环境图像作为第二采集数据，存储在第二存储区内；

将所述环境图像作为第二采集数据，存储在第二存储区内，包括：

获取车辆距离所述目标预设的距离阈值内多帧环境图像对应的多个识别结果；

从多帧环境图像中确定存在预设场景的目标图像；

在所述目标图像的数量超过预设的数量阈值时，将所述目标图像作为第二采集数据，存储在第二存储区内；

所述对当前采集的环境图像进行场景识别，包括：

从所述环境图像中分割出包括所述目标的目标区域；

对所述目标区域进行场景识别，确定识别结果；

从所述环境图像中分割出包括所述目标的目标区域，包括：

获取全局语义地图；

基于所述位置信息从所述全局语义地图中查询所述目标的位置信息；

基于所述目标的位置信息从所述环境图像中分割出包括所述目标的目标区域。

2.根据权利要求1所述的车辆行驶场景采集方法，其特征在于，从所述环境图像中分割出包括所述目标的目标区域，包括：

从所述环境图像中检测所述目标；

将所述目标所在区域从所述环境图像中分割出来，得到包括所述目标的目标区域。

3.根据权利要求1所述的车辆行驶场景采集方法，其特征在于，基于所述目标的位置信息从所述环境图像中分割出包括所述目标的目标区域，包括：

将所述目标的3D位置信息转换2D位置信息，得到所述目标在所述环境图像中的位置信息；

基于所述目标在所述环境图像中的位置信息从所述环境图像中分割出包括所述目标的目标区域。

4.根据权利要求1-3任一所述的车辆行驶场景采集方法，其特征在于，对所述目标区域进行场景识别，确定识别结果，包括：

从所述目标区域中提取表征图像信息的特征向量；

基于所述特征向量确定各场景的概率值；

将所述概率值最大的场景作为识别结果。

5.根据权利要求1-3任一所述的车辆行驶场景采集方法，其特征在于，所述目标为交通信号灯，所述预设场景为交通信号灯的长尾场景，所述方法还包括：

在所述识别结果为非长尾场景时，识别所述交通信号灯的指示信息；

根据所述指示信息确定所述车辆的行进策略。

6.一种车辆行驶场景采集装置，其特征在于，包括：

获取模块，用于获取车辆行驶过程中的位置信息和环境图像；

距离确定模块，用于根据车辆的位置信息确定所述车辆与目标的距离；

第一存储模块，用于在所述距离大于预设距离时，将所述环境图像作为第一采集数据，存储在第一存储区内；

场景识别模块，用于在所述距离小于等于预设距离时，对当前采集的环境图像进行场景识别；

第二存储模块，用于在识别结果为非预设场景时，将所述环境图像作为第一采集数据，存储在第一存储区内；其中，所述预设场景是上述目标的长尾场景，所述长尾场景是指种类繁多、发生概率较低或者突发的场景；

第三存储模块，用于在识别结果为预设场景时，将所述环境图像作为第二采集数据，存储在第二存储区内；

识别结构获取子模块，用于获取无人驾驶车辆距离所述目标预设的距离阈值内多帧环境图像对应的多个识别结果；

目标图像确定子模块，用于从多帧环境图像中确定存在预设场景的目标图像；

存储子模块，用于在所述目标图像的数量超过预设的数量阈值时，将所述目标图像作为第二采集数据，存储在第二存储区内；

场景识别模块包括：

图像分割子模块，用于从所述环境图像中分割出包括所述目标的目标区域；

识别结果确定子模块，用于对所述目标区域进行场景识别，确定识别结果；

图像分割子模块包括：

获取单元，用于获取全局语义地图；

位置查询单元，用于基于所述位置信息从所述全局语义地图中查询所述目标的位置信息；

第二分割单元，用于基于所述目标的位置信息从所述环境图像中分割出包括所述目标的目标区域。

7.一种计算机设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的车辆行驶场景采集方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的车辆行驶场景采集方法。