CN113269162A - 数据获取方法及其装置 - Google Patents

Abstract

本申请是关于一种数据获取方法及其装置，用于通过图像变换获取车道变换场景下的变道模拟数据，降低变道模拟数据的采集难度，可以大量采集变道模拟数据，同时节约数据采集成本。该获取方法包括：首先，获取在直行状态下车辆周边的原始道路图像；其次，根据车辆在车道变换过程中的位置，对原始道路图像执行预设变道模拟操作，生成车辆在不同位置对应的变道模拟图像，预设变道模拟操作包括以下至少一项：旋转、偏移；最后，从变道模拟图像中提取相应的变道模拟数据，变道模拟数据用于对检测路面元素的神经网络模型进行数据训练。

Description

数据获取方法及其装置

技术领域

本申请涉及自动驾驶技术领域，尤其涉及一种数据获取方法及其装置。

背景技术

随着自动驾驶技术的不断发展，自动驾驶车辆的自主变道方法也得到了更多的关注，自动变道要求自动驾驶汽车在道路上自主选择行驶车道并进行变道操作，适当的变道决策可以更好地完成驾驶任务，还可以避免交通拥堵，提高通行效率，避免交通事故，保证道路安全。因此，自主变道已成为当前自动驾驶技术面临的重大问题。

在目前相关的自主变道技术中，在车道线、箭头、停止线、斑马线等路面元素感知任务中，会遇到车辆变道时刻，而这种时刻图片数据量占比很少并且采集较为困难，尤其是在高速、环路等车辆比较多或者车速比较快等场景下的数据采集，使得车辆对路面元素的感知能力弱。可见目前的自动驾驶汽车对变道数据的采集困难，可能会带来安全隐患。

发明内容

为克服相关技术中存在的问题，本申请提供一种数据获取方法及其装置，用于通过图像变换获取车道变换场景下的变道模拟数据，降低变道模拟数据的采集难度，可以大量采集变道模拟数据，同时节约数据采集成本。

本申请第一方面提供了一种数据获取方法，该数据获取方法用于通过图像变换获取车道变换场景下的变道模拟数据，该方法包括：

首先，获取在直行状态下车辆周边的原始道路图像；

其次，根据所述车辆在车道变换过程中的位置，对所述原始道路图像执行预设变道模拟操作，生成所述车辆在不同位置对应的变道模拟图像，所述预设变道模拟操作包括以下至少一项：旋转、偏移；

最后，从所述变道模拟图像中提取相应的变道模拟数据，所述变道模拟数据用于对检测路面元素的神经网络模型进行数据训练。

在本申请的一种可能的实现方式中，所述根据所述车辆在车道变换过程中的位置，对所述原始道路图像执行预设变道模拟操作，包括：

根据所述车辆在车道变换过程中的位置确定对应的偏移量和旋转角度；

根据所述偏移量和所述旋转角度对所述原始道路图像执行所述预设变道模拟操作。

在本申请的一种可能的实现方式中，在根据所述车辆在车道变换过程中的位置，对所述原始道路图像执行预设变道模拟操作之前，所述方法还包括：

对所述原始道路图像中的道路元素进行标注，得到带有标注的原始道路图像。

在本申请的一种可能的实现方式中，所述从所述变道模拟图像中提取相应的变道模拟数据，包括：

根据所述变道模拟图像中被标注的道路元素提取所述变道模拟数据。

在本申请的一种可能的实现方式中，所述预设变道模拟操作还包括以下至少一项：尺寸剪辑、尺寸缩放。

在本申请的一种可能的实现方式中，所述原始道路图像包括在变道开始时刻车载摄像头采集到的图像，所述车载摄像头用于采集所述车辆前方的道路信息。

在本申请的一种可能的实现方式中，所述变道模拟数据包括在车道变换过程中所述车辆周边的道路元素对应的数据。

在本申请的一种可能的实现方式中，所述道路元素包括以下至少一项：车道线、车道中心线、指示箭头、停止线、或人行横道线。

本申请第二方面提供了一种数据获取装置，包括：获取模块、生成模块和提取模块，其中，获取模块，用于获取在直行状态下车辆周边的原始道路图像；生成模块，用于根据所述车辆在车道变换过程中的位置，对所述原始道路图像执行预设变道模拟操作，生成所述车辆在不同位置对应的变道模拟图像，所述预设变道模拟操作包括以下至少一项：旋转、偏移；提取模块，用于从所述变道模拟图像中提取相应的变道模拟数据，所述变道模拟数据用于对检测路面元素的神经网络模型进行数据训练。

本申请第三方面提供了一种数据获取装置，包括：处理器和存储器；所述存储器，用于存储可执行代码；所述处理器，用于通过调用所述可执行代码，以执行如上述第一方面及其任意一种可能的实现方式中所述的数据获取方法。

本申请实施例的第四方面提供了一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上第一方面及其任意一种可能的实现方式中所述的车辆变道场景数据的获取方法。

在本申请的技术方案中，根据车辆在车道变换过程中的位置，对原始道路图像执行预设变道模拟操作，生成车辆在不同位置对应的变道模拟图像；进而，从变道模拟图像中提取相应的变道模拟数据，其中，变道模拟数据用于对检测路面元素的神经网络模型进行数据训练。由于是通过图像变换取车道变换场景下的变道模拟数据，因此，可以有效地降低变道场景数据的采集难度，可以大量采集变道模拟数据，同时节约数据采集成本。

进一步的，采集后的变道模拟数据包括车辆在车道变换过程中在不同位置对应的变道模拟图像，因此，其获取的变道模拟数据较为丰富，用于神经网络的数据训练，可以提升神经网络模型中模型参数的准确性，从而增强神经网络模型对路面元素的感知能力，最终可以提高自动驾驶或辅助驾驶的安全性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

通过结合附图对本申请示例性实施方式进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。

图1是本申请实施例中提供的一种网络架构图；

图2为本申请实施例中提供的数据获取方法的一个流程示意图；

图3为本申请实施例中数据处理装置的一个结构示意图；

图4为本申请实施例中数据处理装置的另一个结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的优选实施方式。虽然附图中显示了本申请的优选实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

本申请实施例提供的方案涉及人工智能的自动驾驶等技术，具体通过如下实施例进行说明:

图1是本申请实施例中提供的一种网络架构图。如图1所示，该网络架构可以包括业务服务器100以及终端设备，其中，上述终端设备的数量可以是两个或两个以上，如图1所示，具体可以包括终端设备10a、终端设备10b、……、终端设备10n。如图1所示，终端设备10a、终端设备10b、……、终端设备10n可以分别与上述业务服务器100进行网络连接，以便于每个终端设备可以通过该网络连接与业务服务器100进行数据交互，以便于上述业务服务器100可以接收到来自于每个终端设备的业务数据。

本申请中，每个终端设备均可以是车载终端或手机终端。终端设备配置在行驶的车辆上，每辆车辆上都可以配置终端设备，以便通过终端设备与业务服务器的数据交互，得到用于自动驾驶的控制命令，终端设备通过该控制命令控制车辆进行自动驾驶。需要说明的是，车载终端也可以称之为车机终端。

为了更好地理解本申请中车辆变道场景数据的获取方法，数据获取方法用于通过图像变换获取车道变换场景下的变道模拟数据，下面将结合附图对本申请实施例进行详细说明。

请参阅图2，图2为本申请实施例中提供的数据获取方法的一个流程示意图。

如图2所示，本申请实施例中数据获取方法的一个实施例，包括：

201、数据获取装置获取在直行状态下车辆周边的原始道路图像。

本申请实施例中，一方面，原始道路图像可以是通过车辆上的图像采集设备采集到的，该图像采集设备可以是车载摄像头。另一方面，原始道路图像可以是车辆前方的道路状况，也可以是车辆两侧或后侧的道路状况，对此本申请不做任何限制。

可选的，在本申请的一些可能的实施方式中，原始道路图像是在变道开始时刻车载摄像头采集到的图像，其中，车载摄像头用于采集车辆前方的道路信息，道路信息等同于上述的道路状况。

直行状态即是车辆沿着某一车道向前行驶；原始道路图像中的道路状况可以是驾驶场景数据，其中，驾驶场景数据是车辆在行驶过程中的路面元素和车辆自身的灯光状态、行驶速度等数据。

可选的，在本申请的一些可能的实施方式中，上述原始道路图像为车辆在直行状态下的图像，其中该图像中包括以下至少一项路面元素：车道线、车道中心线、指示箭头、停止线、或人行横道线，当然，该图像中还可以包括车辆本身。

在本申请实施例中，车辆是指具有自动驾驶功能或辅助驾驶功能的机动车，具体的，上述车辆可以是：自动驾驶汽车，或具有辅助驾驶功能的汽车，该汽车可以是传统燃油车、或新能源汽车。

可选的，在本申请的一些实施方式中，原始道路图像中并不是所有的道路元素在车道变换过程中都会发生变化，仅提取预计会发生变化或较为重要的道路元素即可，可以预先对道路元素进行标注。具体来说，在获取到原始道路图像之后，数据获取装置可以根据应用场景或实际需求对原始道路图像中道路元素进行标注，得到带有标注的原始道路图像。

202、数据获取装置根据车辆在车道变换过程中的位置，对原始道路图像执行预设变道模拟操作，生成车辆在不同位置对应的变道模拟图像。

本申请实施例中，车道变换是指车辆在行驶过程中其车道发生改变，具体可以是车辆转弯、车辆变道等场景中的车道变换。在车道变换过程中，车辆的位置会随着车辆的变道轨迹不断改变，以及车身也可能会发生旋转。

车辆在车道变换过程中的位置不同，车辆周边的道路元素的相对位置也会发生改变，此种变换，在图像上会呈现在图像的偏移和旋转，车辆处于变道轨迹中的位置不同，图像上所呈现的偏移量和旋转角度也不同。

因此，本申请实施例中，预设变道模拟操作包括旋转、偏移中的至少一项，具体可以通过执行如下操作得到变道模拟图像：首先，根据车辆在车道变换过程中的位置确定对应的偏移量和旋转角度，其中对应的偏移量和旋转角度是指车辆在某位置时引起的原始道路图像偏移对应的偏移量以及旋转对应的旋转角度，位置不同其对应的偏移量和旋转角度也不会完全相同；进一步，根据偏移量和旋转角度对原始道路图像执行预设变道模拟操作，例如旋转角度为+1°，偏移量为0，则此时对原始道路图像向正方向旋转1°得到对应的变道模拟图像。

进一步的，在对图像进行旋转、偏移之后，通常还需要对图像进行剪辑、尺寸缩放。因此，上述预设变道模拟操作还包括以下至少一项：尺寸剪辑、尺寸缩放。

变道模拟图像的数量为两张或两张以上，应理解，在车辆在车道变换过程中的同一位置，可以获取对应的一张或多张变道模拟图像；在车辆在车道变换过程中可以根据实际场景需求对变道轨迹上的位置进行选择。

203、数据获取装置从变道模拟图像中提取相应的变道模拟数据。

本申请实施例中，变道模拟数据包括在车道变换过程中所述车辆周边的道路元素对应的数据。

如上述步骤201中所述，在对原始道路图像进行了标注的情况下，数据获取装置从变道模拟图像中提取相应的变道模拟数据具体可以是：根据变道模拟图像中被标注的道路元素提取相应的变道模拟数据。

该变道模拟数据可以用于但不限于对检测路面元素的神经网络模型进行数据训练。

通过本申请实施例中的技术方案，根据车辆在车道变换过程中的位置，对原始道路图像执行预设变道模拟操作，生成车辆在不同位置对应的变道模拟图像；进而，从变道模拟图像中提取相应的变道模拟数据，其中，变道模拟数据用于对检测路面元素的神经网络模型进行数据训练。由于是通过图像变换取车道变换场景下的变道模拟数据，因此，可以有效地降低变道场景数据的采集难度，可以大量采集变道模拟数据，同时节约数据采集成本。

进一步的，采集后的变道模拟数据包括车辆在车道变换过程中在不同位置对应的变道模拟图像，因此，其获取的变道模拟数据较为丰富，用于神经网络的数据训练，可以提升神经网络模型中模型参数的准确性，从而增强神经网络模型对路面元素的感知能力，最终可以提高自动驾驶或辅助驾驶的安全性。

与前述应用功能实现方法实施例相对应，本申请还提供了一种数据获取装置、车载终端及相应的实施例。

请参阅图3，图3为本申请实施例中数据获取装置的一个结构示意图。

如图3所示，本申请实施例中数据获取装置300包括：获取模块301、生成模块302和提取模块303，其中，获取模块301，用于获取在直行状态下车辆周边的原始道路图像；生成模块302，用于根据车辆在车道变换过程中的位置，对原始道路图像执行预设变道模拟操作，生成车辆在不同位置对应的变道模拟图像，预设变道模拟操作包括以下至少一项：旋转、偏移；提取模块303，用于从变道模拟图像中提取相应的变道模拟数据，变道模拟数据用于对检测路面元素的神经网络模型进行数据训练。

可选的，在本申请的一些可能的实施方式中，生成模块302具体可以执行以下操作以得到变道模拟图像：

根据车辆在车道变换过程中的位置确定对应的偏移量和旋转角度；

根据偏移量和旋转角度对原始道路图像执行预设变道模拟操作。

可选的，在本申请的一些可能的实施方式中，在生成模块302执行预设变道模拟操作之前，获取模块301还可以对获取的原始道路图像进行标注，具体操作为：获取模块301对原始道路图像中的道路元素进行标注，得到带有标注的原始道路图像。

可选的，在本申请的一些可能的实施方式中，在获取模块301还可以对获取的原始道路图像进行标注的情况下，提取模块303可以执行以下操作获取变道模拟数据：根据变道模拟图像中被标注的道路元素提取变道模拟数据。

可选的，在本申请的一些可能的实施方式中，预设变道模拟操作还包括以下至少一项：尺寸剪辑、尺寸缩放。

可选的，在本申请的一些可能的实施方式中，原始道路图像包括在变道开始时刻车载摄像头采集到的图像，车载摄像头用于采集车辆前方的道路信息。

可选的，在本申请的一些可能的实施方式中，变道模拟数据包括在车道变换过程中车辆周边的道路元素对应的数据。

可选的，在本申请的一些可能的实施方式中，道路元素包括以下至少一项：车道线、车道中心线、指示箭头、停止线、或人行横道线。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。

请参阅图4，图4为本申请实施例中数据获取装置的另一个结构示意图。

如图4所示，数据获取装置400包括存储器401和处理器402。

处理器402可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器401可以包括各种类型的存储单元，例如***内存、只读存储器（ROM），和永久存储装置。其中，ROM可以存储处理器402或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置（例如磁或光盘、闪存）作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备（例如软盘、光驱）。***内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。***内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器401可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片（DRAM，SRAM，SDRAM，闪存，可编程只读存储器），磁盘和/或光盘也可以采用。在一些实施方式中，存储器401可以包括可读和/或写的可移除的存储设备，例如激光唱片（CD）、只读数字多功能光盘（例如DVD-ROM，双层DVD-ROM）、只读蓝光光盘、超密度光盘、闪存卡（例如SD卡、min SD卡、Micro-SD卡等等）、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

存储器401上存储有可执行代码，当可执行代码被处理器402处理时，可以使处理器402执行上文述及的方法中的部分或全部。

上文中已经参考附图详细描述了本申请的方案。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。本领域技术人员也应该知悉，说明书中所涉及的动作和模块并不一定是本申请所必须的。另外，可以理解，本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。

本申请实施例中还提供了一种车载终端，该车载终端包括：上述图3或图4中所述的数据获取装置，该数据获取装置用于执行上述图2中所述方法中的部分或全部操作。

此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。

或者，本申请还可以实施为一种非暂时性机器可读存储介质（或计算机可读存储介质、或机器可读存储介质），其上存储有可执行代码（或计算机程序、或计算机指令代码），当所述可执行代码（或计算机程序、或计算机指令代码）被电子设备（或电子设备、服务器等）的处理器执行时，使所述处理器执行根据本申请的上述方法的各个步骤的部分或全部。

本领域技术人员还将明白的是，结合这里的申请所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图显示了根据本申请的多个实施例的***和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种数据获取方法，其特征在于，所述数据获取方法用于通过图像变换获取车道变换场景下的变道模拟数据，所述数据获取方法包括：

获取在直行状态下车辆周边的原始道路图像；

根据所述车辆在车道变换过程中的位置，对所述原始道路图像执行预设变道模拟操作，生成所述车辆在不同位置对应的变道模拟图像，所述预设变道模拟操作包括以下至少一项：旋转、偏移；

从所述变道模拟图像中提取相应的变道模拟数据，所述变道模拟数据用于对检测路面元素的神经网络模型进行数据训练。

2.根据权利要求1所述的方法，其特征在于，

所述根据所述车辆在车道变换过程中的位置，对所述原始道路图像执行预设变道模拟操作，包括：

根据所述车辆在车道变换过程中的位置确定对应的偏移量和旋转角度；

根据所述偏移量和所述旋转角度对所述原始道路图像执行所述预设变道模拟操作。

3.根据权利要求1或2所述的方法，其特征在于，

在根据所述车辆在车道变换过程中的位置，对所述原始道路图像执行预设变道模拟操作之前，所述方法还包括：

对所述原始道路图像中的道路元素进行标注，得到带有标注的原始道路图像。

4.根据权利要求3中所述的方法，其特征在于，

所述从所述变道模拟图像中提取相应的变道模拟数据，包括：

根据所述变道模拟图像中被标注的道路元素提取所述变道模拟数据。

5.根据权利要求1所述的方法，其特征在于，

所述预设变道模拟操作还包括以下至少一项：尺寸剪辑、尺寸缩放。

6.根据权利要求1所述的方法，其特征在于，

所述原始道路图像包括在变道开始时刻车载摄像头采集到的图像，所述车载摄像头用于采集所述车辆前方的道路信息。

7.根据权利要求1所述的方法，其特征在于，

所述变道模拟数据包括在车道变换过程中所述车辆周边的道路元素对应的数据。

8.根据权利要求1所述的方法，其特征在于，

所述道路元素包括以下至少一项：车道线、车道中心线、指示箭头、停止线、或人行横道线。

9.一种数据获取装置，其特征在于，包括：

获取模块，用于获取在直行状态下车辆周边的原始道路图像；

生成模块，用于根据所述车辆在车道变换过程中的位置，对所述原始道路图像执行预设变道模拟操作，生成所述车辆在不同位置对应的变道模拟图像，所述预设变道模拟操作包括以下至少一项：旋转、偏移；

提取模块，用于从所述变道模拟图像中提取相应的变道模拟数据，所述变道模拟数据用于对检测路面元素的神经网络模型进行数据训练。

10.一种数据获取装置，其特征在于，包括：

处理器和存储器；所述存储器，用于存储可执行代码；

所述处理器，用于通过调用所述可执行代码，以执行如上述权利要求1-8中任一项所述的数据获取方法。

Images