CN116503482B - 车辆位置的获取方法、装置及电子设备 - Google Patents

车辆位置的获取方法、装置及电子设备 Download PDF

Info

Publication number
CN116503482B
CN116503482B CN202310756847.1A CN202310756847A CN116503482B CN 116503482 B CN116503482 B CN 116503482B CN 202310756847 A CN202310756847 A CN 202310756847A CN 116503482 B CN116503482 B CN 116503482B
Authority
CN
China
Prior art keywords
image
road
determining
vehicle
constraint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310756847.1A
Other languages
English (en)
Other versions
CN116503482A (zh
Inventor
郭嘉斌
周新杰
徐佳飞
李志伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaomi Automobile Technology Co Ltd
Original Assignee
Xiaomi Automobile Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiaomi Automobile Technology Co Ltd filed Critical Xiaomi Automobile Technology Co Ltd
Priority to CN202310756847.1A priority Critical patent/CN116503482B/zh
Publication of CN116503482A publication Critical patent/CN116503482A/zh
Application granted granted Critical
Publication of CN116503482B publication Critical patent/CN116503482B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请提出一种车辆位置的获取方法、装置及电子设备，涉及自动驾驶技术领域。该车辆位置的获取方法包括：采集当前车辆行驶前方的第一图像，并识别第一图像中的一种或多种道路元素；确定第一图像的局部坐标系，并在局部坐标系下，确定第一图像中道路元素的约束维度；获取第一图像所处的滑动窗，并获取滑动窗内除第一图像之外的第二图像；根据第一图像中道路元素的约束维度和第二图像，获取第一图像对应的目标车辆位置。在本申请实施例中，通过局部坐标系进行道路元素的约束维度获取，减少道路元素的约束维度对车辆定位错误的影响；通过多帧联合观测，减少单帧分析的误差，有效提高对目标车辆位置定位的准确性。

Description

车辆位置的获取方法、装置及电子设备
技术领域
本申请涉及自动驾驶技术领域，尤其涉及一种车辆位置的获取方法、装置及电子设备。
背景技术
相较于传统的使用激光雷达、IMU以及轮速等传感器的定位方案，使用相机、IMU、轮速等传感器和矢量化的高精地图的视觉定位方法，具有较高的硬件稳定性，以及较低的成本，是自动驾驶定位的首选方案。
在结合高精地图进行视觉定位中，需要依靠道路元素进行约束，实际道路行驶中，不同道路元素之间会随机组合出现，从而影响道路元素的观测维度，导致车辆位置定位错误。
发明内容
本申请实施例提供一种车辆位置的获取方法、装置及电子设备。
本申请第一方面实施例提出了一种车辆位置的获取方法，包括：
采集当前车辆行驶前方的第一图像，并识别所述第一图像中的一种或多种道路元素；
确定所述第一图像的局部坐标系，并在所述局部坐标系下，确定所述第一图像中道路元素的约束维度；
获取所述第一图像所处的滑动窗，并获取滑动窗内除所述第一图像之外的第二图像；
根据所述第一图像中道路元素的约束维度和所述第二图像，获取所述第一图像对应的目标车辆位置。
在本申请的一个实施例中，所述确定所述第一图像的局部坐标系，包括：
识别所述第一图像中的车道线，并获取所述第一图像对应的道路地图中的局部车道线；
确定出所述第一图像与所述道路地图中存在重叠的目标车道线；
根据所述目标车道线，确定所述第一图像的局部坐标系。
在本申请的一个实施例中，所述根据所述目标车道线，确定所述第一图像的局部坐标系，包括：
确定所述目标车道线在所述局部坐标系中的方向，并根据所述目标车道线的方向，确定车道线主方向；
获取所述局部坐标系的原点；
基于车道线主方向和所述原点，确定所述第一图像的局部坐标系。
在本申请的一个实施例中，所述基于车道线主方向和所述原点，确定所述第一图像的局部坐标系，包括：
以所述车道线主方向为第一坐标方向，垂直于所述车道线主方向为第二坐标方向，在所述原点处构建所述局部坐标系。
在本申请的一个实施例中，所述获取所述局部坐标系的原点，包括：
根据所述目标车道线的位置确定目标特征位置点；
基于所述目标特征位置点，确定所述局部坐标系的原点。
在本申请的一个实施例中，所述基于所述目标特征位置点，确定所述局部坐标系的原点，包括：
当所述目标车道线为两条及两条以上时，获取每条所述目标车道线的目标特征位置点，对所述目标特征位置点进行融合，得到全局目标特征位置点，作为所述局部坐标系的原点。
在本申请的一个实施例中，所述获取所述第一图像对应的道路地图，包括：
确定所述第一图像的相邻第二图像，并获取所述相邻第二图像的车辆行驶参数；
确定所述相邻第二图像的目标车辆位置，并根据所述相邻第二图像的目标车辆位置和所述车辆行驶参数，确定所述第一图像的预测车辆位置；
根据所述预测车辆位置确定道路图像。
在本申请的一个实施例中，所述在所述局部坐标系下，确定所述第一图像中道路元素的约束维度，包括：
获取所述道路元素的类型，并基于所述道路元素的类型，确定所述局部坐标系下道路元素的约束维度。
在本申请的一个实施例中，所述根据所述第一图像中道路元素的约束维度和所述第二图像，获取所述第一图像对应的目标车辆位置，还包括：
获取所述第二图像在各自局部坐标系下自身的道路元素的约束维度；
获取所述滑动窗内相邻两帧图像间车辆的相对位置信息和车辆行驶参数；
根据所述滑动窗内每帧图像的所述道路元素的约束维度，以及相邻两帧图像的所述相对位置信息和所述车辆行驶参数，确定所述第一图像对应的目标车辆位置。
在本申请的一个实施例中，所述根据所述滑动窗内每帧图像的所述道路元素的约束维度，以及相邻两帧图像的所述相对位置信息和所述车辆行驶参数，确定所述第一图像对应的目标车辆位置，包括：
获取道路图像中的地图道路元素，针对所述滑动窗内每帧图像，确定与每帧图像中道路元素匹配的地图道路元素，并根据所述道路元素的约束维度，获取所述道路元素与所述匹配的地图道路元素之间的偏移；
根据相邻两帧图像的所述车辆行驶参数，确定相邻两帧图像之间的车辆行驶距离；
基于所述滑动窗内每帧图像的所述偏移和所述车辆行驶距离，以及所述相对位置信息，确定所述第一图像对应的目标车辆位置。
在本申请的一个实施例中，所述基于所述滑动窗内每帧图像的所述偏移和所述车辆行驶距离，以及所述相对位置信息，确定所述第一图像对应的目标车辆位置，包括：
将相邻两帧图像的所述相对位置信息与所述车辆行驶距离之间的差异作为位置约束；对每帧图像的偏移进行优化求解，获取所述位置约束与所述偏移最小时的车辆位置，作为所述第一图像对应的目标车辆位置。
在本申请的一个实施例中，所述根据所述道路元素的约束维度，获取所述道路元素与所述匹配的地图道路元素之间的偏移，包括：
根据所述道路元素的约束维度，确定所述道路元素的约束方向；
在所述道路元素的约束方向下，确定所述道路元素与所述匹配的地图道路元素的距离为所述偏移。
本申请第二方面实施例提出了一种车辆位置的获取装置，包括：
第一获取模块，用于采集当前车辆行驶前方的第一图像，并识别所述第一图像中的一种或多种道路元素；
第二获取模块，用于确定所述第一图像的局部坐标系，并在所述局部坐标系下，确定所述第一图像中道路元素的约束维度；
第三获取模块，用于获取所述第一图像所处的滑动窗，并获取滑动窗内除所述第一图像之外的第二图像；
位置确定模块，用于根据所述第一图像中道路元素的约束维度和所述第二图像，获取所述第一图像对应的目标车辆位置。
在本申请的一个实施例中，所述第二获取模块，用于：
识别所述第一图像中的车道线，并获取所述第一图像对应的道路地图中的局部车道线；
确定出所述第一图像与所述道路地图中存在重叠的目标车道线；
根据所述目标车道线，确定所述第一图像的局部坐标系。
在本申请的一个实施例中，所述第二获取模块，用于：
确定所述目标车道线在所述局部坐标系中的方向，并根据所述目标车道线的方向，确定车道线主方向；
获取所述局部坐标系的原点；
基于车道线主方向和所述原点，确定所述第一图像的局部坐标系。
在本申请的一个实施例中，所述第二获取模块，用于：
以所述车道线主方向为第一坐标方向，垂直于所述车道线主方向为第二坐标方向，在所述原点处构建所述局部坐标系。
在本申请的一个实施例中，所述第二获取模块，用于：
根据所述目标车道线的位置确定目标特征位置点；
基于所述目标特征位置点，确定所述局部坐标系的原点。
在本申请的一个实施例中，所述第二获取模块，用于：
当所述目标车道线为两条及两条以上时，获取每条所述目标车道线的目标特征位置点，对所述目标特征位置点进行融合，得到全局目标特征位置点，作为所述局部坐标系的原点。
在本申请的一个实施例中，所述第二获取模块，用于：
确定所述第一图像的相邻第二图像，并获取所述相邻第二图像的车辆行驶参数；
确定所述相邻第二图像的目标车辆位置，并根据所述相邻第二图像的目标车辆位置和所述车辆行驶参数，确定所述第一图像的预测车辆位置；
根据所述预测车辆位置确定道路图像。
在本申请的一个实施例中，所述第二获取模块，用于：
获取所述道路元素的类型，并基于所述道路元素的类型，确定所述局部坐标系下道路元素的约束维度。
在本申请的一个实施例中，所述位置确定模块，用于：
获取所述第二图像在各自局部坐标系下自身的道路元素的约束维度；
获取所述滑动窗内相邻两帧图像间车辆的相对位置信息和车辆行驶参数；
根据所述滑动窗内每帧图像的所述道路元素的约束维度，以及相邻两帧图像的所述相对位置信息和所述车辆行驶参数，确定所述第一图像对应的目标车辆位置。
在本申请的一个实施例中，所述位置确定模块，用于：
获取道路图像中的地图道路元素，针对所述滑动窗内每帧图像，确定与每帧图像中道路元素匹配的地图道路元素，并根据所述道路元素的约束维度，获取所述道路元素与所述匹配的地图道路元素之间的偏移；
根据相邻两帧图像的所述车辆行驶参数，确定相邻两帧图像之间的车辆行驶距离；
基于所述滑动窗内每帧图像的所述偏移和所述车辆行驶距离，以及所述相对位置信息，确定所述第一图像对应的目标车辆位置。
在本申请的一个实施例中，所述位置确定模块，用于：
将相邻两帧图像的所述相对位置信息与所述车辆行驶距离之间的差异作为位置约束；对每帧图像的偏移进行优化求解，获取所述位置约束与所述偏移最小时的车辆位置，作为所述第一图像对应的目标车辆位置。
在本申请的一个实施例中，所述位置确定模块，用于：
根据所述道路元素的约束维度，确定所述道路元素的约束方向；
在所述道路元素的约束方向下，确定所述道路元素与所述匹配的地图道路元素的距离为所述偏移。
本申请第三方面实施例提出了一种电子设备，包括：本申请第二方面实施例提出的车辆位置的获取装置。
本申请第四方面实施例提出了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现本申请第一方面实施例提出的车辆位置的获取方法。
本申请第五方面实施例提出了一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本申请第一方面实施例提出的方法。
本申请第六方面实施例提出了一种计算机程序产品，包括计算机程序，所述计算机程序在被通信设备中的处理器执行时实现本申请第一方面实施例提出的方法。
本申请的实施例提供的技术方案至少带来以下有益效果：
本申请实施例通过采集车辆行驶前方的第一图像，并识别第一图像中的道路元素，为避免观测误差的问题，确定第一图像对应的局部坐标系，在第一图像对应的局部坐标系下确定道路元素的约束维度，并基于滑动窗进行多帧联合观测，通过滑动窗内除了第一图像之外的第二图像以及第一图像中道路元素的约束维度，确定第一图像中的目标车辆位置。在本申请实施例中，通过第一图像的局部坐标系进行道路元素的约束维度获取，确保在分析第一图像时，只根据当前局部坐标系下的约束进行，减少道路元素的约束维度对车辆定位错误的影响；同时，在对目标车辆位置进行确定时，通过多帧联合观测，减少单帧分析的误差，在多帧联合观测下，基于道路元素的约束维度确定目标车辆位置，提高对目标车辆位置定位的准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例所提供的一种车辆位置的获取方法的流程示意图；
图2为本申请实施例所提供的另一种车辆位置的获取方法的流程示意图；
图3为本申请实施例所提供的另一种车辆位置的获取方法的流程示意图；
图4为本申请实施例所提供的另一种车辆位置的获取方法的流程示意图；
图5为本申请实施例所提供的一种车辆位置的获取装置的结构示意图；
图6为本申请实施例所提供的一种电子设备的结构示意图；
图7为本申请实施例所提供的另一种电子设备的结构示意图；
图8为本申请实施例所提供的另一种电子设备的结构示意图；
图9为本申请实施例所提供的一种车辆的功能框图示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请实施例的一些方面相一致的装置和方法的例子。
在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”及“若”可以被解释成为“在……时”或“当……时”或“响应于确定”。
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的要素。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
需要说明的是，本申请中任一个实施例提供的车辆位置的获取方法可以单独执行，或是结合其他实施例中的可能的实现方法一起被执行，还可以结合相关技术中的任一种技术方案一起被执行。
下面参照附图描述本申请实施例的车辆位置的获取方法、装置及电子设备。
图1为本申请实施例提供的一种车辆位置的获取方法的流程示意图。如图1所示，该方法包括但不限于以下步骤：
S101，采集当前车辆行驶前方的第一图像，并识别第一图像中的一种或多种道路元素。
随着人工智能的发展，目前的自动驾驶和智能汽车的研究已经成为一大热点，其中，车辆的定位问题，是自动驾驶和智能汽车中基础的研究问题。
在一些实现中，可以根据车辆行驶前方的图像对车辆进行定位分析。可选地，可以根据车载摄像机采集车辆行驶前方的图像作为第一图像。
在对车辆位置进行分析时，需要结合采集到的第一图像中的道路元素进行处理。可选地，道路元素可以包括：车道线、地面标识、灯杆和路牌等稳定性高，不易变动的元素。
在一些实现中，对第一图像进行特征提取，基于提取的特征进行图像识别和分类，以从第一图像中提取到道路元素。
可选地，道路元素的识别可以基于预训练的图像识别网络进行识别，还可以利用模板匹配的方法进行识别。
S102，确定第一图像的局部坐标系，并在局部坐标系下，确定第一图像中道路元素的约束维度。
在对车辆位置进行分析时，第一图像中的不同道路元素可以提供不同的约束维度，约束维度是用于约束该道路元素在参与车辆位置求解时所利用的方向，也就是说，在车辆位置求解时，只在道路元素对应约束维度下的方向进行计算。例如，车道线一般只能提供横向的约束，而地面标识、灯杆和路牌等一般提供纵向的约束。车辆在实际道路的行驶过程中，处于某些特殊场景时，根据道路元素的固有约束分析车辆位置时，可能会出现错误的定位结果；例如车辆行驶在转弯的路段时，其行驶前方的第一图像中会包含当前道路的道路元素和拐弯后道路的道路元素，而对于当前道路和拐弯后道路中相同类型的道路元素，若使用同一观测维度进行处理确定车辆位置，会导致车辆位置的定位出现错误；因此需要考虑道路元素的观测维度，以提高车辆定位的准确性。
在一些实现中，可以通过构建坐标系，对道路元素进行约束。对于采集到的第一图像，根据第一图像中的道路信息确定对应的局部坐标系，并基于第一图像所对应的局部坐标系，确定道路元素的约束信息。可选地，道路信息可以为道路边缘或者车道线等稳定的信息，以便于局部坐标系的构建。
在第一图像所对应的局部坐标系下，对第一图像中的道路元素的约束维度进行确定，例如车道线，在该局部坐标系下确定为横向约束，灯杆在该局部坐标系下确定为纵向约束，从而得到第一图像中所有道路元素的约束维度。每帧第一图像的局部坐标系可能不同，确保对每帧图像的观测是根据对应局部坐标系下道路元素的约束维度进行，准确性更高。
S103，获取第一图像所处的滑动窗，并获取滑动窗内除第一图像之外的第二图像。
考虑到利用第一图像进行单帧观测时，会出现噪声等因素的影响，导致定位结果出现较大幅度的波动，因此本申请实施例中通过多帧图像进行联合观测。
可选地，可以通过设置滑动窗进行多帧图像的选取，为确保观测效率和观测准确性，滑动窗的长度可以取值为5-20，滑动窗的滑动步长为1。
获取第一图像所处的滑动窗中，除了第一图像之外的第二图像，例如滑动窗的长度为10，则滑动窗内除了第一图像之外，其他9帧图像为第二图像，结合所有的第二图像进行分析，提高对第一图像分析观测准确性。
可以理解的是，第一图像为当前采集的车辆行驶前方的图像，第二图像为在第一图像之前采集的每帧车辆行驶前方的图像。
S104，根据第一图像中道路元素的约束维度和第二图像，获取第一图像对应的目标车辆位置。
车辆行驶过程中采集到的第一图像中包含不同类型的道路元素，相应的，对于滑动窗内的第二图像，第二图像中也会包含不同类型的道路元素。在一些实现中，可以根据第一图像中道路元素的约束维度和第二图像中道路元素的约束维度，获取第一图像中的目标车辆位置。
可选地，可以获取实际的道路地图作为参考，根据实际的道路地图与采集到的第一图像和第二图像进行对比分析，以获取第一图像中道路元素与对应的道路地图中地图道路元素之间的偏移。
可选地，为提高分析的准确性，道路地图可以选择高精的道路地图，提取该高精的道路地图中的特征，基于提取的特征进行图像识别和分类，以从道路地图中提取到地图道路元素。
可选地，道路元素的识别可以基于预训练的图像识别网络进行识别，还可以利用模板匹配的方法进行识别。
车辆行驶过程中采集到的第一图像中也包含不同类型的道路元素，且第一图像中的道路元素与实际的地图道路元素存在对应关系；因此可以确定与第一图像中的道路元素相匹配的地图道路元素。相应的，对于滑动窗内的第二图像，第二图像中的道路元素也可以获取到相匹配的地图道路元素。
车辆定位准确的情况下，车辆采集图像中识别出的道路元素与相匹配的地图道路元素的位置应该重合，本申请实施例中，可通过获取具有匹配关系的道路元素和地图道路元素之间的偏移，来确定目标车辆位置。也就是说，具有匹配关系的道路元素和地图道路元素之间的偏移越小时，车辆所在位置越可能为目标车辆位置。
可选地，道路元素和地图道路元素之间的偏移可以通过欧式距离或者余弦距离等反映。
需要说明的是，道路元素坐标是基于图像的局部坐标系确定，而地图道路元素坐标是在世界坐标系下确定，因此在确定道路元素和地图道路元素之间的偏移时，需要将道路元素在局部坐标系下的坐标转换为世界坐标系下的坐标。可以构建变换矩阵，变换矩阵反映出局部坐标系和世界坐标系之间的映射关系，通过变换矩阵将局部坐标系转换为世界坐标系。
在一些实现中，第一图像中道路元素的偏移可以为所有道路元素的偏移的累加和，也可以为所有道路元素的偏移的平均值。
可选地，由于第一图像中每个道路元素均存在各自的约束维度，因此在计算道路元素和地图道路元素之间的偏移时，可以在道路元素的约束维度下计算，例如对于车道线，其约束维度为横向约束，则在确定车道线和实际的地图车道线之间的偏移时，仅计算在局部坐标系的x轴方向上的偏移，以提高基于道路元素确定目标车辆位置的合理性和准确性。相应的，对于滑动窗内的每帧第二图像而言，每帧第二图像中的道路元素也对应各自的约束维度，在对第二图像中的道路元素进行偏移分析时，也需要在其对应的约束维度下计算。
车辆行驶过程中，除了采集车辆行驶前方的图像之外，还可以获取当前时刻的车辆行驶数据，获取方法可以根据车辆所携带的惯性测量单元（Inertial MeasurementUnit，IMU）测量，车辆行驶数据可以为：角度、速度、加速度等数据。
由于对车辆的定位是实时分析的，也就是说车辆前方的第一图像是实时采集的，每次采集之间的帧间隔可以为固定时间间隔，那么根据车辆行驶数据和固定时间间隔，可以确定出当前帧图像的车辆位置与下一帧图像的车辆位置之间的行驶距离，本申请实施例中，联合多帧进行观测，确定目标车辆位置时，除了要考虑各帧图像中道路元素的偏移尽可能的小，还需要满足相邻两帧图像之间的相对位置与计算的车辆行驶距离尽可能保持一致。也就是说，本申请实施例中，通过行驶距离和道路元素的双重约束，确定出第一图像的目标车辆位置，使得目标车辆位置的定位更加准确。
需要说明的是，由于滑动窗中存在第一图像和第二图像，因此在确定第一图像的目标车辆位置时，第一图像会受到与其相邻的第二图像的目标车辆位置的影响，也就是说，滑动窗中第一图像和所有的第二图像，会在行驶距离的约束下相互关联，因此滑动窗中每帧图像的目标车辆位置应该满足：在相邻两帧图像中目标车辆位置之间的相对位置信息与车辆行驶距离尽可能接近的同时，各帧图像中道路元素的偏移也尽可能小。
本申请实施例通过采集车辆行驶前方的第一图像，并识别第一图像中的道路元素，为避免观测误差的问题，确定第一图像对应的局部坐标系，在第一图像对应的局部坐标系下确定道路元素的约束维度，并基于滑动窗进行多帧联合观测，通过滑动窗内除了第一图像之外的第二图像以及第一图像中道路元素的约束维度，确定第一图像中的目标车辆位置。在本申请实施例中，通过第一图像的局部坐标系进行道路元素的约束维度获取，确保在分析第一图像时，只根据当前局部坐标系下的约束进行，减少道路元素的约束维度对车辆定位错误的影响；同时，在对目标车辆位置进行确定时，通过多帧联合观测，减少单帧分析的误差，在多帧联合观测下，基于道路元素的约束维度确定目标车辆位置，提高对目标车辆位置定位的准确性。
图2为本申请实施例提供的另一种车辆位置的获取方法的流程示意图。如图2所示，该方法包括但不限于以下步骤：
S201，采集当前车辆行驶前方的第一图像，并识别第一图像中的一种或多种道路元素。
本申请实施例中，步骤S201的实现方法可以分别采用本公开的各实施例中的任一种方式实现，在此并不对此作出限定，也不再赘述。
S202，识别第一图像中的车道线，并获取第一图像对应的道路地图中的局部车道线。
在获取到第一图像之后，为了对第一图像中的道路元素进行更好的约束，通过获取第一图像对应的局部坐标系，确定第一图像中道路元素的约束维度。在获取第一图像对应的局部坐标系时，可以基于第一图像中较为稳定的道路元素为基础构建对应的局部坐标系。
可选地，可以以第一图像中的车道线为基础获取局部坐标系。第一图像中的车道线可以基于预训练的神经网络确定。
为了确保局部坐标系构建的合理性，在利用车道线构建局部坐标系时，需要确保车道线的合理性，因此可以获取第一图像对应的实际地图的道路图像，以此作为参考基础，从第一图像的车道线中选取更加合理的车道线。
S203，确定出第一图像与道路图像中存在重叠的目标车道线。
可选地，由于道路图像为实际地图中的图像，因此确定出第一图像中与道路图像中存在重叠的车道线作为目标车道线；基于目标车道线对该第一图像的局部坐标系进行构建，提高局部坐标系构建的合理性。
可选地，在获取与第一图像对比的道路图像时，可以确定第一图像的相邻第二图像，并获取相邻第二图像的车辆行驶参数；确定相邻第二图像的目标车辆位置，并根据相邻第二图像的目标车辆位置和车辆行驶参数，确定第一图像的预测车辆位置；根据预测车辆位置确定第一图像对应的道路图像。也就是说，基于预测车辆位置确定出第一图像所需要参考的道路图像，以减少使用过大的道路图像进行分析的计算量和成本，效率更高。
可选地，可以基于预测车辆位置在全局地图上进行初步定位，全局地图可以为世界地图、省区地图、市区地图等地图；在全局地图上初步定位出预测车辆位置之后，可以以预测车辆位置为中心构建矩形区域，将该矩形区域内的地图作为第一图像的道路地图。
S204，确定目标车道线在局部坐标系中的方向，并根据目标车道线的方向，确定车道线主方向。
在确定出目标车道线之后，根据目标车道线确定车道线主方向。
在一些实现中，只有一条目标车道线时，确定该目标车道线的方向，并将该目标车道线的方向作为车道线主方向。
在另一条实现中，当目标车道线为两条及两条以上时，获取每条目标车道线在局部的直线方向，并根据所有目标车道线的方向，确定车道线主方向。也就是说，获取每条目标车道线的方向，计算所有目标车道线的方向的主成分方向，将该主成分方向作为车道线主方向。
S205，获取局部坐标系的原点。
在确定出车道线主方向之后，还需要确定局部坐标系构建时的原点位置。
在一些实现中，只有一条目标车道线时，确定该目标车道线的目标特征位置点，将该目标特征位置点作为原点。
在另一些实现中，当目标车道线为两条及两条以上时，获取每条目标车道线的目标特征位置点，对目标特征位置点进行融合，得到全局目标特征位置点，作为局部坐标系的原点。
可选地，目标特征位置点可以为目标车道线的中点或者质心。
示例性说明，以目标特征位置点为中点进行说明，当只有一条目标车道线时，确定目标车道线的中点，例如，可以确定目标车道线起点和终点的坐标，基于该起点和终端的坐标，确定中点位置。进一步地，将该目标车道线的中点作为原点构建局部坐标系。
当目标车道线为两条及两条以上时，提取每个目标车道线的中点，进一步对所有目标车道线的中点进行融合，得到全局中点，进一步地，将该全局中点作为原点构建局部坐标系。
可选地，对所有目标车道线的中点进行融合，得到全局中点的方法：可以是将所有目标车道线的中点逐个进行连线得到连接线，将该连接线上的中点确定为全局中点；还可以是获取所有目标车道线的中点的坐标，基于所有中点的坐标，利用最小二乘法拟合出一条直线，以该直线的中点作为全局中点，将所有目标车道线的中点根据所有中点的坐标，确定出所有中点的中心位置。
S206，基于车道线主方向和原点，确定第一图像的局部坐标系。
可选地，可以以车道线主方向为第一坐标方向，垂直于车道线主方向为第二坐标方向，在原点处构建局部坐标系。其中，第一坐标方向可以为纵向，第二坐标方向可以为横向。由此基于车道线主方向和原点的位置，确定出第一图像的局部坐标系。
S207，在局部坐标系下，确定第一图像中道路元素的约束维度。
可选地，获取道路元素的类型，并基于道路元素的类型，确定局部坐标系下道路元素的约束维度。
可选地，约束维度中至少需要包括道路元素的约束维度。
示例性说明，道路元素的类型可以为车道线、地面标识、灯杆和路牌等，获取第一图像中道路元素的类型，道路元素的类型可以在利用神经网络识别第一图像中的道路元素的同时，将每个道路元素的类型进行标注。对于不同类型的道路元素，根据道路元素的类型确定道路元素的约束维度。例如车道线，在视觉高精定位中，车道线一般只能提供横向的约束，因此在确定出道路元素的类型为车道线时，车道线所对应的道路元素的约束维度为横向；地面标识、灯杆和路牌等一般只能提供纵向的约束，因此在确定出道路元素的类型为地面标识、灯杆或路牌时，地面标识、灯杆或路牌对应的道路元素的约束维度为纵向。
S208，获取第一图像所处的滑动窗，并获取滑动窗内除第一图像之外的第二图像。
本申请实施例中，步骤S208的实现方法可以分别采用本公开的各实施例中的任一种方式实现，在此并不对此作出限定，也不再赘述。
S209，根据第一图像中道路元素的约束维度和第二图像，获取第一图像对应的目标车辆位置。
可选地，道路元素的类型还可以分为线型和点型；其中，线型道路元素例如：车道线、停止线等；点型道路元素例如：灯杆、路牌、地面标识等。
需要说明的是，线型和点型不影响道路元素的约束维度确定。也就是说，道路元素的约束维度是基于道路元素的类型为车道线、地面标识、灯杆和路牌等确定的。
在实际基于道路元素的约束维度确定目标车辆位置时，需要在道路元素的约束维度下进行偏移的计算，对于点型的道路元素的偏移计算，实际是识别出的道路元素的点与匹配的地图道路元素的点之间的偏移；而对于线型的道路元素的偏移计算，是识别出的道路元素的点与实际的地图道路元素的线之间的偏移，也就是点与线之间的距离。
本申请实施例中，步骤S209的实现方法可以分别采用本公开的各实施例中的任一种方式实现，在此并不对此作出限定，也不再赘述。
本申请实施例中通过获取车辆行驶前方的第一图像，并识别第一图像中的道路元素、车道线，同时获取第一图像对应的道路图像作为参考基础；选取出第一图像中与道路图像中存在重叠的目标车道线，根据目标车道线的方向确定车道线主方向，根据车道线主方向和原点确定第一图像的局部坐标系，在该局部坐标系下获取第一图像中的目标车辆位置。在本申请实施例中，以道路图像作为基础，确定目标车道线进行分析，减少分析误差，根据第一图像中的目标车道线方向确定车道线主方向，能够保证在不同图像下，均是根据图像中实际的车道线情况确定自身的局部坐标系，并且当目标车道线不止一条时，通过获取所有目标车道线的主方向确定车道线主方向，还根据目标车道线的目标特征位置点确定第一图像中的原点，基于第一图像中目标车道线的车道线主方向和目标特征位置点确定局部坐标系，从而保证每帧图像中局部坐标系的构建都能够更加适应所对应的图像，基于每帧图像各自的局部坐标系下道路元素的约束维度，进行目标车辆位置的求解，准确性更高。
图3为本申请实施例提供的另一种车辆位置的获取方法的流程示意图。如图3所示，该方法包括但不限于以下步骤：
S301，采集当前车辆行驶前方的第一图像，并识别第一图像中的一种或多种道路元素。
本申请实施例中，步骤S301的实现方法可以分别采用本公开的各实施例中的任一种方式实现，在此并不对此作出限定，也不再赘述。
S302，确定第一图像的局部坐标系，并在局部坐标系下，确定第一图像中道路元素的约束维度。
本申请实施例中，步骤S302的实现方法可以分别采用本公开的各实施例中的任一种方式实现，在此并不对此作出限定，也不再赘述。
S303，获取第一图像所处的滑动窗，并获取滑动窗内除第一图像之外的第二图像。
本申请实施例中，步骤S303的实现方法可以分别采用本公开的各实施例中的任一种方式实现，在此并不对此作出限定，也不再赘述。
S304，获取第二图像在各自局部坐标系下自身的道路元素的约束维度。
可选地，由于第二图像也是车辆行驶前方的图像，因此第二图像中也会包含相应的道路元素。同样的，可以利用神经网络获取出第二图像中的道路元素，并根据第二图像中的目标车道线获取车道线主方向和原点的位置，以确定出每帧第二图像对应的局部坐标系。进一步地，基于第二图像中道路元素的类型，在第二图像各自的局部坐标系下，确定出对应的约束维度。
S305，获取滑动窗内相邻两帧图像间车辆的相对位置信息和车辆行驶参数。
可选地，在对滑动窗内多帧图像联合进行分析时，可以建立每相邻两帧图像间的联系，以此达到滑动窗内各图像之间相互关联的目的，提高最终确定的各帧图像中目标车辆位置的准确性。
在一些实现中，可以获取滑动窗内相邻两帧图像间车辆的相对位置信息，作为对应两帧图像间的联系；其中，相对位置信息可以包括相对距离和相对方向。例如，滑动窗内包括10帧，获取第1帧与第2帧之间车辆的相对距离和相对方向，第2帧和第3帧之间的相对距离和相对方向，以此类推，直至获取第9帧和第10帧之间的相对距离和相对方向。
需要说明的是，此处滑动窗内相邻两帧图像间车辆的相对位置信息，是由每帧图像之间目标车辆位置确定的，也就是说，在对滑动窗内每帧图像中目标车辆位置进行优化求解的同时，需要获取每相邻两帧图像中目标车辆位置间的相对位置信息。
在另一些实现中，除了采集车辆行驶前方的图像之外，还可以获取当前时刻的车辆行驶参数，车辆行驶参数可以为：角度、速度、加速度等数据。
S306，获取道路图像中的地图道路元素，针对滑动窗内每帧图像，确定与每帧图像中道路元素匹配的地图道路元素，并根据道路元素的约束维度，获取道路元素与匹配的地图道路元素之间的偏移。
可选地，获取滑动窗内每帧图像对应的道路图像作为参考，并获取道路图像中的地图道路元素。
进一步地，将滑窗内每帧图像中的道路元素与相对应的道路图像中的地图道路元素相匹配，确定与每帧图像中道路元素匹配的地图道路元素。
车辆定位准确的情况下，车辆采集图像中识别出的道路元素与相匹配的地图道路元素的位置应该重合，因此可通过获取具有匹配关系的道路元素和地图道路元素之间的偏移，来确定目标车辆位置。也就是说，在车辆位置求解优化过程中，具有匹配关系的道路元素和地图道路元素之间的偏移越小时，当前车辆所在位置越可能为目标车辆位置。
可选地，道路元素和地图道路元素之间的偏移可以通过欧式距离反映。并且，在计算道路元素和地图道路元素之间的偏移之前，需要将地图道路元素的坐标转换为局部坐标系下的坐标。
可选地，根据道路元素的约束维度，确定道路元素的约束方向；在道路元素的约束方向下，确定道路元素与匹配的地图道路元素的距离为偏移。也就是说，由于每帧图像中的道路元素均有对应的约束维度，因此在获取道路元素与相匹配的地图道路元素之间的偏移时，需要在该道路元素对应的约束维度下进行计算。
本申请实施例中，步骤S306的实现方法可以分别采用本公开的各实施例中的任一种方式实现，在此并不对此作出限定，也不再赘述。
S307，根据相邻两帧图像的车辆行驶参数，确定相邻两帧图像之间的车辆行驶距离。
在确定出滑动窗内每帧图像的车辆行驶参数，可以确定相邻两帧图像之间的车辆行驶距离。也就是说，对于任一帧图像而言，获取到该帧图像的车辆行驶参数，由于车辆行驶参数中包括速度等参数，因此根据该帧图像到下一帧图像之间的时间间隔，以及车辆行驶参数，可以得到每相邻两帧图像的该帧图像到下一帧图像中车辆的车辆行驶距离。
S308，基于滑动窗内每帧图像的偏移和车辆行驶距离，以及相对位置信息，确定第一图像对应的目标车辆位置。
在对每帧图像中目标车辆位置进行求解的过程中，获取了每帧图像的偏移，以及每两帧图像间车辆的相对位置信息。同时，还根据每帧图像的车辆行驶参数，确定了每两帧图像间的车辆行驶距离。
可选地，将相邻两帧图像的相对位置信息与车辆行驶距离之间的差异作为位置约束；对每帧图像的偏移进行优化求解，获取位置约束与偏移最小时的车辆位置，作为第一图像对应的目标车辆位置。
本申请实施例中，以每帧图像的偏移作为第一约束条件，以相邻两帧图像间车辆的相对位置信息与车辆行驶距离之间的差异作为第二约束条件，基于第一约束条件和第二约束条件进行优化求解，得到滑动窗内每帧图像中的目标车辆位置。也就是说，在每帧图像的偏移，和相邻两帧图像的相对位置信息与车辆行驶距离的差异都最小时，获取此时的车辆位置，作为第一图像对应的目标车辆位置。其中，每帧图像的偏移，和相邻两帧图像的相对位置信息与车辆行驶距离的差异都最小时，也就是每帧图像的偏移，和相邻两帧图像的相对位置信息与车辆行驶距离的差异的综合值最小。
示例性说明，第一约束条件为每帧图像的偏移，偏移越小，说明图像中的道路元素与地图道路元素越接近，当前车辆位置越可能为目标车辆位置；同时，第二约束条件为相邻两帧图像间车辆的相对位置信息与车辆行驶距离之间的差异，差异越小说明相邻两帧图像间车辆的相对位置信息与车辆行驶距离越接近，当前车辆位置越可能为目标车辆位置，因此最终确定出的相邻两帧图像间车辆的相对位置信息与该两帧图像间的车辆行驶距离的差异最小时，且每帧图像的偏移也最小时的车辆位置为当前帧图像的目标车辆位置。
综上，本申请实施例中通过获取车辆行驶前方的第一图像，并识别第一图像中的道路元素和构建第一图像的局部坐标系，在局部坐标系下确定道路元素的约束维度；对滑动窗内的每帧图像进行分析，确定每帧图像中道路元素的约束维度，以及每帧图像中道路元素与相匹配的地图道路元素之间的偏移；同时，还结合每帧图像的车辆行驶参数确定车辆行驶距离，以车辆行驶距离和相邻两帧图像之间车辆的相对位置信息，确定滑动窗中每帧图像的目标车辆位置。在本申请实施例中，根据滑动窗内的多帧图像进行联合分析，通过每帧图像各自的局部坐标系，确定图像中道路元素的约束维度；结合每帧图像的车辆行驶参数确定车辆行驶距离，并获取相邻两帧图像之间的相对位置信息；以局部坐标系的约束维度下，道路元素与地图道路元素的偏移作为第一约束条件，以相对位置信息是否满足车辆行驶距离作为第二约束条件，基于第一约束条件和第二约束条件优化求解得到滑动窗内每帧图像的目标车辆位置，减少了单帧分析的误差和波动，提高目标车辆位置获取的准确性，并且结合两个约束条件进行目标车辆位置的求解，得到的目标车辆位置更加可靠。
图4为本申请实施例提供的另一种车辆位置的获取方法的流程示意图。如图4所示，该方法包括但不限于以下步骤：
S401，采集当前车辆行驶前方的第一图像，并识别第一图像中的一种或多种道路元素。
本申请实施例中，步骤S401的实现方法可以分别采用本公开的各实施例中的任一种方式实现，在此并不对此作出限定，也不再赘述。
S402，识别第一图像中的车道线，并获取第一图像对应的道路图像中的局部车道线。
本申请实施例中，步骤S402的实现方法可以分别采用本公开的各实施例中的任一种方式实现，在此并不对此作出限定，也不再赘述。
S403，确定出第一图像与道路图像中存在重叠的目标车道线。
本申请实施例中，步骤S403的实现方法可以分别采用本公开的各实施例中的任一种方式实现，在此并不对此作出限定，也不再赘述。
S404，确定目标车道线的方向，并根据目标车道线的方向，确定车道线主方向。
本申请实施例中，步骤S404的实现方法可以分别采用本公开的各实施例中的任一种方式实现，在此并不对此作出限定，也不再赘述。
S405，获取局部坐标系的原点。
本申请实施例中，步骤S405的实现方法可以分别采用本公开的各实施例中的任一种方式实现，在此并不对此作出限定，也不再赘述。
S406，基于车道线主方向和原点，确定第一图像的局部坐标系。
本申请实施例中，步骤S406的实现方法可以分别采用本公开的各实施例中的任一种方式实现，在此并不对此作出限定，也不再赘述。
S407，在局部坐标系下，确定第一图像中道路元素的约束维度。
本申请实施例中，步骤S407的实现方法可以分别采用本公开的各实施例中的任一种方式实现，在此并不对此作出限定，也不再赘述。
S408，获取第一图像所处的滑动窗，并获取滑动窗内除第一图像之外的第二图像。
本申请实施例中，步骤S408的实现方法可以分别采用本公开的各实施例中的任一种方式实现，在此并不对此作出限定，也不再赘述。
S409，获取第二图像在各自局部坐标系下自身的道路元素的约束维度。
本申请实施例中，步骤S409的实现方法可以分别采用本公开的各实施例中的任一种方式实现，在此并不对此作出限定，也不再赘述。
S410，获取滑动窗内相邻两帧图像间车辆的相对位置信息和车辆行驶参数。
本申请实施例中，步骤S410的实现方法可以分别采用本公开的各实施例中的任一种方式实现，在此并不对此作出限定，也不再赘述。
S411，获取道路图像中的地图道路元素，针对滑动窗内每帧图像，确定与每帧图像中道路元素匹配的地图道路元素，并根据道路元素的约束维度，获取道路元素与匹配的地图道路元素之间的偏移。
本申请实施例中，步骤S411的实现方法可以分别采用本公开的各实施例中的任一种方式实现，在此并不对此作出限定，也不再赘述。
S412，根据相邻两帧图像的车辆行驶参数，确定相邻两帧图像之间的车辆行驶距离。
本申请实施例中，步骤S412的实现方法可以分别采用本公开的各实施例中的任一种方式实现，在此并不对此作出限定，也不再赘述。
S413，基于滑动窗内每帧图像的偏移和车辆行驶距离，以及相对位置信息，确定第一图像对应的目标车辆位置。
本申请实施例中，步骤S413的实现方法可以分别采用本公开的各实施例中的任一种方式实现，在此并不对此作出限定，也不再赘述。
综上，本申请实施例通过采集车辆行驶前方的第一图像，并识别第一图像中的道路元素、车道线，同时获取第一图像对应的道路图像作为参考基础；选取出第一图像中与道路图像中存在重叠的目标车道线，根据目标车道线的方向确定车道线主方向，根据车道线主方向和原点确定第一图像的局部坐标系，在第一图像对应的局部坐标系下确定道路元素的约束维度，并基于滑动窗进行多帧联合观测，确定每帧图像中道路元素的约束维度，以及每帧图像中道路元素与相匹配的地图道路元素之间的偏移；同时，还结合每帧图像的车辆行驶参数确定车辆行驶距离，以车辆行驶距离和相邻两帧图像之间车辆的相对位置信息，确定滑动窗中每帧图像的目标车辆位置。在本申请实施例中，利用目标车道线确定图像各自的局部坐标系，适应性更强且局部坐标系的构建较为方便准确。在局部坐标系下分析道路元素的约束维度，准确性更高。基于滑动窗进行多帧联合观测，可以减少单帧分析的误差和波动，并且对于滑动窗内每帧图像，以局部坐标系的约束维度下，道路元素与地图道路元素的偏移作为第一约束条件，以相对位置信息是否满足车辆行驶距离作为第二约束条件，基于第一约束条件和第二约束条件优化求解得到滑动窗内每帧图像的目标车辆位置，得到的目标车辆位置更加可靠，准确性更高。
图5为本申请实施例提供的一种车辆位置的获取装置的结构示意图。如图5所示，该车辆位置的获取装置500，包括：
第一获取模块501，用于采集当前车辆行驶前方的第一图像，并识别第一图像中的一种或多种道路元素；
第二获取模块502，用于确定第一图像的局部坐标系，并在局部坐标系下，确定第一图像中道路元素的约束维度；
第三获取模块503，用于获取第一图像所处的滑动窗，并获取滑动窗内除第一图像之外的第二图像；
位置确定模块504，用于根据第一图像中道路元素的约束维度和第二图像，获取第一图像对应的目标车辆位置。
在一些实现中，第二获取模块502，用于：
识别第一图像中的车道线，并获取第一图像对应的道路地图中的局部车道线；
确定出第一图像与道路地图中存在重叠的目标车道线；
根据目标车道线，确定第一图像的局部坐标系。
在一些实现中，第二获取模块502，用于：
确定目标车道线在局部坐标系中的方向，并根据目标车道线的方向，确定车道线主方向；
获取局部坐标系的原点；
基于车道线主方向和原点，确定第一图像的局部坐标系。
在一些实现中，第二获取模块502，用于：
以车道线主方向为第一坐标方向，垂直于车道线主方向为第二坐标方向，在原点处构建局部坐标系。
在一些实现中，第二获取模块502，用于：
根据目标车道线的位置确定目标特征位置点；
基于目标特征位置点，确定局部坐标系的原点。
在一些实现中，第二获取模块502，用于：
当目标车道线为两条及两条以上时，获取每条目标车道线的目标特征位置点，对目标特征位置点进行融合，得到全局目标特征位置点，作为局部坐标系的原点。
在一些实现中，第二获取模块502，用于：
确定第一图像的相邻第二图像，并获取相邻第二图像的车辆行驶参数；
确定相邻第二图像的目标车辆位置，并根据相邻第二图像的目标车辆位置和车辆行驶参数，确定第一图像的预测车辆位置；
根据预测车辆位置确定道路图像。
在一些实现中，第二获取模块502，用于：
获取道路元素的类型，并基于道路元素的类型，确定局部坐标系下道路元素的约束维度。
在一些实现中，位置确定模块504，用于：
获取第二图像在各自局部坐标系下自身的道路元素的约束维度；
获取滑动窗内相邻两帧图像间车辆的相对位置信息和车辆行驶参数；
根据滑动窗内每帧图像的道路元素的约束维度，以及相邻两帧图像的相对位置信息和车辆行驶参数，确定第一图像对应的目标车辆位置。
在一些实现中，位置确定模块504，用于：
获取道路图像中的地图道路元素，针对滑动窗内每帧图像，确定与每帧图像中道路元素匹配的地图道路元素，并根据道路元素的约束维度，获取道路元素与匹配的地图道路元素之间的偏移；
根据相邻两帧图像的车辆行驶参数，确定相邻两帧图像之间的车辆行驶距离；
基于滑动窗内每帧图像的偏移和车辆行驶距离，以及相对位置信息，确定第一图像对应的目标车辆位置。
在一些实现中，位置确定模块504，用于：
将相邻两帧图像的相对位置信息与车辆行驶距离之间的差异作为位置约束；对每帧图像的偏移进行优化求解，获取位置约束与偏移最小时的车辆位置，作为第一图像对应的目标车辆位置。
在一些实现中，位置确定模块504，用于：
根据道路元素的约束维度，确定道路元素的约束方向；
在道路元素的约束方向下，确定道路元素与匹配的地图道路元素的距离为偏移。
本申请实施例通过采集车辆行驶前方的第一图像，并识别第一图像中的道路元素，为避免观测误差的问题，确定第一图像对应的局部坐标系，在第一图像对应的局部坐标系下确定道路元素的约束维度，并基于滑动窗进行多帧联合观测，通过滑动窗内除了第一图像之外的第二图像以及第一图像中道路元素的约束维度，确定第一图像中的目标车辆位置。在本申请实施例中，通过第一图像的局部坐标系进行道路元素的约束维度获取，确保在分析第一图像时，只根据当前局部坐标系下的约束进行，减少道路元素的约束维度对车辆定位错误的影响；同时，在对目标车辆位置进行确定时，通过多帧联合观测，减少单帧分析的误差，并以相邻两帧图像之间的行驶距离作为另一约束，结合道路元素在对应约束维度下与实际地图道路元素之间的偏移，确定目标车辆位置，两个方面的约束，有效提高了对目标车辆位置定位的准确性。
图6是根据一示例性实施例示出的一种电子设备框图。如图6所示，电子设备600包括车辆位置的获取装置500。该电子设备可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
根据本申请实施例的还提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器，其中，所述处理器被配置为执行所述指令，以实现如上所述的车辆位置的获取方法。
为了实现上述实施例，本申请还提出了一种存储介质。
其中，当存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上所述的车辆位置的获取方法。
为了实现上述实施例，本申请还提供一种计算机程序产品。
其中，该计算机程序产品由电子设备的处理器执行时，使得电子设备能够执行如上所述的方法。
图7是根据一示例性实施例示出的一种电子设备框图。图7示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图7所示，电子设备700包括处理器701，其可以根据存储在只读存储器（ROM，Read Only Memory）702中的程序或者从存储器706加载到随机访问存储器（RAM，RandomAccess Memory）703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有电子设备700操作所需的各种程序和数据。处理器701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出（I/O，Input / Output）接口705也连接至总线704。
以下部件连接至I/O接口705：包括硬盘等的存储器706；以及包括诸如LAN（局域网，Local Area Network）卡、调制解调器等的网络接口卡的通信部分707，通信部分707经由诸如因特网的网络执行通信处理；驱动器708也根据需要连接至I/O接口705。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分707从网络上被下载和安装。在该计算机程序被处理器701执行时，执行本申请的方法中限定的上述功能。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器，上述指令可由电子设备700的处理器701执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。
在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
图8是根据一示例性实施例示出的一种电子设备的结构框图。图8示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。如图8所示，该电子设备800包括处理器801和存储器802。其中，存储器802用于存储程序代码，处理器801与存储器802连接，用于从存储器802内读取程序代码，以实现上述实施例中车辆位置的获取方法。
可选地，处理器801的数量可以是一个或多个。
可选地，电子设备还可以包括接口803，该接口803的数量可以是多个。该接口803可以与应用程序连接，并且可以接收外部设备如传感器的数据等。
图9是根据一示例性实施例示出的一种车辆900的框图，电子设备为车辆900。例如车辆900可以是混合动力车辆，也可以是非混合动力车辆、电动车辆、燃料电池车辆或者其他类型的车辆。车辆900可以是自动驾驶车辆、半自动驾驶车辆或者非自动驾驶车辆。
参照图9，车辆900可包括各种子***，例如，信息娱乐***910、感知***920、决策控制***930、驱动***940以及计算平台950。其中，车辆900还可以包括更多或更少的子***，并且每个子***都可包括多个部件。另外，车辆900的每个子***之间和每个部件之间可以通过有线或者无线的方式实现互连。
在一些实施例中，信息娱乐***910可以包括通信***，娱乐***以及导航***等。
感知***920可以包括若干种传感器，用于感测车辆900周边的环境的信息。例如，感知***920可包括全球定位***（全球定位***可以是GPS***，也可以是北斗***或者其他定位***）、惯性测量单元（inertial measurement unit，IMU）、激光雷达、毫米波雷达、超声雷达以及摄像装置。
决策控制***930可以包括计算***、整车控制器、转向***、油门以及制动***。
驱动***940可以包括为车辆900提供动力运动的组件。在一个实施例中，驱动***940可以包括引擎、能量源、传动***和车轮。引擎可以是内燃机、电动机、空气压缩引擎中的一种或者多种的组合。引擎能够将能量源提供的能量转换成机械能量。
车辆900的部分或所有功能受计算平台950控制。计算平台950可包括至少一个处理器951和存储器952，处理器951可以执行存储在存储器952中的指令953。
处理器951可以是任何常规的处理器，诸如商业可获得的CPU。处理器还可以包括诸如图像处理器（Graphic Process Unit，GPU），现场可编程门阵列（Field ProgrammableGate Array，FPGA）、片上***（System on Chip，SOC）、专用集成芯片（ApplicationSpecific Integrated Circuit，ASIC）或它们的组合。
存储器952可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。
除了指令953以外，存储器952还可存储数据，例如道路地图，路线信息，车辆的位置、方向、速度等数据。存储器952存储的数据可以被计算平台950使用。
在本公开实施例中，处理器951可以执行指令953，以完成上述的车辆位置的获取方法的全部或部分步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (14)

1.一种车辆位置的获取方法，其特征在于，包括：
采集当前车辆行驶前方的第一图像，并识别所述第一图像中的一种或多种道路元素；
确定所述第一图像的局部坐标系，并在所述第一图像的局部坐标系下，确定所述第一图像中道路元素的约束维度，所述道路元素的约束维度用于约束所述道路元素在参与车辆位置求解时所利用的方向；
获取所述第一图像所处的滑动窗，并获取滑动窗内除所述第一图像之外的第二图像；
根据所述第一图像中道路元素的约束维度和所述第二图像，获取所述第一图像对应的目标车辆位置；
所述确定所述第一图像的局部坐标系，包括：
识别所述第一图像中的车道线，并获取所述第一图像对应的道路地图中的局部车道线；
确定出所述第一图像与所述道路地图中存在重叠的目标车道线；
根据所述目标车道线，确定所述第一图像的局部坐标系；
所述根据所述第一图像中道路元素的约束维度和所述第二图像，获取所述第一图像对应的目标车辆位置，还包括：
获取所述第二图像在各自局部坐标系下自身的道路元素的约束维度；
获取所述滑动窗内相邻两帧图像间车辆的相对位置信息和车辆行驶参数；
根据所述滑动窗内每帧图像的所述道路元素的约束维度，以及相邻两帧图像的所述相对位置信息和所述车辆行驶参数，确定所述第一图像对应的目标车辆位置；
其中，以每帧图像的偏移作为第一约束条件，以所述相邻两帧图像间车辆的相对位置信息与车辆行驶距离之间的差异作为第二约束条件，基于所述第一约束条件和所述第二约束条件进行优化求解，得到所述滑动窗内每帧图像中的目标车辆位置。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标车道线，确定所述第一图像的局部坐标系，包括：
确定所述目标车道线在所述局部坐标系中的方向，并根据所述目标车道线的方向，确定车道线主方向；
获取所述局部坐标系的原点；
基于车道线主方向和所述原点，确定所述第一图像的局部坐标系。
3.根据权利要求2所述的方法，其特征在于，所述基于车道线主方向和所述原点，确定所述第一图像的局部坐标系，包括：
以所述车道线主方向为第一坐标方向，垂直于所述车道线主方向为第二坐标方向，在所述原点处构建所述局部坐标系。
4.根据权利要求2所述的方法，其特征在于，所述获取所述局部坐标系的原点，包括：
根据所述目标车道线的位置确定目标特征位置点；
基于所述目标特征位置点，确定所述局部坐标系的原点。
5.根据权利要求4所述的方法，其特征在于，所述基于所述目标特征位置点，确定所述局部坐标系的原点，包括：
当所述目标车道线为两条及两条以上时，获取每条所述目标车道线的目标特征位置点，对所述目标特征位置点进行融合，得到全局目标特征位置点，作为所述局部坐标系的原点。
6.根据权利要求1所述的方法，其特征在于，所述获取所述第一图像对应的道路地图，包括：
确定所述第一图像的相邻第二图像，并获取所述相邻第二图像的车辆行驶参数；
确定所述相邻第二图像的目标车辆位置，并根据所述相邻第二图像的目标车辆位置和所述车辆行驶参数，确定所述第一图像的预测车辆位置；
根据所述预测车辆位置确定所述第一图像对应的道路图像。
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述在所述第一图像的局部坐标系下，确定所述第一图像中道路元素的约束维度，包括：
获取所述道路元素的类型，并基于所述道路元素的类型，确定所述局部坐标系下道路元素的约束维度。
8.根据权利要求1所述的方法，其特征在于，所述根据所述滑动窗内每帧图像的所述道路元素的约束维度，以及相邻两帧图像的所述相对位置信息和所述车辆行驶参数，确定所述第一图像对应的目标车辆位置，包括：
获取道路图像中的地图道路元素，针对所述滑动窗内每帧图像，确定与每帧图像中道路元素匹配的地图道路元素，并根据所述道路元素的约束维度，获取所述道路元素与所述匹配的地图道路元素之间的偏移；
根据相邻两帧图像的所述车辆行驶参数，确定相邻两帧图像之间的车辆行驶距离；
基于所述滑动窗内每帧图像的所述偏移和所述车辆行驶距离，以及所述相对位置信息，确定所述第一图像对应的目标车辆位置。
9.根据权利要求8所述的方法，其特征在于，所述基于所述滑动窗内每帧图像的所述偏移和所述车辆行驶距离，以及所述相对位置信息，确定所述第一图像对应的目标车辆位置，包括：
将相邻两帧图像的所述相对位置信息与所述车辆行驶距离之间的差异作为位置约束；对每帧图像的偏移进行优化求解，获取所述位置约束与所述偏移最小时的车辆位置，作为所述第一图像对应的目标车辆位置。
10.根据权利要求9所述的方法，其特征在于，所述根据所述道路元素的约束维度，获取所述道路元素与所述匹配的地图道路元素之间的偏移，包括：
根据所述道路元素的约束维度，确定所述道路元素的约束方向；
在所述道路元素的约束方向下，确定所述道路元素与所述匹配的地图道路元素的距离为所述偏移。
11.一种车辆位置的获取装置，其特征在于，包括：
第一获取模块，用于采集当前车辆行驶前方的第一图像，并识别所述第一图像中的一种或多种道路元素；
第二获取模块，用于确定所述第一图像的局部坐标系，并在所述第一图像的局部坐标系下，确定所述第一图像中道路元素的约束维度，所述道路元素的约束维度用于约束所述道路元素在参与车辆位置求解时所利用的方向；
第三获取模块，用于获取所述第一图像所处的滑动窗，并获取滑动窗内除所述第一图像之外的第二图像；
位置确定模块，用于根据所述第一图像中道路元素的约束维度和所述第二图像，获取所述第一图像对应的目标车辆位置；
所述确定所述第一图像的局部坐标系，包括：
识别所述第一图像中的车道线，并获取所述第一图像对应的道路地图中的局部车道线；
确定出所述第一图像与所述道路地图中存在重叠的目标车道线；
根据所述目标车道线，确定所述第一图像的局部坐标系；
所述根据所述第一图像中道路元素的约束维度和所述第二图像，获取所述第一图像对应的目标车辆位置，还包括：
获取所述第二图像在各自局部坐标系下自身的道路元素的约束维度；
获取所述滑动窗内相邻两帧图像间车辆的相对位置信息和车辆行驶参数；
根据所述滑动窗内每帧图像的所述道路元素的约束维度，以及相邻两帧图像的所述相对位置信息和所述车辆行驶参数，确定所述第一图像对应的目标车辆位置；
其中，以每帧图像的偏移作为第一约束条件，以所述相邻两帧图像间车辆的相对位置信息与车辆行驶距离之间的差异作为第二约束条件，基于所述第一约束条件和所述第二约束条件进行优化求解，得到所述滑动窗内每帧图像中的目标车辆位置。
12.一种电子设备，其特征在于，包括：如权利要求11所述的装置。
13.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至10中任一项所述的方法。
14.一种非临时性计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至10中任一项所述的方法。
CN202310756847.1A 2023-06-26 2023-06-26 车辆位置的获取方法、装置及电子设备 Active CN116503482B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310756847.1A CN116503482B (zh) 2023-06-26 2023-06-26 车辆位置的获取方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310756847.1A CN116503482B (zh) 2023-06-26 2023-06-26 车辆位置的获取方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN116503482A CN116503482A (zh) 2023-07-28
CN116503482B true CN116503482B (zh) 2023-10-20

Family

ID=87328687

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310756847.1A Active CN116503482B (zh) 2023-06-26 2023-06-26 车辆位置的获取方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN116503482B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113075716A (zh) * 2021-03-19 2021-07-06 地平线(上海)人工智能技术有限公司 基于图像的车辆定位方法和装置、存储介质以及电子设备
CN114018274A (zh) * 2021-11-18 2022-02-08 阿波罗智能技术(北京)有限公司 车辆定位方法、装置及电子设备
WO2022147924A1 (zh) * 2021-01-05 2022-07-14 广州汽车集团股份有限公司 车辆定位方法和装置、存储介质及电子设备
CN114820769A (zh) * 2022-05-09 2022-07-29 安徽蔚来智驾科技有限公司 车辆定位方法、装置、计算机设备、存储介质及车辆
CN115112125A (zh) * 2022-07-15 2022-09-27 智道网联科技(北京)有限公司 自动驾驶车辆的定位方法、装置及电子设备、存储介质
CN115661299A (zh) * 2022-12-27 2023-01-31 安徽蔚来智驾科技有限公司 车道线地图的构建方法、计算机设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022147924A1 (zh) * 2021-01-05 2022-07-14 广州汽车集团股份有限公司 车辆定位方法和装置、存储介质及电子设备
CN113075716A (zh) * 2021-03-19 2021-07-06 地平线(上海)人工智能技术有限公司 基于图像的车辆定位方法和装置、存储介质以及电子设备
CN114018274A (zh) * 2021-11-18 2022-02-08 阿波罗智能技术(北京)有限公司 车辆定位方法、装置及电子设备
CN114820769A (zh) * 2022-05-09 2022-07-29 安徽蔚来智驾科技有限公司 车辆定位方法、装置、计算机设备、存储介质及车辆
CN115112125A (zh) * 2022-07-15 2022-09-27 智道网联科技(北京)有限公司 自动驾驶车辆的定位方法、装置及电子设备、存储介质
CN115661299A (zh) * 2022-12-27 2023-01-31 安徽蔚来智驾科技有限公司 车道线地图的构建方法、计算机设备及存储介质

Also Published As

Publication number Publication date
CN116503482A (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
JP6862409B2 (ja) 地図生成及び移動主体の位置決めの方法及び装置
EP3505869B1 (en) Method, apparatus, and computer readable storage medium for updating electronic map
EP3875985B1 (en) Method, apparatus, computing device and computer-readable storage medium for positioning
Suhr et al. Sensor fusion-based low-cost vehicle localization system for complex urban environments
US11144770B2 (en) Method and device for positioning vehicle, device, and computer readable storage medium
CN109767637B (zh) 倒计时信号灯识别及处理的方法和装置
US10996072B2 (en) Systems and methods for updating a high-definition map
CN111742326A (zh) 车道线的检测方法、电子设备与存储介质
US10996337B2 (en) Systems and methods for constructing a high-definition map based on landmarks
EP4403879A1 (en) Vehicle, vehicle positioning method and apparatus, device, and computer-readable storage medium
CN115205803A (zh) 自动驾驶环境感知方法、介质及车辆
WO2020113425A1 (en) Systems and methods for constructing high-definition map
CN116486377B (zh) 可行驶区域的生成方法及装置
CN116503482B (zh) 车辆位置的获取方法、装置及电子设备
CN111351497A (zh) 一种车辆的定位方法、装置、地图的构建方法和装置
CN115112125A (zh) 自动驾驶车辆的定位方法、装置及电子设备、存储介质
CN116762094A (zh) 数据处理方法和设备
WO2021056185A1 (en) Systems and methods for partially updating high-definition map based on sensor data matching
CN112880692A (zh) 地图数据标注方法及装置、存储介质
CN118050010B (zh) 车辆的定位方法、装置、车辆、存储介质和程序产品
CN116630923B (zh) 道路消失点的标注方法、装置及电子设备
CN116678423B (zh) 多源融合定位方法、装置及车辆
US11620831B2 (en) Register sets of low-level features without data association
CN116664680A (zh) 杆件检测方法、装置及电子设备
CN117893634A (zh) 一种同时定位与地图构建方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant