CN112667837A - 图像数据自动标注方法及装置 - Google Patents

图像数据自动标注方法及装置 Download PDF

Info

Publication number
CN112667837A
CN112667837A CN201910983438.9A CN201910983438A CN112667837A CN 112667837 A CN112667837 A CN 112667837A CN 201910983438 A CN201910983438 A CN 201910983438A CN 112667837 A CN112667837 A CN 112667837A
Authority
CN
China
Prior art keywords
coordinate system
map
road
information
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910983438.9A
Other languages
English (en)
Inventor
付万增
王哲
石建萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Lingang Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority to CN201910983438.9A priority Critical patent/CN112667837A/zh
Priority to JP2021539968A priority patent/JP2022517961A/ja
Priority to KR1020217017022A priority patent/KR20220053513A/ko
Priority to PCT/CN2020/122514 priority patent/WO2021073656A1/zh
Publication of CN112667837A publication Critical patent/CN112667837A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3667—Display of a road map
    • G01C21/367—Details, e.g. road map scale, orientation, zooming, illumination, level of detail, scrolling of road map or positioning of current position marker
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3844—Data obtained from position sensors only, e.g. from inertial navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863—Structures of map data
    • G01C21/387—Organisation of map data, e.g. version management or database structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种图像数据自动标注方法及装置。该方法包括：获取车辆定位信息、地图数据和车辆采集图像，其中，地图数据包括道路信息；根据车辆定位信息，获取车辆定位信息对应的局部区域内的地图图像上的道路信息；以及将地图图像上的道路信息投影到车辆采集图像上，以在车辆采集图像上标注道路信息。

Description

图像数据自动标注方法及装置
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像数据自动标注方法及装置。
背景技术
训练神经网络从一张道路图片中识别出车道线，需要准备足够多的道路图片以及对应的经过人为认真标注过的车道线位置和属性的标签。只有通过提供丰富的道路图片数据和具有人类先验知识的标签数据让神经网络经过充分训练之后，神经网络才能够具备从新道路图片中识别出车道线的能力。
然而，图像数据人工标注是一个极度耗神的重复过程，人工成本高，效率低，并且随着标注时间的增长，出错的概率也明显增加。
发明内容
本公开提供一种图像数据自动标注的技术方案。
第一方面，提供了一种图像数据自动标注方法，所述方法包括：
获取车辆定位信息、地图图像和车辆采集图像，其中，所述地图图像包括道路信息；
根据所述车辆定位信息，获取所述车辆定位信息对应的局部区域内的所述地图图像上的道路信息；
将所述地图图像上的道路信息投影到所述车辆采集图像上，以在所述车辆采集图像上标注所述道路信息。
在一个实现中，所述根据所述车辆定位信息，获取所述车辆定位信息对应的局部区域内的所述地图图像上的道路信息，包括：
以所述局部区域内的地图图像为根节点，依次查询所述局部区域内的地图图像的地图道路元素的属性信息，其中，所述地图道路元素的属性信息包括以下至少一个信息：所述地图道路元素的语义信息，所述地图道路元素的位置信息，所述地图道路元素的形状信息。
在又一个实现中，所述方法还包括：
根据所述车辆定位信息和所述地图图像的范围，确定所述局部区域的范围；
所述根据所述车辆定位信息，获取所述车辆定位信息对应的局部区域内的所述地图图像上的道路信息，包括：
获取所述局部区域的范围内的所述地图图像上的地图道路元素的属性信息。
在又一个实现中，所述地图图像基于世界全局坐标系，所述将所述地图图像上的道路信息投影到车辆采集图像上之前，所述方法还包括：
将基于所述世界全局坐标系的地图图像转换到车体坐标系上，得到基于所述车体坐标系的地图图像；
所述将所述地图图像上的道路信息投影到车辆采集图像上，包括：
将基于所述车体坐标系的地图图像转换到相机坐标系和/或像素坐标系，以将所述地图图像上的道路信息投影到所述车辆采集图像上。
在又一个实现中，所述将基于所述世界全局坐标系的地图图像转换到车体坐标系上，得到基于所述车体坐标系的地图图像，包括：
根据所述车辆定位信息，得到旋转平移矩阵的旋转角度和平移量；
根据所述旋转平移矩阵，将基于所述世界全局坐标系的地图图像转换到所述车体坐标系上，得到基于所述车体坐标系的地图图像。
在又一个实现中，所述地图图像为二维地图，所述将基于所述车体坐标系的地图图像转换到相机坐标系和/或像素坐标系，以将所述地图图像上的道路信息投影到所述车辆采集图像上，包括：
获取所述像素坐标系和所述车体坐标系之间的单应性矩阵；
采用齐次坐标系表示基于所述车体坐标系的地图图像；
根据所述单应性矩阵，将所述采用齐次坐标系表示的基于所述车体坐标系的地图图像，转换到所述像素坐标系上，得到投影到所述像素坐标系上的车辆采集图像的道路信息。
在又一个实现中，所述地图图像为三维地图，所述将基于所述车体坐标系的地图图像转换到相机坐标系和/或像素坐标系，以将所述地图图像上的道路信息投影到所述车辆采集图像上，包括：
根据所述车体坐标系与所述相机坐标系之间的旋转平移矩阵，将所述基于车体坐标系的地图图像转换到所述相机坐标系上，得到投影到所述相机坐标系上的车辆采集图像的道路信息；
根据所述相机坐标系与所述像素坐标系之间的投影矩阵，将投影到所述相机坐标系上的车辆采集图像的道路信息转换到所述像素坐标系上，得到投影到所述像素坐标系上的车辆采集图像的道路信息。
在又一个实现中，所述方法还包括：
经用于提取道路信息的神经网络对所述车辆采集图像进行道路信息提取处理，得到感知道路信息；
根据所述感知道路信息，对投影到所述车辆采集图像上的道路信息进行修正。
在又一个实现中，所述根据所述感知道路信息，对投影到所述车辆采集图像上的道路信息进行修正，包括：
确定所述感知道路信息中的感知道路元素与投影到所述车辆采集图像上的道路信息中的地图道路元素之间的偏移信息；
根据所述偏移信息，对投影到所述车辆采集图像上的道路信息进行修正。
在又一个实现中，所述确定所述感知道路信息中的感知道路元素与投影到所述车辆采集图像上的道路信息中的地图道路元素之间的偏移信息，包括：
根据所述感知道路元素的属性信息，从所述地图图像中确定与所述感知道路元素配对的地图道路元素；
确定配对的感知道路元素和地图道路元素在同一设备坐标系下的位置信息；
基于所述位置信息确定配对的感知道路元素和地图道路元素之间的定位偏移量。
在又一个实现中，根据所述感知道路元素的属性信息，从所述地图中确定与所述感知道路元素配对的地图道路元素，包括：
在所述地图图像中，基于所述车辆定位信息查找预设范围内的地图道路元素；
将所述车辆采集图像中的感知道路元素与所述预设范围内的地图道路元素基于属性信息进行两两配对，获得多种配对方案，其中，不同配对方案中至少一感知道路元素与所述预设范围内的地图道路元素的配对方式不同；
确定每个所述配对方案的置信度；
在所述多种配对方案中置信度最高或超过设定阈值的配对方案中，确定与所述感知道路元素配对的地图道路元素。
在又一个实现中，将所述车辆采集图像中的感知道路元素与所述预设范围内的地图道路元素进行配对，包括：
响应于所述车辆采集图像中的感知道路元素在所述预设范围内的地图道路元素无法确定配对的道路元素时，在待进行配对的地图道路元素中设置空或虚拟元素与所述感知道路元素配对。
在又一个实现中，确定每个所述配对方案的置信度，包括：
分别确定每个所述配对方案中每个感知道路元素和地图道路元素的配对的个体相似度；
确定每个所述配对方案中各感知道路元素和地图道路元素配对的整体相似度；
根据每个所述配对方案的各个体相似度和整体相似度，确定每个所述配对方案的置信度。
在又一个实现中，所述定位偏移量包括坐标偏移量和/或方向偏移量；
基于所述车辆定位信息确定配对的感知道路元素和地图道路元素之间的定位偏移量，包括：
对所述感知道路元素的像素点进行采样，获得感知采样点集；
对所述地图道路元素的像素点进行采样，获得地图采样点集；
确定所述感知采样点集与所述地图采样点集各自包括的采样点之间的旋转平移矩阵；
基于所述旋转平移矩阵获得所述感知道路元素与所述地图道路元素的坐标偏移量和方向偏移量。
第二方面，提供了一种图像数据自动标注装置，所述装置包括：
第一获取单元，用于获取车辆定位信息、地图图像和车辆采集图像，其中，所述地图图像包括道路信息；
第二获取单元，用于根据所述车辆定位信息，获取所述车辆定位信息对应的局部区域内的所述地图图像上的道路信息；
投影单元，用于将所述地图图像上的道路信息投影到所述车辆采集图像上，以在所述车辆采集图像上标注所述道路信息。
在一个实现中，所述第二获取单元用于以所述局部区域内的地图图像为根节点，依次查询所述局部区域内的地图图像的地图道路元素的属性信息，其中，所述地图道路元素的属性信息包括以下至少一个信息：所述地图道路元素的语义信息，所述地图道路元素的位置信息，所述地图道路元素的形状信息。
在又一个实现中，所述装置还包括：
第一确定单元，用于根据所述车辆定位信息和所述地图图像的范围，确定所述局部区域的范围；
所述第二获取单元用于获取所述局部区域的范围内的所述地图图像上的地图道路元素的属性信息。
在又一个实现中，所述地图图像基于世界全局坐标系，所述装置还包括：
第一转换单元，用于将基于所述世界全局坐标系的地图图像转换到车体坐标系上，得到基于所述车体坐标系的地图图像；
所述投影单元用于将基于所述车体坐标系的地图图像转换到相机坐标系和/或像素坐标系，以将所述地图图像上的道路信息投影到所述车辆采集图像上。
在又一个实现中，所述第一转换单元用于：根据所述车辆定位信息，得到旋转平移矩阵的旋转角度和平移量；以及根据所述旋转平移矩阵，将基于所述世界全局坐标系的地图图像转换到所述车体坐标系上，得到基于所述车体坐标系的地图图像。
在又一个实现中，所述地图图像为二维地图，所述投影单元包括：
第三获取单元，用于获取所述像素坐标系和所述车体坐标系之间的单应性矩阵；
表示单元，用于采用齐次坐标系表示基于所述车体坐标系的地图图像；
第二转换单元，用于根据所述单应性矩阵，将所述采用齐次坐标系表示的基于所述车体坐标系的地图图像，转换到所述像素坐标系上，得到投影到所述像素坐标系上的车辆采集图像的道路信息。
在又一个实现中，所述地图图像为三维地图，所述投影单元包括：
第三转换单元，用于根据所述车体坐标系与所述相机坐标系之间的旋转平移矩阵，将所述基于车体坐标系的地图图像转换到所述相机坐标系上，得到投影到所述相机坐标系上的车辆采集图像的道路信息；
第四转换单元，用于根据所述相机坐标系与所述像素坐标系之间的投影矩阵，将投影到所述相机坐标系上的车辆采集图像的道路信息转换到所述像素坐标系上，得到投影到所述像素坐标系上的车辆采集图像的道路信息。
在又一个实现中，所述装置还包括：
提取单元，用于经用于提取道路信息的神经网络对所述车辆采集图像进行道路信息提取处理，得到感知道路信息；
第一修正单元，用于根据所述感知道路信息，对投影到所述车辆采集图像上的道路信息进行修正。
在又一个实现中，所述第一修正单元包括：
第二确定单元，用于确定所述感知道路信息中的感知道路元素与投影到所述车辆采集图像上的道路信息中的地图道路元素之间的偏移信息；
第二修正单元，用于根据所述偏移信息，对投影到所述车辆采集图像上的道路信息进行修正。
在又一个实现中，所述第二确定单元包括：
第三确定单元，用于根据所述感知道路元素的属性信息，从所述地图图像中确定与所述感知道路元素配对的地图道路元素；
第四确定单元，用于确定配对的感知道路元素和地图道路元素在同一设备坐标系下的位置信息；
第五确定单元，用于基于所述位置信息确定配对的感知道路元素和地图道路元素之间的定位偏移量。
在又一个实现中，所述第三确定单元包括：
查找单元，用于在所述地图图像中，基于所述车辆定位信息查找预设范围内的地图道路元素；
匹配单元，用于将所述车辆采集图像中的感知道路元素与所述预设范围内的地图道路元素基于属性信息进行两两配对，获得多种配对方案，其中，不同配对方案中至少一感知道路元素与所述预设范围内的地图道路元素的配对方式不同；
第六确定单元，用于确定每个所述配对方案的置信度；
第七确定单元，用于在所述多种配对方案中置信度最高或超过设定阈值的配对方案中，确定与所述感知道路元素配对的地图道路元素。
在又一个实现中，所述匹配单元用于响应于所述车辆采集图像中的感知道路元素在所述预设范围内的地图道路元素无法确定配对的道路元素时，在待进行配对的地图道路元素中设置空或虚拟元素与所述感知道路元素配对。
在又一个实现中，所述第六确定单元用于分别确定每个所述配对方案中每个感知道路元素和地图道路元素的配对的个体相似度；确定每个所述配对方案中各感知道路元素和地图道路元素配对的整体相似度；以及根据每个所述配对方案的各个体相似度和整体相似度，确定每个所述配对方案的置信度。
在又一个实现中，所述定位偏移量包括坐标偏移量和/或方向偏移量；
所述第五确定单元包括：
第一采样单元，用于对所述感知道路元素的像素点进行采样，获得感知采样点集；
第二采样单元，用于对所述地图道路元素的像素点进行采样，获得地图采样点集；
第八确定单元，用于确定所述感知采样点集与所述地图采样点集各自包括的采样点之间的旋转平移矩阵；
第四获取单元，用于基于所述旋转平移矩阵获得所述感知道路元素与所述地图道路元素的坐标偏移量和方向偏移量。
第三方面，提供了一种图像数据自动标注装置，所述装置包括：输入装置、输出装置、存储器和处理器；其中，所述存储器中存储一组程序代码，且所述处理器用于调用所述存储器中存储的程序代码，执行上述第一方面或其各种可能的实现所述的方法。
第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面或其各种可能的实现所述的方法。
第五方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面或其各种可能的实现所述的方法。
采用本公开的方案，具有如下有益效果：
利用地图数据包含的丰富的道路信息，将该地图数据上的道路信息投影到车辆采集图像上，可以实现对车辆采集图像的道路信息的自动标注，提高了标注图像数据的效率，有利于降低数据标注的出错概率，减少图像数据标注的人工成本。
附图说明
下面将对本公开实施例或背景技术中所需要使用的附图进行说明。
图1为本公开实施例提供的一种图像数据自动标注方法的流程示意图；
图2为本公开实施例提供的又一种图像数据自动标注方法的流程示意图；
图3A～图3C示出了识别道路元素的语义信息的效果图；
图4A为世界全局坐标系的示意图；
图4B为车体坐标系的示意图；
图4C为相机坐标系和像素坐标系的示意图；
图5为本公开实施例提供的确定感知道路元素与地图道路元素之间的偏移信息方法的示例；
图6为本公开实施例提供的确定与感知道路元素配对的地图道路元素方法的示例；
图7为本公开实施例提供的配对方案的示意图；
图8为本公开实施例提供的确定配对的感知道路元素和地图道路元素之间的定位偏移量方法的示例；
图9为本公开实施例提供的最近点迭代法的示意图；
图10为本公开实施例提供的一种图像数据自动标注装置的结构示意图；
图11为本公开实施例提供的又一种图像数据自动标注装置的结构示意图。
具体实施方式
下面结合本公开实施例中的附图对本公开实施例进行描述。
请参阅图1，为本公开实施例提供的一种图像数据自动标注方法的流程示意图，示例性地，该方法可以包括以下步骤：
S101、获取车辆定位信息、地图图像和车辆采集图像。
本公开中，“车辆”做广义理解，可包括传统意义上的具有运输或运营功能的各种类型的车，例如货车、大巴车、公交车、小轿车；也包括可移动的机器人设备，例如导盲设备、智能玩具、扫地机器人等智能家居设备，也可以是工业机器人、服务机器人、玩具机器人、教育机器人等，本公开均不限定。
车辆可以配置有位置传感器以获得车辆定位信息。
车辆还可以配置有视觉传感器以实时采集车辆周围的图像，获得的图像不妨称为车辆采集图像。由于车辆上设置的视觉传感器采集的图像相当于车辆驾驶控制***对车辆周围环境的“感知”，因此，车辆采集图像也可以称为感知道路图像。在本实施例中，车辆采集图像就是采集到的图像本身，图像上没有标注信息。
还可以从服务器或车载终端获取地图图像。该地图图像可以是语义地图、高精地图等等，但不限于此，也可以是其他类型的地图。该地图图像包括丰富的道路信息。道路信息是指基于该地图图像识别到的地图道路元素的属性信息。
地图道路元素可以包括与道路相关的标识，可以至少包括以下一种或多种：道路上各种类型的车道线、停止线、转向线、道路边缘线，以及设置在道路旁或者道路上的交通标志牌、交通灯、路灯等等。各种类型的车道线可以包括但不限于白色实线车道线、黄色虚线车道线、左侧边缘车道线、右侧边缘测导线等等；各个类型的交通标志牌可以包括但不限于慢行交通牌、禁止停车交通牌、限速交通牌等等。本领域技术人员应当理解，道路元素并不限于以上所述。
地图道路图像的属性信息，可以包括与上述地图道路元素相关的一种或多种信息，例如道路元素的语义信息、位置信息、形状信息等等。
道路元素的语义信息可以是该道路元素所代表的含义、其所要表达的信息，例如，当在采集的道路图像中检测到道路上的线时，可以根据其在道路上的位置、相对于道路的宽度、长度等等，可以确定其为停止线、车道线等等，由于车道线又可以细分为很多类型，车道线为基本语义信息，还可以根据线的位置、线的形态进一步确定其具体语义信息，例如为左部边缘车道线、白色实线车道线等等；对于交通牌，慢行交通牌、禁止停车交通牌可以是该道路元素的具体语义信息。本领域技术人员应当理解，道路元素的语义信息的具体表达形式不影响本公开方法的实现。
上述位置传感器可以包括以下至少之一：全球定位***GPS、惯性测量单元IMU等等；上述视觉传感器可以包括以下至少之一：相机、摄像机、摄像头等。本领域技术人员应当理解，视觉传感器和位置传感器并不限于以上所述。
车辆定位信息，可以是对于每一帧车辆采集图像，获取的一个同步的定位信息。其可以是GPS定位信息，或IMU定位信息，或该GPS定位信息和该IMU定位信息的融合信息。
融合信息是基于GPS定位信息和IMU定位信息获得的更可靠的定位结果。其可以通过对GPS定位信息和IMU定位信息进行卡尔曼滤波获得，或者可以通过对GPS定位信息和IMU定位信息进行均值计算，或者加权平均计算。
S102、根据车辆定位信息，获取车辆定位信息对应的局部区域内的地图图像上的道路信息。
针对一条道路的地图图像，其包括了该段道路的全部或者大部分道路元素。在定位过程中所获取的车辆采集图像，是该段道路的局部区域图像。为实现后续地图图像上的道路信息的自动标注，只需要获取车辆定位信息对应的局部区域内的地图图像上的道路信息。该局部区域的范围可以设置。该车辆定位信息对应的局部区域也与视觉传感器的视野范围相关。
S103、将地图图像上的道路信息投影到车辆采集图像上，以在车辆采集图像上标注道路信息。
由于地图图像包含丰富的、准确的道路信息，将地图图像上的道路信息投影到车辆采集图像上，实质上是在车辆采集图像上标注道路信息，使得车辆采集图像也包含上述道路信息，实现了道路信息的自动标注。将自动标注了道路信息的车辆采集图像用于上述神经网络的训练，可以达到较完善的训练结果。反过来，可以利用训练过的神经网络识别车辆采集图像中的道路信息。
根据本公开实施例提供的一种图像数据自动标注方法，利用地图图像包含的丰富的道路信息，可以实现对车辆采集图像的道路信息的自动标注，提高了标注图像数据的效率，有利于降低数据标注的出错概率，减少图像数据标注的人工成本。
请参阅图2，为本公开实施例提供的又一种图像数据自动标注方法的流程示意图，示例性地，该方法可以包括以下步骤：
S201、获取车辆定位信息、地图图像和车辆采集图像，其中，地图图像包括道路信息。
该步骤的具体实现可参考图1所示实施例的步骤S101。
需要说明的是，可以通过采集车采集道路的地图图像，并识别地图图像中地图道路元素的属性信息。采集到的地图图像可以存储在服务器或车载终端。
采集车上设置有视觉传感器以采集地图图像。该视觉传感器可以包括以下至少之一：相机、摄像机、摄像头等等。为了使地图图像达到更高的精度，采集车所配置的视觉传感器可以是高精视觉传感器，从而可以采集到清晰度高、精确度高的地图图像。而在定位过程中，用于采集车辆采集图像的视觉传感器，则可以采用精度相对较低的传感器。
采集车还可以配置有高精度的位置传感器，以更准确地获得采集车的定位信息。而在定位过程中，获取车辆定位信息的位置传感器，可以采用定位较低的传感器，或者利用车辆所现有的位置传感器。
地图道路元素的属性信息可以包括语义信息、位置信息、形状信息等等。
上述属性信息，可以利用训练好的用于进行道路元素检测的神经网络进行识别得到。
上述神经网络可以通过带有标注信息的道路图像(不妨称为样本道路图像)进行训练，该样本道路图像中的道路元素带有标注信息，该标注信息可以是样本道路元素的属性信息，例如可以包括但不限于以下一种或多种：语义信息、形状信息、位置信息等等。
通过样本道路图像对神经网络进行训练，可以使该模型具备在输入的道路图像中，识别道路元素的属性信息的能力。对于输入该神经网络的地图道路图像，可以输出该图像中地图道路元素的属性信息。
神经网络能够识别道路元素的类别，取决于训练过程中使用的样本道路元素的类型。可以通过更多类型的样本道路元素对模型进行训练，以使其具有更高的识别能力。
图3A～图3C示出了识别道路元素的语义信息的效果图。其中，图3A是输入神经网络模型的道路图像，其可以是车辆采集图像，也可以是地图道路图像，或者其他道路图像；图3B示出通过神经网络模型识别的道路元素，如图中横向粗实线所示，并且获得了其语义信息为“停止线”(stopline)，标注在图片左上方；图3C示出了通过神经网络模型识别的道路元素，如图中纵向的粗实线所示，并且获得了各个线的基本语义信息，以及具体语义信息。其基本语义信息为“车道线”(laneline)，具体语义信息分别为(从左至右)：“白色实线车道线”(white solid line)、“白色实线车道线”(white solid line)、“白色实线车道线”(white solid line)、“白色实线车道线”(white solid line)、“右侧边缘车道线”(rightedge)，均标注在图片左上方。
本领域技术人员应当理解，地图道路元素属性信息的识别方法不限于以上所述，还可以通过其他的识别方法获得。
在图像数据自动标注过程中，通过调用该地图图像，可以获得地图道路元素的上述属性信息。
S202、根据车辆定位信息和地图图像的范围，确定车辆定位信息对应的局部区域的范围。
针对一条道路的地图图像，其包括了该段道路的全部或者大部分道路元素。在定位过程中所获取的车辆采集图像，是该段道路的局部区域图像。为实现后续地图图像上的道路信息的自动标注，只需要获取车辆定位信息对应的局部区域内的地图图像上的道路信息。在一个实现中，该局部区域的范围可以人为设置，因此，可以根据经验值等确定车辆定位信息对应的局部区域的范围。在又一个实现中，该车辆定位信息对应的局部区域与视觉传感器的视野范围相关，因此，也可以根据视觉传感器的视野范围确定车辆定位信息对应的局部区域的范围。
S203、以局部区域内的地图图像为根节点，依次查询局部区域内的地图图像上的地图道路元素的属性信息。
本步骤用于获取局部区域范围内的地图图像上的地图道路元素的属性信息。为了提升地图图像上的道路信息的查询效率，可以使用树状层级关系查询道路信息。具体地，以局部区域范围内的地图图像为根节点；根节点下设若干矩形区域，每个矩形区域设置中心点代表该区域定位，各个矩形区域对应地图图像上的地图道路元素；查询各个地图道路元素对应的属性信息。
S204、将基于世界全局坐标系的地图图像转换到车体坐标系上，得到基于车体坐标系的地图图像。
一般地，上述地图图像使用世界全局坐标系，坐标系内任意一点在地球上都有唯一对应的坐标，比如经纬度信息。具体地，一般使用ECEF地心坐标系，如图4A所示的世界全局坐标系的示意图，该坐标系是右手笛卡尔直角坐标系，以地心为坐标原点，原点指向本初子午线和0度纬线交点方向为x轴正方向，原点指向北极点方向为z轴正方向。长度以米为单位。
基于车辆定位信息，得到车辆定位信息对应的局域区域的地图图像上的道路信息后，需要把这些道路信息从世界全局坐标系转换到车体坐标系。其中，如图4B所示的车体坐标系的示意图，车体坐标系也是右手笛卡尔直角坐标系，以车载高精惯导中心为原点，车头方向为x轴正方向，车身左侧为y轴正方向。长度以米为单位。
具体地，世界全局坐标系和车体坐标系均是右手笛卡尔直角坐标系，两个右手笛卡尔直角坐标系之间的转换只需要一个旋转平移矩阵即可。则S204具体包括：根据车辆定位信息，得到旋转平移矩阵的旋转角度和平移量；以及根据旋转平移矩阵，将基于世界全局坐标系的地图图像转换到车体坐标系上，得到基于车体坐标系的地图图像。具体实现中，根据车辆定位信息在车体坐标系中的位置以及在世界全局坐标系中的位置，确定世界全局坐标系和车体坐标系之间的旋转平移矩阵的旋转角度和平移量。从而，可以根据旋转平移矩阵，将基于世界全局坐标系的地图图像转换到车体坐标系上，得到基于车体坐标系的地图图像。
S205、将基于车体坐标系的地图图像转换到相机坐标系和/或像素坐标系，以将地图图像上的道路信息投影到车辆采集图像上。
要将地图图像上的道路信息投影到车辆采集图像上，而车辆采集图像是基于相机坐标系或像素坐标系的，因此，还需要将上述基于车体坐标系的地图图像转换到相机坐标系或像素坐标系。如图4C所示的相机坐标系和像素坐标系的示意图。其中，相机坐标系o-x-y是三维图，像素坐标系o’-x’-y’是二维图。
在一个实现中，地图图像为二维地图，则S205具体包括：获取像素坐标系和车体坐标系之间的单应性矩阵；采用齐次坐标系表示基于车体坐标系的地图图像；以及根据单应性矩阵，将采用齐次坐标系表示的基于车体坐标系的地图图像，转换到像素坐标系上，得到投影到像素坐标系上的车辆采集图像的道路信息。具体实现中，对于二维的地图图像，可以使用单应性矩阵变换的方式完成车体坐标系到像素坐标系的转换。其中，单应性矩阵是指，一个三维物体可以投影到多个二维平面，单应性矩阵可以将一个三维物体在某个二维平面的投影转换到另一个二维平面的投影。根据三点确定一个平面的原理，选取三维物体上不少于三个点，分别计算这些点在两个二维投影平面上对应的投影点，然后两组对应的投影点之间的转换矩阵就是单应性矩阵，通过代数解析方式即可求解出单应性矩阵。具体地，可以通过人工标定数据预先标定好像素坐标系与车体坐标系之间的单应性矩阵。一种可选的实现方式中，假设该矩阵为3*3矩阵，有8个自由度，则可以完成一个平面到另一个平面的仿射变换。然后，使用齐次坐标系表示地图图像上的道路信息，然后每个道路信息的坐标都乘以单应性矩阵就可以得到基于像素坐标系的道路信息。
在又一个实现中，地图图像为三维地图，则S205具体包括：根据车体坐标系与相机坐标系之间的旋转平移矩阵，将基于车体坐标系的地图图像转换到相机坐标系上，得到投影到相机坐标系上的车辆采集图像的道路信息；以及根据相机坐标系与像素坐标系之间的投影矩阵，将投影到相机坐标系上的车辆采集图像的道路信息转换到像素坐标系上，得到投影到像素坐标系上的车辆采集图像的道路信息。具体实现中，对于三维的地图图像，可以使用相机内外参数完成车体坐标系、相机坐标系和像素坐标系之间的转换。相机成像原理是小孔成像，相机内参指相机凸透镜的焦距和像素坐标系下光心所在坐标；相机外参即相机坐标系和车体坐标系之间的旋转平移矩阵。相机坐标系为以相机光心为原点，相机上方、前方分别为y轴、z轴正方向的右手笛卡尔坐标系。根据人工标定数据预先标定相机内外参数以后，先通过相机外参将地图图像上的道路信息旋转平移到相机坐标系，然后再根据小孔成像的缩放原理和相机内参将基于相机坐标系的道路信息投影到像素坐标系，得到投影到车辆采集图像上的道路信息。
S206、经用于提取道路信息的神经网络对车辆采集图像进行道路信息提取处理，得到感知道路信息。
感知道路信息包括感知道路元素的属性信息。感知道路元素的属性信息，可以包括与感知道路元素相关的一种或多种信息，例如道路元素的语义信息、位置信息、形状信息等等。与地图道路元素相似，该感知道路元素可以包括与道路相关的标识，可以至少包括以下之一：道路上的车道线、停止线、转向线，以及设置在道路旁或者道路前方的交通牌、交通灯、路灯等等。感知道路元素与地图道路元素的类型可以是全部相同的，也可以是部分相同的。
理想情况下，感知道路元素应该是与地图中的地图道路元素是重合的。这种重合可以指感知道路元素和地图道路元素在同一坐标系下的重合。但是，由于在进行定位时所获得的车辆定位信息的定位偏差，或者定位精度不足，特别是在车辆上具有定位功能的硬件设备精度不高或较低的情况下，投影到车辆采集图像上的道路信息与地图图像中实际的道路信息不一定完全重合，所以需要对投影到车辆采集图像上的道路信息进行修正。
可以用经过初步训练的神经网络对车辆采集图像进行道路信息提取处理，得到感知道路信息。
上述神经网络可以通过带有标注信息的道路图像(不妨称为样本道路图像)进行训练，该样本道路图像中的道路元素带有标注信息，该标注信息可以是样本道路元素的属性信息，例如可以包括但不限于以下一种或多种：语义信息、形状信息、位置信息等等。
通过样本道路图像对神经网络进行训练，可以使该模型具备在输入的道路图像中，识别道路元素的属性信息的能力。对于输入该神经网络的地图道路图像，可以输出该图像中地图道路元素的属性信息。
神经网络能够识别道路元素的类别，取决于训练过程中使用的样本道路元素的类型。可以通过更多类型的样本道路元素对模型进行训练，以使其具有更高的识别能力。
S207、根据感知道路信息，对投影到车辆采集图像上的道路信息进行修正。
如果感知道路元素应该是与地图中的地图道路元素不是完全重合的，可以根据感知道路信息，对投影到车辆采集图像上的道路信息进行修正。
具体地，S207包括确定感知道路信息中的感知道路元素与投影到车辆采集图像上的道路信息中的地图道路元素之间的偏移信息，根据该偏移信息对投影到车辆采集图像上的道路信息进行修正。这将在下面的实施例中详细描述。
根据本公开实施例提供的一种信息标注方法，利用地图数据包含的丰富的道路信息，将该地图数据上的道路信息投影到车辆采集图像上，可以实现对车辆采集图像的道路信息的自动标注，提高了标注图像数据的效率，有利于降低数据标注的出错概率，减少图像数据标注的人工成本；且根据感知道路信息，对投影到车辆采集图像上的道路信息进行修正，提高了图像数据标注的准确性。
图5示出确定感知道路元素与地图道路元素之间的偏移信息的一种方法，如图5所示，该方法可以包括：
S301、根据感知道路元素的属性信息，从地图图像中确定与感知道路元素配对的地图道路元素。
对于实时采集的车辆采集图像，如果对于该道路已经预先建立了地图，那么该车辆采集图像上的感知道路元素，可以在地图上获得与其配对的地图道路元素。也即，对于一个感知道路元素，如果其不是误识别的，也不是在地图建立或最新更新之后新出现的，那么通常在地图上，可以找到一个地图道路元素与之对应。
S302、确定配对的感知道路元素和地图道路元素在同一设备坐标系下的位置信息。
由于位置的比较需要在同一坐标系下进行，因此，如果所获得的感知道路元素的位置信息和地图道路元素的位置信息并非处于同一坐标系下，需要将二者转换至同一坐标系下。
在地图道路元素的位置信息是经纬度坐标系下的地图位置信息的情况下，需要将该地图位置信息转换到车体坐标系下，以下以GPS设备坐标系为例进行描述。
该过程可以分为两个步骤：
首先，将地图位置信息从经纬度坐标系(例如，WGS84坐标系)转换至UTM坐标系；
然后，利用GPS的车辆定位信息，将地图道路元素从UTM坐标系转换至GPS设备坐标系。对于自动驾驶车辆来说，这一步骤可以通过先旋转车头朝向正东方向的夹角θ，再平移GPS的经纬度定位信息(x,y)获得。
本领域技术人员应当理解，对于其他的位置传感器，可以依据其具体转换规则进行从经纬度坐标系到车体坐标系的转换。
S303、基于位置信息确定配对的感知道路元素和地图道路元素之间的定位偏移量。
在获得了同一设备坐标系下的感知道路元素以及与其配对的地图道路元素的位置信息后，基于二者的位置，即可以确定它们之间的定位偏移量。
在本实施例中，通过将配对的感知道路元素和地图道路元素转换到同一设备坐标系下，再利用二者的位置信息确定它们之间的定位偏移量。
图6示出确定与感知道路元素配对的地图道路元素的一种方法，如图6所示，该方法可以包括：
S401、在地图图像中，基于车辆定位信息查找预设范围内的地图道路元素。
车辆定位信息是车辆自身所在的位置信息，例如对于自动驾驶车辆来说，即是车辆所在的位置信息。通过该车辆定位信息，可以确定车辆在地图图像上的位置，由此可以在地图图像中查找出设定范围内的地图道路元素，也即车辆附近的地图道路元素。
由于车辆采集图像是通过配备在车辆上的视觉传感器获得的，因此车辆采集图像的感知道路元素，是车辆进行定位时位于车辆附近的道路元素。因此，通过在地图上查找车辆附近的地图道路元素，是最有可能、也是最快能够查找到与感知道路元素配对的地图道路元素的方式。
该预设范围可以依据需求具体设定，例如，如果需要匹配的精度高，则可以将该范围设置的相对大一些，获得较多地图道路元素以在后续过程中与感知道路元素配对；如果对实时性要求高，希望匹配的速度快一些，则可以将该范围设置的相对较小。例如，预设范围可以地图上为以车辆定位信息为中心点、上述视觉传感器的可视范围与初始定位识差的2倍到5倍的范围，由此权衡匹配速度和准确度。
举例来说，视觉传感器的可视范围为60m，初始定位误差为10m，则可以将预设范围设置为(60+10)*2。也即是说，在这种情况下，预设范围可以是以车辆定位为中心，140m*140m的矩形框。
S402、将车辆采集图像中的感知道路元素与预设范围内的地图道路元素基于属性信息进行两两配对，获得多种配对方案。
可以通过枚举的方式，将车辆采集图像中的每个车辆采集图像与预设范围内的每个地图道路元素，分别两两进行配对，获得多种不同的配对方案。
上述不同的配对方案，可以是至少一感知道路元素与所述预设范围内的地图道路元素的配对方式不同。
例如，车辆采集图像中的感知道路元素包括a1,a2,…,aM，上述预设范围内的地图道路元素包括b1,b2,…,bN，其中，M、N均为正整数，且N大于等于M。也就是说，地图道路元素的数量多于，或者至少等于感知道路元素的数量。
对感知道路元素(a1,a2,…,aM)和地图道路元素(b1,b2,…,bN)进行两两配对，所得到的每一种配对方案是一组二元组的集合，每个二元组(ai,bj)即是道路元素的一种配对方式。在二元组(ai,bj)中，i≤M，i可以是[1,M]范围之内的任意整数；j≤N，j可以是[1,N]范围内的任何整数。并且，在配对方案中，感知道路元素(a1,a2,…,aM)需要全部实现配对，而地图道路元素(b1,b2,…,bN)中可以包含未找到配对目标的元素。
不同的配对方案中，至少有一组二元组(ai,bj)是不同的。
在一个示例中，可以通过二分图模型实现感知道路元素与地图道路元素的两两配对。
首先，基于感知道路元素和地图道路元素构造二分图模型：将车辆采集图像中，将每一个感知道路元素抽象为一个点，所有感知道路元素形成一个感知点集；将地图中的地图道路元素也抽象为一个点，所有地图道路元素形成一个地图点集。
响应于车辆采集图像中存在多种语义相同的道路元素的情况，例如，存在多条车道线，可以按照从车辆左边到右边的顺序对语义相同的感知道路元素进行排序，对于地图中语义相同的地图道路元素也利用相似的方法进行排序，所形成的对应点集中的点则按照道路元素的排序依次排列。
将感知点集和地图点集之间用边进行连接，每一条边表示了一个感知道路元素与一个地图道路元素之间的配对关系。不同的连接方式则产生了不同的配对方案，所得到的每一个配对方案即是一个边集。
在一个示例中，还可以利用基于上述模型的二分图匹配方法，在所有的配对方案中获取合理的配对方案。
该方法包括：在所有边集中，选择尽可能多的边不相交(不交叉)的边集。这里所说的不相交是指，两条边没有公共点情况下的不相交，且其中一条边两个顶点在点集中的序号都大于另一条边两个顶点在点集中的序号，因此也可以理解为物理意义上的不相交。
可以将具有不相交边的数量大于设定比例或者设定阈值的边集，称为合理边集，也即获得了合理地配对方案，例如图7所示。
通过筛选出合理的配对方案，再进行置信度计算，减少了后续过程的计算量。
S403、确定每个配对方案的置信度。
置信度是对一个配对方案中，感知道路元素与地图道路元素之间配对情况的评价指标。在一个配对方案中，各个感知道路元素和地图道路的配对，二者的语义信息一致性越高，匹配的配对数目越多，配对方案的置信度就越高。
在一个示例中，可以通过以下方式确定每个配对方案的置信度：
首先，分别确定每个配对方案中，每个感知道路元素和地图道路元素的配对的个体相似度。
个体相似度，可以是指针对配对方案中的每个二元对，其中两个元素的属性信息的相似程度。例如，可以包括语义信息的相似度、位置信息的相似度、形状信息的相似度等等。
以车道线为例，可以通过以下公式计算感知车道线和地图车道线之间的个体相似度，其中，感知车道线可以指车辆采集图像中的车道线，地图车道线可以指地图中的车道线。
Weight(i,j)＝-Distance(i,j)+Otype(i,j)*LaneWidth+Oedgetype(i,j)*LaneWidth (1)
其中，Weight(i,j)表示第i个(从左往右数，下同)感知车道线与第j个地图车道线之间边的个体相似度，也可以称其为权值；
Distance(i,j)表示第i个感知车道线与第j个地图车道线之间的距离，此处将车道线抽象为线段，距离的计算方式可以是线段到线段的欧式距离，也即一条线段上两个端点到另一条线段距离的中位数，即平均值；
LaneWidth表示车道宽度，也即两条车道线之间的宽度；
Otype(i,j)当且仅当第i个感知车道线与第j个地图车道线的车道线属性相同时为1，否则为0；其中，车道线属性可以包括车道线颜色、线型等等，例如黄色实线，白色虚线；
Oedgetype(i,j)当且仅当第i个感知车道线与第j个地图车道线的边缘车道线属性相同时为1，否则为0；其中，边缘车道线属性表示该车道线是否属于道路的边缘。
在上述公式中，Distance(i,j)用于计算感知车道线与地图车道下之间的位置信息相似度，LaneWidth于计算它们之间的形状信息相似度，Otype(i,j)和Oedgetype(i,j)则用于计算它们之间的语义信息相似度。
本领域技术人员应当理解，对于其他的道路元素之间的个体相似度，可以设置其他合理的公式进行计算。
在确定了个体相似度之后，接下来确定每个所述配对方案中各感知道路元素和地图道路元素配对的整体相似度。
整体相似度，可以是一个配对方案中，所有的二元对的属性信息相似程度的整体评估。其中，属性信息可以包括位置信息和语义信息。
对于位置信息的整体相似度，可以利用所有二元对中两个元素距离的方差来表示。方差越小，表示所有二元对中两个元素的距离越相近，则位置信息的整体相似度越高。
对于语义信息的整体相似度，可以利用所有二元对中两个元素语义信息相似度进行平均，或者加权平均计算来获得。
最终，根据每个所述配对方案的各个体相似度和整体相似度，确定每个所述配对方案的置信度。
例如，可以利用每个配对方案中，各个二元组的个体相似度之和，再与整体相似度进行平均，或者加权平均，来获得该配对方案的置信度。
在本实施例中，基于配对方案中，各个二元组的个体相似度和整体相似度来综合评估该配对方案的置信度，避免了个体配对的极端效果(极好，或者极差)对整个配对方案置信度的影响，使得置信度的计算结果更加可靠。
以下为用于计算配对方案的置信度得分的函数示例，其是通过三个部分来对计算得分：个体相似度之和、距离信息的整体相似度、语义信息的整体相似度。
match_weight_sum＝sum(match_items_[pr_idx][hdm_idx].weight)+CalculateVarianceOfMatchResult(match_result)+CalculateMMConfidence(match_result)；(2)
其中，match_weight_sum表示一种配对方案的置信度得分；
sum(match_items_[pr_idx][hdm_idx].weight)表示配对方案中每个二元组的个体相似度之和，其通过对该配对方案中选中的边的权值求和，即每一对点集对应的边权值求和计算；
CalculateVarianceOfMatchResult(match_result)表示配对方案中，各个二元组距离信息的整体相似度，其通过配对方案中各个二元组中两个元素之间距离的方差进行计算。以车道线为例，配对的车道线之间存在距离，该方差即所有这些距离的方差。理论上，所有配对的感知车道线和地图车道线之间的距离应该相等，即方差为零，但实际上，因为误差不可避免的引入，该方差有可能不为零；
CalculateMMConfidence(match_result)表示配对方案中，各个二元组语义信息的整体相似度，其通过对比各个二元组中两个元素之间的语义相似度进行计算。仍以车道线为例，可以判断所有配对的车道线的属性是否一致，数量是否一致。例如，属性全部一致的置信度为100％，每有一对车道线的属性不一致，例如可以设置为置信度下降10％，数量不匹配置信度直接下降30％。
通过计算以上三部分的结果，并将结果相加，即可获得配对方案的置信度得分。
S404、在多种配对方案中置信度最高或超过设定阈值的配对方案中，确定与感知道路元素配对的地图道路元素。
在本步骤中，可以将其中置信度最高的方案作为最终选择的配对方案，也可以将其中超过设定阈值的配对方案作为终选择的配对方案，从而能够确定与感知道路元素配对的地图道路元素。
在本实例中，通过利用车辆定位信息在地图上获得设备附近的地图道路元素，用于与感知道路元素进行配对，相较于在全局地图中寻找与感知道路元素配对的地图道路元素，减小了运算量，提高了匹配速度，有利于实现实时定位。
在一个示例中，在将所述车辆采集图像中的感知道路元素与所述预设范围内的地图道路元素进行配对时，响应于车辆采集图像中的感知道路元素在所述预设范围内的地图道路元素无法确定配对的道路元素时，在待进行配对的地图道路元素中设置空或虚拟元素与所述感知道路元素配对。
在理想情况下，车辆采集图像中的感知道路元素是与地图中的地图道路元素一一对应的，但在感知道路元素是误识别的结果的情况下，或者感知道路元素是在地图建立后才出现的情况下，是无法找到与该感知道路元素对应的地图道路元素的。通过设置空(null)或虚拟元素，使得所有的感知道路元素在确定配对方案的过程上，都有配对的对象，使得配对方案更加丰富，有利于综合评估最佳的配对方案。
图8示出确定配对的感知道路元素和地图道路元素之间的定位偏移量的一种方法，如图8所示，该方法包括：
S501、对感知道路元素的像素点进行采样，获得感知采样点集。
在本步骤中，可以以固定间隔(例如0.1米)对感知道路元素的像素点进行采样，获得感知采样点集。
以道路上的车道线为例，通过对车道线进行采样，可以将感知车道线抽象为一个点集。对于并行多条车道线的情况，可以按照车辆左边到右边的顺序对车道线进行排列，对应的点集依据车道线的顺序，从上到下排列。
S502、对地图道路元素的像素点进行采样，获得地图采样点集。
在本步骤中，可以应用与步骤901相似的方式对地图道路元素进行采样，获得地图采样点集。
S503、确定感知采样点集与地图采样点集各自包括的采样点之间的旋转平移矩阵。
对于配对的感知采样点集和地图采样点集，可以应用最近点迭代法计算出两个点集之间的旋转平移矩阵。图9示出最近点迭代法的示意图，箭头左侧表示输入至该算法模型的两个关联的点集(配对的点集)，应用该算法模型，例如可以是最小二乘算法模型，可以得到旋转平移矩阵。通过对输入的点集应用该旋转平移矩阵，则可以实现两个点集的重合，如图9所示，箭头右侧即表示重合的两个点集。
S504、基于旋转平移矩阵获得感知道路元素与地图道路元素的坐标偏移量和方向偏移量。
步骤S503中所获得的旋转平均移矩阵则是所需确定的定位偏移量，该旋转平移矩阵中的平移系数对应于坐标偏移量，旋转系数对应于方向偏移量。
车辆定位信息可以表示为(x0,y0,θ0)，定位偏移量可以表示为(dx,dy,dθ),对应地，对车辆定位信息进行修正得到的定位信息可以表示为：
(x＝x0+dx,y＝y0+dy,θ＝θ0+dθ)。
例如可以通过卡尔曼滤波、均值计算、加权平均计算等方法，对所得到定位信息与车辆定位信息进行融合，避免了地图信息对定位信息过度修正，使图像数据标注更加可靠。
基于上述实施例中的图像数据自动标注方法的同一构思，如图10所示，本公开实施例还提供一种图像数据自动标注装置1000，该装置1000可应用于上述图1、图2、图5、图6、图8所示的方法中。该装置1000包括：
第一获取单元11，用于获取车辆定位信息、地图图像和车辆采集图像，其中，所述地图图像包括道路信息；
第二获取单元12，用于根据所述车辆定位信息，获取所述车辆定位信息对应的局部区域内的所述地图图像上的道路信息；
投影单元13，用于将所述地图图像上的道路信息投影到所述车辆采集图像上，以在所述车辆采集图像上标注所述道路信息。
在一个实现中，所述第二获取单元12用于以所述局部区域内的地图图像为根节点，依次查询所述局部区域内的地图图像的地图道路元素的属性信息，其中，所述地图道路元素的属性信息包括以下至少一个信息：所述地图道路元素的语义信息，所述地图道路元素的位置信息，所述地图道路元素的形状信息。
在又一个实现中，所述装置1000还包括：
第一确定单元14，用于根据所述车辆定位信息和所述地图图像的范围，确定所述局部区域的范围；
所述第二获取单元12用于获取所述局部区域的范围内的所述地图图像上的地图道路元素的属性信息。
在又一个实现中，所述地图图像基于世界全局坐标系，所述装置还包括：
第一转换单元15，用于将基于所述世界全局坐标系的地图图像转换到车体坐标系上，得到基于所述车体坐标系的地图图像；
所述投影单元13用于将基于所述车体坐标系的地图图像转换到相机坐标系和/或像素坐标系，以将所述地图图像上的道路信息投影到所述车辆采集图像上。
在又一个实现中，所述第一转换单元15用于根据所述车辆定位信息，得到旋转平移矩阵的旋转角度和平移量；以及根据所述旋转平移矩阵，将基于所述世界全局坐标系的地图图像转换到所述车体坐标系上，得到基于所述车体坐标系的地图图像。
在又一个实现中，所述地图图像为二维地图，所述投影单元13包括：
第三获取单元131，用于获取所述像素坐标系和所述车体坐标系之间的单应性矩阵；
表示单元132，用于采用齐次坐标系表示基于所述车体坐标系的地图图像；
第二转换单元133，用于根据所述单应性矩阵，将所述采用齐次坐标系表示的基于所述车体坐标系的地图图像，转换到所述像素坐标系上，得到投影到所述像素坐标系上的车辆采集图像的道路信息。
在又一个实现中，所述地图图像为三维地图，所述投影单元包括：
第三转换单元，用于根据所述车体坐标系与所述相机坐标系之间的旋转平移矩阵，将所述基于车体坐标系的地图图像转换到所述相机坐标系上，得到投影到所述相机坐标系上的车辆采集图像的道路信息；
第四转换单元，用于根据所述相机坐标系与所述像素坐标系之间的投影矩阵，将投影到所述相机坐标系上的车辆采集图像的道路信息转换到所述像素坐标系上，得到投影到所述像素坐标系上的车辆采集图像的道路信息。
在又一个实现中，所述装置还包括：
提取单元16，用于经用于提取道路信息的神经网络对所述车辆采集图像进行道路信息提取处理，得到感知道路信息；
第一修正单元17，用于根据所述感知道路信息，对投影到所述车辆采集图像上的道路信息进行修正。
在又一个实现中，所述第一修正单元17包括：
第二确定单元，用于确定所述感知道路信息中的感知道路元素与投影到所述车辆采集图像上的道路信息中的地图道路元素之间的偏移信息；
第二修正单元，用于根据所述偏移信息，对投影到所述车辆采集图像上的道路信息进行修正。
在又一个实现中，所述第二确定单元包括：
第三确定单元，用于根据所述感知道路元素的属性信息，从所述地图图像中确定与所述感知道路元素配对的地图道路元素；
第四确定单元，用于确定配对的感知道路元素和地图道路元素在同一设备坐标系下的位置信息；
第五确定单元，用于基于所述位置信息确定配对的感知道路元素和地图道路元素之间的定位偏移量。
在又一个实现中，所述第三确定单元包括：
查找单元，用于在所述地图图像中，基于所述车辆定位信息查找预设范围内的地图道路元素；
匹配单元，用于将所述车辆采集图像中的感知道路元素与所述预设范围内的地图道路元素基于属性信息进行两两配对，获得多种配对方案，其中，不同配对方案中至少一感知道路元素与所述预设范围内的地图道路元素的配对方式不同；
第六确定单元，用于确定每个所述配对方案的置信度；
第七确定单元，用于在所述多种配对方案中置信度最高或超过设定阈值的配对方案中，确定与所述感知道路元素配对的地图道路元素。
在又一个实现中，所述匹配单元用于响应于所述车辆采集图像中的感知道路元素在所述预设范围内的地图道路元素无法确定配对的道路元素时，在待进行配对的地图道路元素中设置空或虚拟元素与所述感知道路元素配对。
在又一个实现中，所述第六确定单元用于分别确定每个所述配对方案中每个感知道路元素和地图道路元素的配对的个体相似度；确定每个所述配对方案中各感知道路元素和地图道路元素配对的整体相似度；以及根据每个所述配对方案的各个体相似度和整体相似度，确定每个所述配对方案的置信度。
在又一个实现中，所述定位偏移量包括坐标偏移量和/或方向偏移量；
所述第五确定单元包括：
第一采样单元，用于对所述感知道路元素的像素点进行采样，获得感知采样点集；
第二采样单元，用于对所述地图道路元素的像素点进行采样，获得地图采样点集；
第八确定单元，用于确定所述感知采样点集与所述地图采样点集各自包括的采样点之间的旋转平移矩阵；
第四获取单元，用于基于所述旋转平移矩阵获得所述感知道路元素与所述地图道路元素的坐标偏移量和方向偏移量。
有关上述各个单元更详细的描述可以参考图1、图2、图5、图6、图8所示的方法实施例中的相关描述得到，这里不加赘述。
根据本公开实施例提供的一种图像数据自动标注装置，利用地图数据包含的丰富的道路信息，可以实现对车辆采集图像的道路信息的自动标注，提高了标注图像数据的效率，有利于降低数据标注的出错概率，减少图像数据标注的人工成本。
本公开实施例还提供一种图像数据自动标注装置，该装置用于执行上述图像数据自动标注方法。上述方法中的部分或全部可以通过硬件来实现，也可以通过软件或固件来实现。
可选的，装置在具体实现时可以是芯片或者集成电路。
可选的，当上述实施例的图像数据自动标注方法中的部分或全部通过软件或固件来实现时，可以通过图11提供的一种图像数据自动标注装置1100来实现。如图11所示，该装置1100可包括：
输入装置111、输出装置112、存储器113和处理器114(装置中的处理器114可以是一个或多个，图11中以一个处理器为例)。在本实施例中，输入装置111、输出装置112、存储器113和处理器114可通过总线或其它方式连接，其中，图11中以通过总线连接为例。
其中，处理器114用于执行图1、图2、图5、图6、图8中装置所执行的方法步骤。
可选的，上述图像数据自动标注方法的程序可以存储在存储器113中。该存储器113可以是物理上独立的单元，也可以与处理器114集成在一起。该存储器113也可以用于存储数据。
可选的，当上述实施例的图像数据自动标注方法中的部分或全部通过软件实现时，该装置也可以只包括处理器。用于存储程序的存储器位于装置之外，处理器通过电路或电线与存储器连接，用于读取并执行存储器中存储的程序。
处理器可以是中央处理器(central processing unit，CPU)，网络处理器(network processor，NP)，或WLAN设备。
处理器还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmablelogic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complexprogrammable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gatearray，FPGA)，通用阵列逻辑(generic array logic，GAL)或其任意组合。
存储器可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器也可以包括非易失性存储器(non-volatilememory)，例如快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)；存储器还可以包括上述种类的存储器的组合。
根据本公开实施例提供的一种图像数据自动标注装置，利用地图数据包含的丰富的道路信息，可以实现对车辆采集图像的道路信息的自动标注，提高了标注图像数据的效率，有利于降低数据标注的出错概率，减少图像数据标注的人工成本。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述图1或图2所示方法实施例中所述的方法。
本公开实施例还提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述图1或图2所示方法实施例中所述的方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本公开所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本公开实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read-onlymemory，ROM)，或随机存储存储器(random access memory，RAM)，或磁性介质，例如，软盘、硬盘、磁带、磁碟、或光介质，例如，数字通用光盘(digital versatile disc，DVD)、或者半导体介质，例如，固态硬盘(solid state disk，SSD)等。

Claims (10)

1.一种图像数据自动标注方法，其特征在于，所述方法包括：
获取车辆定位信息、地图图像和车辆采集图像，其中，所述地图图像包括道路信息；
根据所述车辆定位信息，获取所述车辆定位信息对应的局部区域内的所述地图图像上的道路信息；
将所述地图图像上的道路信息投影到所述车辆采集图像上，以在所述车辆采集图像上标注所述道路信息。
2.根据权利要求1所述的方法，其特征在于，所述根据所述车辆定位信息，获取所述车辆定位信息对应的局部区域内的所述地图图像上的道路信息，包括：
以所述局部区域内的地图图像为根节点，依次查询所述局部区域内的地图图像的地图道路元素的属性信息，其中，所述地图道路元素的属性信息包括以下至少一个信息：所述地图道路元素的语义信息，所述地图道路元素的位置信息，所述地图道路元素的形状信息。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
根据所述车辆定位信息和所述地图图像的范围，确定所述局部区域的范围；
所述根据所述车辆定位信息，获取所述车辆定位信息对应的局部区域内的所述地图图像上的道路信息，包括：
获取所述局部区域的范围内的所述地图图像上的地图道路元素的属性信息。
4.根据权利要求1～3任一项所述的方法，其特征在于，所述地图图像基于世界全局坐标系，所述将所述地图图像上的道路信息投影到车辆采集图像上之前，所述方法还包括：
将基于所述世界全局坐标系的地图图像转换到车体坐标系上，得到基于所述车体坐标系的地图图像；
所述将所述地图图像上的道路信息投影到车辆采集图像上，包括：
将基于所述车体坐标系的地图图像转换到相机坐标系和/或像素坐标系，以将所述地图图像上的道路信息投影到所述车辆采集图像上。
5.根据权利要求4所述的方法，其特征在于，所述将基于所述世界全局坐标系的地图图像转换到车体坐标系上，得到基于所述车体坐标系的地图图像，包括：
根据所述车辆定位信息，得到旋转平移矩阵的旋转角度和平移量；
根据所述旋转平移矩阵，将基于所述世界全局坐标系的地图图像转换到所述车体坐标系上，得到基于所述车体坐标系的地图图像。
6.根据权利要求4或5所述的方法，其特征在于，所述地图图像为二维地图，所述将基于所述车体坐标系的地图图像转换到相机坐标系和/或像素坐标系，以将所述地图图像上的道路信息投影到所述车辆采集图像上，包括：
获取所述像素坐标系和所述车体坐标系之间的单应性矩阵；
采用齐次坐标系表示基于所述车体坐标系的地图图像；
根据所述单应性矩阵，将所述采用齐次坐标系表示的基于所述车体坐标系的地图图像，转换到所述像素坐标系上，得到投影到所述像素坐标系上的车辆采集图像的道路信息。
7.根据权利要求5所述的方法，其特征在于，所述地图图像为三维地图，所述将基于所述车体坐标系的地图图像转换到相机坐标系和/或像素坐标系，以将所述地图图像上的道路信息投影到所述车辆采集图像上，包括：
根据所述车体坐标系与所述相机坐标系之间的旋转平移矩阵，将所述基于车体坐标系的地图图像转换到所述相机坐标系上，得到投影到所述相机坐标系上的车辆采集图像的道路信息；
根据所述相机坐标系与所述像素坐标系之间的投影矩阵，将投影到所述相机坐标系上的车辆采集图像的道路信息转换到所述像素坐标系上，得到投影到所述像素坐标系上的车辆采集图像的道路信息。
8.根据权利要求1～7任一项所述的方法，其特征在于，所述方法还包括：
经用于提取道路信息的神经网络对所述车辆采集图像进行道路信息提取处理，得到感知道路信息；
根据所述感知道路信息，对投影到所述车辆采集图像上的道路信息进行修正。
9.一种图像数据自动标注装置，其特征在于，所述装置包括：
第一获取单元，用于获取车辆定位信息、地图图像和车辆采集图像，其中，所述地图图像包括道路信息；
第二获取单元，用于根据所述车辆定位信息，获取所述车辆定位信息对应的局部区域内的所述地图图像上的道路信息；
投影单元，用于将所述地图图像上的道路信息投影到所述车辆采集图像上，以在所述车辆采集图像上标注所述道路信息。
10.一种图像数据自动标注装置，其特征在于，所述装置包括：存储器和处理器；其中，所述存储器中存储一组程序指令，且所述处理器用于调用所述存储器中存储的程序指令，执行如权利要求1～8中任一项所述的方法。
CN201910983438.9A 2019-10-16 2019-10-16 图像数据自动标注方法及装置 Pending CN112667837A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910983438.9A CN112667837A (zh) 2019-10-16 2019-10-16 图像数据自动标注方法及装置
JP2021539968A JP2022517961A (ja) 2019-10-16 2020-10-21 画像データを自動的にアノテーションする方法及び装置
KR1020217017022A KR20220053513A (ko) 2019-10-16 2020-10-21 이미지 데이터 자동 라벨링 방법 및 장치
PCT/CN2020/122514 WO2021073656A1 (zh) 2019-10-16 2020-10-21 图像数据自动标注方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910983438.9A CN112667837A (zh) 2019-10-16 2019-10-16 图像数据自动标注方法及装置

Publications (1)

Publication Number Publication Date
CN112667837A true CN112667837A (zh) 2021-04-16

Family

ID=75400660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910983438.9A Pending CN112667837A (zh) 2019-10-16 2019-10-16 图像数据自动标注方法及装置

Country Status (4)

Country Link
JP (1) JP2022517961A (zh)
KR (1) KR20220053513A (zh)
CN (1) CN112667837A (zh)
WO (1) WO2021073656A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205447A (zh) * 2021-05-11 2021-08-03 北京车和家信息技术有限公司 用于车道线识别的道路图片标注方法和装置
CN113269165A (zh) * 2021-07-16 2021-08-17 智道网联科技(北京)有限公司 数据获取方法及其装置
CN114018240A (zh) * 2021-10-29 2022-02-08 广州小鹏自动驾驶科技有限公司 一种地图数据的处理方法和装置
CN114136333A (zh) * 2021-10-15 2022-03-04 阿波罗智能技术(北京)有限公司 基于分层特征的高精地图道路数据生成方法、装置、设备

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11019274B2 (en) 2018-09-10 2021-05-25 Tusimple, Inc. Adaptive illumination for a time-of-flight camera on a vehicle
CN113848702A (zh) * 2020-06-26 2021-12-28 图森有限公司 自适应传感器控制
US11932238B2 (en) 2020-06-29 2024-03-19 Tusimple, Inc. Automated parking technology
JP7494809B2 (ja) 2021-06-29 2024-06-04 株式会社デンソー 支援装置、支援方法、支援プログラム
CN113619569A (zh) * 2021-08-02 2021-11-09 蔚来汽车科技(安徽)有限公司 用于固定泊车场景的车辆定位方法及其***
CN113609241B (zh) * 2021-08-13 2023-11-14 武汉市规划研究院(武汉市交通发展战略研究院) 一种道路网络与公交线网匹配方法与***
CN113822943B (zh) * 2021-09-17 2024-06-11 中汽创智科技有限公司 一种相机的外参标定方法、装置、***及存储介质
CN114111817B (zh) * 2021-11-22 2023-10-13 武汉中海庭数据技术有限公司 基于slam地图与高精度地图匹配的车辆定位方法及***
CN114419882B (zh) * 2021-12-30 2023-05-02 联通智网科技股份有限公司 感知***布置参数优化方法、设备终端及存储介质
CN115223118B (zh) * 2022-06-09 2024-03-01 广东省智能网联汽车创新中心有限公司 一种高精地图置信度判断方法、***及车辆
CN114782447B (zh) * 2022-06-22 2022-09-09 小米汽车科技有限公司 路面检测方法、装置、车辆、存储介质及芯片
CN115526987A (zh) * 2022-09-22 2022-12-27 清华大学 基于单目相机的标牌要素重建方法、***、设备及介质
CN116468870B (zh) * 2023-06-20 2024-01-23 佛山科学技术学院 一种城市道路三维可视化建模方法及***
CN117894015B (zh) * 2024-03-15 2024-05-24 浙江华是科技股份有限公司 点云标注数据优选方法及***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11271074A (ja) * 1998-03-20 1999-10-05 Fujitsu Ltd 目印画像照合装置及び目印画像照合方法及びプログラム記憶媒体
CN105701449A (zh) * 2015-12-31 2016-06-22 百度在线网络技术（北京）有限公司 路面上的车道线的检测方法和装置
CN108305475A (zh) * 2017-03-06 2018-07-20 腾讯科技（深圳）有限公司 一种交通灯识别方法及装置
CN109949439A (zh) * 2019-04-01 2019-06-28 星觅(上海)科技有限公司 行车实景信息标注方法、装置、电子设备和介质
CN110135323A (zh) * 2019-05-09 2019-08-16 北京四维图新科技股份有限公司 图像标注方法、装置、***及存储介质
CN110136199A (zh) * 2018-11-13 2019-08-16 北京初速度科技有限公司 一种基于摄像头的车辆定位、建图的方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5971112B2 (ja) * 2012-12-25 2016-08-17 富士通株式会社 画像処理方法、画像処理装置および画像処理プログラム
US10209089B2 (en) * 2017-04-03 2019-02-19 Robert Bosch Gmbh Automated image labeling for vehicles based on maps
JP6908843B2 (ja) * 2017-07-26 2021-07-28 富士通株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US11544938B2 (en) * 2018-12-21 2023-01-03 Continental Autonomous Mobility US, LLC Systems and methods for automatic labeling of images for supervised machine learning
JP2022526825A (ja) * 2019-04-12 2022-05-26 エヌビディア コーポレーション 自律マシン・アプリケーションのためのマップ情報で拡張されたグラウンド・トゥルース・データを使用するニューラル・ネットワーク・トレーニング
CN112069856B (zh) * 2019-06-10 2024-06-14 商汤集团有限公司 地图生成方法、驾驶控制方法、装置、电子设备及***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11271074A (ja) * 1998-03-20 1999-10-05 Fujitsu Ltd 目印画像照合装置及び目印画像照合方法及びプログラム記憶媒体
CN105701449A (zh) * 2015-12-31 2016-06-22 百度在线网络技术（北京）有限公司 路面上的车道线的检测方法和装置
CN108305475A (zh) * 2017-03-06 2018-07-20 腾讯科技（深圳）有限公司 一种交通灯识别方法及装置
CN110136199A (zh) * 2018-11-13 2019-08-16 北京初速度科技有限公司 一种基于摄像头的车辆定位、建图的方法和装置
CN109949439A (zh) * 2019-04-01 2019-06-28 星觅(上海)科技有限公司 行车实景信息标注方法、装置、电子设备和介质
CN110135323A (zh) * 2019-05-09 2019-08-16 北京四维图新科技股份有限公司 图像标注方法、装置、***及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205447A (zh) * 2021-05-11 2021-08-03 北京车和家信息技术有限公司 用于车道线识别的道路图片标注方法和装置
CN113269165A (zh) * 2021-07-16 2021-08-17 智道网联科技(北京)有限公司 数据获取方法及其装置
CN114136333A (zh) * 2021-10-15 2022-03-04 阿波罗智能技术(北京)有限公司 基于分层特征的高精地图道路数据生成方法、装置、设备
CN114018240A (zh) * 2021-10-29 2022-02-08 广州小鹏自动驾驶科技有限公司 一种地图数据的处理方法和装置

Also Published As

Publication number Publication date
JP2022517961A (ja) 2022-03-11
WO2021073656A1 (zh) 2021-04-22
KR20220053513A (ko) 2022-04-29

Similar Documents

Publication Publication Date Title
CN112667837A (zh) 图像数据自动标注方法及装置
CN111912416B (zh) 用于设备定位的方法、装置及设备
US11625851B2 (en) Geographic object detection apparatus and geographic object detection method
CN112150448B (zh) 图像处理方法、装置及设备、存储介质
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
KR102490521B1 (ko) 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법
EP4209755A1 (en) Positioning method and positioning apparatus of mobile device
CN114969221A (zh) 一种更新地图的方法及相关设备
CN115564865A (zh) 一种众包高精地图的构建方法、***、电子设备及车辆
CN116997771A (zh) 车辆及其定位方法、装置、设备、计算机可读存储介质
CN111238490B (zh) 视觉定位方法、装置以及电子设备
CN111982132B (zh) 数据处理方法、装置和存储介质
CN111754388B (zh) 一种建图方法及车载终端
JP5435294B2 (ja) 画像処理装置及び画像処理プログラム
CN109785388B (zh) 一种基于双目摄像头的短距离精确相对定位方法
CN115790568A (zh) 基于语义信息的地图生成方法及相关设备
WO2023283929A1 (zh) 双目相机外参标定的方法及装置
CN112880692B (zh) 地图数据标注方法及装置、存储介质
CN115345944A (zh) 外参标定参数确定方法、装置、计算机设备和存储介质
Lee et al. Semi-automatic framework for traffic landmark annotation
KR20220062709A (ko) 모바일 디바이스 영상에 기반한 공간 정보 클러스터링에 의한 재난 상황 인지 시스템 및 방법
CN114531580B (zh) 图像处理方法及装置
Toft Towards Robust Visual Localization in Challenging Conditions
CN117011739A (zh) 图像中杆状物识别方法、装置、计算机设备和存储介质
CN117893634A (zh) 一种同时定位与地图构建方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination