CN113205447A - 用于车道线识别的道路图片标注方法和装置 - Google Patents
用于车道线识别的道路图片标注方法和装置 Download PDFInfo
- Publication number
- CN113205447A CN113205447A CN202110513333.4A CN202110513333A CN113205447A CN 113205447 A CN113205447 A CN 113205447A CN 202110513333 A CN202110513333 A CN 202110513333A CN 113205447 A CN113205447 A CN 113205447A
- Authority
- CN
- China
- Prior art keywords
- lane line
- road
- data
- road image
- dimensional coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 91
- 238000002372 labelling Methods 0.000 claims abstract description 47
- 230000009466 transformation Effects 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000012821 model calculation Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 12
- 238000012549 training Methods 0.000 description 12
- 238000000605 extraction Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 10
- 230000003044 adaptive effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000013136 deep learning model Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请提供一种用于车道线识别的道路图像标注方法和装置，方法包括：获取道路中车道线的三维坐标数据，以及获取拍摄所述道路的相机的位姿；根据所述位姿对所述三维坐标数据进行投影变换，得到投影至所述道路图像中的二维投影数据；采用所述二维投影数据作为所述道路图像的车道线标注数据。本申请提供的用于车道线识别的道路图像标注方法和装置，直接利用车道线的三维坐标数据和相机的坐姿，对三维坐标数据进行投影变换得到的二维投影数据作为车道线标注数据。采用此方法确定的道路图像车道线标注方法能够实现车道线标注的自动化，解决了现有人工标注数据成本高的问题。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种用于车道线识别的道路图片标注方法和装置。
背景技术
目基于深度学习模型的图像特征提取方法已经得到应用。例如，在自动驾驶领域和辅助驾驶领域，已经采用基于深度学习训练的模型对车辆相机拍摄的道路图片进行处理，并识别道路图片中的车道线。
为了保证采用基于深度学习训练得到的模型满足实际应用需求，会尽可能地准确地识别车道线，需要获取大量的训练样本，并需要对训练样本进行标注，即需要对训练样本中的车道线进行标注。
目前，对训练样本进行标注是由人工实现，即需要人工识别出道路图片中的车道线，采用特征方程表示或者曲线表示的方法标注出道路图片中的车道线，并将标准出的车道线作为道路图片的标签。人工标注方法需要消耗大量的人力，其成本高昂。并且，人工标引方法并不能识别出哪些训练样本图像是用于快速提升模型训练准确性的坏样本图像。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种用于车道线识别的道路图像标注方法和装置。
一方面，本申请提供一种用于车道线识别的道路图像标注方法，包括：
获取道路中车道线的三维坐标数据，以及获取拍摄所述道路的相机的位姿；
根据所述位姿对所述三维坐标数据进行投影变换，得到投影至所述道路图像中的二维投影数据；
采用所述二维投影数据作为所述道路图像的车道线标注数据。
可选地，所述用于车道线识别的道路图像标注方法还包括：
采用历史车道线识别模型处理所述道路图像，得到车道线识别数据；
根据所述车道线标注数据和所述车道线识别数据，判断所述道路图像是否为坏样本图像。
可选地，所述获取道路中车道线的三维坐标数据，包括：
获取至少两张所述道路图像；各个所述道路图像对应的相机拍摄位姿不同；
采用三维重建方法，根据所述至少两张道路图像确定所述车道线的三维坐标数据。
可选地，采用三维重建方法，根据所述至少两张道路图像确定所述车道线的三维坐标数据，包括：
获取所述至少两张道路图像的匹配特征点；
根据所述匹配特征点确定形成所述道路图像的相机的位姿；
根据所述至少两张道路图像和对应的所述相机的位姿构建表征所述道路的空间稠密点云；
根据所述空间稠密点云得到车道线点云；
根据所述车道线点云确定所述车道线的三维坐标数据。
可选地，获取拍摄所述道路的相机的位姿包括：
获取所述至少两张道路图像的匹配特征点，根据所述匹配特征点确定所述相机的位姿。
可选地，获取拍摄所述道路的相机的位姿包括：
获取车辆的定位特征数据，根据所述定位特征数据确定所述相机的位姿。
可选地，获取道路中车道线的三维坐标数据，包括：
查找所述道路的高精地图，确定所述车道线的三维坐标数据。
另一方面，本申请提供一种用于车道线识别的道路图像标注装置，包括：
数据获取单元，用于获取道路中车道线的三维坐标数据，以及获取拍摄所述道路的相机的位姿；
投影计算单元，用于根据所述位姿对所述三维坐标数据进行投影变换，得到投影至所述道路图像中的二维投影数据；
标定单元，用于采用所述二维投影数据作为所述道路图像的车道线标注数据。
可选地，所述用于车道线识别的道路图像标注装置，还包括：
模型计算单元，用于采用历史车道线识别模型处理所述道路图像，得到车道线识别数据；
坏样本识别单元，用于根据所述车道线标注数据和所述车道线识别数据，判断所述道路图像是否为坏样本图像。
可选地，所述数据获取单元包括：
图片获取子单元，用于获取至少两张所述道路图像；各个所述道路图像对应的相机拍摄位姿不同；
三维重建子单元，用于采用三维重建方法，根据所述至少两张道路图像确定所述车道线的三维坐标数据。
可选地，所述三维重建子单元包括：
匹配特征点获取子单元，用于获取所述至少两张道路图像的匹配特征点；
位姿获取子单元，用于根据所述匹配特征点确定形成所述道路图像的相机的位姿；
稠密点云获取子单元，用于根据所述至少两张道路图像和对应的所述相机的位姿构建表征所述道路的空间稠密点云；
车道线点云获取子单元，用于根据所述空间稠密点云得到车道线点云；
三维坐标数据计算子单元，用于根据所述车道线点云确定所述车道线的三维坐标数据。
可选地，所述数据获取单元获取车辆的定位特征数据，根据所述定位特征数据确定所述相机的位姿。
可选地，所述数据获取单元通过查找所述道路的高精地图，确定所述车道线的三维坐标数据。
本申请提供的用于车道线识别的道路图像标注方法和装置，直接利用车道线的三维坐标数据和相机的坐姿，对三维坐标数据进行投影变换得到的二维投影数据作为车道线标注数据。采用此方法确定的道路图像车道线标注方法能够实现车道线标注的自动化，解决了现有人工标注数据成本高的问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的用于车道线识别的道路图像标注方法流程图；
图2是本申请另一实施例提供的用于车道线识别的道路图像标注方法流程图；
图3是本申请实施例提供的用于车道线识别的道路图像标注装置结构示意图；
图4是本申请实施例提供的电子设备的结构示意图；
其中：11-数据获取单元，12-投影计算单元，13-标定单元，14-模型计算单元，15-坏样本识别单元；21-处理器，22-存储器，23-通信接口，24-总线***。
具体实施方式
为了能够更清楚地理解本申请的上述目的、特征和优点，下面将对本申请的方案进行进一步描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本申请，但本申请还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本申请的一部分实施例，而不是全部的实施例。
本申请实施例提供一种用于车道线识别的道路图像标注方法，用于实现道路图像中车道线的自动化标注。图1是本申请实施例提供的用于车道线识别的道路图像标注方法流程图。如图1所示，本申请实施例提供的道路图像标注方法包括步骤S101-S103。
S101：获取道路中车道线的三维坐标数据，以及获取拍摄所述道路的相机的位姿。
车道线的三维坐标数据是表征道路中车道线在三维坐标系中位置特征的数据。前述的三维坐标系可以是车辆坐标系，也可以是世界坐标系，本申请实施例对此并不做特别地限定。
车道线的三维坐标数据可以以车道线中点坐标的形式表示，也可以是车道线延伸方向的空间坐标表达式表示，本申请实施例对此不做特别地限定。实际应用中，如果车道线的三维坐标数据采用图像处理方法得到，其三维坐标数据优选采用坐标点的形式表示；如果车道线三维坐标数据是从高精地图等数据中获取，其三维坐标数据优选采用空间坐标表达式的方式表示。
本申请实施例具体应用中，获取道路中车道线的三维坐标数据的方法有如下几种。
1.基于道路图像的车道线三维重建的方法，是以至少两张拍摄同一区域的道路图像为基础，还原得到道路的三维点云，基于道路的三维点云数据提取其中车道线的三维坐标数据。具体包括步骤S1011-S1012。
S1011：获取至少两张所述道路图像。
基于道路图像的车道线三维重建方法需要利用多张拍摄同一区域的道路图像进行道路三维特征的还原，因此需要获取至少两张道路图像。前述的道路图像应当是拍摄同一道路区域而形成的图像。应当注意的是，各个道路图像对应的相机位姿应当不同。
本申请实施例的一个应用中，用于车道线识别的道路图像标注方法在远程服务端执行，远程服务端和车辆客户端通信地连接，接收车辆客户端各种传感器生成并上报的采集数据。采集数据包括车辆相机拍摄的道路图像、车辆的位置数据、车辆的行驶方向数据、车辆姿态数据等。因此，可以基于车辆的位置数据、车辆的行驶方向数据，确定行驶至某一特定地理位置范围内车辆，并将在特定地理范围内车辆相机拍摄的图像作为用于三维重建的道路图像。
S1012：采用三维重建方法，根据所述至少两张道路图像三维重建所述道路，确定所述车道线的三维坐标数据。
具体实施中，根据至少两张道路图像三维重建道路，而确定车道线的三维坐标数据，包括如下依次执行的步骤：(1)获取所述至少两张道路图像中的匹配特征点；(2)根据所述匹配特征点确定形成所述道路图像的相机的位姿；(3)根据所述至少两张道路图像和对应的所述相机的位姿构建表征所述道路的空间稠密点云；(4)根据所述空间稠密点云得到车道线点云；(5)根据所述车道线点云确定所述车道线的三维坐标数据。
(1)获取所述至少两张道路图像中的匹配特征点。
获取各个道路图像中的匹配特征点具体包括特征点的提取，以及特征点匹配。特征点是指的图像中具有典型表征特性的图像像素点或者像素区域，具体应用中特征点多为某些邻域像素的像素灰度发生较大变化的点。
目前，获取图像特征点的方法包括：A.加权平均哈里斯-拉普拉斯特征点提取算法；B.基于尺度不变特征转换的特征提取算法；其通过侦测图像的局部性特征，在空间尺度中寻找极值点，并将极值点作为特征点；C.基于加速鲁棒特征的特征提取算法；基于加速鲁棒特征的特征点借鉴尺度不变特征简化思想，借助于积分图和哈尔小波技术，实现特征点的快速提取。
在获取了各个道路图像的特征点后，随后需要对特征点进行匹配，确定匹配特征点。
本申请实施例中，基于各个道路图像的特征点确定匹配特征点的方法可以包括：A.采用归一化互关联的特征匹配方法，其优点是可以抵抗全局的亮度变化和对比度变化，并且处理速度较快。B.基于尺寸不变特征的特征点匹配方法，其是利用特征点的领域计算该特征点的特征向量，随后基于特征向量之间的欧式距离确定匹配的特征点。C.基于加速鲁棒特征的特征提取算法。
应当注意的是，在对各个道路图像提取匹配特征点前，实际应用中，还需要对各个道路图像进行预处理。预处理的目标是改善图像的视觉效果，提高图像的清晰度，有选择的突出图像中的有用信息而抑制无用信息；图像的预处理包括图像的平滑处理，具体采用形态学滤波、双边滤波、自适应均值滤波、自适应中值滤波、自适应加权滤波等方法。
(2)根据所述匹配特征点确定形成所述道路图像的相机的位姿。
基于匹配特征点确定道路图像的相机的位姿的步骤即是稀疏点云重建的过程，其基于匹配特征点得到拍摄各个道路图像的相机的位姿和稀疏点云(匹配特征点对应的空间位置点)的三维坐标。
根据小孔成像模型，相机拍摄图像后形成的像素点位置和三维空间坐标点的关系为
其中，x和y分别为图像中像素点的横坐标和纵坐标；K为相机的内参数矩阵，
f为相机的焦距，u和v为相机主点的像素点横坐标和纵坐标；[R|t]为相机的位姿矩阵，
R为相机坐标系相对于世界坐标系的旋转矩阵，t为相机坐标系原点相对于世界坐标系的平移矩阵，X、Y和Z为物体在空间坐标。假设K、R和t已知，可以分别预测各个道路图像特征点上对应的X、Y和Z的数值区间；而将多个道路图像中的特征点进行捆绑调整，即可以确定X、Y和Z的数值；实际应用中，一般K已知，而R和t并不确定，在具有足够多的道路图像和特征点的情况下，也可以确定其中R和t中的参数。也就是说，采用前述方法可以确定稀疏点云的三维坐标以及相机的位姿[R|t]。
本申请实施例具体应用中，需要获取各个相机的内参数矩阵K。具体获取相机内参数矩阵K的方法包括Tsai标定方法、圆点模板标定方法、张正友平面标定方法和相机自标定方法。
本申请实施例具体应用中，可以基于重投影误差最小化原理，采用捆绑调整方法计算相机的位姿和稀疏点云的三维坐标；实际应用中，可以采用分层重建的步骤，为捆绑调整提供有效的初始值；实际应用中，可以采用增量式的捆绑调整、全局式的捆绑调整或者混合式的捆绑调整方法，计算各个相机的位姿和稀疏点云的三维坐标。
(3)根据所述至少两张道路图像和对应的所述相机的位姿构建表征所述道路的空间稠密点云；空间稠密点云的重建，是在已知相机位姿的前提下，逐像素的计算道路图像中每个像素点对应的空间坐标系三维坐标，继而得到空间坐标系中的空间稠密点云。
空间稠密点云计算的基本原理是寻找空间中具有图像一致性的点；前述图像一致性指的是在表示同一场景的三维图像中，如果选择的三维点位于物体的表面上，那么这个三维点根据相机的内外参数投射到各个图像上后形成投影点后，在各个图像中以投影点为中心的小区域包含的场景应当是十分类似的。
两个图像的图像一致性的度量可以采用平方差总和(Sum of SquaredDifference，SSD)、绝对差值和(Sum of Absolute Difference，SAD)或者归一化互相关(Normalized Cross Correlation，NCC)处理图像一致点得到。
实际应用中，可以采用基于体素的方法、基于点云扩散的方法或者基于深度图融合方法确定空间稠密点云。实际应用中，多采用基于深度图融合的方法确定空间稠密点云。
经过前述的步骤(1)到(3)，即可以确定表示道路特征的空间稠密点云，随后可以执行(4)和(5)。
(4)根据所述空间稠密点云得到车道线点云。
在确定空间稠密点云后，可以在所有的道路图像中确定一个车道线最为清晰的图像，确定车道线对应的像素，并将此类的像素对应的空间稠密点云作为车道线点云。
在一些应用中，在空间稠密点云中车道线点云相对于道路平面具有显著的高度差的情况下，也可以通过对空间稠密点云坐标数据的分析确定车道线点云。
(5)根据所述车道线点云确定所述车道线的三维坐标数据。
具体实施中，根据车道点云确定车道线的三维坐标数据，可以对车道线点云数据进行滤波、分割和融合处理，以确定出数量较少的表征车道线的三维坐标点，随后基于多个三维坐标点进行数据拟合而得到表征车道线的三维坐标数据。
2.基于数据查询的方法
基于数据查询的方法是通过查询高精地图数据，根据高精地图数据确定车道线的三维坐标数据。
高精地图中包含有大量与行车相关的辅助信息，其中包括道路车道线的位置、类型、宽度、坡度和曲率等道路数据。基于数据查询的方法通过查询高精地图中的前述数据，基于前述数据确定车道线的三维坐标数据。
本申请实施例中，在根据车辆的位置信息确定车辆的位置后，通过车辆的位置和车辆的行驶方向，作为查询依据查询高精地图，即可以确定对应的车道线的三维坐标数据。
在步骤S101中，获取相机的位姿方法有如下几种。
(1)基于匹配特征点获取相机位姿的方法
基于匹配特征点确定道路图像的相机的位姿的步骤是稀疏点云重建的过程，其基于匹配特征点得到拍摄各个道路图像的相机的位姿。这一确定方法基于前文中提及的确定车道线三维坐标数据中提及的获取相机位姿的方法，相关内容可以参见前文表述。
(2)基于车辆定位特征数据，根据定位数据确定相机的位姿。
具体实施例中，车辆中配置能够获取车辆定位信息和姿态信息的传感器，具体应用中，前述获取车辆定位信息和姿态信息的传感器可以包括惯性传感器、轮速传感器、导航用传感器中的一种或者多种，基于前述传感器生成的传感器数据，进行计算可以确定车辆的位置数据和车辆的位姿数据；随后，基于车辆的位置数据和车辆的位置数据，以及相机坐标系和车辆坐标系中的转换关系，可以确定相机的位姿。
S102：根据所述位姿对所述三维坐标数据进行投影变换，得到投影至所述道路图像中的二维投影数据。
如步骤S101中表述的公式
在确定相机的位姿后，并且已知相机的内部参数和车道线的三维坐标数据后，通过前述的公式可以确定投影至道路图像中的二维车道线投影数据(x，y)。
S103：采用所述二维投影数据作为所述道路图像的车道线标注数据。
步骤S103中将二维投影数据作为对应道路图像标注数据，是将确定的二维投影数据作为标签和对应的道路图像建立关联。
采用本申请实施例提供的用于车道线识别的道路图像标注方法，直接利用车道线的三维坐标数据和相机的坐姿，对三维坐标数据进行投影变换得到的二维投影数据作为车道线标注数据。采用此方法确定的道路图像车道线标注方法能够实现车道线标注的自动化，解决了现有人工标注数据成本高的问题。
图2是本申请另一实施例提供的用于车道线识别的道路图像标注方法流程图；如图所示，在本申请实施例的一些应用中，用于车道线识别的道路图像标注方法除了包括签署的步骤S101-S103外，还包括步骤S104和S105。
S104：采用历史车道线识别模型处理所述道路图像，得到车道线识别数据。
历史车道线识别模型是采用历史样本数据训练对深度学习模型进行训练，得到的车道线识别模型；此车道线识别模型用于对车辆相机拍摄的道路图像进行处理，确定道路中的车道线。
本申请实施例并不限定用于车道线识别模型构建的深度学习模型进行特别地限定，可以采用各种可用的深度学习算法模型。
S105：根据所述车道线标注数据和所述车道线识别数据，判断所述道路图像是否为坏样本图像。
本申请实施例中，步骤S105的具体执行步骤可以如S1051-S1054。
S1051：计算车道线标注数据和车道线识别数据的差值。
实际应用中，车道线标注数据和车道线识别数据均为可能为多个，因此计算车道线标注数据和车道线识别数据的差值是首先确定各个车道线标注数据对应的车道线识别数据，或者确定车道线识别数据对应的最接近的车道线标注数据，并将对应的数据求差，并将求差值的平均值作为车道线标注数据和车道线识别数据的差值。
S1052：判断差值是否大于设定阈值；如果是，执行S1053；如果否，执行S1054。
S1053：确定道路图像为坏样本图像。
S1054：确定道路图像为非坏样本图像。
本申请实施例中，坏样本图像是采用历史车道线识别模型处理后，得到的车道线识别数据不符合设定要求的图像。本申请实施例中，前述设定要求采用设定要求的车道线标注数据和车道线识别数据的差值体现。因为坏样本图像不能被历史车道线识别模型处理得到较为合理的车道线识别数据，因此可以将坏样本图像作为对车道线识别模型进行再训练的依据。
实际应用中，如果差值大于设定阈值，则确定车道线识别数据相对于车道线标注数据较大；而因为车道线标注数据是较为准确的数据，则确定采用历史车道线识别模型确定的车道线识别数据并不准确，反向确定历史车道线识别模型并不能很好地处理此道路图像，因此可以将此道路图像作为坏样本图像，并将此坏样本图像作为后续再训练车道线识别模型的样本，以提高车道线识别模型的识别能力。
除了提供前述的用于车道线识别的道路图像标注方法外，本申请实施例还提供与前述方法具有相同发明构思的一种用于车道线识别的道路图像标注装置。
图3是本申请实施例提供的用于车道线识别的道路图像标注装置结构示意图。如图3所示，本申请实施例提供的用于车道线识别的道路图像标注装置包括数据获取单元11、投影计算单元12和标定单元13。
数据获取单元11，用于获取道路中车道线的三维坐标数据，以及获取拍摄所述道路的相机的位姿。
车道线的三维坐标数据是表征道路中车道线在是三维坐标系中位置特征的数据。前述的三维坐标系可以是车辆坐标系，也可以是世界坐标系，本申请实施例并不做特别地限定。
车道线的三维坐标数据可以以车道线坐标的形式表示，也可以是车道线延伸方向的空间坐标表达式表示，本申请实施例对此不做特别地限定。实际应用中，如果车道线的三维坐标数据采用图像处理方法得到，其三维坐标数据优选采用坐标点的形式表示；如果车道线三维坐标数据是从高精地图等数据中获取，其三维坐标数据优选采用空间坐标表达式的方式表示。
在本申请实施例的一些应用中，数据获取单元11获取道路中车道线的三维坐标数据的方法有如下几种。
1.基于道路图像实现车道线三维重建，是以至少两张具有形同车道线图像信息的道路图像为基础，还原得到道路的三维点云，基于道路的三维点云数据提取其中车道线的三维坐标数据。
具体的，所述数据获取单元11包括图片获取子单元和三维重建子单元。
图片获取子单元用于获取至少两张所述道路图像；基于道路图像的车道线三维重建方法需要利用多张拍摄同一区域的道路图像进行道路三维特征的还原，因此需要获取至少两张道路图像。前述的道路图像应当是拍摄同一道路区域而形成的图像。
应当注意的是，各个道路图像对应的相机拍摄位姿应当不同。
本申请实施例的一个应用中，用于车道线识别的道路图像标注装置部署在远程服务端，远程服务端和车辆客户端通信地连接，接收车辆客户端各种传感器生成并上报的采集数据。采集数据包括车辆相机拍摄的道路图像、车辆的位置数据、车辆的行驶方向数据、车辆姿态数据等。因此，可以基于车辆的位置数据、车辆的行驶方向数据，确定行驶至某一特定地理位置范围内车辆，并将在特定地理范围内车辆相机拍摄的图像作为用于三维重建的道路图像。
三维重建子单元用于采用三维重建方法，根据所述至少两张道路图像三维重建所述道路，确定所述车道线的三维坐标数据
具体实施中，三维重建子单元包括匹配特征点获取子单元、位姿获取子单元、稠密点云获取子单元、车道线点云获取子单元和三维坐标数据计算子单元。
匹配特征点获取子单元用于获取所述至少两张道路图像中的匹配特征点。获取各个道路图像中的匹配特征点具体包括特征点的提取，以及特征点匹配。特征点是指的图像中具有典型表征特性的图像像素点或者像素区域，具体应用中特征点多为某些邻域像素的像素灰度发生较大变化的点。
目前，获取图像特征点的方法包括：A.加权平均哈里斯-拉普拉斯特征点提取算法；B.基于尺度不变特征转换的特征提取算法；其通过侦测图像的局部性特征，在空间尺度中寻找极值点，并将极值点作为特征点；C.基于加速鲁棒特征的特征提取算法；基于加速鲁棒特征的特征点借鉴尺度不变特征简化思想，借助于积分图和哈尔小波技术，实现特征点的快速提取。
在获取了各个道路图像的特征点后，随后需要对特征点进行匹配，确定匹配特征点。
本申请实施例中，基于各个道路图像的特征点确定匹配特征点的方法可以包括：A.采用归一化互关联的特征匹配方法，其优点是可以抵抗全局的亮度变化和对比度变化，并且处理速度较快。B.基于尺寸不变特征的特征点匹配方法，其是利用特征点的领域计算该特征点的特征向量，随后基于特征向量之间的欧式距离确定匹配的特征点。C.基于加速鲁棒特征的特征提取算法。
应当注意的是，在对各个道路图像提取匹配特征点前，实际应用中，还需要对各个道路图像进行预处理。预处理的目标是改善图像的视觉效果，提高图像的清晰度，有选择的突出图像中的有用信息而抑制无用信息；图像的预处理包括图像的平滑处理，具体采用形态学滤波、双边滤波、自适应均值滤波、自适应中值滤波、自适应加权滤波等方法。
位姿获取子单元用于根据所述匹配特征点确定形成所述道路图像的相机的位姿。
基于匹配特征点确定道路图像的相机的位姿的步骤即是稀疏点云重建的过程，其基于匹配特征点得到拍摄各个道路图像的相机的位姿和稀疏点云(匹配特征点对应的空间位置点)的三维坐标。
根据小孔成像模型，相机拍摄图像后形成的像素点位置和三维空间坐标点的关系为
其中，x和y分别为图像中像素点
横坐标和纵坐标；K为相机的内参数矩阵，
f为相机的焦距，u和v为相机主点的像素点的横坐标和纵坐标；[R|t]为相机的位姿矩阵，
R为相机坐标系相对于世界坐标系的旋转矩阵，t为相机坐标系原点相对于世界坐标系的平移矩阵，X、Y和Z为物体在空间坐标。假设K、R和t已知，可以分别预测各个道路图像特征点上对应的X、Y和Z的数值区间；而将多个道路图像中的特征点进行捆绑调整，即可以确定X、Y和Z的数值；实际应用中，一般K已知，而R和t并不确定，在具有足够多的道路图像和特征点的情况下，也可以确定其中R和t中的参数。也就是说，采用前述方法可以确定稀疏点云的三维坐标以及相机的位姿[R|t]。
本申请实施例具体应用中，需要获取各个相机的内参数矩阵K。具体获取相机内参数矩阵K的方法包括Tsai标定方法、圆点模板标定方法、张正友平面标定方法和相机自标定方法。
本申请实施例具体应用中，可以基于重投影误差最小化原理，采用捆绑调整方法计算相机的位姿和稀疏点云的三维坐标；实际应用中，可以采用分层重建的步骤，为捆绑调整提供有效的初始值；实际音乐宫中，可以采用增量式的捆绑调整、全局式的捆绑调整或者混合式的捆绑调整方法，计算各个相机的位姿和稀疏点云的三维坐标。
根据至少两张道路图像三维重建道路，而确定车道线的三维坐标数据，包括如下依次执行的步骤：(1)获取所述至少两张道路图像中的匹配特征点；(2)根据所述匹配特征点确定形成所述道路图像的相机的位姿；(3)根据所述至少两张道路图像和对应的所述相机的位姿构建表征所述道路的空间稠密点云；(4)根据所述空间稠密点云得到车道线点云；(5)根据所述车道线点云确定所述车道线的三维坐标数据。
稠密点云获取子单元用于根据所述至少两张道路图像和对应的所述相机的位姿构建表征所述道路的空间稠密点云；空间稠密点云的重建，是在已知相机位姿的前提下，逐像素的计算道路图像中每个像素点对应的空间坐标系三维坐标，继而得到空间坐标系中的空间稠密点云。空间稠密点云计算的基本原理是寻找空间中具有图像一致性的点；前述图像一致性指的是在表示同一场景的三维图像中，如果选择的三维点位于物体的表面上，那么这个三维点根据相机的内外参数投射到各个图像上后形成投影点后，在各个图像中以投影点为中心的小区域包含的场景应当是十分类似的。
两个图像的图像一致性的度量可以采用平方差总和(Sum of SquaredDifference，SSD)、绝对差值和(Sum of absolute Difference，SAD)或者归一化互相关(Normalized Cross Correlation，NCC)处理图像一致点得到。
实际应用中，可以采用基于体素的方法、基于点云扩散的方法或者基于深度图融合方法确定空间稠密点云。实际应用中，多采用基于深度图融合的方法确定空间稠密点云。
车道线点云获取子单元用于根据所述空间稠密点云得到车道线点云。
在确定空间稠密点云后，可以在所有的道路图像中确定一个车道线最为清晰的图像，确定车道线对应的像素，并将此类的像素对应的空间稠密点云作为车道线点云。
在一些应用中，在空间稠密点云中车道线点云相对于道路平面具有显著的高度差的情况下，也可以通过对空间稠密点云坐标数据的分析确定车道线点云。
三维坐标数据计算子单元用于根据所述车道线点云确定所述车道线的三维坐标数据。
具体实施中，根据车道点云确定车道线的三维坐标数据，可以对车道线点云数据进行滤波、分割和融合处理，以确定出数量较少的表征车道线的三维坐标点，随后基于多个三维坐标点进行数据拟合而得到表征车道线的三维坐标数据。
在另外一些实施例中，数据获取单元11过查询高精地图数据，根据高精地图数据确定车道线的三维坐标数据。
高精地图中包含有大量与行车相关的辅助信息，其中包括道路车道线的位置、类型、宽度、坡度和曲率等道路数据。基于数据查询的方法通过查询高精地图中的前述数据，基于前述数据确定车道线的三维坐标数据。
本申请实施例中，在根据车辆的位置信息确定车辆的位置后，通过车辆的位置和车辆的行驶方向，作为查询依据查询高精地图，即可以确定对应的车道线的三维坐标数据。
数据获取单元11获取相机的位姿方法有如下几种。
(1)基于匹配特征点获取相机位姿的方法
基于匹配特征点确定道路图像的相机的位姿的步骤是稀疏点云重建的过程，其基于匹配特征点得到拍摄各个道路图像的相机的位姿。这一确定方法基于前文中提及的确定车道线三维坐标数据中提及的获取相机位姿的方法，相关内容可以参见前文表述。
(2)基于车辆定位特征数据，根据定位数据确定相机的位姿。
具体实施例中，车辆中配置能够获取车辆定位信息和姿态信息的传感器，具体应用中，前述获取车辆定位信息和姿态信息的传感器可以包括惯性传感器、轮速传感器、导航用传感器中的一种或者多种，基于前述传感器生成的传感器数据，进行计算可以确定车辆的位置数据和车辆的位姿数据；随后，基于车辆的位置数据和车辆的位置数据，以及相机坐标系和车辆坐标系中的转换关系，可以确定相机的位姿。
投影计算单元12，用于根据所述位姿对所述三维坐标数据进行投影变换，得到投影至所述道路图像中的二维投影数据。
根据公式
在确定相机的位姿后，并且已知相机的内部参数和车道线的三维坐标数据后，通过前述的公式可以确定投影至道路图像中的二维车道线投影数据(x，y)。
标定单元13用于采用所述二维投影数据作为所述道路图像的车道线标注数据。标定单元13将二维投影数据作为对应道路图像标注数据，是将确定的二维投影数据作为标签和对应的道路图像建立关联。
在本申请实施例的一个应用中，用于车道线识别的道路图像标注装置除了包括前述的数据获取单元11、投影计算单元12和标定单元13外，还包括模型计算单元14和坏样本识别单元15。
模型计算单元14用于采用历史车道线识别模型处理所述道路图像，得到车道线识别数据。
历史车道线识别模型是采用历史样本数据训练对深度学习模型进行训练，得到的车道线识别模型；此车道线识别模型用于对车辆相机拍摄的道路图像进行处理，确定道路中的车道线。
本申请实施例并不限定用于车道线识别模型构建的深度学习模型进行特别地限定，可以采用各种可用的深度学习算法模型。
坏样本识别单元15用于根据所述车道线标注数据和所述车道线识别数据，判断所述道路图像是否为坏样本图像。
具体应用中，坏样本计算单元通过计算车道线标注数据和车道线识别数据的差值，并判断差值是否大于设定阈值而确定道路图像是否为坏样本图像。
如果差值大于设定阈值，则确定道路图像为坏样本图像；如果差值小于设定阈值，则确定道路图像不是坏样本图像。
实际应用中，车道线标注数据和车道线识别数据均为可能为多个，因此计算车道线标注数据和车道线识别数据的差值是首先确定各个车道线标注数据对应的车道线识别数据，或者确定车道线识别数据对应的最接近的车道线标注数据，并将对应的数据求差，并将求差值的平均值作为车道线标注数据和车道线识别数据的差值。
本申请实施例中，坏样本图像是采用历史车道线识别模型处理后，得到的车道线识别数据不符合设定要求的图像。本申请实施例中，前述设定要求采用设定要求的车道线标注数据和车道线识别数据的差值体现。因为坏样本图像不能被历史车道线识别模型处理得到较为合理的车道线识别数据，因此可以将坏样本图像作为对车道线识别模型进行再训练的依据。
实际应用中，如果差值大于设定阈值，则确定车道线识别数据相对于车道线标注数据较大；而因为车道线标注数据是较为准确的数据，则确定采用历史车道线识别模型确定的车道线识别数据并不准确，反向确定历史车道线识别模型并不能很好地处理此道路图像，因此可以将此道路图像作为坏样本图像，并将此坏样本图像作为后续再训练车道线识别模型的样本，以提高车道线识别模型的识别能力。
本申请实施例还提供一种实现用于车道线识别的道路图像标注方法的电子设备。图4是本申请实施例提供的电子设备的结构示意图。如图4所示，电子设备包括至少一个处理器21、至少一个存储器22和至少一个通信接口23。
本实施例中的存储器22可以是易失性存储器或非易失性存储器，或是前述的二者的结合。在一些具体实施方式中，存储器22存储了如下的元素：可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作***和应用程序。其中，操作***，包含各种***程序，例如框架层、核心库层、驱动层等，用于实现各种基础任务以及处理基于硬件的任务。应用程序包含各种应用任务的应用程序。
在本申请实施例中，处理器21通过调用存储器22存储的程序或指令(具体的，可以是应用程序中存储的程序或指令)，以执行步骤用于车道线识别的道路图像标注方法的步骤。
本申请实施例中，处理器21可以是通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本申请实施例提供的用于车道线识别的道路图像标注方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器22，处理器21读取存储器22中的信息，结合其硬件完成方法的步骤。
通信接口23用于实现智能驾驶控制***与外部设备之间的信息传输，例如以获得各种车辆传感器数据，以及生成相应的控制指令并下发给车辆的执行机构。
电子设备中的存储器、处理器组件通过总线***24耦合在一起，总线***24用于实现这些组件之间的连接通信。本申请实施例中，总线***可以为CAN总线，也可以是其他类型的总线。总线***234除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但为了清楚说明起见，在图4中将各种总线都标为总线***24。
本申请实施例还提出一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储程序或指令，程序或指令使计算机执行如前用于车道线识别的道路图像标注方法实施例的步骤，为避免重复描述，在此不再赘述。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (15)
1.一种用于车道线识别的道路图像标注方法，其特征在于，包括：
获取道路中车道线的三维坐标数据，以及获取拍摄所述道路的相机的位姿；
根据所述位姿对所述三维坐标数据进行投影变换，得到投影至所述道路图像中的二维投影数据；
采用所述二维投影数据作为所述道路图像的车道线标注数据。
2.根据权利要求1所述用于车道线识别的道路图像标注方法，其特征在于，还包括：
采用历史车道线识别模型处理所述道路图像，得到车道线识别数据；
根据所述车道线标注数据和所述车道线识别数据，判断所述道路图像是否为坏样本图像。
3.根据权利要求1或2所述用于车道线识别的道路图像标注方法，其特征在于，所述获取道路中车道线的三维坐标数据，包括：
获取至少两张所述道路图像；各个所述道路图像对应的相机拍摄位姿不同；
采用三维重建方法，根据所述至少两张道路图像确定所述车道线的三维坐标数据。
4.根据权利要求3所述用于车道线识别的道路图像标注方法，其特征在于，采用三维重建方法，根据所述至少两张道路图像确定所述车道线的三维坐标数据，包括：
获取所述至少两张道路图像的匹配特征点；
根据所述匹配特征点确定形成所述道路图像的相机的位姿；
根据所述至少两张道路图像和对应的所述相机的位姿构建表征所述道路的空间稠密点云；
根据所述空间稠密点云得到车道线点云；
根据所述车道线点云确定所述车道线的三维坐标数据。
5.根据权利要求1或2所述用于车道线识别的道路图像标注方法，其特征在于，获取拍摄所述道路的相机的位姿，包括：
获取至少两张道路图像的匹配特征点，根据所述匹配特征点确定所述相机的位姿。
6.根据权利要求1或2所述用于车道线识别的道路图像标注方法，其特征在于，获取拍摄所述道路的相机的位姿，包括：
获取车辆的定位特征数据，根据所述定位特征数据确定所述相机的位姿。
7.根据权利要求1或2所述用于车道线识别的道路图像标注方法，其特征在于，获取道路中车道线的三维坐标数据，包括：
查找所述道路的高精地图，确定所述车道线的三维坐标数据。
8.一种用于车道线识别的道路图像标注装置，其特征在于，包括：
数据获取单元，用于获取道路中车道线的三维坐标数据，以及获取拍摄所述道路的相机的位姿；
投影计算单元，用于根据所述位姿对所述三维坐标数据进行投影变换，得到投影至所述道路图像中的二维投影数据；
标定单元，用于采用所述二维投影数据作为所述道路图像的车道线标注数据。
9.根据权利要求8所述用于车道线识别的道路图像标注装置，其特征在于，还包括：
模型计算单元，用于采用历史车道线识别模型处理所述道路图像，得到车道线识别数据；
坏样本识别单元，用于根据所述车道线标注数据和所述车道线识别数据，判断所述道路图像是否为坏样本图像。
10.根据权利要求8或9任一项所述用于车道线识别的道路图像标注装置，其特征在于，所述数据获取单元包括：
图片获取子单元，用于获取至少两张所述道路图像；各个所述道路图像对应的相机拍摄位姿不同；
三维重建子单元，用于采用三维重建方法，根据所述至少两张道路图像确定所述车道线的三维坐标数据。
11.根据权利要求8或9所述用于车道线识别的道路图像标注装置，其特征在于，所述三维重建子单元包括：
匹配特征点获取子单元，用于获取至少两张道路图像的匹配特征点；
位姿获取子单元，用于根据所述匹配特征点确定形成所述道路图像的相机的位姿；
稠密点云获取子单元，用于根据所述至少两张道路图像和对应的所述相机的位姿构建表征所述道路的空间稠密点云；
车道线点云获取子单元，用于根据所述空间稠密点云得到车道线点云；
三维坐标数据计算子单元，用于根据所述车道线点云确定所述车道线的三维坐标数据。
12.根据权利要求8或9所述用于车道线识别的道路图像标注装置，其特征在于，
所述数据获取单元获取车辆的定位特征数据，根据所述定位特征数据确定所述相机的位姿。
13.根据权利要求8或9所述用于车道线识别的道路图像标注装置，其特征在于，
所述数据获取单元通过查找所述道路的高精地图，确定所述车道线的三维坐标数据。
14.一种电子设备，其特征在于，包括处理器和存储器；
所述处理器通过调用所述存储器存储的程序或指令，用于执行如权利要求1至7任一项用于车道线识别的道路图像标注方法的步骤。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如权利要求1至7任一项用于车道线识别的道路图像标注方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110513333.4A CN113205447A (zh) | 2021-05-11 | 2021-05-11 | 用于车道线识别的道路图片标注方法和装置 |
| PCT/CN2022/077531 WO2022237272A1 (zh) | 2021-05-11 | 2022-02-23 | 用于车道线识别的道路图片标注方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110513333.4A CN113205447A (zh) | 2021-05-11 | 2021-05-11 | 用于车道线识别的道路图片标注方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113205447A true CN113205447A (zh) | 2021-08-03 |
Family
ID=77030947
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110513333.4A Pending CN113205447A (zh) | 2021-05-11 | 2021-05-11 | 用于车道线识别的道路图片标注方法和装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113205447A (zh) |
| WO (1) | WO2022237272A1 (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114140538A (zh) * | 2021-12-03 | 2022-03-04 | 禾多科技（北京）有限公司 | 车载相机位姿调整方法、装置、设备和计算机可读介质 |
| CN114581287A (zh) * | 2022-02-18 | 2022-06-03 | 高德软件有限公司 | 数据处理方法以及装置 |
| WO2022237272A1 (zh) * | 2021-05-11 | 2022-11-17 | 北京车和家信息技术有限公司 | 用于车道线识别的道路图片标注方法和装置 |
| CN117372632A (zh) * | 2023-12-08 | 2024-01-09 | 魔视智能科技(武汉)有限公司 | 二维图像的标注方法、装置、计算机设备及存储介质 |
| WO2024082965A1 (zh) * | 2022-10-20 | 2024-04-25 | 华为技术有限公司 | 一种图像标注方法、装置、电子设备及存储介质 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117593717B (zh) * | 2024-01-18 | 2024-04-05 | 武汉大学 | 一种基于深度学习的车道追踪方法及*** |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110163930A (zh) * | 2019-05-27 | 2019-08-23 | 北京百度网讯科技有限公司 | 车道线生成方法、装置、设备、***及可读存储介质 |
| CN111080662A (zh) * | 2019-12-11 | 2020-04-28 | 北京建筑大学 | 车道线的提取方法、装置及计算机设备 |
| CN111127422A (zh) * | 2019-12-19 | 2020-05-08 | 北京旷视科技有限公司 | 图像标注方法、装置、***及主机 |
| CN111179152A (zh) * | 2018-11-12 | 2020-05-19 | 阿里巴巴集团控股有限公司 | 一种道路标识识别方法及装置、介质、终端 |
| KR20200065875A (ko) * | 2018-11-30 | 2020-06-09 | 한국교통대학교산학협력단 | 랜드마크를 활용한 주행차로 인식 방법 및 시스템 |
| CN111368605A (zh) * | 2018-12-26 | 2020-07-03 | 易图通科技（北京）有限公司 | 车道线提取方法及装置 |
| CN111801711A (zh) * | 2018-03-14 | 2020-10-20 | 法弗人工智能有限公司 | 图像标注 |
| CN112154446A (zh) * | 2019-09-19 | 2020-12-29 | 深圳市大疆创新科技有限公司 | 立体车道线确定方法、装置和电子设备 |
| CN112184799A (zh) * | 2019-07-05 | 2021-01-05 | 北京地平线机器人技术研发有限公司 | 车道线空间坐标确定方法、装置、存储介质和电子设备 |
| CN112667837A (zh) * | 2019-10-16 | 2021-04-16 | 上海商汤临港智能科技有限公司 | 图像数据自动标注方法及装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10657390B2 (en) * | 2017-11-27 | 2020-05-19 | Tusimple, Inc. | System and method for large-scale lane marking detection using multimodal sensor data |
| CN111753605A (zh) * | 2019-06-11 | 2020-10-09 | 北京京东尚科信息技术有限公司 | 车道线定位方法、装置、电子设备及可读介质 |
| CN112633035B (zh) * | 2019-09-23 | 2022-06-24 | 魔门塔(苏州)科技有限公司 | 一种基于无人驾驶车辆的车道线坐标真值获取方法及装置 |
| CN113205447A (zh) * | 2021-05-11 | 2021-08-03 | 北京车和家信息技术有限公司 | 用于车道线识别的道路图片标注方法和装置 |
-
2021
- 2021-05-11 CN CN202110513333.4A patent/CN113205447A/zh active Pending
-
2022
- 2022-02-23 WO PCT/CN2022/077531 patent/WO2022237272A1/zh unknown
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111801711A (zh) * | 2018-03-14 | 2020-10-20 | 法弗人工智能有限公司 | 图像标注 |
| CN111179152A (zh) * | 2018-11-12 | 2020-05-19 | 阿里巴巴集团控股有限公司 | 一种道路标识识别方法及装置、介质、终端 |
| KR20200065875A (ko) * | 2018-11-30 | 2020-06-09 | 한국교통대학교산학협력단 | 랜드마크를 활용한 주행차로 인식 방법 및 시스템 |
| CN111368605A (zh) * | 2018-12-26 | 2020-07-03 | 易图通科技（北京）有限公司 | 车道线提取方法及装置 |
| CN110163930A (zh) * | 2019-05-27 | 2019-08-23 | 北京百度网讯科技有限公司 | 车道线生成方法、装置、设备、***及可读存储介质 |
| CN112184799A (zh) * | 2019-07-05 | 2021-01-05 | 北京地平线机器人技术研发有限公司 | 车道线空间坐标确定方法、装置、存储介质和电子设备 |
| CN112154446A (zh) * | 2019-09-19 | 2020-12-29 | 深圳市大疆创新科技有限公司 | 立体车道线确定方法、装置和电子设备 |
| CN112667837A (zh) * | 2019-10-16 | 2021-04-16 | 上海商汤临港智能科技有限公司 | 图像数据自动标注方法及装置 |
| CN111080662A (zh) * | 2019-12-11 | 2020-04-28 | 北京建筑大学 | 车道线的提取方法、装置及计算机设备 |
| CN111127422A (zh) * | 2019-12-19 | 2020-05-08 | 北京旷视科技有限公司 | 图像标注方法、装置、***及主机 |
Non-Patent Citations (5)
| Title |
|---|
| 丁全新 等: "《无人机***任务载荷技术》", 31 December 2020, 航空工业出版社, pages: 111 * |
| 叶阳阳: "面向道路交通的环境感知关键技术研究", 中国博士学位论文全文数据库 工程科技Ⅱ辑, no. 03, pages 035 - 10 * |
| 查红彬 等: "《视觉信息处理研究前沿》", 31 December 2019, 上海交通大学出版社, pages: 375 - 376 * |
| 钱基德 等: "基于感兴趣区域模型的车道线快速检测算法", 电子科技大学学报, vol. 47, no. 03, pages 356 - 361 * |
| 陈宗海: "《***仿真技术及其应用第17卷》", 31 August 2016, 中国科学技术大学出版社, pages: 38 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022237272A1 (zh) * | 2021-05-11 | 2022-11-17 | 北京车和家信息技术有限公司 | 用于车道线识别的道路图片标注方法和装置 |
| CN114140538A (zh) * | 2021-12-03 | 2022-03-04 | 禾多科技（北京）有限公司 | 车载相机位姿调整方法、装置、设备和计算机可读介质 |
| CN114581287A (zh) * | 2022-02-18 | 2022-06-03 | 高德软件有限公司 | 数据处理方法以及装置 |
| WO2024082965A1 (zh) * | 2022-10-20 | 2024-04-25 | 华为技术有限公司 | 一种图像标注方法、装置、电子设备及存储介质 |
| CN117372632A (zh) * | 2023-12-08 | 2024-01-09 | 魔视智能科技(武汉)有限公司 | 二维图像的标注方法、装置、计算机设备及存储介质 |
| CN117372632B (zh) * | 2023-12-08 | 2024-04-19 | 魔视智能科技(武汉)有限公司 | 二维图像的标注方法、装置、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022237272A1 (zh) | 2022-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113205447A (zh) | 用于车道线识别的道路图片标注方法和装置 | |
| CN110411441B (zh) | 用于多模态映射和定位的***和方法 | |
| de La Garanderie et al. | Eliminating the blind spot: Adapting 3d object detection and monocular depth estimation to 360 panoramic imagery | |
| CN109523597B (zh) | 相机外参的标定方法和装置 | |
| CN110176032B (zh) | 一种三维重建方法及装置 | |
| JP4943034B2 (ja) | ステレオ画像処理装置 | |
| CN109872366B (zh) | 一种物体的三维位置检测方法和装置 | |
| CN108648194B (zh) | 基于cad模型三维目标识别分割和位姿测量方法及装置 | |
| JP2008506953A5 (zh) | ||
| CN109741241B (zh) | 鱼眼图像的处理方法、装置、设备和存储介质 | |
| WO2019075948A1 (zh) | 移动机器人的位姿估计方法 | |
| CN113269163B (zh) | 基于鱼眼图像的立体泊车位检测方法及装置 | |
| CN109214254B (zh) | 一种确定机器人位移的方法及装置 | |
| CN112132874A (zh) | 无标定板异源图像配准方法、装置、电子设备及存储介质 | |
| CN110197104B (zh) | 基于车辆的测距方法及装置 | |
| CN104504691A (zh) | 基于低秩纹理的摄像机位置和姿态测量方法 | |
| KR101598399B1 (ko) | 로드뷰 사진이미지의 좌표정보를 이용한 자동 이미지 합성 시스템 | |
| CN103489165A (zh) | 一种面向视频拼接的小数查找表生成方法 | |
| WO2015027649A1 (zh) | 一种多尺度模型车辆检测方法 | |
| KR101673144B1 (ko) | 부분 선형화 기반의 3차원 영상 정합 방법 | |
| CN106651950B (zh) | 一种基于二次曲线透视投影不变性的单相机位姿估计方法 | |
| JP6198104B2 (ja) | ３次元物体認識装置及び３次元物体認識方法 | |
| CN111815511A (zh) | 一种全景图像拼接方法 | |
| CN114998630A (zh) | 一种从粗到精的地对空图像配准方法 | |
| CN114972451A (zh) | 一种基于旋转不变的SuperGlue匹配的遥感影像配准方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |