CN114782638B - 生成车道线的方法、装置、车辆、存储介质及芯片 - Google Patents

生成车道线的方法、装置、车辆、存储介质及芯片 Download PDF

Info

Publication number
CN114782638B
CN114782638B CN202210688142.6A CN202210688142A CN114782638B CN 114782638 B CN114782638 B CN 114782638B CN 202210688142 A CN202210688142 A CN 202210688142A CN 114782638 B CN114782638 B CN 114782638B
Authority
CN
China
Prior art keywords
lane line
dimensional
key points
undetermined
key point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210688142.6A
Other languages
English (en)
Other versions
CN114782638A (zh
Inventor
俞昆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaomi Automobile Technology Co Ltd
Original Assignee
Xiaomi Automobile Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiaomi Automobile Technology Co Ltd filed Critical Xiaomi Automobile Technology Co Ltd
Priority to CN202210688142.6A priority Critical patent/CN114782638B/zh
Publication of CN114782638A publication Critical patent/CN114782638A/zh
Application granted granted Critical
Publication of CN114782638B publication Critical patent/CN114782638B/zh
Priority to US17/990,712 priority patent/US20230410535A1/en
Priority to EP22210246.9A priority patent/EP4293630A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开涉及一种生成车道线的方法、装置、车辆、存储介质及芯片，所述方法包括：获取三维点云数据和目标车道的二维车道线数据，所述二维车道线数据为车辆在所述目标车道行驶时采集的车道线数据，所述三维点云数据为所述车辆在所述目标车道行驶时采集的所述车辆周围环境的点云数据；根据所述二维车道线数据和所述三维点云数据，确定多个车道线关键点；根据多个所述车道线关键点的属性信息和所述车辆的行驶方向，将多个所述车道线关键点进行多次随机连接，得到目标三维车道线。这样，可以降低车道线出现断线或者误连接的情况，从而提高了生成的三维车道线的准确率。

Description

生成车道线的方法、装置、车辆、存储介质及芯片
技术领域
本公开涉及自动驾驶技术领域，尤其涉及一种生成车道线的方法、装置、车辆、存储介质及芯片。
背景技术
为了保证自动驾驶车辆行驶的安全性，自动驾驶车辆通常具有检测车道线的功能，三维车道线的生成对自动驾驶车辆在高速公路上的稳定安全行驶具有重要意义。目前，通常把二维图像上检测到的二维车道线投影到三维空间，得到三维车道线，作为真值来训练神经网络模型，并在车辆行驶过程中通过该神经网络模型生成三维车道线。
但是，二维车道线可能存在误检测的情况，导致相邻帧的二维图像投影到三维地面后，投影点的类型不一致，得到的车道线可能会出现断线或者无连接的情况，从而使得生成的三维车道线的准确率比较低。
发明内容
为克服相关技术中存在的问题，本公开提供一种生成车道线的方法、装置、车辆、存储介质及芯片。
根据本公开实施例的第一方面，提供一种生成车道线的方法，包括：
获取三维点云数据和目标车道的二维车道线数据，所述二维车道线数据为车辆在所述目标车道行驶时采集的车道线数据，所述三维点云数据为所述车辆在所述目标车道行驶时采集的所述车辆周围环境的点云数据；
根据所述二维车道线数据和所述三维点云数据，确定多个车道线关键点；
根据多个所述车道线关键点的属性信息和所述车辆的行驶方向，将多个所述车道线关键点进行多次随机连接，得到目标三维车道线。
可选地，所述属性信息包括类型和位置信息，在所述根据多个所述车道线关键点的属性信息和所述车辆的行驶方向，将多个所述车道线关键点进行多次随机连接，得到目标三维车道线前，所述方法还包括：
根据多个所述车道线关键点的类型和位置信息，将多个所述车道线关键点划分为多个关键点集合；
所述根据多个所述车道线关键点的属性信息和所述车辆的行驶方向，将多个所述车道线关键点进行多次随机连接，得到目标三维车道线包括：
确定每个所述关键点集合对应的相邻关键点集合；
针对每个所述关键点集合，将所述关键点集合中的多个所述车道线关键点与所述相邻关键点集合中的多个所述车道线关键点进行多次随机连接，得到所述目标三维车道线。
可选地，所述针对每个所述关键点集合，将所述关键点集合中的多个所述车道线关键点与所述相邻关键点集合中的多个所述车道线关键点进行多次随机连接，得到所述目标三维车道线包括：
确定初始三维车道线；
将所述初始三维车道线作为待定三维车道线；
确定所述待定三维车道线的代价值；
根据所述待定三维车道线，循环执行随机连接步骤，直至所述随机连接步骤的迭代次数大于或等于预设次数阈值，或者新的待定三维车道线的代价值与每个目标待定三维车道线的代价值之间的差值均小于或等于预设差值阈值，将新的待定三维车道线作为所述目标三维车道线，所述目标待定三维车道线包括在新的待定三维车道线之前获取的预设数量个待定三维车道线；
所述随机连接步骤包括：
针对所述待定三维车道线中的每个所述关键点集合，随机交换所述关键点集合对应的相邻车道线关键点，得到随机三维车道线，所述相邻车道线关键点包括所述相邻关键点集合中与所述关键点集合中的车道线关键点连接的车道线关键点；
确定所述随机三维车道线的代价值；
根据所述随机三维车道线的代价值和所述待定三维车道线的代价值，从所述随机三维车道线和所述待定三维车道线中确定新的待定三维车道线。
可选地，所述确定初始三维车道线包括：
针对所述关键点集合中的每个所述车道线关键点，从所述相邻关键点集合中确定距离所述车道线关键点最近的目标相邻车道线关键点，连接所述车道线关键点与所述目标相邻车道线关键点，得到所述初始三维车道线。
可选地，所述确定所述待定三维车道线的代价值包括：
针对所述待定三维车道线的每个所述车道线关键点，确定所述车道线关键点的关键点代价值；
将多个所述关键点代价值的和值，作为所述待定三维车道线的代价值。
可选地，所述属性信息还包括方向，所述确定所述车道线关键点的关键点代价值包括：
根据所述车道线关键点的方向和所述待定三维车道线中与所述车道线关键点连接的相邻车道线关键点的方向，确定所述车道线关键点的方向代价值；
根据所述车道线关键点的类型和所述相邻车道线关键点的类型，确定所述车道线关键点的类型代价值；
根据所述车辆的行驶方向和预设参考方向，确定所述车道线关键点的夹角代价值；
确定所述待定三维车道线中存在断续的所述车道线关键点的数量；
根据预设方向系数、预设类型系数、预设夹角系数、预设数量系数、所述方向代价值、所述类型代价值、所述夹角代价值以及所述数量，计算得到所述关键点代价值。
可选地，所述根据所述随机三维车道线的代价值和所述待定三维车道线的代价值，从所述随机三维车道线和所述待定三维车道线中确定新的待定三维车道线包括：
在所述随机三维车道线的代价值小于或等于所述待定三维车道线的代价值的情况下，将所述随机三维车道线作为新的待定三维车道线；
在所述随机三维车道线的代价值大于所述待定三维车道线的代价值的情况下，确定所述随机三维车道线的代价值与所述待定三维车道线的代价值的代价值差值，并根据所述代价值差值和所述迭代次数，从所述随机三维车道线和所述待定三维车道线中确定新的待定三维车道线。
可选地，所述根据所述代价值差值和所述迭代次数，从所述随机三维车道线和所述待定三维车道线中确定新的待定三维车道线包括：
根据所述迭代次数和预设初始代价值，确定接受系数；
根据所述代价值差值和所述接受系数，确定接受概率；
在所述接受概率大于或等于预设概率阈值的情况下，将所述随机三维车道线作为新的待定三维车道线；
在所述接受概率小于所述预设概率阈值的情况下，将所述待定三维车道线作为新的待定三维车道线。
可选地，在所述根据多个所述车道线关键点的类型和位置信息，将多个所述车道线关键点划分为多个关键点集合前，所述方法还包括：
从多个所述车道线关键点中确定多个初始车道线关键点；
将与所述初始车道线关键点类型相同，且与所述初始车道线关键点的距离不是预设距离阈值的车道线关键点滤除，得到多个待定车道线关键点，所述预设距离阈值为预设距离的整数倍；
所述根据多个所述车道线关键点的类型和位置信息，将多个所述车道线关键点划分为多个关键点集合包括：
根据多个所述待定车道线关键点的类型和位置信息，将多个所述待定车道线关键点划分为多个所述关键点集合。
根据本公开实施例的第二方面，提供一种生成车道线的装置，包括：
数据获取模块，被配置为获取三维点云数据和目标车道的二维车道线数据，所述二维车道线数据为车辆在所述目标车道行驶时采集的车道线数据，所述三维点云数据为所述车辆在所述目标车道行驶时采集的所述车辆周围环境的点云数据；
第一确定模块，被配置为根据所述二维车道线数据和所述三维点云数据，确定多个车道线关键点；
车道线生成模块，被配置为根据多个所述车道线关键点的属性信息和所述车辆的行驶方向，将多个所述车道线关键点进行多次随机连接，得到目标三维车道线。
可选地，所述属性信息包括类型和位置信息，所述装置还包括：
集合划分模块，被配置为根据多个所述车道线关键点的类型和位置信息，将多个所述车道线关键点划分为多个关键点集合；
所述车道线生成模块，还被配置为：
确定每个所述关键点集合对应的相邻关键点集合；
针对每个所述关键点集合，将所述关键点集合中的多个所述车道线关键点与所述相邻关键点集合中的多个所述车道线关键点进行多次随机连接，得到所述目标三维车道线。
可选地，所述车道线生成模块，还被配置为：
确定初始三维车道线；
将所述初始三维车道线作为待定三维车道线；
确定所述待定三维车道线的代价值；
根据所述待定三维车道线，循环执行随机连接步骤，直至所述随机连接步骤的迭代次数大于或等于预设次数阈值，或者新的待定三维车道线的代价值与每个目标待定三维车道线的代价值之间的差值均小于或等于预设差值阈值，将新的待定三维车道线作为所述目标三维车道线，所述目标待定三维车道线包括在新的待定三维车道线之前获取的预设数量个待定三维车道线；
所述随机连接步骤包括：
针对所述待定三维车道线中的每个所述关键点集合，随机交换所述关键点集合对应的相邻车道线关键点，得到随机三维车道线，所述相邻车道线关键点包括所述相邻关键点集合中与所述关键点集合中的车道线关键点连接的车道线关键点；
确定所述随机三维车道线的代价值；
根据所述随机三维车道线的代价值和所述待定三维车道线的代价值，从所述随机三维车道线和所述待定三维车道线中确定新的待定三维车道线。
可选地，所述车道线生成模块，还被配置为：
针对所述关键点集合中的每个所述车道线关键点，从所述相邻关键点集合中确定距离所述车道线关键点最近的目标相邻车道线关键点，连接所述车道线关键点与所述目标相邻车道线关键点，得到所述初始三维车道线。
可选地，所述车道线生成模块，还被配置为：
针对所述待定三维车道线的每个所述车道线关键点，确定所述车道线关键点的关键点代价值；
将多个所述关键点代价值的和值，作为所述待定三维车道线的代价值。
可选地，所述属性信息还包括方向，所述车道线生成模块，还被配置为：
根据所述车道线关键点的方向和所述待定三维车道线中与所述车道线关键点连接的相邻车道线关键点的方向，确定所述车道线关键点的方向代价值；
根据所述车道线关键点的类型和所述相邻车道线关键点的类型，确定所述车道线关键点的类型代价值；
根据所述车辆的行驶方向和预设参考方向，确定所述车道线关键点的夹角代价值；
确定所述待定三维车道线中存在断续的所述车道线关键点的数量；
根据预设方向系数、预设类型系数、预设夹角系数、预设数量系数、所述方向代价值、所述类型代价值、所述夹角代价值以及所述数量，计算得到所述关键点代价值。
可选地，所述车道线生成模块，还被配置为：
在所述随机三维车道线的代价值小于或等于所述待定三维车道线的代价值的情况下，将所述随机三维车道线作为新的待定三维车道线；
在所述随机三维车道线的代价值大于所述待定三维车道线的代价值的情况下，确定所述随机三维车道线的代价值与所述待定三维车道线的代价值的代价值差值，并根据所述代价值差值和所述迭代次数，从所述随机三维车道线和所述待定三维车道线中确定新的待定三维车道线。
可选地，所述车道线生成模块，还被配置为：
根据所述迭代次数和预设初始代价值，确定接受系数；
根据所述代价值差值和所述接受系数，确定接受概率；
在所述接受概率大于或等于预设概率阈值的情况下，将所述随机三维车道线作为新的待定三维车道线；
在所述接受概率小于所述预设概率阈值的情况下，将所述待定三维车道线作为新的待定三维车道线。
可选地，所述装置还包括：
第二确定模块，被配置为从多个所述车道线关键点中确定多个初始车道线关键点；
滤除模块，被配置为将与所述初始车道线关键点类型相同，且与所述初始车道线关键点的距离不是预设距离阈值的车道线关键点滤除，得到多个待定车道线关键点，所述预设距离阈值为预设距离的整数倍；
所述集合划分模块，还配置为：
根据多个所述待定车道线关键点的类型和位置信息，将多个所述待定车道线关键点划分为多个所述关键点集合。
根据本公开实施例的第三方面，提供一种车辆，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：获取三维点云数据和目标车道的二维车道线数据，所述二维车道线数据为车辆在所述目标车道行驶时采集的车道线数据，所述三维点云数据为所述车辆在所述目标车道行驶时采集的所述车辆周围环境的点云数据；根据所述二维车道线数据和所述三维点云数据，确定多个车道线关键点；根据多个所述车道线关键点的属性信息和所述车辆的行驶方向，将多个所述车道线关键点进行多次随机连接，得到目标三维车道线。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开第一方面所提供的生成车道线的方法的步骤。
根据本公开实施例的第五方面，提供一种芯片，包括处理器和接口；所述处理器用于读取指令以执行本公开第一方面所提供的生成车道线的方法。
本公开的实施例提供的技术方案可以包括以下有益效果：通过获取三维点云数据和目标车道的二维车道线数据，所述二维车道线数据为车辆在所述目标车道行驶时采集的车道线数据，所述三维点云数据为所述车辆在所述目标车道行驶时采集的所述车辆周围环境的点云数据；根据所述二维车道线数据和所述三维点云数据，确定多个车道线关键点；根据多个所述车道线关键点的属性信息和所述车辆的行驶方向，将多个所述车道线关键点进行多次随机连接，得到目标三维车道线。也就是说，本公开在确定多个车道线关键点后，可以结合车道线关键点的属性信息和车辆的行驶方向，得到目标三维车道线，这样，可以降低车道线出现断线或者误连接的情况，从而提高了生成的三维车道线的准确率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据本公开一示例性实施例示出的一种生成车道线的方法的流程图；
图2是根据本公开一示例性实施例示出的第二种生成车道线的方法的流程图；
图3是根据本公开一示例性实施例示出的第三种生成车道线的方法的流程图；
图4是根据本公开一示例性实施例示出的第四种生成车道线的方法的流程图；
图5是根据本公开一示例性实施例示出的第五种生成车道线的方法的流程图；
图6是根据本公开一示例性实施例示出的一种初始三维车道线示意图；
图7是根据本公开一示例性实施例示出的一种随机连接步骤的流程图；
图8是根据本公开一示例性实施例示出的一种代价值变化示意图；
图9是根据本公开一示例性实施例示出的一种生成车道线的装置的框图；
图10是根据本公开一示例性实施例示出的第二种生成车道线的装置的框图；
图11是根据本公开一示例性实施例示出的第三种生成车道线的装置的框图；
图12是一示例性实施例示出的一种车辆的功能框图示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是，本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
首先，对本公开的应用场景进行说明。目前，基于通过神经网络模型生成三维车道线的方式，该神经网络模型的准确率直接影响生成的三维车道线的准确率。相关技术中，通过收集车辆在历史时间段行驶时采集的二维图像，得到训练样本，再把二维图像上检测到的二维车道线投影到三维空间，得到三维车道线，该三维车道线作为训练该神经网络的真值，通过该训练样本和该真值训练得到该神经网络模型。但是，二维车道线可能存在误检测的情况，导致出现相邻帧的二维图像投影至三维地面之后，得到的投影点类型不一致，出现虚线实线混淆的情况，这种情况下，得到的三维车道线会出现断线或者误连接的情况，这样，在训练该神经网络模型的真值不准确的情况下，训练得到的神经网络模型的准确率也比较低，从而导致通过该神经网络模型生成的三维车道线的准确率也比较低。
为了克服以上相关技术中存在的技术问题，本公开提供了一种生成车道线的方法、装置、车辆、存储介质及芯片，在确定多个车道线关键点后，可以结合车道线关键点的属性信息和车辆的行驶方向，得到目标三维车道线，这样，可以降低车道线出现断线或者误连接的情况，从而提高了生成的三维车道线的准确率。
下面结合具体实施例对本公开进行说明。
图1是根据本公开一示例性实施例示出的一种生成车道线的方法的流程图，如图1所示，该方法可以包括：
S101、获取三维点云数据和目标车道的二维车道线数据。
其中，该二维车道线数据为车辆在该目标车道行驶时采集的车道线数据，该三维点云数据为该车辆在该目标车道行驶时采集的该车辆周围环境的点云数据。
在本步骤中，该车辆在该目标车道行驶过程中，可以通过该车辆上的摄像头采集该车道线对应的二维车道线数据，并通过该车辆上的激光雷达采集该车辆周围环境的点云数据，得到该三维点云数据。
S102、根据该二维车道线数据和该三维点云数据，确定多个车道线关键点。
在本步骤中，在得到该三维点云数据和该目标车道的二维车道线数据后，可以通过现有技术的方法，从该三维点云数据中提取该目标车道对应的地平面，并根据该摄像头的参数，将该二维车道线数据中检测到的二维车道线的关键点投影至该地平面，得到多个车道线关键点。
S103、根据多个该车道线关键点的属性信息和该车辆的行驶方向，将多个该车道线关键点进行多次随机连接，得到目标三维车道线。
其中，该属性信息可以包括类型、位置信息以及方向。
在本步骤中，在确定多个车道线关键点后，可以根据多个该车道线关键点的属性信息和该车辆的行驶方向，将多个该车道线关键点进行多次随机连接，每次随机连接后得到一个三维车道线，之后，对每个三维车道线进行打分，将分数最高的三维车道线作为该目标三维车道线。
采用上述方法，在确定多个车道线关键点后，可以结合车道线关键点的属性信息和车辆的行驶方向，得到目标三维车道线，这样，可以降低车道线出现断线或者误连接的情况，从而提高了生成的三维车道线的准确率。
图2是根据本公开一示例性实施例示出的第二种生成车道线的方法的流程图，如图2所示，该方法还可以包括：
S104、根据多个该车道线关键点的类型和位置信息，将多个该车道线关键点划分为多个关键点集合。
在本步骤中，在确定多个车道线关键点后，可以获取预设集合距离，按照该预设集合距离，根据多个该车道线关键点的类型和位置信息，将多个该车道线关键点划分为多个关键点集合。示例地，可以先确定多个车道线关键点中采集时间最早的多个初始车道线关键点，将多个初始车道线关键点作为第一关键点集合，之后，针对每个初始车道线关键点，根据多个第一剩余车道线关键点的类型和位置信息，从多个第一剩余车道线关键点中确定距离该初始车道线关键点预设集合距离，且与该初始车道线关键点的类型相同的第一车道线关键点，将多个第一车道线关键点作为第二关键点集合，该第一剩余车道线关键点可以包括多个车道线关键点中除多个初始车道线关键点之外的车道线关键点。其中，该预设集合距离可以根据试验预先测试得到，示例地，该预设集合距离可以是5米。
进一步地，可以将多个第一车道线关键点作为新的初始车道线关键点，按照上述确定该第一车道线关键点的方法，从多个第二剩余车道线关键点中确定多个第二车道线关键点，该第二剩余车道线关键点包括多个第一剩余车道线关键点中除多个第一车道线关键点之外的车道线关键点，将多个第二车道线关键点作为第三关键点集合。以此类推，按照上述方法继续对多个车道线关键点进行划分，最终得到多个关键点集合，此处不再赘述。
相应的，步骤S103可以是：
确定每个关键点集合对应的相邻关键点集合，针对每个关键点集合，将该关键点集合中的多个车道线关键点与该相邻关键点集合中的多个车道线关键点进行多次随机连接，得到该目标三维车道线。
图3是根据本公开一示例性实施例示出的第三种生成车道线的方法的流程图，如图3所示，该方法还可以包括：
S105、从多个该车道线关键点中确定多个初始车道线关键点。
S106、将与该初始车道线关键点类型相同，且与该初始车道线关键点的距离不是预设距离阈值的车道线关键点滤除，得到多个待定车道线关键点。
其中，该预设距离阈值可以是预设距离的整数倍，该预设距离可以根据经验预先设置，示例地，该预设距离可以是1米或5米。
示例地，在确定多个初始车道线关键点后，可以从多个车道线关键点中确定与该初始车道线关键点类型相同，且与该初始车道线关键点的距离为预设距离、2倍预设距离、3倍预设距离、……、N倍预设距离的多个待定车道线关键点，其中，N可以根据距离该初始车道线关键点最远的车道线关键点确定。这样，可以将多个车道线关键点中距离相近且类型相同的车道线关键点滤除，使得去重后的待定车道线关键点更加准确，进一步提高了生成的三维车道线的准确率。
相应的，步骤S104可以是：
根据多个该待定车道线关键点的类型和位置信息，将多个该待定车道线关键点划分为多个该关键点集合。
基于图2所示的实施例，图4是根据本公开一示例性实施例示出的第四种生成车道线的方法的流程图，如图4所示，步骤S103可以包括：
S1031、确定每个关键点集合对应的相邻关键点集合。
在本步骤中，在得到多个关键点集合后，针对每个关键点集合，可以确定该关键点集合对应的相邻关键点集合。继续以步骤S104中的示例为例进行说明，针对该第一关键点集合，可以确定该第一关键点集合对应的相邻关键点集合为该第二关键点集合，针对该第二关键点集合，可以确定该第二关键点集合对应的相邻关键点集合为该第三关键点集合。
S1032、针对每个该关键点集合，将该关键点集合中的多个该车道线关键点与该相邻关键点集合中的多个该车道线关键点进行多次随机连接，得到该目标三维车道线。
图5是根据本公开一示例性实施例示出的第五种生成车道线的方法的流程图，如图5所示，步骤S1032可以包括：
S1、确定初始三维车道线。
在一种可能的实现方式中，针对每个关键点集合，在确定该关键点集合对应的相邻关键点集合后，针对该关键点集合中的每个该车道线关键点，从该相邻关键点集合中确定距离该车道线关键点最近的目标相邻车道线关键点，连接该车道线关键点与该目标相邻车道线关键点，得到该初始三维车道线。
图6是根据本公开一示例性实施例示出的一种初始三维车道线示意图，如图6所示，关键点集合包括三个：第一关键点集合、第二关键点集合以及第三关键点集合，该第一关键点集合对应的相邻关键点集合为该第二关键点集合，该第二关键点集合对应的相邻关键点集合为该第三关键点集合，针对该第一关键点集合中的每个车道线关键点，从该第二关键点集合中确定与每个车道线关键点距离最近的目标相邻车道线关键点，并将该车道线关键点与该目标相邻车道线关键点连接。针对该第二关键点集合，该第二关键点集合包括五个车道线关键点（从左到右依次是1号关键点、2号关键点、3号关键点、4号关键点以及5号关键点），该第三关键点集合包括四个车道线关键点（从左到右依次是1号关键点、2号关键点、3号关键点以及4号关键点），与该第二关键点集合中1号关键点和2号关键点距离最近的目标相邻车道线关键点均为第三关键点集合中的1号关键点，在这种情况下，可以将该第二关键点集合的1号关键点和2号关键点中距离该第三关键点集合的1号关键点最近的车道线关键点（2号关键点），与该第三关键点集合中的1号关键点连接，如图6所示，该第二关键点集合中的2号关键点与该第三关键点集合中的1号关键点连接，该第二关键点集合中的1号关键点未与该第三关键点集合中的1号关键点连接。
S2、将该初始三维车道线作为待定三维车道线。
S3、确定该待定三维车道线的代价值。
在一种可能的实现方式中，针对该待定三维车道线的每个该车道线关键点，确定该车道线关键点的关键点代价值，并将多个该关键点代价值的和值，作为该待定三维车道线的代价值。
其中，可以根据该车道线关键点的方向和该待定三维车道线中与该车道线关键点连接的相邻车道线关键点的方向，确定该车道线关键点的方向代价值；根据该车道线关键点的类型和该相邻车道线关键点的类型，确定该车道线关键点的类型代价值；根据该车辆的行驶方向和预设参考方向，确定该车道线关键点的夹角代价值；确定该待定三维车道线中存在断续的该车道线关键点的数量；根据预设方向系数、预设类型系数、预设夹角系数、预设数量系数、该方向代价值、该类型代价值、该夹角代价值以及该数量，计算得到该关键点代价值。
示例地，可以通过公式（1）计算得到该关键点代价值：
cost = a*cost1+b*cost2+c*cost3+d*cost4 （1）
其中，cost为该关键点代价值，a为该预设方向系数，b为该预设类型系数，c为该预设夹角系数，d为该预设数量系数，cost1为该方向代价值，cost2为该类型代价值，cost3为该夹角代价值，cost4为该数量。
该车道线关键点的方向代价值可以通过公式（2）计算得到：
cost1 = orientation（node1）- orientation（node2） （2）
其中，orientation（node1）为该车道线关键点的方向，orientation（node2）为该与该车道线关键点连接的相邻车道线关键点的方向。
该车道线关键点的类型代价值可以根据该车道线关键点的类型和与该车道线关键点连接的相邻车道线关键点的类型确定，示例地，若该车道线关键点的类型和与该车道线关键点连接的相邻车道线关键点的类型相同，则可以确定该车道线关键点的类型代价值为0，若该车道线关键点的类型和与该车道线关键点连接的相邻车道线关键点的类型不同，则可以确定该车道线关键点的类型代价值为1。
该预设参考方向可以是该车道线关键点的方向，该车道线关键点的夹角代价值可以通过公式（3）计算得到：
cost3 = orientation（node1）- orientation（car） （3）
其中，orientation（car）为该车辆的行驶方向。
需要说明的是，该预设参考方向也可以是预先设置的其它方向（例如正北方向），本公开对此不作限定。
以图6所示的初始三维车道线为例，若将该初始三维车道线作为该待定三维车道线，则该待定三维车道线中存在断续的该车道线关键点的数量为2（第二关键点集合中的1号关键点和2号关键点）。
S4、根据该待定三维车道线，循环执行随机连接步骤，直至该随机连接步骤的迭代次数大于或等于预设次数阈值，或者新的待定三维车道线的代价值与每个目标待定三维车道线的代价值之间的差值均小于或等于预设差值阈值，将新的待定三维车道线作为该目标三维车道线。
其中，该迭代次数可以根据经验预先设置，示例地，该迭代次数可以是2000；该预设差值阈值可以根据试验预先测试得到，示例地，该预设差值阈值可以是0，也就是说，在新的待定三维车道线前获取的预设数量个待定三维车道线和该新的待定三维车道线均相同的情况下，可以停止迭代。该预设数量可以根据该预设次数阈值确定，示例地，该预设数量可以是该预设次数阈值的2%。该目标待定三维车道线包括在新的待定三维车道线之前获取的预设数量个待定三维车道线。
图7是根据本公开一示例性实施例示出的一种随机连接步骤的流程图，如图7所示，该随机连接步骤可以包括：
S71、针对该待定三维车道线中的每个该关键点集合，随机交换该关键点集合对应的相邻车道线关键点，得到随机三维车道线。
其中，该相邻车道线关键点可以包括该相邻关键点集合中与该关键点集合中的车道线关键点连接的车道线关键点。
示例地，继续以图6所示的初始三维车道线为例，若将该初始三维车道线作为该待定三维车道线，则针对该待定三维车道线中的第二关键点集合，可以将第三关键点集合中，与该第二关键点集合的3号关键点和4号关键点连接的车道线关键点进行交换，即将该第二关键点集合中的2号关键点与该第三关键点集合中的3号关键点连接，将该第二关键点集合中的3号关键点与该第三关键点集合中的2号关键点连接，得到该随机三维车道线。
S72、确定该随机三维车道线的代价值。
在本步骤中，可以参照步骤S3中确定待定三维车道线的代价值的方法，确定该随机三维车道线的代价值的方法，此处不再赘述。
S73、根据该随机三维车道线的代价值和该待定三维车道线的代价值，从该随机三维车道线和该待定三维车道线中确定新的待定三维车道线。
在本步骤中，在该随机三维车道线的代价值小于或等于该待定三维车道线的代价值的情况下，可以将该随机三维车道线作为新的待定三维车道线；在该随机三维车道线的代价值大于该待定三维车道线的代价值的情况下，可以确定该随机三维车道线的代价值与该待定三维车道线的代价值的代价值差值，并根据该代价值差值和该迭代次数，从该随机三维车道线和该待定三维车道线中确定新的待定三维车道线。
在一种可能的实现方式中，可以根据该迭代次数和预设初始代价值，确定接受系数，根据该代价值差值和该接受系数，确定接受概率，在该接受概率大于或等于预设概率阈值的情况下，将该随机三维车道线作为新的待定三维车道线，在该接受概率小于该预设概率阈值的情况下，将该待定三维车道线作为新的待定三维车道线。其中，该预设概率阈值可以根据经验预先设置。
示例地，可以将该预设初始代价值与该迭代次数的比值，作为该接受系数，在该代价值差值大于或等于0的情况下，可以通过公式（4）计算得到该接受概率：
P（accept） = exp(-Tc/Ti） （4）
其中，P（accept）为该接受概率，Tc为该代价值差值，Ti为该接受系数。
在该代价值差值小于0的情况下，可以确定该接受概率为预设概率，例如，该预设概率可以是1。
图8是根据本公开一示例性实施例示出的一种代价值变化示意图，如图8所示，左侧的三维车道线为待定三维车道线，右侧的三维车道线为随机三维车道线，右侧上方的随机三维车道线的代价值为100，右侧下方的随机三维车道线的代价值为10，从图8可以看出，右侧下方的随机三维车道线更优。
通过上述随机方式计算该接受概率，可以随机将非最优的三维车道线作为新的待定三维车道线，执行该随机连接步骤，这样，可以避免后续迭代过程中遗漏部分代价值较低的三维车道线，从而进一步提高了生成的三维车道线的准确率。
综上所述，在确定多个车道线关键点后，确定初始三维车道线，将该初始三维车道线作为待定三维车道线，并根据该待定三维车道线执行随机连接步骤，得到随机三维车道线，确定该随机三维车道线的代价值，在该随机三维车道线的代价值小于或等于该待定三维车道线的代价值的情况下，将该随机三维车道线的代价值作为新的待定三维车道线，继续执行该随机连接步骤，在该随机三维车道线的代价值大于该待定三维车道线的代价值的情况下，继续根据该待定三维车道线，执行该随机连接步骤，直至随机连接步骤的迭代次数大于或等于预设次数阈值，或者新的待定三维车道线的代价值与每个目标待定三维车道线的代价值之间的差值均小于或等于预设差值阈值。这样，经过每次迭代，可以以最优的三维车道线为基础进行后续迭代，最终可以得到最佳的三维车道线，进一步提高了生成的三维车道线的准确率。
图9是根据本公开一示例性实施例示出的一种生成车道线的装置的框图，如图9所示，该装置可以包括：
数据获取模块901，被配置为获取三维点云数据和目标车道的二维车道线数据，该二维车道线数据为车辆在该目标车道行驶时采集的车道线数据，该三维点云数据为该车辆在该目标车道行驶时采集的该车辆周围环境的点云数据；
第一确定模块902，被配置为根据该二维车道线数据和该三维点云数据，确定多个车道线关键点；
车道线生成模块903，被配置为根据多个该车道线关键点的属性信息和该车辆的行驶方向，将多个该车道线关键点进行多次随机连接，得到目标三维车道线。
可选地，该属性信息包括类型和位置信息，图10是根据本公开一示例性实施例示出的第二种生成车道线的装置的框图，如图10所示，该装置还包括：
集合划分模块904，被配置为根据多个该车道线关键点的类型和位置信息，将多个该车道线关键点划分为多个关键点集合；
该车道线生成模块903，还被配置为：
确定每个关键点集合对应的相邻关键点集合；
针对每个该关键点集合，确定该关键点集合对应的相邻关键点集合，将该关键点集合中的多个该车道线关键点与该相邻关键点集合中的多个该车道线关键点进行多次随机连接，得到该目标三维车道线。
可选地，该车道线生成模块903，还被配置为：
确定初始三维车道线；
将该初始三维车道线作为待定三维车道线；
确定该待定三维车道线的代价值；
根据该待定三维车道线，循环执行随机连接步骤，直至该随机连接步骤的迭代次数大于或等于预设次数阈值，或者新的待定三维车道线的代价值与每个目标待定三维车道线的代价值之间的差值均小于或等于预设差值阈值，将新的待定三维车道线作为该目标三维车道线，该目标待定三维车道线包括在新的待定三维车道线之前获取的预设数量个待定三维车道线；
该随机连接步骤包括：
针对该待定三维车道线中的每个该关键点集合，随机交换该关键点集合对应的相邻车道线关键点，得到随机三维车道线，该相邻车道线关键点包括该相邻关键点集合中与该关键点集合中的车道线关键点连接的车道线关键点；
确定该随机三维车道线的代价值；
根据该随机三维车道线的代价值和该待定三维车道线的代价值，从该随机三维车道线和该待定三维车道线中确定新的待定三维车道线。
可选地，该车道线生成模块903，还被配置为：
针对该关键点集合中的每个该车道线关键点，从该相邻关键点集合中确定距离该车道线关键点最近的目标相邻车道线关键点，连接该车道线关键点与该目标相邻车道线关键点，得到该初始三维车道线。
可选地，该车道线生成模块903，还被配置为：
针对该待定三维车道线的每个该车道线关键点，确定该车道线关键点的关键点代价值；
将多个该关键点代价值的和值，作为该待定三维车道线的代价值。
可选地，该属性信息还包括方向，该车道线生成模块903，还被配置为：
根据该车道线关键点的方向和该待定三维车道线中与该车道线关键点连接的相邻车道线关键点的方向，确定该车道线关键点的方向代价值；
根据该车道线关键点的类型和该相邻车道线关键点的类型，确定该车道线关键点的类型代价值；
根据该车辆的行驶方向和预设参考方向，确定该车道线关键点的夹角代价值；
确定该待定三维车道线中存在断续的该车道线关键点的数量；
根据预设方向系数、预设类型系数、预设夹角系数、预设数量系数、该方向代价值、该类型代价值、该夹角代价值以及该数量，计算得到该关键点代价值。
可选地，该车道线生成模块903，还被配置为：
在该随机三维车道线的代价值小于或等于该待定三维车道线的代价值的情况下，将该随机三维车道线作为新的待定三维车道线；
在该随机三维车道线的代价值大于该待定三维车道线的代价值的情况下，确定该随机三维车道线的代价值与该待定三维车道线的代价值的代价值差值，并根据该代价值差值和该迭代次数，从该随机三维车道线和该待定三维车道线中确定新的待定三维车道线。
可选地，该车道线生成模块903，还被配置为：
根据该迭代次数和预设初始代价值，确定接受系数；
根据该代价值差值和该接受系数，确定接受概率；
在该接受概率大于或等于预设概率阈值的情况下，将该随机三维车道线作为新的待定三维车道线；
在该接受概率小于该预设概率阈值的情况下，将该待定三维车道线作为新的待定三维车道线。
可选地，图11是根据本公开一示例性实施例示出的第三种生成车道线的装置的框图，如图11所示，该装置还包括：
第二确定模块905，被配置为从多个该车道线关键点中确定多个初始车道线关键点；
滤除模块906，被配置为将与该初始车道线关键点类型相同，且与该初始车道线关键点的距离不是预设距离阈值的车道线关键点滤除，得到多个待定车道线关键点，该预设距离阈值为预设距离的整数倍；
该集合划分模块904，还配置为：
根据多个该待定车道线关键点的类型和位置信息，将多个该待定车道线关键点划分为多个该关键点集合。
通过上述装置，在确定多个车道线关键点后，可以结合车道线关键点的属性信息和车辆的行驶方向，得到目标三维车道线，这样，可以降低车道线出现断线或者误连接的情况，从而提高了生成的三维车道线的准确率。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开提供的生成车道线的方法的步骤。
上述装置除了可以是独立的电子设备外，也可是独立电子设备的一部分，例如在一种实施例中，该装置可以是集成电路（Integrated Circuit，IC）或芯片，其中该集成电路可以是一个IC，也可以是多个IC的集合；该芯片可以包括但不限于以下种类：GPU（GraphicsProcessing Unit，图形处理器）、CPU（Central Processing Unit，中央处理器）、FPGA（Field Programmable Gate Array，可编程逻辑阵列）、DSP（Digital Signal Processor，数字信号处理器）、ASIC（Application Specific Integrated Circuit，专用集成电路）、SOC（System on Chip，SoC，片上***或***级芯片）等。上述的集成电路或芯片中可以用于执行可执行指令（或代码），以实现上述的生成车道线的方法。其中该可执行指令可以存储在该集成电路或芯片中，也可以从其他的装置或设备获取，例如该集成电路或芯片中包括处理器、存储器，以及用于与其他的装置通信的接口。该可执行指令可以存储于该处理器中，当该可执行指令被处理器执行时实现上述的生成车道线的方法；或者，该集成电路或芯片可以通过该接口接收可执行指令并传输给该处理器执行，以实现上述的生成车道线的方法。
参阅图12，图12是一示例性实施例示出的一种车辆600的功能框图示意图。车辆600可以被配置为完全或部分自动驾驶模式。例如，车辆600可以通过感知***620获取其周围的环境信息，并基于对周边环境信息的分析得到自动驾驶策略以实现完全自动驾驶，或者将分析结果呈现给用户以实现部分自动驾驶。
车辆600可包括各种子***，例如，信息娱乐***610、感知***620、决策控制***630、驱动***640以及计算平台650。可选的，车辆600可包括更多或更少的子***，并且每个子***都可包括多个部件。另外，车辆600的每个子***和部件可以通过有线或者无线的方式实现互连。
在一些实施例中，信息娱乐***610可以包括通信***611，娱乐***612以及导航***613。
通信***611可以包括无线通信***，无线通信***可以直接地或者经由通信网络来与一个或多个设备无线通信。例如，无线通信***可使用3G蜂窝通信，例如CDMA、EVD0、GSM/GPRS，或者4G蜂窝通信，例如LTE。或者5G蜂窝通信。无线通信***可利用WiFi与无线局域网（wireless local area network，WLAN）通信。在一些实施例中，无线通信***可利用红外链路、蓝牙或ZigBee与设备直接通信。其他无线协议，例如各种车辆通信***，例如，无线通信***可包括一个或多个专用短程通信（dedicated short range communications，DSRC）设备，这些设备可包括车辆和/或路边台站之间的公共和/或私有数据通信。
娱乐***612可以包括显示设备，麦克风和音响，用户可以基于娱乐***在车内收听广播，播放音乐；或者将手机和车辆联通，在显示设备上实现手机的投屏，显示设备可以为触控式，用户可以通过触摸屏幕进行操作。
在一些情况下，可以通过麦克风获取用户的语音信号，并依据对用户的语音信号的分析实现用户对车辆600的某些控制，例如调节车内温度等。在另一些情况下，可以通过音响向用户播放音乐。
导航***613可以包括由地图供应商所提供的地图服务，从而为车辆600提供行驶路线的导航，导航***613可以和车辆的全球定位***621、惯性测量单元622配合使用。地图供应商所提供的地图服务可以为二维地图，也可以是高精地图。
感知***620可包括感测关于车辆600周边的环境的信息的若干种传感器。例如，感知***620可包括全球定位***621（全球定位***可以是GPS***，也可以是北斗***或者其他定位***）、惯性测量单元（inertial measurement unit，IMU）622、激光雷达623、毫米波雷达624、超声雷达625以及摄像装置626。感知***620还可包括被监视车辆600的内部***的传感器（例如，车内空气质量监测器、燃油量表、机油温度表等）。来自这些传感器中的一个或多个的传感器数据可用于检测对象及其相应特性（位置、形状、方向、速度等）。这种检测和识别是车辆600的安全操作的关键功能。
全球定位***621用于估计车辆600的地理位置。
惯性测量单元622用于基于惯性加速度来感测车辆600的位姿变化。在一些实施例中，惯性测量单元622可以是加速度计和陀螺仪的组合。
激光雷达623利用激光来感测车辆600所位于的环境中的物体。在一些实施例中，激光雷达623可包括一个或多个激光源、激光扫描器以及一个或多个检测器，以及其他***组件。
毫米波雷达624利用无线电信号来感测车辆600的周边环境内的物体。在一些实施例中，除了感测物体以外，毫米波雷达624还可用于感测物体的速度和/或前进方向。
超声雷达625可以利用超声波信号来感测车辆600周围的物体。
摄像装置626用于捕捉车辆600的周边环境的图像信息。摄像装置626可以包括单目相机、双目相机、结构光相机以及全景相机等，摄像装置626获取的图像信息可以包括静态图像，也可以包括视频流信息。
决策控制***630包括基于感知***620所获取的信息进行分析决策的计算***631，决策控制***630还包括对车辆600的动力***进行控制的整车控制器632，以及用于控制车辆600的转向***633、油门634和制动***635。
计算***631可以操作来处理和分析由感知***620所获取的各种信息以便识别车辆600周边环境中的目标、物体和/或特征。目标可以包括行人或者动物，物体和/或特征可包括交通信号、道路边界和障碍物。计算***631可使用物体识别算法、运动中恢复结构（Structure from Motion，SFM）算法、视频跟踪等技术。在一些实施例中，计算***631可以用于为环境绘制地图、跟踪物体、估计物体的速度等等。计算***631可以将所获取的各种信息进行分析并得出对车辆的控制策略。
整车控制器632可以用于对车辆的动力电池和引擎641进行协调控制，以提升车辆600的动力性能。
转向***633可操作来调整车辆600的前进方向。例如在一个实施例中可以为方向盘***。
油门634用于控制引擎641的操作速度并进而控制车辆600的速度。
制动***635用于控制车辆600减速。制动***635可使用摩擦力来减慢车轮644。在一些实施例中，制动***635可将车轮644的动能转换为电流。制动***635也可采取其他形式来减慢车轮644转速从而控制车辆600的速度。
驱动***640可包括为车辆600提供动力运动的组件。在一个实施例中，驱动***640可包括引擎641、能量源642、传动***643和车轮644。引擎641可以是内燃机、电动机、空气压缩引擎或其他类型的引擎组合，例如汽油发动机和电动机组成的混动引擎，内燃引擎和空气压缩引擎组成的混动引擎。引擎641将能量源642转换成机械能量。
能量源642的示例包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和其他电力来源。能量源642也可以为车辆600的其他***提供能量。
传动***643可以将来自引擎641的机械动力传送到车轮644。传动***643可包括变速箱、差速器和驱动轴。在一个实施例中，传动***643还可以包括其他器件，比如离合器。其中，驱动轴可包括可耦合到一个或多个车轮644的一个或多个轴。
车辆600的部分或所有功能受计算平台650控制。计算平台650可包括至少一个处理器651，处理器651可以执行存储在例如存储器652这样的非暂态计算机可读介质中的指令653。在一些实施例中，计算平台650还可以是采用分布式方式控制车辆600的个体组件或子***的多个计算设备。
处理器651可以是任何常规的处理器，诸如商业可获得的CPU。可替换地，处理器651还可以包括诸如图像处理器（Graphic Process Unit，GPU），现场可编程门阵列（FieldProgrammable Gate Array，FPGA）、片上***（System on Chip，SOC）、专用集成芯片（Application Specific Integrated Circuit，ASIC）或它们的组合。尽管图12功能性地图示了处理器、存储器、和在相同块中的计算机的其它元件，但是本领域的普通技术人员应该理解该处理器、计算机、或存储器实际上可以包括可以或者可以不存储在相同的物理外壳内的多个处理器、计算机、或存储器。例如，存储器可以是硬盘驱动器或位于不同于计算机的外壳内的其它存储介质。因此，对处理器或计算机的引用将被理解为包括对可以或者可以不并行操作的处理器或计算机或存储器的集合的引用。不同于使用单一的处理器来执行此处所描述的步骤，诸如转向组件和减速组件的一些组件每个都可以具有其自己的处理器，处理器只执行与特定于组件的功能相关的计算。
在本公开实施方式中，处理器651可以执行上述的生成车道线的方法。
在此处所描述的各个方面中，处理器651可以位于远离该车辆并且与该车辆进行无线通信。在其它方面中，此处所描述的过程中的一些在布置于车辆内的处理器上执行而其它则由远程处理器执行，包括采取执行单一操纵的必要步骤。
在一些实施例中，存储器652可包含指令653（例如，程序逻辑），指令653可被处理器651执行来执行车辆600的各种功能。存储器652也可包含额外的指令，包括向信息娱乐***610、感知***620、决策控制***630、驱动***640中的一个或多个发送数据、从其接收数据、与其交互和/或对其进行控制的指令。
除了指令653以外，存储器652还可存储数据，例如道路地图、路线信息，车辆的位置、方向、速度以及其它这样的车辆数据，以及其他信息。这种信息可在车辆600在自主、半自主和/或手动模式中操作期间被车辆600和计算平台650使用。
计算平台650可基于从各种子***（例如，驱动***640、感知***620和决策控制***630）接收的输入来控制车辆600的功能。例如，计算平台650可利用来自决策控制***630的输入以便控制转向***633来避免由感知***620检测到的障碍物。在一些实施例中，计算平台650可操作来对车辆600及其子***的许多方面提供控制。
可选地，上述这些组件中的一个或多个可与车辆600分开安装或关联。例如，存储器652可以部分或完全地与车辆600分开存在。上述组件可以按有线和/或无线方式来通信地耦合在一起。
可选地，上述组件只是一个示例，实际应用中，上述各个模块中的组件有可能根据实际需要增添或者删除，图12不应理解为对本公开实施例的限制。
在道路行进的自动驾驶汽车，如上面的车辆600，可以识别其周围环境内的物体以确定对当前速度的调整。物体可以是其它车辆、交通控制设备、或者其它类型的物体。在一些示例中，可以独立地考虑每个识别的物体，并且基于物体的各自的特性，诸如它的当前速度、加速度、与车辆的间距等，可以用来确定自动驾驶汽车所要调整的速度。
可选地，车辆600或者与车辆600相关联的感知和计算设备（例如计算***631、计算平台650）可以基于所识别的物体的特性和周围环境的状态（例如，交通、雨、道路上的冰、等等）来预测识别的物体的行为。可选地，每一个所识别的物体都依赖于彼此的行为，因此还可以将所识别的所有物体全部一起考虑来预测单个识别的物体的行为。车辆600能够基于预测的识别的物体的行为来调整它的速度。换句话说，自动驾驶汽车能够基于所预测的物体的行为来确定车辆将需要调整到（例如，加速、减速、或者停止）何种稳定状态。在这个过程中，也可以考虑其它因素来确定车辆600的速度，诸如，车辆600在行驶的道路中的横向位置、道路的曲率、静态和动态物体的接近度等等。
除了提供调整自动驾驶汽车的速度的指令之外，计算设备还可以提供修改车辆600的转向角的指令，以使得自动驾驶汽车遵循给定的轨迹和/或维持与自动驾驶汽车附近的物体（例如，道路上的相邻车道中的车辆）的安全横向和纵向距离。
上述车辆600可以为各种类型的行驶工具，例如，轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、娱乐车、火车等等，本公开实施例不做特别的限定。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的生成车道线的方法的代码部分。
本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (11)

1.一种生成车道线的方法，其特征在于，包括：
获取三维点云数据和目标车道的二维车道线数据，所述二维车道线数据为车辆在所述目标车道行驶时采集的车道线数据，所述三维点云数据为所述车辆在所述目标车道行驶时采集的所述车辆周围环境的点云数据；
根据所述二维车道线数据和所述三维点云数据，确定多个车道线关键点；
根据多个所述车道线关键点的属性信息和所述车辆的行驶方向，将多个所述车道线关键点进行多次随机连接，得到目标三维车道线；
所述属性信息包括类型和位置信息，在所述根据多个所述车道线关键点的属性信息和所述车辆的行驶方向，将多个所述车道线关键点进行多次随机连接，得到目标三维车道线前，所述方法还包括：
根据多个所述车道线关键点的类型和位置信息，将多个所述车道线关键点划分为多个关键点集合；
所述根据多个所述车道线关键点的属性信息和所述车辆的行驶方向，将多个所述车道线关键点进行多次随机连接，得到目标三维车道线包括：
确定每个所述关键点集合对应的相邻关键点集合；
针对每个所述关键点集合，将所述关键点集合中的多个所述车道线关键点与所述相邻关键点集合中的多个所述车道线关键点进行多次随机连接，得到所述目标三维车道线；
所述针对每个所述关键点集合，将所述关键点集合中的多个所述车道线关键点与所述相邻关键点集合中的多个所述车道线关键点进行多次随机连接，得到所述目标三维车道线包括：
确定初始三维车道线；
将所述初始三维车道线作为待定三维车道线；
确定所述待定三维车道线的代价值；
根据所述待定三维车道线，循环执行随机连接步骤，直至所述随机连接步骤的迭代次数大于或等于预设次数阈值，或者新的待定三维车道线的代价值与每个目标待定三维车道线的代价值之间的差值均小于或等于预设差值阈值，将新的待定三维车道线作为所述目标三维车道线，所述目标待定三维车道线包括在新的待定三维车道线之前获取的预设数量个待定三维车道线；
所述随机连接步骤包括：
针对所述待定三维车道线中的每个所述关键点集合，随机交换所述关键点集合对应的相邻车道线关键点，得到随机三维车道线，所述相邻车道线关键点包括所述相邻关键点集合中与所述关键点集合中的车道线关键点连接的车道线关键点；
确定所述随机三维车道线的代价值；
根据所述随机三维车道线的代价值和所述待定三维车道线的代价值，从所述随机三维车道线和所述待定三维车道线中确定新的待定三维车道线。
2.根据权利要求1所述的方法，其特征在于，所述确定初始三维车道线包括：
针对所述关键点集合中的每个所述车道线关键点，从所述相邻关键点集合中确定距离所述车道线关键点最近的目标相邻车道线关键点，连接所述车道线关键点与所述目标相邻车道线关键点，得到所述初始三维车道线。
3.根据权利要求1所述的方法，其特征在于，所述确定所述待定三维车道线的代价值包括：
针对所述待定三维车道线的每个所述车道线关键点，确定所述车道线关键点的关键点代价值；
将多个所述关键点代价值的和值，作为所述待定三维车道线的代价值。
4.根据权利要求3所述的方法，其特征在于，所述属性信息还包括方向，所述确定所述车道线关键点的关键点代价值包括：
根据所述车道线关键点的方向和所述待定三维车道线中与所述车道线关键点连接的相邻车道线关键点的方向，确定所述车道线关键点的方向代价值；
根据所述车道线关键点的类型和所述相邻车道线关键点的类型，确定所述车道线关键点的类型代价值；
根据所述车辆的行驶方向和预设参考方向，确定所述车道线关键点的夹角代价值；
确定所述待定三维车道线中存在断续的所述车道线关键点的数量；
根据预设方向系数、预设类型系数、预设夹角系数、预设数量系数、所述方向代价值、所述类型代价值、所述夹角代价值以及所述数量，计算得到所述关键点代价值。
5.根据权利要求1所述的方法，其特征在于，所述根据所述随机三维车道线的代价值和所述待定三维车道线的代价值，从所述随机三维车道线和所述待定三维车道线中确定新的待定三维车道线包括：
在所述随机三维车道线的代价值小于或等于所述待定三维车道线的代价值的情况下，将所述随机三维车道线作为新的待定三维车道线；
在所述随机三维车道线的代价值大于所述待定三维车道线的代价值的情况下，确定所述随机三维车道线的代价值与所述待定三维车道线的代价值的代价值差值，并根据所述代价值差值和所述迭代次数，从所述随机三维车道线和所述待定三维车道线中确定新的待定三维车道线。
6.根据权利要求5所述的方法，其特征在于，所述根据所述代价值差值和所述迭代次数，从所述随机三维车道线和所述待定三维车道线中确定新的待定三维车道线包括：
根据所述迭代次数和预设初始代价值，确定接受系数；
根据所述代价值差值和所述接受系数，确定接受概率；
在所述接受概率大于或等于预设概率阈值的情况下，将所述随机三维车道线作为新的待定三维车道线；
在所述接受概率小于所述预设概率阈值的情况下，将所述待定三维车道线作为新的待定三维车道线。
7.根据权利要求1所述的方法，其特征在于，在所述根据多个所述车道线关键点的类型和位置信息，将多个所述车道线关键点划分为多个关键点集合前，所述方法还包括：
从多个所述车道线关键点中确定多个初始车道线关键点；
将与所述初始车道线关键点类型相同，且与所述初始车道线关键点的距离不是预设距离阈值的车道线关键点滤除，得到多个待定车道线关键点，所述预设距离阈值为预设距离的整数倍；
所述根据多个所述车道线关键点的类型和位置信息，将多个所述车道线关键点划分为多个关键点集合包括：
根据多个所述待定车道线关键点的类型和位置信息，将多个所述待定车道线关键点划分为多个所述关键点集合。
8.一种生成车道线的装置，其特征在于，包括：
数据获取模块，被配置为获取三维点云数据和目标车道的二维车道线数据，所述二维车道线数据为车辆在所述目标车道行驶时采集的车道线数据，所述三维点云数据为所述车辆在所述目标车道行驶时采集的所述车辆周围环境的点云数据；
第一确定模块，被配置为根据所述二维车道线数据和所述三维点云数据，确定多个车道线关键点；
车道线生成模块，被配置为根据多个所述车道线关键点的属性信息和所述车辆的行驶方向，将多个所述车道线关键点进行多次随机连接，得到目标三维车道线；
所述属性信息包括类型和位置信息，所述装置还包括：
集合划分模块，被配置为根据多个所述车道线关键点的类型和位置信息，将多个所述车道线关键点划分为多个关键点集合；
所述车道线生成模块，还被配置为：
确定每个所述关键点集合对应的相邻关键点集合；
针对每个所述关键点集合，将所述关键点集合中的多个所述车道线关键点与所述相邻关键点集合中的多个所述车道线关键点进行多次随机连接，得到所述目标三维车道线；
所述车道线生成模块，还被配置为：
确定初始三维车道线；
将所述初始三维车道线作为待定三维车道线；
确定所述待定三维车道线的代价值；
根据所述待定三维车道线，循环执行随机连接步骤，直至所述随机连接步骤的迭代次数大于或等于预设次数阈值，或者新的待定三维车道线的代价值与每个目标待定三维车道线的代价值之间的差值均小于或等于预设差值阈值，将新的待定三维车道线作为所述目标三维车道线，所述目标待定三维车道线包括在新的待定三维车道线之前获取的预设数量个待定三维车道线；
所述随机连接步骤包括：
针对所述待定三维车道线中的每个所述关键点集合，随机交换所述关键点集合对应的相邻车道线关键点，得到随机三维车道线，所述相邻车道线关键点包括所述相邻关键点集合中与所述关键点集合中的车道线关键点连接的车道线关键点；
确定所述随机三维车道线的代价值；
根据所述随机三维车道线的代价值和所述待定三维车道线的代价值，从所述随机三维车道线和所述待定三维车道线中确定新的待定三维车道线。
9.一种车辆，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：获取三维点云数据和目标车道的二维车道线数据，所述二维车道线数据为车辆在所述目标车道行驶时采集的车道线数据，所述三维点云数据为所述车辆在所述目标车道行驶时采集的所述车辆周围环境的点云数据；根据所述二维车道线数据和所述三维点云数据，确定多个车道线关键点；根据多个所述车道线关键点的属性信息和所述车辆的行驶方向，将多个所述车道线关键点进行多次随机连接，得到目标三维车道线；所述属性信息包括类型和位置信息，在所述根据多个所述车道线关键点的属性信息和所述车辆的行驶方向，将多个所述车道线关键点进行多次随机连接，得到目标三维车道线前，还包括：根据多个所述车道线关键点的类型和位置信息，将多个所述车道线关键点划分为多个关键点集合；所述根据多个所述车道线关键点的属性信息和所述车辆的行驶方向，将多个所述车道线关键点进行多次随机连接，得到目标三维车道线包括：确定每个所述关键点集合对应的相邻关键点集合；针对每个所述关键点集合，将所述关键点集合中的多个所述车道线关键点与所述相邻关键点集合中的多个所述车道线关键点进行多次随机连接，得到所述目标三维车道线；所述针对每个所述关键点集合，将所述关键点集合中的多个所述车道线关键点与所述相邻关键点集合中的多个所述车道线关键点进行多次随机连接，得到所述目标三维车道线包括：确定初始三维车道线；将所述初始三维车道线作为待定三维车道线；确定所述待定三维车道线的代价值；根据所述待定三维车道线，循环执行随机连接步骤，直至所述随机连接步骤的迭代次数大于或等于预设次数阈值，或者新的待定三维车道线的代价值与每个目标待定三维车道线的代价值之间的差值均小于或等于预设差值阈值，将新的待定三维车道线作为所述目标三维车道线，所述目标待定三维车道线包括在新的待定三维车道线之前获取的预设数量个待定三维车道线；所述随机连接步骤包括：针对所述待定三维车道线中的每个所述关键点集合，随机交换所述关键点集合对应的相邻车道线关键点，得到随机三维车道线，所述相邻车道线关键点包括所述相邻关键点集合中与所述关键点集合中的车道线关键点连接的车道线关键点；确定所述随机三维车道线的代价值；根据所述随机三维车道线的代价值和所述待定三维车道线的代价值，从所述随机三维车道线和所述待定三维车道线中确定新的待定三维车道线。
10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1-7中任一项所述方法的步骤。
11.一种芯片，其特征在于，包括处理器和接口；所述处理器用于读取指令以执行权利要求1-7中任一项所述的方法。
CN202210688142.6A 2022-06-17 2022-06-17 生成车道线的方法、装置、车辆、存储介质及芯片 Active CN114782638B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210688142.6A CN114782638B (zh) 2022-06-17 2022-06-17 生成车道线的方法、装置、车辆、存储介质及芯片
US17/990,712 US20230410535A1 (en) 2022-06-17 2022-11-20 Method and apparatus for generating lane line, vehicle, storage medium and chip
EP22210246.9A EP4293630A1 (en) 2022-06-17 2022-11-29 Method for generating lane line, vehicle, storage medium and chip

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210688142.6A CN114782638B (zh) 2022-06-17 2022-06-17 生成车道线的方法、装置、车辆、存储介质及芯片

Publications (2)

Publication Number Publication Date
CN114782638A CN114782638A (zh) 2022-07-22
CN114782638B true CN114782638B (zh) 2022-09-09

Family

ID=82420919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210688142.6A Active CN114782638B (zh) 2022-06-17 2022-06-17 生成车道线的方法、装置、车辆、存储介质及芯片

Country Status (3)

Country Link
US (1) US20230410535A1 (zh)
EP (1) EP4293630A1 (zh)
CN (1) CN114782638B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152761B (zh) * 2022-12-26 2023-10-17 小米汽车科技有限公司 车道线检测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108470159A (zh) * 2018-03-09 2018-08-31 腾讯科技（深圳）有限公司 车道线数据处理方法、装置、计算机设备和存储介质
CN112926548A (zh) * 2021-04-14 2021-06-08 北京车和家信息技术有限公司 一种车道线检测方法、装置、电子设备及存储介质
CN113465615A (zh) * 2021-06-23 2021-10-01 智道网联科技(北京)有限公司 车道线的生成方法及相关装置
CN114549286A (zh) * 2022-01-26 2022-05-27 上海仙途智能科技有限公司 车道线生成方法及装置、计算机可读存储介质、终端

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10528823B2 (en) * 2017-11-27 2020-01-07 TuSimple System and method for large-scale lane marking detection using multimodal sensor data
CN108256446B (zh) * 2017-12-29 2020-12-11 百度在线网络技术（北京）有限公司 用于确定道路中的车道线的方法、装置和设备
WO2020163390A1 (en) * 2019-02-05 2020-08-13 Nvidia Corporation Driving lane perception diversity and redundancy in autonomous driving applications
US11982752B2 (en) * 2019-12-27 2024-05-14 Mobiltech GPS error correction method through comparison of three-dimensional HD-maps in duplicate area

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108470159A (zh) * 2018-03-09 2018-08-31 腾讯科技（深圳）有限公司 车道线数据处理方法、装置、计算机设备和存储介质
CN112926548A (zh) * 2021-04-14 2021-06-08 北京车和家信息技术有限公司 一种车道线检测方法、装置、电子设备及存储介质
CN113465615A (zh) * 2021-06-23 2021-10-01 智道网联科技(北京)有限公司 车道线的生成方法及相关装置
CN114549286A (zh) * 2022-01-26 2022-05-27 上海仙途智能科技有限公司 车道线生成方法及装置、计算机可读存储介质、终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种基于FCN的车道线检测算法;洪名佳等;《无线电通信技术》;20181022(第06期);全文 *

Also Published As

Publication number Publication date
US20230410535A1 (en) 2023-12-21
EP4293630A1 (en) 2023-12-20
CN114782638A (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
CN114779790B (zh) 识别障碍物方法、装置、车辆、服务器、存储介质及芯片
CN115042821B (zh) 车辆控制方法、装置、车辆及存储介质
CN115100377B (zh) 地图构建方法、装置、车辆、可读存储介质及芯片
CN115147796A (zh) 评测目标识别算法的方法、装置、存储介质及车辆
CN115265561A (zh) 车辆定位方法、装置、车辆及介质
CN115123257A (zh) 路面减速带位置识别方法、装置、车辆、存储介质及芯片
CN115330923A (zh) 点云数据渲染方法、装置、车辆、可读存储介质及芯片
CN115220449A (zh) 路径规划的方法、装置、存储介质、芯片及车辆
CN115205365A (zh) 车辆距离检测方法、装置、车辆、可读存储介质及芯片
CN114782638B (zh) 生成车道线的方法、装置、车辆、存储介质及芯片
CN115056784B (zh) 车辆控制方法、装置、车辆、存储介质及芯片
CN115221151B (zh) 车辆数据的传输方法、装置、车辆、存储介质及芯片
CN114842440B (zh) 自动驾驶环境感知方法、装置、车辆及可读存储介质
CN115222791B (zh) 目标关联方法、装置、可读存储介质及芯片
CN115202234B (zh) 仿真测试方法、装置、存储介质和车辆
CN115100630B (zh) 障碍物检测方法、装置、车辆、介质及芯片
CN115205848A (zh) 目标检测方法、装置、车辆、存储介质及芯片
CN115205311A (zh) 图像处理方法、装置、车辆、介质及芯片
CN115042814A (zh) 交通灯状态识别方法、装置、车辆及存储介质
CN114822216B (zh) 生成车位地图的方法、装置、车辆、存储介质及芯片
CN115082886B (zh) 目标检测的方法、装置、存储介质、芯片及车辆
CN115407344B (zh) 栅格地图创建方法、装置、车辆及可读存储介质
CN115082573B (zh) 参数标定方法、装置、车辆及存储介质
CN114877911B (zh) 路径规划方法、装置、车辆及存储介质
CN115063639B (zh) 生成模型的方法、图像语义分割方法、装置、车辆及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant