CN114742914A - 车道线生成的方法、装置及电子设备 - Google Patents

车道线生成的方法、装置及电子设备 Download PDF

Info

Publication number
CN114742914A
CN114742914A CN202210396801.9A CN202210396801A CN114742914A CN 114742914 A CN114742914 A CN 114742914A CN 202210396801 A CN202210396801 A CN 202210396801A CN 114742914 A CN114742914 A CN 114742914A
Authority
CN
China
Prior art keywords
lane line
camera
vehicle
lane
road surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210396801.9A
Other languages
English (en)
Inventor
游佳丽
熊方磊
龚伟林
韩志华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhitu Shanghai Intelligent Technology Co ltd
Suzhou Zhitu Technology Co Ltd
Original Assignee
Zhitu Shanghai Intelligent Technology Co ltd
Suzhou Zhitu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhitu Shanghai Intelligent Technology Co ltd, Suzhou Zhitu Technology Co Ltd filed Critical Zhitu Shanghai Intelligent Technology Co ltd
Priority to CN202210396801.9A priority Critical patent/CN114742914A/zh
Publication of CN114742914A publication Critical patent/CN114742914A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请实施例提供一种车道线生成的方法、装置及电子设备，在车辆行驶过程中实时获取车载摄像机采集的路面视频帧序列后，基于车载摄像机的标定参数将当前时刻的目标路面视频帧中包含的2D车道线投影至虚拟地面；根据虚拟地面上两条相邻平行的选定车道线的车道宽度的等宽假设优化重新将当前时刻的选定车道线投影至虚拟地面，得到第一投影车道线；根据第一投影车道线计算出的角度变化量对相机外参进行补偿，得到当前时刻的补偿相机外参；基于补偿相机外参生成当前时刻车辆坐标系下的车道线。本申请通过对相机外参进行补偿减少因车辆车体规律性震动造成的相机外参错误的问题，使得生成的车道线较为准确，从而有利于驾驶员的安全驾驶。

Description

车道线生成的方法、装置及电子设备
技术领域
本发明涉及道路交通技术领域，尤其是涉及一种车道线生成的方法、装置及电子设备。
背景技术
现有车道线生成过程过分依赖车载摄像机的标定参数，车载摄像机的标定参数分为相机内参和相机外参，其中相机内参为车载摄像机固有属性，包含焦距、光心坐标等；相机外参为相机坐标系到车辆坐标系的变化矩阵，包含相机坐标系相对于车辆坐标系的旋转矩阵，以及相机坐标系原点相对于车辆坐标系原点的平移矩阵。
然而在实际应用场景中，由于车载摄像机在车辆上的安装工艺和安装位置，相机外参无法保证恒定，因为车载摄像机与车辆车体为非刚性连接，并且车辆车体与车辆坐标系远点(多为后轴中心店)也为非刚性连接,对于车身较高的重型卡车此问题尤为明显，车辆经过颠簸路面或者加减速时，在车辆避震的作用下，车载摄像机采集到的图像会有明显震动，并直接导致相机外参和投影矩阵的错误，进一步地导致生成的车道线存在偏差，影响驾驶员驾驶体验，严重时可能引起车祸。
发明内容
有鉴于此，本发明的目的在于提供一种车道线生成的方法、装置及电子设备，有效减少因车辆车体规律性震动造成的相机外参错误的问题，能够较准确的生成车道线，从而有利于驾驶员的安全驾驶。
第一方面，本发明实施例提供了一种车道线生成的方法，其中，该述方法应用于车载控制器，车载控制器还与车载摄像机通讯连接，车载摄像机安装在车辆前挡风玻璃位置处；上述方法包括：在车辆行驶过程中实时获取车载摄像机采集的路面视频帧序列；其中，路面视频帧序列包括不同时刻的路面视频帧；将每个不同时刻的路面视频帧分别作为当前时刻的目标路面视频帧，对于每个目标路面视频帧均执行以下操作：基于车载摄像机的标定参数将目标路面视频帧中包含的2D车道线投影至虚拟地面；其中，虚拟地面为在车辆坐标系下平行于车辆行驶的真实地面的一个水平平面，虚拟地面在垂直方向的高度接近于真实地面，标定参数包括相机内参和相机外参；计算虚拟地面上两条相邻平行的选定车道线之间的车道宽度；根据车道宽度的等宽假设优化重新将当前时刻所对应的目标路面视频帧中的选定车道线投影至虚拟地面，得到第一投影车道线；根据第一投影车道线计算出的角度变化量对相机外参进行补偿，得到当前时刻的补偿相机外参；基于补偿相机外参生成当前时刻车辆坐标系下的车道线。
上述通过下式将目标路面视频帧中包含的2D车道线投影至虚拟地面：
Figure BDA0003597567390000021
其中，(xw，yw，zw)为2D车道线投影至虚拟地面的虚拟坐标值，z为虚拟平面所在高度，R为相机外参的旋转矩阵，(tx，ty，tz)为相机外参的平移矩阵，fx，fy为相距，cx，cy为相机原点在像素坐标系下的坐标值，(u，v)为2D车道线的像素点坐标值，zc为2D车道线在虚拟地面所在虚拟平面中没有经过缩放尺度变换的高度值。
上述计算虚拟地面上两条相邻平行的选定车道线之间的车道宽度的步骤，包括：获取选定车道线上平行对应的多组平行像素点的虚拟坐标值；其中，虚拟坐标值为3D坐标值；通过虚拟坐标值计算每组平行像素点之间的虚拟距离；将多个虚拟距离进行均值计算得到车道宽度。
上述通过下式计算得到第一投影车道线：
Figure BDA0003597567390000031
其中，M表示车道宽度，
Figure BDA0003597567390000032
分别表示两条相邻平行的选定车道线上对应位置点上没有经过缩放尺度变换的横坐标，
Figure BDA0003597567390000033
表示两条相邻平行的选定车道线之间没有经过缩放尺度变换的宽度。
上述根据第一投影车道线计算出的角度变化量对相机外参进行补偿，得到当前时刻的补偿相机外参的步骤，包括：基于上一时刻路面视频帧中的选定车道线投影至虚拟地面的第二投影车道线与第一投影车道线计算车载摄像机与真实地面的角度变化量；基于角度变化量对相机外参进行补偿，得到当前时刻的补偿相机外参。
上述基于上一时刻路面视频帧中的选定车道线投影至虚拟地面的第二投影车道线与第一投影车道线计算车载摄像机与真实地面的角度变化量的步骤，包括：确定第一投影车道线上预设位置采样点的3D坐标值对应的第一投影拟合方程和第二投影车道线上预设位置采样点的3D坐标值对应的第二投影拟合方程；基于第一投影拟合方程与第二投影拟合方程的差值计算竖直方向变化量；根据竖直方向变化量和预设位置采样点的3D坐标值在真实地面的3D坐标值计算角度变化量。
上述基于角度变化量对相机外参进行补偿，得到当前时刻的补偿相机外参的步骤，包括：获取基于上一时刻角度变化量补偿相机外参得到的上一时刻补偿相机外参；将角度变化量与上一时刻补偿相机外参相乘得到当前时刻的补偿相机外参。
上述基于补偿相机外参生成当前时刻车辆坐标系下的车道线的步骤，包括：基于补偿相机外参重新将目标路面视频帧中包含的2D车道线投影至真实地面，得到第三投影车道线；利用当前时刻车辆的车辆位置信息，将第三投影车道线投影至里程计坐标系下，得到第四投影车道线；将第四投影车道线中预设时间段的采样点的3D坐标值转化至当前时刻车辆坐标系下，得到转化坐标值；其中，预设时间段包括当前时刻，采样点为选定车道线上的像素点；基于转化坐标值和第三投影车道线中当前时刻对应的采样点的3D坐标值生成当前时刻车辆坐标系下的车道线。
第二方面，本发明实施例还提供一种车道线生成的装置，其中，该装置应用于车载控制器，车载控制器还与车载摄像机通讯连接，车载摄像机安装在车辆前挡风玻璃位置处；上述装置包括：获取模块，用于在车辆行驶过程中实时获取车载摄像机采集的路面视频帧序列；其中，路面视频帧序列包括不同时刻的路面视频帧；执行模块，用于将每个不同时刻的路面视频帧分别作为当前时刻的目标路面视频帧，对于每个目标路面视频帧均执行以下操作：投影模块，用于基于车载摄像机的标定参数将目标路面视频帧中包含的2D车道线投影至虚拟地面；其中，虚拟地面为在车辆坐标系下平行于车辆行驶的真实地面的一个水平平面，虚拟地面在垂直方向的高度接近于真实地面，标定参数包括相机内参和相机外参；计算模块，用于计算虚拟地面上两条相邻平行的选定车道线之间的车道宽度；重新投影模块，用于根据车道宽度的等宽假设优化重新将当前时刻所对应的目标路面视频帧中的选定车道线投影至虚拟地面，得到第一投影车道线；补偿模块，用于根据第一投影车道线计算出的角度变化量对相机外参进行补偿，得到当前时刻的补偿相机外参；生成模块，用于基于补偿相机外参生成当前时刻车辆坐标系下的车道线。
第三方面，本发明实施例还提供一种电子设备，其中，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述方法。
第四方面，本发明实施例还提供一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述的方法。
本发明实施例带来了以下有益效果：
本申请实施例提供一种车道线生成的方法、装置及电子设备，其中，在车辆行驶过程中实时获取车载摄像机采集的路面视频帧序列后，将每个不同时刻的路面视频帧分别作为当前时刻的目标路面视频帧，对于每个目标路面视频帧均执行以下操作：基于车载摄像机的标定参数将目标路面视频帧中包含的2D车道线投影至虚拟地面；计算虚拟地面上两条相邻平行的选定车道线之间的车道宽度；根据车道宽度的等宽假设优化重新将当前时刻所对应的目标路面视频帧中的所述选定车道线投影至虚拟地面，得到第一投影车道线；根据所述第一投影车道线计算出的角度变化量对所述相机外参进行补偿，得到当前时刻的补偿相机外参；基于补偿相机外参生成当前时刻车辆坐标系下的车道线。本申请通过对相机外参进行补偿减少因车辆车体规律性震动造成的相机外参错误的问题，使得生成的车道线较为准确，从而有利于驾驶员的安全驾驶。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种车道线生成的方法的流程图；
图2为本发明实施例提供的另一种车道线生成的方法的流程图；
图3为本发明实施例提供的一种车道线生成的装置的结构示意图；
图4为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
考虑到现有车辆经过颠簸路面或者加减速时，在车辆避震的作用下，车载摄像机采集到的图像会有明显震动，并直接导致相机外参和投影矩阵的错误，不利于车道线的准确生成，影响交通驾驶，基于此，本发明实施例提供的一种车道线生成的方法、装置及电子设备，能够通过对相机外参进行补偿减少因车辆车体规律性震动造成的相机外参错误的问题，使得生成的车道线较为准确，从而有利于驾驶员的安全驾驶。
本实施例提供了一种车道线生成的方法，其中，该述方法应用于车载控制器，车载控制器还与车载摄像机通讯连接，车载摄像机安装在车辆前挡风玻璃位置处，能够拍摄到路面图像。
参见图1所示的一种车道线生成的方法的流程图，该方法具体包括如下步骤：
步骤S102，在车辆行驶过程中实时获取车载摄像机采集的路面视频帧序列；
其中，路面视频帧序列包括不同时刻的路面视频帧，即该路面视频帧序列是由连续时长的路面视频帧构成的。
步骤S104，将每个不同时刻的路面视频帧分别作为当前时刻的目标路面视频帧，对于每个目标路面视频帧均执行步骤S106至步骤S114的操作；
在实际应用时，可以将每个不同时刻的路面视频帧分别作为当前时刻的目标路面视频帧，以实时生成当前时刻的车道线，进而保障生成的车道线的连续性。
步骤S106，基于车载摄像机的标定参数将目标路面视频帧中包含的2D车道线投影至虚拟地面；
其中，虚拟地面为在车辆坐标系下平行于车辆行驶的真实地面的一个水平平面，虚拟地面在垂直方向的高度接近于真实地面，标定参数包括相机内参和相机外参。
通常，虚拟地面选取应尽可能的贴近于真实地面，比如，车辆坐标系原点为车辆后轴中心点位置，那么应选取车辆坐标系原点(后轴中心点)高于地面半个轮胎的高度所在平面作为虚拟地面。
在实际应用时，可通过下式将目标路面视频帧中包含的2D车道线投影至虚拟地面：
Figure BDA0003597567390000081
其中，(xw，yw，zw)为2D车道线投影至虚拟地面的虚拟坐标值，z为虚拟平面所在高度，R为相机外参的旋转矩阵，(tx，ty，tz)为相机外参的平移矩阵，fx，fy为相距，cx，cy为相机原点在像素坐标系下的坐标值，(u，v)为2D车道线的像素点坐标值，zc为2D车道线在虚拟地面所在虚拟平面中没有经过缩放尺度变换的高度值。在本实施例中，上述z可选取为-0.5，0.5意为轮胎半径，即自车坐标系原点(后轴中心点)高于地面半个轮胎的高度。
步骤S108，计算虚拟地面上两条相邻平行的选定车道线之间的车道宽度；
上述步骤S108可由步骤A1至步骤A3实现：
步骤A1，获取选定车道线上平行对应的多组平行像素点的虚拟坐标值；其中，上述虚拟坐标值为3D坐标值；
为了能够更准确的计算出车道宽度，选定车道线上平行对应的多组平行像素点的数量越多越好，因此，在本实施例中不对平行像素点的数量进行限定。
步骤A2，通过虚拟坐标值计算每组平行像素点之间的虚拟距离；
具体可通过欧式距离法或两点距离法等距离计算方法实现像素距离的计算，在此不进行限定。
步骤A3，将多个虚拟距离进行均值计算得到车道宽度。
在实际应用时，为了保障计算的准确性，可先对多个虚拟距离进行筛选，选取出虚拟距离在预设距离范围内的多个虚拟距离，之后，在将筛选出的多个虚拟距离进行均值计算，以得到车道宽度；其中，预设距离范围可以根据实际需要进行设置，在此不进行限定。
步骤S110，根据车道宽度的等宽假设优化重新将当前时刻所对应的目标路面视频帧中的选定车道线投影至虚拟地面，得到第一投影车道线；
由于步骤S106的投影存在误差，使得所选取的两条相互平行的选定车道线，无法保证其完全平行，大概率会呈现类似“Y”字形或者“八”字形，因此假设车道等宽并重新投影，保证其平行以消除部分误差。
步骤S112，根据第一投影车道线计算出的角度变化量对相机外参进行补偿，得到当前时刻的补偿相机外参；
步骤S114，基于补偿相机外参生成当前时刻车辆坐标系下的车道线。
本实施例提供的车道线生成的方法，能够实时对相机外参进行补偿，以利用补偿后的相机外参生成车道线，有效减少因车辆车体规律性震动造成的相机外参错误的问题，使得生成的车道线较为准确，从而有利于驾驶员的安全驾驶。
本实施例提供了另一种车道线生成的方法，该方法在上述实施例的基础上实现；本实施例重点描述对相机外参进行补偿的具体实施方式。如图2所示的另一种车道线生成的方法的流程图，本实施例中的车道线生成的方法包括如下步骤：
步骤S202，在车辆行驶过程中实时获取车载摄像机采集的路面视频帧序列；
步骤S204，将每个不同时刻的路面视频帧分别作为当前时刻的目标路面视频帧，对于每个目标路面视频帧均执行以下操作；
步骤S206，基于车载摄像机的标定参数将目标路面视频帧中包含的2D车道线投影至虚拟地面；
步骤S208，计算虚拟地面上两条相邻平行的选定车道线之间的车道宽度；
步骤S210，根据车道宽度的等宽假设优化重新将当前时刻所对应的目标路面视频帧中的选定车道线投影至虚拟地面，得到第一投影车道线；
在本实施例中，可通过下式计算得到第一投影车道线：
Figure BDA0003597567390000101
其中，M表示车道宽度，
Figure BDA0003597567390000102
分别表示两条相邻平行的选定车道线上对应位置点上没有经过缩放尺度变换的横坐标，
Figure BDA0003597567390000103
表示两条相邻平行的选定车道线之间没有经过缩放尺度变换的宽度。
步骤S212，基于上一时刻路面视频帧中的选定车道线投影至虚拟地面的第二投影车道线与第一投影车道线计算车载摄像机与真实地面的角度变化量；
上述步骤S212可通过步骤B1至步骤B3实现：
步骤B1，确定第一投影车道线上预设位置采样点的3D坐标值对应的第一投影拟合方程和第二投影车道线上预设位置采样点的3D坐标值对应的第二投影拟合方程；
预设位置采样点x可以任意选取，在此不进行限定，对于同一预设位置采样点，第一投影拟合方程为：q1＝cqo+cq1x+cq2x2+cq3x3，第二投影拟合方程为：q2＝cq4+cq5x+cq6x2+cq7x3，其中，cqo、cq1、cq2、cq3、cq4、cq5、cq6、cq7均为目标参数。
步骤B2，基于第一投影拟合方程与第二投影拟合方程的差值计算竖直方向变化量；
由于投影时刻不相同，所以，第一投影拟合方程中的目标参数与第二投影拟合方程中的目标参数不同，因此，利用第一投影拟合方程减去第二投影拟合方程，能够计算得出竖直方向变化量Δq。
步骤B3，根据竖直方向变化量和预设位置采样点的3D坐标值在真实地面的3D坐标值计算角度变化量。
具体地，可通过下式计算角度变化量：r＝arctan(Δq/x)。
步骤S214，基于角度变化量对相机外参进行补偿，得到当前时刻的补偿相机外参；
具体补偿过程为：获取基于上一时刻角度变化量补偿相机外参得到的上一时刻补偿相机外参；将角度变化量与上一时刻补偿相机外参相乘得到当前时刻的补偿相机外参。
其中，上一时刻角度变化量补偿相机外参得到的上一时刻补偿相机外参可参照本次补偿当前时刻相机外参的过程，在此不进行赘述。
步骤S216，基于补偿相机外参生成当前时刻车辆坐标系下的车道线。
上述步骤S216可通过步骤C1至步骤C4实现：
步骤C1，基于补偿相机外参重新将目标路面视频帧中包含的2D车道线投影至真实地面，得到第三投影车道线；
通过下式计算第三投影车道线：
Figure BDA0003597567390000111
其中，(xw1，yw1，zw1)为第三投影车道线的车道坐标值，R投为补偿相机外参，(tx，ty，tz)为相机外参的平移矩阵，fx，fy为相距，cx，cy为相机原点在像素坐标系下的坐标值，(u，v)为2D车道线的像素点坐标值。
步骤C2，利用当前时刻车辆的车辆位置信息，将第三投影车道线投影至里程计坐标系下，得到第四投影车道线；
上述里程计坐标系的原点为车辆的车载里程计启动的那一时刻的位置，上述将第三投影车道线投影至里程计坐标系下的过程同现有投影方式，在此不进行赘述。
步骤C3，将第四投影车道线中预设时间段的采样点的3D坐标值转化至当前时刻车辆坐标系下，得到转化坐标值；其中，预设时间段包括当前时刻；
在本实施例中，采样点为选定车道线上的像素点；上述预设时间段还包括当前时刻的前5帧路面视频帧对应的历史时刻，上述预设时间段可以根据实际需要进行设置，在此不进行限定。
为了使得车载控制器知道当前时刻检测到的车道线在此前(此前5帧内)是否被检测到过，在进行将第四投影车道线中的采样点的3D坐标值转化至当前时刻车辆坐标系下之前，需要通过最邻近关联算法将当前时刻对应的目标路面视频帧的3D车道线与前一帧的路面视频帧进行匹配，并且分配车道线标识信息，比如，ID(Identity，身份标识号码)，之后，再将同一ID的不同时刻的第四投影车道线的采样点的3D坐标值转化至当前时刻车辆坐标系下。
步骤C4，基于转化坐标值和第三投影车道线中当前时刻对应的采样点的3D坐标值生成当前时刻车辆坐标系下的车道线。
具体实现时，可通过优化算法输出当前时刻最终的车道线，由于车道线最终显示在鸟瞰图的地平面上，因此，上述优化过程中的优化窗口选择为不小于一个车身震动周期，以进一步减小车身震动对车道线识别结果的影响。
对应于上述方法实施例，本实施例提供了一种车道线生成的装置，其中，该装置应用于车载控制器，车载控制器还与车载摄像机通讯连接，车载摄像机安装在车辆前挡风玻璃位置处；参见图3所示的一种车道线生成的装置的结构示意图，该装置包括：
获取模块302，用于在车辆行驶过程中实时获取车载摄像机采集的路面视频帧序列；其中，路面视频帧序列包括不同时刻的路面视频帧；
执行模块304，用于将每个不同时刻的路面视频帧分别作为当前时刻的目标路面视频帧，对于每个目标路面视频帧均执行以下操作：
投影模块306，用于基于车载摄像机的标定参数将目标路面视频帧中包含的2D车道线投影至虚拟地面；其中，虚拟地面为在车辆坐标系下平行于车辆行驶的真实地面的一个水平平面，虚拟地面在垂直方向的高度接近于真实地面，标定参数包括相机内参和相机外参；
计算模块308，用于计算虚拟地面上两条相邻平行的选定车道线之间的车道宽度；
重新投影模块310，用于根据车道宽度的等宽假设优化重新将当前时刻所对应的目标路面视频帧中的选定车道线投影至虚拟地面，得到第一投影车道线；
补偿模块312，用于根据第一投影车道线计算出的角度变化量对相机外参进行补偿，得到当前时刻的补偿相机外参；
生成模块314，用于基于补偿相机外参生成当前时刻车辆坐标系下的车道线。
本申请实施例提供一种车道线生成的装置，其中，在车辆行驶过程中实时获取车载摄像机采集的路面视频帧序列后，将每个不同时刻的路面视频帧分别作为当前时刻的目标路面视频帧，对于每个目标路面视频帧均执行以下操作：基于车载摄像机的标定参数将目标路面视频帧中包含的2D车道线投影至虚拟地面；计算虚拟地面上两条相邻平行的选定车道线之间的车道宽度；根据车道宽度的等宽假设优化重新将当前时刻所对应的目标路面视频帧中的选定车道线投影至虚拟地面，得到第一投影车道线；根据第一投影车道线计算出的角度变化量对相机外参进行补偿，得到当前时刻的补偿相机外参；基于补偿相机外参生成当前时刻车辆坐标系下的车道线。本申请通过对相机外参进行补偿减少因车辆车体规律性震动造成的相机外参错误的问题，使得生成的车道线较为准确，从而有利于驾驶员的安全驾驶。
本发明实施例提供的车道线生成的装置，与上述实施例提供的车道线生成的方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
本发明实施例还提供了一种电子设备，用于运行上述车道线生成的方法；参见图4所示的一种电子设备的结构示意图，该电子设备包括存储器100和处理器101，其中，存储器100用于存储一条或多条计算机指令，一条或多条计算机指令被处理器101执行，以实现上述车道线生成的方法。
进一步地，图4所示的电子设备还包括总线102和通信接口103，处理器101、通信接口103和存储器100通过总线102连接。
其中，存储器100可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该***网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器100，处理器101读取存储器100中的信息，结合其硬件完成前述实施例的方法的步骤。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，该计算机可执行指令促使处理器实现上述车道线生成的方法，具体实现可参见前述方法实施例，在此不再赘述。
本申请实施例所提供的车道线生成的方法、装置及电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种车道线生成的方法，其特征在于，所述方法应用于车载控制器，所述车载控制器还与车载摄像机通讯连接，所述车载摄像机安装在车辆前挡风玻璃位置处；所述方法包括：
在车辆行驶过程中实时获取所述车载摄像机采集的路面视频帧序列；其中，所述路面视频帧序列包括不同时刻的路面视频帧；
将每个不同时刻的路面视频帧分别作为当前时刻的目标路面视频帧，对于每个所述目标路面视频帧均执行以下操作：
基于所述车载摄像机的标定参数将目标路面视频帧中包含的2D车道线投影至虚拟地面；其中，所述虚拟地面为在车辆坐标系下平行于车辆行驶的真实地面的一个水平平面，所述虚拟地面在垂直方向的高度接近于真实地面，所述标定参数包括相机内参和相机外参；
计算所述虚拟地面上两条相邻平行的选定车道线之间的车道宽度；
根据车道宽度的等宽假设优化重新将当前时刻所对应的目标路面视频帧中的所述选定车道线投影至虚拟地面，得到第一投影车道线；
根据所述第一投影车道线计算出的角度变化量对所述相机外参进行补偿，得到当前时刻的补偿相机外参；
基于所述补偿相机外参生成当前时刻车辆坐标系下的车道线。
2.根据权利要求1所述的方法，其特征在于，通过下式将目标路面视频帧中包含的2D车道线投影至虚拟地面：
Figure FDA0003597567380000011
其中，(xw，yw，zw)为2D车道线投影至虚拟地面的虚拟坐标值，z为虚拟平面所在高度，R为相机外参的旋转矩阵，(tx，ty，tz)为相机外参的平移矩阵，fx，fy为相距，cx，cy为相机原点在像素坐标系下的坐标值，(u，v)为2D车道线的像素点坐标值，zc为2D车道线在虚拟地面所在虚拟平面中没有经过缩放尺度变换的高度值。
3.根据权利要求1所述的方法，其特征在于，计算所述虚拟地面上两条相邻平行的选定车道线之间的车道宽度的步骤，包括：
获取所述选定车道线上平行对应的多组平行像素点的虚拟坐标值；其中，所述虚拟坐标值为3D坐标值；
通过虚拟坐标值计算每组平行像素点之间的虚拟距离；
将多个虚拟距离进行均值计算得到车道宽度。
4.根据权利要求1所述的方法，其特征在于，通过下式计算得到第一投影车道线：
Figure FDA0003597567380000021
其中，M表示所述车道宽度，
Figure FDA0003597567380000022
分别表示两条相邻平行的选定车道线上对应位置点上没有经过缩放尺度变换的横坐标，
Figure FDA0003597567380000023
表示两条相邻平行的选定车道线之间没有经过缩放尺度变换的宽度。
5.根据权利要求1所述的方法，其特征在于，根据所述第一投影车道线计算出的角度变化量对所述相机外参进行补偿，得到当前时刻的补偿相机外参的步骤，包括：
基于上一时刻路面视频帧中的所述选定车道线投影至虚拟地面的第二投影车道线与所述第一投影车道线计算所述车载摄像机与真实地面的角度变化量；
基于所述角度变化量对所述相机外参进行补偿，得到当前时刻的补偿相机外参。
6.根据权利要求5所述的方法，其特征在于，基于上一时刻路面视频帧中的所述选定车道线投影至虚拟地面的第二投影车道线与所述第一投影车道线计算所述车载摄像机与真实地面的角度变化量的步骤，包括：
确定所述第一投影车道线上预设位置采样点的3D坐标值对应的第一投影拟合方程和所述第二投影车道线上预设位置采样点的3D坐标值对应的第二投影拟合方程；
基于所述第一投影拟合方程与所述第二投影拟合方程的差值计算竖直方向变化量；
根据所述竖直方向变化量和所述预设位置采样点在真实地面的3D坐标值计算角度变化量。
7.根据权利要求5所述的方法，其特征在于，基于所述角度变化量对所述相机外参进行补偿，得到当前时刻的补偿相机外参的步骤，包括：
获取基于上一时刻角度变化量补偿相机外参得到的上一时刻补偿相机外参；
将所述角度变化量与所述上一时刻补偿相机外参相乘得到当前时刻的补偿相机外参。
8.根据权利要求1所述的方法，其特征在于，基于所述补偿相机外参生成当前时刻车辆坐标系下的车道线的步骤，包括：
基于所述补偿相机外参重新将目标路面视频帧中包含的2D车道线投影至真实地面，得到第三投影车道线；
利用当前时刻所述车辆的车辆位置信息，将所述第三投影车道线投影至里程计坐标系下，得到第四投影车道线；
将所述第四投影车道线中预设时间段的采样点的3D坐标值转化至当前时刻车辆坐标系下，得到转化坐标值；其中，所述预设时间段包括当前时刻，所述采样点为选定车道线上的像素点；
基于所述转化坐标值和所述第三投影车道线中当前时刻对应的采样点的3D坐标值生成当前时刻车辆坐标系下的车道线。
9.一种车道线生成的装置，其特征在于，所述装置应用于车载控制器，所述车载控制器还与车载摄像机通讯连接，所述车载摄像机安装在车辆前挡风玻璃位置处；所述装置包括：
获取模块，用于在车辆行驶过程中实时获取所述车载摄像机采集的路面视频帧序列；其中，所述路面视频帧序列包括不同时刻的路面视频帧；
执行模块，用于将每个不同时刻的路面视频帧分别作为当前时刻的目标路面视频帧，对于每个所述目标路面视频帧均执行以下操作：
投影模块，用于基于所述车载摄像机的标定参数将目标路面视频帧中包含的2D车道线投影至虚拟地面；其中，所述虚拟地面为在车辆坐标系下平行于车辆行驶的真实地面的一个水平平面，所述虚拟地面在垂直方向的高度接近于真实地面，所述标定参数包括相机内参和相机外参；
计算模块，用于计算所述虚拟地面上两条相邻平行的选定车道线之间的车道宽度；
重新投影模块，用于根据车道宽度的等宽假设优化重新将当前时刻所对应的目标路面视频帧中的所述选定车道线投影至虚拟地面，得到第一投影车道线；
补偿模块，用于根据所述第一投影车道线计算出的角度变化量对所述相机外参进行补偿，得到当前时刻的补偿相机外参；
生成模块，用于基于所述补偿相机外参生成当前时刻车辆坐标系下的车道线。
10.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至8任一项所述方法。
CN202210396801.9A 2022-04-15 2022-04-15 车道线生成的方法、装置及电子设备 Pending CN114742914A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210396801.9A CN114742914A (zh) 2022-04-15 2022-04-15 车道线生成的方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210396801.9A CN114742914A (zh) 2022-04-15 2022-04-15 车道线生成的方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN114742914A true CN114742914A (zh) 2022-07-12

Family

ID=82281571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210396801.9A Pending CN114742914A (zh) 2022-04-15 2022-04-15 车道线生成的方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN114742914A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115147802A (zh) * 2022-09-06 2022-10-04 福思(杭州)智能科技有限公司 一种车道线预测方法、装置、介质、程序产品及车辆
CN115995161A (zh) * 2023-02-01 2023-04-21 华人运通(上海)自动驾驶科技有限公司 基于投影确定停车位置的方法和电子设备
CN116630436A (zh) * 2023-05-17 2023-08-22 禾多科技（北京）有限公司 相机外参修正方法、装置、电子设备和计算机可读介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115147802A (zh) * 2022-09-06 2022-10-04 福思(杭州)智能科技有限公司 一种车道线预测方法、装置、介质、程序产品及车辆
CN115147802B (zh) * 2022-09-06 2022-11-25 福思(杭州)智能科技有限公司 一种车道线预测方法、装置、介质、程序产品及车辆
CN115995161A (zh) * 2023-02-01 2023-04-21 华人运通(上海)自动驾驶科技有限公司 基于投影确定停车位置的方法和电子设备
CN116630436A (zh) * 2023-05-17 2023-08-22 禾多科技（北京）有限公司 相机外参修正方法、装置、电子设备和计算机可读介质
CN116630436B (zh) * 2023-05-17 2024-01-12 禾多科技（北京）有限公司 相机外参修正方法、装置、电子设备和计算机可读介质

Similar Documents

Publication Publication Date Title
CN114742914A (zh) 车道线生成的方法、装置及电子设备
CN110858405A (zh) 车载摄像头的姿态估计方法、装置和***及电子设备
CN110766760B (zh) 用于相机标定的方法、装置、设备和存储介质
CN114323050B (zh) 车辆定位方法、装置和电子设备
CN110991232B (zh) 一种车辆位置修正方法及***、存储介质及终端
CN112348902A (zh) 路端相机的安装偏差角标定方法、装置及***
CN113173502B (zh) 一种基于激光视觉融合和深度学习的防撞方法、***
CN111950504A (zh) 车辆检测方法、装置以及电子设备
CN114495043A (zh) 基于双目视觉***的上下坡路况检测方法、***和智能终端
CN117590362B (zh) 一种多激光雷达外参标定方法、装置和设备
CN114290995B (zh) 透明a柱的实现方法、装置、汽车及介质
CN114037977B (zh) 道路灭点的检测方法、装置、设备及存储介质
CN114494200A (zh) 挂车旋转角度的测量方法和装置
JP6959032B2 (ja) 位置推定装置、移動装置
US11477371B2 (en) Partial image generating device, storage medium storing computer program for partial image generation and partial image generating method
KR102368262B1 (ko) 다중 관측정보를 이용한 신호등 배치정보 추정 방법
CN112477868B (zh) 碰撞时间计算方法、装置、可读存储介质和计算机设备
CN112598314B (zh) 智能驾驶汽车的感知置信度确定方法、装置、设备及介质
CN114755663A (zh) 车辆传感器的外参校准方法、装置及计算机可读存储介质
CN113834463A (zh) 基于绝对尺寸的智能车侧方行人/车单目深度测距方法
JP4612308B2 (ja) カメラに関する改良
CN114648576B (zh) 一种目标车辆的定位方法、装置以及***
WO2021237750A1 (en) Method and apparatus for vehicle length estimation
US20240142590A1 (en) Online sensor alignment using feature registration
CN116740295A (zh) 虚拟场景生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination