CN115546319A - 车道保持方法、装置、计算机设备及存储介质 - Google Patents

车道保持方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN115546319A
CN115546319A CN202211482598.3A CN202211482598A CN115546319A CN 115546319 A CN115546319 A CN 115546319A CN 202211482598 A CN202211482598 A CN 202211482598A CN 115546319 A CN115546319 A CN 115546319A
Authority
CN
China
Prior art keywords
lane
result
lane line
fitting
lane keeping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211482598.3A
Other languages
English (en)
Other versions
CN115546319B (zh
Inventor
席华炜
董洪泉
卢兵
王博
宋士佳
孙超
王文伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BYD Auto Co Ltd
Shenzhen Automotive Research Institute of Beijing University of Technology
Original Assignee
Shenzhen Automotive Research Institute of Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Automotive Research Institute of Beijing University of Technology filed Critical Shenzhen Automotive Research Institute of Beijing University of Technology
Priority to CN202211482598.3A priority Critical patent/CN115546319B/zh
Publication of CN115546319A publication Critical patent/CN115546319A/zh
Application granted granted Critical
Publication of CN115546319B publication Critical patent/CN115546319B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例公开了车道保持方法、装置、计算机设备及存储介质。所述方法包括：获取相机标定数据；根据所述相机标定数据提取车道线，以得到提取结果；根据所述提取结果进行车道线拟合，以得到拟合结果；根据所述拟合结果基于车辆横向位置构建车道线势场；将所述车道线势场与车道保持模型进行融合，以得到车道保持函数。通过实施本发明实施例的方法可实现可应对实际驾驶场景中的小概率事件，且适用于曲线和虚线的检测，提高过弯控制过程中的稳定性。

Description

车道保持方法、装置、计算机设备及存储介质
技术领域
本发明涉及辅助驾驶***，更具体地说是指车道保持方法、装置、计算机设备及存储介质。
背景技术
车道保持功能是辅助驾驶***重要的组成部分，通过主动横向控制实现车辆的自动纠偏，使车辆在既定车道上保持行驶。因此，具备车道保持功能的车辆可以大幅提升驾驶安全性、减缓驾驶员的疲劳程度。车道线检测是车道保持功能开发的前提条件，针对车道线检测问题，国内外开展了广泛的算法研究。车道线检测算法可以归纳为基于传统图像特征提取与基于深度学习的两大类检测算法。
基于深度学习的检测算法能够获得更高精度的车道线检测结果，但该模型训练对算力和数据的需求十分苛刻，且由于可解释性和数据集的完备性缺失，导致模型难收敛，对实际驾驶场景中的小概率事件无法处理而诱发交通事故；同时，搭载深度学习模型对整体硬件的性能也提出了全新的挑战，大算力的消耗会严重影响算法实施的实时性。因此，为了确保算法运行的实时性和稳定性，基于图像预处理、特征提取和车道线拟合等的传统车道线检测算法，仍是实际应用的主流算法。上述传统的车道检测算法以基于霍夫变换的车道线检测算法居多，它虽具备较高的实时性，但对光照环境过于敏感，且不适用于曲线和虚线的检测。同时，将车道中心线作为车道保持的目标轨迹计算横向误差，在大曲率弯道的车道保持时车辆易出现失稳。
因此，有必要设计一种新的方法，实现可应对实际驾驶场景中的小概率事件，且适用于曲线和虚线的检测，提高过弯控制过程中的稳定性。
发明内容
本发明的目的在于克服现有技术的缺陷，提供车道保持方法、装置、计算机设备及存储介质。
为实现上述目的，本发明采用以下技术方案：车道保持方法，包括：
获取相机标定数据；
根据所述相机标定数据提取车道线，以得到提取结果；
根据所述提取结果进行车道线拟合，以得到拟合结果；
根据所述拟合结果基于车辆横向位置构建车道线势场；
将所述车道线势场与车道保持模型进行融合，以得到车道保持函数。
其进一步技术方案为：所述获取相机标定数据，包括：
基于相机参数进行相机内参数以及外参数的标定，以得到标定结果；
根据所述标定结果获取2D像素坐标，以得到相机标定数据。
其进一步技术方案为：所述根据所述相机标定数据提取车道线，以得到提取结果，包括：
对所述相机标定数据进行图像灰度处理，以得到处理结果；
对所述处理结果进行逆透视变换，以得到变换结果；
对所述变换结果进行特征提取，以得到提取结果。
其进一步技术方案为：所述对所述变换结果进行特征提取，以得到提取结果，包括：
采用DBSCAN聚类算法，对所述变换结果针对同密度对象进行聚类特征提取，以得到特征点；
对所述特征点通过参数调节识别连接点进行连接点的筛选，以得到提取结果。
其进一步技术方案为：所述根据所述提取结果进行车道线拟合，以得到拟合结果，包括：
基于移动最小二乘法对所述提取结果进行曲线拟合，以得到拟合结果。
其进一步技术方案为：所述根据所述拟合结果基于车辆横向位置构建车道线势场，包括：
根据所述拟合结果确定车道线的曲线坐标映射关系；
根据车道线的曲线坐标映射关系基于车辆横向位置，设计车道线势场函数，以构建车道线势场。
其进一步技术方案为：所述将所述车道线势场与车道保持模型进行融合，以得到车道保持函数，包括：
基于车道保持模型计算车辆距离车道线的横向位置和纵向位置；
结合横向距离、参考横向目标以及车道线势场，设计目标函数；
结合所述车道线势场、目标函数以及车辆三自由度动力学模型，构造优化问题，以得到车道保持函数。
本发明还提供了车道保持装置，包括：
数据获取单元，用于获取相机标定数据；
车道线提取单元，用于根据所述相机标定数据提取车道线，以得到提取结果；
拟合单元，用于根据所述提取结果进行车道线拟合，以得到拟合结果；
构建单元，用于根据所述拟合结果基于车辆横向位置构建车道线势场；
融合单元，用于将所述车道线势场与车道保持模型进行融合，以得到车道保持函数。
本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
本发明与现有技术相比的有益效果是：本发明通过对相机进行内外参数标定，获取相机标定数据，并进行车道线提取，再进行车道线拟合，结合车辆横向位置构建车道线势场，将所述车道线势场与车道保持模型进行融合，以得到车道保持函数，可利用该函数进行车道保持预测，实现可应对实际驾驶场景中的小概率事件，且适用于曲线和虚线的检测，提高过弯控制过程中的稳定性。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的车道保持方法的应用场景示意图；
图2为本发明实施例提供的车道保持方法的流程示意图；
图3为本发明实施例提供的车道保持方法的子流程示意图；
图4为本发明实施例提供的车道保持方法的子流程示意图；
图5为本发明实施例提供的车道保持方法的子流程示意图；
图6为本发明实施例提供的车道保持方法的子流程示意图；
图7为本发明实施例提供的车道保持方法的子流程示意图；
图8为本发明实施例提供的拟合效果图一；
图9为本发明实施例提供的拟合效果图二；
图10为本发明实施例提供的拟合效果图三；
图11为本发明实施例提供的拟合效果图四；
图12为本发明实施例提供的车道线曲线坐标获取示意图；
图13为本发明实施例提供的车辆横向距离示意图；
图14为本发明实施例提供的2D车道线势场示意图；
图15为本发明实施例提供的车道保持装置的示意性框图；
图16为本发明实施例提供的车道保持装置的数据获取单元的示意性框图；
图17为本发明实施例提供的车道保持装置的车道线提取单元的示意性框图；
图18为本发明实施例提供的车道保持装置的提取子单元的示意性框图；
图19为本发明实施例提供的车道保持装置的构建单元的示意性框图；
图20为本发明实施例提供的车道保持装置的融合单元的示意性框图；
图21为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的车道保持方法的应用场景示意图。图2为本发明实施例提供的车道保持方法的示意性流程图。该车道保持方法应用于服务器中。该服务器与相机进行数据交互，实现结合车道线检测的精确性与车道保持过程中车辆的稳定性，首先，基于相机参数完成相机的内外参数标定，完成图像灰度处理及逆透视变换；其次，DBSCAN (基于空间密度聚类算法， Density-Based Spatial Clustering ofApplications with Noise)，完成车道线特征提取，并结合移动最小二乘法实现车道线拟合；最后，融合车道线势场与车道保持模型预测控制，完成车辆纵横向协同控制模块，实现车道保持功能。实现在实线及虚线场景下算法兼容性的问题；提高了在转弯控制过程中算法的稳定性，从而使车辆具备更好的跟踪性能和循迹潜能。
图2是本发明实施例提供的车道保持方法的流程示意图。如图2所示，该方法包括以下步骤S110至S150。
S110、获取相机标定数据。
在本实施例中，相机标定数据是指相机拍摄车道所形成的2D像素坐标。
在一实施例中，请参阅图3，上述的步骤S110可包括步骤S111~ S112。
S111、基于相机参数进行相机内参数以及外参数的标定，以得到标定结果。
在本实施例中，标定结果是指相机内外参数的标定内容。
S112、根据所述标定结果获取2D像素坐标，以得到相机标定数据。
在本实施例中，相机参数辨识是实现空间坐标与像素坐标映射关系表达的前提条 件，结合相机安装位置、镜头和输出图像尺寸等信息，实现对相机的外参和内参辨识。3D空 间中任一坐标转换为2D像素坐标的透视变换，公式总结如下
Figure 727780DEST_PATH_IMAGE001
，其中，
Figure 582603DEST_PATH_IMAGE002
为相机内参，R和T为相机外参，
Figure 627919DEST_PATH_IMAGE003
为大地坐标系下点的位置坐 标，
Figure 678921DEST_PATH_IMAGE004
为相机坐标系下Z轴坐标，（u,v）为点的像素坐标。本式将3D坐标
Figure 758872DEST_PATH_IMAGE005
转换为 2D像素坐标（u,v）。此步骤输出为2D像素坐标（u,v），作为车道线提取的输入。
S120、根据所述相机标定数据提取车道线，以得到提取结果。
在本实施例中，提取结果是指提取的车道线。
在一实施例中，请参阅图4，上述的步骤S120可包括步骤S121~S123。
S121、对所述相机标定数据进行图像灰度处理，以得到处理结果。
在本实施例中，处理结果是指对相机标定数据进行图像灰度处理后形成的数据。
对数据进行图像灰度处理属于现有技术，此处不再赘述。
S122、对所述处理结果进行逆透视变换，以得到变换结果。
在本实施例中，变换结果是指对处理结果进行逆透视变换后形成的结果。
具体地，逆透视变换主要是将像素坐标系转换为世界坐标系，将输入的图像输出 为鸟瞰图，呈现真实世界车道线平行且等宽特征，以提高车道线的检测精度。主要通过
Figure 846914DEST_PATH_IMAGE006
实现坐标转换。其中，IPM为逆透视矩阵。输入像素坐标 （u,v），通过逆透视矩阵将像素坐标逆转换输出3D坐标(X,Y,Z)。
S123、对所述变换结果进行特征提取，以得到提取结果。
在一实施例中，请参阅图4，上述的步骤S123可包括步骤S1231~S1232。
S1231、采用DBSCAN聚类算法，对所述变换结果针对同密度对象进行聚类特征提取，以得到特征点。
在本实施例中，特征点是指利用DBSCAN聚类算法针对同密度对象进行聚类特征提取后形成的结果。
S1232、对所述特征点通过参数调节识别连接点进行连接点的筛选，以得到提取结果。
具体地，在获取一系列的3D坐标后，采用DBSCAN 聚类算法，针对同密度对象进行聚类特征提取，并通过参数调节识别连接点进行连接点的筛选，此时车道线已经提取为一系列特征点。
S130、根据所述提取结果进行车道线拟合，以得到拟合结果。
在本实施例中，拟合结果是指利用提取的一系列特征点进行拟合后形成的结果，具体地，基于移动最小二乘法对所述提取结果进行曲线拟合，以得到拟合结果，以保障车道线的曲率连续性，如图8至图11所示。
S140、根据所述拟合结果基于车辆横向位置构建车道线势场。
在本实施例中，车道线势场是指车道线复合势场。
在一实施例中，请参阅图6，上述的步骤S140可包括步骤S141~S142。
S141、根据所述拟合结果确定车道线的曲线坐标映射关系。
在本实施例中，在完成车道线拟合后，获取到车道线绝对坐标，接着基于坐标转换理论，实现绝对坐标与道路坐标的转换，以此获得车道线的曲线坐标映射关系，如图12所示。
S142、根据车道线的曲线坐标映射关系基于车辆横向位置，设计车道线势场函数，以构建车道线势场。
车道保持功能主要目标即为使车辆稳定的行驶在车道中心线一定范围内，而非为了严格跟随中心线而损失车辆的稳定性能，车辆在曲线坐标系下的车道线横向距离设置为d，具体表示图13所示。
具体地，基于计算的车辆横向位置，设计车道线势场函数，构建车道线复合势场。 分别对结构化道路中车道边界及车道中心线进行势场函数的定义，设计车道线势场函数如 下：
Figure 379527DEST_PATH_IMAGE007
；
Figure 719372DEST_PATH_IMAGE008
；其中，
Figure 653830DEST_PATH_IMAGE009
和
Figure 178352DEST_PATH_IMAGE010
分别为曲线 坐标下车道线边界斥力场与车道线中心引力场，b和a分别为车道边界和车道中心势场的调 节系数，dLR和dLL分别表示右侧和左侧车道线的横坐标，d表示自车的横坐标，dLC表示车道中 心线的横坐标。结合识别的车道线与势场函数可构建车道线势场，如图14所示。
S150、将所述车道线势场与车道保持模型进行融合，以得到车道保持函数。
在本实施例中，车道保持函数是指用于预测车道保持的函数。
在一实施例中，请参阅图7，上述的步骤S150可包括步骤S151~S153。
S151、基于车道保持模型计算车辆距离车道线的横向位置和纵向位置。
在本实施例中，基于模型预测控制理论构造优化问题，基于坐标转换理论，实现大地坐标与道路坐标转换，并计算车辆距离车道线的横向位置和纵向位置。生成预测时域内的预测和参考值定义为：
Figure 107517DEST_PATH_IMAGE011
Figure 110108DEST_PATH_IMAGE012
；
Figure 899073DEST_PATH_IMAGE013
；
Figure 469862DEST_PATH_IMAGE014
；
Figure 242646DEST_PATH_IMAGE015
。
S152、结合横向距离、参考横向目标以及车道线势场，设计目标函数。
在本实施例中，目标函数为
Figure 783349DEST_PATH_IMAGE016
；其中， Vpre 表示NP步预测状态，Vref表示 NP步状态参考，与分别表示状态权重系数矩阵与控制权重 系数矩阵。
S153、结合所述车道线势场、目标函数以及车辆三自由度动力学模型，构造优化问题，以得到车道保持函数。
结合S142步骤、S151步骤、S152步骤以及车辆三自由度动力学模型，构造非线性、多目标、多约束凸优化问题如下：
Figure 817033DEST_PATH_IMAGE017
；其中，Ad和Bd表示基于
Figure 417779DEST_PATH_IMAGE018
的状态方程系数矩阵，Cd 和 Dd 表示观察方程系数矩阵，
Figure 412279DEST_PATH_IMAGE019
表示松弛因子，将软约束转换为 半硬约束。半硬约束的设置允许车辆以惩罚为代价，在一定范围内偏离车道中心线。
本实施例的方法首先基于相机参数完成相机的内外参数标定，完成图像灰度处理及逆透视变换；其次，基于空间密度聚类算法，完成车道线特征提取，并结合移动最小二乘法实现车道线拟合；最后，融合车道线势场与车道保持模型预测控制，完成车辆纵横向协同控制模块，实现车道保持功能。车结合模型预测横向距离、参考横向目标以及车道线势场，同时以车辆通行效率与跟踪精度为目标设计出目标函数，并结合相应公式，构造出非线性、多目标、多约束凸优化问题函数，车道保持函数既结合车道线检测的精确性，保证了车道保持过程中车辆的稳定性，它在实线及虚线场景下具备良好的兼容性，同时过弯控制过程中具备更好的稳定性。相较于单一横向控制，车辆跟踪性能与循迹潜能得到了提高。
上述的车道保持方法，通过对相机进行内外参数标定，获取相机标定数据，并进行车道线提取，再进行车道线拟合，结合车辆横向位置构建车道线势场，将所述车道线势场与车道保持模型进行融合，以得到车道保持函数，可利用该函数进行车道保持预测，实现可应对实际驾驶场景中的小概率事件，且适用于曲线和虚线的检测，提高过弯控制过程中的稳定性。
图15是本发明实施例提供的一种车道保持装置300的示意性框图。如图15所示，对应于以上车道保持方法，本发明还提供一种车道保持装置300。该车道保持装置300包括用于执行上述车道保持方法的单元，该装置可以被配置于服务器中。具体地，请参阅图15，该车道保持装置300包括数据获取单元301、车道线提取单元302、拟合单元303、构建单元304以及融合单元305。
数据获取单元301，用于获取相机标定数据；车道线提取单元302，用于根据所述相机标定数据提取车道线，以得到提取结果；拟合单元303，用于根据所述提取结果进行车道线拟合，以得到拟合结果；构建单元304，用于根据所述拟合结果基于车辆横向位置构建车道线势场；融合单元305，用于将所述车道线势场与车道保持模型进行融合，以得到车道保持函数。
在一实施例中，如图16所示，所述数据获取单元301包括标定子单元3011以及坐标获取子单元3012。
标定子单元3011，用于基于相机参数进行相机内参数以及外参数的标定，以得到标定结果；坐标获取子单元3012，用于根据所述标定结果获取2D像素坐标，以得到相机标定数据。
在一实施例中，如图17所示，所述车道线提取单元302包括处理子单元3021、变换子单元3022以及提取子单元3023。
处理子单元3021，用于对所述相机标定数据进行图像灰度处理，以得到处理结果；变换子单元3022，用于对所述处理结果进行逆透视变换，以得到变换结果；提取子单元3023，用于对所述变换结果进行特征提取，以得到提取结果。
在一实施例中，如图18所示，所述提取子单元3023包括特征点提取模块30231以及筛选模块30232。
特征点提取模块30231，用于采用DBSCAN聚类算法，对所述变换结果针对同密度对象进行聚类特征提取，以得到特征点；筛选模块30232，用于对所述特征点通过参数调节识别连接点进行连接点的筛选，以得到提取结果。
在一实施例中，所述拟合单元303，用于基于移动最小二乘法对所述提取结果进行曲线拟合，以得到拟合结果。
在一实施例中，如图19所示，所述构建单元304包括关系确定子单元3041以及函数构建子单元3042。
关系确定子单元3041，用于根据所述拟合结果确定车道线的曲线坐标映射关系；函数构建子单元3042，用于根据车道线的曲线坐标映射关系基于车辆横向位置，设计车道线势场函数，以构建车道线势场。
在一实施例中，如图20所示，所述融合单元305包括位置计算子单元3051、目标函数设计子单元3052以及问题构建子单元3053。
位置计算子单元3051，用于基于车道保持模型计算车辆距离车道线的横向位置和纵向位置；目标函数设计子单元3052，用于结合横向距离、参考横向目标以及车道线势场，设计目标函数；问题构建子单元3053，用于结合所述车道线势场、目标函数以及车辆三自由度动力学模型，构造优化问题，以得到车道保持函数。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述车道保持装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述车道保持装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图21所示的计算机设备上运行。
请参阅图21，图21是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图21，该计算机设备500包括通过***总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作***5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种车道保持方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种车道保持方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图21中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
获取相机标定数据；根据所述相机标定数据提取车道线，以得到提取结果；根据所述提取结果进行车道线拟合，以得到拟合结果；根据所述拟合结果基于车辆横向位置构建车道线势场；将所述车道线势场与车道保持模型进行融合，以得到车道保持函数。
在一实施例中，处理器502在实现所述获取相机标定数据步骤时，具体实现如下步骤：
基于相机参数进行相机内参数以及外参数的标定，以得到标定结果；根据所述标定结果获取2D像素坐标，以得到相机标定数据。
在一实施例中，处理器502在实现所述根据所述相机标定数据提取车道线，以得到提取结果步骤时，具体实现如下步骤：
对所述相机标定数据进行图像灰度处理，以得到处理结果；对所述处理结果进行逆透视变换，以得到变换结果；对所述变换结果进行特征提取，以得到提取结果。
在一实施例中，处理器502在实现所述对所述变换结果进行特征提取，以得到提取结果步骤时，具体实现如下步骤：
采用DBSCAN聚类算法，对所述变换结果针对同密度对象进行聚类特征提取，以得到特征点；对所述特征点通过参数调节识别连接点进行连接点的筛选，以得到提取结果。
在一实施例中，处理器502在实现所述根据所述提取结果进行车道线拟合，以得到拟合结果步骤时，具体实现如下步骤：
基于移动最小二乘法对所述提取结果进行曲线拟合，以得到拟合结果。
在一实施例中，处理器502在实现所述根据所述拟合结果基于车辆横向位置构建车道线势场步骤时，具体实现如下步骤：
根据所述拟合结果确定车道线的曲线坐标映射关系；根据车道线的曲线坐标映射关系基于车辆横向位置，设计车道线势场函数，以构建车道线势场。
在一实施例中，处理器502在实现所述将所述车道线势场与车道保持模型进行融合，以得到车道保持函数步骤时，具体实现如下步骤：
基于车道保持模型计算车辆距离车道线的横向位置和纵向位置；结合横向距离、参考横向目标以及车道线势场，设计目标函数；结合所述车道线势场、目标函数以及车辆三自由度动力学模型，构造优化问题，以得到车道保持函数。
应当理解，在本申请实施例中，处理器502可以是中央处理单元 (CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路 (Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机***中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：
获取相机标定数据；根据所述相机标定数据提取车道线，以得到提取结果；根据所述提取结果进行车道线拟合，以得到拟合结果；根据所述拟合结果基于车辆横向位置构建车道线势场；将所述车道线势场与车道保持模型进行融合，以得到车道保持函数。
在一实施例中，所述处理器在执行所述计算机程序而实现所述获取相机标定数据步骤时，具体实现如下步骤：
基于相机参数进行相机内参数以及外参数的标定，以得到标定结果；根据所述标定结果获取2D像素坐标，以得到相机标定数据。
在一实施例中，所述处理器在执行所述计算机程序而实现所述根据所述相机标定数据提取车道线，以得到提取结果步骤时，具体实现如下步骤：
对所述相机标定数据进行图像灰度处理，以得到处理结果；对所述处理结果进行逆透视变换，以得到变换结果；对所述变换结果进行特征提取，以得到提取结果。
在一实施例中，所述处理器在执行所述计算机程序而实现所述对所述变换结果进行特征提取，以得到提取结果步骤时，具体实现如下步骤：
采用DBSCAN聚类算法，对所述变换结果针对同密度对象进行聚类特征提取，以得到特征点；对所述特征点通过参数调节识别连接点进行连接点的筛选，以得到提取结果。
在一实施例中，所述处理器在执行所述计算机程序而实现所述根据所述提取结果进行车道线拟合，以得到拟合结果步骤时，具体实现如下步骤：
基于移动最小二乘法对所述提取结果进行曲线拟合，以得到拟合结果。
在一实施例中，所述处理器在执行所述计算机程序而实现所述根据所述拟合结果基于车辆横向位置构建车道线势场步骤时，具体实现如下步骤：
根据所述拟合结果确定车道线的曲线坐标映射关系；根据车道线的曲线坐标映射关系基于车辆横向位置，设计车道线势场函数，以构建车道线势场。
在一实施例中，所述处理器在执行所述计算机程序而实现所述将所述车道线势场与车道保持模型进行融合，以得到车道保持函数步骤时，具体实现如下步骤：
基于车道保持模型计算车辆距离车道线的横向位置和纵向位置；结合横向距离、参考横向目标以及车道线势场，设计目标函数；结合所述车道线势场、目标函数以及车辆三自由度动力学模型，构造优化问题，以得到车道保持函数。
所述存储介质可以是U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，终端，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.车道保持方法，其特征在于，包括：
获取相机标定数据；
根据所述相机标定数据提取车道线，以得到提取结果；
根据所述提取结果进行车道线拟合，以得到拟合结果；
根据所述拟合结果基于车辆横向位置构建车道线势场；
将所述车道线势场与车道保持模型进行融合，以得到车道保持函数。
2.根据权利要求1所述的车道保持方法，其特征在于，所述获取相机标定数据，包括：
基于相机参数进行相机内参数以及外参数的标定，以得到标定结果；
根据所述标定结果获取2D像素坐标，以得到相机标定数据。
3.根据权利要求1所述的车道保持方法，其特征在于，所述根据所述相机标定数据提取车道线，以得到提取结果，包括：
对所述相机标定数据进行图像灰度处理，以得到处理结果；
对所述处理结果进行逆透视变换，以得到变换结果；
对所述变换结果进行特征提取，以得到提取结果。
4.根据权利要求3所述的车道保持方法，其特征在于，所述对所述变换结果进行特征提取，以得到提取结果，包括：
采用DBSCAN聚类算法，对所述变换结果针对同密度对象进行聚类特征提取，以得到特征点；
对所述特征点通过参数调节识别连接点进行连接点的筛选，以得到提取结果。
5.根据权利要求1所述的车道保持方法，其特征在于，所述根据所述提取结果进行车道线拟合，以得到拟合结果，包括：
基于移动最小二乘法对所述提取结果进行曲线拟合，以得到拟合结果。
6.根据权利要求1所述的车道保持方法，其特征在于，所述根据所述拟合结果基于车辆横向位置构建车道线势场，包括：
根据所述拟合结果确定车道线的曲线坐标映射关系；
根据车道线的曲线坐标映射关系基于车辆横向位置，设计车道线势场函数，以构建车道线势场。
7.根据权利要求6所述的车道保持方法，其特征在于，所述将所述车道线势场与车道保持模型进行融合，以得到车道保持函数，包括：
基于车道保持模型计算车辆距离车道线的横向位置和纵向位置；
结合横向距离、参考横向目标以及车道线势场，设计目标函数；
结合所述车道线势场、目标函数以及车辆三自由度动力学模型，构造优化问题，以得到车道保持函数。
8.车道保持装置，其特征在于，包括：
数据获取单元，用于获取相机标定数据；
车道线提取单元，用于根据所述相机标定数据提取车道线，以得到提取结果；
拟合单元，用于根据所述提取结果进行车道线拟合，以得到拟合结果；
构建单元，用于根据所述拟合结果基于车辆横向位置构建车道线势场；
融合单元，用于将所述车道线势场与车道保持模型进行融合，以得到车道保持函数。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的方法。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
CN202211482598.3A 2022-11-24 2022-11-24 车道保持方法、装置、计算机设备及存储介质 Active CN115546319B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211482598.3A CN115546319B (zh) 2022-11-24 2022-11-24 车道保持方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211482598.3A CN115546319B (zh) 2022-11-24 2022-11-24 车道保持方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN115546319A true CN115546319A (zh) 2022-12-30
CN115546319B CN115546319B (zh) 2023-03-28

Family

ID=84720587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211482598.3A Active CN115546319B (zh) 2022-11-24 2022-11-24 车道保持方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN115546319B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112319469A (zh) * 2020-11-16 2021-02-05 深圳市康士柏实业有限公司 一种基于机器视觉的车道保持辅助***及方法
CN113525375A (zh) * 2020-04-21 2021-10-22 郑州宇通客车股份有限公司 一种基于人工势场法的车辆换道方法及装置
WO2021253245A1 (zh) * 2020-06-16 2021-12-23 华为技术有限公司 识别车辆变道趋势的方法和装置
US20220348201A1 (en) * 2021-04-30 2022-11-03 Nissan North America, Inc. Intelligent Pedal Lane Change Assist

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113525375A (zh) * 2020-04-21 2021-10-22 郑州宇通客车股份有限公司 一种基于人工势场法的车辆换道方法及装置
WO2021253245A1 (zh) * 2020-06-16 2021-12-23 华为技术有限公司 识别车辆变道趋势的方法和装置
CN112319469A (zh) * 2020-11-16 2021-02-05 深圳市康士柏实业有限公司 一种基于机器视觉的车道保持辅助***及方法
US20220348201A1 (en) * 2021-04-30 2022-11-03 Nissan North America, Inc. Intelligent Pedal Lane Change Assist

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GAO ZHENHAI 等: "Optimal Preview Trajectory Decision Model of Lane-keeping System with Driver Behavior Simulation and Artificial Potential Field", 《2009 IEEE INTELLIGENT VEHICLES SYMPOSIUM》 *
胡振国等: "基于人工势场法的车道保持***", 《汽车工程学报》 *

Also Published As

Publication number Publication date
CN115546319B (zh) 2023-03-28

Similar Documents

Publication Publication Date Title
Zhou et al. Automated evaluation of semantic segmentation robustness for autonomous driving
CN110728658A (zh) 一种基于深度学习的高分辨率遥感影像弱目标检测方法
WO2022007776A1 (zh) 目标场景区域的车辆定位方法、装置、设备和存储介质
CN109214422B (zh) 基于dcgan的停车数据修补方法、装置、设备及存储介质
Xie et al. A binocular vision application in IoT: Realtime trustworthy road condition detection system in passable area
CN112258565B (zh) 图像处理方法以及装置
CN110992424B (zh) 基于双目视觉的定位方法和***
CN113724379B (zh) 融合图像与激光点云的三维重建方法及装置
CN111105452A (zh) 基于双目视觉的高低分辨率融合立体匹配方法
CN116612468A (zh) 基于多模态融合与深度注意力机制的三维目标检测方法
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
CN114280626A (zh) 一种基于局部结构信息扩展的激光雷达slam方法及***
CN114578807A (zh) 一种无人靶车雷视融合的主动目标检测与避障方法
CN116702607A (zh) 一种基于bim-fem的桥梁结构数字孪生体及方法
CN113916565B (zh) 一种方向盘零偏角估计方法、装置、车辆及存储介质
WO2024041447A1 (zh) 位姿的确定方法、装置、电子设备和存储介质
CN116958959B (zh) 一种高程信息的处理方法、装置、电子设备和存储介质
CN111553954B (zh) 一种基于直接法单目slam的在线光度标定方法
CN115546319B (zh) 车道保持方法、装置、计算机设备及存储介质
CN113420590A (zh) 弱纹理环境下的机器人定位方法、装置、设备及介质
CN111861931A (zh) 模型训练、图像增强方法和装置、电子设备及存储介质
CN109816710B (zh) 一种双目视觉***高精度且无拖影的视差计算方法
CN114280583B (zh) 无gps信号下激光雷达定位精度验证方法及***
CN115937449A (zh) 高精地图生成方法、装置、电子设备和存储介质
CN116189150A (zh) 基于融合输出的单目3d目标检测方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: No. 301, 302, Floor 3, Building A, Subzone 3, Leibai Zhongcheng Life Science Park, No. 22, Jinxiu East Road, Jinsha Community, Kengzi Street, Pingshan District, Shenzhen, Guangdong 518000

Applicant after: Shenzhen Automotive Research Institute Beijing University of Technology

Address before: Floor 19, block a, innovation Plaza, 2007 Pingshan street, Pingshan District, Shenzhen, Guangdong 518000

Applicant before: Shenzhen Automotive Research Institute Beijing University of Technology

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230515

Address after: No. 301, 302, Floor 3, Building A, Subzone 3, Leibai Zhongcheng Life Science Park, No. 22, Jinxiu East Road, Jinsha Community, Kengzi Street, Pingshan District, Shenzhen, Guangdong 518000

Patentee after: Shenzhen Automotive Research Institute Beijing University of Technology

Patentee after: BYD AUTO Co.,Ltd.

Address before: No. 301, 302, Floor 3, Building A, Subzone 3, Leibai Zhongcheng Life Science Park, No. 22, Jinxiu East Road, Jinsha Community, Kengzi Street, Pingshan District, Shenzhen, Guangdong 518000

Patentee before: Shenzhen Automotive Research Institute Beijing University of Technology

TR01 Transfer of patent right