CN114394088B - 泊车循迹轨迹生成方法、装置、电子设备及存储介质 - Google Patents
泊车循迹轨迹生成方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114394088B CN114394088B CN202111621759.8A CN202111621759A CN114394088B CN 114394088 B CN114394088 B CN 114394088B CN 202111621759 A CN202111621759 A CN 202111621759A CN 114394088 B CN114394088 B CN 114394088B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- track
- parking
- parking space
- actual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 123
- 230000001788 irregular Effects 0.000 claims abstract description 29
- 238000012937 correction Methods 0.000 claims description 51
- 238000005070 sampling Methods 0.000 claims description 31
- 238000013507 mapping Methods 0.000 claims description 19
- 238000003825 pressing Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 12
- 230000001360 synchronised effect Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000005056 compaction Methods 0.000 claims description 5
- 238000013519 translation Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 4
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/06—Automatic manoeuvring for parking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本公开提供一种泊车循迹轨迹生成方法，包括：同步定位与建图，生成车辆实际行驶轨迹及点云地图；基于采集的图像数据获取图像数据中的车位信息以及道路特征信息；基于道路特征信息和/或车位信息判断车辆实际行驶轨迹是否包含不规范轨迹；如果车辆实际行驶轨迹包含不规范轨迹，则基于道路特征信息和/或车位信息对车辆实际行驶轨迹进行修正处理，生成车辆合规行驶轨迹；基于车辆实际行驶轨迹中的车辆最终泊车位置生成虚拟车位，以获得修正后车辆最终泊车位置；至少基于车辆合规行驶轨迹以及修正后车辆最终泊车位置获取泊车循迹轨迹。本公开还提供了一种泊车循迹轨迹生成装置、电子设备以及可读存储介质。
Description
技术领域
本公开涉及自动驾驶技术领域，本公开尤其涉及一种泊车循迹轨迹生成方法、装置、电子设备及存储介质。
背景技术
汽车循迹驾驶是自动驾驶(包括无人驾驶)的一种方式，循迹驾驶指的是汽车根据预先设置好的循迹轨迹进行自动循迹驾驶，循迹轨迹是否正确、精准很大程度上决定了自动驾驶的质量。
其中，汽车循迹驾驶包括自动泊车入位，自动泊车入位需要基于车辆历史行驶轨迹即车辆的实际行驶轨迹生成泊车循迹轨迹，以在后续的自动泊车入位过程中，基于泊车循迹轨迹进行自动泊车入位。然而，现有技术中的泊车循迹轨迹的生成仍然存在一些准确性问题，影响泊车循迹轨迹的可靠性。
发明内容
为了解决上述技术问题中的至少一个，本公开提供了一种泊车循迹轨迹生成方法、装置、电子设备及存储介质。
根据本公开的一个方面，提供一种泊车循迹轨迹生成方法，包括：
S102、基于车辆相机装置采集的图像数据以及车辆轮速里程装置采集的车辆行驶数据进行同步定位与建图(SLAM)，生成车辆实际行驶轨迹及点云地图；
S104、基于采集的所述图像数据获取图像数据中的车位信息以及道路特征信息；
S106、基于所述道路特征信息和/或所述车位信息判断所述车辆实际行驶轨迹是否包含不规范轨迹；
S108、如果所述车辆实际行驶轨迹包含不规范轨迹，则基于所述道路特征信息和/或所述车位信息对所述车辆实际行驶轨迹进行修正处理(包括轨迹平移、拟合修正)，以生成车辆合规行驶轨迹(修正处理还包括轨迹删除，即如果轨迹平移、拟合修正等修正处理失败，则生成提示信息以提示失败原因并删除相应的车辆实际行驶轨迹)；
S110、基于车辆实际行驶轨迹中的车辆最终泊车位置生成虚拟车位，将所述虚拟车位与基于采集的所述图像数据获取的所述车位信息进行比较，生成车位修正信息，基于所述车位修正信息对所述车辆最终泊车位置进行修正，获得修正后车辆最终泊车位置；
S112、至少基于所述车辆合规行驶轨迹以及所述修正后车辆最终泊车位置获取泊车循迹轨迹(即建议的泊车循迹轨迹)。
根据本公开的至少一个实施方式的泊车循迹轨迹生成方法，S104、基于采集的所述图像数据获取图像数据中的车位信息以及道路特征信息，包括：
S1042、对采集的所述图像数据进行语义分割处理，对于图像数据中每个像素赋予语义类别标签；
S1044、至少基于所述图像数据中各个像素的语义类别标签，获取语义类别标签相同且位置相邻的像素点组成的图像区域，以获取图像数据中的道路特征信息(道路边界线、车道线、交通标识(非机动车道标识、人行道标识、公交车道标识等))；至少对所述图像数据进行车位角线特征提取，以获取图像数据中的车位信息。
根据本公开的至少一个实施方式的泊车循迹轨迹生成方法，步骤S104还包括：
S1046、对车辆相机装置采集的图像数据进行投影以获得顶视图，顶视图坐标系位于车底平面；
S1048、基于所述顶视图、获取的图像数据中的所述车位信息及所述道路特征信息生成包含车位信息及道路特征信息的道路拓扑图。
根据本公开的至少一个实施方式的泊车循迹轨迹生成方法，S106、基于所述道路特征信息和/或车位信息判断所述车辆实际行驶轨迹是否包含不规范轨迹，包括：
基于所述道路特征信息判断所述车辆实际行驶轨迹是否压实线车道线；
基于所述道路特征信息判断所述车辆实际行驶轨迹是否存在逆行轨迹；
基于所述道路特征信息判断所述车辆实际行驶轨迹是否存在非机动车道、人行道和/或公交车道的行驶轨迹；和/或
基于所述车位信息判断所述车辆实际行驶轨迹是否压其他车位。
根据本公开的至少一个实施方式的泊车循迹轨迹生成方法，基于所述道路特征信息判断所述车辆实际行驶轨迹是否压实线车道线，包括：
将车辆实际行驶轨迹与道路特征信息中的实线车道线分别进行多次曲线拟合(优选为三次曲线拟合或三次以上的曲线拟合)，计算车辆实际行驶轨迹曲线与实线车道线曲线是否出现交叉点，若出现交叉点，则判定为压实线车道线。
根据本公开的至少一个实施方式的泊车循迹轨迹生成方法，S108、如果所述车辆实际行驶轨迹包含不规范轨迹，则基于所述道路特征信息和/或所述车位信息对所述车辆实际行驶轨迹进行修正处理，以生成车辆合规行驶轨迹，包括：
基于所述交叉点的位置，将时间序列在前的交叉点作为压线开始点，将时间序列在后的交叉点作为压线终止点，获得压线开始点和压线终止点之间的压线区域；
将处于所述压线区域中的车辆实际行驶轨迹删除，对全段车辆行驶轨迹进行拟合以生成车辆合规行驶轨迹，其中，拟合过程中以道路特征信息中的道路边界线和/或车道线作为约束。
根据本公开的至少一个实施方式的泊车循迹轨迹生成方法，基于所述道路特征信息判断所述车辆实际行驶轨迹是否存在逆行轨迹，包括：
对车辆实际行驶轨迹进行轨迹点采样，以确定车辆实际行驶轨迹中各轨迹采样点的行驶方向；
将各采样点的行驶方向与所述道路特征信息中的道路标识箭头指定方向进行比较，以判断车辆实际行驶轨迹是否存在逆行轨迹。
根据本公开的至少一个实施方式的泊车循迹轨迹生成方法，S108、如果所述车辆实际行驶轨迹包含不规范轨迹，则基于所述道路特征信息和/或所述车位信息对所述车辆实际行驶轨迹进行修正处理，以生成车辆合规行驶轨迹，包括：
按距离远近依次检测逆行轨迹段当前车道附近的参考车道的道路方向，获取道路方向与车辆实际行驶轨迹的逆行轨迹段之外的行驶轨迹的行驶方向一致且与逆行轨迹段当前车道距离最近的参考车道；
将逆行轨迹段平移至该参考车道的中心线。
根据本公开的至少一个实施方式的泊车循迹轨迹生成方法，基于所述道路特征信息判断所述车辆实际行驶轨迹是否存在非机动车道、人行道和/或公交车道的行驶轨迹，包括：
对车辆实际行驶轨迹进行轨迹点采样，以确定车辆实际行驶轨迹中各轨迹采样点的位置；
基于各个轨迹采样点的位置的道路特征信息中的车道类型判断各个轨迹采样点是否违规行驶，所述车道类型至少包括非机动车道、人行道和/或公交车道。
根据本公开的至少一个实施方式的泊车循迹轨迹生成方法，S108、如果所述车辆实际行驶轨迹包含不规范轨迹，则基于所述道路特征信息和/或所述车位信息对所述车辆实际行驶轨迹进行修正处理，以生成车辆合规行驶轨迹，包括：
按距离远近依次检测违规轨迹段当前车道附近的参考车道的道路类型，获取道路类型为机动车道且与违规轨迹段当前车道距离最近的参考车道；
将违规轨迹段平移至该参考车道的中心线。
根据本公开的至少一个实施方式的泊车循迹轨迹生成方法，基于所述车位信息判断所述车辆实际行驶轨迹是否压其他车位，包括：
将车辆实际行驶轨迹进行多次曲线拟合(优选为三次曲线拟合或三次以上的曲线拟合)，将曲线拟合后的车辆实际行驶轨迹曲线与车辆行驶过程中车辆周围的各个其他车位的区域范围进行比较，若存在重叠，则判定为车辆实际行驶轨迹压其他车位。
根据本公开的至少一个实施方式的泊车循迹轨迹生成方法，S108、如果所述车辆实际行驶轨迹包含不规范轨迹，则基于所述道路特征信息和/或所述车位信息对所述车辆实际行驶轨迹进行修正处理，以生成车辆合规行驶轨迹，包括：
获取距离所压车位距离最近的合规车道，在重叠起点至重叠终点之间，以所述合规车道对应的道路边界线以及合规车道的车道线为约束条件进行拟合，以生成包括在所述合规车道上的拟合轨迹的车辆合规行驶轨迹。
根据本公开的至少一个实施方式的泊车循迹轨迹生成方法，S110、基于车辆实际行驶轨迹中的车辆最终泊车位置生成虚拟车位，将所述虚拟车位与基于采集的所述图像数据获取的所述车位信息进行比较，生成车位修正信息，基于所述车位修正信息对所述车辆最终泊车位置进行修正，获得修正后车辆最终泊车位置，包括：
记录车辆最终停泊位置，以车辆后轴为参考，生成与实际车位大小相同的虚拟车位，使得车辆位于所述虚拟车位的中间位置；
将虚拟车位与临近地实际车位进行比较，计算重叠区域，如果重叠区域的面积/占比大于或等于预设阈值，则将车辆最终泊车位置修正至所述临近地实际车位。
根据本公开的至少一个实施方式的泊车循迹轨迹生成方法，S112、至少基于所述车辆合规行驶轨迹以及所述修正后车辆最终泊车位置获取泊车循迹轨迹，包括：
基于所述修正后车辆最终泊车位置，提取所述修正后车辆最终泊车位置的预设距离范围之内的车辆合规行驶轨迹，以作为所述泊车循迹轨迹。
根据本公开的至少一个实施方式的泊车循迹轨迹生成方法，S112、至少基于所述车辆合规行驶轨迹以及所述修正后车辆最终泊车位置获取泊车循迹轨迹，还包括：
基于所述修正后车辆最终泊车位置生成泊车区域(即可直接泊入车位的区域范围框)，如果所述泊车区域仅出现一段轨迹段，则将所述泊车循迹轨迹判定为合理泊车轨迹。
根据本公开的至少一个实施方式的泊车循迹轨迹生成方法，如果所述泊车区域出现两段以上的轨迹段，则进行泊车循迹轨迹修正：
在各个轨迹段上进行轨迹点采样；
按照时间序列依次判断由各个轨迹采样点是否能够直接泊入所述修正后车辆最终泊车位置；
将时间序列中最前的轨迹采样点作为泊入点，删除所述泊入点时间序列之后的车辆实际行驶轨迹的轨迹点，作为修正后泊车循迹轨迹。
根据本公开的至少一个实施方式的泊车循迹轨迹生成方法，还包括：
S114、基于汽车运动学模型对生成的泊车循迹轨迹进行路径优化，以及对进行路径优化之后的泊车循迹轨迹进行速度优化，获得优化后的泊车循迹轨迹。
根据本公开的另一个方面提供一种泊车循迹轨迹生成装置，包括：
同步定位与建图模块，所述同步定位与建图模块基于车辆相机装置采集的图像数据以及车辆轮速里程装置采集的车辆行驶数据进行同步定位与建图(SLAM)，生成车辆实际行驶轨迹及点云地图；
信息提取模块，所述信息提取模块基于采集的所述图像数据获取图像数据中的车位信息以及道路特征信息；
第一判断模块，所述第一判断模块基于所述道路特征信息和/或所述车位信息判断所述车辆实际行驶轨迹是否包含不规范轨迹；
第一修正模块，如果所述车辆实际行驶轨迹包含不规范轨迹，则所述第一修正模块基于所述道路特征信息和/或所述车位信息对所述车辆实际行驶轨迹进行修正处理(包括轨迹平移、拟合修正)，以生成车辆合规行驶轨迹(修正处理还包括轨迹删除，即如果轨迹平移、拟合修正等修正处理失败，则生成提示信息以提示失败原因并删除相应的车辆实际行驶轨迹)；
泊车位置获取模块，所述泊车位置获取模块基于车辆实际行驶轨迹中的车辆最终泊车位置生成虚拟车位，将所述虚拟车位与基于采集的所述图像数据获取的所述车位信息进行比较，生成车位修正信息，基于所述车位修正信息对所述车辆最终泊车位置进行修正，获得修正后车辆最终泊车位置；
泊车循迹轨迹生成模块，所述泊车循迹轨迹生成模块至少基于所述车辆合规行驶轨迹以及所述修正后车辆最终泊车位置获取泊车循迹轨迹。
根据本公开的至少一个实施方式的泊车循迹轨迹生成装置，还包括：
循迹轨迹优化模块，所述循迹轨迹优化模块基于汽车运动学模型对生成的泊车循迹轨迹进行路径优化，以及对进行路径优化之后的泊车循迹轨迹进行速度优化，获得优化后的泊车循迹轨迹。
根据本公开的又一个方面，提供一种电子设备，包括：存储器，所述存储器存储执行指令；以及处理器，所述处理器执行所述存储器存储的执行指令，使得所述处理器执行上述任一项所述的方法。
根据本公开的再一个方面，提供一种可读存储介质，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现上述任一项所述的方法。
附图说明
附图示出了本公开的示例性实施方式，并与其说明一起用于解释本公开的原理，其中包括了这些附图以提供对本公开的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。
图1是本公开的一个实施方式的泊车循迹轨迹生成方法的流程示意图。
图2是本公开的一个实施方式的泊车循迹轨迹生成方法中的车位信息及道路特征信息的获取方法的流程示意图。
图3是本公开的又一个实施方式的泊车循迹轨迹生成方法中的车位信息及道路特征信息的获取方法的流程示意图。
图4示出了车辆实际行驶轨迹压实线车道线的情形。
图5示出了车辆实际行驶轨迹压其他车位的情形。
图6为本公开的一个实施方式的基于车辆实际行驶轨迹中的车辆最终泊车位置获得修正后车辆最终泊车位置的示意图。
图7至图8示出了存在两段轨迹段以及对泊车循迹轨迹进行修正的过程。
图9为本公开的泊车循迹轨迹生成方法的整体过程示意图。
图10是本公开的又一个实施方式的泊车循迹轨迹生成方法的流程示意图。
图11是本公开的一个实施方式的采用处理***的硬件实现方式的泊车循迹轨迹生成装置的结构示意框图。
附图标记说明
1000 泊车循迹轨迹生成装置
1002 同步定位与建图模块
1004 信息提取模块
1006 第一判断模块
1008 第一修正模块
1010 泊车位置获取模块
1012 泊车循迹轨迹生成模块
1014 循迹轨迹优化模块
1100 总线
1200 处理器
1300 存储器
1400 其他电路。
具体实施方式
下面结合附图和实施方式对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分。
需要说明的是，在不冲突的情况下，本公开中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本公开的技术方案。
除非另有说明，否则示出的示例性实施方式/实施例将被理解为提供可以在实践中实施本公开的技术构思的一些方式的各种细节的示例性特征。因此，除非另有说明，否则在不脱离本公开的技术构思的情况下，各种实施方式/实施例的特征可以另外地组合、分离、互换和/或重新布置。
在附图中使用交叉影线和/或阴影通常用于使相邻部件之间的边界变得清晰。如此，除非说明，否则交叉影线或阴影的存在与否均不传达或表示对部件的具体材料、材料性质、尺寸、比例、示出的部件之间的共性和/或部件的任何其它特性、属性、性质等的任何偏好或者要求。此外，在附图中，为了清楚和/或描述性的目的，可以夸大部件的尺寸和相对尺寸。当可以不同地实施示例性实施例时，可以以不同于所描述的顺序来执行具体的工艺顺序。例如，可以基本同时执行或者以与所描述的顺序相反的顺序执行两个连续描述的工艺。此外，同样的附图标记表示同样的部件。
当一个部件被称作“在”另一部件“上”或“之上”、“连接到”或“结合到”另一部件时，该部件可以直接在所述另一部件上、直接连接到或直接结合到所述另一部件，或者可以存在中间部件。然而，当部件被称作“直接在”另一部件“上”、“直接连接到”或“直接结合到”另一部件时，不存在中间部件。为此，术语“连接”可以指物理连接、电气连接等，并且具有或不具有中间部件。
本文使用的术语是为了描述具体实施例的目的，而不意图是限制性的。如这里所使用的，除非上下文另外清楚地指出，否则单数形式“一个(种、者)”和“所述(该)”也意图包括复数形式。此外，当在本说明书中使用术语“包含”和/或“包括”以及它们的变型时，说明存在所陈述的特征、整体、步骤、操作、部件、组件和/或它们的组，但不排除存在或附加一个或更多个其它特征、整体、步骤、操作、部件、组件和/或它们的组。还要注意的是，如这里使用的，术语“基本上”、“大约”和其它类似的术语被用作近似术语而不用作程度术语，如此，它们被用来解释本领域普通技术人员将认识到的测量值、计算值和/或提供的值的固有偏差。
下文结合图1至图11对本公开的泊车循迹轨迹生成方法、泊车循迹轨迹生成装置、电子设备、可读存储介质进行详细说明。
参考图1，根据本公开的一个实施方式的泊车循迹轨迹生成方法S100，包括：
S102、基于车辆相机装置采集的图像数据以及车辆轮速里程装置采集的车辆行驶数据进行同步定位与建图(SLAM)，生成车辆实际行驶轨迹及点云地图；
S104、基于采集的图像数据获取图像数据中的车位信息以及道路特征信息；
S106、基于道路特征信息和/或车位信息判断车辆实际行驶轨迹是否包含不规范轨迹；
S108、如果车辆实际行驶轨迹包含不规范轨迹，则基于道路特征信息和/或车位信息对车辆实际行驶轨迹进行修正处理(包括轨迹平移、拟合修正)，以生成车辆合规行驶轨迹(修正处理还包括轨迹删除，即如果轨迹平移、拟合修正等修正处理失败，则生成提示信息以提示失败原因并删除相应的车辆实际行驶轨迹)；
S110、基于车辆实际行驶轨迹中的车辆最终泊车位置生成虚拟车位，将虚拟车位与基于采集的图像数据获取的车位信息进行比较，生成车位修正信息，基于车位修正信息对车辆最终泊车位置进行修正，获得修正后车辆最终泊车位置；
S112、至少基于车辆合规行驶轨迹以及修正后车辆最终泊车位置获取泊车循迹轨迹(即建议的泊车循迹轨迹)。
其中，本公开的泊车循迹轨迹生成方法，在人工驾驶汽车在道路行驶、泊车的过程中，优选地通过设置在汽车前后保险杠和左右后视镜下边缘的四个鱼眼相机(车辆相机装置)和轮速里程计捕捉车辆周围环境信息和车辆自身行驶状态信息(即车辆行驶数据)，基于同步定位与建图(SLAM)实时建立点云地图和车辆实际行驶轨迹并保存，优选地，地图中明确建图时SLAM重定位和循迹跟踪所需要的信息(包括车辆行驶的路径/路线信息等)。
在行驶过程中，基于鱼眼相机图像进行特征点提取，优选地基于图像OrientedFAST关键点计算BRIEF描述子，提取ORB特征点，利用特征点构建特征点点云地图，包括以下步骤：
地图初始化：将两帧图像加入到地图中，对于两帧中的每一对匹配的ORB特征点，在地图中生成一个新的特征点，其信息包括关键点位置及描述子的属性。
地图更新：当当前帧图像与最后一个关键帧发生一段距离的移动时，将当前帧图像加入到地图中。向地图中加入新的ORB特征时，依照匹配关系，依次对地图特征的关键点、描述子进行更新。
地图优化：以最后一帧及其局部地图的位姿以及局部地图可以观察到的特征点的位置作为变量，以最小重投影误差作为目标函数，优选地利用Bundle Adjustment进行优化，获得更加精准的关键帧位姿、地图特征点位置。
同时，基于轮速里程计感知车身运动的长度(或轨迹信息)和航向角信息，将感知的长度(或轨迹信息)作为相机的轨迹约束对鱼眼相机生成的轨迹进行优化。
优选地，第一约束模块以相同的自i至j时刻以轮速里程计数据产生的运动增量约束相机运动增量，以约束车辆平移矢量；第二约束模块以轮速里程计的读数差或得车身航向较偏转来作为旋转增量的约束，以约束车辆旋转矢量。
计算得到两个轨迹的SIM(3)映射，即两个轨迹整体的平移旋转及尺度映射，将轮速里程计获得的地图轨迹映射到鱼眼相机地图轨迹。上述方法解决了单目相机的尺度不确定问题，也能够防止相机的定位误差累计和尺度漂移，使得构建的特征点点云地图更加准确。
对于上述实施方式的泊车循迹轨迹生成方法S100，优选地，S104、基于采集的图像数据获取图像数据中的车位信息以及道路特征信息，包括：
S1042、对采集的图像数据进行语义分割处理，对于图像数据中每个像素赋予语义类别标签(语义类别标签优选地包括道路边缘、车道线、交通标识(非机动车道标识、人行道标识、公交车道标识等)车位线))；
S1044、至少基于图像数据中各个像素的语义类别标签，获取语义类别标签相同且位置相邻的像素点组成的图像区域，以获取图像数据中的道路特征信息(道路边界线、车道线、交通标识(非机动车道标识、人行道标识、公交车道标识等))；至少对图像数据进行车位角线特征提取，以获取图像数据中的车位信息。
图2示出了本公开的一个实施方式的泊车循迹轨迹生成方法中的车位信息及道路特征信息的获取方法的流程。
其中，本实施方式中的语义分割处理，优选地，对鱼眼相机所采集的图像数据使用深度学习方法进行语义分割处理，将图像中的每个像素进行语义类别标签化处理，优选地分为道路边缘、车道线、各类交通标识线、车位线等语义类别标签，使得输出的每一幅图像的每个像素都包含语义类别标签。可以使用将传统卷积网络的全连接层替换成卷积层的全卷积神经网络(FCN)、基于编码器—解码器结构的UNet网络或使用金字塔空洞池化和全连接条件随机场(CRF)的DeepLab网络实现上文描述的图像语义分割处理。
对于步骤S1042中的至少基于图像数据中各个像素的语义类别标签，获取语义类别标签相同且位置相邻的像素点组成的图像区域，以获取图像数据中的道路特征信息(车道线、交通标识(非机动车道标识、人行道标识、公交车道标识等))，优选地，使用连通区域分析方法(CCA)将语义分割图像中的像素集合分成由相同语义类别标签且位置相邻的像素点组成的图像区域，以确定图像数据中的车道线和道路标识(即道路特征信息)，即进行聚类处理。
优选地，使用SVM算法或者随机树(random tree)对聚类处理得到的结果进行再分类，将车道线再分类为黄虚线、白虚线、黄实线、白实线、双黄实线、双白实线等，将道路标识再分类为箭头(优选地确定其指定方向，如直行、直行和转弯、掉头)、非机动车道标识、人行道标识、公交车道标识。
对于步骤S1042中的至少对图像数据进行车位角线特征提取，以获取图像数据中的车位信息，优选地，首先基于车位角线特征生成至少一个目标车位候选框，优选使用Faster RCNN网络对目标车位候选框进行特征提取，结合上文获取的语义类别标签(优选地还结合位置先验信息、目标形状先验信息)计算目标车位候选框的能量损失函数，以获取精确的车位信息(即目标车位)。
根据本公开的优选实施方式的泊车循迹轨迹生成方法S100，步骤S104还包括：
S1046、对车辆相机装置采集的图像数据进行投影以获得顶视图，顶视图坐标系位于车底平面；
S1048、基于顶视图、获取的图像数据中的车位信息及道路特征信息生成包含车位信息及道路特征信息的道路拓扑图。
图3示出了本公开的又一个实施方式的泊车循迹轨迹生成方法中的车位信息及道路特征信息的获取方法的流程。
步骤S1046中，优选地，基于相机装置的内参和标定外参，将相机装置采集的图像数据投影至顶视图进行相机装置采集的原始图像数据与顶视图像素的映射，即进行相机坐标系至顶视图坐标系的映射。
示例性地，以四个鱼眼相机作为车辆相机装置为例，对来自前视、后视、左右侧视的鱼眼相机采集的图像数据进行栅格化，利用鱼眼相机内参和鱼眼相机相对于顶视图坐标系原点的外参，计算顶视图上的采样点到原始图像像素的坐标信息，计算由鱼眼相机图像投影得到的顶视图。优选地，顶视图坐标系位于车底平面，以车辆中心为原点以及水平向前和水平向右分别为两个坐标轴的正方向。
进行外参标定时，优选地，车辆静止在平整路面上，采用标定板直接获取从鱼眼相机图像到顶视图坐标系的对应关系，计算生成各相机的原始图像与顶视图像素的映射表，以(xp,yp)表示校正图像(即顶视图)的坐标，(xf,yf)表示鱼眼相机的坐标。由标定的4对特征点(四个鱼眼相机的情况)可以计算出8个未知参数C00-C21，从而得到单应性矩阵：
基于单应性矩阵ROI完成俯视变换。
基于各相机的原始图像与顶视图像素的映射表将车位信息以及道路特征信息映射至顶视图坐标系的物理空间，以获得包含车位信息及道路特征信息的道路拓扑图。
对于上述各个实施方式的泊车循迹轨迹生成方法S100，优选地，S106、基于道路特征信息和/或车位信息判断车辆实际行驶轨迹是否包含不规范轨迹，包括：
基于道路特征信息判断车辆实际行驶轨迹是否压实线车道线；
基于道路特征信息判断车辆实际行驶轨迹是否存在逆行轨迹；
基于道路特征信息判断车辆实际行驶轨迹是否存在非机动车道、人行道和/或公交车道的行驶轨迹；和/或，基于车位信息判断车辆实际行驶轨迹是否压其他车位。
对于上述实施方式的泊车循迹轨迹生成方法S100，优选地，基于道路特征信息判断车辆实际行驶轨迹是否压实线车道线，包括：
将车辆实际行驶轨迹与道路特征信息中的实线车道线分别进行多次曲线拟合(优选为三次曲线拟合或三次以上的曲线拟合)，计算车辆实际行驶轨迹曲线与实线车道线曲线是否出现交叉点，若出现交叉点，则判定为压实线车道线。
图4示出了车辆实际行驶轨迹压实线车道线的情形。
对于上述实施方式的泊车循迹轨迹生成方法S100，优选地，S108、如果车辆实际行驶轨迹包含不规范轨迹，则基于道路特征信息和/或车位信息对车辆实际行驶轨迹进行修正处理，以生成车辆合规行驶轨迹，包括：
基于交叉点的位置，将时间序列在前的交叉点作为压线开始点，将时间序列在后的交叉点作为压线终止点，获得压线开始点和压线终止点之间的压线区域；
将处于压线区域中的车辆实际行驶轨迹删除，对全段车辆行驶轨迹进行拟合以生成车辆合规行驶轨迹，其中，拟合过程中以道路特征信息中的道路边界线和/或车道线作为约束。
更优选地，其中，基于道路特征信息判断车辆实际行驶轨迹是否存在逆行轨迹，包括：
对车辆实际行驶轨迹进行轨迹点采样，以确定车辆实际行驶轨迹中各轨迹采样点的行驶方向；
将各采样点的行驶方向与道路特征信息中的道路标识箭头指定方向进行比较，以判断车辆实际行驶轨迹是否存在逆行轨迹。
根据本公开的优选实施方式，如果存在逆行轨迹，提取逆行轨迹段的逆行开始轨迹点和逆行结束轨迹点。
根据本公开的优选实施方式的泊车循迹轨迹生成方法S100，S108、如果车辆实际行驶轨迹包含不规范轨迹，则基于道路特征信息和/或车位信息对车辆实际行驶轨迹进行修正处理，以生成车辆合规行驶轨迹，包括：
按距离远近依次检测逆行轨迹段当前车道附近的参考车道的道路方向，获取道路方向与车辆实际行驶轨迹的逆行轨迹段之外的行驶轨迹的行驶方向一致且与逆行轨迹段当前车道距离最近的参考车道；
将逆行轨迹段平移至该参考车道的中心线。
根据本公开的优选实施方式，对平移处理之后生成的车辆合规行驶轨迹进行平滑处理。
根据本公开的优选实施方式，如果未检测到合规的参考车道，则判定为修正失败，并生成相应的提示信息以提示失败原因，优选地，并删除相应的车辆实际行驶轨迹。
根据本公开的优选实施方式的泊车循迹轨迹生成方法S100，其中，基于道路特征信息判断车辆实际行驶轨迹是否存在非机动车道、人行道和/或公交车道的行驶轨迹，包括：
对车辆实际行驶轨迹进行轨迹点采样，以确定车辆实际行驶轨迹中各轨迹采样点的位置；
基于各个轨迹采样点的位置的道路特征信息中的车道类型判断各个轨迹采样点是否违规行驶，车道类型至少包括非机动车道、人行道和/或公交车道。
根据本公开的优选实施方式，如果存在违规行驶，提取违规轨迹段的违规开始轨迹点和违规结束轨迹点。
对于上述各个实施方式的泊车循迹轨迹生成方法S100，优选地，S108、如果车辆实际行驶轨迹包含不规范轨迹，则基于道路特征信息和/或车位信息对车辆实际行驶轨迹进行修正处理，以生成车辆合规行驶轨迹，包括：
按距离远近依次检测违规轨迹段当前车道附近的参考车道的道路类型，获取道路类型为机动车道且与违规轨迹段当前车道距离最近的参考车道；
将违规轨迹段平移至该参考车道的中心线。
根据本公开的优选实施方式，对平移处理之后生成的车辆合规行驶轨迹进行平滑处理。
根据本公开的优选实施方式，如果未检测到机动车道，则判定为修正失败，并生成相应的提示信息以提示失败原因，优选地，并删除相应的车辆实际行驶轨迹。
对于上述各个实施方式的泊车循迹轨迹生成方法S100，优选地，基于车位信息判断车辆实际行驶轨迹是否压其他车位，包括：
将车辆实际行驶轨迹进行多次曲线拟合(优选为三次曲线拟合或三次以上的曲线拟合)，将曲线拟合后的车辆实际行驶轨迹曲线与车辆行驶过程中车辆周围的各个其他车位的区域范围进行比较，若存在重叠，则判定为车辆实际行驶轨迹压其他车位。
根据本公开的优选实施方式，提取重叠部分的车辆实际行驶轨迹的重叠起点和重叠终点。
图5示出了车辆实际行驶轨迹压其他车位的情形。
对于上述各个实施方式的泊车循迹轨迹生成方法S100，优选地，S108、如果车辆实际行驶轨迹包含不规范轨迹，则基于道路特征信息和/或车位信息对车辆实际行驶轨迹进行修正处理，以生成车辆合规行驶轨迹，包括：
获取距离所压车位距离最近的合规车道，在重叠起点至重叠终点之间，以合规车道对应的道路边界线以及合规车道的车道线为约束条件进行拟合，以生成包括在合规车道上的拟合轨迹的车辆合规行驶轨迹。
根据本公开的优选实施方式，如果未检测到合规车道，则判定为修正失败，并生成相应的提示信息以提示失败原因，优选地，并删除相应的车辆实际行驶轨迹。
修正失败的情况，一般是由于违规行驶，部分道路未能检测识别到，以至于无法生成完整地图进行轨迹修正。
对于上述各个实施方式的泊车循迹轨迹生成方法S100，优选地，S110、基于车辆实际行驶轨迹中的车辆最终泊车位置生成虚拟车位，将虚拟车位与基于采集的图像数据获取的车位信息进行比较，生成车位修正信息，基于车位修正信息对车辆最终泊车位置进行修正，获得修正后车辆最终泊车位置，包括：
记录车辆最终停泊位置，以车辆后轴为参考，生成与实际车位大小相同的虚拟车位，使得车辆位于虚拟车位的中间位置；
将虚拟车位与临近地实际车位进行比较，计算重叠区域，如果重叠区域的面积/占比大于或等于预设阈值，则将车辆最终泊车位置修正至临近地实际车位。
图6为基于车辆实际行驶轨迹中的车辆最终泊车位置获得修正后车辆最终泊车位置的示意图。
根据本公开的优选实施方式的泊车循迹轨迹生成方法S100，S112、至少基于车辆合规行驶轨迹以及修正后车辆最终泊车位置获取泊车循迹轨迹，包括：
基于修正后车辆最终泊车位置，提取修正后车辆最终泊车位置的预设距离范围之内的车辆合规行驶轨迹，以作为泊车循迹轨迹。
优选地，S112、至少基于车辆合规行驶轨迹以及修正后车辆最终泊车位置获取泊车循迹轨迹，还包括：
基于修正后车辆最终泊车位置生成泊车区域(即可直接泊入车位的区域范围框)，如果泊车区域仅出现一段轨迹段，则将泊车循迹轨迹判定为合理泊车轨迹。
更优选地，如果泊车区域出现两段以上的轨迹段，则进行泊车循迹轨迹修正：
在各个轨迹段上进行轨迹点采样；
按照时间序列依次判断由各个轨迹采样点是否能够直接泊入修正后车辆最终泊车位置；
将时间序列中最前的轨迹采样点作为泊入点，删除泊入点时间序列之后的车辆实际行驶轨迹的轨迹点，作为修正后泊车循迹轨迹。
本实施方式通过获得的修正后泊车循迹轨迹，在之后的车辆自动驾驶过程中，从泊入点开始启动自动泊车。
图7至图8示出了存在两段轨迹段以及对泊车循迹轨迹进行修正的过程。
图9为本公开的泊车循迹轨迹生成方法的整体过程示意图。
对于上述各个实施方式的泊车循迹轨迹生成方法S100，参考图10，优选地，还包括：
S114、基于汽车运动学模型对生成的泊车循迹轨迹进行路径优化，以及对进行路径优化之后的泊车循迹轨迹进行速度优化，获得优化后的泊车循迹轨迹。
优选地，将汽车简化为两轮二自由度转向模型，基于汽车运动学模型，在车速一定的情况下，不同的前轮转角输入可以推测一段时间后汽车所处的位置和航向，利用不用的前轮转角可以生成轨迹簇。根据上一时刻前轮的实际转角为参考，在其一定范围内均匀离散产生一组(n个)转角，由这一组转角再推断经过m个规划周期汽车的位置。
通过下式计算指标w来评价每条路径与规划路径的接近程度：
从这一组w1,w2,w3,...,wn中找出最小的w所对应的路径即为最优路径。
在给定的路径曲线上，在满足反馈控制的操作限制及符合行为决策的输出结果两个前提下，将路径点赋予速度及加速度信息。优选地可以对路径指定线加速度来生成速度，或者通过将时间域划分为若干区间，使用速度关于时间的三次样条函数来插值来生成速度。
根据本公开的一个实施方式的泊车循迹轨迹生成装置1000，包括：
同步定位与建图模块1002，同步定位与建图模块1002基于车辆相机装置采集的图像数据以及车辆轮速里程装置采集的车辆行驶数据进行同步定位与建图(SLAM)，生成车辆实际行驶轨迹及点云地图；
信息提取模块1004，信息提取模块1004基于采集的图像数据获取图像数据中的车位信息以及道路特征信息；
第一判断模块1006，第一判断模块1006基于道路特征信息和/或车位信息判断车辆实际行驶轨迹是否包含不规范轨迹；
第一修正模块1008，如果车辆实际行驶轨迹包含不规范轨迹，则第一修正模块1008基于道路特征信息和/或车位信息对车辆实际行驶轨迹进行修正处理，以生成车辆合规行驶轨迹；
泊车位置获取模块1010，泊车位置获取模块1010基于车辆实际行驶轨迹中的车辆最终泊车位置生成虚拟车位，将虚拟车位与基于采集的图像数据获取的车位信息进行比较，生成车位修正信息，基于车位修正信息对车辆最终泊车位置进行修正，获得修正后车辆最终泊车位置；
泊车循迹轨迹生成模块1012，泊车循迹轨迹生成模块1012至少基于车辆合规行驶轨迹以及修正后车辆最终泊车位置获取泊车循迹轨迹。
根据本公开的优选实施方式的泊车循迹轨迹生成装置1000，还包括：
循迹轨迹优化模块1014，循迹轨迹优化模块1014基于汽车运动学模型对生成的泊车循迹轨迹进行路径优化，以及对进行路径优化之后的泊车循迹轨迹进行速度优化，获得优化后的泊车循迹轨迹。
本公开的泊车循迹轨迹生成装置1000可以通过计算机软件架构的形式实现。
图11示出了采用处理***的硬件实现方式的泊车循迹轨迹生成装置。
该泊车循迹轨迹生成装置1000可以包括执行上述流程图中各个或几个步骤的相应模块。因此，可以由相应模块执行上述流程图中的每个步骤或几个步骤，并且该装置可以包括这些模块中的一个或多个模块。模块可以是专门被配置为执行相应步骤的一个或多个硬件模块、或者由被配置为执行相应步骤的处理器来实现、或者存储在计算机可读介质内用于由处理器来实现、或者通过某种组合来实现。
该硬件结构可以利用总线架构来实现。总线架构可以包括任何数量的互连总线和桥接器，这取决于硬件的特定应用和总体设计约束。总线1100将包括一个或多个处理器1200、存储器1300和/或硬件模块的各种电路连接到一起。总线1100还可以将诸如***设备、电压调节器、功率管理电路、外部天线等的各种其它电路1400连接。
总线1100可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互连(PCI，Peripheral Component)总线或扩展工业标准体系结构(EISA，Extended Industry Standard Component)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，该图中仅用一条连接线表示，但并不表示仅有一根总线或一种类型的总线。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施方式所属技术领域的技术人员所理解。处理器执行上文所描述的各个方法和处理。例如，本公开中的方法实施方式可以被实现为软件程序，其被有形地包含于机器可读介质，例如存储器。在一些实施方式中，软件程序的部分或者全部可以经由存储器和/或通信接口而被载入和/或安装。当软件程序加载到存储器并由处理器执行时，可以执行上文描述的方法中的一个或多个步骤。备选地，在其他实施方式中，处理器可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行上述方法之一。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，可以具体实现在任何可读存储介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。
就本说明书而言，“可读存储介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。可读存储介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，可读存储介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在存储器中。
应当理解，本公开的各部分可以用硬件、软件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施方式方法的全部或部分步骤是可以通过程序来指令相关的硬件完成，程序可以存储于一种可读存储介质中，该程序在执行时，包括方法实施方式的步骤之一或其组合。
此外，在本公开各个实施方式中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个可读存储介质中。存储介质可以是只读存储器，磁盘或光盘等。
本公开还提供了一种电子设备，包括：存储器，存储器存储执行指令；以及处理器或其他硬件模块，处理器或其他硬件模块执行存储器存储的执行指令，使得处理器或其他硬件模块执行上述的方法。
本公开还提供了一种可读存储介质，可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现上述的方法。
在本说明书的描述中，参考术语“一个实施方式/方式”、“一些实施方式/方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施方式/方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式/方式或示例中。在本说明书中，对上述术语的示意性表述不必须的是相同的实施方式/方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施方式/方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施方式/方式或示例以及不同实施方式/方式或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
本领域的技术人员应当理解，上述实施方式仅仅是为了清楚地说明本公开，而并非是对本公开的范围进行限定。对于所属领域的技术人员而言，在上述公开的基础上还可以做出其它变化或变型，并且这些变化或变型仍处于本公开的范围内。
Claims (20)
1.一种泊车循迹轨迹生成方法，其特征在于，包括：
S102、基于车辆相机装置采集的图像数据以及车辆轮速里程装置采集的车辆行驶数据进行同步定位与建图，生成车辆实际行驶轨迹及点云地图；
S104、基于采集的所述图像数据获取图像数据中的车位信息以及道路特征信息；
S106、基于所述道路特征信息和/或所述车位信息判断所述车辆实际行驶轨迹是否包含不规范轨迹；
S108、如果所述车辆实际行驶轨迹包含不规范轨迹，则基于所述道路特征信息和/或所述车位信息对所述车辆实际行驶轨迹进行修正处理，以生成车辆合规行驶轨迹；
S110、基于车辆实际行驶轨迹中的车辆最终泊车位置生成虚拟车位，将所述虚拟车位与基于采集的所述图像数据获取的所述车位信息进行比较，生成车位修正信息，基于所述车位修正信息对所述车辆最终泊车位置进行修正，获得修正后车辆最终泊车位置；以及
S112、至少基于所述车辆合规行驶轨迹以及所述修正后车辆最终泊车位置获取泊车循迹轨迹。
2.根据权利要求1所述的泊车循迹轨迹生成方法，其特征在于，S104、基于采集的所述图像数据获取图像数据中的车位信息以及道路特征信息，包括：
S1042、对采集的所述图像数据进行语义分割处理，对于图像数据中每个像素赋予语义类别标签；以及
S1044、至少基于所述图像数据中各个像素的语义类别标签，获取语义类别标签相同且位置相邻的像素点组成的图像区域，以获取图像数据中的道路特征信息；至少对所述图像数据进行车位角线特征提取，以获取图像数据中的车位信息。
3.根据权利要求2所述的泊车循迹轨迹生成方法，其特征在于，步骤S104还包括：
S1046、对车辆相机装置采集的图像数据进行投影以获得顶视图，顶视图坐标系位于车底平面；以及
S1048、基于所述顶视图、获取的图像数据中的所述车位信息及所述道路特征信息生成包含车位信息及道路特征信息的道路拓扑图。
4.根据权利要求3所述的泊车循迹轨迹生成方法，其特征在于，S106、基于所述道路特征信息和/或车位信息判断所述车辆实际行驶轨迹是否包含不规范轨迹，包括：
基于所述道路特征信息判断所述车辆实际行驶轨迹是否压实线车道线；
基于所述道路特征信息判断所述车辆实际行驶轨迹是否存在逆行轨迹；
基于所述道路特征信息判断所述车辆实际行驶轨迹是否存在非机动车道、人行道和/或公交车道的行驶轨迹；和/或
基于所述车位信息判断所述车辆实际行驶轨迹是否压其他车位。
5.根据权利要求4所述的泊车循迹轨迹生成方法，其特征在于，基于所述道路特征信息判断所述车辆实际行驶轨迹是否压实线车道线，包括：
将车辆实际行驶轨迹与道路特征信息中的实线车道线分别进行多次曲线拟合，计算车辆实际行驶轨迹曲线与实线车道线曲线是否出现交叉点，若出现交叉点，则判定为压实线车道线。
6.根据权利要求5所述的泊车循迹轨迹生成方法，其特征在于，S108、如果所述车辆实际行驶轨迹包含不规范轨迹，则基于所述道路特征信息和/或所述车位信息对所述车辆实际行驶轨迹进行修正处理，以生成车辆合规行驶轨迹，包括：
基于所述交叉点的位置，将时间序列在前的交叉点作为压线开始点，将时间序列在后的交叉点作为压线终止点，获得压线开始点和压线终止点之间的压线区域；以及
将处于所述压线区域中的车辆实际行驶轨迹删除，对全段车辆行驶轨迹进行拟合以生成车辆合规行驶轨迹，其中，拟合过程中以道路特征信息中的道路边界线和/或车道线作为约束。
7.根据权利要求4所述的泊车循迹轨迹生成方法，其特征在于，基于所述道路特征信息判断所述车辆实际行驶轨迹是否存在逆行轨迹，包括：
对车辆实际行驶轨迹进行轨迹点采样，以确定车辆实际行驶轨迹中各轨迹采样点的行驶方向；
将各采样点的行驶方向与所述道路特征信息中的道路标识箭头指定方向进行比较，以判断车辆实际行驶轨迹是否存在逆行轨迹。
8.根据权利要求7所述的泊车循迹轨迹生成方法，其特征在于，S108、如果所述车辆实际行驶轨迹包含不规范轨迹，则基于所述道路特征信息和/或所述车位信息对所述车辆实际行驶轨迹进行修正处理，以生成车辆合规行驶轨迹，包括：
按距离远近依次检测逆行轨迹段当前车道附近的参考车道的道路方向，获取道路方向与车辆实际行驶轨迹的逆行轨迹段之外的行驶轨迹的行驶方向一致且与逆行轨迹段当前车道距离最近的参考车道；
将逆行轨迹段平移至该参考车道的中心线。
9.根据权利要求4所述的泊车循迹轨迹生成方法，其特征在于，基于所述道路特征信息判断所述车辆实际行驶轨迹是否存在非机动车道、人行道和/或公交车道的行驶轨迹，包括：
对车辆实际行驶轨迹进行轨迹点采样，以确定车辆实际行驶轨迹中各轨迹采样点的位置；
基于各个轨迹采样点的位置的道路特征信息中的车道类型判断各个轨迹采样点是否违规行驶，所述车道类型至少包括非机动车道、人行道和/或公交车道。
10.根据权利要求9所述的泊车循迹轨迹生成方法，其特征在于，S108、如果所述车辆实际行驶轨迹包含不规范轨迹，则基于所述道路特征信息和/或所述车位信息对所述车辆实际行驶轨迹进行修正处理，以生成车辆合规行驶轨迹，包括：
按距离远近依次检测违规轨迹段当前车道附近的参考车道的道路类型，获取道路类型为机动车道且与违规轨迹段当前车道距离最近的参考车道；
将违规轨迹段平移至该参考车道的中心线。
11.根据权利要求4所述的泊车循迹轨迹生成方法，其特征在于，基于所述车位信息判断所述车辆实际行驶轨迹是否压其他车位，包括：
将车辆实际行驶轨迹进行多次曲线拟合，将曲线拟合后的车辆实际行驶轨迹曲线与车辆行驶过程中车辆周围的各个其他车位的区域范围进行比较，若存在重叠，则判定为车辆实际行驶轨迹压其他车位。
12.根据权利要求11所述的泊车循迹轨迹生成方法，其特征在于，S108、如果所述车辆实际行驶轨迹包含不规范轨迹，则基于所述道路特征信息和/或所述车位信息对所述车辆实际行驶轨迹进行修正处理，以生成车辆合规行驶轨迹，包括：
获取距离所压车位距离最近的合规车道，在重叠起点至重叠终点之间，以所述合规车道对应的道路边界线以及合规车道的车道线为约束条件进行拟合，以生成包括在所述合规车道上的拟合轨迹的车辆合规行驶轨迹。
13.根据权利要求1至12中任一项所述的泊车循迹轨迹生成方法，其特征在于，S110、基于车辆实际行驶轨迹中的车辆最终泊车位置生成虚拟车位，将所述虚拟车位与基于采集的所述图像数据获取的所述车位信息进行比较，生成车位修正信息，基于所述车位修正信息对所述车辆最终泊车位置进行修正，获得修正后车辆最终泊车位置，包括：
记录车辆最终停泊位置，以车辆后轴为参考，生成与实际车位大小相同的虚拟车位，使得车辆位于所述虚拟车位的中间位置；
将虚拟车位与临近地实际车位进行比较，计算重叠区域，如果重叠区域的面积/占比大于或等于预设阈值，则将车辆最终泊车位置修正至所述临近地实际车位。
14.根据权利要求13所述的泊车循迹轨迹生成方法，其特征在于，S112、至少基于所述车辆合规行驶轨迹以及所述修正后车辆最终泊车位置获取泊车循迹轨迹，包括：
基于所述修正后车辆最终泊车位置，提取所述修正后车辆最终泊车位置的预设距离范围之内的车辆合规行驶轨迹，以作为所述泊车循迹轨迹。
15.根据权利要求14所述的泊车循迹轨迹生成方法，其特征在于，S112、至少基于所述车辆合规行驶轨迹以及所述修正后车辆最终泊车位置获取泊车循迹轨迹，还包括：
基于所述修正后车辆最终泊车位置生成泊车区域，如果所述泊车区域仅出现一段轨迹段，则将所述泊车循迹轨迹判定为合理泊车轨迹。
16.根据权利要求15所述的泊车循迹轨迹生成方法，其特征在于，如果所述泊车区域出现两段以上的轨迹段，则进行泊车循迹轨迹修正：
在各个轨迹段上进行轨迹点采样；
按照时间序列依次判断由各个轨迹采样点是否能够直接泊入所述修正后车辆最终泊车位置；
将时间序列中最前的轨迹采样点作为泊入点，删除所述泊入点时间序列之后的车辆实际行驶轨迹的轨迹点，作为修正后泊车循迹轨迹。
17.根据权利要求1至12中任一项所述的泊车循迹轨迹生成方法，其特征在于，还包括：
S114、基于汽车运动学模型对生成的泊车循迹轨迹进行路径优化，以及对进行路径优化之后的泊车循迹轨迹进行速度优化，获得优化后的泊车循迹轨迹。
18.一种泊车循迹轨迹生成装置，其特征在于，包括：
同步定位与建图模块，所述同步定位与建图模块基于车辆相机装置采集的图像数据以及车辆轮速里程装置采集的车辆行驶数据进行同步定位与建图，生成车辆实际行驶轨迹及点云地图；
信息提取模块，所述信息提取模块基于采集的所述图像数据获取图像数据中的车位信息以及道路特征信息；
第一判断模块，所述第一判断模块基于所述道路特征信息和/或所述车位信息判断所述车辆实际行驶轨迹是否包含不规范轨迹；
第一修正模块，如果所述车辆实际行驶轨迹包含不规范轨迹，则所述第一修正模块基于所述道路特征信息和/或所述车位信息对所述车辆实际行驶轨迹进行修正处理，以生成车辆合规行驶轨迹；
泊车位置获取模块，所述泊车位置获取模块基于车辆实际行驶轨迹中的车辆最终泊车位置生成虚拟车位，将所述虚拟车位与基于采集的所述图像数据获取的所述车位信息进行比较，生成车位修正信息，基于所述车位修正信息对所述车辆最终泊车位置进行修正，获得修正后车辆最终泊车位置；
泊车循迹轨迹生成模块，所述泊车循迹轨迹生成模块至少基于所述车辆合规行驶轨迹以及所述修正后车辆最终泊车位置获取泊车循迹轨迹；以及
循迹轨迹优化模块，所述循迹轨迹优化模块基于汽车运动学模型对生成的泊车循迹轨迹进行路径优化，以及对进行路径优化之后的泊车循迹轨迹进行速度优化，获得优化后的泊车循迹轨迹。
19.一种电子设备，其特征在于，包括：
存储器，所述存储器存储执行指令；以及
处理器，所述处理器执行所述存储器存储的执行指令，使得所述处理器执行权利要求1至17中任一项所述的方法。
20.一种可读存储介质，其特征在于，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现权利要求1至17中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111621759.8A CN114394088B (zh) | 2021-12-28 | 2021-12-28 | 泊车循迹轨迹生成方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111621759.8A CN114394088B (zh) | 2021-12-28 | 2021-12-28 | 泊车循迹轨迹生成方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114394088A CN114394088A (zh) | 2022-04-26 |
| CN114394088B true CN114394088B (zh) | 2022-10-18 |
Family
ID=81229600
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111621759.8A Active CN114394088B (zh) | 2021-12-28 | 2021-12-28 | 泊车循迹轨迹生成方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114394088B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115503694B (zh) * | 2022-10-20 | 2023-06-23 | 北京易航远智科技有限公司 | 基于自主学习的记忆泊车路径生成方法、装置及电子设备 |
| CN115376347A (zh) * | 2022-10-26 | 2022-11-22 | 禾多科技（北京）有限公司 | 智驾域控制器以及车辆的控制方法 |
| CN115937812B (zh) * | 2023-01-06 | 2023-05-16 | 河北博士林科技开发有限公司 | 一种交通路口虚拟车道线的生成方法及*** |
| CN116331190B (zh) * | 2023-03-30 | 2024-06-04 | 阿波罗智联(北京)科技有限公司 | 记忆泊车的记忆路线的修正方法、装置、设备及车辆 |
| CN116453346B (zh) * | 2023-06-20 | 2023-09-19 | 山东高速信息集团有限公司 | 一种基于雷视融合布设的车路协同方法、设备及介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110654373A (zh) * | 2018-06-29 | 2020-01-07 | 比亚迪股份有限公司 | 自动泊车方法、装置及车辆 |
| CN109270563A (zh) * | 2018-10-12 | 2019-01-25 | 南通大学 | 一种基于增强型隐马尔可夫模型的地图匹配方法 |
| US10988137B2 (en) * | 2018-12-04 | 2021-04-27 | Waymo Llc | Driveway maneuvers for autonomous vehicles |
| JP7139284B2 (ja) * | 2019-05-14 | 2022-09-20 | 本田技研工業株式会社 | 車両制御装置、駐車場管理装置、車両制御方法、およびプログラム |
| US11820403B2 (en) * | 2020-03-30 | 2023-11-21 | Wipro Limited | Method and system of determining trajectory for an autonomous vehicle |
| CN113242510B (zh) * | 2021-04-30 | 2024-05-17 | 深圳市慧鲤科技有限公司 | 停车场的出场引导方法及装置、电子设备和存储介质 |
-
2021
- 2021-12-28 CN CN202111621759.8A patent/CN114394088B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN114394088A (zh) | 2022-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114394088B (zh) | 泊车循迹轨迹生成方法、装置、电子设备及存储介质 | |
| US11900627B2 (en) | Image annotation | |
| CN111442776B (zh) | 顺序地面场景图像投影合成与复杂场景重构的方法及设备 | |
| US11688183B2 (en) | System and method of determining a curve | |
| CN109470254B (zh) | 地图车道线的生成方法、装置、***及存储介质 | |
| KR102267562B1 (ko) | 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법 | |
| US8699754B2 (en) | Clear path detection through road modeling | |
| US8611585B2 (en) | Clear path detection using patch approach | |
| JP2023503536A (ja) | 車線検出のための方法およびシステム | |
| US20230215187A1 (en) | Target detection method based on monocular image | |
| CN112667837A (zh) | 图像数据自动标注方法及装置 | |
| US11341754B2 (en) | Method and apparatus for auto calibration | |
| Parra et al. | Robust visual odometry for vehicle localization in urban environments | |
| US11348263B2 (en) | Training method for detecting vanishing point and method and apparatus for detecting vanishing point | |
| Paz et al. | Probabilistic semantic mapping for urban autonomous driving applications | |
| CN111178122A (zh) | 道路场景中三维车道的检测及平面表示 | |
| CN110969055A (zh) | 用于车辆定位的方法、装置、设备和计算机可读存储介质 | |
| CN114543819B (zh) | 车辆定位方法、装置、电子设备及存储介质 | |
| CN116997771A (zh) | 车辆及其定位方法、装置、设备、计算机可读存储介质 | |
| CN112444258A (zh) | 可行驶区域判定的方法、智能驾驶***和智能汽车 | |
| CN110728720A (zh) | 用于相机标定的方法、装置、设备和存储介质 | |
| CN115564865A (zh) | 一种众包高精地图的构建方法、***、电子设备及车辆 | |
| CN114550116A (zh) | 一种对象识别方法和装置 | |
| CN113064415A (zh) | 轨迹规划的方法、装置、控制器和智能车 | |
| CN116343148A (zh) | 车道线检测方法、装置、车辆及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |