CN111856963B - 一种基于车载环视***的泊车仿真方法及装置 - Google Patents
一种基于车载环视***的泊车仿真方法及装置 Download PDFInfo
- Publication number
- CN111856963B CN111856963B CN201910364960.9A CN201910364960A CN111856963B CN 111856963 B CN111856963 B CN 111856963B CN 201910364960 A CN201910364960 A CN 201910364960A CN 111856963 B CN111856963 B CN 111856963B
- Authority
- CN
- China
- Prior art keywords
- target
- parking
- virtual
- scene
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 104
- 238000004088 simulation Methods 0.000 title claims abstract description 53
- 230000000007 visual effect Effects 0.000 claims abstract description 233
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 109
- 230000008569 process Effects 0.000 claims abstract description 47
- 238000010276 construction Methods 0.000 claims description 74
- 230000001960 triggered effect Effects 0.000 claims description 42
- 238000013507 mapping Methods 0.000 claims description 32
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000005259 measurement Methods 0.000 claims description 11
- 241000283070 Equus zebra Species 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 abstract description 15
- 238000001514 detection method Methods 0.000 description 21
- 238000000605 extraction Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B17/00—Systems involving the use of models or simulators of said systems
- G05B17/02—Systems involving the use of models or simulators of said systems electric
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M17/00—Testing of vehicles
- G01M17/007—Wheeled or endless-tracked vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
- G08G1/141—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Manufacturing & Machinery (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
本发明实施例公开一种基于车载环视***的泊车仿真方法及装置。该方法包括:获得目标虚拟车辆针对虚拟泊车场景采集的多张第一图像;对多张第一图像进行拼接,得到俯视拼接图;从俯视拼接图中识别出预设的视觉特征;从自动驾驶导航电子地图中识别出与视觉特征相匹配的目标特征;根据目标特征在自动驾驶导航电子地图中的位置以及视觉特征在俯视拼接图中的位置,确定目标虚拟车辆的当前位姿;从停车位中,确定目标虚拟车辆对应的目标停车位;基于当前位姿、目标停车位所在位置以及预设的泊车算法,控制目标虚拟车辆行驶至目标停车位,以实现对基于车载环视***的泊车过程的仿真,为基于车载环视***的泊车过程的评估提供基础。
Description
技术领域
本发明涉及智能驾驶技术领域,具体而言,涉及一种基于车载环视***的泊车仿真方法及装置。
背景技术
在自动驾驶技术领域中,在车辆自动行驶过程中车辆以及人员的安全性问题一直为人们关注。
为了保证在车辆自动行驶过程中车辆以及人员的安全性,在实际应用车辆自动驾驶相关的各种算法之前,验证车辆自动驾驶相关的各种算法的可用性以及一致性至关重要,其中,车辆自动驾驶相关的各种算法可以包括车辆定位算法以及泊车算法。
而在验证车辆自动驾驶相关的各种算法的可用性以及一致性时,如何获得利用该车辆自动驾驶相关的各种算法,生成待验证的结果至关重要。那么,如何提供一种可以实现车辆自动驾驶过程的仿真,如对泊车过程的仿真,以获得上述待验证的结果的方法成为亟待解决的问题。
发明内容
本发明提供了一种基于车载环视***的泊车仿真方法及装置,以实现对基于车载环视***的泊车过程的仿真,为基于车载环视***的泊车过程的评估提供评估基础。具体的技术方案如下。
第一方面,本发明实施例提供了一种基于车载环视***的泊车仿真方法,包括:
获得目标虚拟车辆针对虚拟泊车场景采集的多张第一图像,其中,所述多张第一图像为:所述目标虚拟车辆的多个虚拟摄像头在当前时刻针对所述虚拟泊车场景的不同方向拍摄得到的图像;
对所述多张第一图像进行拼接,得到俯视拼接图;
从所述俯视拼接图中识别出预设的视觉特征,其中,所述预设的视觉特征至少包括停车位;
从自动驾驶导航电子地图中识别出与所述视觉特征相匹配的目标特征;根据所述目标特征在所述自动驾驶导航电子地图中的位置以及所述视觉特征在所述俯视拼接图中的位置,确定所述目标虚拟车辆在所述虚拟泊车场景的当前位姿;
从所识别出的停车位中,确定所述目标虚拟车辆对应的目标停车位;
基于所述当前位姿、所述目标停车位所在位置以及预设的泊车算法,控制所述目标虚拟车辆行驶至所述目标停车位。
可选的,所述预设的泊车算法包括预设的泊车路径规划算法和预设的泊车控制算法;
所述基于所述当前位姿、所述目标停车位所在位置以及预设的泊车算法,控制所述目标虚拟车辆行驶至所述目标停车位的步骤,包括:
基于所述当前位姿、所述目标停车位所在位置以及所述预设的泊车路径规划算法,确定出所述目标虚拟车辆行驶至所述目标停车位的泊车路径;
基于所述泊车路径以及所述预设的泊车控制算法,控制所述目标虚拟车辆行驶至所述目标停车位。
可选的,在所述基于所述泊车路径以及所述预设的泊车控制算法,控制所述目标虚拟车辆行驶至所述目标停车位的步骤之后,所述方法还包括:
显示所述泊车路径,以供用户对所述预设的泊车路径规划算法进行评估;和/或,
获得所述目标虚拟车辆行驶至所述目标停车位过程中所生成的泊车控制数据,其中,所述泊车控制数据包括如下数据中的至少一个:虚拟油门数据、虚拟刹车数据、虚拟车辆行驶方向数据、虚拟档位数据、车轮脉冲数据以及轮速数据;
显示所述泊车控制数据,以供用户对所述预设的泊车控制算法进行评估。
可选的,在所述对所述多张第一图像进行拼接,得到俯视拼接图的步骤之后,所述方法还包括:
获得场景摄像头在所述当前时刻针对所述目标虚拟车辆进行俯视拍摄的俯视拍摄图,其中,所述场景摄像头为:所述虚拟泊车场景设置的对所述目标虚拟车辆进行俯视拍摄的虚拟摄像头;基于所述俯视拍摄图以及所述俯视拼接图,对所述多个虚拟摄像头的安装位置进行评估;
和\或所述从所述俯视拼接图中识别出预设的视觉特征的步骤,包括:
利用预设的视觉特征识别算法,从所述俯视拼接图中识别出预设的视觉特征;并在所述从所述俯视拼接图中识别出预设的视觉特征的步骤之后,所述方法还包括:
获得所述目标虚拟车辆在当前时刻在所述虚拟泊车场景的真实位姿;基于所述真实位姿以及所述多个虚拟摄像头的视角范围,确定出所述目标虚拟车辆对应的场景视角范围;基于所述场景视角范围,从所述虚拟泊车场景中的场景视觉特征中,确定出所述场景视角范围内存在的场景视觉特征,作为目标场景视觉特征;基于所识别出的预设的视觉特征以及所述目标场景视觉特征,对所述预设的视觉特征识别算法进行评估;
和\或在所述根据所述目标特征在所述自动驾驶导航电子地图中的位置以及所述视觉特征在所述俯视拼接图中的位置,确定所述目标虚拟车辆在所述虚拟泊车场景的当前位姿的步骤之后,所述方法还包括:
获得所述目标虚拟车辆在当前时刻在所述虚拟泊车场景的真实位姿;计算所述真实位姿与所述当前位姿之间的差异位姿;基于所述差异位姿,对所述当前位姿的可信度进行评估。
可选的,在所述获得目标虚拟车辆针对虚拟泊车场景采集的多张第一图像的步骤之前,所述方法还包括:
基于用户触发的场景构建操作,构建得到所述虚拟泊车场景;
基于所述用户触发的车辆构建操作,构建得到所述目标虚拟车辆。
可选的,所述基于用户触发的场景构建操作,构建得到所述虚拟泊车场景的步骤,通过以下两种实现方式中的任一种实现方式实现:
第一种实现方式:
基于用户触发的第一场景构建操作,输出展示有多个预设虚拟泊车场景的模型的场景标识的第一展示界面;
在检测到所述用户选中操作后,基于所述选中操作携带的所选中虚拟泊车场景的模型的场景标识,构建得到所述选中操作携带的场景标识对应的虚拟泊车场景;
第二种实现方式:
基于用户触发的第二场景构建操作,输出初始虚拟泊车场景,并输出展示有多个用于构建初始虚拟泊车场景所需的场景构建模型的第二展示界面,其中,所述场景构建模型至少包括如下模型中的至少一种:车道线模型、停车位模型、减速带模型、斑马线模型、箭头模型、数字模型、地砖模型以及交通指示牌模型;
基于所述用户对各所述场景构建模型的选中操作以及调整操作,在所述初始虚拟泊车场景中显示被用户选中及调整后的场景构建模型,以构建得到所述虚拟泊车场景;
所述基于所述用户触发的车辆构建操作,构建得到所述目标虚拟车辆的步骤,通过以下两种实现方式中的任一种实现方式实现:
第一种实现方式:
基于所述用户触发的第一车辆构建操作,输出展示有多个预设虚拟车辆的模型的车辆标识的第三展示界面,其中,每一预设虚拟车辆至少对应有多个虚拟摄像头;
基于所述用户针对目标虚拟车辆的模型的车辆标识的选中操作,构建得到所述目标虚拟车辆;
第二种实现方式:
基于用户触发的第二车辆构建操作,输出初始虚拟车辆,并输出展示有多个用于配置所述初始虚拟车辆对应的虚拟传感器的参数的配置界面,其中,所述初始虚拟车辆对应的虚拟传感器至少包括多个虚拟摄像头;
基于所述用户对所述初始虚拟车辆对应的虚拟传感器的参数的配置操作,构建得到所述目标虚拟车辆,其中,所述配置操作携带:用户针对所述虚拟传感器的参数所配置的参数值。
可选的,所述根据所述目标特征在所述自动驾驶导航电子地图中的位置、所述视觉特征在所述俯视拼接图中的位置,确定所述目标虚拟车辆在所述目标虚拟泊车场景的当前位姿的步骤,包括:
根据估计位姿的取值以及所述视觉特征在所述俯视拼接图中的位置,计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置;
计算所述映射位置与所述目标特征在所述自动驾驶导航电子地图中的实际位置之间的第一误差;
判断所述第一误差是否小于指定阈值;
当所述第一误差大于或等于所述指定阈值时,调整所述估计位姿的取值,并执行所述根据估计位姿的取值以及所述视觉特征在所述俯视拼接图中的位置,计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置;
当所述第一误差小于所述指定阈值时,根据所述估计位姿的当前取值确定所述目标虚拟车辆在所述目标虚拟泊车场景的当前位姿;
或者,所述根据所述目标特征在所述自动驾驶导航电子地图中的位置、所述视觉特征在所述俯视拼接图中的位置,确定所述目标虚拟车辆在所述目标虚拟泊车场景的当前位姿的步骤,包括:
根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置,计算所述目标特征投影至所述俯视拼接图中的投影位置;
计算所述目标特征的所述投影位置与所述视觉特征在所述俯视拼接图中的实际位置之间的第二误差;
判断所述第二误差是否小于指定阈值;
当所述第二误差大于或等于所述指定阈值时,调整所述估计位姿的取值,并执行所述根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置,计算所述目标特征投影至所述俯视拼接图中的投影位置;
当所述第二误差小于所述指定阈值时,根据所述估计位姿的当前取值确定所述目标虚拟车辆在所述目标虚拟泊车场景的当前位姿。
可选的,在所述根据估计位姿的取值以及所述视觉特征在所述俯视拼接图中的位置,计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置的步骤之前,所述方法还包括:
以所述目标虚拟车辆在上一时刻的位姿为基准,结合运动模型计算所述虚拟车辆在所述当前时刻的预估位姿,并执行所述根据估计位姿的取值以及所述视觉特征在所述俯视拼接图中的位置,计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置的步骤;所述上一时刻为:在时间上在所述当前时刻之前的相邻的时刻,所述运动模型由所述目标虚拟车辆的惯性测量单元和/或轮速计采集的数据确定得到;
以及,所述根据估计位姿的取值以及所述视觉特征在所述俯视拼接图中的位置,计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置的步骤,包括:
以所述预估位姿的取值作为所述估计位姿的初值;
根据估计位姿的当前取值以及所述视觉特征在所述俯视拼接图中的位置,计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置;
以及,所述根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置,计算所述目标特征投影至所述俯视拼接图中的投影位置的步骤,包括:
以所述预估位姿的取值作为所述估计位姿的初值;
根据估计位姿的当前取值以及所述目标特征在所述自动驾驶导航电子地图中的位置,计算所述目标特征投影至所述俯视拼接图中的投影位置。第二方面,本发明实施例提供了一种基于车载环视***的泊车仿真装置,包括:
第一获得模块,被配置为获得目标虚拟车辆针对虚拟泊车场景采集的多张第一图像,其中,所述多张第一图像为:所述目标虚拟车辆的多个虚拟摄像头在当前时刻针对所述虚拟泊车场景的不同方向拍摄得到的图像;
拼接模块,被配置为对所述多张第一图像进行拼接,得到俯视拼接图;
识别模块,被配置为从所述俯视拼接图中识别出预设的视觉特征,其中,所述预设的视觉特征至少包括停车位;
识别确定模块,被配置为从自动驾驶导航电子地图中识别出与所述视觉特征相匹配的目标特征;根据所述目标特征在所述自动驾驶导航电子地图中的位置以及所述视觉特征在所述俯视拼接图中的位置,确定所述目标虚拟车辆在所述虚拟泊车场景的当前位姿;
第一确定模块,被配置为从所识别出的停车位中,确定所述目标虚拟车辆对应的目标停车位;
控制模块,被配置为基于所述当前位姿、所述目标停车位所在位置以及预设的泊车算法,控制所述目标虚拟车辆行驶至所述目标停车位。
可选的,所述预设的泊车算法包括预设的泊车路径规划算法和预设的泊车控制算法;所述控制模块,被具体配置为:基于所述当前位姿、所述目标停车位所在位置以及所述预设的泊车路径规划算法,确定出所述目标虚拟车辆行驶至所述目标停车位的泊车路径;基于所述泊车路径以及所述预设的泊车控制算法,控制所述目标虚拟车辆行驶至所述目标停车位。
可选的,所述装置还包括:
第一显示模块,被配置为在所述基于所述泊车路径以及所述预设的泊车控制算法,控制所述目标虚拟车辆行驶至所述目标停车位之后,显示所述泊车路径,以供用户对所述预设的泊车路径规划算法进行评估;和/或,
第二获得模块,被配置为获得所述目标虚拟车辆行驶至所述目标停车位过程中所生成的泊车控制数据,其中,所述泊车控制数据包括如下数据中的至少一个:虚拟油门数据、虚拟刹车数据、虚拟车辆行驶方向数据、虚拟档位数据、车轮脉冲数据以及轮速数据;
第二显示模块,被配置为显示所述泊车控制数据,以供用户对所述预设的泊车控制算法进行评估。
可选的,所述装置还包括:
第三获得模块,被配置为在所述对所述多张第一图像进行拼接,得到俯视拼接图之后,获得场景摄像头在所述当前时刻针对所述目标虚拟车辆进行俯视拍摄的俯视拍摄图,其中,所述场景摄像头为:所述虚拟泊车场景设置的对所述目标虚拟车辆进行俯视拍摄的虚拟摄像头;第一评估模块,被配置为基于所述俯视拍摄图以及所述俯视拼接图,对所述多个虚拟摄像头的安装位置进行评估;
和\或所述识别模块,被具体配置为利用预设的视觉特征识别算法,从所述俯视拼接图中识别出预设的视觉特征;并所述装置还包括:第四获得模块,被配置为在所述从所述俯视拼接图中识别出预设的视觉特征之后,获得所述目标虚拟车辆在当前时刻在所述虚拟泊车场景的真实位姿;第二确定模块,被配置为基于所述真实位姿以及所述多个虚拟摄像头的视角范围,确定出所述目标虚拟车辆对应的场景视角范围;第三确定模块,被配置为基于所述场景视角范围,从所述虚拟泊车场景中的场景视觉特征中,确定出所述场景视角范围内存在的场景视觉特征,作为目标场景视觉特征;第二评估模块,被配置为基于所识别出的预设的视觉特征以及所述目标场景视觉特征,对所述预设的视觉特征识别算法进行评估;
和\或所述装置还包括:
第五获得模块,被配置为在所述根据所述目标特征在所述自动驾驶导航电子地图中的位置以及所述视觉特征在所述俯视拼接图中的位置,确定所述目标虚拟车辆在所述虚拟泊车场景的当前位姿之后,获得所述目标虚拟车辆在当前时刻在所述虚拟泊车场景的真实位姿;计算模块,被配置为计算所述真实位姿与所述当前位姿之间的差异位姿;第三评估模块,被配置为基于所述差异位姿,对所述当前位姿的可信度进行评估。
可选的,所述装置还包括:
第一构建模块,被配置为在所述获得目标虚拟车辆针对虚拟泊车场景采集的多张第一图像之前,基于用户触发的场景构建操作,构建得到所述虚拟泊车场景;
第二构建模块,被配置为基于所述用户触发的车辆构建操作,构建得到所述目标虚拟车辆。
可选的,所述第一构建模块,被具体配置为:基于用户触发的第一场景构建操作,输出展示有多个预设虚拟泊车场景的模型的场景标识的第一展示界面;在检测到所述用户选中操作后,基于所述选中操作携带的所选中虚拟泊车场景的模型的场景标识,构建得到所述选中操作携带的场景标识对应的虚拟泊车场景;或,被具体配置为:基于用户触发的第二场景构建操作,输出初始虚拟泊车场景,并输出展示有多个用于构建初始虚拟泊车场景所需的场景构建模型的第二展示界面,其中,所述场景构建模型至少包括如下模型中的至少一种:车道线模型、停车位模型、减速带模型、斑马线模型、箭头模型、数字模型、地砖模型以及交通指示牌模型;基于所述用户对各所述场景构建模型的选中操作以及调整操作,在所述初始虚拟泊车场景中显示被用户选中及调整后的场景构建模型,以构建得到所述虚拟泊车场景;
所述第二构建模块,被具体配置为:基于所述用户触发的第一车辆构建操作,输出展示有多个预设虚拟车辆的模型的车辆标识的第三展示界面,其中,每一预设虚拟车辆至少对应有多个虚拟摄像头;基于所述用户针对目标虚拟车辆的模型的车辆标识的选中操作,构建得到所述目标虚拟车辆;或,被具体配置为:基于用户触发的第二场景构建操作,输出初始虚拟车辆,并输出展示有多个用于配置所述初始虚拟车辆对应的虚拟传感器的参数的配置界面,其中,所述初始虚拟车辆对应的虚拟传感器至少包括多个虚拟摄像头;基于所述用户对所述初始虚拟车辆对应的虚拟传感器的参数的配置操作,构建得到所述目标虚拟车辆,其中,所述配置操作携带:用户针对所述虚拟传感器的参数所配置的参数值。
可选的,所述识别确定模块包括:
第一计算单元,被配置为根据估计位姿的取值以及所述视觉特征在所述俯视拼接图中的位置,计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置;
第二计算单元,被配置为计算所述映射位置与所述目标特征在所述自动驾驶导航电子地图中的实际位置之间的第一误差;
第一判断单元,被配置为被配置为判断所述第一误差是否小于指定阈值;
第一调整单元,被配置为当所述第一误差大于或等于所述指定阈值时,调整所述估计位姿的取值,并触发所述第一计算单元;
第一确定单元,被配置为当所述第一误差小于所述指定阈值时,根据所述估计位姿的当前取值确定所述目标虚拟车辆在所述目标虚拟泊车场景的当前位姿;
或者,所述识别确定模块包括:
第三计算单元,被配置为根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置,计算所述目标特征投影至所述俯视拼接图中的投影位置;
第四计算单元,被配置为计算所述目标特征的所述投影位置与所述视觉特征在所述俯视拼接图中的实际位置之间的第二误差;
第二判断单元,被配置为判断所述第二误差是否小于指定阈值;
第二调整单元,被配置为当所述第二误差大于或等于所述指定阈值时,调整所述估计位姿的取值,并触发所述第三计算单元;
第二确定单元,被配置为当所述第二误差小于所述指定阈值时,根据所述估计位姿的当前取值确定所述目标虚拟车辆在所述目标虚拟泊车场景的当前位姿。
可选的,所述识别确定模块还包括:
第五计算单元,被配置为在所述根据估计位姿的取值以及所述视觉特征在所述俯视拼接图中的位置,计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置之前,以所述目标虚拟车辆在上一时刻的位姿为基准,结合运动模型计算所述虚拟车辆在所述当前时刻的预估位姿,并触发所述第一计算单元;所述上一时刻为:在时间上在所述当前时刻之前的相邻的时刻,所述运动模型由所述目标虚拟车辆的惯性测量单元和/或轮速计采集的数据确定得到;
以及,所述第一计算单元,被具体配置为:
以所述预估位姿的取值作为所述估计位姿的初值;
根据估计位姿的当前取值以及所述视觉特征在所述俯视拼接图中的位置,计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置;
以及,所述第三计算单元,被具体配置为:
以所述预估位姿的取值作为所述估计位姿的初值;
根据估计位姿的当前取值以及所述目标特征在所述自动驾驶导航电子地图中的位置,计算所述目标特征投影至所述俯视拼接图中的投影位置。
由上述内容可知,本发明实施例提供的一种基于车载环视***的车辆定位的仿真方法和装置,可以获得目标虚拟车辆针对虚拟泊车场景采集的多张第一图像,其中,多张第一图像为:目标虚拟车辆的多个虚拟摄像头在当前时刻针对虚拟泊车场景的不同方向拍摄得到的图像;对多张第一图像进行拼接,得到俯视拼接图;从俯视拼接图中识别出预设的视觉特征,其中,预设的视觉特征至少包括停车位;从自动驾驶导航电子地图中识别出与视觉特征相匹配的目标特征;根据目标特征在自动驾驶导航电子地图中的位置以及视觉特征在俯视拼接图中的位置,确定目标虚拟车辆在虚拟泊车场景的当前位姿;从所识别出的停车位中,确定目标虚拟车辆对应的目标停车位;基于当前位姿、目标停车位所在位置以及预设的泊车算法,控制目标虚拟车辆行驶至目标停车位。
应用本发明实施例,利用多个虚拟摄像头模拟摄像头的环视***,根据摄像头环视***拍摄虚拟泊车场景中该目标虚拟车辆四周的环境,结合自动驾驶导航电子地图,利用虚拟泊车场景中的特征在图像中的位置以及这些特征在地图中的位置,确定出目标虚拟车辆当前时刻的位姿,实现对基于车载环视***的泊车过程中车辆定位的仿真。进而,确定出目标停车位,并基于当前位姿、目标停车位所在位置以及预设的泊车算法,控制目标虚拟车辆行驶至目标停车位,实现对基于车载环视***的泊车过程的仿真。以实现通过仿真***,对基于车载环视***的泊车过程的仿真,为基于车载环视***的泊车过程的评估提供评估基础。当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
本发明实施例的创新点包括:
1、利用多个虚拟摄像头模拟摄像头的环视***,根据摄像头环视***拍摄虚拟泊车场景中该目标虚拟车辆四周的环境,结合自动驾驶导航电子地图,利用虚拟泊车场景中的特征在图像中的位置以及这些特征在地图中的位置,确定出目标虚拟车辆当前时刻的位姿,实现对基于车载环视***的泊车过程中车辆定位的仿真。进而确定出目标停车位,并基于当前位姿、目标停车位所在位置以及预设的泊车算法,控制目标虚拟车辆行驶至目标停车位,实现对基于车载环视***的泊车过程的仿真。以实现通过仿真***,对基于车载环视***的泊车过程的仿真,为基于车载环视***的泊车过程的评估提供评估基础。实施本发明实施例,可以只利用视觉信息完成目标虚拟车辆的定位,并且基于环视的摄像头设置方案,单次图像信息采集即可获得目标虚拟车辆四周的环境信息,从而可以使得目标虚拟车辆定位的精度较高。
2、显示泊车路径,可以供用户对预设的泊车路径规划算法进行评估,实现为基于车载环视***的泊车过程中的预设的泊车路径规划算法的评估提供评估基础;和/或,获得并显示目标虚拟车辆行驶至目标停车位过程中所生成的泊车控制数据,可以供用户对预设的泊车控制算法进行评估,实现为基于车载环视***的泊车过程中的预设的泊车控制算法的评估提供评估基础,。
3、获得场景摄像头在当前时刻针对目标虚拟车辆进行俯视拍摄的俯视拍摄图,进而基于俯视拍摄图以及俯视拼接图,对多个虚拟摄像头的安装位置进行评估;和/或确定得到目标虚拟车辆在当前时刻对应的场景视角范围,并从虚拟泊车场景中的场景视觉特征中,确定出场景视角范围内存在的目标场景视觉特征,进而基于所识别出的预设的视觉特征以及所述目标场景视觉特征,对预设的视觉特征识别算法进行评估,评估是否出现视觉特征的误检、漏检的情况并评估识别精确度等指标;和/或获得目标虚拟车辆的真实位姿,基于真实位姿对当前位姿的可信度进行评估,实现对定位算法的精确度的评估。
4、用户可以自主构建虚拟泊车场景和目标虚拟车辆,实现泊车场景的多样化,并且可以满足用户自身的需求,提高用户使用体验。
5、利用虚拟的惯性测量单元和轮速计的采集数据建立运动模型,结合目标虚拟车辆在上一时刻的位姿预估出目标虚拟车辆在当前时刻的预估位姿,并以预估位姿为初值,迭代调整目标虚拟车辆位姿的取值,直至得到一个精度较高的定位结果,可以进一步提高目标虚拟车辆实时定位的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于车载环视***的泊车仿真方法的一种流程示意图;
图2为本发明实施例提供的基于车载环视***的泊车仿真方法的另一种流程示意图;
图3为所构建的虚拟泊车场景的一种示意图;
图4为本发明实施例提供的基于车载环视***的泊车仿真装置的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明提供了一种基于车载环视***的泊车仿真方法及装置,以实现对基于车载环视***的泊车过程的仿真,为基于车载环视***的泊车过程的评估提供评估基础。下面分别进行详细说明。
如图1所示,为基于车载环视***的泊车仿真方法的一种流程示意图,该方法可以应用于电子设备。具体的,该方法可以应用于电子设备中的主控制器。该主控制器可以为CPU(Central Processing Unit/Processor,中央处理器)等。该方法可以包括如下步骤:
S101:获得目标虚拟车辆针对虚拟泊车场景采集的多张第一图像。
其中,多张第一图像为:目标虚拟车辆的多个虚拟摄像头在当前时刻针对虚拟泊车场景的不同方向拍摄得到的图像。
本发明实施例中,该电子设备中可以预先安装有仿真***,该仿真***可以理解为计算机应用程序软件,为对基于车载环视***的泊车过程实现仿真功能的应用程序软件。该虚拟泊车场景可以包括:停车位、车道、地砖、减速带、人行道、障碍物、数字、交通标识、不同天气以及各种建筑等等。该人行道也可以称为斑马线,该交通标识可以包括交通指示牌。
电子设备可以从仿真***中,获得目标虚拟车辆针对虚拟泊车场景采集的多张第一图像。其中,该第一图像为:目标虚拟车辆的多个虚拟摄像头在当前时刻针对虚拟泊车场景的不同方向拍摄得到的图像。该虚拟摄像头可以按照一定的频率采集图像,并将采集到的图像传输至电子设备。
该多个虚拟摄像头可以针对虚拟泊车场景的不同方向进行拍摄。一种情况,该多个虚拟摄像头可以分别设置于目标虚拟车辆的前、后、左、右四个方向上,其中,每个虚拟摄像头的取景范围可以至少包括该虚拟摄像头下方的地面。本发明实施例中,在当前时刻,每个虚拟摄像头都可以拍摄到至少一张第一图像,多个虚拟摄像头一共拍摄到的第一图像的数量至少不低于虚拟摄像头的数量。
作为一种可选的实施方式,上述的虚拟摄像头可以为鱼眼摄像头和/或针孔摄像头。其中,鱼眼摄像头的视场(Field OF View,FOV)较大,从而可以使得单个鱼眼摄像头拍摄到的第一图像中尽可能多地包括虚拟车辆的周边环境,提高第一图像中包含的信息量。
在一种实现方式中,为了使得仿真***更能接近于实际情况,使得仿真评估更准确,在建立仿真***时,仿真***可以包括虚拟环境引擎和车辆动力学模型。其中,虚拟环境引擎用于创建虚拟环境,即该虚拟泊车场景,虚拟环境引擎可以理解为可创建虚拟环境的应用程序。例如,虚拟环境引擎可以为UE引擎(Unreal Engine)。车辆动力学模型可以采用更接近真实汽车性能的模型,该车辆动力学模型能够针对具体车型建模出包括油门、刹车控制量到车辆加减速、方向盘转角到车辆转向力等参数的模型。车辆动力学模型可以理解为能构成汽车各项功能的数学函数的组合,用于创建虚拟车辆以及根据输入参数控制虚拟车辆,使得虚拟车辆能够在虚拟泊车场景中行驶。车辆动力学模型创建的虚拟车辆包括虚拟车辆中车载的虚拟传感器。车辆动力学模型可以为经过实车测试后的数学模型,其性能更接近于真实车辆。
在一种情况中,该目标虚拟车辆除了设置有虚拟摄像头,还可以设置有其他虚拟传感器,其中,该其他虚拟传感器可以包括但不限于超声波器件、惯性测量单元(InertialMeasurement Unit,IMU)以及轮速计等。
S102:对多张第一图像进行拼接,得到俯视拼接图。
电子设备可以按照一定的映射规则,将第一图像投影到道路平面上,并根据各第一图像之间可能存在的重叠区域,对多张第一图像进行拼接,得到目标虚拟车辆的周围的环境信息的俯视拼接图,例如:得到包含以目标虚拟车辆为中心360的环境信息的俯视拼接图。或者,电子设备预存有各虚拟摄像头所采集的第一图像的拼接规则,基于该拼接规则直接拼接该多张第一图像,得到俯视拼接图。
S103:从俯视拼接图中识别出预设的视觉特征。
其中,预设的视觉特征至少包括停车位。
本发明实施例中,电子设备得到俯视拼接图之后,可以通过预设的视觉特征识别算法,例如深度学习或图像分割等识别算法,从俯视拼接图中识别出预设的视觉特征。在一种可选的实现方式中,可以利用预先建立的语义特征检测模型,从俯视拼接图中检测得到该俯视拼接图中的视觉特征;其中,该语义特征检测模型为采用至少标注有该视觉特征的样本图像作为模型输入训练得到的神经网络模型。该神经网络模型可以为:卷积神经网络模型以及支持向量机等基于深度学习类的神经网络模型。
本发明实施例中,视觉特征可以为经过经验筛选具有特殊含义并有助于车辆定位的图像语义特征。作为一种可选的实施方式,视觉特征可以为虚拟泊车场景中的交通标识、停车位、车道、减速带和人行道等,本发明实施例不对视觉特征的具体类型做限定。多个虚拟摄像头所采集的第一图像中可能存在多个视觉特征,也可能不存在视觉特征,本发明实施例采用多张第一图像拼接而成的俯视拼接图进行目标虚拟车辆定位,多张第一图像之间可以进行信息互补,提高车辆定位***的稳定性。
在一种可选的实现方式中,在利用预先建立的语义特征检测模型,从俯视拼接图中检测得到该俯视拼接图中的视觉特征的步骤之前,还包括建立预先建立的语义特征检测模型的过程,从一种角度而言,该过程可以包括:获得初始的语义特征检测模型,该初始的语义特征检测模型包括:特征提取层和特征分类层;获得多个样本图像,其中,每一样本图像包括一个或多个样本特征,其中,视觉特征为样本特征的子集;获得每一样本图像的标定信息,其中,每一标定信息包括所对应样本图像中的每一样本对象的标定位置信息及标定类型信息。该标定信息可以是工作人员手动标定的,例如:工作人员在每一样本图像中,用矩形框标定出该样本图像中的每一样本对象,其中,该矩形框可以表征出所对象样本对象在样本图像中的位置信息,作为标定位置信息。工作人员针对每一样本对象标定出该样本对象的类型,作为标定类型信息。或,该标定信息可以是电子设备通过特定程序标定出的,这也是可以的。
进而,电子设备将多个样本图像以及每一样本图像对应的标定信息所包括的标定位置信息及标定类型信息,输入初始的语义特征检测模型的特征提取层,得到每一样本图像中每一样本对象对应的图像特征;将每一样本图像中每一样本对象对应的图像特征,输入初始的语义特征检测模型的特征分类层,得到每一样本图像中每一样本特征对应的预测位置信息及预测类型信息;将每一预测位置信息与其对应的标定位置信息进行匹配,并将每一预测类型信息与其对应的标定类型信息进行匹配;若匹配成功,则获得包含特征提取层和特征分类层的预先建立的语义特征检测模型;若匹配失败,则调整特征提取层和特征分类层的参数,并执行将多个样本图像,输入特征提取层,得到每一样本图像中每一样本特征对应的图像特征的步骤;直至匹配成功,获得包含特征提取层和特征分类层的预先建立的语义特征检测模型。
其中,样本图像与标定信息存在对应关系,样本图像与预测信息存在对应关系,则标定信息与预测信息存在对应关系。该预测信息包括预测位置信息和预测类型信息。
上述将每一预测位置信息与其对应的标定位置信息进行匹配,并将每一预测类型信息与其对应的标定类型信息进行匹配的过程,可以是:利用预设的损失函数,计算每一预测位置信息与其对应的标定位置信息之间的第一损失值,并计算每一预测类型信息与其对应的标定类型信息之间的第二损失值,判断该第一损失值是否小于第一预设损失阈值,且判断该第二损失值是否小于第二预设损失阈值;若判断该第一损失值小于第一预设损失阈值,且该第二损失值小于第二预设损失阈值,则确定该初始的语义特征检测模型收敛,即确定该初始的语义特征检测模型训练完成,得到预先建立的语义特征检测模型;若判断该第一损失值不小于第一预设损失阈值,和\或该第二损失值不小于第二预设损失阈值;则基于使得该第一损失值和第二损失值变小的原则,调整特征提取层和特征分类层的参数,进而,返回执行将多个样本图像,输入特征提取层,得到每一样本图像中每一样本特征对应的图像特征的步骤,直至判断该第一损失值小于第一预设损失阈值,且该第二损失值小于第二预设损失阈值,确定该初始的语义特征检测模型收敛,得到预先建立的语义特征检测模型。
在得到预先建立的语义特征检测模型之后,即可以利用该预先建立的语义特征检测模型,来实时检测图像中包含的视觉特征。
从另一角度而言,该神经网络模型如下:该网络结构采用Encoder-Decoder模型,主要包括两个部分:编码(Encoder)部分和解码(Decoder)部分。
本发明实施例中将拼接好的图像,即俯视拼接图输入至网络中,其中编码部分网络主要通过卷积和池化层提取图像的特征。网络通过有标记大规模样本的训练,调整网络参数使得编码网络准确的语义特征和非语义特征。编码网络通过两次卷积提取特征之后,通过池化进行下采样。通过级联四个两层卷积加一层池化的结构使得编码网络顶层的神经元的感受野能够覆盖本发明示例中的不同尺度的语义元素。
解码网络是与编码网络对称的结构,其中编码网络的池化层改为上采样层。在解码部分中经过四次上采样,将编码抽取的特征放大到原图尺寸,从而实现像素语义分类。上采样是通过反卷积实现的,这种操作能够得到输入数据的大部分信息,但仍会造成部分信息的丢失,因此我们引入了底层的特征来补充解码过程中丢失的细节。这些底层特征主要来自编码网络中不同尺度的卷积层,在同一个尺度上编码网络卷积层提取的特征正好可以与反卷积合并生成更准确度的特征图。网络训练主要采用交叉熵来来衡量网络的预测值与实际值的差异,交叉熵公式如下:
其中y为图像元素的标记值,即图像的一个像素是语义元素还是非语义元素,一般用1表示语义元素,0表示非语义元素;n为图像的像素总数,x为输入,a为神经元的输出a=σ(z),z=∑jwjxj+b,它可以克服网络权值更新过慢的问题。网络模型训练完成之后,在本发明示例实际使用时,网络针对输入图像的每一个像素都进行预测,输出每个像素对应的属性值为0或是1,标记为1的图像元素的连通块即为有意义的语义图像结构,至此实现了图像的语义分割。上述网络结构是针对拼接图像语义特征提取而专门设计的,保证语义特征提取的准确,属于本发明的发明点之一。此外,先对第一图像进行拼接,再从俯视拼接图中提取图像语义特征,而非逐张提取第一图像中的图像语义特征,可以提高图像语义特征的提取效率,也属于本发明的发明点之一。
电子设备可以使用经过训练的神经网络模型从俯视拼接图中识别出视觉特征,可以快速准确的从图像中提取出预设的视觉特征。
S104:从自动驾驶导航电子地图中识别出与视觉特征相匹配的目标特征;根据目标特征在自动驾驶导航电子地图中的位置以及视觉特征在俯视拼接图中的位置,确定目标虚拟车辆在虚拟泊车场景的当前位姿。
作为一种可选的实施方式,各个图像语义特征在自动驾驶导航电子地图中的位置可以使用基于该虚拟泊车场景的预设坐标系下的绝对坐标进行表示,具体的坐标值在建立该虚拟泊车场景时,即可确定。作为另一种可选的实施方式,各个图像语义特征在自动驾驶导航电子地图中的位置还可以使用相对坐标进行表示,即每个图像语义特征相对于预设的坐标原点的相对位置,该坐标原点可以根据需求进行设定。举例来说,在构建自动驾驶导航电子地图时,可以将停车场的入口设置为坐标原点,对于每个用于构建自动驾驶导航电子地图的图像语义特征,均测量该图像语义特征相对于停车场入口的相对位置。
本发明实施例中,对于自动驾驶导航电子地图中的某一个图像语义特征,当目标虚拟车辆途经该特征所在位置时,目标虚拟车辆的虚拟摄像头可能拍摄到包含该特征的第一图像。后续的,电子设备识别与俯视拼接图中的视觉特征相匹配的目标特征时,具体可以使用尺度不变特征变换(Scale-invariant feature transform,SIFT)、加速稳健特征((Speeded Up Robust Features,SURF)等图像匹配算法,从自动驾驶导航电子地图中识别出与俯视拼接图中的视觉特征相匹配的目标特征,具体的匹配算法本发明实施例不做限定。
本发明实施例中,目标虚拟车辆在当前时刻的位姿包括目标虚拟车辆在当前时刻的位置和姿态。可以理解的是,如果自动驾驶导航电子地图中各个图像语义特征的位置使用绝对坐标进行表示,那么目标虚拟车辆在当前时刻的位置也相应地使用绝对坐标进行表示;如果自动驾驶导航电子地图中各个图像语义特征的位置使用相对坐标进行标识,那么目标虚拟车辆在当前时刻的位置也相应地使用相对坐标进行表示。
对于自动驾驶导航电子地图中的某一目标特征,与之相匹配的视觉特征实际为该目标特征在虚拟摄像头成像平面(即拍摄得到的第一图像)上的投影,具体的投影位置根据虚拟摄像头拍摄到第一图像时目标虚拟车辆的位姿确定。鉴于此,可以根据目标特征在自动驾驶导航电子地图中的位置以及视觉特征在俯视拼接图中的位置,确定目标虚拟车辆在当前时刻的在虚拟泊车场景的位姿。一种情况中,根据从俯视拼接图中识别出的多个视觉特征以及每个视觉特征相匹配的目标特征在自动驾驶导航电子地图中的位置,可以计算出目标虚拟车辆在当前时刻的多个位姿,电子设备可以进一步根据目标虚拟车辆在当前时刻的多个位姿,计算出一个在当前时刻目标虚拟车辆最终的位姿。
S105:从所识别出的停车位中,确定目标虚拟车辆对应的目标停车位。
其中,从俯视拼接图中可以识别出一个或多个停车位,若从俯视拼接图中识别出一个停车位,可以直接将该所识别出的一个停车位作为目标虚拟车辆对应的目标车辆。若从俯视拼接图中识别出多个停车位,一种情况,可以随机从所识别出的多个停车位中,选择一个停车位作为目标虚拟车辆对应的目标停车位;另一种情况,为了方便泊车,可以基于当前位姿,从所识别出的停车位中,确定目标虚拟车辆对应的目标停车位。具体的,可以是:基于当前位姿,从所识别出的停车位中,确定出位于该目标虚拟车辆的行驶前方或后方的停车位,作为目标虚拟车辆对应的目标停车位。其中,上述位于该目标虚拟车辆的行驶前方或后方的停车位为相对而言的,该后方可以指所识别出的停车位中,最接近目标虚拟车辆的行驶后方,该前方可以指所识别出的停车位中,最接近目标虚拟车辆的行驶前方。其中,上述将位于该目标虚拟车辆的行驶前方或后方的停车位,作为目标虚拟车辆对应的目标停车位,仅作为一种示例,并不构成对本发明实施例的限定。还可以确定出目标虚拟车辆的行驶左侧或右侧的停车位,作为目标虚拟车辆对应的目标停车位,这也是可以的。
S106:基于当前位姿、目标停车位所在位置以及预设的泊车算法,控制目标虚拟车辆行驶至目标停车位。
其中,电子设备可以直接从自动驾驶导航电子地图中,获得目标停车位所在位置,即目标停车位在虚拟泊车场景中的空间位置。或者,可以通过目标虚拟车辆的当前位姿以及目标停车位在俯视拼接图中的位置,以及预先获得的目标停车位对应的深度信息,确定出目标停车位所在位置,即目标停车位在虚拟泊车场景中的空间位置,这都是可以的。
后续的,电子设备可以基于当前位姿、目标停车位所在位置以及预设的泊车算法,控制目标虚拟车辆行驶至目标停车位。在一种可选实现方式中,所述预设的泊车算法包括预设的泊车路径规划算法和预设的泊车控制算法;该S106,可以包括:
基于当前位姿、目标停车位所在位置以及预设的泊车路径规划算法,确定出目标虚拟车辆行驶至目标停车位的泊车路径;基于泊车路径以及预设的泊车控制算法,控制目标虚拟车辆行驶至目标停车位。
电子设备通过可以以当前位姿为目标虚拟车辆泊车过程的起始位置和姿态,以目标停车位所在位置为目标虚拟车辆泊车过程的终止位置,基于预设的泊车路径规划算法,确定得到目标虚拟车辆行驶至目标停车位的泊车路径。其中,上述预设的泊车路径规划算法为:待评估的泊车路径规划算法,该预设的泊车路径规划算法为用于规划目标虚拟车辆的泊车路径的算法,本发明实施例,并不对预设的泊车路径规划算法的具体类型进行限定,其可以是目前存在的任何一种用于规划目标虚拟车辆的泊车路径的算法。
进而,电子设备泊车路径以及预设的泊车控制算法,控制目标虚拟车辆行驶至目标停车位。其中,上述预设的泊车控制算法为:待评估的泊车控制算法,该预设的泊车控制算法为:用于根据泊车路径计算泊车控制数据,使得目标虚拟车辆按该泊车控制数据行驶至目标停车位的算法,本发明实施例,并不对预设的泊车控制算法的具体类型进行限定,其可以是目前存在的任何一种用于根据泊车路径计算泊车控制数据,以使得目标虚拟车辆按该泊车控制数据行驶至目标停车位的算法。
在一种实现方式中,电子设备可以根据泊车路径计算得到泊车控制数据,进而将该泊车控制数据输入仿真***中,仿真***将该泊车控制数据配置给目标虚拟车辆,使得目标虚拟车辆在仿真***中按该泊车控制数据行驶至目标停车位。其中,上述泊车控制数据包括如下数据中的至少一个:虚拟油门数据、虚拟刹车数据、虚拟车辆行驶方向数据、虚拟档位数据、车轮脉冲数据以及轮速数据。
在另一种实现方式中,电子设备可以首先获得在当前时刻的当前泊车控制数据以及地面信息,进而基于当前泊车控制数据、预设的视觉特征以及泊车路径,计算得到泊车控制数据,进而将该泊车控制数据输入仿真***中,仿真***将该泊车控制数据配置给目标虚拟车辆,使得目标虚拟车辆在仿真***中按该泊车控制数据行驶至目标停车位。其中,上述地面信息可以是:通过俯视拼接图所识别出的障碍物等信息。
应用本发明实施例,利用多个虚拟摄像头模拟摄像头的环视***,根据摄像头环视***拍摄虚拟泊车场景中该目标虚拟车辆四周的环境,结合自动驾驶导航电子地图,利用虚拟泊车场景中的特征在图像中的位置以及这些特征在地图中的位置,确定出目标虚拟车辆当前时刻的位姿,实现对基于车载环视***的泊车过程中车辆定位的仿真。进而,基于当前位姿确定出目标停车位,并基于当前位姿、目标停车位所在位置以及预设的泊车路径规划算法,确定出目标虚拟车辆行驶至目标停车位所需的泊车路径,基于泊车路径以及预设的泊车控制算法,控制目标虚拟车辆行驶至目标停车位,实现对基于车载环视***的泊车过程中泊车路径确定以及泊车的仿真。以实现通过仿真***,对基于车载环视***的泊车过程的仿真,为基于车载环视***的泊车过程的评估提供评估基础。
在本发明的另一实施例中,如图2所示,所述方法可以包括如下步骤:
S201:获得目标虚拟车辆针对虚拟泊车场景采集的多张第一图像。
其中,多张第一图像为:目标虚拟车辆的多个虚拟摄像头在当前时刻针对虚拟泊车场景的不同方向拍摄得到的图像。
S202:对多张第一图像进行拼接,得到俯视拼接图。
S203:从俯视拼接图中识别出预设的视觉特征。
其中,预设的视觉特征至少包括停车位。
S204:从自动驾驶导航电子地图中识别出与视觉特征相匹配的目标特征;根据目标特征在自动驾驶导航电子地图中的位置以及视觉特征在俯视拼接图中的位置,确定目标虚拟车辆在虚拟泊车场景的当前位姿。
S205:从所识别出的停车位中,确定目标虚拟车辆对应的目标停车位。
S206:基于当前位姿、目标停车位所在位置以及预设的泊车路径规划算法,确定出目标虚拟车辆行驶至目标停车位的泊车路径。
S207:基于泊车路径以及预设的泊车控制算法,控制目标虚拟车辆行驶至目标停车位。
S208:显示泊车路径,以供用户对预设的泊车路径规划算法进行评估。
S209:获得目标虚拟车辆行驶至目标停车位过程中所生成的泊车控制数据。
其中,泊车控制数据包括如下数据中的至少一个:虚拟油门数据、虚拟刹车数据、虚拟车辆行驶方向数据、虚拟档位数据、车轮脉冲数据以及轮速数据;
S210:显示泊车控制数据,以供用户对预设的泊车控制算法进行评估。
其中,该S201与图1中所示的S101相同,该S202与图1所示的S102相同,该S203与图1所示的S103相同,该S204与图1所示的S104相同,该S205与图1中所示的S105相同,该S206与S207为图1中所示的S106的一种实现方式,在此不再赘述。
本发明实施例中,在对基于车载环视***的泊车过程进行仿真之后,可以获得基于仿真过程中的生成的中间信息,进而基于该中间信息对基于车载环视***的泊车过程中的相关算法进行评估。其中,该中间信息可以包括基于所生成的泊车路径,以及控制目标虚拟车辆行驶至目标停车位过程中所生成的泊车控制数据,进而显示泊车路径及泊车控制数据,以供用户对预设的泊车路径规划算法进行评估,并对预设的泊车控制算法进行评估。
其中,用户可以查看该泊车路径,以查看该泊车路径是否会使得目标虚拟车辆碰撞到障碍物,如其他虚拟车辆、虚拟墙壁和虚拟灯杆等。用户可以查看泊车控制数据,以确定该目标虚拟车辆泊车过程中车速的波动是否过大,例如车辆的最大速度与最小速度之间的差值是否超过预设车速阈值,等等,这都是可以的。
在既显示泊车路径又显示泊车控制数据时,可以是在同一显示界面显示,也可以在不同显示界面显示,这都是可以的。
在另一种实现方式中,可以仅显示泊车路径,或仅显示泊车控制数据,这都是可以的。
在本发明的另一实施例中,在所述对多张第一图像进行拼接,得到俯视拼接图的步骤之后,所述方法还可以包括:获得场景摄像头在当前时刻针对目标虚拟车辆进行俯视拍摄的俯视拍摄图,其中,场景摄像头为:虚拟泊车场景设置的对目标虚拟车辆进行俯视拍摄的虚拟摄像头;基于俯视拍摄图以及俯视拼接图,对多个虚拟摄像头的安装位置进行评估。
在本发明的另一实施例中,所述从俯视拼接图中识别出预设的视觉特征的步骤,包括:利用预设的视觉特征识别算法,从俯视拼接图中识别出预设的视觉特征;
在所述从俯视拼接图中识别出预设的视觉特征的步骤之后,所述方法还可以包括:获得目标虚拟车辆在当前时刻在虚拟泊车场景的真实位姿;
基于真实位姿以及多个虚拟摄像头的视角范围,确定出目标虚拟车辆对应的场景视角范围;基于场景视角范围,从虚拟泊车场景中的场景视觉特征中,确定出场景视角范围内存在的场景视觉特征,作为目标场景视觉特征;基于所识别出的预设的视觉特征以及目标场景视觉特征,对预设的视觉特征识别算法进行评估。
在本发明的另一实施例中,在所述根据目标特征在自动驾驶导航电子地图中的位置以及视觉特征在俯视拼接图中的位置,确定目标虚拟车辆在虚拟泊车场景的当前位姿的步骤之后,所述方法还可以包括:
获得目标虚拟车辆在当前时刻在虚拟泊车场景的真实位姿;计算真实位姿与当前位姿之间的差异位姿;基于差异位姿,对当前位姿的可信度进行评估。
在一种实现方式中,虚拟泊车场景中可以预先设置有用于俯视拍摄的虚拟摄像头,可以称之为场景摄像头,在拼接得到俯视拼接图之后,可以获得场景摄像头在当前时刻针对目标虚拟车辆进行俯视拍摄时拍摄得到的俯视拍摄图,该俯视拍摄图中包含目标虚拟车辆在当前时刻所处位置周围的环境,该俯视拼接图理论上可以包含该目标虚拟车辆在当前时刻所处位置周围的环境,通过比较该俯视拍摄图所包含的内容和俯视拼接图所包含的内容,可以评估出该多个虚拟摄像头的安装位置是否可以采集得到包含目标虚拟车辆的周围的环境图像,在评估出该多个虚拟摄像头的安装位置可以采集得到包含目标虚拟车辆的周围的环境图像之后,还可以进一步评估用于拼接该多个第一图像的拼接规则是否合适。
在一种实现方式中,仿真***可以实时提供目标虚拟车辆在虚拟泊车场景中的位姿,电子设备可以获得目标虚拟车辆在当前时刻在虚拟泊车场景的真实位姿,并且可以获得目标虚拟车辆的多个虚拟摄像头中每一虚拟摄像头的视角范围,进而,电子设备可以基于目标虚拟车辆的真实位姿和每一视角范围,可以确定出目标虚拟车辆的多个虚拟摄像头在当前时刻所能采集到的场景的视角范围,即该目标虚拟车辆对应的场景视角范围;进而,电子设备可以从该虚拟泊车场景中的场景视觉特征中,确定出该场景视角范围内存在的场景视觉特征,作为目标场景视觉特征;将每一预设的视觉特征与每一目标场景视觉特征进行对比,当每一预设的视觉特征与每一目标场景视觉特征均一一匹配成功,则确定该预设的视觉特征识别算法所确定的结果精确性高;当预设的视觉特征中存在不属于目标场景视觉特征中的特征时,确定出现错检的情况,该预设的视觉特征识别算法所确定的结果准确性不高;当预设的视觉特征少于目标场景视觉特征,则可以确定出现漏检的情况,该预设的视觉特征识别算法所确定的结果准确性不高。其中,该目标场景视觉特征中可以包括:虚拟泊车场景中的交通标识、停车位、车道、减速带和人行道等。
在一种实现方式中,仿真***可以实时提供目标虚拟车辆在虚拟泊车场景中的位姿,电子设备可以获得目标虚拟车辆在当前时刻在虚拟泊车场景的真实位姿,并将真实位姿与确定得到的当前位姿进行对比,计算得到真实位姿与当前位姿之间的差异位姿,进而对该当前位姿的可信度进行评估,其中,当真实位姿与当前位姿之间的差异越大,即该差异位姿越大,该当前位姿的可信度越大,进而确定该相应的定位算法所得结果的精确度不高。
在本发明的另一实施例中,在S101之前,所述方法还可以包括:
基于用户触发的场景构建操作,构建得到虚拟泊车场景;
基于用户触发的车辆构建操作,构建得到目标虚拟车辆。
本实施例中,为了更好的提高用户的使用体验,提供了标准化的虚拟泊车场景的构建工具,可以由用户自定义泊车地图,并提供了基于车载环视***的泊车过程,可能用到的虚拟传感器,例如:用于采集图像的虚拟摄像头,包括鱼眼摄像头和针孔相机等;用于采集距离信息、位移信息以及行驶速度信息的虚拟超声波器件、IMU以及轮速计,并提供自定义虚拟传感器的参数功能;提供了虚拟车辆的控制接口,例如:控制油门的数据的控制接口、控制刹车的数据的控制接口、控制虚拟车辆行驶方向的控制接口、控制档位的数据的控制接口等。
本实施例中,通过所提供的上述功能,电子设备可以通过用户的相应操作,构建得到虚拟泊车场景以及目标虚拟车辆。实现由用户自定义虚拟泊车场景,并自定义目标虚拟车辆。
在本发明的另一实施例中,所述基于用户触发的场景构建操作,构建得到虚拟泊车场景的步骤,通过以下两种实现方式中的任一种实现方式实现:
第一种实现方式:
基于用户触发的第一场景构建操作,输出展示有多个预设虚拟泊车场景的模型的场景标识的第一展示界面;
其中,该场景标识可以是数字或字母,或可以表征预设虚拟泊车场景模型的场景特征的文字,或可以是该预设的虚拟泊车场景模型的缩略图,这都是可以的。
在检测到用户选中操作后,基于选中操作携带的所选中虚拟泊车场景的模型的场景标识,构建得到选中操作携带的场景标识对应的虚拟泊车场景;
第二种实现方式:
基于用户触发的第二场景构建操作,输出初始虚拟泊车场景,并输出展示有多个用于构建初始虚拟泊车场景所需的场景构建模型的第二展示界面,其中,该场景构建模型至少包括如下模型中的至少一种:车道线模型、停车位模型、减速带模型、斑马线模型、箭头模型、数字模型、地砖模型以及交通指示牌模型;
基于用户对各场景构建模型的选中操作以及调整操作,在初始虚拟泊车场景中显示被用户选中及调整后的场景构建模型,以构建得到虚拟泊车场景。
一种实现方式中,仿真***中可以预存有多个预设的虚拟泊车场景的模型,电子设备在检测到用户触发的第一场景构建操作之后,可以输出展示有多个预设虚拟泊车场景的模型的场景标识的第一展示界面,用户可以根据自身需求,从所展示的选择一个预设虚拟泊车场景的模型,即用户通过鼠标或触控笔或手指选中一个预设虚拟泊车场景的模型的场景标识,电子设备在检测到用户选中操作后,基于选中操作携带的所选中虚拟泊车场景的模型的场景标识,在仿真***中构建得到选中操作携带的场景标识对应的虚拟泊车场景。其中,上述构建得到选中操作携带的场景标识对应的虚拟泊车场景可以表示为:基于该所选中虚拟泊车场景的模型,渲染出该虚拟泊车场景,其中,该虚拟泊车场景为三维场景。
在另一种实现方式中,仿真***中可以预存有多个用于构建初始虚拟泊车场景所需的场景构建模型,其中,该场景构建模型包括但不限于以下模型中的至少一个:车道线模型、停车位模型、减速带模型、斑马线模型、箭头模型、数字模型、地砖模型以及交通指示牌模型。电子设备在检测到用户触发的第二场景构建操作后,基于用户触发的第二场景构建操作,输出初始虚拟泊车场景,并输出展示有多个用于构建初始虚拟泊车场景所需的场景构建模型的第二展示界面;用户可以根据自身需求,从多个场景构建模型,选择所需的场景构建模型,并设置于初始虚拟泊车场景内,以构建得到虚拟泊车场景。电子设备检测到用户对各场景构建模型的选中操作之后,基于该选中操作将各选中的场景构建模型,设置于初始虚拟泊车场景内,并且,在检测到用户对各选中的场景构建模型的调整操作之后,调整初始虚拟泊车场景内的各选中的场景构建模型,如调整各选中的场景构建模型的位置以及大小,以在仿真***中构建得到虚拟泊车场景。
在本发明的另一实施例中,所述基于用户触发的车辆构建操作,构建得到目标虚拟车辆的步骤,通过以下两种实现方式中的任一种实现方式实现:
第一种实现方式:
基于用户触发的第一车辆构建操作,输出展示有多个预设虚拟车辆的模型的车辆标识的第三展示界面,其中,每一预设虚拟车辆至少对应有多个虚拟摄像头;
其中,该车辆标识可以是数字或字母,或可以表征预设虚拟车辆的型号,或可以是该预设虚拟车辆的缩略图,这都是可以的。
基于用户针对目标虚拟车辆的模型的车辆标识的选中操作,构建得到目标虚拟车辆;
第二种实现方式:
基于用户触发的第二场景构建操作,输出初始虚拟车辆,并输出展示有多个用于配置初始虚拟车辆对应的虚拟传感器的参数的配置界面,其中,所初始虚拟车辆对应的虚拟传感器至少包括多个虚拟摄像头;
基于用户对初始虚拟车辆对应的虚拟传感器的参数的配置操作,构建得到目标虚拟车辆,其中,配置操作携带:用户针对虚拟传感器的参数所配置的参数值。
一种实现方式中,仿真***中可以预存有多个预设虚拟车辆的模型,电子设备在在检测到用户触发的第一车辆构建操作之后,输出展示有多个预设虚拟车辆的模型的车辆标识的第三展示界面,用户可以据自身需求,从所展示的选择一个预设虚拟车辆的模型,即用户通过鼠标或触控笔或手指选中一个预设虚拟车辆的模型的车辆标识,电子设备在检测到用户针对目标虚拟车辆的模型的车辆标识的选中操作,构建得到目标虚拟车辆,上述构建得到目标虚拟车辆可以指:在虚拟泊车场景中渲染出该目标虚拟车辆。其中,该目标虚拟车辆为三维的虚拟车辆。该目标虚拟车辆中可以设置有多个虚拟传感器,例如:用于采集图像的多个虚拟摄像头,包括鱼眼摄像头和针孔相机等;用于采集距离信息、位移信息以及行驶速度信息的虚拟超声波器件、IMU以及轮速计等。该多个虚拟摄像头可以分别设置于该目标虚拟车辆的前后左右方向上,以使得该多个虚拟摄像头可以针对目标虚拟车辆所处位置的四周采集图像。其中,该目标虚拟车辆中设置有的多个虚拟传感器的参数,已参照该目标虚拟车辆对应的真实车辆的传感器的参数,预先设定完成的。
在另一种实现方式中,为了更好的满足用户的需求,电子设备在检测到用户触发的第二车辆构建操作,基于用户触发的第二车辆构建操作,输出初始虚拟车辆,并输出展示有多个用于配置初始虚拟车辆对应的虚拟传感器的参数的配置界面,此时,用户在该配置界面可以对初始虚拟车辆对应的虚拟传感器的参数进行配置。例如:设置虚拟摄像头的姿态,设置IMU传感器的采集频率等。进而,电子设备检测到用户对初始虚拟车辆对应的虚拟传感器的参数的配置操作之后,基于该配置操作中所携带的用户针对虚拟传感器的参数所配置的参数值,构建得到目标虚拟车辆。
如图3所示,为所构建的一种虚拟泊车场景的示意图,如图3所示,该虚拟泊车场景中包括目标虚拟车辆,以及通过停车位模型构建的停车位、通过车辆模型构建的障碍物如静止的车辆,通过地砖模型构建的地砖,通过斑马线模型构建的斑马线等。
在本发明的另一实施例中,所述根据目标特征在自动驾驶导航电子地图中的位置、视觉特征在俯视拼接图中的位置,确定目标虚拟车辆在目标虚拟泊车场景的当前位姿的步骤,可以包括:
根据估计位姿的取值以及视觉特征在俯视拼接图中的位置,计算视觉特征映射至自动驾驶导航电子地图中的映射位置;
计算映射位置与目标特征在自动驾驶导航电子地图中的实际位置之间的第一误差;
判断第一误差是否小于指定阈值;
当第一误差大于或等于指定阈值时,调整估计位姿的取值,并执行所述根据估计位姿的取值以及视觉特征在俯视拼接图中的位置,计算视觉特征映射至自动驾驶导航电子地图中的映射位置;
当第一误差小于指定阈值时,根据估计位姿的当前取值确定目标虚拟车辆在目标虚拟泊车场景的当前位姿。
本发明实施例中,当电子设备首次计算视觉特征的映射位置时,可以先获得当前时刻的估计位姿的初值,其中,该估计位姿的初值可以为:电子设备基于当前时刻的前一时刻的位姿,和目标虚拟车辆的IMU和/或轮速计采集的数据预估得到的;或者为使用任意的取值作为估计位姿的初值。
其中,电子设备获得上述估计位姿的初值之后,可以根据目标特征在自动驾驶导航电子地图中的位置、视觉特征在目标图像中的位置确定车辆在当前时刻的位姿,具体地可以使用预估位姿的取值作为车辆在i时刻的位姿信息Pi的初值,并不断迭代调整Pi的取值,直至视觉特征在地图中的映射位置与目标特征的实际位置之间的误差最小,并将误差最小时Pi的取值确定为车辆在当前时刻的位姿。
在一种实现方式中,电子设备获得上述估计位姿的初值之后,可以根据估计位姿的取值以及前一时刻目标虚拟车辆的位姿,确定得到目标虚拟车辆当前时刻与前一时刻的之间的位姿变化;获得视觉特征在前一时刻对应的俯视拼接图中的位置,利用三角化算法,基于目标虚拟车辆当前时刻与前一时刻的之间的位姿变化、视觉特征在前一时刻对应的俯视拼接图中的位置以及视觉特征在当前时刻对应的俯视拼接图中的位置,确定得到视觉特征的深度信息。其中,该深度信息表征视觉特征与虚拟摄像头之间的距离信息,也可以认为为视觉特征与目标虚拟车辆之间的距离信息:进而电子设备基于估计位姿的取值、视觉特征在俯视拼接图中的位置以及视觉特征的深度信息,计算视觉特征映射至自动驾驶导航电子地图中的映射位置。
或者,可以是:目标虚拟车辆设置有激光传感器,通过该激光传感器可以采集得到视觉特征的深度信息,电子设备获得该激光传感器采集得到的视觉特征的深度信息,基于估计位姿的取值、视觉特征在俯视拼接图中的位置以及视觉特征的深度信息,计算视觉特征映射至自动驾驶导航电子地图中的映射位置。
上述基于估计位姿的取值、视觉特征在俯视拼接图中的位置以及视觉特征的深度信息,计算视觉特征映射至自动驾驶导航电子地图中的映射位置的过程,可以是:基于视觉特征在俯视拼接图中的位置、该视觉特征的深度信息以及图像坐标系与该当前时刻对应的俯视拼接图对应的设备坐标系之间的第一转换关系,确定视觉特征在当前时刻对应的俯视拼接图对应的设备坐标系下的第一设备位置,进而,基于该估计位姿的取值以及第一设备位置,确定得到视觉特征映射至自动驾驶导航电子地图中的映射位置。其中,第一转换关系为预先设置的转换关系。
计算映射位置与目标特征在自动驾驶导航电子地图中的实际位置之间的第一误差;判断第一误差是否小于指定阈值;当第一误差大于或等于指定阈值时,认为该误差较大,基于使得该第一误差减小的原则,调整估计位姿的取值,并返回执行所述根据估计位姿的取值以及视觉特征在俯视拼接图中的位置,计算视觉特征映射至自动驾驶导航电子地图中的映射位置的步骤;当第一误差小于所述指定阈值时,可以认为该误差是可以被接受的,此时定位的精度较高。根据估计位姿的当前取值确定目标虚拟车辆在目标虚拟泊车场景的当前位姿。
在本发明的另一实施例中,所述根据目标特征在自动驾驶导航电子地图中的位置、视觉特征在俯视拼接图中的位置,确定目标虚拟车辆在目标虚拟泊车场景的当前位姿的步骤,可以包括:
根据估计位姿的取值以及目标特征在自动驾驶导航电子地图中的位置,计算目标特征投影至俯视拼接图中的投影位置;
计算目标特征的投影位置与视觉特征在俯视拼接图中的实际位置之间的第二误差;
判断第二误差是否小于指定阈值;
当第二误差大于或等于指定阈值时,调整估计位姿的取值,并执行所述根据估计位姿的取值以及目标特征在自动驾驶导航电子地图中的位置,计算目标特征投影至俯视拼接图中的投影位置;
当第二误差小于指定阈值时,根据估计位姿的当前取值确定目标虚拟车辆在目标虚拟泊车场景的当前位姿。
同理的,在根据估计位姿的取值以及目标特征在自动驾驶导航电子地图中的位置,计算目标特征投影至俯视拼接图中的投影位置的过程中,可以首先获得目标特征与目标虚拟车辆或虚拟摄像头之间的距离信息,即深度信息;基于估计位姿的取值以及目标特征在自动驾驶导航电子地图中的位置,确定得到目标特征在该当前时刻对应的俯视拼接图对应的设备坐标系下的第二设备位置;进而基于第二设备位置、所获得的目标特征与目标虚拟车辆或虚拟摄像头的深度信息,以及上述的第一转换关系,计算得到目标特征投影至俯视拼接图中的投影位置。其中,上述目标特征与目标虚拟车辆或虚拟摄像头的深度信息的获得方式参照上述视觉特征的深度信息的获得方式,不再赘述。
一种实现方式中,上述的步骤具体可以表述为以下的数学模型:
Pi=argmin(||Xij-f(Pi,Aj)||);
其中,Pi为i时刻目标虚拟车辆的位姿,Aj为第j个目标特征在自动驾驶电子导航地图中的位置,Xij为与上述的第j个目标特征相匹配的视觉特征在俯视拼接图中的位置,f(,)为投影方程,用于将Aj投影到Pi的成像平面,使其投影结果成为和Xij一样形式的表达,从而能得到估计位姿的当前取值映射的观测和实际观测的误差,通过非线性优化的方式优化虚拟摄像头位姿(即目标虚拟车辆位姿)和观测来迭代地降低误差,以求得最大似然的位姿。也就是说,在本发明实施例中,还可以使用通过前一时刻的目标虚拟车辆的位姿以及目标虚拟车辆的IMU和/或轮速计采集的数据,预估得到的预估位姿的取值,作为目标虚拟车辆在i时刻的位姿Pi的初值,并不断迭代调整Pi的取值,直至目标特征在俯视拼接图中的投影位置与视觉特征的实际位置之间的误差最小,并将误差最小时Pi的取值,确定为目标虚拟车辆在当前时刻的位姿。结合上述的数据模型可以看出,本发明实施例在确定出目标虚拟车辆的定位的位姿的估计范围之后,进一步采用数值优化的算法确定出精度较高的目标虚拟车辆定位的位姿,也属于本发明的发明点之一。
在本发明的另一实施例中,在所述根据估计位姿的取值以及视觉特征在俯视拼接图中的位置,计算视觉特征映射至自动驾驶导航电子地图中的映射位置的步骤之前,所述方法还可以包括:
以目标虚拟车辆在上一时刻的位姿为基准,结合运动模型计算虚拟车辆在当前时刻的预估位姿,并执行所述根据估计位姿的取值以及视觉特征在俯视拼接图中的位置,计算视觉特征映射至自动驾驶导航电子地图中的映射位置的步骤;上一时刻为:在时间上在当前时刻之前的相邻的时刻,运动模型由目标虚拟车辆的惯性测量单元和/或轮速计采集的数据确定得到;
以及,所述根据估计位姿的取值以及视觉特征在俯视拼接图中的位置,计算视觉特征映射至自动驾驶导航电子地图中的映射位置的步骤,可以包括:
以预估位姿的取值作为估计位姿的初值;
根据估计位姿的当前取值以及视觉特征在俯视拼接图中的位置,计算视觉特征映射至自动驾驶导航电子地图中的映射位置;
以及,所述根据估计位姿的取值以及目标特征在自动驾驶导航电子地图中的位置,计算目标特征投影至俯视拼接图中的投影位置的步骤,可以包括:
以预估位姿的取值作为估计位姿的初值;
根据估计位姿的当前取值以及目标特征在自动驾驶导航电子地图中的位置,计算目标特征投影至俯视拼接图中的投影位置。
本发明实施例中,电子设备可以根据一定的频率定时计算目标虚拟车辆的位姿,上述的运动模型可以由目标虚拟车辆的IMU和/或轮速计采集的数据确定得到。六轴IMU可以测量目标虚拟车辆的三轴加速度和角速率,轮速计可以测量车辆的车轮转速;根据目标虚拟车辆上一时刻的位姿,利用IMU和/或轮速计的测量数据对时间进行积分,可以计算出目标虚拟车辆在当前时刻在虚拟泊车场景中的预估位姿。实施上述的实施方式,本发明构建了一个基于IMU所采集数据和/或论速计所采集数据的运动模型。与匀速模型(即相邻两个时刻车辆的相对运动速度相同)相比,该运动模型的精度高于匀速模型的精度,可以更好地表征车辆实际的运动情况。然而,由于积分的误差会随着时间的增加而逐渐积累为了进一步提高最终的目标虚拟车辆定位的位姿的精度,本发明可以根据由上述的运动模型计算出的预估位姿确定出目标虚拟车辆定位的位姿的估计范围,从而在该范围内进一步确定出精度较高的定位的位姿。这也属于本发明的发明点之一。
可见,电子设备获得视觉特征之后,还可以根据惯性测量单元和/或轮速计的测量数据建立运动模型,结合运动模型计算出车辆当前时刻的预估位姿,并将预估位姿的取值作为估计位姿的初值,通过不断迭代调整估计位姿的取值,最终确定出精度较高的车辆定位位姿。
相应于上述方法实施例,本发明实施例提供了一种基于车载环视***的泊车仿真装置,如图4所示,包括:第一获得模块410,被配置为获得目标虚拟车辆针对虚拟泊车场景采集的多张第一图像,其中,所述多张第一图像为:所述目标虚拟车辆的多个虚拟摄像头在当前时刻针对所述虚拟泊车场景的不同方向拍摄得到的图像;拼接模块420,被配置为对所述多张第一图像进行拼接,得到俯视拼接图;识别模块430,被配置为从所述俯视拼接图中识别出预设的视觉特征,其中,所述预设的视觉特征至少包括停车位;识别确定模块440,被配置为从自动驾驶导航电子地图中识别出与所述视觉特征相匹配的目标特征;根据所述目标特征在所述自动驾驶导航电子地图中的位置以及所述视觉特征在所述俯视拼接图中的位置,确定所述目标虚拟车辆在所述虚拟泊车场景的当前位姿;第一确定模块450,被配置为从所识别出的停车位中,确定所述目标虚拟车辆对应的目标停车位;控制模块460,被配置为基于所述当前位姿、所述目标停车位所在位置以及预设的泊车算法,控制所述目标虚拟车辆行驶至所述目标停车位。
应用本发明实施例,利用多个虚拟摄像头模拟摄像头的环视***,根据摄像头环视***拍摄虚拟泊车场景中该目标虚拟车辆四周的环境,结合自动驾驶导航电子地图,利用虚拟泊车场景中的特征在图像中的位置以及这些特征在地图中的位置,确定出目标虚拟车辆当前时刻的位姿,实现对基于车载环视***的泊车过程中车辆定位的仿真。进而,确定出目标停车位,并基于当前位姿、目标停车位所在位置以及预设的泊车算法,控制目标虚拟车辆行驶至目标停车位,实现对基于车载环视***的泊车过程中泊车路径确定以及泊车的仿真。以实现通过仿真***,对基于车载环视***的泊车过程的仿真,为基于车载环视***的泊车过程的评估提供评估基础。
在本发明的另一实施例中,所述预设的泊车算法包括预设的泊车路径规划算法和预设的泊车控制算法;
所述控制模块460,被具体配置为:基于所述当前位姿、所述目标停车位所在位置以及所述预设的泊车路径规划算法,确定出所述目标虚拟车辆行驶至所述目标停车位的泊车路径;基于所述泊车路径以及所述预设的泊车控制算法,控制所述目标虚拟车辆行驶至所述目标停车位。
在本发明的另一实施例中,所述装置还包括:第一显示模块,被配置为在所述基于所述泊车路径以及所述预设的泊车控制算法,控制所述目标虚拟车辆行驶至所述目标停车位之后,显示所述泊车路径,以供用户对所述预设的泊车路径规划算法进行评估;和/或,第二获得模块,被配置为获得所述目标虚拟车辆行驶至所述目标停车位过程中所生成的泊车控制数据,其中,所述泊车控制数据包括如下数据中的至少一个:虚拟油门数据、虚拟刹车数据、虚拟车辆行驶方向数据、虚拟档位数据、车轮脉冲数据以及轮速数据;第二显示模块,被配置为显示所述泊车控制数据,以供用户对所述预设的泊车控制算法进行评估。
在本发明的另一实施例中,所述装置还包括:
第三获得模块,被配置为在所述对所述多张第一图像进行拼接,得到俯视拼接图之后,获得场景摄像头在所述当前时刻针对所述目标虚拟车辆进行俯视拍摄的俯视拍摄图,其中,所述场景摄像头为:所述虚拟泊车场景设置的对所述目标虚拟车辆进行俯视拍摄的虚拟摄像头;第一评估模块,被配置为基于所述俯视拍摄图以及所述俯视拼接图,对所述多个虚拟摄像头的安装位置进行评估。
在本发明的另一实施例中,所述识别模块,被具体配置为利用预设的视觉特征识别算法,从所述俯视拼接图中识别出预设的视觉特征;
所述装置还包括:第四获得模块,被配置为在所述从所述俯视拼接图中识别出预设的视觉特征之后,获得所述目标虚拟车辆在当前时刻在所述虚拟泊车场景的真实位姿;第二确定模块,被配置为基于所述真实位姿以及所述多个虚拟摄像头的视角范围,确定出所述目标虚拟车辆对应的场景视角范围;第三确定模块,被配置为基于所述场景视角范围,从所述虚拟泊车场景中的场景视觉特征中,确定出所述场景视角范围内存在的场景视觉特征,作为目标场景视觉特征;第二评估模块,被配置为基于所识别出的预设的视觉特征以及所述目标场景视觉特征,对所述预设的视觉特征识别算法进行评估。
在本发明的另一实施例中,所述装置还包括:第五获得模块,被配置为在所述根据所述目标特征在所述自动驾驶导航电子地图中的位置以及所述视觉特征在所述俯视拼接图中的位置,确定所述目标虚拟车辆在所述虚拟泊车场景的当前位姿之后,获得所述目标虚拟车辆在当前时刻在所述虚拟泊车场景的真实位姿;计算模块,被配置为计算所述真实位姿与所述当前位姿之间的差异位姿;第三评估模块,被配置为基于所述差异位姿,对所述当前位姿的可信度进行评估。
在本发明的另一实施例中,所述装置还包括:
第一构建模块,被配置为在所述获得目标虚拟车辆针对虚拟泊车场景采集的多张第一图像之前,基于用户触发的场景构建操作,构建得到所述虚拟泊车场景;第二构建模块,被配置为基于所述用户触发的车辆构建操作,构建得到所述目标虚拟车辆。
在本发明的另一实施例中,所述第一构建模块,被具体配置为:基于用户触发的第一场景构建操作,输出展示有多个预设虚拟泊车场景的模型的场景标识的第一展示界面;在检测到所述用户选中操作后,基于所述选中操作携带的所选中虚拟泊车场景的模型的场景标识,构建得到所述选中操作携带的场景标识对应的虚拟泊车场景;或,被具体配置为:基于用户触发的第二场景构建操作,输出初始虚拟泊车场景,并输出展示有多个用于构建初始虚拟泊车场景所需的场景构建模型的第二展示界面,其中,所述场景构建模型至少包括如下模型中的至少一种:车道线模型、停车位模型、减速带模型、斑马线模型、箭头模型、数字模型、地砖模型以及交通指示牌模型;基于所述用户对各所述场景构建模型的选中操作以及调整操作,在所述初始虚拟泊车场景中显示被用户选中及调整后的场景构建模型,以构建得到所述虚拟泊车场景;
所述第二构建模块,被具体配置为:基于所述用户触发的第一车辆构建操作,输出展示有多个预设虚拟车辆的模型的车辆标识的第三展示界面,其中,每一预设虚拟车辆至少对应有多个虚拟摄像头;基于所述用户针对目标虚拟车辆的模型的车辆标识的选中操作,构建得到所述目标虚拟车辆;或,被具体配置为:基于用户触发的第二场景构建操作,输出初始虚拟车辆,并输出展示有多个用于配置所述初始虚拟车辆对应的虚拟传感器的参数的配置界面,其中,所述初始虚拟车辆对应的虚拟传感器至少包括多个虚拟摄像头;基于所述用户对所述初始虚拟车辆对应的虚拟传感器的参数的配置操作,构建得到所述目标虚拟车辆,其中,所述配置操作携带:用户针对所述虚拟传感器的参数所配置的参数值。
在本发明的另一实施例中,所述识别确定模块440包括:
第一计算单元,被配置为根据估计位姿的取值以及所述视觉特征在所述俯视拼接图中的位置,计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置;第二计算单元,被配置为计算所述映射位置与所述目标特征在所述自动驾驶导航电子地图中的实际位置之间的第一误差;第一判断单元,被配置为被配置为判断所述第一误差是否小于指定阈值;第一调整单元,被配置为当所述第一误差大于或等于所述指定阈值时,调整所述估计位姿的取值,并触发所述第一计算单元;第一确定单元,被配置为当所述第一误差小于所述指定阈值时,根据所述估计位姿的当前取值确定所述目标虚拟车辆在所述目标虚拟泊车场景的当前位姿;
或者,所述识别确定模块440包括:第三计算单元,被配置为根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置,计算所述目标特征投影至所述俯视拼接图中的投影位置;第四计算单元,被配置为计算所述目标特征的所述投影位置与所述视觉特征在所述俯视拼接图中的实际位置之间的第二误差;第二判断单元,被配置为判断所述第二误差是否小于指定阈值;第二调整单元,被配置为当所述第二误差大于或等于所述指定阈值时,调整所述估计位姿的取值,并触发所述第三计算单元;第二确定单元,被配置为当所述第二误差小于所述指定阈值时,根据所述估计位姿的当前取值确定所述目标虚拟车辆在所述目标虚拟泊车场景的当前位姿。
在本发明的另一实施例中,所述识别确定模块440还包括:
第五计算单元,被配置为在所述根据估计位姿的取值以及所述视觉特征在所述俯视拼接图中的位置,计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置之前,以所述目标虚拟车辆在上一时刻的位姿为基准,结合运动模型计算所述虚拟车辆在所述当前时刻的预估位姿,并触发所述第一计算单元;所述上一时刻为:在时间上在所述当前时刻之前的相邻的时刻,所述运动模型由所述目标虚拟车辆的惯性测量单元和/或轮速计采集的数据确定得到;
以及,所述第一计算单元,被具体配置为:以所述预估位姿的取值作为所述估计位姿的初值;根据估计位姿的当前取值以及所述视觉特征在所述俯视拼接图中的位置,计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置;
以及,所述第三计算单元,被具体配置为:以所述预估位姿的取值作为所述估计位姿的初值;根据估计位姿的当前取值以及所述目标特征在所述自动驾驶导航电子地图中的位置,计算所述目标特征投影至所述俯视拼接图中的投影位置。
上述装置实施例与方法实施例相对应,与该方法实施例具有同样的技术效果,具体说明参见方法实施例。装置实施例是基于方法实施例得到的,具体的说明可以参见方法实施例部分,此处不再赘述。
本领域普通技术人员可以理解:附图只是一个实施例的示意图,附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解:实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中,也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。
Claims (9)
1.一种基于车载环视***的泊车仿真方法,其特征在于,包括:
获得目标虚拟车辆针对虚拟泊车场景采集的多张第一图像,其中,所述多张第一图像为:所述目标虚拟车辆的多个虚拟摄像头在当前时刻针对所述虚拟泊车场景的不同方向拍摄得到的图像;
对所述多张第一图像进行拼接,得到俯视拼接图;
从所述俯视拼接图中识别出预设的视觉特征,其中,所述预设的视觉特征至少包括停车位;
基于图像匹配算法,从自动驾驶导航电子地图中识别出与所述视觉特征相匹配的目标特征;根据所述目标特征在所述自动驾驶导航电子地图中的位置以及所述视觉特征在所述俯视拼接图中的位置,确定所述目标虚拟车辆在所述虚拟泊车场景的当前位姿;
从所识别出的停车位中,确定所述目标虚拟车辆对应的目标停车位;
基于所述当前位姿、所述目标停车位所在位置以及预设的泊车算法,控制所述目标虚拟车辆行驶至所述目标停车位;
所述根据所述目标特征在所述自动驾驶导航电子地图中的位置、所述视觉特征在所述俯视拼接图中的位置,确定所述目标虚拟车辆在所述目标虚拟泊车场景的当前位姿的步骤,包括:
根据估计位姿的取值以及所述视觉特征在所述俯视拼接图中的位置,计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置,其中,所述估计位姿的初值为:使用任意的取值作为所述估计位姿的初值;
计算所述映射位置与所述目标特征在所述自动驾驶导航电子地图中的实际位置之间的第一误差;
判断所述第一误差是否小于指定阈值;
当所述第一误差大于或等于所述指定阈值时,调整所述估计位姿的取值,并执行所述根据估计位姿的取值以及所述视觉特征在所述俯视拼接图中的位置,计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置;
当所述第一误差小于所述指定阈值时,根据所述估计位姿的当前取值确定所述目标虚拟车辆在所述目标虚拟泊车场景的当前位姿;
或者,所述根据所述目标特征在所述自动驾驶导航电子地图中的位置、所述视觉特征在所述俯视拼接图中的位置,确定所述目标虚拟车辆在所述目标虚拟泊车场景的当前位姿的步骤,包括:
根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置,计算所述目标特征投影至所述俯视拼接图中的投影位置,其中,所述估计位姿的初值为:基于当前时刻的前一时刻的位姿,和所述目标虚拟车辆的IMU和/或轮速计采集的数据预估得到的数值作为所述估计位姿的初值;或者为使用任意的取值作为所述估计位姿的初值;
计算所述目标特征的所述投影位置与所述视觉特征在所述俯视拼接图中的实际位置之间的第二误差;
判断所述第二误差是否小于指定阈值;
当所述第二误差大于或等于所述指定阈值时,调整所述估计位姿的取值,并执行所述根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置,计算所述目标特征投影至所述俯视拼接图中的投影位置;
当所述第二误差小于所述指定阈值时,根据所述估计位姿的当前取值确定所述目标虚拟车辆在所述目标虚拟泊车场景的当前位姿。
2.如权利要求1所述的方法,其特征在于,所述预设的泊车算法包括预设的泊车路径规划算法和预设的泊车控制算法;
所述基于所述当前位姿、所述目标停车位所在位置以及预设的泊车算法,控制所述目标虚拟车辆行驶至所述目标停车位的步骤,包括:
基于所述当前位姿、所述目标停车位所在位置以及所述预设的泊车路径规划算法,确定出所述目标虚拟车辆行驶至所述目标停车位的泊车路径;
基于所述泊车路径以及所述预设的泊车控制算法,控制所述目标虚拟车辆行驶至所述目标停车位。
3.如权利要求2所述的方法,其特征在于,在所述基于所述泊车路径以及所述预设的泊车控制算法,控制所述目标虚拟车辆行驶至所述目标停车位的步骤之后,所述方法还包括:
显示所述泊车路径,以供用户对所述预设的泊车路径规划算法进行评估;和/或,
获得所述目标虚拟车辆行驶至所述目标停车位过程中所生成的泊车控制数据,其中,所述泊车控制数据包括如下数据中的至少一个:虚拟油门数据、虚拟刹车数据、虚拟车辆行驶方向数据、虚拟档位数据、车轮脉冲数据以及轮速数据;
显示所述泊车控制数据,以供用户对所述预设的泊车控制算法进行评估。
4.如权利要求1所述的方法,其特征在于,在所述对所述多张第一图像进行拼接,得到俯视拼接图的步骤之后,所述方法还包括:
获得场景摄像头在所述当前时刻针对所述目标虚拟车辆进行俯视拍摄的俯视拍摄图,其中,所述场景摄像头为:所述虚拟泊车场景设置的对所述目标虚拟车辆进行俯视拍摄的虚拟摄像头;基于所述俯视拍摄图以及所述俯视拼接图,对所述多个虚拟摄像头的安装位置进行评估;
和\或所述从所述俯视拼接图中识别出预设的视觉特征的步骤,包括:
利用预设的视觉特征识别算法,从所述俯视拼接图中识别出预设的视觉特征;并在所述从所述俯视拼接图中识别出预设的视觉特征的步骤之后,所述方法还包括:
获得所述目标虚拟车辆在当前时刻在所述虚拟泊车场景的真实位姿;基于所述真实位姿以及所述多个虚拟摄像头的视角范围,确定出所述目标虚拟车辆对应的场景视角范围;基于所述场景视角范围,从所述虚拟泊车场景中的场景视觉特征中,确定出所述场景视角范围内存在的场景视觉特征,作为目标场景视觉特征;基于所识别出的预设的视觉特征以及所述目标场景视觉特征,对所述预设的视觉特征识别算法进行评估;
和\或在所述根据所述目标特征在所述自动驾驶导航电子地图中的位置以及所述视觉特征在所述俯视拼接图中的位置,确定所述目标虚拟车辆在所述虚拟泊车场景的当前位姿的步骤之后,所述方法还包括:
获得所述目标虚拟车辆在当前时刻在所述虚拟泊车场景的真实位姿;计算所述真实位姿与所述当前位姿之间的差异位姿;基于所述差异位姿,对所述当前位姿的可信度进行评估。
5.如权利要求1所述的方法,其特征在于,在所述获得目标虚拟车辆针对虚拟泊车场景采集的多张第一图像的步骤之前,所述方法还包括:
基于用户触发的场景构建操作,构建得到所述虚拟泊车场景;
基于所述用户触发的车辆构建操作,构建得到所述目标虚拟车辆。
6.如权利要求5所述的方法,其特征在于,所述基于用户触发的场景构建操作,构建得到所述虚拟泊车场景的步骤,通过以下两种实现方式中的任一种实现方式实现:
第一种实现方式:
基于用户触发的第一场景构建操作,输出展示有多个预设虚拟泊车场景的模型的场景标识的第一展示界面;
在检测到所述用户选中操作后,基于所述选中操作携带的所选中虚拟泊车场景的模型的场景标识,构建得到所述选中操作携带的场景标识对应的虚拟泊车场景;
第二种实现方式:
基于用户触发的第二场景构建操作,输出初始虚拟泊车场景,并输出展示有多个用于构建初始虚拟泊车场景所需的场景构建模型的第二展示界面,其中,所述场景构建模型至少包括如下模型中的至少一种:车道线模型、停车位模型、减速带模型、斑马线模型、箭头模型、数字模型、地砖模型以及交通指示牌模型;
基于所述用户对各所述场景构建模型的选中操作以及调整操作,在所述初始虚拟泊车场景中显示被用户选中及调整后的场景构建模型,以构建得到所述虚拟泊车场景;
所述基于所述用户触发的车辆构建操作,构建得到所述目标虚拟车辆的步骤,通过以下两种实现方式中的任一种实现方式实现:
第一种实现方式:
基于所述用户触发的第一车辆构建操作,输出展示有多个预设虚拟车辆的模型的车辆标识的第三展示界面,其中,每一预设虚拟车辆至少对应有多个虚拟摄像头;
基于所述用户针对目标虚拟车辆的模型的车辆标识的选中操作,构建得到所述目标虚拟车辆;
第二种实现方式:
基于用户触发的第二车辆构建操作,输出初始虚拟车辆,并输出展示有多个用于配置所述初始虚拟车辆对应的虚拟传感器的参数的配置界面,其中,所述初始虚拟车辆对应的虚拟传感器至少包括多个虚拟摄像头;
基于所述用户对所述初始虚拟车辆对应的虚拟传感器的参数的配置操作,构建得到所述目标虚拟车辆,其中,所述配置操作携带:用户针对所述虚拟传感器的参数所配置的参数值。
7.如权利要求1所述的方法,其特征在于,在所述根据估计位姿的取值以及所述视觉特征在所述俯视拼接图中的位置,计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置的步骤之前,所述方法还包括:
以所述目标虚拟车辆在上一时刻的位姿为基准,结合运动模型计算所述虚拟车辆在所述当前时刻的预估位姿,并执行所述根据估计位姿的取值以及所述视觉特征在所述俯视拼接图中的位置,计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置的步骤;所述上一时刻为:在时间上在所述当前时刻之前的相邻的时刻,所述运动模型由所述目标虚拟车辆的惯性测量单元和/或轮速计采集的数据确定得到;
以及,所述根据估计位姿的取值以及所述视觉特征在所述俯视拼接图中的位置,计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置的步骤,包括:
以所述预估位姿的取值作为所述估计位姿的初值;
根据估计位姿的当前取值以及所述视觉特征在所述俯视拼接图中的位置,计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置;
以及,所述根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置,计算所述目标特征投影至所述俯视拼接图中的投影位置的步骤,包括:
以所述预估位姿的取值作为所述估计位姿的初值;
根据估计位姿的当前取值以及所述目标特征在所述自动驾驶导航电子地图中的位置,计算所述目标特征投影至所述俯视拼接图中的投影位置。
8.一种基于车载环视***的泊车仿真装置,其特征在于,包括:
第一获得模块,被配置为获得目标虚拟车辆针对虚拟泊车场景采集的多张第一图像,其中,所述多张第一图像为:所述目标虚拟车辆的多个虚拟摄像头在当前时刻针对所述虚拟泊车场景的不同方向拍摄得到的图像;
拼接模块,被配置为对所述多张第一图像进行拼接,得到俯视拼接图;
识别模块,被配置为从所述俯视拼接图中识别出预设的视觉特征,其中,所述预设的视觉特征至少包括停车位;
识别确定模块,被配置为基于图像匹配算法,从自动驾驶导航电子地图中识别出与所述视觉特征相匹配的目标特征;根据所述目标特征在所述自动驾驶导航电子地图中的位置以及所述视觉特征在所述俯视拼接图中的位置,确定所述目标虚拟车辆在所述虚拟泊车场景的当前位姿;
第一确定模块,被配置为从所识别出的停车位中,确定所述目标虚拟车辆对应的目标停车位;
控制模块,被配置为基于所述当前位姿、所述目标停车位所在位置以及预设的泊车算法,控制所述目标虚拟车辆行驶至所述目标停车位;
所述识别确定模块包括:
第一计算单元,被配置为根据估计位姿的取值以及所述视觉特征在所述俯视拼接图中的位置,计算所述视觉特征映射至所述自动驾驶导航电子地图中的映射位置,其中,所述估计位姿的初值为:使用任意的取值作为所述估计位姿的初值;
第二计算单元,被配置为计算所述映射位置与所述目标特征在所述自动驾驶导航电子地图中的实际位置之间的第一误差;
第一判断单元,被配置为被配置为判断所述第一误差是否小于指定阈值;
第一调整单元,被配置为当所述第一误差大于或等于所述指定阈值时,调整所述估计位姿的取值,并触发所述第一计算单元;
第一确定单元,被配置为当所述第一误差小于所述指定阈值时,根据所述估计位姿的当前取值确定所述目标虚拟车辆在所述目标虚拟泊车场景的当前位姿;
或者,所述识别确定模块包括:
第三计算单元,被配置为根据估计位姿的取值以及所述目标特征在所述自动驾驶导航电子地图中的位置,计算所述目标特征投影至所述俯视拼接图中的投影位置,其中,所述估计位姿的初值为:基于当前时刻的前一时刻的位姿,和所述目标虚拟车辆的IMU和/或轮速计采集的数据预估得到的数值作为所述估计位姿的初值;或者为使用任意的取值作为所述估计位姿的初值;
第四计算单元,被配置为计算所述目标特征的所述投影位置与所述视觉特征在所述俯视拼接图中的实际位置之间的第二误差;
第二判断单元,被配置为判断所述第二误差是否小于指定阈值;
第二调整单元,被配置为当所述第二误差大于或等于所述指定阈值时,调整所述估计位姿的取值,并触发所述第三计算单元;
第二确定单元,被配置为当所述第二误差小于所述指定阈值时,根据所述估计位姿的当前取值确定所述目标虚拟车辆在所述目标虚拟泊车场景的当前位姿。
9.如权利要求8所述的装置,其特征在于,所述预设的泊车算法包括预设的泊车路径规划算法和预设的泊车控制算法;
所述控制模块,被具体配置为:
基于所述当前位姿、所述目标停车位所在位置以及所述预设的泊车路径规划算法,确定出所述目标虚拟车辆行驶至所述目标停车位的泊车路径;
基于所述泊车路径以及所述预设的泊车控制算法,控制所述目标虚拟车辆行驶至所述目标停车位。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910364960.9A CN111856963B (zh) | 2019-04-30 | 2019-04-30 | 一种基于车载环视***的泊车仿真方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910364960.9A CN111856963B (zh) | 2019-04-30 | 2019-04-30 | 一种基于车载环视***的泊车仿真方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111856963A CN111856963A (zh) | 2020-10-30 |
CN111856963B true CN111856963B (zh) | 2024-02-20 |
Family
ID=72965080
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910364960.9A Active CN111856963B (zh) | 2019-04-30 | 2019-04-30 | 一种基于车载环视***的泊车仿真方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111856963B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112526976B (zh) * | 2020-12-07 | 2022-08-16 | 广州小鹏自动驾驶科技有限公司 | 一种自动泊车控制器的仿真测试方法及*** |
CN112572419B (zh) * | 2020-12-22 | 2021-11-30 | 英博超算(南京)科技有限公司 | 一种提高代客泊车启动安全性的车周盲区监控*** |
CN114972494A (zh) * | 2021-02-26 | 2022-08-30 | 魔门塔(苏州)科技有限公司 | 一种记忆泊车场景的地图构建方法及装置 |
CN112967405A (zh) * | 2021-03-23 | 2021-06-15 | 深圳市商汤科技有限公司 | 虚拟物体的位姿更新方法、装置、设备以及存储介质 |
WO2022205356A1 (zh) * | 2021-04-01 | 2022-10-06 | 深圳市大疆创新科技有限公司 | 自动泊车方法、电子设备及计算机可读存储介质 |
CN113352888B (zh) * | 2021-06-29 | 2022-05-13 | 广州小鹏汽车科技有限公司 | 显示方法、车载终端、车辆及存储介质 |
CN114120701B (zh) * | 2021-11-25 | 2022-11-22 | 北京经纬恒润科技股份有限公司 | 一种泊车定位方法及装置 |
CN116353620A (zh) * | 2021-12-28 | 2023-06-30 | 魔门塔(苏州)科技有限公司 | 一种自动泊车路径规划方法、装置、介质及设备 |
CN114379544A (zh) * | 2021-12-31 | 2022-04-22 | 北京华玉通软科技有限公司 | 一种基于多传感器前融合的自动泊车***、方法及装置 |
CN114494439B (zh) * | 2022-01-25 | 2023-08-15 | 襄阳达安汽车检测中心有限公司 | Hil仿真测试中摄像头位姿校准方法、装置、设备及介质 |
CN115534935B (zh) * | 2022-12-02 | 2023-06-16 | 广汽埃安新能源汽车股份有限公司 | 车辆行驶控制方法、装置、电子设备和计算机可读介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005118339A1 (de) * | 2004-06-02 | 2005-12-15 | Robert Bosch Gmbh | Verfahren und vorrichtung zur unterstützung eines einparkvorganges eines fahrzeuges |
CN101008566A (zh) * | 2007-01-18 | 2007-08-01 | 上海交通大学 | 基于地面纹理的智能车视觉装置及其全局定位方法 |
CN102407848A (zh) * | 2010-09-21 | 2012-04-11 | 高强 | 具有自动泊车与智能驾驶功能的控制器*** |
CN108090456A (zh) * | 2017-12-27 | 2018-05-29 | 北京初速度科技有限公司 | 一种车道线识别方法及装置 |
CN108537197A (zh) * | 2018-04-18 | 2018-09-14 | 吉林大学 | 一种基于深度学习的车道线检测预警装置及预警方法 |
CN109165582A (zh) * | 2018-08-09 | 2019-01-08 | 河海大学 | 一种城市街道垃圾检测和清洁度评估方法 |
-
2019
- 2019-04-30 CN CN201910364960.9A patent/CN111856963B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005118339A1 (de) * | 2004-06-02 | 2005-12-15 | Robert Bosch Gmbh | Verfahren und vorrichtung zur unterstützung eines einparkvorganges eines fahrzeuges |
CN101008566A (zh) * | 2007-01-18 | 2007-08-01 | 上海交通大学 | 基于地面纹理的智能车视觉装置及其全局定位方法 |
CN102407848A (zh) * | 2010-09-21 | 2012-04-11 | 高强 | 具有自动泊车与智能驾驶功能的控制器*** |
CN108090456A (zh) * | 2017-12-27 | 2018-05-29 | 北京初速度科技有限公司 | 一种车道线识别方法及装置 |
CN108537197A (zh) * | 2018-04-18 | 2018-09-14 | 吉林大学 | 一种基于深度学习的车道线检测预警装置及预警方法 |
CN109165582A (zh) * | 2018-08-09 | 2019-01-08 | 河海大学 | 一种城市街道垃圾检测和清洁度评估方法 |
Non-Patent Citations (2)
Title |
---|
张勇刚.道路交通控制技术及应用.中国人民公安大学出版社,2016,279. * |
贾连兴.三维可视化仿真.国防工业出版社,2017,242-246. * |
Also Published As
Publication number | Publication date |
---|---|
CN111856963A (zh) | 2020-10-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111856963B (zh) | 一种基于车载环视***的泊车仿真方法及装置 | |
CN110136199B (zh) | 一种基于摄像头的车辆定位、建图的方法和装置 | |
US11094112B2 (en) | Intelligent capturing of a dynamic physical environment | |
TWI722355B (zh) | 用於基於障礙物檢測校正高清晰度地圖的系統和方法 | |
CN109284674B (zh) | 一种确定车道线的方法及装置 | |
US10832478B2 (en) | Method and system for virtual sensor data generation with depth ground truth annotation | |
JP5588812B2 (ja) | 画像処理装置及びそれを用いた撮像装置 | |
CN102222236B (zh) | 图像处理***及位置测量*** | |
US20180373943A1 (en) | Computer implemented detecting method, computer implemented learning method, detecting apparatus, learning apparatus, detecting system, and recording medium | |
JP5057183B2 (ja) | 風景マッチング用参照データ生成システム及び位置測位システム | |
CN112639888A (zh) | 程序世界生成 | |
CN111169468B (zh) | 一种自动泊车的***及方法 | |
CN109460739A (zh) | 车道线检测方法及装置 | |
KR100921427B1 (ko) | 영상 기반 내비게이션을 위한 가상차선을 생성하는 방법 및그 장치 | |
KR102677513B1 (ko) | 소실점 검출을 위한 학습 방법, 소실점 검출 방법 및 장치 | |
CN110136058B (zh) | 一种基于俯视拼接图的建图方法及车载终端 | |
CN112798811B (zh) | 速度测量方法、装置和设备 | |
CN101894366A (zh) | 一种获取标定参数的方法、装置及一种视频监控*** | |
US20210149408A1 (en) | Generating Depth From Camera Images and Known Depth Data Using Neural Networks | |
JP2017181476A (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム | |
CN114639085A (zh) | 交通信号灯识别方法、装置、计算机设备和存储介质 | |
CN115273005A (zh) | 一种基于改进yolo算法的视觉导航车环境感知方法 | |
JP7145770B2 (ja) | 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム | |
CN112699748B (zh) | 基于yolo及rgb图像的人车距离估计方法 | |
CN118235171A (zh) | 车辆的环境传感装置和/或环境感知的检查 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20220303 Address after: 100083 unit 501, block AB, Dongsheng building, No. 8, Zhongguancun East Road, Haidian District, Beijing Applicant after: BEIJING MOMENTA TECHNOLOGY Co.,Ltd. Address before: Room 28, 4 / F, block a, Dongsheng building, No. 8, Zhongguancun East Road, Haidian District, Beijing 100089 Applicant before: BEIJING CHUSUDU TECHNOLOGY Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |