CN117664098A - 停车场地图的构建方法、装置、车载终端及介质 - Google Patents
停车场地图的构建方法、装置、车载终端及介质 Download PDFInfo
- Publication number
- CN117664098A CN117664098A CN202211045730.4A CN202211045730A CN117664098A CN 117664098 A CN117664098 A CN 117664098A CN 202211045730 A CN202211045730 A CN 202211045730A CN 117664098 A CN117664098 A CN 117664098A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- parking lot
- map
- video frame
- parking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims abstract description 41
- 238000005259 measurement Methods 0.000 claims abstract description 35
- 230000008569 process Effects 0.000 claims abstract description 19
- 238000004590 computer program Methods 0.000 claims description 18
- 238000010276 construction Methods 0.000 claims description 18
- 230000009466 transformation Effects 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 13
- 238000003709 image segmentation Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 8
- 230000001502 supplementing effect Effects 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 238000004422 calculation algorithm Methods 0.000 description 15
- 240000004050 Pentaglottis sempervirens Species 0.000 description 13
- 238000001514 detection method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000004888 barrier function Effects 0.000 description 5
- 241000251468 Actinopterygii Species 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 101100365794 Schizosaccharomyces pombe (strain 972 / ATCC 24843) sim3 gene Proteins 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请适用于汽车技术领域，提供了一种停车场地图的构建方法、装置、车载终端及介质，该方法包括：根据在行车过程中采集到的视频数据和惯性测量数据确定车辆的位姿信息，视频数据通过安装在车辆上的环视鱼眼相机采集得到；惯性测量数据通过安装在车辆上的惯性测量单元采集得到；基于位姿信息，建立停车场的特征点地图；通过采集到的停车场的鱼眼图像建立停车场的鸟瞰图，鱼眼图像通过安装在车辆上的多个环视鱼眼相机采集得到；根据位姿信息和鸟瞰图，建立停车场的语义地图，语义地图与特征点地图共同用于车辆在停车场中的自主泊车。采用基于上述方法构建的停车场地图进行自主泊车，有利于提高泊车定位精度。
Description
技术领域
本申请属于汽车技术领域，特别是涉及一种停车场地图的构建方法、装置、车载终端及介质。
背景技术
在室内停车环境中自主泊车时，需要感测和理解周围环境。通常可以利用同步定位与地图构建(Simultaneous Localization And Mapping，SLAM)***分析车辆运动情况并绘制环境地图。
SLAM建图可以分为视觉SLAM和激光SLAM，激光SLAM受到激光雷达成本的制约，难以实现量产。视觉SLAM通常依赖于低级视觉特征，例如点和线。但在室内停车环境中，此类低级视觉特征并不稳定，会导致目标消失。传统的停车场视觉SLAM建图经常会出现特征匹配失败，跟踪丢失等现象，使得绘制出的停车场地图不够精确，不利于精确定位和停车。
发明内容
有鉴于此，本申请实施例提供了一种停车场地图的构建方法、装置、车载终端及介质，用以提高泊车精度。
本申请实施例的第一方面提供了一种停车场地图的构建方法，所述方法包括：
根据在行车过程中采集到的视频数据和惯性测量数据确定车辆的位姿信息，所述视频数据通过安装在所述车辆上的环视鱼眼相机采集得到；所述惯性测量数据通过安装在所述车辆上的惯性测量单元采集得到；
基于所述位姿信息，建立停车场的特征点地图；
通过采集到的所述停车场的鱼眼图像建立所述停车场的鸟瞰图，所述鱼眼图像通过安装在所述车辆上的多个环视鱼眼相机采集得到；
根据所述位姿信息和所述鸟瞰图，建立所述停车场的语义地图，所述语义地图与所述特征点地图共同用于所述车辆在所述停车场中的自主泊车。
本申请实施例的第二方面提供了一种停车场地图的构建装置，所述装置包括：
位姿信息确定模块，用于根据在行车过程中采集到的视频数据和惯性测量数据确定车辆的位姿信息，所述视频数据通过安装在所述车辆上的环视鱼眼相机采集得到；所述惯性测量数据通过安装在所述车辆上的惯性测量单元采集得到；
第一建图模块，用于基于所述位姿信息，建立停车场的特征点地图；
鸟瞰图建立模块，用于通过采集到的所述停车场的鱼眼图像建立所述停车场的鸟瞰图，所述鱼眼图像通过安装在所述车辆上的多个环视鱼眼相机采集得到；
第二建图模块，用于根据所述位姿信息和所述鸟瞰图，建立所述停车场的语义地图，所述语义地图与所述特征点地图共同用于所述车辆在所述停车场中的自主泊车。
本申请实施例的第三方面提供了一种车载终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的方法。
本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的方法。
本申请实施例的第五方面提供了一种计算机程序产品，当所述计算机程序产品在车载终端上运行时，使得所述车载终端执行上述第一方面所述的方法。
与现有技术相比，本申请实施例包括以下优点：
本申请实施例，通过在车辆的不同前后左右四个方位分别安装环视鱼眼相机，例如在车辆的前后左右四个方位分别安装环视鱼眼相机，可以在车辆的行驶过程中，采用安装在车辆前侧的前视鱼眼相机和惯性测量单元确定车辆的位姿信息；基于车辆的位姿信息，可以建立停车场的特征点地图；特征点地图可以用于对车辆的精准定位；同时，基于多个环视鱼眼相机还可以采集到鱼眼图像，用于确定停车场的鸟瞰图；基于位姿信息和鸟瞰图，可以建立停车场的语义地图。通过采用语义地图和特征点地图共同进行泊车定位，可以减少定位时匹配错位的情况，提高泊车精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种停车场地图的构建方法的步骤流程示意图；
图2是本申请实施例提供的一种停车场的示意图；
图3是本申请实施例提供的另一种停车场地图的构建方法的步骤流程示意图；
图4是本申请实施例提供的再一种停车场地图的构建方法的步骤流程示意图；
图5是本申请实施例提供的跟踪匹配的示意图；
图6是本申请实施例提供的一种停车场地图的构建方法装置的示意图；
图7是本申请实施例提供的一种车载终端的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域技术人员应当清楚，在没有这些具体细节的其他实施例中也可以实现本申请。在其他情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
下面通过具体实施例来说明本申请的技术方案。
参照图1，示出了本申请实施例提供的一种停车场地图的构建方法的步骤流程示意图，具体可以包括如下步骤：
S101，根据在行车过程中采集到的视频数据和惯性测量数据确定车辆的位姿信息，所述视频数据通过安装在所述车辆上的环视鱼眼相机采集得到；所述惯性测量数据通过安装在所述车辆上的惯性测量单元采集得到。
本实施例的执行主体为车载终端，本实施例中的方法可以用于对室内停车场进行地图构建。在本实施例中，车辆的前侧、后侧、左侧和右侧可以各安装一个环视鱼眼相机。环视鱼眼相机可以在车辆行驶的过程中采集视频或者图像。车辆上还可以安装惯性测量单元(Inertial measurement unit，IMU)，IMU可以包括三轴陀螺仪、三轴加速度计和/或三轴磁力计，从而获取三轴姿态角、加速度和/或偏航角。通过IMU采集到的惯性测量数据，车载终端可以确定车辆的三轴姿态角以及车辆的加速度信息。
上述位姿信息可以包括位置信息和姿态信息，上述姿态信息可以为通过IMU得到的车辆的三轴姿态角。上述位置信息可以为车辆在停车场中位置的场景信息，例如，车辆位于停车场口、车辆位于停车场的某个标志物前等。基于环视鱼眼相机采集得到的视频或者图像，可以确定车辆所在位置的场景信息。上述位置信息还可以为坐标信息，该坐标为基于车载终端确定的世界坐标系下的坐标信息。
在一种可能的实现方式中，当车辆进入停车场时，可以确定车辆的初始位姿，该初始位姿可以包括通过IMU获得的三轴姿态角以及通过环视鱼眼相机采集的视频数据确定的场景信息。视频数据中可以包括多个视频帧，车载终端可以对环视鱼眼相机采集到的视频数据进行实时目标检测，从而确定车辆是否进入停车场。具体地，每隔预设时间，车载终端可以获取安装在车辆前侧位置的环视鱼眼相机采集的视频数据，然后检测视频数据中是否包括停车场的入口标识，该入口标识可以包括文字标识信息、入口道闸、收费亭等。当车载终端从某个视频帧中检测到入口标识时，可以确定该视频帧为初始视频帧，然后将从初始视频帧中识别的场景信息为车辆的初始位置信息。此外，车辆还可以在检测到视频帧中包括入口标识时，通过车辆上的定位装置确定车辆当前的定位信息，该定位信息也可以包括在车辆的初始位姿。
当确定初始位姿后，车载终端可以继续获取环视鱼眼相机采集的视频数据，然后基于视频数据，确定车辆的实时位姿信息。实时位姿信息可以包括当前视频帧对应时刻车辆的三轴姿态角以及该当前视频帧对应的场景信息。实时位姿信息的确定方法可以参照初始位姿的确定方法。
在一种可能的实现方式中，车载终端可以在进入停车场时，以车辆的位置作为为原点位置建立坐标系，从而确定车辆初始坐标为(0,0,0)。在确定车辆初始坐标后，车载终端可以继续获取环视鱼眼相机采集的视频数据，然后通过鱼眼相机采集的视频数据确定车辆相对于上一个视频帧的位移，从而基于车辆在上一个视频帧中的坐标和车辆的唯一，确定车辆的位置信息。
S102，基于所述位姿信息，建立停车场的特征点地图。
车载终端中可以部署预设的目标检测算法和目标追踪算法。目标检测算法可以用于检测图像中的预设目标，比如可以用来检测图像中的车辆、行人、标志物等；目标追踪算法可以用于对视频中的目标进行追踪，比如确定在每个视频帧中的同一个车辆等。
从上述初始视频帧开始，采用目标检测算法对采集到的视频帧进行目标检测，从而确定每个视频帧中的多个目标，基于确定的多个目标，可以确定多个特征点。特征点可以为检测到的每个目标的轮廓点。特征点可以用于标识视频帧中的物体，比如停车场中包括其他车辆或行人。在相邻两个视频帧中，由于相隔时间很近，所以视频帧中的图像存在一定的重合，因此在相邻的视频帧中可以检测到相同的目标，相邻的视频帧中会存在多个相同的特征点。两个视频帧中的相同特征点为匹配特征点。
在车辆行驶过程中，可以基于初始帧视频建立世界坐标系。具体地，可以确定初始视频帧中的一个目标，基于该目标确定一个位置，然后将该位置作为坐标系的原点，建立世界坐标系。例如，可以确定初始视频帧中的入口道闸的左顶点作为坐标原点，建立三维坐标系，三维坐标系中，x和y方向可以确定停车场的水平面。建立世界坐标系后，可以确定每个初始视频中特征点的坐标，基于特征点坐标，可以确定初始视频帧对应的初始特征点地图，也就是车辆处于初始位置时的特征点地图。
当检测到初始视频帧的下一个视频帧后，可以基于初始视频帧与下一个视频帧的时间间隔以及下一个视频帧对应时刻的车辆的行驶速度，确定车辆在该时间间隔内的行驶路长。基于车辆的行驶路长，可以采用预设的目标追踪算法确定初始视频帧中的目标在该下一个视频帧中的位置，从而确定出下一个视频帧与初始视频帧的匹配特征点。两个视频帧的匹配特征点对应于现实的同一个事物，或同一个事物中的一个点。
然后可以选取一个匹配特征点作为原点，建立该下一个视频帧的当前坐标系，并基于该当前坐标系确定该下一个视频帧中的每个特征点的当前位置坐标，该当前位置坐标即为特征点的相对深度。
由于匹配特征点在世界坐标系中，存在对应的坐标信息，因此可以将当前坐标系中的点切换到世界坐标系中，即确定每个特征点的世界坐标位置，该世界坐标位置为绝对深度，基于该下一个视频帧中每个特征点的绝对深度，可以建立对应的下一个特征点地图。
基于上述匹配特征点，可以将初始特征点地图与下一个特征点地图进行匹配，从而在世界坐标系中确定包括初始视频帧和下一个视频帧中的每个特征点的特征点地图。
基于上述相同的步骤，可以通过采集得到的视频数据中的当前视频帧以及该当前视频帧的上一个视频帧，确定当前视频帧对应的特征点地图。当前视频帧对应的特征点地图即为实时特征点地图，可以用于对车辆当前的位置进行精准定位，可以反映出对车辆前进过程中的障碍物或者其他物体，比如可以确定停车场空间中的其他车辆、墙柱等。由于当前视频帧的视野范围为停车场的局部，因此可以将每个视频帧对应的特征点地图作为一个局部特征点地图。
基于各个局部特征点地图中的匹配特征点，可以将多个局部特征点地图进行匹配和凭借，从而得到一个全局特征点地图，全局特征点地图中可以包括每个局部特征点地图中的所有特征点。
在一种可能的实现方式中，S101和S102步骤中的视频数据为前视鱼眼相机采集到的视频数据，前视鱼眼相机为安装在车辆前方的环视鱼眼相机。
S103，通过采集到的所述停车场的鱼眼图像和位姿信息建立所述停车场的鸟瞰图，所述鱼眼图像通过安装在所述车辆上的多个环视鱼眼相机采集得到。
上述鱼眼图像为通过安装在车辆上的四个环视鱼眼相机采集到的鱼眼图像。通过车辆上四个方位的环视鱼眼相机，可以采集到停车场内的图像。由于不同的环视鱼眼相机安装位置不同，因此可以采集到车辆不同方位的图像。在汽车行进途中，可以每隔一段距离，进行一次鱼眼图像的采集；然后将每次采集得到的多个鱼眼图像进行匹配和拼接，可以确定停车场的局部鸟瞰图。具体地，将前后左右的环视鱼眼相机采集得到的鱼眼图像称为：前视图、后视图、左视图和右视图。鱼眼相机的视野范围比较大，因此各个鱼眼相机采集的图像中可以包括相同的目标，在进行图像匹配时，可以确定前视图的左边与左视图的右边部分的相同目标，前视图的右边与右视图的左边部分的相同目标，后视图的左边与左视图的左边部分的相同目标，后视图的右边与右视图的左边部分的相同目标；基于不同位置的相同的目标，可以将各个鱼眼图像进行部分重合，然后基于重合部分进行拼接，从而得到四个鱼眼图像拼接起来的当前车辆对应的局部鸟瞰图。同时确定车辆当前对应的位姿信息，从而在局部鸟瞰图中补充当前车辆的信息。
在车辆行驶过程中，可以确定多个局部鸟瞰图。基于多个局部鸟瞰图中的相同目标，可以对多个局部鸟瞰图进行匹配和拼接，从而得到停车场的整体的鸟瞰图。整体鸟瞰图中可以包括所有局部鸟瞰图中的目标。
S104，根据所述鸟瞰图，建立所述停车场的语义地图，所述语义地图与所述特征点地图共同用于所述车辆在所述停车场中的自主泊车。
上述鸟瞰图即为停车场的整体的鸟瞰图。可以采用图像识别算法，对鸟瞰图中的图像进行识别，从而确定出鸟瞰图中的标识特征，标识特征可以包括停车线、路标、减速。具有标识特征的鸟瞰图，可以作为停车场的语义地图。
基于车辆的位姿信息，可以将语义地图中的标识特征转换到特征点地图对应的世界坐标系中。例如，可以基于车辆当前的场景信息中的一个目标在特征点地图中的坐标信息；然后基于该坐标信息，在语义地图中建立相同的世界坐标系，从而确定出语义地图中的各个标识特征所对应的世界坐标。
基于语义地图和特征点地图，车载终端可以对室内停车场中的相似特征进行识别。停车场中存在相同的特征，例如减速带和停车位，若只通过语义地图确认，则可能将减速带确认为停车位；基于特征点地图，车载终端可以确定若减速带上为停车位，则无法继续进入停车场进行停车，从而可以区分停车位和减速带。
基于语义地图和特征点地图，车载终端可以确定车辆当前可以停靠的的位置。通过语义地图，车载终端可以确定停车场中的停车位；基于特征点地图，车载终端可以确定各个停车位是否已经存在车辆，从而确定出可以停靠的车辆。
基于语义地图和特征点地图，车载终端可以确定车辆停车的泊车路径。通过语义地图，车载终端可以确定停车场中的停车线和车道；基于特征点地图，车载终端可以确定各个车道中是否存在障碍物，从而确定不存在障碍物的行车路径；车载终端还可以根据特征点地图中确定停车线附近是否存在阻碍停车的障碍物，从而规划合适的停车方案，比如，可以确定车辆在泊车过程中应该在什么位置进行转向，才能不碰到障碍。
在本实施例中，通过语义地图，车载终端可以确定停车场中的车道和车位；基于特征点地图，车载终端可以确定当前停车场存在的阻碍车辆行进的障碍；车载终端在泊车时，可以结合特征点地图和语义地图，确定可以泊车的目标停车位以及不存在障碍的泊车路径，并可以基于特征点地图和语义地图，确定停车位周围的泊车障碍物，从而能够在将车辆停靠在停车位时，更精准地确定停车方案。
本实施例中，车辆在行驶的过程中，确定了位姿信息；基于该位姿信息，车辆在行驶途中既可以确定局部特征点地图，还可以确定局部鸟瞰图，即在建立特征点地图时使用的位姿信息可以用于建立语义地图，使得建立语义地图时可以不用重新确定车辆的场景信息，从而减少了重新计算的时间，保证了建图实时性。采用特征点地图和语义地图共同进行泊车定位，可以同时采用特征点地图和语义地图确定室内停车场中的停车位信息，减少在室内停车场泊车时出现很多相同特征而发生匹配错位的情况，提高泊车定位精度。
参照图3，示出了本申请实施例提供的另一种停车场地图的构建方法的步骤流程示意图，具体可以包括如下步骤：
S301，根据所述车辆驶入所述停车场入口时采集到的视频帧和惯性测量数据，确定所述车辆的初始位姿。
本实施例的执行主体为车载终端。在本实施例中，车辆的前侧、后侧、左侧和右侧可以各安装一个环视鱼眼相机。车辆上还安装有惯性测量单元。
在车辆驶入停车场的过程中，车载终端可以通过安装在前侧的前视鱼眼相机采集视频数据，并实时获取视频帧。对于获取到的视频帧，可以确定视频帧中的特征点；基于视频帧中的特征点和之前获取到的视频帧中的特征点，可以进行目标跟踪，从而确定该视频帧与上一个视频帧中相同的特征点，该相同的额特征点即为匹配特征点。
从车辆驶入停车场入口时采集到的视频帧中确定初始化视频帧，初始化视频帧与初始化视频帧的下一个相邻视频帧中包括至少预设数量的匹配特征点；初始化视频帧与初始化视频帧的上一个相邻视频帧中的匹配特征点未达到预设数量。在一种可能实现方式中，可以将车辆驶入停车场的第一个视频帧作为初始化视频帧。
基于车辆驶入停车场入口时的惯性测量数据，可以确定车辆的三轴姿态角、加速度和/或偏航角。基于三轴姿态角、加速度和/或偏航角，车载终端可以确定车辆当前的初始姿态角。车辆当前的位置可以确定为停车场入口位置。
S302，在车辆行驶过程中，基于实时采集到的视频数据和所述初始位姿对所述车辆进行跟踪匹配，得到所述车辆实时的位姿信息。
在车辆行驶过程中，可以基于采集到的视频数据和预设的目标根据算法进行目标的跟踪匹配，该目标可以为视频帧中检测到的物体或人，比如柱子、行人、其他车辆等。
对于每个视频帧，可以建立一个自车坐标系，即将自车的中心作为原点建立一个坐标系，然后基于该坐标系，确定视频帧中每个特征点的坐标信息。
将初始视频帧对应的自车坐标系确定为世界坐标系。在初始视频帧中，车辆的坐标可以为原点坐标。上述车辆实时的位姿信息可以确定为车辆的世界坐标和基于惯性测量数据确定的车辆的姿态角。
基于惯性测量数据和视频帧的间隔时间，可以确定车辆在两个视频帧之间的行驶路径，行驶路径可以包括行驶长度和行驶方向，基于该行驶路径，可以确定两个视频帧中的自车坐标系的关联关系。例如，对初始视频帧的下一个相邻视频帧，可以确定该下一个相邻视频帧与初始视频帧的行驶路径，然后确定该下一个相邻视频帧对应的自车坐标系的原点位置在初始视频帧的自车坐标系中的坐标，即，确定该该下一个相邻视频帧对应的自车坐标系的原点位置在世界坐标系中的坐标，从而可以确定该该下一个相邻视频帧对应的自车坐标系与世界坐标系的转换关系，基于该转换关系，可以确定该下一个相邻视频帧中的各个特征点的世界坐标。该下一个相邻视频帧对应的自车坐标系的原点坐标即为车辆的位置信息。
基于上述相同的方法，车载终端可以确定当前视频帧与上一个视频帧之间的坐标转换关系，从而确定当前视频帧的自车坐标系与世界坐标系的转换关系，并确定车辆在世界坐标系中的位置信息。
将得到的车辆实时的位姿信息存储，位姿信息可以用于车载终端进行语义地图的建立。
S303，基于所述位姿信息，建立停车场的特征点地图。
基于上一步骤，可以确定视频帧中的特征点在世界坐标系中的坐标。从而将车辆行驶途中的采集到的视频数据中的每个目标的特征点均标记在特征点地图中。基于特征点地图，车载终端可以确定停车场中的各个位置是否存在行车障碍。
在一种可能的实现方式中，为了节省车载终端的计算资源，可以不用对每个视频帧进行处理，而是从视频数据中确定多个局部关键帧，局部关键帧按照视频中的时间顺序具有前后顺序，相邻的局部关键帧之间可以具有预设数量的匹配特征点。基于多个局部关键帧，车载终端也可以采用S302和S303中的步骤建立停车场的特征点地图。
本实施例中，特征点地图是随着车辆采集到的视频数据不断更新的。即，在初始视频帧确定的世界坐标系中，可以不断更新新的视频帧中的特征点，从而更新特征点地图。
S304，通过采集到的所述停车场的鱼眼图像建立所述停车场的鸟瞰图，所述鱼眼图像通过安装在所述车辆上的多个环视鱼眼相机采集得到。
在车辆的行驶过程中，每隔预设时间，可以根据车辆的四个方位上的环视鱼眼相机采集停车场的鱼眼图像；对于同一时刻采集到的鱼眼图形，可以根据其中的相同目标对鱼眼图像进行匹配和拼接，可以得到停车场的鸟瞰图。鸟瞰图为二维图。在一种可能的实现方式中，可以按照S103中的步骤对四个鱼眼图像进行拼接。在建立自车坐标系时，是以自车为原点位置，以安装在前侧的鱼眼相机采集到的视频帧图像为基础进行建立的，因此，基于自车坐标系中视频帧的中的各个目标，可以将拼接后的鱼眼图像映射到自车坐标系中，再基于自车坐标系和世界坐标系的转换关系，从而可以将拼接后的鱼眼图形映射到世界坐标系中，得到某一时刻对应的局部鸟瞰图。
在一种可能的实现方式中，车辆在行驶图中每得到一个局部鸟瞰图，均可以将该局部鸟瞰图拼接到现有的停车场的鸟瞰图中，从而更新停车场的整体的鸟瞰图。即，在初始视频帧时刻，车载终端确定的局部鸟瞰图可以确定为整体的鸟瞰图；当下一次确定局部鸟瞰图时，可以将确定的局部鸟瞰图拼接到之前的整体的鸟瞰图中，从而更新该整体的鸟瞰图；按照这样的方式，每次确定完局部鸟瞰图后，可以对整体的鸟瞰图进行一次更新。整体的鸟瞰图不一定是整个停车场的鸟瞰图，可以认为其实车载终端所能识别到的停车场的鸟瞰图。
S305，从所述鸟瞰图中确定所述停车场的语义信息，所述语义信息包括停车线、路标和/或减速带。
车载终端中可以部署预设的图像识别算法，图像识别算法是采用多个停车场地图进行训练得到的，可以识别出停车场地图中的各个位置的语义信息。语音信息可以包括停车线、减速带、路标等。
在停车场的整体的鸟瞰图进行更新之后，车载终端可以采用图像识别算法对鸟瞰图进行图像识别，从而确定出当前停车场各个区域的语义信息。
在另一种可能的实现方式中，车载终端可以通过霍夫变换和直线聚类方法检测停车线标线和停车线拐角；然后根据停车线标线和停车线拐角，确定停车场的停车位信息。停车位信息也可以作为上述语义信息。
S306，基于所述语义信息，对所述鸟瞰图进行图像分割。
该鸟瞰图为整体的鸟瞰图。在识别出停车场各个区域的语义信息后，可以根据语义信息对停车场进行图像分割，从停车场中确定出具有目标特征的区域图像。其中，目标特征可以为停车位、减速带等。例如，车载终端可以识别出停车场鸟瞰图中的多个停车为，然后从鸟瞰图中分割每个停车位的区域，从而可以确定停车为在鸟瞰图中的位置。车载终端按照预设的图像分割算法对鸟瞰图进行分割，得到的区域图像的数量可以根据目标特征的数量确定，例如，停车场中包括10个停车位，则可以确定10个区域图像。
由于停车场的鸟瞰图是不断更新的，因此在图像分割时，可以确定出新的区域图像。
S307，根据所述位姿信息，将图像分割后的鸟瞰图进行高维变换，得到所述停车场的语义地图。
上述鸟瞰图为二维图，上述特征点地图为三维图像，在使用两个地图共同进行自主泊车时需要将两个地图中的信息进行映射，因此，可以将鸟瞰图中的上述区域图像进行高维表换，从而确定目标特征在三维坐标系中的位置。目标特征可以为停车位、减速带等。
在进行高维变换时的公式可以如下。
其中，上述第一个公式可以用于确定图像中的像素点在自车坐标系中的坐标，由于鸟瞰图是通过鱼眼图像获得，在确定像素坐标时，需要进行逆透视变换。是合成逆透视变换(inverse perspective mapping，imp)图像的内参，逆透视变换是将每一个像素点投影在以车辆中心为原点的自车坐标系的地面平面上，也就是z＝0。(uimp，vimp)是合成的imp图像上的像素坐标。(xv，yv)为特征点在车辆的自车坐标系下的特征点坐标；(xw、yw、zw)是世界坐标系下的特征点坐标，[Ro，to]为当前车辆的位姿信息，该位姿信息可以通过车辆的里程计获得。
在一种可能的实现方式中，在车辆行驶过程，每当车载终端更新一次鸟瞰图，可以确定出包含新的目标特征的区域图像，对于新的区域图像，可以基于以上公式，将像素点转换到三维坐标系中，从而更新语义地图。
将语义地图中的像素点转换到世界坐标系下，可以将语义地图和特征点地图中的信息处于同一坐标系中，从而能够更好地基于语义地图和特征点地图中进行泊车定位。
在本实施例中，只利用四个环视鱼眼相机和IMU进行数据采集，先利用前视鱼眼相机和IMU的数据进行位姿计算和建立特征地图，并保存位姿信息；再利用环视鱼眼相机进行语义建图，所输入的位姿信息是建特征点地图时保存下来的，减少重新计算的时间，保证建图实时性；不仅在低成本的情况下，建立了语义地图和特征点地图，而且两种地图共同用于泊车定位，减少因在室内停车场泊车时出现很多相同特征而发生匹配错误的情况，提高泊车定位精度。需要说明的是，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
图4是本申请实施例提供的再一种停车场地图的构建方法的步骤流程示意图。如图4所示，本实施例中，构建了停车场的特征点地图和语义地图。
其中，STEP1是建立特征点地图的流程示意图。在构建特征点地图时，可以采集环视鱼眼相机数据和IMU数据。汽车在行驶过程中，可以通过车辆上设置的四个环视鱼眼相机采集停车场的环境数据。其中设置在车辆前面的环视鱼眼相机为前视鱼眼相机。基于前视鱼眼相机采集的数据以及IMU数据，可以确定车辆的初始化位姿。例如，从前视鱼眼相机采集的视频数据的最开始的若干个视频帧，选取初始化视频帧。初始化视频帧与相邻的视频帧之间可以包括预设数量的匹配特征点，比如，可以选取两个特征点数目大于100的连续视频帧中靠前的视频帧作为初始化视频帧。基于初始化视频帧，可以建立世界坐标系，基于世界坐标系，可以确定车辆的坐标；基于IMU数据可以确定车辆的角度，因此，可以基于初始化视频帧和IMU数据确定车辆的初始化位姿。
在确定初始化视频帧之后，可以进行跟踪匹配，从而确定每个车辆的位置信息。具体地，可以确定初始化视频帧之后的目标视频帧，该目标视频帧可以与初始化视频帧不相邻，但是该目标视频帧可以与初始化视频帧具有预设数量的匹配特征点，例如，可以从初始化视频帧开始每隔预设数量的视频帧选取一个视频帧作为目标视频帧。对于目标视频帧可以建立自车坐标系，将其与前一个目标视频帧或者初始化视频帧进行特征匹配，从而确定两个视频帧中的相同特征点；基于相同的特征点，可以将目标视频帧的坐标转换到世界坐标系中的世界坐标。从而可以确定每个视频帧中的车辆的位置坐标。再结合每个目标视频帧对应的IMU数据，可以确定每个目标视频帧对应的位姿信息。图5是本申请实施例提供的跟踪匹配的示意图；如图5所示，跟踪匹配可以包括确定局部关键帧、确定局部地图点、筛选地图点和地图点匹配的步骤。其中局部关键帧即为上述目标视频帧；基于局部关键帧，可以确定每个局部关键帧中的局部地图点，从局部地图点中可以筛选出具有点代表性的地图点，再基于选出的地图点进行地图点匹配，从而可以确定不同局部视频帧中的同一个目标。基于不同视频帧中的同一个目标，可以将不同的视频帧的坐标转换为世界坐标系中的坐标。
基于跟踪匹配确定的位姿信息，可以通过回环检测进行位姿优化。位姿的估计往往是一个递推的过程，即由上一帧位姿解算当前帧位姿，若其中的误差便一帧一帧的传递下去，便会形成累积误差。回环检测可以通过词袋模型检测车辆是否回到走过的位置，并通过sim3变换原理进行回环修正车辆位姿。在本申请实施例中，如果未出现回环条件，则回环检测可以作为后台运行线程。每个优化后的位姿信息均可以保存下来，在建立局部地图时可以继续使用位姿信息。
在位姿优化后，基于优化后的每个局部特征点的坐标信息可以建立特征点地图。将每个局部视频帧中的局部特征点根据世界坐标转换到世界坐标系中，从而建立起特征点地图。在建立特征点地图时为了加快建图速度，可以保留与当前相机位置相近的特征点，用这些邻近的点去和相机当前帧去做匹配。随着相机的运动，添加最新视频帧提取的特征点来进行地图的构建。
图4中的STEP2是建立语义地图的流程示意图。如图4中的STEP2所示，在建立语义地图时，可以先投影停车场的鸟瞰图。
前视鱼眼相机首先进行特征点地图构建以及保存求解下的位姿信息。通过IPM逆投影变换将四个鱼眼图像由世界坐标系转到图像像素坐标系。此外，还可以通过ORB算法对图像进行特征点提取和特征点描述，完成图像的配准和拼接，以此生成路面鸟瞰图。
之后，对鸟瞰图进行语义分割。具体地，可以预先训练卷积网络作为语义分割算法，可以对鸟瞰图采用训练后的卷积网络进行语义分割获取鸟瞰图的语义信息。卷积网络可以对停车场获得的图像进行训练，将像素分为车道、停车线、路标、减速带、自由空间、障碍和墙壁。在这些类别中，停车线、路标和减速带是用于定位的独特而稳定的特征。停车线也用于停车位检测，自由空间和障碍物可以用于规划。
基于语义分割的结果，可以进行车位线提取。将鸟瞰图由RGB图转为灰度图，并利用高斯滤波去除噪声；基于滤波后的图像，采用伽马变换进行图像增强，并通过霍夫变换和直线聚类的方法检测停车线标线和停车线拐角；基于检测到的停车线标线和停车线拐角自动生成停车位。
经过图像分割，将有用的特征(停车线、路标、减速带等)提升到三维空间，具体如下所示:
转换为世界坐标:
其中，上述第一个公式可以用于确定图像中的像素点在自车坐标系中的坐标，由于鸟瞰图是通过鱼眼图像获得，在确定像素坐标时，需要进行逆透视变换。是合成逆透视变换图像的内参，逆透视变换是将每一个像素点投影在以车辆中心为原点的自车坐标系的地面平面上，也就是z＝0。(uimp，vimp)是合成的imp图像上的像素坐标。(xv，yv)为特征点在车辆的自车坐标系下的特征点坐标；(xw、yw、zw)是世界坐标系下的特征点坐标，[Ro，to]为当前车辆的位姿信息，该位姿信息可以通过车辆的里程计获得。
在将有用的特征提升到三维空间之后，特征点地图和语义地图均为三维的地图，基于特征点地图和语义地图可以共同进行停车。
本实施例中，只使用了环视鱼眼相机和IMU建立特征点地图，并计算出了位姿信息，所建的特征点地图特征点数量足够，能保证满足定位需求，不用额外添加传感器，节省了成本。在建立语义地图时，输入的位姿信息是建立特征点地图前保存下来的位姿信息，省去了重新计算位姿信息的时间，简化了语义建图的步骤，提高语义建图的实时性。在自主泊车时，建立了两种地图，共同用于泊车定位，比之前的只利用语义地图进行定位多了特征点地图的约束，减少定位时匹配错误的情况，提高了定位精度。
参照图6，示出了本申请实施例提供的一种停车场地图的构建装置的示意图，具体可以包括位姿信息确定模块61、第一建图模块62、鸟瞰图建立模块63和第二建图模块64，其中：
位姿信息确定模块61，用于根据在行车过程中采集到的视频数据和惯性测量数据确定车辆的位姿信息，所述视频数据通过安装在所述车辆上的前视鱼眼相机采集得到；所述惯性测量数据通过安装在所述车辆上的惯性测量单元采集得到；
第一建图模块62，用于基于所述位姿信息，建立停车场的特征点地图；
鸟瞰图建立模块63，用于通过采集到的所述停车场的鱼眼图像建立所述停车场的鸟瞰图，所述鱼眼图像通过安装在所述车辆上的多个环视鱼眼相机采集得到；
第二建图模块64，用于根据所述位姿信息和所述鸟瞰图，建立所述停车场的语义地图，所述语义地图与所述特征点地图共同用于所述车辆在所述停车场中的自主泊车。
在一种可能的实现方式中，所述位姿信息确定模块61，包括：
初始位姿确定子模块，用于根据所述车辆驶入所述停车场入口时采集到的视频帧和惯性测量数据，确定所述车辆的初始位姿；
实时位姿确定子模块，用于在车辆行驶过程中，基于实时采集到的视频数据和所述初始位姿对所述车辆进行跟踪匹配，得到所述车辆实时的位姿信息。
在一种可能的实现方式中，所述初始位姿确定子模块，包括：
初始化视频帧确定单元，用于从所述车辆驶入所述停车场入口时采集到的视频帧中确定初始化视频帧，所述初始化视频帧与所述初始化视频帧的下一个相邻视频帧中包括至少预设数量的匹配特征点；所述初始化视频帧与所述初始化视频帧的上一个相邻视频帧中的匹配特征点未达到所述预设数量；
位置速度确定单元，用于基于所述车辆驶入所述停车场入口时的惯性测量数据，确定所述车辆对应的初始位置和初始速度；
初始位姿确定单元，用于采用所述初始位置和所述初始速度确定所述车辆在所述初始化视频帧中的初始位姿。
在一种可能的实现方式中，上述第一建图模块62，包括：
世界坐标系建立子模块，用于基于所述初始化视频帧建立世界坐标系；
局部视频帧确定子模块，用于从所述视频数据中确定与当前视频帧具有预设数量的相同的所述匹配特征点的局部关键帧；所述局部关键帧用于对所述当前视频帧的视野图像进行补充；
目标特征点确定子模块，用于从所述局部关键帧和所述当前视频帧中确定多个目标特征点，所述目标特征点为包含在所述车辆当前的视野范围内的特征点；
当前特征点地图建立子模块，用于根据所述当前位姿和所述初始位姿，将所述目标特征点变换到所述世界坐标系中，得到所述车辆当前的特征点地图；
全局特征点地图建立子模块，用于将所述车辆在每个视频帧中对应的当前的特征点地图进行匹配和拼接，建立所述停车场的全局特征点地图。
在一种可能的实现方式中，上述鸟瞰图建立模块63包括：
鱼眼图像获取子模块，用于获取多个所述环视鱼眼相机采集到的多个鱼眼图像；多个所述环视鱼眼相机分别安装在所述车辆的前侧、后侧、左侧和右侧；其中，安装在所述前侧的环视鱼眼相机为所述前视鱼眼相机；
鸟瞰图生成子模块，用于根据多个所述鱼眼图像的特征点，对多个所述鱼眼图像进行图像配准和图像拼接，生成所述停车场的鸟瞰图。
在一种可能的实现方式中，上述第二建图模块64，包括：
语义信息确定子模块，用于从所述鸟瞰图中确定所述停车场的语义信息，所述语义信息包括停车线、路标和/或减速带；
图像分割子模块，用于基于所述语义信息，对所述鸟瞰图进行图像分割；
变换子模块，用于根据所述位姿信息，将图像分割后的鸟瞰图进行高维变换，得到所述停车场的语义地图。
在一种可能的实现方式中，所述语义信息还包括停车位信息，所述语义信息确定子模块，还包括：
检测单元，用于通过霍夫变换和直线聚类方法检测停车线标线和停车线拐角；
停车位信息确定单元，用于根据所述停车线标线和所述停车线拐角，确定所述停车场的停车位信息。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述得比较简单，相关之处参见方法实施例部分的说明即可。
图7为本申请一实施例提供的车载终端的结构示意图。如图7所示，该实施例的车载终端7包括：至少一个处理器70(图7中仅示出一个)处理器、存储器71以及存储在所述存储器71中并可在所述至少一个处理器70上运行的计算机程序72，所述处理器70执行所述计算机程序72时实现上述任意各个方法实施例中的步骤。
所述车载终端7可以是安装在车辆上的计算设备。该车载终端可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图7仅仅是车载终端7的举例，并不构成对车载终端7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器70可以是中央处理单元(Central Processing Unit，CPU)，该处理器70还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器71在一些实施例中可以是所述车载终端7的内部存储单元，例如车载终端7的硬盘或内存。所述存储器71在另一些实施例中也可以是所述车载终端7的外部存储设备，例如所述车载终端7上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器71还可以既包括所述车载终端7的内部存储单元也包括外部存储设备。所述存储器71用于存储操作***、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在车载终端上运行时，使得车载终端执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到车载终端的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/车载终端和方法，可以通过其它的方式实现。例如，以上所描述的装置/车载终端实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制。尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (10)
1.一种停车场地图的构建方法，其特征在于，包括：
根据在行车过程中采集到的视频数据和惯性测量数据确定车辆的位姿信息，所述视频数据通过安装在所述车辆上的环视鱼眼相机采集得到；所述惯性测量数据通过安装在所述车辆上的惯性测量单元采集得到；
基于所述位姿信息，建立停车场的特征点地图；
通过采集到的所述停车场的鱼眼图像建立所述停车场的鸟瞰图，所述鱼眼图像通过安装在所述车辆上的多个环视鱼眼相机采集得到；
根据所述位姿信息和所述鸟瞰图，建立所述停车场的语义地图，所述语义地图与所述特征点地图共同用于所述车辆在所述停车场中的自主泊车。
2.如权利要求1所述的构建方法，其特征在于，所述根据在行车过程中采集到的视频数据和惯性测量数据确定车辆的位姿信息，包括：
根据所述车辆驶入所述停车场入口时采集到的视频帧和惯性测量数据，确定所述车辆的初始位姿；
在车辆行驶过程中，基于实时采集到的视频数据和所述初始位姿对所述车辆进行跟踪匹配，得到所述车辆实时的位姿信息。
3.如权利要求2所述的构建方法，其特征在于，所述根据所述车辆驶入所述停车场入口的视频帧和所述车辆驶入所述停车场入口时的惯性测量数据，确定所述车辆的初始位姿，包括：
从所述车辆驶入所述停车场入口时采集到的视频帧中确定初始化视频帧，所述初始化视频帧与所述初始化视频帧的下一个相邻视频帧中包括至少预设数量的匹配特征点；所述初始化视频帧与所述初始化视频帧的上一个相邻视频帧中的匹配特征点未达到所述预设数量；
基于所述车辆驶入所述停车场入口时的惯性测量数据，确定所述车辆对应的初始位置和初始速度；
采用所述初始位置和所述初始速度确定所述车辆在所述初始化视频帧中的初始位姿。
4.如权利要求3任一项所述的构建方法，其特征在于，所述基于所述位姿信息，建立所述停车场的特征点地图，包括：
基于所述初始化视频帧建立世界坐标系；
从所述视频数据中确定与当前视频帧具有预设数量的相同的所述匹配特征点的局部关键帧；所述局部关键帧用于对所述当前视频帧的视野图像进行补充；
从所述局部关键帧和所述当前视频帧中确定多个目标特征点，所述目标特征点为包含在所述车辆当前的视野范围内的特征点；
根据当前位姿和所述初始位姿，将所述目标特征点变换到所述世界坐标系中，得到所述车辆当前的特征点地图；
将所述车辆在每个视频帧中对应的当前的特征点地图进行匹配和拼接，建立所述停车场的全局特征点地图。
5.如权利要求1所述的构建方法，其特征在于，所述通过采集到的所述停车场的鱼眼图像建立所述停车场的鸟瞰图，包括：
获取多个所述环视鱼眼相机采集到的多个鱼眼图像；多个所述环视鱼眼相机分别安装在所述车辆的前侧、后侧、左侧和右侧；根据多个所述鱼眼图像的特征点，对多个所述鱼眼图像进行图像配准和图像拼接，生成所述停车场的鸟瞰图。
6.如权利要求1或5所述的构建方法，其特征在于，所述基于所述位姿信息和所述鸟瞰图，建立所述停车场的语义地图，包括：
从所述鸟瞰图中确定所述停车场的语义信息，所述语义信息包括停车线、路标和/或减速带；
基于所述语义信息，对所述鸟瞰图进行图像分割；
根据所述位姿信息，将图像分割后的鸟瞰图进行高维变换，得到所述停车场的语义地图。
7.如权利要求6所述的构建方法，其特征在于，所述语义信息还包括停车位信息，所述从所述鸟瞰图中确定所述停车场的语义信息，还包括：
通过霍夫变换和直线聚类方法检测停车线标线和停车线拐角；
根据所述停车线标线和所述停车线拐角，确定所述停车场的停车位信息。
8.一种停车场地图的构建装置，其特征在于，包括：
位姿信息确定模块，用于根据在行车过程中采集到的视频数据和惯性测量数据确定车辆的位姿信息，所述视频数据通过安装在所述车辆上的环视鱼眼相机采集得到；所述惯性测量数据通过安装在所述车辆上的惯性测量单元采集得到；
第一建图模块，用于基于所述位姿信息，建立停车场的特征点地图；
鸟瞰图建立模块，用于通过采集到的所述停车场的鱼眼图像建立所述停车场的鸟瞰图，所述鱼眼图像通过安装在所述车辆上的多个环视鱼眼相机采集得到；
第二建图模块，用于根据所述位姿信息和所述鸟瞰图，建立所述停车场的语义地图，所述语义地图与所述特征点地图共同用于所述车辆在所述停车场中的自主泊车。
9.一种车载终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述的构建方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的构建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211045730.4A CN117664098A (zh) | 2022-08-30 | 2022-08-30 | 停车场地图的构建方法、装置、车载终端及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211045730.4A CN117664098A (zh) | 2022-08-30 | 2022-08-30 | 停车场地图的构建方法、装置、车载终端及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117664098A true CN117664098A (zh) | 2024-03-08 |
Family
ID=90075677
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211045730.4A Pending CN117664098A (zh) | 2022-08-30 | 2022-08-30 | 停车场地图的构建方法、装置、车载终端及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117664098A (zh) |
-
2022
- 2022-08-30 CN CN202211045730.4A patent/CN117664098A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7009716B2 (ja) | 自律車両ナビゲーションのための疎な地図 | |
| CN109186586B (zh) | 一种面向动态泊车环境的同时定位及混合地图构建方法 | |
| US11024055B2 (en) | Vehicle, vehicle positioning system, and vehicle positioning method | |
| CN111448478B (zh) | 用于基于障碍物检测校正高清地图的***和方法 | |
| US11670087B2 (en) | Training data generating method for image processing, image processing method, and devices thereof | |
| JP5714940B2 (ja) | 移動***置測定装置 | |
| EP3647734A1 (en) | Automatic generation of dimensionally reduced maps and spatiotemporal localization for navigation of a vehicle | |
| EP3842751B1 (en) | System and method of generating high-definition map based on camera | |
| CN111986506A (zh) | 基于多视觉***的机械式停车位泊车方法 | |
| CN108877269A (zh) | 一种交叉路口车辆状态检测及v2x广播方法 | |
| CN114419098A (zh) | 基于视觉变换的运动目标轨迹预测方法及装置 | |
| CN110780287A (zh) | 基于单目相机的测距方法及测距*** | |
| Gressenbuch et al. | Mona: The munich motion dataset of natural driving | |
| CN111539305B (zh) | 一种地图构建方法及***、车辆及存储介质 | |
| CN117664098A (zh) | 停车场地图的构建方法、装置、车载终端及介质 | |
| CN116892949A (zh) | 地上物检测装置、地上物检测方法以及地上物检测用计算机程序 | |
| CN116524454A (zh) | 物体追踪装置、物体追踪方法及存储介质 | |
| CN116917936A (zh) | 双目相机外参标定的方法及装置 | |
| Broggi et al. | Applications of Computer Vision to Vehicles: An Extreme Test. | |
| Huang et al. | Autonomous Vehicles Localisation Based on Semantic Map Matching Method | |
| WO2021052810A1 (en) | Method for determining a model of a traffic barrier | |
| WO2020073268A1 (en) | Snapshot image to train roadmodel | |
| CN117470258A (zh) | 一种地图构建方法、装置、设备及介质 | |
| WO2020073270A1 (en) | Snapshot image of traffic scenario | |
| CN117911558A (zh) | 机动车记忆泊车建图方法、装置及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination |