CN116612190A - 车辆的定位方法、装置、车辆及存储介质 - Google Patents
车辆的定位方法、装置、车辆及存储介质 Download PDFInfo
- Publication number
- CN116612190A CN116612190A CN202310577629.1A CN202310577629A CN116612190A CN 116612190 A CN116612190 A CN 116612190A CN 202310577629 A CN202310577629 A CN 202310577629A CN 116612190 A CN116612190 A CN 116612190A
- Authority
- CN
- China
- Prior art keywords
- semantic
- ground
- vehicle
- features
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000003860 storage Methods 0.000 title claims abstract description 10
- 230000011218 segmentation Effects 0.000 claims abstract description 19
- 239000013598 vector Substances 0.000 claims description 25
- 238000005070 sampling Methods 0.000 claims description 13
- 238000009826 distribution Methods 0.000 claims description 11
- 238000009434 installation Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 239000007787 solid Substances 0.000 claims description 5
- 238000005520 cutting process Methods 0.000 claims description 3
- 230000004807 localization Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000004422 calculation algorithm Methods 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 238000010276 construction Methods 0.000 description 7
- 230000004927 fusion Effects 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000003491 array Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 229920001983 poloxamer Polymers 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请涉及车辆技术领域，特别涉及一种车辆的定位方法、装置、车辆及存储介质，其中，方法包括：语义分割全景图像得到地面语义特征和空间语义特征，将空间语义特征投影至三维投影平面得到空间特征，并将地面语义特征投影至地面投影平面得到地面特征；对多帧全景图像的地面特征和空间特征分别进行跟踪和融合得到地面语义特征对象和空间语义特征对象，基于地面语义特征对象和空间语义特征对象构建语义地图，利用语义地图和车辆当前所处区域的地面语义特征对象和空间语义特征对象定位车辆的当前位置。由此，解决了相关技术中，自动泊车环境感知不敏感，位姿估计不稳定，全局定位不精确，使得用户使用时体验较差等问题。
Description
技术领域
本申请涉及车辆技术领域，特别涉及一种车辆的定位方法、装置、车辆及存储介质。
背景技术
定位功能是自动泊车的一项重要组成部分，由于泊车场景通常比较狭窄、复杂，使得车辆感知自身位姿的准确性，影响着规控模块计算行驶路线的准确性和合理性。
相关技术中使用一种以相机、毫米波、激光雷达、超声波、IMU(InertialMeasurement Unit，惯性测量单元)、轮速计作为传感器组合的方法，但其中里程计分存在累积误差，激光雷达匹配算法计算量较大、重定位速度慢、成本较高、普及度差。
相关技术中还可以使用一种视觉定位算法，通常分为基于特征点的定位算法和基于视觉语义的定位算法，其中，基于特征点的算法采用前视或者后视相机，易受干扰、稳定性差；基于语义的视觉定位算法采用环视相机采集图像，通过环视拼接、语义分割获得场景语义特征，特征较少，重定位范围局限。
发明内容
本申请提供一种车辆的定位方法、装置、车辆及存储介质，以解决相关技术中，自动泊车环境感知不敏感，位姿估计不稳定，全局定位不精确，使得用户使用时体验较差等问题。
本申请第一方面实施例提供一种车辆的定位方法，包括以下步骤：获取车辆周围的全景图像；语义分割所述全景图像得到地面语义特征和空间语义特征，根据所述车辆的位姿状态和所述全景图像对空间点进行深度估计得到深度估计信息；根据所述深度估计信息确定三维投影平面，将所述空间语义特征投影至所述三维投影平面得到空间特征，并将所述地面语义特征投影至地面投影平面得到地面特征；对多帧全景图像的地面特征和空间特征分别进行跟踪和融合得到地面语义特征对象和空间语义特征对象，基于所述地面语义特征对象和所述空间语义特征对象构建语义地图，利用所述语义地图和所述车辆当前所处区域的地面语义特征对象和空间语义特征对象定位所述车辆的当前位置。
根据上述技术手段，本申请实施例可以依靠车体四周的采集设备感知全景图像，从全景图上提取关键语义信息，由深度信息构建场景立体投影平面，将语义信息关联、投影至预测的平面形成语义对象，通过对语义对象的跟踪和优化生成全局地图的语义特征对象，语义特征更稳定，特征元素更完整，特征对象匹配速度更快成功率更高，从而通过空间和地面的语义特征构建语义地图进行定位，由于充分考虑空间物体对于定位的帮助，因此可以提升车辆定位的准确性，且可以用于封闭空间内的定位，当应用于自动泊车的场景中时，可以使得自动泊车方案更加智能可靠，提升用户使用体验。
可选地，所述根据所述车辆的位姿状态和所述全景图像对空间点进行深度估计得到深度估计信息，包括：识别所述全景图像中所述车辆周围的实体与地面的接地线；将所述接地线投影至所述地面投影平面，得到所述接地线在所述地面投影平面的分布坐标，根据所述分布坐标在三维空间中构建空间直线，得到沿着所述接地线的多根直线；利用所述多根直线上随机采样的点拟合得到一个或多个拟合平面，保留所述一个或多个拟合平面中面积大于预设面积的拟合平面，并结合空间中的离散点的深度估计结果，得到所述空间点的深度估计信息。
根据上述技术手段，本申请实施例可以通过对全景图像的语义分割，得到其地面语义特征和空间语义特征，再根据车辆的位姿状态和获取的全景图像对空间点进行深度估计，得到深度估计信息，降低噪声对深度估计的影响，提升深度估计稳定性，进而提高拟合平面的稳定性，减少误差。
可选地，所述将所述空间语义特征投影至所述三维投影平面得到空间特征，包括：识别所述空间语义特征中的移动物体特征；过滤所述空间语义特征中的所述移动物体特征，并结合所述深度估计信息，将所述空间语义特征中的空间点关联至距离最近的拟合平面；将所述空间点距离所述拟合平面的距离和所述空间点的类别作为所述空间特征，并在遍历所有空间点后，得到所述所有空间点的空间特征。
根据上述技术手段，本申请实施例可以有效保留空间中的语义特殊元素，提高语义特征稳定性，改善匹配速度和成功率，提高方案智能性，提升用户使用体验。
可选地，所述对多帧全景图像的地面特征和空间特征分别进行跟踪和融合得到地面语义特征对象和空间语义特征对象，包括：获取所述车辆的运动方向上基于全景图像创建的拟合平面；在拟合平面的接地线外侧构建一个绑定框，以第一帧的拟合平面为搜索起点，搜索相邻帧的绑定框相似度大于预设阈值的拟合平面，得到关联平面；融合所述关联平面上相同的空间特征，并更新新增空间特征，搜索所述关联平面的边界范围，沿着所述边界范围裁剪，在迭代优化的次数大于预设次数后，得到所述空间语义特征对象。
根据上述技术手段，本申请实施例可以引入特征对象，即先将投影后的语义点进行聚类构建成单次观测的对象，然后对多次观测到的对象进行跟踪和融合，得到一个可以稳定表示的语义特征对象，由此，本申请实施例可以提升稳定性，改善特征匹配速度和成功率，提高方案智能性，提升用户使用体验。
可选地，所述将所述地面语义特征投影至地面投影平面得到地面特征，包括：将所述地面语义特征投影投至所述地面投影平面，得到地面的语义信息；识别所述语义信息的地面元素，根据所述地面元素构建特征区域，间隔预设距离构建一个特征区域，利用所述特征区域的地面元素计算得到所述地面特征。
根据上述技术手段，本申请实施例可以增强语义特征的抗干扰性和稳定性，降低语义处理的复杂性，快速稳定实现对语义特征的计算提取。
可选地，所述对多帧全景图像的地面特征和空间特征分别进行跟踪和融合得到地面语义特征对象和空间语义特征对象，包括：匹配每个地面特征的采样框；合并相同位置的采样框，并融合相同的地面元素，得到所述地面语义特征对象。
根据上述技术手段，本申请实施例可以通过将特征投影或者关联至平面并将特征聚类，有利于特征的跟踪和融合，为创建场景中全向特征对象提供了可能。
可选地，所述基于所述地面语义特征对象和所述空间语义特征对象构建语义地图，包括：将所述空间语义特征对象按照位置高度进行排列，将排列后的特征压缩编码得到空间特征向量；按照区域将所述地面语义特征对象进行拼接，将拼接后的特征压缩编码得到地面特征向量；根据预先构建的拓扑道路，识别同一路段的所述空间特征向量和所述地面特征向量，并按照路段顺序进行排列得到路段的特征序列，基于所有路段的特征序列构建所述语义地图。
根据上述技术手段，本申请实施例可以使用特征对象进行定位，构建语义地图，得到更精准完善的地图，提升匹配速度，提高匹配成功率，使得泊车方案更精确可靠。
可选地，所述利用所述语义地图和所述车辆当前所处区域的地面语义特征对象和空间语义特征对象定位所述车辆的当前位置，包括：根据所述车辆当前所处区域的地面语义特征对象和空间语义特征对象从所述语义地图上确定一个或多个候选区域；将所述当前所处区域与所述候选区域进行特征匹配，将匹配点最多的候选区域作为匹配区域，根据所述匹配区域在所述语义地图上的位置确定所述车辆的当前位置。
根据上述技术手段，本申请实施例可以使用特征对象进行定位，使得定位更精确，定位匹配效率提升，节省方案执行时间，提升泊车智能性，提高用户使用体验。
可选地，所述获取车辆周围的全景图像，包括：同时触发所述车辆上多个采集设备，根据所述多个采集设备采集的图像生成所述全景图像，其中，所述多个采集设备的安装高度一致。
根据上述技术手段，本申请实施例可以通过对多个采集设备安装高度的统一控制，减少采集误差，充分利用采集设备的采集范围，降低成本，确保特征的丰富度和定位的可靠性。
可选地，所述三维投影平面为所述车辆周围的实体平面。
根据上述技术手段，本申请实施例可以优先选择场景中立柱和墙面作为投影面而不是通常的人为设计的虚拟平面，提高了不同时间下平面创建的一致性，有效提升建图和定位时语义对象构建的环境覆盖度和全面性，而且有助于语义特征在多帧下跟踪和融合。
本申请第二方面实施例提供一种车辆的定位装置，包括：获取模块，用于获取车辆周围的全景图像；预估模块，用于语义分割所述全景图像得到地面语义特征和空间语义特征，根据所述车辆的位姿状态和所述全景图像对空间点进行深度估计得到深度估计信息；投影模块，用于根据所述深度估计信息确定三维投影平面，将所述空间语义特征投影至所述三维投影平面得到空间特征，并将所述地面语义特征投影至地面投影平面得到地面特征；以及定位模块，用于对多帧全景图像的地面特征和空间特征分别进行跟踪和融合得到地面语义特征对象和空间语义特征对象，基于所述地面语义特征对象和所述空间语义特征对象构建语义地图，利用所述语义地图和所述车辆当前所处区域的地面语义特征对象和空间语义特征对象定位所述车辆的当前位置。
可选地，所述预估模块进一步用于：识别所述全景图像中所述车辆周围的实体与地面的接地线；将所述接地线投影至所述地面投影平面，得到所述接地线在所述地面投影平面的分布坐标，根据所述分布坐标在三维空间中构建空间直线，得到沿着所述接地线的多根直线；利用所述多根直线上随机采样的点拟合得到一个或多个拟合平面，保留所述一个或多个拟合平面中面积大于预设面积的拟合平面，并结合空间中的离散点的深度估计结果，得到所述空间点的深度估计信息。
可选地，所述投影模块进一步用于：识别所述空间语义特征中的移动物体特征；过滤所述空间语义特征中的所述移动物体特征，并结合所述深度估计信息，将所述空间语义特征中的空间点关联至距离最近的拟合平面；将所述空间点距离所述拟合平面的距离和所述空间点的类别作为所述空间特征，并在遍历所有空间点后，得到所述所有空间点的空间特征。
可选地，所述定位模块进一步用于：获取所述车辆的运动方向上基于全景图像创建的拟合平面；在拟合平面的接地线外侧构建一个绑定框，以第一帧的拟合平面为搜索起点，搜索相邻帧的绑定框相似度大于预设阈值的拟合平面，得到关联平面；融合所述关联平面上相同的空间特征，并更新新增空间特征，搜索所述关联平面的边界范围，沿着所述边界范围裁剪，在迭代优化的次数大于预设次数后，得到所述空间语义特征对象。
可选地，所述投影模块进一步用于：将所述地面语义特征投影投至所述地面投影平面，得到地面的语义信息；识别所述语义信息的地面元素，根据所述地面元素构建特征区域，间隔预设距离构建一个特征区域，利用所述特征区域的地面元素计算得到所述地面特征。
可选地，所述定位模块进一步用于：匹配每个地面特征的采样框；合并相同位置的采样框，并融合相同的地面元素，得到所述地面语义特征对象。
可选地，所述定位模块进一步用于：将所述空间语义特征对象按照位置高度进行排列，将排列后的特征压缩编码得到空间特征向量；按照区域将所述地面语义特征对象进行拼接，将拼接后的特征压缩编码得到地面特征向量；根据预先构建的拓扑道路，识别同一路段的所述空间特征向量和所述地面特征向量，并按照路段顺序进行排列得到路段的特征序列，基于所有路段的特征序列构建所述语义地图。
可选地，所述定位模块进一步用于：根据所述车辆当前所处区域的地面语义特征对象和空间语义特征对象从所述语义地图上确定一个或多个候选区域；将所述当前所处区域与所述候选区域进行特征匹配，将匹配点最多的候选区域作为匹配区域，根据所述匹配区域在所述语义地图上的位置确定所述车辆的当前位置。
可选地，所述获取模块进一步用于：同时触发所述车辆上多个采集设备，根据所述多个采集设备采集的图像生成所述全景图像，其中，所述多个采集设备的安装高度一致。
可选地，所述三维投影平面为所述车辆周围的实体平面。
本申请第三方面实施例提供一种车辆，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的车辆的定位方法。
本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的车辆的定位方法。
由此，本申请至少具有如下有益效果：
(1)本申请实施例可以依靠车体四周的采集设备感知全景图像，从全景图上提取关键语义信息，由深度信息构建场景立体投影平面，将语义信息关联、投影至预测的平面形成语义对象，通过对语义对象的跟踪和优化生成全局地图的语义特征对象，语义特征更稳定，特征元素更完整，特征对象匹配速度更快成功率更高，从而通过空间和地面的语义特征构建语义地图进行定位，由于充分考虑空间物体对于定位的帮助，因此可以提升车辆定位的准确性,且可以用于封闭空间内的定位，当应用于自动泊车的场景中时，可以使得自动泊车方案更加智能可靠，提升用户使用体验；
(2)本申请实施例可以通过对全景图像的语义分割，得到其地面语义特征和空间语义特征，再根据车辆的位姿状态和获取的全景图像对空间点进行深度估计，得到深度估计信息，降低噪声对深度估计的影响，提升深度估计稳定性，进而提高拟合平面的稳定性，减少误差；
(3)本申请实施例可以有效保留空间中的语义特殊元素，提高语义特征稳定性，改善匹配速度和成功率，提高方案智能性，提升用户使用体验；
(4)本申请实施例可以引入特征对象，即先将投影后的语义点进行聚类构建成单次观测的对象，然后对多次观测到的对象进行跟踪和融合，得到一个可以稳定表示的语义特征对象，由此，本申请实施例可以提升稳定性，改善特征匹配速度和成功率，提高方案智能性，提升用户使用体验；
(5)本申请实施例可以增强语义特征的抗干扰性和稳定性，降低语义处理的复杂性，快速稳定实现对语义特征的计算提取；
(6)本申请实施例可以通过将特征投影或者关联至平面并将特征聚类，有利于特征的跟踪和融合，为创建场景中全向特征对象提供了可能；
(7)本申请实施例可以使用特征对象进行定位，构建语义地图，得到更精准完善的地图，提升匹配速度，提高匹配成功率，使得泊车方案更精确可靠；
(8)本申请实施例可以使用特征对象进行定位，使得定位更精确，定位匹配效率提升，节省方案执行时间，提升泊车智能性，提高用户使用体验；
(9)本申请实施例可以通过对多个采集设备安装高度的统一控制，减少采集误差，充分利用采集设备的采集范围，降低成本，确保特征的丰富度和定位的可靠性；
(10)本申请实施例可以优先选择场景中立柱和墙面作为投影面而不是通常的人为设计的虚拟平面，提高了不同时间下平面创建的一致性，有效提升建图和定位时语义对象构建的环境覆盖度和全面性，而且有助于语义特征在多帧下跟踪和融合。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
图1为根据本申请实施例提供的车辆的定位方法的流程图；
图2为根据本申请实施例提供的全景投影示意图；
图3为根据本申请实施例提供的全景建图详细流程图；
图4为根据本申请实施例提供的车辆的定位装置的示例图；
图5为根据本申请实施例提供的车辆的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
相关技术中，地下停车场视觉定位算法通常有基于特征和基于语义两种。
基于特征的算法可以采用前视或者后视相机，由单目相机进行建图。基于单目相机的视觉定位算法存在如下几个问题：(1)当车辆沿某个方向进入一个新场景，光照发生突变，相机会存在动态调整过程，导致前后帧的特征点无法正确匹配，位姿估计会出现较大的偏差；(2)在环境昏暗场景下，单目相机可能会无法匹配足够多的特征点导致定位失败；(3)单目相机只能观测一个方向的特征，因此建图和定位时相机需要有相同的朝向，如果车辆以不同行驶方向经过同一路段，建图时需要构建两条包含不同方向特征点的轨迹，由于每条轨迹只有一个方向的特征，由于累积误差，两条轨迹可能存在较大的偏差。
基于语义定位算法可以采用环视相机采集图像，通过环视拼接、语义分割，获得场景语义特征。相关算法中地面特征只包含车道线、减速带、库位线等，地面语义比较稀疏，每次观测包含有语义特征较少；一般情况下，地面的库位、车道线相似性较高，在定位期间，通过语义特征来搜寻匹配地图上的特征会得到很多的结果，无法完成定位初始化。
下面参考附图描述本申请实施例的车辆的定位方法、装置、车辆及存储介质。
具体而言，图1为本申请实施例所提供的一种车辆的定位方法的流程示意图。
如图1所示，该车辆的定位方法包括以下步骤：
在步骤S101中，获取车辆周围的全景图像。
可以理解的是，本申请实施例可以首先获取车辆周围的全景图像，以便于后续步骤中对图像的分割，其中，本申请实施例的全景投影示意图可以如图2所示；且本申请实施例可以通过至少一种方式获取车辆周围的全景图像，对此不做具体限定。
作为一种可能实现的方式，获取车辆周围的全景图像，包括：同时触发车辆上多个采集设备，根据多个采集设备采集的图像生成全景图像。
其中，多个采集设备的安装高度一致；多个采集设备可以根据实际情况进行设置和选用，且多个采集设备的获取范围可以覆盖车身周围全部场景，比如可以设置前视相机、后视相机、左右视相机等，对此不做具体限定。
可以理解的是，本申请实施例可以通过对多个采集设备安装高度的统一控制，减少采集误差，充分利用采集设备的采集范围，降低成本。例如，本申请实施例可以在车身四周安装4个高度一致的鱼眼相机作为采集设备，其中，4个鱼眼相机可以作为车辆的前视相机、后视相机及左、右侧相机，本申请实施例可以通过4个鱼眼相机同时触发拍摄覆盖车身周围场景的照片，实现对车辆周围场景的获取。
在步骤S102中，语义分割全景图像得到地面语义特征和空间语义特征，根据车辆的位姿状态和全景图像对空间点进行深度估计得到深度估计信息。
其中，地面语义特征可以包括深度学***面，将在下文实施例中详细阐述，此处不再赘述；深度估计信息可以是语义特征与车身实际位姿距离的估计值，可以通过至少一种方式计算得到，对此不做具体限定。
可以理解的是，本申请实施例可以通过至少一种方式实现对全景图像的语义分割，对此不做具体限定。例如，本申请实施例可以使用一种模型分割的方式实现对全景图想的语义分割：本申请实施例可以将每个相机采集的图像依次输入到基于UNet(一个包含4层降采样、4层升采样和类似跳跃连接结构的全卷积网络)改进的网络模型中，得到对步骤S101中获取的全景图像的语义分割结果，并结合上述步骤中多个采集设备的设备信息，将非地面元素的语义分割结果与地面的语义特征分离，分别作为空间和地面的特征。
在本申请实施例中，根据车辆的位姿状态和全景图像对空间点进行深度估计得到深度估计信息，包括：识别全景图像中车辆周围的实体与地面的接地线；将接地线投影至地面投影平面，得到接地线在地面投影平面的分布坐标，根据分布坐标在三维空间中构建空间直线，得到沿着接地线的多根直线；利用多根直线上随机采样的点拟合得到一个或多个拟合平面，保留一个或多个拟合平面中面积大于预设面积的拟合平面，并结合空间中的离散点的深度估计结果，得到空间点的深度估计信息。
可以理解的是，本申请实施例可以通过对全景图像的语义分割，得到其地面语义特征和空间语义特征，再根据车辆的位姿状态和获取的全景图像对空间点进行深度估计，得到深度估计信息，降低噪声对深度估计的影响，提升深度估计稳定性，进而提高拟合平面的稳定性，减少误差。
具体而言，本申请实施例可以通过上述标定的外部参考对地面的语义区域做IPM(Inverse Perspective Mapping，逆透视变换)逆投影，得到地面点的深度信息，并通过平面拟合由投影的地面点拟合出地平面；由语义分割检测得到墙面与地面的接地线，通过逆投影将接地线投影至地平面，得到接地线在地面的分布坐标；在3D(3Dimension，三维)空间中构建穿过这些坐标点，用plucker(普吕克坐标)坐标系表示的空间直线，得到沿着接地线的多根直线；再在上述这些直线上随机取一些点，然后采用ransc(Random SampleConsensus，随机抽样一致算法)拟合出多个最优平面，保留面积最大的平面，其余保留直线；通过车辆的运动，进行帧间光流跟踪，得到空间中的离散点的深度估计，结合接地线拟合的平面，将出现在平面后方的深度点滤除，保留剩余点。至此，完成单帧深度估计和平面拟合。
需要说明的是，在对车辆的位姿状态和全景图像对空间点进行深度估计时，为了对深度估计中的尺度进行约束和优化，减少误差，本申请实施例还可以进行航迹推算，其中，航迹推算可以通过至少一种方式实现，对此不做具体限定。例如，本申请实施例可以使用一种航迹推算的方式：首先使用imu和轮速计作为输入，再对imu的加速度和角速度测量值，在去除初始零偏后进行融合积分；构建车***姿的误差状态空间，包含位姿误差和零偏误差项；使用重力和轮速对位姿的误差状态进行预测和更新，通过迭代更新得到位姿和零偏的误差估计；将预测得到的位姿与轮速整合，积分得到车体的平移量；使用平移量对深度估计中的尺度进行约束和优化。
在步骤S103中，根据深度估计信息确定三维投影平面，将空间语义特征投影至三维投影平面得到空间特征，并将地面语义特征投影至地面投影平面得到地面特征。
其中，本申请实施例的三维投影平面为车辆周围的实体平面。
可以理解的是，本申请实施例可以由深度信息构建场景立体投影平面，将语义信息关联、投影至预测的平面形成语义对象，通过对语义对象的跟踪和优化生成全局地图的语义特征对象，增强语义特征的抗干扰性和稳定性，降低语义处理的复杂性，快速稳定实现对语义特征的计算提取。
在本申请实施例中，将空间语义特征投影至三维投影平面得到空间特征，包括：识别空间语义特征中的移动物体特征；过滤空间语义特征中的移动物体特征，并结合深度估计信息，将空间语义特征中的空间点关联至距离最近的拟合平面；将空间点距离拟合平面的距离和空间点的类别作为空间特征，并在遍历所有空间点后，得到所有空间点的空间特征。
可以理解的是，本申请实施例可以将如步骤S102的非地面的语义元素排除掉移动物体对应的元素后，结合点的深度估计信息，将点关联至最近的拟合平面上；取点到平面距离和点的类别作为点的空间特征；遍历所有空间点后，得到有效点关于关联平面的特征向量；将上述特征向量保存至平面的描述子队列中，即可作为此平面的特征矩阵。由此，本申请实施例可以有效保留空间中的语义特殊元素，提高语义特征稳定性，改善匹配速度和成功率。
在本申请实施例中，将地面语义特征投影至地面投影平面得到地面特征，包括：将地面语义特征投影投至地面投影平面，得到地面的语义信息；识别语义信息的地面元素，根据地面元素构建特征区域，间隔预设距离构建一个特征区域，利用特征区域的地面元素计算得到地面特征。
其中，预设距离可以根据实际情况进行标定，比如标定为1米等，对此不做具体限定；例如，本申请实施例可以将地面的语义元素直接根据标定的外参通过IPM逆投影投至地面上，得到地面的语义信息；接着采用道路的方向作为主方向，每个固定距离构建一个特征区域，取区域中的地面元素计算得到地面特征。
可以理解的是，本申请实施例可以继续根据地面语义信息构建包含地面语义元素的地面语义特征区域，利用该区域计算地面元素以得到地面特征，增强语义特征的抗干扰性和稳定性，降低语义处理的复杂性，快速稳定实现对语义特征的计算提取。
在步骤S104中，对多帧全景图像的地面特征和空间特征分别进行跟踪和融合得到地面语义特征对象和空间语义特征对象，基于地面语义特征对象和空间语义特征对象构建语义地图，利用语义地图和车辆当前所处区域的地面语义特征对象和空间语义特征对象定位车辆的当前位置。
可以理解的是，本申请实施例可以在得到空间特征和地面特征后，通过对语义对象的跟踪和优化生成全局地图的语义特征对象，使得语义特征更稳定，特征元素更完整，特征对象匹配速度更快成功率更高，从而通过空间和地面的语义特征构建语义地图进行定位，由于充分考虑空间物体对于定位的帮助，因此可以提升车辆定位的准确性,且可以用于封闭空间内的定位，当应用于自动泊车的场景中时，可以使得自动泊车方案更加智能可靠，提升用户使用体验。
在本申请实施例中，对多帧全景图像的地面特征和空间特征分别进行跟踪和融合得到地面语义特征对象和空间语义特征对象的内容具体如下：
(1)获取空间语义特征对象：
在本申请实施例中，对多帧全景图像的地面特征和空间特征分别进行跟踪和融合得到地面语义特征对象和空间语义特征对象，包括：获取车辆的运动方向上基于全景图像创建的拟合平面；在拟合平面的接地线外侧构建一个绑定框，以第一帧的拟合平面为搜索起点，搜索相邻帧的绑定框相似度大于预设阈值的拟合平面，得到关联平面；融合关联平面上相同的空间特征，并更新新增空间特征，搜索关联平面的边界范围，沿着边界范围裁剪，在迭代优化的次数大于预设次数后，得到空间语义特征对象。
其中，对拟合平面的获取可以如步骤S103所示；本申请实施例的预设阈值、预设此时可以根据实际情况进行设置，对此不做具体限定。
需要说明的是，本申请实施例对绑定框的搜索匹配可以使用至少一种方式实现，比如本申请实施例可以构建相似度度量函数、使用匈牙利匹配算法进行搜索匹配，对此不做具体限定。
具体而言，本申请实施例可以将由第一帧全景图像创建的特征平面作为基准，然后结合车辆运动，在后续帧的临近区域搜寻相对应的特征平面，将特征平面的接地线外侧构建一个绑定框，搜索匹配前后帧的绑定框。当得到完成匹配的特征平面后，优化其平面方程，然后对其中的关联特征队列进行匹配，将同一平面上描述子一致的特征进行融合、更新，如果有新增的特征点，则添加至此特征队列中。然后搜索平面的边界范围，将平面裁剪成矩形区域。当多次迭代优化后，完成对空间语义特征对象的获取。
可以理解的是，本申请实施例可以引入特征对象，即先将投影后的语义点进行聚类构建成单次观测的对象，然后对多次观测到的对象进行跟踪和融合，得到一个可以稳定表示的语义特征对象，由此，本申请实施例可以提升稳定性，改善特征匹配速度和成功率，提高方案智能性，提升用户使用体验。
(2)获取地面语义特征对象：
在本申请实施例中，对多帧全景图像的地面特征和空间特征分别进行跟踪和融合得到地面语义特征对象和空间语义特征对象，包括：匹配每个地面特征的采样框；合并相同位置的采样框，并融合相同的地面元素，得到地面语义特征对象。
其中，对于相同地面元素的融合可以使用至少一种方式实现，比如可以使用计算的方式进行融合等，对此不做具体限定。
可以理解的是，对于地面特征，本申请实施例可以匹配地面特征的对应采样框，将相同位置的采样框进行合并，融合语义元素，得到语义特征对象，再通过将特征投影或者关联至平面并将特征聚类，有利于特征的跟踪和融合，为创建场景中全向特征对象提供了可能，应用于自动泊车的场景中时，可以使得自动泊车变得更加可靠。
在本申请实施例中，基于地面语义特征对象和空间语义特征对象构建语义地图，包括：将空间语义特征对象按照位置高度进行排列，将排列后的特征压缩编码得到空间特征向量；按照区域将地面语义特征对象进行拼接，将拼接后的特征压缩编码得到地面特征向量；根据预先构建的拓扑道路，识别同一路段的空间特征向量和地面特征向量，并按照路段顺序进行排列得到路段的特征序列，基于所有路段的特征序列构建语义地图。
其中，本申请实施例可以使用至少一种方式对特征进行编码，比如可以使用一种基于变分自编码器设计的模型进行编码等，对此不做具体限定。
可以理解的是，本申请实施例可以使用特征对象进行定位，构建语义地图，得到更精准完善的地图，提升匹配速度，提高匹配成功率，使得泊车方案更精确可靠。
具体而言，本申请实施例可以在车辆经过完整的建图区域后，构建出一个包含语义特征对象的地图。首先把投影在特征平面中的语义向量按照位置的高低由下至上排列，将这些语义特征进一步压缩编码得到特征向量；对于地面特征，进行压缩编码。将一定区域中的特征拼装在一起，得到区域的特征对象。按照构建的拓扑道路，将同一路段的特征按照顺序排列，得到路段的特征序列，所有路段的特征序列构成场景的特征地图。
在本申请实施例中，利用语义地图和车辆当前所处区域的地面语义特征对象和空间语义特征对象定位车辆的当前位置，包括：根据车辆当前所处区域的地面语义特征对象和空间语义特征对象从语义地图上确定一个或多个候选区域；将当前所处区域与候选区域进行特征匹配，将匹配点最多的候选区域作为匹配区域，根据匹配区域在语义地图上的位置确定车辆的当前位置。
其中，本申请实施例可以使用至少一种方式实现对车辆当前位置的确定，比如可以使用一种pnp(Perspective-n-Point，多点透视)求解的方式实现对车辆精确位姿的确定。
可以理解的是，本申请实施例可以使用特征对象进行定位，使得定位更精确，定位匹配效率提升，节省方案执行时间，提升泊车智能性，提高用户使用体验。
具体而言，本申请实施例可以根据车辆构建出的某个区域的特征对象，与地图中进行匹配，此时可能会得到多组候选匹配结果，每个待匹配的目标可能存在多个候选；本申请实施例可以将候选帧所在区域作为筛选条件，进一步挑选有效区域内的匹配对象；当匹配成功数大于阈值，则选择该区域作为匹配点，获得粗匹配坐标，然后提取出地图上此区域的地面特征以及特征平面，将此刻观测到的地面特征与特征平面进行匹配，根据匹配的特征点求解车体的精确位姿。
下面将通过一个具体实施例对本申请的车辆的定位方法进行阐释，如图3所示，本申请实施例可以使用一种车辆的定位方法，具体步骤如下：
本申请实施例可以用于室内场地中建图和定位，是基于立柱和墙面的建图算法。本申请实施例采用特别设计的环视相机组合方案，包含前视相机、后视相机、左右侧视相机，其中，前视和后视相机与相关技术中普遍方案一致；左右侧视镜则安装于车辆A柱下方，与前后视相机等高。本申请实施例亦包含IMU、轮速计等自动驾驶标配设备。
具体而言，建图包括：使用语义分割图做模板，取出深度图上对应分类为立柱或者墙面的区域，拟合其中的平面。然后将其他特征结合深度图，投影或是关联到这些平面上。结合车辆的运动状态，监测并跟踪前后帧的这些特征平面，通过优化算法更新特征平面。将多个相邻同类平面，立柱或者墙面的特征平面融合生成特征对象。当创建完成场景中所有特征对象后，得到了场景的特征对象地图。定位过程与建图类似，都是创建对象地图，但是定位只需创建局部较小区域的地图，然后将局部地图与全局地图进行比较，搜寻匹配的候选区域，当匹配的得分大于阈值时，将得到匹配区域，通过区域中对象的匹配对，建立位姿映射关系，求解出车辆当前位姿。
定位包含五个步骤：首先实时采集前视相机、后视相机、左右侧视相机的图像；其次通过深度学习模型对四个相机的图像进行语义分割；使用IMU、轮速计，推算车辆行驶状态；结合位姿状态以及原始图像的前后帧，对空间点进行深度估计。
综上所述，根据本申请实施例提出的车辆的定位方法，至少具有如下有益效果：
(1)本申请实施例可以依靠车体四周的采集设备感知全景图像，从全景图上提取关键语义信息，由深度信息构建场景立体投影平面，将语义信息关联、投影至预测的平面形成语义对象，通过对语义对象的跟踪和优化生成全局地图的语义特征对象，语义特征更稳定，特征元素更完整，特征对象匹配速度更快成功率更高，从而通过空间和地面的语义特征构建语义地图进行定位，由于充分考虑空间物体对于定位的帮助，因此可以提升车辆定位的准确性,且可以用于封闭空间内的定位，当应用于自动泊车的场景中时，可以使得自动泊车方案更加智能可靠，提升用户使用体验；
(2)本申请实施例可以通过对全景图像的语义分割，得到其地面语义特征和空间语义特征，再根据车辆的位姿状态和获取的全景图像对空间点进行深度估计，得到深度估计信息，降低噪声对深度估计的影响，提升深度估计稳定性，进而提高拟合平面的稳定性，减少误差；
(3)本申请实施例可以有效保留空间中的语义特殊元素，提高语义特征稳定性，改善匹配速度和成功率，提高方案智能性，提升用户使用体验；
(4)本申请实施例可以引入特征对象，即先将投影后的语义点进行聚类构建成单次观测的对象，然后对多次观测到的对象进行跟踪和融合，得到一个可以稳定表示的语义特征对象，由此，本申请实施例可以提升稳定性，改善特征匹配速度和成功率，提高方案智能性，提升用户使用体验；
(5)本申请实施例可以增强语义特征的抗干扰性和稳定性，降低语义处理的复杂性，快速稳定实现对语义特征的计算提取；
(6)本申请实施例可以通过将特征投影或者关联至平面并将特征聚类，有利于特征的跟踪和融合，为创建场景中全向特征对象提供了可能；
(7)本申请实施例可以使用特征对象进行定位，构建语义地图，得到更精准完善的地图，提升匹配速度，提高匹配成功率，使得泊车方案更精确可靠；
(8)本申请实施例可以使用特征对象进行定位，使得定位更精确，定位匹配效率提升，节省方案执行时间，提升泊车智能性，提高用户使用体验；
(9)本申请实施例可以通过对多个采集设备安装高度的统一控制，减少采集误差，充分利用采集设备的采集范围，降低成本，确保特征的丰富度和定位的可靠性；
(10)本申请实施例可以优先选择场景中立柱和墙面作为投影面而不是通常的人为设计的虚拟平面，提高了不同时间下平面创建的一致性，而且有助于语义特征在多帧下跟踪和融合。
其次参照附图描述根据本申请实施例提出的车辆的定位装置。
图4是本申请实施例的车辆的定位装置的方框示意图。
如图4所示，该车辆的定位装置10包括：获取模块100、预估模块200、投影模块300及定位模块400。
其中，获取模块100，用于获取车辆周围的全景图像；预估模块200，用于语义分割全景图像得到地面语义特征和空间语义特征，根据车辆的位姿状态和全景图像对空间点进行深度估计得到深度估计信息；投影模块300，用于根据深度估计信息确定三维投影平面，将空间语义特征投影至三维投影平面得到空间特征，并将地面语义特征投影至地面投影平面得到地面特征；定位模块400，用于对多帧全景图像的地面特征和空间特征分别进行跟踪和融合得到地面语义特征对象和空间语义特征对象，基于地面语义特征对象和空间语义特征对象构建语义地图，利用语义地图和车辆当前所处区域的地面语义特征对象和空间语义特征对象定位车辆的当前位置。
在本申请实施例中，预估模块200进一步用于：识别全景图像中车辆周围的实体与地面的接地线；将接地线投影至地面投影平面，得到接地线在地面投影平面的分布坐标，根据分布坐标在三维空间中构建空间直线，得到沿着接地线的多根直线；利用多根直线上随机采样的点拟合得到一个或多个拟合平面，保留一个或多个拟合平面中面积大于预设面积的拟合平面，并结合空间中的离散点的深度估计结果，得到空间点的深度估计信息。
在本申请实施例中，投影模块300进一步用于：识别空间语义特征中的移动物体特征；过滤空间语义特征中的移动物体特征，并结合深度估计信息，将空间语义特征中的空间点关联至距离最近的拟合平面；将空间点距离拟合平面的距离和空间点的类别作为空间特征，并在遍历所有空间点后，得到所有空间点的空间特征。
在本申请实施例中，定位模块400进一步用于：获取车辆的运动方向上基于全景图像创建的拟合平面；在拟合平面的接地线外侧构建一个绑定框，以第一帧的拟合平面为搜索起点，搜索相邻帧的绑定框相似度大于预设阈值的拟合平面，得到关联平面；融合关联平面上相同的空间特征，并更新新增空间特征，搜索关联平面的边界范围，沿着边界范围裁剪，在迭代优化的次数大于预设次数后，得到空间语义特征对象。
在本申请实施例中，投影模块300进一步用于：将地面语义特征投影投至地面投影平面，得到地面的语义信息；识别语义信息的地面元素，根据地面元素构建特征区域，间隔预设距离构建一个特征区域，利用特征区域的地面元素计算得到地面特征。
在本申请实施例中，定位模块400进一步用于：匹配每个地面特征的采样框；合并相同位置的采样框，并融合相同的地面元素，得到地面语义特征对象。
在本申请实施例中，定位模块400进一步用于：将空间语义特征对象按照位置高度进行排列，将排列后的特征压缩编码得到空间特征向量；按照区域将地面语义特征对象进行拼接，将拼接后的特征压缩编码得到地面特征向量；根据预先构建的拓扑道路，识别同一路段的空间特征向量和地面特征向量，并按照路段顺序进行排列得到路段的特征序列，基于所有路段的特征序列构建语义地图。
在本申请实施例中，定位模块400进一步用于：根据车辆当前所处区域的地面语义特征对象和空间语义特征对象从语义地图上确定一个或多个候选区域；将当前所处区域与候选区域进行特征匹配，将匹配点最多的候选区域作为匹配区域，根据匹配区域在语义地图上的位置确定车辆的当前位置。
在本申请实施例中，获取模块100进一步用于：同时触发车辆上多个采集设备，根据多个采集设备采集的图像生成全景图像，其中，多个采集设备的安装高度一致。
在本申请实施例中，三维投影平面为车辆周围的实体平面。
需要说明的是，前述对车辆的定位方法实施例的解释说明也适用于该实施例的车辆的定位装置，此处不再赘述。
根据本申请实施例提出的车辆的定位装置，可以依靠车体四周的采集设备感知全景图像，从全景图上提取关键语义信息，由深度信息构建场景立体投影平面，将语义信息关联、投影至预测的平面形成语义对象，通过对语义对象的跟踪和优化生成全局地图的语义特征对象，语义特征更稳定，特征元素更完整，特征对象匹配速度更快成功率更高，从而通过空间和地面的语义特征构建语义地图进行定位，由于充分考虑空间物体对于定位的帮助，因此可以提升车辆定位的准确性,且可以用于封闭空间内的定位，当应用于自动泊车的场景中时，可以使得自动泊车方案更加智能可靠，提升用户使用体验。
图5为本申请实施例提供的车辆的结构示意图。该车辆可以包括：
存储器501、处理器502及存储在存储器501上并可在处理器502上运行的计算机程序。
处理器502执行程序时实现上述实施例中提供的车辆的定位方法。
进一步地，车辆还包括：
通信接口503，用于存储器501和处理器502之间的通信。
存储器501，用于存放可在处理器502上运行的计算机程序。
存储器501可能包含高速RAM(Random Access Memory，随机存取存储器)存储器，也可能还包括非易失性存储器，例如至少一个磁盘存储器。
如果存储器501、处理器502和通信接口503独立实现，则通信接口503、存储器501和处理器502可以通过总线相互连接并完成相互间的通信。总线可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(Peripheral Component，外部设备互连)总线或EISA(Extended Industry Standard Architecture，扩展工业标准体系结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器501、处理器502及通信接口503，集成在一块芯片上实现，则存储器501、处理器502及通信接口503可以通过内部接口完成相互间的通信。
处理器502可能是一个CPU(Central Processing Unit，中央处理器)，或者是ASIC(Application Specific Integrated Circuit，特定集成电路)，或者是被配置成实施本申请实施例的一个或多个集成电路。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的车辆的定位方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列，现场可编程门阵列等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (13)
1.一种车辆的定位方法，其特征在于，包括以下步骤：
获取车辆周围的全景图像；
语义分割所述全景图像得到地面语义特征和空间语义特征，根据所述车辆的位姿状态和所述全景图像对空间点进行深度估计得到深度估计信息；
根据所述深度估计信息确定三维投影平面，将所述空间语义特征投影至所述三维投影平面得到空间特征，并将所述地面语义特征投影至地面投影平面得到地面特征；
对多帧全景图像的地面特征和空间特征分别进行跟踪和融合得到地面语义特征对象和空间语义特征对象，基于所述地面语义特征对象和所述空间语义特征对象构建语义地图，利用所述语义地图和所述车辆当前所处区域的地面语义特征对象和空间语义特征对象定位所述车辆的当前位置。
2.根据权利要求1所述的车辆的定位方法，其特征在于，所述根据所述车辆的位姿状态和所述全景图像对空间点进行深度估计得到深度估计信息，包括：
识别所述全景图像中所述车辆周围的实体与地面的接地线；
将所述接地线投影至所述地面投影平面，得到所述接地线在所述地面投影平面的分布坐标，根据所述分布坐标在三维空间中构建空间直线，得到沿着所述接地线的多根直线；
利用所述多根直线上随机采样的点拟合得到一个或多个拟合平面，保留所述一个或多个拟合平面中面积大于预设面积的拟合平面，并结合空间中的离散点的深度估计结果，得到所述空间点的深度估计信息。
3.根据权利要求2所述的车辆的定位方法，其特征在于，所述将所述空间语义特征投影至所述三维投影平面得到空间特征，包括：
识别所述空间语义特征中的移动物体特征；
过滤所述空间语义特征中的所述移动物体特征，并结合所述深度估计信息，将所述空间语义特征中的空间点关联至距离最近的拟合平面；
将所述空间点距离所述拟合平面的距离和所述空间点的类别作为所述空间特征，并在遍历所有空间点后，得到所述所有空间点的空间特征。
4.根据权利要求1-3任意一项所述的车辆的定位方法，其特征在于，所述对多帧全景图像的地面特征和空间特征分别进行跟踪和融合得到地面语义特征对象和空间语义特征对象，包括：
获取所述车辆的运动方向上基于全景图像创建的拟合平面；
在拟合平面的接地线外侧构建一个绑定框，以第一帧的拟合平面为搜索起点，搜索相邻帧的绑定框相似度大于预设阈值的拟合平面，得到关联平面；
融合所述关联平面上相同的空间特征，并更新新增空间特征，搜索所述关联平面的边界范围，沿着所述边界范围裁剪，在迭代优化的次数大于预设次数后，得到所述空间语义特征对象。
5.根据权利要求1所述的车辆的定位方法，其特征在于，所述将所述地面语义特征投影至地面投影平面得到地面特征，包括：
将所述地面语义特征投影投至所述地面投影平面，得到地面的语义信息；
识别所述语义信息的地面元素，根据所述地面元素构建特征区域，间隔预设距离构建一个特征区域，利用所述特征区域的地面元素计算得到所述地面特征。
6.根据权利要求5所述的车辆的定位方法，其特征在于，所述对多帧全景图像的地面特征和空间特征分别进行跟踪和融合得到地面语义特征对象和空间语义特征对象，包括：
匹配每个地面特征的采样框；
合并相同位置的采样框，并融合相同的地面元素，得到所述地面语义特征对象。
7.根据权利要求1所述的车辆的定位方法，其特征在于，所述基于所述地面语义特征对象和所述空间语义特征对象构建语义地图，包括：
将所述空间语义特征对象按照位置高度进行排列，将排列后的特征压缩编码得到空间特征向量；
按照区域将所述地面语义特征对象进行拼接，将拼接后的特征压缩编码得到地面特征向量；
根据预先构建的拓扑道路，识别同一路段的所述空间特征向量和所述地面特征向量，并按照路段顺序进行排列得到路段的特征序列，基于所有路段的特征序列构建所述语义地图。
8.根据权利要求1所述的车辆的定位方法，其特征在于，所述利用所述语义地图和所述车辆当前所处区域的地面语义特征对象和空间语义特征对象定位所述车辆的当前位置，包括：
根据所述车辆当前所处区域的地面语义特征对象和空间语义特征对象从所述语义地图上确定一个或多个候选区域；
将所述当前所处区域与所述候选区域进行特征匹配，将匹配点最多的候选区域作为匹配区域，根据所述匹配区域在所述语义地图上的位置确定所述车辆的当前位置。
9.根据权利要求1所述的车辆的定位方法，其特征在于，所述获取车辆周围的全景图像，包括：
同时触发所述车辆上多个采集设备，根据所述多个采集设备采集的图像生成所述全景图像，其中，所述多个采集设备的安装高度一致。
10.根据权利要求1所述的车辆的定位方法，其特征在于，所述三维投影平面为所述车辆周围的实体平面。
11.一种车辆的定位装置，其特征在于，包括：
获取模块，用于获取车辆周围的全景图像；
预估模块，用于语义分割所述全景图像得到地面语义特征和空间语义特征，根据所述车辆的位姿状态和所述全景图像对空间点进行深度估计得到深度估计信息；
投影模块，用于根据所述深度估计信息确定三维投影平面，将所述空间语义特征投影至所述三维投影平面得到空间特征，并将所述地面语义特征投影至地面投影平面得到地面特征；以及
定位模块，用于对多帧全景图像的地面特征和空间特征分别进行跟踪和融合得到地面语义特征对象和空间语义特征对象，基于所述地面语义特征对象和所述空间语义特征对象构建语义地图，利用所述语义地图和所述车辆当前所处区域的地面语义特征对象和空间语义特征对象定位所述车辆的当前位置。
12.一种车辆，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-10任一项所述的车辆的定位方法。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-10任一项所述的车辆的定位方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310577629.1A CN116612190A (zh) | 2023-05-19 | 2023-05-19 | 车辆的定位方法、装置、车辆及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310577629.1A CN116612190A (zh) | 2023-05-19 | 2023-05-19 | 车辆的定位方法、装置、车辆及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116612190A true CN116612190A (zh) | 2023-08-18 |
Family
ID=87674172
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310577629.1A Pending CN116612190A (zh) | 2023-05-19 | 2023-05-19 | 车辆的定位方法、装置、车辆及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116612190A (zh) |
-
2023
- 2023-05-19 CN CN202310577629.1A patent/CN116612190A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110497901B (zh) | 一种基于机器人vslam技术的泊车位自动搜索方法和*** | |
| Sharma et al. | Beyond pixels: Leveraging geometry and shape cues for online multi-object tracking | |
| CN105667518B (zh) | 车道检测的方法及装置 | |
| US9443309B2 (en) | System and method for image based mapping, localization, and pose correction of a vehicle with landmark transform estimation | |
| US20180322646A1 (en) | Gaussian mixture models for temporal depth fusion | |
| US20220392108A1 (en) | Camera-only-localization in sparse 3d mapped environments | |
| KR20190090393A (ko) | 차선 결정 방법, 디바이스 및 저장 매체 | |
| WO2019175286A1 (en) | Image annotation | |
| JP2020500767A (ja) | 車両自動パーキングシステム及び方法 | |
| CN110132242B (zh) | 多摄像机即时定位与地图构建的三角化方法及其运动体 | |
| Parra et al. | Robust visual odometry for vehicle localization in urban environments | |
| Unger et al. | Parking assistance using dense motion-stereo: Real-time parking slot detection, collision warning and augmented parking | |
| CN111179162B (zh) | 一种特殊环境下的定位初始化方法及车载终端 | |
| US11282164B2 (en) | Depth-guided video inpainting for autonomous driving | |
| CN113916243A (zh) | 目标场景区域的车辆定位方法、装置、设备和存储介质 | |
| CN102567449A (zh) | 视觉***及分析图像的方法 | |
| CN114549738A (zh) | 无人车室内实时稠密点云重建方法、***、设备及介质 | |
| CN114494618A (zh) | 地图的生成方法、装置、电子设备及存储介质 | |
| CN115578705A (zh) | 基于多模态融合的鸟瞰图特征生成方法 | |
| CN114969221A (zh) | 一种更新地图的方法及相关设备 | |
| CN115457084A (zh) | 一种多相机目标检测跟踪方法、装置 | |
| CN115420275A (zh) | 回环路径的预测方法及装置、非易失性存储介质、处理器 | |
| Prabu et al. | Scendd: A scenario-based naturalistic driving dataset | |
| Yu et al. | Monocular visual localization using road structural features | |
| Meis et al. | A new method for robust far-distance road course estimation in advanced driver assistance systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |