CN110415550A - 基于视觉的自动泊车方法 - Google Patents
基于视觉的自动泊车方法 Download PDFInfo
- Publication number
- CN110415550A CN110415550A CN201910701980.0A CN201910701980A CN110415550A CN 110415550 A CN110415550 A CN 110415550A CN 201910701980 A CN201910701980 A CN 201910701980A CN 110415550 A CN110415550 A CN 110415550A
- Authority
- CN
- China
- Prior art keywords
- label
- birds
- eye view
- warehouse compartment
- view image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000004927 fusion Effects 0.000 claims abstract description 37
- 230000000007 visual effect Effects 0.000 claims abstract description 19
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000007704 transition Effects 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 230000001133 acceleration Effects 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 8
- 238000003860 storage Methods 0.000 description 7
- 230000006872 improvement Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 4
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012857 repacking Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/06—Automatic manoeuvring for parking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
- G08G1/141—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供了一种基于视觉的自动泊车方法，包括：获取多每路第一视觉传感器的鸟瞰图图像并在融合处理，得到环视鸟瞰图图像；获取第二视觉传感器的前视鸟瞰图图像，并与环视鸟瞰图图像融合处理，得到全景鸟瞰图图像；对标签图像信息进行处理，得到第一数量个标签；根据标签编号或者标签符号，对第一数量个标签进行分类，得到第二数量个用于进行路径规划的循迹标签、第三数量个库位标签和第四数量个用于特殊场景的特殊标签；根据目标库位的位置、第二数量个循迹标签、第四数量个特殊标签和预设的标签地图，进行路径规划，生成泊车轨迹并进行泊车。由此，减少了车辆改装的成本，更易于推广和量产。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种基于视觉的自动泊车方法。
背景技术
在无人驾驶领域中，自动泊车是一个常见的应用场景。无人驾驶车辆通过感知周边环境、规划行驶路线和控制车辆行动，最终实现自动将车辆泊入指定库位。
在发展过程中，自动泊车***可以分三个大的阶段：被动式泊车辅助、半自主式泊车辅助、全自动泊车。其中，被动式泊车辅助功能，主要是在泊车时通过倒车雷达和视觉图像辅助驾驶员理解周边环境和视野盲区。半自主式泊车辅助功能是在被动式泊车功能的基础上，通过算法理解周边环境和规划车辆运行轨迹，驾驶员只需要负责控制油门和刹车。全自动泊车功能则是在整个泊车过程中不需要驾驶员人工介入，驾驶员可以在车外通过钥匙或手机等方式实现一键泊车。本发明属于全自动泊车范畴。
目前的自动泊车方案主要有两条技术路线：一是车端改造，一是场端改造。
车端改造主要指的是通过加装激光雷达、环视相机或V2X设备等方式来加强车端自身的感知能力，并进一步通过结合高精度地图和车场管理***，实现车辆的准确定位、障碍物的感知和泊车路径的规划。
场端改造主要指的是将激光雷达、UWB等传感器部署在停车场，车辆本身只需要电子制动、自动换挡、电子助力转向及远程互联等基础功能，全部环境感知、路径规划和车辆调度都基于云平台实现，并将运算后的车辆运行轨迹推送到车端，车辆基于既定轨迹完成泊车。
对于车端改造方案而言，由于需要对每辆汽车进行后端改装，其普适性较差，推广难度较高。另外，为了实现准确的环境感知和车辆定位，一般需要加装激光雷达并构建高精度地图，其难度和成本都相对较高。
对于场端改造方案而言，由于往往采用柱式安装的工业级单线激光雷达等方案，基于***冗余的考虑，在实际应用中需要在场端部署大量激光雷达，其改造成本往往较高。
发明内容
本发明实施例的目的是提供一种基于视觉的自动泊车方法，以解决现有技术中存在场端改造成本高、难度大的问题。
为解决其特征在于，第一方面，本发明提供了一种基于视觉的自动泊车方法，所述方法包括：
获取多路第一视觉传感器中每路第一视觉传感器的鸟瞰图图像；
对每路第一视觉传感器的鸟瞰图图像进行融合处理，得到环视鸟瞰图图像；
获取第二视觉传感器的前视鸟瞰图图像；
对所述环视鸟瞰图图像和所述前视鸟瞰图图像进行融合处理，得到全景鸟瞰图图像；所述全景鸟瞰图图像包括标签图像信息；
对所述标签图像信息进行处理，得到第一数量个标签；每个所述标签包括标签标识；所述标签标识包括标签编号或者标签符号；
根据所述标签编号或者标签符号，对所述第一数量个标签进行分类，得到第二数量个用于进行路径规划的循迹标签、第三数量个库位标签和第四数量个用于特殊场景的特殊标签；所述第二数量、第三数量和第四数量之和为第一数量；
判断所述第三数量个库位标签中是否包括目标库位；当所述第三数量个库位标签中包括目标库位时，确定目标库位的位置；
根据所述目标库位的位置、第二数量个循迹标签、第四数量个特殊标签和预设的标签地图，进行路径规划，生成泊车轨迹；
根据所述泊车轨迹，进行泊车。
在一种可能的实现方式中，所述方法之前还包括：
分别获取所述第一视觉传感器周围的棋盘格在车辆坐标系下的第一坐标和在图像坐标系下第二坐标；
根据所述第一视觉传感器周围的棋盘格的第一坐标和第二坐标，计算所述第一视觉传感器的图像坐标系到车体坐标系的第一单应性转换矩阵；
根据每路所述第一视觉传感器的第一单应性转换矩阵和原始鸟瞰图图像，得到车体坐标系下，每路第一视觉传感器的鸟瞰图图像。
在一种可能的实现方式中，所述获取第二视觉传感器的前视鸟瞰图图像之前，所述方法还包括：
分别获取所述第二视觉传感器周围的棋盘格在车辆坐标系下的第一坐标和在图像坐标系下第二坐标；
根据所述第二视觉传感器周围的棋盘格的第一坐标和第二坐标，计算所述第二视觉传感器的图像坐标系到车体坐标系的第二单应性转换矩阵；
根据每路所述第二视觉传感器的第二单应性转换矩阵和原始前视鸟瞰图图像，得到车体坐标系下，所述第二视觉传感器的前视鸟瞰图图像。
在一种可能的实现方式中，所述对每路第一视觉传感器的鸟瞰图图像进行融合处理，得到环视鸟瞰图图像，具体包括：
获取多路第一视觉传感器中，各个相邻两路第一视觉传感器的第一重叠区域和第一非重叠区域；
根据所述第一重叠区域与所述相邻两路第一视觉传感器的距离，设置两个第一渐变权重；
根据所述两个第一渐变权重，对所述第一重叠区域进行融合处理；
将所述多路第一视觉传感器中，各个所述相邻两路第一视觉传感器的第一非重叠区域与融合处理后的第一重叠区域进行拼接，得到环视鸟瞰图图像。
在一种可能的实现方式中，所述对所述环视鸟瞰图图像和所述前视鸟瞰图图像进行融合处理，得到全景鸟瞰图图像，具体包括：
获取所述环视鸟瞰图图像和所述前视鸟瞰图图像的第二重叠区域和第二非重叠区域；
根据所述第二重叠区域与所述第一视觉传感器和所述第二视觉传感器的距离，设置两个第二渐变权重；
根据所述两个第二渐变权重，对所述第二重叠区域进行融合处理；
将所述第二非重叠区域与融合处理后的第二重叠区域进行拼接，得到全景鸟瞰图图像。
在一种可能的实现方式中，所述对所述环视鸟瞰图图像和所述前视鸟瞰图图像进行融合处理，得到全景鸟瞰图图像之后，还包括：
获取车辆的位姿信息；
根据车辆的位姿信息，对所述全景鸟瞰图图像进行矫正。
在一种可能的实现方式中，所述获取车辆的位姿信息具体包括：
通过IMU获取车辆的第一位姿信息；
通过GPS获取车辆的第二位姿信息；
通过轮速计获取车辆的加速度信息；
对所述第一位姿信息、所述第二位姿信息和所述加速度信息进行融合处理，得到车辆的位姿信息。
在一种可能的实现方式中，所述根据所述标签编号或者标签符号，对所述第一数量个标签进行分类，得到第二数量个用于进行路径规划的循迹标签、第三数量个库位标签和第四数量个用于特殊场景的特殊标签，具体包括：
基于深度学习算法，根据所述标签编号或者标签符号，对所述第一数量个标签进行分类，得到第三数量个库位标签；
通过神经网络模型，对所述第一数量个标签中，除第三数量个库位标签外的其它标签进行二次分类，得到第二数量个循迹标签和第四数量个特殊标签。
在一种可能的实现方式中，所述判断所述第三数量个库位标签中是否包括目标库位具体包括：
将所述第三数量个库位标签中，每个库位标签的编号和预设的目标库位的编号进行匹配，当匹配成功时，则判定所述库位标签包括目标库位。
在一种可能的实现方式中，所述根据所述目标库位的数字标签和辅助定位标签，确定目标库位的位置，具体包括：
根据所述目标库位中目标库位的数字标签和辅助定位标签的位置，确定目标库位的方向；根据预设的目标库位的长度，确定目标库位的位置；
或者，根据所述目标库位的编号，确定所述目标库位的角点的坐标，根据所述目标库位的角点的坐标，确定目标库位的位置。
第二方面，本发明提供了一种设备，包括存储器和处理器，所述存储器用于存储程序，所述处理器用于执行第一方面任一所述的方法。
第三方面，本发明提供了一种包含指令的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如第一方面任一所述的方法。
第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一所述的方法。
应用本发明实施例提供的基于视觉的自动泊车方法，采用标签增强的方式进行场端改造，使得场端改造成本大幅降低，并且充分地利用了车辆已有的传感器设备，减少了车辆改装的成本，更易于推广和量产。本发明中标签功能可以由用户自由定义，具有广泛的灵活性和可扩展性，能够充分适应不同用户在不同场景下的定制化需求。
附图说明
图1为本发明实施例提供的基于视觉的自动泊车方法流程示意图；
图2为本发明实施例提供的环视相机和前视相机的分布示意图；
图3为本发明实施例提供的棋盘格的示意图；
图4为本发明实施例提供的多个重叠区域的示意图；
图5为本发明实施例提供的库位标签示意图；
图6为本发明实施例提供的循迹标签示意图；
图7为本发明实施例提供的特殊标签示意图；
图8为本发明实施例提供的泊车轨迹示意图；
图9为本发明实施例提供的泊车入库示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1为本发明实施例提供的基于视觉的自动泊车方法流程示意图，该方法的应用场景为无人驾驶车辆，该方法的执行主体为无人驾驶车辆中的处理器。如图1所示，本申请包括以下步骤：
步骤101，获取多路环视相机中每路第一视觉传感器的鸟瞰图图像。
具体的，示例而非限定，本申请中的视觉传感器包括但不仅限于单目相机、环视相机、双目相机、飞行时间(Time of Flight，TOF)相机、结构光相机。本申请中，以第一视觉传感器为环视相机，第二视觉传感器为前视相机为例进行说明。参见图2，本申请中的车辆上具有多路环视相机和前视相机。其中，车辆在行驶中，获取到车辆坐标系下，每路环视相机的鸟瞰图图像。
在进行步骤101之前，先对每路环视相机进行标定，得到每路环视相机的第一单应性标定参数。
示例而非限定，可以采用棋盘格标定的方法，对环视相机进行标定，棋盘格摆放示意图参见图3，其中靠近车身的八个棋盘格供四路环视相机标定所用，远离车身较为孤立的两个棋盘格供前视相机标定所用，前向鱼眼相机和前视相机的视野重叠区域的公共特征点也选自这两个棋盘格。可以理解的是，棋盘格的数量不限于两个，也可以采用其他标定方法对环视相机和前视相机进行标定，本申请对此并不限定。
其中，对环视相机进行标定的方法如下：
分别获取环视相机周围的棋盘格在车辆坐标系下的第一坐标和在图像坐标系下第二坐标；
根据环视相机周围的棋盘格的第一坐标和第二坐标，计算环视相机的图像坐标系到车体坐标系的第一单应性转换矩阵。
具体的，为了优化标定效果，每个环视相机前方视野范围内对称摆放两个相同的棋盘格。通过人工测量的方式获得棋盘格在车辆坐标系下的物理位置，即第一坐标后，通过图像棋盘格检测算法获得棋盘格角点的像素坐标，即第二坐标，后面，基于第一坐标和第二坐标，可以计算获得环视相机图像到车体坐标系的第一单应性转换矩阵。
其中，环视相机可以是鱼眼相机，多路可以是四路。采用上述方法，可以获得四路鱼眼相机中，每路鱼眼相机的第一单应性转换矩阵。
随后，对于获得的图像坐标系下的环视相机的原始鸟瞰图图像，可以进行坐标系转换，根据每路环视相机的第一单应性转换矩阵和原始鸟瞰图图像，得到车体坐标系下，每路环视相机的鸟瞰图图像。
同理，可以依照下述方法，得到前视相机的第二单应性转换矩阵。
具体的，分别获取前视相机周围的棋盘格在车辆坐标系下的第一坐标和在图像坐标系下第二坐标；根据前视相机周围的棋盘格的第一坐标和第二坐标，计算前视相机的图像坐标系到车体坐标系的第二单应性转换矩阵。
步骤102，对每路第一视觉传感器的鸟瞰图图像进行融合处理，得到环视鸟瞰图图像。
具体的，步骤102包括以下步骤：
获取多路环视相机中，各个相邻两路环视相机的第一重叠区域和第一非重叠区域；
根据第一重叠区域与相邻两路环视相机的距离，设置两个第一渐变权重；
根据两个第一渐变权重，对第一重叠区域进行融合处理；
将多路环视相机中，各个相邻两路环视相机的第一非重叠区域与融合处理后的第一重叠区域进行拼接，得到环视鸟瞰图图像。
具体的，参见图4，对于环视相机，相邻的环视相机存在第一重叠区域，第一重叠区域参见图4中的重叠区域A、B、C和D。以重叠区域A为例，采用渐变权重的方法融合两个相邻环视相机的鸟瞰图图像。对于相邻的两个相机a和b，设其融合权重分别为q和p，q与p均大于0且和恒为1。当重叠区域A更靠近a时，q逐渐增大，p逐渐减小，直到离开重叠区域A时，q增大为1，反之亦然。
在分别对重叠区域A、B、C和D进行融合处理后，将环视相机中的非重叠区域与融合处理后的重叠区域进行拼接，得到环视鸟瞰图图像。
步骤103，获取第二视觉传感器的前视鸟瞰图图像。
具体的，通过前视相机，可以获取图像坐标系下的原始前视鸟瞰图图像。随后，根据每路前视相机的第二单应性转换矩阵和原始前视鸟瞰图图像，得到车体坐标系下，前视相机的前视鸟瞰图图像。
步骤104，对环视鸟瞰图图像和前视鸟瞰图图像进行融合处理，得到全景鸟瞰图图像；全景鸟瞰图图像包括标签图像信息。
具体的，步骤104包括以下内容：
首先，获取环视鸟瞰图图像和前视鸟瞰图图像的第二重叠区域和第二非重叠区域；
然后，根据第二重叠区域与环视相机和前视相机的距离，设置两个第二渐变权重；
接着，根据两个第二渐变权重，对第二重叠区域进行融合处理；
最后，将第二非重叠区域与融合处理后的第二重叠区域进行拼接，得到全景鸟瞰图图像。
具体的，此处对环视鸟瞰图图像和前视鸟瞰图图像进行融合处理的方法与步骤102中，对环视相机中的每路环视相机的鸟瞰图图像进行融合处理的方法相同，此处不再赘述。由于前视鸟瞰图图像的清晰度高于环视鸟瞰图图像中的前向部分，因此，在融合时可以给前视鸟瞰图图像相对较大的权重。
进一步的，步骤104之后还包括：
获取车辆的位姿信息；
根据车辆的位姿信息，对全景鸟瞰图图像进行矫正。
其中，获取车辆的位姿信息具体包括：
首先，通过惯性测量单元(Inertial measurement unit,IMU)获取车辆的第一位姿信息；
然后，通过全球定位***(Global Positioning System，GPS)获取车辆的第二位姿信息；
接着，通过轮速计获取车辆的加速度信息；
最后，对第一位姿信息、第二位姿信息和加速度信息进行融合处理，得到车辆的位姿信息。
由此，在车辆行驶过程中，实时的通过车辆的位姿信息，对全景鸟瞰图图像进行校正，从而提高了全景鸟瞰图图像的精度，避免了全景鸟瞰图图像的畸变。
可以理解的是，可以通过设置多路前视相机的方式，对前视鸟瞰图像进行增强，当设置多路前视相机时，可以将多路前视相机中每路前视相机的前视鸟瞰图像进行融合处理，后续，通过融合处理后的多路前视相机的前视鸟瞰图图像，与融合处理后的多路环视相机的环视鸟瞰图图像进行融合处理，得到全景鸟瞰图图像。
步骤105，对标签图像信息进行处理，得到第一数量个标签；每个标签包括标签标识；标签标识包括标签编号或者标签符号。
具体的，车库中，预设有多个类型的标签。通过对全景鸟瞰图图像中的标签图像信息进行处理，得到第一数量个标签。
步骤106，根据标签编号或者标签符号，对第一数量个标签进行分类，得到第二数量个用于进行路径规划的循迹标签、第三数量个库位标签和第四数量个用于特殊场景的特殊标签；第二数量、第三数量和第四数量之和为第一数量。
具体的，步骤106包括：
基于深度学习算法，根据标签编号或者标签符号，对第一数量个标签进行分类，得到第三数量个库位标签；
通过神经网络模型，对第一数量个标签中，除第三数量个库位标签外的其它标签进行二次分类，得到第二数量个循迹标签和第四数量个特殊标签。
其中，对于循迹和特殊标签，由于循迹过程中环境变化复杂且特殊标签类别较多，为了提高类别准确率，因此对于这两类标签采用了特定的分类神经网络模型进行了二次分类。
在一个示例中，库位标签参见图5，其中，库位标签用于检测和描述目标库位。
循迹标签参见图6，循迹标签用于引导车辆在道路上自动行驶，其一般位于道路中心，示例而非限定，相邻两个循迹标签之间的间隔在可以定为1.5米，循迹标签的直径可以定为50厘米。
特殊标签参见图7，特殊标签用于分岔路口、出入口等特殊场景的标识，其图样和大小需要根据具体的场景和需求来确定。示例而非限定，在本申请中，可以采用以字母为底衬的标签样式作为分岔路口中使用的特殊标签，特殊标签的直径为50厘米，
标签编号可以是图5中的123的编号，也可以是图7中的A、B、C等的编号。标签标识可以是图6中的向上的箭头标识。
可以理解的是，第二数量、第三数量、第四数量中任意一个数量可以为0,当任意一个数量为0时，继续进行采集。
步骤107，判断第三数量个库位标签中是否包括目标库位。
具体的，在车辆驶入地下车库、或者车辆驶入车库之前，会接收到服务器发送的目标库位的编号。
可以在获得标签编号后，通过比对的方式，确定是否包括目标库位，比如，解析出的标签编号包括编号123，而目标库位正好是123，则说明库位标签中包括目标库位的目标库位。
步骤108，当第三数量个库位标签中包括目标库位时，确定目标库位的位置。
具体的，在一个示例中，对于每个独立的库位而言，库位标签中包括数字标签和辅助定位标签。一个数字标签位于库位前方，用于标识库位编号和库位方向。两个辅助定位标签位于库位前方的两个库位角上，用于检测并计算库位大小和方向。参见图5，示例而非限定，库位标签的长度为500cm，宽度为250cm，数字标签的长度为160cm，辅助定位标签的直径为70cm。
在另一个示例中，服务器在将目标库位的编号发送给车辆时，也可以将目标库位的角点的坐标一起发送给车辆。比如，服务器中不但存储目标库位的编号，还存储库位编号对应的库位的角点的坐标。车辆可以根据目标库位的编号和目标库位的角点的坐标，确定目标库位的位置。
步骤109，根据目标库位的位置、第二数量个循迹标签、第四数量个特殊标签和预设的标签地图，进行路径规划，生成泊车轨迹；
具体的，在车辆向服务器请求获得目标库位时，服务器在将目标库位的编号发送给车辆时，还会将标签地图发送给车辆。
获得标签检测结果后，基于已有的全局标签拓扑关系，即标签地图生成现有的标签连接关系，并基于此规划车辆的行驶轨迹。
如图8中标签连接关系为“循迹标签-A标签-B标签-C标签-循迹标签”，车辆会基于标签连接关系和实时检测标签结果生成行驶轨迹，并沿轨迹行驶。
步骤110，根据泊车轨迹，进行泊车。
具体的，车辆在行驶的过程中，实时的获取标签，直至检测到目标库位。并且，车辆在行驶中，会进行局部路径规划，以实现局部避障。参见图9，当检测到目标库位编号和库位辅助定位标签后，库位检测功能计算获得库位模型，车辆基于库位模型规划泊车轨迹完成泊车。
通过应用本发明实施例提供的基于视觉的自动泊车方法，采用标签增强的方式进行场端改造，使得场端改造成本大幅降低，并且充分地利用了车辆已有的传感器设备，减少了车辆改装的成本，更易于推广和量产。本发明中标签功能可以由用户自由定义，具有广泛的灵活性和可扩展性，能够充分适应不同用户在不同场景下的定制化需求。
本发明实施例二提供了一种设备，包括存储器和处理器，存储器用于存储程序，存储器可通过总线与处理器连接。存储器可以是非易失存储器，例如硬盘驱动器和闪存，存储器中存储有软件程序和设备驱动程序。软件程序能够执行本发明实施例提供的上述方法的各种功能；设备驱动程序可以是网络和接口驱动程序。处理器用于执行软件程序，该软件程序被执行时，能够实现本发明实施例一提供的方法。
本发明实施例三提供了一种包含指令的计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行本发明实施例一提供的方法。
本发明实施例四提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现本发明实施例一提供的方法。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于视觉的自动泊车方法，其特征在于，所述方法包括：
获取多路第一视觉传感器中每路第一视觉传感器的鸟瞰图图像；
对每路第一视觉传感器的鸟瞰图图像进行融合处理，得到环视鸟瞰图图像；
获取第二视觉传感器的前视鸟瞰图图像；
对所述环视鸟瞰图图像和所述前视鸟瞰图图像进行融合处理，得到全景鸟瞰图图像；所述全景鸟瞰图图像包括标签图像信息；
对所述标签图像信息进行处理，得到第一数量个标签；每个所述标签包括标签标识；所述标签标识包括标签编号或者标签符号；
根据所述标签编号或者标签符号，对所述第一数量个标签进行分类，得到第二数量个用于进行路径规划的循迹标签、第三数量个库位标签和第四数量个用于特殊场景的特殊标签；所述第二数量、第三数量和第四数量之和为第一数量；
判断所述第三数量个库位标签中是否包括目标库位；
当所述第三数量个库位标签中包括目标库位时，确定目标库位的位置；
根据所述目标库位的位置、第二数量个循迹标签、第四数量个特殊标签和预设的标签地图，进行路径规划，生成泊车轨迹；
根据所述泊车轨迹，进行泊车。
2.根据权利要求1所述的方法，其特征在于，所述方法之前还包括：
分别获取所述第一视觉传感器周围的棋盘格在车辆坐标系下的第一坐标和在图像坐标系下第二坐标；
根据所述第一视觉传感器周围的棋盘格的第一坐标和第二坐标，计算所述第一视觉传感器的图像坐标系到车体坐标系的第一单应性转换矩阵；
根据每路所述第一视觉传感器的第一单应性转换矩阵和原始鸟瞰图图像，得到车体坐标系下，每路第一视觉传感器的鸟瞰图图像。
3.根据权利要求1所述的方法，其特征在于，所述获取第二视觉传感器的前视鸟瞰图图像之前，所述方法还包括：
分别获取所述第二视觉传感器周围的棋盘格在车辆坐标系下的第一坐标和在图像坐标系下第二坐标；
根据所述第二视觉传感器周围的棋盘格的第一坐标和第二坐标，计算所述第二视觉传感器的图像坐标系到车体坐标系的第二单应性转换矩阵；
根据每路所述第二视觉传感器的第二单应性转换矩阵和原始前视鸟瞰图图像，得到车体坐标系下，所述第二视觉传感器的前视鸟瞰图图像。
4.根据权利要求1所述的方法，其特征在于，所述对每路第一视觉传感器的鸟瞰图图像进行融合处理，得到环视鸟瞰图图像，具体包括：
获取多路第一视觉传感器中，各个相邻两路第一视觉传感器的第一重叠区域和第一非重叠区域；
根据所述第一重叠区域与所述相邻两路第一视觉传感器的距离，设置两个第一渐变权重；
根据所述两个第一渐变权重，对所述第一重叠区域进行融合处理；
将所述多路第一视觉传感器中，各个所述相邻两路第一视觉传感器的第一非重叠区域与融合处理后的第一重叠区域进行拼接，得到环视鸟瞰图图像。
5.根据权利要求1所述的方法，其特征在于，所述对所述环视鸟瞰图图像和所述前视鸟瞰图图像进行融合处理，得到全景鸟瞰图图像，具体包括：
获取所述环视鸟瞰图图像和所述前视鸟瞰图图像的第二重叠区域和第二非重叠区域；
根据所述第二重叠区域与所述第一视觉传感器和所述第二视觉传感器的距离，设置两个第二渐变权重；
根据所述两个第二渐变权重，对所述第二重叠区域进行融合处理；
将所述第二非重叠区域与融合处理后的第二重叠区域进行拼接，得到全景鸟瞰图图像。
6.根据权利要求1所述的方法，其特征在于，所述对所述环视鸟瞰图图像和所述前视鸟瞰图图像进行融合处理，得到全景鸟瞰图图像之后，还包括：
获取车辆的位姿信息；
根据车辆的位姿信息，对所述全景鸟瞰图图像进行矫正。
7.根据权利要求6所述的方法，其特征在于，所述获取车辆的位姿信息具体包括：
通过IMU获取车辆的第一位姿信息；
通过GPS获取车辆的第二位姿信息；
通过轮速计获取车辆的加速度信息；
对所述第一位姿信息、所述第二位姿信息和所述加速度信息进行融合处理，得到车辆的位姿信息。
8.根据权利要求1所述的方法，其特征在于，所述根据所述标签编号或者标签符号，对所述第一数量个标签进行分类，得到第二数量个用于进行路径规划的循迹标签、第三数量个库位标签和第四数量个用于特殊场景的特殊标签，具体包括：
基于深度学习算法，根据所述标签编号或者标签符号，对所述第一数量个标签进行分类，得到第三数量个库位标签；
通过神经网络模型，对所述第一数量个标签中，除第三数量个库位标签外的其它标签进行二次分类，得到第二数量个循迹标签和第四数量个特殊标签。
9.根据权利要求1所述的方法，其特征在于，所述判断所述第三数量个库位标签中是否包括目标库位具体包括：
将所述第三数量个库位标签中，每个库位标签的编号和预设的目标库位的编号进行匹配，当匹配成功时，则判定所述库位标签包括目标库位。
10.根据权利要求1所述的方法，其特征在于，所述根据所述目标库位的数字标签和辅助定位标签，确定目标库位的位置，具体包括：
根据所述目标库位中目标库位的数字标签和辅助定位标签的位置，确定目标库位的方向；根据预设的目标库位的长度，确定目标库位的位置；
或者，根据所述目标库位的编号，确定所述目标库位的角点的坐标，根据所述目标库位的角点的坐标，确定目标库位的位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910701980.0A CN110415550B (zh) | 2019-07-31 | 2019-07-31 | 基于视觉的自动泊车方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910701980.0A CN110415550B (zh) | 2019-07-31 | 2019-07-31 | 基于视觉的自动泊车方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110415550A true CN110415550A (zh) | 2019-11-05 |
| CN110415550B CN110415550B (zh) | 2020-08-07 |
Family
ID=68364867
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910701980.0A Active CN110415550B (zh) | 2019-07-31 | 2019-07-31 | 基于视觉的自动泊车方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110415550B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111862672A (zh) * | 2020-06-24 | 2020-10-30 | 北京易航远智科技有限公司 | 基于顶视图的停车场车辆自定位及地图构建方法 |
| CN111986506A (zh) * | 2020-07-20 | 2020-11-24 | 苏州易航远智智能科技有限公司 | 基于多视觉***的机械式停车位泊车方法 |
| CN112132829A (zh) * | 2020-10-23 | 2020-12-25 | 北京百度网讯科技有限公司 | 车辆信息的检测方法、装置、电子设备和存储介质 |
| CN112418183A (zh) * | 2020-12-15 | 2021-02-26 | 广州小鹏自动驾驶科技有限公司 | 一种停车场的元素提取方法、装置、电子设备及存储介质 |
| CN112802109A (zh) * | 2021-02-07 | 2021-05-14 | 的卢技术有限公司 | 一种汽车鸟瞰全景图生成方法 |
| WO2021203868A1 (zh) * | 2020-04-08 | 2021-10-14 | 华为技术有限公司 | 数据处理的方法和装置 |
| CN113781300A (zh) * | 2021-08-17 | 2021-12-10 | 东风汽车集团股份有限公司 | 一种用于远距离自主泊车的车辆视觉定位方法 |
| CN113899377A (zh) * | 2021-08-23 | 2022-01-07 | 武汉光庭信息技术股份有限公司 | 一种基于相机的自动泊车终点相对坐标的测量方法及*** |
| CN115214629A (zh) * | 2022-07-13 | 2022-10-21 | 小米汽车科技有限公司 | 自动泊车方法、装置、存储介质、车辆及芯片 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070057816A1 (en) * | 2005-09-12 | 2007-03-15 | Aisin Aw Co., Ltd. | Parking assist method and parking assist apparatus |
| CN103600707A (zh) * | 2013-11-06 | 2014-02-26 | 同济大学 | 一种智能泊车***的泊车位检测装置及方法 |
| CN105946853A (zh) * | 2016-04-28 | 2016-09-21 | 中山大学 | 基于多传感器融合的长距离自动泊车的***及方法 |
| CN107180215A (zh) * | 2017-05-31 | 2017-09-19 | 同济大学 | 基于库位和二维码的停车场自动建图与高精度定位方法 |
| CN107792179A (zh) * | 2017-09-27 | 2018-03-13 | 浙江零跑科技有限公司 | 一种基于车载环视***的泊车引导方法 |
| CN109697860A (zh) * | 2017-10-20 | 2019-04-30 | 上海欧菲智能车联科技有限公司 | 车位检测和跟踪***及方法及车辆 |
| CN109948398A (zh) * | 2017-12-20 | 2019-06-28 | 深圳开阳电子股份有限公司 | 全景泊车的图像处理方法及全景泊车装置 |
-
2019
- 2019-07-31 CN CN201910701980.0A patent/CN110415550B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070057816A1 (en) * | 2005-09-12 | 2007-03-15 | Aisin Aw Co., Ltd. | Parking assist method and parking assist apparatus |
| CN103600707A (zh) * | 2013-11-06 | 2014-02-26 | 同济大学 | 一种智能泊车***的泊车位检测装置及方法 |
| CN105946853A (zh) * | 2016-04-28 | 2016-09-21 | 中山大学 | 基于多传感器融合的长距离自动泊车的***及方法 |
| CN107180215A (zh) * | 2017-05-31 | 2017-09-19 | 同济大学 | 基于库位和二维码的停车场自动建图与高精度定位方法 |
| CN107792179A (zh) * | 2017-09-27 | 2018-03-13 | 浙江零跑科技有限公司 | 一种基于车载环视***的泊车引导方法 |
| CN109697860A (zh) * | 2017-10-20 | 2019-04-30 | 上海欧菲智能车联科技有限公司 | 车位检测和跟踪***及方法及车辆 |
| CN109948398A (zh) * | 2017-12-20 | 2019-06-28 | 深圳开阳电子股份有限公司 | 全景泊车的图像处理方法及全景泊车装置 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021203868A1 (zh) * | 2020-04-08 | 2021-10-14 | 华为技术有限公司 | 数据处理的方法和装置 |
| CN111862672A (zh) * | 2020-06-24 | 2020-10-30 | 北京易航远智科技有限公司 | 基于顶视图的停车场车辆自定位及地图构建方法 |
| CN111862672B (zh) * | 2020-06-24 | 2021-11-23 | 北京易航远智科技有限公司 | 基于顶视图的停车场车辆自定位及地图构建方法 |
| CN111986506B (zh) * | 2020-07-20 | 2022-04-01 | 苏州易航远智智能科技有限公司 | 基于多视觉***的机械式停车位泊车方法 |
| CN111986506A (zh) * | 2020-07-20 | 2020-11-24 | 苏州易航远智智能科技有限公司 | 基于多视觉***的机械式停车位泊车方法 |
| CN112132829A (zh) * | 2020-10-23 | 2020-12-25 | 北京百度网讯科技有限公司 | 车辆信息的检测方法、装置、电子设备和存储介质 |
| CN112418183A (zh) * | 2020-12-15 | 2021-02-26 | 广州小鹏自动驾驶科技有限公司 | 一种停车场的元素提取方法、装置、电子设备及存储介质 |
| CN112802109A (zh) * | 2021-02-07 | 2021-05-14 | 的卢技术有限公司 | 一种汽车鸟瞰全景图生成方法 |
| CN112802109B (zh) * | 2021-02-07 | 2024-05-10 | 的卢技术有限公司 | 一种汽车鸟瞰全景图生成方法 |
| CN113781300A (zh) * | 2021-08-17 | 2021-12-10 | 东风汽车集团股份有限公司 | 一种用于远距离自主泊车的车辆视觉定位方法 |
| CN113781300B (zh) * | 2021-08-17 | 2023-10-13 | 东风汽车集团股份有限公司 | 一种用于远距离自主泊车的车辆视觉定位方法 |
| CN113899377A (zh) * | 2021-08-23 | 2022-01-07 | 武汉光庭信息技术股份有限公司 | 一种基于相机的自动泊车终点相对坐标的测量方法及*** |
| CN113899377B (zh) * | 2021-08-23 | 2023-10-27 | 武汉光庭信息技术股份有限公司 | 一种基于相机的自动泊车终点相对坐标的测量方法及*** |
| CN115214629A (zh) * | 2022-07-13 | 2022-10-21 | 小米汽车科技有限公司 | 自动泊车方法、装置、存储介质、车辆及芯片 |
| CN115214629B (zh) * | 2022-07-13 | 2024-06-04 | 小米汽车科技有限公司 | 自动泊车方法、装置、存储介质、车辆及芯片 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110415550B (zh) | 2020-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110415550A (zh) | 基于视觉的自动泊车方法 | |
| JP7077517B2 (ja) | 自律車両ナビゲーションで使用する陸標を識別するシステム、及び、自律車両ナビゲーションで使用する陸標を識別する方法 | |
| US11852729B2 (en) | Ground intensity LIDAR localizer | |
| Meyer et al. | Automotive radar dataset for deep learning based 3d object detection | |
| CN110969655B (zh) | 用于检测车位的方法、装置、设备、存储介质以及车辆 | |
| JP6595182B2 (ja) | マッピング、位置特定、及び姿勢補正のためのシステム及び方法 | |
| EP4160147A1 (en) | Method and server for creating and distributing locally aligned navigation information for autonomous driving | |
| US20200160532A1 (en) | System and Method for Identifying Travel Way Features for Autonomous Vehicle Motion Control | |
| Alonso et al. | Accurate global localization using visual odometry and digital maps on urban environments | |
| US11037368B2 (en) | Localization method and apparatus of displaying virtual object in augmented reality | |
| US20200232800A1 (en) | Method and apparatus for enabling sequential groundview image projection synthesis and complicated scene reconstruction at map anomaly hotspot | |
| CN102442311B (zh) | 确定与车辆周边环境有关的编辑的图像数据的方法和设备 | |
| CN110126837A (zh) | 用于自主车辆运动规划的***和方法 | |
| CN110126839A (zh) | 用于自主车辆路径跟随器校正的***和方法 | |
| CN110497901A (zh) | 一种基于机器人vslam技术的泊车位自动搜索方法和*** | |
| CN109084785A (zh) | 多车辆协同定位与地图构建方法、装置、设备及存储介质 | |
| EP3942794B1 (en) | Depth-guided video inpainting for autonomous driving | |
| EP3056861A1 (en) | Method and system in a vehicle for improving prediction results of an advantageous driver assistant system | |
| CN110462343A (zh) | 基于地图的用于车辆的自动图像标记 | |
| CN109144049A (zh) | 用于控制感测装置视场的***和方法 | |
| CN111742326A (zh) | 车道线的检测方法、电子设备与存储介质 | |
| WO2020178639A1 (en) | Aligning road information for navigation | |
| Damerow et al. | Intersection warning system for occlusion risks using relational local dynamic maps | |
| CN117601850A (zh) | 机动车记忆泊车定位与纠偏方法、装置及可读存储介质 | |
| de la Peña et al. | AD PerDevKit: An autonomous driving perception development kit using CARLA simulator and ROS |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: B4-006, maker Plaza, 338 East Street, Huilongguan town, Changping District, Beijing 100096 Patentee after: Beijing Idriverplus Technology Co.,Ltd. Address before: B4-006, maker Plaza, 338 East Street, Huilongguan town, Changping District, Beijing 100096 Patentee before: Beijing Idriverplus Technology Co.,Ltd. |