CN109720340A - 一种基于视觉识别的自动泊车***及方法 - Google Patents
一种基于视觉识别的自动泊车***及方法 Download PDFInfo
- Publication number
- CN109720340A CN109720340A CN201811079125.2A CN201811079125A CN109720340A CN 109720340 A CN109720340 A CN 109720340A CN 201811079125 A CN201811079125 A CN 201811079125A CN 109720340 A CN109720340 A CN 109720340A
- Authority
- CN
- China
- Prior art keywords
- parking stall
- vehicle
- image
- parking
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000013135 deep learning Methods 0.000 claims abstract description 14
- 238000005457 optimization Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 abstract description 19
- 230000000694 effects Effects 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000002159 abnormal effect Effects 0.000 abstract description 2
- 238000012937 correction Methods 0.000 description 11
- 230000004888 barrier function Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 241000251468 Actinopterygii Species 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/06—Automatic manoeuvring for parking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于智能驾驶领域，具体涉及一种自动泊车***及泊车方法；现有技术中，自动泊车***基于传统的路径规划算法，效果较差，本发明提供了一种基于视觉识别的自动泊车***，所述***包括建图定位子模块和规划控制子模块，由于采用的地图融合了局部障碍的信息地图，提高了自动泊车***对非正常状态的适应性；此外通过深度学习获得视觉信息并根据环境的更新实时调用Reeds‑Shepp曲线规划技术，与无视觉反馈的位姿规划这一技术相比，提高了位姿估算精度及泊车***的响应速度。
Description
技术领域
本申请属于智能驾驶领域，具体涉及一种基于视觉识别的自动泊车***
背景技术
目前对于自动泊车技术主要的技术路线是基于传统的路径规划算法，如RRT、PRM、A*等。其基本思路是通过超声波识别出车位的大致位置，随机产生路径，之后对随机生成的路径进行碰撞检测，即检测路径是否会穿过障碍物，或路径是否在车辆可行驶区域内。再在所有可行的路径中，利用迪杰斯特拉算法等方法选择其中最优的停车路径。
但是，上述现有技术存在以下缺陷：
(1)单纯依靠超声波不能准确的识别车位位置，不能处理除平行泊车、垂直泊车之外的泊车场景；这带来了泊车条件的局限。
(2)整个泊车功能启动后，没有视觉反馈的位姿估算精度较差；
发明内容
鉴于现有技术中存在的问题，本发明采用以下技术方案：
一种基于视觉识别的自动泊车***，其特征在于：所述***包括建图定位子模块和规划控制子模块；
所述建图定位子模块利用设置在车辆的摄像头获取所述车辆四周的图像；
所述建图定位子模块从所述图像中识别出车位点、车位线和/或引导线，建立地图。
所述规划控制子模块针对所述地图，采用Reeds-Shepp曲线生成平滑的路径；通过比例-积分-微分(PID)控制算法控制所述车辆完成对规划出的所述路径的跟踪，将所述车辆运动到泊车目标点。
优选的，其特征在于：识别图像中的车位、车位线和/或引导线是通过深度学习算法实现的。
优选的，其特征在于：所述地图是通过所述车位点、所述车位线和/或引导线信息的输入，使用优化算法得到的。
优选的，其特征在于：所述车辆四周的图像是由各所述摄像头获得的图像拼接而成的图像。
优选的，其特征在于：所述摄像头为鱼眼广角摄像头，其畸变校正公式为：
xcor＝x+x(k1r2+k2r4+k3r6)+[2p1y+p2(r2+2x2)]， (1)
其中(x,y)是图像中某一像素点的原始坐标；(xcor,ycor)是此像素点校正畸变后的坐标；[k1,k2,k3]是径向畸变参数；[p1,p2]是切向畸变参数。
根据本发明的另一方面，提供了一种自动泊车***，
所述***包括建图定位子模块和规划控制子模块；
所述建图定位子模块利用设置在车辆四周的摄像头获取所述车辆四周的图像；
所述建图定位子模块从所述图像中识别出车位点、车位线和/或引导线，建立地图。
所述规划控制子模块针对所述地图，采用Reeds-Shepp曲线生成平滑的路径；通过比例-积分-微分(PID)控制算法控制所述车辆完成对规划出的所述路径的跟踪，将所述车辆运动到泊车目标点。
所述建图定位子模块利用设置在所述车辆上超声波得到局部障碍信息；所述建图定位子模块从所述图像中识别出车位点、车位线和/或引导线，并结合所述局部障碍信息建立地图。
根据本发明的另一个方面，提供一种基于视觉识别的自动泊车方法，其特征在于：所述方法包括以下步骤：建图定位步骤和规划控制步骤；
所述建图定位步骤利用设置在车辆的摄像头获取所述车辆四周的图像；从所述图像中识别出车位点、车位线和/或引导线，建立地图。
所述规划控制步骤针对所述地图，采用Reeds-Shepp曲线生成平滑的路径；通过比例-积分-微分(PID)控制算法控制所述车辆完成对规划出的所述路径的跟踪，将所述车辆运动到泊车目标点。
优选的，识别图像中的车位点、车位线和/或引导线是通过深度学习算法实现的。
优选的，所述地图是通过所述车位点、所述车位线和/或引导线信息的输入，使用优化算法得到的。
优选的，所述车辆四周的图像是由各所述摄像头获得的图像拼接而成的图像。
其特征在于：所述摄像头为鱼眼广角摄像头，其畸变校正公式为:
xcor＝x+x(k1r2+k2r4+k3r6)+[2p1y+p2(r2+2x2)]， (1)
其中(x,y)是图像中某一像素点的原始坐标；(xcor,ycor)是此像素点校正畸变后的坐标；[k1,k2,k3]是径向畸变参数；[p1,p2]是切向畸变参数。
根据本发明的另一方面，提供了一种自动泊车方法，所述方法包括以下步骤：建图定位步骤和规划控制步骤；
所述建图定位步骤利用设置在车辆的摄像头获取所述车辆四周的图像；从所述图像中识别出车位点、车位线和/或引导线，建立地图。
所述规划控制步骤针对所述地图，采用Reeds-Shepp曲线生成平滑的路径；通过比例-积分-微分(PID)控制算法控制所述车辆完成对规划出的所述路径的跟踪，将所述车辆运动到泊车目标点。
在所述建图定位步骤中，利用设置在所述车辆上超声波得到局部障碍信息；所述建图定位子模块从所述图像中识别出车位点、车位线和/或引导线，并结合所述局部障碍信息建立地图。
本发明的发明点在于下述的几个方面，但不仅限于下述的几个方面：
(1)地图为融合了局部障碍的信息地图。采用了该融合了局部障碍的信息地图为泊车提供了信息保障，提高了泊车规划的效率。采用非视觉传感器，例如超声传感器，其与视觉传感器对于检测的信息有明确的分工。因为理论上视觉传感器在检测局部障碍和信息地图上都是可以胜任的，但如果只采用视觉传感器，则会在后期人工智能神经网络计算时带来较大的计算压力和负担，影响车辆泊车控制的速度。但这些影响并不会出现在传统的车辆控制之中，因为传统辅助车辆控制与规划时对于神经网络的依赖度很低。但正是因为本发明有别于传感的辅助车辆控制与规划，采用了Reeds-Shepp曲线以及神经网络对车位点、车位线和/或引导线的识别，因此本发明需要对采用视觉传感器获得哪些信息进行取舍，本发明中采用的Reeds-Shepp曲线是专门针对已经识别的车位点、车位线和/或引导线而专门设计的，识别车位点、车位线和/或引导线效果好，但采用形成该曲线的视觉传感器方法也不能简单转用于障碍物的识别，在实际实验中对于障碍物的识别效果差，而对于障碍物用超声传感器比视觉传感器更好。经过技术人员长期的实验和经验总结发现，局部障碍信息这部分采用超声传感器替代视觉传感器，在有效降低后期数据处理压力的同时，也可以发挥出超声传感器对于视野内障碍信息检测的优势。即用超声传感器有选择的只检测局部障碍，其他仍采用视觉传感器是经过严格的实验和检测的，并不是两种传感器的简单叠加。这是本发明的发明点之一。
(2)基于深度学习的车位检测，提高了车位识别场景的覆盖度，同时，融合视觉反馈的信息提高了位姿估算的精度。这是本发明的发明点之一。
(3)本发明由于采用的是鱼眼广角摄像头，因此必须进行鱼眼摄像头拍摄图像的畸变校正。本发明所采用的畸变校正公式考虑到了鱼眼广角摄像头在数据采集车上的位置，并不同于现有的鱼眼图像校正。例如在数据采集车中，为了得到车位点、车位线和/或引导线的清晰图像信息，摄像头位置摆入在入库时候这些车位点、车位线、引导线接近在成像中心的位置，正是考虑到这一点，在畸变校正时将切向畸变的两个参数线性叠加地进行修正。详细的畸变校正方法参见下述的具体实施例。将畸变校正与泊车用摄像头位置联系起来。这是本发明的发明点之一。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：
图1是本发明实施例提供的自动泊车功能框图；
图2是本发明实施例提供的Reeds-Shepp曲线示例图；
图3是本发明实施例提供的基于实时环境信息的Reeds-Shepp曲线规划流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
图1出示了本发明实施例提供的基于深度学习的自动泊车***的实现功能框图，包括建图定位子模块与规划控制子模块，详述如下：
1.建图定位子模块
该模块主要用于对采集到的图像进行特征提取与车位定位，得到障碍地图及相关参数信息。该模块共分为四个步骤：步骤一，首先对位于车辆四周的四个鱼眼摄像机采集到的图像进行畸变矫正及逆透视变换，然后通过环视图像拼接得到完整的环视图；步骤二，结合海量标注环视拼接图，利用深度学习算法对车位识别及视觉特征提取；步骤三，同时定位建图(SLAM)；步骤四，融合超声波信息，得到障碍地图，以便对后期路径规划、完成泊车提供地图信息。详细描述如下：
步骤一，利用位于车辆前侧、后侧、左侧、右侧的四个鱼眼摄像头保证摄像头采集到的图像覆盖到车辆四周360度区域，且相邻两摄像头采集到的图像应有重叠区域。由于鱼眼摄像头采集到的图像存在较大畸变，首先需要对其去畸变进行图像复原矫正和逆透视变换，运行环视拼接算法，得到二维俯视的环视拼接图。
为获得较大的视野范围，本发明中的摄像头为鱼眼广角摄像头。由于鱼眼摄像头采集到的图像存在较大畸变，首先要对采集到的图像信息进行校正畸变。
根据标定得到的摄像机畸变参数，采用棋盘格角点识别及非线性拟合方法进行畸变校正。具体的可以利用式(1)对采集到的四幅图像分别进行校正畸变：
xcor＝x+x(k1r2+k2r4+k3r6)+[2p1y+p2(r2+2x2)]， (1)
其中(x,y)是图像中某一像素点的原始坐标；(xcor,ycor)是此像素点校正畸变后的坐标；[k1,k2,k3]是径向畸变参数；[p1,p2]是切向畸变参数。这里的畸变参数在选择上考虑了鱼眼摄像头为了拍摄覆盖到车辆四周360度区域以及车位点、车位线和/或引导线的需要。例如鱼眼摄像头位于车辆前侧、后侧、左侧、右侧以保证360度无死角拍摄，另外车位点、车位线和/或引导线为了成像清晰，尽量位于图像中心位置。具体的对于切向畸变的两个参数p1和p2线性叠加，以2p1y+p2(r2+2x2)方式进行修正。
对矫正畸变后的四幅图像分别进行逆透视变换，即建立图像坐标系中的点与三维世界坐标系中已知平面上的点的位置对应关系。
具体地，选取车辆几何中心点竖直向下投影在地面上的点作为坐标原点Ow；Yw轴方向平行于车辆后轴方向，指向车辆左侧为正；Xw垂直于Yw轴，指向车辆前方为正；垂直于地面向上为Zw轴正方向。将此坐标系作为世界坐标系。现假定Zw＝0，即假定图像中的所有点在三维世界坐标系中都位于地面上，利用四个鱼眼摄像机的内参矩阵和外参矩阵，对四个鱼眼摄像机采集到的图像分别进行逆透视变换，得到俯视效果的鸟瞰图。
由逆透视变换得到四幅俯视效果的鸟瞰图，通过对齐重叠区域，可以将四幅鸟瞰图拼接为环视图。
这一过程包括：首先，设定环视图的视野范围。即确定鸟瞰图的缩放因子；
然后，确定相邻两张图像的重叠对应位置及拼缝。选四幅图两两相邻之间的重叠区域内的四条直线作为拼接缝；
最后，将四幅图按照拼接缝的位置剪裁并拼接。
图1示出的建图定位子模块中第一幅图为拼接生成的一张环视图。
步骤二，通过深度学习算法，识别出拼接图中的车位点、车位线、引导线等信息。
具体地，首先结合海量的人工手动标注环视图，标注信息包括车位点、车位线、引导线，采取监督学习的策略，利用深度学习算法，设计并学习车位信息识别网络模型，该网络模型通过多层网络提取具有可区分性的视觉特征，对环视图中的车位信息进行识别。
使用深度学习算法提取车位信息等视觉特征的主要原因在于，深度卷积神经网络不仅在处理图像上有其独特局部感知和参数共享等优点，利用海量标注数据有监督的学习网络模型，其自适应性和鲁棒性能也是一大优点。
具体地，此车位识别网络模型的输入为环视图，使用标注信息监督网络模型学习得到该环视图有关车位点、车位线、引导线的视觉特征，网络输出为一幅分割结果图，具体为和输入拼接图同分辨率的图片，对于图片中的每一个像素点都存在一个语义属性，语义属性包含车位点属性、车位线属性、引导线属性。
利用上述车位识信息别网络模型识别出的车位点及车位线获得目标车位的信息，包括车位在局部地图中的位置，车位长宽和角度。
具体地，通过神经网络模型得到每个像素点的语义信息，通过车位点属性的像素位置与车位线属性的像素位置提取出车位线的矢量属性，结果车位线的矢量属性计算出目标停车位置和目标停车航向及车位宽度、长度、角度。结合超声波障碍地图判断每个视觉识别出的车位位置是否有障碍物，如有障碍物则判断改车位不可停或非空车位。
步骤三，利用深度学习算法中得到的视觉信息作为输入，使用优化算法得到当前时刻的车辆位姿及任务启动后建立的局部地图。
具体地，以车辆位姿为优化参数，使用高斯牛顿优化算法得出当前实时分割图与局部地图的最佳匹配位置的参数作为位姿结果。
步骤四，通过超声波信息得到局部的障碍信息，将障碍信息融入到地图中。
具体地，该超声波信息用于检测空车位。建立地图过程中实时探测到侧边超声波与障碍物之间的距离信息，结合位姿，计算出障碍物在局部地图中的位置。
至此，得到障碍信息地图，该地图包括目标泊车车位。如果有多个停车位，所有停车位都会以人机交互界面的方式展示给用户，用户自主选择目标停车位。
2.规划控制子模块
此模块主要作用是根据障碍地图，规划路径并完成最终泊车任务。路径规划是解决自动泊车的主要策略。本发明采用路径跟踪方法，预先生成好路径，然后运用控制器进行路径跟踪。
此模块共分为三个步骤：步骤一，路径规划，针对障碍信息地图，采用Reeds-Shepp曲线生成平滑的路径；步骤二，通过比例-积分-微分(PID)控制算法控制车辆完成对规划出的轨迹的跟踪；步骤三，将车辆运动到泊车目标点，泊车任务结束。详细步骤描述如下：
步骤一，针对融合局部障碍信息的地图，根据更新的环境信息，自适应的调用Reeds-Shepp曲线生成候选泊车路径。此方法为本发明的一个发明点。
本发明中的自动泊车规划技术原理是在泊车过程中，随着车辆距离泊车目标位置越来越近，泊车周围环境信息越来越精确及完善，当更新后的泊车环境与之前的泊车环境相差比较大时，则更新泊车周围环境信息，并进行一次Reeds-Shepp曲线规划到当前位置到停车位置的轨迹。这种机制能够保证实时调用Reeds-Shepp曲线规划达到精确规划的目的。
Reeds-Shepp曲线可以生成符合车辆运动学模型的从任意起始位姿(x0,y0,theta0)到任意终点位姿(xl,yl,thetal)的轨迹。
具体地，Reeds-Shepp曲线由几段半径固定的圆弧或直线段拼接组成，而且圆弧的半径一般是汽车的最小转向半径。这里的路径长度是指汽车后轴中心运动轨迹的长度，也就是所有圆弧的弧长和直线段的长度之和。Reeds-Shepp曲线是一种几何的规划方法，通常由如下几种基本类型构成：
{C|C|C,CC|C,CC|C,CSC,CCβ|CβC,C|CβCβ|C,
C|Cπ/2SC,CSCπ/2|C,C|Cπ/2SCπ/2|C}
其中，C表示圆弧轨迹；|表示档位变换；S表示直线段，β表示指定该段轨迹的转向弧度；在某些情况下会给出π/2的下标，因为曲线必须精确遵循转向弧度为π/2的情况。
表1为六种运动基元，可以构建所有最佳的Reeds-Shepp曲线。
表1六种运动基元
其中L和R分别代表左转与右转；+与-分别代表前进和倒挡。
对于曲线和直线段，根据转向和档位位置细分出如上六种类型。通过细分基本类型得到如下表2所有子类型：
表2六种运动基元细分基本类型
细分类型应该为48类，去除C|C|C的(L-R+L-)和(R-L+R-)两类，只显示剩余的46类。
具体地，以图2为例，以qI为起点，水平向右为正方向，qG为终点，垂直向上为正方向，便可以使用类型的轨迹规划策略，规划结果如图2所示。
步骤二，通过上述Reeds-Shepp曲线生成方法，得到规划路径策略。然后通过PID控制算法控制车辆完成对规划出的轨迹的跟踪。
具体地，在PID控制算法下，控制车辆行驶，会随着车辆的行驶不断的更新车辆四周泊车环境，所以要实时的跟踪并更新规划的泊车轨迹。
具体地，如图3所示，首先设置环境差值门限，利用历史环境信息与实时环境信息差异，决定是否要更新泊车轨迹。若环境差值大于设置的门限，即周围泊车环境有相对明显变化，则要对最新采集到的图像执行Reeds-Shepp曲线规划；若环境差值并不大，即周围泊车环境没有相对明显的变化，则保持现有路径规划。
步骤三，车辆根据实时规划的轨迹跟踪运动到泊车目标点，泊车任务结束。
本发明实施例中，一方面基于海量的带标注的图像数据库，基于先进的深度学习算法，解决了传统车位识别方法中单纯依靠超声波不能准确识别车位位置，覆盖场景少的问题。本实施例中，有数据标注的场景都能覆盖，且车位识别率高达95％以上，识别误差小于3个像素；另一方面，基于深度学习的分割结果，利用高斯牛顿优化算法处理视觉分割结果得到的位姿信息，弥补了轨迹跟踪过程中无视觉反馈导致的位姿估算精度较差的问题。
显然，本领域的技术人员应该明白，上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (12)
1.一种基于视觉识别的自动泊车***，其特征在于：所述***包括建图定位子模块和规划控制子模块；
所述建图定位子模块利用设置在车辆的摄像头获取所述车辆四周的图像；
所述建图定位子模块从所述图像中识别出车位点、车位线和/或引导线，建立地图；
所述规划控制子模块针对所述地图，采用Reeds-Shepp曲线生成平滑的路径；通过比例-积分-微分(PID)控制算法控制所述车辆完成对规划出的所述路径的跟踪，将所述车辆运动到泊车目标点。
2.根据权利要求1所述的***，其特征在于：识别图像中的车位、车位线和/或引导线是通过深度学习算法实现的。
3.根据权利要求1-2所述的***，其特征在于：所述地图是通过所述车位点、所述车位线和/或引导线信息的输入，使用优化算法得到的。
4.根据权利要求1-3所述的***，其特征在于：所述车辆四周的图像是由各所述摄像头获得的图像拼接而成的图像。
5.根据权利要求4所述的***，其特征在于：所述摄像头为鱼眼广角摄像头，其畸变校正公式为：
xcor＝x+x(k1r2+k2r4+k3r6)+[2p1y+p2(r2+2x2)]， (1)
其中(x,y)是图像中某一像素点的原始坐标；(xcor,ycor)是此像素点校正畸变后的坐标；[k1,k2,k3]是径向畸变参数；[p1,p2]是切向畸变参数。
6.一种基于视觉识别的自动泊车***，其特征在于：所述***包括建图定位子模块和规划控制子模块；
所述建图定位子模块利用设置在车辆的摄像头获取所述车辆四周的图像；
所述建图定位子模块从所述图像中识别出车位点、车位线和/或引导线，建立地图；
所述规划控制子模块针对所述地图，采用Reeds-Shepp曲线生成平滑的路径；通过比例-积分-微分(PID)控制算法控制所述车辆完成对规划出的所述路径的跟踪，将所述车辆运动到泊车目标点；
所述建图定位子模块利用设置在所述车辆上超声波得到局部障碍信息；所述建图定位子模块从所述图像中识别出车位点、车位线和/或引导线，并结合所述局部障碍信息建立地图。
7.一种基于视觉识别的自动泊车方法，其特征在于：所述方法包括以下步骤：建图定位步骤和规划控制步骤；
所述建图定位步骤利用设置在车辆的摄像头获取所述车辆四周的图像；从所述图像中识别出车位点、车位线和/或引导线，建立地图；
所述规划控制步骤针对所述地图，采用Reeds-Shepp曲线生成平滑的路径；通过比例-积分-微分(PID)控制算法控制所述车辆完成对规划出的所述路径的跟踪，将所述车辆运动到泊车目标点。
8.根据权利要求7所述的方法，其特征在于：识别图像中的车位点、车位线和/或引导线是通过深度学习算法实现的。
9.根据权利要求7-8所述的方法，其特征在于：所述地图是通过所述车位点、所述车位线和/或引导线信息的输入，使用优化算法得到的。
10.根据权利要求7-9所述的方法，其特征在于：所述车辆四周的图像是由各所述摄像头获得的图像拼接而成的图像。
11.根据权利要求7所述的方法，其特征在于：所述摄像头为鱼眼广角摄像头，其畸变校正公式为:
xcor＝x+x(k1r2+k2r4+k3r6)+[2p1y+p2(r2+2x2)]， (1)
其中(x,y)是图像中某一像素点的原始坐标；(xcor,ycor)是此像素点校正畸变后的坐标；[k1,k2,k3]是径向畸变参数；[p1,p2]是切向畸变参数。
12.一种基于视觉识别的自动泊车方法，其特征在于：所述方法包括以下步骤：建图定位步骤和规划控制步骤；
所述建图定位步骤利用设置在车辆的摄像头获取所述车辆四周的图像；从所述图像中识别出车位点、车位线和/或引导线，建立地图；
所述规划控制步骤针对所述地图，采用Reeds-Shepp曲线生成平滑的路径；通过比例-积分-微分(PID)控制算法控制所述车辆完成对规划出的所述路径的跟踪，将所述车辆运动到泊车目标点；
在所述建图定位步骤中，利用设置在所述车辆上超声波得到局部障碍信息；所述建图定位子模块从所述图像中识别出车位点、车位线和/或引导线，并结合所述局部障碍信息建立地图。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811079125.2A CN109720340B (zh) | 2018-09-17 | 2018-09-17 | 一种基于视觉识别的自动泊车***及方法 |
| PCT/CN2018/113658 WO2020056874A1 (zh) | 2018-09-17 | 2018-11-02 | 一种基于视觉识别的自动泊车***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811079125.2A CN109720340B (zh) | 2018-09-17 | 2018-09-17 | 一种基于视觉识别的自动泊车***及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109720340A true CN109720340A (zh) | 2019-05-07 |
| CN109720340B CN109720340B (zh) | 2021-05-04 |
Family
ID=66295691
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811079125.2A Active CN109720340B (zh) | 2018-09-17 | 2018-09-17 | 一种基于视觉识别的自动泊车***及方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109720340B (zh) |
| WO (1) | WO2020056874A1 (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110293966A (zh) * | 2019-06-28 | 2019-10-01 | 北京地平线机器人技术研发有限公司 | 车辆泊车控制方法，车辆泊车控制装置和电子设备 |
| CN110562248A (zh) * | 2019-09-17 | 2019-12-13 | 浙江吉利汽车研究院有限公司 | 一种基于无人机的自动泊车***及自动泊车方法 |
| CN110606071A (zh) * | 2019-09-06 | 2019-12-24 | 中国第一汽车股份有限公司 | 一种泊车方法、装置、车辆和存储介质 |
| CN110705359A (zh) * | 2019-09-05 | 2020-01-17 | 北京智行者科技有限公司 | 一种车位检测方法 |
| CN110751850A (zh) * | 2019-08-30 | 2020-02-04 | 的卢技术有限公司 | 一种基于深度神经网络的车位识别方法和*** |
| CN111176288A (zh) * | 2020-01-07 | 2020-05-19 | 深圳南方德尔汽车电子有限公司 | 基于Reedsshepp全局路径规划方法、装置、计算机设备及存储介质 |
| CN111274343A (zh) * | 2020-01-20 | 2020-06-12 | 北京百度网讯科技有限公司 | 一种车辆定位方法、装置、电子设备及存储介质 |
| CN111291650A (zh) * | 2020-01-21 | 2020-06-16 | 北京百度网讯科技有限公司 | 自动泊车辅助的方法及装置 |
| CN111678518A (zh) * | 2020-05-29 | 2020-09-18 | 南京市德赛西威汽车电子有限公司 | 一种用于修正自动泊车路径的视觉定位方法 |
| CN112180373A (zh) * | 2020-09-18 | 2021-01-05 | 纵目科技（上海）股份有限公司 | 一种多传感器融合的智能泊车***和方法 |
| CN112644479A (zh) * | 2021-01-07 | 2021-04-13 | 广州小鹏自动驾驶科技有限公司 | 一种泊车控制方法和装置 |
| CN112660117A (zh) * | 2021-01-19 | 2021-04-16 | 广州小鹏自动驾驶科技有限公司 | 一种自动泊车方法、泊车***、计算机设备及存储介质 |
| CN113609148A (zh) * | 2021-08-17 | 2021-11-05 | 广州小鹏自动驾驶科技有限公司 | 一种地图更新的方法和装置 |
| WO2021226772A1 (zh) * | 2020-05-11 | 2021-11-18 | 上海欧菲智能车联科技有限公司 | 环视图显示方法、装置、计算机设备和存储介质 |
| CN114274948A (zh) * | 2021-12-15 | 2022-04-05 | 武汉光庭信息技术股份有限公司 | 一种基于360度全景的自动泊车方法及装置 |
| CN114312759A (zh) * | 2022-01-21 | 2022-04-12 | 山东浪潮科学研究院有限公司 | 一种智能辅助停车的方法、设备及存储介质 |
| CN118082811A (zh) * | 2024-04-23 | 2024-05-28 | 知行汽车科技(苏州)股份有限公司 | 一种泊车控制方法、装置、设备及介质 |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111753639A (zh) * | 2020-05-06 | 2020-10-09 | 上海欧菲智能车联科技有限公司 | 感知地图生成方法、装置、计算机设备和存储介质 |
| CN111723659B (zh) * | 2020-05-14 | 2024-01-09 | 上海欧菲智能车联科技有限公司 | 泊车位确定方法、装置、计算机设备和存储介质 |
| CN111640062B (zh) * | 2020-05-15 | 2023-06-09 | 上海赫千电子科技有限公司 | 一种车载环视图像的自动拼接方法 |
| CN111626348B (zh) * | 2020-05-20 | 2024-02-02 | 安徽江淮汽车集团股份有限公司 | 自动泊车测试模型构建方法、设备、存储介质及装置 |
| CN111599217B (zh) * | 2020-06-04 | 2023-06-13 | 纵目科技（上海）股份有限公司 | 一种自主泊车***架构、架构实现方法、终端和存储介质 |
| CN111860228B (zh) * | 2020-06-30 | 2024-01-16 | 阿波罗智能技术(北京)有限公司 | 用于自主泊车的方法、装置、设备以及存储介质 |
| CN114454872A (zh) * | 2020-11-10 | 2022-05-10 | 上汽通用汽车有限公司 | 泊车***和泊车方法 |
| CN112880696A (zh) * | 2021-01-13 | 2021-06-01 | 成都朴为科技有限公司 | 一种基于同时建图与定位的泊车***及方法 |
| CN112937554A (zh) * | 2021-01-30 | 2021-06-11 | 惠州华阳通用电子有限公司 | 一种泊车方法及*** |
| CN113589685B (zh) * | 2021-06-10 | 2024-04-09 | 常州工程职业技术学院 | 一种基于深度神经网络的挪车机器人控制***及其方法 |
| CN113592949B (zh) * | 2021-07-01 | 2024-03-29 | 广东工业大学 | 用于车辆无线泊车影像的控制***及方法 |
| CN113436275B (zh) * | 2021-07-12 | 2024-06-25 | 超级视线科技有限公司 | 一种基于标定板的泊位尺寸确定方法及*** |
| CN113781300B (zh) * | 2021-08-17 | 2023-10-13 | 东风汽车集团股份有限公司 | 一种用于远距离自主泊车的车辆视觉定位方法 |
| CN113899377B (zh) * | 2021-08-23 | 2023-10-27 | 武汉光庭信息技术股份有限公司 | 一种基于相机的自动泊车终点相对坐标的测量方法及*** |
| CN113753029B (zh) * | 2021-08-27 | 2023-11-17 | 惠州华阳通用智慧车载***开发有限公司 | 一种基于光流法的自动泊车方法及*** |
| CN114179785B (zh) * | 2021-11-22 | 2023-10-13 | 岚图汽车科技有限公司 | 一种基于面向服务的融合泊车控制***、电子设备和车辆 |
| CN114030463B (zh) * | 2021-11-23 | 2024-05-14 | 上海汽车集团股份有限公司 | 一种自动泊车***的路径规划方法及装置 |
| CN114926820A (zh) * | 2022-06-09 | 2022-08-19 | 东风汽车集团股份有限公司 | 基于深度学习和图像帧优化的斜车位识别方法及*** |
| CN115235452A (zh) * | 2022-07-22 | 2022-10-25 | 上海师范大学 | 基于uwb/imu和视觉信息融合的智能泊车定位***及方法 |
| EP4377759A1 (en) * | 2022-08-19 | 2024-06-05 | Mitsubishi Electric Corporation | System and method for controlling movement of a vehicle |
| CN115903837B (zh) * | 2022-12-19 | 2023-09-29 | 湖州丽天智能科技有限公司 | 一种车载光伏机器人自动充电方法和*** |
| CN116229426B (zh) * | 2023-05-09 | 2023-07-21 | 华东交通大学 | 基于全景环视图像的无人驾驶泊车停车位检测方法 |
| CN116772744B (zh) * | 2023-08-24 | 2023-10-24 | 成都量芯集成科技有限公司 | 一种基于激光测距和视觉融合的3d扫描装置及其方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102963355A (zh) * | 2012-11-01 | 2013-03-13 | 同济大学 | 一种智能辅助泊车方法及其实现*** |
| CN103600707A (zh) * | 2013-11-06 | 2014-02-26 | 同济大学 | 一种智能泊车***的泊车位检测装置及方法 |
| WO2017003052A1 (ko) * | 2015-06-29 | 2017-01-05 | 엘지전자 주식회사 | 차량 운전 보조 방법 및 차량 |
| CN106335503A (zh) * | 2015-07-10 | 2017-01-18 | 丰田自动车株式会社 | 用于混合动力车辆的控制设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106114623A (zh) * | 2016-06-16 | 2016-11-16 | 江苏大学 | 一种基于人类视觉的自动泊车路径规划方法及*** |
-
2018
- 2018-09-17 CN CN201811079125.2A patent/CN109720340B/zh active Active
- 2018-11-02 WO PCT/CN2018/113658 patent/WO2020056874A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102963355A (zh) * | 2012-11-01 | 2013-03-13 | 同济大学 | 一种智能辅助泊车方法及其实现*** |
| CN103600707A (zh) * | 2013-11-06 | 2014-02-26 | 同济大学 | 一种智能泊车***的泊车位检测装置及方法 |
| WO2017003052A1 (ko) * | 2015-06-29 | 2017-01-05 | 엘지전자 주식회사 | 차량 운전 보조 방법 및 차량 |
| CN106335503A (zh) * | 2015-07-10 | 2017-01-18 | 丰田自动车株式会社 | 用于混合动力车辆的控制设备 |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110293966A (zh) * | 2019-06-28 | 2019-10-01 | 北京地平线机器人技术研发有限公司 | 车辆泊车控制方法，车辆泊车控制装置和电子设备 |
| CN110293966B (zh) * | 2019-06-28 | 2021-06-01 | 北京地平线机器人技术研发有限公司 | 车辆泊车控制方法，车辆泊车控制装置和电子设备 |
| CN110751850A (zh) * | 2019-08-30 | 2020-02-04 | 的卢技术有限公司 | 一种基于深度神经网络的车位识别方法和*** |
| CN110705359A (zh) * | 2019-09-05 | 2020-01-17 | 北京智行者科技有限公司 | 一种车位检测方法 |
| CN110705359B (zh) * | 2019-09-05 | 2023-03-03 | 北京智行者科技股份有限公司 | 一种车位检测方法 |
| CN110606071A (zh) * | 2019-09-06 | 2019-12-24 | 中国第一汽车股份有限公司 | 一种泊车方法、装置、车辆和存储介质 |
| CN110562248B (zh) * | 2019-09-17 | 2020-09-25 | 浙江吉利汽车研究院有限公司 | 一种基于无人机的自动泊车***及自动泊车方法 |
| CN110562248A (zh) * | 2019-09-17 | 2019-12-13 | 浙江吉利汽车研究院有限公司 | 一种基于无人机的自动泊车***及自动泊车方法 |
| CN111176288A (zh) * | 2020-01-07 | 2020-05-19 | 深圳南方德尔汽车电子有限公司 | 基于Reedsshepp全局路径规划方法、装置、计算机设备及存储介质 |
| CN111274343A (zh) * | 2020-01-20 | 2020-06-12 | 北京百度网讯科技有限公司 | 一种车辆定位方法、装置、电子设备及存储介质 |
| US11586218B2 (en) | 2020-01-20 | 2023-02-21 | Apollo Intelligent Driving Technology (Beijing) Co., Ltd. | Method and apparatus for positioning vehicle, electronic device and storage medium |
| EP3851802A1 (en) * | 2020-01-20 | 2021-07-21 | Beijing Baidu Netcom Science And Technology Co. Ltd. | Method and apparatus for positioning vehicle, electronic device and storage medium |
| CN111274343B (zh) * | 2020-01-20 | 2023-11-24 | 阿波罗智能技术(北京)有限公司 | 一种车辆定位方法、装置、电子设备及存储介质 |
| CN111291650A (zh) * | 2020-01-21 | 2020-06-16 | 北京百度网讯科技有限公司 | 自动泊车辅助的方法及装置 |
| WO2021226772A1 (zh) * | 2020-05-11 | 2021-11-18 | 上海欧菲智能车联科技有限公司 | 环视图显示方法、装置、计算机设备和存储介质 |
| CN111678518A (zh) * | 2020-05-29 | 2020-09-18 | 南京市德赛西威汽车电子有限公司 | 一种用于修正自动泊车路径的视觉定位方法 |
| CN112180373A (zh) * | 2020-09-18 | 2021-01-05 | 纵目科技（上海）股份有限公司 | 一种多传感器融合的智能泊车***和方法 |
| CN112180373B (zh) * | 2020-09-18 | 2024-04-19 | 纵目科技（上海）股份有限公司 | 一种多传感器融合的智能泊车***和方法 |
| CN112644479A (zh) * | 2021-01-07 | 2021-04-13 | 广州小鹏自动驾驶科技有限公司 | 一种泊车控制方法和装置 |
| CN112644479B (zh) * | 2021-01-07 | 2022-05-13 | 广州小鹏自动驾驶科技有限公司 | 一种泊车控制方法和装置 |
| CN112660117A (zh) * | 2021-01-19 | 2021-04-16 | 广州小鹏自动驾驶科技有限公司 | 一种自动泊车方法、泊车***、计算机设备及存储介质 |
| CN113609148A (zh) * | 2021-08-17 | 2021-11-05 | 广州小鹏自动驾驶科技有限公司 | 一种地图更新的方法和装置 |
| CN114274948A (zh) * | 2021-12-15 | 2022-04-05 | 武汉光庭信息技术股份有限公司 | 一种基于360度全景的自动泊车方法及装置 |
| CN114312759A (zh) * | 2022-01-21 | 2022-04-12 | 山东浪潮科学研究院有限公司 | 一种智能辅助停车的方法、设备及存储介质 |
| CN118082811A (zh) * | 2024-04-23 | 2024-05-28 | 知行汽车科技(苏州)股份有限公司 | 一种泊车控制方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109720340B (zh) | 2021-05-04 |
| WO2020056874A1 (zh) | 2020-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109720340A (zh) | 一种基于视觉识别的自动泊车***及方法 | |
| CN107600067B (zh) | 一种基于多视觉惯导融合的自主泊车***及方法 | |
| Xu et al. | Vision-guided automatic parking for smart car | |
| CN112102369A (zh) | 水面漂浮目标自主巡检方法、装置、设备及存储介质 | |
| CN109733384A (zh) | 泊车路径设置方法及*** | |
| AU2012323096B2 (en) | Method of calibrating a computer-based vision system onboard a craft | |
| Lu et al. | SUPER: A novel lane detection system | |
| CN106780484A (zh) | 基于卷积神经网络特征描述子的机器人帧间位姿估计方法 | |
| Moghadam et al. | Road direction detection based on vanishing-point tracking | |
| CN106529466A (zh) | 一种基于仿生眼的无人驾驶车辆路径规划方法及*** | |
| CN108481327A (zh) | 一种增强视觉的定位装置、定位方法及机器人 | |
| CN110502010A (zh) | 一种基于贝塞尔曲线的移动机器人室内自主导航控制方法 | |
| CN111612823A (zh) | 一种基于视觉的机器人自主跟踪方法 | |
| Holz et al. | Continuous 3D sensing for navigation and SLAM in cluttered and dynamic environments | |
| CN110610130A (zh) | 一种多传感器信息融合的输电线路机器人导航方法及*** | |
| Silva et al. | Monocular trail detection and tracking aided by visual SLAM for small unmanned aerial vehicles | |
| CN114379544A (zh) | 一种基于多传感器前融合的自动泊车***、方法及装置 | |
| Truong et al. | Lane boundaries detection algorithm using vector lane concept | |
| Zhang et al. | Visual navigation of an automated guided vehicle based on path recognition | |
| EP4053801A1 (en) | Landmark learning and localization without labels | |
| Han et al. | Mobile robot navigation by circular path planning algorithm using camera and ultrasonic sensor | |
| CN114821494A (zh) | 船舶信息匹配方法及装置 | |
| WO2022251088A1 (en) | Method and apparatus for modeling an environment proximate an autonomous system | |
| CN115373383A (zh) | 一种垃圾回收无人艇的自主避障方法、装置及相关设备 | |
| Yu et al. | Distance estimation method with snapshot landmark images in the robotic homing navigation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |