CN113705474A - 车位检测方法和装置 - Google Patents

车位检测方法和装置 Download PDF

Info

Publication number
CN113705474A
CN113705474A CN202111007658.1A CN202111007658A CN113705474A CN 113705474 A CN113705474 A CN 113705474A CN 202111007658 A CN202111007658 A CN 202111007658A CN 113705474 A CN113705474 A CN 113705474A
Authority
CN
China
Prior art keywords
parking space
line
angular
point
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111007658.1A
Other languages
English (en)
Other versions
CN113705474B (zh
Inventor
范宝正
冯宇红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yihang Yuanzhi Technology Co Ltd
Original Assignee
Beijing Yihang Yuanzhi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yihang Yuanzhi Technology Co Ltd filed Critical Beijing Yihang Yuanzhi Technology Co Ltd
Priority to CN202111007658.1A priority Critical patent/CN113705474B/zh
Publication of CN113705474A publication Critical patent/CN113705474A/zh
Application granted granted Critical
Publication of CN113705474B publication Critical patent/CN113705474B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • G06T3/047Fisheye or wide-angle transformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/14Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/145Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas
    • G08G1/146Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas where the parking area is a limited parking space, e.g. parking garage, restricted space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/32Indexing scheme for image data processing or generation, in general involving image mosaicing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种车位检测方法,针对自动泊车***车位检测的复杂环境,利用有监督学习的方法对候选车位角点的位置及类别进行检测,再利用较强的车位线视觉约束条件对检出的车位角点及类别进行二次确认;耦合车辆航迹信息,实现基于贪婪搜索的车位角点匹配;结合车位几何属性,在时空序列上对车位角点进行更新、跟踪以及对车位角点对的配对操作;实现了高精度的自动车位检测,大大提高了实际自动驾驶车辆的自主泊车成功率。

Description

车位检测方法和装置
技术领域
本公开涉及视觉车位检测领域,特别涉及一种角点扫描式视觉车位检测方法,尤其涉及适合于全自动化无人驾驶领域的耦合车辆航迹的角点扫描式视觉自动车位检测方法、装置、电子设备及存储介质。
背景技术
随着汽车保有量的不断增加,人们对自动化、便捷化的交通出行工具诉求愈发强烈,自动驾驶技术随之迅猛发展,自动泊车需求也越来越广。
自动泊车指车辆能够自动泊车入位而无需人工干预。作为智能驾驶领域的一项关键技术,其研究热度逐年上升,而车位感知又是自动泊车中的关键环节。
目前,车位感知技术主要涉及超声波雷达的空间车位感知以及利用环视鱼眼相机的视觉车位感知两类。
其中,基于视觉的车位感知技术由于具有广阔的应用前景而备受重视,但是还存在很多技术问题亟待解决。
为了解现有技术的发展状况,本公开对已有的专利和论文进行了检索、比较和分析,筛选出如下与本公开相关度比较高的技术方案:
技术方案1:中国专利文献CN107491738A(“停车位检测方法及***、存储介质及电子设备”),利用LSD线段检测方法提取图像中两两相互平行、间距满足阈值范围且梯度方向相反的两个直线段的中心线作为车位线的亮线条。所述方法虽然满足车位线亮线条的视觉属性——暗-亮-暗的梯度变化,但在实际使用中,由于阴影等暗线条的视觉属性——亮-暗-亮的梯度变化特征也同时满足上述方法的所述判断条件,因此类似阴影等暗线条状物容易被误检为车位线的亮线条,从而导致误识别。
技术方案2:中国专利文献CN109766757A(“一种融合车辆和视觉信息的泊车位高精度定位方法及***”),利用航位信息和视觉里程计信息过滤异常航位信息,同时,通过车辆位姿信息跟踪目标车位在全景环视图中的位置,再对该位置附近的感兴趣区域进行车位检测以提高目标车位的检出率和可靠性。由于利用航位推算的车辆位姿信息进行目标跟踪势必要面对长时或长距离推算导致的误差累计问题,所以“惯性导航***设定在车辆距离超过预设距离时会有复位操作”成为了该专利的解决措施。但复杂的复位时机判断使得这种方法具有***复杂度高、实用性低的缺点。
技术方案3:论文《Vision-Based Parking-Slot Detection:A DCNN-BasedApproach and a Large-Scale Benchmark Dataset》,利用YoloV2检测鸟瞰图中的车位角点,再利用自定义的网络结构对两两匹配后的角点图像进行分类,从而确认左侧或右侧的直角车位,斜车位或无效车位;针对直角车位,统一用90°的车位夹角及入口角点连线角度推算车位分割线角度;而斜车位的车位夹角采用模板匹配的方法来计算,匹配得分最高的模板角度即为该车位的车位夹角。但是,模板匹配的方法在光照不均、车辆遮挡等干扰场景下容易导致误匹配,难以应对复杂的检测环境;且角度间隔过小的模板对算力有限的嵌入式平台也带来不小的挑战;此外,统一用90°的车位夹角及入口角点连线角度推算车位分割线角度,导致车位分割线的角度受入口车位角点位置的精度影响也较大。
可见,现有的基于视觉车位检测研究方面还存在很多技术难点:
第一、目前针对车位线的视觉属性提取图像符合亮线条特征线段的方法所提出的约束条件对车位线亮线条的检测仍显松弛,难以过滤阴影条状类的线条轮廓。
第二、利用车辆航位信息跟踪车位的感兴趣区域的方法,其航位推算的累计误差需要通过“复位操作”来消除,必然增加***整体的复杂度,不利于在实际自动驾驶车辆的低功耗车载处理器上使用,难以达到实际自动驾驶车辆自动泊车时的实时控制需要。
第三、通常采用的基于机器学习的方法检测车位角点位置及车位类型,一般需要根据不同的车位类型计算车位夹角后再推算远车端的两个车位角点;但斜车位的车位夹角需要通过模板匹配的算法获得,算法鲁棒性不强,因此,适用范围受限。
第四、实际自动驾驶车辆所需要检测车位的环境复杂多变,现有的车位检测方法鲁棒性不强,影响自动泊车效果。
第五、实际检测中不可避免地会遇到遮挡以及车位角点误匹配问题,导致发生误检漏检,***鲁棒性不强。
第六、实际采集的图像进行360°全景拼接时,得到的车位图像会存在一定程度的“畸变”,影响车位检测精度。
因此,现有的基于视觉的车位检测方法在适用范围、检测精度、鲁棒性和实时性上难以获得满意的综合效果。需要研究新的准确性高、鲁棒性强,既能适应实际停车场环境,又能保证检测精度、稳定性和实时性,进而提高自动驾驶车辆的泊车成功率,并且不增加额外的计算开销,无需复杂的深度学习计算,能够用于实际的自动驾驶车辆的低功耗车载处理器的车位检测方法。
发明内容
为达到上述发明目的,本公开在如下几个方面进行了改进:
1、针对复杂的检测环境,提出利用有监督学习的方法对候选车位角点的位置及类别进行检测,再利用较强的车位线视觉约束条件对检出的车位角点及类别进行二次确认,确保车位角点位置、类别及角度检测的稳定可靠。大大提高了实际自动驾驶车辆的自主泊车成功率。
2、针对遮挡以及车位角点误匹配问题,本公开耦合车辆航迹信息,提出一种基于贪婪搜索的车位角点匹配方法。结合车位的几何属性,在时空序列上实现车位角点的更新、跟踪以及车位角点对的配对,降低车位的误检率和漏检率。这是本公开的关键发明点之一。此外,与技术方案2有所区别的是,本公开使用车辆航迹信息仅仅用于跟踪车位候选角点,便于在大地坐标系下进行车位角点的匹配及车位宽度的计算,无须用在车机端的UI显示上。因此在车位宽度这样较短范围内因航迹推算产生的累计误差在可接受范围内,无须“复位操作”,大大降低了***的复杂度,有利于满足实际自动驾驶车辆自主泊车时的实时性需要。
3、360全景拼接算法实际上是将四幅鱼眼图像的像素位置按照环视拼接时生成的标定表插值到既定位置形成的新图像。但真实泊车环境的路面平整度无法同环视标定时的路面平整度相媲美,例如考虑排水等因素,马路可能会设计成中间高,两边低的“拱形”,或是路面局部塌陷等原因。在这些非平整路面上进行环视拼接,原本两两相互平行的车位线容易呈现“内八”或“外八”的畸变形状(实线),车位的分割线与引导线夹角无法在全景拼接图中得以真实反映,如图1所示。这些“畸变”车位倘若传递给控制端,势必会影响最终自动泊车的整体效果。
经过作者多番查证,均无相关文献或专利提及此问题。为了计算车位引导线与分割线真实的相对夹角,经过大量实验研究,本公开采用的解决方案是将左右鱼眼相机两侧附近的矩形区域作为车位角点的感兴趣区域,如图1中的点划线所示。这样即可减少算法的时间消耗,且经过技术人员长期的实验和经验总结发现,相比于环视图像的其他区域,靠近左右两侧相机附近区域内的车位线间的夹角更能被真实地反映。这是本公开的发明点之一。
具体地,为解决上述技术问题,根据本公开的一个方面,提供了一种车位检测方法,包括:
针对自动泊车***车位检测的复杂环境,利用有监督学习的方法对候选车位角点的位置及类别进行检测,再利用车位线视觉约束条件对检出的车位角点位置及类别进行二次确认;
耦合车辆航迹信息,实现基于贪婪搜索的车位角点匹配;结合车位几何属性,在时空序列上对车位角点进行更新、跟踪以及对车位角点对的配对操作;
并包括如下步骤:
步骤(1)、环视全景拼接:采用鱼眼相机采集四路环视鱼眼图像,并进行环视全景拼接,得到俯视拼接图像;
步骤(2)、基于角点标签类别的车位杂点过滤:结合车位角点相应标签的视觉特征,对深度学习检测出的车位角点进行二次确认,删除部分误检角点,同时更新角点位置,检测角点中车位分割线与引导线角度;
步骤(3)、车位角点匹配:基于贪婪搜索策略,利用车位线的几何关系,在时空序列上对大地坐标系中的角点队列进行***、删除、跟踪以及车位角点对的匹配;
步骤(4)、多策略车位角点推理:根据车辆前后帧的航向角差异以及车位类型,分别采取不同的策略推理车位远车端顶点,输出完整车位检测结果。
优选地,所述环视全景拼接中,像素映射表的获取步骤包括:
步骤(1.1)、将四周装有鱼眼相机的车辆置于相对较为平整的地面上;
步骤(1.2)、在车辆的前后左右四个方位分别摆放可供视觉提取图像角点的靶布;
步骤(1.3)、测量靶布角点与车辆距离相关的物理尺寸;
步骤(1.4)、以前视相机为例,利用四组前视图像角点与其对应的世界坐标系角点计算该相机的单应性矩阵从而获得对应的像素映射表;同理,得到全部四个鱼眼相机对应的像素映射表。
优选地,在全景拼接图中选取左右侧鱼眼相机附近区域作为角点处理的感兴趣区域即ROI区域,所述感兴趣区域位于前轮触地点的切平面附近。
优选地,根据车位角点线段个数及其夹角特点,将车位角点分成如下四个标签类别:
单线型角点:为带有一条车位线的车位角点;
双线直角型角点:为带有两条相互垂直车位线的车位角点;
双线锐角型角点:为两条车位线夹角中的锐角呈现30°、45°或60°的角点;
双线平行型角点:为带有两条相互平行车位线的角点。
优选地,所述步骤(2)还包括如下步骤:
步骤(2.1)、角点边缘轮廓线段检测与分类:采用边缘轮廓线段检测方法即LSD方法对车位角点附近的ROI区域进行边缘轮廓线段检测;所述LSD方法使用基于梯度一致性的像素区域生长法进行边缘轮廓线段像素的合并以及基于亥姆霍兹原理的误差控制,因此,无需为了适配不同的光照场景来调节算法参数,并能检测到人眼看不明显的线段;
步骤(2.2)、车位线候选特征线段的生成:利用颜色亮度呈现“暗—亮—暗”的狭窄条状物的车位线的视觉属性特征生成覆盖在车位线中心的车位候选特征线段;
步骤(2.3)、基于角点标签类别的杂点过滤:根据车位角点线段个数及其夹角特点,分别对如下四类车位角点进行杂点过滤:
(a)、单线型角点:
在深度学习输出的单线型角点附近的ROI内检测车位候选特征线段,将线段按角点到直线的距离从小到大排序,若其中存在一条车位候选特征线段,且角点到该线段的距离小于第一固定阈值,则视为正确的单线型角点,否则过滤该角点;
(b)、双线直角型角点:
在深度学习输出的双线直角型角点附近的ROI内检测车位候选特征线段,将线段按角点到直线的距离从小到大排序,若其中存在两条垂直或近似垂直的车位候选特征线段,且角点到这两条线段的距离皆小于第二固定阈值,则视为正确的双线直角型角点,否则过滤该角点;
(c)、双线锐角型角点:
在深度学习输出的双线锐角型角点附近的ROI内检测车位候选特征线段,将线段按角点到直线的距离从小到大排序,若其中存在两条车位候选特征线段,其夹角近似30°、45°或60°,且角点到这两条线段的距离皆小于第三固定阈值,则视为正确的双线锐角型角点,否则过滤该角点;
(d)、双线平行型角点:
在深度学***行型角点附近的ROI内检测车位候选特征线段,将线段按角点到直线的距离从小到大排序,若其中存在两条平行或近似平行的车位候选特征线段,且角点位于这两线段之间,角点到这两条线段的距离皆小于第四固定阈值,则视为正确的双线平行型角点,否则过滤该角点;
(2.4)车位角点位置的更新,角点分割线与引导线的角度输出:
对于双线直角型角点和双线锐角型角点,皆存在两条相互交叉的车位线,将这两类型的深度学习输出的角点位置替换为两车位候选特征线段的交点以提高车位角点的位置精度;每个车位角点至少存在一条车位分割线用于分割车位,不同的角点类型的车位分割线角度计算如下:
(a)、单线型角点:
所述单线型角点只存在一条车位分割线,因此采用所述步骤(2.3)检测出的车位候选特征线段作为单线型角点的分割线;
(b)、双线直角型角点与双线锐角型角点:
所述双线直角型角点与双线锐角型角点存在分割线和引导线,但所述步骤(2.3)检测出的两条车位候选特征线段只能在两两角点匹配车位时区分,因此,还需要进一步区分角点的两线段类型;以一对待判定的角点中其中一点为例,若要区分该角点的两线段类型,则需要分别计算另一个角点到这两线段的垂直距离,其中距离较大者为分割线,较小者为引导线;
(c)、双线平行型角点:
所述双线平行型角点存在两条平行的车位候选特征线段,采用这两条线段角度的平均值作为该角点的分割线角度,以该分割线角度的垂直角度作为该角点的引导线角度;由此生成虚拟的过该车位角点的分割线与引导线。
优选地,所述LSD方法利用2x2的模板计算灰度图像中每个像素的梯度幅值和梯度角度,计算公式如下所示:
Figure BDA0003237592750000071
Figure BDA0003237592750000072
其中,G(x,y)为像素在坐标(x,y)中的梯度幅值,Θ为其对应的梯度角度;
其中,gx(x,y),gy(x,y)分别表示水平和竖直方向的梯度大小,如下所示:
Figure BDA0003237592750000073
Figure BDA0003237592750000074
其中,i(x,y)表示像素位置坐标在(x,y)上的图像灰度值。
优选地,所述LSD方法首先计算每个像素点的梯度幅值与角度,并定义每个像素梯度角度的垂直角度为其水平线(level-line)角度,即单位矢量场,而线段支持域为像素间水平线角度的误差在第五固定阈值范围内的像素八连通区域。
优选地,对LSD检测出的角点附近ROI内的边缘轮廓线段进行分类,以区分该边缘轮廓线段附近区域的像素值变化趋势是由暗至亮(即正边缘)还是由亮至暗(即负边缘),具体分类操作如下:
定义单个边缘轮廓线段为L(x1,y1,x2,y2),其中(x1,y1)与(x2,y2)为边缘轮廓线段的两端点图像坐标;
定义边缘轮廓线段梯度变化由暗至亮的线段为正边缘轮廓线段pos,下式描述了正边缘轮廓线段组成的集合:
pos∈{L(x1,y1,x2,y2)|(|x1-x2|<|y1-y2|*tan(80°)&&y1≤y2)||(|x1-x2≥|y1-y2|*tan(80°)&&x1>x2)}
定义边缘轮廓线段梯度变化由亮至暗的线段为负边缘轮廓线段neg,则正边缘轮廓线段组成集合的补集为负边缘轮廓线段集合;
上式的物理含义表示为:从边缘轮廓线段的左侧往右侧观察,若边缘轮廓线段附近的像素梯度的变化为由暗至亮,则其为正边缘轮廓线段,反之为负边缘轮廓线段。
优选地,当边缘轮廓线段近似水平时,按照从左往右的方向观察边缘轮廓线段的梯度变化区分正负边缘轮廓线段将存在二义性;因此,将边缘轮廓线段角度的绝对值大于80°的这些近似水平的线段,按照从上往下的方向来观察其梯度变化,由暗至亮则为正边缘轮廓线段,反之为负边缘轮廓线段;边缘轮廓线段的角度为线段与图像y轴负方向的夹角,取值范围为从x轴负方向的-90°至x轴正方向的90°。
优选地,所述利用颜色亮度呈现“暗-亮-暗”的狭窄条状物的车位线的视觉属性特征生成覆盖在车位线中心的车位候选特征线段,包括:
在所有的正边缘轮廓线段中寻找与其相互平行或角度差值满足第六固定阈值,且间距小于第七固定阈值的负边缘轮廓线段,构成一组边缘轮廓线段对;其中条件约束为提取图像中两两相互平行,间距满足阈值范围,且梯度方向相反的两个直线段;
为了提取梯度方向相向的亮线条,需要确保每组边缘轮廓线段对中的正边缘轮廓线段位于负边缘轮廓线段的左侧;当边缘轮廓线段近似水平时,需要确保每组边缘轮廓线段对中的正边缘轮廓线段位于负边缘轮廓线段的上侧,其具体操作如下:
为每条负边缘轮廓线段寻找满足上述第六固定阈值、第七固定阈值的正边缘轮廓线段;在这些正边缘轮廓线段中,寻找其两端点皆处于该负边缘轮廓线段左侧的正边缘轮廓线段;当正边缘轮廓线段近似水平时,需寻找其两端点皆处于该负边缘轮廓线段上侧的正边缘轮廓线段;则这些正边缘轮廓线段便能与该负边缘轮廓线段成功地组合成多对梯度方向相向的边缘轮廓线段对;每组匹配成功的边缘轮廓线段对都将生成一条新的覆盖在车位线中心的车位候选特征线段;该车位候选特征线段的两端点分别为正、负边缘轮廓线段同侧端点的中点。
优选地,所述步骤(3)还包括如下步骤:
步骤(3.1)、当前帧角点排序
首先将当前帧ROI内杂点过滤后的车位角点按其与图像顶部中点距离的递减顺序进行排序;采用基于贪婪搜索的方法在历史缓存角点队列中进行车位入口角点匹配,此排序确保靠近图像顶部和中部的角点能优先进行车位入口角点匹配,减少车位误检率;
步骤(3.2)、将当前帧角点***或更新历史缓存角点队列
在大地坐标系中,从队列末至队首的顺序,两两计算当前帧角点队列与历史缓存帧角点队列中各角点的笛卡尔坐标系距离,当且仅当距离小于30cm时,用当前帧的车位角点信息替换历史缓存帧角点对应位置的元素信息,否则将当前帧角点队列中的此角点视为新角点,并将其***历史缓存帧角点队列末尾;
步骤(3.3)基于车位几何关系的历史缓存角点队列的车位入口角点匹配
从历史缓存角点队列的末尾开始向队首进行两两依次遍历,直到存在匹配成功的车位退出;其中的车位几何关系如下所述:
(a)车位宽度查验
在大地坐标系中计算待匹配角点中其中一点到另外点车位分割线的垂直距离,若该距离大于2.2米且小于3米,则将车位类型标记为非平行车位;若该距离大于5.5米且小于6.5米,则将车位类型标记为平行车位;否则视为无效车位;
(b)车位分割线平行度查验
在大地坐标系中计算待匹配角点两分割线的角度差值,若小于5°则视为有效车位,否则视为无效车位;
(c)车位引导线查验
若当前待匹配的车位角点中含有双线直角型或双线锐角型角点,则在大地坐标系下计算该角点引导线与两待匹配角点连线的夹角角度,若小于5°,则视为有效车位,否则为无效车位;
(d)车位夹角查验
在大地坐标系下计算其中一角点分割线与两角点连线的锐角角度,若近似30°、45°、60°或90°,则视该车位有效,否则为无效车位;
若在历史缓存角点队列中能匹配出一个有效车位,则退出车位角点匹配,否则直至匹配至历史缓存角点队列的队首两角点为止;当车位匹配成功时,清空历史缓存角点队列中角点位于上端匹配角点以下的所有候选车位角点,以确保下一帧能进入基于角点跟踪的车位更新步骤,同时防止车位间的误检角点影响相邻车位角点的匹配;
步骤(3.4)、基于角点跟踪的车位更新
当成功匹配完一对车位入口角点后,清空历史缓存角点队列中位于匹配角点上端点以下的所有角点,当车辆继续前行时,若成功匹配的角点仍然能被继续检测,且历史缓存角点队列中存在一个角点与最新检出的车位入口角点上端点的距离小于30cm,则用新检测的2号角点更新该车位的位置,即基于角点跟踪的车位更新。
优选地,所述步骤(4)还包括:
用a、b角点表示匹配成功的车位入口角点对;c、d角点表示通过默认车位深度计算而来的角点,平行车位的车位深度为2m,垂直车位的车位深度5.5m,斜车位的车位深度为
Figure BDA0003237592750000101
其中
Figure BDA0003237592750000102
为入口角点的距离,θ为斜车位夹角中的锐角。
优选地,分如下情况下进行车位角点推理:
非斜车位的车位角点推理:
当检测a、b角点时的车身航向角度偏差小于10°时,此时车辆无较大的转向运动,b角点为根据车辆航迹推算进行跟踪的车位角点,即大地坐标系下的车位角点;c、d角点是朝a、b角点连线的90°方向延伸出车位默认深度的车位角点;
当检测a、b角点时的车身航向角度偏差大于10°时,在检测两角点位置出现较大航向偏差表明车辆存在一定程度的转向运动,此时b角点是朝a角点分割线垂线方向延伸车位宽度的角点;其中的车位宽度为a、b角点在世界坐标系中的距离;同理,c、d角点是朝a、b角点连线的90°方向延伸出车位默认深度的车位角点;
斜车位的车位角点推理:
此时a角点为当前帧检测的车位角点,b角点为位姿推算的跟踪角点;c、d角点为分别过b、a角点朝a角点分割线延伸至斜车位默认深度的角点;
分别采用上述不同的策略推理车位远车端顶点,输出完整车位检测结果。
为解决上述技术问题,根据本公开的另一个方面,提供了一种车位检测装置,包括:
控制单元,所述控制装置针对自动泊车***车位检测的复杂环境,利用有监督学习的方法对候选车位角点的位置及类别进行检测,再利用较强的车位线视觉约束条件对检出的车位角点位置及类别进行二次确认;
搜索单元,耦合车辆航迹信息,实现基于贪婪搜索的车位角点匹配;结合车位几何属性,在时空序列上对车位角点进行更新、跟踪以及对车位角点对的配对操作;
环视全景拼接单元:采用鱼眼相机采集四路环视鱼眼图像,并进行环视全景拼接,得到俯视拼接图像;
基于角点标签类别的车位杂点过滤单元:结合车位角点相应标签的视觉特征,对深度学习检测出的车位角点进行二次确认,删除部分误检角点,同时更新角点位置,检测角点中车位分割线与引导线角度;
车位角点匹配单元:基于贪婪搜索策略,利用车位线的几何关系,在时空序列上对大地坐标系中的角点队列进行***、删除、跟踪以及车位角点对的匹配;
多策略车位角点推理单元:根据车辆前后帧的航向角差异以及车位类型,分别采取不同的策略推理车位远车端顶点,输出完整车位检测结果。
为解决上述技术问题,根据本公开的又一个方面,提供了一种电子设备,包括:
存储器,所述存储器存储执行指令;以及
处理器,所述处理器执行所述存储器存储的执行指令,使得所述处理器执行上述方法。
为解决上述技术问题,根据本公开的再一个方面,提供了一种可读存储介质,所述可读存储介质中存储有执行指令,所述执行指令被处理器执行时用于实现上述方法。
本公开的有益效果:
1、较小的感兴趣区域能提高算法的时间效率,在算力有限的嵌入式平台显得尤为重要。
2、本公开算法的处理区域离左右侧的鱼眼相机较近,即避开了拼缝的重影区域,也能减轻图像在环视拼接过程中因为插值而导致的成像模糊程度。
3、因为泊车环境的道路平整度无法同环视标定时相媲美,在非平整路面进行自动泊车时,地面上线段之间的相对角度关系无法在环视拼接图上得以真实体现;车位分割线相互平行的属性关系以及车位角点的夹角计算等都受其影响。本公开算法的处理区域位于左右两侧鱼眼相机附近的较小区域;由曲面微分几何学可知,前轮接地点附近的切平面近似平整,此位置的像素投影关系同环视标定时最为接近,故而该区域附近线段之间的角度关系在环视拼接图中能被较为真实地反映。
4、得益于“扫描式”的车位检测方法记录了候选车位角点的世界坐标,本公开能有效避免感知算法因为墙柱遮挡、车位中较大车体遮挡而导致成对的车位角点无法在单帧中同时被检测到所产生的车位漏检的现象。
附图说明
附图示出了本公开的示例性实施方式,并与其说明一起用于解释本公开的原理,其中包括了这些附图以提供对本公开的进一步理解,并且附图包括在本说明书中并构成本说明书的一部分。通过结合附图对本公开的实施例进行详细描述,本公开的上述和其它目的、特征、优点将更加清楚。
图1畸变状车位示意图(虚线:矩形车位线,实线:畸变车位线,点划线:角点处理感兴趣区域)
图2整体流程图
图3车位角点类别说明示意图(从左只右依次:单线型,双线直角型,双线锐角型,双线平行型,黑点为理论检测角点)
图4基于角点标签类别的车位杂点过滤流程图
图5LSD像素单位矢量场及线段支持域说明示意图(从左至右依次:原图,像素单位矢量场,线段支持域)
图6正负边缘轮廓线段说明示意图(实线:正边缘轮廓线段,虚线:负边缘轮廓线段,圆点线:车位候选特征线段)
图7双线直角型角点与双线锐角型角点车位分割线与引导线判定示意图
图8双线平行型角点分割线与引导线计算
图9车位角点匹配流程图
图10角点队列在车位角点扫描及匹配时的状态变化图
图11车位角点推理逻辑图
具体实施方式
下面结合附图和实施方式对本公开作进一步的详细说明。可以理解的是,此处所描述的具体实施方式仅用于解释相关内容,而非对本公开的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本公开相关的部分。
需要说明的是,在不冲突的情况下,本公开中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本公开的技术方案。
本公开的目的是提供一种耦合车辆航迹信息的视觉车位检测方法。
图2描述了本公开的整体***流程图。包括如下步骤:第一步,采集四路环视鱼眼图像进行环视拼接,得到俯视拼接图像。第二步,基于角点标签类别的车位杂点过滤。结合车位角点相应标签的视觉特征,对深度学习检测出的车位角点进行二次确认,删除部分误检角点,同时更新角点位置,检测角点中车位分割线与引导线角度。第三步,基于贪婪搜索的思路,利用车位线的几何关系,在时空序列上对大地坐标系中的角点队列进行***、删除、跟踪以及车位角点对的匹配。第四步,根据车辆前后帧的航向角差异以及车位类型,采取不同的策略推理车位远车端顶点,输出完整车位检测结果。
(1)环视全景拼接
环视全景拼接技术的本质就是将四幅鱼眼图像的像素位置按照既定的投影关系映射至同一幅图像中,形成一种俯视无盲区的拼接图像;此技术的关键要素为上述的投影映射关系(即像素映射表)。所述像素映射表的获取步骤如下:
1、将四周装有鱼眼相机的车辆置于相对较为平整的地面上;
2、在车辆的前后左右四个方位分别摆放可供视觉提取图像角点的靶布;
3、测量靶布角点与车辆距离相关的物理尺寸;
4、以前视相机为例,利用四组前视图像角点与其对应的世界坐标系角点计算该相机的单应性矩阵便可获得对应的像素映射表。
如上所述,全景拼接所采用的像素映射表所表达的像素投影关系为车辆置于相对较为平整的地面情况下像素间的映射关系。而在实际泊车场景中,路面的平整度并非十分理想;真实世界中线段间的几何关系在这些路况下的全景环视图像中无法得以真实体现,导致车位成像“畸变”,由此输出的车位角点将影响控制端最终的泊车效果。为了减少这种“畸变”带来的影响,本公开在俯视拼接图像中选取左右侧鱼眼相机附近区域作为角点处理的感兴趣区域的方法,所述感兴趣区域位于前轮触地点的切平面附近,像素间的投影关系同环视标定时最为接近,进而达到减轻环视拼接图成像“畸变”影响的效果,从而提高全景拼接的质量。
(2)基于角点标签类别的车位杂点过滤
本公开采用深度学***行型角点为带有两条相互平行车位线的角点。
需要特别说明的是,本公开由于在角点处理的感兴趣区域选择上的特殊处理,使得采用深度学习的方法进行角点位置及类别的检测得以顺利实施,并获得良好的检测的精度。所述优化的环视全景拼接与深度学习角点位置及类别检测的结合保证了角点位置判断的准确性和类别检测的可靠性。
基于角点标签类别的车位杂点过滤方法主要分为如图4所示的四个步骤:角点边缘轮廓线段的检测与分类;车位线候选特征线段的生成;基于角点标签类别的杂点过滤;车位角点位置的更新,角点分割线与引导线的角度输出。
(2.1)角点边缘轮廓线段检测与分类
本公开采用LSD方法对车位角点附近的ROI区域进行边缘轮廓线段进行检测。利用LSD能在线性时间内检测亚像素级别的图像轮廓边缘的特点,解决实际自动驾驶中实时车位检测多面临的实际停车场景复杂、光线不稳定导致的角点边缘轮廓线段误检测的问题。所述LSD方法使用基于梯度一致性的像素区域生长法进行边缘轮廓像素的合并以及基于亥姆霍兹原理的误差控制,无需为了适配不同的光照场景来调节算法参数,适于实际自动泊车中车位场景随时变化的使用需求,且能检测到大部分人眼看不明显的线段,有利于提升所述自动泊车的车位检测准确度。相较于传统的线段检测方法,如霍夫变换、Canny算子边缘轮廓检测等,采用所述LSD方法具有较好的鲁棒性。
本公开中,所述LSD算法利用2x2的模板计算灰度图像中每个像素的梯度幅值和角度,具体实施方式如下式:
Figure BDA0003237592750000151
Figure BDA0003237592750000152
其中,gx(x,y),gy(x,y)分别表示水平和竖直方向的梯度大小,i(x,y)表示像素位置坐标在(x,y)上的图像灰度值。而每个像素的梯度幅值和梯度角度计算如下公式:
其中G(x,y)为像素在坐标(x,y)中的梯度幅值,Θ为其对应的梯度角度。
Figure BDA0003237592750000153
Figure BDA0003237592750000154
所述LSD方法首先计算每个像素点的梯度幅值与角度,并定义每个像素梯度角度的垂直角度为其水平线(level-line)角度,即单位矢量场,如图5中间图中的短线方向示意了每个像素点的单位矢量场。而线段支持域为像素间水平线角度的误差在固定阈值范围内的像素八连通区域,图5右侧的三块阴影区域即代表三个不同的像素支持域(即三条边缘轮廓线段)。
由于像素梯度的单位矢量场具有方向性,当图像进行颜色翻转时,所述LSD方法检测的边缘轮廓线段位置不变,但线段的起点和终点位置交换。因此本公开利用此特性对LSD的边缘轮廓线段进行分类,以区分边缘轮廓线段的变化趋势是由暗至亮(正边缘轮廓线段)还是由亮至暗(负边缘轮廓线段)。具体分类操作如下。
定义单个边缘轮廓线段为L(x1,y1,x2,y2),其中(x1,y1)与(x2,y2)为边缘轮廓线段的两端点图像坐标。定义边缘轮廓线段梯度变化由暗至亮的边缘为正边缘轮廓线段pos,下式描述了正边缘轮廓线段组成的集合:
pos∈{L(x1,y1,x2,y2)|(x1-x2|<|y1-y2|*tan(80°)&&y1≤y2)||(|x1-x2|≥|y1-y2|*tan(80°)&&x1>x2)}
定义边缘轮廓线段梯度变化由亮至暗的边缘为负边缘轮廓线段neg,则正边缘轮廓线段的补集为负边缘轮廓线段集合。
上式的物理含义表示为,从边缘轮廓线段的左侧往右侧观察,若边缘轮廓线段附近的像素梯度的变化为由暗至亮,则其为正边缘轮廓线段,反之为负边缘轮廓线段。需要特别强调的是,当边缘轮廓线段近似水平时,此方法的分类结果存在二义性。因此本公开将边缘轮廓线段角度(线段与图像y轴负方向的夹角,从x轴负方向的-90°至x轴正方向的90°)的绝对值大于80°的这些近乎水平的线段采用从y轴正方向来观察边缘轮廓线段附近的像素梯度变化趋势。从上往下观察,这些近似水平的边缘轮廓线段梯度变化为由暗至亮则为正边缘轮廓线段,反之为负边缘轮廓线段。
(2.2)车位线候选特征线段的生成
车位线的视觉属性特征为颜色亮度呈现“暗-亮一暗”的狭窄条状物。本公开利用此视觉属性特征生成覆盖在车位线中心的车位候选特征线段。具体步骤为:在所有的正边缘轮廓线段中寻找与其相互平行或角度差值满足固定阈值,且间距小于固定阈值的负边缘轮廓线段,构成一组边缘轮廓线段对。其中的条件约束为提取图像中两两相互平行,间距满足阈值范围,且梯度方向相反的两个直线段。但梯度方向相反存在两种情况,即梯度方向相背或梯度方向相向。窄阴影线条两侧的梯度方向相背,因此容易被误检为车位线的亮线条。
因此,为了提取梯度方向相向的亮线条,本公开还需要确保每组边缘轮廓线段对中的正边缘轮廓线段位于负边缘轮廓线段的左侧或上侧(当边缘轮廓线段近似水平时);其具体操作如下:
为每条负边缘轮廓线段寻找满足上述第一固定阈值、第二固定阈值的正边缘轮廓线段。在这些正边缘轮廓线段中,寻找其两端点皆处于该负边缘轮廓线段的左侧或上侧(当正边缘轮廓线段近似水平时)的正边缘轮廓线段。则这些正边缘轮廓线段便能与该负边缘轮廓线段组合成多对匹配成功的边缘轮廓线段对。每组匹配成功的边缘轮廓线段对都将生成一条新的覆盖在车位线中心的车位候选特征线段。该车位候选特征线段的两端点分别为正、负边缘轮廓线段同侧端点的中点。如图6所示,图中的实线段和虚线段皆为LSD检测出的边缘轮廓线段,其中实线为正边缘轮廓线段,虚线为负边缘轮廓线段,圆点线即为所述新生成的车位候选特征线段。
(2.3)基于角点标签类别的杂点过滤
如上所述,本公开根据车位角点线段个数及其夹角特点,对现有车位角点分为四类,下面描述本公开对四种角点的过滤方式。
单线型角点
在深度学习输出的单线型角点附近的ROI内检测车位候选特征线段,将线段按角点到直线的距离从小到大排序,若其中存在一条车位候选特征线段,且角点到该线段的距离小于固定阈值,则视为正确的单线型角点,否则过滤该角点。
双线直角型角点
在深度学习输出的双线直角型角点附近的ROI内检测车位候选特征线段,将线段按角点到直线的距离从小到大排序,若其中存在两条垂直或近似垂直的车位候选特征线段,且角点到这两条线段的距离皆小于固定阈值,则视为正确的双线直角型角点,否则过滤该角点。
双线锐角型角点
在深度学习输出的双线锐角型角点附近的ROI内检测车位候选特征线段,将线段按角点到直线的距离从小到大排序,若其中存在两条车位候选特征线段,其夹角近似30°、45°或60°,且角点到这两条线段的距离皆小于固定阈值,则视为正确的双线锐角型角点,否则过滤该角点。
双线平行型角点
在深度学***行型角点附近的ROI内检测车位候选特征线段,将线段按角点到直线的距离从小到大排序,若其中存在两条平行或近似平行的车位候选特征线段,且角点位于这两线段之间,角点到这两条线段的距离皆小于固定阈值,则视为正确的双线平行型角点,否则过滤该角点。
(2.4)车位角点位置的更新,角点分割线与引导线的角度输出
对于双线直角型角点和双线锐角型角点,皆存在两条相互交叉的车位线。因此,本公开将这两类型的深度学习输出的角点位置替换为上述的两车位候选特征线段的交点以提高车位角点的位置精度。此外,每个车位角点至少存在一条车位分割线用于分割车位。不同的角点类型的车位分割线角度计算如下:
单线型角点
该类型的车位角点只存在一条车位分割线,因此采用步骤2.3检测出的车位候选特征线段作为单线型角点的分割线。
双线直角型角点与双线锐角型角点
该类型的车位角点存在分割线和引导线,但步骤2.3检测出的两条车位候选特征线段只能在两两角点匹配车位时区分,具体方式如下。如图7所示,以一对待判定的角点中其中一点为例,若要区分该角点的两线段类型,则需要分别计算另一个角点到这两线段的垂直距离,其中距离较大者为分割线,较小者为引导线。
双线平行型角点
该类型角点存在两条平行的车位候选特征线段,本公开采用这两条线段角度的平均值作为该角点的分割线角度,以该分割线角度的垂直角度作为该角点的引导线角度。由此可生成虚拟的过该车位角点的分割线与引导线,如图8中的粗实线所示。
(3)车位角点匹配
车位角点匹配是本公开所述车位检测方法的核心内容之一,即在大地坐标系中利用车位的几何关系实现车位入口角点的匹配。其具体实现方式是通过管理两类角点队列来实现,即在当前帧ROI中检测到的车位角点队列以及历史缓存角点队列,具体操作步骤如图9所示。
(3.1)当前帧角点排序
首先将当前帧ROI内杂点过滤后的车位角点按其与图像顶部中点距离的递减顺序进行排序。因为此排序后的车位角点依次***到历史缓存角点队列后符合车辆向前行驶时新旧角点更替的管理逻辑。此外,本公开采用基于贪婪搜索的思路在历史缓存角点队列中进行车位入口角点匹配,此排序确保靠近图像顶部和中部的角点能优先进行车位入口角点匹配,减少车位误检率。
(3.2)将当前帧角点***或更新历史缓存角点队列
在大地坐标系中,从队列末至队首的顺序,两两计算当前帧角点队列与历史缓存帧角点队列中各角点的笛卡尔坐标系距离,当且仅当距离小于30cm时,用当前帧的车位角点信息替换历史缓存帧角点对应位置的元素信息,否则将当前帧角点队列中的此角点视为新角点,并将其***历史缓存帧角点队列末尾。
(3.3)基于车位几何关系的历史缓存角点队列的车位入口角点匹配
该步骤从历史缓存角点队列的末尾开始向队首进行两两依次遍历,直到存在匹配成功的车位退出。其中的车位几何关系如下所述,需要注意的事,下述的车位分割线与引导线判别方法参考前述步骤(2.4)。
车位宽度查验
在大地坐标系中计算待匹配角点中其中一点到另外点车位分割线的垂直距离,若该距离大于2.2米且小于3米,则将车位类型标记为非平行车位;若该距离大于5.5米且小于6.5米,则将车位类型标记为平行车位;否则视为无效车位。
车位分割线平行度查验
在大地坐标系中计算待匹配角点两分割线的角度差值,若小于5°则视为有效车位,否则视为无效车位。
车位引导线查验
若当前待匹配的车位角点中含有双线直角型或双线锐角型角点,则在大地坐标系下计算该角点引导线与两待匹配角点连线的夹角角度,若小于5°,则视为有效车位,否则为无效车位。
车位夹角查验
在大地坐标系下计算其中一角点分割线与两角点连线的锐角角度,若近似30°、45°、60°或90°,则视该车位有效,否则为无效车位。
若在历史缓存角点队列中能匹配出一个有效车位,则退出车位角点匹配,否则直至匹配至历史缓存角点队列的队首两角点为止。当车位匹配成功时,***会清空历史缓存角点队列中角点位于上端匹配角点以下的所有候选车位角点,以确保下一帧能进入基于角点跟踪的车位更新步骤,同时防止车位间的误检角点影响相邻车位角点的匹配。此即为本公开所述的基于贪婪搜索的车位角点匹配方法。
图10形象地展现了车辆从左至右行驶时当前帧角点队列和历史缓存角点队列在车位角点扫描及匹配时的五次状态变化。其中0、2、4号角点为正确的车位角点,1、3为误检车位角点。车辆下方左侧的虚线矩形框显示当前帧角点队列,在每帧结束时清空;车辆下方右侧实线矩形框显示历史缓存角点队列。车辆上方的粗实线矩形框示意ROI位置。
在状态1中未检测任何角点,两队列为空。在状态2中,当前帧检测到0号角点,同时将其***目前为空的历史缓存角点队列末端。在状态3中,当前帧检测到2号角点,同时将其***此时已存入0、1号角点的历史缓存角点队列末端。此时2、0号角点成功匹配为一个有效车位,***清空历史缓存角点队列中2号角点以下的所有车位角点,进入状态4。同理,当车辆继续前行时,进入状态5,当前帧检测到4号角点,同时将4号角点加入此时已存入2、3号角点的历史缓存角点队列中。此时,4、2号角点成功匹配为一个有效车位,***清空4号角点以下的所有车位角点,避免了误检角点3、1号的错误匹配。
(3.4)基于角点跟踪的车位更新
当成功匹配完一对车位角入口角点后,***会清空历史缓存角点队列中位于匹配角点上端点以下的所有角点,如图10中的状态4所示。当车辆继续前行时,若2号角点仍然能被继续检测,且历史缓存角点队列中存在一个角点与最新检出的车位入口角点上端点的距离小于30cm,则用新检测的2号角点更新该车位的位置,即基于角点跟踪的车位更新。具体实现见步骤(4)。
(4)多策略车位角点推理
如图11示意了本公开进行车位角点推理的逻辑。图中的a、b角点为匹配成功的车位入口角点对;c、d角点通过默认车位深度计算而来(线段ad或线段bc的长度),平行车位的车位深度为2m,垂直车位的车位深度5.5m,斜车位的车位深度为
Figure BDA0003237592750000201
其中
Figure BDA0003237592750000202
为入口角点的距离,θ为斜车位夹角中的锐角。
图11示意了三种情况下的车位角点推理。前两列示意图说明了非斜车位的车位角点推理。当算法检测a、b角点时的车身航向角度偏差小于10°时,采用图11中第1列图进行车位角点推理。此时车辆无较大的转向运动,b角点为根据车辆航迹推算进行跟踪的车位角点(即大地坐标系下的车位角点);c、d角点是朝a、b角点连线的90°方向延伸出车位默认深度的车位角点。
图11中第2列图示意了非斜车位下,算法检测a、b角点时的车身航向角度偏差大于10°时的车位角点推理逻辑。在检测两角点位置出现较大航向偏差表明车辆存在一定程度的转向运动,此时航迹推算的横向定位未必可靠,若继续采用第1列的图示方法推理车位角点,容易导致车位分割线角度产生较大误差,如图11第2列的点线车位所示,最终会影响自动泊车效果。故此时b角点是朝a角点分割线垂线方向延伸车位宽度的角点;其中的车位宽度为a、b角点在世界坐标系中的距离。同理,c、d角点是朝a、b角点连线的90°方向延伸出车位默认深度的车位角点。
图11第3列图示意了斜车位的车位角点推理逻辑。其中a角点为当前帧检测的车位角点,b角点为位姿推算的跟踪角点。c、d角点为分别过b、a角点朝a角点分割线延伸至斜车位默认深度的角点。
采取上述不同的策略能够有效地推理车位远车端顶点,至此,输出完整车位检测结果。
根据本公开的另一个实施方式是提供了一种车位检测装置,包括:
控制单元,所述控制装置针对自动泊车***车位检测的复杂环境,利用有监督学习的方法对候选车位角点的位置及类别进行检测,再利用较强的车位线视觉约束条件对检出的车位角点及类别进行二次确认;
搜索单元,耦合车辆航迹信息,实现基于贪婪搜索的车位角点匹配;结合车位几何属性,在时空序列上对车位角点进行更新、跟踪以及对车位角点对的进行配对操作;
环视全景拼接单元:采用鱼眼相机采集四路环视鱼眼图像,并进行环视全景拼接,得到俯视拼接图像;
基于角点标签类别的车位杂点过滤单元:结合车位角点相应标签的视觉特征,对深度学习检测出的车位角点进行二次确认,删除部分误检角点,同时更新角点位置,检测角点中车位分割线与引导线角度;
车位角点匹配单元:基于贪婪搜索策略,利用车位线的几何关系,在时空序列上对大地坐标系中的角点队列进行***、删除、跟踪以及车位角点对的匹配;
多策略车位角点推理单元:根据车辆前后帧的航向角差异以及车位类型,分别采取不同的策略推理车位远车端顶点,输出完整车位检测结果。
本公开还提供了一种电子设备,包括:存储器,存储器存储执行指令;以及处理器或其他硬件模块,处理器或其他硬件模块执行存储器存储的执行指令,使得处理器或其他硬件模块执行上述的方法。
本公开还提供了一种可读存储介质,可读存储介质中存储有执行指令,所述执行指令被处理器执行时用于实现上述的方法。
本公开的流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本公开的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本公开的实施方式所属技术领域的技术人员所理解。处理器执行上文所描述的各个方法和处理。例如,本公开中的方法实施方式可以被实现为软件程序,其被有形地包含于机器可读介质,例如存储器。在一些实施方式中,软件程序的部分或者全部可以经由存储器和/或通信接口而被载入和/或安装。当软件程序加载到存储器并由处理器执行时,可以执行上文描述的方法中的一个或多个步骤。备选地,在其他实施方式中,处理器可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行上述方法之一。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,可以具体实现在任何可读存储介质中,以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用,或结合这些指令执行***、装置或设备而使用。
就本说明书而言,“可读存储介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。可读存储介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式只读存储器(CDROM)。另外,可读存储介质甚至可以是可在其上打印程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序,然后将其存储在存储器中。
应当理解,本公开的各部分可以用硬件、软件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路、具有合适的组合逻辑门电路的专用集成电路、可编程门阵列(PGA)、现场可编程门阵列(FPGA)等。
本公开领域的普通技术人员可以理解实现上述实施方式方法的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述程序可以存储于一种可读存储介质中,该程序在执行时,包括方法实施方式的步骤之一或其组合。
此外,在本公开各个实施方式中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个可读存储介质中。存储介质可以是只读存储器,磁盘或光盘等。
由此可见,本公开在如下几个方面具有突出的优势:
1、基于LSD(Line Segment Detection)边缘轮廓线段检测方法,本公开提出一种鲁棒的边缘轮廓线段分类方法,实现对由暗变亮和由亮变暗的边缘轮廓线段的二分类。
2、本公开提出一种车位角点类别确认及角点夹角的检测方法,在深度学习输出结果的基础上对车位角点进行二次确认以及角点夹角的检测,能有效提高角点类别的准确度以及角点夹角的精度。
3、利用车身航迹信息以及车位视觉属性特征,本公开提出一种基于贪婪搜索的候选车位角点队列管理方法,实现对候选车位角点队列成员的跟踪与更新,以及车位角点对的匹配,能有效提高车位检测的准确度。
4、本公开提出的“扫描式”视觉车位检测算法仿照超声波雷达的空间车位检测方法。算法的感兴趣区域仅为车身两侧附近较小的矩形区域。当车辆向前行驶时,算法会感知该区域内的可疑车位角点,从而实现对车位视觉角点的“扫描”。所述基于“扫描式”的车位检测方法能有效避免角点因为视线被遮挡而导致的车位漏检现象;同时提高了车位角点夹角在不平坦路面的检测精度,有助于提升输出车位的角度精度。
5、基于LSD边缘轮廓线段检测和车位线强视觉特征的角点二次校验能有效降低车位角点误识别几率。
6、基于贪婪搜索的候选车位角点队列管理方法能有效提高车位入口角点正确匹配的几率,提高车位检测的准确度。
至此,已经结合附图所示的优选实施方法描述了本公开的技术方案,但是,本领域技术人员应当理解,上述实施方式仅仅是为了清楚地说明本公开,而并非是对本公开的范围进行限定,本公开的保护范围显然不局限于这些具体实施方式。在不偏离本公开的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案仍处于本公开的范围内。

Claims (10)

1.一种车位检测方法,其特征在于,
针对自动泊车***车位检测的复杂环境,利用有监督学习的方法对候选车位角点的位置及类别进行检测,再利用车位线视觉约束条件对检出的车位角点位置及类别进行二次确认;
耦合车辆航迹信息,实现基于贪婪搜索的车位角点匹配;结合车位几何属性,在时空序列上对车位角点进行更新、跟踪以及对车位角点对的配对操作;
并包括如下步骤:
步骤(1)、环视全景拼接:采用鱼眼相机采集四路环视鱼眼图像,并进行环视全景拼接,得到俯视拼接图像;
步骤(2)、基于角点标签类别的车位杂点过滤:结合车位角点相应标签的视觉特征,对深度学习检测出的车位角点进行二次确认,删除部分误检角点,同时更新角点位置,检测角点中车位分割线与引导线角度;
步骤(3)、车位角点匹配:基于贪婪搜索策略,利用车位线的几何关系,在时空序列上对大地坐标系中的角点队列进行***、删除、跟踪以及车位角点对的匹配;
步骤(4)、多策略车位角点推理:根据车辆前后帧的航向角差异以及车位类型,分别采取不同的策略推理车位远车端顶点,输出完整车位检测结果。
2.根据权利要求1所述的车位检测方法,其特征在于,
所述环视全景拼接中,像素映射表的获取步骤包括:
步骤(1.1)、将四周装有鱼眼相机的车辆置于相对较为平整的地面上;
步骤(1.2)、在车辆的前后左右四个方位分别摆放可供视觉提取图像角点的靶布;
步骤(1.3)、测量靶布角点与车辆距离相关的物理尺寸;
步骤(1.4)、以前视相机为例,利用四组前视图像角点与其对应的世界坐标系角点计算该相机的单应性矩阵从而获得对应的像素映射表;同理,得到全部四个鱼眼相机对应的像素映射表。
3.根据权利要求2所述的车位检测方法,其特征在于,
在全景拼接图中选取左右侧鱼眼相机附近区域作为角点处理的感兴趣区域即ROI区域,所述感兴趣区域位于前轮触地点的切平面附近。
4.根据权利要求3所述的车位检测方法,其特征在于,
根据车位角点线段个数及其夹角特点,将车位角点分成如下四个标签类别:
单线型角点:为带有一条车位线的车位角点;
双线直角型角点:为带有两条相互垂直车位线的车位角点;
双线锐角型角点:为两条车位线夹角中的锐角呈现30°、45°或60°的角点;
双线平行型角点:为带有两条相互平行车位线的角点。
5.根据权利要求4所述的车位检测方法,其特征在于,
所述步骤(2)还包括如下步骤:
步骤(2.1)、角点边缘轮廓线段检测与分类:采用边缘轮廓线段检测方法即LSD方法对车位角点附近的ROI区域进行边缘轮廓线段检测;所述LSD方法使用基于梯度一致性的像素区域生长法进行边缘轮廓线段像素的合并以及基于亥姆霍兹原理的误差控制,因此,无需为了适配不同的光照场景来调节算法参数,并能检测到人眼看不明显的线段;
步骤(2.2)、车位线候选特征线段的生成:利用颜色亮度呈现“暗—亮—暗”的狭窄条状物的车位线的视觉属性特征生成覆盖在车位线中心的车位候选特征线段;
步骤(2.3)、基于角点标签类别的杂点过滤:根据车位角点线段个数及其夹角特点,分别对如下四类车位角点进行杂点过滤:
(a)、单线型角点:
在深度学习输出的单线型角点附近的ROI内检测车位候选特征线段,将线段按角点到直线的距离从小到大排序,若其中存在一条车位候选特征线段,且角点到该线段的距离小于第一固定阈值,则视为正确的单线型角点,否则过滤该角点;
(b)、双线直角型角点:
在深度学习输出的双线直角型角点附近的ROI内检测车位候选特征线段,将线段按角点到直线的距离从小到大排序,若其中存在两条垂直或近似垂直的车位候选特征线段,且角点到这两条线段的距离皆小于第二固定阈值,则视为正确的双线直角型角点,否则过滤该角点;
(c)、双线锐角型角点:
在深度学习输出的双线锐角型角点附近的ROI内检测车位候选特征线段,将线段按角点到直线的距离从小到大排序,若其中存在两条车位候选特征线段,其夹角近似30°、45°或60°,且角点到这两条线段的距离皆小于第三固定阈值,则视为正确的双线锐角型角点,否则过滤该角点;
(d)、双线平行型角点:
在深度学***行型角点附近的ROI内检测车位候选特征线段,将线段按角点到直线的距离从小到大排序,若其中存在两条平行或近似平行的车位候选特征线段,且角点位于这两线段之间,角点到这两条线段的距离皆小于第四固定阈值,则视为正确的双线平行型角点,否则过滤该角点;
(2.4)车位角点位置的更新,角点分割线与引导线的角度输出:
对于双线直角型角点和双线锐角型角点,皆存在两条相互交叉的车位线,将这两类型的深度学习输出的角点位置替换为两车位候选特征线段的交点以提高车位角点的位置精度;每个车位角点至少存在一条车位分割线用于分割车位,不同的角点类型的车位分割线角度计算如下:
(a)、单线型角点:
所述单线型角点只存在一条车位分割线,因此采用所述步骤(2.3)检测出的车位候选特征线段作为单线型角点的分割线;
(b)、双线直角型角点与双线锐角型角点:
所述双线直角型角点与双线锐角型角点存在分割线和引导线,但所述步骤(2.3)检测出的两条车位候选特征线段只能在两两角点匹配车位时区分,因此,还需要进一步区分角点的两线段类型;以一对待判定的角点中其中一点为例,若要区分该角点的两线段类型,则需要分别计算另一个角点到这两线段的垂直距离,其中距离较大者为分割线,较小者为引导线;
(c)、双线平行型角点:
所述双线平行型角点存在两条平行的车位候选特征线段,采用这两条线段角度的平均值作为该角点的分割线角度,以该分割线角度的垂直角度作为该角点的引导线角度;由此生成虚拟的过该车位角点的分割线与引导线。
6.根据权利要求5所述的车位检测方法,其特征在于,
所述LSD方法利用2x2的模板计算灰度图像中每个像素的梯度幅值和梯度角度,计算公式如下所示:
Figure FDA0003237592740000041
Figure FDA0003237592740000042
其中,G(x,y)为像素在坐标(x,y)中的梯度幅值,Θ为其对应的梯度角度;
其中,gx(x,y),gy(x,y)分别表示水平和竖直方向的梯度大小,如下所示:
Figure FDA0003237592740000043
Figure FDA0003237592740000044
其中,i(x,y)表示像素位置坐标在(x,y)上的图像灰度值。
7.根据权利要求6所述的车位检测方法,其特征在于,
所述LSD方法首先计算每个像素点的梯度幅值与角度,并定义每个像素梯度角度的垂直角度为其水平线(level-line)角度,即单位矢量场,而线段支持域为像素间水平线角度的误差在第五固定阈值范围内的像素八连通区域。
8.一种车位检测装置,其特征在于,包括:
控制单元,所述控制装置针对自动泊车***车位检测的复杂环境,利用有监督学习的方法对候选车位角点的位置及类别进行检测,再利用较强的车位线视觉约束条件对检出的车位角点位置及类别进行二次确认;
搜索单元,耦合车辆航迹信息,实现基于贪婪搜索的车位角点匹配;结合车位几何属性,在时空序列上对车位角点进行更新、跟踪以及对车位角点对的配对操作;
环视全景拼接单元:采用鱼眼相机采集四路环视鱼眼图像,并进行环视全景拼接,得到俯视拼接图像;
基于角点标签类别的车位杂点过滤单元:结合车位角点相应标签的视觉特征,对深度学习检测出的车位角点进行二次确认,删除部分误检角点,同时更新角点位置,检测角点中车位分割线与引导线角度;
车位角点匹配单元:基于贪婪搜索策略,利用车位线的几何关系,在时空序列上对大地坐标系中的角点队列进行***、删除、跟踪以及车位角点对的匹配;
多策略车位角点推理单元:根据车辆前后帧的航向角差异以及车位类型,分别采取不同的策略推理车位远车端顶点,输出完整车位检测结果。
9.一种电子设备,其特征在于,包括:
存储器,所述存储器存储执行指令;以及
处理器,所述处理器执行所述存储器存储的执行指令,使得所述处理器执行如权利要求1至7中任一项所述的方法。
10.一种可读存储介质,其特征在于,所述可读存储介质中存储有执行指令,所述执行指令被处理器执行时用于实现如权利要求1至7中任一项所述的方法。
CN202111007658.1A 2021-08-30 2021-08-30 车位检测方法和装置 Active CN113705474B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111007658.1A CN113705474B (zh) 2021-08-30 2021-08-30 车位检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111007658.1A CN113705474B (zh) 2021-08-30 2021-08-30 车位检测方法和装置

Publications (2)

Publication Number Publication Date
CN113705474A true CN113705474A (zh) 2021-11-26
CN113705474B CN113705474B (zh) 2022-04-15

Family

ID=78657216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111007658.1A Active CN113705474B (zh) 2021-08-30 2021-08-30 车位检测方法和装置

Country Status (1)

Country Link
CN (1) CN113705474B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114220188A (zh) * 2021-12-27 2022-03-22 上海高德威智能交通***有限公司 一种车位巡检方法、装置及设备
CN114419922A (zh) * 2022-01-17 2022-04-29 北京经纬恒润科技股份有限公司 车位识别方法及装置
CN114822216A (zh) * 2022-06-23 2022-07-29 小米汽车科技有限公司 生成车位地图的方法、装置、车辆、存储介质及芯片
CN115206130A (zh) * 2022-07-12 2022-10-18 合众新能源汽车有限公司 一种车位检测方法、***、终端及存储介质
CN116310390A (zh) * 2023-05-17 2023-06-23 上海仙工智能科技有限公司 一种空心目标的视觉检测方法及***、库位管理***
WO2023168747A1 (zh) * 2022-03-07 2023-09-14 深圳市德驰微视技术有限公司 基于域控制器平台的自动泊车的停车位标注方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107424116A (zh) * 2017-07-03 2017-12-01 浙江零跑科技有限公司 基于侧环视相机的泊车位检测方法
CN109649384A (zh) * 2019-02-15 2019-04-19 华域汽车***股份有限公司 一种泊车辅助方法
CN111178236A (zh) * 2019-12-27 2020-05-19 清华大学苏州汽车研究院(吴江) 一种基于深度学习的车位检测方法
CN111369439A (zh) * 2020-02-29 2020-07-03 华南理工大学 基于环视的自动泊车车位识别全景环视图像实时拼接方法
CN111508260A (zh) * 2019-01-30 2020-08-07 上海欧菲智能车联科技有限公司 车辆停车位检测方法、装置和***
CN111587407A (zh) * 2017-11-10 2020-08-25 辉达公司 用于安全且可靠的自主车辆的***和方法
CN111862672A (zh) * 2020-06-24 2020-10-30 北京易航远智科技有限公司 基于顶视图的停车场车辆自定位及地图构建方法
CN111862673A (zh) * 2020-06-24 2020-10-30 北京易航远智科技有限公司 基于顶视图的停车场车辆自定位及地图构建方法
CN112052782A (zh) * 2020-08-31 2020-12-08 安徽江淮汽车集团股份有限公司 基于环视的停车位识别方法、装置、设备及存储介质
CN112061116A (zh) * 2020-08-21 2020-12-11 浙江大学 一种基于势能场函数逼近的强化学习方法的泊车策略
CN112767425A (zh) * 2020-12-30 2021-05-07 智车优行科技(北京)有限公司 一种基于视觉的车位检测方法及装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107424116A (zh) * 2017-07-03 2017-12-01 浙江零跑科技有限公司 基于侧环视相机的泊车位检测方法
CN111587407A (zh) * 2017-11-10 2020-08-25 辉达公司 用于安全且可靠的自主车辆的***和方法
CN111508260A (zh) * 2019-01-30 2020-08-07 上海欧菲智能车联科技有限公司 车辆停车位检测方法、装置和***
CN109649384A (zh) * 2019-02-15 2019-04-19 华域汽车***股份有限公司 一种泊车辅助方法
CN111178236A (zh) * 2019-12-27 2020-05-19 清华大学苏州汽车研究院(吴江) 一种基于深度学习的车位检测方法
CN111369439A (zh) * 2020-02-29 2020-07-03 华南理工大学 基于环视的自动泊车车位识别全景环视图像实时拼接方法
CN111862672A (zh) * 2020-06-24 2020-10-30 北京易航远智科技有限公司 基于顶视图的停车场车辆自定位及地图构建方法
CN111862673A (zh) * 2020-06-24 2020-10-30 北京易航远智科技有限公司 基于顶视图的停车场车辆自定位及地图构建方法
CN112061116A (zh) * 2020-08-21 2020-12-11 浙江大学 一种基于势能场函数逼近的强化学习方法的泊车策略
CN112052782A (zh) * 2020-08-31 2020-12-08 安徽江淮汽车集团股份有限公司 基于环视的停车位识别方法、装置、设备及存储介质
CN112767425A (zh) * 2020-12-30 2021-05-07 智车优行科技(北京)有限公司 一种基于视觉的车位检测方法及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
E.ALFONSETTI 等: "A Semi Distributed Approach for Min-Max Fair Car-Parking Slot Assignment Problem", 《ARXIV》 *
ZHUOPING YU 等: "SPFCN:Select and Prune the fully Convolutional Networks for real-time Parkingg Slot Detection", 《COMPUTER VISION AND PATTERN RECOGNITION》 *
李涛: "基于多鱼眼相机***的视觉SLAM研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
杨晓宇: "基于机器视觉的电动汽车无线充电自动对位方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 *
王远配: "基于双目视觉的低速无人驾驶SLAM", 《万方学位论文》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114220188A (zh) * 2021-12-27 2022-03-22 上海高德威智能交通***有限公司 一种车位巡检方法、装置及设备
CN114419922A (zh) * 2022-01-17 2022-04-29 北京经纬恒润科技股份有限公司 车位识别方法及装置
WO2023168747A1 (zh) * 2022-03-07 2023-09-14 深圳市德驰微视技术有限公司 基于域控制器平台的自动泊车的停车位标注方法及装置
CN114822216A (zh) * 2022-06-23 2022-07-29 小米汽车科技有限公司 生成车位地图的方法、装置、车辆、存储介质及芯片
CN114822216B (zh) * 2022-06-23 2022-09-16 小米汽车科技有限公司 生成车位地图的方法、装置、车辆、存储介质及芯片
CN115206130A (zh) * 2022-07-12 2022-10-18 合众新能源汽车有限公司 一种车位检测方法、***、终端及存储介质
CN115206130B (zh) * 2022-07-12 2023-07-18 合众新能源汽车股份有限公司 一种车位检测方法、***、终端及存储介质
CN116310390A (zh) * 2023-05-17 2023-06-23 上海仙工智能科技有限公司 一种空心目标的视觉检测方法及***、库位管理***
CN116310390B (zh) * 2023-05-17 2023-08-18 上海仙工智能科技有限公司 一种空心目标的视觉检测方法及***、库位管理***

Also Published As

Publication number Publication date
CN113705474B (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
CN113705474B (zh) 车位检测方法和装置
CN111178236B (zh) 一种基于深度学习的车位检测方法
US11989951B2 (en) Parking detection method, system, processing device and storage medium
US9467645B2 (en) System and method for recognizing parking space line markings for vehicle
JP4930046B2 (ja) 路面判別方法および路面判別装置
CN105740782B (zh) 一种基于单目视觉的驾驶员换道过程量化方法
US8332134B2 (en) Three-dimensional LIDAR-based clear path detection
KR20180049024A (ko) 특징부-기반 위치파악 및 네비게이션을 이용하는 산업용 차량
KR100816377B1 (ko) 호프 변환을 이용한 주차구획 인식 방법, 장치 및 그를이용한 주차 보조 시스템
US20100098295A1 (en) Clear path detection through road modeling
Schreiber et al. Single camera lane detection and tracking
CN111563469A (zh) 一种不规范停车行为识别方法及装置
JP2002197444A (ja) 車両の走行路認識装置
CN109871732B (zh) 停车格辨识***及其方法
CN106887004A (zh) 一种基于块匹配的车道线检测方法
CN107389084A (zh) 行车路径规划方法及存储介质
CN103593671A (zh) 基于三摄像机协同的大范围车道线视觉检测方法
CN112666573B (zh) 一种矿区卸载区车后方挡土墙及障碍物的检测方法
CN110667474A (zh) 通用障碍物检测方法、装置与自动驾驶***
Poggenhans et al. A universal approach to detect and classify road surface markings
CN112193241A (zh) 一种自动泊车方法
CN115100292A (zh) 一种道路环境的激光雷达和相机之间外参在线标定方法
CN114898321A (zh) 道路可行驶区域检测方法、装置、设备、介质及***
CN111881878A (zh) 一种环视复用的车道线识别方法
CN109784292B (zh) 一种用于室内停车场的智能汽车自主寻找停车位的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant