CN110316182A - 一种自动泊车***及方法 - Google Patents
一种自动泊车***及方法 Download PDFInfo
- Publication number
- CN110316182A CN110316182A CN201810274054.5A CN201810274054A CN110316182A CN 110316182 A CN110316182 A CN 110316182A CN 201810274054 A CN201810274054 A CN 201810274054A CN 110316182 A CN110316182 A CN 110316182A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- parking
- parking stall
- identification
- controller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000001514 detection method Methods 0.000 claims abstract description 26
- 230000004888 barrier function Effects 0.000 claims description 60
- 230000000694 effects Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 230000005236 sound signal Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 230000007717 exclusion Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/06—Automatic manoeuvring for parking
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
本发明属于汽车技术领域,涉及一种自动泊车***,所述自动泊车***包括雷达、摄像装置、泊车控制器,所述雷达、摄像装置均连接所述泊车控制器,所述雷达包括安装在车辆的车头与车尾的近距离超声波雷达和安装在所述车辆的车身四角的远距离超声波雷达,所述摄像装置包括安装在所述车辆的车头与车尾、以及车身两侧的若干个摄像头。根据本发明提供的方案,检测精度高,检测可以泊车的目标车位可以是空间目标车位或者划线目标车位,适用性更广,自动泊车的精确度和安全性更高;此外本发明还提供一种应用于该自动泊车***的自动泊车方法。
Description
技术领域
本发明实施例属于汽车技术领域,尤其涉及一种自动泊车***及方法。
背景技术
现有自动泊车***普遍采用超声波雷达传感器,超速波雷达通过声波从发送到接收的时间间隔来计算障碍物的距离信息,通过障碍物的空间距离信息来检测停车位,这种检测方式只能检测两障碍物之间的空间停车位也不能完全保证检测精度,同时该检测方式不能检测划线停车位,泊车过程中不能直观显示车辆周边障碍物信息。
发明内容
为了解决上述问题,本发明实施例提供一种自动泊车***及方法,以解决现有自动泊车过程中不能完全保证检测精度和不能检测划线停车位问题。
一方面,本发明实施例提供一种自动泊车***,包括雷达、摄像装置、泊车控制器,所述雷达、摄像装置均连接所述泊车控制器,所述雷达包括安装在车辆车头与车尾的近距离超声波雷达和安装在所述车辆的车身四角的远距离超声波雷达,所述摄像装置包括安装在所述车辆的车头与车尾、以及车身两侧的若干个摄像头;
所述远距离超声波雷达用于检测所述车辆两侧的障碍物,并连续获取所述车辆与所述障碍物的相对距离;
所述摄像装置用于连续获取所述车辆周围的图像;
所述泊车控制器用于识别目标车位,根据识别的目标车位规划泊车路径,并根据规划的泊车路径控制所述车辆完成自动泊车;
其中,所述识别目标车位包括:
获取车辆在一定时间段内的行驶距离,根据所述相对距离和所述行驶距离获取所述车辆同一侧相邻两个障碍物的空间距离,当所述空间距离大于最小停车位尺寸时,则完成空间目标车位识别;和/或
根据所述车辆周围的图像识别是否存在车位线特征,若检测到车位线特征且计算得到所述车辆同一侧的车位线间空间尺寸大于最小停车位尺寸,则完成划线目标车位识别。
在本发明另一些实施例中,在完成空间目标车位识别或完成划线目标车位识别的同时,所述泊车控制器还用于根据所述车辆周围的图像和所述摄像头所处车身的位置相对于路面的高度建立所述车辆周围区域的空间点云,并根据所述空间点云分布确定可泊车的区域的大小和位置坐标。
在本发明另一些实施例中,所述泊车控制器根据所述车辆周围的图像和所述摄像头所处车身的位置相对于路面高度建立所述车辆周围区域的空间点云具体包括:
获取所述摄像头在两个时刻的位姿关系并提取在所述两个时刻采集的两帧图像中的特征点;
根据所述摄像头所处车身的位置相对于路面的高度和所述摄像头在所述两个时刻的位姿关系及所述两帧图像中的特征点建立所述车辆周围区域的空间点云。
在本发明另一些实施例中,所述自动泊车***还包括显示装置和语音装置;
所述泊车控制器根据识别的目标车位规划泊车路径具体包括:所述泊车控制器根据可泊车的区域的大小和位置坐标、车辆初始状态、车辆运动学模型和约束条件计算路径最短的泊车路径,所述约束条件包括障碍物约束、活动范围约束、最大泊车速度约束、方向盘转速约束、终止条件约束;
所述泊车控制器根据规划的泊车路径控制所述车辆完成自动泊车具体包括:所述泊车控制器通过CAN总线输出泊车操作提示信息至显示装置显示,和/或通过语音装置播放语音提示,以使驾驶员通过泊车操作提示信息和/或语音提示操作车辆挡位、油门和刹车,同时所述泊车控制器通过CAN总线发送方向盘转角控制信号对方向盘转角进行调整,以控制所述车辆按照所述泊车路径行驶至所述目标车位。
在本发明另一些实施例中,所述泊车控制器还用于根据所述摄像装置采集的图像生成车身四周360°环视画面;
所述显示装置还用于显示所述车身四周360°环视画面,并在所述近距离超声波雷达探测到所述车辆与周围的障碍物的距离小于预设阈值时在所述环视画面上显示报警信息;
同时所述语言播放装置还用于在所述近距离超声波雷达探测到所述车辆与周围的障碍物的距离小于预设阈值时发出报警提示音。
另一方面,本发明实施例还提供一种自动泊车方法,包括:
检测所述车辆两侧的障碍物,并连续获取所述车辆与所述障碍物之间的相对距离以及所述车辆周围的图像;
识别目标车位,根据识别的目标车位规划泊车路径,并根据规划的泊车路径控制所述车辆完成自动泊车;
其中,所述识别目标车位包括:
获取车辆在一定时间段内的行驶距离,根据所述相对距离和所述行驶距离获取所述车辆同一侧相邻两个障碍物的空间距离,当所述空间距离大于最小停车位尺寸时,则完成空间目标车位识别;和/或
根据所述车辆周围的图像识别是否存在车位线特征,若检测到车位线特征且计算得到所述车辆同一侧的车位线间空间尺寸大于最小停车位尺寸,则完成划线目标车位识别。
在本发明另一些实施例中,所述自动泊车方法还包括:
在完成空间目标车位识别或完成划线目标车位识别的同时,根据所述车辆周围的图像和所述摄像头所处车身的位置相对于路面的高度建立所述车辆周围区域的空间点云,并根据所述空间点云分布确定可泊车的区域的大小和位置坐标。
在本发明另一些实施例中,所述根据所述车辆周围的图像和采集所述车辆周围的图像的摄像头所处车身的位置相对于路面的高度建立所述车辆周围区域的空间点云包括:
获取所述摄像头在两个时刻的位姿关系并提取在所述两个时刻采集的两帧图像中的特征点,根据所述摄像头所处车身的位置相对于路面的高度和所述摄像头在所述两个时刻的位姿关系及所述两帧图像中的特征点建立所述车辆周围区域的空间点云。
在本发明另一些实施例中,所述根据识别的目标车位规划泊车路径具体包括:
根据可泊车的区域的大小和位置坐标、车辆初始状态、车辆运动学模型和约束条件计算路径最短的泊车路径,所述约束条件包括障碍物约束、活动范围约束、最大泊车速度约束、方向盘转速约束、终止条件约束;
所述根据规划的泊车路径控制所述车辆完成自动泊车具体包括:
显示泊车操作提示信息和/或播放语音提示,以使驾驶员通过泊车操作提示信息和/或语音提示操作车辆挡位、油门和刹车,同时发送方向盘转角控制信号对方向盘转角进行调整,以控制所述车辆按照所述泊车路径行驶至所述目标车位。
在本发明另一些实施例中,所述方法还包括根据采集的图像生成车身四周的360°环视画面;
若探测到所述车辆与周围的障碍物的距离小于预设阈值时,在所述360°环视画面中显示报警信息,和/或发出报警提示音信号。
根据本发明实施例提供的自动泊车***和方法,通过雷达检测车辆与障碍物之间的相对距离,并通过车辆的在一段行使距离内与周围障碍物之间的相对距离的变化得到任意相邻的两个障碍物之间的距离,并将其与预设的阈值进行比较,检测满足车身尺寸的区域,同时通过摄像装置进行图像采集,进一步采用视觉三维点云重建技术建立车位及周边障碍物空间点云,探测并确定可以泊车的目标车位,最终根据目标车位生成泊车路径完成自动泊车,这种方式检测精度高,检测可以泊车的目标车位可以是空间目标车位或者划线目标车位,适用性更广,自动泊车的精确度和安全性得到提高。
附图说明
为了更清楚地说明本发明或现有技术中的方案,下面将对实施例或现有技术描述中所需要使用的附图作一个简单介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的自动泊车***的结构框图;
图2为本发明实施例提供的雷达、摄像装置的安装位置示意图;
图3为本发明实施例提供的自动泊车***探测车位的示意图;
图4为本发明实施例提供的自动泊车***探测车位的另一示意图;
图5为本发明实施例提供的自动泊车***探测车位的又一示意图;
图6为本发明实施例提供的自动泊车***的另一结构框图;
图7为本发明实施例提供的自动泊车方法的流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
参阅图1和图2,本发明实施例提供一种自动泊车***,包括雷达1、摄像装置2和泊车控制器3,所述雷达1、摄像装置2均连接所述泊车控制器3;
如图2所示,所述雷达1包括远距离超声波雷达(11、12、13、14)和近距离超声波雷达(21、22、23、24、25、26、27、28),其中,远距离超声波雷达(11、12、13、14)安装在所述车辆的车身四角,用于探测车位和障碍物;近距离超声波雷达(21、22、23、24)安装在车辆的车尾,比如车尾后保险杆的位置,用于探测车尾后方的障碍物;近距离超声波雷达(25、26、27、28)安装在车辆的车头,比如车头前保险杆的位置,用于探测车头前方的障碍物;在本实施例中,远距离超声波雷达(11、12、13、14)的探测距离为5米,近距离超声波雷达(21、22、23、24、25、26、27、28)的探测距离为2米,当然在不同实施例中可以根据实际情况选择不同探测距离的雷达。
所述摄像装置2包括摄像头(31、32、33、34),摄像头(31、32、33、34)分别安装在所述车辆的车头与车尾(比如车辆前格栅处、临近车尾牌照灯的位置)、以及车身两侧的后视镜上,在本实施例中,摄像头(31、32、33、34)为广角摄像头。
在启动自动泊车***后,远距离超声波雷达(11、12、13、14)连续获取所述车辆与所述车辆行驶方向两侧的障碍物之间的相对距离;所述摄像装置2通过摄像头(31、32、33、34)连续获取所述车辆周围的图像;所述泊车控制器3用于识别目标车位,根据识别的目标车位规划泊车路径,并根据规划的泊车路径控制所述车辆完成自动泊车;
其中,目标车位包括空间目标车位和划线目标车位,空间目标车位指两个障碍物之间的空间正好对应一个车位的情形,划线目标车位指两个障碍物之间存在连续的多个车位的情形或者少于两个障碍物而存在多个车位的情形,具体的,所述识别目标车位包括:
获取车辆在一定时间段内的行驶距离,根据所述相对距离和所述行驶距离获取所述车辆同一侧相邻两个障碍物的空间距离,当所述空间距离大于最小停车位尺寸时,则完成空间目标车位识别;其中,所述泊车控制器3通过获取车辆连续的车轮脉冲信号来获得车辆在任意时间段内的行驶距离;
在另一些实施例中,所述识别目标车位包括:
根据所述车辆周围的图像识别是否存在车位线特征,比如停车位特有的“T”形线,若检测到车位线特征且计算得到所述车辆同一侧的车位线间空间尺寸大于最小停车位尺寸,则完成划线目标车位识别,即,对于非两障碍物之间的划线目标车位也可以识别。
在上述实施例中,如图2所示,在完成空间目标车位识别或完成划线目标车位识别的同时,所述泊车控制器还用于根据所述车辆周围的图像和所述摄像头(31、32、33、34)所处车身的位置相对于路面的高度建立所述车辆周围区域的空间点云,并根据所述空间点云分布确定目标车位所在区域的大小和位置坐标,以使泊车控制器3根据目标车位所在区域的大小和位置坐标规划泊车路径,并根据规划的泊车路径控制所述车辆完成自动泊车,其中目标车位所在区域的位置坐标可以是基于车辆定位坐标得到的定位坐标,也可以是以车辆为基准得到的相对坐标。
上述实施例中泊车控制器3根据所述相对距离和所述行驶距离获取相邻两个障碍物的空间距离的过程具体为通过获取两个不同时刻所述车辆与所述车辆行驶方向两侧的障碍物之间的相对距离、以及在这两个不同时刻内所述车辆的行使距离来计算所述空间距离,以远距离超声波雷达11为例进行说明,如图3所示,车辆第一时刻在位置P1,第二时刻在位置P2,第三时刻在位置P3,当车辆在位置P1时,所述自动泊车***通过远距离超声波雷达11探测车辆与障碍物10与空车位边界A点,当车辆在位置P2时,所述自动泊车***通过远距离超声波雷达11探测区域内无障碍物,当车辆在位置P3时,所示自动泊车***通过远距离超声波雷达11探测到障碍物20与空车位边界B点,同时车辆从位置P1运动至位置P3的运动距离即行使距离记为M1。所述泊车控制器3根据所述行驶距离M1获取A点与B点的距离,从而得到障碍物10和障碍物20之间的距离。
在本发明一些实施例中,所述泊车控制器3根据所述车辆周围的图像和所述摄像头所处车身的位置相对于路面高度建立所述车辆周围区域的空间点云具体包括:
获取所述摄像头在两个时刻采集的两帧图像,对应获取摄像头在所述两个时刻的位姿关系并提取所述两帧图像中的特征点,根据摄像头所处车身的位置相对于路面的高度和所述摄像头在所述两个时刻的位姿关系及所述两帧图像中的特征点建立所述车辆周围区域的空间点云;具体的,提取所述两帧图像中的特征点的过程包括对特征点进行畸变校正,利用摄像头的高度可以恢复所述两帧图像中特征点的真实尺度,再利用所述摄像头的位姿关系和得到真实尺寸重建空间点云的值,从而得到车辆周围的空间点云。
需要说明的是,上述实施例将障碍物10和障碍物20之间的距离与最小停车位尺寸进行比较时,根据不同的车位类型(根据车辆泊车后车头方向与车道的相对位置关系可分为垂直式车位、斜向式车位和平行式车位,图3、图4和图5分别为车辆探测垂直式车位、斜向式车位和平行式车位的示意图),最小停车位尺寸存在不同的取值情况,在图3和图4中,将障碍物10和障碍物20之间的距离与最小停车位尺寸进行比较时,此时最小停车位尺寸的取值需大于车辆的车身宽度不小于60cm,而在图5中,将障碍物10和障碍物20之间的距离与最小停车位尺寸进行比较时,此时最小停车位尺寸的取值必须大于所述车辆的车身长度的1.25倍。
在本发明一些实施例中,所述泊车控制器3根据识别的目标车位规划泊车路径具体包括:所述泊车控制器3根据可泊车的区域的大小和位置坐标、车辆初始状态、车辆运动学模型和约束条件计算路径最短的泊车路径,所述约束条件包括障碍物约束、活动范围约束、最大泊车速度约束、方向盘转速约束、终止条件约束等。
在本发明另一些实施例中,如图6所示,所述自动泊车***还包括显示装置4和语音装置5;进一步地,所述泊车控制器3根据规划的泊车路径控制所述车辆完成自动泊车具体包括:所述泊车控制器3通过CAN总线输出泊车操作提示信息至显示装置4显示,可选的,还可通过语音装置5播放语音提示,以提示驾驶员按照泊车操作提示信息和/或语音提示操作挡位、油门和刹车,在本实施例中,显示装置4可借助车身现有的车机显示屏,也可以是单独的显示屏,语音装置5也可为车上现有仪表的蜂鸣器,也可以是泊车控制器单独控制的蜂鸣器;在提示驾驶员的同时,所述泊车控制器3通过CAN总线发送方向盘转角控制信号对方向盘转角进行调整,以控制所述车辆按照所述泊车路径行驶至所述目标车位,具体的,在进行自动泊车时,泊车控制器3通过左右转向灯信号确定泊车方位,并实时获取车辆的倒车车速、车轮脉冲信号、方向盘转角、挡位、油门、刹车等信号,以实时发出挡位、油门和刹车操作的提示信息,并发出方向盘转角控制信号调整方向盘转角,使所述车辆按照所述泊车路径行驶至所述目标车位,其中,对方向盘进行转角调整具体通过车辆助力转向***实现。
在本发明另一些实施例中,所述泊车控制器3还用于根据所述摄像装置2采集的图像生成车身四周360°环视画面;具体的,泊车控制器3将摄像头(31、32、33、34)采集的四路图像进行畸变矫正、拼接、投影变换成一幅车辆周边360°的车身鸟瞰图即车身四周360°环视画面,然后通过车辆内部的显示装置4显示所述车身四周360°环视画面。
在车辆进行自动泊车的过程中,自动泊车***还将实时对泊车路径上和泊车路径两侧的障碍物进行探测,并提供警示;具体的,所述显示装置4在所述近距离超声波雷达(21、22、23、24、25、26、27、28)探测到所述车辆与周围的障碍物的距离小于预设阈值时在所述环视画面上显示报警信息;进一步地,所述语言播放装置6还用于在所述近距离超声波雷达(21、22、23、24、25、26、27、28)探测到所述车辆与周围的障碍物的距离小于预设阈值时发出报警提示音。
根据本发明实施例提供的自动泊车***,通过雷达检测车辆与障碍物之间的相对距离,并通过车辆的在一段行使距离得到任意相邻的两个障碍物之间的距离,并将其与设定的目标车位尺寸进行比较,检测满足设定的目标车位尺寸的区域,同时通过摄像装置进行图像采集,进一步采用视觉三维点云重建技术建立车位及周边障碍物空间点云,确定可泊车的区域的大小和位置坐标,最终生成泊车路径完成自动泊车,这种方式检测可以泊车的目标车位更加精确,同时对摄像装置采集的图像进行视觉感知处理,可以识别划线的停车位,本***通过视觉分析和超声波雷达进行距离检测融合可以实现空间目标车位和划线目标车位的识别,适用性更广,自动泊车的精确度和安全性更高;同时自动泊车***借助360°环视画面可以直观显示泊车过程车辆周边360°障碍物信息,并结合超声波雷达障碍物距离信息给出视觉和声音报警,使得泊车过程更安全简便。
本发明实施例还提供一种自动泊车方法,所述自动泊车方法应用于上述实施例所述的自动泊车***,参阅图7所示的流程图,所述方法包括:
S1、检测所述车辆两侧的障碍物,并连续获取所述车辆与所述障碍物之间的相对距离以及所述车辆周围的图像;
S2、识别目标车位,根据识别的目标车位规划泊车路径,并根据规划的泊车路径控制所述车辆完成自动泊车。其中,所述识别目标车位包括:
获取车辆在一定时间段内的行驶距离,根据所述相对距离和所述行驶距离获取所述车辆同一侧相邻两个障碍物的空间距离,当所述空间距离大于最小停车位尺寸时,则完成空间目标车位识别;和/或
根据所述车辆周围的图像识别是否存在车位线特征,若检测到车位线特征且计算得到所述车辆同一侧的车位线间空间尺寸大于最小停车位尺寸,则完成划线目标车位识别。
进一步地,所述自动泊车方法还包括:在完成空间目标车位识别或完成划线目标车位识别的同时,根据所述车辆周围的图像和所述摄像头所处车身的位置相对于路面的高度建立所述车辆周围区域的空间点云,并根据所述空间点云分布确定可泊车的区域的大小和位置坐标,以根据可泊车的区域的大小和位置坐标,以规划泊车路径。
具体的,对于步骤S1,在本实施例中,具体通过安装在车辆的车身四角的远距离超声波雷达连续获取车辆与障碍物之间的相对距离,同时通过安装在车身四周的摄像头获取车辆周围的图像,本步骤的相关内容具体可参考前述自动泊车***相关实施例中的技术内容。
对于步骤S2,其中通过连续获取车辆的车轮脉冲信号来获得车辆在任意时间段内的行驶距离;可泊车的区域的位置坐标可以是基于车辆定位坐标得到的定位坐标,也可以是以车辆为基准得到的相对坐标。此外,根据所述相对距离和所述行驶距离获取相邻两个障碍物的空间距离的过程具体为通过获取两个不同时刻所述车辆与所述车辆行驶方向两侧的障碍物之间的相对距离、以及在这两个不同时刻内所述车辆的行使距离来计算相邻两个障碍物之间的空间距离,具体可参考前述自动泊车***相关实施例中的技术内容。
在本发明另一些实施例中,所述根据所述车辆周围的图像和采集所述车辆周围的图像的摄像头所处车身的位置相对于路面的高度建立所述车辆周围区域的空间点云包括:获取所述摄像头在两个时刻的位姿关系并提取在所述两个时刻采集的两帧图像中的特征点,根据所述摄像头所处车身的位置相对于路面的高度和所述摄像头在所述两个时刻的位姿关系及所述两帧图像中的特征点建立所述车辆周围区域的空间点云;具体的,提取所述两帧图像中的特征点的过程包括对特征点进行畸变校正,利用所述摄像头所处车身的位置相对于路面的高度可以恢复所述两帧图像中特征点的真实尺度,再利用所述摄像头的位姿关系和得到真实尺寸重建空间点云的值,从而得到车辆周围的空间点云。
需要说明的是,上述实施例将相邻两个障碍物之间的空间距离与最小停车位尺寸进行比较时,根据不同的车位类型,最小停车位尺寸存在不同的取值情况,具体可参考前述自动泊车***相关实施例中的技术内容。
在本发明一些实施例中,所述根据识别的目标车位规划泊车路径具体包括:根据可泊车的区域的大小和位置坐标、车辆初始状态、车辆运动学模型和约束条件计算路径最短的泊车路径,所述约束条件包括障碍物约束、活动范围约束、最大泊车速度约束、方向盘转速约束、终止条件约束等。
进一步地,在本发明另一些实施例中,所述根据规划的泊车路径控制所述车辆完成自动泊车具体包括:
显示泊车操作提示信息和/或播放语音提示,以使驾驶员通过泊车操作提示信息和/或语音提示操作车辆挡位、油门和刹车,同时发送方向盘转角控制信号对方向盘转角进行调整,以控制所述车辆按照所述泊车路径行驶至所述目标车位。具体的,在进行自动泊车时,通过左右转向灯信号确定泊车方位,并通过实时获取车辆的倒车车速、车轮脉冲信号、方向盘转角、挡位、油门、刹车等信号,以实时发出挡位、油门和刹车操作的提示信息,并发出方向盘转角控制信号调整方向盘转角,使所述车辆按照所述泊车路径行驶至所述目标车位。
在本发明另一些实施例中,所述方法还包括根据采集的图像生成车身四周360°环视画面;若探测到所述车辆与周围的障碍物的距离小于预设阈值时,则在所述360°环视画面中显示报警信息,和/或发出报警提示音信号。
本发明实施例提供的自动泊车方法通过检测车辆与障碍物之间的相对距离,并通过车辆的在一段行使距离内得到任意相邻的两个障碍物之间的距离,并将其与设定的目标车位尺寸进行比较,检测满足设定的目标车位尺寸的区域,同时通过图像采集,进一步采用视觉三维点云重建技术建立车位及周边障碍物空间点云,确定可泊车的区域的大小和位置坐标,最终生成泊车路径完成自动泊车,这种方式检测可以泊车的目标车位更加精确,同时对采集的图像进行视觉感知处理,可以识别划线的停车位,本方法通过视觉分析和超声波雷达进行距离检测融合可以实现空间车位和划线车位的识别,适用性更广,自动泊车的精确度和安全性更高;同时本发明实施例提供的方法借助360°环视画面可以直观显示泊车过程车辆周边360°障碍物信息,并结合超声波雷达障碍物距离信息给出视觉和声音报警,使得泊车过程更安全简便。
显然,以上所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例,附图中给出了本发明的较佳实施例,但并不限制本发明的专利范围。本发明可以以许多不同的形式来实现,相反地,提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来而言,其依然可以对前述各具体实施方式所记载的技术方案进行修改,或者对其中部分技术特征进行等效替换。凡是利用本发明说明书及附图内容所做的等效结构,直接或间接运用在其他相关的技术领域,均同理在本发明专利保护范围之内。
Claims (10)
1.一种自动泊车***,其特征在于,包括雷达、摄像装置、泊车控制器,所述雷达、摄像装置均连接所述泊车控制器,所述雷达包括安装在车辆车头与车尾的近距离超声波雷达和安装在所述车辆的车身四角的远距离超声波雷达,所述摄像装置包括安装在所述车辆的车头与车尾、以及车身两侧的若干个摄像头;
所述远距离超声波雷达用于检测所述车辆两侧的障碍物,并连续获取所述车辆与所述障碍物的相对距离;
所述摄像装置用于连续获取所述车辆周围的图像;
所述泊车控制器用于识别目标车位,根据识别的目标车位规划泊车路径,并根据规划的泊车路径控制所述车辆完成自动泊车;
其中,所述识别目标车位包括:
获取车辆在一定时间段内的行驶距离,根据所述相对距离和所述行驶距离获取所述车辆同一侧相邻两个障碍物的空间距离,当所述空间距离大于最小停车位尺寸时,则完成空间目标车位识别;和/或
根据所述车辆周围的图像识别是否存在车位线特征,若检测到车位线特征且计算得到所述车辆同一侧的车位线间空间尺寸大于最小停车位尺寸,则完成划线目标车位识别。
2.根据权利要求1所述的自动泊车***,其特征在于,在完成空间目标车位识别或完成划线目标车位识别的同时,所述泊车控制器还用于根据所述车辆周围的图像和所述摄像头所处车身的位置相对于路面的高度建立所述车辆周围区域的空间点云,并根据所述空间点云分布确定目标车位所在区域的大小和位置坐标。
3.根据权利要求2所述的自动泊车***,其特征在于,所述泊车控制器根据所述车辆周围的图像和所述摄像头所处车身的位置相对于路面高度建立所述车辆周围区域的空间点云具体包括:
获取所述摄像头在两个时刻的位姿关系并提取在所述两个时刻采集的两帧图像中的特征点;
根据所述摄像头所处车身的位置相对于路面的高度和所述摄像头在所述两个时刻的位姿关系及所述两帧图像中的特征点建立所述车辆周围区域的空间点云。
4.根据权利要求1所述的自动泊车***,其特征在于,所述自动泊车***还包括显示装置和语音装置;
所述泊车控制器根据识别的目标车位规划泊车路径具体包括:所述泊车控制器根据可泊车的区域的大小和位置坐标、车辆初始状态、车辆运动学模型和约束条件计算路径最短的泊车路径,所述约束条件包括障碍物约束、活动范围约束、最大泊车速度约束、方向盘转速约束、终止条件约束;
所述泊车控制器根据规划的泊车路径控制所述车辆完成自动泊车具体包括:所述泊车控制器通过CAN总线输出泊车操作提示信息至显示装置显示,和/或通过语音装置播放语音提示,以使驾驶员通过泊车操作提示信息和/或语音提示操作车辆挡位、油门和刹车,同时所述泊车控制器通过CAN总线发送方向盘转角控制信号对方向盘转角进行调整,以控制所述车辆按照所述泊车路径行驶至所述目标车位。
5.根据权利要求4所述的自动泊车***,其特征在于,所述泊车控制器还用于根据所述摄像装置采集的图像生成车身四周360°环视画面;
所述显示装置还用于显示所述车身四周360°环视画面,并在所述近距离超声波雷达探测到所述车辆与周围的障碍物的距离小于预设阈值时在所述环视画面上显示报警信息;
同时所述语言播放装置还用于在所述近距离超声波雷达探测到所述车辆与周围的障碍物的距离小于预设阈值时发出报警提示音。
6.一种自动泊车方法,其特征在于,包括:
检测所述车辆两侧的障碍物,并连续获取所述车辆与所述障碍物之间的相对距离以及所述车辆周围的图像;
识别目标车位,根据识别的目标车位规划泊车路径,并根据规划的泊车路径控制所述车辆完成自动泊车;
其中,所述识别目标车位包括:
获取车辆在一定时间段内的行驶距离,根据所述相对距离和所述行驶距离获取所述车辆同一侧相邻两个障碍物的空间距离,当所述空间距离大于最小停车位尺寸时,则完成空间目标车位识别;和/或
根据所述车辆周围的图像识别是否存在车位线特征,若检测到车位线特征且计算得到所述车辆同一侧的车位线间空间尺寸大于最小停车位尺寸,则完成划线目标车位识别。
7.根据权利要求6所述的自动泊车方法,其特征在于,所述自动泊车方法还包括:
在完成空间目标车位识别或完成划线目标车位识别的同时,根据所述车辆周围的图像和所述摄像头所处车身的位置相对于路面的高度建立所述车辆周围区域的空间点云,并根据所述空间点云分布确定可泊车的区域的大小和位置坐标。
8.根据权利要求7所述的自动泊车方法,其特征在于,所述根据所述车辆周围的图像和采集所述车辆周围的图像的摄像头所处车身的位置相对于路面的高度建立所述车辆周围区域的空间点云包括:
获取所述摄像头在两个时刻的位姿关系并提取在所述两个时刻采集的两帧图像中的特征点,根据所述摄像头所处车身的位置相对于路面的高度和所述摄像头在所述两个时刻的位姿关系及所述两帧图像中的特征点建立所述车辆周围区域的空间点云。
9.根据权利要求8所述的自动泊车方法,其特征在于,所述根据识别的目标车位规划泊车路径具体包括:
根据可泊车的区域的大小和位置坐标、车辆初始状态、车辆运动学模型和约束条件计算路径最短的泊车路径,所述约束条件包括障碍物约束、活动范围约束、最大泊车速度约束、方向盘转速约束、终止条件约束;
所述根据规划的泊车路径控制所述车辆完成自动泊车具体包括:
显示泊车操作提示信息和/或播放语音提示,以使驾驶员通过泊车操作提示信息和/或语音提示操作车辆挡位、油门和刹车,同时发送方向盘转角控制信号对方向盘转角进行调整,以控制所述车辆按照所述泊车路径行驶至所述目标车位。
10.根据权利要求9所述的自动泊车方法,其特征在于,所述方法还包括根据采集的图像生成车身四周360°环视画面;
若探测到所述车辆与周围的障碍物的距离小于预设阈值时,在所述360°环视画面中显示报警信息,和/或发出报警提示音信号。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810274054.5A CN110316182B (zh) | 2018-03-29 | 2018-03-29 | 一种自动泊车***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810274054.5A CN110316182B (zh) | 2018-03-29 | 2018-03-29 | 一种自动泊车***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110316182A true CN110316182A (zh) | 2019-10-11 |
CN110316182B CN110316182B (zh) | 2021-07-06 |
Family
ID=68111157
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810274054.5A Active CN110316182B (zh) | 2018-03-29 | 2018-03-29 | 一种自动泊车***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110316182B (zh) |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111028534A (zh) * | 2018-10-09 | 2020-04-17 | 杭州海康威视数字技术股份有限公司 | 一种泊车位检测方法及装置 |
CN111038493A (zh) * | 2019-12-12 | 2020-04-21 | 恒大新能源汽车科技(广东)有限公司 | 自动泊车方法、***、车辆和存储介质 |
CN111071248A (zh) * | 2019-12-24 | 2020-04-28 | 浙江合众新能源汽车有限公司 | 一种基于电子助力制动器的智能泊车方法 |
CN111169470A (zh) * | 2020-01-06 | 2020-05-19 | 上海汽车集团股份有限公司 | 一种自动泊车方法、装置及电子设备 |
CN111291650A (zh) * | 2020-01-21 | 2020-06-16 | 北京百度网讯科技有限公司 | 自动泊车辅助的方法及装置 |
CN111452790A (zh) * | 2020-03-27 | 2020-07-28 | 北京百度网讯科技有限公司 | 自动代客泊车的控制方法、装置、电子设备和存储介质 |
CN111547046A (zh) * | 2020-04-30 | 2020-08-18 | 惠州华阳通用电子有限公司 | 一种平行车位预占式自动泊车方法及装置 |
CN111547045A (zh) * | 2020-04-30 | 2020-08-18 | 惠州华阳通用电子有限公司 | 一种垂直车位自动泊车方法及装置 |
CN111678518A (zh) * | 2020-05-29 | 2020-09-18 | 南京市德赛西威汽车电子有限公司 | 一种用于修正自动泊车路径的视觉定位方法 |
CN111932822A (zh) * | 2020-07-11 | 2020-11-13 | 广州融康汽车科技有限公司 | 一种乘员身***置报警装置 |
US20210004019A1 (en) * | 2019-07-04 | 2021-01-07 | Ability Opto-Electronics Technology Co., Ltd. | Movable carrier auxiliary system and parking controlling method thereof |
CN112406855A (zh) * | 2020-09-15 | 2021-02-26 | 华人运通(上海)自动驾驶科技有限公司 | 自动泊车方法、装置、车辆及存储介质 |
CN112550278A (zh) * | 2020-12-03 | 2021-03-26 | 上汽大众汽车有限公司 | 一种基于环视摄像头和超声波雷达检测的自动泊车方法和*** |
CN112990151A (zh) * | 2021-05-10 | 2021-06-18 | 湖北亿咖通科技有限公司 | 障碍物检测模块的精度检测方法和电子设备 |
CN112977433A (zh) * | 2021-03-26 | 2021-06-18 | 广州领世汽车科技有限公司 | 一种汽车中央控制*** |
CN113640810A (zh) * | 2021-08-11 | 2021-11-12 | 北京百度网讯科技有限公司 | 空间车位检测方法、设备、存储介质和程序产品 |
WO2021238863A1 (zh) * | 2020-05-25 | 2021-12-02 | 长城汽车股份有限公司 | 一种倒车控制方法、***及车辆 |
CN113879285A (zh) * | 2020-07-01 | 2022-01-04 | 北京新能源汽车股份有限公司 | 一种自动泊车控制方法、装置及电动汽车 |
CN113920770A (zh) * | 2020-07-07 | 2022-01-11 | 北京新能源汽车股份有限公司 | 一种代客泊车控制方法、装置、设备及车辆 |
CN113920778A (zh) * | 2021-12-15 | 2022-01-11 | 深圳佑驾创新科技有限公司 | 一种图像采集方法及装置 |
CN114043981A (zh) * | 2021-06-30 | 2022-02-15 | 东风汽车集团股份有限公司 | 一种自动泊车控制方法 |
CN114516322A (zh) * | 2022-02-24 | 2022-05-20 | 重庆长安汽车股份有限公司 | 一种车辆泊出的***、方法、车辆及计算机存储介质 |
WO2022262418A1 (zh) * | 2021-06-15 | 2022-12-22 | Oppo广东移动通信有限公司 | 图像显示方法、装置、车辆以及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11157404A (ja) * | 1997-11-26 | 1999-06-15 | Toyota Motor Corp | 駐車支援装置 |
US20100289670A1 (en) * | 2009-05-14 | 2010-11-18 | Gm Global Technology Operations, Inc. | Motor vehicle having a parking assistance system |
CN102632837A (zh) * | 2012-03-31 | 2012-08-15 | 奇瑞汽车股份有限公司 | 一种辅助泊车***及其控制方法 |
EP2539207A1 (de) * | 2010-02-26 | 2013-01-02 | Robert Bosch GmbH | Verfahren zur unterstützung eines einparkvorgangs |
US20130096765A1 (en) * | 2011-10-14 | 2013-04-18 | Hyundai Motor Company | Parking area detection system and method using mesh space analysis |
CN106530820A (zh) * | 2017-01-05 | 2017-03-22 | 吉林大学 | 一种电动汽车代客自动泊车入位充电*** |
CN106985815A (zh) * | 2017-03-14 | 2017-07-28 | 重庆长安汽车股份有限公司 | 遥控泊车***及方法 |
CN107605219A (zh) * | 2017-09-05 | 2018-01-19 | 武汉大学 | 一种基于ble的自适应室内停车导航与自动泊车***及方法 |
-
2018
- 2018-03-29 CN CN201810274054.5A patent/CN110316182B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11157404A (ja) * | 1997-11-26 | 1999-06-15 | Toyota Motor Corp | 駐車支援装置 |
US20100289670A1 (en) * | 2009-05-14 | 2010-11-18 | Gm Global Technology Operations, Inc. | Motor vehicle having a parking assistance system |
EP2539207A1 (de) * | 2010-02-26 | 2013-01-02 | Robert Bosch GmbH | Verfahren zur unterstützung eines einparkvorgangs |
US20130096765A1 (en) * | 2011-10-14 | 2013-04-18 | Hyundai Motor Company | Parking area detection system and method using mesh space analysis |
CN102632837A (zh) * | 2012-03-31 | 2012-08-15 | 奇瑞汽车股份有限公司 | 一种辅助泊车***及其控制方法 |
CN106530820A (zh) * | 2017-01-05 | 2017-03-22 | 吉林大学 | 一种电动汽车代客自动泊车入位充电*** |
CN106985815A (zh) * | 2017-03-14 | 2017-07-28 | 重庆长安汽车股份有限公司 | 遥控泊车***及方法 |
CN107605219A (zh) * | 2017-09-05 | 2018-01-19 | 武汉大学 | 一种基于ble的自适应室内停车导航与自动泊车***及方法 |
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111028534A (zh) * | 2018-10-09 | 2020-04-17 | 杭州海康威视数字技术股份有限公司 | 一种泊车位检测方法及装置 |
US20210004019A1 (en) * | 2019-07-04 | 2021-01-07 | Ability Opto-Electronics Technology Co., Ltd. | Movable carrier auxiliary system and parking controlling method thereof |
CN111038493A (zh) * | 2019-12-12 | 2020-04-21 | 恒大新能源汽车科技(广东)有限公司 | 自动泊车方法、***、车辆和存储介质 |
CN111038493B (zh) * | 2019-12-12 | 2021-09-03 | 恒大恒驰新能源汽车科技(广东)有限公司 | 自动泊车方法、***、车辆和存储介质 |
CN111071248A (zh) * | 2019-12-24 | 2020-04-28 | 浙江合众新能源汽车有限公司 | 一种基于电子助力制动器的智能泊车方法 |
CN111071248B (zh) * | 2019-12-24 | 2021-11-05 | 浙江合众新能源汽车有限公司 | 一种基于电子助力制动器的智能泊车方法 |
CN111169470A (zh) * | 2020-01-06 | 2020-05-19 | 上海汽车集团股份有限公司 | 一种自动泊车方法、装置及电子设备 |
CN111169470B (zh) * | 2020-01-06 | 2021-07-27 | 上海汽车集团股份有限公司 | 一种自动泊车方法、装置及电子设备 |
CN111291650A (zh) * | 2020-01-21 | 2020-06-16 | 北京百度网讯科技有限公司 | 自动泊车辅助的方法及装置 |
CN111291650B (zh) * | 2020-01-21 | 2023-06-20 | 北京百度网讯科技有限公司 | 自动泊车辅助的方法及装置 |
CN111452790B (zh) * | 2020-03-27 | 2023-09-29 | 北京百度网讯科技有限公司 | 自动代客泊车的控制方法、装置、电子设备和存储介质 |
CN111452790A (zh) * | 2020-03-27 | 2020-07-28 | 北京百度网讯科技有限公司 | 自动代客泊车的控制方法、装置、电子设备和存储介质 |
CN111547045A (zh) * | 2020-04-30 | 2020-08-18 | 惠州华阳通用电子有限公司 | 一种垂直车位自动泊车方法及装置 |
CN111547046A (zh) * | 2020-04-30 | 2020-08-18 | 惠州华阳通用电子有限公司 | 一种平行车位预占式自动泊车方法及装置 |
WO2021238863A1 (zh) * | 2020-05-25 | 2021-12-02 | 长城汽车股份有限公司 | 一种倒车控制方法、***及车辆 |
CN111678518A (zh) * | 2020-05-29 | 2020-09-18 | 南京市德赛西威汽车电子有限公司 | 一种用于修正自动泊车路径的视觉定位方法 |
CN113879285A (zh) * | 2020-07-01 | 2022-01-04 | 北京新能源汽车股份有限公司 | 一种自动泊车控制方法、装置及电动汽车 |
CN113920770B (zh) * | 2020-07-07 | 2022-12-27 | 北京新能源汽车股份有限公司 | 一种代客泊车控制方法、装置、设备及车辆 |
CN113920770A (zh) * | 2020-07-07 | 2022-01-11 | 北京新能源汽车股份有限公司 | 一种代客泊车控制方法、装置、设备及车辆 |
CN111932822A (zh) * | 2020-07-11 | 2020-11-13 | 广州融康汽车科技有限公司 | 一种乘员身***置报警装置 |
CN112406855A (zh) * | 2020-09-15 | 2021-02-26 | 华人运通(上海)自动驾驶科技有限公司 | 自动泊车方法、装置、车辆及存储介质 |
CN112550278A (zh) * | 2020-12-03 | 2021-03-26 | 上汽大众汽车有限公司 | 一种基于环视摄像头和超声波雷达检测的自动泊车方法和*** |
CN112550278B (zh) * | 2020-12-03 | 2022-05-17 | 上汽大众汽车有限公司 | 一种基于环视摄像头和超声波雷达检测的自动泊车方法和*** |
CN112977433A (zh) * | 2021-03-26 | 2021-06-18 | 广州领世汽车科技有限公司 | 一种汽车中央控制*** |
CN112990151A (zh) * | 2021-05-10 | 2021-06-18 | 湖北亿咖通科技有限公司 | 障碍物检测模块的精度检测方法和电子设备 |
WO2022262418A1 (zh) * | 2021-06-15 | 2022-12-22 | Oppo广东移动通信有限公司 | 图像显示方法、装置、车辆以及存储介质 |
CN114043981A (zh) * | 2021-06-30 | 2022-02-15 | 东风汽车集团股份有限公司 | 一种自动泊车控制方法 |
CN114043981B (zh) * | 2021-06-30 | 2023-10-24 | 东风汽车集团股份有限公司 | 一种自动泊车控制方法 |
CN113640810A (zh) * | 2021-08-11 | 2021-11-12 | 北京百度网讯科技有限公司 | 空间车位检测方法、设备、存储介质和程序产品 |
CN113920778A (zh) * | 2021-12-15 | 2022-01-11 | 深圳佑驾创新科技有限公司 | 一种图像采集方法及装置 |
CN114516322A (zh) * | 2022-02-24 | 2022-05-20 | 重庆长安汽车股份有限公司 | 一种车辆泊出的***、方法、车辆及计算机存储介质 |
CN114516322B (zh) * | 2022-02-24 | 2024-04-26 | 重庆长安汽车股份有限公司 | 一种车辆泊出的***、方法、车辆及计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110316182B (zh) | 2021-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110316182A (zh) | 一种自动泊车***及方法 | |
CN105539430B (zh) | 一种基于手持终端的人车交互智能泊车方法 | |
US11402851B2 (en) | Systems and methods for detecting low-height objects in a roadway | |
EP3972882B1 (en) | Systems and methods for predicting blind spot incursions | |
CN106945660B (zh) | 一种自动泊车*** | |
CA2887239C (en) | Generating an image of the surroundings of an articulated vehicle | |
CN106030609B (zh) | 用于模仿前车的***和方法 | |
US9126533B2 (en) | Driving support method and driving support device | |
US9507345B2 (en) | Vehicle control system and method | |
US9359009B2 (en) | Object detection during vehicle parking | |
CN101228059B (zh) | 用于车辆的停车装置和用于车辆的停车方法 | |
CN108490941A (zh) | 应用于道路清扫车的自动驾驶***及其控制方法、装置 | |
CN109426256A (zh) | 自动驾驶车辆的基于驾驶员意图的车道辅助*** | |
CN107351785A (zh) | 车辆周围环境感知*** | |
CN110415550B (zh) | 基于视觉的自动泊车方法 | |
CN102616182A (zh) | 停车辅助***和方法 | |
CN109828571A (zh) | 基于v2x的自动驾驶车辆、方法和装置 | |
CN110126820A (zh) | 自动泊车***、泊车方法及车辆 | |
CN101101333A (zh) | 用于产生行进车辆的驾驶员辅助信息的设备和方法 | |
CN105103210A (zh) | 用于引导在对象的周围环境中的车辆的方法和设备 | |
CN107218947A (zh) | 感应回路检测***和方法 | |
CN108248688A (zh) | 倒车辅助线设置方法及倒车辅助*** | |
US11397438B2 (en) | Driver aid and autonomous tractor-trailer parking and loading dock alignment system | |
US20180350234A1 (en) | Inductive Loop Detection Systems And Methods | |
JP2022502642A (ja) | 移動手段周辺の物体が移動手段の運転操作に及ぼす影響を評価する方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |