CN114089365B - 一种自动驾驶车辆定位方法、装置及电子设备、存储介质 - Google Patents
一种自动驾驶车辆定位方法、装置及电子设备、存储介质 Download PDFInfo
- Publication number
- CN114089365B CN114089365B CN202210063007.2A CN202210063007A CN114089365B CN 114089365 B CN114089365 B CN 114089365B CN 202210063007 A CN202210063007 A CN 202210063007A CN 114089365 B CN114089365 B CN 114089365B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- matching
- current moment
- moment
- cloud map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000003860 storage Methods 0.000 title claims abstract description 21
- 230000011218 segmentation Effects 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 9
- 238000000638 solvent extraction Methods 0.000 claims description 6
- 230000004807 localization Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 15
- 238000004590 computer program Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
- G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种自动驾驶车辆定位方法、装置及电子设备、存储介质，该方法包括：获取自动驾驶车辆的当前时刻的激光点云数据，以及前一时刻的匹配定位信息和前一时刻的局部点云地图；根据前一时刻的匹配定位信息和前一时刻的局部点云地图，确定当前时刻的局部点云地图；利用预设匹配算法将当前时刻的激光点云数据与当前时刻的局部点云地图进行点云匹配，得到点云匹配结果；根据点云匹配结果确定自动驾驶车辆的当前时刻的匹配定位信息。本申请实施例的自动驾驶车辆定位方法可以实现激光雷达的实时匹配定位，提高点云匹配的绝对定位输出频率，并且在GNSS失效的情况下，依然可以为自动驾驶车辆提供高频率的绝对定位信息，保证定位轨迹不会发生漂移。
Description
技术领域
本申请涉及自动驾驶技术领域，尤其涉及一种自动驾驶车辆定位方法、装置及电子设备、存储介质。
背景技术
自动驾驶的定位***一般会使用多个传感器采集的定位信息进行融合定位，以提高定位精度，例如IMU（Inertial Measurement Unit，惯性测量单元）、GNSS（GlobalNavigation Satellite System，全球导航卫星***）、里程计等。
在采用GNSS进行融合定位时，会出现GNSS信号短时失效的情况，由于缺少了绝对的位置观测量，融合定位结果会产生飘移，这会对自动驾驶的规划控制，以及安全性产生巨大的影响。激光雷达的点云数据可以与预先制作好的点云地图进行匹配定位，由于点云地图已经存储了位置的绝对信息，包括经纬度坐标或UTM（Universal Transverse MercatorGrid System，通用横墨卡托网格***）坐标等，因此通过激光点云数据匹配定位可以弥补GNSS信号缺失时的绝对定位信息。
然而，激光雷达的频率一般在10Hz左右，直接使用ICP（Iterative ClosestPoint, 最近邻迭代算法）或者NDT（Normal Distributions Transform，正态分布变换）方法进行点云地图的匹配定位，几乎很难达到实时性，进而难以满足自动驾驶场景下对于定位实时性的要求。
发明内容
本申请实施例提供了一种自动驾驶车辆定位方法、装置及电子设备、存储介质，以提高自动驾驶车辆定位的实时性。
本申请实施例采用下述技术方案：
第一方面，本申请实施例提供一种自动驾驶车辆定位方法，其中，所述方法包括：
获取自动驾驶车辆的当前时刻的激光点云数据，以及前一时刻的匹配定位信息和前一时刻的局部点云地图；
根据所述前一时刻的匹配定位信息和所述前一时刻的局部点云地图，确定当前时刻的局部点云地图；
利用预设匹配算法将所述当前时刻的激光点云数据与所述当前时刻的局部点云地图进行点云匹配，得到点云匹配结果；
根据点云匹配结果确定所述自动驾驶车辆的当前时刻的匹配定位信息。
可选地，所述根据所述前一时刻的匹配定位信息和所述前一时刻的局部点云地图，确定当前时刻的局部点云地图包括：
将所述前一时刻的匹配定位信息与所述前一时刻的局部点云地图对应的长方体的边界进行比较；
根据比较结果确定所述当前时刻的局部点云地图。
可选地，所述匹配定位信息包括匹配位置，所述根据比较结果确定所述当前时刻的局部点云地图包括：
在所述前一时刻的匹配位置与所述前一时刻的局部点云地图对应的长方体的任一边界距离小于预设距离阈值的情况下，以所述前一时刻的匹配位置为原点，利用预设点云分割算法对全局点云地图进行重新分割，得到所述当前时刻的局部点云地图；
在所述前一时刻的匹配位置与所述前一时刻的局部点云地图对应的长方体的各个边界距离均未小于所述预设距离阈值的情况下，直接将所述前一时刻的局部点云地图作为所述当前时刻的局部点云地图。
可选地，所述利用预设匹配算法将所述当前时刻的激光点云数据与所述当前时刻的局部点云地图进行点云匹配，得到点云匹配结果包括：
分别对所述当前时刻的激光点云数据和所述当前时刻的局部点云地图进行体素滤波处理，得到滤波后的当前时刻的激光点云数据和滤波后的当前时刻的局部点云地图；
利用预设匹配算法，将所述滤波后的当前时刻的激光点云数据与所述滤波后的当前时刻的局部点云地图进行点云匹配，得到所述点云匹配结果。
可选地，在获取自动驾驶车辆的当前时刻的激光点云数据之后，所述方法还包括：
确定所述当前时刻的激光点云数据是否是第一帧激光点云数据；
在所述当前时刻的激光点云数据是第一帧激光点云数据的情况下，获取全局点云地图和所述第一帧激光点云数据对应的GNSS定位信号的位置；
根据所述GNSS定位信号的位置，利用预设点云分割算法对所述全局点云地图进行分割，得到所述当前时刻的局部点云地图。
可选地，在根据点云匹配结果确定所述自动驾驶车辆的当前时刻的匹配定位信息之后，所述方法还包括：
根据所述当前时刻的匹配定位信息和当前时刻的局部点云地图，确定下一时刻的局部点云地图。
第二方面，本申请实施例还提供一种自动驾驶车辆定位装置，其中，所述装置包括：
第一获取单元，用于获取自动驾驶车辆的当前时刻的激光点云数据，以及前一时刻的匹配定位信息和前一时刻的局部点云地图；
第一确定单元，用于根据所述前一时刻的匹配定位信息和所述前一时刻的局部点云地图，确定当前时刻的局部点云地图；
点云匹配单元，用于利用预设匹配算法将所述当前时刻的激光点云数据与所述当前时刻的局部点云地图进行点云匹配，得到点云匹配结果；
第二确定单元，用于根据点云匹配结果确定所述自动驾驶车辆的当前时刻的匹配定位信息。
可选地，所述第一确定单元具体用于：
将所述前一时刻的匹配定位信息与所述前一时刻的局部点云地图对应的长方体的边界进行比较；
根据比较结果确定所述当前时刻的局部点云地图。
第三方面，本申请实施例还提供一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行前述之任一所述方法。
第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行前述之任一所述方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：本申请实施例的自动驾驶车辆定位方法，先获取自动驾驶车辆的当前时刻的激光点云数据，以及前一时刻的匹配定位信息和前一时刻的局部点云地图；然后根据所述前一时刻的匹配定位信息和所述前一时刻的局部点云地图，确定当前时刻的局部点云地图；之后利用预设匹配算法将所述当前时刻的激光点云数据与所述当前时刻的局部点云地图进行点云匹配，得到点云匹配结果；最后根据点云匹配结果确定所述自动驾驶车辆的当前时刻的匹配定位信息。本申请实施例的自动驾驶车辆定位方法可以实现激光雷达的实时匹配定位，提高点云匹配的绝对定位输出频率，并且在GNSS失效的情况下，依然可以为自动驾驶车辆提供高频率的绝对定位信息，保证自动驾驶车辆的定位轨迹不会发生漂移。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例中一种自动驾驶车辆定位方法的流程示意图；
图2为本申请实施例中一种自动驾驶车辆定位流程示意图；
图3为本申请实施例中一种自动驾驶车辆定位装置的结构示意图；
图4为本申请实施例中一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下结合附图，详细说明本申请各实施例提供的技术方案。
本申请实施例提供了一种自动驾驶车辆定位方法，如图1所示，提供了本申请实施例中一种自动驾驶车辆定位方法的流程示意图，所述方法至少包括如下的步骤S110至步骤S140：
步骤S110，获取自动驾驶车辆的当前时刻的激光点云数据，以及前一时刻的匹配定位信息和前一时刻的局部点云地图。
本申请实施例的自动驾驶车辆定位方法在进行车辆定位时，先获取车辆的激光雷达扫描得到的当前时刻的激光点云数据，此外还需要进一步获取前一时刻的匹配定位信息和前一时刻的局部点云地图。
上述匹配定位信息即可以看作是将激光雷达点云数据与预先制作好的点云地图匹配之后输出的定位信息。实际定位场景下，由于预先制作好的全局点云地图包含的数据量十分大，如果每次定位均与全局点云地图进行匹配，将需要耗费大量的时间和资源，不能满足自动驾驶场景下实时定位的需求，因此需要根据前一时刻的匹配定位信息对全局点云地图进行分割，从而得到当前定位需要关注的局部点云数据，作为后续匹配的基础，大大减少了匹配所需要耗费的时间和资源，提高定位的实时性。
步骤S120，根据所述前一时刻的匹配定位信息和所述前一时刻的局部点云地图，确定当前时刻的局部点云地图。
上述基于局部点云地图进行定位匹配的方式能够在一定程度上提高定位的实时性，但如果每次定位均对全局点云地图进行重新分割，仍然会增加一定的耗时和资源的浪费，因此本申请实施例在接收到当前时刻的激光点云数据后，并不会直接利用前一时刻的匹配定位信息对全局点云地图进行重新分割，而是根据前一时刻的匹配定位信息与前一时刻的局部点云地图之间的空间位置关系，来确定是否需要重新分割，从而得到当前时刻的局部点云地图。
步骤S130，利用预设匹配算法将所述当前时刻的激光点云数据与所述当前时刻的局部点云地图进行点云匹配，得到点云匹配结果。
在确定出当前时刻的局部点云地图后，利用预设匹配算法如NDT算法等将当前时刻的激光点云数据与当前时刻的局部点云地图进行点云匹配，从而得到点云匹配结果。
NDT算法相比于传统的ICP算法，兼顾了自动驾驶场景下对于效率和精度的要求。当然，本领域技术人员也可以根据实际需求灵活选择其他匹配算法，在此不作具体限定。
步骤S140，根据点云匹配结果确定所述自动驾驶车辆的当前时刻的匹配定位信息。
在完成点云匹配后，就可以输出自动驾驶车辆的当前时刻的匹配定位信息了，具体可以包括位置和姿态等定位信息。
本申请实施例的自动驾驶车辆定位方法可以实现激光雷达的实时匹配定位，提高点云匹配的绝对定位输出频率，并且在GNSS失效的情况下，依然可以为自动驾驶车辆提供高频率的绝对定位信息，保证自动驾驶车辆的定位轨迹不会发生漂移。
在本申请的一个实施例中，所述根据所述前一时刻的匹配定位信息和所述前一时刻的局部点云地图，确定当前时刻的局部点云地图包括：将所述前一时刻的匹配定位信息与所述前一时刻的局部点云地图对应的长方体的边界进行比较；根据比较结果确定所述当前时刻的局部点云地图。
本申请实施例基于全局点云地图分割得到的局部点云地图在空间中可以看作是一个长方体的结构，该长方体的尺寸可根据实际需求灵活设置，例如可以是150m*150m*150m的大小。在根据前一时刻的匹配定位信息和前一时刻的局部点云地图确定当前时刻的局部点云地图时，可以将前一时刻的匹配定位信息与该局部点云地图对应的长方体的各个边界进行比较，从而确定两者在空间上的相对位置关系，并以此进一步确定当前时刻是否要对全局点云地图进行重新分割，得到当前时刻的局部点云地图。
在本申请的一个实施例中，所述匹配定位信息包括匹配位置，所述根据比较结果确定所述当前时刻的局部点云地图包括：在所述前一时刻的匹配位置与所述前一时刻的局部点云地图对应的长方体的任一边界距离小于预设距离阈值的情况下，以所述前一时刻的匹配位置为原点，利用预设点云分割算法对全局点云地图进行重新分割，得到所述当前时刻的局部点云地图；在所述前一时刻的匹配位置与所述前一时刻的局部点云地图对应的长方体的各个边界距离均未小于所述预设距离阈值的情况下，直接将所述前一时刻的局部点云地图作为所述当前时刻的局部点云地图。
本申请实施例的匹配定位信息可以包括匹配位置，正常情况下，前一时刻的匹配位置的具***置点应当是位于前一时刻的局部点云地图对应的长方体内部的，基于此，本申请实施例在确定当前时刻的局部点云地图时，可以进一步计算前一时刻的匹配位置与前一时刻的局部点云地图对应的长方体的各个边界之间的距离，即匹配位置点到长方体六个侧面的垂直距离。
之后，将上述计算得到的各个距离值分别与事先设定的距离阈值进行比较，该预设距离阈值的大小可以根据实际需求灵活设置，例如设置为50m，这里不作具体限定。如果有至少一个距离值小于预设距离阈值，说明前一时刻的匹配位置与前一时刻所使用的局部点云地图的边界比较接近，那么在移动到当前时刻时，自动驾驶车辆的实际位置就很有可能超出了前一时刻的局部点云地图的边界，或者说前一时刻的局部点云地图中所包含的点云数据将无法为当前时刻的匹配提供足够的数据支撑，此时就不能将前一时刻的点云地图直接作为当前时刻的局部点云地图，而是需要进行重新分割。具体地，可以以前一时刻的匹配位置为原点，利用预设点云分割算法如CropBox方法对全局点云地图进行重新分割，从而得到当前时刻的局部点云地图。
而如果上述计算得到的各个距离值均不小于预设距离阈值，说明前一时刻的匹配位置与前一时刻所使用的局部点云地图的边界还有一定距离，因此在移动到当前时刻时，自动驾驶车辆的实际位置也不会超出前一时刻的局部点云地图的边界，或者说前一时刻的局部点云地图中所包含的点云数据仍然能够为当前时刻的匹配提供足够的数据支撑，此时就可以直接将前一时刻的点云地图作为当前时刻的局部点云地图，而不需要进行重新分割，这在很大程度上省去了不必要的分割操作，进而提高了定位的实时性。
需要说明的是，上述实施例中的“前一时刻”的局部点云地图具体可以理解为是“前一分割时刻”的局部点云地图，因为如前述实施例，并不是每一次定位匹配都会对全局点云地图进行重新分割，进而导致接收到的激光点云的帧数据的时刻和分割的时刻并非是完全对应的，为了便于对本申请实施例的理解，以下表1为例进行说明：
表1
| 激光点云数据的时刻（T） | 局部点云地图（G） | 局部地图分割时刻（t） |
| T1 | G1 | t1 |
| T2 | G1 | t1 |
| T3 | G2 | t2 |
从上表1可以看出，接收到激光点云数据的时 刻T与局部地图分割时刻t并非一一对应的关系，因为在T2时刻，并未对全局点云地图进行重新分割，因此，此时的分割时刻仍然是t1时刻，在确定T2时刻的局部点云地图时，本质上获取的是t1分割时刻对应的局部点云地图。
在本申请的一个实施例中，所述利用预设匹配算法将所述当前时刻的激光点云数据与所述当前时刻的局部点云地图进行点云匹配，得到点云匹配结果包括：分别对所述当前时刻的激光点云数据和所述当前时刻的局部点云地图进行体素滤波处理，得到滤波后的当前时刻的激光点云数据和滤波后的当前时刻的局部点云地图；利用预设匹配算法，将所述滤波后的当前时刻的激光点云数据与所述滤波后的当前时刻的局部点云地图进行点云匹配，得到所述点云匹配结果。
由于点云数据量非常大，直接进行匹配非常耗时，因此为了进一步提高匹配定位的实时性，本申请实施例在将当前时刻的激光点云数据与当前时刻的局部点云地图进行点云匹配时，可以先对当前时刻的激光点云数据和当前时刻的局部点云地图分别进行Voxel体素滤波处理，使用滤波后的激光点云数据和滤波后的局部点云地图进行匹配定位。
上述Voxel体素滤波使用体素化网格方法对点云数据进行下采样，即减少点的数量，减少点云数据，并同时保持点云的形状特征，在提高配准、曲面重建、形状识别等算法速度中非常实用。本申请实施例通过使用Voxel滤波后的激光点云数据和局部点云地图进行匹配定位，节省了匹配时间，进而进一步提高了激光点云匹配定位的实时性。
在本申请的一个实施例中，在获取自动驾驶车辆的当前时刻的激光点云数据之后，所述方法还包括：确定所述当前时刻的激光点云数据是否是第一帧激光点云数据；在所述当前时刻的激光点云数据是第一帧激光点云数据的情况下，获取全局点云地图和所述第一帧激光点云数据对应的GNSS定位信号的位置；根据所述GNSS定位信号的位置，利用预设点云分割算法对所述全局点云地图进行分割，得到所述当前时刻的局部点云地图。
本申请实施例在获取到当前时刻的激光点云数据之后，如果该当前时刻的激光点云数据是当前接收到的第一帧激光点云数据，此时第一帧激光点云数据并没有对应的前一个分割时刻的局部点云地图，也没有前一时刻的匹配定位信息，因此这时可以借助第一帧激光点云数据对应的GNSS位置对全局点云地图直接进行分割，从而得到当前时刻的局部点云地图，该过程可以看作是一个匹配定位的初始化过程。
在本申请的一个实施例中，在根据点云匹配结果确定所述自动驾驶车辆的当前时刻的匹配定位信息之后，所述方法还包括：根据所述当前时刻的匹配定位信息和当前时刻的局部点云地图，确定下一时刻的局部点云地图。
本申请实施例在得到当前时刻的匹配定位信息之后，可以基于当前时刻的匹配定位信息和当前时刻的局部点云地图确定下一时刻的局部点云地图，从而实现下一时刻的匹配定位。
需要说明的是，本申请的自动驾驶车辆定位方法既可以在GNSS信号有效的情况下，与GNSS融合定位方法并用，实现双定位的效果，还可以在GNSS信号失效的情况下补偿绝对定位信息，二者并不冲突，且也没有先后顺序的要求。当然，如果为了节省运行资源，也可以优先采用GNSS融合定位，在检测到GNSS信号失效的情况下，再触发本申请的自动驾驶车辆定位方法。
为了便于对本申请各实施例的理解，如图2所示，提供了本申请实施例中一种自动驾驶车辆定位流程示意图。首先，可以先获取预先制作好的全局点云地图，然后在接收到当前时刻的激光点云数据后，判断当前时刻的激光点云数据是否是第一帧激光点云数据，如果是，则需要进一步获取第一帧激光点云数据对应的GNSS信号位置，然后根据GNSS信号位置对预先制作好的全局点云地图进行分割，从而得到当前时刻的局部点云地图。
如果当前时刻的激光点云数据不是第一帧激光点云数据，这时需要获取前一时刻的匹配定位信息和前一时刻的局部点云地图，然后将前一时刻的匹配定位信息和前一时刻的局部点云地图进行空间上的比较，从而根据比较结果确定是否需要对全局点云地图进行重新分割，如果需要，则通过重新分割得到当前时刻的局部点云地图，如果不需要，则直接将前一时刻的局部点云地图作为当前时刻的局部点云地图。
在得到当前时刻的局部点云地图后，需要对当前时刻的局部点云地图与当前时刻的激光点云数据进行Voxel体素滤波处理，之后再对滤波后的局部点云地图和激光点云数据进行点云匹配，从而得到点云匹配结果，最后根据点云匹配结果输出当前时刻的匹配定位信息如匹配位置和姿态等。
本申请通过上述自动驾驶车辆定位流程可以实现激光雷达的实时匹配定位，提高点云匹配的绝对定位输出频率，并且在GNSS失效的情况下，依然可以为自动驾驶车辆提供高频率的绝对定位信息，保证了自动驾驶的定位轨迹不会发生漂移，提高了定位的稳定性和可靠性。
本申请实施例还提供一种自动驾驶车辆定位装置300，如图3所示，提供了本申请实施例中一种自动驾驶车辆定位装置的结构示意图，所述装置300包括：第一获取单元310、第一确定单元320、点云匹配单元330以及第二确定单元340，其中：
第一获取单元310，用于获取自动驾驶车辆的当前时刻的激光点云数据，以及前一时刻的匹配定位信息和前一时刻的局部点云地图；
第一确定单元320，用于根据所述前一时刻的匹配定位信息和所述前一时刻的局部点云地图，确定当前时刻的局部点云地图；
点云匹配单元330，用于利用预设匹配算法将所述当前时刻的激光点云数据与所述当前时刻的局部点云地图进行点云匹配，得到点云匹配结果；
第二确定单元340，用于根据点云匹配结果确定所述自动驾驶车辆的当前时刻的匹配定位信息。
在本申请的一个实施例中，所述第一确定单元320具体用于：将所述前一时刻的匹配定位信息与所述前一时刻的局部点云地图对应的长方体的边界进行比较；根据比较结果确定所述当前时刻的局部点云地图。
在本申请的一个实施例中，所述匹配定位信息包括匹配位置，所述第一确定单元320具体用于：在所述前一时刻的匹配位置与所述前一时刻的局部点云地图对应的长方体的任一边界距离小于预设距离阈值的情况下，以所述前一时刻的匹配位置为原点，利用预设点云分割算法对全局点云地图进行重新分割，得到所述当前时刻的局部点云地图；在所述前一时刻的匹配位置与所述前一时刻的局部点云地图对应的长方体的各个边界距离均未小于所述预设距离阈值的情况下，直接将所述前一时刻的局部点云地图作为所述当前时刻的局部点云地图。
在本申请的一个实施例中，所述点云匹配单元330具体用于：分别对所述当前时刻的激光点云数据和所述当前时刻的局部点云地图进行体素滤波处理，得到滤波后的当前时刻的激光点云数据和滤波后的当前时刻的局部点云地图；利用预设匹配算法，将所述滤波后的当前时刻的激光点云数据与所述滤波后的当前时刻的局部点云地图进行点云匹配，得到所述点云匹配结果。
在本申请的一个实施例中，所述装置还包括：第三确定单元，用于确定所述当前时刻的激光点云数据是否是第一帧激光点云数据；第二获取单元，用于在所述当前时刻的激光点云数据是第一帧激光点云数据的情况下，获取全局点云地图和所述第一帧激光点云数据对应的GNSS定位信号的位置；分割单元，用于根据所述GNSS定位信号的位置，利用预设点云分割算法对所述全局点云地图进行分割，得到所述当前时刻的局部点云地图。
在本申请的一个实施例中，所述装置还包括：第四确定单元，用于根据所述当前时刻的匹配定位信息和当前时刻的局部点云地图，确定下一时刻的局部点云地图。
能够理解，上述自动驾驶车辆定位装置，能够实现前述实施例中提供的自动驾驶车辆定位方法的各个步骤，关于自动驾驶车辆定位方法的相关阐释均适用于自动驾驶车辆定位装置，此处不再赘述。
图4是本申请的一个实施例电子设备的结构示意图。请参考图4，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器（non-volatile memory），例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构）总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构）总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成自动驾驶车辆定位装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
获取自动驾驶车辆的当前时刻的激光点云数据，以及前一时刻的匹配定位信息和前一时刻的局部点云地图；
根据所述前一时刻的匹配定位信息和所述前一时刻的局部点云地图，确定当前时刻的局部点云地图；
利用预设匹配算法将所述当前时刻的激光点云数据与所述当前时刻的局部点云地图进行点云匹配，得到点云匹配结果；
根据点云匹配结果确定所述自动驾驶车辆的当前时刻的匹配定位信息。
上述如本申请图1所示实施例揭示的自动驾驶车辆定位装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器（Central ProcessingUnit，CPU）、网络处理器（Network Processor，NP）等；还可以是数字信号处理器（DigitalSignal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field－Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
该电子设备还可执行图1中自动驾驶车辆定位装置执行的方法，并实现自动驾驶车辆定位装置在图1所示实施例的功能，本申请实施例在此不再赘述。
本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图1所示实施例中自动驾驶车辆定位装置执行的方法，并具体用于执行：
获取自动驾驶车辆的当前时刻的激光点云数据，以及前一时刻的匹配定位信息和前一时刻的局部点云地图；
根据所述前一时刻的匹配定位信息和所述前一时刻的局部点云地图，确定当前时刻的局部点云地图；
利用预设匹配算法将所述当前时刻的激光点云数据与所述当前时刻的局部点云地图进行点云匹配，得到点云匹配结果；
根据点云匹配结果确定所述自动驾驶车辆的当前时刻的匹配定位信息。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（***）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM) 和/或非易失性内存等形式，如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (8)
1.一种自动驾驶车辆定位方法，其中，所述方法包括：
获取自动驾驶车辆的当前时刻的激光点云数据，以及前一时刻的匹配定位信息和前一时刻的局部点云地图；
根据所述前一时刻的匹配定位信息和所述前一时刻的局部点云地图，确定当前时刻的局部点云地图；
利用预设匹配算法将所述当前时刻的激光点云数据与所述当前时刻的局部点云地图进行点云匹配，得到点云匹配结果；
根据点云匹配结果确定所述自动驾驶车辆的当前时刻的匹配定位信息；
所述匹配定位信息是指将激光点云数据与预制作的点云地图匹配后输出的定位信息，所述匹配定位信息包括匹配位置；
所述根据所述前一时刻的匹配定位信息和所述前一时刻的局部点云地图，确定当前时刻的局部点云地图包括：
将所述前一时刻的匹配定位信息与所述前一时刻的局部点云地图对应的长方体的边界进行比较；
根据比较结果确定所述当前时刻的局部点云地图。
2.根据权利要求1所述方法，其中，所述根据比较结果确定所述当前时刻的局部点云地图包括：
在所述前一时刻的匹配位置与所述前一时刻的局部点云地图对应的长方体的任一边界距离小于预设距离阈值的情况下，以所述前一时刻的匹配位置为原点，利用预设点云分割算法对全局点云地图进行重新分割，得到所述当前时刻的局部点云地图；
在所述前一时刻的匹配位置与所述前一时刻的局部点云地图对应的长方体的各个边界距离均未小于所述预设距离阈值的情况下，直接将所述前一时刻的局部点云地图作为所述当前时刻的局部点云地图。
3.根据权利要求1所述方法，其中，所述利用预设匹配算法将所述当前时刻的激光点云数据与所述当前时刻的局部点云地图进行点云匹配，得到点云匹配结果包括：
分别对所述当前时刻的激光点云数据和所述当前时刻的局部点云地图进行体素滤波处理，得到滤波后的当前时刻的激光点云数据和滤波后的当前时刻的局部点云地图；
利用预设匹配算法，将所述滤波后的当前时刻的激光点云数据与所述滤波后的当前时刻的局部点云地图进行点云匹配，得到所述点云匹配结果。
4.根据权利要求1所述方法，其中，在获取自动驾驶车辆的当前时刻的激光点云数据之后，所述方法还包括：
确定所述当前时刻的激光点云数据是否是第一帧激光点云数据；
在所述当前时刻的激光点云数据是第一帧激光点云数据的情况下，获取全局点云地图和所述第一帧激光点云数据对应的GNSS定位信号的位置；
根据所述GNSS定位信号的位置，利用预设点云分割算法对所述全局点云地图进行分割，得到所述当前时刻的局部点云地图。
5.根据权利要求1所述方法，其中，在根据点云匹配结果确定所述自动驾驶车辆的当前时刻的匹配定位信息之后，所述方法还包括：
根据所述当前时刻的匹配定位信息和当前时刻的局部点云地图，确定下一时刻的局部点云地图。
6.一种自动驾驶车辆定位装置，其中，所述装置包括：
第一获取单元，用于获取自动驾驶车辆的当前时刻的激光点云数据，以及前一时刻的匹配定位信息和前一时刻的局部点云地图；
第一确定单元，用于根据所述前一时刻的匹配定位信息和所述前一时刻的局部点云地图，确定当前时刻的局部点云地图；
点云匹配单元，用于利用预设匹配算法将所述当前时刻的激光点云数据与所述当前时刻的局部点云地图进行点云匹配，得到点云匹配结果；
第二确定单元，用于根据点云匹配结果确定所述自动驾驶车辆的当前时刻的匹配定位信息；
所述匹配定位信息是指将激光点云数据与预制作的点云地图匹配后输出的定位信息，所述匹配定位信息包括匹配位置；
所述第一确定单元具体用于：
将所述前一时刻的匹配定位信息与所述前一时刻的局部点云地图对应的长方体的边界进行比较；
根据比较结果确定所述当前时刻的局部点云地图。
7.一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述权利要求1~5之任一所述方法。
8.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行所述权利要求1~5之任一所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210063007.2A CN114089365B (zh) | 2022-01-20 | 2022-01-20 | 一种自动驾驶车辆定位方法、装置及电子设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210063007.2A CN114089365B (zh) | 2022-01-20 | 2022-01-20 | 一种自动驾驶车辆定位方法、装置及电子设备、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114089365A CN114089365A (zh) | 2022-02-25 |
| CN114089365B true CN114089365B (zh) | 2022-05-17 |
Family
ID=80308853
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210063007.2A Active CN114089365B (zh) | 2022-01-20 | 2022-01-20 | 一种自动驾驶车辆定位方法、装置及电子设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114089365B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115079202A (zh) * | 2022-06-16 | 2022-09-20 | 智道网联科技(北京)有限公司 | 激光雷达建图方法、装置及电子设备、存储介质 |
| CN115265556A (zh) * | 2022-07-30 | 2022-11-01 | 重庆长安汽车股份有限公司 | 自动驾驶车辆的定位方法、装置、设备及介质 |
| CN115390086B (zh) * | 2022-10-31 | 2023-03-31 | 智道网联科技(北京)有限公司 | 用于自动驾驶的融合定位方法、装置及电子设备、存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108268481A (zh) * | 2016-12-30 | 2018-07-10 | 乐视汽车（北京）有限公司 | 云端地图更新方法及电子设备 |
| CN110187348A (zh) * | 2019-05-09 | 2019-08-30 | 盈科视控(北京)科技有限公司 | 一种激光雷达定位的方法 |
| CN111443359A (zh) * | 2020-03-26 | 2020-07-24 | 达闼科技成都有限公司 | 定位方法、装置及设备 |
| CN111947671A (zh) * | 2020-03-02 | 2020-11-17 | 北京百度网讯科技有限公司 | 用于定位的方法、装置、计算设备和计算机可读存储介质 |
| CN112462372A (zh) * | 2021-01-29 | 2021-03-09 | 北京主线科技有限公司 | 车辆定位方法及装置 |
| AU2021106247A4 (en) * | 2021-08-20 | 2021-11-04 | Beihang University | Vehicle fusion positioning method based on V2X and laser point cloud registration for advanced automatic driving |
-
2022
- 2022-01-20 CN CN202210063007.2A patent/CN114089365B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108268481A (zh) * | 2016-12-30 | 2018-07-10 | 乐视汽车（北京）有限公司 | 云端地图更新方法及电子设备 |
| CN110187348A (zh) * | 2019-05-09 | 2019-08-30 | 盈科视控(北京)科技有限公司 | 一种激光雷达定位的方法 |
| CN111947671A (zh) * | 2020-03-02 | 2020-11-17 | 北京百度网讯科技有限公司 | 用于定位的方法、装置、计算设备和计算机可读存储介质 |
| CN111443359A (zh) * | 2020-03-26 | 2020-07-24 | 达闼科技成都有限公司 | 定位方法、装置及设备 |
| CN112462372A (zh) * | 2021-01-29 | 2021-03-09 | 北京主线科技有限公司 | 车辆定位方法及装置 |
| AU2021106247A4 (en) * | 2021-08-20 | 2021-11-04 | Beihang University | Vehicle fusion positioning method based on V2X and laser point cloud registration for advanced automatic driving |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114089365A (zh) | 2022-02-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114089365B (zh) | 一种自动驾驶车辆定位方法、装置及电子设备、存储介质 | |
| CN114279453B (zh) | 基于车路协同的自动驾驶车辆定位方法、装置及电子设备 | |
| CN115184976B (zh) | 自动驾驶车辆的定位方法、装置及电子设备、存储介质 | |
| CN115390086B (zh) | 用于自动驾驶的融合定位方法、装置及电子设备、存储介质 | |
| CN113791435B (zh) | Gnss信号异常值的检测方法、装置及电子设备、存储介质 | |
| CN115143952A (zh) | 基于视觉辅助的自动驾驶车辆定位方法、装置 | |
| CN115507862A (zh) | 车道线定位方法及装置、电子设备及存储介质 | |
| CN113804214B (zh) | 车辆定位方法、装置及电子设备、计算机可读存储介质 | |
| US11403779B2 (en) | Methods, apparatuses, systems, and storage media for loading visual localization maps | |
| CN114966632A (zh) | 激光雷达标定方法、装置及电子设备、存储介质 | |
| CN115056801A (zh) | 自动驾驶的多路径识别方法、装置及电子设备、存储介质 | |
| CN113465615B (zh) | 车道线的生成方法及相关装置 | |
| CN115950441B (zh) | 自动驾驶车辆的融合定位方法、装置及电子设备 | |
| CN114397671B (zh) | 目标的航向角平滑方法、装置及计算机可读存储介质 | |
| CN114910083A (zh) | 定位方法以及定位装置、电子设备、存储介质 | |
| CN114739416A (zh) | 自动驾驶车辆定位方法、装置及电子设备、存储介质 | |
| CN115556827A (zh) | 自动驾驶车辆的航向角确定方法、装置及电子设备 | |
| CN114445590A (zh) | 用于工程设备的方法、装置、处理器及工程设备 | |
| CN115112125A (zh) | 自动驾驶车辆的定位方法、装置及电子设备、存储介质 | |
| CN113158864B (zh) | 卡车车头与挂车之间的夹角的确定方法与确定装置 | |
| CN114754778B (zh) | 一种车辆定位方法以及装置、电子设备、存储介质 | |
| CN114440861B (zh) | 交通综合杆的生成方法、装置及设备 | |
| CN113408509B (zh) | 用于自动驾驶的标识牌识别方法及装置 | |
| CN111539361B (zh) | 噪点的识别方法、装置、存储介质、处理器和运载工具 | |
| CN115187782A (zh) | 自动驾驶车辆融合定位方法、装置及电子设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |