CN117751301A - 处理激光雷达点云的方法、装置、设备及存储介质 - Google Patents
处理激光雷达点云的方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117751301A CN117751301A CN202180100861.5A CN202180100861A CN117751301A CN 117751301 A CN117751301 A CN 117751301A CN 202180100861 A CN202180100861 A CN 202180100861A CN 117751301 A CN117751301 A CN 117751301A
- Authority
- CN
- China
- Prior art keywords
- point
- reflectivity
- point cloud
- cloud data
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000002310 reflectometry Methods 0.000 claims abstract description 298
- 238000001514 detection method Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 21
- 238000012360 testing method Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 abstract description 10
- 230000000694 effects Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 16
- 230000003247 decreasing effect Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 7
- 238000007405 data analysis Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
- G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Acoustics & Sound (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
一种处理激光雷达点云的方法、装置、设备及存储介质,该方法包括:获取激光雷达探测的点云数据(S101);判断点云数据中是否包含高反物体(S102);当判断结果为点云数据中包含高反物体时,根据预设判别条件以及点云数据中每个点对应的位置信息和反射率,确定点云数据中的伪点云(S103)。基于预设判别条件以及每个点对应的位置信息和反射率,可以准确地确定高反物体对应的点云数据中的伪点云,这样有助于提高点云的质量,进而提升激光雷达测量的准确性。
Description
本申请涉及激光雷达技术领域,尤其涉及处理激光雷达点云的方法、装置、设备及存储介质。
激光雷达是一种用激光器作为发射光源,采用光电探测技术手段的主动遥感设备,是激光技术与现代光电探测技术结合的先进探测方式。由探测感知***、数据处理***等部分组成。其工作原理是向目标发射探测信号(激光),然后将接收到的回波信号进行处理,就可获得目标的距离、大小、速度、反射率等信息。其优点是分辨率高、灵敏度高、抗干扰能力强、不受黑暗条件影响等。因此,激光雷达广泛应用于自动驾驶、物流车、机器人、车路协同、公共智慧交通等领域。
然而,但在实际应用中,常常会出现高反膨胀现象,即在高反牌四周会附着一圈反射率较低的点云,从而造成感知误判,影响点云的质量,影响测距的准确性,这也就是所谓的高反膨胀现象。
本申请实施例的目的之一在于:提供了处理激光雷达点云的方法、装置、设备及存储介质,以解决现有技术中无法准确判断高反膨胀现象形成的伪点云的技术问题。
第一方面,本申请实施例提供了一种处理激光雷达点云的方法,包括:
获取激光雷达探测的点云数据;
判断所述点云数据中是否包含高反物体;
当判断结果为所述点云数据中包含所述高反物体时,根据预设判别条件以及所述点云数据中每个点对应的位置信息和反射率,确定所述点云数据中的伪点云。
第二方面,本申请实施例提供了一种处理激光雷达点云的装置,包括:
获取单元,用于获取激光雷达探测的点云数据;
判断单元,用于判断所述点云数据中是否包含高反物体;
确定单元,用于当判断结果为所述点云数据中包含所述高反物体时,根据预设判别条件以及所述点云数据中每个点对应的位置信息和反射率,确定所述点云数据中的伪点云。
第三方面,本申请实施例提供了一种处理激光雷达点云的设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如上述第一方面所述的处理激光雷达点云的方法的步骤。
第四方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质可以是非易失性,也可以是易失性,计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面所述的处理激光雷达点云的方法的步骤。
第五方面,本申请实施例的提供了一种计算机程序产品,当计算机程序产品在处理激光雷达点云的设备上运行时,使得该设备执行上述第一方面所述的处理激光雷达点云的方法的步骤。
本申请实施例与现有技术相比存在的有益效果是:获取激光雷达探测的点云数据;判断点云数据中是否包含高反物体;当判断结果为点云数据中包含高反物体时,根据预设判别条件以及点云数据中每个点对应的位置信息和反射率,确定点云数据中的伪点云。基于预设判别条件以及每个点对应的位置信息和反射率,可以准确地确定高反物体对应的点云数据中的伪点云,进而可以准确地剔除这些伪点云,这样有助于提高点云的质量,进而提升了激光雷达测量的准确性。
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一示例性实施例提供的一种处理激光雷达点云的方法的示意性流程图;
图2是本申请一示例性实施例示出的另一种处理激光雷达点云的方法的示意性流程图;
图3是本申请一示例性实施例示出的一种处理激光雷达点云的方法的步骤S203的具体流程图;
图4是本申请一示例性实施例示出的点云位置及方向示意图;
图5a和图5b是本申请实施例提供的一种场景下的点云数据效果图;
图6a和图6b是本申请实施例提供的另一种场景下的点云数据效果图;
图7a和图7b是本申请实施例提供的又一种场景下的点云数据效果图;
图8a和图8b是本申请实施例提供的再一种场景下的点云数据效果图;
图9a和图9b是本申请实施例提供的又一种场景下的点云数据效果图;
图10是本申请一实施例提供的一种处理激光雷达点云的装置的示意图;
图11是本申请另一实施例提供的处理激光雷达点云的设备的示意图。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。
激光雷达是一种用激光器作为发射光源,采用光电探测技术手段的主动遥感设备,是激光技术与现代光电探测技术结合的先进探测方式。由发射***、接收***、扫描控制***、数据处理***等部分组成。其工作原理是向目标发射探测信号(激光),然后将接收到的回波信号进行处理,就可获得目标的距离、大小、速度、反射率等信息。其优点是分辨率高、灵敏度高、抗干扰能力强、不受黑暗条件影响等。因此,激光雷达广泛应用于自动驾驶、物流车、机器人、车路协同、公共智慧交通等领域。
然而,激光雷达光束并非理想,其光斑具有一定的面积。激光雷达在探测目标背景中存在高反物体(高反射率物体)时,会出现测量不准确的问题。例如,激光雷达发射至高反物体上的光斑的漫反射信号会影响接收到的回波信号,导致高反物体周围点云轮廓向四周扩散,形成伪点云(反射率低的虚假点云),影响点云的质量,对激光雷达的检测造成误差,影响测距的准确性,这也就是所谓的高反膨胀现象。
现有技术中无法准确辨别高反膨胀现象,若不对高反高反膨胀现象进行处理,这些伪点云会形成虚假目标物体,严重激光雷达检测结果的准确性。现有技术中有时会通过对高反物体附近的点云做过度剔除,这样会导致真实物体的点云也会被误剔除,还是影响了激光雷达检测结果的准确性。因此,急需一种确定激光雷达点云中伪点云的方法。
有鉴于此,本申请提供了一种处理激光雷达点云的方法,通过获取激光雷达探测的点云数据;判断点云数据中是否包含高反物体;当判断结果为点云数据中包含高反物体时,根据预设判别条件以及点云数据中每个点对应的位置信息和反射率,确定点云数据中的伪点云。基于预设判别条件以及每个点对应的位置信息和反射率,可以准确有效地确定高反物体对应的点云数据中的伪点云,进而可以准确地剔除这些伪点云,这样有助于提高点云的质量,进而提升了激光雷达测量的准确性,确保点云图像的稳定性。
请参见图1,图1是本申请一示例性实施例提供的一种处理激光雷达点云的方法的示意性流程图。本申请提供的处理激光雷达点云的方法的执行主体为处理激光雷达点云的设备,其中,该设备包括但不限于智能手机、平板电脑、计算机、个人数字助理(Personal Digital Assistant,PDA)、台式电脑等移动终端,还可以包括各种类型的服务器。例如,服务器可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务。
本申请实施例对处理激光雷达点云的设备的具体类型不做任何限制。如图1所示的处理激光雷达点云的方法可包括:S101~S103,具体如下:
S101:获取激光雷达探测的点云数据。
示例性地,本实施例中的激光雷达由探测感知***、数据处理***等部分组成;其中,当激光雷达包括光学扫描件时,该激光雷达的探测感知***包括发射***、接收***、扫描控制***、发射接收控制***。包括光学扫描件的激光雷达例如可以为机械式激光雷达、微型电子机械***(Micro-Electro Mechanical System,MEMS)激光雷达、或带有转镜扫描的激光雷达。其中,机械式激光雷达的扫描控制***包括机械转动控制***;MEMS激光雷达的扫描控制***包括MEMS振镜控制***;转镜扫描激光雷达包括转镜扫描控制***。当激光雷达不包括光学扫描件时,例如Flash激光雷达,该激光雷达的探测感知***包括发射***、接收***、发射接收控制***。其中,所述数据处理***是对接收***得到的数据进行处理从而输出点云数据的***,其中所述数据处理***可以集成在激光雷达内部,也可以在激光雷达外部,在此不做限制。
其中,可以理解的是,所述激光雷达的探测感知***与所述数据处理***进行通信连接。
其中,所述发射***包括激光发射器,所述接收***包括光电探测器。
其中,激光发射器作为光源发射探测信号至被测物体,光电探测器接收被测物体反射回来的回波信号,从而数据处理***可以根据回波信号和探测信号来得到被测目标对应的点云数据。
例如,激光发射器作为光源发射光束至待测物体,光电探测器接收待测物体反射回来的回波信号,从而可以根据回波信号和探测信号来得到待测物体对应的各数据点,即可采集得到待测物体所对应的激光雷达点云。
值得说明的是,若是处理激光雷达点云的设备集成有激光雷达等扫描装置,则可直接通过处理激光雷达点云的设备控制激光雷达等扫描装置采集待测物体对应的点云数据。若是处理激光雷达点云的设备与激光雷达等扫描装置相连接,则激光雷达探测待测物体得到点云数据后,将点云数据发送至处理激光雷达点云的设备。此处仅为示例性说明,对此不做限定。
S102:判断点云数据中是否包含高反物体。
示例性地,在获取激光雷达探测的点云数据中,包括了每个点对应的位置信息和反射率。其中,每个点对应的位置信息可以包括每个点的坐标。例如,以激光雷达的安装位置作为原点,将该点的偏移量通过坐标表示。
将点云数据中每个点的反射率与第一反射率阈值进行比较,根据比较结果判断点云数据中是否包含高反物体。
可选地,在一种可能的实现方式中,上述S102可包括S1021~S1024,具体如下:
S1021:确定点云数据中每个点的反射率。
在获取激光雷达探测的点云数据中,包括了每个点对应的反射率。因此,当获取到激光雷达探测的点云数据时,可提取点云数据中每个点的反射率。
S1022:判断反射率大于第一反射率阈值的点的数量。
将点云数据中每个点对应的反射率与第一反射率阈值进行比较,得到的比较结果为该点的反射率大于第一反射率阈值,或该点的反射率小于或等于第一反射率阈值。
根据点云数据中每个点对应的比较结果,统计点云数据中反射率大于第一反射率阈值的点的数量。
S1023:当检测到数量达到预设数量阈值时,判断结果为点云数据中包含高反物体。
预设数量阈值可由用户根据实际情况进行设置、调整,对此不做限定。检测点云数据中反射率大于第一反射率阈值的点的数量,是否达到预设数量阈值。当检测到数量达到预设数量阈值时,证明点云数据中包含高反物体对应的点云数据,将判断结果记为点云数据中包含高反物体。
S1024:当检测到数量未达到预设数量阈值时,判断结果为点云数据中未包含高反物体。
当检测到数量未达到预设数量阈值时,证明点云数据中未包含高反物体对应的点云数据,将判断结果记为点云数据中未包含高反物体。
值得说明的是,本实施方式中的S1023与S1024并列,并非在S1023后执行S1024,根据不同场景选择执行S1023或S1024,对此不做限定。
S103:当判断结果为点云数据中包含高反物体时,根据预设判别条件以及点云数据中每个点对应 的位置信息和反射率,确定点云数据中的伪点云。
示例性地,当判断结果为点云数据中包含高反物体时,遍历点云数据中的每个点,根据每个点对应的位置信息和反射率,判断每个点是否满足预设判别条件。针对点云数据中的每个点,当检测到该点满足预设判别条件时,判定该点为伪点云;当检测到该点不满足预设判别条件时,判定该点不属于伪点云。
上述实施方式中,通过获取激光雷达探测的点云数据;判断点云数据中是否包含高反物体;当判断结果为点云数据中包含高反物体时,根据预设判别条件以及点云数据中每个点对应的位置信息和反射率,确定点云数据中的伪点云。基于预设判别条件以及每个点对应的位置信息和反射率,可以准确地确定高反物体对应的点云数据中的伪点云,进而可以准确地剔除这些伪点云,这样有助于提高点云的质量,进而提升了激光雷达测量的准确性,确保点云图像的稳定性。
可选地,在一种可能的实现方式中,在S103之后,本申请提供的处理激光雷达点云的方法,还可包括:剔除点云数据中的伪点云。
示例性地,当判定某个点属于伪点云时,对该点进行删除操作,即从点云数据中将该点剔除。可选地,可以是每判定一点属于伪点云时,便直接在点云数据中剔除该点。
也可以是,每判定一点属于伪点云时,对该点进行标记,即将该点标记为伪点云,若判定结果为该点不属于伪点云,则不进行标记。当对点云数据中的所有点都处理完成后,将所有标记为伪点云的点统一剔除。具体地,在标记时记录每个属于伪点云的点的坐标,根据点的坐标在点云数据中查找到每个伪点云,并统一剔除。此处仅为示例性说明,对此不做限定。
上述实施方式中,将点云数据中的伪点云剔除,使点云数据中剩余的点都是有效点,基于有效点进行测量可以提升激光雷达测量的准确性,没有了伪点云的干扰,有助于提高点云的质量,确保了点云图像的稳定性。
请参见图2,图2是本申请一示例性实施例示出的另一种处理激光雷达点云的方法的示意性流程图,在本申请一些可能的实现方式中,如图2所示的另一种处理激光雷达点云的方法可包括:S201~S205。值得说明的是,本实施例中的S201~S202、S205与图1对应的实施例中的S101~S102、S103相同,可参考图1对应的实施例中的S101~S102、S103的描述,此处不再赘述。S203~S204具体如下:
S203:根据点云数据中每个点对应的位置信息和反射率,确定判别信息。
示例性地,判别信息用于辅助生成预设判别条件,预设判别条件用于判别点云数据中的各个点是否属于伪点云。判别信息可以包括若干个数量值和若干个判别子条件。其中,每个数量值以及每个判别子条件都是根据点云数据中每个点对应的位置信息和反射率确定的。
S204:基于判别信息,生成预设判别条件。
示例性地,可基于预设规则,对若干个数量值和若干个判别子条件进行任意组合,生成预设判别条件。预设判别条件可以包括多个预设判别子条件,例如,基于预设规则,对若干个数量值和若干个判别子条件进行任意组合时,每一种组合结果对应一个预设判别子条件。基于预设规则,对若干个数量值和若干个判别子条件进行多种组合,得到对应的多个预设判别子条件。
请参见图3,图3是本申请一示例性实施例示出的一种处理激光雷达点云的方法的步骤S203的具体流程图;可选地,在本申请一些可能的实现方式中,上述S203可包括S2031~S2037,具体如下:
S2031:确定点云数据中的目标点对应的邻域。
示例性地,目标点表示点云数据中的任意一点。例如,在处理过程中,可以根据预设顺序对点云数据中的每个点进行处理,当前每个被处理的点即为目标点。邻域为对该目标点进行数据分析的区域。
示例性地,依次对点云数据中的每个点进行滑动遍历,以目标点为例,选取目标点预设范围的二维窗口作为数据分析区域,即作为该目标点对应的邻域。其中,预设范围可根据实际情况进行设定,对此不做限定。例如,本示例中可选取目标点周围L*L(例如,11*11)的二维窗口作为数据分析区域,即作为该目标点对应的邻域。其中,一个L表示横方向的窗口长度,另一个L表示纵方向的窗口长度。
可选地,在确定目标点对应的邻域时,可将目标点作为中心,选取目标点周围L*L的二维窗口作为该目标点对应的邻域。也可将目标点作为左上角、左下角、右上角、右下角等位置的点,并基于此选取目标点周围L*L的二维窗口作为该目标点对应的邻域。此处仅为示例性说明,对此不做限定。
可选地,若检测到伪点云所对应的区域大于预设区域,可选择间隔跳跃选取目标点的方法扩大邻域覆盖范围,单次处理数据量还是L*L。例如,预先对高反物体可能产生的伪点云对应的区域进行初步判断,若判定伪点云对应的区域大于预设区域,则选择间隔跳跃选取目标点的方法扩大邻域覆盖范围,同时,也可以加快对点云数据的处理速度。
可选地,横纵方向窗口长度也可以选择不一致,例如,选取目标点周围L*H的二维窗口作为数据分析区域。其中,L可以表示横方向的窗口长度,H可以表示纵方向的窗口长度;也可以是H表示横方向的窗口长度,L表示纵方向的窗口长度。可选地,对目标点的处理也可以为一维操作,可根据实际情况进行调整。此处仅为示例性说明,对此不做限定。
S2032:当检测到目标点对应的反射率大于或等于第一反射率阈值时,确定邻域中的高反影响点的第一数量值。
示例性地,判别信息包括第一数量值、第二数量值、第三数量值、第四数量值、第五数量值、第六数量值以及第七数量值。其中,第一数量值用于表示目标点对应的邻域中高反影响点的数量。
可选地,在一种可能的实现方式中,高反影响点包括反射率大于或等于第一反射率阈值的目标点对应的邻域中的所有点。示例性地,获取目标点对应的反射率,将目标点对应的反射率与第一反射率阈值进行比较,当比较结果为目标点对应的反射率大于或等于第一反射率阈值时,获取该目标点对应的邻域中的点,这些点即为高反影响点。统计这些高反影响点的数量,将这些高反影响点的数量记为第一数量值。
可选地,在一种可能的实现方式中,高反影响点包括该目标点对应的邻域中反射率大于或等于预设值的所有点。示例性地,获取目标点对应的反射率,将目标点对应的反射率与第一反射率阈值进行比较,当比较结果为目标点对应的反射率大于或等于第一反射率阈值时,获取该目标点对应的邻域中的点,判断邻域中的点是否大于或等于预设值,若邻域中的点大于或等于预设值,将该点记为高反影响点。对邻域中的每个点都进行判断,统计被记为高反影响点的数量,将这些高反影响点的数量记为第一数量值。其中,第一反射率阈值和预设值均可根据实际情况进行设置,对此不做限定。
S2033:当检测到目标点对应的反射率小于第二反射率阈值时,确定邻域中反射率大于或等于第一反射率阈值的点的第二数量值,并确定邻域中反射率小于第二反射率阈值的点的第三数量值。
第二数量值用于表示当目标点对应的反射率小于第二反射率阈值时,目标点对应的邻域中反射率大于或等于第一反射率阈值的点的数量。
示例性地,获取目标点对应的反射率,将目标点对应的反射率与第二反射率阈值进行比较,当比较结果为目标点对应的反射率小于第二反射率阈值时,遍历该目标点对应的邻域中的每个点,将每个点对应的反射率与第一反射率阈值比较,得到比较结果。根据比较结果获取该目标点对应的邻域中反射率大于或等于第一反射率阈值的点,统计这些点的数量,将这些点的数量记为第二数量值。可选地,还可记录这些点的位置信息。
第三数量值用于表示当目标点对应的反射率小于第二反射率阈值时,目标点对应的邻域中反射率小于第二反射率阈值的点的数量。
示例性地,获取目标点对应的反射率,将目标点对应的反射率与第二反射率阈值进行比较,当比较结果为目标点对应的反射率小于第二反射率阈值时,遍历该目标点对应的邻域中的每个点,将每个点对应的反射率与第二反射率阈值比较,得到比较结果。根据比较结果获取该目标点对应的邻域中反射率小于第二反射率阈值的点,统计这些点的数量,将这些点的数量记为第三数量值。
可选地,当检测到目标点对应的反射率小于第二反射率阈值时,确定邻域中反射率大于或等于第一反射率阈值的点,并记录这些点的位置信息。当检测到目标点对应的反射率小于第二反射率阈值时,确定邻域中反射率小于第二反射率阈值的点,并记录这些点的位置信息。其中,第一反射率阈值与第二反射率阈值并不相同,可根据实际情况进行设置,对此不做限定。
S2034:根据获取的邻域中反射率大于或等于第一反射率阈值的点的位置信息以及目标点的位置信息,确定第四数量值。
示例性地,预先记录目标点对应的邻域中反射率大于或等于第一反射率阈值的点的位置信息,该位置信息可以包括该点对应的坐标。获取目标点对应的邻域中反射率大于或等于第一反射率阈值的点的位置信息,以及获取目标点对应的位置信息。
第四数量值用于表示目标点对应的邻域中,第一绝对值小于第一距离阈值的点的数量。
示例性地,根据获取的邻域中反射率大于或等于第一反射率阈值的点的位置信息以及目标点的位置信息,确定邻域中反射率大于或等于第一反射率阈值的点与目标点的距离差的第一绝对值;确定第一绝对值小于第一距离阈值的点对应的第四数量值。
第一绝对值表示邻域中反射率大于或等于第一反射率阈值的点与目标点的距离差的绝对值。值得说明的是,当目标点对应的邻域中反射率大于或等于第一反射率阈值的点有多个时,第一绝对值也对应有多个,每个第一绝对值用于表示邻域中反射率大于或等于第一反射率阈值的一个点与目标点的距离差的绝对值。
具体地,针对目标点对应的邻域中反射率大于或等于第一反射率阈值的每个点,获取该点的坐标,以及获取目标点的坐标,可计算出该点到目标点的距离差的第一绝对值。将第一绝对值与第一距离阈值进行比较,得到比较结果。统计比较结果为第一绝对值小于第一距离阈值的点的数量,将这些点的数量记为第四数量值。
可选地,在一种可能的实现方式中,也可以将第四数量值初始化为0,针对目标点对应的邻域中反射率大于或等于第一反射率阈值的每个点,将该点对应的第一绝对值与第一距离阈值进行比较时,若比较结果为第一绝对值小于第一距离阈值,将第四数量值增1,直至目标点对应的邻域中所有的点处理完成。
S2035:获取关于邻域中反射率大于或等于第一反射率阈值的点中心对称的对称点,并根据对称点以及目标点的位置信息,确定第五数量值。
第五数量值用于表示目标点对应的邻域中,第二绝对值大于第二距离阈值的点的数量。
获取目标点邻域中反射率大于或等于第一反射率阈值的点的坐标,以及目标点的坐标,根据这些坐标确定关于邻域中反射率大于或等于第一反射率阈值的点中心对称的对称点。获取对称点的位置信息;根据对称点的位置信息以及目标点的位置信息,确定对称点与目标点的距离差的第二绝对值;确定第二绝对值大于第二距离阈值的点对应的第五数量值。
第二绝对值表示对称点与目标点的距离差的绝对值。值得说明的是,当目标点对应的邻域中反射率大于或等于第一反射率阈值的点有多个时,对称点也有多个,相应地,第二绝对值也对应有多个,每个第二绝对值用于表示邻域中一个对称点与目标点的距离差的绝对值。
具体地,针对目标点对应的邻域中反射率大于或等于第一反射率阈值的每个点,获取该点的坐标,以及获取目标点的坐标,可计算出该点关于目标点中心对称的对称点,获取对称点的坐标。根据目标点的坐标以及对称点的坐标,可计算出对称点到目标点的距离差的第二绝对值。将第二绝对值与第二距离阈值进行比较,得到比较结果。统计比较结果为第二绝对值大于第二距离阈值的点的数量,将这些点的数量记为第五数量值。
可选地,在一种可能的实现方式中,也可以将第五数量值初始化为0,针对确定的每个对称点,将该对称点对应的第二绝对值与第二距离阈值进行比较时,若比较结果为第二绝对值大于第二距离阈值,将第五数量值增1,直至目标点对应的邻域中所有的点处理完成。
S2036:根据获取的邻域中反射率小于第二反射率阈值的点的位置信息以及目标点的位置信息,确定第六数量值。
第六数量值用于表示目标点对应的邻域中,第三绝对值小于第一距离阈值的点的数量。
示例性地,根据获取的目标点对应的邻域中反射率小于第二反射率阈值的点的位置信息以及目标点的位置信息,确定邻域中反射率小于第二反射率阈值的点与目标点的距离差的第三绝对值;确定第三绝对值小于第一距离阈值的点对应的第六数量值。
第三绝对值表示邻域中反射率小于第二反射率阈值的点与目标点的距离差的绝对值。值得说明的是,当目标点对应的邻域中反射率小于第二反射率阈值的点有多个时,第三绝对值也对应有多个,每个第三绝对值用于表示邻域中反射率小于第二反射率阈值的一个点与目标点的距离差的绝对值。
具体地,针对目标点对应的邻域中反射率小于第二反射率阈值的每个点,获取该点的坐标,以及获取目标点的坐标,可计算出该点到目标点的距离差的第三绝对值。将第三绝对值与第一距离阈值进行比较,得到比较结果。统计比较结果为第三绝对值小于第一距离阈值的点的数量,将这些点的数量记为第六数量值。
可选地,在一种可能的实现方式中,也可以将第六数量值初始化为0,针对目标点对应的邻域中反射率小于第二反射率阈值的每个点,将该点对应的第三绝对值与第一距离阈值进行比较时,若比较结果为第三绝对值小于第一距离阈值,将第六数量值增1,直至目标点对应的邻域中所有的点处理完成。
其中,第一距离阈值与第二距离阈值可以相同,也可以不相同,可根据实际情况进行设置,对此不做限定。
S2037:根据获取的邻域中反射率大于或等于第一反射率阈值的点的位置信息,确定邻域中满足第一预设距离条件的点对应的第七数量值。
第一预设距离条件可以包括距离目标点最近、到目标点的距离最短等。这里的距离指二维空间的坐标距离,非真实三维点云空间欧式距离。
示例性地,获取目标点对应的邻域中反射率大于或等于第一反射率阈值的点的位置信息,根据这些点的位置信息在这些点中查找距离目标点最近的点,将最近的点与目标点相连,获取连线上的点的位置信息。根据连线上的点的位置信息,确定连线上的每个点到目标点之间的距离差的第四绝对值。将第四绝对值与第二距离阈值比较,得到比较结果。统计比较结果为第四绝对值大于第二距离阈值的点的数量,将这些点的数量记为第七数量值。
可选地,在一种可能的实现方式中,也可以将第七数量值初始化为0,针对连线上的每个点,将该点对应的第四绝对值与第二距离阈值进行比较时,若比较结果为第四绝对值大于第二距离阈值,将第七数量值增1,直至连线上所有的点处理完成。
上述实现方式中,通过不同的方式确定了多个数量值,这些数量值有助于后续确定预设判别条件,进而根据预设判别条件准确地辨别伪点云。
可选地,在本申请一些可能的实现方式中,判别信息还可包括第一判别子条件和第二判别子条件。其中,第一判别子条件包括:检测第六数量值对应的点在预设方向上是否呈单调变化。
示例性地,第六数量值对应的点即为第三绝对值小于第一距离阈值的点,第三绝对值为邻域中反射率小于第二反射率阈值的点与目标点的距离差的绝对值。预设方向可以包括水平方向、垂直方向等。单调变化可以包括单调递增和单调递减。
针对目标点对应的邻域中第六数量值对应的每个点,获取邻域中该点在水平方向上的所有点,判断该点在水平方向上是否单调递增,或单调递减。同理,针对目标点对应的邻域中第六数量值对应的每个点,获取邻域中该点在垂直方向上的所有点,判断该点在垂直方向上是否单调递增,或单调递减。
可选地,可为每个点设置递增值和递减值。当某个点在预设方向上单调递增时,可将该点对应的递增值记为1,递减值记为0。当某个点在预设方向上单调递减时,可将该点对应的递增值记为0,递减值记为1。当某个但在预设方向上非单调时,可将该点对应的递增值以及递减值均记为0。
第二判别子条件包括:检测目标点对应的邻域中满足第二预设距离条件的点是否有对应的高反路径。
第二预设距离条件包括邻域中的点与目标点的距离差的第五绝对值小于第一距离阈值。高反路径指满足第二预设距离条件的点在第二预设方向上有条路径,该路径上的点均被标记。第二预设方向由用户自定义,示例性地,第二预设方向可以包括以目标点为中心任意角度方向,例如以目标点为中心的0度方向、45度方向、90度方向、135度方向、180度方向、225度方向、270度方向、315度方向等。
示例性地,确定目标点对应的邻域中的每个点与目标点的距离差的第五绝对值,将第五绝对值与第一距离阈值比较,得到比较结果。将比较结果为第五绝对值小于第一距离阈值的点进行标记。例如, 将第五绝对值小于第一距离阈值的点标记为1。对目标点对应的邻域中的每个点都进行上述处理,直至目标点对应的邻域中的点处理完成。
若检测到在第二预设方向上有条路径上的点均被标记为1,则确定该条路径上的点都有对应的高反路径,同时也确定目标点有对应的高反路径。
可选地,还可记录目标点对应的邻域内各边界点与目标点的距离差的绝对值,以及各边界点对应的反射率。请参见图4,图4是本申请一示例性实施例示出的点云位置及方向示意图。如图4所示,U、RU、R、RD、D、LD、L、LU分别表示不同方向。其中,U表示正上方向即0度方向,RU表示右上方向即45度方向,R表示正右方向即90度方向,RD表示右下方向即135度方向,D表示正下方向即180度方向,LD表示左下方向即225度方向,L表示正左方向即270度方向,LU表示左上方向即315度方向。方格最中心的点表示目标点,其余黑点表示该目标点对应的邻域的各边界点。
值得说明的是,此处仅为示例性说明,也可以通过逆时针的方向确定不同角度的方向,对此不做限定。
可选地,在本申请一些可能的实现方式中,基于预设规则,对第一数量值、第二数量值、第三数量值、第四数量值、第五数量值、第六数量值、第七数量值、第一判别子条件以及第二判别子条件进行任意组合,生成预设判别条件。
示例性地,预设判别条件可以包括多个预设判别子条件。预设规则可以包括:第二数量值大于或等于第一统计阈值、第四数量值大于或等于第二统计阈值、第三数量值大于或等于第三统计阈值,第五数量值大于或等于第四统计阈值。
基于预设规则,对第一数量值、第二数量值、第三数量值、第四数量值、第五数量值、第六数量值、第七数量值、第一判别子条件以及第二判别子条件进行组合,生成第一预设判别子条件。
第一预设判别子条件包括:第二数量值大于或等于第一统计阈值,且第四数量值大于或等于第二统计阈值,且第三数量值大于或等于第三统计阈值,且第五数量值大于或等于第四统计阈值,且第六数量值所对应的点在预设方向上呈单调变化,且有对应的高反路径。
其中,第一统计阈值、第二统计阈值、第三统计阈值以及第四统计阈值均可根据实际情况设置、调整。第一统计阈值、第二统计阈值、第三统计阈值以及第四统计阈值可以相同,也可以不同。例如,第一统计阈值可以为3,第二统计阈值、第三统计阈值、第四统计阈值均可以为2。此处仅为示例性说明,对此不做限定。
示例性地,在实际辨别伪点云的过程中,根据每个待测点对应的位置信息和反射率,确定每个待测点对应的第一数量值、第二数量值、第三数量值、第四数量值、第五数量值、第六数量值、第七数量值,确定方式参考上述S2031~S2037中的步骤,此处不再赘述。检测点云数据中的每个待测点是否满足第一预设判别子条件,当检测到任一待测点满足第一预设判别子条件时,判定该待测点为伪点云。值得说明的是,待测点与上述的目标点一致,只是为了区分场景,实际对待测点的处理过程、顺序等均与上述目标点的一致。
可选地,生成的第二预设判别子条件可以包括:正左方向、或左上方向、或左下方向上至少存在一点与目标点的距离值的绝对值小于第一距离阈值(例如0.1m、0.2m等),且正左方向、或左上方向、或左下方向上至少存在的这一点对应的反射率大于或等于第一反射率阈值(例如70%、80%、90%等),且关于中心对称的正右方向、或右下方向、或右上方向上至少存在一点与目标点的距离值的绝对值大于第二距离阈值(例如1m、1.5m等),且待测点对应的第六数量值所对应的点在预设方向上呈单调递减,且待测点对应的第七数量值为0。
可选地,生成的第三预设判别子条件可以包括:正右方向、或右上方向、或右下方向上至少存在一点与目标点的距离值的绝对值小于第一距离阈值,且正右方向、或右上方向、或右下方向上至少存在的这一点对应的反射率大于或等于第一反射率阈值,且关于中心对称的正左方向、或左下方向、或左上方向上至少存在一点与目标点的距离值的绝对值大于第二距离阈值,且待测点对应的第六数量值所对应的点在预设方向上呈单调递增,且待测点对应的第七数量值为0。
可选地,生成的第四预设判别子条件可以包括:正上方向、或左上方向、或右上方向上至少存在 一点与目标点的距离值的绝对值小于第一距离阈值,且正上方向、或左上方向、或右上方向上至少存在的这一点对应的反射率大于或等于第一反射率阈值,且关于中心对称的正下方向、或右下方向、或左下方向上至少存在一点与目标点的距离值的绝对值大于第二距离阈值,且待测点对应的第六数量值所对应的点在预设方向上呈单调递减,且待测点对应的第七数量值为0。
可选地,生成的第五预设判别子条件可以包括:正下方向、或右下方向、或左下方向上至少存在一点与目标点的距离值的绝对值小于第一距离阈值,且正下方向、或右下方向、或左下方向上至少存在的这一点对应的反射率大于或等于第一反射率阈值,且关于中心对称的正上方向、或左上方向、或右上方向上至少存在一点与目标点的距离值的绝对值大于第二距离阈值,且待测点对应的第六数量值所对应的点在预设方向上呈单调递增,且待测点对应的第七数量值为0。
可选地,生成的第六预设判别子条件可以包括:第一数量值大于或等于第五统计阈值(例如10、20、30等),且附近已进行过处理的点中伪点云的个数大于或等于第六统计阈值(例如3、5、8等),且待测点的距离与周围伪点云的平均距离之差的绝对值小于第一距离阈值,且第六数量值大于或等于第七统计阈值(例如2、3、4等),且待测点对应的第六数量值所对应的点在预设方向上呈单调变化,且待测点对应的第七数量值为0。此处仅为示例性说明,对第五统计阈值、第六统计阈值以及第七统计阈值均不作限定。
可选地,生成的第七预设判别子条件可以包括:第一数量值大于或等于第五统计阈值,且附近已进行过处理的点中伪点云的个数大于或等于第六统计阈值,且待测点的距离与周围伪点云的平均距离之差的绝对值小于第一距离阈值,且正左方向、或左上方向、或左下方向上至少存在一点与目标点的距离值的绝对值小于第一距离阈值,且关于中心对称的正右方向、或右下方向、或右上方向上至少存在一点与目标点的距离值的绝对值大于第二距离阈值,且待测点对应的第六数量值所对应的点在预设方向上呈单调递减。
可选地,生成的第八预设判别子条件可以包括:第一数量值大于或等于第五统计阈值,且附近已进行过处理的点中伪点云的个数大于或等于第六统计阈值,且待测点的距离与周围伪点云的平均距离之差的绝对值小于第一距离阈值,且正右方向、或右上方向、或右下方向上至少存在一点与目标点的距离值的绝对值小于第一距离阈值,且关于中心对称的正左方向、或左下方向、或左上方向上至少存在一点与目标点的距离值的绝对值大于第二距离阈值,且待测点对应的第六数量值所对应的点在预设方向上呈单调递增。
可选地,生成的第九预设判别子条件可以包括:第一数量值大于或等于第五统计阈值,且附近已进行过处理的点中伪点云的个数大于或等于第六统计阈值,且待测点的距离与周围伪点云的平均距离之差的绝对值小于第一距离阈值,且正上方向、或左上方向、或右上方向上至少存在一点与目标点的距离值的绝对值小于第一距离阈值,且关于中心对称的正下方向、或右下方向、或左下方向上至少存在一点与目标点的距离值的绝对值大于第二距离阈值,且待测点对应的第六数量值所对应的点在预设方向上呈单调递减。
可选地,生成的第十预设判别子条件可以包括:第一数量值大于或等于第五统计阈值,且附近已进行过处理的点中伪点云的个数大于或等于第六统计阈值,且待测点的距离与周围伪点云的平均距离之差的绝对值小于第一距离阈值,且正下方向、或右下方向、或左下方向上至少存在一点与目标点的距离值的绝对值小于第一距离阈值,且关于中心对称的正上方向、或左上方向、或右上方向上至少存在一点与目标点的距离值的绝对值大于第二距离阈值,且待测点对应的第六数量值所对应的点在预设方向上呈单调递增。
可选地,生成的第十一预设判别子条件可以包括:第一数量值大于或等于第五统计阈值,且附近已进行过处理的点中伪点云的个数大于或等于第六统计阈值,且待测点的距离与周围伪点云的平均距离之差的绝对值小于第一距离阈值,且正左方向、或左上方向、或左下方向上至少存在一点与目标点的距离值的绝对值小于第一距离阈值,且正左方向、或左上方向、或左下方向上至少存在的这一点对应的反射率大于或等于第一反射率阈值,且待测点对应的第六数量值所对应的点在预设方向上呈单调递减。
可选地,生成的第十二预设判别子条件可以包括:第一数量值大于或等于第五统计阈值,且附近 已进行过处理的点中伪点云的个数大于或等于第六统计阈值,且待测点的距离与周围伪点云的平均距离之差的绝对值小于第一距离阈值,且正右方向、或右上方向、或右下方向上至少存在一点与目标点的距离值的绝对值小于第一距离阈值,且正右方向、或右上方向、或右下方向上至少存在的这一点对应的反射率大于或等于第一反射率阈值,且待测点对应的第六数量值所对应的点在预设方向上呈单调递增。
可选地,生成的第十三预设判别子条件可以包括:第一数量值大于或等于第五统计阈值,且附近已进行过处理的点中伪点云的个数大于或等于第六统计阈值,且待测点的距离与周围伪点云的平均距离之差的绝对值小于第一距离阈值,且正上方向、或左上方向、或右上方向上至少存在一点与目标点的距离值的绝对值小于第一距离阈值,且正上方向、或左上方向、或右上方向上至少存在的这一点对应的反射率大于或等于第一反射率阈值,且待测点对应的第六数量值所对应的点在预设方向上呈单调递减。
可选地,生成的第十四预设判别子条件可以包括:第一数量值大于或等于第五统计阈值,且附近已进行过处理的点中伪点云的个数大于或等于第六统计阈值,且待测点的距离与周围伪点云的平均距离之差的绝对值小于第一距离阈值,且正下方向、或右下方向、或左下方向上至少存在一点与目标点的距离值的绝对值小于第一距离阈值,且正下方向、或右下方向、或左下方向上至少存在的这一点对应的反射率大于或等于第一反射率阈值,且待测点对应的第六数量值所对应的点在预设方向上呈单调递增。
可选地,生成的第十五预设判别子条件可以包括:若待测点有对应的高反路径,且正左方向、或左上方向、或左下方向上至少存在一点与目标点的距离值的绝对值小于第一距离阈值,且正左方向、或左上方向、或左下方向上至少存在的这一点对应的反射率大于或等于第一反射率阈值,且待测点对应的第六数量值所对应的点在预设方向上呈单调递减。
可选地,生成的第十六预设判别子条件可以包括:若待测点有对应的高反路径,且正右方向、或右上方向、或右下方向上至少存在一点与目标点的距离值的绝对值小于第一距离阈值,且正右方向、或右上方向、或右下方向上至少存在的这一点对应的反射率大于或等于第一反射率阈值,且待测点对应的第六数量值所对应的点在预设方向上呈单调递增。
可选地,生成的第十七预设判别子条件可以包括:若待测点有对应的高反路径,且正上方向、或左上方向、或右上方向上至少存在一点与目标点的距离值的绝对值小于第一距离阈值,且正上方向、或左上方向、或右上方向上至少存在的这一点对应的反射率大于或等于第一反射率阈值,且待测点对应的第六数量值所对应的点在预设方向上呈单调递减。
可选地,生成的第十八预设判别子条件可以包括:若待测点有对应的高反路径,且正下方向、或右下方向、或左下方向上至少存在一点与目标点的距离值的绝对值小于第一距离阈值,且正下方向、或右下方向、或左下方向上至少存在的这一点对应的反射率大于或等于第一反射率阈值,且待测点对应的第六数量值所对应的点在预设方向上呈单调递增。
值得说明的是,上述各个预设判别子条件只是其中的一部分,实际组合生成的预设判别子条件远远多于上述的各个预设判别子条件。可根据实际场景对各个预设判别子条件进行重新组合、调整。例如,当遇到边界情况时,可根据相应的邻域对应修改各个预设判别子条件的组合。
示例性地,在实际辨别伪点云的过程中,检测点云数据中的每个待测点是否满足上述任一预设判别子条件,当检测到任一待测点满足任一预设判别子条件时,判定该待测点为伪点云。
上述实施方式中,确定了多种不同的预设判别条件,适用于多种不同场景下伪点云的判断,根据这些不同的预设判别条件可准确地辨别出高反物体对应的点云数据中的伪点云,进而可以准确地剔除这些伪点云,这样有助于提高点云的质量,进而提升了激光雷达测量的准确性,提升激光雷达测距的精度,确保点云图像的稳定性。
示例性地,为了更直观地表现本申请提供的处理激光雷达点云的方法,在实际应用中的效果,本申请提供了不同场景下剔除伪点云后的点云数据效果图。图5a和图5b是本申请实施例提供的一种场景下的点云数据效果图。图5a为剔除伪点云前的高反板的点云数据效果图,图5b为剔除伪点云后的高反板的点云数据效果图,可明显的看出在箭头指向的区域的伪点云已成功剔除。
图6a和图6b是本申请实施例提供的另一种场景下的点云数据效果图。图6a为剔除伪点云前的高反牌的点云数据效果图,图6b为剔除伪点云后的高反牌的点云数据效果图,可明显的看出在箭头指向 的区域的伪点云已成功剔除。
图7a和图7b是本申请实施例提供的又一种场景下的点云数据效果图。图7a和图7b展示的是非高反膨胀下高反物体旁边的低反射物体误判测试(例如,在高反牌上方放置一个低反物体),图7a为剔除伪点云前的点云数据效果图,图7b为剔除伪点云后的点云数据效果图,可明显的看出箭头指向的区域的点云数据未被剔除,可见并未将低反射物体的点云数据误判为伪点云。
图8a和图8b是本申请实施例提供的再一种场景下的点云数据效果图。图8a和图8b展示的是两个高反物体间放置一个低反射物体的误判测试,图8a为剔除伪点云前的点云数据效果图,图8b为剔除伪点云后的点云数据效果图,可明显的看出箭头指向的区域的点云数据未被剔除,可见并未将低反射物体的点云数据误判为伪点云,将低反射物体的点云数据很好的保留。
图9a和图9b是本申请实施例提供的又一种场景下的点云数据效果图。图9a和图9b展示的是高反路牌的伪点云测试,9a为剔除伪点云前的点云数据效果图,图9b为剔除伪点云后的点云数据效果,可明显的看出在箭头指向的区域的伪点云(高反路牌周围的伪点云)已成功剔除,但是与高反路牌相连的立杆对应的点云并未被剔除。
本申请提供的处理激光雷达点云的方法,在上述不同的场景应用中,均展现了很好的效果,准确地辨别了高反物体对应的点云数据中的伪点云,保留了低反射物体对应的点云数据,提高了点云的质量,提升了激光雷达测量的准确性,确保点云图像的稳定性。
可选地,在一种可能的实现方式中,在获取激光雷达探测的点云数据之前,本申请提供的处理激光雷达点云的方法还包括:在待测物体中确定高反物体。
示例性地,可获取待测物体对应的点云数据,根据点云数据中每个点对应的反射率确定该待测物体是否为高反物体。
具体地,预先获取待测物体对应的点云数据,以及待测物体对应的点云数据中每个点对应的反射率;确定待测物体对应的点云数据中反射率大于或等于预设阈值的点在预设区域内的占比;当检测到预设区域内的占比满足预设条件时,判定待测物体为高反物体。
例如,针对每个待测物体,预先获取待测物体对应的点云数据,获取点云数据的方式可以参考S101中获取点云数据的方式,此处不再赘述。在获取的点云数据中,包括了每个点对应的反射率,统计点云数据中反射率大于预设阈值的点的数量,以及预设区域内所有点的数量。根据点云数据中反射率大于预设阈值的点的数量以及预设区域内所有点的数量,计算点云数据中反射率大于或等于预设阈值的点在预设区域内的占比,检测到点云数据中反射率大于预设阈值的点在预设区域内的占比满足预设条件时,判定待测物体为高反物体。预设条件可以为具体的占比值,也可以是一个占比范围,预设条件与预设阈值均可根据实际情况进行设置、调整,对此不做限定。
在上述实施方式中,预先确定高反物体,排除了低反射物体的干扰,有助于后续更准确地确定高反物体对应的点云数据中的伪点云,进而可以准确地剔除这些伪点云,这样有助于提高点云的质量,进而提升了激光雷达测量的准确性,确保点云图像的稳定性。
请参见图10,图10是本申请一实施例提供的一种处理激光雷达点云的装置的示意图。该装置包括的各单元用于执行图1~图3对应的实施例中的各步骤。具体请参阅图1~图3各自对应的实施例中的相关描述。为了便于说明,仅示出了与本实施例相关的部分。参见图10,包括:
获取单元310,用于获取激光雷达探测的点云数据;
判断单元320,用于判断所述点云数据中是否包含高反物体;
确定单元330,用于当判断结果为所述点云数据中包含所述高反物体时,根据预设判别条件以及所述点云数据中每个点对应的位置信息和反射率,确定所述点云数据中的伪点云。
可选地,所述装置还包括:
剔除单元,用于剔除所述点云数据中的伪点云。
可选地,所述装置还包括:
判别信息确定单元,用于根据所述点云数据中每个点对应的位置信息和反射率,确定判别信息;
生成单元,用于基于所述判别信息,生成所述预设判别条件。
可选地,所述判别信息包括第一数量值、第二数量值、第三数量值、第四数量值、第五数量值、第六数量值以及第七数量,所述判别信息确定单元具体用于:
确定所述点云数据中的目标点对应的邻域;
当检测到所述目标点对应的反射率大于或等于第一反射率阈值时,确定所述邻域中的高反影响点的第一数量值;
当检测到所述目标点对应的反射率小于第二反射率阈值时,确定所述邻域中反射率大于或等于所述第一反射率阈值的点的第二数量值,并确定所述邻域中反射率小于所述第二反射率阈值的点的第三数量值;
根据获取的所述邻域中反射率大于或等于所述第一反射率阈值的点的位置信息以及所述目标点的位置信息,确定第四数量值;
获取关于所述邻域中反射率大于或等于所述第一反射率阈值的点中心对称的对称点,并根据所述对称点以及所述目标点的位置信息,确定第五数量值;
根据获取的所述邻域中反射率小于所述第二反射率阈值的点的位置信息以及所述目标点的位置信息,确定第六数量值;
根据获取的所述邻域中反射率大于或等于所述第一反射率阈值的点的位置信息,确定所述邻域中满足第一预设距离条件的点对应的第七数量值。
可选地,所述判别信息确定单元还用于:
根据获取的所述邻域中反射率大于或等于所述第一反射率阈值的点的位置信息以及所述目标点的位置信息,确定所述邻域中反射率大于或等于所述第一反射率阈值的点与所述目标点的距离差的第一绝对值;
确定所述第一绝对值小于第一距离阈值的点的数量对应的所述第四数量值。
可选地,所述判别信息确定单元还用于:
获取所述对称点的位置信息;
根据所述对称点的位置信息以及所述目标点的位置信息,确定所述对称点与所述目标点的距离差的第二绝对值;
确定所述第二绝对值大于第二距离阈值的点的数量对应的所述第五数量值。
可选地,所述判别信息确定单元还用于:
根据获取的所述邻域中反射率小于所述第二反射率阈值的点的位置信息以及所述目标点的位置信息,确定所述邻域中反射率小于所述第二反射率阈值的点与所述目标点的距离差的第三绝对值;
确定所述第三绝对值小于所述第一距离阈值的点的数量对应的所述第六数量值。
可选地,所述判别信息还包括第一判别子条件和第二判别子条件,所述第一判别子条件包括:检测所述第六数量值对应的点在预设方向上是否呈单调变化;所述第二判别子条件包括:检测所述邻域中满足第二预设距离条件的点是否有对应的高反路径。
可选地,所述生成单元具体用于:
基于预设规则,对所述第一数量值、所述第二数量值、所述第三数量值、所述第四数量值、所述第五数量值、所述第六数量值、所述第七数量值、所述第一判别子条件以及所述第二判别子条件进行任意组合,生成所述预设判别条件。
可选地,所述判断单元320具体用于:
确定所述点云数据中每个点的反射率;
判断所述反射率大于所述第一反射率阈值的点的数量;
当检测到所述数量达到预设数量阈值时,判断结果为所述点云数据中包含所述高反物体;
或,当检测到所述数量未达到所述预设数量阈值时,判断结果为所述点云数据中未包含所述高反物体。
可选地,所述装置还包括:
高反物体确定单元,用于在待测物体中确定所述高反物体。
可选地,所述高反物体确定单具体用于:
预先获取所述待测物体对应的点云数据,以及所述待测物体对应的点云数据中每个点对应的反射率;
确定所述待测物体对应的点云数据中反射率大于或等于预设阈值的点在预设区域内的占比;
当检测到所述预设区域内的占比满足预设条件时,判定所述待测物体为所述高反物体。
可选地,所述确定单元330具体用于:
根据每个所述点对应的位置信息和反射率,判断每个所述点是否满足所述预设判别条件;
当检测到所述点云数据中的任一点满足所述预设判别条件时,判定所述任一点为所述伪点云。
请参见图11,图11是本申请另一实施例提供的处理激光雷达点云的设备的示意图。如图11所示,该实施例的设备4包括:处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机程序42。所述处理器40执行所述计算机程序42时实现上述各个处理激光雷达点云的方法实施例中的步骤,例如图1所示的S101至S103。或者,所述处理器40执行所述计算机程序42时实现上述各实施例中各单元的功能,例如图10所示单元310至330功能。
示例性地,所述计算机程序42可以被分割成一个或多个单元,所述一个或者多个单元被存储在所述存储器41中,并由所述处理器40执行,以完成本申请。所述一个或多个单元可以是能够完成特定功能的一系列计算机指令段,该指令段用于描述所述计算机程序42在所述设备4中的执行过程。例如,所述计算机程序42可以被分割为第一获取单元、第二获取单元以及确定单元,各单元具体功能如上所述。
所述设备可包括,但不仅限于,处理器40、存储器41。本领域技术人员可以理解,图11仅仅是设备4的示例,并不构成对设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器40可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41可以是所述设备的内部存储单元,例如设备的硬盘或内存。所述存储器41也可以是所述设备的外部存储终端,例如所述设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器41还可以既包括所述设备的内部存储单元也包括外部存储终端。所述存储器41用于存储所述计算机指令以及所述终端所需的其他程序和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机存储介质,计算机存储介质可以是非易失性,也可以是易失性,该计算机存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述各个处理激光雷达点云的方法实施例中的步骤。
本申请还提供了一种计算机程序产品,当计算机程序产品在设备上运行时,使得该设备执行上述各个处理激光雷达点云的方法实施例中的步骤。
本申请实施例还提供了一种芯片或者集成电路,该芯片或者集成电路包括:处理器,用于从存储器中调用并运行计算机程序,使得安装有该芯片或者集成电路的设备执行上述各个处理激光雷达点云的方法实施例中的步骤。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。 上述***中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神范围,均应包含在本申请的保护范围之内。
Claims (19)
- 一种处理激光雷达点云的方法,其中,包括:获取激光雷达探测的点云数据;判断所述点云数据中是否包含高反物体;当判断结果为所述点云数据中包含所述高反物体时,根据预设判别条件以及所述点云数据中每个点对应的位置信息和反射率,确定所述点云数据中的伪点云。
- 如权利要求1所述的方法,其中,所述根据预设判别条件以及每个所述点对应的位置信息和反射率,确定所述点云数据中的伪点云之前,所述方法还包括:根据所述点云数据中每个点对应的位置信息和反射率,确定判别信息;基于所述判别信息,生成所述预设判别条件。
- 如权利要求2所述的方法,其中,所述判别信息包括第一数量值、第二数量值、第三数量值、第四数量值、第五数量值、第六数量值以及第七数量值,所述根据所述点云数据中每个点对应的位置信息和反射率,确定判别信息,包括:确定所述点云数据中的目标点对应的邻域;当检测到所述目标点对应的反射率大于或等于第一反射率阈值时,确定所述邻域中的高反影响点的第一数量值;当检测到所述目标点对应的反射率小于第二反射率阈值时,确定所述邻域中反射率大于或等于所述第一反射率阈值的点的第二数量值,并确定所述邻域中反射率小于所述第二反射率阈值的点的第三数量值;根据获取的所述邻域中反射率大于或等于所述第一反射率阈值的点的位置信息以及所述目标点的位置信息,确定第四数量值;获取关于所述邻域中反射率大于或等于所述第一反射率阈值的点中心对称的对称点,并根据所述对称点以及所述目标点的位置信息,确定第五数量值;根据获取的所述邻域中反射率小于所述第二反射率阈值的点的位置信息以及所述目标点的位置信息,确定第六数量值;根据获取的所述邻域中反射率大于或等于所述第一反射率阈值的点的位置信息,确定所述邻域中满足第一预设距离条件的点对应的第七数量值。
- 如权利要求3所述的方法,其中,所述根据获取的所述邻域中反射率大于或等于所述第一反射率阈值的点的位置信息以及所述目标点的位置信息,确定第四数量值,包括:根据获取的所述邻域中反射率大于或等于所述第一反射率阈值的点的位置信息以及所述目标点的位置信息,确定所述邻域中反射率大于或等于所述第一反射率阈值的点与所述目标点的距离差的第一绝对值;确定所述第一绝对值小于第一距离阈值的点的数量对应的所述第四数量值。
- 如权利要求3所述的方法,其中,所述获取关于所述邻域中反射率大于或等于所述第一反射率阈值的点中心对称的对称点,并根据所述对称点以及所述目标点的位置信息,确定第五数量值,包括:获取所述对称点的位置信息;根据所述对称点的位置信息以及所述目标点的位置信息,确定所述对称点与所述目标点的距离差的第二绝对值;确定所述第二绝对值大于第二距离阈值的点的数量对应的所述第五数量值。
- 如权利要求4所述的方法,其中,所述根据获取的所述邻域中反射率小于所述第二反射率阈值的点的位置信息以及所述目标点的位置信息,确定第六数量值,包括:根据获取的所述邻域中反射率小于所述第二反射率阈值的点的位置信息以及所述目标点的位置信息,确定所述邻域中反射率小于所述第二反射率阈值的点与所述目标点的距离差的第三绝对值;确定所述第三绝对值小于所述第一距离阈值的点的数量对应的所述第六数量值。
- 如权利要求3所述的方法,其中,所述判别信息还包括第一判别子条件和第二判别子条件,所述第一判别子条件包括:检测所述第六数量值对应的点在预设方向上是否呈单调变化;所述第二判别子条件包括:检测所述邻域中满足第二预设距离条件的点是否有对应的高反路径。
- 如权利要求7所述的方法,其中,所述基于所述判别信息,生成所述预设判别条件,包括:基于预设规则,对所述第一数量值、所述第二数量值、所述第三数量值、所述第四数量值、所述第五数量值、所述第六数量值、所述第七数量值、所述第一判别子条件以及所述第二判别子条件进行任意组合,生成所述预设判别条件。
- 如权利要求3所述的方法,其中,所述判断所述点云数据中是否包含高反物体,包括:确定所述点云数据中每个点的反射率;判断所述反射率大于所述第一反射率阈值的点的数量;当检测到所述数量达到预设数量阈值时,判断结果为所述点云数据中包含所述高反物体;或,当检测到所述数量未达到所述预设数量阈值时,判断结果为所述点云数据中未包含所述高反物体。
- 如权利要求1所述的方法,其中,所述获取激光雷达探测的点云数据之前,所述方法还包括:在待测物体中确定所述高反物体。
- 如权利要求10所述的方法,其中,所述在待测物体中确定所述高反物体,包括:预先获取所述待测物体对应的点云数据,以及所述待测物体对应的点云数据中每个点对应的反射率;确定所述待测物体对应的点云数据中反射率大于或等于预设阈值的点在预设区域内的占比;当检测到所述预设区域内的占比满足预设条件时,判定所述待测物体为所述高反物体。
- 如权利要求1所述的方法,其中,所述当判断结果为所述点云数据中包含所述高反物体时,根据预设判别条件以及所述点云数据中每个点对应的位置信息和反射率,确定所述点云数据中的伪点云,包括:当判断结果为所述点云数据中包含所述高反物体时,根据每个所述点对应的位置信息和反射率,判断每个所述点是否满足所述预设判别条件;当检测到所述点云数据中的任一点满足所述预设判别条件时,判定所述任一点为所述伪点云。
- 一种处理激光雷达点云的装置,其中,包括:获取单元,用于获取激光雷达探测的点云数据;判断单元,用于判断所述点云数据中是否包含高反物体;确定单元,用于当判断结果为所述点云数据中包含所述高反物体时,根据预设判别条件以及所述点云数据中每个点对应的位置信息和反射率,确定所述点云数据中的伪点云。
- 一种处理激光雷达点云的设备,其中,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现:获取激光雷达探测的点云数据;判断所述点云数据中是否包含高反物体;当判断结果为所述点云数据中包含所述高反物体时,根据预设判别条件以及所述点云数据中每个点对应的位置信息和反射率,确定所述点云数据中的伪点云。
- 如权利要求14所述的设备,其中,所述处理器执行所述计算机程序时还实现:根据所述点云数据中每个点对应的位置信息和反射率,确定判别信息;基于所述判别信息,生成所述预设判别条件。
- 如权利要求15所述的设备,其中,所述判别信息包括第一数量值、第二数量值、第三数量值、第四数量值、第五数量值、第六数量值以及第七数量值,所述处理器执行所述计算机程序时还实现:确定所述点云数据中的目标点对应的邻域;当检测到所述目标点对应的反射率大于或等于第一反射率阈值时,确定所述邻域中的高反影响点的第一数量值;当检测到所述目标点对应的反射率小于第二反射率阈值时,确定所述邻域中反射率大于或等于所述第一反射率阈值的点的第二数量值,并确定所述邻域中反射率小于所述第二反射率阈值的点的第三数量值;根据获取的所述邻域中反射率大于或等于所述第一反射率阈值的点的位置信息以及所述目标点的位置信息,确定第四数量值;获取关于所述邻域中反射率大于或等于所述第一反射率阈值的点中心对称的对称点,并根据所述对称点以及所述目标点的位置信息,确定第五数量值;根据获取的所述邻域中反射率小于所述第二反射率阈值的点的位置信息以及所述目标点的位置信息,确定第六数量值;根据获取的所述邻域中反射率大于或等于所述第一反射率阈值的点的位置信息,确定所述邻域中满足第一预设距离条件的点对应的第七数量值。
- 如权利要求16所述的设备,其中,所述判别信息还包括第一判别子条件和第二判别子条件,所述第一判别子条件包括:检测所述第六数量值对应的点在预设方向上是否呈单调变化;所述第二判别子条件包括:检测所述邻域中满足第二预设距离条件的点是否有对应的高反路径。
- 如权利要求17所述的设备,其中,所述处理器执行所述计算机程序时还实现:基于预设规则,对所述第一数量值、所述第二数量值、所述第三数量值、所述第四数量值、所述第五数量值、所述第六数量值、所述第七数量值、所述第一判别子条件以及所述第二判别子条件进行任意组合,生成所述预设判别条件。
- 一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1至12中任一项所述的方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2021/115071 WO2023024087A1 (zh) | 2021-08-27 | 2021-08-27 | 处理激光雷达点云的方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117751301A true CN117751301A (zh) | 2024-03-22 |
Family
ID=85322387
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180100861.5A Pending CN117751301A (zh) | 2021-08-27 | 2021-08-27 | 处理激光雷达点云的方法、装置、设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN117751301A (zh) |
WO (1) | WO2023024087A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116777903B (zh) * | 2023-08-11 | 2024-01-26 | 北京斯年智驾科技有限公司 | 一种箱门检测方法和*** |
CN116935199B (zh) * | 2023-09-18 | 2023-11-28 | 铁正检测科技有限公司 | 一种公路施工水平度智能检测方法及*** |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019111641A1 (ja) * | 2017-12-06 | 2019-06-13 | 古野電気株式会社 | 降水粒子判別装置、降水粒子判別方法、及び降水粒子判別プログラム |
US11041957B2 (en) * | 2018-06-25 | 2021-06-22 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for mitigating effects of high-reflectivity objects in LiDAR data |
CN109870706A (zh) * | 2019-01-31 | 2019-06-11 | 深兰科技(上海)有限公司 | 一种路面标识的检测方法、装置、设备及介质 |
CN112327308B (zh) * | 2019-07-19 | 2024-07-16 | 浙江菜鸟供应链管理有限公司 | 物体检测方法、装置、***及设备 |
CN110458055B (zh) * | 2019-07-29 | 2021-10-15 | 江苏必得科技股份有限公司 | 一种障碍物检测方法及*** |
CN112912756A (zh) * | 2019-09-17 | 2021-06-04 | 深圳市大疆创新科技有限公司 | 点云滤噪的方法、测距装置、***、存储介质和移动平台 |
CN111832536B (zh) * | 2020-07-27 | 2024-03-12 | 北京经纬恒润科技股份有限公司 | 一种车道线检测方法及装置 |
CN111965625B (zh) * | 2020-08-11 | 2023-02-21 | 上海禾赛科技有限公司 | 用于激光雷达的校正方法及装置、环境感知*** |
CN112147638B (zh) * | 2020-09-21 | 2023-10-20 | 知行汽车科技(苏州)股份有限公司 | 基于激光点云反射强度的地面信息获取方法、装置和*** |
-
2021
- 2021-08-27 CN CN202180100861.5A patent/CN117751301A/zh active Pending
- 2021-08-27 WO PCT/CN2021/115071 patent/WO2023024087A1/zh active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2023024087A1 (zh) | 2023-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110865393A (zh) | 基于激光雷达的定位方法及***、存储介质和处理器 | |
CN117751301A (zh) | 处理激光雷达点云的方法、装置、设备及存储介质 | |
JP2006516728A (ja) | 目標検出方法 | |
US10223793B1 (en) | Laser distance measuring method and system | |
CN110443275B (zh) | 去除噪声的方法、设备及存储介质 | |
CN110058254B (zh) | 脉冲激光测距回波时刻解算方法、***及终端 | |
CN109343037B (zh) | 光探测器安装误差检测装置、方法和终端设备 | |
CN113111513B (zh) | 传感器配置方案确定方法、装置、计算机设备及存储介质 | |
EP3721261B1 (en) | Distance time-of-flight modules | |
AU2018373751A1 (en) | Method and device for ascertaining an installation angle between a roadway on which a vehicle travels and a detection direction of a measurement or radar sensor | |
CN112771575A (zh) | 距离确定方法、可移动平台及计算机可读存储介质 | |
CN114065803A (zh) | 干扰信号识别模型的训练方法、识别方法及装置 | |
CN114966651A (zh) | 可行驶区域检测方法、计算机设备、存储介质及车辆 | |
CN110837077B (zh) | 一种声源位置校验方法及装置 | |
US10782409B2 (en) | Technologies for LIDAR based moving object detection | |
CN115980718B (zh) | 镜头脏污检测方法、装置、电子设备及可读存储介质 | |
CN111766600A (zh) | 一种光子计数激光雷达自适应噪声判断、滤波方法及装置 | |
CN116819561A (zh) | 一种点云数据匹配方法、***、电子设备及存储介质 | |
CN111723797B (zh) | 一种确定三维目标的包围框的方法及*** | |
CN117677862A (zh) | 一种伪像点识别方法、终端设备及计算机可读存储介质 | |
WO2023279225A1 (zh) | 激光雷达的点云处理方法、装置、存储介质及终端设备 | |
KR20220128787A (ko) | 라이다 센서를 이용한 객체 추적 방법 및 장치와, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체 | |
CN116413683A (zh) | 激光雷达及其扫描方法、可读存储介质 | |
CN113052886A (zh) | 一种采用双目原理的双tof相机深度信息获取方法 | |
CN111045026A (zh) | 一种识别充电桩位姿的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |