CN115390051A - 激光雷达标定方法、装置、设备及存储介质 - Google Patents
激光雷达标定方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115390051A CN115390051A CN202211322392.4A CN202211322392A CN115390051A CN 115390051 A CN115390051 A CN 115390051A CN 202211322392 A CN202211322392 A CN 202211322392A CN 115390051 A CN115390051 A CN 115390051A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud data
- target
- source
- source point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明公开了一种激光雷达标定方法、装置、设备及存储介质,属于激光雷达技术领域。本发明通过获取激光雷达的扫描范围,得到偏转角度和激光光束到物体的距离;通过偏转角度和激光光束到物体的距离得到源点云数据和目标点云数据;对源点云数据和目标点云数据进行初次滤波及滑动平均处理,得到目标位置对应的源点云数据和目标点云数据;对目标位置对应的源点云数据和目标点云数据提取关键点,得到源点云关键点集和目标点云关键点集;通过源点云关键点集和目标点云关键点集得到目标位置;通过目标位置进行激光雷达标定,提高标定的效率和准确性。
Description
技术领域
本发明涉及激光雷达技术领域,尤其涉及一种激光雷达标定方法、装置、设备及存储介质。
背景技术
当前,在机器人、无人驾驶、安防监控、智能交通等领域,为了增强设备的感知能力,多种传感器被采用,比如,单目相机、双目相机、热感相机、激光雷达等。在众多传感器中,激光雷达因其能提供精确而且稠密的环境三维信息和反射强度信息,而得到广泛应用。现有的激光雷达标定方式,在标定过程容易受到障碍物的影响,导致标定不够准确。
发明内容
本发明的主要目的在于提供一种激光雷达标定方法、装置、设备及存储介质,旨在解决现有技术激光雷达标定不够准确的技术问题。
为实现上述目的,本发明提供了一种激光雷达标定方法,所述方法包括以下步骤:
获取激光雷达的扫描范围;
基于所述扫描范围发射激光光束对物体进行扫描,得到偏转角度和激光光束到物体的距离;
通过所述偏转角度和所述激光光束到物体的距离得到源点云数据和目标点云数据;
对所述源点云数据和所述目标点云数据进行初次滤波及滑动平均处理,得到目标位置对应的源点云数据和目标点云数据;
对所述目标位置对应的源点云数据和目标点云数据提取关键点,得到源点云关键点集和目标点云关键点集;
通过所述源点云关键点集和所述目标点云关键点集得到目标位置;
通过所述目标位置进行激光雷达标定。
可选地,所述基于所述扫描范围发射激光光束对物体进行扫描,得到激光光束到物体的距离,包括:
获取所述激光光束扫描时的光速、激光光束的周期频率、激光光束的相位信息;
接收发射的激光光束并进行反射,得到反射光束的相位信息;
根据所述激光光束的相位信息和所述反射光束的相位信息得到相位差;
通过所述相位差和所述周期频率计算扫描时间;
通过所述扫描时间和所述光速计算激光光束到物体的距离。
可选地,所述通过所述偏转角度和所述激光光束到物体的距离得到源点云数据和目标点云数据,包括:
通过所述偏转角度及所述激光光束到物体的距离计算反射光束距离及反射角度;
通过所述反射角度得到垂直方向角和水平方向角;
设置激光雷达的校正参数;
通过所述校正参数、所述垂直方向角、所述水平方向角以及所述反射光束距离计算数据点的三维坐标;
根据所述数据点的三维坐标构建源点云数据和目标点云数据。
可选地,所述通过所述校正参数、所述垂直方向角、所述水平方向角以及所述反射光束距离计算数据点的三维坐标,包括:
获取物体距离地面的高度;
通过所述高度、所述反射光束距离、所述垂直方向角以及所述水平方向角计算水平距离;
通过所述高度、所述反射光束距离以及所述水平距离计算垂直方向角余弦值、垂直方向角正弦值、水平方向角余弦值以及水平方向角正弦值;
通过所述垂直方向角余弦值、所述垂直方向角正弦值、所述水平方向角余弦值、所述水平方向角正弦值、所述反射光束距离以及所述校正参数计算数据点的三维坐标。
可选地,所述对所述源点云数据和所述目标点云数据进行初次滤波及滑动平均处理,得到目标位置对应的源点云数据和目标点云数据,包括:
设置滤波半径、预设数量阈值以及所述源点云数据的第一初始点和所述目标点云数据的第二初始点;
基于第一初始点和所述滤波半径得到源点云对应的第一圆形;
基于所述第二初始点和所述滤波半径得到目标点云对应的第二圆形;
将所述第一圆形中的点数量和所述第二圆形中的点数量分别与所述预设数量阈值进行比较;
将所述第一圆形中的点数量小于所述预设数量阈值对应的第一初始点剔除;
将所述第二圆形内的点数量小于所述预设数量阈值对应的第二初始点剔除;
根据剔除结果得到滤波后的源点云数据和滤波后的目标点云数据;
获取滤波系数;
通过所述滤波系数、所述滤波后的源点云数据、所述滤波后的目标点云数据计算,得到目标位置对应的源点云数据和目标点云数据。
可选地,所述通过所述源点云关键点集和所述目标点云关键点集得到目标位置,包括:
通过所述源点云关键点集和目标点云关键点集计算所述源点云关键点集和所述目标点云关键点集的对应点对;
在所述对应点对中选择预设数量的对应点对计算变换矩阵;
基于所述变换矩阵对所述对应点对计算误差;
将所述误差大于预设范围的点对进行剔除;
根据剔除后的对应点对得到目标变换矩阵;
根据所述目标变换矩阵得到初始位置;
对所述初始位置进行优化,得到目标位置。
可选地,所述对所述目标位置对应的源点云数据和目标点云数据提取关键点,得到源点云关键点集和目标点云关键点集,包括:
在地图中检索位于所述扫描范围内的可行驶区域;
将所述可行驶区域作为关键点区域;
基于所述关键点区域得到关键点区域对应的源点云和目标点云;
对所述关键点区域对应的源点云和目标点云进行主成分分析,得到源点云特征值和特征向量及目标点云特征值和特征向量;
根据所述源点云特征值和特征向量及目标点云特征值和特征向量进行关键点提取,得到源点云关键点集和目标点云关键点集。
此外,为实现上述目的,本发明还提出一种激光雷达标定装置,所述激光雷达标定装置包括:
获取模块,用于获取激光雷达的扫描范围;
扫描模块,用于基于所述扫描范围发射激光光束对物体进行扫描,得到偏转角度和激光光束到物体的距离;
所述获取模块,还用于通过所述偏转角度和所述激光光束到物体的距离得到源点云数据和目标点云数据;
处理模块,用于对所述源点云数据和所述目标点云数据进行初次滤波及滑动平均处理,得到目标位置对应的源点云数据和目标点云数据;
提取模块,用于对所述目标位置对应的源点云数据和目标点云数据提取关键点,得到源点云关键点集和目标点云关键点集;
所述获取模块,还用于通过所述源点云关键点集和所述目标点云关键点集得到目标位置;
标定模块,用于通过所述目标位置进行激光雷达标定。
此外,为实现上述目的,本发明还提出一种激光雷达标定设备,所述激光雷达标定设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的激光雷达标定程序,所述激光雷达标定程序配置为实现如上文所述的激光雷达标定方法的步骤。
此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有激光雷达标定程序,所述激光雷达标定程序被处理器执行时实现如上文所述的激光雷达标定方法的步骤。
本发明通过获取激光雷达的扫描范围,得到偏转角度和激光光束到物体的距离;通过偏转角度和激光光束到物体的距离得到源点云数据和目标点云数据;对源点云数据和目标点云数据进行初次滤波及滑动平均处理,得到目标位置对应的源点云数据和目标点云数据;对目标位置对应的源点云数据和目标点云数据提取关键点,得到源点云关键点集和目标点云关键点集;通过所述源点云关键点集和所述目标点云关键点集得到目标位置;通过目标位置进行激光雷达标定,提高标定的效率和准确性。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的激光雷达标定设备的结构示意图;
图2为本发明激光雷达标定方法第一实施例的流程示意图;
图3为本发明激光雷达标定方法一实施例的效果示意图;
图4为本发明激光雷达标定方法第二实施例的流程示意图;
图5为本发明激光雷达标定方法第三实施例的流程示意图;
图6为本发明激光雷达标定方法第四实施例的流程示意图;
图7为本发明激光雷达标定装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的激光雷达标定设备结构示意图。
如图1所示,该激光雷达标定设备可以包括:处理器1001,例如中央处理器(Central Processing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity,Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory,RAM),也可以是稳定的非易失性存储器(Non-Volatile Memory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对激光雷达标定设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及激光雷达标定程序。在图1所示的激光雷达标定设备中,网络接口1004主要用于与网络服务器进行数据通信;用户接口1003主要用于与用户进行数据交互;本发明激光雷达标定设备中的处理器1001、存储器1005可以设置在激光雷达标定设备中,所述激光雷达标定设备通过处理器1001调用存储器1005中存储的激光雷达标定程序,并执行本发明实施例提供的激光雷达标定方法。
本发明实施例提供了一种激光雷达标定方法,参照图2,图2为本发明激光雷达标定方法第一实施例的流程示意图。
本实施例中,所述激光雷达标定方法包括以下步骤:
步骤S10:获取激光雷达的扫描范围。
需要说明的是,本实施例的执行主体为激光雷达标定设备,还可为其它可实现相同或相似的设备,本实施例对此不作限制,本实施例以激光雷达标定设备为例进行说明。
在本实施例中,激光雷达的扫描范围可根据需求自行设置,激光雷达的扫描范围还可根据激光雷达的类型和属性进行确定,例如激光雷达的扫描范围为100m、200m等,本实施例对此不加以限定。
步骤S20:基于所述扫描范围发射激光光束对物体进行扫描,得到偏转角度和激光光束到物体的距离。
在具体实施中,当确定了激光雷达的扫描范围后,可通过激光雷达发射激光光束在具体的扫描范围内对物体进行扫描,在扫描过程中,可通过角度传感器测量激光雷达发射激光光束时的偏转角度,并可计算激光光束到物体的距离,激光光束到物体的距离可根据激光光束发射到物体的时间、光速等计算得到。
步骤S30:通过所述偏转角度和所述激光光束到物体的距离得到源点云数据和目标点云数据。
应理解的是,通过偏转角度可得到激光光束发射到物体时的入射角度,当激光光束发射到物体时,物体会接收发射的激光光束并反射,从而可得到反射角度,并可通过激光光束到物体的距离计算反射光束距离,从而根据反射角度、反射光束距离计算物体上各个点的三维坐标,从而根据各个点得到源点云数据和目标点云数据。需要说明的是,源点云数据指的是低精度的点云数据,目标点云数据指的是相对高精度的点云数据。
步骤S40:对所述源点云数据和所述目标点云数据进行初次滤波及滑动平均处理,得到目标位置对应的源点云数据和目标点云数据。
应理解的是,当得到源点云数据和目标点云数据后,由于采集时激光雷达含有噪声,因此采集得到的数据也会含有噪声,需要对得到的数据进行滤波处理,从而降低噪声并提高数据质量,因此可通过对源点云数据和目标电压数据进行初次滤波以及滑动平均滤波处理,具体滤波方式可为中值滤波、高斯滤波、半径滤波等,本实施例对此不作限制,通过对源点云数据和目标点云数据进行滤波处理以及滑动平均处理得到处理后的源点云数据和目标点云数据,即目标位置对应的源点云数据和目标点云数据。
步骤S50:对所述目标位置对应的源点云数据和目标点云数据提取关键点,得到源点云关键点集和目标点云关键点集。
可以理解的是,关键点是源点云数据和目标点云数据中最稳定的点,可通过关键点提取算法对关键点进行提取,例如尺度不变特征变换算法、内部形状签名算法等,本实施例对此不作限制。
进一步地,对所述目标位置对应的源点云数据和目标点云数据提取关键点,得到源点云关键点集和目标点云关键点集的步骤具体包括:在地图中检索位于所述扫描范围内的可行驶区域;将所述可行驶区域作为关键点区域;基于所述关键点区域得到关键点区域对应的源点云和目标点云;对所述关键点区域对应的源点云和目标点云进行主成分分析,得到源点云特征值和特征向量及目标点云特征值和特征向量;根据所述源点云特征值和特征向量及目标点云特征值和特征向量进行关键点提取,得到源点云关键点集和目标点云关键点集。
需要说明的是,地图可为二维或三维地图,地图反映了当前扫描范围内的各个区域的物体信息,包括路面、植被、包含路口和路面可行驶区域以及不可行驶区域等,通过对地图中当前的扫描范围进行检索遍历,得到扫描范围内的可行驶区域。关键点区域即感兴趣区域,感兴趣区域位于扫描范围内可行驶区域,通过将感兴趣区域作为关键点区域,即可快速确定关键点所在位置,从而得到关键点区域对应的源点云和目标点云。并使用主成分分析法对关键点区域对应的源点云和目标点云进行特征提取,得到源点云特征值和特征向量以及目标点云特征值和特征向量,并根据源点云特征值的大小和目标点云特征值的大小按照特征值递减的顺序把三个对应的特征向量作为X,Y,Z轴,建立局部区域的坐标系,从而确定每个点的法线,获取法线后开始提取关键点,通过关键点提取算法进行关键点的检测,得到源点云关键点集和目标点云关键点集。源点云关键点集指的是源点云关键点的集合,目标点云关键点集指的是目标点云关键点的集合。
步骤S60:通过所述源点云关键点集和目标点云关键点集得到目标位置。
应理解的是,可根据源点云关键点集和目标电压关键点集得到源点云特征向量和关键点云特征向量,从而根据源点云特征向量和关键点云特征向量计算得到关键点的对应点对。通过计算源点云关键点结合和目标点云关键点集合内各个向量之间的相似度就可以找到对应的点,例如通过双向搜索,找到对应关系,并同时剔除多余的关键点,从而得到相互匹配的点,作为源点云关键点集和目标点云关键点集的对应点对。当得到对应点对后,可选取部分对应点对进行采样一致性处理,通过采样一致性算法进行计算,得到物体的目标位置。
进一步地,通过所述源点云关键点集和所述目标点云关键点集得到目标位置的步骤具体包括:在所述对应点对中选择预设数量的对应点对计算变换矩阵;基于所述变换矩阵对所述对应点对计算误差;将所述误差大于预设范围的点对进行剔除;根据剔除后的对应点对得到目标变换矩阵;根据所述目标变换矩阵得到初始位置;对所述初始位置进行优化,得到目标位置。预设数量可根据需求自行设置,例如预设数量为3个、5个等,本实施例对此不加以限定。
在具体实施中,可随机选取预设数量的对应点对计算变换矩阵,并将计算出的变换矩阵带入所有的对应点对,计算误差,预设范围可根据需求设置,例如预设范围为0.3~0.6等,本实施例对此不作限制。
在本实施例中,通过将计算的误差与预设范围进行比较,将误差大于预设范围的点对进行剔除,并返回上述随机选择预设数量的对应点对计算变换矩阵以及根据变换矩阵计算误差的步骤进行迭代,直至计算的误差都小于预设范围或所有的点对都计算完成或达到最大迭代次数,从而得到目标变换矩阵,并根据目标变换矩阵形成源点云和目标点云的初始位置。
具体地,为了进一步提高配准精度,可对初始位置进行优化,可采用优化算法对初始位置进行优化,为了衡量配准结果的准确性,采用误差的衡量标准为最小均方根误差,计算过程如下式1:
式1中,qk为目标点云,pk为源点云,R2为目标变换矩阵,T2为平移向量,k为近邻搜索某一对应点编号,n为近邻搜索对应点数,RMSE越小,误差越小,得到的结果也越准确,从而得到优化后的位置,即目标位置。
步骤S70:通过所述目标位置进行激光雷达标定。
应理解的是,当确定了目标位置后,可通过目标位置进行激光雷达标定,提高标定的准确性和效率。
在具体实施中,当确定目标位置后,可将目标位置中的点云数据进行处理,得到目标位置中的特征点的三维坐标,最后计算出标定参数,通过标定参数进行激光雷达标定,当雷达的位置变化时,可重新获取点云数据并重新计算,对标定参数进行更新,以对位置变化后的激光雷达进行标定。
如图3所示,图3为本实施例激光雷达标定效果图,通过在行驶车辆上安装用于发射激光扫描的激光雷达,从而对周围物体进行标定。
本实施例通过获取激光雷达的扫描范围;基于所述扫描范围发射激光光束对物体进行扫描,得到偏转角度和激光光束到物体的距离;通过所述偏转角度和所述激光光束到物体的距离得到源点云数据和目标点云数据;对所述源点云数据和所述目标点云数据进行初次滤波及滑动平均处理,得到目标位置对应的源点云数据和目标点云数据;对所述目标位置对应的源点云数据和目标点云数据提取关键点,得到源点云关键点集和目标点云关键点集;通过所述源点云关键点集和所述目标点云关键点集得到目标位置;通过所述目标位置进行激光雷达标定,提高标定的效率和准确性。
参考图4,图4为本发明激光雷达标定方法第二实施例的流程示意图。
基于上述第一实施例,本实施例激光雷达标定方法所述步骤S20,具体包括:
步骤S201:获取所述激光光束扫描时的光速、激光光束的周期频率、激光光束的相位信息。
应理解的是,激光光束扫描时的光速可根据激光光束的波长以及频率计算得到,可测量激光光束扫描时的周期频率fm,激光光束的相位信息可通过测量得到。
步骤S202:接收发射的激光光束并进行反射,得到反射光束的相位信息。
当激光光束发射到物体时,物体接收到发射的激光光束会进行反射,可测量反射光束的相位信息。
步骤S203:根据所述激光光束的相位信息和所述反射光束的相位信息得到相位差。
步骤S204:通过所述相位差和所述周期频率计算扫描时间。
需要说明的是,当得到相位差和周期频率后,可根据相位差和周期频率计算扫描时间,计算如下式2:
步骤S205:通过所述扫描时间和所述光速计算激光光束到物体的距离。
在具体实施中,可通过扫描时间和光速计算激光光束到物体的距离,计算如下式3:
式3中,D为激光光束到物体的距离,C为光速,通过上式3计算,可准确得到激光光束到物体的距离。
本实施例通过获取所述激光光束扫描时的光速、激光光束的周期频率、激光光束的相位信息;接收发射的激光光束并进行反射,得到反射光束的相位信息;根据所述激光光束的相位信息和所述反射光束的相位信息得到相位差;通过所述相位差和所述周期频率计算扫描时间;通过所述扫描时间和所述光速计算激光光束到物体的距离,通过考虑光在传输过程中受其他介质的影响,可快速准确的根据扫描时间和光速计算激光光束到物体的距离。
参考图5,图5为本发明激光雷达标定方法第三实施例的流程示意图。
基于上述第一实施例,本实施例激光雷达标定方法所述步骤S30,具体包括:
步骤S301:通过所述偏转角度及所述激光光束到物体的距离计算反射光束距离及反射角度。
应理解的是,当得到偏转角度后,可根据偏转角度得到激光光束发射时发射角度,从而根据发射角度确定反射角度,反射光束距离指的是反射光束到激光雷达的距离,激光光束到物体的距离与反射光束距离相等。
步骤S302:通过所述反射角度得到垂直方向角和水平方向角。
步骤S303:设置激光雷达的校正参数。
应理解的是,当得到反射角度后,根据反射角度、反射光束距离得到垂直方向角水平方向角。应理解的是,由于激光雷达在扫描时,会出现一定的误差,因此可设置激光雷达的校正参数来克服或缩小出现的误差,校正参数的范围为[0,1],可自行设置,例如校正参数为0.3、0.5等,本实施例对此不加以限定。
步骤S304:通过所述校正参数、所述垂直方向角、所述水平方向角以及所述反射光束距离计算数据点的三维坐标。
需要说明的是,当得到校正参数、垂直方向角的角度、水平方向角的角度以及反射光束距离后,可计算物体上各个数据点的三维坐标。
进一步地,计算数据点的三维坐标的步骤具体包括:获取物体距离地面的高度;通过所述高度、所述反射光束距离、所述垂直方向角以及所述水平方向角计算水平距离;通过所述高度、所述反射光束距离以及所述水平距离计算垂直方向角余弦值、垂直方向角正弦值、水平方向角余弦值以及水平方向角正弦值;通过所述垂直方向角余弦值、所述垂直方向角正弦值、所述水平方向角余弦值、所述水平方向角正弦值、所述反射光束距离以及所述校正参数计算数据点的三维坐标。
在具体实施中,可通过传感器测量物体距离地面的高度,并测量激光雷达距离地面的高度,从而得到激光雷达与扫描的物体之间的高度信息。由于反射光束距离已知、垂直方向角和水平方向角已知,可根据三角形的原理计算水平距离,从而可根据水平距离、高度以及反射光束距离计算垂直方向角余弦值、垂直方向角正弦值以及水平方向角余弦值和水平方向角正弦值。
需要说明的是,可根据垂直方向角余弦值、垂直方向角正弦值、水平方向角余弦值、水平方向角正弦值、反射光束距离以及校正参数计算物体上各个数据点的横坐标、纵坐标以及竖坐标,从而得到数据点的三维坐标,坐标计算如下式4:
式4中,x为横坐标,y为纵坐标,z为竖坐标,m为校正参数。
步骤S305:根据所述数据点的三维坐标构建源点云数据和目标点云数据。
点云数据为各个数据点组成得到的,当得到各个数据点的三维坐标后,可根据数据点的三维坐标构建源点云数据和目标点云数据。
本实施例通过所述偏转角度及所述激光光束到物体的距离计算反射光束距离及反射角度;通过所述反射角度得到垂直方向角和水平方向角;设置激光雷达的校正参数;通过所述校正参数、所述垂直方向角、所述水平方向角以及所述反射光束距离计算数据点的三维坐标;根据所述数据点的三维坐标构建源点云数据和目标点云数据,在生成点云数据时,考虑激光雷达的误差,并设置校正参数,从而计算各数据点的三维坐标,从而快速构建源点云数据和目标点云数据。
参考图6,图6为本发明激光雷达标定方法第三实施例的流程示意图。
基于上述第一实施例,本实施例激光雷达标定方法所述步骤S40,具体包括:
步骤S401:设置滤波半径、预设数量阈值以及所述源点云数据的第一初始点和所述目标点云数据的第二初始点。
需要说明的是,滤波半径可为3mm、5mm等,本实施例对此不加以限定,预设数量阈值可为20个、30个等,可根据获取的点云数据进行修改和调整,源点云数据的第一初始点为在源点云数据中随机选择的一点,目标点云数据的第二初始点为在目标点云数据中随机选择的一点。
步骤S402:基于第一初始点和所述滤波半径得到源点云对应的第一圆形。
步骤S403:基于所述第二初始点和所述滤波半径得到目标点云对应的第二圆形。
通过将第一初始点作为圆心,以滤波半径为半径画圆,得到源点云对应的第一圆形。将第二初始点作为圆心,滤波半径为半径画圆,得到目标点云对应的第二圆形。
步骤S404:将所述第一圆形中的点数量和所述第二圆形中的点数量分别与所述预设数量阈值进行比较。
需要说明的是,可统计落在第一圆形中的数据点的数量,并将第一圆形中的数据点的数量与预设数量阈值进行比较,统计落在第二圆形中的数据点的数量,并将第二圆形中的数据点的数量与预设数量阈值进行比较。
步骤S405:将所述第一圆形中的点数量小于所述预设数量阈值对应的第一初始点剔除。
当第一圆形中的点数量小于预设数量阈值时,将第一初始点剔除,当第一圆形中的点数量大于等于预设数量阈值时,将第一初始点保留,并继续选择源点云数据中的数据点作为第一初始点进行计算。
步骤S406:将所述第二圆形内的点数量小于所述预设数量阈值对应的第二初始点剔除。
当第二圆形中点数量小于预设数量阈值时,将第二初始点剔除,当第二圆形中的点数量大于等于预设数量阈值时,将第二初始点保留,并继续选择目标点云数据中的数据点作为第二初始点进行计算。
步骤S407:根据剔除结果得到滤波后的源点云数据和滤波后的目标点云数据。
根据上述的计算和剔除结果,得到滤波后的源点云数据和滤波后的目标点云数据。
步骤S408:获取滤波系数。
滤波系数可为0.3、0.5等,本实施例对此不作限制,通过设置滤波系数,便于对滤波后的源点云数据和滤波后的目标点云数据进行二次滤波,得到目标位置的源点云数据和目标点云数据。
步骤S409:通过所述滤波系数、所述滤波后的源点云数据、所述滤波后的目标点云数据计算,得到目标位置对应的源点云数据和目标点云数据。
需要说明的是,可获取上次滤波的结果,并根据上次滤波的结果和滤波后的目标点云数据值、源点云数据值进行计算,计算如下式5:
式5中,Yn为本次滤波结果,θ为滤波系数,Yn-1为上次滤波结果,Xn为滤波后的源点云数据值或目标点云数据值。
本实施例通过设置滤波半径、预设数量阈值以及所述源点云数据的第一初始点和所述目标点云数据的第二初始点;基于第一初始点和所述滤波半径得到源点云对应的第一圆形;基于所述第二初始点和所述滤波半径得到目标点云对应的第二圆形;将所述第一圆形中的点数量和所述第二圆形中的点数量分别与所述预设数量阈值进行比较;将所述第一圆形中的点数量小于所述预设数量阈值对应的第一初始点剔除;将所述第二圆形内的点数量小于所述预设数量阈值对应的第二初始点剔除;根据剔除结果得到滤波后的源点云数据和滤波后的目标点云数据;获取滤波系数;通过所述滤波系数、所述滤波后的源点云数据、所述滤波后的目标点云数据计算,得到目标位置对应的源点云数据和目标点云数据,可快速对数据点进行滤波处理,得到过滤后的数据。
参照图7,图7为本发明激光雷达标定装置第一实施例的结构框图。
如图7所示,本发明实施例提出的激光雷达标定装置包括:
获取模块10,用于获取激光雷达的扫描范围。
扫描模块20,用于基于所述扫描范围发射激光光束对物体进行扫描,得到偏转角度和激光光束到物体的距离。
所述获取模块10,还用于通过所述偏转角度和所述激光光束到物体的距离得到源点云数据和目标点云数据。
处理模块30,用于对所述源点云数据和所述目标点云数据进行初次滤波及滑动平均处理,得到目标位置对应的源点云数据和目标点云数据。
提取模块40,用于对所述目标位置对应的源点云数据和目标点云数据提取关键点,得到源点云关键点集和目标点云关键点集。
所述获取模块10,还用于通过所述源点云关键点集和所述目标点云关键点集得到目标位置。
标定模块50,用于通过所述目标位置进行激光雷达标定。
本实施例通过获取激光雷达的扫描范围,得到偏转角度和激光光束到物体的距离;通过偏转角度和激光光束到物体的距离得到源点云数据和目标点云数据;对源点云数据和目标点云数据进行初次滤波及滑动平均处理,得到目标位置对应的源点云数据和目标点云数据;对目标位置对应的源点云数据和目标点云数据提取关键点,得到源点云关键点集和目标点云关键点集;通过所述源点云关键点集和所述目标点云关键点集得到目标位置;通过目标位置进行激光雷达标定,提高标定的效率和准确性。
在一实施例中,所述扫描模块20,还用于获取所述激光光束扫描时的光速、激光光束的周期频率、激光光束的相位信息;接收发射的激光光束并进行反射,得到反射光束的相位信息;根据所述激光光束的相位信息和所述反射光束的相位信息得到相位差;通过所述相位差和所述周期频率计算扫描时间;通过所述扫描时间和所述光速计算激光光束到物体的距离。
在一实施例中,所述获取模块10,还用于通过所述偏转角度及所述激光光束到物体的距离计算反射光束距离及反射角度;通过所述反射角度得到垂直方向角和水平方向角;设置激光雷达的校正参数;通过所述校正参数、所述垂直方向角、所述水平方向角以及所述反射光束距离计算数据点的三维坐标;根据所述数据点的三维坐标构建源点云数据和目标点云数据。
在一实施例中,所述获取模块10,还用于获取物体距离地面的高度;通过所述高度、所述反射光束距离、所述垂直方向角以及所述水平方向角计算水平距离;通过所述高度、所述反射光束距离以及所述水平距离计算垂直方向角余弦值、垂直方向角正弦值、水平方向角余弦值以及水平方向角正弦值;通过所述垂直方向角余弦值、所述垂直方向角正弦值、所述水平方向角余弦值、所述水平方向角正弦值、所述反射光束距离以及所述校正参数计算数据点的三维坐标。
在一实施例中,所述处理模块30,还用于设置滤波半径、预设数量阈值以及所述源点云数据的第一初始点和所述目标点云数据的第二初始点;基于第一初始点和所述滤波半径得到源点云对应的第一圆形;基于所述第二初始点和所述滤波半径得到目标点云对应的第二圆形;将所述第一圆形中的点数量和所述第二圆形中的点数量分别与所述预设数量阈值进行比较;将所述第一圆形中的点数量小于所述预设数量阈值对应的第一初始点剔除;将所述第二圆形内的点数量小于所述预设数量阈值对应的第二初始点剔除;根据剔除结果得到滤波后的源点云数据和滤波后的目标点云数据;获取滤波系数;通过所述滤波系数、所述滤波后的源点云数据、所述滤波后的目标点云数据计算,得到目标位置对应的源点云数据和目标点云数据。
在一实施例中,所述处理模块30,还用于通过所述源点云关键点集和目标点云关键点集计算所述源点云关键点集和所述目标点云关键点集的对应点对;在所述对应点对中选择预设数量的对应点对计算变换矩阵;基于所述变换矩阵对所述对应点对计算误差;将所述误差大于预设范围的点对进行剔除;根据剔除后的对应点对得到目标变换矩阵;根据所述目标变换矩阵得到初始位置;对所述初始位置进行优化,得到目标位置。
在一实施例中,所述提取模块40,还用于在地图中检索位于所述扫描范围内的可行驶区域;将所述可行驶区域作为关键点区域;基于所述关键点区域得到关键点区域对应的源点云和目标点云;对所述关键点区域对应的源点云和目标点云进行主成分分析,得到源点云特征值和特征向量及目标点云特征值和特征向量;根据所述源点云特征值和特征向量及目标点云特征值和特征向量进行关键点提取,得到源点云关键点集和目标点云关键点集。
此外,为实现上述目的,本发明还提出一种激光雷达标定设备,所述激光雷达标定设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的激光雷达标定程序,所述激光雷达标定程序配置为实现如上文所述的激光雷达标定方法的步骤。
由于本激光雷达标定设备采用了上述所有实施例的全部技术方案,因此至少具有上述实施例的技术方案所带来的所有有益效果,在此不再一一赘述。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有激光雷达标定程序,所述激光雷达标定程序被处理器执行时实现如上文所述的激光雷达标定方法的步骤。
由于本存储介质采用了上述所有实施例的全部技术方案,因此至少具有上述实施例的技术方案所带来的所有有益效果,在此不再一一赘述。
应当理解的是,以上仅为举例说明,对本发明的技术方案并不构成任何限定,在具体应用中,本领域的技术人员可以根据需要进行设置,本发明对此不做限制。
需要说明的是,以上所描述的工作流程仅仅是示意性的,并不对本发明的保护范围构成限定,在实际应用中,本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的,此处不做限制。
另外,未在本实施例中详尽描述的技术细节,可参见本发明任意实施例所提供的激光雷达标定方法,此处不再赘述。
此外,需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory,ROM)/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种激光雷达标定方法,其特征在于,所述激光雷达标定方法包括:
获取激光雷达的扫描范围;
基于所述扫描范围发射激光光束对物体进行扫描,得到偏转角度和激光光束到物体的距离;
通过所述偏转角度和所述激光光束到物体的距离得到源点云数据和目标点云数据;
对所述源点云数据和所述目标点云数据进行初次滤波及滑动平均处理,得到目标位置对应的源点云数据和目标点云数据;
对所述目标位置对应的源点云数据和目标点云数据提取关键点,得到源点云关键点集和目标点云关键点集;
通过所述源点云关键点集和所述目标点云关键点集得到目标位置;
通过所述目标位置进行激光雷达标定。
2.如权利要求1所述的激光雷达标定方法,其特征在于,所述基于所述扫描范围发射激光光束对物体进行扫描,得到激光光束到物体的距离,包括:
获取所述激光光束扫描时的光速、激光光束的周期频率、激光光束的相位信息;
接收发射的激光光束并进行反射,得到反射光束的相位信息;
根据所述激光光束的相位信息和所述反射光束的相位信息得到相位差;
通过所述相位差和所述周期频率计算扫描时间;
通过所述扫描时间和所述光速计算激光光束到物体的距离。
3.如权利要求1所述的激光雷达标定方法,其特征在于,所述通过所述偏转角度和所述激光光束到物体的距离得到源点云数据和目标点云数据,包括:
通过所述偏转角度及所述激光光束到物体的距离计算反射光束距离及反射角度;
通过所述反射角度得到垂直方向角和水平方向角;
设置激光雷达的校正参数;
通过所述校正参数、所述垂直方向角、所述水平方向角以及所述反射光束距离计算数据点的三维坐标;
根据所述数据点的三维坐标构建源点云数据和目标点云数据。
4.如权利要求3所述的激光雷达标定方法,其特征在于,所述通过所述校正参数、所述垂直方向角、所述水平方向角以及所述反射光束距离计算数据点的三维坐标,包括:
获取物体距离地面的高度;
通过所述高度、所述反射光束距离、所述垂直方向角以及所述水平方向角计算水平距离;
通过所述高度、所述反射光束距离以及所述水平距离计算垂直方向角余弦值、垂直方向角正弦值、水平方向角余弦值以及水平方向角正弦值;
通过所述垂直方向角余弦值、所述垂直方向角正弦值、所述水平方向角余弦值、所述水平方向角正弦值、所述反射光束距离以及所述校正参数计算数据点的三维坐标。
5.如权利要求1所述的激光雷达标定方法,其特征在于,所述对所述源点云数据和所述目标点云数据进行初次滤波及滑动平均处理,得到目标位置对应的源点云数据和目标点云数据,包括:
设置滤波半径、预设数量阈值以及所述源点云数据的第一初始点和所述目标点云数据的第二初始点;
基于第一初始点和所述滤波半径得到源点云对应的第一圆形;
基于所述第二初始点和所述滤波半径得到目标点云对应的第二圆形;
将所述第一圆形中的点数量和所述第二圆形中的点数量分别与所述预设数量阈值进行比较;
将所述第一圆形中的点数量小于所述预设数量阈值对应的第一初始点剔除;
将所述第二圆形内的点数量小于所述预设数量阈值对应的第二初始点剔除;
根据剔除结果得到滤波后的源点云数据和滤波后的目标点云数据;
获取滤波系数;
通过所述滤波系数、所述滤波后的源点云数据、所述滤波后的目标点云数据计算,得到目标位置对应的源点云数据和目标点云数据。
6.如权利要求1所述的激光雷达标定方法,其特征在于,所述通过所述源点云关键点集和所述目标点云关键点集得到目标位置,包括:
通过所述源点云关键点集和目标点云关键点集计算所述源点云关键点集和所述目标点云关键点集的对应点对;
在所述对应点对中选择预设数量的对应点对计算变换矩阵;
基于所述变换矩阵对所述对应点对计算误差;
将所述误差大于预设范围的点对进行剔除;
根据剔除后的对应点对得到目标变换矩阵;
根据所述目标变换矩阵得到初始位置;
对所述初始位置进行优化,得到目标位置。
7.如权利要求1-6中任一项所述的激光雷达标定方法,其特征在于,所述对所述目标位置对应的源点云数据和目标点云数据提取关键点,得到源点云关键点集和目标点云关键点集,包括:
在地图中检索位于所述扫描范围内的可行驶区域;
将所述可行驶区域作为关键点区域;
基于所述关键点区域得到关键点区域对应的源点云和目标点云;
对所述关键点区域对应的源点云和目标点云进行主成分分析,得到源点云特征值和特征向量及目标点云特征值和特征向量;
根据所述源点云特征值和特征向量及目标点云特征值和特征向量进行关键点提取,得到源点云关键点集和目标点云关键点集。
8.一种激光雷达标定装置,其特征在于,所述激光雷达标定装置包括:
获取模块,用于获取激光雷达的扫描范围;
扫描模块,用于基于所述扫描范围发射激光光束对物体进行扫描,得到偏转角度和激光光束到物体的距离;
所述获取模块,还用于通过所述偏转角度和所述激光光束到物体的距离得到源点云数据和目标点云数据;
处理模块,用于对所述源点云数据和所述目标点云数据进行初次滤波及滑动平均处理,得到目标位置对应的源点云数据和目标点云数据;
提取模块,用于对所述目标位置对应的源点云数据和目标点云数据提取关键点,得到源点云关键点集和目标点云关键点集;
所述获取模块,还用于通过所述源点云关键点集和所述目标点云关键点集得到目标位置;
标定模块,用于通过所述目标位置进行激光雷达标定。
9.一种激光雷达标定设备,其特征在于,所述激光雷达标定设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的激光雷达标定程序,所述激光雷达标定程序配置为实现如权利要求1至7中任一项所述的激光雷达标定方法。
10.一种存储介质,其特征在于,所述存储介质上存储有激光雷达标定程序,所述激光雷达标定程序被处理器执行时实现如权利要求1至7中任一项所述的激光雷达标定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211322392.4A CN115390051B (zh) | 2022-10-27 | 2022-10-27 | 激光雷达标定方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211322392.4A CN115390051B (zh) | 2022-10-27 | 2022-10-27 | 激光雷达标定方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115390051A true CN115390051A (zh) | 2022-11-25 |
CN115390051B CN115390051B (zh) | 2023-03-24 |
Family
ID=84128874
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211322392.4A Active CN115390051B (zh) | 2022-10-27 | 2022-10-27 | 激光雷达标定方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115390051B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101859491A (zh) * | 2009-04-10 | 2010-10-13 | 张高军 | 获取移动车辆纵向轮廓图形的方法及其装置 |
CN102650689A (zh) * | 2012-05-17 | 2012-08-29 | 中国路桥工程有限责任公司 | 一种步进频率脉冲雷达位移测量方法 |
CN106226780A (zh) * | 2016-07-26 | 2016-12-14 | 南京航空航天大学 | 基于激光扫描雷达的多旋翼室内定位***及实现方法 |
CN107038717A (zh) * | 2017-04-14 | 2017-08-11 | 东南大学 | 一种基于立体栅格自动分析3d点云配准误差的方法 |
CN108803603A (zh) * | 2018-06-05 | 2018-11-13 | 广州市远能物流自动化设备科技有限公司 | 基于编码图像的agv小车对接定位方法及agv小车 |
CN109242828A (zh) * | 2018-08-13 | 2019-01-18 | 浙江大学 | 基于光栅投影多步相移法的3d打印制品三维缺陷检测方法 |
CN110415259A (zh) * | 2019-07-30 | 2019-11-05 | 南京林业大学 | 一种基于激光反射强度的行道树点云识别方法 |
CN111522023A (zh) * | 2020-05-21 | 2020-08-11 | 东莞市光劲光电有限公司 | 一种应用室内外agv小车的激光定位装置及应用方法 |
CN111553946A (zh) * | 2020-04-17 | 2020-08-18 | 中联重科股份有限公司 | 用于去除地面点云的方法及装置、障碍物检测方法及装置 |
CN112415494A (zh) * | 2020-12-11 | 2021-02-26 | 福勤智能科技(昆山)有限公司 | Agv双激光雷达位置标定方法、装置、设备和存储介质 |
CN113470090A (zh) * | 2021-07-23 | 2021-10-01 | 徐州中欧科技有限公司 | 基于sift-shot特征的多固态激光雷达外参标定方法 |
CN115166758A (zh) * | 2022-06-28 | 2022-10-11 | 乐山山鹰信息技术有限公司 | 利用红外技术和激光雷达的物体空间位置探测装置 |
-
2022
- 2022-10-27 CN CN202211322392.4A patent/CN115390051B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101859491A (zh) * | 2009-04-10 | 2010-10-13 | 张高军 | 获取移动车辆纵向轮廓图形的方法及其装置 |
CN102650689A (zh) * | 2012-05-17 | 2012-08-29 | 中国路桥工程有限责任公司 | 一种步进频率脉冲雷达位移测量方法 |
CN106226780A (zh) * | 2016-07-26 | 2016-12-14 | 南京航空航天大学 | 基于激光扫描雷达的多旋翼室内定位***及实现方法 |
CN107038717A (zh) * | 2017-04-14 | 2017-08-11 | 东南大学 | 一种基于立体栅格自动分析3d点云配准误差的方法 |
CN108803603A (zh) * | 2018-06-05 | 2018-11-13 | 广州市远能物流自动化设备科技有限公司 | 基于编码图像的agv小车对接定位方法及agv小车 |
CN109242828A (zh) * | 2018-08-13 | 2019-01-18 | 浙江大学 | 基于光栅投影多步相移法的3d打印制品三维缺陷检测方法 |
CN110415259A (zh) * | 2019-07-30 | 2019-11-05 | 南京林业大学 | 一种基于激光反射强度的行道树点云识别方法 |
CN111553946A (zh) * | 2020-04-17 | 2020-08-18 | 中联重科股份有限公司 | 用于去除地面点云的方法及装置、障碍物检测方法及装置 |
CN111522023A (zh) * | 2020-05-21 | 2020-08-11 | 东莞市光劲光电有限公司 | 一种应用室内外agv小车的激光定位装置及应用方法 |
CN112415494A (zh) * | 2020-12-11 | 2021-02-26 | 福勤智能科技(昆山)有限公司 | Agv双激光雷达位置标定方法、装置、设备和存储介质 |
CN113470090A (zh) * | 2021-07-23 | 2021-10-01 | 徐州中欧科技有限公司 | 基于sift-shot特征的多固态激光雷达外参标定方法 |
CN115166758A (zh) * | 2022-06-28 | 2022-10-11 | 乐山山鹰信息技术有限公司 | 利用红外技术和激光雷达的物体空间位置探测装置 |
Also Published As
Publication number | Publication date |
---|---|
CN115390051B (zh) | 2023-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107340522B (zh) | 一种激光雷达定位的方法、装置及*** | |
US11030803B2 (en) | Method and apparatus for generating raster map | |
CN108875804B (zh) | 一种基于激光点云数据的数据处理方法和相关装置 | |
CN104574406B (zh) | 一种360度全景激光与多个视觉***间的联合标定方法 | |
CN112513679B (zh) | 一种目标识别的方法和装置 | |
CN108734780B (zh) | 用于生成地图的方法、装置和设备 | |
CN112146848B (zh) | 一种确定摄像头的畸变参数的方法及装置 | |
CN111380510B (zh) | 重定位方法及装置、机器人 | |
CN111913169B (zh) | 激光雷达内参、点云数据的修正方法、设备及存储介质 | |
CN111123242B (zh) | 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质 | |
CN111383261B (zh) | 移动机器人、及其位姿估计方法和位姿估计装置 | |
CN113111513B (zh) | 传感器配置方案确定方法、装置、计算机设备及存储介质 | |
Potó et al. | Laser scanned point clouds to support autonomous vehicles | |
CN114488094A (zh) | 一种车载多线激光雷达与imu外参数自动标定方法及装置 | |
Lalonde et al. | Automatic three-dimensional point cloud processing for forest inventory | |
CN113534110B (zh) | 一种多激光雷达***静态标定方法 | |
CN113777592B (zh) | 方位角标定方法和装置 | |
CN117635842A (zh) | 基于高斯过程回归的三维点云高密度重建方法及相关装置 | |
Wujanz et al. | Survey configuration for terrestrial laser scanning | |
CN115390051B (zh) | 激光雷达标定方法、装置、设备及存储介质 | |
Elkhrachy | Feature extraction of laser scan data based on geometric properties | |
CN109948979B (zh) | 一种库存检测的方法、设备及存储介质 | |
CN116679317A (zh) | 基于高光谱激光雷达的环境建模方法及装置 | |
CN115409861A (zh) | 基于图像处理的激光雷达地面点云分割方法、装置、设备及介质 | |
CN115248443A (zh) | 基于激光雷达的地图构建方法、***、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |