CN112652003B - 一种基于ransac测度优化的三维点云配准方法 - Google Patents
一种基于ransac测度优化的三维点云配准方法 Download PDFInfo
- Publication number
- CN112652003B CN112652003B CN202110016027.XA CN202110016027A CN112652003B CN 112652003 B CN112652003 B CN 112652003B CN 202110016027 A CN202110016027 A CN 202110016027A CN 112652003 B CN112652003 B CN 112652003B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- score
- function
- calculating
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000005457 optimization Methods 0.000 title claims abstract description 14
- 238000011156 evaluation Methods 0.000 claims abstract description 14
- 239000011159 matrix material Substances 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 52
- 238000010801 machine learning Methods 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 7
- 230000005484 gravity Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 2
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 abstract description 10
- 230000000694 effects Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
Abstract
本发明涉及一种基于RANSAC测度优化的三维点云配准方法,包括从数据库中读取点云数据;给点云数据添加噪声;计算点云的匹配集合,获取候选匹配集;对匹配集合进行迭代随机采样,计算场景点云与目标点云之间的位姿矩阵;在时间消耗和RMSE两方面进行评价算法的优劣。本方法计算得出的位姿仍然能使场景点云与目标点云有较高的吻合度和重叠率,抗干扰能力更强。
Description
技术领域
本发明属于计算机视觉领域,具体涉及一种基于随机抽样一致性(RANdom SAmpleConsensus,RANSAC)测度优化的三维点云配准方法。
背景技术
点云是一种由若干离散、无序、无拓扑结构的三维点组成,它能够精确的反映三维物体的真实尺寸和形状结构,且具有抗光照和尺度变化的等优点。随着科技的发展,三维点云配准广泛应用于计算机视觉、计算机图形学、遥感、机器人等领域。具体的,不同视角下的两组点云序列配准可应用于三维目标重建、三维场景重建以及三维数据融合;不同时刻的两组点云序列配准可应用于三维运动物体姿态跟踪;模型-场景点云之间的配准则广泛应用于三维目标检测于识别,如机器人领域的物体抓取与摆放,以及空对地精准目标打击等。现有的基于RANSAC的三维点云配准及其变种算法是一种比较有效的点云配准算法,且这些算法在工业界已有相应的应用。这种算法的主要思想是采用随机抽样一致性算法,迭代的估计出最优的变换位姿,进而实现配准的目的。但是目前的基于RANSAC及其变种的三维点云配准算法都大大小小的存在一些问题,比如算法适应性不强,他们大多只能在某些特定的数据集有比较好的效果;鲁棒性不强,当数据受到噪声干扰,获取的点云分辨率较低,或者点云中存在孔洞和重复模式时,性能就会有明显的下降。因此如果能够在各种复杂情况下都得到一个比较高的配准准确率,将非常有利于提高配准结果的可靠性和稳定性。
发明内容
要解决的技术问题
为了避免现有技术的不足之处,本发明提出一种基于RANSAC测度优化的三维点云配准方法。该方法将机器学习常用的损失函数与传统RANSAC算法相结合,优化现有的评估测度。该方法可以在不同种类的数据集下都得到较高的配准准确率;此外,在数据受到各种干扰,传统RANSAC及其变种算法配准效果特别差甚至不能进行配准的情况下,本方法仍然能有较高的配准率。
技术方案
一种基于RANSAC测度优化的三维点云配准方法,其特征在于步骤如下:
S1:对输入的场景点云和目标点云进行降采样,依据降采样后点云的关键点和描述子,计算场景与目标的匹配集合,再将匹配集合进行排序,筛选出K根候选匹配;
S2:设置初始位姿得分Score和初始迭代次数Iterators;
S3:在候选匹配中随机选取三根匹配,并依此生成假设;
S4:采用优化测度评估生成的假设,评估得分记作Score Iterator;
S5:根据评估得分更新Score,迭代步骤S3和S4,直至迭代次数。
本发明技术方案更进一步的说:所述S1中的K根候选匹配的具体过程包括:
S11:建立三维体素网格,计算每个体素的重心,将体素的重心作为降采样的值;
S12:计算每根匹配在场景点云和目标点云中索引的对应关系:
其中,与/>分别表示场景点云与目标点云中第i和第j个关键点处的描述子,n表示目标点云中关键点的个数;
S13:记场景点云关键点为Ps,目标点云关键点为Pt,依据公式(1)中的对应关系计算两点云之间的匹配集合为C={ci},其中且/>
S14:将匹配集合按照距离从小到大排列,选取较小的K根匹配作为候选匹配集合。
本发明技术方案更进一步的说:S2中初始化参数具体为设置初始得分Score为0,迭代次数Iterators为1000。
本发明技术方案更进一步的说:S3中生成假设的具体步骤包括:
S31:生成3个不同的0到K-1的随机数,作为候选匹配的索引;
S32:根据随机生成的三根匹配,计算场景点云与目标点云之间的位姿
其中,R,t分别表示场景点云与目标点云之间的旋转变化矩阵和平移变化矩阵。
本发明技术方案更进一步的说:S4中评估假设的具体步骤包括:
S41:遍历候选匹配集中每一根匹配,计算每一根匹配中场景点云中的关键点经过位姿R,t变化后的点:
S42:计算场景点云中变换后的关键点到对应目标点云关键点之间的距离:
S43:计算每一根匹配在R,t下的得分:
其中,t是距离阈值;
S44:计算所有匹配在R,t位姿下的得分:
其中n表示匹配的数目。
本发明技术方案更进一步的说:S43中t设置为7.5倍点云分辨率。
本发明技术方案更进一步的说:S43中f函数为6个评估函数,具体如下:
Score MAE,借鉴机器学习回归损失的1范数损失函数,函数的取值范围是0到1,函数如下:
Score MSE,借鉴机器学习回归损失的2范数损失函数,函数的取值范围是0到1,函数如下:
Score LOG-COSH,借鉴机器学习回归损失的Log-COSH损失函数,函数的取值范围是0到1,函数如下:
Score QUANTILE借鉴机器学习回归损失的分位数损失函数,本发明中m取值为0.9,表示距离在阈值内的匹配贡献更大,距离在阈值外的点贡献较小,函数如下:
Score-QUANTILE,借鉴机器学习回归损失的分位数损失函数,本发明中m取值为0.9,与等式(9)不同的是,对距离大于阈值的匹配做惩罚,贡献为负,函数如下:
Score EXP,结合指数函数的性质,选取了下面函数:
有益效果
本发明提出的一种基于RANSAC测度优化的三维点云配准方法,具有以下有益效果:
1、本发明技术方案的方法,时间复杂度低。由于本发明的评估函数性能较好,在进行点云位姿估计时,相比于传统RANSAC算法使用全局点云进行评估,本发明只需要使用源和目标关键点所构成的点云进行评估,大大减少了点云中点的数目,使得后续操作复杂度降低,进而提高了算法的运行速度。
2、本发明技术方案的方法,准确率高。采用本发明的方法,将最终估计出的位姿参数应用到场景点云数据之后,与目标点云的吻合度和重叠率更高,配准精度更高。
3、本发明技术方案的方法,鲁棒性强。对目标点云数据加各种干扰,如高斯噪声、降采样、孔洞等来模拟现实世界中采样数据时可能会发生的各类干扰,之后再对场景点云和目标点云进行位姿估计,本方法计算得出的位姿仍然能使场景点云与目标点云有较高的吻合度和重叠率,对比其它RANSAC及其变种方法,本发明的抗干扰能力更强。
附图说明
图1是本发明技术方案的实施例的流程示意图
图2是目标点云及加干扰后的图;
图3是RANSAC总体流程示意图;
图4是不同视角下点云的配准结果图;
图5是场景点云与目标点云配准结果图。
具体实施方式
现结合实施例、附图对本发明作进一步描述:
本发明技术方案的实施例提供的一种基于RANSAC测度优化的三维点云配准算法,其流程如图1所示,包括从数据库中读取点云数据;给点云数据添加噪声;计算点云的匹配集合,获取候选匹配集;对匹配集合进行迭代随机采样,计算场景点云与目标点云之间的位姿矩阵;在时间消耗和RMSE两方面进行评价算法的优劣。下面结合示例来具体阐述本发明提供的一种基于RANSAC测度优化的三维点云配准算法。
(1)对输入的场景点云和目标点云进行降采样,并对目标点云数据添加不同种类不同等级的干扰。
由于初始获得的点云数据比较密集,点数较多,在本实施例中,为了降低实验中的时间开销,将初始点云进行降采样。具体操作就是建立三维体素网格,计算每个体素的重心,将体素的重心作为降采样的值。
为了验证本发明算法的鲁棒性,需要对目标点云数据加上噪声干扰。如图2所示,是其中一个目标点云数据的原图和加了不同干扰后的图。
(2)计算场景点云和目标点云的匹配集合,获取候选匹配集。获取候选匹配集,首先需要计算点云的关键点、法向量和描述子,本发明使用的是ISS3D关键点,SHOT描述子。计算匹配集合步骤如下:首先计算每根匹配在场景点云和目标点云中索引的对应关系。
其中与/>分别表示机器人场景点云与目标点云中第i和第j个关键点处的描述子,n表示目标点云中关键点的个数;其次,记场景点云关键点为Ps,目标点云关键点为Pt,依据公式(1)中的对应关系计算两点云之间的匹配集合为C={ci},其中/>且/>最后将匹配集合按照距离/>从小到大排列,选取较小的K根匹配作为候选匹配集合。其中K为实验参数,本发明K的值为300。
(3)对匹配集进行RANSAC随机迭代采样,RANSAC的总体流程示意图如图3所示,主要步骤包括:对匹配集进行随机采样;生成假设;评估假设。
(3.1)随机采样。本发明所使用的采样方法是随机采样,每次迭代过程中在匹配集合里随机选取3根匹配,具体操作为生成3个不同的0到K-1的随机数,将其作为候选匹配的索引。
(3.2)生成假设。根据随机生成的三根匹配,计算场景点云与目标点云之间的位姿
其中R,t分别表示场景点云与目标点云之间的旋转变化矩阵和平移变化矩阵。
(3.3)假设评估。假设评估的目的是评估此次位姿的得分,衡量计算出位姿的优劣,具体步骤为:首先遍历候选匹配集中每一根匹配,计算每一根匹配中场景点云中的关键点经过位姿R,t变化后的点
其次计算场景点云中变换后的关键点到对应目标点云关键点之间的距离
之后计算每一根匹配在位姿R,t下的得分
其中t是距离阈值,本发明设置为7.5倍点云分辨率。f函数为本发明所提出的6个评估函数,具体如下。
Score(MAE),借鉴机器学习回归损失的1范数损失函数,函数的取值范围是0到1,函数如下:
Score(MSE),借鉴机器学习回归损失的2范数损失函数,函数的取值范围是0到1,函数如下:
Score(LOG-COSH),借鉴机器学习回归损失的Log-COSH损失函数,函数的取值范围是0到1,函数如下:
Score(QUANTILE)借鉴机器学习回归损失的分位数损失函数,本发明中m取值为0.9,表示距离在阈值内的匹配贡献更大,距离在阈值外的点贡献较小,函数如下:
Score(-QUANTILE),借鉴机器学习回归损失的分位数损失函数,本发明中m取值为0.9,与函数(9)不同的是,对距离大于阈值的匹配做惩罚,贡献为负,函数如下:
Score(EXP),结合指数函数的性质,选取了下面函数,
最后计算所有匹配在R,t位姿下的得分
其中n表示匹配的数目。
(4)评价算法优劣。本发明使用欧几里得距离均方根误差(Root mean squareerror,RMSE)来评价算法的优劣。具体的,
其中N代表场景点云中点的个数,和/>分别代表场景点云在经过计算出的位姿变化后的点云和目标点云中对应的距离最近的三维坐标点。
将本发明算法应用到实际点云配准,效果如图4和图5所示,在不同视角点云配准以及场景和目标之间点云配准的配准精度都很高。
本实施方法可以应用于机器人的配准中。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (3)
1.一种基于RANSAC测度优化的三维点云配准方法,其特征在于步骤如下:
S1:对输入的场景点云和目标点云进行降采样,依据降采样后点云的关键点和描述子,计算场景与目标的匹配集合,再将匹配集合进行排序,筛选出K根候选匹配;
所述K根候选匹配的具体过程包括:
S11:建立三维体素网格,计算每个体素的重心,将体素的重心作为降采样的值;
S12:计算每根匹配在场景点云和目标点云中索引的对应关系:
其中,与/>分别表示场景点云与目标点云中第i和第j个关键点处的描述子,n表示目标点云中关键点的个数;
S13:记场景点云关键点为Ps,目标点云关键点为Pt,依据公式(1)中的对应关系计算两点云之间的匹配集合为C={ci},其中且/>
S14:将匹配集合按照距离从小到大排列,选取较小的K根匹配作为候选匹配集合;
S2:设置初始位姿得分Score和初始迭代次数Iterators;
S3:在候选匹配中随机选取三根匹配,并依此生成假设;
S31:生成3个不同的0到K-1的随机数,作为候选匹配的索引;
S32:根据随机生成的三根匹配,计算场景点云与目标点云之间的位姿
其中,R,t分别表示场景点云与目标点云之间的旋转变化矩阵和平移变化矩阵;
S4:采用优化测度评估生成的假设,评估得分记作Score Iterator;
S41:遍历候选匹配集中每一根匹配,计算每一根匹配中场景点云中的关键点经过位姿R,t变化后的点:
S42:计算场景点云中变换后的关键点到对应目标点云关键点之间的距离:
S43:计算每一根匹配在R,t下的得分:
其中,t是距离阈值,t设置为7.5倍点云分辨率;
S44:计算所有匹配在R,t位姿下的得分:
其中n表示匹配的数目;
S5:根据评估得分更新Score,迭代步骤S3和S4,直至迭代次数。
2.根据权利要求1所述的一种基于RANSAC测度优化的三维点云配准方法,其特征在于S2中初始化参数具体为设置初始得分Score为0,迭代次数Iterators为1000。
3.根据权利要求1所述的一种基于RANSAC测度优化的三维点云配准方法,其特征在于S43中f函数为6个评估函数,具体如下:
Score MAE,借鉴机器学习回归损失的1范数损失函数,函数的取值范围是0到1,函数如下:
Score MSE,借鉴机器学习回归损失的2范数损失函数,函数的取值范围是0到1,函数如下:
Score LOG-COSH,借鉴机器学习回归损失的Log-COSH损失函数,函数的取值范围是0到1,函数如下:
Score QUANTILE借鉴机器学习回归损失的分位数损失函数,本发明中m取值为0.9,表示距离在阈值内的匹配贡献更大,距离在阈值外的点贡献较小,函数如下:
Score-QUANTILE,借鉴机器学习回归损失的分位数损失函数,本发明中m取值为0.9,与等式(9)不同的是,对距离大于阈值的匹配做惩罚,贡献为负,函数如下:
Score EXP,结合指数函数的性质,选取了下面函数:
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011176071 | 2020-10-29 | ||
CN2020111760719 | 2020-10-29 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112652003A CN112652003A (zh) | 2021-04-13 |
CN112652003B true CN112652003B (zh) | 2024-04-12 |
Family
ID=75367796
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110016027.XA Active CN112652003B (zh) | 2020-10-29 | 2021-01-07 | 一种基于ransac测度优化的三维点云配准方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112652003B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113989447A (zh) * | 2021-10-14 | 2022-01-28 | 重庆数字城市科技有限公司 | 一种三维模型室内外一体化构建方法及*** |
CN114332180A (zh) * | 2021-12-29 | 2022-04-12 | 湖北亿咖通科技有限公司 | 一种激光点云配准结果的评估方法、电子设备和存储介质 |
CN114565644B (zh) * | 2022-03-02 | 2023-07-21 | 湖南中科助英智能科技研究院有限公司 | 三维运动目标检测方法、装置和设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106447704A (zh) * | 2016-10-13 | 2017-02-22 | 西北工业大学 | 基于显著区域特征和边缘度的可见光‑红外图像配准方法 |
CN108830902A (zh) * | 2018-04-19 | 2018-11-16 | 江南大学 | 一种基于点云处理的散乱工件识别与定位方法 |
CN109767463A (zh) * | 2019-01-09 | 2019-05-17 | 重庆理工大学 | 一种三维点云自动配准方法 |
CN111080684A (zh) * | 2019-12-12 | 2020-04-28 | 哈尔滨工程大学 | 一种点邻域尺度差异描述的点云配准方法 |
CN111369603A (zh) * | 2020-02-25 | 2020-07-03 | 北京百度网讯科技有限公司 | 点云配准技术的评估方法、装置、电子设备及可读存储介质 |
-
2021
- 2021-01-07 CN CN202110016027.XA patent/CN112652003B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106447704A (zh) * | 2016-10-13 | 2017-02-22 | 西北工业大学 | 基于显著区域特征和边缘度的可见光‑红外图像配准方法 |
CN108830902A (zh) * | 2018-04-19 | 2018-11-16 | 江南大学 | 一种基于点云处理的散乱工件识别与定位方法 |
CN109767463A (zh) * | 2019-01-09 | 2019-05-17 | 重庆理工大学 | 一种三维点云自动配准方法 |
CN111080684A (zh) * | 2019-12-12 | 2020-04-28 | 哈尔滨工程大学 | 一种点邻域尺度差异描述的点云配准方法 |
CN111369603A (zh) * | 2020-02-25 | 2020-07-03 | 北京百度网讯科技有限公司 | 点云配准技术的评估方法、装置、电子设备及可读存储介质 |
Non-Patent Citations (3)
Title |
---|
3D 智能传感器的工件位姿获取方法研究;苏波;《自动化仪表》;20190531;第40卷(第5期);全文 * |
NINTH INTERNATIONAL CONFERENCE ON DIGITAL IMAGE PROCESSING (ICDIP 2017);Yang, Jiaqi;《 NINTH INTERNATIONAL CONFERENCE ON DIGITAL IMAGE PROCESSING (ICDIP 2017)》;20171206;全文 * |
基于RGBD的三维重建***的设计与实现;李康;《中国优秀硕士学位论文全文数据库 信息科技辑》;20181115(第11期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112652003A (zh) | 2021-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112652003B (zh) | 一种基于ransac测度优化的三维点云配准方法 | |
Huang et al. | Registration based few-shot anomaly detection | |
CN105046717B (zh) | 一种鲁棒性的视频目标对象跟踪方法 | |
CN103577793B (zh) | 手势识别方法及装置 | |
CN101398934B (zh) | 对图像中的对象进行定位的方法和*** | |
Zeng et al. | Hand gesture recognition using leap motion via deterministic learning | |
CN101493889B (zh) | 对视频对象进行跟踪的方法及装置 | |
CN108229416B (zh) | 基于语义分割技术的机器人slam方法 | |
JP2010238226A (ja) | 物体を追跡するための方法及びシステム | |
CN103310188A (zh) | 用于姿态识别的方法和设备 | |
CN107358629A (zh) | 一种基于目标识别的室内建图与定位方法 | |
CN113393524B (zh) | 一种结合深度学习和轮廓点云重建的目标位姿估计方法 | |
CN103985143A (zh) | 基于字典学习的视频中判别性在线目标跟踪方法 | |
CN112101160A (zh) | 一种面向自动驾驶场景的双目语义slam方法 | |
Ma et al. | Binocular vision object positioning method for robots based on coarse-fine stereo matching | |
White et al. | An iterative pose estimation algorithm based on epipolar geometry with application to multi-target tracking | |
Wang et al. | Hand gesture recognition of Arabic numbers using leap motion via deterministic learning | |
CN106023256B (zh) | 面向增强现实辅助维修***平面目标粒子滤波跟踪的状态观测方法 | |
CN108469729B (zh) | 一种基于rgb-d信息的人体目标识别与跟随方法 | |
Li et al. | A context-free method for robust grasp detection: Learning to overcome contextual bias | |
CN107610120B (zh) | 一种多尺度建筑物面实体匹配方法及*** | |
CN111993429B (zh) | 一种基于仿射群的改进高斯重采样粒子滤波目标跟踪方法 | |
Yashas et al. | Hand gesture recognition: a survey | |
CN113780240A (zh) | 基于神经网络及旋转特征增强的物***姿估计方法 | |
Yoon et al. | A new approach to the use of edge extremities for model-based object tracking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |