CN110682005B - 一种激光打标实时校正方法和控制装置 - Google Patents
一种激光打标实时校正方法和控制装置 Download PDFInfo
- Publication number
- CN110682005B CN110682005B CN201910981479.4A CN201910981479A CN110682005B CN 110682005 B CN110682005 B CN 110682005B CN 201910981479 A CN201910981479 A CN 201910981479A CN 110682005 B CN110682005 B CN 110682005B
- Authority
- CN
- China
- Prior art keywords
- image
- characteristic
- characteristic region
- offset
- laser marking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K26/00—Working by laser beam, e.g. welding, cutting or boring
- B23K26/36—Removing material
- B23K26/362—Laser etching
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K26/00—Working by laser beam, e.g. welding, cutting or boring
- B23K26/02—Positioning or observing the workpiece, e.g. with respect to the point of impact; Aligning, aiming or focusing the laser beam
- B23K26/03—Observing, e.g. monitoring, the workpiece
- B23K26/032—Observing, e.g. monitoring, the workpiece using optical means
Landscapes
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Plasma & Fusion (AREA)
- Mechanical Engineering (AREA)
- Laser Beam Processing (AREA)
Abstract
本发明公开了一种激光打标实时校正方法和控制装置，方法包括：打标前，从固定的拍摄窗口中获取打标物的图像，记为第一图像；将预设的标准模板加载到第一图像中，截取第一图像的特征区域，第一图像的特征区域记为第一特征区域；在打标进行中，实时从拍摄窗口中获取打标物的图像，记为第二图像；将标准模板加载到第二图像中，截取第二图像的特征区域，第二图像的特征区域记为第二特征区域；通过ORB快速特征点匹配算法得到第一特征区域和第二特征区域之间的偏移量；根据偏移量校正激光打标头。控制装置包括图像获取模块、图像处理模块和校正模块。通过图像处理方式对打标物进行实时检测，能够在打标过程中校正激光打标头。主要用于激光打标领域。
Description
技术领域
本发明涉及激光打标技术领域，特别涉及一种激光打标实时校正方法和控制装置。
背景技术
激光打标是指由激光发生器发出连续高能量的激光光束，通过聚焦到被打标物品的表面，使物品表面发生物理变化或化学变化留下永久标记。激光打标技术是在激光切割、激光打孔、激光热处理、激光打孔等激光技术大量应用之后发展起来的新型加工技术，是一种非接触、无污染、适用范围广的新型标记技术。在激光加工领域中，激光打标技术是目前应用最为广泛的一项激光加工技术。近年来随着计算机技术地快速发展，光学器件地逐步改进及激光器的可靠性和实用性地不断提高,激光打标技术在工业上的应用越来越广。专利CN107486629B提出了一种视觉定位激光打标***校正方法，该方法先通过校正振镜消除畸变，然后调节激光打标坐标缩放倍数以及振镜初始偏转角度，使得影像显示的画面与所需打标物体实际的大小、位置和角度一致，从而实现打标***与影像***的高精度校正。专利CN208496077U设计了一种视觉激光打标装置，通过CCD对限位槽内的待打标物体进行相对位置检测，然后利用驱动装置带动激光器组件进行相应的位置移动，解决了送料机运送的材料与激光器件组存在位置偏差的问题，避免了激光打标的打偏、打脱。专利CN110193669A设计了一种自纠错流水线式激光打标***，利用红外线扫描仪，对打标标码进行扫描，识别错误标码，并将错误信息反馈给单片机，单片机根据要求控制打标机构移动到打标错误部位进行修改或重新打标。专利CN107486629B提出了一种视觉定位激光打标***校正方法，该方法虽能实现激光打标的校正，但该方法只适用于激光打标开始前的校正，不能在打标过程中，物体发生偏移的情况下进行校正。专利CN208496077U设计了一种视觉激光打标装置，该装置虽然能够解决送料机运送的材料与激光器件组存在位置偏差的问题，避免激光打标的打偏、打脱，但同样只能在激光打标开始前进行调整，不能在打标过程中物体出现的偏移进行调整。
在激光打标的过程中，激光光束被聚焦后有很高的能量密度，加工精度高，因此在激光打标过程中需要确保激光光束相对被打标物品的稳定，从而保证打标图案的清晰准确，但是在实际操作中，由于人工操作的失误或机械装置运行的抖动、误操作等，被打标的物体可能会发生相对位移，造成打标效果差、打标图案偏离原始打标位置、打标错误等问题。
发明内容
本发明的目的是提供一种激光打标实时校正方法和控制装置，旨在解决在打标过程中因为被打标物***置发生偏移而导致打标错误问题。
本发明解决其技术问题的解决方案是：一方面，提供一种激光打标实时校正方法，包括：
步骤1、打标前，从固定的拍摄窗口中获取打标物的图像，记为第一图像；
步骤2、将预设的标准模板加载到第一图像中，截取第一图像的特征区域，所述第一图像的特征区域记为第一特征区域；
步骤3、在打标进行中，实时从拍摄窗口中获取打标物的图像，记为第二图像；
步骤4、将所述标准模板加载到第二图像中，截取第二图像的特征区域，所述第二图像的特征区域记为第二特征区域；
步骤5、通过ORB快速特征点匹配算法得到第一特征区域和第二特征区域之间的偏移量；
步骤6、根据所述偏移量校正激光打标头。
进一步，所述ORB快速特征点匹配算法包括特征点提取子算法和特征点描述子算法，所述特征点提取子算法包括：提取第一特征区域和第二特征点区域的特征角点，并将所述特征角点进行匹配，得到匹配响应度最大的特征角点对，所述匹配响应度最大的特征角点对记为极值特征角点对；所述特征点描述子算法包括：将所述极值特征角点对进行偏移量计算，得到偏移量。
进一步，所述特征点提取子算法为Harris角点度量算法。
进一步，所述特征点描述子算法为BRIEF算法。
进一步，所述步骤6具体包括：利用靶标校准方法将偏移量转换为振镜的偏转角度信号，利用偏转角度信号控制振镜偏转。
另一方面，提供一种激光打标实时校正控制装置，包括图像获取模块、图像处理模块和校正模块；
所述图像获取模块用于获取第一图像和第二图像，并将所述第一图像和第二图像传递给图像处理模块，其中，所述第一图像为：在打标前，从固定的拍摄窗口中获取的打标物的图像；所述第二图像为：在打标进行中，实时从拍摄窗口中获取的打标物的图像；
所述图像处理模块用于包括：将预设的标准模板加载到第一图像中，截取第一图像的特征区域，所述第一图像的特征区域记为第一特征区域；将所述标准模板加载到第二图像中，截取第二图像的特征区域，所述第二图像的特征区域记为第二特征区域；通过ORB快速特征点匹配算法得到第一特征区域和第二特征区域之间的偏移量；将所述偏移量传递给校正模块；
所述校正模块用于根据所述偏移量校正激光打标头。
进一步，所述图像处理模块包括：特征点提取子模块和特征点描述子模块，所述特征点提取子模块用于提取第一特征区域和第二特征点区域的特征角点，并将所述特征角点进行匹配，得到匹配响应度最大的特征角点对，所述匹配响应度最大的特征角点对记为极值特征角点对，并将所述极值特征角点对传递给特征点描述子模块；所述特征点描述子模块用于将所述极值特征角点对进行偏移量计算，得到偏移量并输出。
进一步，所述特征点提取子模块为Harris角点度量算法模块。
进一步，所述特征点描述子模块为BRIEF算法模块。
进一步，所述校正模块包括：靶标校准模块和控制模块，所述靶标校准模块用于将所述偏移量转换为振镜的偏转角度信号，所述控制模块用于根据所述偏转角度信号控制振镜偏转。。
本发明的有益效果是：本方法通过图像处理方式对打标物进行实时检测，能够在激光打标过程中对因为工作台抖动或机器、人工误操作导致被打标物发生位置偏移的情况下对激光打标头进行校正。本激光打标实时校正控制装置通过图像获取模块得到第一图像和第二图像，并利用图像处理模块第一图像和第二图像进行处理从而得到偏移量，利用校正模块根据所述偏移量实现对激光打标头的实时校正。
附图说明
为了更清楚地说明本发明创造实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单说明。显然，所描述的附图只是本发明创造的一部分实施例，而不是全部实施例，本领域的技术人员在不付出创造性劳动的前提下，还可以根据这些附图获得其他设计方案和附图。
图1是激光打标实时校正方法的步骤流程图；
图2是激光打标实时校正控制装置的模块连接示意图；
图3是图像处理模块的模块连接示意图；
图4是校正模块的模块连接示意图。
具体实施方式
本部分将详细描述本发明创造的具体实施例，本发明创造之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明创造的每个技术特征和整体技术方案，但其不能理解为对本发明创造保护范围的限制。
在本发明创造的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明创造和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明创造的限制。
在本发明创造的描述中，如果具有“若干”之类的词汇描述，其含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。
本发明创造的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明创造中的具体含义。
实施例1，参考图1,一种激光打标实时校正方法，包括：
步骤1、打标前，从固定的拍摄窗口中获取打标物的图像，记为第一图像；
步骤2、将预设的标准模板加载到第一图像中，截取第一图像的特征区域，所述第一图像的特征区域记为第一特征区域；
步骤3、在打标进行中，实时从拍摄窗口中获取打标物的图像，记为第二图像；
步骤4、将所述标准模板加载到第二图像中，截取第二图像的特征区域，所述第二图像的特征区域记为第二特征区域；
步骤5、通过ORB快速特征点匹配算法得到第一特征区域和第二特征区域之间的偏移量；
步骤6、根据所述偏移量校正激光打标头。
其中，所述ORB快速特征点匹配算法包括特征点提取子算法和特征点描述子算法，所述特征点提取子算法包括：提取第一特征区域和第二特征点区域的特征角点，并将所述特征角点进行匹配，得到匹配响应度最大的特征角点对，所述匹配响应度最大的特征角点对记为极值特征角点对；所述特征点描述子算法包括：将所述极值特征角点对进行偏移量计算，得到偏移量。特征角点的定义为：某点的像素与其周围邻域内足够多的其它点的像素相差较大，大于预设的阈值，则该点为特征角点。所述特征点提取子算法为Harris角点度量算法。所述特征点描述子算法为BRIEF算法。所述步骤6具体包括：利用靶标校准方法将偏移量转换为振镜的偏转角度信号，利用偏转角度信号控制振镜偏转。
由于拍摄窗口是固定的，因此，当打标物由于振动或者其他原因产生偏移时，通过拍摄窗口得到的打标物的图像可以反映出打标物偏移的信息。通过第一特征区域作为参照，当打标物发生偏移时，该偏移的信息可以通过第二特征区域反映出来。因此，利用ORB快速特征点匹配算法可以将第一特征区域和第二特征区域之间的偏移量计算出来。这种偏移量反映出打标物偏移情况，因此，可以通过该偏移量对激光打标头进行修正，不断获取第二图像并进行步骤3到步骤5的操作，从而实现对激光打标头的实时校正。
本方法通过图像处理方式对打标物进行实时检测，能够在激光打标过程中对因为工作台抖动或机器、人工误操作导致被打标物发生位置偏移的情况下对激光打标头进行校正。
同时，参考图2，本公开提供一种激光打标实时校正控制装置，包括：图像获取模块、图像处理模块和校正模块；
所述图像获取模块用于获取第一图像和第二图像，并将所述第一图像和第二图像传递给图像处理模块，其中，所述第一图像为：在打标前，从固定的拍摄窗口中获取的打标物的图像；所述第二图像为：在打标进行中，实时从拍摄窗口中获取的打标物的图像；
所述图像处理模块用于包括：将预设的标准模板加载到第一图像中，截取第一图像的特征区域，所述第一图像的特征区域记为第一特征区域；将所述标准模板加载到第二图像中，截取第二图像的特征区域，所述第二图像的特征区域记为第二特征区域；通过ORB快速特征点匹配算法得到第一特征区域和第二特征区域之间的偏移量；将所述偏移量传递给校正模块；
所述校正模块用于根据所述偏移量校正激光打标头。
参考图3，作为上述实施方式的进一步优化，所述图像处理模块包括：特征点提取子模块和特征点描述子模块，所述特征点提取子模块用于提取第一特征区域和第二特征点区域的特征角点，并将所述特征角点进行匹配，得到匹配响应度最大的特征角点对，所述匹配响应度最大的特征角点对记为极值特征角点对，并将所述极值特征角点对传递给特征点描述子模块；所述特征点描述子模块用于将所述极值特征角点对进行偏移量计算，得到偏移量并输出。其中，所述特征点提取子模块为Harris角点度量算法模块。所述特征点描述子模块为BRIEF算法模块。
参考图4，作为上述实施方式的进一步优化，所述校正模块包括：靶标校准模块和控制模块，所述靶标校准模块用于将所述偏移量转换为振镜的偏转角度信号，所述控制模块用于根据所述偏转角度信号控制振镜偏转。
以上对本发明创造的较佳实施方式进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明创造精神的前提下还可做出种种的等同变型或替换，这些等同的变型或替换均包含在本申请权利要求所限定的范围内。
Claims (8)
1.一种激光打标实时校正方法，其特征在于，包括：
步骤1、打标前，从固定的拍摄窗口中获取打标物的图像，记为第一图像；
步骤2、将预设的标准模板加载到第一图像中，截取第一图像的特征区域，所述第一图像的特征区域记为第一特征区域；
步骤3、在打标进行中，实时从拍摄窗口中获取打标物的图像，记为第二图像；
步骤4、将所述标准模板加载到第二图像中，截取第二图像的特征区域，所述第二图像的特征区域记为第二特征区域；
步骤5、通过ORB快速特征点匹配算法得到第一特征区域和第二特征区域之间的偏移量；
步骤6、根据偏移量校正激光打标头；
所述ORB快速特征点匹配算法包括特征点提取子算法和特征点描述子算法，所述特征点提取子算法包括：提取第一特征区域和第二特征点区域的特征角点，并将所述特征角点进行匹配，得到匹配响应度最大的特征角点对，所述匹配响应度最大的特征角点对记为极值特征角点对；所述特征点描述子算法包括：将所述极值特征角点对进行偏移量计算，得到偏移量。
2.根据权利要求1所述的一种激光打标实时校正方法，其特征在于：所述特征点提取子算法为Harris角点度量算法。
3.根据权利要求1所述的一种激光打标实时校正方法，其特征在于：所述特征点描述子算法为BRIEF算法。
4.根据权利要求1所述的一种激光打标实时校正方法，其特征在于：所述步骤6具体包括：利用靶标校准方法将偏移量转换为振镜的偏转角度信号，利用偏转角度信号控制振镜偏转。
5.一种激光打标实时校正控制装置，其特征在于：包括图像获取模块、图像处理模块和校正模块；
所述图像获取模块用于获取第一图像和第二图像，并将所述第一图像和第二图像传递给图像处理模块，其中，所述第一图像为：在打标前，从固定的拍摄窗口中获取的打标物的图像；所述第二图像为：在打标进行中，实时从拍摄窗口中获取的打标物的图像；
所述图像处理模块用于包括：将预设的标准模板加载到第一图像中，截取第一图像的特征区域，所述第一图像的特征区域记为第一特征区域；将所述标准模板加载到第二图像中，截取第二图像的特征区域，所述第二图像的特征区域记为第二特征区域；通过ORB快速特征点匹配算法得到第一特征区域和第二特征区域之间的偏移量；将所述偏移量传递给校正模块；
所述校正模块用于根据偏移量校正激光打标头；
所述图像处理模块包括：特征点提取子模块和特征点描述子模块，所述特征点提取子模块用于提取第一特征区域和第二特征点区域的特征角点，并将所述特征角点进行匹配，得到匹配响应度最大的特征角点对，所述匹配响应度最大的特征角点对记为极值特征角点对，并将所述极值特征角点对传递给特征点描述子模块；所述特征点描述子模块用于将所述极值特征角点对进行偏移量计算，得到偏移量并输出。
6.根据权利要求5所述的一种激光打标实时校正控制装置，其特征在于，所述特征点提取子模块为Harris角点度量算法模块。
7.根据权利要求5所述的一种激光打标实时校正控制装置，其特征在于，所述特征点描述子模块为BRIEF算法模块。
8.根据权利要求5所述的一种激光打标实时校正控制装置，其特征在于，所述校正模块包括：靶标校准模块和控制模块，所述靶标校准模块用于将所述偏移量转换为振镜的偏转角度信号，所述控制模块用于根据偏转角度信号控制振镜偏转。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910981479.4A CN110682005B (zh) | 2019-10-16 | 2019-10-16 | 一种激光打标实时校正方法和控制装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910981479.4A CN110682005B (zh) | 2019-10-16 | 2019-10-16 | 一种激光打标实时校正方法和控制装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110682005A CN110682005A (zh) | 2020-01-14 |
| CN110682005B true CN110682005B (zh) | 2021-04-27 |
Family
ID=69112887
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910981479.4A Active CN110682005B (zh) | 2019-10-16 | 2019-10-16 | 一种激光打标实时校正方法和控制装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110682005B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114485482B (zh) * | 2022-03-04 | 2023-06-16 | 南京铖联激光科技有限公司 | 一种振镜扫描***的校准模块 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN203712074U (zh) * | 2013-12-12 | 2014-07-16 | 天津市佳仁腾科科技有限公司 | 高精度双重传感器激光扫描振镜***及其扫描振镜电机 |
| CN105946370A (zh) * | 2016-04-28 | 2016-09-21 | 深圳市创鑫激光股份有限公司 | 一种激光打标设备的校正方法及激光打标设备 |
| CN107186347A (zh) * | 2016-03-15 | 2017-09-22 | 欧姆龙株式会社 | 激光加工***及加工控制方法 |
| CN108340088A (zh) * | 2018-02-07 | 2018-07-31 | 深圳信息职业技术学院 | 激光精密加工视觉在线监测方法及*** |
| CN109570750A (zh) * | 2018-12-12 | 2019-04-05 | 武汉帝尔激光科技股份有限公司 | 一种激光振镜精度在线校正***及方法 |
| TW201929117A (zh) * | 2017-12-11 | 2019-07-16 | 台灣愛司帝科技股份有限公司 | 雷射雕刻設備 |
-
2019
- 2019-10-16 CN CN201910981479.4A patent/CN110682005B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN203712074U (zh) * | 2013-12-12 | 2014-07-16 | 天津市佳仁腾科科技有限公司 | 高精度双重传感器激光扫描振镜***及其扫描振镜电机 |
| CN107186347A (zh) * | 2016-03-15 | 2017-09-22 | 欧姆龙株式会社 | 激光加工***及加工控制方法 |
| CN105946370A (zh) * | 2016-04-28 | 2016-09-21 | 深圳市创鑫激光股份有限公司 | 一种激光打标设备的校正方法及激光打标设备 |
| TW201929117A (zh) * | 2017-12-11 | 2019-07-16 | 台灣愛司帝科技股份有限公司 | 雷射雕刻設備 |
| CN108340088A (zh) * | 2018-02-07 | 2018-07-31 | 深圳信息职业技术学院 | 激光精密加工视觉在线监测方法及*** |
| CN109570750A (zh) * | 2018-12-12 | 2019-04-05 | 武汉帝尔激光科技股份有限公司 | 一种激光振镜精度在线校正***及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于改进ORB的图像特征点匹配研究;戴雪梅等;《电子测量与仪器学报》;20160229;第30卷(第2期);第233页-240页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110682005A (zh) | 2020-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230028351A1 (en) | Laser patterning skew correction | |
| EP3091405B1 (en) | Method, device and system for improving system accuracy of x-y motion platform | |
| CN109773332B (zh) | 一种多振镜***的校正方法及多振镜校正*** | |
| US10737387B2 (en) | Robot arm calibration device and method thereof | |
| CN109685744B (zh) | 一种扫描振镜精度校正方法 | |
| WO2021012122A1 (zh) | 机器人手眼标定方法、装置、计算设备、介质以及产品 | |
| CN111009013B (zh) | 一种用于划片机的振镜标定方法 | |
| CN210937675U (zh) | 一种激光打标校正*** | |
| CN113744336A (zh) | 一种辅助定位方法、装置及计算机可读存储介质 | |
| CN110682005B (zh) | 一种激光打标实时校正方法和控制装置 | |
| US10875186B2 (en) | Robot system | |
| CN110560911B (zh) | 一种条烟激光二维码灼刻方法 | |
| CN105469092A (zh) | 扫描辅助定位***、条码扫描装置及扫描辅助定位方法 | |
| CN112507755B (zh) | 最小化二维码角点重投影误差的目标物体六自由度定位方法及*** | |
| KR102422990B1 (ko) | 스캔을 이용한 로봇의 캘리브레이션 시스템 및 방법 | |
| CN116851929A (zh) | 一种运动状态下的物体视觉定位激光打标方法及*** | |
| JP5722784B2 (ja) | スキャナを調節する方法及び該スキャナ | |
| CN113959374B (zh) | 一种基于图像的激光云台光轴修正方法及装置 | |
| JP2002316276A (ja) | レーザマーキング装置のマーキング歪み補正装置及びマーキング補正方法 | |
| CN214684758U (zh) | 可校正振镜打标偏移的雷射打标*** | |
| CN112207444B (zh) | 一种用于led灯珠不良品标记的超高精度激光打标方法 | |
| KR100640743B1 (ko) | 로봇을 이용한 레이저 비젼 시스템 교정방법 | |
| KR100520899B1 (ko) | 레이저 마킹시스템의 마킹 보정방법 | |
| CN111221298B (zh) | 具有视觉定位的加工***及加工方法 | |
| JP2002354206A (ja) | 原稿読取装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |