CN111127379B - 光场相机2.0的渲染方法及电子设备 - Google Patents
光场相机2.0的渲染方法及电子设备 Download PDFInfo
- Publication number
- CN111127379B CN111127379B CN201911360047.8A CN201911360047A CN111127379B CN 111127379 B CN111127379 B CN 111127379B CN 201911360047 A CN201911360047 A CN 201911360047A CN 111127379 B CN111127379 B CN 111127379B
- Authority
- CN
- China
- Prior art keywords
- image
- micro
- microlens
- light field
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000003384 imaging method Methods 0.000 claims abstract description 23
- 230000003287 optical effect Effects 0.000 claims abstract description 14
- 238000001914 filtration Methods 0.000 claims abstract description 6
- 230000009466 transformation Effects 0.000 claims description 10
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000000903 blocking effect Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本发明实施例公开一种光场相机2.0的渲染方法及电子设备。所述方法包括：A1、基于微透镜阵列的参数信息，对光场图像进行校正，使得微透镜图像规则放置；A2、根据光场相机2.0的成像特性，获取每一个所述微透镜图像对应的拼接块尺寸；A3、按照对应的所述拼接块尺寸从每一个所述微透镜图像中提取微透镜图像块，根据所述微透镜阵列的几何排布方式将各个所述微透镜图像块进行拼接；A4、扩大所述微透镜图像块的尺寸，使相邻的所述微透镜图像块之间有交叠部分，对所述交叠部分进行融合，然后进行滤波以实现光场图像的渲染。所述电子设备的处理器可执行所述方法。本发明实施例可实现对光场相机2.0成像的高精度渲染，可提升渲染结果的成像质量。
Description
技术领域
本发明涉及计算机视觉与数字图像处理技术领域，特别涉及光场相机2.0的一种高精度渲染方法。
背景技术
光场相机2.0为第二代光场相机。光场相机不同于传统相机的最大之处在于其结构中加入了微透镜阵列，因而使得传感器上能够记录更多的有效信息，包括场景的方向信息和位置信息等。正是由于这种结构，使光场相机具有许多特殊的本领，如拍照后重新聚焦、转换视角、获取深度信息等。由于光场相机具有能够同时捕获光线的位置与方向信息的特点，使得其在虚拟现实、全息技术、三维重建等方面受到广泛的关注。由于其独特的光学构造和成像过程，因此需要对应的渲染方法实现对光场图像的高精度渲染。
通常的光场相机2.0的渲染方法仅仅利用了微透镜的结构上的特点，提取对应的微透镜图像块进行拼接，这往往会造成很大的块效应，从而使得最终的成像效果较差，不能够满足人们对光场数据的需求。
以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本发明的现有技术，在没有明确的证据表明上述内容在本发明的申请日已经公开的情况下，上述背景技术不应当用于评价本发明的新颖性和创造性。
发明内容
本发明提出一种光场相机2.0的渲染方法及电子设备，能够实现准确获取光场图像块尺寸，并通过采用更加自然的融合方式，消除渲染结果的块效应，可提升渲染结果的成像质量。
在第一方面，本发明提供一种光场相机2.0的渲染方法，包括：A1、基于微透镜阵列的参数信息，对光场图像进行校正，使得微透镜图像规则放置，以进行后续处理；A2、根据光场相机2.0的成像特性，获取每一个所述微透镜图像对应的拼接块尺寸；A3、按照对应的所述拼接块尺寸从每一个所述微透镜图像中提取微透镜图像块，根据所述微透镜阵列的几何排布方式将各个所述微透镜图像块进行拼接；A4、扩大所述微透镜图像块的尺寸，使相邻的所述微透镜图像块之间有交叠部分，对所述交叠部分进行融合，然后进行滤波以实现光场图像的渲染。
在一些优选的实施方式中，所述A1具体包括：利用仿射变换，将所述光场图像校正为微透镜图像规则放置的图像并重新获取微透镜的中心点。
在一些优选的实施方式中，所述A2还包括：对所述微透镜图像进行上采样，以更加准确地获取所述拼接块尺寸。
在一些优选的实施方式中，所述A2具体包括：根据所述参数信息，对所述光场图像做仿射变换，得到仿射变换后的微透镜的中心点坐标，对相邻的微透镜计算结构相似性或求取相关，求出交叠区域的间隔，从而获取每一个所述微透镜图像对应的拼接块尺寸。
在一些优选的实施方式中，所述A3具体包括：以微透镜的中心点为中心按照相应的所述拼接块尺寸从每一个所述微透镜图像中提取微透镜图像块，根据所述微透镜阵列的排布方式以及结合所述微透镜阵列的中心点坐标对各个所述微透镜图像块进行拼接。
在一些优选的实施方式中，按照正方形或正六边形的排布方式进行拼接对各个所述微透镜图像块进行拼接。
在一些优选的实施方式中，所述A4中对所述交叠部分进行融合具体包括：采用灰度渐变的方式对所述交叠部分进行融合。
在一些优选的实施方式中，进行光场数据处理；所述光场数据处理包括重聚焦、视角转换和计算深度图。
在第二方面，本发明提供一种电子设备，包括处理器；所述处理器可执行上述方法。
在第三方面，本发明还提供一种计算机可读存储介质，包括：所述计算机可读存储介质中存储有程序指令，所述程序指令被计算机的处理器执行时使所述处理器执行上述方法。
与现有技术相比，本发明实施例的有益效果有：
基于微透镜阵列的参数信息，对光场图像进行校正；基于光场相机2.0的成像特性，获取每一个微透镜图像对应的拼接块尺寸；对每一个微透镜图像提取合适尺寸的微透镜图像块后，根据微透镜阵列的几何排布方式进行拼接；通过扩大微透镜图像块再交叠融合的方式，减轻由拼接所带来的块效应并对拼接后的图像进行滤波，以此实现对光场相机2.0成像的高精度渲染，可提升渲染结果的成像质量。本发明实施例能够在对暗图像单次处理后，实现对光场图像的高精度渲染。
附图说明
图1为本发明一个实施例的光场相机2.0的渲染方法的流程示意图；
图2为本发明一个实施例的光场相机2.0结构的初始状态结构示意图；
图3示出本发明一个实施例如何获取微透镜图像的拼接块尺寸。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合图1至图3及实施例，对本发明进行进一步详细说明。在具体的实施方案中，可按下面方式操作。需注意的是，在下面的实施过程中的光场相机搭建的结构、微透镜阵列的参数都仅为列举说明，本发明所涵盖的范围不局限于所列举的这些方法。
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
参考图1，本实施例提供一种光场相机2.0的渲染方法，为光场相机2.0的一种高精度渲染方法，包括步骤A1至步骤A4。
步骤A1、基于微透镜阵列的参数信息，对光场图像进行校正，使得微透镜图像规则放置，以进行后续处理。
在本实施例中，参考图2，采用4088*3070的工业相机进行成像，微透镜阵列采用正六边形紧密排布且焦距为1.33mm，主透镜采用20mm定焦镜头。如图2所示搭建光场相机，场景中的聚焦平面也即物面发出的光线经过主透镜的折射后聚焦于中继像面。将微透镜阵列置于传感器平面前1.6mm处。这样，利用微透镜阵列的参数信息，能够获取微透镜图像的中心点，同时可以对光场图像进行校正，使得微透镜图像规则放置，便于后续的处理。
具体而言，由于微透镜阵列加工及装配误差，微透镜间的间隔并不完全相等，微透镜阵列相对传感器有偏转。因此，可通过已知的微透镜阵列的参数信息，利用仿射变换，将光场图像校正为微透镜图像规则放置的图像并重新获取微透镜图像的中心点或者说中心点坐标，用于后续的处理。
步骤A2、根据光场相机2.0的成像特性，获取每一个微透镜图像对应的拼接块尺寸。
步骤A1中的微透镜图像的中心点用于获取每个微透镜图像合适的拼接块尺寸及图像的渲染。
光场相机2.0的成像特性为：相邻微透镜图像具有交叠的区域，且正确的块尺寸是相邻的微透镜图像交叠区域的间隔。根据这种成像特性，可以通过多种方式获取微透镜图像合适的拼接块尺寸，比如：求取相关，计算结构相似性(SSIM，Structural SimilarityIndex)等。示例的，按照步骤A1那样重新获取微透镜图像的中心点：拍摄一张光场图像，根据微透镜阵列的参数信息，对光场图像做仿射变换，得到仿射变换后的微透镜的中心点；当然，如果在步骤A1中已重新获取微透镜图像的中心点，则可直接利用重新获取的微透镜图像的中心点；然后，对相邻微透镜计算结构相似性，计算相邻微透镜图像的交叠区域也即求出交叠区域的间隔，从而获取每一个微透镜图像的拼接块尺寸。
每一个微透镜图像的拼接块尺寸都是固定的，但是不尽相同，这个拼接块尺寸与拍摄物体距离镜头的距离有关。
以相邻的两个微透镜为例来说明如何获取微透镜图像的拼接块尺寸。利用相邻微透镜间成像有交叠的特性，参考图3，通过在微透镜一图像的中心区域根据微透镜的尺寸选取一个适度大小的参考块，后在微透镜二图像中找到与参考块匹配度最高的匹配块，通过计算微透镜二的匹配块与微透镜二的中心点的位置，来求取微透镜一应该选取的拼接块尺寸。之后在渲染的过程中按照计算得到的拼接块尺寸，从中心区域提取出这样尺寸的块，然后将所有微透镜提取的块拼接起来，构成最终的渲染结果。
为了能够更加准确获取微透镜图像块的拼接块尺寸，可对微透镜图像进行上采样。在本实施例中，将每个微透镜图像进行了100倍的上采样，从而使得块尺寸的精度达到0.01个像素，增加了精度，进一步实现对光场相机2.0的高精度渲染。
步骤A3、按照对应的拼接块尺寸从每一个微透镜图像中提取微透镜图像块，根据微透镜阵列的几何排布方式将各个微透镜图像块进行拼接。
在获取了每个微透镜图像的拼接块尺寸后，根据对应的拼接块尺寸大小，以步骤A1获取的微透镜图像的中心点为中心，按照相应的拼接块尺寸从每一个微透镜图像中提取微透镜图像块，从而获取合适的微透镜图像块或者说拼接块，之后将这些微透镜图像块进行拼接后组成渲染的初步成像结果。在本实施例中，获取了每一个微透镜图像的拼接块尺寸后，根据步骤A1得到的微透镜阵列的排布方式，结合微透镜阵列的中心点坐标，以微透镜图像中心点为中心按照相应拼接块尺寸提取微透镜图像块进行拼接。
此外，由于微透镜阵列的排布方式的不同，因此在对微透镜图像块进行拼接时，需要根据微透镜的排布特点进行拼接。目前较为常见的是正方形排布和正六边形排布，因此，在获取了微透镜图像块后也应当以正方形和正六边形的排布方式进行拼接。在本实施例中，采用的是正六边形的排布方式，提取的微透镜图像块为方形块，并采用六边形的拼接方式，从而获取初步渲染的图像。
步骤A4、扩大微透镜图像块的尺寸，使相邻的微透镜图像块之间有交叠部分，对交叠部分进行融合，然后进行滤波以实现光场图像的渲染。
在本实施例中，步骤A3得到的渲染结果也即渲染后的光场图像具有大量的块效应，图像质量较差，从而影响成像质量。为了缓解相邻块直接拼接所造成的突变及块效应，本实施例通过扩大微透镜图像块的尺寸，使得相邻微透镜图像块间有交叠部分，具体是增大相邻微透镜图像块的交叠部分，之后对于交叠部分采用灰度渐变的方式进行融合，从而使得图像的拼接更加自然。最后，采用滤波的方式，对于渲染后的图像或者说拼接后的图像进行滤波，消除一些噪声及块效应的影响，从而获取高精度的渲染结果。
当然，对于交叠部分还可以采用不同的融合方法，使得拼接更加自然，从而减少块效应。
此外，前述光场图像渲染结果也将运用到后续的光场数据处理当中，包括重聚焦、视角转换、计算深度图等。
通过扩大拼接的微透镜图像块再交叠融合的方式，减轻由拼接所带来的块效应并对拼接后的图像进行滤波，以此实现对光场相机2.0成像的高精度渲染。
本实施例还提供一种电子设备，具体可以是光场相机或者计算机。该电子设备包括处理器，处理器可执行本实施例上述方法。
本实施例基于微透镜阵列的参数信息，对光场图像进行校正；基于光场相机2.0结构下微透镜成像部分交叠的特性，计算相邻微透镜图像的交叠区域，获取每一个微透镜图像对应的拼接块尺寸；对每一个微透镜图像提取合适尺寸的微透镜图像块后，根据微透镜阵列的几何排布方式进行拼接；通过扩大微透镜图像块再交叠融合的方式，减轻由拼接所带来的块效应并对拼接后的图像进行滤波，以此实现对光场相机2.0成像的高精度渲染，可提升渲染结果的成像质量。
本实施例利用微透镜阵列的排布方式和几何参数，实现对光场图像的校正，降低渲染的难度；结合光场相机2.0结构的成像特点，通过上采样的方式，准确获取微透镜图像块的尺寸，进一步增强标定的可靠性；对于相邻微透镜图像的交叠部分，采用不同的融合算法，从而消除块效应的影响。本实施例能够准确计算微透镜图像块的尺寸并能够自然地将微透镜图像块进行拼接，从而可增强图像处理过程中数据的准确性，可提升重聚焦、深度图获取、视角转变等功能的精确度。
本实施例适用于不同架构的光场相机2.0渲染，具有很强的通用性，能够实现对不同微透镜排布方式的光场相机2.0的图像渲染，具有渲染快、渲染精度高的特点。
本实施例能够在对暗图像单次处理后，实现对光场图像的高精度渲染。
本领域的技术人员可以理解实施例方法中的全部或部分流程可以由计算机程序来命令相关的硬件完成，程序可存储于计算机可读取存储介质中，程序在执行时，可包括如各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。
Claims (9)
1.一种光场相机2.0的渲染方法，其特征在于，包括：
A1、基于微透镜阵列的参数信息，对光场图像进行校正，使得微透镜图像规则放置，以进行后续处理；
A2、根据光场相机2.0的成像特性，获取每一个所述微透镜图像对应的拼接块尺寸；
具体包括：根据所述参数信息，对所述光场图像做仿射变换，得到仿射变换后的微透镜的中心点坐标，对相邻的微透镜计算结构相似性或求取相关，求出交叠区域的间隔，从而获取每一个所述微透镜图像对应的拼接块尺寸；
A3、按照对应的所述拼接块尺寸从每一个所述微透镜图像中提取微透镜图像块，根据所述微透镜阵列的几何排布方式将各个所述微透镜图像块进行拼接；
A4、扩大所述微透镜图像块的尺寸，使相邻的所述微透镜图像块之间有交叠部分，对所述交叠部分进行融合，然后进行滤波以实现光场图像的渲染。
2.根据权利要求1所述方法，其特征在于所述A1具体包括：利用仿射变换，将所述光场图像校正为微透镜图像规则放置的图像并重新获取微透镜的中心点。
3.根据权利要求1所述方法，其特征在于所述A2还包括：对所述微透镜图像进行上采样，以更加准确地获取所述拼接块尺寸。
4.根据权利要求1所述方法，其特征在于所述A3具体包括：以微透镜的中心点为中心按照相应的所述拼接块尺寸从每一个所述微透镜图像中提取微透镜图像块，根据所述微透镜阵列的排布方式以及结合所述微透镜阵列的中心点坐标对各个所述微透镜图像块进行拼接。
5.根据权利要求4所述方法，其特征在于：按照正方形或正六边形的排布方式进行拼接对各个所述微透镜图像块进行拼接。
6.根据权利要求1所述方法，其特征在于所述A4中对所述交叠部分进行融合具体包括：采用灰度渐变的方式对所述交叠部分进行融合。
7.根据权利要求1所述方法，其特征在于还包括：进行光场数据处理；所述光场数据处理包括重聚焦、视角转换和计算深度图。
8.一种电子设备，其特征在于：包括处理器；所述处理器可执行根据权利要求1至7任一项所述方法。
9.一种计算机可读存储介质，其特征在于，包括：所述计算机可读存储介质中存储有程序指令，所述程序指令被计算机的处理器执行时使所述处理器执行根据权利要求1至7任一项所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911360047.8A CN111127379B (zh) | 2019-12-25 | 2019-12-25 | 光场相机2.0的渲染方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911360047.8A CN111127379B (zh) | 2019-12-25 | 2019-12-25 | 光场相机2.0的渲染方法及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111127379A CN111127379A (zh) | 2020-05-08 |
| CN111127379B true CN111127379B (zh) | 2023-04-25 |
Family
ID=70502544
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911360047.8A Active CN111127379B (zh) | 2019-12-25 | 2019-12-25 | 光场相机2.0的渲染方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111127379B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113470154B (zh) * | 2021-07-30 | 2023-11-28 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN115514950A (zh) * | 2022-07-25 | 2022-12-23 | 浪潮通信信息***有限公司 | 微透镜光场采集方法、***、电子装置及计算机可读介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102833487B (zh) * | 2012-08-08 | 2015-01-28 | 中国科学院自动化研究所 | 面向视觉计算的光场成像装置和方法 |
| US9497380B1 (en) * | 2013-02-15 | 2016-11-15 | Red.Com, Inc. | Dense field imaging |
| CN105450931B (zh) * | 2015-12-30 | 2019-04-26 | 联想(北京)有限公司 | 一种基于阵列相机的成像方法、装置和电子设备 |
| CN106303228B (zh) * | 2016-08-04 | 2019-09-13 | 深圳市未来媒体技术研究院 | 一种聚焦型光场相机的渲染方法和*** |
-
2019
- 2019-12-25 CN CN201911360047.8A patent/CN111127379B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111127379A (zh) | 2020-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11272161B2 (en) | System and methods for calibration of an array camera | |
| US20200280714A1 (en) | Method for performing out-focus using depth information and camera using the same | |
| US8929677B2 (en) | Image processing apparatus and method for synthesizing a high-resolution image and a refocused image | |
| US20100091133A1 (en) | Image processing apparatus and method | |
| US8681249B2 (en) | Solid-state imaging device and portable information terminal | |
| KR20190076998A (ko) | 뷰로부터 거리 정보를 획득하는 장치 및 방법 | |
| JP6189061B2 (ja) | 固体撮像装置 | |
| KR20130020579A (ko) | 촬영 화상의 보조 정보를 생성하는 촬상장치, 화상처리장치, 및 화상처리방법 | |
| JP2010128820A (ja) | 立体画像処理装置、方法及びプログラム並びに立体撮像装置 | |
| JP2007304525A (ja) | 画像入力装置および電子機器および画像入力方法 | |
| CN112866549B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN111127379B (zh) | 光场相机2.0的渲染方法及电子设备 | |
| CN108805921B (zh) | 图像获取***及方法 | |
| JP6700986B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
| JP2010130628A (ja) | 撮像装置、映像合成装置および映像合成方法 | |
| JP6529360B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
| JP6039301B2 (ja) | 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体 | |
| US20160307303A1 (en) | Image capture device | |
| CN110708532A (zh) | 一种普适光场单元图像生成方法和*** | |
| US9596402B2 (en) | Microlens array for solid-state image sensing device, solid-state image sensing device, imaging device, and lens unit | |
| JP5553862B2 (ja) | 撮像装置および撮像装置の制御方法 | |
| KR20110042936A (ko) | 광 필드 데이터를 이용한 영상 처리 장치 및 방법 | |
| JP3088852B2 (ja) | ３次元画像入力装置 | |
| CN112866544B (zh) | 相位差的获取方法、装置、设备及存储介质 | |
| CN111080689B (zh) | 确定面部深度图的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |