CN113160393B - 基于大景深的高精度三维重建方法、装置及其相关组件 - Google Patents
基于大景深的高精度三维重建方法、装置及其相关组件 Download PDFInfo
- Publication number
- CN113160393B CN113160393B CN202110529545.1A CN202110529545A CN113160393B CN 113160393 B CN113160393 B CN 113160393B CN 202110529545 A CN202110529545 A CN 202110529545A CN 113160393 B CN113160393 B CN 113160393B
- Authority
- CN
- China
- Prior art keywords
- dimensional
- imaging device
- absolute phase
- target
- mapping coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000013507 mapping Methods 0.000 claims abstract description 82
- 238000005259 measurement Methods 0.000 claims abstract description 49
- 238000010586 diagram Methods 0.000 claims abstract description 43
- 238000009826 distribution Methods 0.000 claims abstract description 41
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 238000003384 imaging method Methods 0.000 claims description 143
- 239000011159 matrix material Substances 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 17
- 230000003287 optical effect Effects 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 238000009792 diffusion process Methods 0.000 claims description 4
- 101100001676 Emericella variicolor andK gene Proteins 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 14
- 230000010363 phase shift Effects 0.000 description 13
- 239000013598 vector Substances 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010408 sweeping Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000017105 transposition Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于大景深的高精度三维重建方法、装置及其相关组件。该方法包括：对大景深测量场景进行区域划分；利用三维测量***对划分出的每一个区域进行双目视觉立体标定，得到标定数据；计算平面平板在不同位置时的绝对相位分布图和三维信息；建立对应区域的三维映射系数表；获取被测物体的目标图像并计算绝对相位分布图；获取每一个像素点在目标图像的绝对相位分布图的绝对相位，在对应区域的三维映射系数表中查找三维映射系数，利用三维映射系数计算空间三维点坐标。本发明通过将大景深场景划分为多个区域进行计算，整个计算过程更加严谨精确，并且在建立三维映射系数表后获取被测物体的空间三维点坐标更加迅速准确。
Description
技术领域
本发明涉及三维成像技术领域，尤其涉及一种基于大景深的高精度三维重建方法、装置及其相关组件。
背景技术
现有技术的条纹投影三维测量属于结构照明法的一种，具有高速、高精度、低成本、易操作等优点，在工业测量、智能制造、文物保护等领域获得广泛应用。条纹投影三维测量技术的原理是将标准的正弦条纹图案投影于被测物体，物体的高度对投影条纹进行调制，相机采集到调制变形条纹图，后通过条纹相位解调和***标定技术，结合相位-高度映射原理，重建物体三维信息。
通常情况，条纹投影采用基于光学成像原理的数字微镜阵列(DMD)产生条纹图案，固定焦距的光学投影镜头具有有限的景深范围。特别是为提高图像亮度，商用投影机均采用了大光圈设计，导致景深范围更小。在某些大测量场景中，被测物体的体积较大或是多个物体组成的大跨度空间范围，该投影***无法满足需求。而MEMS(微机电***)振镜激光扫描的投影机由于使用了激光光源和振镜扫描的投影方式，具有大景深的成像范围。相机镜头同样面临着景深范围有限的问题，而电子变焦透镜具有连续改变镜头焦距的功能。
最近几年，电子可调透镜(Electrically Tunable Lens,ETL)的发展为设计更加紧凑的光学***提供了更多的选择，尤其是它的精密、快速、方便和可重复性等，已经广泛应用在显示、显微镜、自动聚焦成像、激光加工等领域。对于三维测量方面，也有研究使用电子可调透镜实现某些功能。一种技术是使用电子可调透镜快速获取多个离散的聚焦图像，通过合并来自不同聚焦情况下的数据来获得整个场景的三维信息。但是，目前的三维测量***在测量大景深场景时的精度低，重建恢复效果差的问题仍然没有办法解决。
发明内容
本发明实施例提供了一种基于大景深的高精度三维重建方法、装置及其相关组件，旨在解决现有技术中大景深场景下三维测量精度低，三维重建效果差的问题。
第一方面，本发明实施例提供了一种基于大景深的高精度三维重建方法，包括：
对大景深测量场景进行区域划分；
利用三维测量***对划分出的每一个区域进行双目视觉立体标定，得到标定数据；其中，所述三维测量***包括成像装置和投影装置；
在不同区域内利用投影装置向处于不同位置时的平面平板投射指定图案，并通过成像装置采集所述平面平板在不同位置时的平板图像，计算得到所述平面平板在不同位置时的绝对相位分布图，并根据所述标定数据计算得到所述平面平板在不同位置时的三维信息；
在每一个区域内，获取所述成像装置每一个像素点在所述平面平板的绝对相位分布图中的绝对相位，并根据每个所述平面平板的三维信息与对应像素点的绝对相位之间的映射关系建立对应区域的三维映射系数表；
利用投影装置向被测物体投射目标图案，并通过成像装置采集被测物体的目标焦扫图像，并将所述目标焦扫图像进行去模糊处理，得到目标图像并计算所述目标图像的绝对相位分布图；
获取所述目标图像每一个像素点在所述目标图像的绝对相位分布图的绝对相位，并根据所述绝对相位所属区域在对应区域的三维映射系数表中查找对应的三维映射系数，利用所述三维映射系数计算得到对应的空间三维点坐标。
第二方面，本发明实施例提供了一种基于大景深的高精度三维重建装置，其包括：
区域划分单元，用于对大景深测量场景进行区域划分；
标定数据获取单元，用于利用三维测量***对划分出的每一个区域进行双目视觉立体标定，得到标定数据；其中，所述三维测量***包括成像装置和投影装置；
三维信息获取单元，用于在不同区域内利用投影装置向处于不同位置时的平面平板投射指定图案，并通过成像装置采集所述平面平板在不同位置时的平板图像，计算得到所述平面平板在不同位置时的绝对相位分布图，并根据所述标定数据计算得到所述平面平板在不同位置时的三维信息；
三维映射系数表获取单元，用于在每一个区域内，获取所述成像装置每一个像素点在所述平面平板的绝对相位分布图中的绝对相位，并根据每个所述平面平板的三维信息与对应像素点的绝对相位之间的映射关系建立对应区域的三维映射系数表；
目标焦扫图像获取单元，用于利用投影装置向被测物体投射目标图案，并通过成像装置采集被测物体的目标焦扫图像，并将所述目标焦扫图像进行去模糊处理，得到目标图像并计算所述目标图像的绝对相位分布图；
空间三维点坐标获取单元，用于获取所述目标图像每一个像素点在所述目标图像的绝对相位分布图的绝对相位，并根据所述绝对相位所属区域在对应区域的三维映射系数表中查找对应的三维映射系数，利用所述三维映射系数计算得到对应的空间三维点坐标。
第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于大景深的高精度三维重建方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于大景深的高精度三维重建方法。
本发明实施例提供了一种基于大景深的高精度三维重建方法、装置及其相关组件。该方法包括：对大景深测量场景进行区域划分；利用三维测量***对划分出的每一个区域进行双目视觉立体标定，得到标定数据；其中，所述三维测量***包括成像装置和投影装置；在不同区域内利用投影装置向处于不同位置时的平面平板投射指定图案，并通过成像装置采集所述平面平板在不同位置时的平板图像，计算得到所述平面平板在不同位置时的绝对相位分布图，并根据所述标定数据计算得到所述平面平板在不同位置时的三维信息；在每一个区域内，获取所述成像装置每一个像素点在所述平面平板的绝对相位分布图中的绝对相位，并根据每个所述平面平板的三维信息与对应像素点的绝对相位之间的映射关系建立对应区域的三维映射系数表；利用投影装置向被测物体投射目标图案，并通过成像装置采集被测物体的目标焦扫图像，并将所述目标焦扫图像进行去模糊处理，得到目标图像并计算所述目标图像的绝对相位分布图；获取所述目标图像每一个像素点在所述目标图像的绝对相位分布图的绝对相位，并根据所述绝对相位所属区域在对应区域的三维映射系数表中查找对应的三维映射系数，利用所述三维映射系数计算得到对应的空间三维点坐标。本发明实施例通过对大景深场景进行区域划分，并为每一区域建立三维映射系数表，在进行三维重建时直接获取被测物体对应区域的三维映射系数，从而计算出空间三维点坐标，通过将大景深场景划分为多个区域进行计算，整个计算过程更加严谨精确，并且在建立三维映射系数表后获取被测物体的空间三维点坐标更加迅速准确。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于大景深的高精度三维重建方法的流程示意图；
图2为本发明实施例提供的基于大景深的高精度三维重建方法的模拟图；
图3为本发明实施例提供的基于大景深的高精度三维重建装置的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的一种基于大景深的高精度三维重建方法的流程示意图，该方法包括步骤S101～S106。
S101、对大景深测量场景进行区域划分；
在本步骤中，由于大景深场景较大，在进行三维重建时，若直接对大景深场景进行测量会导致精确度下降，因此，对大景深场景进行测量是需要在纵深方向把该大景深场景的测量空间进行划分，获得几个较小的测量区域。
在一实施例中，所述步骤S101之后，包括
利用标定算法对所述成像装置和投影装置的位置进行标定；
获取所述成像装置的变焦镜头测量所述大景深测量场景的总控制电流最大值与最小值，以及所述成像装置的变焦镜头聚焦于每一个区域的中心位置时对应的区域控制电流值，并记录所述总控制电流最大值与最小值以及每一区域对应的区域控制电流值。
在本步骤中，首先将所述成像装置和投影装置的位置进行标定，然后根据所述成像装置定焦时的测量深度范围以及所述成像装置的变焦镜头的屈光度变化范围，从而确定测量场景的合适的深度范围，通过改变所述变焦镜头的屈光度，从而使所述变焦镜头可以聚焦在不同区域的中心位置，然后记录所述变焦镜头聚焦于不同区域的中心位置时对应的控制电流值，调整所述变焦镜头的屈光度，使所述成像装置分别聚焦于所述大景深测量场景的最大深度和最小深度，并记录对应深度的控制电流值。在本实施例中，所述大景深测量场景的最小深度为400mm，最大深度为1000mm。
S102、利用三维测量***对划分出的每一个区域进行双目视觉立体标定，得到标定数据；其中，所述三维测量***包括成像装置和投影装置；
在本步骤中，利用带有变焦镜头的成像装置和具有MEMS振镜的投影装置组成三维测量***，利用所述三维测量***对每一区域进行双目视觉立体标定，得到标定数据。所述成像装置可以是具有变焦镜头的变焦相机，所述投影装置可以是具有MEMS振镜的投影机。
在一实施例中，所述利用三维测量***对划分出的每一个区域进行双目视觉立体标定，得到标定数据，包括：
以所述成像装置的光心为原点，并以所述成像装置的光轴为Z轴，建立成像装置坐标系；以所述投影装置的光心为原点，并以所述投影装置的光轴为Z轴，建立投影装置坐标系；
利用双目视觉立体标定算法获取所述成像装置的内在参数与成像装置坐标系之间的转换关系以及所述投影装置的内在参数与所述投影坐标系的转换关系，并计算所述成像装置坐标系与投影坐标系的转换关系，得到标定数据。
在本实施例中，获取所述成像装置和投影装置的内在参数，所述成像装置和投影装置的内在参数即内在参数矩阵，包括焦距、光心位置以及单位距离的像素点数量等。所述成像装置的内在参数与所述成像装置坐标系有一个对应的转换关系，所述投影装置的内在参数与所述投影装置坐标系也有一个对应的转换关系，并根据上述转换关系计算所述成像装置坐标系与投影坐标系的转换关系。
其中，所述成像装置的标定过程如下：
假设某一区域内中存在一点P，它在世界坐标系和成像装置坐标系下的坐标分别为(XW,YW,ZW)和(Xc,Yc,Zc)，在成像装置的成像平面上的投影坐标为(u,v)，则透视投影成像过程为：其中，sx,sy分别为沿对应图像坐标轴的图像平面单位距离的像素数(pixel/mm)；(u0,v0)为成像装置的光轴与图像平面的交点，即光心在图像平面上的投影，称为主点；fx，fy分别为沿对应图像坐标轴的等效焦距；R是一个3×3的正交矩阵，T是一个3×1的向量，R和T分别表示世界坐标系转换到成像装置坐标系的旋转和平移变换。上式可以简写为：/>其中，s为尺度因子；[R T]为外部参数矩阵；/>和/>分别为空间三维点P和其像点的齐次坐标；M为投影矩阵；K为内部参数矩阵：/>世界坐标系到成像装置坐标系的转换关系为：/>由于成像装置在成像的过程中存在偏差，因此需要计算径向畸变和切向畸变，所述径向畸变和切向畸变分别表示为：δRx＝x(k1r2+k2r4+k3r6)，δRy＝y(k1r2+k2r4+k3r6)，δTx＝2p1xy+p2(r2+2x2)，δTy＝p1(r2+2y2)+2p2xy。其中，δRx和δRy分别为x方向和y方向的径向畸变；δTx和δTy分别为x方向和y方向的切向畸变；(x,y)是理想图像坐标；表示理想像点到主点的距离；k1、k2和k3为径向畸变参数；p1和p2为切向畸变参数。考虑这两种畸变误差之后，理想像点(x,y)转化为有畸变像点(x’,y’)的过程可以表示为：x'＝x+δRx+δTx，y'＝y+δRy+δTy。
对于每一个区域，先利用所述三维测量***采集平面标靶在不同位置时的标靶图像，并根据所述标靶图像利用张正友标定算法计算所述成像装置的位置。在采集标靶图像时，先将所述平面标靶摆放至某一区域的中间位置，利用成像装置进行采集标靶图像后，将所述平面标靶变换至另一位置，继续采集标靶图像，通过将所述平面标靶进行多次位置变换，得到多组标靶图像。所述张正友标定算法的整体流程如下：首先利用成像装置拍摄多张所述平面标靶在不同位置下的标靶图像，然后对所述标靶图像进行检测，获取所述标靶图像的特征点，再求解理想无畸变情况下的成像装置的内参数和外参数并用极大似然估计提升精度，并应用最小二乘求出所述成像装置实际的径向畸变系数，根据所述成像装置的内参数、外参数以及径向畸变系数，利用极大似然法，优化估计，提升估计精度。
所述投影装置的标定过程如下：
在投影装置标定过程中，运用相位移技术获取成像装置图像和投影装置图像之间的对应关系。所述投影装置投射一组水平条纹的相位移图和格雷码编码图于平面标靶上，成像装置进行采集标靶图像。接着利用相位移加格雷码解算出平面标靶圆心(uC,vC)的水平方向的绝对相位值Фh，通过绝对相位值找到投影装置图像的一条水平对应线，其坐标值vP为：其中，Nh为水平相移图案的总条纹数；H为投影装置图像的垂直分辨率。同理，投影装置投射一组垂直条纹的相位移图和格雷码编码图，可以得到同个标定点圆心(uC,vC)的垂直方向的绝对相位值Фv，其在投影装置图像上对应的坐标值uP为：其中，Nv为垂直相移图案的总条纹数；W为投影装置图像的水平分辨率。投影装置标定参数的方法与成像装置标定的相同，投影装置的标定即求出投影装置的内部参数矩阵。
对于每一个区域，在对成像装置完成标定后，对投影装置进行标定。利用投影装置向所述平面标靶进行投射图案，成像装置采集具有图案的所述平面标靶的标靶图像，随后改变所述平面标靶的位置继续投射图案并采集标靶图像，经过多次改变所述平面标靶的位置从而得到多组标靶图像，然后利用得到的所述标靶图像计算出每个所述标靶图像的正交绝对相位分布图。具体可以利用格雷码结合相移法进行相位解码，从而计算出每个所述标靶图像的正交绝对相位分布图。格雷码加相移法既可以减少格雷码的编码位数，加快解码速度，也可以弥补单纯的相移法和格雷码法的对不连续位置难以重建的缺点。采用格雷码与相移法结合具体的编码方法为：首先向被测物投射一系列格雷码黑白条纹图案，其中具有相同编码的区域作为一个编码周期，然后再采用相移法，依次投射相移图案，使得每个编码区域被进一步连续细分。通过所述标靶图像的正交绝对相位分布图，找出成像装置像面和投影装置像面上的一对同名点，即以成像装置像面的像点为待匹配点，在投影装置像面上查找与待匹配点绝对相位相同的第一亚像素点。最后根据所述标靶图像利用张正友标定算法计算所述投影装置的位置。
S103、在不同区域内利用投影装置向处于不同位置时的平面平板投射指定图案，并通过成像装置采集所述平面平板在不同位置时的平板图像，计算得到所述平面平板在不同位置时的绝对相位分布图，并根据所述标定数据计算得到所述平面平板在不同位置时的三维信息；
在本步骤中，在每一个区域内，利用具有MEMS振镜的所述投影装置向处于不同位置时的平面平板投射指定图案，并通过所述成像装置采集平板图像，然后根据所述平板图像计算所述平面平板在不同位置时的绝对相位分布图，并且利用预先获取的标定数据计算出所述平面平板的三维信息。所述标定数据包括：成像装置和投影装置的内在参数、成像装置的变焦镜头的畸变系数和两个坐标系之间的转换关系。
所述平面平板的平板图像具体采集过程是：将所述平面平板放置在测量区域内，投影装置投射正交正弦相移条纹图案和格雷码编码图案于所述平面平板上，成像装置拍摄采集处于不同位置的所述平面平板的平板图像，然后改变所述平面平板的位置，重复投影和采集的过程，得到多组平板图像数据。
在一实施例中，所述根据所述标定数据计算得到所述平面平板在不同位置时的三维信息，包括：
根据如下公式计算三维信息：
sC[uC,vC,1]T＝KCMC[XW,YW,ZW,1]T
sP[uP,vP,1]T＝KPI[XW,YW,ZW,1]T
其中，sC和sP分别为成像装置和投影装置的尺度因子，KC和KP分别为成像装置和投影装置的内部参数矩阵，MC为成像装置的外部参数矩阵，I为单位矩阵，(uC,vC)和(uP,vP)是三维测量***畸变参数矫正后的成像装置和投影装置的图像坐标，T为矩阵的转置。
在本实施例中，所述三维测量***对P点的三维重建过程可表示为：其中，sC和sP分别为成像装置和投影装置的尺度因子，KC和KP分别为成像装置和投影装置的内部参数矩阵，MC和MP分别为成像装置和投影装置的外部参数矩阵。所述三维测量***的结构参数可表示为：/>其中，r为投影装置坐标系转换到成像装置坐标系的旋转向量，t为投影装置坐标系转换到成像装置坐标系的平移向量；把世界坐标系建立在投影装置坐标系下，这时RP为单位矩阵，TP为零矩阵，RC为世界坐标系到成像装置坐标系的旋转向量，TC为世界坐标系到成像装置坐标系的平移向量，MP＝I，三维重建过程变换为：/>其中，I为单位矩阵；(uC,vC)和(uP,vP)是***畸变参数矫正后的成像装置和投影装置的图像坐标。解算出P点三维坐标(XW,YW,ZW)之后，结合P点的绝对相位值Ф1，即得到一个区域中一个成像装置像素点的相位三维映射系数表采样数据。
S104、在每一个区域内，获取所述成像装置每一个像素点在所述平面平板的绝对相位分布图中的绝对相位，并根据每个所述平面平板的三维信息与对应像素点的绝对相位之间的映射关系建立对应区域的三维映射系数表；
在本步骤中，根据预先计算得到的所述平面平板的绝对相位分布图，获取所述成像装置每一个像素点在不同区域内对应的绝对相位，然后获取每一个像素点与对应的三维信息之间的映射关系，从而建立对应区域的三维映射系数表。在每一个区域，平面平板的一个位置信息作为一组采样数据，也就是一个像素点对应着有一个三维空间点和一个相位值。多个位置的平面平板提供多组采样数据，通过拟合出映射系数，得到一个区域每个像素的映射系数表。
在一实施例中，所述步骤S104包括：
根据所述像素点对应的三维信息，按如下公式计算三维映射系数，并建立三维映射系数表：
其中，αn，cX，bn，cY，cn和cZ为三维映射系数，N为多项式阶数，Ф为对应像素点的绝对相位。
在本实施例中，给定某一像素点mc的绝对相位为ФC，其三维空间点为(X，Y，Z)，根据该像素点的三维信息，可推导得：其中，αn，cX，bn，cY，cn和cZ对应着三个空间维度的映射系数。通过上述公式可计算出每个像素点对应的映射系数{an,bn,cn}，从而建立每一像素点在每一区域中的绝对相位对应的三维映射系数表。
S105、利用投影装置向被测物体投射目标图案，并通过成像装置采集被测物体的目标焦扫图像，并将所述目标焦扫图像进行去模糊处理，得到目标图像并计算所述目标图像的绝对相位分布图；
在本步骤中，利用具有MEMS振镜的投影装置向被测物体投射图案，所述成像装置在单帧曝光条件下采集所述被测物体的目标焦扫图像，然后对所述目标焦扫图像进行去模糊处理，得到目标图像，再计算所述目标图像的绝对相位分布图。所述成像装置在单帧曝光条件下连续进行焦平面扫描，得到目标焦扫图像，单帧曝光时间即为控制所述成像装置的变焦镜头的电流周期大小。所述电流周期随时间呈三角波变化，所述三角波的最大值和最小值为控制所述成像装置连续聚焦于整个大景深测量场景的电流值范围的最大值和最小值。通过控制所述成像装置的电流值，从而控制所述成像装置采集目标焦扫图像的单帧曝光时间。
在采集每一幅被测物体的目标焦扫图案时，所述变焦透镜的控制电流的周期为T，最大值为IH，最小值为IL的三角波电流，电流随时间t变化的函数为：其中，n为自然数。
在一实施例中，所述步骤S105包括：
将所述目标焦扫图像输入至积分点扩散函数进行解卷积操作，得到去模糊处理后的目标图像；
所述积分点扩散函数的计算公式如下：
其中，r为物点成像在成像装置传感器平面上的弥散圆中心的距离；b0为控制电子变焦透镜的电流值在0时刻，物点成像在成像装置传感器平面上的弥散圆直径；b1为物点聚焦在成像装置传感器平面上的光斑直径；b2为控制电子变焦透镜的电流值在半个周期T时刻，物点成像在成像装置传感器平面上的弥散圆直径；C1和C2为两个常量。
在本实施例中，基于所述成像装置的焦扫模型构建积分点扩散函数，并利用所述积分点扩散函数对所述目标焦扫图像进行解卷积操作，得到去模糊后的目标焦扫图像。所述积分点扩散函数的计算公式如上所述，并将计算结果用维纳滤波进行去模糊。
S106、获取所述目标图像每一个像素点在所述目标图像的绝对相位分布图的绝对相位，并根据所述绝对相位所属区域在对应区域的三维映射系数表中查找对应的三维映射系数，利用所述三维映射系数计算得到对应的空间三维点坐标。
在本步骤中，先根据所述目标焦扫图像的绝对相位分布图，判断所述目标焦扫图像对应的每一个像素点的所属区域，然后在对应区域的三维映射系数表中查找出对应的三维映射系数，利用所述三维映射系数计算出对应空间三维点坐标。
在一实施例中，所述步骤S106包括：
通过如下公式计算所述空间三维点坐标：
其中，{an,bn,cn}为对应区域的三维映射系数，Ф为该像素点的绝对相位，N为多项式阶数。
在本实施例中，获取所述成像装置各像素点在所述目标焦扫图像中的绝对相位作为目标相位，判断所述目标相位所属的区域，并根据对应区域的三维映射系数表查找出对应的三维映射系数{an,bn,cn}，根据所述绝对相位和三维映射系数计算得到空间三维点坐标。
如图2所示，若某个像素点的绝对相位为Ф，该像素点在区域1的相位值范围为Ф1 1～Ф1 n，在区域2的相位值范围为Ф2 1～Ф2 n，在区域3的相位值范围为Ф3 1～Ф3 n，在区域n的相位值范围为Фn 1～Фn n。判断该绝对相位的所属区域，若Φ2 1≤Φ≤Φ2 n，则该像素点的相位值属于区域2，在区域2的三维映射系数表中查找出该像素点对应的三维映射系数，按下式计算得到对应的空间三维点坐标：其中，{an,bn,cn}为区域2对应的三维映射系数。
若Φ2 1≤Φ≤Φ2 n且Φ1 1≤Φ≤Φ1 n，则要判断Ф属于哪个区域的条件为：当L≥0时，该像点的相位值属于区域1；当L＜0时，该像点的相位值属于区域2。
请参阅图3，图3为本发明实施例提供的一种基于大景深的高精度三维重建装置的示意性框图，该基于大景深的高精度三维重建装置200包括：
区域划分单元201，用于对大景深测量场景进行区域划分；
标定数据获取单元202，用于利用三维测量***对划分出的每一个区域进行双目视觉立体标定，得到标定数据；其中，所述三维测量***包括成像装置和投影装置；
三维信息获取单元203，用于在不同区域内利用投影装置向处于不同位置时的平面平板投射指定图案，并通过成像装置采集所述平面平板在不同位置时的平板图像，计算得到所述平面平板在不同位置时的绝对相位分布图，并根据所述标定数据计算得到所述平面平板在不同位置时的三维信息；
三维映射系数表获取单元204，用于在每一个区域内，获取所述成像装置每一个像素点在所述平面平板的绝对相位分布图中的绝对相位，并根据每个所述平面平板的三维信息与对应像素点的绝对相位之间的映射关系建立对应区域的三维映射系数表；
目标焦扫图像获取单元205，用于利用投影装置向被测物体投射目标图案，并通过成像装置采集被测物体的目标焦扫图像，并将所述目标焦扫图像进行去模糊处理，得到目标图像并计算所述目标图像的绝对相位分布图；
空间三维点坐标获取单元206，用于获取所述目标图像每一个像素点在所述目标图像的绝对相位分布图的绝对相位，并根据所述绝对相位所属区域在对应区域的三维映射系数表中查找对应的三维映射系数，利用所述三维映射系数计算得到对应的空间三维点坐标。
在一实施例中，所述区域划分单元201之后包括：
位置标定单元，用于利用标定算法对所述成像装置和投影装置的位置进行标定；
控制电流值记录单元，用于获取所述成像装置的变焦镜头测量所述大景深测量场景的总控制电流最大值与最小值，以及所述成像装置的变焦镜头聚焦于每一个区域的中心位置时对应的区域控制电流值，并记录所述总控制电流最大值与最小值以及每一区域对应的区域控制电流值。
在一实施例中，所述标定数据获取单元202包括：
坐标系建立单元，用于以所述成像装置的光心为原点，并以所述成像装置的光轴为Z轴，建立成像装置坐标系；以所述投影装置的光心为原点，并以所述投影装置的光轴为Z轴，建立投影装置坐标系；
标定数据计算单元，用于利用双目视觉立体标定算法获取所述成像装置的内在参数与成像装置坐标系之间的转换关系以及所述投影装置的内在参数与所述投影坐标系的转换关系，并计算所述成像装置坐标系与投影坐标系的转换关系，得到标定数据。
在一实施例中，所述三维信息获取单元203包括：
三维信息公式计算单元，用于根据如下公式计算三维信息：
sC[uC,vC,1]T＝KCMC[XW,YW,ZW,1]T
sP[uP,vP,1]T＝KPI[XW,YW,ZW,1]T
其中，sC和sP分别为成像装置和投影装置的尺度因子，KC和KP分别为成像装置和投影装置的内部参数矩阵，MC为成像装置的外部参数矩阵，I为单位矩阵，(uC,vC)和(uP,vP)是三维测量***畸变参数矫正后的成像装置和投影装置的图像坐标，T为矩阵的转置。
在一实施例中，所述三维映射系数表获取单元204包括：
三维映射系数计算单元，用于根据所述像素点对应的三维信息，按如下公式计算三维映射系数，并建立三维映射系数表：
其中，αn，cX，bn，cY，cn和cZ为三维映射系数，N为多项式阶数，Ф为对应像素点的绝对相位。
在一实施例中，所述目标焦扫图像获取单元205包括：
去模糊处理单元，用于将所述目标焦扫图像输入至积分点扩散函数进行解卷积操作，得到去模糊处理后的目标图像；
积分点扩散函数计算单元，用于所述积分点扩散函数的计算公式如下：
其中，r为物点成像在成像装置传感器平面上的弥散圆中心的距离；b0为控制电子变焦透镜的电流值在0时刻，物点成像在成像装置传感器平面上的弥散圆直径；b1为物点聚焦在成像装置传感器平面上的光斑直径；b2为控制电子变焦透镜的电流值在半个周期T时刻，物点成像在成像装置传感器平面上的弥散圆直径；C1和C2为两个常量。
在一实施例中，所述空间三维点坐标获取单元206包括：
空间三维点坐标计算单元，用于通过如下公式计算所述空间三维点坐标：
其中，{an,bn,cn}为对应区域的三维映射系数，Ф为该像素点的绝对相位，N为多项式阶数。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于大景深的高精度三维重建方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于大景深的高精度三维重建方法。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (9)
1.一种基于大景深的高精度三维重建方法，其特征在于，包括以下步骤：
对大景深测量场景进行区域划分；
利用三维测量***对划分出的每一个区域进行双目视觉立体标定，得到标定数据；其中，所述三维测量***包括成像装置和投影装置；
在不同区域内利用投影装置向处于不同位置时的平面平板投射指定图案，并通过成像装置采集所述平面平板在不同位置时的平板图像，计算得到所述平面平板在不同位置时的绝对相位分布图，并根据所述标定数据计算得到所述平面平板在不同位置时的三维信息；
在每一个区域内，获取所述成像装置每一个像素点在所述平面平板的绝对相位分布图中的绝对相位，并根据每个所述平面平板的三维信息与对应像素点的绝对相位之间的映射关系建立对应区域的三维映射系数表；
利用投影装置向被测物体投射目标图案，并通过成像装置采集被测物体的目标焦扫图像，并将所述目标焦扫图像进行去模糊处理，得到目标图像并计算所述目标图像的绝对相位分布图；
获取所述目标图像每一个像素点在所述目标图像的绝对相位分布图的绝对相位，并根据所述绝对相位所属区域在对应区域的三维映射系数表中查找对应的三维映射系数，利用所述三维映射系数计算得到对应的空间三维点坐标；
所述利用投影装置向被测物体投射目标图案，并通过成像装置采集被测物体的目标焦扫图像，并将所述目标焦扫图像进行去模糊处理，得到目标图像并计算所述目标图像的绝对相位分布图，包括：
将所述目标焦扫图像输入至积分点扩散函数进行解卷积操作，得到去模糊处理后的目标图像；
所述积分点扩散函数的计算公式如下：
其中，r为物点成像在成像装置传感器平面上的弥散圆中心的距离；b0为控制电子变焦透镜的电流值在0时刻，物点成像在成像装置传感器平面上的弥散圆直径；b1为物点聚焦在成像装置传感器平面上的光斑直径；b2为控制电子变焦透镜的电流值在半个周期T时刻，物点成像在成像装置传感器平面上的弥散圆直径；C1和C2为两个常量。
2.根据权利要求1所述的基于大景深的高精度三维重建方法，其特征在于，所述对大景深测量场景进行区域划分之后，包括：
利用标定算法对所述成像装置和投影装置的位置进行标定；
获取所述成像装置的变焦镜头测量所述大景深测量场景的总控制电流最大值与最小值，以及所述成像装置的变焦镜头聚焦于每一个区域的中心位置时对应的区域控制电流值，并记录所述总控制电流最大值与最小值以及每一区域对应的区域控制电流值。
3.根据权利要求1所述的基于大景深的高精度三维重建方法，其特征在于，所述利用三维测量***对划分出的每一个区域进行双目视觉立体标定，得到标定数据，包括：
以所述成像装置的光心为原点，并以所述成像装置的光轴为Z轴，建立成像装置坐标系；以所述投影装置的光心为原点，并以所述投影装置的光轴为Z轴，建立投影装置坐标系；
利用双目视觉立体标定算法获取所述成像装置的内在参数与成像装置坐标系之间的转换关系以及所述投影装置的内在参数与所述投影装置坐标系的转换关系，并计算所述成像装置坐标系与投影装置坐标系的转换关系，得到标定数据。
4.根据权利要求1所述的基于大景深的高精度三维重建方法，其特征在于，所述根据所述标定数据计算得到所述平面平板在不同位置时的三维信息，包括：
根据如下公式计算三维信息：
其中，s C 和s P 分别为成像装置和投影装置的尺度因子，K C 和K P 分别为成像装置和投影装置的内部参数矩阵，M C 为成像装置的外部参数矩阵，I为单位矩阵，（u C , v C ）和（u P , v P ）是三维测量***畸变参数矫正后的成像装置和投影装置的图像坐标，T为矩阵的转置。
5.根据权利要求1所述的基于大景深的高精度三维重建方法，其特征在于，所述在每一个区域内，获取所述成像装置每一个像素点在所述平面平板的绝对相位分布图中的绝对相位，并根据每个所述平面平板的三维信息与对应像素点的绝对相位之间的映射关系建立对应区域的三维映射系数表，包括：
根据所述像素点对应的三维信息，按如下公式计算三维映射系数，并建立三维映射系数表：
其中，α n ，c X ，b n ，c Y ，c n 和c Z 为三维映射系数，N为多项式阶数，Ф为对应像素点的绝对相位。
6.根据权利要求1所述的基于大景深的高精度三维重建方法，其特征在于，所述获取所述目标图像每一个像素点在所述目标图像的绝对相位分布图的绝对相位，并根据所述绝对相位所属区域在对应区域的三维映射系数表中查找对应的三维映射系数，利用所述三维映射系数计算得到对应的空间三维点坐标，包括：
通过如下公式计算所述空间三维点坐标：
其中，{a n ,b n ,c n }为对应区域的三维映射系数，Ф为该像素点的绝对相位，N为多项式阶数。
7.一种基于大景深的高精度三维重建装置，其特征在于，包括：
区域划分单元，用于对大景深测量场景进行区域划分；
标定数据获取单元，用于利用三维测量***对划分出的每一个区域进行双目视觉立体标定，得到标定数据；其中，所述三维测量***包括成像装置和投影装置；
三维信息获取单元，用于在不同区域内利用投影装置向处于不同位置时的平面平板投射指定图案，并通过成像装置采集所述平面平板在不同位置时的平板图像，计算得到所述平面平板在不同位置时的绝对相位分布图，并根据所述标定数据计算得到所述平面平板在不同位置时的三维信息；
三维映射系数表获取单元，用于在每一个区域内，获取所述成像装置每一个像素点在所述平面平板的绝对相位分布图中的绝对相位，并根据每个所述平面平板的三维信息与对应像素点的绝对相位之间的映射关系建立对应区域的三维映射系数表；
目标焦扫图像获取单元，用于利用投影装置向被测物体投射目标图案，并通过成像装置采集被测物体的目标焦扫图像，并将所述目标焦扫图像进行去模糊处理，得到目标图像并计算所述目标图像的绝对相位分布图；
空间三维点坐标获取单元，用于获取所述目标图像每一个像素点在所述目标图像的绝对相位分布图的绝对相位，并根据所述绝对相位所属区域在对应区域的三维映射系数表中查找对应的三维映射系数，利用所述三维映射系数计算得到对应的空间三维点坐标；
所述目标焦扫图像获取单元包括：
去模糊处理单元，用于将所述目标焦扫图像输入至积分点扩散函数进行解卷积操作，得到去模糊处理后的目标图像；
积分点扩散函数计算单元，用于所述积分点扩散函数的计算公式如下：
其中，r为物点成像在成像装置传感器平面上的弥散圆中心的距离；b0为控制电子变焦透镜的电流值在0时刻，物点成像在成像装置传感器平面上的弥散圆直径；b1为物点聚焦在成像装置传感器平面上的光斑直径；b2为控制电子变焦透镜的电流值在半个周期T时刻，物点成像在成像装置传感器平面上的弥散圆直径；C1和C2为两个常量。
8.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的基于大景深的高精度三维重建方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至6任一项所述的基于大景深的高精度三维重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110529545.1A CN113160393B (zh) | 2021-05-14 | 2021-05-14 | 基于大景深的高精度三维重建方法、装置及其相关组件 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110529545.1A CN113160393B (zh) | 2021-05-14 | 2021-05-14 | 基于大景深的高精度三维重建方法、装置及其相关组件 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113160393A CN113160393A (zh) | 2021-07-23 |
| CN113160393B true CN113160393B (zh) | 2023-08-04 |
Family
ID=76875231
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110529545.1A Active CN113160393B (zh) | 2021-05-14 | 2021-05-14 | 基于大景深的高精度三维重建方法、装置及其相关组件 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113160393B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115546285B (zh) * | 2022-11-25 | 2023-06-02 | 南京理工大学 | 基于点扩散函数解算的大景深条纹投影三维测量方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106767405A (zh) * | 2016-12-15 | 2017-05-31 | 深圳大学 | 相位映射辅助三维成像***快速对应点匹配的方法及装置 |
| CN107358631A (zh) * | 2017-06-27 | 2017-11-17 | 大连理工大学 | 一种虑及三维畸变的双目视觉重建方法 |
| CN110477936A (zh) * | 2019-08-20 | 2019-11-22 | 新里程医用加速器(无锡)有限公司 | 射线成像***的限束器标定方法、装置、设备及介质 |
| CN111649691A (zh) * | 2020-03-06 | 2020-09-11 | 福州大学 | 基于单像素探测器的数字条纹投影三维成像***及方法 |
-
2021
- 2021-05-14 CN CN202110529545.1A patent/CN113160393B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106767405A (zh) * | 2016-12-15 | 2017-05-31 | 深圳大学 | 相位映射辅助三维成像***快速对应点匹配的方法及装置 |
| CN107358631A (zh) * | 2017-06-27 | 2017-11-17 | 大连理工大学 | 一种虑及三维畸变的双目视觉重建方法 |
| CN110477936A (zh) * | 2019-08-20 | 2019-11-22 | 新里程医用加速器(无锡)有限公司 | 射线成像***的限束器标定方法、装置、设备及介质 |
| CN111649691A (zh) * | 2020-03-06 | 2020-09-11 | 福州大学 | 基于单像素探测器的数字条纹投影三维成像***及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113160393A (zh) | 2021-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104061879B (zh) | 一种连续扫描的结构光三维面形垂直测量方法 | |
| CN103003665B (zh) | 立体测距装置 | |
| JP4873485B2 (ja) | 多数の基準面を用いた形状計測方法および形状計測装置 | |
| CN112465912B (zh) | 一种立体相机标定方法及装置 | |
| CN108020175B (zh) | 一种多光栅投影双目视觉舌体表面三维整体成像方法 | |
| CN113205593B (zh) | 一种基于点云自适应修复的高反光表面结构光场三维重建方法 | |
| CN112967342B (zh) | 一种高精度三维重建方法、***、计算机设备及存储介质 | |
| CN111080705B (zh) | 一种自动对焦双目摄像头标定方法及装置 | |
| CN113205592B (zh) | 一种基于相位相似性的光场三维重建方法及*** | |
| CN113160339A (zh) | 一种基于沙姆定律的投影仪标定方法 | |
| CN115546285B (zh) | 基于点扩散函数解算的大景深条纹投影三维测量方法 | |
| JP2010032260A (ja) | 光学系歪補正方法および光学系歪補正装置 | |
| CN115578296B (zh) | 一种立体视频处理方法 | |
| CN114792345B (zh) | 一种基于单目结构光***的标定方法 | |
| JP2013254097A (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
| CN113160393B (zh) | 基于大景深的高精度三维重建方法、装置及其相关组件 | |
| CN110108230B (zh) | 基于图像差分与lm迭代的二值光栅投影离焦程度评估方法 | |
| CN117450955B (zh) | 基于空间环形特征的薄型物体三维测量方法 | |
| CN113251953B (zh) | 一种基于立体偏折技术的镜面夹角测量装置和方法 | |
| CN114219866A (zh) | 双目结构光三维重建方法、重建***及重建设备 | |
| Chen et al. | Finding optimal focusing distance and edge blur distribution for weakly calibrated 3-D vision | |
| CN109859313B (zh) | 3d点云数据获取方法、装置、3d数据生成方法及*** | |
| CN114993207B (zh) | 基于双目测量***的三维重建方法 | |
| Mannan et al. | Optimal camera parameters for depth from defocus | |
| CN113865514B (zh) | 一种线结构光三维测量***标定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |