CN110706292B - 一种基于机器视觉的二维工作台误差自标定方法 - Google Patents
一种基于机器视觉的二维工作台误差自标定方法 Download PDFInfo
- Publication number
- CN110706292B CN110706292B CN201910942572.4A CN201910942572A CN110706292B CN 110706292 B CN110706292 B CN 110706292B CN 201910942572 A CN201910942572 A CN 201910942572A CN 110706292 B CN110706292 B CN 110706292B
- Authority
- CN
- China
- Prior art keywords
- error
- picture
- feature point
- self
- transformation matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明属于机床误差检测领域,并具体公开了一种基于机器视觉的二维工作台误差自标定方法,包括如下步骤:S1相机沿同一方向等距拍摄二维工作台上待测物的数张图片;S2获取第n张和第n+1张图片的对应特征点集,根据该对应特征点集求得单应性变换矩阵,根据该单应性变换矩阵从预构建的误差分离模型中分离出误差值,以此误差值对第n+1张图片进行误差补偿,n=1;S3对误差补偿后的第n+1张图片和第n+2张图片按S2中方法对第n+2张图片进行误差补偿;S4 n=n+1,重复S3直至完成对最后一张图片的误差补偿,从而实现误差自标定。本发明实现了连续动态误差测量,并同步测量多项几何误差,测量精度高、速度快。
Description
技术领域
本发明属于机床误差检测领域,更具体地,涉及一种基于机器视觉的二维工作台误差自标定方法。
背景技术
随着现代制造技术的快速发展,产品尺寸也向着微小、超精密的方向发展,同时对测量精度和检测速度提出了更高的要求。基于机器视觉的影像测量技术作为一种先进高效的非接触测量手段,广泛应用在电子、机械、医疗、航空等不同领域,具体如PCB板焊点检测、机械零件尺寸和表面质量测量、产品分拣等。
影像测量仪在对工件进行检测时,通过二维工作台移动待测物,然后光学成像***进行快速扫描和检测。但丝杆的回程误差,导轨的几何误差都会导致工作台移动过程中的定位误差,经过多次移动,检测点的定位误差逐步增加,严重影响***的检测精度,同时也会影响图像拼接和其他功能的精度。因此对二维工作台定位误差的检测和补偿是保证测控精度必不可少环节,国内外学者已经对二维工作台的误差测量和补偿进行了大量的研究,主要分为两类:
其一是利用光学的方法进行误差检测,如干涉法、准直法等,文献“Gao W,Arai Y,Shibuya A,et al.Measurement of multi-degree-of-freedom error motions of aprecision linear air-bearing stage[J].Precision Engineering,2006,30(1):96-103”利用激光干涉仪分别搭配反射镜,角锥棱镜,角度转向单元后等光学元件来实现对单轴的六项几何误差测量;文献“Lee S W,Mayor R,Ni J.Development of a Six-Degree-of-Freedom Geometric Error Measurement System for a Meso-Scale Machine Tool[J].Journal of Manufacturing Science and Engineering,2005,127(4):1401–1403”通过改变测量光线的传播方向,将定位误差转变为面内位移,通过构建的误差分离模型对直线轴的六项几何误差进行测量;文献“CHEN C J,LIN P D,JYWE W Y.An aptoelectronicmeasurement system for measuring six-degree-of-freedom-motion error of rotaryparts[J].Optics express,2007,15(22):14607-14617”提出一种基于锥形六棱镜的转轴六项几何误差的测量方法,利用3各探测器分别接收3束激光进行测量。光学测量法往往需要高精度的测量设备和光学元件如激光干涉仪、激光跟踪仪、反射镜、棱镜等,但上述检测仪器都存在价格昂贵,同时测量过程复杂且受环境的影响较大的问题。
其二是利用标准件进行误差检测,如文献“Luo P F,Pan S P,Chu TC.Application of computer vision and laser interferometer to the inspectionof line scale[J].Optics and Lasers in Engineering,2004,42(5):563-584”提出以线纹尺为标准件应用机器视觉检测轴向定位误差的方法,其以线纹尺条纹宽度的中心线为标准,以中心线的像素偏差作为轴向定位误差,同时利用激光干涉仪检测轴向定位误差,以验证其方法的准确性,但其测量准确性受线纹尺摆正误差影响较大;文献“Zou D H,Jia R Q,Zhang C.Precision Compensation Method for Positioning Error of WorkbenchBased on Machine Vision[J].Laser&Optoelectronics Progress,2018.5”提出利用标准阵列实心圆板对影像测量仪工作平台定位误差的补偿方法,摆正球板,通过移动工作台依次使阵列圆心与图像中心重合,并记录当前位置,通过多项式拟合获得拟合系数,并用于工作台定位误差补偿,补偿后工作台定位精度在2μm,但其也存在球板的摆正误差和制造误差;文献“Ye J,Takac M,Berglund CN,et al.Exact algorithm self-calibration oftwo-dimensional precision metrology stages[J].Precision Engineering,1997,20(1):16-32”提出基于傅里叶变换二维工作台的误差自标定算法,其需要测量标准栅格板三个不同位置视图,但该算法受噪声影响较大,鲁棒习较差;国内外学者对J.Ye和M.Takac提出的自标定算法进行改进,提出应用最小二乘和迭代法的二维工作台***误差的自标定方法,但其需要在几个不同位置对栅格板测量,每个位置都存在位置误差和旋转偏差无法消除。采用标准件进行影像测量仪工作误差标定和补偿过程中,均存在标准器件的制造偏差和位置偏差无法消除的问题。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种基于机器视觉的二维工作台误差自标定方法及装置,其目的在于,通过相机沿同一方向等距拍摄二维工作台上待测物的数张图片,然后对图片进行特征点匹配从而计算出单应性变换矩阵,进而从预构建的误差分离模型中分离获得二维工作台的各项误差,无需对待测件进行人为标记和考虑轴线重合,测量精度高,并可以实现连续动态误差测量。
为实现上述目的,本发明提出了一种基于机器视觉的二维工作台误差自标定方法,包括如下步骤:
S1利用相机沿同一方向每移动距离T对二维工作台上的待测物进行一次拍摄,使每次拍摄的图片与前一个位置拍摄的图片有重叠区域,从而获得数张图片;
S2对第n张和第n+1张图片进行特征点匹配,得到两张图片中的对应特征点集,根据该对应特征点集求得单应性变换矩阵,进而根据该单应性变换矩阵从预构建的误差分离模型中分离出误差值,以此误差值对第n+1张图片进行误差补偿,n=1;
S3对误差补偿后的第n+1张图片和第n+2张图片进行特征点匹配,得到两张图片中的对应特征点集,根据该对应特征点集求得单应性变换矩阵,进而根据该单应性变换矩阵从预构建的误差分离模型中分离出误差值,以此误差值对第n+2张图片进行误差补偿;
S4 n=n+1,重复S3直至完成对最后一张图片的误差补偿,从而实现误差自标定。
作为进一步优选的,每次拍摄的图片与前一个位置拍摄的图片重叠区域大于30%。
作为进一步优选的,采用尺度不变特征变换方法对两张图片重叠区域的60%~80%进行特征点匹配。
作为进一步优选的,采用下式计算单应性变换矩阵H:
P′n+1=Pn+T/a
作为进一步优选的,采用随机抽样一致算法选取对应特征点集中的部分点来计算单应性变换矩阵。
作为进一步优选的,预构建的误差分离模型Merr为:
其中,a和b分别表示图片中一个像素长度和宽度对应的实际物理距离,(u0,v0)为图片中心点的坐标,(xv,yv)为相机的坐标;Δxx、Δyx、Δγx分别为定位误差、直线度误差和偏转误差。
作为进一步优选的,根据单应性变换矩阵H从预构建的误差分离模型Merr中分离误差值的公式如下,从而分离得到定位误差Δxx、直线度误差Δy和偏转误差Δγx:
H-E=Merr
其中,E为3×3的单位矩阵。
作为进一步优选的,所述相机移动过程中不重复对焦。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,主要具备以下的技术优点:
1.本发明通过对任意表面的非标准器件进行检测,不需要对非标器件表面进行人为标记,也无需考虑采用标准器件误差检测时,标准间轴线与工作台轴线不重合的问题,只需保证任意表面非标器件充满相机视野即可;同时实现了连续动态测量,极大的提高了测量效率,测量精度约为0.1个像素,兼具可观的测量精度、速度、灵活性及成本优势,适用于高精度机床、工作台的快速误差检测。
2.本发明通过将相机成像原理与二维工作台误差产生原理相结合,构建了二维工作台误差分离模型,解决了任意表面成像特征点在二维工作台不同位置的像素偏差与二维工作台误差之间的关系,相较于现有以干涉仪为核心测量手段的误差检测技术,通过构建误差分离模型可以同步测量分离出二维工作台的多项几何误差。
3.本发明采用随机抽样一致算法选取对应特征点集中的部分点来计算单应性变换矩阵,以保证单应性变换矩阵的准确性,同时减少计算量。
附图说明
图1是本发明实施例二维工作台误差自标定方法流程示意图;
图2是本发明实施例相机测量原理示意图;
图3是本发明实施例构建的二维工作台误差测量和干涉仪测量实物图;
图4是本发明实施例特征点检测与匹配示意图;
图5是本发明实施例二维工作台X轴定位误差检测与激光干涉仪定位误差测量结果对比图;
图6是本发明实施例二维工作台X轴直线度误差检测与激光干涉仪直线度误差测量结果对比图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明实施例提供的一种基于机器视觉的二维工作台误差自标定方法,如图1所示,包括如下步骤:
S1以二维工作台所在平面为XOY面建立空间直角坐标系即为测量坐标系,包含CCD相机的影像测量仪安装在Z轴上,光源为分布均匀的LED前环形光源,待测物放置在二维工作台上;将影像测量仪归零,CCD相机进行对焦,使待测物充满相机视野,相机在初始位置对待测物拍摄第一张图片im1,然后CCD相机沿X轴每移动距离T对待测物进行一次拍摄,当沿X轴运动时相机没有Y向和Z向的位移(沿Y轴移动时同理),如图2所示,在移动过程中CCD相机不重复对焦,并使相机每次拍摄的图片与前一个位置拍摄的图片的重叠区域大于30%,获得数张图片;
S2如图4所示,采用尺度不变特征变换(sift)方法对第一张图片im1和第二张图片im2重叠区域的60%~80%进行特征点检测,基于特征描述子进行特征点匹配,得到两张图片的对应特征点集,该对应特征点集中属于im1的特征点集为P1,属于im2的特征点集为P2,进而根据P1和P2得到单应性变换矩阵H1,根据该单应性变换矩阵H1从预构建的误差分离模型Merr分离出误差,并以此误差值对图片im2进行误差补偿得到图片im2′;
S3根据补偿后的图片im2′和第三张图片im3,按照S2中的方法对im3进行误差补偿得到im3',即从n=2开始,依次根据误差补偿后的前一张图片imn'和后一张图片imn+1得到两张图片的对应特征点集Pn和Pn+1,进而根据Pn和Pn+1得到相应的单应性变换矩阵Hn,根据该单应性变换矩阵Hn从预构建的误差分离模型Merr分离出误差值,并以此误差值对后一张图片imn+1进行误差补偿得到imn+1′,不断迭代直至完成对最后一张图片的误差补偿,实现误差自标定。
具体的,采用下式计算单应性变换矩阵Hn:
P′n+1=Pn+T/a
进而采用下式根据单应性变换矩阵Hn从预构建的误差分离模型Merr分离出误差值(包括定位误差Δxx、直线度误差Δyx和绕Z轴的偏转误差Δγx):
其中,a和b分别表示图片中一个像素长度和宽度对应的实际物理距离(根据相机标定获得),(u0,v0)为图片中心点在像素坐标系下的坐标(像素坐标系是以图片平面为XOY面构建的平面直角坐标系),(xv,yv)为拍摄后一张图片时相机在测量坐标系下的坐标(即拍摄图片imn+1时相机在测量坐标系下的坐标),E为3×3的单位矩阵;
更具体的,像素坐标系与测量坐标系的转化关系如下式:
其中,(u,v)和(x,y,z)分别为同一点在像素坐标系下的坐标和在测量坐标系下的坐标,Mire为相机内参矩阵,Mere为相机外参矩阵,s为比例因子。
进一步的,采用随机抽样一致(RANSAC)算法,按预定阈值选取对应特征点集中的部分点来计算单应性变换矩阵。
以下为具体实施例:
实施例1
S1图像采集步骤:将影像测量仪归零,将硬币沿工作台的X轴拍成一列然后对焦,在CCD相机坐标(0,0,Z)处拍摄第一张图片im1,图片的分辨率为1024×1280;然后CCD相机沿X轴依次移动距离5mm,当沿X轴运动时CCD相机坐标Y值和Z值保持不变,测量范围0-100mm,共获取21张图片;在运动过程中CCD相机不重复对焦,并使当前位置拍摄的图片与前一位置拍摄的图片具重叠约40%;
S2图像处理步骤:按照前述方法对获取的图片进行误差补偿,完成二维工作台误差自标定;
S3准确性验证:为验证本发明提出的二维工作台误差检测方法的准确性,如图3所示,同时利用激光干涉仪对二维工作台X轴定位误差进行检测,测量范围均为0-100mm,测量间隔5mm,激光干涉仪和本方法同时测量,保证测量环境的一致性,两种方法的测量结果如图5和图6所示,结果表明两种方法的测量结果大致相同,且本发明方法的稳定性更高。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于机器视觉的二维工作台误差自标定方法,其特征在于,包括如下步骤:
S1利用相机沿同一方向每移动距离T对二维工作台上的待测物进行一次拍摄,使每次拍摄的图片与前一个位置拍摄的图片有重叠区域,从而获得数张图片;
S2对第n张和第n+1张图片进行特征点匹配,得到两张图片中的对应特征点集,根据该对应特征点集求得单应性变换矩阵,进而根据该单应性变换矩阵从预构建的误差分离模型中分离出误差值,以此误差值对第n+1张图片进行误差补偿,n=1;
预构建的误差分离模型Merr为:
其中,a和b分别表示图片中一个像素长度和宽度对应的实际物理距离,(u0,v0)为图片中心点的坐标,(xv,yv)为相机的坐标;Δxx、Δyx、Δγx分别为定位误差、直线度误差和偏转误差;
S3对误差补偿后的第n+1张图片和第n+2张图片进行特征点匹配,得到两张图片中的对应特征点集,根据该对应特征点集求得单应性变换矩阵,进而根据该单应性变换矩阵从预构建的误差分离模型中分离出误差值,以此误差值对第n+2张图片进行误差补偿;
S4 n=n+1,重复S3直至完成对最后一张图片的误差补偿,从而实现误差自标定。
2.如权利要求1所述的基于机器视觉的二维工作台误差自标定方法,其特征在于,每次拍摄的图片与前一个位置拍摄的图片重叠区域大于30%。
3.如权利要求1所述的基于机器视觉的二维工作台误差自标定方法,其特征在于,采用尺度不变特征变换方法对两张图片重叠区域的60%~80%进行特征点匹配。
5.如权利要求4所述的基于机器视觉的二维工作台误差自标定方法,其特征在于,采用随机抽样一致算法选取对应特征点集中的部分点来计算单应性变换矩阵。
6.如权利要求1所述的基于机器视觉的二维工作台误差自标定方法,其特征在于,根据单应性变换矩阵H从预构建的误差分离模型Merr中分离误差值的公式如下,从而分离得到定位误差Δxx、直线度误差Δyx和偏转误差Δγx:
H-E=Merr
其中,E为3×3的单位矩阵。
7.如权利要求1-6任一项所述的基于机器视觉的二维工作台误差自标定方法,其特征在于,相机移动过程中不重复对焦。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910942572.4A CN110706292B (zh) | 2019-09-30 | 2019-09-30 | 一种基于机器视觉的二维工作台误差自标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910942572.4A CN110706292B (zh) | 2019-09-30 | 2019-09-30 | 一种基于机器视觉的二维工作台误差自标定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110706292A CN110706292A (zh) | 2020-01-17 |
CN110706292B true CN110706292B (zh) | 2022-07-12 |
Family
ID=69197760
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910942572.4A Active CN110706292B (zh) | 2019-09-30 | 2019-09-30 | 一种基于机器视觉的二维工作台误差自标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110706292B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111890255B (zh) * | 2020-07-29 | 2021-10-01 | 苏州华兴源创科技股份有限公司 | 一种压接方法及压接*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103197599A (zh) * | 2013-03-25 | 2013-07-10 | 东华大学 | 基于机器视觉的数控工作台误差自校正***及方法 |
EP2639766A1 (en) * | 2012-03-13 | 2013-09-18 | Canon Kabushiki Kaisha | Model generation apparatus, information processing apparatus, model generation method, and information processing method |
CN103676976A (zh) * | 2013-12-23 | 2014-03-26 | 中国地质科学院地质研究所 | 三维工作台重复定位误差的校正方法 |
CN109785393A (zh) * | 2018-12-29 | 2019-05-21 | 西安理工大学 | 一种基于平面运动约束的相机自标定方法 |
-
2019
- 2019-09-30 CN CN201910942572.4A patent/CN110706292B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2639766A1 (en) * | 2012-03-13 | 2013-09-18 | Canon Kabushiki Kaisha | Model generation apparatus, information processing apparatus, model generation method, and information processing method |
CN103197599A (zh) * | 2013-03-25 | 2013-07-10 | 东华大学 | 基于机器视觉的数控工作台误差自校正***及方法 |
CN103676976A (zh) * | 2013-12-23 | 2014-03-26 | 中国地质科学院地质研究所 | 三维工作台重复定位误差的校正方法 |
CN109785393A (zh) * | 2018-12-29 | 2019-05-21 | 西安理工大学 | 一种基于平面运动约束的相机自标定方法 |
Non-Patent Citations (1)
Title |
---|
"一种双目视觉测量误差校正技术的研究";王岚;《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》;20190715;第I138-1147页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110706292A (zh) | 2020-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109029299B (zh) | 舱段销孔对接转角的双相机测量装置及测量方法 | |
CN109859272B (zh) | 一种自动对焦双目摄像头标定方法及装置 | |
Shi et al. | A simultaneous calibration technique of the extrinsic and turntable for structured-light-sensor-integrated CNC system | |
Zhu et al. | Noncontact 3-D coordinate measurement of cross-cutting feature points on the surface of a large-scale workpiece based on the machine vision method | |
Gao et al. | Stereo camera calibration for large field of view digital image correlation using zoom lens | |
WO2018168757A1 (ja) | 画像処理装置、システム、画像処理方法、物品の製造方法、プログラム | |
CN114199160B (zh) | 基于二值编码光栅散焦投影的电路板元器件几何检测方法 | |
CN109773589B (zh) | 对工件表面进行在线测量和加工导引的方法及装置、设备 | |
CN110706292B (zh) | 一种基于机器视觉的二维工作台误差自标定方法 | |
CN107976146B (zh) | 一种线阵ccd相机的自标定方法及测量方法 | |
CN113916128A (zh) | 一种基于光笔式视觉测量***的提高精度的方法 | |
Hu et al. | Image correlation method for full-field deformation measurements during metal sheet welding processes | |
CN112767494A (zh) | 基于标定算法的精确测量定位方法 | |
CN110458894B (zh) | 一种测量机的相机与接触式测头的标定方法 | |
CN115289997B (zh) | 一种双目相机三维轮廓扫描仪及其使用方法 | |
Zhang et al. | Improved camera calibration method and accuracy analysis for binocular vision | |
CN113012279B (zh) | 一种非接触三维成像测量方法、***及计算机可读存储介质 | |
CN114170321A (zh) | 一种基于测距的相机自标定方法及*** | |
CN105841636B (zh) | 基于直线运动部件误差补偿的光轴与物面垂直度检测方法 | |
CN110428471B (zh) | 一种针对光学自由曲面子孔径偏折测量的精确自定位方法 | |
CN108106818B (zh) | 光学成像***倍率与畸变高精度测量装置及测量方法 | |
CN111612071A (zh) | 一种从曲面零件阴影图生成深度图的深度学习方法 | |
Miyashita et al. | Real-Time Inspection of Rod Straightness and Appearance by Non-Telecentric Camera Array | |
Zhao et al. | Study on the Technologies of Close Range Photogrammetry and Applications in the Manufacture of Aviation | |
CN113077517B (zh) | 基于光束直线特性的空间光测***标定装置及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |