CN106482637B - 一种旋转标记点旋转中心的提取方法 - Google Patents
一种旋转标记点旋转中心的提取方法 Download PDFInfo
- Publication number
- CN106482637B CN106482637B CN201610843024.2A CN201610843024A CN106482637B CN 106482637 B CN106482637 B CN 106482637B CN 201610843024 A CN201610843024 A CN 201610843024A CN 106482637 B CN106482637 B CN 106482637B
- Authority
- CN
- China
- Prior art keywords
- point
- image
- extraction
- fan
- rotary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000000605 extraction Methods 0.000 claims abstract description 70
- 230000005484 gravity Effects 0.000 claims description 25
- 238000013461 design Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明一种旋转标记点旋转中心的提取方法属于机器视觉测量技术领域,涉及一种旋转标记点以及自动快速准确的标记点提取方法。该方法采用旋转扇形标记点,将扇形标记点通过投影仪投射在被测物表面,再绕扇形顶点做匀速旋转运动,进行旋转标记点图像采集与叠加;然后进行旋转扇形标记点旋转中心的粗提取,最后进行基于旋转中心灰度值不变的旋转扇形标记点旋转中心精提取。方法中这种旋转式标记点相对于原始标记点能够更好的适用于复杂曲面或者转动平面上表面特征点的自动准确提取,标记点提取精度高,提取算法适用性强,在标记点图像存在形变的情况下也可以快速自动准确的提取标志点。
Description
技术领域
本发明属于机器视觉测量技术领域,涉及一种旋转标记点以及自动快速准确的标记点提取方法。
背景技术
标记点设计及其提取方法在机器视觉中有着十分重要的地位,在很多情况下,标记点是图像采集的主要对象,而标记点提取也是图像处理的主要步骤。随着现代科技技术的不断发展,机器视觉技术的应用越来越广泛,这使得标记点的设计以及提取方法必须满足更宽泛的需求,在提取速度以及准确性上都提出了比较苛刻的要求。标记点越来越多地布置在一些形状不规则的具有复杂曲面的物体表面,在这种复杂曲面上的标记点的形变将会对图像提取精度带来很大的影响,如若采用棋盘格标记点准确定位中心这必然使得算法自动化水平降低、计算时间过长而不能满足要求。特别在快速标定技术中,要求标记点提取在满足高精度的同时可以自动快速地进行。在目前情况下,如何合理设计标记点并快速准确的提取标记点是目前的主要难题和研究的主要方向。
大连理工大学刘巍等人申请的发明专利公开号为CN103632384A,“组合式标记点及标记点中心的快速提取方法”中提出的利用圆形标记点环绕对称黑白棋盘格标记且保证两者的联通的组合方式,通过圆环的粗提取和中心部分黑白棋盘格标记精提取完成标记点的提取,但在复杂曲面上圆环以及棋盘格标记的变形不能保证其准确性,且组合标记点计算过程复杂。张正友等人2000年在IEEE Transactions on Pattern Analysis andMachine Intelligence第22期发表的《A Flexible New Technique for CameraCalibration》使用棋盘格标定靶标进行标定,这种方式很好的保证了精度问题,但是在操作过程中需要人工指定棋盘格交叉点范围,然后计算机进行角点搜索,操作较为复杂,智能化低。
发明内容
本发明要解决的技术难题是在机器视觉中标记点在不规则复杂表面的自动准确提取,发明了一种投影仪投射的扇形旋转标记点与其旋转中心的快速提取方法。标记点采用扇形形状,通过投影仪投射在被测物表面,绕扇形顶点做匀速旋转运动。在标记点提取时,采用两步法进行提取,第一步是旋转扇形标记点旋转中心的粗提取,利用图像叠加后扇形标记点的运动近似形成一个椭圆轨迹,利用灰度重心法,求取椭圆的中心点即为旋转扇形标记点旋转中心的粗提取。第二步在粗提取得到的中心点附近利用旋转中心灰度值不变的原理提取旋转扇形标记点的旋转中心。通过圆形轨迹的粗提取和旋转中心的精提取保证了标记点提取精度。
本发明所采用的技术方案是一种旋转标记点及其旋转中心提取方法,其特征是,该方法采用旋转扇形标记点,将扇形标记点通过投影仪投射在被测物表面,再绕扇形顶点做匀速旋转运动,进行旋转标记点图像采集与叠加;然后进行旋转扇形标记点旋转中心的粗提取,最后进行基于旋转中心灰度值不变的旋转扇形标记点旋转中心精提取;该方法的具体步骤如下:
第一步、旋转标记点图像采集与叠加
事先制作一个视频,视频中设计扇形旋转标记点在以ω的角速度匀速顺时针旋转,将视频用投影仪投影于待测物体表面,架好高速摄像机,使高速摄像机镜头对准旋转的扇形标记点,控制高速摄像机对旋转的扇形标记点进行连续的图像采集,获取扇形标记点旋转视频。
因视频是由多幅图像组成,所以可以对视频中的图像进行获取,间隔一定的时间获取那一时刻旋转扇形标记点的图像,其中选取的时间间隔为正好使扇形旋转标记点转动其中心角度的时间,所以选取相邻时刻的时间间隔公式如下:
其中,为任意时刻时间tj,tj+1为下一时刻的时间,α为扇形旋转标记点的圆心角,圆心角角度用弧度制表示,ω为扇形旋转标记点匀速顺时针旋转的角速度,在制作视频时已知,n为图像叠加的张数。
图像叠加的具体张数满足使扇形旋转标记点转动角度等于2π,公式为:
通过公式(1)和公式(2)将每相邻固定时间间隔时刻的图像依次按旋转顺序进行图形叠加,最终得到的图像叠加结果的形状近似为一个椭圆。
第二步、旋转标记点特征粗提取
通过图像叠加可得到旋转扇形标记点在一段时间内旋转形成的图像,扇形标记点旋转得到的形状近似为一个椭圆。采用灰度重心法求取椭圆的灰度重心作为旋转标记点的初始特征提取。通过对叠加图像中椭圆区域内每一个像素点的灰度值作为加权平均时的权值,对椭圆区域内每个像素点进行加权平均,最终得到椭圆区域内的平均像素点坐标即为所求区域内的灰度重心坐标,应用灰度重心法求取叠加图像中椭圆的灰度重心点的公式如下:
其中:f(u,v)是叠加图像中坐标为(u,v)的像素点的灰度值,通过对叠加图像的图像处理过程求得,Ω是目标区域集合,即叠加图像中扇形标记点旋转运动形成的椭圆区域的集合,是椭圆区域的中心坐标,即为下一步精提取旋转标记点旋转中心提供搜索范围的中心点。由于被测物体表面可能是复杂曲面,所以获取的图像中的椭圆会有误差,再加上灰度重心方法的误差,会使最终的中心点提取误差过大,精度不高。所以需通过第三步的精提取过程对粗提取结果进行优化,提高标记点的提取精度。
第三步、旋转标记点特征精提取
通过第二步的旋转标记点重心粗提取,通过灰度重心法已经得到一个中心点,此中心点已经是扇形旋转标记点的近似旋转中心。为提高提取精度的同时尽量减少计算过程,以第二步灰度重心法得到的初始中心点F(xi,yi)为圆心,以经验值k为半径,设定该圆形区域即为扇形旋转标记点旋转中心的搜索范围。第三步的精提取将在此范围内进行提取,大大减少了不必要的计算过程,提高标记点提取效率,进而会提高整个测量过程的效率,有助于保证在线测量。
扇形旋转标记点特征精提取的过程利用旋转的扇形标记点的旋转中心灰度值不变的原理进行标记点的中心提取,将图像中每一时刻tj下的扇形标记点在搜索范围内的每一点的灰度值与下一时刻tj+1下的该点的灰度值进行对比求差值,然后将整个时间段中每相邻时刻的该点的灰度对比值进行叠加,求取使其最小的点即为所要求的在扇形标记点旋转过程中灰度值近似不变的点,其具体求取公式如下:
其中,设图像叠加n次,即椭圆中包括n个扇形,每次图像采集的时间点为tj(j=1~n),下一时刻图像采集时间为tj+1,其中的时间间隔取其可以保证扇形标记点正好转过一个圆心角α,为tj时刻图像中搜索区域内任一点的灰度值,为下一时刻图像中搜索区域内任一点的灰度值,求解图像中每一点在每相邻时刻的灰度值的差,其总和的最小值限定在经验值m以内,即得到旋转过程中灰度值不变的旋转标记点中心M(xi,yi)。
本发明的有益效果是方法中这种扇形标记点相对于原始标记点能够更好的适用于复杂曲面或者转动平面上表面特征点的自动准确提取,标记点提取精度高,提取算法适用性强,在标记点图像存在形变的情况下也可以快速自动准确的提取标志点。
附图说明
图1为旋转扇形标记点图像叠加示意图。图中,扇形旋转标记点的圆心角α=0°~90°,l为半径,t1、t2…tn沿顺时针旋转方向依次为第一时刻、第二时刻、…..第n时刻旋转标记点位置时的时刻标记点图像,M(xi,yi)为旋转标记点中心。
图2为标记点提取过程的流程图。
具体实施方式
以下结合技术方案和附图详细叙述本发明的具体实施方式。
附图1为旋转扇形标记点图像叠加示意图,附图2为标记点提取过程的流程图。整个提取过程分为利用椭圆拟合的标记点的中心粗提取和基于旋转中心灰度值不变的中心精提取两个步骤,具体步骤如下:
第一步、旋转标记点图像采集与叠加
本实施例制作的扇形旋转标记点的圆心角α=60°,半径l=5cm。先制作本标记点旋转视频,扇形标记点旋转角速度为ω=2.6rad/s,使用投影仪将视频投射到物体表面,配置高速摄像机及其附属光源等设备,调整焦距视角等使标记点清晰可见后,高速相机对标记点进行视频采集。视频采集完成后进行图像叠加,首先提取需要的时刻的旋转标记点图像,提取时间间隔为可以使扇形标记点旋转整数个圆心角的时间,将已知条件带入公式(1)中可求得本例所需的图像叠加时间间隔Δt=0.2s,然后提取每一时刻下旋转标记点的图像,扇形标记点圆心角已知,带入公式(2)中即可获得图像叠加过程中图像提取个数为n=6个,最终形成叠加图像,如附图1所示。
第二步、旋转标记点特征粗提取
通过第一步可以得到旋转扇形标记点的叠加图像,对叠加图像进行图像处理,可以获得叠加图像中每一个像素点的像素坐标(u,v)以及其点像素值f(u,v),将其带入灰度重心法公式(3)和(4),可以求得叠加图像中椭圆的灰度重心为F(378.32,512.12)。此坐标也就是扇形旋转标记点的粗提取中心点坐标。但是由于被测物体表面复杂,叠加图像中椭圆的准确度不高存在误差,所以利用灰度重心法提取的中心点坐标精度不高,需要再进行精提取。
第三步、旋转标记点特征精提取,提取过程利用其它的约束来对其进行优化,提高提取精度。
通过第二步的旋转标记点重心粗提取,利用灰度重心法已经得到了其中心点坐标F(378.32,512.12),此中心点已经是扇形旋转标记点的近似旋转中心点。但为提高提取精度的同时尽量减少计算过程,以第二步灰度重心法得到的初始中心点F(378.32,512.12)为圆心,k=5cm为半径,设定该圆形区域即为扇形旋转标记点旋转中心的搜索圆。在此圆范围内进行精提取。利用扇形旋转标记点特征精提取的过程利用旋转的扇形标记点的旋转中心灰度值不变的原理进行标记点的中心提取,其中m的经验值为5~10,本实验m=8,每时刻搜索圆内的点的坐标以及每个像素点的像素值都可以由图像处理过程获得,由于数据量过大不在此列出,图像叠加次数n=6,将以上所有已知参数带入扇形旋转标记点精提取公式(5)中进行求解,最终通过计算得到满足优化目标最小值的最终精提取点坐标为M(380,511)。
本发明的扇形标记点相对于传统标记点更适用于快速高精度的自动提取过程,同时在被测物体表面存在变形的情况下依然可以保证标记点的提取精度。这种方法同时满足处于灰度重心以及旋转中心灰度值不变的原理,大大提高标记点的提取精度。通过灰度重心法提取的粗坐标还可以起到缩小搜索范围的作用,极大地降低了精提取计算过程的复杂程度以及计算量,提高标记点的提取速度,进而可以提高测量的效率。
Claims (1)
1.一种旋转标记点旋转中心的提取方法,其特征是,该方法采用旋转扇形标记点,将扇形标记点通过投影仪投射在被测物表面,再绕扇形顶点做匀速旋转运动,进行旋转标记点图像采集与叠加;然后进行旋转扇形标记点旋转中心的粗提取,最后进行基于旋转中心灰度值不变的旋转扇形标记点旋转中心精提取;该方法的具体步骤如下:
第一步、旋转标记点图像采集与叠加
事先制作一个视频,视频中设计扇形旋转标记点在以ω的角速度匀速顺时针旋转,将视频用投影仪投影于待测物体表面;架好高速摄像机,使高速摄像机镜头对准旋转的扇形标记点,控制高速摄像机对旋转的扇形标记点进行连续的图像采集,获取扇形标记点旋转视频;
对视频中的图像进行获取,间隔一定的时间获取那一时刻旋转扇形标记点的图像,其中选取的时间间隔为正好使扇形旋转标记点转动其中心角度的时间,所以选取相邻时刻的时间间隔公式如下:
其中,tj为任意时刻时间,tj+1为下一时刻的时间,α为扇形旋转标记点的圆心角,圆心角角度用弧度制表示,ω为扇形旋转标记点匀速顺时针旋转的角速度,在制作视频时已知,n为图像叠加的张数;
图像叠加的具体张数满足使扇形旋转标记点转动角度等于2π,公式为:
通过公式(1)和公式(2)将每相邻固定时间间隔时刻的图像依次按旋转顺序进行图形叠加,最终得到图像叠加结果的形状近似为一个椭圆;
第二步、旋转标记点特征粗提取
采用灰度重心法求取椭圆的灰度重心作为旋转标记点的初始特征提取;通过对叠加图像中椭圆区域内每一个像素点的灰度值作为加权平均时的权值,对椭圆区域内每个像素点进行加权平均,最终得到椭圆区域内的平均像素点坐标即为所求区域内的灰度重心坐标,具体的应用灰度重心法求取叠加图像中椭圆的灰度重心点的公式如下:
其中:f(u,v)是叠加图像中坐标为(u,v)的像素点的灰度值,通过对叠加图像的图像处理过程求得,Ω是目标区域集合,即叠加图像中扇形标记点旋转运动形成的椭圆区域的集合,是椭圆区域的中心坐标,即为下一步精提取旋转标记点旋转中心提供搜索范围的中心点;
第三步、旋转标记点特征精提取
通过第二步的旋转标记点重心粗提取,通过灰度重心法已经得到一个中心点,此中心点已经是扇形旋转标记点的近似旋转中心;为提高提取精度的同时尽量减少计算过程,以第二步灰度重心法得到的初始中心点F(xi,yi)为圆心,以经验值k为半径,设定该圆形区域即为扇形旋转标记点旋转中心的搜索范围;
扇形旋转标记点特征精提取的过程利用旋转的扇形标记点的旋转中心灰度值不变的原理进行标记点的中心提取,将图像中每一时刻tj下的扇形标记点在搜索范围内的每一点的灰度值与下一时刻tj+1下的该点的灰度值进行对比求差值,然后将整个时间段中每相邻时刻的该点的灰度对比值进行叠加,求取使其最小的点即为所要求的在扇形标记点旋转过程中灰度值近似不变的点,其具体求取公式如下:
其中,设图像叠加n次,即椭圆中包括n个扇形,每次图像采集的时间点为tj,其中,j=1~n,下一时刻图像采集时间为tj+1,其中的时间间隔取扇形标记点正好转过一个圆心角α,为tj时刻图像中搜索区域内任一点的灰度值,为下一时刻图像中搜索区域内任一点的灰度值,求解图像中每一点在每相邻时刻的灰度值的差,其总和的最小值限定在经验值m以内,即得到旋转过程中灰度值不变的旋转标记点中心M(xi,yi)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610843024.2A CN106482637B (zh) | 2016-09-23 | 2016-09-23 | 一种旋转标记点旋转中心的提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610843024.2A CN106482637B (zh) | 2016-09-23 | 2016-09-23 | 一种旋转标记点旋转中心的提取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106482637A CN106482637A (zh) | 2017-03-08 |
CN106482637B true CN106482637B (zh) | 2018-06-08 |
Family
ID=58268878
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610843024.2A Active CN106482637B (zh) | 2016-09-23 | 2016-09-23 | 一种旋转标记点旋转中心的提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106482637B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108895964B (zh) * | 2018-07-09 | 2020-07-17 | 南京农业大学 | 一种基于Kinect自主标定的高通量温室植物表型测量*** |
CN116542970B (zh) * | 2023-06-30 | 2023-09-15 | 山东金有粮脱皮制粉设备有限公司 | 基于图像处理的面粉熟化控制方法及相关装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005331497A (ja) * | 2004-04-21 | 2005-12-02 | Olympus Corp | 非球面レンズの評価装置及び評価方法 |
CN1818977A (zh) * | 2006-03-16 | 2006-08-16 | 上海交通大学 | 由一幅正面图像实现快速人脸模型重建的方法 |
CN101853333A (zh) * | 2010-05-26 | 2010-10-06 | 中国科学院遥感应用研究所 | 医疗机器人导航定位图像中的标记拾取方法 |
CN102749623A (zh) * | 2012-07-13 | 2012-10-24 | 中国资源卫星应用中心 | 一种基于靶标的高精度遥感卫星地面采样距离测试方法 |
JP2013134255A (ja) * | 2011-12-23 | 2013-07-08 | Mitsutoyo Corp | 高性能エッジフォーカスツール |
CN103632384A (zh) * | 2013-10-25 | 2014-03-12 | 大连理工大学 | 组合式标记点及标记点中心的快速提取方法 |
CN103778646A (zh) * | 2014-01-13 | 2014-05-07 | 大连理工大学 | 高速运动标记点图像快速搜索方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6539330B2 (en) * | 2000-07-19 | 2003-03-25 | Pentax Corporation | Method and apparatus for measuring 3-D information |
-
2016
- 2016-09-23 CN CN201610843024.2A patent/CN106482637B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005331497A (ja) * | 2004-04-21 | 2005-12-02 | Olympus Corp | 非球面レンズの評価装置及び評価方法 |
CN1818977A (zh) * | 2006-03-16 | 2006-08-16 | 上海交通大学 | 由一幅正面图像实现快速人脸模型重建的方法 |
CN101853333A (zh) * | 2010-05-26 | 2010-10-06 | 中国科学院遥感应用研究所 | 医疗机器人导航定位图像中的标记拾取方法 |
JP2013134255A (ja) * | 2011-12-23 | 2013-07-08 | Mitsutoyo Corp | 高性能エッジフォーカスツール |
CN102749623A (zh) * | 2012-07-13 | 2012-10-24 | 中国资源卫星应用中心 | 一种基于靶标的高精度遥感卫星地面采样距离测试方法 |
CN103632384A (zh) * | 2013-10-25 | 2014-03-12 | 大连理工大学 | 组合式标记点及标记点中心的快速提取方法 |
CN103778646A (zh) * | 2014-01-13 | 2014-05-07 | 大连理工大学 | 高速运动标记点图像快速搜索方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106482637A (zh) | 2017-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104165750B (zh) | 立体视觉结合陀螺仪风洞模型位姿测量方法 | |
CN104835144B (zh) | 利用一个球的球心的像及正交性求解摄像机内参数的方法 | |
JP5719170B2 (ja) | 物体の位置及び運動検出システム、及び方法 | |
CN103759669B (zh) | 一种大型零件的单目视觉测量方法 | |
CN107504896B (zh) | 一种基于点匹配的球形引脚元件的定位算法 | |
CN110285793A (zh) | 一种基于双目立体视觉***的车辆智能测轨迹方法 | |
CN108759714A (zh) | 一种多线激光轮廓传感器坐标系融合及转轴标定方法 | |
CN106780619A (zh) | 一种基于Kinect深度相机的人体尺寸测量方法 | |
CN102426007B (zh) | 三轴气浮台高精度姿态角测量方法及其装置 | |
US10755433B2 (en) | Method and system for scanning an object using an RGB-D sensor | |
CN106197265B (zh) | 一种空间自由飞行模拟器视觉精密定位方法 | |
CN109059895A (zh) | 一种基于手机摄像头和传感器的多模态室内测距及定位方法 | |
CN106295512B (zh) | 基于标识的多纠正线室内视觉数据库构建方法以及室内定位方法 | |
CN107452024A (zh) | 一种用于旋转物体全场运动追踪的视觉测量方法 | |
CN105043259A (zh) | 基于双目视觉的数控机床旋转轴误差检测方法 | |
CN109242912A (zh) | 采集装置外参标定方法、电子设备、存储介质 | |
CN101216296A (zh) | 双目视觉转轴标定方法 | |
CN108955682A (zh) | 手机室内定位导航方法 | |
CN110047131A (zh) | 一种人体三维重建的点云融合方法 | |
CN109272574A (zh) | 基于投影变换的线阵旋转扫描相机成像模型构建方法和标定方法 | |
CN104482924B (zh) | 旋成体目标位姿视觉测量方法 | |
CN104981846A (zh) | 供感测移动球体的装置及方法 | |
CN108269302A (zh) | 一种基于简易测量服的三维人体快速重建方法 | |
CN106482637B (zh) | 一种旋转标记点旋转中心的提取方法 | |
CN109000578A (zh) | 一种全场非接触式的建筑幕墙风压变形监测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |