CN112504137B - 基于云计算的多目标数字图像检测方法 - Google Patents
基于云计算的多目标数字图像检测方法 Download PDFInfo
- Publication number
- CN112504137B CN112504137B CN202011415385.XA CN202011415385A CN112504137B CN 112504137 B CN112504137 B CN 112504137B CN 202011415385 A CN202011415385 A CN 202011415385A CN 112504137 B CN112504137 B CN 112504137B
- Authority
- CN
- China
- Prior art keywords
- target point
- calibration
- ruler
- test object
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供了一种基于云计算的多目标数字图像检测方法,包括:对测试对象中位于同一标定平面的某一目标点进行标定,得到该目标点的标定参数;按照预先设定的时间间隔采集测试对象的图像,将测试对象的图像通过网络传递到云端服务器,在云端服务器根据已知的标定参数对测试对象中同一标定平面内的图像进行分析计算,得到各目标点的位移;重复前面两步,得到不同标定平面内的目标点位移。通过将图像采集仪采集的图像上传到云端服务器进行分析计算,由云端服务器在后台对图像中目标点的位移进行分析计算,避免了现有技术中需要在现场设置高性能的笔记本电脑连接一台或多台图像采集仪来进行分析计算,大幅减少了现场的硬件成本。
Description
技术领域
本发明属于数字图像检测领域,尤其是涉及一种基于云计算的多目标数字图像检测方法。
背景技术
数字图像检测是一种基于计算机视觉原理、数字图像处理和数值计算的非接触非干涉全场变形光学测量方法,以其非接触、高精度、方便快捷、平台扩展性强、与人工智能技术衔接良好等优势,在工程结构检测领域呈现出越来越广泛的应用前景。
数字图像检测方法目前都是采用笔记本电脑在检测现场直接采集图像,然后进行分析得到目标点(测点或目标点)不同时间点的位移信息(即位移时程曲线),如图1所示;但是现场一台或多台图像采集仪接一台笔记本电脑,接入图像采集仪数量越多,对笔记本电脑的配置要求越高,从而成本越高;而且由于笔记本电脑的硬件限制,无法进行长时间的定时检测,也就是在线监测。此外高精度数字图像检测方法的研究成为国内外热点领域,但是数字图像检测方法仅可对测试对象上同一个平面中的目标点在该平面内的位移进行检测,如图2所示,而无法对该测试对象其他平面内的目标点的位移进行检测。
因此,急需一种新的检测方法,既可以对测试对象的不同平面内的目标点的位移进行检测,又可以不受电脑硬件限制,可以实时在线进行检测。
发明内容
本发明的目的在于提供一种基于云计算的多目标数字图像检测方法,以解决现有技术中不能对测试对象的不同平面进行检测的技术问题。
为解决上述技术问题,本发明一种基于云计算的多目标数字图像检测方法,包括以下步骤:
步骤1:使用多台图像采集仪采集测试对象中多个不同标定平面内目标点的初始图像并通过网络上传到云端服务器,每个图像采集仪采集的是位于一个标定平面内多个目标点的初始图像,在云端服务器后台利用初始图像中已知线段长度进行标定,得到多个标定平面的标定参数;
步骤2:按照预先设定的时间间隔使用多台图像采集仪采集测试对象中不同标定平面的图像,将所述不同标定平面的图像通过网络传递到云端服务器,在所述云端服务器使用数字图像相关方法对测试对象中不同标定平面的图像进行分析计算,分析得到位于不同标定平面内各目标点的像素位移,然后根据标定参数计算得到各目标点在所在标定平面内的实际位移。
本发明还提供了另外一种基于云计算的多目标数字图像检测方法,包括以下步骤:
S1:对测试对象的各目标点单独标定,使用图像采集仪采集各目标点单独标定时的初始图像通过网络传递到云端服务器并进行分析,得到与各目标点相对应的标定参数;
S2:按照预先设定的时间间隔采集测试对象的图像,将所述测试对象的图像通过网络传递到云端服务器,在所述云端服务器使用数字图像相关(DIC)技术对测试对象的图像进行分析计算,得到各目标点所在平面内的像素位移,然后根据标定参数计算得到各目标点的实际位移。
进一步地,S1中对测试对象的各目标点单独标定的方法是:
S1.1:使用一种由水平尺、竖直尺组成的专用标定尺,所述水平尺和竖直尺的中线分别代表标定平面的X、Y轴,将标定尺放在被测试对象的某一目标点的上表面,水平尺、竖直尺形成的平面设为标定平面;
S1.2:使用图像采集仪采集放置有专用标定尺的目标点初始图像,利用目标点初始图像中标定尺的某一段水平线、某一段竖直线以及由该两条线组成的直角三角形的斜边的已知长度对目标点所在平面进行标定,并记录与目标点相对应的标定参数。
进一步地,所述图像采集仪采集图像时,其光轴不垂直于测试对象与所述图像采集仪相对的外表面。
进一步地,图像采集仪的光轴与测试对象的外表面的夹角为30到45度。
进一步地,所述专用标定尺的水平尺和竖直尺上设有易于辨识的单位刻度格,通过读取刻度格数量得到水平线和垂直线上的刻度值。
进一步地,所述易于辨识的单位刻度格指相邻刻度格使用颜色对比明显的相同单位的刻度格。
进一步地,所述专用标定尺上设置有用于放置在某一目标点上表面的底座,所述水平尺和竖直尺固定在所述底座上。
进一步地,所述底座上设置有用于调节水平尺水平的地脚螺钉以及水平气泡。
与现有技术相比,本发明所取得的有益效果是:
本发明一种基于云计算的多目标数字图像检测方法,通过将图像采集仪采集的图像上传到云端服务器进行分析计算,由云端服务器在后台对图像中目标点的位移进行分析计算,避免了现有技术中需要将一台或多台图像采集仪在现场连接一台高性能的笔记本电脑连接来进行分析计算,从而大幅减少了现场的硬件成本。
本发明提供的另一种基于云计算的多目标数字图像检测方法,通过使用专用标定尺来对测试对象的每个目标点进行单独标定,通过对目标点单独标定时的初始图像进行分析得到每个目标点的标定参数,然后使用同一台图像采集仪,按照一定的时间间隔采集被测对象的图像,将测试对象的图像通过网络上传到云端服务器,在所述云端服务器根据各目标点的标定参数使用图像分析方法对测试对象的图像进行分析计算,得到各采集时刻的目标点位移。不仅减少了图像采集仪的使用数量,同时无需使用现场笔记本电脑,而且由于云端服务器不受环境条件的限制,根据图像采集仪定时采集的图像,即可对测试对象进行分析,从而实现长时间的定时检测(即在线监测)。
附图说明
图1为现有技术中测试对象、数字图像采集仪、电脑之间的关系;
图2为现有技术中只能对测试对象的一个平面中的目标点进行检测示意图;
图3为为用一台图像采集仪采集不同平面内的不同目标点示意图;
图4为专用标定尺结构示意图;
图5为专用标定尺上的三条线段示意图;
图6为专用标定尺底座结构示意图;
图7为本发明将图像采集仪采集的图像通过通讯网络上传到云端服务器的示意图;
图8为坐标示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一:
本发明一种基于云计算的多目标数字图像检测方法,包括以下步骤:
步骤1:使用多台图像采集仪采集测试对象中多个不同标定平面内目标点的初始图像并通过网络上传到云端服务器,每个图像采集仪采集的是位于一个标定平面内多个目标点的初始图像,在云端服务器后台利用初始图像中已知线段长度进行标定,得到多个标定平面的标定参数;
步骤2:按照预先设定的时间间隔使用多台图像采集仪采集测试对象中不同标定平面的图像,将所述不同标定平面的图像通过网络传递到云端服务器,在所述云端服务器使用数字图像相关方法对测试对象中不同标定平面的图像进行分析计算,分析得到位于不同标定平面内各目标点的像素位移,然后根据标定参数计算得到各目标点在所在标定平面内的实际位移。
本实施例中将图像采集仪采集的图像通过网络上传到云端端服务器,如图7所示,然后在云端服务器上对图像进行数据处理,得到各目标点的位移。在云端服务器而不是现场对图像采集仪采集的图像进行分析计算,可以大幅减少现场的硬件成本,通过云端平台可以远程操控现场的图像采集控制器,提前设置好图像采集仪的定时采集的时间,到设定的时间点后,图像采集仪自动采集图像并上传到云端平台。避免了现有技术中需要在现场设置高性能的笔记本电脑连接一台或多台图像采集仪来进行分析计算,从而大幅减少了现场的硬件成本。但是本实施例中仍然需要使用多台图像采集仪采集不同标定平面的图像,除了在现场无需使用笔记本电脑外,并没有减少图像采集仪的使用数量。本实施例中,图像采集仪的光轴可垂直于测试对象的标定平面,也可与标定平面成一定角度。
实施例二:
本发明还提供了另外一种基于云计算的多目标数字图像检测方法,包括以下步骤:
S1:对测试对象的各目标点单独标定,如图3所示,使用图像采集仪采集各目标点单独标定时的初始图像通过网络传递到云端服务器并进行分析,得到与各目标点相对应的标定参数;
本实施例中对测试对象的各目标点单独标定的方法是:
S1.1:使用一种由水平尺、竖直尺组成的专用标定尺,所述水平尺和竖直尺的中线分别代表标定平面的X、Y轴,将标定尺放在被测试对象的某一目标点的上表面,水平尺、竖直尺形成的平面设为标定平面;
S1.2:使用图像采集仪采集放置有专用标定尺的目标点初始图像,利用目标点初始图像中标定尺的某一段水平线、某一段竖直线以及由该两条线组成的直角三角形的斜边的已知长度对目标点所在平面进行标定,并记录与目标点相对应的标定参数。
本实施例中所述专用标定尺的水平尺和竖直尺上设有易于辨识的单位刻度格,如图4所示,通过刻度格读取水平线和垂直线的刻度。本实施例中所述易于辨识的单位刻度格指相邻刻度格使用颜色对比明显的相同单位的刻度格。本实施例中使用黑白对比明显的刻度格,便于在图像中通过数刻度格得到水平尺和竖直尺上线段的长度,进而得到斜边的长度。如图5中线段OA、OB、AB的长度。
本实施例中所述专用标定尺上设置有用于放置在某一目标点上表面的底座,所述水平尺和竖直尺固定在所述底座上,如图6所示,所述底座上设置有用于调节水平尺水平的地脚螺钉以及水平气泡。由于需要将专用标定尺放置在目标点的上表面,然后使用图像采集仪进行图像采集,所以设置底座后便于专用标定尺的放置,底座上的地脚螺钉以及水平气泡用于调节专用标定尺的水平。本实施例中的目标点是指预先在测试对象的各目标位置上设置有柱形底座来作为靶点,上表面指的是柱形底座的上表面。本实施例通过使用专用标定尺来对测试对象的每个目标点进行单独标定,得到每个目标点的标定参数,使得每个标定点独立使用一个标定平面,因此可以对不同平面内的目标点使用同一台图像采集仪进行采集分析。
由于各个目标点的标定平面可以根据专用标定尺来标定,标定参数可以通过专用标定尺上的三段已知线段长度计算得到,实现对多目标点的单独标定,从而使得各目标点使用独立的标定平面分析其不同时刻的位移,相比现有技术来说,可以使用同一台图像采集仪对不同平面的目标点进行位移检测,而不是只能对相同平面内的不同目标点进行检测分析,减少了图像采集仪的使用数量。进而减少了高性能计算机的使用数量。
S2:按照预先设定的时间间隔采集测试对象的图像,将所述测试对象的图像通过网络传递到云端服务器,在所述云端服务器使用数字图像相关(DIC)技术对测试对象的图像进行分析计算,得到各目标点所在平面内的像素位移,然后根据标定参数计算得到各目标点的实际位移。
本实施例中,所述图像采集仪采集图像时,其光轴不垂直于测试对象与所述图像采集仪相对的外表面。图像采集仪的光轴与测试对象的外表面的夹角为30到45度。如图8所示的坐标,图像采集仪在采集图像时光轴不垂直于测试对象与所述图像采集仪相对的外表面是因为数字图像测量目前是二维的,能够测量XY平面内的目标点沿X、Y方向的位移,但无法测量沿Z轴的位移,但为了测试YZ平面内的目标点沿Y、Z方向的位移,所以图像采集仪的光轴不能垂直与XY平面(即不能与Z轴平行),而应该与XY平面成一定夹角,这样就兼顾到了XY、YZ平面。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (7)
1.一种基于云计算的多目标数字图像检测方法,其特征在于,包括以下步骤:
S1:对测试对象位于不同标定平面内的各目标点单独标定,使用图像采集仪采集各目标点单独标定时的初始图像通过网络传递到云端服务器并进行分析,得到与各目标点相对应的标定参数;
S2:按照预先设定的时间间隔采集测试对象的图像,将所述测试对象的图像通过网络传递到云端服务器,在所述云端服务器使用数字图像相关方法对测试对象的图像进行分析计算,得到各目标点所在平面内的像素位移,然后根据标定参数计算得到各目标点的实际位移;
S1中对测试对象的各目标点单独标定的方法是:
S1.1:使用一种由水平尺、竖直尺组成的专用标定尺,所述水平尺和竖直尺的中线分别代表标定平面的X、Y轴,将标定尺放在被测试对象的某一目标点的上表面,水平尺、竖直尺形成的平面设为标定平面;
S1.2:使用图像采集仪采集放置有专用标定尺的目标点初始图像,利用目标点初始图像中标定尺的某一段水平线、某一段竖直线以及由这两条线组成的直角三角形的斜边的已知长度对目标点所在平面进行标定,并记录与目标点相对应的标定参数。
2.根据权利要求1所述的检测方法,其特征在于,所述图像采集仪采集图像时,其光轴不垂直于测试对象与所述图像采集仪相对的外表面。
3.根据权利要求2所述的检测方法,其特征在于,图像采集仪的光轴与测试对象的外表面的夹角为30到45度。
4.根据权利要求1所述的检测方法,其特征在于,所述专用标定尺的水平尺和竖直尺上设有易于辨识的单位刻度格,通过读取刻度格数量得到水平线和垂直线上的刻度值。
5.根据权利要求4所述的检测方法,其特征在于,所述易于辨识的单位刻度格指相邻刻度格使用颜色对比明显的相同单位的刻度格。
6.根据权利要求1至5中任一项所述的检测方法,其特征在于,所述专用标定尺上设置有用于放置在某一目标点上表面的底座,所述水平尺和竖直尺固定在所述底座上。
7.根据权利要求6所述的检测方法,其特征在于,所述底座上设置有用于调节水平尺水平的地脚螺钉以及水平气泡。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011415385.XA CN112504137B (zh) | 2020-12-07 | 2020-12-07 | 基于云计算的多目标数字图像检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011415385.XA CN112504137B (zh) | 2020-12-07 | 2020-12-07 | 基于云计算的多目标数字图像检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112504137A CN112504137A (zh) | 2021-03-16 |
CN112504137B true CN112504137B (zh) | 2022-07-26 |
Family
ID=74970692
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011415385.XA Active CN112504137B (zh) | 2020-12-07 | 2020-12-07 | 基于云计算的多目标数字图像检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112504137B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101382418A (zh) * | 2008-10-16 | 2009-03-11 | 西安工业大学 | 基于数字图像的绝对位移测量装置及方法 |
JP2013200238A (ja) * | 2012-03-26 | 2013-10-03 | Mitsubishi Electric Corp | 画像検査方法および画像検査装置 |
CN104482921A (zh) * | 2014-12-23 | 2015-04-01 | 河北工业大学 | 一种水面目标的测量方法 |
CN106225708A (zh) * | 2016-08-30 | 2016-12-14 | 北京航空航天大学 | 一种对环境光不敏感的通用视频挠度测量*** |
CN107843204A (zh) * | 2017-10-27 | 2018-03-27 | 王文柏 | 基于监控级摄像机的边坡三维变形监测方法及*** |
CN109631768A (zh) * | 2018-12-19 | 2019-04-16 | 嘉兴同禾传感技术有限公司 | 一种结构物二维位移监测装置及方法 |
CN110596578A (zh) * | 2019-08-30 | 2019-12-20 | 国网浙江省电力有限公司电力科学研究院 | 一种gis设备变形的非接触测量装置 |
CN111951335A (zh) * | 2020-08-13 | 2020-11-17 | 珠海格力电器股份有限公司 | 确定相机标定参数的方法、装置、处理器和图像采集*** |
CN111964604A (zh) * | 2020-10-20 | 2020-11-20 | 常州市建筑科学研究院集团股份有限公司 | 一种基于影像识别的平面变形监测测量方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004354234A (ja) * | 2003-05-29 | 2004-12-16 | Ishikawajima Harima Heavy Ind Co Ltd | 写真計測用カメラキャリブレーション方法 |
US8111904B2 (en) * | 2005-10-07 | 2012-02-07 | Cognex Technology And Investment Corp. | Methods and apparatus for practical 3D vision system |
JP5027747B2 (ja) * | 2008-07-01 | 2012-09-19 | 株式会社トプコン | 位置測定方法、位置測定装置、およびプログラム |
CN101339003B (zh) * | 2008-08-01 | 2010-06-02 | 重庆交通大学 | 大结构水平二维位移自动测量装置及方法 |
JP5540583B2 (ja) * | 2009-06-24 | 2014-07-02 | 富士ゼロックス株式会社 | 位置計測システム、位置計測用演算装置およびプログラム |
JP5354426B2 (ja) * | 2009-08-31 | 2013-11-27 | 株式会社トプコン | 測定装置、測定方法、およびプログラム |
US9230339B2 (en) * | 2013-01-07 | 2016-01-05 | Wexenergy Innovations Llc | System and method of measuring distances related to an object |
US10032273B2 (en) * | 2013-03-15 | 2018-07-24 | Cognex Corporation | Machine vision system calibration using inaccurate calibration targets |
-
2020
- 2020-12-07 CN CN202011415385.XA patent/CN112504137B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101382418A (zh) * | 2008-10-16 | 2009-03-11 | 西安工业大学 | 基于数字图像的绝对位移测量装置及方法 |
JP2013200238A (ja) * | 2012-03-26 | 2013-10-03 | Mitsubishi Electric Corp | 画像検査方法および画像検査装置 |
CN104482921A (zh) * | 2014-12-23 | 2015-04-01 | 河北工业大学 | 一种水面目标的测量方法 |
CN106225708A (zh) * | 2016-08-30 | 2016-12-14 | 北京航空航天大学 | 一种对环境光不敏感的通用视频挠度测量*** |
CN107843204A (zh) * | 2017-10-27 | 2018-03-27 | 王文柏 | 基于监控级摄像机的边坡三维变形监测方法及*** |
CN109631768A (zh) * | 2018-12-19 | 2019-04-16 | 嘉兴同禾传感技术有限公司 | 一种结构物二维位移监测装置及方法 |
CN110596578A (zh) * | 2019-08-30 | 2019-12-20 | 国网浙江省电力有限公司电力科学研究院 | 一种gis设备变形的非接触测量装置 |
CN111951335A (zh) * | 2020-08-13 | 2020-11-17 | 珠海格力电器股份有限公司 | 确定相机标定参数的方法、装置、处理器和图像采集*** |
CN111964604A (zh) * | 2020-10-20 | 2020-11-20 | 常州市建筑科学研究院集团股份有限公司 | 一种基于影像识别的平面变形监测测量方法 |
Non-Patent Citations (1)
Title |
---|
多目标光斑中心提取算法研究;陈宇 等;《光学与光电技术》;20180610;第74-78页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112504137A (zh) | 2021-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102147281B (zh) | 一种基于机器视觉的液位检测装置及其方法 | |
CN109870108B (zh) | 输电线路覆冰检测方法及装置 | |
CN102589705B (zh) | 热成像仪单黑体温控mrtd野外在线自动检测装置及检测方法 | |
CN105320596B (zh) | 一种基于倾角仪的桥梁挠度测试方法及其*** | |
CN104422406A (zh) | 平面度量测***及方法 | |
CN202008382U (zh) | 一种基于机器视觉的液位检测装置 | |
CN104457627A (zh) | 一种利用Photoshop精准测量不规则物体平面面积的方法 | |
CN111947578A (zh) | 一种结构物位移测量***及其测量方法 | |
CN101403632A (zh) | 计量仪表动态多路同步检测装置及检测方法 | |
CN106767571B (zh) | 一种盖板玻璃翘曲在线检测的方法 | |
CN104848946A (zh) | 一种基于wifi的迈克尔逊干涉仪自动检测装置 | |
CN113554697A (zh) | 基于线激光的舱段轮廓精确测量方法 | |
CN115791830A (zh) | 一种钢板检测***、钢板检测方法及电子设备 | |
CN100590382C (zh) | 大型平台变形量的光电测量方法 | |
CN102589415A (zh) | 计量型数字图像平面等厚干涉仪及采用其测量物体表面平面度的方法 | |
CN110108219A (zh) | 电缆截面结构的测算方法、***、设备及可读存储介质 | |
CN112504137B (zh) | 基于云计算的多目标数字图像检测方法 | |
CN112014043B (zh) | 一种数字式大板梁挠度测量装置及方法 | |
CN201277864Y (zh) | 内方位元素及畸变测试仪 | |
CN203745670U (zh) | 雨滴三维尺度检测装置 | |
CN109444150A (zh) | 非接触式裂纹测量方法及其装置 | |
CN112378313A (zh) | 一种用于多目标数字图像检测的专用标定尺及方法 | |
CN208140322U (zh) | 一种桥梁振幅实时监测仪 | |
CN213748177U (zh) | 一种专用标定尺 | |
CN113063367A (zh) | 一种基于斜光轴数字图像相关方法的全场挠度实时测量***及测量方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |