CN113469936B - 人眼白内障检测***及晶状体三维模型图像重建方法 - Google Patents

人眼白内障检测***及晶状体三维模型图像重建方法 Download PDF

Info

Publication number
CN113469936B
CN113469936B CN202110499227.5A CN202110499227A CN113469936B CN 113469936 B CN113469936 B CN 113469936B CN 202110499227 A CN202110499227 A CN 202110499227A CN 113469936 B CN113469936 B CN 113469936B
Authority
CN
China
Prior art keywords
pupil
lens
image
module
patient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110499227.5A
Other languages
English (en)
Other versions
CN113469936A (zh
Inventor
赵云娥
陈思思
王绍娟
韩云霄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wenzhou Medical University
Original Assignee
Wenzhou Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wenzhou Medical University filed Critical Wenzhou Medical University
Priority to CN202110499227.5A priority Critical patent/CN113469936B/zh
Publication of CN113469936A publication Critical patent/CN113469936A/zh
Application granted granted Critical
Publication of CN113469936B publication Critical patent/CN113469936B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/117Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for examining the anterior chamber or the anterior chamber angle, e.g. gonioscopes
    • A61B3/1173Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for examining the anterior chamber or the anterior chamber angle, e.g. gonioscopes for examining the eye lens
    • A61B3/1176Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for examining the anterior chamber or the anterior chamber angle, e.g. gonioscopes for examining the eye lens for determining lens opacity, e.g. cataract
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Geometry (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Graphics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

一种人眼白内障检测***及晶状体三维模型图像重建方法,通过OCT***提取多幅OCT断层影像中晶状体的边界信息,拟合出晶状体三维结构,在运用三维图像处理方法,求得晶状体内灰度均值及方差,然后进行二值化,继而进行blob三维分析,求得白色浑浊区域的大小及灰度均值,本***可用来判断白内障等级,相较于现有的眼科医生的人工判断,花费时间更少,所需人力资源更少,准确度更高。

Description

人眼白内障检测***及晶状体三维模型图像重建方法
技术领域
本发明具体涉及眼科检测技术领域,具体涉及一种人眼白内障检测***及晶状体三维模型图像重建方法。
背景技术
白内障属于较常见的老年病,由于我国人口基数大且老龄化程度越来越严重,使得我国白内障患者数量较多。为了提高白内障的诊疗效率,可以先根据白内障患者的病情进行分级,再根据分级结果进行诊断和治疗,比如,白内障的分级级别共为三级,一级为基本不影响视力,二级为有程度不等的视力障碍,三级为有严重的视力障碍,然后,根据分级结果,对患者进行病情诊断,进而再进行有针对性的治疗,比如,对分级结果为一级的白内障患者,诊断白内障病情为初期,可以通过纠正日常生活习惯来改善和延缓白内障病情,对分级结果为二级的白内障患者,诊断白内障病情为中期,可以通过药物手段来改善和延缓白内障病情,对分级结果为三级的白内障患者,诊断白内障病情为晚期,可以通过手术手段来改善白内障病情。
目前,对白内障病情的分级完全依赖于眼科医生的人工判断,需要花费较长时间。这样,由于眼科医生的资源有限,对白内障病情的分级会占用眼科医生较多时间,挤占眼科医生为患者治疗白内障的时间,导致部分白内障患者无法得到及时治疗,此外,还可能出现由于眼科医生的专业水平较差而造成的分级失误的问题。
现有的OCT***能采集的患者眼部晶状体的OCT断层影像,通过OCT断层影像能重建晶状体三维模型,对晶状体三维模型内部灰度值的分析,可以对白内障患者的白内障病情进行分级诊断。但现有患者眼部晶状体三维模型重建时,由于OCT获得的断层影像需要依托瞳孔运动及虹膜转动等参数,晶状体三维模型重建时存在较大偏差。
发明内容
为了解决现有技术存在的技术缺陷,本发明提供了一种人眼白内障检测***及晶状体三维模型图像重建方法。
本发明采用的技术解决方案是:一种人眼白内障检测***,依次包括以下模块:
患者注视模块:用于患者固定视线的注意位置;
图像采集模块:用于采集患者眼部晶状体的OCT断层影像;
高速眼动跟踪模块:对瞳孔图像进行高速跟踪,包含瞳孔跟踪及虹膜转动量测量两部分,实时给出瞳孔中心坐标及虹膜转动量;
晶状体三维重建模块:根据采集的患者眼部晶状体的OCT断层影像和获得的瞳孔中心坐标及虹膜转动量重建矫正后的晶状体三维模型;
白内障自动分级模块:通过对晶状体三维模型内部灰度值的分析,利用机器视觉自动对白内障进行分级。
所述的高速眼动跟踪模块还包括瞳孔跟踪模块和虹膜转动量测量模块,所述的瞳孔跟踪模块实时给出瞳孔中心坐标参数及瞳孔的长短轴参数,所述的虹膜转动量测量模块通过运算获得虹膜转动量。
一种人眼白内障晶状体三维模型图像重建方法,包括以下步骤:
(1)患者人眼注视患者注视模块,同时通过OCT图像采集模块采集患者眼部晶状体的OCT断层影像;
(2)高速眼动跟踪模块中的瞳孔跟踪模块对瞳孔图像进行高速跟踪,实时给出瞳孔中心坐标参数及瞳孔的长短轴参数;
(3)高速眼动跟踪模块中的虹膜转动量测量模块根据瞳孔跟踪模块实时给出瞳孔中心坐标参数及瞳孔的长短轴参数将图片转换到极坐标系(r,θ)下,并根据椭圆参数对r进行相应调整,使得瞳孔边界在极坐标系下为理想圆形,然后再将其变换到二维坐标系下,横轴为r,纵轴为θ,从而方便进行图像配准,找到图像中最明显的几个特征点所在的图像位置,再根据坐标反变换,即可求得虹膜旋转角度;
(4)采集的患者眼部晶状体的OCT断层影像和获得的瞳孔中心坐标及虹膜转动量,可获得晶状体各个断层的灰度信息,然后利用基于移动最小二乘法曲面拟合方法重构晶状体真实三维晶状体形状。
本发明的有益效果是:本发明提供了一种人眼白内障检测***及晶状体三维模型图像重建方法,通过OCT***提取多幅OCT断层影像中晶状体的边界信息,拟合出晶状体三维结构,在运用三维图像处理方法,求得晶状体内灰度均值及方差,然后进行二值化,继而进行blob三维分析,求得白色浑浊区域的大小及灰度均值,本***可用来判断白内障等级,相较于现有的眼科医生的人工判断,花费时间更少,所需人力资源更少,准确度更高。
附图说明
图1是本发明高速眼动跟踪模块流程示意图。
图2是本发明人眼白内障检测***流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获的的所有其他实施例,都属于本发明保护的范围。
一种人眼白内障检测***,依次包括以下模块:
患者注视模块:用于患者固定视线的注意位置;
图像采集模块:用于采集患者眼部晶状体的OCT断层影像;
高速眼动跟踪模块:对瞳孔图像进行高速跟踪,包含瞳孔跟踪及虹膜转动量测量两部分,实时给出瞳孔中心坐标及虹膜转动量;高速眼动跟踪***需要对瞳孔图像进行高速跟踪,包含瞳孔跟踪及虹膜转动量测量两部分,实时给出瞳孔中心坐标及虹膜转动量。一帧图像需要在10ms内完成全部处理,因此对图像处理的速度要求会很高,这里要选择高效的图像处理算法,避开复杂度高的算法。采用基于均值和方差的动态阈值法对原始图像直接进行二值化处理,基于均值和方差的动态阈值法的基本思想是统计图像内像素点的均值m和方差s,然后分别加权相加得到阈值T:T=w1*m+w2*s;其中w1和w2是权值,可根据均值和方差的值进行相应调整,以避免过度分割;
晶状体三维重建模块:根据采集的患者眼部晶状体的OCT断层影像和获得的瞳孔中心坐标及虹膜转动量重建矫正后的晶状体三维模型;本项目通过移动OCT光路并结合高速眼动跟踪***,可获得晶状体各个断层的灰度信息,然后利用基于移动最小二乘法曲面拟合方法重构晶状体真实三维形状。传统的最小二乘法曲面拟合是通过使误差的平方和最小,得到一个线性方程组,求解线性方程组就可以得到拟合曲面,如果离散数据量比较大、形状复杂,还需要进行分块拟合和平滑,这在实际中往往带来一定的困难。而如果采用移动最小二乘法建立一种新的曲面拟合方法,就可以克服以上困难。
白内障自动分级模块:通过对晶状体三维模型内部灰度值的分析,利用机器视觉自动对白内障进行分级。白内障发展的不同阶段及等级在OCT断层影像上的表现为:灰度值偏高呈现白色浑浊状,及白色浑浊区域的大小。因此可以通过对晶状体内部灰度值的分析,利用机器视觉自动对白内障进行分级。
根据拟合出来的三维晶状体,运用三维图像处理方法,求得晶状体内灰度均值及方差,然后进行二值化,继而进行blob三维分析,求得白色浑浊区域的大小及灰度均值。从而判断白内障等级。
所述的高速眼动跟踪模块还包括瞳孔跟踪模块和虹膜转动量测量模块,所述的瞳孔跟踪模块实时给出瞳孔中心坐标参数及瞳孔的长短轴参数,所述的虹膜转动量测量模块通过运算获得虹膜转动量。高速眼动跟踪***需实时给出瞳孔中心坐标及瞳孔的长短轴,因此需采用椭圆拟合算法。常用的椭圆拟合方法主要有三类:一类是基于Hough变换的椭圆拟合方法;一类是基于不变矩的方法;另一类是基于最小二乘法的椭圆拟合方法。这些方法中,基于最小二乘法的拟合方法适用于各种复杂的对象模型,并能直观的给出关于某种拟合误差的测度,可达到很高的拟合精度。基于最小二乘法的椭圆拟合还分有代数最优原则和几何最优原则,几何最优原则可以更小的减少形状拟合误差,因此这里采用基于最小二乘法的几何最优椭圆拟合算法。
虹膜转动量测量:
根据所求得的瞳孔中心坐标及其椭圆长短轴后,将图片转换到极坐标系(r,θ)下,并根据椭圆参数对r进行相应调整,使得瞳孔边界在极坐标系下为理想圆形,然后再将其变换到二维坐标系下,横轴为r,纵轴为θ,从而方便进行图像配准,找到图像中最明显的几个特征点所在的图像位置,例如最大灰度投影点、虹膜最长边位置、梯度变换最大值位置等,每帧图像均找到该类值,再根据坐标反变换,即可求得虹膜旋转角度。
一种人眼白内障晶状体检测方法,包括以下步骤:
(1)患者人眼注视患者注视模块,同时通过OCT图像采集模块采集患者眼部晶状体的OCT断层影像;
(2)高速眼动跟踪模块中的瞳孔跟踪模块对瞳孔图像进行高速跟踪,实时给出瞳孔中心坐标参数及瞳孔的长短轴参数;
(3)高速眼动跟踪模块中的虹膜转动量测量模块根据瞳孔跟踪模块实时给出瞳孔中心坐标参数及瞳孔的长短轴参数将图片转换到极坐标系(r,θ)下,并根据椭圆参数对r进行相应调整,使得瞳孔边界在极坐标系下为理想圆形,然后再将其变换到二维坐标系下,横轴为r,纵轴为θ,从而方便进行图像配准,找到图像中最明显的几个特征点所在的图像位置,再根据坐标反变换,即可求得虹膜旋转角度;
(4)采集的患者眼部晶状体的OCT断层影像和获得的瞳孔中心坐标及虹膜转动量,可获得晶状体各个断层的灰度信息,然后利用基于移动最小二乘法曲面拟合方法重构晶状体真实三维晶状体形状;
(5)根据拟合出来的三维晶状体,运用三维图像处理方法,求得晶状体内灰度均值及方差,然后进行二值化,继而进行blob三维分析,求得白色浑浊区域的大小及灰度均值。从而判断白内障等级。
本发明通过OCT***提取多幅OCT断层影像中晶状体的边界信息,拟合出晶状体三维结构,在运用三维图像处理方法,求得晶状体内灰度均值及方差,然后进行二值化,继而进行blob三维分析,求得白色浑浊区域的大小及灰度均值,本***可用来判断白内障等级,相较于现有的眼科医生的人工判断,花费时间更少,所需人力资源更少,准确度更高。
各位技术人员须知:虽然本发明已按照上述具体实施方式做了描述,但是本发明的发明思想并不仅限于此发明,任何运用本发明思想的改装,都将纳入本专利专利权保护范围内。
以上所述仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种基于人眼白内障检测***的人眼白内障晶状体三维模型图像重建方法,其特征在于,包括以下步骤:
(1)患者人眼注视患者注视模块,同时通过OCT图像采集模块采集患者眼部晶状体的OCT断层影像;
(2)高速眼动跟踪模块中的瞳孔跟踪模块对瞳孔图像进行高速跟踪,实时给出瞳孔中心坐标参数及瞳孔的长短轴参数;
(3)高速眼动跟踪模块中的虹膜转动量测量模块根据瞳孔跟踪模块实时给出瞳孔中心坐标参数及瞳孔的长短轴参数将图片转换到极坐标系(r,θ)下,并根据椭圆参数对r进行相应调整,使得瞳孔边界在极坐标系下为理想圆形,然后再将其变换到二维坐标系下,横轴为r,纵轴为θ,从而方便进行图像配准,找到图像中最明显的几个特征点最大灰度投影点、虹膜最长边位置、梯度变换最大值位置所在的图像位置,再根据坐标反变换,即可求得虹膜旋转角度;
(4)采集的患者眼部晶状体的OCT断层影像和获得的瞳孔中心坐标及虹膜转动量,可获得晶状体各个断层的灰度信息,然后利用基于移动最小二乘法曲面拟合方法重构晶状体真实三维晶状体形状。
2.一种权利要求1所述的基于人眼白内障检测***的人眼白内障晶状体三维模型图像重建方法中采用的人眼白内障检测***,其特征在于,依次包括以下模块:
患者注视模块:用于患者固定视线的注意位置;
OCT图像采集模块:用于采集患者眼部晶状体的OCT断层影像;
高速眼动跟踪模块:对瞳孔图像进行高速跟踪,包含瞳孔跟踪及虹膜转动量测量两部分,实时给出瞳孔中心坐标及虹膜转动量;
晶状体三维重建模块:根据采集的患者眼部晶状体的OCT断层影像和获得的瞳孔中心坐标及虹膜转动量重建矫正后的晶状体三维模型;
白内障自动分级模块:通过对晶状体三维模型内部灰度值的分析,利用机器视觉自动对白内障进行分级。
3.根据权利要求2所述的人眼白内障检测***,其特征在于,所述的高速眼动跟踪模块还包括瞳孔跟踪模块和虹膜转动量测量模块,所述的瞳孔跟踪模块实时给出瞳孔中心坐标参数及瞳孔的长短轴参数,所述的虹膜转动量测量模块通过运算获得虹膜转动量。
CN202110499227.5A 2021-05-08 2021-05-08 人眼白内障检测***及晶状体三维模型图像重建方法 Active CN113469936B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110499227.5A CN113469936B (zh) 2021-05-08 2021-05-08 人眼白内障检测***及晶状体三维模型图像重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110499227.5A CN113469936B (zh) 2021-05-08 2021-05-08 人眼白内障检测***及晶状体三维模型图像重建方法

Publications (2)

Publication Number Publication Date
CN113469936A CN113469936A (zh) 2021-10-01
CN113469936B true CN113469936B (zh) 2023-10-03

Family

ID=77870673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110499227.5A Active CN113469936B (zh) 2021-05-08 2021-05-08 人眼白内障检测***及晶状体三维模型图像重建方法

Country Status (1)

Country Link
CN (1) CN113469936B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2596560A1 (en) * 2007-08-20 2009-02-20 Donald Ray Nixon Cataract grading system
CN101404951A (zh) * 2006-01-20 2009-04-08 雷萨公司 用于将激光束递送到眼睛的晶状体的***和装置
CN103501720A (zh) * 2011-03-25 2014-01-08 雷萨公司 用激光超声乳化破碎测量晶状体倾斜的***和方法
CN104545788A (zh) * 2014-12-26 2015-04-29 温州医科大学附属第一医院 一种基于眼球的运动特征对眼球肿瘤区域的实时定位***
CN106056092A (zh) * 2016-06-08 2016-10-26 华南理工大学 基于虹膜与瞳孔的用于头戴式设备的视线估计方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3448234A4 (en) * 2016-04-30 2019-05-01 Envision Diagnostics, Inc. MEDICAL DEVICES, SYSTEMS AND METHODS FOR OPERATING OCULAR EXAMINATIONS AND OCULOMETRY

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404951A (zh) * 2006-01-20 2009-04-08 雷萨公司 用于将激光束递送到眼睛的晶状体的***和装置
CA2596560A1 (en) * 2007-08-20 2009-02-20 Donald Ray Nixon Cataract grading system
CN103501720A (zh) * 2011-03-25 2014-01-08 雷萨公司 用激光超声乳化破碎测量晶状体倾斜的***和方法
CN104545788A (zh) * 2014-12-26 2015-04-29 温州医科大学附属第一医院 一种基于眼球的运动特征对眼球肿瘤区域的实时定位***
CN106056092A (zh) * 2016-06-08 2016-10-26 华南理工大学 基于虹膜与瞳孔的用于头戴式设备的视线估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Three-Dimensional Cataract Crystalline Lens Imaging With Swept-Source Optical Coherence Tomography";Alberto de Castro et al;《Invest Ophthalmol Vis Sci》;第897-593页 *

Also Published As

Publication number Publication date
CN113469936A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
CN110400289B (zh) 眼底图像识别方法、装置、设备和存储介质
Cheng et al. Structure-preserving guided retinal image filtering and its application for optic disk analysis
CN110279391B (zh) 便携红外相机视力检测算法
CN106446805B (zh) 一种眼底照中视杯的分割方法及***
CN110210357A (zh) 一种基于静态照片面部识别的上睑下垂图像测量方法
CN106846293A (zh) 图像处理方法和装置
CN110575132A (zh) 一种基于偏心摄影的斜视程度的计算方法
CN110575134A (zh) 一种基于偏心摄影的近视度数的计算方法
Iskander et al. Automatic pupillometry from digital images
CN110916608A (zh) 一种屈光度检测装置
CN114937024A (zh) 图像评估方法、装置和计算机设备
Chakraborty et al. A semi-automated system for optic nerve head segmentation in digital retinal images
CN113940812A (zh) 用于准分子激光角膜屈光手术的角膜中心定位方法
CN103955941B (zh) 一种角膜内皮细胞分析仪及分析方法
CN113469936B (zh) 人眼白内障检测***及晶状体三维模型图像重建方法
CN106846348B (zh) 人脸图像中自动去除眼镜的方法
CN116030042B (zh) 一种针对医生目诊的诊断装置、方法、设备及存储介质
CN115670370B (zh) 一种去除眼底图像玻璃体混浊斑的视网膜成像方法和装置
CN111861977A (zh) 一种基于机器视觉的眼前节断层图像的特征提取方法
CN116269198A (zh) 基于卷积神经网络的眼球旋转角测量方法及装置
CN114373216B (zh) 用于眼前节octa的眼动追踪方法、装置、设备和存储介质
CN115456974A (zh) 基于人脸关键点的斜视检测***、方法、设备及介质
CN114638879A (zh) 一种医用的瞳孔大小测量***
TW202302028A (zh) 眼科檢測設備以及瞳孔定位方法
Zulfahmi et al. Techniques for exudate detection for diabetic retinopathy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant