CN111145280B - 一种oct图像散斑抑制方法 - Google Patents

一种oct图像散斑抑制方法 Download PDF

Info

Publication number
CN111145280B
CN111145280B CN201911241433.5A CN201911241433A CN111145280B CN 111145280 B CN111145280 B CN 111145280B CN 201911241433 A CN201911241433 A CN 201911241433A CN 111145280 B CN111145280 B CN 111145280B
Authority
CN
China
Prior art keywords
image
low
resolution
resolution image
oct
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911241433.5A
Other languages
English (en)
Other versions
CN111145280A (zh
Inventor
赵一天
赵蕊
岳星宇
胡衍
杨建龙
蒋珊珊
刘江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Institute of Material Technology and Engineering of CAS
Cixi Institute of Biomedical Engineering CIBE of CAS
Original Assignee
Ningbo Institute of Material Technology and Engineering of CAS
Cixi Institute of Biomedical Engineering CIBE of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Institute of Material Technology and Engineering of CAS, Cixi Institute of Biomedical Engineering CIBE of CAS filed Critical Ningbo Institute of Material Technology and Engineering of CAS
Priority to CN201911241433.5A priority Critical patent/CN111145280B/zh
Publication of CN111145280A publication Critical patent/CN111145280A/zh
Application granted granted Critical
Publication of CN111145280B publication Critical patent/CN111145280B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/008Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明属于图像处理技术领域,具体涉及一种OCT图像散斑抑制方法。其特征在于,包括:图像配准步骤,对第一低分辨率图像和其后连续的多个第二低分辨率图像进行配准以计算所述第二低分辨率图像相对所述第一分辨率图像的运动参数;图像重建步骤,基于所计算的运动参数计算低分辨率图像在高分辨率图像中的坐标,使用自适应归一化卷积进行像素差值计算重建出高分辨率图像;其中,所述运动参数包括水平偏移量a、垂直偏移量b、旋转角度θ,所述第一低分辨图像与所述第二低分辨率图像的分辨率相同。通过从多个低分辨率图像的真实测量中获益而增加了图像的熵,不仅能够减少来自OCT图像的散斑噪声,而且具有增强结构特性的能力。

Description

一种OCT图像散斑抑制方法
技术领域
本发明属于图像处理技术领域,具体涉及一种OCT图像散斑抑制方法。
背景技术
光学相干断层成像技术可快速获取微米级分辨率的眼部生物组织横截面图像,目前已成为视网膜成像的重要工具,为临床眼科医生对疾病的诊疗提供了帮助。由光波的多次前向和后向散射引起的散斑噪声是引起OCT图像质量下降的主要因素,存在的散斑噪声经常掩盖细微但重要的形态细节,还影响用于客观准确量化的自动分析方法的性能。
申请公布号CN10934569A,申请公布日2019年2月15日的发明专利申请公开了一种基于条件生成对抗网络架构,通过训练得到从含有散斑噪声的OCT图像到无噪声的OCT图像映射模型,再采用该映射模型对视网膜OCT图像的散斑噪声进行消除。该散斑去噪模型在有效去除散斑噪声的同时,还能较好的保留图像细节信息。授权公告号CN105976321B,授权公告日2019年7月23日的发明专利公开了一种光学相干断层图像超分辨率重建方法和装置。通过预先构建的高-低分辨率字典对以及相应的稀疏系数的映射方程,对得到的每个图像块的平均图像块进行处理,得到三维低分辨率OCT图像的高分辨率图像。这些方法都依赖于模型设定,需要大量的虚席样本,且学习训练时间长。
发明内容
本发明为了提升OCT图像质量,减少OCT图像的散斑噪声以便于提升各种眼科疾病的检测、诊断和治疗效果,提出一种基于超分辨率重建的OCT图像散斑抑制方法。
一种OCT图像散斑抑制方法,其特征在于,包括:
图像配准步骤,对第一低分辨率图像和其后连续的多个第二低分辨率图像进行配准以计算所述第二低分辨率图像相对所述第一分辨率图像的运动参数;
图像重建步骤,基于所计算的运动参数计算低分辨率图像在高分辨率图像中的坐标,使用自适应归一化卷积进行像素差值计算重建出高分辨率图像;
其中,所述运动参数包括水平偏移量a、垂直偏移量b、旋转角度θ,所述第一低分辨图像与所述第二低分辨率图像的分辨率相同。
上述技术方案中,图像配准旨在估计低分辨率图像之间的运动参数,图像重建旨在通过使用估计的运动参数来组合配准图像以重建高分辨率图像。它们通过从多个低分辨率图像的真实测量中获益而增加了图像的熵,不仅能够减少来自OCT图像的散斑噪声,而且具有增强结构特性的能力。
作为优选,所述图像配准步骤包括:
步骤a1,将M×N大小的低分辨率图像进行高斯滤波和亚采样以获得M/2×N/2大小的下层图像;
步骤a2,计算对应于所述第二低分辨率图像的下层图像相对对应于所述第一低分辨率图像的下层图像的下层图像运动参数;
步骤a3,对步骤a1中获得的下层图像执行步骤a1-a2,重复k次;
步骤a4,基于k次计算的下层图像运动参数进行迭代修正,以获取第二低分辨率图像相对第一分辨率图像的运动参数。
作为优选,所述步骤a3中k等于1。
作为优选,所述步骤a2中,第二低分辨率图像g中像素点(x,y)相对第一低分辨率图像f中像素点(x,y)的运动参数通过线性方程
求解,其中
作为优选,所述步骤a4中迭代修正的误差函数:
作为优选,所述图像重建步骤包括:步骤b-1,根据步骤a估算的运动参数来计算低分辨图像在高分辨率栅格中的坐标;步骤b-2,采用结构自适应归一化卷积重建方法融合从不同低分辨率图像中获得的不规则采样数据。
作为优选,所述步骤b-2中,基于结构自适应归一化卷积方法将来自投影的局部信号近似到一组多项式基函数上。
作为优选,所述步骤b-2中像素点S0=(x0,y0)在所述多项式基函数上的投影系数。
作为优选,所述步骤b-2中使用梯度结构张量方法得到局部结构信息。
作为优选,所述步骤b-2中,以双线性加权方式将每个不规则样本的确定性划分为其四个最近的HR网格点,所有网格上的样本的确定性参数累加在高分辨率栅格上形成密度图像。
本发明具有下述有益效果:
(1)在降低OCT图像散斑噪声的同时增强了结构特性。
(2)可以重建出高分辨率图像并改善OCT图像极差的信噪比,利用亚像素移动从多个图像中恢复丢失的信号来增加图像的熵。
(3)可以在增加PSNR和MSSIM的同时降低了MSE,助于扩展随后的OCT图像处理,例如层分割和病变检测。
附图说明
图1为原始图像,金标准图像和本发明重建后的示例图像。
图2为原始图像、金标准图像和五种降噪方法实验图以及本发明SR重建后的示例图像。
具体实施方式
这里使用的术语仅用于描述特定实施例的目的,而不意图限制本发明。 除非另外定义,否则本文使用的所有术语具有与本发明所属领域的普通技术人员通常理解的相同的含义。 将进一步理解的是,常用术语应该被解释为具有与其在相关领域和本公开内容中的含义一致的含义。本公开将被认为是本发明的示例,并且不旨在将本发明限制到特定实施例。
实施例一
本发明一种OCT图像散斑抑制方法的步骤流程图,原图像大小为992x512大小的图像,经过本发明图像分辨率大小为原图像的4倍,即1984x1024大小的图像。
本发明的方法包括以下步骤:
a.图像配准步骤,对第一低分辨率图像和其后连续的多个第二低分辨率图像进行配准以计算所述第二低分辨率图像相对所述第一分辨率图像的运动参数。
b.图像重建步骤,基于所计算的运动参数计算低分辨率图像在高分辨率图像中的坐标,使用自适应归一化卷积进行像素差值计算重建出高分辨率图像。
本实施例中,选取20个正常患者的volume的OCT图像,每个volume中包含254张图像作为本发明的数据集。
图像配准步骤中,读入一张OCT图像(即第一低分辨率图像)与之后的连续的三张OCT图像(即第二低分辨率图像)并对其进行配准。在配准阶段为了提高速度和鲁棒性,使用了从粗到细的图像结构。配准的步骤流程步骤如下:
步骤a-1,将M×N大小的低分辨率图像进行高斯滤波和亚采样以获得M/2×N/2大小的下层图像。
步骤a2,计算对应于所述第二低分辨率图像的下层图像相对对应于所述第一低分辨率图像的下层图像的下层图像运动参数;
步骤a3,对步骤a1中获得的下层图像执行步骤a1-a2,重复k次。具体在本实施例中,另k取值为1以采用三层高斯金字塔。通过重复步骤a1-a2,得到两张M/4×N/4大小的图像。
步骤a4,基于k次计算的下层图像运动参数进行迭代修正,以获取第二低分辨率图像相对第一低分辨率图像的运动参数。迭代修正的操作为:从最粗的原始OCT图像开始计算各第二低分辨率图像相对第一低分辨率图像的运动参数,然后根据运动参数对第二层的图像进行旋转和平移改正,再插值获取新的第二层图像,重新计算新的运动参数,以此类推,最后计算出原始图像高精度的运动参数。其中运动参数的计算如下:
第一低分辨率图像f和第二低分辨率图像g之间的水平偏移量a、垂直偏移量b和旋转角度θ之间的关系可以写成:
将sin(θ)和cos(θ)通过泰勒展开式展开前两项,得到以下等式:
在其泰勒展开式中将f扩展到第一项给出了如下的一阶方程:
图像g和图像f通过a、b平移以及θ旋转后出现的误差E可以近似为:
其中,求和是在f和g的重叠区域。E(a, b, θ)的最小值可以通过计算其相对于a和b的倒数并将θ设置为零来获得。为了使g和由(a, b,θ)扭曲的f之间的差异最小化,可以通过求解a、b和θ的以下等式来获得:
其中,
通过求解这组线性方程,可以计算出运动参数a、b、θ。
通过上述流程可以估算出图像的水平位移和垂直位移,通过参数可以找到匹配点坐标。
步骤b中使用一种结构自适应归一化卷积(SANC)重建方法,用于融合从不同低分辨率图像获得的不规则采样数据。根据配准所得到的估算运动参数计算低分辨率图像在高分辨率栅格中的坐标。使用自适应归一化卷积进行像素差值计算,重建出高分辨率图像。包括步骤:
步骤b-1,根据步骤a估算的运动参数来计算低分辨图像在高分辨率栅格中的坐标。本实施例中的放大因子为2,高分辨率栅格的尺寸为原始图像大小992×512分别放大2倍,即尺寸为1984×1024,为原始图像的4倍。
步骤b-2,以局部信号为中心,通过一个多项式曲面基函数对局部信号的邻域进行建模。自适应适用性函数是各向异性的高斯函数,用于将来自投影的局部信号近似到一组多项式基函数上,为图像邻域中的所有数据点给出不同的权重。本实施例中,像素点S0=(x0,y0)在所述多项式基函数上的投影系数 。使用确定性函数进行一阶鲁棒性处理进行信号融合。使用NC进行插值前需要提前知道该信号的确定性,可以防止异常信号参与到重建中。为了求解投影系数P使用最小二乘法求解。结构自适应性函数对于插补具有决定性的作用,自适应适用性函数是一个各向异性的高斯函数,这种高斯适用性函数可以减少模糊。为了得到其中的参数,需要估计局部图像结构和尺度的估计。为了在重建的像素处得到自适应内核,须实现知道该像素周围的局部图像结构,使用GTS(梯度结构张量)的方法得到局部结构信息。除此之外还需得知局部样本密度,以双线性加权方式将每个不规则样本的确定性划分为其四个最近的HR网格点,所有网格上的样本的确定性参数累加在HR网格上形成密度图像,通过快速分离和递归过滤构造该密度图像的尺度空间,估测滤波结果等于C的高斯尺度。
参阅图1可以观察到,所提出的方法显著增强了大多数视神经***组织(视网膜层),不仅能够抑制斑点噪声,而且能够保留结构细节,例如视网膜层边界。参阅图2是将不同的散斑抑制的方法应用于具有代表性图像块的三个示例图像的结果,本发明和其他五种先进的OCT图像散斑减少方法用于比较:NLM,NCDF,K-SVD,ASR和BM4D。图中可以看出大多数过滤器,例如,NLM,NCDF,K-SVD和BM4D降低了图像的噪声,但没有引入额外的信息。与此同时,这些过滤器进一步平滑了局部特征,因此造成了图像模糊的印象。ASR实现了比上述四种方法相对更好的性能,因为它估计了配准OCT扫描的全局和局部运动。在实验中,分别采用定性和定量的方法评估算法的性能。
由于目视检查很难完全证明本发明优于其他去噪方法的优越性,本发明采用来定性和定量两种评价结果,在此进行了更客观的定量评估。参阅下表所示:
本发明提出的方法优于其他方法,表现为具有较低的MSE,较高的PSNR和MSSIM:数值分别为0.040,23.76和0.772。可见该发明提出的超分辨率方法能够通过利用多个图像的真实测量值来增加图像的熵,并且能够利用亚像素移动从多个图像中检索丢失的局部特征。
虽然描述了本发明的实施方式,但是本领域普通技术人员可以在所附权利要求的范围内做出各种变形或修改。

Claims (9)

1.一种OCT图像散斑抑制方法,其特征在于,包括:
图像配准步骤,对第一低分辨率图像和其后连续的多个第二低分辨率图像进行配准以计算所述第二低分辨率图像相对所述第一低分辨率图像的运动参数;
图像重建步骤,基于所计算的运动参数计算低分辨率图像在高分辨率图像中的坐标,使用自适应归一化卷积进行像素差值计算重建出高分辨率图像;
其中,所述运动参数包括水平偏移量a、垂直偏移量b、旋转角度θ,所述第一低分辨率图像与所述第二低分辨率图像的分辨率相同;
第二低分辨率图像g中像素点(x,y)相对第一低分辨率图像f中像素点(x,y)的运动参数通过线性方程
求解,其中
2.根据权利要求1所述的一种OCT图像散斑抑制方法,其特征在于,所述图像配准步骤包括:
步骤a1,将M×N大小的低分辨率图像进行高斯滤波和亚采样以获得大小的下层图像;
步骤a2,计算对应于所述第二低分辨率图像的下层图像相对对应于所述第一低分辨率图像的下层图像的下层图像运动参数;
步骤a3,对步骤a1中获得的下层图像执行步骤a1-a2,重复k次;
步骤a4,基于k次计算的下层图像运动参数进行迭代修正,以获取第二低分辨率图像相对第一低分辨率图像的运动参数。
3.根据权利要求2所述的一种OCT图像散斑抑制方法,其特征在于:
所述步骤a3中k等于1。
4.根据权利要求3所述的一种OCT图像散斑抑制方法,其特征在于,所述步骤a4中迭代修正的误差函数:
5.根据权利要求1-3中任一项所述的OCT图像散斑抑制方法,其特征在于,所述图像重建步骤包括:
步骤b-1,根据步骤a估算的运动参数来计算低分辨图像在高分辨率栅格中的坐标;
步骤b-2,采用结构自适应归一化卷积重建方法融合从不同低分辨率图像中获得的不规则采样数据。
6.根据权利要求5所述的一种OCT图像散斑抑制方法,其特征在于:
所述步骤b-2中,基于结构自适应归一化卷积方法将来自投影的局部信号近似到一组多项式基函数上。
7.根据权利要求6所述的一种OCT图像散斑抑制方法,其特征在于:
所述步骤b-2中像素点S0=(x0,y0)在所述多项式基函数上的投影系数PS 0 )=[P 0 P 1 …P m ] T (S 0 )。
8.根据权利要求6所述的一种OCT图像散斑抑制方法,其特征在于:
所述步骤b-2中使用梯度结构张量方法得到局部结构信息。
9.根据权利要求5所述的一种OCT图像散斑抑制方法,其特征在于:
所述步骤b-2中,以双线性加权方式将每个不规则样本的确定性划分为其四个最近的HR网格点,所有网格上的样本的确定性参数累加在高分辨率栅格上形成密度图像。
CN201911241433.5A 2019-12-06 2019-12-06 一种oct图像散斑抑制方法 Active CN111145280B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911241433.5A CN111145280B (zh) 2019-12-06 2019-12-06 一种oct图像散斑抑制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911241433.5A CN111145280B (zh) 2019-12-06 2019-12-06 一种oct图像散斑抑制方法

Publications (2)

Publication Number Publication Date
CN111145280A CN111145280A (zh) 2020-05-12
CN111145280B true CN111145280B (zh) 2023-09-15

Family

ID=70517763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911241433.5A Active CN111145280B (zh) 2019-12-06 2019-12-06 一种oct图像散斑抑制方法

Country Status (1)

Country Link
CN (1) CN111145280B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419157B (zh) * 2020-11-30 2024-04-02 浙江凌迪数字科技有限公司 一种基于生成对抗网络的布料超分辨率方法
CN112785518B (zh) * 2021-01-11 2022-08-30 飞燕航空遥感技术有限公司 影像中圆形暗斑纠正方法和纠正***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101226634A (zh) * 2008-01-30 2008-07-23 哈尔滨工业大学 基于核回归的单帧图像快速超分辨率重建方法
CN103136734A (zh) * 2013-02-27 2013-06-05 北京工业大学 POCS超分辨率图像重建时边缘Halo效应的抑制方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101375490B1 (ko) * 2012-04-27 2014-03-17 가천대학교 산학협력단 Pet 장치의 구동을 이용한 초고해상도 pet 영상 획득 방법
US10366480B2 (en) * 2016-07-01 2019-07-30 Analytical Mechanics Associates, Inc. Super-resolution systems and methods

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101226634A (zh) * 2008-01-30 2008-07-23 哈尔滨工业大学 基于核回归的单帧图像快速超分辨率重建方法
CN103136734A (zh) * 2013-02-27 2013-06-05 北京工业大学 POCS超分辨率图像重建时边缘Halo效应的抑制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孟庆武等.《单帧低分辨率图像的SFMAP高分辨率重建算法》.《计算机科学》.2004,第147-150. *

Also Published As

Publication number Publication date
CN111145280A (zh) 2020-05-12

Similar Documents

Publication Publication Date Title
WO2022047625A1 (zh) 一种图像处理方法、***和计算机存储介质
CN111081354B (zh) 用于通过深度学习网络对医疗图像进行去噪的***和方法
Muckley et al. Training a neural network for Gibbs and noise removal in diffusion MRI
JP6448313B2 (ja) 3次元ボリュームを表す画像データを処理する方法
CN109961411B (zh) 非下采样剪切波变换医学ct图像去噪方法
CN108305230A (zh) 一种模糊图像综合处理方法和***
CN105761216B (zh) 一种图像去噪处理方法及装置
CN111145280B (zh) 一种oct图像散斑抑制方法
CN108830791B (zh) 基于自身样例和稀疏表示的图像超分辨率方法
CN111815766A (zh) 基于2d-dsa图像重建血管三维模型处理方法及***
CN112037304B (zh) 基于swi相位图像的两阶段的边缘增强qsm重建方法
CN109360212A (zh) 一种可抑制重采样误差的频域光场数字重聚焦算法
Ahn et al. Adaptive template filtering for signal-to-noise ratio enhancement in magnetic resonance imaging
CN113962887A (zh) 一种二维冷冻电镜图像去噪模型的训练方法、去噪方法
CN114240797A (zh) 一种oct图像去噪方法、装置、设备及介质
CN106204475B (zh) 基于field map对fMRI中的几何畸变伪影进行校正的方法
Seetharaman et al. Retracted: A novel approach in hybrid median filtering for denoising medical images
CN116645283A (zh) 基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法
CN115294229A (zh) 用于重建磁共振成像(mri)图像的方法及设备
CN117391955A (zh) 基于多帧光学相干层析图像的凸集投影超分辨率重建方法
Wu et al. Noise reduction for SD-OCT using a structure-preserving domain transfer approach
CN114565711A (zh) 基于深度学习的心脏图像重建方法及***
CN114187181A (zh) 基于残差信息精炼的双路径肺部ct图像超分辨率方法
Fu et al. ADGAN: An asymmetric despeckling generative adversarial network for unpaired OCT image speckle noise reduction
CN111340699B (zh) 基于非局部先验和稀疏表示的磁共振图像去噪方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant