CN105741266B - 一种病理图像细胞核快速定位方法 - Google Patents

一种病理图像细胞核快速定位方法 Download PDF

Info

Publication number
CN105741266B
CN105741266B CN201610044876.5A CN201610044876A CN105741266B CN 105741266 B CN105741266 B CN 105741266B CN 201610044876 A CN201610044876 A CN 201610044876A CN 105741266 B CN105741266 B CN 105741266B
Authority
CN
China
Prior art keywords
image
nucleus
pathological
nuclear
pathological image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610044876.5A
Other languages
English (en)
Other versions
CN105741266A (zh
Inventor
姜志国
郑钰山
张浩鹏
麻义兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201610044876.5A priority Critical patent/CN105741266B/zh
Publication of CN105741266A publication Critical patent/CN105741266A/zh
Application granted granted Critical
Publication of CN105741266B publication Critical patent/CN105741266B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本方法针对传统细胞核定位算法的处理速度难以满足大规模数字病理全切片计算机辅助分析这一问题,发明了一种快速稳定的细胞核定位方法。该方法首先利用颜色反卷积算法提取病理图像中的细胞核成分,然后利用混合高斯滤波器突显细胞核中心位置,最后在滤波后的细胞核图像中查找局部最大值,经自适应阈值判断确定细胞核的位置。该方法流程清晰,易于实现,时间复杂度较小,执行速度较快,且定位效果稳定,在于数字病理全切片计算机辅助分析中具有重要意义。

Description

一种病理图像细胞核快速定位方法
技术领域
一种病理图像细胞核快速定位方法,属于数字图像处理领域,特别涉及数字病理图像中细胞核中心定位的数字图像处理技术。
背景技术
数字病理全切片是通过专用的扫描成像***将病理切片转换为可供计算机显示、传输及处理的高倍率大规模数字图像。在基于数字病理全切片的癌症诊断中,细胞核的形态特征及不同类别的细胞核在组织中的分布情况是癌症诊断的主要依据。据此,许多计算机辅助的癌症诊断方法从细胞核的精确定位与分割入手,分析数字全切片中组织的特征,进行癌症的辅助诊断。然而,细胞核的精确定位与分割一般需要较为复杂的算法才能实现,其时间消耗很难满足数字病理全切片的计算机辅助分析;另一方面,某些基于机器学习的计算机辅助诊断方法只需要定位细胞核的中心,并不需要对细胞核进行精确的分割。针对以上问题,需求一种应用于数字病理全切片计算机辅助分析的细胞核快速定位算法。
病理切片的色彩是在切片制作过程中经不同染色剂分步染色而成的混合色,在计算机中用红绿蓝(RGB)彩色空间进行描述。在数字病理图像处理领域中,为了对不同染色剂成分进行单独的分析,学者们提出一种基于朗伯-比尔定律的颜色反卷积算法,能够从RGB彩色空间中分解出病理切片的每种染色剂的染色量,从而对感兴趣的染色成分进行分析。以最常见的苏木精-伊红染色的病理切片为例,苏木精染色剂可以将细胞核染成紫蓝色,伊红染色剂可以将细胞质及组织基质染成红色。因此,利用颜色反卷积算法提取其中的苏木精成分,即可达到从细胞质中分离出细胞核的目的。在分离后的细胞核成分图像上进行细胞核的定位,可以避免细胞质及组织基质造成的大量噪声,提高细胞核的定位精度。
发明内容
(一)要解决的技术问题
本发明是一种病理图像细胞核快速定位方法,针对传统的细胞核定位方法的处理速度难以满足数字病理全切片计算机辅助分析这一问题,在不对细胞核进行分割的前提下,快速准确的定位数字病理图像中的细胞核。
(二)技术方案
一种病理图像细胞核快速定位方法,其特征在于包括以下具体步骤:
步骤一、用切片扫描仪将病理切片扫描到电子计算中,以RGB三通道存储为数字图像矩阵。
步骤二、使用颜色反卷积算法提取步骤一中获得的数字病理全切片中的细胞核成分图像。
步骤三、对步骤二中的细胞核成分图像进行混合高斯滤波,得到滤波后图像。
步骤四、在对步骤三中滤波后图像中查找局部最大值,作为细胞核候选位置,经自适应阈值判断后,排除噪声点,确定细胞核最终位置。
(三)有益效果
一种病理图像细胞核快速定位方法,能够对病理图像进行快速分析,在不进行图像分割的前提下定位细胞核的位置。尤其在只需要获取细胞核位置而不需要对其进行精确分割的应用领域中,较传统方法有着明显的优势。该方法首先利用颜色反卷积算法提取了病理图像中的细胞核成分,排除了细胞质及组织基质对细胞核定位的影响,然后利用高斯滤波器能够对与其大小相似的圆形目标中心位置产生峰值响应这一特性,实现了病理图像中细胞核的定位。该方法流程清晰,易于实现,性能稳定,时间复杂度较小,执行速度较快,能够满足数字病理全切片计算机辅助分析中细胞核定位的需求。
附图说明
图1:一种病理图像细胞核快速定位方法流程图;
图2:切片中某一区域的细胞核定位效果图。其中图2a为切片中某一区域的原始图像;图2b为使用颜色反卷积分离提取的细胞核成分图像;图2c为混合高斯滤波后的结果;图2d为滤波后局部最大值查找结果,即细胞核候选位置定位结果;图2e为剔除噪声后的细胞核最终定位结果。
具体实施方式
为了更好地理解本发明的技术方案,下面结合附图及具体实施方式详细介绍本发明。
本发明是一种病理图像细胞核快速定位方法,该方法主要包括以下几个步骤:
1.用切片扫描仪将用于组织活检的病理切片扫描到电子计算机中,以RGB三通道形式存储为数字图像矩阵。
2.利用颜色反卷积矩阵,计算颜色反卷积映射表。
3.利用步骤2中的颜色反卷积映射表提取数字病理切片中的细胞核成分,得到细胞核成分图像。
4.对步骤3中获得的细胞核成分图像进行混合高斯滤波,得到滤波后图像。
5.在步骤4中得到的滤波后图像中查找局部最大值,获得细胞核的候选位置。
6.根据步骤4中得到的滤波后图像计算自适应阈值,用此阈值对步骤5中得到的细胞核候选位置进行判断,得到细胞核最终位置。
本发明的具体实现流程如图1所示,各部分具体实施细节如下:
1.用切片扫描仪将用于组织活检的病理切片扫描到电子计算机中,以RGB三通道形式存储为数字图像矩阵。
为了满足癌症诊断的需要,病理切片一般在40倍镜下进行扫描,这使得整个数字切片的规模可能达到90000×90000像素,为了便于读取、传输与处理,病理全切片一般以分块的形式进行存储。本算法理论上可以对任意大小的病理图像进行处理,在实际应用中,可以根据计算机性能确定执行本方法的图像块大小。为了便于对算法进行描述,用I表示图像块,表示I中第i个像素RGB三通道数据,其中ri、gi、bi分别代表第i个像素红、绿、蓝三通道的数据。
2.利用颜色反卷积矩阵,计算反卷积映射表。
利用颜色反卷积算法提取第i个像素中的细胞核成分,具体计算公式如下:
其中为第i个像素的光密度,为分解后各染色剂的染色强度,pmax指图像数据的最大取值,对于24位RGB图像,pmax=255,M为反卷积矩阵,可以通过使用单一染色剂对切片进行染色时获得的数据计算得到,且经同一种染色方法得到的病理图像所对应的反卷积矩阵M相同。M是一个3×3的矩阵,以苏木精-伊红染色为例,它所对应的反卷积矩阵为:
其中,M的第一行代表苏木精染色成分与RGB三通道光密度间的运算关系。将公式(2)带入公式(1)中,即可得到第i个像素的苏木精染色成分(即细胞核成分)hi,其计算公式为:
令hir=-m11logri,hig=-m12log gi,hib=-m13log bi,hi0=(m11+m12+m13)log pmax,公式(3)可以表示为:
hi=hir+hig+hib+hi0 (4)
显然,hi0为一常量,带入各元素数值即可求得,hir,hig和hib分别表示第i个像素红、绿、蓝成分中包含的苏木精成分的分量,分别随ri,gi和bi变化。对于24位RGB彩色数字图像而言,ri,gi和bi的取值范围是0到255的整数,只有256种变化,这决定了hir,hig和hib也都只有256种变化。这样一来,在对病理图像进行颜色反卷积分解之前,先将hir,hig和hib的所有可能取值预先计算好并与ri,gi和bi建立一一对应,即建立ri到hir,gi到hig以及bi到hib的映射表。
在对病理图像进行反卷积分解时只需通过查表的方式得到第i个像素所对应的hir,hig和hib,带入到公式(4)中,即可得到第i个像素的苏木精染色成分hi,整个计算过程只包含3次查表和3个加法运算。
对于使用其他染色方法的病理图像,只需提取对细胞核进行染色的染色剂成分,仿照公式(3)即可获得细胞核成分的计算公式,继而建立映射表。
3.利用步骤2中的颜色反卷积映射表提取数字病理切片中的细胞核成分,得到细胞核成分图像。
由步骤2可知,颜色反卷积是以像素为单位进行处理的,将步骤2中建立的由ri到hir,gi到hig以及bi到hib的映射表应用到病理切片的所有像素中,再利用公式(4)即可实现对图像I中细胞核成分的提取,得到的细胞核成分图像用H表示,切片中某一区域的提取结果如图2(b)所示。
4.对步骤3中获得的细胞核成分图像进行混合高斯滤波。
步骤3中得到的细胞核成分图像为H,对其进行混合高斯滤波,可得滤波后的图像:
其中,Gjj)表示均值为0,标准差为σj的高斯模板,代表卷积运算,n是所用高斯滤波器的数量,根据实际情况可设置为1至5。为了使滤波结果能够突显图像细胞核中心的位置,高斯模板的大小一般设为略大于病理图像中细胞核的大小,标准差σj一般设定为高斯模板半径的倍。使用公式进行滤波后的效果如图2c所示。
5.在步骤4中得到的滤波结果中Hf查找局部最大值,获得细胞核的候选位置。
经步骤4处理后,细胞核的中心理论上将在Hf中取得局部最大值,对于第i个像素而言,只需考察与其最近邻的8个像素在Hf中的响应值,如果最近邻的8个像素的响应值均小于第i个像素的响应值,则可初步判断第i个像素为某个细胞核的中心,得到细胞核候选位置。细胞核候选位置如图2d所示。
6.根据图像总体着色强度计算阈值,用其对步骤5中得到的候选区域进行判断,完成细胞核位置的最终定位。
单纯使用局部最大值定位细胞核的位置会引入一些噪声,某些与细胞核形状相似的噪声也会被检测出来,这些噪声在Hf有着较小的响应值,使用阈值方法即可将其去除。考虑到病理切片整体染色浓度受染色剂调配、切片存储时间及医生染色手法的不同存在较大差异,需要使用自适应阈值进行细胞核的最终判断。本方法中使用的自适应阈值T定义为:
T=λ·max(Hf)
其中,max(Hf)表示细胞核成分图像Hf中的最大值,λ为比例参数,可在实际应用中对其进行调节,这里给定参考值为λ=0.3。利用计算后的阈值对步骤5中的候选点进行判断,最终大于阈值T的位置被确定为最终的细胞核定位结果,如图2e所示。
使用本方法进行病理图像细胞核定位,在一台使用2.5GHz的intel处理器的计算机上,不使用并行优化的情况下,可以达到400万像素/秒的处理速度,且细胞核定位准确,在数字病理全切片计算机辅助分析中具有重要意义。

Claims (3)

1.一种病理图像细胞核快速定位方法,应用于数字病理图像中细胞核的快速定位,其特征在于包括以下步骤:
(1)用切片扫描仪将用于组织活检的病理切片扫描到电子计算机中,以RGB三通道形式存储为数字图像矩阵;
(2)利用颜色反卷积矩阵,计算反卷积映射表;
(3)利用步骤(2)中的颜色反卷积映射表提取数字病理切片中的细胞核成分,得到细胞核成分图像;
(4)对步骤(3)中获得的细胞核成分进行混合高斯滤波,得到滤波后图像:
其中,Gjj)表示均值为0,标准差为σj的高斯模板,代表卷积运算,n是所用高斯滤波器的数量;
(5)在步骤(4)中得到的滤波后图像中查找局部最大值,获得细胞核的候选位置,对于第i个像素而言,只需考虑与其最近邻的8个像素在Hf中的响应值,如果最近邻的8个像素的响应值均小于第i个像素的响应值,则可初步判断第i个像素为某个细胞核的中心,得到细胞核候选位置;
(6)根据步骤(4)中得到滤波后图像计算自适应阈值,用其对步骤(5)中得到的候选区域进行判断,完成细胞核位置的最终定位,其方法是采用公式:
T=λ·max(Hf)
其中,max(Hf)表示图像Hf中响应的最大值,λ为比例参数;
最终大于阈值T的位置被确定为最终的细胞核定位结果。
2.根据权利要求1所述的一种病理图像细胞核快速定位方法,其特征是:所述步骤(2)利用颜色反卷积矩阵,计算反卷积映射表,其方法是采用公式
hi=hir+hig+hib+hi0 (1)
hir=-m11log ri (2)
hig=-m12log gi (3)
hib=-m13log bi (4)
hi0=(m11+m12+m13)log 255 (5)
其中ri,gi和bi表示病理图像中第i个像素的红,绿和蓝通道的数据,公式(2)(3)和(4)中hir,hig和hib的所有可能取值在对病理图像进行细胞核成分提取前被预先计算,并与ri,gi和bi之间建立一一对应,即建立ri到hir,gi到hig以及bi到hib的映射表;
反卷积矩阵
M的第一行代表苏木精染色成分与RGB三通道光 密度间的运算关系。
3.根据权利要求2所述的一种病理图像细胞核快速定位方法,其特征是:所述步骤(3)利用步骤(2)中预先计算的ri到hir,gi到hig以及bi到hib的颜色反卷积映射表,结合公式hi=hir+hig+hib+hi0提取数字病理切片中的细胞核成分H。
CN201610044876.5A 2016-01-22 2016-01-22 一种病理图像细胞核快速定位方法 Active CN105741266B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610044876.5A CN105741266B (zh) 2016-01-22 2016-01-22 一种病理图像细胞核快速定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610044876.5A CN105741266B (zh) 2016-01-22 2016-01-22 一种病理图像细胞核快速定位方法

Publications (2)

Publication Number Publication Date
CN105741266A CN105741266A (zh) 2016-07-06
CN105741266B true CN105741266B (zh) 2018-08-21

Family

ID=56246562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610044876.5A Active CN105741266B (zh) 2016-01-22 2016-01-22 一种病理图像细胞核快速定位方法

Country Status (1)

Country Link
CN (1) CN105741266B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408573A (zh) * 2016-08-31 2017-02-15 诸暨微因生物科技有限公司 一种全切片数字病理图像处理分析方法
US10467749B2 (en) 2016-10-10 2019-11-05 Genemind Biosciences Company Limited Method and system for processing an image comprising spots in nucleic acid sequencing
WO2018068511A1 (zh) * 2016-10-10 2018-04-19 深圳市瀚海基因生物科技有限公司 基因测序的图像处理方法及***
CN106570505B (zh) * 2016-11-01 2020-08-21 北京昆仑医云科技有限公司 对组织病理图像进行分析的方法和***
CN107230230B (zh) * 2017-06-14 2020-03-24 亿嘉和科技股份有限公司 一种基于合成滤波器的仪表图像定位方法
WO2019025514A2 (en) * 2017-08-04 2019-02-07 Ventana Medical Systems, Inc. METHODS AND AUTOMATED SYSTEMS FOR DETECTING CELLS IN IMAGES OF COLORED SAMPLES
WO2019025515A1 (en) * 2017-08-04 2019-02-07 Ventana Medical Systems, Inc. SYSTEM AND METHOD FOR COLOR DECONVOLUTION OF A SLIDE TO HELP ANALYZE A TISSUE SPECIMEN
CN108172278B (zh) * 2018-01-24 2021-09-10 北京航空航天大学 一种he染色病理图像颜色归一化方法
EP3843034A4 (en) 2018-08-22 2021-08-04 GeneMind Biosciences Company Limited METHOD AND DEVICE FOR DETECTING LIGHT POINTS ON A PICTURE AND COMPUTER PROGRAM PRODUCT
WO2020037574A1 (zh) 2018-08-22 2020-02-27 深圳市真迈生物科技有限公司 基于图像构建测序模板的方法、碱基识别方法和装置
WO2020037570A1 (zh) 2018-08-22 2020-02-27 深圳市真迈生物科技有限公司 图像配准方法、装置和计算机程序产品
CN110060245A (zh) * 2019-04-15 2019-07-26 青岛大学 一种基于深度神经网络的胃癌***染色病理图像自动识别方法
CN110223305B (zh) * 2019-06-12 2021-09-10 志诺维思(北京)基因科技有限公司 细胞分割方法、装置及可读存储介质
CN110415255B (zh) * 2019-06-14 2021-08-20 广东省人民医院(广东省医学科学院) 一种免疫组化病理图像cd3阳性细胞核分割方法及***
CN110853022B (zh) * 2019-11-14 2020-11-06 腾讯科技(深圳)有限公司 病理切片图像的处理方法、装置、***及存储介质
CN112651368B (zh) * 2020-12-30 2023-03-28 宁波江丰生物信息技术有限公司 一种用于大尺寸细胞显微图像的dna倍体分析方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010100704A1 (ja) * 2009-03-04 2010-09-10 日本電気株式会社 画像診断支援装置、画像診断支援方法、及び記憶媒体
WO2010140588A1 (ja) * 2009-06-03 2010-12-09 日本電気株式会社 病理画像診断システム、病理画像診断方法、病理画像診断プログラム
CN104200428A (zh) * 2014-08-18 2014-12-10 南京信息工程大学 基于非负矩阵分解的显微图像彩色去卷积方法及分割方法
CN104408717A (zh) * 2014-11-24 2015-03-11 北京航空航天大学 一种基于着色分离的病理图像颜色质量综合评价方法
CN104700375A (zh) * 2015-03-27 2015-06-10 麦克奥迪(厦门)医疗诊断***有限公司 一种基于主成分分析的病理图像视觉效果改善方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010100704A1 (ja) * 2009-03-04 2010-09-10 日本電気株式会社 画像診断支援装置、画像診断支援方法、及び記憶媒体
WO2010140588A1 (ja) * 2009-06-03 2010-12-09 日本電気株式会社 病理画像診断システム、病理画像診断方法、病理画像診断プログラム
CN104200428A (zh) * 2014-08-18 2014-12-10 南京信息工程大学 基于非负矩阵分解的显微图像彩色去卷积方法及分割方法
CN104408717A (zh) * 2014-11-24 2015-03-11 北京航空航天大学 一种基于着色分离的病理图像颜色质量综合评价方法
CN104700375A (zh) * 2015-03-27 2015-06-10 麦克奥迪(厦门)医疗诊断***有限公司 一种基于主成分分析的病理图像视觉效果改善方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Quantification of Histochemical Staining by Color Deconvolution;Arnout C.Ruifrok et al.;《Analytical and Quantitative Cytology and History》;20010804;第23卷;第291-299页 *
基于着色分离的免疫组化图像核分割研究;王萌萌 等;《计算机应用与软件》;20130430;第30卷(第4期);第165-170页 *

Also Published As

Publication number Publication date
CN105741266A (zh) 2016-07-06

Similar Documents

Publication Publication Date Title
CN105741266B (zh) 一种病理图像细胞核快速定位方法
Zanjani et al. Stain normalization of histopathology images using generative adversarial networks
Salehi et al. Pix2pix-based stain-to-stain translation: A solution for robust stain normalization in histopathology images analysis
CA2473848C (en) Method for quantitative video-microscopy and associated system and computer software program product
Zanjani et al. Histopathology stain-color normalization using deep generative models
CN104636759B (zh) 一种获取图片推荐滤镜信息的方法及图片滤镜信息推荐***
McCann et al. Algorithm and benchmark dataset for stain separation in histology images
Gray et al. Quantification of histochemical stains using whole slide imaging: development of a method and demonstration of its usefulness in laboratory quality control
JP2006520972A (ja) 画像パターン認識システム及び方法
WO2010061319A1 (en) Generation of a multicolour image of an unstained biological specimen
US10825195B2 (en) Spatial index creation for IHC image analysis
CN110838094B (zh) 病理切片染色风格转换方法和电子设备
CN109345601A (zh) 基于低秩嵌入非负矩阵分解的病理图像颜色标准化的方法
CN113470041B (zh) 免疫组化细胞图像细胞核分割与计数方法和***
CN111161359B (zh) 一种图像处理方法及设备
CN112102928A (zh) 病理图像染色风格归一化方法及装置
CN113724235B (zh) 镜下环境改变条件时半自动化的Ki67/ER/PR阴性、阳性细胞计数***及方法
Correa-Tome et al. Comparison of perceptual color spaces for natural image segmentation tasks
Ziaei et al. Characterization of color normalization methods in digital pathology whole slide images
JP7393769B2 (ja) 生物学的サンプルの画像に対するコンピュータ実装プロセス
Magliaro et al. HisTOOLogy: an open‐source tool for quantitative analysis of histological sections
Astola Stain separation in digital bright field histopathology
TW201520906A (zh) 影像註冊方法
CN113344928B (zh) 模型的训练及使用方法、装置、检测仪、存储介质
Huang Semi-supervised color decomposition for histopathological images using exclusive component analysis

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant