CN108765392A - 一种基于滑动窗口的消化道内镜病变检测和识别方法 - Google Patents
一种基于滑动窗口的消化道内镜病变检测和识别方法 Download PDFInfo
- Publication number
- CN108765392A CN108765392A CN201810484708.7A CN201810484708A CN108765392A CN 108765392 A CN108765392 A CN 108765392A CN 201810484708 A CN201810484708 A CN 201810484708A CN 108765392 A CN108765392 A CN 108765392A
- Authority
- CN
- China
- Prior art keywords
- lesion
- frame
- candidate
- image
- mark
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明属于医学图像智能处理技术领域,具体为一种基于滑动窗口的消化道内镜病变检测和识别方法。通过内镜的早期筛查是降低消化道癌症发病率和死亡率的有效手段。在传统诊断方法中,医生的诊断完全是主观判断过程,会受到诊断医生经验及知识水平的限制和影响。因此本发明将深度学习应用于消化道内镜的病变检测,基于医生标注的病变区域的边框制作样本,训练分类器;在待检测的消化道内镜图像中提出候选区域,将候选区域输入分类器,对分类结果做后处理,达到病变检测的目的。实验结果表明,本发明可以较准确地检测到消化道内镜图像的病变位置,为医生提供参考,说明了人工智能辅助的消化道早癌诊疗具有无可替代的优越性。
Description
技术领域
本发明属于医学图像智能处理技术领域,具体涉及一种基于滑动窗口的消化道内镜病变检测和识别方法。
背景技术
规范的消化道癌症筛查、治疗、随访具有重大意义,早期癌症筛查是降低癌症发病率和死亡率的有效手段。消化道早癌的筛查、治疗、随访途径主要有内镜检查及术后CT检查,其中消化道内镜检查最为重要。在传统诊断方法中,医生诊断完全是主观判断的过程,因而会受到诊断医生经验及知识水平的限制和影响;其次,医生诊断时易于遗漏某些细微改变;再次,不同医师间及同一医师不同时间的诊断存在差异。
计算机辅助诊断(computer aided diagnosis,CAD)技术又被称为医生的“第三只眼”,能够排除主观因素影响,提高医生的诊断准确性,快速的提升医学诊治的质量。近年来,计算机领域的飞速发展进步推动了CAD技术更好地发展。人工智能中卷积神经网络(convolutional neural network,CNN)驱动了识别领域的不断进步,不仅在整张图像的分类中效果显著,在物体检测、关键点检测等任务中也有极大的推动作用。如果将基于CNN的识别与检测技术与医学诊疗相结合,相当于数十名甚至百名有经验的临床专家对该病例进行远程“会诊”,能快速的提升医学诊治的质量。Jama和Nature分别刊文介绍了谷歌利用深度学习方法[1-2],仅用十万量级的糖尿病视网膜病变图像和皮肤病变图像训练获得了比大多数人类医学专家更为准确的图像判断结果,揭开了深度学习在临床学图像识别领域应用的序幕,在医学辅助诊疗方面展现了广阔的应用前景。
在物体检测中,候选区域的选择对于物体检测非常重要,生成候选区域的方法包括基于超像素分组的方法,如Selective Search[3],和基于滑动窗口的方法,如EdgeBoxes[4]。R-CNN[5]训练一个端到端的CNN将候选区域分为物体或者背景,它的主要作用是分类器,而不负责预测物体的边框;OverFeat[6]用全连接层预测边框的坐标,但只可以检测到一个物体;为了提高R-CNN的检测速度,Fast R-CNN[7]训练了一个端到端的检测器,并将候选区域映射到卷积层的特征图中,减少了重复计算;Faster R-CNN[8]使用CNN预测候选区域,而不是使用独立的候选区域选择方法,如Selective Search[3],进一步提升了速度和精确度。
发明内容
本发明的目的在于提供一种准确度高的基于滑动窗口的消化道内镜图像病变检测和识别方法,以排除主观判断的干扰,准确地检测到消化道内镜图像的病变位置,为医生提供参考。
本发明所提供的消化道内镜图像病变检测和识别方法,具体步骤如下:
(1)训练分类器
在检测之前,需要训练一个病变图像的分类器,具体训练方法如下:
首先,由医生标注病变区域的边框,基于标注的病变区域的边框生成训练样本,并进行数据增强;
其次,使用在ImageNet(目前世界上图像识别最大的数据库)上预训练的参数初始化VGG-16模型(K.Simonyan,A.Zisserman.Very Deep Convolutional Networks forLarge-Scale Image Recognition.2014);
最后,根据医学图像的特殊性,选取合适的损失函数,训练病变分类器;
(2)消化道内镜病变检测
首先,对于一张消化道内镜图片,为了检测到病变的具***置,需要提出候选区域;
其次,将所有的候选区域的图片输入到训练好的病变分类器中,获得候选区域被分类为病变的概率,过滤概率较低的候选框;
然后,根据候选框的概率,使用非极大值抑制(NMS)对候选框做后处理,设定重叠率阈值Tover,保留概率比较高的候选区域;
最后,输出病变检测结果。
进一步的,步骤(1)中,用矩形边框标出病变区域,边框刚好包围一个连续的病变区域,提供的标注的图像一般包括病变图像600-1200张、正常图像600-1200张。
进一步的,步骤(1)中,所述的训练样本的生成方法为:
正样本生成方法为:裁剪标注的边框,并以标注的边框为中心,随机移动裁剪框,同时保证裁剪框和标注的边框重叠率(IOU)大于0.7,裁剪8个样本,因此一个边框共可以生成9个正样本;
负样本生成方法为:负样本来源于病变和正常的消化道内镜图像,对于病变的图像,从图像中随机裁剪,同时保证裁剪框和标注的边框重叠率(IOU)小于0.3;对于正常的图像,随机裁剪即可,裁剪框大小由标注的经验值确定,统计标注的边框的长宽范围,进而确定随机裁剪时的长宽范围,对于长宽范围在400-600个像素的消化道内镜图像,建议随机裁剪时长宽范围在100-300个像素。
进一步的,步骤(1)中,所述训练样本中,负样本(正常样本)较多,而正样本(病变样本)较少,需要通过数据增强的方法增加正样本数量,正样本的数据增强的方法为:水平翻转。
进一步的,步骤(1)中,所述的损失函数为焦点损失(Focal loss,T.Lin,P.Goyal,et al.Focal Loss for Dense Object Detection.2017),制作样本过程中,病变样本非常少,虽然通过数据增强的方法增加了一些病变样本,但是仍然存在很严重的样本不均衡的问题;Focal loss可以有效缓解样本不均衡的问题,具体计算方法为:
Loss=-(1-pt)2log(pt)
其中,p是一个样本被分类为病变的可能性,y∈{0,1},0表示正常,1表示病变,pt表示一个样本被正确分类的可能性。
进一步的,步骤(2)中,所述的提出候选区域的方法为:
有大小为H×W的消化道内镜图像,候选框的长和宽由base=min(H,W)确定。统计了标注的边框的长和宽与base的关系,建议设置候选框的长宽为base×0.375,base×0.55,base×0.725,因此构成3×3=9种候选框。用候选框在图像中滑动,垂直方向滑动步长为H×S,水平方向滑动步长为W×S,其中S∈(0,1)。
考虑到检测准确率和检测时间之间的均衡,S取值范围为[0.04,0.06]。
进一步的,步骤(2)中,所述过滤病变概率较低的候选框的方法为:
对于第i个候选框boxi,若其被预测为病变的概率p大于阈值T,则该候选框被认为病变,否则该候选框被认为正常,被过滤。根据实验验证,建议阈值T选取范围为[0.90,0.95]。
进一步的,步骤(2)中,所述的重叠率的阈值Tover的取值范围为[0.1,0.3]。
本发明的有益效果在于:本发明基于医生的标注制作样本,训练分类器,用VGG-16模型提取病变样本和正常样本的深层次特征,实现样本的精准分类。使用滑动窗口选取候选框,将候选框输入分类器进行分类,保留病变可能性较高的候选框。本发明能够在无人工参与的情况下自动检测病变位置,排除医生的主观判断的干扰,为医生提供客观参考。
附图说明
图1为本发明的流程图。
图2为本发明检测病变位置的效果图。
具体实施方式
下面对本发明技术方案进行详细说明,但是本发明的保护范围不局限于所述实施例。
用医生标注的图像制作样本,训练分类器至收敛后,具体实施方法是:
(1)输入H×W的待测试图像,计算base=min(H,W),候选框的长和宽有三种base×0.375,base×0.55,base×0.725,因此构成3×3=9种组合,即9种候选框;在图像中滑动候选框,垂直方向滑动步长为H×S,水平方向滑动步长为W×S,滑动步长的参数S设为0.04;
(2)将所有的候选框输入分类器,分类器输出候选框病变的概率;
(3)用阈值T过滤病变概率较低的候选框;当候选框的病变概率小于阈值T,则认为该候选框正常,被过滤,否则保留该候选框;阈值T设为0.94;
(4)根据候选框的概率,使用非极大值抑制(NMS)做后处理,设定重叠率阈值Tover为0.1。
图2为本发明病变检测的实例。为了保护病人的隐私,图2给出的是裁剪掉病人个人信息的消化道内镜图像。图2(a)是内镜图像原图,图2(b)是医生标注的病变区域的边框,图2(c)是本发明病变检测结果。本发明能够有效检测到病变的位置。
参考文献
[1]A.Esteva,B.Kuprel,R.A.Novoa,et al,“Dermatologist-levelclassification of skin cancer with deep neural networks,”Nature,vol.542,no.7639,pp.115-118,2017.
[2]V.Gulshan,L.Peng,M.Coram M,et al,“Development and validation of adeep learning algorithmfor detection of diabetic retinopathy in retinalfundus photographs,”Jama,vol.316,no.22,pp.2402-2410,2016.
[3]J.R.Uijlings,K.E.van de Sande,T.Gevers,and A.W.Smeulders,“Selective search for object recognition,”International Journal of ComputerVision,vol.104,no.2,pp.154-171,2013.
[4]C.L.Zitnick and P.Dollar,“Edge boxes:Locating object proposalsfromedges,”in European Conference on Computer Vision,pp.391-405,2014.
[5]R.Girshick,J.Donahue,T.Darrell,and J.Malik,“Rich featurehierarchies for accurate object detection and semantic segmentation,”IEEEConference on Computer Vision and Pattern Recognition,pp.580-587,2014.
[6]P.Sermanet,D.Eigen,X.Zhang,M.Mathieu,R.Fergus,and Y.LeCun,“Overfeat:Integrated recognition,localization and detection usingconvolutional networks,”International Conference on Learning Representations,2014
[7]R.Girshick,“Fast R-CNN,”IEEE International Conference on ComputerVision,pp.1440-1448,2015.
[8]S.Ren,K.He,R.Girshick,J.Sun,“Faster R-CNN:Towards Real-Time ObjectDetection with Region Proposal Networks,”Neural Information ProcessingSystems,2015.
[9]T.Lin,P.Goyal,R.Girshick,K.He and P.Dollar,“Focal loss for denseobject detection,”IEEE International Conference on Computer Vision,Venice,Italy,pp.2999-3007,2017.。
Claims (8)
1.一种基于滑动窗口的消化道内镜病变检测和识别方法,其特征在于,具体步骤如下:
(1)训练分类器
在检测之前,需要训练一个病变图像的分类器,具体训练方法如下:
首先,标注病变区域的边框,基于标注的病变区域的边框生成训练样本,并进行数据增强;
其次,使用在ImageNet上预训练的参数初始化VGG-16模型;
最后,根据医学图像的特殊性,选取合适的损失函数,训练病变分类器;
(2)消化道内镜病变检测
首先,对于一张消化道内镜图片,为了检测到病变的具***置,需要提出候选区域;
其次,将所有的候选区域的图片输入到训练好的分类器中,获得候选区域被分类为病变的概率,过滤概率较低的候选框;
然后,根据候选框的概率,使用非极大值抑制NMS对候选框做后处理,设定重叠率阈值Tover,保留概率比较高的候选框;
最后,输出病变检测结果。
2.根据权利要求1所述的方法,其特征在于,步骤(1)中,用矩形边框标出病变区域,边框刚好包围一个连续的病变区域,提供的有标注的图像一般为病变图像600-1200张、正常图像600-1200张。
3.根据权利要求1所述的方法,其特征在于,步骤(1)中,所述的训练样本的生成方法为:
正样本生成方法为:裁剪标注的边框,并以标注的边框为中心,随机移动裁剪框,同时保证裁剪框和标注的边框重叠率IOU大于0.7,裁剪8个样本,因此一个边框共可以生成9个正样本;
负样本生成方法为:负样本来源于病变和正常的消化道内镜图像,对于病变的图像,从图像中随机裁剪,同时保证裁剪框和标注的边框重叠率IOU小于0.3;对于正常的图像,随机裁剪即可,裁剪框大小由标注的经验值确定,统计标注的边框的长宽范围,进而确定随机裁剪时的长宽范围。
4.根据权利要求1所述的方法,其特征在于,步骤(1)中,所述数据增强的方法为:水平翻转正样本。
5.根据权利要求1所述的方法,其特征在于,步骤(1)中,所述的损失函数为焦点损失Focal loss,计算方法为:
Loss=-(1-pt)2log(pt)
其中,p是一个样本被分类为病变的可能性,y∈{0,1},0表示正常,1表示病变,pt表示一个样本被正确分类的可能性。
6.根据权利要求1所述的方法,其特征在于,步骤(2)中,所述的提出候选区域的方法为:
有大小为H×W的消化道内镜图像,候选框的长和宽由base=min(H,W)确定;统计了标注的边框的长和宽与base的关系,设置候选框的长宽可以为base×0.375,base×0.55,base×0.725,因此构成3×3=9种候选框;用候选框在图像中滑动,垂直方向滑动步长为H×S,水平方向滑动步长为W×S,其中S∈(0,1)。
7.根据权利要求1所述的方法,其特征在于,步骤(2)中,所述过滤病变概率较低的候选框的方法为:
对于第i个候选框boxi,若其被预测为病变的概率p大于阈值T,则该候选框被认为病变,否则该候选框被认为正常,被过滤。
8.根据权利要求1所述的方法,其特征在于,步骤(2)中,所述的重叠率的阈值Tover的取值范围为[0.1,0.3]。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810484708.7A CN108765392B (zh) | 2018-05-20 | 2018-05-20 | 一种基于滑动窗口的消化道内镜病变检测和识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810484708.7A CN108765392B (zh) | 2018-05-20 | 2018-05-20 | 一种基于滑动窗口的消化道内镜病变检测和识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108765392A true CN108765392A (zh) | 2018-11-06 |
CN108765392B CN108765392B (zh) | 2022-03-18 |
Family
ID=64007253
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810484708.7A Active CN108765392B (zh) | 2018-05-20 | 2018-05-20 | 一种基于滑动窗口的消化道内镜病变检测和识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108765392B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109523535A (zh) * | 2018-11-15 | 2019-03-26 | 首都医科大学附属北京友谊医院 | 一种病变图像的预处理方法 |
CN109544526A (zh) * | 2018-11-15 | 2019-03-29 | 首都医科大学附属北京友谊医院 | 一种慢性萎缩性胃炎图像识别***、装置和方法 |
CN109584218A (zh) * | 2018-11-15 | 2019-04-05 | 首都医科大学附属北京友谊医院 | 一种胃癌图像识别模型的构建方法及其应用 |
CN109903841A (zh) * | 2019-03-01 | 2019-06-18 | 中山大学肿瘤防治中心 | 一种上消化道内镜影像的异常病变提示方法及装置 |
CN110991300A (zh) * | 2019-11-27 | 2020-04-10 | 天津农学院 | 一种肉鸡腹部异常肿胀状态的自动识别方法 |
CN112070124A (zh) * | 2020-08-18 | 2020-12-11 | 苏州慧维智能医疗科技有限公司 | 一种基于卷积神经网络的消化内镜视频场景分类方法 |
CN112634263A (zh) * | 2020-12-31 | 2021-04-09 | 石家庄市农林科学研究院 | 一种作物叶部病害图像增强及快速探测方法 |
CN113407685A (zh) * | 2021-05-14 | 2021-09-17 | 北京金山数字娱乐科技有限公司 | 一种样本筛选方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105512612A (zh) * | 2015-11-24 | 2016-04-20 | 中科院合肥技术创新工程院 | 一种基于svm的胶囊内窥镜图像分类方法 |
CN107423760A (zh) * | 2017-07-21 | 2017-12-01 | 西安电子科技大学 | 基于预分割和回归的深度学习目标检测方法 |
CN107451602A (zh) * | 2017-07-06 | 2017-12-08 | 浙江工业大学 | 一种基于深度学习的果蔬检测方法 |
CN107862694A (zh) * | 2017-12-19 | 2018-03-30 | 济南大象信息技术有限公司 | 一种基于深度学习的手足口病检测*** |
-
2018
- 2018-05-20 CN CN201810484708.7A patent/CN108765392B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105512612A (zh) * | 2015-11-24 | 2016-04-20 | 中科院合肥技术创新工程院 | 一种基于svm的胶囊内窥镜图像分类方法 |
CN107451602A (zh) * | 2017-07-06 | 2017-12-08 | 浙江工业大学 | 一种基于深度学习的果蔬检测方法 |
CN107423760A (zh) * | 2017-07-21 | 2017-12-01 | 西安电子科技大学 | 基于预分割和回归的深度学习目标检测方法 |
CN107862694A (zh) * | 2017-12-19 | 2018-03-30 | 济南大象信息技术有限公司 | 一种基于深度学习的手足口病检测*** |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109523535A (zh) * | 2018-11-15 | 2019-03-26 | 首都医科大学附属北京友谊医院 | 一种病变图像的预处理方法 |
CN109544526A (zh) * | 2018-11-15 | 2019-03-29 | 首都医科大学附属北京友谊医院 | 一种慢性萎缩性胃炎图像识别***、装置和方法 |
CN109584218A (zh) * | 2018-11-15 | 2019-04-05 | 首都医科大学附属北京友谊医院 | 一种胃癌图像识别模型的构建方法及其应用 |
CN109523535B (zh) * | 2018-11-15 | 2023-11-17 | 首都医科大学附属北京友谊医院 | 一种病变图像的预处理方法 |
CN109903841A (zh) * | 2019-03-01 | 2019-06-18 | 中山大学肿瘤防治中心 | 一种上消化道内镜影像的异常病变提示方法及装置 |
CN110991300A (zh) * | 2019-11-27 | 2020-04-10 | 天津农学院 | 一种肉鸡腹部异常肿胀状态的自动识别方法 |
CN110991300B (zh) * | 2019-11-27 | 2022-07-05 | 天津农学院 | 一种肉鸡腹部异常肿胀状态的自动识别方法 |
CN112070124A (zh) * | 2020-08-18 | 2020-12-11 | 苏州慧维智能医疗科技有限公司 | 一种基于卷积神经网络的消化内镜视频场景分类方法 |
CN112634263A (zh) * | 2020-12-31 | 2021-04-09 | 石家庄市农林科学研究院 | 一种作物叶部病害图像增强及快速探测方法 |
CN113407685A (zh) * | 2021-05-14 | 2021-09-17 | 北京金山数字娱乐科技有限公司 | 一种样本筛选方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN108765392B (zh) | 2022-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108765392A (zh) | 一种基于滑动窗口的消化道内镜病变检测和识别方法 | |
CN108986067B (zh) | 基于跨模态的肺结节检测方法 | |
CN109272492B (zh) | 一种细胞病理涂片的处理方法及*** | |
Dong et al. | Classification of cataract fundus image based on deep learning | |
CN109635846B (zh) | 一种多类医学图像判断方法和*** | |
JP6842481B2 (ja) | 深層学習を用いた網膜層の3d定量解析 | |
CN104809480B (zh) | 一种基于分类回归树和AdaBoost的眼底图像视网膜血管分割方法 | |
CN109325942A (zh) | 基于全卷积神经网络的眼底图像结构分割方法 | |
CN102567734B (zh) | 基于比值的视网膜细小血管分割方法 | |
CN114627067B (zh) | 一种基于图像处理的伤口面积测量及辅助诊疗方法 | |
CN109087296A (zh) | 一种提取ct图像中人体区域的方法 | |
Yang et al. | CT images recognition of pulmonary tuberculosis based on improved faster RCNN and U-Net | |
CN110188767A (zh) | 基于深度神经网络的角膜病图像序列化特征提取与分类方法及装置 | |
CN104182723B (zh) | 一种视线估计的方法和装置 | |
Lan et al. | Run: Residual u-net for computer-aided detection of pulmonary nodules without candidate selection | |
CN109087310A (zh) | 睑板腺纹理区域的分割方法、***、存储介质及智能终端 | |
WO2021159686A1 (zh) | 基于滑动窗的癌细胞检测装置 | |
CN106960199A (zh) | 一种真彩色眼象图白睛区域的完整提取方法 | |
CN111160431B (zh) | 一种基于多维特征融合的圆锥角膜识别方法及装置 | |
CN111724345A (zh) | 可自适应调节感受野大小的肺炎图片检定装置与方法 | |
CN106355574A (zh) | 一种基于深度学习的腹内脂肪分割方法 | |
CN110929570A (zh) | 虹膜快速定位装置及其定位方法 | |
CN113506274A (zh) | 基于视觉显著性差异图的用于人体认知状况的检测*** | |
CN110428405A (zh) | 一种检测生物组织图像中肿块的方法、相应设备及介质 | |
CN110163847A (zh) | 基于ct/mr影像的肝脏肿瘤分割方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |