CN109785243B - 基于对抗生成网络未配准低剂量ct的去噪方法、计算机 - Google Patents
基于对抗生成网络未配准低剂量ct的去噪方法、计算机 Download PDFInfo
- Publication number
- CN109785243B CN109785243B CN201811436463.7A CN201811436463A CN109785243B CN 109785243 B CN109785243 B CN 109785243B CN 201811436463 A CN201811436463 A CN 201811436463A CN 109785243 B CN109785243 B CN 109785243B
- Authority
- CN
- China
- Prior art keywords
- ldct
- data
- network
- noise
- results
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明属于医学图像处理技术领域,公开了一种基于对抗生成网络未配准低剂量CT的去噪方法、计算机;包括获取LDCT和NDCT数据;分析数据,并按比例分为训练数据集和测试数据集;在TensorFlow中编程实现网络框架;读入数据并进行预处理,将图像大小调整相同;输入LDCT分别输入两个生成器中分别得到噪声和抑噪后的结果,将两者相加得到假的LDCT;利用两个判别器分别对抑噪后的结果和假的LDCT进行判别;通过生成结果和判别结果计算两个生成器和两个判别器的损失函数;通过优化算法优化网络,得到训练好参数的网络;在测试集上进行测试,得到LDCT抑噪结果。本发明可以用于未配对数据抑噪问题、配对数据的抑噪问题。
Description
技术领域
本发明属于医学图像处理技术领域,尤其涉及一种基于对抗生成网络未配准低剂量CT的去噪方法、计算机。
背景技术
目前,业内常用的现有技术是这样的:X射线计算机断层扫描(CT)是现代医院和诊所中最重要的成像方式之一。对患者存在潜在的辐射风险,X射线可能导致遗传损伤并以与辐射剂量相关的概率诱发癌症。在过去的十年中,CT检查的剂量逐渐减少。冠状动脉CT血管造影术已从2009年的约12mSv降至2014年的1.5mSv。降低辐射剂量会增加重建图像中的噪声和伪影,损害诊断信息。进行了大量努力来设计用于低剂量CT(LDCT)的图像重建或图像处理方法。针对LDCT的去噪方法通常分为三类:(a)重建前的正弦图过滤;(b)迭代重建;(c)重建后的图像后处理。正弦图过滤的方法可以在正弦图域中很好地建模噪声特性。然而,商业扫描仪的正弦图数据不容易为用户所用,并且可能遭受分辨率损失和边缘模糊。需要仔细处理正弦图数据,否则可能在重建图像中引起伪像。迭代重建技术能迭代地估计去噪的底层图像并促进高水平的剂量减少。虽然这些迭代重建算法极大地改善了图像质量,但是仍然可能丢失一些细节。而且,需要高计算成本,需要较长的处理时间,是实际应用中的瓶颈。图像后处理的方法主要包括传统方法和深度学习方法。传统方法有均值滤波、中值滤波等等,这些方法虽然减少了噪声信息,但是使得图像变得模糊,丢失了一些重要的细节信息。最近,已经提出了几种用于低剂量CT降噪的深度学习方法,这些方法基于图像对的训练,学习低剂量图像LDCT中的体素值与相应的常规剂量图像NDCT中的相同位置处的体素值之间的关系。现有技术一:一种卷积神经网络(CNN)的方法,基于低剂量CT中的局部斑块估计常规剂量HU值。该回归方法用于将低剂量胸部和腹部CT图像转换成相应的常规剂量图像的估计。现有技术二:一种对抗生成网络(GAN)的方法,这种方法基于配对的LDCT和NDCT图像对,学习对应体素值之间的映射关系,实现降噪的功能。现有技术一和二针对配对数据集上的去噪问题,并且已经在配对数据集上实现了很好的降噪效果。实际情况中,用户很难获取到配对的LDCT和NDCT图像对,所以针对未配对的数据,需要特定的方法来实现降噪。现有技术三:一种Cycle-GAN的方法,在未配对的数据上进行训练的,可以实现风格转换等,但是运用在LDCT降噪问题中效果不佳,主要表现在网络生成的图像细节不清楚,如果用于诊断会影响诊断结果。因此,迫切需要一种在未配对的数据对上实现LDCT降噪的具有鲁棒性的方法。
综上所述,现有技术存在的问题是:
(2)现有技术一和现有技术二只针对配对的数据即LDCT和NDCT之间像素严格对应,而临床数据是未配对的数据即LDCT和NDCT的像素之间没有对应关系。学习配对的数据之间的关系属于强监督学习,学习未配对数据之间的关系属于弱监督学习。现有技术一和二中的缺陷是网络结构中约束生成图像的条件较少,只能应用于配对数据这种强监督的学习,不能直接应用于实际临床数据。解决这种缺陷的意义在于降低了数据对于方法的影响,使得本发明所用的方法既可以用于配对数据,又可以用于未配对数据的去噪问题。
(3)现有技术三运用在LDCT降噪问题中效果不佳,主要表现在网络生成的图像细节不清楚。这体现在生成的图像中骨骼和软组织边界模糊,跟原图相比峰值信噪比和结构相似性低,影响诊断结果。
解决上述技术问题的难度和意义:解决上述技术问题存在的难度在于未配对数据上的去噪问题。意义在于本发明所提供的方法降低了对数据的要求,这体现在既可以解决配对数据集的去噪问题,又可以解决未配对数据集的去噪问题。
发明内容
针对现有技术存在的问题,本发明提供了一种基于对抗生成网络未配准低剂量CT的去噪方法、计算机。
本发明是这样实现的,一种基于对抗生成网络未配准低剂量CT的去噪方法,所述基于对抗生成网络未配准低剂量CT的去噪方法包括以下步骤:
步骤一,获取LDCT和NDCT数据;分析数据,并按照一定比例分为训练数据集和测试数据集;
步骤二,在TensorFlow中编程实现网络框架;读入数据并进行预处理,将图像大小调整相同;将输入的LDCT分别输入两个生成器中分别得到噪声和抑噪后的结果,将两者相加得到假的LDCT;
步骤三,利用两个判别器分别对抑噪后的结果和假的LDCT进行判别;通过生成结果和判别结果计算两个生成器和两个判别器的损失函数;通过优化算法优化网络,得到训练好参数的网络。
进一步,所述基于对抗生成网络未配准低剂量CT的去噪方法包括以下步骤:
(1)获取LDCT和NDCT数据;
(2)分析数据,并按照比例分为训练数据集和测试数据集;
(3)在TensorFlow中编程实现网络框架;读入数据并进行预处理,将图像大小调整相同;
(4)在TensorFlow中编程实现两个生成器和两个判别器;
(5)将LDCT分别输入两个生成器中分别得到噪声和抑噪后的结果,将两者相加得到假的LDCT;
(6)利用两个判别器分别对抑噪后的结果和假的LDCT进行判别;
(7)通过生成结果和判别结果计算两个生成器和两个判别器的损失函数;
(8)通过Adam优化算法优化网络,得到训练好参数的网络;
(9)在测试集上进行测试,得到LDCT抑噪结果。
进一步,所述(3)读入数据并将图像大小调整相同,按如下步骤进行:
1)通过TensorFlow中load_sample函数读入未配准的LDCT和NDCT图像对;
2)将输入图像大小调整到同一像素大小。
进一步,所述(5)和(6)将LDCT分别输入两个生成器和两个判别器得到结果并对结果进行判别:
1)将LDCT分别输入两个生成器generator1和generator2中,分别得到噪声和抑噪结果,再将两者相加得到假的LDCT;
2)将抑噪结果和NDCT送入discriminator2中进行判别,将假的LDCT和LDCT送入discriminator1中进行判别,分别得到判别结果。
进一步,所述(7)的损失函数的计算,按如下步骤进行:
1)计算generator2损失函数:
2)计算discriminator2损失函数:
3)计算generator1损失函数:
4)计算discriminator1损失函数:
本发明的另一目的在于提供一种应用所述基于对抗生成网络未配准低剂量CT的去噪方法的计算机。
综上所述,本发明的优点及积极效果为:本发明的方法基于未配对的LDCT和NDCT图像对,更方便用户解决LDCT降噪问题;不仅可以用于未配对的数据集,还可以用于配对的数据集;应用对抗生成网络,学习能力强,很好地实现LDCT降噪;在训练过程中耗时少,自动化程度高。
附图说明
图1是本发明实施例提供的基于对抗生成网络未配准低剂量CT的去噪方法流程图。
图2是本发明实施例提供的网络流程图。
图3是本发明实施例提供的网络中的generator的网络结构示意图。
图4是本发明实施例提供的网络中的discriminator的网络结构示意图。
图5是本发明实施例提供的网络中卷积单元的网络结构示意图。
图6是本发明实施例提供的未配对的LDCT(左)和NDCT(右)图像对示意图。
图7是本发明实施例提供的在未配对数据集上训练完网络后,在配对数据集上测试的结果。
图8是本发明实施例提供的对图7测试结果的评估。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
现有技术针对未配对的数据,需要特定的方法来实现降噪;运用在LDCT降噪问题中效果不佳。本发明的方法基于未配对的LDCT和NDCT图像对,更方便用户解决LDCT降噪问题。
下面结合附图对本发明的应用原理作详细的描述。
如图1所示,本发明实施例提供的基于对抗生成网络未配准低剂量CT的去噪方法包括以下步骤:
S101:获取LDCT和NDCT数据;分析数据,并按照一定比例分为训练数据集和测试数据集;
S102:在TensorFlow中编程实现网络框架;读入数据并进行预处理,将图像大小调整相同;将输入的LDCT分别输入两个生成器中分别得到噪声和抑噪后的结果,将两者相加得到假的LDCT;
S103:利用两个判别器分别对抑噪后的结果和假的LDCT进行判别;通过生成结果和判别结果计算两个生成器和两个判别器的损失函数;通过优化算法优化网络,得到训练好参数的网络。
如图2所示,本发明实施例提供的基于对抗生成网络未配准低剂量CT的去噪方法具体包括以下步骤:
(1)获取LDCT和NDCT数据;
(2)分析数据,并按照一定比例分为训练数据集和测试数据集;
(3)在TensorFlow中编程实现网络框架;读入数据并进行预处理,将图像大小调整相同;
(4)在TensorFlow中编程实现两个生成器和两个判别器;
(5)将LDCT分别输入两个生成器中分别得到噪声和抑噪后的结果,将两者相加得到假的LDCT;
(6)利用两个判别器分别对抑噪后的结果和假的LDCT进行判别;
(7)通过生成结果和判别结果计算两个生成器和两个判别器的损失函数;
(8)通过Adam优化算法优化网络,得到训练好参数的网络;
(9)在测试集上进行测试,得到LDCT抑噪结果。
在本发明的优选实施例中(3)的读入数据并将图像大小调整相同,按如下步骤进行:
(1)通过TensorFlow中load_sample函数读入未配准的LDCT和NDCT图像对;
(2)将输入图像大小调整到同一像素大小,方便计算。
在本发明的优选实施例中(5)和(6)中将LDCT分别输入两个生成器和两个判别器得到结果并对结果进行判别,按如下步骤进行:
(1)将LDCT分别输入两个生成器generator1和generator2中,分别得到噪声和抑噪结果,再将两者相加得到假的LDCT;
(2)将抑噪结果和NDCT送入discriminator2中进行判别,将假的LDCT和LDCT送入discriminator1中进行判别,分别得到判别结果。
在本发明的优选实施例中(7)的损失函数的计算,按如下步骤进行:
(1)计算generator2损失函数:
(2)计算discriminator2损失函数:
(3)计算generator1损失函数:
(4)计算discriminator1损失函数:
下面结合附图对本发明的应用原理作进一步的描述。
如图2所示,本发明实施例提供的基于对抗生成网络未配准低剂量CT的去噪方法包括以下步骤:
步骤一,输入未配对的LDCT和NDCT图像对,并进行预处理,调整图像像素大小;
得到的LDCT和NDCT图像大小是512x512,网络需要同时对一千多对图像对进行训练,显卡内存不够,因此将图像大小调整为256x256进行训练。
步骤二,将LDCT分别输入generator1和generator2,分别得到输出noise和denoised_CT图像,将得到的noise和denoised_CT相加得到fake_LDCT;
步骤三,将生成的denoised_CT和NDCT输入discriminator2,得到判别结果,discriminator2的优化方向是使得对denoised_CT的判别结果趋向0,对NDCT的判别结果趋向1;
步骤四,将fake_LDCT和LDCT输入discriminator1,得到判别结果,discriminator1的优化方向是使得对fake_LDCT的判别结果趋向0,对LDCT的判别结果趋向1;
步骤五,计算每一个mini-batch的损失函数;计算generator2损失函数:
计算discriminator2损失函数:
计算generator1损失函数:
计算discriminator1损失函数:
步骤六,通过损失函数的计算以及反向传播算法,即通过Adam优化算法训练网络,学习率初始值设置为0.0002,训练经过一半epoch数后逐渐衰减至0;
在每个训练的epoch中,随机挑选20对未配对图像对对当前网络进行测试,并将测试结果通过TensorFlow中的imsave函数保存;
步骤七,训练完成后,在整个测试集上测试网络,并保存测试结果。
下面结合测试对本发明的应用效果作详细的描述。
如图7所示为本发明网络在未配对数据集上训练完成后,在配对数据上测试的结果,图8为对图7中结果的CT值评估,由图像可知本发明的曲线与常规剂量CT曲线具有很好的相似性,CT值评估的结果显示本发明在未配对低剂量CT抑噪问题上效果显著。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于对抗生成网络未配准低剂量CT的去噪方法,其特征在于,所述基于对抗生成网络未配准低剂量CT的去噪方法包括以下步骤:
步骤一,获取LDCT和NDCT数据;分析数据,并按照一定比例分为训练数据集和测试数据集;
步骤二,在TensorFlow中编程实现网络框架;读入LDCT和NDCT数据并进行预处理,将图像大小调整相同;将输入的LDCT分别输入两个生成器中分别得到噪声和抑噪后的结果,将两者相加得到假的LDCT;
步骤三,利用两个判别器分别对抑噪后的结果、NDCT和LDCT、假的LDCT进行判别;通过生成结果和判别结果计算两个生成器和两个判别器的损失函数;通过优化算法优化网络,得到训练好参数的网络。
2.如权利要求1所述的基于对抗生成网络未配准低剂量CT的去噪方法,其特征在于,所述基于对抗生成网络未配准低剂量CT的去噪方法包括以下步骤:
(1)获取LDCT和NDCT数据;
(2)分析数据,并按照比例分为训练数据集和测试数据集;
(3)在TensorFlow中编程实现网络框架;读入数据并进行预处理,将图像大小调整相同;
(4)在TensorFlow中编程实现两个生成器和两个判别器;
(5)将LDCT分别输入两个生成器中分别得到噪声和抑噪后的结果,将两者相加得到假的LDCT;
(6)利用两个判别器分别对抑噪后的结果和假的LDCT进行判别;
(7)通过生成结果和判别结果计算两个生成器和两个判别器的损失函数;
(8)通过Adam优化算法优化网络,得到训练好参数的网络;
(9)在测试集上进行测试,得到LDCT抑噪结果。
3.如权利要求2所述的基于对抗生成网络未配准低剂量CT的去噪方法,其特征在于,所述(3)读入数据并将图像大小调整相同,按如下步骤进行:
1)通过TensorFlow中load_sample函数读入未配准的LDCT和NDCT图像对;
2)将输入图像大小调整到同一像素大小。
4.如权利要求2所述的基于对抗生成网络未配准低剂量CT的去噪方法,其特征在于,所述(5)和(6)将LDCT分别输入两个生成器和两个判别器得到结果并对结果进行判别:
1)将LDCT分别输入两个生成器generator1和generator2中,分别得到噪声和抑噪结果,再将两者相加得到假的LDCT;
2)将抑噪结果和NDCT送入discriminator2中进行判别,将假的LDCT和LDCT送入discriminator1中进行判别,分别得到判别结果。
6.一种应用权利要求1~5任意一项所述基于对抗生成网络未配准低剂量CT的去噪方法的计算机。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811436463.7A CN109785243B (zh) | 2018-11-28 | 2018-11-28 | 基于对抗生成网络未配准低剂量ct的去噪方法、计算机 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811436463.7A CN109785243B (zh) | 2018-11-28 | 2018-11-28 | 基于对抗生成网络未配准低剂量ct的去噪方法、计算机 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109785243A CN109785243A (zh) | 2019-05-21 |
CN109785243B true CN109785243B (zh) | 2023-06-23 |
Family
ID=66496027
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811436463.7A Active CN109785243B (zh) | 2018-11-28 | 2018-11-28 | 基于对抗生成网络未配准低剂量ct的去噪方法、计算机 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109785243B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110264535A (zh) * | 2019-06-13 | 2019-09-20 | 明峰医疗***股份有限公司 | 一种去除ct锥束伪影的重建方法 |
CN112365553B (zh) * | 2019-07-24 | 2022-05-20 | 北京新唐思创教育科技有限公司 | 人体图像生成模型训练、人体图像生成方法及相关装置 |
CN110473154B (zh) * | 2019-07-31 | 2021-11-16 | 西安理工大学 | 一种基于生成对抗网络的图像去噪方法 |
CN110517198B (zh) * | 2019-08-22 | 2022-12-27 | 太原科技大学 | 用于ldct图像去噪的高频敏感gan网络 |
CN111968195B (zh) * | 2020-08-20 | 2022-09-02 | 太原科技大学 | 用于低剂量ct图像降噪及去伪影的双注意力生成对抗网络 |
CN112258438B (zh) * | 2020-10-28 | 2023-07-25 | 清华大学深圳国际研究生院 | 一种基于非配对数据的ldct图像恢复方法 |
CN113516238A (zh) * | 2020-11-25 | 2021-10-19 | 阿里巴巴集团控股有限公司 | 一种模型训练方法、去噪方法、模型、设备及存储介质 |
CN112488951B (zh) * | 2020-12-07 | 2022-05-20 | 深圳先进技术研究院 | 低剂量图像去噪网络的训练方法、低剂量图像的去噪方法 |
CN112598759B (zh) * | 2020-12-15 | 2022-09-13 | 太原科技大学 | 抑制低剂量ct图像中伪影噪声的多尺度特征生成对抗网络 |
CN113538260B (zh) * | 2021-06-21 | 2022-04-12 | 复旦大学 | 自监督和有监督联合训练的ldct图像去噪与分类方法 |
CN113627185A (zh) * | 2021-07-29 | 2021-11-09 | 重庆邮电大学 | 一种用于肝癌病理文本命名的实体识别方法 |
CN116883247B (zh) * | 2023-09-06 | 2023-11-21 | 感跃医疗科技(成都)有限公司 | 一种基于Cycle-GAN的未配对CBCT图像超分辨率生成算法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018131733A1 (ko) * | 2017-01-13 | 2018-07-19 | 서울대학교산학협력단 | Ct 이미지의 잡음 저감 방법 및 장치 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101697501B1 (ko) * | 2015-07-23 | 2017-01-18 | 서울대학교산학협력단 | Ct 이미지의 잡음 저감 방법 및 장치 |
-
2018
- 2018-11-28 CN CN201811436463.7A patent/CN109785243B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018131733A1 (ko) * | 2017-01-13 | 2018-07-19 | 서울대학교산학협력단 | Ct 이미지의 잡음 저감 방법 및 장치 |
Non-Patent Citations (2)
Title |
---|
Sharpness-aware Low dose CT denoising using conditional generative adversarial network;Xin Yi, Paul Babyn;《arXiv:1708.06453v1》;20170822;第1-25页 * |
基于标准剂量CT图像非局部权值先验的低剂量图像恢复;毕一鸣等;《电子学报》;20100515(第05期);第156-161页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109785243A (zh) | 2019-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109785243B (zh) | 基于对抗生成网络未配准低剂量ct的去噪方法、计算机 | |
CN108961237B (zh) | 一种基于卷积神经网络的低剂量ct图像分解方法 | |
Huang et al. | CaGAN: A cycle-consistent generative adversarial network with attention for low-dose CT imaging | |
JP6855223B2 (ja) | 医用画像処理装置、x線コンピュータ断層撮像装置及び医用画像処理方法 | |
Veldkamp et al. | Development and validation of segmentation and interpolation techniques in sinograms for metal artifact suppression in CT | |
CN112258415B (zh) | 一种基于生成对抗网络的胸部x光片超分辨率和去噪方法 | |
Borsdorf et al. | Wavelet based noise reduction in CT-images using correlation analysis | |
US9002134B2 (en) | Multi-scale image normalization and enhancement | |
EP2783344B1 (en) | Image domain de-noising | |
Wang et al. | Multiscale penalized weighted least-squares sinogram restoration for low-dose X-ray computed tomography | |
Zhang et al. | The use of artificial intelligence in computed tomography image reconstruction-a literature review | |
CN113516586A (zh) | 一种低剂量ct图像超分辨率去噪方法和装置 | |
Liang et al. | Guest editorial low-dose CT: what has been done, and what challenges remain? | |
Li et al. | Incorporation of residual attention modules into two neural networks for low‐dose CT denoising | |
Tao et al. | VVBP-tensor in the FBP algorithm: its properties and application in low-dose CT reconstruction | |
CN115943420A (zh) | 图像处理装置、图像处理方法、训练装置、训练方法、以及程序 | |
CN110599530B (zh) | 基于双正则约束的mvct图像纹理增强方法 | |
CN112330565A (zh) | 基于改善的U-net的低剂量CT投影域中图像去噪方法 | |
CN115601268A (zh) | 基于多尺度自注意力生成对抗网络的ldct图像去噪方法 | |
US20060078181A1 (en) | Image compounding based on independent noise constraint | |
JP7362460B2 (ja) | 医用画像処理装置、方法及び記憶媒体 | |
Wang et al. | SemiMAR: Semi-supervised learning for CT metal artifact reduction | |
Fonseca et al. | X-ray image enhancement: A technique combination approach | |
Zheng et al. | Improving spatial adaptivity of nonlocal means in low‐dosed CT imaging using pointwise fractal dimension | |
Li et al. | A multi-pronged evaluation for image normalization techniques |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |