CN113012049A - 一种基于gan网络的遥感数据隐私保护方法 - Google Patents
一种基于gan网络的遥感数据隐私保护方法 Download PDFInfo
- Publication number
- CN113012049A CN113012049A CN202110403219.6A CN202110403219A CN113012049A CN 113012049 A CN113012049 A CN 113012049A CN 202110403219 A CN202110403219 A CN 202110403219A CN 113012049 A CN113012049 A CN 113012049A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- image
- network
- resolution
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000000586 desensitisation Methods 0.000 claims abstract description 18
- 230000008030 elimination Effects 0.000 claims abstract description 10
- 238000003379 elimination reaction Methods 0.000 claims abstract description 10
- 238000001514 detection method Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 230000003042 antagnostic effect Effects 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种基于GAN网络的遥感数据隐私保护方法,构建了遥感数据脱敏网络模型,模型充分考虑到遥感影像的特点,采用了超分辨率图像生成和隐私目标图像消除修复两种方式,生成了更加合理的数据脱敏高分辨率遥感影像。与传统的生成方式技术相比,采用GAN网络能够更好的隐藏敏感信息,生成出更逼真的影像数据;将原始遥感影像数据的内容压缩,采用GAN网络生成超分辨率图像,能更好的模拟原始图像的同时也能消除一些原始图像的细节,并且生成出一些干扰数据,达到更好的保护隐私的效果;采用先目标检测,后语义分割来找到身份个体的方式,提升了目标查找处理效率,采用删除身份个体再图像修复还原的方式,能更好的消除遥感影像上的身份隐私。
Description
技术领域
本发明涉及遥感和深度学习技术领域,具体涉及一种基于GAN网络的遥感数据隐私保护方法。
背景技术
生成式对抗网络(GAN, Generative Adversarial Networks )是无监督式学习的一种方法,最初由 Ian Goodfellow 提出,是近年来复杂分布上无监督学习最重要的方法之一。生成对抗网络由一个生成网络(Generator)与一个判别网络(Discriminator)组成,生成网络从潜在空间中随机取样作为输入,其输出结果需要尽量模仿训练集中的真实样本。判别网络的输入则为真实样本或生成网络的输出,其目的是将生成网络的输出从真实样本中尽可能分辨出来。通过两个网络在同一时间训练并且在极小化极大算法中进行竞争,通过互相博弈学习产生高质量的输出,最终通过其相互对抗学习,从复杂概率分布中采样,完成两个神经网络的训练。GAN网络技术已经广泛应用于计算机视觉、自然语言处理、语音生成等多个领域。
近年来,随着遥感技术的发展,遥感数据的应用更加广泛,在获取基础地理数据、资源信息和应急灾害数据方面,遥感比其它技术手段更有优势,也有越来越多的GIS***依赖于遥感信息。卫星拍摄得到的多光谱图像和全色图像,通过图像融合形成更高空间分辨率和光谱分辨率的遥感影像,实现准确地识别和定位影像中的物体。在遥感数据充分利用的同时,数据脱敏和隐私保护也更加重要,在实际应用中的遥感数据需要进行处理,例如改变某个山体或建筑的区域形状和坐标,隐藏掉某些代表身份信息的个体等,这需要进行大量的工作。在这种情况下,如何有效利用GAN网络技术,高效准确的生成脱敏遥感数据,实现遥感数据的隐私保护成为亟须解决的问题。
发明内容
本发明为了克服以上技术的不足,提供了一种利用GAN网络结合超分辨率图像生成和隐私目标图像消除修复两种方法,训练并形成遥感数据脱敏神经网络,实现生成更加合理的数据脱敏高分辨率遥感影像的方法。
本发明克服其技术问题所采用的技术方案是:
一种基于GAN网络的遥感数据隐私保护方法,包括如下步骤:
a)根据卫星得到的多光谱图像及全色图像,对图像进行融合,得到脱敏后的整张高分辨率遥感图像Xhr;
b)训练超分辨率生成对抗网络,超分辨生成对抗网络由生成器Gsr和判别器Dsr构成;
c)将原始的高分辨率遥感影像Xh经过分辨率压缩模块处理得到压缩后遥感影像Xc,建立由数据对(Xc,Xhr)构成的训练集;
d)固定判别器Dsr的网络参数,将遥感影像Xc输入到生成器Gsr中,生成超分辨率遥感影像Xg;
e)固定生成器Gsr的网络参数,训练判别器Dsr;
f)交替训练判别器Dsr和生成器Gsr,得到超分辨率生成对抗网络模型;
g)训练生成对抗网络GaN,生成对抗网络GaN由生成器Ginp和判别器Dinp构成;
h)将原始的高分辨率遥感影像Xh依次经过目标检测模块、目标图像语义分割模块、目标区域消除模块处理后得到遥感影像Xd,建立由数据对(Xd,Xhr)构成的训练集;
i)固定判别器Dinp,将遥感影像Xd输入到生成器Ginp中,生成遥感影像Xinp;
j)固定生成器Ginp的网络参数,训练判别器Dinp;
k)交替训练生成器Ginp和判别器Dinp,得到图像修复生成对抗网络模型;
l)建立由超分辨率生成对抗网络模型和图像修复生成对抗网络模型构成的遥感数据脱敏网络模型;
m)将卫星得到的多光谱图像及全色图像输入遥感数据脱敏网络模型得到处理后的遥感图像。
进一步的,步骤d)中设定数据对(Xc,Xhr)为1,设定数据对(Xc,Xg)为负1,采用梯度下降优化算法更新生成器Gsr的网络参数。
进一步的,步骤h)中目标检测模块用于找到原始的高分辨率遥感影像Xh中的隐藏目标,目标图像语义分割模块用于识别出原始的高分辨率遥感影像Xh中的目标区域,目标区域消除模块用于将目标区域消除形成遥感影像Xd。
进一步的,步骤i)中设定数据对(Xd,Xhr)为1,设定数据对(Xd,Xinp)为负1,采用梯度下降优化算法更新生成器Ginp的网络参数。
本发明的有益效果是:利用GAN网络和深度学习技术,构建了遥感数据脱敏网络模型,模型充分考虑到遥感影像的特点,针对重要山体或建筑区域形状变化隐藏、个体身份隐藏等具体的隐私要求,采用了超分辨率图像生成和隐私目标图像消除修复两种方式,生成了更加合理的数据脱敏高分辨率遥感影像。与传统的生成方式技术相比,采用GAN网络能够更好的隐藏敏感信息,生成出更逼真的影像数据;将原始遥感影像数据的内容压缩,采用GAN网络生成超分辨率图像,能更好的模拟原始图像的同时也能消除一些原始图像的细节,并且生成出一些干扰数据,达到更好的保护隐私的效果;采用先目标检测,后语义分割来找到身份个体的方式,提升了目标查找处理效率,采用删除身份个体再图像修复还原的方式,能更好的消除遥感影像上的身份隐私。另外,持续收集反馈数据来优化模型,进一步提升模型准确性,根据业务形成更具个性化的生成模型,实现更有针对性的脱敏遥感影像数据生成。
附图说明
图1为本发明的方法结构图。
具体实施方式
下面结合附图1对本发明做进一步说明。
一种基于GAN网络的遥感数据隐私保护方法,包括如下步骤:
a)根据卫星得到的多光谱图像及全色图像,对图像进行融合,得到脱敏后的整张高分辨率遥感图像Xhr。
b)训练超分辨率生成对抗网络,超分辨生成对抗网络由生成器Gsr和判别器Dsr构成。
c)将原始的高分辨率遥感影像Xh经过分辨率压缩模块处理得到压缩后遥感影像Xc,建立由数据对(Xc,Xhr)构成的训练集。
d)固定判别器Dsr的网络参数,将遥感影像Xc输入到生成器Gsr中,生成超分辨率遥感影像Xg。
e)固定生成器Gsr的网络参数,训练判别器Dsr。将误差反向传播,更新所述的辨别器网络参数,使得辨别器能区分真实的遥感影像数据对(低分辨率遥感影像Xc,实际的脱敏超分辨率遥感影像Xhr)与生成的遥感影像数据对(低分辨率遥感影像Xc,生成的超分辨率遥感影像Xg)。
f)交替训练判别器Dsr和生成器Gsr,得到超分辨率生成对抗网络模型。
g)训练生成对抗网络GaN,生成对抗网络GaN由生成器Ginp和判别器Dinp构成。
h)将原始的高分辨率遥感影像Xh依次经过目标检测模块、目标图像语义分割模块、目标区域消除模块处理后得到遥感影像Xd,建立由数据对(Xd,Xhr)构成的训练集。
i)固定判别器Dinp,将遥感影像Xd输入到生成器Ginp中,生成遥感影像Xinp。
j)固定生成器Ginp的网络参数,训练判别器Dinp。将误差反向传播,更新所述的辨别器Dinp网络参数,使得辨别器能区分真实的遥感影像数据对(Xd,Xhr)与生成的遥感影像数据对(Xd,Xinp)。
k)交替训练生成器Ginp和判别器Dinp,得到图像修复生成对抗网络模型。
l)建立由超分辨率生成对抗网络模型和图像修复生成对抗网络模型构成的遥感数据脱敏网络模型。
m)将卫星得到的多光谱图像及全色图像输入遥感数据脱敏网络模型得到处理后的遥感图像。
利用GAN网络和深度学习技术,构建了遥感数据脱敏网络模型,模型充分考虑到遥感影像的特点,针对重要山体或建筑区域形状变化隐藏、个体身份隐藏等具体的隐私要求,采用了超分辨率图像生成和隐私目标图像消除修复两种方式,生成了更加合理的数据脱敏高分辨率遥感影像。与传统的生成方式技术相比,采用GAN网络能够更好的隐藏敏感信息,生成出更逼真的影像数据;将原始遥感影像数据的内容压缩,采用GAN网络生成超分辨率图像,能更好的模拟原始图像的同时也能消除一些原始图像的细节,并且生成出一些干扰数据,达到更好的保护隐私的效果;采用先目标检测,后语义分割来找到身份个体的方式,提升了目标查找处理效率,采用删除身份个体再图像修复还原的方式,能更好的消除遥感影像上的身份隐私。另外,持续收集反馈数据来优化模型,进一步提升模型准确性,根据业务形成更具个性化的生成模型,实现更有针对性的脱敏遥感影像数据生成。
实施例1:
步骤d)中设定数据对(Xc,Xhr)为1,设定数据对(Xc,Xg)为负1,采用梯度下降优化算法更新生成器Gsr的网络参数。使得所述的辨别器Dsr无法区分真实的遥感影像数据对(低分辨率遥感影像Xc,实际的脱敏超分辨率遥感影像Xhr)与生成的遥感影像数据对(低分辨率遥感影像Xc,生成的超分辨率遥感影像Xg)。
实施例2:
具体的,步骤h)中目标检测模块用于找到原始的高分辨率遥感影像Xh中的隐藏目标,目标图像语义分割模块用于识别出原始的高分辨率遥感影像Xh中的目标区域,目标区域消除模块用于将目标区域消除形成遥感影像Xd。
实施例3:
步骤i)中设定数据对(Xd,Xhr)为1,设定数据对(Xd,Xinp)为负1,采用梯度下降优化算法更新生成器Ginp的网络参数。使得所述的辨别器Dinp无法区分真实的遥感影像数据对(Xd,Xhr)与生成的遥感影像数据(Xd,Xinp)。
需要说明的是,以上所述的实施例,只是本发明具体实施方式的一种,本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。
Claims (4)
1.一种基于GAN网络的遥感数据隐私保护方法,其特征在于,包括如下步骤:
a)根据卫星得到的多光谱图像及全色图像,对图像进行融合,得到脱敏后的整张高分辨率遥感图像Xhr;
b)训练超分辨率生成对抗网络,超分辨生成对抗网络由生成器Gsr和判别器Dsr构成;
c)将原始的高分辨率遥感影像Xh经过分辨率压缩模块处理得到压缩后遥感影像Xc,建立由数据对(Xc,Xhr)构成的训练集;
d)固定判别器Dsr的网络参数,将遥感影像Xc输入到生成器Gsr中,生成超分辨率遥感影像Xg;
e)固定生成器Gsr的网络参数,训练判别器Dsr;
f)交替训练判别器Dsr和生成器Gsr,得到超分辨率生成对抗网络模型;
g)训练生成对抗网络GaN,生成对抗网络GaN由生成器Ginp和判别器Dinp构成;
h)将原始的高分辨率遥感影像Xh依次经过目标检测模块、目标图像语义分割模块、目标区域消除模块处理后得到遥感影像Xd,建立由数据对(Xd,Xhr)构成的训练集;
i)固定判别器Dinp,将遥感影像Xd输入到生成器Ginp中,生成遥感影像Xinp;
j)固定生成器Ginp的网络参数,训练判别器Dinp;
k)交替训练生成器Ginp和判别器Dinp,得到图像修复生成对抗网络模型;
l)建立由超分辨率生成对抗网络模型和图像修复生成对抗网络模型构成的遥感数据脱敏网络模型;
m)将卫星得到的多光谱图像及全色图像输入遥感数据脱敏网络模型得到处理后的遥感图像。
2.根据权利要求1所述的基于GAN网络的遥感数据隐私保护方法,其特征在于:步骤d)中设定数据对(Xc,Xhr)为1,设定数据对(Xc,Xg)为负1,采用梯度下降优化算法更新生成器Gsr的网络参数。
3.根据权利要求1所述的基于GAN网络的遥感数据隐私保护方法,其特征在于:步骤h)中目标检测模块用于找到原始的高分辨率遥感影像Xh中的隐藏目标,目标图像语义分割模块用于识别出原始的高分辨率遥感影像Xh中的目标区域,目标区域消除模块用于将目标区域消除形成遥感影像Xd。
4.根据权利要求1所述的基于GAN网络的遥感数据隐私保护方法,其特征在于:步骤i)中设定数据对(Xd,Xhr)为1,设定数据对(Xd,Xinp)为负1,采用梯度下降优化算法更新生成器Ginp的网络参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110403219.6A CN113012049B (zh) | 2021-04-15 | 2021-04-15 | 一种基于gan网络的遥感数据隐私保护方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110403219.6A CN113012049B (zh) | 2021-04-15 | 2021-04-15 | 一种基于gan网络的遥感数据隐私保护方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113012049A true CN113012049A (zh) | 2021-06-22 |
CN113012049B CN113012049B (zh) | 2022-08-02 |
Family
ID=76388635
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110403219.6A Active CN113012049B (zh) | 2021-04-15 | 2021-04-15 | 一种基于gan网络的遥感数据隐私保护方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113012049B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105005789A (zh) * | 2015-07-01 | 2015-10-28 | 北京理工大学 | 一种基于视觉词汇的遥感图像地物分类方法 |
CN109146784A (zh) * | 2018-07-27 | 2019-01-04 | 徐州工程学院 | 一种基于多尺度生成对抗网络的图像超分辨率重建方法 |
CN110599401A (zh) * | 2019-08-19 | 2019-12-20 | 中国科学院电子学研究所 | 遥感图像超分辨率重建方法、处理装置及可读存储介质 |
CN110827213A (zh) * | 2019-10-11 | 2020-02-21 | 西安工程大学 | 一种基于生成式对抗网络的超分辨率图像修复方法 |
CN110992262A (zh) * | 2019-11-26 | 2020-04-10 | 南阳理工学院 | 一种基于生成对抗网络的遥感图像超分辨重建方法 |
GB202101106D0 (en) * | 2020-07-14 | 2021-03-10 | Aerospace Information Research Institute Chinese Academy Of Sciences | Method and device for performing inversion of crop leaf area index |
-
2021
- 2021-04-15 CN CN202110403219.6A patent/CN113012049B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105005789A (zh) * | 2015-07-01 | 2015-10-28 | 北京理工大学 | 一种基于视觉词汇的遥感图像地物分类方法 |
CN109146784A (zh) * | 2018-07-27 | 2019-01-04 | 徐州工程学院 | 一种基于多尺度生成对抗网络的图像超分辨率重建方法 |
CN110599401A (zh) * | 2019-08-19 | 2019-12-20 | 中国科学院电子学研究所 | 遥感图像超分辨率重建方法、处理装置及可读存储介质 |
CN110827213A (zh) * | 2019-10-11 | 2020-02-21 | 西安工程大学 | 一种基于生成式对抗网络的超分辨率图像修复方法 |
CN110992262A (zh) * | 2019-11-26 | 2020-04-10 | 南阳理工学院 | 一种基于生成对抗网络的遥感图像超分辨重建方法 |
GB202101106D0 (en) * | 2020-07-14 | 2021-03-10 | Aerospace Information Research Institute Chinese Academy Of Sciences | Method and device for performing inversion of crop leaf area index |
Non-Patent Citations (2)
Title |
---|
XIN ZHANG,LIANGXIU HAN,MARK ROBINSON等: "A Gans-Based Deep Learning Framework for Automatic Subsurface Object Recognition From Ground Penetrating Radar Data", 《IEEE ACCESS》 * |
熊风光,张鑫,韩燮等: "改进的遥感图像语义分割研究", 《计算机工程与应用》 * |
Also Published As
Publication number | Publication date |
---|---|
CN113012049B (zh) | 2022-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110119703B (zh) | 一种安防场景下融合注意力机制和时空图卷积神经网络的人体动作识别方法 | |
CN106778590B (zh) | 一种基于卷积神经网络模型的暴恐视频检测方法 | |
CN110570433B (zh) | 基于生成对抗网络的图像语义分割模型构建方法和装置 | |
Cao et al. | Adversarial learning with local coordinate coding | |
CN110175248B (zh) | 一种基于深度学习和哈希编码的人脸图像检索方法和装置 | |
WO2019232772A1 (en) | Systems and methods for content identification | |
CN112164002B (zh) | 人脸矫正模型的训练方法、装置、电子设备及存储介质 | |
CN112418292B (zh) | 一种图像质量评价的方法、装置、计算机设备及存储介质 | |
CN111754637B (zh) | 一种样本相似度抑制的大尺度三维人脸合成*** | |
Kaluri et al. | A framework for sign gesture recognition using improved genetic algorithm and adaptive filter | |
CN104700100A (zh) | 面向高空间分辨率遥感大数据的特征提取方法 | |
CN116740422A (zh) | 基于多模态注意力融合技术的遥感图像分类方法及装置 | |
CN111008570B (zh) | 一种基于压缩-激励伪三维网络的视频理解方法 | |
CN113283524A (zh) | 一种基于对抗攻击的深度神经网络近似模型分析方法 | |
CN113378949A (zh) | 一种基于胶囊网络和混合注意力的双重生成对抗学习方法 | |
CN117033609A (zh) | 文本视觉问答方法、装置、计算机设备和存储介质 | |
CN117576248B (zh) | 基于姿态引导的图像生成方法和装置 | |
Gu et al. | Toward facial expression recognition in the wild via noise-tolerant network | |
CN113806564B (zh) | 多模态信息性推文检测方法及*** | |
CN114937298A (zh) | 一种基于特征解耦的微表情识别方法 | |
CN113012049B (zh) | 一种基于gan网络的遥感数据隐私保护方法 | |
CN117115911A (zh) | 一种基于注意力机制的超图学习动作识别*** | |
Reshna et al. | Recognition of static hand gestures of Indian sign language using CNN | |
CN116844039A (zh) | 一种联合多注意的跨尺度遥感图像耕地提取方法 | |
CN115965836A (zh) | 一种语义可控的人体行为姿态视频数据扩增***及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |