CN113012077A - 一种基于卷积导向图滤波的去噪方法 - Google Patents
一种基于卷积导向图滤波的去噪方法 Download PDFInfo
- Publication number
- CN113012077A CN113012077A CN202110489373.XA CN202110489373A CN113012077A CN 113012077 A CN113012077 A CN 113012077A CN 202110489373 A CN202110489373 A CN 202110489373A CN 113012077 A CN113012077 A CN 113012077A
- Authority
- CN
- China
- Prior art keywords
- image
- denoising
- filtering
- denoised
- graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000013527 convolutional neural network Methods 0.000 abstract description 31
- 230000008569 process Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000005070 sampling Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于卷积导向图滤波的去噪方法,属于图像恢复、去噪技术领域。所述方法是将卷积神经网络的去噪方法和导向图滤波的去噪方法相结合,通过利用低复杂度的卷积神经网络去除图像边缘的毛刺噪声,再利用导向图滤波的方法通过调整平滑参数对平坦区域的块噪声进行有效去除,可以更好的保护边缘纹理;两者结合的去噪模型不仅降低了卷积神经网络的复杂度,还使去噪性能更加广泛,在保证去噪结果清晰度的情况下,可以同时去除平坦区域的块噪声和边缘区域的毛刺噪声。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及基于卷积导向图滤波的去噪方法。
背景技术
图像去噪是非常重要的一个图像预处理环节,图像去噪是利用各种技术手段对噪声进行滤除工作,以提升图像的质量,使图像能够表达出原始图像的更多信息,为后续的图像处理工作提供一定的帮助。图像噪声来源广泛,不同的噪声类型会影响到噪声图像的恢复工作。因此,针对不同的噪声需要不同的去噪方法才能达到最优效果。
导向滤波是一种保边滤波,能够在平滑图像的同时保护物体边缘信息不丢失,并广泛应用于图像的降噪、边缘羽化、图像增强、抠图等图像处理中。与双边滤波相比,导向滤波对图像中物体边缘信息的保护力度更强,不会出现梯度反转的现象(表现为颜色异常的彩边),且时间复杂度更低。
目前,深度学***滑;若网络结构简单,则会导致去噪不充分,部分区域会导致“蜡像感”严重。(2)导向图滤波可以达到保边滤波的效果,在平坦区域达到类似于均值滤波的去噪效果,从而较好的去除在平坦区域视频压缩造成的块噪声,但是对于边缘部分的毛刺噪声却无法去除。
本发明基于以往深度学习和导向滤波去噪的相关研究成果进行思考总结,提出泛化能力更强的去噪模型,从而获得更清晰真实的去噪结果。
发明内容
由于现有方法存在上述问题,本发明实施例提出一种基于卷积导向图滤波的去噪方法。
具体地,本发明提供了以下技术方案,包括:
步骤11 在高清图像中加入块噪声和毛刺噪声得到第一图像。
步骤12 将所述第一图像输入CNN去噪网络得到第二图像。
步骤13 根据所述第一图像和所述第二图像,对所述第一图像进行导向滤波得到第三图像。
具体地,以所述第二图像为导向图,第一图像为待滤波图,得到导向滤波系数,根据所述导向滤波系数,对第一图像进行导向滤波。
步骤14 根据所述第三图像与所述高清图像计算loss,得到CNN去噪网络模型参数。
步骤15 获取待去噪图像,输入所述已确定参数的CNN去噪网络进行去噪,得到第四图像。
步骤16 根据所述待去噪图像和第四图像,对所述待去噪图像进行导向滤波,输出导向滤波去噪后的图像。
具体地,以所述待去噪图像作为待滤波图,所述第四图像为导向图,得到导向滤波系数。然后根据所述导向滤波系数,对所述待去噪图像进行导向滤波。
本发明的核心思想在于将卷积神经网络去噪和导向图滤波去噪的方法相结合,形成优势互补。由以上技术方案可知,本发明有以下有益效果:(1)将卷积神经网络结合导向滤波一起训练确定卷积神经网络参数使得卷积神经网络只需关注去除边缘区域的毛刺噪声,简化了卷积神经网络的复杂度;(2)结合卷积神经网络与导向滤波对待去噪图像进行去噪既能去除平坦区域的块噪声又能去除边缘区域的毛刺噪声,该去噪模型的去噪性能更加广泛。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来说,在不付出创造性劳动的前提下,还可以根据这些图获得其他的附图。
图1表示本发明实施例基于卷积导向图滤波的去噪方法的流程示意图。
图2表示本发明实施例训练CNN模型的流程示意图。
图3表示本发明实施例训练CNN模型时通过下采样快速确定导向滤波系数的流程示意图。
图4表示本发明实施例基于卷积导向图滤波模型去噪过程中通过下采样快速确定导向滤波系数的流程示意图。
具体实施方式
下面结合附图,对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
图1示出了本发明实施例提供的基于卷积导向图滤波的去噪方法的流程示意图,如 图1所示,本发明实施例提供的基于卷积导向图滤波的去噪方法,具体包括如下内容:
步骤101在高清图像中加入块噪声和毛刺噪声,得到第一图像E。
可选地,所述第一图像可以是图片,也可以是视频中的图像帧。
步骤102 根据所述第一图像E,得到CNN去噪网络去噪后的第二图像E'。
步骤103根据所述第一图像E以及所述CNN去噪网络去噪后的第二图像E',对第一图像E进行导向滤波。
具体地,作为一种实现方式,该步骤103具体可以包括:
以所述第一图像E作为待滤波图,所述CNN去噪后的第二图像E'作为导向图进行均值滤波,得到滤波后的图像meanE和meanE'
计算近似的方差图
其中var表示方差,cov表示协方差,corr表示关系系数。
计算滤波系数k和m
根据所述导向滤波系数k和m对所述第一图像E进行导向滤波处理,输出第三图像E'',可以通过以下公式表示滤波过程:
可选地,为了降低计算复杂度,提高计算效率,作为另一种实现方式,如图3所示,步骤102-103可改进为:
将所述第一图像E作为第一分辨率图像进行下采样处理,得到第二分辨率图像Esub。
将所述第二分辨率图像Esub输入所述CNN去噪网络,输出CNN去噪网络去噪后的图像Esub'。
根据所述第二分辨率图像Esub和所述第二分辨率CNN去噪网络去噪后的图像Esub',得到导向滤波系数ksub和msub。
具体地,所述得到导向图滤波系数ksub和msub,包括:
计算近似的方差图
其中var表示方差,cov表示协方差,corr表示关系系数。
计算滤波系数ksub和msub
根据所述导向滤波系数ksub和msub进行与所述下采样处理相同的采样率进行上采样处理,得到所述第一分辨率图像的导向滤波系数k和m
其中s代表采样率,fup代表采样函数;
需要说明的是,下采样处理的采样率可以预先设定,本发明实施例不以此为限。
根据所述导向滤波系数k和m对所述第一图像E进行导向滤波处理,输出第三图像E'',可以通过以下公式表示滤波过程:
S104根据所述第三图像E''与所述高清图像计算loss,输出CNN去噪网络的模型参数。
本实施例中所述的第三图像E''在经过CNN去噪网络去噪后经过导向滤波处理,通过导向滤波处理去除了平坦区域的块噪声。以所述第三图像E''与所述高清图像计算loss,使得CNN去噪网络无需考虑平坦区域的噪声去除,只需要关注边缘的毛刺噪声的去除,极大地简化了CNN去噪网络的复杂程度,提高了去噪的效率,且平坦区域的噪声也能得到很好的去除。
S105获取待去噪图像P,输入所述已确定参数的CNN去噪网络,得到CNN去噪网络去噪后的第四图像P'。
可选地,所述待去噪图像P可以是图片也可以是视频中的图像帧。
S106根据所述待去噪图像P以及所述第四图像P',对所述待去噪图像P进行导向滤波,输出去噪后的图像O,可以通过以下公式表示滤波过程:
具体地,导向滤波系数u和v的计算方式与步骤103的计算方式相同,在此不做赘述。
可选地,为了降低计算复杂度,提高计算效率,导向滤波系数u和v的改进计算方式与前述步骤102-103的改进方式相同,在此不做赘述。
本发明的实施例中,将导向滤波与卷积神经网络结合,同时发挥了卷积神经网络和导向滤波的去噪优势,既去除了平坦区域的块噪声又出去了边缘区域的毛刺噪声。此外,还极大简化了卷积神经网络的层数和复杂度。可选地,在本发明的实施例中,结合上采样和下采样技术,极大降低了计算量,提高了计算速度。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的基于卷积导向图滤波的去噪方法。
此外,在本发明中,诸如“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
此外,在本发明中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (3)
1.一种基于卷积导向图滤波的去噪方法,其特征在于,包括以下步骤:
步骤1 在高清图像中加入块噪声和毛刺噪声得到第一图像;
步骤2 将所述第一图像输入CNN去噪网络得到第二图像;
步骤3 根据所述第一图像和所述第二图像,对所述第一图像进行导向滤波得到第三图像;
步骤4 根据所述第三图像与所述高清图像计算loss,得到CNN去噪网络模型参数;
步骤5 获取待去噪图像,输入所述已确定参数的CNN去噪网络进行去噪,得到经CNN去噪网络去噪后的第四图像;
步骤6 根据所述待去噪图像和第四图像,对所述待去噪图像进行导向滤波,输出滤波去噪后的图像。
2.根据权利要求1所述的基于卷积导向图滤波的去噪方法,其特征在于,所述根据所述第一图像和所述第二图像,对所述第一图像进行导向滤波得到第三图像,包括:
以所述第二图像为导向图,第一图像为待滤波图,得到导向滤波系数,
根据所述导向滤波系数,对第一图像进行导向滤波,得到第三图像。
3.根据权利要求1所述的基于卷积导向图滤波的去噪方法,其特征在于,所述根据所述待去噪图像和所述第四图像,对所述第四图像进行导向滤波,输出滤波去噪后的图像,包括:
以所述待去噪图像作为待滤波图,所述第四图像为导向图,得到导向滤波系数,
根据所述导向滤波系数,对所述待去噪图像进行导向滤波,输出滤波去噪后的图像。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2020111239810 | 2020-10-20 | ||
CN202011123981 | 2020-10-20 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113012077A true CN113012077A (zh) | 2021-06-22 |
CN113012077B CN113012077B (zh) | 2023-04-07 |
Family
ID=76380961
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110489373.XA Active CN113012077B (zh) | 2020-10-20 | 2021-05-06 | 一种基于卷积导向图滤波的去噪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113012077B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160080626A1 (en) * | 2014-09-16 | 2016-03-17 | Google Technology Holdings LLC | Computational Camera Using Fusion of Image Sensors |
CN108229525A (zh) * | 2017-05-31 | 2018-06-29 | 商汤集团有限公司 | 神经网络训练及图像处理方法、装置、电子设备和存储介质 |
US20180286037A1 (en) * | 2017-03-31 | 2018-10-04 | Greg Zaharchuk | Quality of Medical Images Using Multi-Contrast and Deep Learning |
CN109615596A (zh) * | 2018-12-05 | 2019-04-12 | 青岛小鸟看看科技有限公司 | 一种深度图像的去噪方法、装置和电子设备 |
WO2019112085A1 (en) * | 2017-12-06 | 2019-06-13 | Korea Advanced Institute Of Science And Technology | Method and apparatus for inverse tone mapping |
CN110378865A (zh) * | 2019-04-28 | 2019-10-25 | 湖南师范大学 | 一种复杂背景下的雾天能见度智能分级识别方法及*** |
CN110866878A (zh) * | 2019-11-13 | 2020-03-06 | 首都师范大学 | 一种低剂量x射线ct图像的多尺度去噪方法 |
CN110930334A (zh) * | 2019-11-26 | 2020-03-27 | 浙江大学 | 一种基于神经网络的网格去噪方法 |
CN111462012A (zh) * | 2020-04-02 | 2020-07-28 | 武汉大学 | 一种基于条件生成对抗网络的sar图像仿真方法 |
CN111709879A (zh) * | 2020-06-17 | 2020-09-25 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置及终端设备 |
-
2021
- 2021-05-06 CN CN202110489373.XA patent/CN113012077B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160080626A1 (en) * | 2014-09-16 | 2016-03-17 | Google Technology Holdings LLC | Computational Camera Using Fusion of Image Sensors |
US20180286037A1 (en) * | 2017-03-31 | 2018-10-04 | Greg Zaharchuk | Quality of Medical Images Using Multi-Contrast and Deep Learning |
CN108229525A (zh) * | 2017-05-31 | 2018-06-29 | 商汤集团有限公司 | 神经网络训练及图像处理方法、装置、电子设备和存储介质 |
WO2019112085A1 (en) * | 2017-12-06 | 2019-06-13 | Korea Advanced Institute Of Science And Technology | Method and apparatus for inverse tone mapping |
CN109615596A (zh) * | 2018-12-05 | 2019-04-12 | 青岛小鸟看看科技有限公司 | 一种深度图像的去噪方法、装置和电子设备 |
CN110378865A (zh) * | 2019-04-28 | 2019-10-25 | 湖南师范大学 | 一种复杂背景下的雾天能见度智能分级识别方法及*** |
CN110866878A (zh) * | 2019-11-13 | 2020-03-06 | 首都师范大学 | 一种低剂量x射线ct图像的多尺度去噪方法 |
CN110930334A (zh) * | 2019-11-26 | 2020-03-27 | 浙江大学 | 一种基于神经网络的网格去噪方法 |
CN111462012A (zh) * | 2020-04-02 | 2020-07-28 | 武汉大学 | 一种基于条件生成对抗网络的sar图像仿真方法 |
CN111709879A (zh) * | 2020-06-17 | 2020-09-25 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置及终端设备 |
Non-Patent Citations (2)
Title |
---|
CHUNWEITIAN ET AL.: "Attention-guided CNN for image denoising" * |
李佩: "监控场景下人数统计关键技术研究" * |
Also Published As
Publication number | Publication date |
---|---|
CN113012077B (zh) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111209952B (zh) | 基于改进ssd和迁移学习的水下目标检测方法 | |
CN109389556B (zh) | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 | |
CN108205804B (zh) | 图像处理方法、装置及电子设备 | |
CN103942758B (zh) | 基于多尺度融合的暗通道先验图像去雾方法 | |
CN102968770A (zh) | 噪声消除方法及装置 | |
CN111340716B (zh) | 一种改进双重判别对抗网络模型的图像去模糊方法 | |
CN111145123B (zh) | 基于U-Net融合保留细节的图像去噪方法 | |
CN110796616B (zh) | 基于范数约束和自适应加权梯度的湍流退化图像恢复方法 | |
CN102800063A (zh) | 基于各向异性滤波的图像增强与抽象化方法 | |
US20140294318A1 (en) | Gray image processing method and apparatus | |
CN114757832A (zh) | 基于交叉卷积注意力对抗学习的人脸超分辨方法和装置 | |
CN109919954B (zh) | 目标对象的识别方法和装置 | |
Rahman et al. | Gaussian noise reduction in digital images using a modified fuzzy filter | |
CN106027854B (zh) | 一种应用于相机中适于fpga实现的联合滤波降噪方法 | |
CN114723630A (zh) | 基于空洞双残差多尺度深度网络的图像去模糊方法及*** | |
CN107451986B (zh) | 一种基于融合技术的单幅红外图像增强方法 | |
CN113012077B (zh) | 一种基于卷积导向图滤波的去噪方法 | |
CN117011192A (zh) | 基于中性集合与双边滤波的nsct域声呐图像去噪方法及设备 | |
CN112541873B (zh) | 一种基于双边滤波器的图像处理方法 | |
WO2022133874A1 (zh) | 图像处理方法及设备、计算机可读存储介质 | |
CN114529518A (zh) | 一种基于图像金字塔与nlm的冷冻电镜图像增强方法 | |
CN110599419A (zh) | 一种防止图像边缘信息丢失的图像去噪方法 | |
CN112465719A (zh) | 变换域图像去噪方法及*** | |
Elhefnawy et al. | Effective visibility restoration and enhancement of air polluted images with high information fidelity | |
CN108665419B (zh) | 一种图像去噪的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |