CN113610733B - 图像处理方法及装置 - Google Patents
图像处理方法及装置 Download PDFInfo
- Publication number
- CN113610733B CN113610733B CN202110914696.9A CN202110914696A CN113610733B CN 113610733 B CN113610733 B CN 113610733B CN 202110914696 A CN202110914696 A CN 202110914696A CN 113610733 B CN113610733 B CN 113610733B
- Authority
- CN
- China
- Prior art keywords
- image
- noise
- filtering
- stripe
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 238000001914 filtration Methods 0.000 claims abstract description 152
- 238000012545 processing Methods 0.000 claims abstract description 71
- 230000009467 reduction Effects 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000012937 correction Methods 0.000 claims abstract description 20
- 230000002146 bilateral effect Effects 0.000 abstract description 5
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000002787 reinforcement Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003331 infrared imaging Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请实施例公开了一种图像处理方法及装置,属于图像处理技术领域。在本申请实施例中,首先使用一个一维中值滤波窗口对原始红外图像进行滤波,得到条纹加强的红外图像,然后采用多种中值滤波窗口尺寸对条纹加强的红外图像进行中值滤波,以得到多个校正图像。之后,根据条纹加强的红外图像和多个校正图像来确定条纹噪声图像,进而将条纹加强的红外图像和条纹噪声图像的差值图像作为最终得到的降噪图像。由此可见,本申请采用了中值滤波和对图像作差的方法对原始红外图像进行降噪处理,没有采用诸如双边滤波等保边滤波算法,时间复杂度较低,且资源消耗较少。
Description
技术领域
本申请涉及图像处理技术领域,特别涉及一种图像处理方法及装置。
背景技术
红外焦平面阵列是红外成像***的核心器件。由于红外焦平面阵列上不同列像元对应的读出电路不同,因此采集到的红外图像上将会出现异常竖线或明暗相间的条纹,也即条纹噪声,严重影响图像质量。
相关技术中通常可以采用双边滤波、非局部均值滤波等保边滤波算法对红外图像进行处理,以此来消除红外图像中的条纹噪声。但是此类算法较为消耗资源、且算法时间复杂度较高。
发明内容
本申请实施例提供了一种图像处理方法、装置及存储介质,可以减少对原始红外图像中的条纹噪声进行降噪处理时的资源消耗,降低时间复杂度,所述技术方案如下:
一方面,提供了一种图像处理方法,所述方法包括:
使用一个沿着条纹方向的一维中值滤波窗口对原始红外图像进行滤波,得到条纹加强的红外图像;
采用多种中值滤波窗口分别对所述条纹加强的红外图像进行中值滤波,得到多个校正图像;
根据所述条纹加强的红外图像和所述多个校正图像,确定条纹噪声图像;
确定所述条纹加强的红外图像和所述条纹噪声图像的差值图像,并将所述条纹加强的红外图像和所述条纹噪声图像的差值图像作为对所述原始红外图像降噪后的降噪图像。
可选地,所述采用多种中值滤波窗口分别对所述条纹加强的红外图像进行中值滤波,得到多个校正图像,包括:
采用第一中值滤波窗口对所述条纹加强的红外图像中的每行像素点分别进行中值滤波,得到第一校正图像,所述第一中值滤波窗口为所述多种中值滤波窗口中的任一个。
可选地,所述根据所述条纹加强的红外图像和所述多个校正图像,确定条纹噪声图像,包括:
计算所述条纹加强的红外图像与所述多个校正图像中的每个校正图像的差值图像,得到多个噪声估计图像;
根据所述多个噪声估计图像,生成所述条纹噪声图像。
可选地,所述根据所述多个噪声估计图像,生成所述条纹噪声图像,包括:
对所述多个噪声估计图像分别进行均值滤波,得到多个噪声滤波图像;
对所述多个噪声滤波图像中相同像素位置上的像素值取中值,以得到所述条纹噪声图像。
可选地,所述对所述多个噪声估计图像分别进行均值滤波,得到多个噪声滤波图像,包括:
采用均值滤波窗口对第一噪声估计图像中的每列像素点分别进行均值滤波,得到第一噪声滤波图像,所述第一噪声估计图像为所述多个噪声估计图像中的任一个。
另一方面,提供了一种图像处理装置,所述装置包括:
第一滤波模块,用于使用一个沿着条纹方向的一维中值滤波窗口对原始红外图像进行滤波,得到条纹加强的红外图像;
第二滤波模块,用于采用多种中值滤波窗口分别对所述条纹加强的红外图像进行中值滤波,得到多个校正图像;
第一确定模块,用于根据所述条纹加强的红外图像和所述多个校正图像,确定条纹噪声图像;
第二确定模块,用于确定所述条纹加强的红外图像和所述条纹噪声图像的差值图像,并将所述条纹加强的红外图像和所述条纹噪声图像的差值图像作为对所述原始红外图像降噪后的降噪图像。
可选地,所述第二滤波模块主要用于:
采用第一中值滤波窗口对所述条纹加强的红外图像中的每行像素点分别进行中值滤波,得到第一校正图像,所述第一中值滤波窗口为所述多种中值滤波窗口中的任一个。
可选地,所述第一确定模块主要用于:
计算所述条纹加强的红外图像与所述多个校正图像中的每个校正图像的差值图像,得到多个噪声估计图像;
根据所述多个噪声估计图像,生成所述条纹噪声图像。
可选地,所述第一确定模块主要用于:
对所述多个噪声估计图像分别进行均值滤波,得到多个噪声滤波图像;
对所述多个噪声滤波图像中相同像素位置上的像素值取中值,以得到所述条纹噪声图像。
可选地,所述第一确定模块主要用于:
采用均值滤波窗口对第一噪声估计图像中的每列像素点分别进行均值滤波,得到第一噪声滤波图像,所述第一噪声估计图像为所述多个噪声估计图像中的任一个。
另一方面,提供了一种图像处理装置,所述装置包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器执行所述存储器中的可执行指令来执行上述图像处理方法。
另一方面,提供了一种计算机可读存储介质,所述存储介质内存储有计算机程序,所述计算机程序被计算机执行时实现上述所述图像处理方法的步骤。
另一方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述的图像处理方法的步骤。
本申请实施例提供的技术方案带来的有益效果至少包括:
在本申请实施例中,首先采用一个一维中值滤波窗口对原始红外图像进行滤波,得到条纹加强的红外图像,然后采用多种中值滤波窗口尺寸对条纹加强的红外图像进行中值滤波,以得到多个校正图像。之后,根据条纹加强的红外图像和多个校正图像来确定条纹噪声图像,进而将条纹加强的红外图像和条纹噪声图像的差值图像作为最终得到的降噪图像。由此可见,本申请采用了中值滤波和对图像作差的方法对原始红外图像进行降噪处理,没有采用诸如双边滤波等保边滤波算法,时间复杂度较低,且资源消耗较少。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像处理方法所涉及的***架构图;
图2是本申请实施例提供的一种图像处理方法的流程图;
图3是本申请实施例提供的一种对每列像素点进行中值滤波的示意图;
图4是本申请实施例提供的另一种图像处理方法的流程图;
图5是本申请实施例提供的一种图像处理装置的结构示意图;
图6是本申请实施例提供的一种用于进行图像降噪处理的终端的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
在对本申请实施例进行详细的解释说明之前,先对本申请实施例涉及的***架构进行介绍。
图1是本申请实施例提供的一种图像处理方法所涉及的***架构图。如图1所示,该***包括图像采集设备101和图像处理设备102。其中,图像采集设备101和图像处理设备102建立有通信连接。
需要说明的是,图像采集设备101为包括有红外焦平面阵列的红外成像设备。该图像采集设备101采集原始红外图像,并将采集到的原始红外图像发送至图像处理设备102。
图像处理设备102在接收到原始红外图像之后,可以通过本申请实施例提供的处理方法对原始红外图像进行降噪处理,以降低原始红外图像中的条纹噪声对图像质量的影响。除此之外,图像处理设备102还可以对原始红外图像进行诸如白平衡、去马赛克等其他处理,本申请实施例对此不作限定。
需要说明的是,图像处理设备102可以为独立的具有图像处理功能的计算机设备。可选地,在一些可能的实现方式中,图像处理设备102也可以集成在图像采集设备101中,此时,该图像处理设备也可以称为图像处理单元,在这种情况下,该图像处理单元可以接收图像采集设备101中的图像传感器采集的原始红外图像,并通过本申请实施例提供的图像处理方法对原始红外图像进行降噪处理,之后,该图像采集设备101可以将降噪得到的降噪图像传输至其他设备使用。
接下来对本申请实施例提供的图像处理方法进行介绍。
图2是本申请实施例提供的一种图像处理方法。该方法可以应用于图1所示的图像处理设备中,如图2所示,该方法包括以下步骤:
步骤201:使用一个沿着条纹方向的一维中值滤波窗口对原始红外图像进行滤波,得到条纹加强的红外图像。
在本申请实施例中,图像处理设备中预设有一个一维中值滤波窗口。该图像处理设备可以通过该一维中值滤波窗口沿着原始红外图像的条纹方向对该原始红外图像进行滤波,从而得到条纹加强的红外图像。
需要说明的是,红外焦平面阵列中不同列像元对应的读出电路不同,读出电路偏置电压的差异通常会导致采集到的原始红外图像上导致异常竖线或明暗相间的条纹出现,也即,原始红外图像的条纹方向通常为竖直方向。基于此,图像处理设备可以采用一个窗口宽度为1,窗口高度为预设高度的中值滤波窗口来对原始红外图像进行滤波,从而得到条纹加强的红外图像。例如,预设高度可以为3、5、7、9、11、13等数值中的任一数值。
例如,当窗口高度为3时,对于该原始红外图像中的每列像素点中的每个像素点,图像处理设备可以将该像素点作为该中值滤波窗口的中心像素点。之后,对位于该中值滤波窗口内的多个像素点的像素值进行排序,将该多个像素点的像素值中的中位数作为该中心像素点的像素值。如此,通过对每列的每个像素点进行处理,从而得到条纹加强的红外图像。
步骤202:采用多种中值滤波窗口分别对条纹加强的红外图像进行中值滤波,得到多个校正图像。
在本申请实施例中,图像处理设备中还预设有多种尺寸不同的中值滤波窗口。图像处理设备可以采用每种中值滤波窗口,对条纹加强的红外图像进行一次中值滤波,从而得到每种中值滤波窗口对应的校正图像。
示例性的,以多种中值滤波窗口中的第一中值滤波窗口为例,图像处理设备可以根据第一中值滤波窗口对条纹加强的红外图像中的每行像素点分别进行中值滤波,从而得到第一中值滤波窗口对应的第一校正图像。在这种情况下,该多种中值滤波窗口的窗口高度均为1,窗口宽度可以包括3、5、7、9、11、13等数值中的至少两种。其中,窗口宽度越小,则滤波后得到的图像的边缘效果越好,窗口宽度越大,对图像的降噪效果越好。这样,通过不同窗口宽度的中值滤波窗口对条纹加强的红外图像进行滤波,可以得到不同降噪效果和边缘效果的校正图像。
示例性地,假设第一中值滤波窗口的窗口宽度为N,对于条纹加强的红外图像中的某行像素点中的任一个像素点,图像处理设备可以将该像素点作为中心像素点,向左取(N-1)/2个像素点,向右取(N-1)/2个个像素点,此时,包括中心像素点在内的N个像素点即为当前的第一中值滤波窗口中的N个像素点,获取该N个像素点的像素值中的中位数,将该中位数作为第一校正图像中与该中心像素点的像素位置相同的像素点的像素值。
对于条纹加强的红外图像中的每行像素点中的每个像素点,图像处理设备均可以参照上述方法对相应像素点进行处理,从而得到第一校正图像。
例如,参加图3,假设第一中值滤波窗口的窗口宽度为5,在接收到一行像素数据后,以该行像素点中的像素点A为例,如图3所示,图像处理设备可以将该像素点A作为中心像素点,取像素点A的左侧的2个像素点B和C,取像素点A的右侧的两个像素点D和E。之后,对像素点A、B、C、D和E的像素值按照从小到大或从大到小的顺序进行排序,获取排序后的五个像素值中的第三个像素值,该第三个像素值即为这五个像素点的像素值的中位数。将该中位数作为第一校正图像中与该像素点A的像素位置相同的像素点的像素值。
需要说明的是,上述以第一中值滤波窗口为例说明了对条纹加强的红外图像的每行像素点进行中值滤波的过程,对于多种中值滤波窗口中的每种中值滤波窗口,图像处理设备均可以参考前述的采用第一中值滤波窗口对一行像素数据进行滤波的过程,采用每种中值滤波窗口对条纹加强的红外图像中的每行像素点进行滤波,这样,采用每种中值滤波窗口对各行像素点滤波之后,将能够得到每种中值滤波窗口对应的校正图像。
可选地,在本申请实施例中,图像处理设备可以按照多种中值滤波窗口的窗口宽度从小到大的顺序,依次采用每种中值滤波窗口对条纹加强的红外图像进行中值滤波,这样,在采用后一种中值滤波窗口对条纹加强的红外图像进行中值滤波时,可以复用采用前一种中值滤波窗口对条纹加强的红外图像进行中值滤波时的运算结果,从而降低时间复杂度,减少资源消耗。
可选地,在另一种可能的实现方式中,该多种中值滤波窗口的窗口高度可以等于窗口宽度,其中,窗口宽度可以包括3、5、7、9、11、13等数值中的至少两种。在这种情况下,在采用窗口宽度和高度均为N的第一中值滤波窗口进行滤波时,对于条纹加强的红外图像中的每个像素点,图像处理设备均可以以相应像素点为第一中值滤波窗口的中心像素点,进而将该第一中值滤波窗口内包含的(N×N)个像素点的像素值的中位数作为第一校正图像中与该中心像素点的像素位置相同的像素点的像素值。本申请实施例在此不再赘述。
步骤203:根据条纹加强的红外图像和多个校正图像,确定条纹噪声图像。
在得到多个校正图像之后,图像处理设备可以计算条纹加强的红外图像与多个校正图像中的每个校正图像的差值图像,得到多个噪声估计图像;进而根据多个噪声估计图像,生成条纹噪声图像。
以多个校正图像中的任一校正图像为例,为了方便说明,将其称为第一校正图像,图像处理设备可以计算条纹加强的红外图像与第一校正图像中每两个像素位置相同的像素点的像素差,并将该像素差作为相应像素位置处的像素点的像素值,从而得到条纹加强的红外图像与第一校正图像的差值图像。将该差值图像作为一个噪声估计图像。
对于多个校正图像中除第一校正图像之外的每个校正图像,图像处理设备均可以参考上述方法计算条纹加强的红外图像与相应校正图像的差值图像,进而将计算得到的差值图像作为一个噪声估计图像,以得到多个噪声估计图像。
需要说明的是,由于噪声估计图像容易受到场景自身特性的影响,削弱了条纹噪声在每列像素点中强度基本一致的特性,因此,在本申请实施例中,在得到多个噪声估计图像之后,图像处理设备还可以沿竖直方向对多个噪声估计图像分别进行均值滤波,得到多个噪声滤波图像,进而根据该多个噪声滤波图像来生成条纹噪声图像。
示例性地,以多个噪声估计图像中的第一噪声估计图像为例,图像处理设备采用均值滤波窗口对第一噪声估计图像中的每列像素点分别进行均值滤波,得到第一噪声滤波图像。其中,均值滤波窗口的窗口宽度为1,窗口高度为预设高度。可选地,均值滤波窗口的窗口高度大于每种中值滤波窗口的窗口宽度,例如,该均值滤波窗口的窗口高度为32或64或其他数值,本申请实施例对此不作限定。
例如,假设均值滤波窗口的窗口高度为32,则对于每列像素点中的任一像素点,以该像素点为均值滤波窗口的中心像素点,计算位于该均值滤波窗口内的32个像素点的像素值的平均值,将该平均值作为第一噪声滤波图像中与该中心像素点的像素位置相同的像素点的像素值。如此,通过对每列像素点中的每个像素点进行处理,即能够得到第一噪声滤波图像。
对于多个噪声估计图像中除第一噪声估计图像之外的每个噪声估计图像,图像处理设备均可以参考对第一噪声估计图像的处理方式对其他噪声估计图像进行处理,从而得到多个噪声滤波图像。
可选地,在一些可能的实现方式中,均值滤波窗口的窗口宽度也可以不为1,而是等于窗口高度,例如,均值滤波窗口的窗口宽度和窗口高度均为k,在这种情况下,对于第一噪声估计图像中的每个像素点,图像处理设备可以以相应像素点为均值滤波窗口的中心像素点,计算当前该均值滤波窗口内的(k×k)个像素点的像素值的平均值,将该平均值作为第一噪声滤波图像中与相应中心像素点的像素位置相同的像素点的像素值。
在得到多个噪声滤波图像之后,图像处理设备可以对多个噪声滤波图像中相同像素位置上的像素值取中值,将该中值作为相应像素位置上的像素值,以得到条纹噪声图像。
可选地,在一些可能的实现方式中,图像处理设备在得到多个噪声估计图像之后,也可以不对每个噪声估计图像进行均值滤波,而是直接对多个噪声估计图像中相同像素位置上的像素值取中值,进而将该中值作为相应像素位置上的像素值,以得到条纹噪声图像。
步骤204:确定条纹加强的红外图像和条纹噪声图像的差值图像,并将条纹加强的红外图像和条纹噪声图像的差值图像作为对条纹加强的红外图像降噪后的降噪图像。
在得到条纹噪声图像之后,图像处理设备可以计算条纹加强的红外图像和条纹噪声图像中处于相同像素位置上的像素点之间的像素差,将该像素差作为相应像素位置处的像素值,从而得到条纹加强的红外图像和条纹噪声图像的差值图像,将该差值图像作为对条纹加强的红外图像降噪后的降噪图像。
在本申请实施例中,首先对原始红外图像进行中值滤波,得到条纹加强的红外图像,然后采用多种中值滤波窗口尺寸对原始红外图像进行中值滤波,以得到多个校正图像。之后,计算原始红外图像和每个校正图像之间的差值图像,以得到多个噪声估计图像,再通过均值滤波窗口对多个噪声估计图像进行均值滤波,以得到条纹噪声图像,最终将原始红外图像和条纹噪声图像的差值图像作为最终得到的降噪图像。由此可见,本申请采用了中值滤波、均值滤波和对图像作差的方法对原始红外图像进行降噪处理,没有采用诸如双边滤波等保边滤波算法,时间复杂度较低,且资源消耗较少。
另外,在本申请实施例中,在采用多种中值滤波窗口对条纹加强的红外图像进行多次中值滤波时,可以按照多种中值滤波窗口的窗口宽度从小到大的顺序,依次采用每种中值滤波窗口对条纹加强的红外图像进行中值滤波,这样,在采用后一种中值滤波窗口对条纹加强的红外图像进行中值滤波时,可以复用采用前一种中值滤波窗口对条纹加强的红外图像进行中值滤波时的运算结果,从而进一步降低时间复杂度,减少资源消耗。
接下来以一个示例来对上述图像处理过程进行举例说明,参见图4,图像处理设备首先采用窗口宽度为1,窗口高度为13的一维中值滤波窗口对原始红外图像进行滤波,得到条纹加强的红外图像。之后,假设四种中值滤波窗口的窗口高度均为1,窗口宽度分别为5、9、13和17。图像处理设备采用窗口宽度为5的滤波窗口1对条纹加强的红外图像的每行像素点进行中值滤波,得到校正图像1。采用窗口宽度为9的滤波窗口2对条纹加强的红外图像的每行像素点进行中值滤波,得到校正图像2。采用窗口宽度为13的滤波窗口3对条纹加强的红外图像的每行像素点进行中值滤波,得到校正图像3。采用窗口宽度为17的滤波窗口4对条纹加强的红外图像的每行像素点进行中值滤波,得到校正图像4。之后,将条纹加强的红外图像分别减去校正图像1至4,得到噪声估计图像1至4。采用均值滤波窗口对每个噪声估计图像中的每列像素点进行均值滤波,得到噪声滤波图像1至4。对噪声滤波图像1至4中相同像素位置上的像素点的像素值取中值,得到条纹噪声图像。最后,将条纹加强的红外图像减去条纹噪声图像,得到降噪图像。
接下来,对本申请实施例提供的图像处理装置进行介绍。
参见图5,本申请实施例提供了一种图像处理装置500,该装置500包括:
第一滤波模块501,用于使用一个沿着条纹方向的一维中值滤波窗口对原始红外图像进行滤波,得到条纹加强的红外图像;
第二滤波模块502,用于采用多种中值滤波窗口分别对条纹加强的红外图像进行中值滤波,得到多个校正图像;
第一确定模块503,用于根据条纹加强的红外图像和多个校正图像,确定条纹噪声图像;
第二确定模块504,用于确定条纹加强的红外图像和条纹噪声图像的差值图像,并将条纹加强的红外图像和条纹噪声图像的差值图像作为对原始红外图像降噪后的降噪图像。
可选地,第二滤波模块502主要用于:
采用第一中值滤波窗口对条纹加强的红外图像中的每行像素点分别进行中值滤波,得到第一校正图像,第一中值滤波窗口为多种中值滤波窗口中的任一个。
可选地,第一确定模块503主要用于:
计算条纹加强的红外图像与多个校正图像中的每个校正图像的差值图像,得到多个噪声估计图像;
根据多个噪声估计图像,生成条纹噪声图像。
可选地,第一确定模块503主要用于:
对多个噪声估计图像分别进行均值滤波,得到多个噪声滤波图像;
对多个噪声滤波图像中相同像素位置上的像素值取中值,以得到条纹噪声图像。
可选地,第一确定模块503主要用于:
采用均值滤波窗口对第一噪声估计图像中的每列像素点分别进行均值滤波,得到第一噪声滤波图像,第一噪声估计图像为多个噪声估计图像中的任一个。
综上所述,在本申请实施例中,首先对原始红外图像进行中值滤波,得到条纹加强的红外图像,然后采用多种中值滤波窗口尺寸对条纹加强的红外图像进行中值滤波,以得到多个校正图像。之后,计算条纹加强的红外图像和每个校正图像之间的差值图像,以得到多个噪声估计图像,再通过均值滤波窗口对多个噪声估计图像进行均值滤波,以得到条纹噪声图像,最终将条纹加强的红外图像和条纹噪声图像的差值图像作为最终得到的降噪图像。由此可见,本申请采用了中值滤波、均值滤波和对图像作差的方法对原始红外图像进行降噪处理,没有采用诸如双边滤波等保边滤波算法,时间复杂度较低,且资源消耗较少。
需要说明的是,上述实施例提供的图像处理装置在对原始红外图像进行降噪处理时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图6是根据一示例性实施例示出的一种用于对原始红外图像进行降噪处理的终端600的结构框图。上述实施例中的图像处理设备即可通过该终端600来实现。其中,该终端600可以是智能手机、平板电脑、笔记本电脑、台式电脑等。
通常,终端600包括有:处理器601和存储器602。
处理器601可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器601可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器601可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器601还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器602可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令,其中,该至少一个指令用于被处理器601所执行以实现本申请中方法实施例提供的图像处理方法。
在一些实施例中,终端600还可选包括有:***设备接口603和至少一个***设备。处理器601、存储器602和***设备接口603之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口603相连。具体地,***设备包括:射频电路604、显示屏605、摄像头组件606、音频电路607、定位组件608和电源609中的至少一种。
***设备接口603可被用于将I/O(Input/Output,输入/输出)相关的至少一个***设备连接到处理器601和存储器602。在一些实施例中,处理器601、存储器602和***设备接口603被集成在同一芯片或电路板上;在一些其他实施例中,处理器601、存储器602和***设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路604用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路604包括:天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路604还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏605用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏605是触摸显示屏时,显示屏605还具有采集在显示屏605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。此时,显示屏605还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏605可以为一个,设置终端600的前面板;在另一些实施例中,显示屏605可以为至少两个,分别设置在终端600的不同表面或呈折叠设计;在再一些实施例中,显示屏605可以是柔性显示屏,设置在终端600的弯曲表面上或折叠面上。甚至,显示屏605还可以设置成非矩形的不规则图形,也即异形屏。显示屏605可以采用LCD(LiquidCrystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。需要说明的是,在本申请实施例中,当该终端600为横屏终端时,该终端600的显示屏的宽高比大于1,例如,该终端600的显示屏的宽高比可以为16:9或4:3。当该终端600为竖屏终端时,则该终端600的显示屏的宽高比小于1,例如,该终端600的显示屏的宽高比可以为9:18或3:4等。
摄像头组件606用于采集图像或视频。可选地,摄像头组件606包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件606还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器601进行处理,或者输入至射频电路604以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器601或射频电路604的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路607还可以包括耳机插孔。
定位组件608用于定位终端600的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件608可以是基于GPS(Global PositioningSystem,全球定位***)、北斗***或伽利略***的定位组件。
电源609用于为终端600中的各个组件进行供电。电源609可以是交流电、直流电、一次性电池或可充电电池。当电源609包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端600还包括有一个或多个传感器610。该一个或多个传感器610包括但不限于:加速度传感器611、陀螺仪传感器612、压力传感器613、指纹传感器614、光学传感器615以及接近传感器616。
加速度传感器611可以检测以终端600建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器611可以用于检测重力加速度在三个坐标轴上的分量。处理器601可以根据加速度传感器611采集的重力加速度信号,控制显示屏605以横向视图或纵向视图进行用户界面的显示。加速度传感器611还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器612可以检测终端600的机体方向及转动角度,陀螺仪传感器612可以与加速度传感器611协同采集用户对终端600的3D动作。处理器601根据陀螺仪传感器612采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器613可以设置在终端600的侧边框和/或显示屏605的下层。当压力传感器613设置在终端600的侧边框时,可以检测用户对终端600的握持信号,由处理器601根据压力传感器613采集的握持信号进行左右手识别或快捷操作。当压力传感器613设置在显示屏605的下层时,由处理器601根据用户对显示屏605的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器614用于采集用户的指纹,由处理器601根据指纹传感器614采集到的指纹识别用户的身份,或者,由指纹传感器614根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器601授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器614可以被设置终端600的正面、背面或侧面。当终端600上设置有物理按键或厂商Logo时,指纹传感器614可以与物理按键或厂商Logo集成在一起。
光学传感器615用于采集环境光强度。在一个实施例中,处理器601可以根据光学传感器615采集的环境光强度,控制显示屏605的显示亮度。具体地,当环境光强度较高时,调高显示屏605的显示亮度;当环境光强度较低时,调低显示屏605的显示亮度。在另一个实施例中,处理器601还可以根据光学传感器615采集的环境光强度,动态调整摄像头组件606的拍摄参数。
接近传感器616,也称距离传感器,通常设置在终端600的前面板。接近传感器616用于采集用户与终端600的正面之间的距离。在一个实施例中,当接近传感器616检测到用户与终端600的正面之间的距离逐渐变小时,由处理器601控制显示屏605从亮屏状态切换为息屏状态;当接近传感器616检测到用户与终端600的正面之间的距离逐渐变大时,由处理器601控制显示屏605从息屏状态切换为亮屏状态。
也即是,本申请实施例不仅提供了一种终端,包括处理器和用于存储处理器可执行指令的存储器,其中,处理器被配置为执行图2或图4所示的图像处理方法,而且,本申请实施例还提供了一种计算机可读存储介质,该存储介质内存储有计算机程序,该计算机程序被处理器执行时可以实现图2或图4所示的图像处理方法。
本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述图2或图4所示实施例提供的图像处理方法。
以上所述并不用以限制本申请实施例,凡在本申请实施例的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请实施例的保护范围之内。
Claims (8)
1.一种图像处理方法,其特征在于,所述方法包括:
使用一个沿着条纹方向的一维中值滤波窗口对原始红外图像进行滤波,得到条纹加强的红外图像;
采用多种中值滤波窗口分别对所述条纹加强的红外图像进行中值滤波,得到多个校正图像;
根据所述条纹加强的红外图像和所述多个校正图像,确定条纹噪声图像;
确定所述条纹加强的红外图像和所述条纹噪声图像的差值图像,并将所述条纹加强的红外图像和所述条纹噪声图像的差值图像作为对所述原始红外图像降噪后的降噪图像;
其中,所述采用多种中值滤波窗口分别对所述条纹加强的红外图像进行中值滤波,得到多个校正图像,包括:
采用第一中值滤波窗口对所述条纹加强的红外图像中的每行像素点分别进行中值滤波,得到第一校正图像,所述第一中值滤波窗口为所述多种中值滤波窗口中的任一个。
2.根据权利要求1所述的方法,其特征在于,所述根据所述条纹加强的红外图像和所述多个校正图像,确定条纹噪声图像,包括:
计算所述条纹加强的红外图像与所述多个校正图像中的每个校正图像的差值图像,得到多个噪声估计图像;
根据所述多个噪声估计图像,生成所述条纹噪声图像。
3.根据权利要求2所述的方法,其特征在于,所述根据所述多个噪声估计图像,生成所述条纹噪声图像,包括:
对所述多个噪声估计图像分别进行均值滤波,得到多个噪声滤波图像;
对所述多个噪声滤波图像中相同像素位置上的像素值取中值,以得到所述条纹噪声图像。
4.根据权利要求3所述的方法,其特征在于,所述对所述多个噪声估计图像分别进行均值滤波,得到多个噪声滤波图像,包括:
采用均值滤波窗口对第一噪声估计图像中的每列像素点分别进行均值滤波,得到第一噪声滤波图像,所述第一噪声估计图像为所述多个噪声估计图像中的任一个。
5.一种图像处理装置,其特征在于,所述装置包括:
第一滤波模块,用于使用一个沿着条纹方向的一维中值滤波窗口对原始红外图像进行滤波,得到条纹加强的红外图像;
第二滤波模块,采用多种中值滤波窗口分别对所述条纹加强的红外图像进行中值滤波,得到多个校正图像;
第一确定模块,用于根据所述条纹加强的红外图像和所述多个校正图像,确定条纹噪声图像;
第二确定模块,用于确定所述条纹加强的红外图像和所述条纹噪声图像的差值图像,并将所述条纹加强的红外图像和所述条纹噪声图像的差值图像作为对所述原始红外图像降噪后的降噪图像;
其中,所述第二滤波模块主要用于:
采用第一中值滤波窗口对所述条纹加强的红外图像中的每行像素点分别进行中值滤波,得到第一校正图像,所述第一中值滤波窗口为所述多种中值滤波窗口中的任一个。
6.根据权利要求5所述的装置,其特征在于,所述第一确定模块主要用于:
计算所述条纹加强的红外图像与所述多个校正图像中的每个校正图像的差值图像,得到多个噪声估计图像;
根据所述多个噪声估计图像,生成所述条纹噪声图像。
7.根据权利要求6所述的装置,其特征在于,所述第一确定模块主要用于:
对所述多个噪声估计图像分别进行均值滤波,得到多个噪声滤波图像;
对所述多个噪声滤波图像中相同像素位置上的像素值取中值,以得到所述条纹噪声图像。
8.根据权利要求7所述的装置,其特征在于,所述第一确定模块主要用于:
采用均值滤波窗口对第一噪声估计图像中的每列像素点分别进行均值滤波,得到第一噪声滤波图像,所述第一噪声估计图像为所述多个噪声估计图像中的任一个。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110914696.9A CN113610733B (zh) | 2021-08-10 | 2021-08-10 | 图像处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110914696.9A CN113610733B (zh) | 2021-08-10 | 2021-08-10 | 图像处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113610733A CN113610733A (zh) | 2021-11-05 |
CN113610733B true CN113610733B (zh) | 2024-04-05 |
Family
ID=78308032
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110914696.9A Active CN113610733B (zh) | 2021-08-10 | 2021-08-10 | 图像处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113610733B (zh) |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102306331A (zh) * | 2011-08-17 | 2012-01-04 | 广东外语外贸大学 | 一种干涉条纹智能计数方法 |
CN105761231A (zh) * | 2016-03-21 | 2016-07-13 | 昆明理工大学 | 一种用于去除高分辨率天文图像中条纹噪声的方法 |
CN105844593A (zh) * | 2016-01-25 | 2016-08-10 | 哈尔滨理工大学 | 一种单幅干涉圆条纹预处理的自动化处理方法 |
CN105957033A (zh) * | 2016-04-26 | 2016-09-21 | 成都市晶林科技有限公司 | 基于图像分层的红外图像条纹滤波方法 |
WO2016190698A1 (ko) * | 2015-05-27 | 2016-12-01 | 한양대학교 에리카산학협력단 | 잡음 제거를 위한 가중 미디언 필터링 방법 및 장치 |
CN107767346A (zh) * | 2017-09-08 | 2018-03-06 | 湖北久之洋红外***股份有限公司 | 一种红外图像条纹噪声滤波方法 |
CN110211056A (zh) * | 2019-05-06 | 2019-09-06 | 南京理工大学 | 基于局部中值直方图的自适应红外图像去条纹算法 |
CN110910324A (zh) * | 2019-11-19 | 2020-03-24 | 山东神戎电子股份有限公司 | 红外视频的去竖条纹方法 |
CN111062293A (zh) * | 2019-12-10 | 2020-04-24 | 太原理工大学 | 一种基于深度学习的无人机森林火焰识别方法 |
CN111161172A (zh) * | 2019-12-18 | 2020-05-15 | 北京波谱华光科技有限公司 | 一种红外图像列向条纹消除方法、***及计算机存储介质 |
CN111724315A (zh) * | 2020-05-09 | 2020-09-29 | 中国人民解放军63686部队 | 一种基于自适应加权中值滤波的红外图像噪声去除方法 |
CN111968045A (zh) * | 2020-07-20 | 2020-11-20 | 华南理工大学 | 一种去除x射线图像条纹噪声的方法 |
CN112435181A (zh) * | 2020-11-12 | 2021-03-02 | 苏州长风航空电子有限公司 | 针对非制冷红外视频图像竖条纹噪声的滤除方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10262397B2 (en) * | 2014-12-19 | 2019-04-16 | Intel Corporation | Image de-noising using an equalized gradient space |
US10496876B2 (en) * | 2016-06-30 | 2019-12-03 | Intel Corporation | Specular light shadow removal for image de-noising |
-
2021
- 2021-08-10 CN CN202110914696.9A patent/CN113610733B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102306331A (zh) * | 2011-08-17 | 2012-01-04 | 广东外语外贸大学 | 一种干涉条纹智能计数方法 |
WO2016190698A1 (ko) * | 2015-05-27 | 2016-12-01 | 한양대학교 에리카산학협력단 | 잡음 제거를 위한 가중 미디언 필터링 방법 및 장치 |
CN105844593A (zh) * | 2016-01-25 | 2016-08-10 | 哈尔滨理工大学 | 一种单幅干涉圆条纹预处理的自动化处理方法 |
CN105761231A (zh) * | 2016-03-21 | 2016-07-13 | 昆明理工大学 | 一种用于去除高分辨率天文图像中条纹噪声的方法 |
CN105957033A (zh) * | 2016-04-26 | 2016-09-21 | 成都市晶林科技有限公司 | 基于图像分层的红外图像条纹滤波方法 |
WO2017185442A1 (zh) * | 2016-04-26 | 2017-11-02 | 成都市晶林科技有限公司 | 基于图像分层的红外图像条纹滤波方法 |
CN107767346A (zh) * | 2017-09-08 | 2018-03-06 | 湖北久之洋红外***股份有限公司 | 一种红外图像条纹噪声滤波方法 |
CN110211056A (zh) * | 2019-05-06 | 2019-09-06 | 南京理工大学 | 基于局部中值直方图的自适应红外图像去条纹算法 |
CN110910324A (zh) * | 2019-11-19 | 2020-03-24 | 山东神戎电子股份有限公司 | 红外视频的去竖条纹方法 |
CN111062293A (zh) * | 2019-12-10 | 2020-04-24 | 太原理工大学 | 一种基于深度学习的无人机森林火焰识别方法 |
CN111161172A (zh) * | 2019-12-18 | 2020-05-15 | 北京波谱华光科技有限公司 | 一种红外图像列向条纹消除方法、***及计算机存储介质 |
CN111724315A (zh) * | 2020-05-09 | 2020-09-29 | 中国人民解放军63686部队 | 一种基于自适应加权中值滤波的红外图像噪声去除方法 |
CN111968045A (zh) * | 2020-07-20 | 2020-11-20 | 华南理工大学 | 一种去除x射线图像条纹噪声的方法 |
CN112435181A (zh) * | 2020-11-12 | 2021-03-02 | 苏州长风航空电子有限公司 | 针对非制冷红外视频图像竖条纹噪声的滤除方法 |
Non-Patent Citations (3)
Title |
---|
A New Self-Adaptive Weighted Filter for Removing Noise in Infrared Images;Jiahui Wang等;2009 International Conference on Information Engineering and Computer Science;全文 * |
去除红外图像条带噪声改进算法研究;邵晓鹏;靳振华;王阳;;电子科技(10);全文 * |
强噪声SAR干涉图的等值线中值Goldstein二级滤波;李佳;李志伟;丁晓利;朱;汪长城;;遥感学报(04);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113610733A (zh) | 2021-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110502954B (zh) | 视频分析的方法和装置 | |
CN108305236B (zh) | 图像增强处理方法及装置 | |
CN111028144B (zh) | 视频换脸方法及装置、存储介质 | |
CN110619614B (zh) | 图像处理的方法、装置、计算机设备以及存储介质 | |
CN108848405B (zh) | 图像处理方法和装置 | |
CN110839174A (zh) | 图像处理的方法、装置、计算机设备以及存储介质 | |
CN111565309B (zh) | 显示设备及其畸变参数确定方法、装置、***及存储介质 | |
CN111754386A (zh) | 图像区域屏蔽方法、装置、设备及存储介质 | |
CN111127541B (zh) | 车辆尺寸的确定方法、装置及存储介质 | |
CN110414448B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN111860064B (zh) | 基于视频的目标检测方法、装置、设备及存储介质 | |
CN110910309A (zh) | 图像处理方法、装置、电子设备、存储介质及程序产品 | |
CN113610733B (zh) | 图像处理方法及装置 | |
CN115798417A (zh) | 背光亮度的确定方法、装置、设备及计算机可读存储介质 | |
CN107992230B (zh) | 图像处理方法、装置及存储介质 | |
CN114594885A (zh) | 应用图标的管理方法、装置、设备及计算机可读存储介质 | |
CN108881739B (zh) | 图像生成方法、装置、终端及存储介质 | |
CN112184802B (zh) | 标定框的调整方法、装置及存储介质 | |
CN112399080A (zh) | 视频处理方法、装置、终端及计算机可读存储介质 | |
CN108881715B (zh) | 拍摄模式的启用方法、装置、终端及存储介质 | |
CN110889391A (zh) | 人脸图像处理的方法、装置、计算设备和存储介质 | |
CN111757146A (zh) | 视频拼接的方法、***及存储介质 | |
CN113129221B (zh) | 图像处理方法、装置、设备及存储介质 | |
CN110660031B (zh) | 图像锐化方法及装置、存储介质 | |
CN113590877B (zh) | 获取标注数据的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |