CN112529854B - 一种噪声估计方法、装置、存储介质及设备 - Google Patents

一种噪声估计方法、装置、存储介质及设备 Download PDF

Info

Publication number
CN112529854B
CN112529854B CN202011375395.5A CN202011375395A CN112529854B CN 112529854 B CN112529854 B CN 112529854B CN 202011375395 A CN202011375395 A CN 202011375395A CN 112529854 B CN112529854 B CN 112529854B
Authority
CN
China
Prior art keywords
frequency component
noise
value
pixel
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011375395.5A
Other languages
English (en)
Other versions
CN112529854A (zh
Inventor
李琤
宋风龙
黄亦斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202011375395.5A priority Critical patent/CN112529854B/zh
Publication of CN112529854A publication Critical patent/CN112529854A/zh
Application granted granted Critical
Publication of CN112529854B publication Critical patent/CN112529854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20052Discrete cosine transform [DCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及人工智能技术领域,公开了一种噪声估计方法、装置、存储介质及设备,包括:首先将待估计的N帧图像划分成多个固定大小的图像块;并对各个图像块进行DCT变换,得到低频分量、中频分量和高频分量;然后计算低频分量的像素估计值,计算中频分量对应的最优分阈值,并对高频分量的功率谱密度进行修正,以及对高频分量的图像信号处理器ISP通路修正,得到初始噪声估计值,进而可以根据N帧图像的低频分量的像素估计值和初始噪声估计值,确定出待估计的N帧图像的最终噪声估计结果。可见,由于本申请是对低频分量、中频分量和高频分量,同时分别进行功率谱密度和ISP通路修正等处理,从而能够提高真实手图像与视频的噪声估计结果的准确度。

Description

一种噪声估计方法、装置、存储介质及设备
技术领域
本申请涉及人工智能技术领域,尤其涉及一种噪声估计方法、装置、存储介质及设备。
背景技术
随着移动互联网、物联网和人工智能(artificial intelligence,AI)技术的快速发展,智能手机等终端设备的拍照与视频质量有了突飞猛进的进步。但是受限于终端设备光学传感器的硬件性能和图像信号处理器(image signal processor,ISP)的硬件面积和功耗约束,图像和视频质量仍然不够高。由此,图像与视频去噪仍是一项非常迫切的需求,以使得成像质量大幅提升,并且有助于提高后期的计算机视觉处理准确度。而为实现有效的图像与视频去噪,准确的噪声估计显得至关重要,其极大程度影响了去噪的实际效果。
目前,噪声估计的方法通常有两种:一种是基于泊松-高斯噪声(possion-gaussian noise,PG Noise)模型的估计方法,该方法通过假设原始数据噪声由信号相关的泊松噪声和信号无关的高斯噪声构成,对图像进行离散小波变换(discrete wavelettransform,DWT),目的是将图像信号与噪声分离,在DWT低频对图像进行分割,分别利用每个分割区域的低频系数得到信号强度估计值,利用高频系数得到噪声强度估计值,最后拟合所有信号和噪声强度的关系式,得到最终的噪声估计模型,但由于该估计方法的准确率受图像内容影响严重,鲁棒性不足,并且,针对原始数据暗区和过曝位置,并不满足P-G噪声模型假设,需要额外修正,同时,模型未考虑相机拍摄参数,也无法做到全场景噪声的估计;而另一种常用的噪声估计方法则是基于噪声流(Noise Flow)模型的估计方法,该方法通过数据训练,将高斯白噪声(white gaussian noise,WGN)分布转换成真实噪声分布,并将最小化负最大似然损失(negative likelihood loss,NLL)作为训练目标。并且引入了一些拍摄参数(如ISO、相机型号等)作为先验信息,来指导网络在不同场景上泛化,但该方法的缺点是计算过程中包含大量的雅克比行列、矩阵求逆等算子无法得到硬件(如图形处理单元(graphics processing unit,GPU)、网络处理单元(network processing unit,NPU)等)的支持与加速运算,并且,其中的噪声估计模块还需要大约160GMAC计算量,远超目前手机计算能力。所以,亟需面向真实图像与视频的噪声,设计全场景、高质量、高效的噪声估计AI模型,以提高真实手图像与视频的噪声估计结果的准确度。
发明内容
本申请实施例提供了一种噪声估计方法、装置、存储介质及设备,有助于克服现有噪声估计方法的缺点,降低估计误差,提高真实手图像与视频的噪声估计结果的准确度。
第一方面,本申请提供了一种噪声估计方法,该方法包括:在进行噪声估计时,首先将待估计的N帧图像划分成多个固定大小的图像块;并对各个图像块进行离散余弦变换DCT变换,得到低频分量、中频分量和高频分量;其中,N为大于1的正整数,然后计算低频分量的像素估计值,计算中频分量对应的最优分阈值,并对高频分量的功率谱密度进行修正,以及对高频分量的图像信号处理器ISP通路修正,得到初始噪声估计值,进而可以根据N帧图像的低频分量的像素估计值和初始噪声估计值,确定出待估计的N帧图像的最终噪声估计结果。
与传统技术相比,由于本申请实施例在对视频和图像进行噪声估计时,是通过DCT系数自适应地分离信号与噪声,并利用多帧信息,增加用于估计的样本块数量,同时对彩色噪声与ISP通路进行修正,从而能够降低噪声估计的误差,尤其是在暗区与过曝区,计算方式简单高效,有助于提高真实手图像与视频的噪声估计结果的准确度。
一种可能的实现方式中,在根据N帧图像的低频分量的像素估计值和初始噪声估计值,确定待估计的N帧图像的最终噪声估计结果之后,该方法还包括:利用相机的感光度ISO值、像素估计值和初始噪声估计值进行模型拟合,得到拟合模型的关系式;利用最小二乘法,计算拟合模型的参数,得到像素估计值和所述初始噪声估计值对应的全场景噪声强度曲面,作为最终的拟合结果。
一种可能的实现方式中,计算低频分量的像素估计值,包括:根据低频分量,将像素值取值范围划分为K个区间;其中,K为大于0的正整数;计算每个区间所有DCT低频分量的平均值,得到该区域的像素估计值。
一种可能的实现方式中,对高频分量的功率谱密度进行修正,包括:通过协同滤波,修正所述高频分量的功率谱密度。
一种可能的实现方式中,对高频分量的图像信号处理器ISP通路修正,得到初始噪声估计值,包括:利用ISP通路参数对高频分量进行修正,并计算修正后的高频分量的中位数,作为初始噪声估计值。
第二方面,本申请还提供了一种噪声估计装置,该装置包括:划分单元,用于将待估计的N帧图像划分成多个固定大小的图像块;并对各个图像块进行离散余弦变换,得到低频分量、中频分量和高频分量;其中,N为大于1的正整数;第一计算单元,用于计算低频分量的像素估计值;第二计算单元,用于计算中频分量对应的最优分阈值;修正单元,用于对高频分量的功率谱密度进行修正,以及对高频分量的图像信号处理器ISP通路修正,得到初始噪声估计值;确定单元,用于根据N帧图像的低频分量的像素估计值和初始噪声估计值,确定待估计的N帧图像的最终噪声估计结果。
一种可能的实现方式中,该装置还包括:拟合单元,用于利用相机的感光度ISO值、像素估计值和初始噪声估计值进行模型拟合,得到拟合模型的关系式;获得单元,用于利用最小二乘法,计算拟合模型的参数,得到像素估计值和所述初始噪声估计值对应的全场景噪声强度曲面,作为最终的拟合结果。
一种可能的实现方式中,第一计算单元包括:划分子单元,用于根据低频分量,将像素值取值范围划分为K个区间;其中,K为大于0的正整数;获得子单元,用于计算每个区间所有DCT低频分量的平均值,得到该区域的像素估计值。
一种可能的实现方式中,修正单元具体用于:通过协同滤波,修正所述高频分量的功率谱密度。
一种可能的实现方式中,修正单元具体还用于:利用ISP通路参数对高频分量进行修正,并计算修正后的高频分量的中位数,作为初始噪声估计值。
第三方面,本申请还提供了一种噪声估计设备,该噪声估计设备包括:存储器、处理器;
存储器,用于存储指令;处理器,用于执行存储器中的指令,执行上述第一方面及其任意一种可能的实现方式中的方法。
第四方面,本申请还提供了一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行上述第一方面及其任意一种可能的实现方式中的方法。
从以上技术方案可以看出,本申请实施例具有以下优点:
本申请实施例在进行噪声估计时,首先将待估计的N帧图像划分成多个固定大小的图像块;并对各个图像块进行离散余弦变换DCT变换,得到低频分量、中频分量和高频分量;其中,N为大于1的正整数,然后计算低频分量的像素估计值,计算中频分量对应的最优分阈值,并对高频分量的功率谱密度进行修正,以及对高频分量的图像信号处理器ISP通路修正,得到初始噪声估计值,进而可以根据N帧图像的低频分量的像素估计值和初始噪声估计值,确定出待估计的N帧图像的最终噪声估计结果。可见,由于本申请实施例在对视频和图像进行噪声估计时,是通过DCT系数自适应地分离信号与噪声,并利用多帧信息,增加用于估计的样本块数量,同时对彩色噪声与ISP通路进行修正,从而能够降低噪声估计的误差,尤其是在暗区与过曝区,计算方式简单高效,有助于提高真实手图像与视频的噪声估计结果的准确度。
附图说明
图1为本申请实施例提供的人工智能主体框架的一种结构示意图;
图2为本申请实施例的应用场景示意图之一;
图3为本申请实施例的应用场景示意图之二;
图4为本申请实施例的应用场景示意图之三;
图5为本申请实施例提供的一种噪声估计方法的流程图;
图6为本申请实施例的提供的与相关的噪声估计方法的对比示意图;
图7为本申请实施例的提供的与真实标定噪声的对比示意图;
图8为本申请实施例的提供的去噪网络视觉效果的对比示意图之一;
图9为本申请实施例的提供的去噪网络视觉效果的对比示意图之二;
图10为本申请实施例的提供的去噪网络视觉效果的对比示意图之三;
图11为本申请实施例的提供的噪声数据合成效果的示意图;
图12为本申请实施例提供的一种噪声估计装置的结构框图;
图13为本申请实施例提供的一种噪声估计设备的结构示意图。
具体实施方式
本申请实施例提供了一种噪声估计方法、装置、存储介质及设备,能够降低噪声估计误差,提高真实手图像与视频的噪声估计结果的准确度。
下面结合附图,对本申请的实施例进行描述。本领域普通技术人员可知,随着技术的发展和新场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
首先对人工智能***总体工作流程进行描述,请参见图1,图1示出的为人工智能主体框架的一种结构示意图,下面从“智能信息链”(水平轴)和“IT价值链”(垂直轴)两个维度对上述人工智能主题框架进行阐述。其中,“智能信息链”反映从数据的获取到处理的一列过程。举例来说,可以是智能信息感知、智能信息表示与形成、智能推理、智能决策、智能执行与输出的一般过程。在这个过程中,数据经历了“数据—信息—知识—智慧”的凝练过程。“IT价值链”从人智能的底层基础设施、信息(提供和处理技术实现)到***的产业生态过程,反映人工智能为信息技术产业带来的价值。
(1)基础设施
基础设施为人工智能***提供计算能力支持,实现与外部世界的沟通,并通过基础平台实现支撑。通过传感器与外部沟通;计算能力由智能芯片(CPU、NPU、GPU、ASIC、FPGA等硬件加速芯片)提供;基础平台包括分布式计算框架及网络等相关的平台保障和支持,可以包括云存储和计算、互联互通网络等。举例来说,传感器和外部沟通获取数据,这些数据提供给基础平台提供的分布式计算***中的智能芯片进行计算。
(2)数据
基础设施的上一层的数据用于表示人工智能领域的数据来源。数据涉及到图形、图像、语音、文本,还涉及到传统设备的物联网数据,包括已有***的业务数据以及力、位移、液位、温度、湿度等感知数据。
(3)数据处理
数据处理通常包括数据训练,机器学习,深度学习,搜索,推理,决策等方式。
其中,机器学习和深度学习可以对数据进行符号化和形式化的智能信息建模、抽取、预处理、训练等。
推理是指在计算机或智能***中,模拟人类的智能推理方式,依据推理控制策略,利用形式化的信息进行机器思维和求解问题的过程,典型的功能是搜索与匹配。
决策是指智能信息经过推理后进行决策的过程,通常提供分类、排序、预测等功能。
(4)通用能力
对数据经过上面提到的数据处理后,进一步基于数据处理的结果可以形成一些通用的能力,比如可以是算法或者一个通用***,例如,翻译,文本的分析,计算机视觉的处理,语音识别,图像的识别等等。
(5)智能产品及行业应用
智能产品及行业应用指人工智能***在各领域的产品和应用,是对人工智能整体解决方案的封装,将智能信息决策产品化、实现落地应用,其应用领域主要包括:智能终端、智能交通、智能医疗、自动驾驶、平安城市等。
本申请可以应用于人工智能领域的图像处理领域中,下面将对落地到产品的应用场景进行介绍。
应用于终端设备、云产品等计算设备中的噪声估计过程如下:
本申请实施例提供的噪声估计方法可以应用于终端设备、云产品等计算设备中的图像处理过程,具体的,可以应用于终端设备上的相机等。参见图2、图3和图4,分别为本申请实施例的应用场景示意图,如图2所示,终端设备中具备实现图像处理功能的AI***,如安装在手机中的美图相机等。可以基于功率谱密度的非参数估计模型流程图,首先对一组多帧待估计的图像进行切块,并对各个图像分块进行DCT变换,再将DCT系数分为高、中、低频,高频分量,然后并行处理DCT高、中、低频系数。被分离的高频分量将经过功率谱修正与ISP通路修正模块,得到噪声的标准差统计量,低频分量经过像素值区间划分模块,最终得到每个区间的DCT块位置与像素值大小。同时,中频分量通过自适应阈值频率划分模块,判断DCT块是否作为估计的采样点,在尽可能多地保留采样数量基础上,剔除纹理、结构信息影响,减少估计结果的偏移。最后,画出像素值与噪声标准差的一维曲线。接着,如图3所示,针对不同拍摄参数进行噪声估计后,再利用各组图像对应的ISO值,进一步拟合估计噪声曲线与拍摄参数的关系,得到最终全场景的噪声估计结果,作为最终的拟合结果。进而,如图4所示,一方面,针对去噪网络,可以直接将估计好的噪声模型作为网络输入,引入网络来使网络获得噪声的先验信息,从而提升模型的泛化性;另一方面,基于拟合后的噪声模型,可以利用干净图像生成带噪图像,补充训练数据,提高网络效果。图4中输入为N个ISO场景的有噪视频,进行多帧图像的噪声估计后,输出也为N条噪声曲线,然后可利用最小平方误差(minimum squared-error,MSE),拟合得到全场景噪声强度的曲面。
其中,终端设备可以为手机、平板、笔记本电脑、智能穿戴设备等,终端设备可以对获取到的每组多帧图像进行噪声估计处理。应当理解,本申请实施例还可以应用于其他需要进行噪声估计的场景中,此处不再对其他应用场景进行一一列举。
基于以上应用场景,本申请实施例提供了一种噪声估计方法,该方法可应用于终端设备等弱计算设备或云产品等高性能计算设备中。如图5所示,该方法包括:
S501:将待估计的N帧图像划分成多个固定大小的图像块;并对各个图像块进行离散余弦变换,得到低频分量、中频分量和高频分量;其中,N为大于1的正整数。
在本实施例中,待估计的N帧图像可以是上述终端设备通过图像采集设备(如照相机)采集到的图像数据(如用户拍摄的风景图),或者,该待估计的N帧图像也可以是从终端设备内部获得的之前存储的图像数据。本申请对待估计的N帧图像的具体获取方式和具体来源不做限定,可根据实际情况进行选择。
进一步的,终端设备在获取到待估计的N帧图像后,可以将其划分成多个固定大小的图像块;并对各个图像块进行离散余弦变换(iscrete cosine transformation,DCT),得到低频分量、中频分量和高频分量。一种可选的实现方式,可以对待估计的图像序列(此处将其定义为I)进行空域Crop操作,设patch_size为[n,n],以步长n_step截取图像块,比如,将H×W×F的I分成若干n×n×1的图像块,其中第一个图像块所含像素的对应I中坐标为[0:n-1,0:n-1,0];如果待估计的图像序列为原始Raw域图像序列,则需对图像进行shuffle操作,分别处理各颜色分量。接着,可以对划分后的图像块进行离散余弦变换,变换后的DCT系数位置表示为(i,j),通过i+j的值划分频分量、中频分量和高频分量,用以执行后续步骤S502-S505。
具体来讲,首先,可以将待估计的图像序列定义为If∈[0,1,…,F],每帧图像的分辨率大小为[H,W],共F帧。然后,对图像进行切块操作,图像块的尺寸为[npatch,npatch],切片间隔为nslide,其中第(i,j)个图像块所含像素的对应If中坐标为[i*(nslide-1):i*(nslide-1)+npatch-1,j*(nslide-1):j*(nslide-1)+npatch-1]。接着,对图像块进行DCT变换,得到低频分量DL,中频分量DM和高频分量DH,通过DCT系数位置(idct,jdct)划分DL,DM和DH,如npatch=8,则将idct+jdct=1设置为低频分量DL,将1<idct+jdct≤8设置为中频分量DM,将8<idct+jdct≤16设置为高频分量DH,用以执行后续步骤S502-S505。
S502:计算低频分量的像素估计值。
在本实施例中,通过步骤S501得到低频分量后,进一步可以根据低频分量,将像素值取值范围划分为K个区间;其中,K为大于0的正整数,并计算每个区间所有DCT低频分量的平均值,得到该区域的像素估计值,用以执行后续步骤。
具体来讲,可以根据低频分量DL,将像素值取值范围划分为K个区间,即,将DL划分为K段,设像素值范围为[0,1],则第ki个区间的像素值范围对应为通过计算每个区间所有DCT低频分量的平均值(即,计算/>的平均值,),得到该区域的像素估计值,此处将其定义为/>并且得到其位置信息/>用于进行中、高频分量的处理。
S503:计算中频分量对应的最优分阈值。
在本实施例中,通过步骤S501得到中频分量后,针对第ki个区间,设置其共有个DCT块,计算这些DCT块的中频分量平均值,并依此值升序排序,将第m个块的值作为划分阈值Δp,通过预设的算法进行迭代,最终得到最优的分阈值p,并将符合/>的/>个DCT块进行后续的噪声值估计,预设的算法具体如下:
Adaptive-Threshold Frequency Component Division
Input:D=Set of N×N DCT blocks
Output:Chosen Dm for noise estimation
1:for each pixel value bins:
2:Initialize p=0.8andΔp=0.05
3:Compute
4:Compute
5:whileand/>and/>
6:Set p=p-△p
7:Update
8:while end
9:
10:for end。
S504:对高频分量的功率谱密度进行修正,以及对高频分量的图像信号处理器ISP通路修正,得到初始噪声估计值。
需要说明的是,实际噪声并不是白噪声,是具有空间相关性的,频域表现为功率谱密度变化,所以会对估计结果造成偏移。由此,一种可选的实现方式是,在通过步骤S501得到高频分量后,可以根据彩噪在空域和时域的功率谱密度稳定性不一致性,通过协同滤波,修正高频分量功率谱密度。其中,协同滤波可以采用维纳滤波器。
具体来讲,针对第ki区间,得到的坐标/>得到/>中所有的高频分量计算/>的空域标准差与时域标准差的比值,作为维纳滤波系数进行协同滤波,从而修正DCT块的功率谱密度。维纳滤波系数的计算具体公式如下:
其中,表示第ki区间用于噪声估计的DCT块个数;F表示图像帧数;
然后,利用对高频分量/>进行校正;最后计算所有帧的高频标准差,得到功率谱修正后的噪声标准差/>
进一步的,考虑到ISP中的其他处理模块对噪声强度与特性产生影响,在得到功率谱修正后的噪声标准差后,还可以利用ISP通路参数对其进行修正,并计算修正后的高频分量的中位数,作为初始噪声估计值,用以执行后续步骤S505。
具体来讲,可以从ISP通路中提取LSC Metric和AWB Gain,将二者重塑reshape到输入尺寸的倍,并利用其倒数与功率谱修正后的噪声标准差/>做点乘,得到经过ISP通路修正的修正结果/>进而可以计算每个区间ki的高频分量的中位数,作为该区间的噪声估计值,此处将其定义为/>
S505:根据N帧图像的低频分量的像素估计值和初始噪声估计值,确定待估计的N帧图像的最终噪声估计结果。
在本实施例中,在通过上述步骤得到N帧图像的低频分量的像素估计值和初始噪声估计值/>后,进一步可以将每一帧中属于相同区间的/>和/>求平均,作为最终的噪声估计结果,并画出二者之间的关系曲线(如图2最右侧的曲线图所示),作为估计模型的最终结果。但由于估计结果为离散值,对于模型没有得到的/>和/>进一步利用线性插值估计得到,从而能够确定待估计的N帧图像的最终噪声估计结果。
进一步的,一种可选的实现方式是,可以将非参噪声估计结果与拍摄参数的关系进行建模,实现全场景噪声拟合,用以可支持手机端实时4K视频的噪声估计。具体来讲,在得到N帧图像的最终噪声估计结果后,可以利用相机的感光度ISO值、像素估计值和初始噪声估计值进行模型拟合,得到拟合模型的关系式,具体关系式如下:
λa=a1×ISO2+a2×ISO+a3
λb=b1×ISO2+b2×ISO+b3
然后,可以利用最小二乘法,计算拟合模型的参数,得到像素估计值和初始噪声估计值/>对应的全场景噪声强度曲面(如图3最右侧图所示),作为最终的拟合结果,此处将其定义为σ(Y,ISO|β)。其中,β表示模型参数,具体取值为β=[ai,bi]。
这样,在噪声估计整体模型的设计上,采用非参估计模型,避免了泊松-高斯模型在暗区与过曝区的失效问题,直接对像素值与噪声强度关系进行估计,显著减少估计误差。并且,由于引入多帧图像,增加估计采样点,提升估计准确性;同时利用彩噪在空间和时间上的相关性差异,对图像块的功率谱进行修正,大幅提升彩色噪声的估计效果。此外,本申请设计了一种自适应阈值频率划分模块,利用图像的中频信息有效剔除图像中的结构、纹理等带来的干扰,减少估计误差。以及在ISP修正时,通过引入LSC、AWB等矫正矩阵,修正手机中各环节对噪声特性带来的影响,简单有效。最后,还利用估计结果与相机拍摄参数建模,并拟合了模型参数,支持全拍摄参数和场景下的准确参数估计。使得本申请的方案与其他相关的噪声估计方法相比,具有更佳的技术效果,具体如下:
(1)与其他相关的噪声估计方法相比,性能更好、估计结果更准确。
如图6所示,对于利用传感器Sensor采集到原始Raw数据(即图6中的Sensor所在列的数据)以及进行长中短曝光融合后的Raw数据(即图6中的HDR所在列的数据),本申请提供的估计方法在分位图平均误差(quantile-quantile plot error,Q-Q error)和相对熵(kullback-leibler divergence,KLD)(即图6中的KL-divergence)上都超过了WhiteNoise,PG Noise,Noise Flow和DCT等相关噪声估计方法。即,图6中的Sensor所在列和HDR所在列的数值越小,表明估计的误差越小,估计结果的质量越高。同时,本申请提供的估计方法在不同ISP位置、不同ISO场景上,面向不同特性与分布的噪声,也都可以获得优秀的估计结果,具体在此不再赘述。
(2)与真实标定噪声对比,差异非常小。
如图7所示,在对比了全Raw域位置的噪声估计结果,包括不同曝光的Sensor Raw,HDR,ATR,BLC,LSC,AWB,GCD输出Raw,得到了图中离散点表示的本申请的噪声估计结果,而虚线表示了统计标定结果,从而可以看出估计值与真值间的差异非常小,从而表明本申请可有效反映出真实的噪声水平。
(3)去噪网络视觉效果更佳。
对于大模型网络来说,根据具体图像像素值与噪声模型,计算噪声方差图,与输入图像共同输入去噪网络,与盲去噪的性能与计算量的比较结果如图8所示,相比盲去噪方式,本申请提供的估计方法,相较于其他相关估计方法,峰值信噪比(peak signal-to-noise ratio,PSNR)可提高大约0.46dB,同时只引入3.34GMAC计算量。针对2160×4096大小的4K图像,GPU V100硬件条件下,实际运算时间仅提供0.8ms,几乎不影响算法实时性。同时,能够显著提升结果中的纹理与结构信息,并且有效抑制了彩噪与伪影(artifacts)。
对于轻量级网络来说,为满足弱计算力终端设备的算力约束,获取去噪效果好的小计算量网络是最终目标。可以在15GMAC的Video JDD(联合去噪和去马赛克)上验证了本申请中噪声估计方法的有效性。引入JDD网络的方式与上述大模型相同,性能与计算量的比较结果如图9所示,从图9可以看出,本申请提供的估计方法,相较于其他相关估计方法,可将PSNR提升大约0.55dB,并且仅增加0.68GMAC额外计算。此外,如图10所示(图10的两幅图中,每幅图的左侧表示盲去噪方式、中间表示引入ISO信息的方式、右侧表示本申请方法),在5lux光照条件下,相对于盲去噪和引入ISO信息的方式,本申请提供的估计方法可以使JDD网络恢复更多的细节纹理、更少的彩色噪声、更稳定的高频细节和更强的弱对比度纹理。
(4)噪声数据合成效果较好。
基于本申请的方案,通过在干净图像上加入随机噪声,可以合成华为Mate20pro手机的噪声数据,如图11所示,图11中左侧图为真实噪声、右侧图为通过本申请估计的噪声,可见二者几乎无差别、一致性较强,表明本申请的噪声数据合成效果较好。从而可以利用本申请的方案有效增广训练数据集,合成噪声数据,大幅减少数据采集的成本开销,有效弥补真实训练数据的不足,用以挺提高后续图像处理操作的准确性。
综上,本实施例提供的一种噪声估计方法,在进行噪声估计时,首先将待估计的N帧图像划分成多个固定大小的图像块;并对各个图像块进行离散余弦变换DCT变换,得到低频分量、中频分量和高频分量;其中,N为大于1的正整数,然后计算低频分量的像素估计值,计算中频分量对应的最优分阈值,并对高频分量的功率谱密度进行修正,以及对高频分量的图像信号处理器ISP通路修正,得到初始噪声估计值,进而可以根据N帧图像的低频分量的像素估计值和初始噪声估计值,确定出待估计的N帧图像的最终噪声估计结果。可见,由于本申请实施例在对视频和图像进行噪声估计时,是通过DCT系数自适应地分离信号与噪声,并利用多帧信息,增加用于估计的样本块数量,同时对彩色噪声与ISP通路进行修正,从而能够降低噪声估计的误差,尤其是在暗区与过曝区,计算方式简单高效,有助于提高真实手图像与视频的噪声估计结果的准确度。
为便于更好的理解本申请实施例提供的上述噪声估计方法,现以分辨率大小为[1080,1920],总帧数F=7的RAW域图像数据为例对上述噪声估计方法进行举例介绍。
具体的,首先,可以将对该图像数据进行shuffle操作,得到尺寸大小为[540,960,28]的图像块,设定npatch=nslide=8。然后,设定idct+jdct=1为低频分量DL,1<idct+jdct≤8为中频分量DM,8<idct+jdct≤16为高频分量DH。接着,将DL划分为K=500段;同时,划分阈值Δp=0.005,通过预设算法得到每个区间的最优的分阈值并且,针对第ki区间,得到Mp的坐标/>得到Mp中所有的高频分量/>计算/>的空域标准差与时域标准差的比值修正DCT块的功率谱密度。进一步的,利用/>对高频分量/>进行校正;再进一步的,计算所有帧的高频标准差,得到功率谱修正后的噪声标准差/>进而,提取LSC Metric和AWB Gain,将二者reshape到[540/npatch,960/npatch],LSC Metric与每个对应空间位置的/>点乘,AWB Gain则与对应颜色通道的/>点乘;修正后计算每个区间ki的高频分量的中位数,作为噪声估计值/>最后,将这7帧中ki区间的/>和/>分别求平均,作为最终的估计结果。在此基础上,可以利用相机的感光度ISO值、像素估计值/>和初始噪声估计值/>进行模型拟合,得到拟合模型的关系式,并利用实际数据,通过最小二乘法求解拟合模型中的参数,最后得到σ(Y,ISO|β)(如图3最右侧图所示),其中,β表示模型参数,具体取值为β=[ai,bi]。
为便于更好的实施本申请实施例的上述方案,下面还提供用于实施上述方案的相关装置。请参见图12所示,本申请实施例提供了一种噪声估计装置1200。该装置1200可以包括:划分单元1201、第一计算单元1202、第二计算单元1203、修正单元1204和确定单元1205。其中,划分单元1201用于支持装置1200执行图5所示实施例中的S501。第一计算单元1202用于支持装置1200执行图5所示实施例中的S502。第二计算单元1203用于支持装置1200执行图5所示实施例中的S503。修正单元1204用于支持装置1200执行图5所示实施例中的S504。确定单元1205用于支持装置1200执行图5所示实施例中的S505。具体的,
划分单元1201,用于将待估计的N帧图像划分成多个固定大小的图像块;并对各个所述图像块进行离散余弦变换,得到低频分量、中频分量和高频分量;所述N为大于1的正整数;
第一计算单元1202,用于计算低频分量的像素估计值;
第二计算单元1203,用于计算中频分量对应的最优分阈值;
修正单元1204,用于对高频分量的功率谱密度进行修正,以及对高频分量的图像信号处理器ISP通路修正,得到初始噪声估计值;
确定单元1205,用于根据N帧图像的低频分量的像素估计值和初始噪声估计值,确定待估计的N帧图像的最终噪声估计结果。
在本实施例的一种实现方式中,还装置还包括:
拟合单元,用于利用相机的感光度ISO值、像素估计值和初始噪声估计值进行模型拟合,得到拟合模型的关系式;
获得单元,用于利用最小二乘法,计算拟合模型的参数,得到像素估计值和初始噪声估计值对应的全场景噪声强度曲面,作为最终的拟合结果。
在本实施例的一种实现方式中,第一计算单元1202包括:
划分子单元,用于根据低频分量,将像素值取值范围划分为K个区间;其中,K为大于0的正整数;
获得子单元,用于计算每个区间所有DCT低频分量的平均值,得到该区域的像素估计值。
在本实施例的一种实现方式中,修正单元1204具体用于:
通过协同滤波,修正高频分量的功率谱密度。
在本实施例的一种实现方式中,修正单元1204具体还用于:
利用ISP通路参数对高频分量进行修正,并计算修正后的高频分量的中位数,作为初始噪声估计值。
综上,本实施例提供的一种噪声估计装置,在进行噪声估计时,首先将待估计的N帧图像划分成多个固定大小的图像块;并对各个图像块进行离散余弦变换DCT变换,得到低频分量、中频分量和高频分量;其中,N为大于1的正整数,然后计算低频分量的像素估计值,计算中频分量对应的最优分阈值,并对高频分量的功率谱密度进行修正,以及对高频分量的图像信号处理器ISP通路修正,得到初始噪声估计值,进而可以根据N帧图像的低频分量的像素估计值和初始噪声估计值,确定出待估计的N帧图像的最终噪声估计结果。可见,由于本申请实施例在对视频和图像进行噪声估计时,是通过DCT系数自适应地分离信号与噪声,并利用多帧信息,增加用于估计的样本块数量,同时对彩色噪声与ISP通路进行修正,从而能够降低噪声估计的误差,尤其是在暗区与过曝区,计算方式简单高效,有助于提高真实手图像与视频的噪声估计结果的准确度。
参见图13,本申请实施例提供了一种噪声估计设备1300,该设备包括存储器1301、处理器1302和通信接口1303,
存储器1301,用于存储指令;
处理器1302,用于执行存储器1301中的指令,执行上述应用于图5所示实施例中的噪声估计方法;
通信接口1303,用于进行通信。
存储器1301、处理器1302和通信接口1303通过总线1304相互连接;总线1304可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extended industry standard architecture,简称EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,图13中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
在具体实施例中,处理器1302用于在进行噪声估计时,首先将待估计的N帧图像划分成多个固定大小的图像块;并对各个图像块进行离散余弦变换DCT变换,得到低频分量、中频分量和高频分量;其中,N为大于1的正整数,然后计算低频分量的像素估计值,计算中频分量对应的最优分阈值,并对高频分量的功率谱密度进行修正,以及对高频分量的图像信号处理器ISP通路修正,得到初始噪声估计值,进而可以根据N帧图像的低频分量的像素估计值和初始噪声估计值,确定出待估计的N帧图像的最终噪声估计结果。该处理器1302的详细处理过程请参考上述图5所示实施例中S501、S502、S503、S504和S505的详细描述,这里不再赘述。
上述存储器1301可以是随机存取存储器(random-access memory,RAM)、闪存(flash)、只读存储器(read only memory,ROM)、可擦写可编程只读存储器(erasableprogrammable read only memory,EPROM)、电可擦除可编程只读存储器(electricallyerasable programmable read only memory,EEPROM)、寄存器(register)、硬盘、移动硬盘、CD-ROM或者本领域技术人员知晓的任何其他形式的存储介质。
上述处理器1302例如可以是中央处理器(central processing unit,CPU)、通用处理器、数字信号处理器(digital signal processor,DSP)、专用集成电路(application-specific integrated circuit,ASIC)、现场可编程门阵列(field programmable gatearray,FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请实施例公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等等。
上述通信接口1303例如可以是接口卡等,可以为以太(ethernet)接口或异步传输模式(asynchronous transfer mode,ATM)接口。
本申请实施例还提供了一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行上述噪声估计方法。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,以便包含一系列单元的过程、方法、***、产品或设备不必限于那些单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的***,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (12)

1.一种噪声估计方法,其特征在于,所述方法包括:
将待估计的N帧图像划分成多个固定大小的图像块;并对各个所述图像块进行离散余弦变换,得到低频分量、中频分量和高频分量;所述N为大于1的正整数;
计算所述低频分量的像素估计值;
计算所述中频分量对应的最优分阈值;
对所述高频分量的功率谱密度进行修正,以及对所述高频分量的图像信号处理器ISP通路修正,得到初始噪声估计值;
根据N帧图像的所述低频分量的像素估计值和所述初始噪声估计值,确定所述待估计的N帧图像的最终噪声估计结果。
2.根据权利要求1所述的方法,其特征在于,在所述根据N帧图像的所述低频分量的像素估计值和所述初始噪声估计值,确定所述待估计的N帧图像的最终噪声估计结果之后,所述方法还包括:
利用相机的感光度ISO值、所述像素估计值和所述初始噪声估计值进行模型拟合,得到拟合模型的关系式;
利用最小二乘法,计算所述拟合模型的参数,得到所述像素估计值和所述初始噪声估计值对应的全场景噪声强度曲面,作为最终的拟合结果。
3.根据权利要求1所述的方法,其特征在于,所述计算所述低频分量的像素估计值,包括:
根据所述低频分量,将像素值取值范围划分为K个区间;所述K为大于0的正整数;
计算每个区间所有DCT低频分量的平均值,得到该区间的像素估计值。
4.根据权利要求1所述的方法,其特征在于,所述对所述高频分量的功率谱密度进行修正,包括:
通过协同滤波,修正所述高频分量的功率谱密度。
5.根据权利要求1所述的方法,其特征在于,所述对所述高频分量的图像信号处理器ISP通路修正,得到初始噪声估计值,包括:
利用ISP通路参数对高频分量进行修正,并计算修正后的高频分量的中位数,作为初始噪声估计值。
6.一种噪声估计装置,其特征在于,所述装置包括:
划分单元,用于将待估计的N帧图像划分成多个固定大小的图像块;并对各个所述图像块进行离散余弦变换,得到低频分量、中频分量和高频分量;所述N为大于1的正整数;
第一计算单元,用于计算所述低频分量的像素估计值;
第二计算单元,用于计算所述中频分量对应的最优分阈值;
修正单元,用于对所述高频分量的功率谱密度进行修正,以及对所述高频分量的图像信号处理器ISP通路修正,得到初始噪声估计值;
确定单元,用于根据N帧图像的所述低频分量的像素估计值和所述初始噪声估计值,确定所述待估计的N帧图像的最终噪声估计结果。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
拟合单元,用于利用相机的感光度ISO值、所述像素估计值和所述初始噪声估计值进行模型拟合,得到拟合模型的关系式;
获得单元,用于利用最小二乘法,计算所述拟合模型的参数,得到所述像素估计值和所述初始噪声估计值对应的全场景噪声强度曲面,作为最终的拟合结果。
8.根据权利要求6所述的装置,其特征在于,所述第一计算单元包括:
划分子单元,用于根据所述低频分量,将像素值取值范围划分为K个区间;所述K为大于0的正整数;
获得子单元,用于计算每个区间所有DCT低频分量的平均值,得到该区间的像素估计值。
9.根据权利要求6所述的装置,其特征在于,所述修正单元具体用于:
通过协同滤波,修正所述高频分量的功率谱密度。
10.根据权利要求6所述的装置,其特征在于,所述修正单元具体还用于:
利用ISP通路参数对高频分量进行修正,并计算修正后的高频分量的中位数,作为初始噪声估计值。
11.一种噪声估计设备,其特征在于,所述设备包括存储器、处理器;
所述存储器,用于存储指令;
所述处理器,用于执行所述存储器中的所述指令,执行权利要求1-5任意一项所述的方法。
12.一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得所述计算机执行以上权利要求1-5任意一项所述的方法。
CN202011375395.5A 2020-11-30 2020-11-30 一种噪声估计方法、装置、存储介质及设备 Active CN112529854B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011375395.5A CN112529854B (zh) 2020-11-30 2020-11-30 一种噪声估计方法、装置、存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011375395.5A CN112529854B (zh) 2020-11-30 2020-11-30 一种噪声估计方法、装置、存储介质及设备

Publications (2)

Publication Number Publication Date
CN112529854A CN112529854A (zh) 2021-03-19
CN112529854B true CN112529854B (zh) 2024-04-09

Family

ID=74995278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011375395.5A Active CN112529854B (zh) 2020-11-30 2020-11-30 一种噪声估计方法、装置、存储介质及设备

Country Status (1)

Country Link
CN (1) CN112529854B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591563B (zh) * 2021-06-24 2023-06-06 金陵科技学院 图像固定值脉冲噪声去噪方法及其模型训练方法
CN113628203B (zh) * 2021-08-23 2024-05-17 苏州中科先进技术研究院有限公司 一种图像质量检测方法及检测***
CN113643210A (zh) * 2021-08-26 2021-11-12 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和存储介质
CN114697468B (zh) * 2022-02-16 2024-04-16 瑞芯微电子股份有限公司 图像信号处理方法和装置、电子设备
CN115359085B (zh) * 2022-08-10 2023-04-04 哈尔滨工业大学 一种基于检出点时空密度判别的密集杂波抑制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110531420A (zh) * 2019-08-09 2019-12-03 西安交通大学 一种地震数据中工业干扰噪声无损分离方法
CN110992288A (zh) * 2019-12-06 2020-04-10 武汉科技大学 一种用于矿山井筒环境下的视频图像盲去噪方法
CN111340713A (zh) * 2018-12-18 2020-06-26 展讯通信(上海)有限公司 图像数据的噪声估计与去噪方法及装置、存储介质、终端
CN111815535A (zh) * 2020-07-14 2020-10-23 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备和计算机可读介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340713A (zh) * 2018-12-18 2020-06-26 展讯通信(上海)有限公司 图像数据的噪声估计与去噪方法及装置、存储介质、终端
CN110531420A (zh) * 2019-08-09 2019-12-03 西安交通大学 一种地震数据中工业干扰噪声无损分离方法
CN110992288A (zh) * 2019-12-06 2020-04-10 武汉科技大学 一种用于矿山井筒环境下的视频图像盲去噪方法
CN111815535A (zh) * 2020-07-14 2020-10-23 北京字节跳动网络技术有限公司 图像处理方法、装置、电子设备和计算机可读介质

Also Published As

Publication number Publication date
CN112529854A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
CN112529854B (zh) 一种噪声估计方法、装置、存储介质及设备
US10990825B2 (en) Image processing method, electronic device and computer readable storage medium
CN108694705B (zh) 一种多帧图像配准与融合去噪的方法
Claus et al. Videnn: Deep blind video denoising
WO2021217643A1 (zh) 红外图像处理方法、装置及可移动平台
CN107316326B (zh) 应用于双目立体视觉的基于边的视差图计算方法和装置
CN111402170B (zh) 图像增强方法、装置、终端及计算机可读存储介质
US11303793B2 (en) System and method for high-resolution, high-speed, and noise-robust imaging
CN109064504B (zh) 图像处理方法、装置和计算机存储介质
US8908989B2 (en) Recursive conditional means image denoising
CN111242860A (zh) 超级夜景图像的生成方法、装置、电子设备及存储介质
CN114581318B (zh) 一种低照明度图像增强方法及***
KR102395305B1 (ko) 저조도 영상 개선 방법
KR20100101463A (ko) 노이즈 저감 장치 및 방법
KR101921608B1 (ko) 깊이 정보 생성 장치 및 방법
CN107945119B (zh) 基于拜耳模式的图像内相关噪声估计方法
CN111539975B (zh) 一种运动目标的检测方法、装置、设备及存储介质
CN113011433B (zh) 一种滤波参数调整方法及装置
CN114926348B (zh) 一种去除低照度视频噪声的装置和方法
CN113438386B (zh) 一种应用于视频处理的动静判定方法及装置
KR20170115757A (ko) 깊이 정보 생성 장치 및 방법
CN115170420A (zh) 一种图像对比度的处理方法及***
CN117044215A (zh) 用于低光照媒体增强的方法和***
CN115311149A (zh) 图像去噪方法、模型、计算机可读存储介质及终端设备
CN114638748A (zh) 图像处理方法、图像修复方法、计算机设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant