CN111028171A - 确定图像噪声等级的方法、装置和服务器 - Google Patents

确定图像噪声等级的方法、装置和服务器 Download PDF

Info

Publication number
CN111028171A
CN111028171A CN201911254120.3A CN201911254120A CN111028171A CN 111028171 A CN111028171 A CN 111028171A CN 201911254120 A CN201911254120 A CN 201911254120A CN 111028171 A CN111028171 A CN 111028171A
Authority
CN
China
Prior art keywords
denoising
image
processed
model
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911254120.3A
Other languages
English (en)
Other versions
CN111028171B (zh
Inventor
张玉梅
樊鸿飞
张文杰
李果
贺沁雯
许道远
豆修鑫
鲁方波
汪贤
成超
熊宝玉
陈熊
蔡媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Beijing Kingsoft Cloud Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Beijing Kingsoft Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd, Beijing Kingsoft Cloud Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN201911254120.3A priority Critical patent/CN111028171B/zh
Publication of CN111028171A publication Critical patent/CN111028171A/zh
Application granted granted Critical
Publication of CN111028171B publication Critical patent/CN111028171B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种确定图像噪声等级的方法、装置和服务器,首先将获取的待处理图像输入至预先训练完成的多个去噪模型中,输出每个去噪模型对应的去噪后的待处理图像,每个去噪模型预设有去噪模型对应的去噪强度;每个去噪模型根据去噪模型对应的去噪强度对待处理图像进行去噪处理;根据每个去噪模型对应的去噪后的待处理图像和去噪强度确定待处理图像的噪声等级。本发明中采用不同去噪强度的去噪模型对待处理图像进行去噪处理,并根据各去噪模型的去噪效果确定待处理图像的去噪等级,相较于通过肉眼比对判定图像噪声等级的方式,该方式提高了判定去噪等级的准确度,进而提升了基于标注有去噪等级的待处理图像训练得到的去噪模型的去噪效果。

Description

确定图像噪声等级的方法、装置和服务器
技术领域
本发明涉及图像处理技术领域,尤其是涉及一种确定图像噪声等级的方法、装置和服务器。
背景技术
对于存在噪声的图像,通常可以采用深度学习的方式训练去噪模型,通过该去噪模型去除图像中的噪声,从而提升图像质量。去除噪声后图像的质量,往往取决于该去造模型的去噪效果;而该去噪模型的去噪效果,与训练该去噪模型的样本集相关。样本集中的样本图像需要标注该样本图像的噪声等级。
相关技术中,标注人员需要预先设置各个噪声等级的标准图像,然后通过标注人员肉眼比对样本图像和各个噪声等级的标准图像,进而确定该样本图像的噪声等级,并予以标注,但由于需要标注的样本图像与标准图像的图像内容不同,通过肉眼比对的方式判定样本图像的噪声等级的准确度较低,进而导致基于样本图像训练得到的去噪模型的去噪效果较差。
发明内容
本发明的目的在于提供一种确定图像噪声等级的方法、装置和服务器,以提高确定样本图像的噪声等级的准确度,进而提升基于样本图像训练得到的去造模型的去噪效果。
第一方面,本发明实施例提供一种确定图像噪声等级的方法,该方法包括:获取待处理图像;将待处理图像输入至预先训练完成的多个去噪模型中,输出每个去噪模型对应的去噪后的待处理图像;其中,每个去噪模型预设有去噪模型对应的去噪强度;每个去噪模型根据去噪模型对应的去噪强度对待处理图像进行去噪处理;根据每个去噪模型对应的去噪后的待处理图像,以及每个去噪模型对应的去噪强度,确定待处理图像的噪声等级。
在可选的实施方式中,每个上述去噪模型,通过下述方式训练得到:基于当前去噪模型对应的样本集合确定样本图像对;其中,样本图像对包括标准图像,以及基于当前去噪模型对应的去噪强度对标准图像添加噪声后的噪声图像;通过样本图像对对预设的初始网络模型进行训练,得到当前去噪模型。
在可选的实施方式中,上述初始网络模型包括网络上路和网络下路;其中,网络上路包括第一卷积块、残差体和第二卷积块;网络下路包括第三卷积块。
在可选的实施方式中,上述通过样本图像对对预设的初始网络模型进行训练,得到当前去噪模型的步骤,包括:将样本图像对中的噪声图像分别输入至第一卷积块和第三卷积块;在网络上路中,将噪声图像依次通过第一卷积块、残差体和第二卷积块进行处理,得到第一中间结果;在网络下路中,将噪声图像通过第三卷积块进行处理,得到第二中间结果;将第一中间结果和第二中间结果进行相加处理,得到相加结果;根据相加结果与样本图像对中的标准图像计算损失值,根据损失值调整初始网络模型中的参数,继续执行基于当前去噪模型对应的样本集合确定样本图像对的步骤,直至损失值收敛,得到当前去噪模型。
在可选的实施方式中,上述根据每个去噪模型对应的去噪后的待处理图像,以及每个去噪模型对应的去噪强度,确定待处理图像的噪声等级的步骤,包括:从每个去噪模型对应的去噪后的待处理图像中,选择显示效果最优的去噪后的待处理图像;将显示效果最优的去噪后的待处理图像对应的去噪模型的去噪强度,确定为待处理图像的噪声等级。
在可选的实施方式中,上述确定待处理图像的噪声等级的步骤之后,该方法还包括:将待处理图像的噪声等级作为待处理图像的标注信息,携带至待处理图像中。
第二方面,本发明实施例提供一种确定图像噪声等级的装置,该装置包括:图像获取模块,用于获取待处理图像;噪声处理模块,用于将待处理图像输入至预先训练完成的多个去噪模型中,输出每个去噪模型对应的去噪后的待处理图像;其中,每个去噪模型预设有去噪模型对应的去噪强度;每个去噪模型根据去噪模型对应的去噪强度对待处理图像进行去噪处理;噪声等级确定模块,用于根据每个去噪模型对应的去噪后的待处理图像,以及每个去噪模型对应的去噪强度,确定待处理图像的噪声等级。
在可选的实施方式中,上述装置还包括模型训练模块,用于:基于当前去噪模型对应的样本集合确定样本图像对;其中,该样本图像对包括标准图像,以及基于当前去噪模型对应的去噪强度对标准图像添加噪声后的噪声图像;通过样本图像对对预设的初始网络模型进行训练,得到当前去噪模型。
第三方面,本发明实施例提供一种服务器,包括处理器和存储器,存储器存储有能够被处理器执行的机器可执行指令,该处理器执行机器可执行指令以实现前述实施方式任一项所述的确定图像噪声等级的方法。
第四方面,本发明实施例提供一种机器可读存储介质,该机器可读存储介质存储有机器可执行指令,该机器可执行指令在被处理器调用和执行时,该机器可执行指令促使处理器实现前述实施方式任一项所述的确定图像噪声等级的方法。
本发明实施例带来了以下有益效果:
本发明提供的一种确定图像噪声等级的方法、装置和服务器,首先获取待处理图像;进而将该待处理图像输入至预先训练完成的多个去噪模型中,输出每个去噪模型对应的去噪后的待处理图像;其中,每个去噪模型预设有去噪模型对应的去噪强度;每个去噪模型根据去噪模型对应的去噪强度对待处理图像进行去噪处理;然后根据每个去噪模型对应的去噪后的待处理图像,以及每个去噪模型对应的去噪强度,确定待处理图像的噪声等级。本发明中,采用不同去噪强度的去噪模型对待处理图像进行去噪处理,然后根据各去噪模型的去噪效果确定待处理图像的去噪等级,相较于通过肉眼比对判定图像噪声等级的方式,该方式提高了判定去噪等级的准确度,进而有利于提升基于标注有去噪等级的待处理图像训练得到的去噪模型的去噪效果。
发明的其他特征和优点将在随后的说明书中阐述,或者,部分特征和优点可以从说明书推知或毫无疑义地确定,或者通过实施本发明的上述技术即可得知。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施方式,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种确定图像噪声等级的方法的流程图;
图2为本发明实施例提供的一种去噪模型的训练方法的流程图;
图3为本发明实施例提供的一种初始网络模型的结构示意图;
图4为本发明实施例提供的另一种确定图像噪声等级的方法的流程图;
图5为本发明实施例提供的一种确定图像噪声等级的装置的结构示意图;
图6为本发明实施例提供的一种服务器的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
受存储空间和传输带宽限制,网络上传输的图像通常是经过多次压缩得到的压缩图像,该图像压缩在压缩的过程中会产生压缩噪声,压缩噪声较大可能会导致图像失真,影响用户体验。相关技术中对于存在噪声的图像,通常可以采用深度学习的方式训练去噪模型,通过该去噪模型去除图像中的噪声,从而提升图像质量。通常训练样本集中的样本图像需要标注噪声等级。
相关技术中标注人员通过肉眼比对样本图像和各个噪声等级的标准图像,进而确定该样本图像的噪声等级,并予以标注,但由于需要标注的样本图像与标准图像的图像内容不同,通过肉眼比对的方式判定样本图像的噪声等级的难度较大,而且准确度也较低,进而导致基于样本图像训练得到的去噪模型的去噪效果较差。
基于此,本发明实施例提供了一种确定图像噪声等级的方法、装置和服务器,该技术可以应用于各种图像噪声的噪声等级确定场景中,尤其是压缩噪声和高斯噪声的噪声等级确定场景中。为便于对本实施例进行理解,首先对本发明实施例所公开的一种确定图像噪声等级的方法进行详细介绍,如图1所示,该方法包括如下具体步骤:
步骤S102,获取待处理图像。
上述待处理图像通常为通过相机拍摄的照片,或视频中的视频帧;该待处理图像可以是由于噪声的存在,引起的模糊或者细节纹理丢失的图像;该待处理图像中可以包含有人物、动物、建筑物、风景等。
步骤S104,将上述待处理图像输入至预先训练完成的多个去噪模型中,输出每个去噪模型对应的去噪后的待处理图像;其中,每个去噪模型预设有去噪模型对应的去噪强度;每个去噪模型根据去噪模型对应的去噪强度对待处理图像进行去噪处理。
上述去噪模型可以是神经网络模型,也可以是深度学习模型。每个去噪模型都预设相应的去噪强度,该去噪强度可以用字母表示,也可以用数字表示,例如,1、2、3等,通常数字越大代表去噪强度越高。该去噪强度可以由训练模型的样本集合确定,也即是样本集合中样本图像中存在的噪声的强度,决定了去噪模型的去噪强度,在具体实现时,样本图像中存在的噪声可以是对样本图像进行一定比例压缩得到的,也可以是人为加入的。在具体实现时,上述去噪模型的数量可以根据用户需求设定,通过设定的去噪模型越多,对应的去噪强度的档位越多,后续噪声等级可确定的档位也越多。
将待处理图像输入至去噪模型中,该去噪模型可以根据去噪模型对应的去噪强度对待处理图像进行去噪处理,由于每个去噪模型对应的去噪强度不同,针对同一个待处理图像,每个去噪模型输出的去噪后的待处理图像不同,也即是每个去噪模型对同一个待处理图像的去噪结果不同。
步骤S106,根据每个去噪模型对应的去噪后的待处理图像,以及每个去噪模型对应的去噪强度,确定待处理图像的噪声等级。
每个去噪模型对应的去噪后的待处理图像的去噪效果不同,通常去噪模型的去噪强度与待处理处理图像中存在的噪声强度相同或者相匹配时,去噪效果最好;去噪模型的去噪强度与待处理处理图像中存在的噪声强度相差越大,去噪效果越差;该待处理处理图像中存在的噪声强度与噪声等级相对应,也可以理解为去噪强度与噪声等级相对应,也即是去噪强度越强待处理图像的噪声等级越高,其中,该噪声等级可以用数字表示,例如,1、2、3等,数字越大表示的噪声等级也越大。
在具体实现时,通过去噪模型的去噪效果,可以得到待处理出现的噪声等级,例如,可以根据去噪效果最好的去噪模型对应的去噪强度,确定为待处理图像的噪声等级,通常去噪效果最好是指能有效去除待处理图像中的噪声,并且尽可能多的保留图像中细节信息。例如,去噪强度为1的去噪模型对待处理图像的去噪效果最好,将1确定为待处理图像的噪声等级。
本发明提供的一种确定图像噪声等级的方法,首先获取待处理图像;进而将该待处理图像输入至预先训练完成的多个去噪模型中,输出每个去噪模型对应的去噪后的待处理图像;其中,每个去噪模型预设有去噪模型对应的去噪强度;每个去噪模型根据去噪模型对应的去噪强度对待处理图像进行去噪处理;然后根据每个去噪模型对应的去噪后的待处理图像,以及每个去噪模型对应的去噪强度,确定待处理图像的噪声等级。本发明中,采用不同去噪强度的去噪模型对待处理图像进行去噪处理,然后根据各去噪模型的去噪效果确定待处理图像的去噪等级,相较于通过肉眼比对判定图像噪声等级的方式,该方式提高了判定去噪等级的准确度,进而有利于提升基于标注有去噪等级的待处理图像训练得到的去噪模型的去噪效果。
在上述实施例方法的基础上实现;该方法重点描述训练每个去噪模型的具体过程,如图2所示提供了一种去噪模型的训练方法,该训练方法包括如下具体步骤:
步骤S202,基于当前去噪模型对应的样本集合确定样本图像对;其中,样本图像对包括标准图像,以及基于当前去噪模型对应的去噪强度对标准图像添加噪声后的噪声图像。
上述样本集合中通常包含有多个标准图像,该标准图像通常是高清图像,将该高清图片中添加入不同去噪强度的噪声,可得到噪声图像。上述样本图像对中通常包含有标准图像,以及该标准图像对应的噪声图像,在具体实现时,在去噪模型对应的去噪强度确定的情况下,可以从样本集合中获取标准图像,然后再对标准图像添加与该去噪强度相对应的噪声得到噪声图像,从而得到样本图像对;也可以直接将样本集合中的所有标准图像,按该去噪强度的强度添加噪声得到噪声图像,从而将标准图像及其对应的噪声图像组合成样本图像对,并保存在样本集合中,以从样本集合中提取所需的样本图像对。
上述样本集合可以采用数据集DIV2K,该数据集DIV2K中通常有1000张高清图像(2K分辨率),其中800张图像作为训练集,100张图像作为验证集,另外的100张图像作为测试集,同时,该对该数据集DIV2K中的图像进行压缩或者降低质量,可以得到低清图片(相当于上述噪声图像),通常可以根据去噪模型的数量和相应的去噪强度,对数据集DIV2K中图像进行压缩或者降低质量。通常对该数据集DIV2K中的图像的质量降低的越多,得到的噪声图像的噪声强度越高。
例如,假设数据集DIV2K的高清图像的质量为100,将高清图像的质量分别降低到20、30、40、60、80,可以得到五组不同噪声强度的噪声图像,其中,质量为20的噪声图像对应的噪声强度最高,质量为80的噪声图像对应的噪声强度最弱。上述五组不同的噪声强度的噪声图像,分别对应五组不同去噪强度的去噪模型,如,质量为20的噪声图像对应样本集合可以训练得到强去噪模型,质量为30的噪声图像对应样本集合可以训练得到中强去噪模型,质量为40的噪声图像对应样本集合可以训练得到中去噪模型,质量为60的噪声图像对应样本集合可以训练得到中弱去噪模型,质量为80的噪声图像对应样本集合可以训练得到弱去噪模型。
步骤S204,通过样本图像对对预设的初始网络模型进行训练,得到当前去噪模型。
将样本图像对输入至预设的初始网络模型中,得到输出结果,根据输出结果调整初始网络模型中的模型参数,继续执行基于当前去噪模型对应的样本集合确定样本图像对的步骤,直到输出结果符合预期,或者达到了达到预设的训练迭代次数(例如,500次)时,训练结束,得到当前去噪模型。在具体实现时,每个去噪模型均可利用上述当前去噪模型的训练方法确定,在训练过程中,每个去噪模型对应的样本图像对不同,也即是样本图像对中的标准图像相同,但每个标准图像对应的噪声图像的噪声强度不同。
在一些实施例中,上述初始网络模型包括网络上路和网络下路;其中,网络上路包括第一卷积块、残差体和第二卷积块;网络下路包括第三卷积块,如图3所示为初始网络模型的结构示意图。图3中的第一卷积块通常有卷积层、归一化层进而激活函数层组成,其中该卷积层可以是3*3卷积,也可以是5*5卷积;残差体通常有多个残差模块组成,通常残差模块由2个3*3卷积、2个归一化层和1个激活函数层组成,第二卷积块和第三卷积块的结构通常与第一卷积块相同。
基于上述初始模型的网络结构,上述步骤S204可以通过下述步骤10-13实现:
步骤10,将样本图像对中的噪声图像分别输入至第一卷积块和第三卷积块。
步骤11,在网络上路中,将噪声图像依次通过第一卷积块、残差体和第二卷积块进行处理,得到第一中间结果;在网络下路中,将噪声图像通过第三卷积块进行处理,得到第二中间结果。
在具体实现时,在网络上路中,首先通过第一卷积块对噪声图像进行卷积处理,然后经卷积处理后的噪声图像送入残差体中,输出噪声图像对应的特征图,再将特征图送至第二卷积模块进行卷积处理,得到第一中间结果,该第一中间结果也即是卷积处理后的特征图;在网络下路中,通过到三卷积块对噪声图像进行卷积处理,得到第二中间结果,该第二中间结果也即是卷积处理后的噪声图像。
步骤12,将上述第一中间结果和第二中间结果进行相加处理,得到相加结果;该相加结果可以是卷积处理后的特征图和卷积处理后的噪声图像进行叠加处理后的图像。
步骤13,根据上述相加结果与样本图像对中的标准图像计算损失值,根据该损失值调整初始网络模型中的参数,继续执行基于当前去噪模型对应的样本集合确定样本图像对的步骤,直至损失值收敛,得到当前去噪模型。
在具体实现时,可以根据相加结果和标准图像的残差值或者差值,得到初始网络模型对应的损失值;可以是将相加结果和标准图像输入至预设的损失函数中,得到损失值,该损失函数可以是均方误差损失函数、交叉熵损失函数或者差值损失函数等。通常该损失值可以表征相加结果与标准图像之间的差距,通常损失值越大,相加结果与标准图像之间的差距越大。
基于上述损失值可以调整初始网络模型中的参数,以达到训练的目的。在训练的过程中,不断地从当前去噪模型对应的样本集合确定样本图像对,并将该样本图像对中的噪声图像输入至初始网络模型中,以得到损失值,直到初始网络模型中模型参数收敛,也即是损失值收敛时,训练结束,得到当前去噪模型。
上述去噪模型的训练方法,首先基于当前去噪模型对应的样本集合确定样本图像对;其中,样本图像对包括标准图像以及基于当前去噪模型对应的去噪强度对标准图像添加噪声后的噪声图像,然后通过样本图像对对预设的初始网络模型进行训练,得到当前去噪模型。该方式训练得到的去噪模型,可根据去噪强度对图像进行去噪处理,从而有利于对待处理图像进行去噪处理,以根据去噪图像的去噪等级,得到待处理图像的噪声等级。
本发明实施例还提供了另一种确定图像噪声等级的方法,该方法在上述实施例方法的基础上实现;该方法重点描述根据每个去噪模型对应的去噪后的待处理图像,以及每个去噪模型对应的去噪强度,确定待处理图像的噪声等级的具体过程(具体通过下述步骤S406-S408实现);如图4所示,该训练方法包括如下步骤:
步骤S402,获取待处理图像。
步骤S404,将上述待处理图像输入至预先训练完成的多个去噪模型中,输出每个去噪模型对应的去噪后的待处理图像;其中,每个去噪模型预设有去噪模型对应的去噪强度;每个去噪模型根据去噪模型对应的去噪强度对待处理图像进行去噪处理。
步骤S406,从每个去噪模型对应的去噪后的待处理图像中,选择显示效果最优的去噪后的待处理图像。
每个去噪模型输出的去噪后的待处理图像,可以显示在用户终端的图形交互界面中,用户可以通过肉眼判断显示出多个去噪模型对应的去噪后的待处理图像中去噪效果最好的图像,然后用户触发图形交互界面中的去噪效果好的图像对应的控件或者按钮,发送图像确定指定,以确定显示效果最优的去噪后的待处理图像;也可以采用预设算法或者公式对去噪后的待处理图像进行计算,基于计算结果自动确定显示效果最优的去噪后的待处理图像。该预设算法或者公式可以计算图像中像素点的大小和显示精度等,也可以计算图像中的细节信息。
步骤S408,将上述显示效果最优的去噪后的待处理图像对应的去噪模型的去噪强度,确定为待处理图像的噪声等级。
例如,当有五个去噪模型时,将去噪模型的去噪强度由大到小可以表示为5、4、3、2、1,如果去噪强度为3的去噪模型输出的去噪后的待处理图像的效果最优,将待处理图像的噪声等级确定为3,也可以理解为去噪强度为3的去噪模型可以有效去除待处理图像中的噪声,而且能够尽量多的保留原图中的细节信息。
步骤S410,将上述待处理图像的噪声等级作为待处理图像的标注信息,携带至待处理图像中。
将噪声等级标注在待处理图像上,可以将待处理图像作为训练图像,该训练图像的标准信息的准确性,有利于提升基于标注有去噪等级的待处理图像训练得到的去噪模型的去噪效果。
上述确定图像噪声等级的方法,首先将获取到的待处理图像输入至预先训练完成的多个去噪模型中,输出每个去噪模型对应的去噪后的待处理图像;其中,每个去噪模型预设有去噪模型对应的去噪强度;再从每个去噪模型对应的去噪后的待处理图像中,选择显示效果最优的去噪后的待处理图像;进而将显示效果最优的去噪后的待处理图像对应的去噪模型的去噪强度,确定为待处理图像的噪声等级;然后将上述待处理图像的噪声等级作为待处理图像的标注信息,携带至待处理图像中。本发明通过不同去噪等级对应的去噪模型对待处理图像进行去噪处理,可以得到多张同内容的去噪后待处理图像,更加方便肉眼对比图像显示效果,从而降低了噪声等级确定的难度,同时也提升了图像噪声等级标注的效率和准确度。
对应于上述确定图像噪声等级的方法的实施例,本发明实施例还提供了一种确定图像噪声等级的装置,如图5所示,该装置包括:
图像获取模块50,用于获取待处理图像。
噪声处理模块51,用于将待处理图像输入至预先训练完成的多个去噪模型中,输出每个去噪模型对应的去噪后的待处理图像;其中,每个去噪模型预设有去噪模型对应的去噪强度;每个去噪模型根据去噪模型对应的去噪强度对待处理图像进行去噪处理。
噪声等级确定模块52,用于根据每个去噪模型对应的去噪后的待处理图像,以及每个去噪模型对应的去噪强度,确定待处理图像的噪声等级。
上述确定图像噪声等级的装置,首先获取待处理图像;进而将该待处理图像输入至预先训练完成的多个去噪模型中,输出每个去噪模型对应的去噪后的待处理图像;其中,每个去噪模型预设有去噪模型对应的去噪强度;每个去噪模型根据去噪模型对应的去噪强度对待处理图像进行去噪处理;然后根据每个去噪模型对应的去噪后的待处理图像,以及每个去噪模型对应的去噪强度,确定待处理图像的噪声等级。该方式中,采用不同去噪强度的去噪模型对待处理图像进行去噪处理,然后根据各去噪模型的去噪效果确定待处理图像的去噪等级,相较于通过肉眼比对判定图像噪声等级的方式,该方式提高了判定去噪等级的准确度,进而有利于提升基于标注有去噪等级的待处理图像训练得到的去噪模型的去噪效果。
进一步地,上述装置还包括模型训练模块,用于:基于当前去噪模型对应的样本集合确定样本图像对;其中,样本图像对包括标准图像,以及基于当前去噪模型对应的去噪强度对标准图像添加噪声后的噪声图像;通过样本图像对对预设的初始网络模型进行训练,得到当前去噪模型。
具体地,上述初始网络模型包括网络上路和网络下路;其中,该网络上路包括第一卷积块、残差体和第二卷积块;该网络下路包括第三卷积块。
进一步地,上述模型训练模块,还用于:将样本图像对中的噪声图像分别输入至第一卷积块和第三卷积块;在网络上路中,将噪声图像依次通过第一卷积块、所述残差体和第二卷积块进行处理,得到第一中间结果;在网络下路中,将噪声图像通过第三卷积块进行处理,得到第二中间结果;将第一中间结果和第二中间结果进行相加处理,得到相加结果;根据相加结果与样本图像对中的标准图像计算损失值,根据损失值调整初始网络模型中的参数,继续执行基于当前去噪模型对应的样本集合确定样本图像对的步骤,直至损失值收敛,得到当前去噪模型。
进一步地,上述噪声处理模块51,用于:从每个去噪模型对应的去噪后的待处理图像中,选择显示效果最优的去噪后的待处理图像;将显示效果最优的去噪后的待处理图像对应的去噪模型的去噪强度,确定为待处理图像的噪声等级。
进一步地,所述装置还包括信息标注模块,用于:将待处理图像的噪声等级作为待处理图像的标注信息,携带至待处理图像中。
本发明实施例所提供的确定图像噪声等级的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
本发明实施例还提供了一种服务器,参见图6所示,该服务器包括处理器101和存储器100,存储器存储有能够被处理器101执行的机器可执行指令,该处理器101执行机器可执行指令以实现上述确定图像噪声等级的方法。
进一步地,图6所示的服务器还包括总线102和通信接口103,处理器101、通信接口103和存储器100通过总线102连接。
其中,存储器100可能包含高速随机存取存储器(RAM,RandomAccessMemory),也可能还包括非不稳定的存储器(non-volatilememory),例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该***网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
处理器101可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器,包括中央处理器(CentralProcessingUnit,简称CPU)、网络处理器(NetworkProcessor,简称NP)等;还可以是数字信号处理器(Digital SignalProcessor,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器100,处理器101读取存储器100中的信息,结合其硬件完成前述实施例的方法的步骤。
本发明实施例还提供了一种机器可读存储介质,该机器可读存储介质存储有机器可执行指令,该机器可执行指令在被处理器调用和执行时,该机器可执行指令促使处理器实现上述确定图像噪声等级的方法,具体实现可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置和/或电子设备的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种确定图像噪声等级的方法,其特征在于,所述方法包括:
获取待处理图像;
将所述待处理图像输入至预先训练完成的多个去噪模型中,输出每个所述去噪模型对应的去噪后的待处理图像;其中,每个所述去噪模型预设有所述去噪模型对应的去噪强度;每个所述去噪模型根据所述去噪模型对应的去噪强度对所述待处理图像进行去噪处理;
根据每个所述去噪模型对应的去噪后的待处理图像,以及每个所述去噪模型对应的去噪强度,确定所述待处理图像的噪声等级。
2.根据权利要求1所述的方法,其特征在于,每个所述去噪模型,通过下述方式训练得到:
基于当前去噪模型对应的样本集合确定样本图像对;其中,所述样本图像对包括标准图像,以及基于所述当前去噪模型对应的去噪强度对所述标准图像添加噪声后的噪声图像;
通过所述样本图像对对预设的初始网络模型进行训练,得到所述当前去噪模型。
3.根据权利要求2所述的方法,其特征在于,所述初始网络模型包括网络上路和网络下路;其中,所述网络上路包括第一卷积块、残差体和第二卷积块;所述网络下路包括第三卷积块。
4.根据权利要求3所述的方法,其特征在于,所述通过所述样本图像对对预设的初始网络模型进行训练,得到所述当前去噪模型的步骤,包括:
将所述样本图像对中的噪声图像分别输入至所述第一卷积块和所述第三卷积块;
在所述网络上路中,将所述噪声图像依次通过所述第一卷积块、所述残差体和所述第二卷积块进行处理,得到第一中间结果;在所述网络下路中,将所述噪声图像通过所述第三卷积块进行处理,得到第二中间结果;
将所述第一中间结果和所述第二中间结果进行相加处理,得到相加结果;
根据所述相加结果与所述样本图像对中的所述标准图像计算损失值,根据所述损失值调整所述初始网络模型中的参数,继续执行基于当前去噪模型对应的样本集合确定样本图像对的步骤,直至所述损失值收敛,得到当前去噪模型。
5.根据权利要求1所述的方法,其特征在于,根据每个所述去噪模型对应的去噪后的待处理图像,以及每个所述去噪模型对应的去噪强度,确定所述待处理图像的噪声等级的步骤,包括:
从每个所述去噪模型对应的去噪后的待处理图像中,选择显示效果最优的去噪后的待处理图像;
将所述显示效果最优的去噪后的待处理图像对应的去噪模型的去噪强度,确定为所述待处理图像的噪声等级。
6.根据权利要求1至5任一项所述的方法,其特征在于,确定所述待处理图像的噪声等级的步骤之后,所述方法还包括:
将所述待处理图像的噪声等级作为所述待处理图像的标注信息,携带至所述待处理图像中。
7.一种确定图像噪声等级的装置,其特征在于,所述装置包括:
图像获取模块,用于获取待处理图像;
噪声处理模块,用于将所述待处理图像输入至预先训练完成的多个去噪模型中,输出每个所述去噪模型对应的去噪后的待处理图像;其中,每个所述去噪模型预设有所述去噪模型对应的去噪强度;每个所述去噪模型根据所述去噪模型对应的去噪强度对所述待处理图像进行去噪处理;
噪声等级确定模块,用于根据每个所述去噪模型对应的去噪后的待处理图像,以及每个所述去噪模型对应的去噪强度,确定所述待处理图像的噪声等级。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括模型训练模块,用于:
基于当前去噪模型对应的样本集合确定样本图像对;其中,所述样本图像对包括标准图像,以及基于所述当前去噪模型对应的去噪强度对所述标准图像添加噪声后的噪声图像;
通过所述样本图像对对预设的初始网络模型进行训练,得到所述当前去噪模型。
9.一种服务器,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器执行所述机器可执行指令以实现权利要求1-6任一项所述的确定图像噪声等级的方法。
10.一种机器可读存储介质,其特征在于,所述机器可读存储介质存储有机器可执行指令,所述机器可执行指令在被处理器调用和执行时,所述机器可执行指令促使处理器实现权利要求1-6任一项所述的确定图像噪声等级的方法。
CN201911254120.3A 2019-12-06 2019-12-06 确定图像噪声等级的方法、装置和服务器 Active CN111028171B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911254120.3A CN111028171B (zh) 2019-12-06 2019-12-06 确定图像噪声等级的方法、装置和服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911254120.3A CN111028171B (zh) 2019-12-06 2019-12-06 确定图像噪声等级的方法、装置和服务器

Publications (2)

Publication Number Publication Date
CN111028171A true CN111028171A (zh) 2020-04-17
CN111028171B CN111028171B (zh) 2023-04-18

Family

ID=70208304

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911254120.3A Active CN111028171B (zh) 2019-12-06 2019-12-06 确定图像噪声等级的方法、装置和服务器

Country Status (1)

Country Link
CN (1) CN111028171B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111696064A (zh) * 2020-06-15 2020-09-22 北京金山云网络技术有限公司 图像处理方法、装置、电子设备及计算机可读介质
CN111738956A (zh) * 2020-06-24 2020-10-02 哈尔滨工业大学 一种基于特征调制的图像去噪***
CN111768351A (zh) * 2020-06-22 2020-10-13 Oppo广东移动通信有限公司 图像去噪方法、图像去噪装置、存储介质与电子设备
CN113362259A (zh) * 2021-07-13 2021-09-07 商汤集团有限公司 图像降噪处理方法、装置、电子设备及存储介质
CN113610734A (zh) * 2021-08-23 2021-11-05 眸芯科技(上海)有限公司 基于导向滤波的图像边缘处理方法及应用

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204462A (zh) * 2015-05-04 2016-12-07 南京邮电大学 基于图像多特征融合的非局部均值去噪方法
US20170213321A1 (en) * 2016-01-22 2017-07-27 Siemens Healthcare Gmbh Deep Unfolding Algorithm For Efficient Image Denoising Under Varying Noise Conditions
WO2017153410A1 (en) * 2016-03-07 2017-09-14 Connaught Electronics Ltd. Method for generating a noise-reduced image based on a noise model of multiple images, as well as camera system and motor vehicle
CN108280811A (zh) * 2018-01-23 2018-07-13 哈尔滨工业大学深圳研究生院 一种基于神经网络的图像去噪方法和***
CN109285129A (zh) * 2018-09-06 2019-01-29 哈尔滨工业大学 基于卷积神经网络的图像真实噪声去除***
US20190156524A1 (en) * 2017-11-20 2019-05-23 ClariPI Inc. Apparatus and method for ct image denoising based on deep learning
CN109978778A (zh) * 2019-03-06 2019-07-05 浙江工业大学 基于残差学习的卷积神经网络医学ct图像去噪方法
CN110111266A (zh) * 2019-04-08 2019-08-09 西安交通大学 一种基于深度学习去噪的近似信息传递算法改进方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204462A (zh) * 2015-05-04 2016-12-07 南京邮电大学 基于图像多特征融合的非局部均值去噪方法
US20170213321A1 (en) * 2016-01-22 2017-07-27 Siemens Healthcare Gmbh Deep Unfolding Algorithm For Efficient Image Denoising Under Varying Noise Conditions
WO2017153410A1 (en) * 2016-03-07 2017-09-14 Connaught Electronics Ltd. Method for generating a noise-reduced image based on a noise model of multiple images, as well as camera system and motor vehicle
US20190156524A1 (en) * 2017-11-20 2019-05-23 ClariPI Inc. Apparatus and method for ct image denoising based on deep learning
CN108280811A (zh) * 2018-01-23 2018-07-13 哈尔滨工业大学深圳研究生院 一种基于神经网络的图像去噪方法和***
CN109285129A (zh) * 2018-09-06 2019-01-29 哈尔滨工业大学 基于卷积神经网络的图像真实噪声去除***
CN109978778A (zh) * 2019-03-06 2019-07-05 浙江工业大学 基于残差学习的卷积神经网络医学ct图像去噪方法
CN110111266A (zh) * 2019-04-08 2019-08-09 西安交通大学 一种基于深度学习去噪的近似信息传递算法改进方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FILIPPOS KOKKINOS等: "Iterative Joint Image Demosaicking and Denoising Using a Residual Denoising Network" *
ROBERT WALECKI等: "Copula Ordinal Regression for Joint Estimation of Facial Action Unit Intensity" *
徐少平等: "基于两阶段支持向量回归的快速噪声水平估计算法" *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111696064A (zh) * 2020-06-15 2020-09-22 北京金山云网络技术有限公司 图像处理方法、装置、电子设备及计算机可读介质
CN111696064B (zh) * 2020-06-15 2023-08-18 北京金山云网络技术有限公司 图像处理方法、装置、电子设备及计算机可读介质
CN111768351A (zh) * 2020-06-22 2020-10-13 Oppo广东移动通信有限公司 图像去噪方法、图像去噪装置、存储介质与电子设备
CN111738956A (zh) * 2020-06-24 2020-10-02 哈尔滨工业大学 一种基于特征调制的图像去噪***
CN111738956B (zh) * 2020-06-24 2021-06-01 哈尔滨工业大学 一种基于特征调制的图像去噪***
CN113362259A (zh) * 2021-07-13 2021-09-07 商汤集团有限公司 图像降噪处理方法、装置、电子设备及存储介质
CN113362259B (zh) * 2021-07-13 2024-01-09 商汤集团有限公司 图像降噪处理方法、装置、电子设备及存储介质
CN113610734A (zh) * 2021-08-23 2021-11-05 眸芯科技(上海)有限公司 基于导向滤波的图像边缘处理方法及应用
CN113610734B (zh) * 2021-08-23 2023-10-03 眸芯科技(上海)有限公司 基于导向滤波的图像边缘处理方法及应用

Also Published As

Publication number Publication date
CN111028171B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN111028171B (zh) 确定图像噪声等级的方法、装置和服务器
Ndajah et al. SSIM image quality metric for denoised images
CN110232670B (zh) 一种基于高低频分离的图像视觉效果增强的方法
CN109859152B (zh) 模型生成方法、图像增强方法、装置及计算机可读存储介质
CN112053308B (zh) 一种图像去模糊方法、装置、计算机设备及存储介质
CN101299239B (zh) 文字区域图像的获取方法及装置、文字识别***
CN111047543A (zh) 图像增强方法、装置和存储介质
WO2016127271A1 (en) An apparatus and a method for reducing compression artifacts of a lossy-compressed image
CN107993200A (zh) 基于深度学***估计方法
CN112801536A (zh) 图像处理方法、装置和电子设备
CN106027854B (zh) 一种应用于相机中适于fpga实现的联合滤波降噪方法
CN112862753A (zh) 噪声强度估计方法、装置及电子设备
CN112150400A (zh) 图像增强方法、装置和电子设备
EP3913572A1 (en) Loss function for image reconstruction
CN110111261B (zh) 图像的自适应平衡处理方法、电子设备和计算机可读存储介质
CN111325671B (zh) 网络训练方法、装置、图像处理方法及电子设备
CN111028182A (zh) 图像锐化方法、装置、电子设备及计算机可读存储介质
CN111784580A (zh) 图像的超分辨率方法、装置和服务器
CN111524060B (zh) 一种实时人像背景虚化的***、方法、存储介质和设备
CN116109878B (zh) 一种图像翻拍识别方法、***、装置及存储介质
CN117173021A (zh) 视频处理方法及装置
CN111179245A (zh) 图像质量检测方法、装置、电子设备和存储介质
CN111915497A (zh) 一种图像黑白增强方法、装置、电子设备和可读存储介质
CN107644412B (zh) 一种打印效果判断方法及装置
CN111612766B (zh) 图像质量评价方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant