CN116543246A - 图像去噪模型的训练方法、图像去噪方法、装置及设备 - Google Patents
图像去噪模型的训练方法、图像去噪方法、装置及设备 Download PDFInfo
- Publication number
- CN116543246A CN116543246A CN202210089889.XA CN202210089889A CN116543246A CN 116543246 A CN116543246 A CN 116543246A CN 202210089889 A CN202210089889 A CN 202210089889A CN 116543246 A CN116543246 A CN 116543246A
- Authority
- CN
- China
- Prior art keywords
- image
- noisy
- denoising
- noise
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 155
- 238000000034 method Methods 0.000 title claims abstract description 150
- 238000012545 processing Methods 0.000 claims abstract description 115
- 230000008569 process Effects 0.000 claims description 48
- 238000005070 sampling Methods 0.000 claims description 39
- 238000003860 storage Methods 0.000 claims description 27
- 238000000605 extraction Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 6
- 230000010365 information processing Effects 0.000 claims description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 230000009191 jumping Effects 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 11
- 238000010606 normalization Methods 0.000 description 39
- 230000006870 function Effects 0.000 description 37
- 230000004913 activation Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 22
- 238000005516 engineering process Methods 0.000 description 17
- 230000000694 effects Effects 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 238000011282 treatment Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像去噪模型的训练方法、图像去噪方法、装置及设备，涉及人工智能技术领域。方法包括：获取图像去噪模型的训练样本；通过编码器提取带噪样本图像的特征信息；通过第一解码器对带噪样本图像的特征信息进行处理，得到带噪样本图像对应的预测噪声图像；根据预测噪声图像和带噪样本图像，生成带噪样本图像对应的第一预测去噪图像；通过第二解码器对带噪样本图像的特征信息进行处理，得到带噪样本图像对应的第二预测去噪图像；根据第一预测去噪图像、第二预测去噪图像和无噪声样本图像，确定图像去噪模型的训练损失，并基于训练损失调整图像去噪模型的参数。本申请方案可应用在文档、PPT(幻灯片)等图像去阴影的场景。
Description
技术领域
本申请实施例涉及人工智能技术领域，特别涉及图像去噪模型的训练方法、图像去噪方法、装置及设备。
背景技术
人们在拍摄图像时难免会出现一些拍摄上的问题，导致拍摄的图像中存在阴影、模糊等噪声。
以图像去阴影为例，在相关技术中，提供了一种基于深度学习的图像去阴影方法。将带阴影图像及其对应的阴影掩膜图像输入至训练好的图像去阴影模型，由图像去阴影模型输出去阴影图像。
然而，在实际应用中，通常只能够获取带阴影图像，而带阴影图像对应的阴影掩膜图像是无法获取的，这就导致上述方式无法达到较好的去阴影效果。
发明内容
本申请实施例提供了一种图像去噪模型的训练方法、图像去噪方法、装置及设备。所述技术方案如下：
根据本申请实施例的一个方面，提供了一种图像去噪模型的训练方法，所述图像去噪模型包括编码器、第一解码器和第二解码器；所述方法包括：
获取所述图像去噪模型的训练样本，所述训练样本包括无噪声样本图像、纯噪声图像，以及基于所述无噪声样本图像和所述纯噪声图像生成的带噪样本图像；
通过所述编码器提取所述带噪样本图像的特征信息；
通过所述第一解码器对所述带噪样本图像的特征信息进行处理，得到所述带噪样本图像对应的预测噪声图像；根据所述预测噪声图像和所述带噪样本图像，生成所述带噪样本图像对应的第一预测去噪图像；
通过所述第二解码器对所述带噪样本图像的特征信息进行处理，得到所述带噪样本图像对应的第二预测去噪图像；
根据所述第一预测去噪图像、所述第二预测去噪图像和所述无噪声样本图像，确定所述图像去噪模型的训练损失，并基于所述训练损失调整所述图像去噪模型的参数。
根据本申请实施例的一个方面，提供了一种图像去噪方法，所述方法包括：
获取待图像去噪模型处理的带噪图像，所述图像去噪模型包括编码器和第一解码器；
通过所述编码器提取所述带噪图像的特征信息；
通过所述第一解码器对所述带噪图像的特征信息进行处理，得到所述带噪图像对应的噪声图像；
根据所述噪声图像和所述带噪图像，生成所述带噪图像对应的去噪图像。
根据本申请实施例的一个方面，提供了一种图像去噪模型的训练装置，所述图像去噪模型包括编码器、第一解码器和第二解码器；所述装置包括：
样本获取模块，用于获取所述图像去噪模型的训练样本，所述训练样本包括无噪声样本图像、纯噪声图像，以及基于所述无噪声样本图像和所述纯噪声图像生成的带噪样本图像；
信息提取模块，用于通过所述编码器提取所述带噪样本图像的特征信息；
第一处理模块，用于通过所述第一解码器对所述带噪样本图像的特征信息进行处理，得到所述带噪样本图像对应的预测噪声图像；根据所述预测噪声图像和所述带噪样本图像，生成所述带噪样本图像对应的第一预测去噪图像；
第二处理模块，用于通过所述第二解码器对所述带噪样本图像的特征信息进行处理，得到所述带噪样本图像对应的第二预测去噪图像；
参数调整模块，用于根据所述第一预测去噪图像、所述第二预测去噪图像和所述无噪声样本图像，确定所述图像去噪模型的训练损失，并基于所述训练损失调整所述图像去噪模型的参数。
根据本申请实施例的一个方面，提供了一种图像去噪装置，所述装置包括：
图像获取模块，用于获取待图像去噪模型处理的带噪图像，所述图像去噪模型包括编码器和第一解码器；
信息提取模块，用于通过所述编码器提取所述带噪图像的特征信息；
信息处理模块，用于通过所述第一解码器对所述带噪图像的特征信息进行处理，得到所述带噪图像对应的噪声图像；
图像生成模块，用于根据所述噪声图像和所述带噪图像，生成所述带噪图像对应的去噪图像。
根据本申请实施例的一个方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述图像去噪模型的训练方法，或者实现上述图像去噪方法。
根据本申请实施例的一个方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述图像去噪模型的训练方法，或者实现上述图像去噪方法。
根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图像去噪模型的训练方法，或者执行上述图像去噪方法。
本申请实施例提供的技术方案至少包括如下有益效果：
本申请实施例提供了一种基于多任务学习的图像去噪模型的训练方法，一方面让图像去噪模型学习带噪样本图像对应的预测噪声图像，另一方面让图像去噪模型学习带噪样本图像对应的预测去噪图像，上述两个子任务在性能上互相促进，从而有助于提升最终训练得到的图像去噪模型的去噪效果。而且，该图像去噪模型的输入数据仅需包括带噪样本图像即可，并不需要包括纯噪声图像，因此能够克服相关技术中对模型输入数据的限制，提升方案的通用性和实用性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的方案实施环境的示意图；
图2是本申请一个实施例提供的图像去噪模型的训练方法的流程图；
图3是本申请一个实施例提供的阴影解码器的示意图；
图4是本申请一个实施例提供的复原解码器的示意图；
图5是本申请另一个实施例提供的图像去噪模型的训练方法的流程图；
图6是本申请一个实施例提供的分类器的流程图；
图7是本申请一个实施例提供的判别器的流程图；
图8是本申请一个实施例提供的判别器的各组成部分的示意图；
图9是本申请一个实施例提供的判别器的结构示意图；
图10是本申请一个实施例提供的图像去噪方法的流程图；
图11是本申请一个实施例提供的图像去噪方法的示意图；
图12是本申请一个实施例提供的图像去噪模型的训练装置的框图；
图13是本申请另一个实施例提供的图像去噪模型的训练装置的框图；
图14是本申请一个实施例提供的图像去噪装置的框图；
图15是本申请另一个实施例提供的图像去噪装置的框图；
图16是本申请一个实施例提供的计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本申请实施例涉及人工智能学习中的机器学习技术，通过机器学习的方式训练图像去噪模型，采用该图像去噪模型对图像进行去噪，下面将通过几个实施例对本申请技术方案进行介绍。
请参考图1，其示出了本申请一个实施例提供的方案实施环境的示意图。该方案实施环境可以包括模型训练设备10和模型使用设备20。
模型训练设备10可以是诸如电脑、服务器、智能机器人等电子设备，或者是其他一些具有较强计算能力的电子设备。模型训练设备10用于对图像去噪模型30进行训练。在本申请实施例中，图像去噪模型30是用于图像去噪的神经网络模型，模型训练设备10可以对该图像去噪模型30进行训练，以使得其具备较好的去噪性能。
上述训练完成的图像去噪模型30可部署在模型使用设备20中使用，以提供图像去噪结果。模型使用设备20可以是诸如手机、电脑、智能电视、多媒体播放设备、可穿戴设备、医疗设备等终端设备，也可以是服务器，本申请对此不作限定。
在一些实施例中，如图1所示，图像去噪模型30可以包括：编码器31、第一解码器32和第二解码器33。编码器31用于提取带噪样本图像的特征信息。第一解码器32用于对带噪样本图像的特征信息进行处理，得到带噪样本图像对应的预测噪声图像，后续可以根据该预测噪声图像和带噪样本图像，生成带噪样本图像对应的第一预测去噪图像。第二解码器33用于对带噪样本图像的特征信息进行处理，得到带噪样本图像对应的第二预测去噪图像。之后，根据第一预测去噪图像、第二预测去噪图像和无噪声样本图像，确定图像去噪模型30的训练损失，并基于该训练损失调整图像去噪模型30的参数。
本申请实施例提供的图像去噪模型的训练方法，采用多任务学习的思想。所谓多任务学习，是指将多个子任务统一到一个机器学习模型中进行学习。在训练过程中，模型可以同时学习多个子任务，子任务之间可以共用模型的部分信息且起到相互促进的作用。在本申请实施例中，一方面让图像去噪模型学习带噪样本图像对应的预测噪声图像，另一方面让图像去噪模型学习带噪样本图像对应的预测去噪图像(也即下文中的第二预测去噪图像)，上述两个子任务在性能上互相促进，从而有助于提升最终训练得到的图像去噪模型的去噪效果。
可选地，如图1所示，图像去噪模型30还包括分类器34。分类器34用于对带噪样本图像或无噪声样本图像的特征信息进行处理，得到带噪样本图像或无噪声样本图像的噪声预测结果，该噪声预测结果用于指示带噪样本图像或无噪声样本图像中是否包含噪声。在上述两个子任务的基础上，可以进一步增加一个子任务，在模型训练过程中同时进行三个子任务，让该三个子任务在性能上互相促进，这有助于进一步提升图像去噪模型的去噪效果。
可选地，本申请实施例在对图像去噪模型的训练过程中，还可以引入对抗学习的思想。对抗学习中会引入判别器和生成器，判别器用以区分输入样本来自生成器生成的样本还是标签样本。生成器用来欺骗判别器自己生成的样本是标签样本。在生成器和判别器的对抗学习过程中，最终生成器得到一步步进化，达到生成数据的分布接近标签数据的分布。可选地，如图1所示，在引入对抗学习的情况下，图像去噪模型30还包括判别器35，判别器35用于对第一预测去噪图像和无噪声样本图像分别进行像素级判别，得到第一预测去噪图像和无噪声样本图像分别对应的像素级判别结果。相应地生成器即可看作是编码器31和第一解码器32的组合结构。通过用对抗学习进行像素级判别，来优化去噪结果的细节，可以进一步提升图像去噪模型的去噪效果，提升其细节显示质量。
本申请实施例提供的图像去噪模型，可以适用于针对图片或视频等图像中噪声信息的去除。可选地，上述噪声信息包括但不限于以下至少一种：阴影、雨、雪、雾、瑕疵等等。
下面，将通过几个方法实施例对本申请技术方案进行介绍说明。
请参考图2，其示出了本申请一个实施例提供的图像去噪模型的训练方法的流程图。该方法各步骤的执行主体可以是上文介绍的模型训练设备。该方法可以包括如下几个步骤(210～250)：
步骤210，获取图像去噪模型的训练样本，训练样本包括无噪声样本图像、纯噪声图像，以及基于无噪声样本图像和纯噪声图像生成的带噪样本图像。
图像去噪模型是用于去除图像中的噪声信息的神经网络模型，图像中的噪声信息包括但不限于以下至少一种：阴影、雨、雪、雾、瑕疵等等。通过图像去噪模型，能够实现去阴影、去雨、去雪、去雾、去瑕疵等效果。考虑到图像去噪模型的性能，通常其仅具备去除一种类型的噪声信息的功能，如某一图像去噪模型仅具备去阴影的功能，但是，本申请并不限定一个图像去噪模型同时具备去除多种类型的噪声信息的功能，例如某一图像去噪模型具备去雨、去雪和去雾等多种功能。
可选地，图像去噪模型包括编码器、第一解码器(或称为“噪声解码器”)和第二解码器(或称为“复原解码器”)。其中，编码器和第一解码器为一个组合，用于对带噪样本图像进行处理得到预测噪声图像。编码器和第二解码器为另一个组合，用于对带噪样本图像进行处理得到预测去噪图像(也即下文中的“第二预测去噪图像”)。
训练样本用于对图像去噪模型进行训练，训练样本包括无噪声样本图像、纯噪声图像，以及基于无噪声样本图像和纯噪声图像生成的带噪样本图像。其中，无噪声样本图像是指不含有噪声信息的图像，纯噪声图像是指仅含有噪声信息的图像，带噪样本图像可以是对无噪声样本图像和纯噪声图像进行融合处理后生成的图像。
在噪声信息为阴影的情况下，无噪声样本图像即为不含有阴影的图像。无噪声样本图像是通过在第一特定条件下对目标对象进行拍摄得到的图像，如基于特定的角度、光照和远近距离等条件下对目标对象进行拍摄，得到无噪声样本图像。上述目标对象可以是诸如书本、纸张、PPT等对象，本申请对此不作限定。可选地，可以调整不同的角度、光照和远近距离等条件，或者调整不同的目标对象，从而拍摄得到多个不同的无噪声样本图像。
在噪声信息为阴影的情况下，纯噪声图像即为仅包含阴影的图像。纯噪声图像是通过在第二特定条件下对空白对象进行拍摄得到的图像，如基于特定的角度、光照和远近距离等条件下对空白对象进行拍摄，并且通过自然方式或者构造遮挡方式产生阴影，得到纯噪声图像。上述空白对象可以是空白纸张、空白墙面、空白幕布等对象，本申请对此不作限定。可选地，可以调整不同的角度、光照和远近距离等条件，或者调整不同的空白对象，从而拍摄得到多个不同的纯噪声图像。
可选地，将任意一个无噪声样本图像和任意一个纯噪声图像进行合成，即可生成一个带噪样本图像。例如，将无噪声样本图像和纯噪声图像中对应位置的像素值相乘，得到带噪样本图像。又例如，将无噪声样本图像和纯噪声图像中对应位置的像素值相加，得到带噪样本图像。在本申请实施例中，对带噪样本图像的生成方式不作限定。通过选择不同的无噪声样本图像和不同的纯噪声图像进行合成，即可生成大量的带噪样本图像，作为训练样本用于对模型进行训练。
步骤220，通过编码器提取带噪样本图像的特征信息。
编码器用于提取带噪样本图像的特征信息。编码器可以是一个神经网络，其能够从带噪样本图像中提取高层语义特征作为特征信息。可选地，编码器包括下采样模块、归一化模块和激活函数模块。将带噪样本图像输入至编码器之后，首先通过下采样模块对带噪样本图像进行下采样处理，得到下采样处理结果；然后，通过归一化模块对上述下采样处理结果进行归一化处理，得到归一化处理结果；然后，通过激活函数模块对上述归一化处理结果进行处理，最终输出该带噪样本图像的特征信息。带噪样本图像的特征信息可以特征图的形式输出。
在一些实施例中，如图3所示，图3示例性示出了一种编码器的示意图，编码器包括下采样模块31、归一化模块32和激活函数模块33。示例性地，编码器部分包含8个下采样模块对输入的带噪样本图像由低到高逐级提取高层语义特征。每个下采样模块都会对输入特征的空间分辨率减半，经过8个下采样模块后，输入的带噪样本图像的空间分辨率在高层语义特征上减小为原来的1/256。因此，要求输入的带噪样本图像的空间分辨率是256的整数倍。当然，可以根据实际任务灵活调整下采样模块的数量，本申请对此不作限定。如图3所示，下采样模块31的下采样过程使用卷积神经网络来实现，例如使用步长为2的卷积代替传统的核尺寸为2的池化过程。经过卷积后，使用归一化模块32对下采样模块31输出的下采样处理结果进行批归一化(Batch Normlization，简称BN)处理，得到归一化处理结果。然后，通过激活函数模块33对上述归一化处理结果进行处理，如采用参数为0.2的Leaky ReLU作为激活函数，得到带噪样本图像的特征信息。在编码器中，采用卷积操作替代池化操作进行下采样，可以减少下采样过程中的信息丢失，尽可能全面地考虑各个位置的图像信息，有助于提升最终得到的特征信息的准确性。
步骤230，通过第一解码器对带噪样本图像的特征信息进行处理，得到带噪样本图像对应的预测噪声图像；根据预测噪声图像和带噪样本图像，生成带噪样本图像对应的第一预测去噪图像。
第一解码器也可以称为噪声解码器，该第一解码器用来预测输入图像所包含的噪声信息，也就是预测带噪样本图像所对应的预测噪声图像。之后，基于带噪样本图像和预测噪声图像，可以得到第一预测去噪图像，其中，第一预测去噪图像的分辨率与带噪样本图像的分辨率相同。
第一解码器可以是一个神经网络。可选地，第一解码器包括上采样模块、归一化模块和激活函数模块。将带噪样本图像的特征信息输入至第一解码器之后，通过上采样模块对带噪样本图像的特征信息进行上采样处理，得到上采样处理结果；然后，通过归一化模块对上述上采样处理结果进行归一化处理，得到归一化处理结果；然后，通过激活函数模块对上述归一化处理结果进行处理，最终输出该带噪样本图像对应的预测噪声图像。
在一些实施例中，如图4所示，图4示例性示出了一种噪声解码器的示意图，噪声解码器包括上采样模块41、归一化模块42和激活函数模块43。示例性地，噪声解码器包含8个上采样模块，逐步还原由于编码器所造成的空间分辨率丢失，最终得到和输入的带噪样本图像相同空间分辨率的输出。如图4所示，上采样模块41的上采样过程使用反卷积神经网络来实现，例如采用可学习参数的反卷积代替传统的双线性插值方法。经过反卷积后，使用归一化模块42对上采样模块41输出的上采样处理结果进行BN处理，得到归一化处理结果。然后，通过激活函数模块43对上述归一化处理结果进行处理，如采用ReLU作为激活函数，得到带噪样本图像对应的预测噪声图像。在解码器中，采用可学习参数的反卷积代替传统的双线性插值方法，一方面由于可学习参数的反卷积具有更强的表征能力，因此能够提升解码器的表征性能，另一方面反卷积处理相比于双线性插值方法的复杂度更低，因此能够减少计算处理的复杂度。
在得到带噪样本图像对应的预测噪声图像之后，基于预测噪声图像和带噪样本图像，得到第一预测去噪图像。可选地，第一预测去噪图像的生成方式与带噪样本图像的生成方式相对应。例如，在将无噪声样本图像和纯噪声图像中对应位置的像素值相乘，得到带噪样本图像的情况下，此时需要将带噪样本图像除以预测噪声图像，得到第一预测去噪图像。又例如，在将无噪声样本图像和纯噪声图像中对应位置的像素值相加，得到带噪样本图像的情况下，此时需要将带噪样本图像减去预测噪声图像，得到第一预测去噪图像。
步骤240，通过第二解码器对带噪样本图像的特征信息进行处理，得到带噪样本图像对应的第二预测去噪图像。
第二解码器也可以称为复原解码器，该第二解码器用于去除带噪样本图像中的噪声信息，以得到第二预测去噪图像。可选地，第二解码器的结构与第一解码器的结构相同。其中，第二预测去噪图像的分辨率与带噪样本图像的分辨率相同。
第二解码器可以是一个神经网络。可选地，第二解码器包括上采样模块、归一化模块和激活函数模块。将带噪样本图像的特征信息输入至第二解码器之后，通过上采样模块对带噪样本图像的特征信息进行上采样处理，得到上采样处理结果；然后，通过归一化模块对上述上采样处理结果进行归一化处理，得到归一化处理结果；然后，通过激活函数模块对上述归一化处理结果进行处理，最终输出该带噪样本图像对应的第二预测去噪图像。
在一些实施例中，复原解码器的结构与噪声解码器的结构相同，以图4的结构为例，图4示例性示出了复原解码器的示意图。复原解码器包括上采样模块41、归一化模块42和激活函数模块43。示例性地，复原解码器包含8个上采样模块，逐步还原由于编码器所造成的空间分辨率丢失，最终得到和输入的带噪样本图像相同空间分辨率的输出。如图4所示，上采样模块41的上采样过程使用反卷积神经网络来实现，例如采用可学习参数的反卷积代替传统的双线性插值方法。经过反卷积后，使用归一化模块42对上采样模块41输出的上采样处理结果进行BN处理，得到归一化处理结果。然后，通过激活函数模块43对上述归一化处理结果进行处理，如采用ReLU作为激活函数，得到带噪样本图像对应的第二预测去噪图像。另外，复原解码器与噪声解码器虽然结构相同，但是两者并不共享参数，独立学习。复原解码器是一个端到端的神经网络，能够直接输出去噪后图像。
步骤250，根据第一预测去噪图像、第二预测去噪图像和无噪声样本图像，确定图像去噪模型的训练损失，并基于训练损失调整图像去噪模型的参数。
可选地，根据第一预测去噪图像和无噪声样本图像，确定编码器和第一解码器的训练损失，并基于该训练损失调整编码器和第一解码器的参数。可选地，根据第二预测去噪图像和无噪声样本图像，确定编码器和第二解码器的训练损失，并基于该训练损失调整编码器和第二解码器的参数。训练损失用于衡量图像去噪模型得到的预测去噪图像与无噪声样本图像之间的差异。
本申请实施例提供了一种基于多任务学习的图像去噪模型的训练方法，一方面让图像去噪模型学习带噪样本图像对应的预测噪声图像，另一方面让图像去噪模型学习带噪样本图像对应的预测去噪图像，上述两个子任务在性能上互相促进，从而有助于提升最终训练得到的图像去噪模型的去噪效果。而且，该图像去噪模型的输入数据仅需包括带噪样本图像即可，并不需要包括纯噪声图像，因此能够克服相关技术中对模型输入数据的限制，提升方案的通用性和实用性。
请参考图5，其示出了本申请另一个实施例提供的图像去噪模型的训练方法的流程图。该方法各步骤的执行主体可以是上文介绍的模型训练设备。该方法可以包括如下几个步骤(510～580)。其中，该实施例中的部分步骤已在上文中介绍过，在此不再赘述。
步骤510，获取图像去噪模型的训练样本，训练样本包括无噪声样本图像、纯噪声图像，以及基于无噪声样本图像和纯噪声图像生成的带噪样本图像。
步骤520，通过编码器提取带噪样本图像的特征信息。
步骤530，通过第一解码器对带噪样本图像的特征信息进行处理，得到带噪样本图像对应的预测噪声图像；根据预测噪声图像和带噪样本图像，生成带噪样本图像对应的第一预测去噪图像。
可选地，生成带噪样本图像对应的第一预测去噪图像包括：将带噪样本图像和预测噪声图像中对应位置像素的数值相除，得到第一预测去噪图像；或者，将带噪样本图像和预测噪声图像中对应位置像素的数值相减，得到第一预测去噪图像。
在实际操作中，根据带噪样本图像的生成方式，决定第一预测去噪图像的生成方式。例如，当带噪样本图像是由无噪声样本图像和纯噪声图像中对应位置像素的数值相乘得到的情况下，将带噪样本图像和预测噪声图像中对应位置像素的数值相除，得到第一预测去噪图像。当带噪样本图像是由无噪声样本图像和纯噪声图像中对应位置像素的数值相加得到的情况下，将带噪样本图像和预测噪声图像中对应位置像素的数值相减，得到第一预测去噪图像。
在一些实施例中，当预测带噪样本图像是由无噪声样本图像和纯噪声图像中对应位置像素的数值相乘得到的图像时，则第一预测去噪图像是由预测带噪样本图像中像素的数值除以预测噪声图像中对应位置像素的数值得到的图像，第一预测去噪图像的公式表示可以如下：
其中，Input是整个网络模型的输入，也就是预测带噪样本图像。Noise是噪声解码器的输出，也就是预测噪声图像。ε是一个非常小的常数，以避免上述公式中分母为0的情况发生。通过加入非常小的常数ε，在不影响结果的同时，保证了方案实施的可行性。
在一些实施例中，当预测带噪样本图像是由无噪声样本图像和纯噪声图像中对应位置像素的数值相加得到的图像时，则第一预测去噪图像是由预测带噪样本图像中像素的数值减去预测噪声图像中对应位置像素的数值得到的图像，第一预测去噪图像的公式表示可以如下：
Input-Noise
其中，Input是整个网络模型的输入，也就是预测带噪样本图像。Noise是噪声解码器的输出，也就是预测噪声图像。
步骤540，根据第一预测去噪图像和无噪声样本图像，确定第一训练损失。
第一训练损失用于衡量第一预测去噪图像和无噪声样本图像之间的差异。
可选地，步骤540包括以下几个子步骤(1-2)：
1.根据第一预测去噪图像和无噪声样本图像，确定第一像素级损失、第一语义特征损失和第一图像梯度损失。
第一像素级损失用于衡量第一预测去噪图像的像素点和无噪声样本图像的像素点之间的差异。例如，对于第一预测去噪图像和无噪声样本图像中对应位置像素，计算这两个像素的数值之间的距离值，然后将所有对应位置像素的距离值求和，得到第一像素级损失。第一像素级损失可以采用L1距离、余弦距离、欧氏距离等进行计算，本申请对此不作限定。
第一语义特征损失用于衡量第一预测去噪图像的语义特征和无噪声样本图像的语义特征之间的差异。上述语义特征是指图像中的高层语义特征。例如，通过一个预训练完成的特征提取器，分别提取第一预测去噪图像的语义特征和无噪声样本图像的语义特征，然后计算上述两个语义特征之间的距离值得到第一语义特征损失。语义特征损失也可以称为感知损失(perceptual loss)。
第一图像梯度损失用于衡量第一预测去噪图像的图像梯度和无噪声样本图像的图像梯度之间的差异。通过分别计算第一预测去噪图像的图像梯度和无噪声样本图像的图像梯度，然后计算这两个图像梯度之间的差异得到第一图像梯度损失。图像梯度损失也可以称为梯度损失(gradient loss)。
2.根据第一像素级损失、第一语义特征损失和第一图像梯度损失，确定第一训练损失。
可选地，将第一像素级损失、第一语义特征损失和第一图像梯度损失进行加权求和，得到第一训练损失。在本申请实施例中，通过根据第一像素级损失、第一语义特征损失和第一图像梯度损失计算得到第一训练损失，考虑了图像之间的像素差异、语义特征差异和梯度差异等多方面的差异信息，使第一训练损失的结果更加精确，进一步使得到的图像去噪模型更加精确。
步骤550，基于第一训练损失，调整编码器和第一解码器的参数。
可选地，采用反向传播的梯度下降算法，基于第一训练损失，对编码器和第一解码器的参数进行调整。
步骤560，通过第二解码器对带噪样本图像的特征信息进行处理，得到带噪样本图像对应的第二预测去噪图像。
步骤570，根据第二预测去噪图像和无噪声样本图像，确定第二训练损失。
第二训练损失用于衡量第二预测去噪图像和无噪声样本图像之间的差异。
可选地，步骤570包括以下几个子步骤(1-2)：
1.根据第二预测去噪图像和无噪声样本图像，确定第二像素级损失、第二语义特征损失和第二图像梯度损失。
其中，第二像素级损失用于衡量第二预测去噪图像的像素点和无噪声样本图像的像素点之间的差异，第二语义特征损失用于衡量第二预测去噪图像的语义特征和无噪声样本图像的语义特征之间的差异，第二图像梯度损失用于衡量第二预测去噪图像的图像梯度和无噪声样本图像的图像梯度之间的差异。
另外，第二像素级损失、第二语义特征损失和第二图像梯度损失的计算方式，可以参考上文介绍的第一像素级损失、第一语义特征损失和第一图像梯度损失的计算方式，此处不再重复赘述。
2.根据第二像素级损失、第二语义特征损失和第二图像梯度损失，确定第二训练损失。
可选地，将第二像素级损失、第二语义特征损失和第二图像梯度损失进行加权求和，得到第二训练损失。在本申请实施例中，通过根据第二像素级损失、第二语义特征损失和第二图像梯度损失计算得到第二训练损失，考虑了图像之间的像素差异、语义特征差异和梯度差异等多方面的差异信息，使第二训练损失的结果更加精确，进一步使得到的图像去噪模型更加精确。
步骤580，基于第二训练损失，调整编码器和第二解码器的参数。
另外，在一些示例性实施例中，还可以对带噪样本图像和无噪声样本图像执行相同的数据增强处理，该数据增强处理包括但不限于以下至少一种：随机缩放、随机裁剪、随机水平翻转、随机垂直翻转、随机旋转、仿射变换、平移缩放旋转、透视变换。上述经过数据增强处理后的带噪样本图像，输入至编码器进行特征提取。通过对图像进行数据增强处理，可以提升模型从不同图像中学习特征的能力，使得最终训练得到的模型对不同图像具有更高的鲁棒性。
本实施例通过将第一训练损失和第二训练损失对于图像去噪模型的参数调整的过程分开，使噪声解码器的训练过程和复原解码器的训练过程独立开来，实现了多任务的同时运行，节约了训练模型的时间。
同时，通过多个指标(包括像素级损失、语义特征损失和图像梯度损失)来得到训练损失，并通过该训练损失进行图像去噪模型的参数调整，通过使用多个指标生成训练损失，使图像去噪模型的参数调整更加精确。
在基于上述图5实施例提供的图像去噪模型的训练方法的基础上，如图6所示，本申请另一示例性实施例提供的训练方法还可以包括如下步骤(610～630)：
步骤610，通过分类器对带噪样本图像或无噪声样本图像的特征信息进行处理，得到带噪样本图像或无噪声样本图像的噪声预测结果，噪声预测结果用于指示带噪样本图像或无噪声样本图像中是否包含噪声。
分类器用于对输入图像进行是否含有噪声的判断，输入图像可以是带噪样本图像，也可以是无噪声样本图像，分类器的输出结果为判断输入图像是否含有噪声的概率，也就是噪声预测结果。例如，当输入一张含噪声的带噪样本图像时，分类器输出的噪声预测结果为该图像含噪声的概率为90％；当输入一张无噪声样本图像时，分类器输出的噪声预测结果为该图像含噪声的概率为10％。其中，分类器的输出结果的取值范围可以是在闭区间[0,1]之间的数值。
步骤620，根据噪声预测结果和噪声真实结果，确定第三训练损失，第三训练损失用于衡量噪声预测结果和噪声真实结果的差异。
根据分类器输出的噪声预测结果和输入图像的噪声真实结果的差异，得到第三训练损失。
步骤630，基于第三训练损失，调整编码器和分类器的参数。
在本实施例中，在第一解码器和第二解码器的基础上，进一步引入分类器，从而在模型训练过程中同时进行三个子任务，让该三个子任务在性能上互相促进，这有助于进一步提升图像去噪模型的去噪效果。
同时，通过引入分类器，根据分类器对于输入图像是否带噪进行判断，以决定是否需要通过第一解码器分支进行去噪操作，舍弃了图像去噪模型对于无噪声图像进行去噪这种不必要的操作，节约了图像去噪的时间和成本。
在基于上述任一实施例提供的图像去噪模型的训练方法的基础上，可以在多任务学习的基础上，进一步引入对抗学习的思想以优化模型性能。如图7所示，本申请另一示例性实施例提供的训练方法还可以包括如下步骤(710～720)：
步骤710，通过判别器对第一预测去噪图像和无噪声样本图像分别进行像素级判别，得到第一预测去噪图像和无噪声样本图像分别对应的像素级判别结果。
判别器用于对输入图像是否进行过模型的去噪处理进行像素级判断，像素级判断时对输入图像中的每一个像素进行判断。输入图像包括第一预测去噪图像和无噪声样本图像，输出结果为判断输入图像是否进行过模型的去噪处理的概率。例如，当输入一张含有10000个像素的第一预测去噪图像时，判别器的输出结果为该图像中该10000个像素对应的预测结果，各个像素的预测结果为该像素是否为经过模型的去噪处理后得到的像素。例如，该预测结果可以是任意一个位于[0,1]之间的概率值。
可选地，判别器包括特征映射层、n个级联的下采样层、n个级联的上采样层和特征提取层，n为大于1的整数。步骤610包括以下步骤(1-4)：
1.通过特征映射层对第一预测去噪图像或无噪声样本图像进行处理，得到第一预测去噪图像或无噪声样本图像的初始特征图。
特征映射层先通过对输入图像进行空间分辨率的放大，然后得到输入图像的初始特征图。
在一些实施例中，如图8所示，图8示例性示出了判别器中各个层级的示意图。其中，特征映射层81包括：卷积模块81a和激活函数模块81b。输入图像先经过卷积模块81a得到卷积结果图，然后将卷积结果图输入激活函数模块82b得到输入图像的初始特征图。
2.通过n个级联的下采样层对初始特征图进行n步下采样处理，得到下采样特征图。
将得到的初始特征图通过多个下采样层进行多次下采样处理，得到空间分辨率减小的下采样特征图。
在一些实施例中，如图8所示。其中，下采样层82包括：下采样模块82a、归一化模块82b和激活函数模块82c。输入图像的初始特征图首先输入下采样模块82a后，得到下采样结果图，然后将下采样结果图输入归一化模块82b中，得到归一化结果图，最后，将归一化结果图输入激活函数模块82c中，得到编码器输出得到的输入图像的下采样特征图。可选地，下采样模块中的下采样过程使用步长为2的卷积，使用谱归一化(Spectral Normalization，简称SN)作为归一化方法，使用Leaky ReLU作为激活函数。
3.通过n个级联的上采样层对下采样特征图进行n步上采样处理，得到上采样特征图；其中，下采样层和上采用层之间采用跳跃连接。
将得到的下采样特征图通过多个上采样层进行多次上采样处理，得到空间分辨率增大的上采样特征图。
在一些实施例中，如图8所示。上采样层83包括：类型调整模块83a、上采样模块83b、归一化模块83c和激活函数模块83d。输入图像的下采样特征图首先经过类型调整模块83a，得到类别调整结果图。然后将类别调整结果图输入至上采样模块83b中，得到上采样结果图，然后将上采样结果图输入归一化模块83c中，得到归一化结果图，最后，将归一化结果图输入激活函数模块83d中，得到编码器输出得到的输入图像的上采样特征图。可选地，上采样模块中的上采样过程使用步长为1的卷积，使用谱归一化作为归一化方法，使用LeakyReLU作为激活函数。
可选地，上述上采样层和下采样层可以包含多个。在一些实施例中，如图8所示，图9展示了判别器的整体结构示意图。可选地，在图9中，判别器由一个特征映射层，三个下采样层、三个上采样层和一个特征提取层组成。可以看出，下采样层和上采样层之间通过跳跃连接，也就是如图9所示，对于上采样层二91，不仅有上采样层三92控制，还由下采样层二93控制。同样的，对于上采样层一94，不仅有上采样层二91控制，还由下采样层一95控制。同样的，对于步骤220至步骤240采用阴影解码器或复原解码器进行图像去噪过程中，上采样层和下采样层也是跳跃连接的。
4.通过特征提取层对上采样特征图进行处理，得到第一预测去噪图像或无噪声样本图像的像素级判别结果。
通过特征提取层，对上采样特征图的像素数值进行判断，得到像素级判别结果：经过去噪处理后得到的图像和没有经过去噪处理后得到的图像。
在一些实施例中，如图8所示。特征提取层84包括：两个卷积步长为1的下采样层和一个卷积步长为1的下采样模块84a。输入图像的上采样特征图首先经过下采样模块84a后，得到下采样结果图，然后将上述下采样结果图输入归一化模块84b中，得到归一化结果图，最后，将归一化结果图输入激活函数模块84c中，得到编码器输出得到的输入图像的二次下采样特征图。再次进行一次上述卷积步长为1的下采样层后，将得到的图像输入卷积步长为1的下采样模块84d后，得到图像的像素级判别结果。可选地，下采样模块中的下采样过程使用步长为1的卷积，使用谱归一化作为归一化方法，使用Leaky ReLU作为激活函数。
步骤720，基于像素级判别结果，确定判别器对应的判别损失，判别损失用于衡量判别器输出的像素级判别结果的准确度。
其中，判别损失用于调整判别器的参数，还用于调整编码器和第一解码器的参数。可选地，根据判别损失和上述第一训练损失结合后，进行编码器和第一解码器的参数调整。
根据像素级判别结果和图片的真实判别结果，得到判别器的判别结果：正确概率和/或错误概率。正确概率为该判别器的判别结果的正确率，错误概率为该判别器的判别结果的错误率，同一个判别器的正确概率和错误概率之和为1。
本实施例通过在多任务学习的基础上引入生成对抗的思想，以提升图像去噪生成模型的去噪效果。
其中，上文中的判别方法都是像素级判别方法，可选地，还可以通过全局判别方法进行判别，相比于全局判别方法，像素级判别方法得到的结果更加精确，可以训练得到更精确的判别器。同时，由于判别器和图像去噪模型是对抗学习的思想以优化模型性能的，所以在判别的更精确的情况下，训练得到的图像去噪模型也更精确。
上文对图像去噪模型的训练过程进行了介绍说明，下面对该图像去噪模型的使用过程进行介绍说明。需要说明的是，模型的训练过程和使用过程是相对应的，对于其中一侧未详细说明的细节，可参考另一侧中的介绍说明。
请参考图9，其示出了本申请一个实施例提供的图像去噪方法的流程图。该方法各步骤的执行主体可以是上文介绍的模型使用设备。该方法可以包括如下几个步骤(910～940)：
步骤910，获取待图像去噪模型处理的带噪图像，图像去噪模型包括编码器和第一解码器。
步骤920，通过编码器提取带噪图像的特征信息。
可选地，通过分类器对带噪图像的特征信息进行处理，得到带噪图像的噪声预测结果，噪声预测结果用于指示带噪图像中是否包含噪声；在噪声预测结果指示带噪图像中包含噪声的情况下，执行通过第一解码器对带噪图像的特征信息进行处理，得到带噪图像对应的噪声图像的步骤，即下文中的步骤930。在噪声预测结果指示带噪图像中不包含噪声的情况下，图像去噪模型不对该输入的带噪图像(或者说输入图像)进行去噪，直接输出或者做后续处理。可选地，在噪声预测结果指示带噪图像中包含噪声的情况下，图像去噪模型对该带噪图像执行通过第一解码器对带噪图像的特征信息进行处理，得到带噪图像对应的噪声图像的步骤。
步骤930，通过第一解码器对带噪图像的特征信息进行处理，得到带噪图像对应的噪声图像。
训练完成的图像去噪模型采用第一解码器，也就是去噪解码器进行图像的去噪。可选地，训练完成的图像去噪模型也可以采用第二解码器，也就是复原解码器进行图像的去噪。
可选地，编码器包括k个级联的下采用层，第一解码器包括k个级联的上采用层，k为大于1的整数；步骤930包括：通过k个级联的上采用层对带噪图像的特征信息进行k步上采样处理，得到噪声图像；其中，下采样层和上采用层之间采用跳跃连接。
步骤940，根据噪声图像和带噪图像，生成带噪图像对应的去噪图像。
可选地，步骤940包括：将带噪图像和噪声图像中对应位置像素的数值相除，得到第一预测去噪图像；或者，将带噪图像和噪声图像中对应位置像素的数值相减，得到第一预测去噪图像。
可选地，对带噪图像进行第一尺寸调整处理，得到调整后的带噪图像；其中，调整后的带噪图像输入至编码器进行特征提取；对噪声图像进行第二尺寸调整处理，得到调整后的噪声图像；其中，第二尺寸调整处理是与第一尺寸调整处理相对应的逆向调整处理。根据噪声图像和带噪图像，生成带噪图像对应的去噪图像，包括：根据调整后的噪声图像和带噪图像，生成带噪图像对应的去噪图像。
本实施例与图像去噪模型中的阴影解码器部分的图像去噪方式相同，在此不再赘述。
本实施例在图像去噪模型的使用过程中，使用训练完成的第一解码器进行图像去噪，而不使用训练完成的第二解码器进行图像去噪。因为第一解码器输出的结果图是预测噪声图像，而第二解码器输出的结果是第二预测去噪图像。而在上述步骤中，在得到最终的预测去噪图像的过程中，还需要对解码器输出的图像进行尺寸的调整，该步骤严重影响了输出图像的精度。而第一解码器的输出图像为预测噪声图像，在与带噪图像进行处理时，并不会对带噪图像进行尺寸的调整。因此使用训练完成的第一解码器进行图像去噪过程中，最终结果图由预测噪声图像和原始的带噪图像计算得到。此时，仅预测噪声图像进行尺寸调整，原始的带噪图像是没有经过尺寸调整的，因此生成最终结果图中所要得到的去噪图像部分是没有经过尺寸调整的。而第二解码器组成的图像去噪模型中，第二解码器的输出结果为第二预测去噪图像，对该图像进行尺寸的调整后(采用差值算法)才能得到最终结果。所以相比于第二解码器，第一解码器生成的去噪图像的细节保留的更好，更适合用于图像去噪模型对图像进行去噪。
同时，通过引入分类器，根据分类器对于输入图像是否带噪进行判断，以决定否需要通过第一解码器分支进行去噪操作，舍弃了图像去噪模型对于无噪声图像进行去噪这种不必要的操作，节约了图像去噪的时间和成本。
以下是本申请装置实施例，对于本申请装置实施例中未详细说明的细节，可参见本申请方法实施例。
请参考图12，其示出了本申请一个实施例提供的图像去噪模型的训练装置的框图。该装置具有实现上述图像去噪模型的训练方法的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是上文介绍的模型训练设备，也可以设置在模型训练设备中。该装置1200可以包括：样本获取模块1210、信息提取模块1220、第一处理模块1230、第二处理模块1240和参数调整模块1250。
样本获取模块1210，用于获取所述图像去噪模型的训练样本，所述训练样本包括无噪声样本图像、纯噪声图像，以及基于所述无噪声样本图像和所述纯噪声图像生成的带噪样本图像。
信息提取模块1220，用于通过所述编码器提取所述带噪样本图像的特征信息。
第一处理模块1230，用于通过所述第一解码器对所述带噪样本图像的特征信息进行处理，得到所述带噪样本图像对应的预测噪声图像；根据所述预测噪声图像和所述带噪样本图像，生成所述带噪样本图像对应的第一预测去噪图像。
第二处理模块1240，用于通过所述第二解码器对所述带噪样本图像的特征信息进行处理，得到所述带噪样本图像对应的第二预测去噪图像。
参数调整模块1250，用于根据所述第一预测去噪图像、所述第二预测去噪图像和所述无噪声样本图像，确定所述图像去噪模型的训练损失，并基于所述训练损失调整所述图像去噪模型的参数。
在一些实施例中，所述参数调整模块1250用于：
根据所述第一预测去噪图像和所述无噪声样本图像，确定第一训练损失，所述第一训练损失用于衡量所述第一预测去噪图像和所述无噪声样本图像之间的差异；
基于所述第一训练损失，调整所述编码器和所述第一解码器的参数。
在一些实施例中，所述参数调整模块1250用于：
根据所述第一预测去噪图像和所述无噪声样本图像，确定第一像素级损失、第一语义特征损失和第一图像梯度损失；其中，所述第一像素级损失用于衡量所述第一预测去噪图像的像素点和所述无噪声样本图像的像素点之间的差异，所述第一语义特征损失用于衡量所述第一预测去噪图像的语义特征和所述无噪声样本图像的语义特征之间的差异，所述第一图像梯度损失用于衡量所述第一预测去噪图像的图像梯度和所述无噪声样本图像的图像梯度之间的差异；
根据所述第一像素级损失、所述第一语义特征损失和所述第一图像梯度损失，确定所述第一训练损失。
在一些实施例中，所述参数调整模块1250用于：
根据所述第二预测去噪图像和所述无噪声样本图像，确定第二训练损失，所述第二训练损失用于衡量所述第二预测去噪图像和所述无噪声样本图像之间的差异；
基于所述第二训练损失，调整所述编码器和所述第二解码器的参数。
在一些实施例中，所述参数调整模块1250用于：
根据所述第二预测去噪图像和所述无噪声样本图像，确定第二像素级损失、第二语义特征损失和第二图像梯度损失；其中，所述第二像素级损失用于衡量所述第二预测去噪图像的像素点和所述无噪声样本图像的像素点之间的差异，所述第二语义特征损失用于衡量所述第二预测去噪图像的语义特征和所述无噪声样本图像的语义特征之间的差异，所述第二图像梯度损失用于衡量所述第二预测去噪图像的图像梯度和所述无噪声样本图像的图像梯度之间的差异；
根据所述第二像素级损失、所述第二语义特征损失和所述第二图像梯度损失，确定所述第二训练损失。
在一些实施例中，所述图像去噪模型还包括判别器。如图13所示，所述装置1200还包括：结果获取模块1260。
结果获取模块1260，用于通过所述判别器对所述第一预测去噪图像和所述无噪声样本图像分别进行像素级判别，得到所述第一预测去噪图像和所述无噪声样本图像分别对应的像素级判别结果。
所述参数调整模块1250，还用于基于所述像素级判别结果，确定所述判别器对应的判别损失，所述判别损失用于衡量所述判别器输出的所述像素级判别结果的准确度；其中，所述判别损失用于调整所述判别器的参数，还用于调整所述编码器和所述第一解码器的参数。
在一些实施例中，所述判别器包括特征映射层、n个级联的下采样层、n个级联的上采样层和特征提取层，n为大于1的整数。所述结果获取模块1260，用于：
通过所述特征映射层对所述第一预测去噪图像或所述无噪声样本图像进行处理，得到所述第一预测去噪图像或所述无噪声样本图像的初始特征图；
通过所述n个级联的下采样层对所述初始特征图进行n步下采样处理，得到下采样特征图；
通过所述n个级联的上采样层对所述下采样特征图进行n步上采样处理，得到上采样特征图；其中，所述下采样层和所述上采用层之间采用跳跃连接；
通过所述特征提取层对所述上采样特征图进行处理，得到所述第一预测去噪图像或所述无噪声样本图像的像素级判别结果。
在一些实施例中，所述图像去噪模型还包括分类器。如图13所示，所述装置1200还包括噪声预测模块1270。
噪声预测模块1270，用于通过所述分类器对所述带噪样本图像或所述无噪声样本图像的特征信息进行处理，得到所述带噪样本图像或所述无噪声样本图像的噪声预测结果，所述噪声预测结果用于指示所述带噪样本图像或所述无噪声样本图像中是否包含噪声。
所述参数调整模块1250，还用于根据所述噪声预测结果和噪声真实结果，确定第三训练损失，所述第三训练损失用于衡量所述噪声预测结果和所述噪声真实结果的差异；基于所述第三训练损失，调整所述编码器和所述分类器的参数。
在一些实施例中，所述第一处理模块1230用于：将所述带噪样本图像和所述预测噪声图像中对应位置像素的数值相除，得到所述第一预测去噪图像；或者，将所述带噪样本图像和所述预测噪声图像中对应位置像素的数值相减，得到所述第一预测去噪图像。
在一些实施例中，如图13所示，所述装置1200还包括数据增强模块(图中未标出)。
数据增强模块，用于对所述带噪样本图像和所述无噪声样本图像执行相同的数据增强处理，所述数据增强处理包括以下至少一种：随机缩放、随机裁剪、随机水平翻转、随机垂直翻转、随机旋转、仿射变换、平移缩放旋转、透视变换；其中，经过所述数据增强处理后的所述带噪样本图像或者所述无噪声样本图像，输入至所述编码器进行特征提取。
本申请实施例提供了一种基于多任务学习的图像去噪模型的训练方法，一方面让图像去噪模型学习带噪样本图像对应的预测噪声图像，另一方面让图像去噪模型学习带噪样本图像对应的预测去噪图像，上述两个子任务在性能上互相促进，从而有助于提升最终训练得到的图像去噪模型的去噪效果。而且，该图像去噪模型的输入数据仅需包括带噪样本图像即可，并不需要包括纯噪声图像，因此能够克服相关技术中对模型输入数据的限制，提升方案的通用性和实用性。
请参考图14，其示出了本申请一个实施例提供的图像去噪装置的框图。该装置具有实现上述图像去噪方法的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是上文介绍的模型使用设备，也可以设置在模型使用设备中。该装置1400可以包括：图像获取模块1410、信息提取模块1420、信息处理模块1430和图像生成模块1440。
图像获取模块1410，用于获取待图像去噪模型处理的带噪图像，所述图像去噪模型包括编码器和第一解码器。
信息提取模块1420，用于通过所述编码器提取所述带噪图像的特征信息。
信息处理模块1430，用于通过所述第一解码器对所述带噪图像的特征信息进行处理，得到所述带噪图像对应的噪声图像。
图像生成模块1440，用于根据所述噪声图像和所述带噪图像，生成所述带噪图像对应的去噪图像。
在一些实施例中，所述图像生成模块1440用于：将所述带噪图像和所述噪声图像中对应位置像素的数值相除，得到所述第一预测去噪图像；或者，将所述带噪图像和所述噪声图像中对应位置像素的数值相减，得到所述第一预测去噪图像。
在一些实施例中，所述编码器包括k个级联的下采用层，所述第一解码器包括k个级联的上采用层，k为大于1的整数。所述信息处理模块1430用于：通过所述k个级联的上采用层对所述带噪图像的特征信息进行k步上采样处理，得到所述噪声图像；其中，所述下采样层和所述上采用层之间采用跳跃连接。
在一些实施例中，所述图像去噪模型还包括分类器。如图15所示，所述装置1400还包括噪声预测模块1450，用于通过所述分类器对所述带噪图像的特征信息进行处理，得到所述带噪图像的噪声预测结果，所述噪声预测结果用于指示所述带噪图像中是否包含噪声；在所述噪声预测结果指示所述带噪图像中包含噪声的情况下，执行所述通过所述第一解码器对所述带噪图像的特征信息进行处理，得到所述带噪图像对应的噪声图像的步骤。
在一些实施例中，如图15所示，所述装置1400还包括尺寸调整模块1460，用于对所述带噪图像进行第一尺寸调整处理，得到调整后的带噪图像；其中，所述调整后的带噪图像输入至所述编码器进行特征提取；对所述噪声图像进行第二尺寸调整处理，得到调整后的噪声图像；其中，所述第二尺寸调整处理是与所述第一尺寸调整处理相对应的逆向调整处理。
所述图像生成模块1440，还用于根据所述调整后的噪声图像和所述带噪图像，生成所述带噪图像对应的去噪图像。
本实施例在图像去噪模型的使用过程中，使用训练完成的第一解码器进行图像去噪，而不使用训练完成的第二解码器进行图像去噪。因为第一解码器输出的结果图是预测噪声图像，而第二解码器输出的结果是第二预测去噪图像。而在上述步骤中，在得到最终的预测去噪图像的过程中，还需要对解码器输出的图像进行尺寸的调整，该步骤严重影响了输出图像的精度。而第一解码器的输出图像为预测噪声图像，在与带噪图像进行处理时，并不会对带噪图像进行尺寸的调整。因此使用训练完成的第一解码器进行图像去噪过程中，最终结果图由预测噪声图像和原始的带噪图像计算得到。此时，仅预测噪声图像进行尺寸调整，原始的带噪图像是没有经过尺寸调整的，因此生成最终结果图中所要得到的去噪图像部分是没有经过尺寸调整的。而第二解码器组成的图像去噪模型中，第二解码器的输出结果为第二预测去噪图像，对该图像进行尺寸的调整后(采用差值算法)才能得到最终结果。所以相比于第二解码器，第一解码器生成的去噪图像的细节保留的更好，更适合用于图像去噪模型对图像进行去噪。
需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
请参考图16，其示出了本申请一个实施例提供的计算机设备的结构示意图。该计算机设备可以是任何具备数据计算、处理和存储功能的电子设备，如手机、平板电脑、PC(Personal Computer，个人计算机)或服务器等。该计算机设备可以实现成为模型使用设备，用于实施上述实施例中提供的图像去噪方法；或，该计算机设备可以实现成为模型训练设备，用于实施上述实施例中提供的图像去噪模型的训练方法。具体来讲：
该计算机设备1600包括中央处理单元(如CPU(Central Processing Unit，中央处理器)、GPU(Graphics Processing Unit，图形处理器)和FPGA(Field Programmable GateArray，现场可编程逻辑门阵列)等)1601、包括RAM(Random-Access Memory，随机存取存储器)1602和ROM(Read-Only Memory，只读存储器)1603的***存储器1604，以及连接***存储器1604和中央处理单元1601的***总线1605。该计算机设备1600还包括帮助服务器内的各个器件之间传输信息的基本输入/输出***(Input Output System，I/O***)1606，和用于存储操作***1613、应用程序1614和其他程序模块1615的大容量存储设备1607。
该基本输入/输出***1606包括有用于显示信息的显示器1608和用于用户输入信息的诸如鼠标、键盘之类的输入设备1609。其中，该显示器1608和输入设备1609都通过连接到***总线1605的输入输出控制器1610连接到中央处理单元1601。该基本输入/输出***1606还可以包括输入输出控制器1610以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1610还提供输出到显示屏、打印机或其他类型的输出设备。
该大容量存储设备1607通过连接到***总线1605的大容量存储控制器(未示出)连接到中央处理单元1601。该大容量存储设备1607及其相关联的计算机可读介质为计算机设备1600提供非易失性存储。也就是说，该大容量存储设备1607可以包括诸如硬盘或者CD-ROM(Compact Disc Read-Only Memory，只读光盘)驱动器之类的计算机可读介质(未示出)。
不失一般性，该计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM(Erasable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory，电可擦写可编程只读存储器)、闪存或其他固态存储其技术，CD-ROM、DVD(Digital Video Disc，高密度数字视频光盘)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知该计算机存储介质不局限于上述几种。上述的***存储器1304和大容量存储设备1607可以统称为存储器。
根据本申请实施例，该计算机设备1600还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1600可以通过连接在该***总线1605上的网络接口单元1611连接到网络1612，或者说，也可以使用网络接口单元1611来连接到其他类型的网络或远程计算机***(未示出)。
存储器还包括至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、至少一段程序、代码集或指令集存储于存储器中，且经配置以由一个或者一个以上处理器执行，以实现上述图像去噪方法或图像去噪模型的训练方法。
在示例性实施例中，还提供了一种计算机可读存储介质，存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集在被计算机设备的处理器执行时实现上述实施例提供的图像去噪方法或图像去噪模型的训练方法。
可选地，该计算机可读存储介质可以包括：ROM(Read-Only Memory，只读存储器)、RAM(Random-Access Memory，随机存储器)、SSD(Solid State Drives，固态硬盘)或光盘等。其中，随机存取记忆体可以包括ReRAM(Resistance Random Access Memory，电阻式随机存取记忆体)和DRAM(Dynamic Random Access Memory，动态随机存取存储器)。
在示例性实施例中，还提供了一种计算机程序产品或计算机程序，计算机程序产品或计算机程序包括计算机指令，计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质中读取计算机指令，处理器执行计算机指令，使得计算机设备执行上述图像去噪方法或图像去噪模型的训练方法。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外，本文中描述的步骤编号，仅示例性示出了步骤间的一种可能的执行先后顺序，在一些其它实施例中，上述步骤也可以不按照编号顺序来执行，如两个不同编号的步骤同时执行，或者两个不同编号的步骤按照与图示相反的顺序执行，本申请实施例对此不作限定。
以上仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (20)
1.一种图像去噪模型的训练方法，其特征在于，所述图像去噪模型包括编码器、第一解码器和第二解码器；所述方法包括：
获取所述图像去噪模型的训练样本，所述训练样本包括无噪声样本图像、纯噪声图像，以及基于所述无噪声样本图像和所述纯噪声图像生成的带噪样本图像；
通过所述编码器提取所述带噪样本图像的特征信息；
通过所述第一解码器对所述带噪样本图像的特征信息进行处理，得到所述带噪样本图像对应的预测噪声图像；根据所述预测噪声图像和所述带噪样本图像，生成所述带噪样本图像对应的第一预测去噪图像；
通过所述第二解码器对所述带噪样本图像的特征信息进行处理，得到所述带噪样本图像对应的第二预测去噪图像；
根据所述第一预测去噪图像、所述第二预测去噪图像和所述无噪声样本图像，确定所述图像去噪模型的训练损失，并基于所述训练损失调整所述图像去噪模型的参数。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一预测去噪图像、所述第二预测去噪图像和所述无噪声样本图像，确定所述图像去噪模型的训练损失，并基于所述训练损失调整所述图像去噪模型的参数，包括：
根据所述第一预测去噪图像和所述无噪声样本图像，确定第一训练损失，所述第一训练损失用于衡量所述第一预测去噪图像和所述无噪声样本图像之间的差异；
基于所述第一训练损失，调整所述编码器和所述第一解码器的参数。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一预测去噪图像和所述无噪声样本图像，确定第一训练损失，包括：
根据所述第一预测去噪图像和所述无噪声样本图像，确定第一像素级损失、第一语义特征损失和第一图像梯度损失；其中，所述第一像素级损失用于衡量所述第一预测去噪图像的像素点和所述无噪声样本图像的像素点之间的差异，所述第一语义特征损失用于衡量所述第一预测去噪图像的语义特征和所述无噪声样本图像的语义特征之间的差异，所述第一图像梯度损失用于衡量所述第一预测去噪图像的图像梯度和所述无噪声样本图像的图像梯度之间的差异；
根据所述第一像素级损失、所述第一语义特征损失和所述第一图像梯度损失，确定所述第一训练损失。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第一预测去噪图像、所述第二预测去噪图像和所述无噪声样本图像，确定所述图像去噪模型的训练损失，并基于所述训练损失调整所述图像去噪模型的参数，包括：
根据所述第二预测去噪图像和所述无噪声样本图像，确定第二训练损失，所述第二训练损失用于衡量所述第二预测去噪图像和所述无噪声样本图像之间的差异；
基于所述第二训练损失，调整所述编码器和所述第二解码器的参数。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第二预测去噪图像和所述无噪声样本图像，确定第二训练损失，包括：
根据所述第二预测去噪图像和所述无噪声样本图像，确定第二像素级损失、第二语义特征损失和第二图像梯度损失；其中，所述第二像素级损失用于衡量所述第二预测去噪图像的像素点和所述无噪声样本图像的像素点之间的差异，所述第二语义特征损失用于衡量所述第二预测去噪图像的语义特征和所述无噪声样本图像的语义特征之间的差异，所述第二图像梯度损失用于衡量所述第二预测去噪图像的图像梯度和所述无噪声样本图像的图像梯度之间的差异；
根据所述第二像素级损失、所述第二语义特征损失和所述第二图像梯度损失，确定所述第二训练损失。
6.根据权利要求1所述的方法，其特征在于，所述图像去噪模型还包括判别器；所述方法还包括：
通过所述判别器对所述第一预测去噪图像和所述无噪声样本图像分别进行像素级判别，得到所述第一预测去噪图像和所述无噪声样本图像分别对应的像素级判别结果；
基于所述像素级判别结果，确定所述判别器对应的判别损失，所述判别损失用于衡量所述判别器输出的所述像素级判别结果的准确度；
其中，所述判别损失用于调整所述判别器的参数，还用于调整所述编码器和所述第一解码器的参数。
7.根据权利要求6所述的方法，其特征在于，所述判别器包括特征映射层、n个级联的下采样层、n个级联的上采样层和特征提取层，n为大于1的整数；
所述通过所述判别器对所述第一预测去噪图像和所述无噪声样本图像分别进行像素级判别，得到所述第一预测去噪图像和所述无噪声样本图像分别对应的像素级判别结果，包括：
通过所述特征映射层对所述第一预测去噪图像或所述无噪声样本图像进行处理，得到所述第一预测去噪图像或所述无噪声样本图像的初始特征图；
通过所述n个级联的下采样层对所述初始特征图进行n步下采样处理，得到下采样特征图；
通过所述n个级联的上采样层对所述下采样特征图进行n步上采样处理，得到上采样特征图；其中，所述下采样层和所述上采用层之间采用跳跃连接；
通过所述特征提取层对所述上采样特征图进行处理，得到所述第一预测去噪图像或所述无噪声样本图像的像素级判别结果。
8.根据权利要求1所述的方法，其特征在于，所述图像去噪模型还包括分类器；所述方法还包括：
通过所述分类器对所述带噪样本图像或所述无噪声样本图像的特征信息进行处理，得到所述带噪样本图像或所述无噪声样本图像的噪声预测结果，所述噪声预测结果用于指示所述带噪样本图像或所述无噪声样本图像中是否包含噪声；
根据所述噪声预测结果和噪声真实结果，确定第三训练损失，所述第三训练损失用于衡量所述噪声预测结果和所述噪声真实结果的差异；
基于所述第三训练损失，调整所述编码器和所述分类器的参数。
9.根据权利要求1所述的方法，其特征在于，所述根据所述预测噪声图像和所述带噪样本图像，生成所述带噪样本图像对应的第一预测去噪图像，包括：
将所述带噪样本图像和所述预测噪声图像中对应位置像素的数值相除，得到所述第一预测去噪图像；
或者，
将所述带噪样本图像和所述预测噪声图像中对应位置像素的数值相减，得到所述第一预测去噪图像。
10.根据权利要求1至9任一项所述的方法，其特征在于，所述获取所述图像去噪模型的训练样本之后，还包括：
对所述带噪样本图像和所述无噪声样本图像执行相同的数据增强处理，所述数据增强处理包括以下至少一种：随机缩放、随机裁剪、随机水平翻转、随机垂直翻转、随机旋转、仿射变换、平移缩放旋转、透视变换；
其中，经过所述数据增强处理后的所述带噪样本图像或者所述无噪声样本图像，输入至所述编码器进行特征提取。
11.一种图像去噪方法，其特征在于，所述方法包括：
获取待图像去噪模型处理的带噪图像，所述图像去噪模型包括编码器和第一解码器；
通过所述编码器提取所述带噪图像的特征信息；
通过所述第一解码器对所述带噪图像的特征信息进行处理，得到所述带噪图像对应的噪声图像；
根据所述噪声图像和所述带噪图像，生成所述带噪图像对应的去噪图像。
12.根据权利要求11所述的方法，其特征在于，所述根据所述噪声图像和所述带噪图像，生成所述带噪图像对应的去噪图像，包括：
将所述带噪图像和所述噪声图像中对应位置像素的数值相除，得到所述第一预测去噪图像；
或者，
将所述带噪图像和所述噪声图像中对应位置像素的数值相减，得到所述第一预测去噪图像。
13.根据权利要求11所述的方法，其特征在于，所述编码器包括k个级联的下采用层，所述第一解码器包括k个级联的上采用层，k为大于1的整数；
所述通过所述第一解码器对所述带噪图像的特征信息进行处理，得到所述带噪图像对应的噪声图像，包括：
通过所述k个级联的上采用层对所述带噪图像的特征信息进行k步上采样处理，得到所述噪声图像；其中，所述下采样层和所述上采用层之间采用跳跃连接。
14.根据权利要求11所述的方法，其特征在于，所述图像去噪模型还包括分类器；所述方法还包括：
通过所述分类器对所述带噪图像的特征信息进行处理，得到所述带噪图像的噪声预测结果，所述噪声预测结果用于指示所述带噪图像中是否包含噪声；
在所述噪声预测结果指示所述带噪图像中包含噪声的情况下，执行所述通过所述第一解码器对所述带噪图像的特征信息进行处理，得到所述带噪图像对应的噪声图像的步骤。
15.根据权利要求11至14任一项所述的方法，其特征在于，所述方法还包括：
对所述带噪图像进行第一尺寸调整处理，得到调整后的带噪图像；其中，所述调整后的带噪图像输入至所述编码器进行特征提取；
对所述噪声图像进行第二尺寸调整处理，得到调整后的噪声图像；其中，所述第二尺寸调整处理是与所述第一尺寸调整处理相对应的逆向调整处理；
所述根据所述噪声图像和所述带噪图像，生成所述带噪图像对应的去噪图像，包括：
根据所述调整后的噪声图像和所述带噪图像，生成所述带噪图像对应的去噪图像。
16.一种图像去噪模型的训练装置，其特征在于，所述图像去噪模型包括编码器、第一解码器和第二解码器；所述装置包括：
样本获取模块，用于获取所述图像去噪模型的训练样本，所述训练样本包括无噪声样本图像、纯噪声图像，以及基于所述无噪声样本图像和所述纯噪声图像生成的带噪样本图像；
信息提取模块，用于通过所述编码器提取所述带噪样本图像的特征信息；
第一处理模块，用于通过所述第一解码器对所述带噪样本图像的特征信息进行处理，得到所述带噪样本图像对应的预测噪声图像；根据所述预测噪声图像和所述带噪样本图像，生成所述带噪样本图像对应的第一预测去噪图像；
第二处理模块，用于通过所述第二解码器对所述带噪样本图像的特征信息进行处理，得到所述带噪样本图像对应的第二预测去噪图像；
参数调整模块，用于根据所述第一预测去噪图像、所述第二预测去噪图像和所述无噪声样本图像，确定所述图像去噪模型的训练损失，并基于所述训练损失调整所述图像去噪模型的参数。
17.一种图像去噪装置，其特征在于，所述装置包括：
图像获取模块，用于获取待图像去噪模型处理的带噪图像，所述图像去噪模型包括编码器和第一解码器；
信息提取模块，用于通过所述编码器提取所述带噪图像的特征信息；
信息处理模块，用于通过所述第一解码器对所述带噪图像的特征信息进行处理，得到所述带噪图像对应的噪声图像；
图像生成模块，用于根据所述噪声图像和所述带噪图像，生成所述带噪图像对应的去噪图像。
18.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至10任一项所述的图像去噪模型的训练方法，或者实现如权利要求11至15任一项所述的图像去噪方法。
19.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至10任一项所述的图像去噪模型的训练方法，或者实现如权利要求11至15任一项所述的图像去噪方法。
20.一种计算机程序产品或计算机程序，其特征在于，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中，处理器从手术室计算机可读存储介质读取并执行所述计算机指令，以实现如权利要求1至10任一项所述的图像去噪模型的训练方法，或者实现如权利要求11至15任一项所述的图像去噪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210089889.XA CN116543246A (zh) | 2022-01-25 | 2022-01-25 | 图像去噪模型的训练方法、图像去噪方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210089889.XA CN116543246A (zh) | 2022-01-25 | 2022-01-25 | 图像去噪模型的训练方法、图像去噪方法、装置及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116543246A true CN116543246A (zh) | 2023-08-04 |
Family
ID=87447652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210089889.XA Pending CN116543246A (zh) | 2022-01-25 | 2022-01-25 | 图像去噪模型的训练方法、图像去噪方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116543246A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117649358A (zh) * | 2024-01-30 | 2024-03-05 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备及存储介质 |
-
2022
- 2022-01-25 CN CN202210089889.XA patent/CN116543246A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117649358A (zh) * | 2024-01-30 | 2024-03-05 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN117649358B (zh) * | 2024-01-30 | 2024-04-16 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106934397B (zh) | 图像处理方法、装置及电子设备 | |
| CN112132959B (zh) | 数字岩心图像处理方法、装置、计算机设备及存储介质 | |
| CN108205803B (zh) | 图像处理方法、神经网络模型的训练方法及装置 | |
| US11741581B2 (en) | Training method for image processing model, image processing method, network device, and storage medium | |
| CN111860398B (zh) | 遥感图像目标检测方法、***及终端设备 | |
| WO2022134971A1 (zh) | 一种降噪模型的训练方法及相关装置 | |
| CN113191489B (zh) | 二值神经网络模型的训练方法、图像处理方法和装置 | |
| CN116368500A (zh) | 模型训练方法、图像处理方法、计算处理设备及非瞬态计算机可读介质 | |
| KR20200144398A (ko) | 클래스 증가 학습을 수행하는 장치 및 그의 동작 방법 | |
| CN111626134B (zh) | 一种基于隐密度分布的密集人群计数方法、***及终端 | |
| CN112488923A (zh) | 图像超分辨率重建方法、装置、存储介质及电子设备 | |
| CN112001923B (zh) | 一种视网膜图像分割方法及装置 | |
| CN111444807A (zh) | 目标检测方法、装置、电子设备和计算机可读介质 | |
| CN111951192A (zh) | 一种拍摄图像的处理方法及拍摄设备 | |
| CN116958131A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| CN116543246A (zh) | 图像去噪模型的训练方法、图像去噪方法、装置及设备 | |
| CN117392293A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN111815748A (zh) | 一种动画处理方法、装置、存储介质及电子设备 | |
| CN113807354B (zh) | 图像语义分割方法、装置、设备和存储介质 | |
| CN115049546A (zh) | 样本数据处理方法、装置、电子设备及存储介质 | |
| CN112052863B (zh) | 一种图像检测方法及装置、计算机存储介质、电子设备 | |
| Chen et al. | Capture the devil in the details via partition-then-ensemble on higher resolution images | |
| CN116309274B (zh) | 图像中小目标检测方法、装置、计算机设备及存储介质 | |
| CN112990215B (zh) | 图像去噪方法、装置、设备及存储介质 | |
| CN113469172B (zh) | 目标定位、模型训练、界面交互方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40091063 Country of ref document: HK |