CN111724309B - 图像处理方法及装置、神经网络的训练方法、存储介质 - Google Patents

图像处理方法及装置、神经网络的训练方法、存储介质 Download PDF

Info

Publication number
CN111724309B
CN111724309B CN201910209662.2A CN201910209662A CN111724309B CN 111724309 B CN111724309 B CN 111724309B CN 201910209662 A CN201910209662 A CN 201910209662A CN 111724309 B CN111724309 B CN 111724309B
Authority
CN
China
Prior art keywords
output
image
sampling process
upsampling
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910209662.2A
Other languages
English (en)
Other versions
CN111724309A (zh
Inventor
刘瀚文
张丽杰
朱丹
那彦波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910209662.2A priority Critical patent/CN111724309B/zh
Priority to PCT/CN2020/077763 priority patent/WO2020187029A1/zh
Publication of CN111724309A publication Critical patent/CN111724309A/zh
Application granted granted Critical
Publication of CN111724309B publication Critical patent/CN111724309B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种图像处理方法、图像处理装置、神经网络的训练方法以及存储介质。该图像处理方法包括：接收第一特征图像；以及对第一特征图像进行至少一次多尺度循环采样处理；其中，多尺度循环采样处理包括嵌套的第一层级采样处理和第二层级采样处理，第一层级采样处理包括依次执行的第一下采样处理、第一上采样处理和第一残差链接相加处理，第二层级采样处理嵌套在第一下采样处理和第一上采样处理之间，第二层级采样处理包括依次执行的第二下采样处理、第二上采样处理和第二残差链接相加处理。该图像处理方法可以对低质量的输入图像进行图像增强处理，通过在多个尺度上反复采样以获取更高的图像保真度，可以大幅提升输出图像的质量。

Description

图像处理方法及装置、神经网络的训练方法、存储介质
技术领域
本公开的实施例涉及一种图像处理方法、图像处理装置、神经网络的训练方法以及存储介质。
背景技术
当前，基于人工神经网络的深度学习技术已经在诸如图像分类、图像捕获和搜索、面部识别、年龄和语音识别等领域取得了巨大进展。深度学习的优势在于可以利用通用的结构以相对类似的***解决非常不同的技术问题。卷积神经网络(Convolutional NeuralNetwork，CNN)是近年发展起来并引起广泛重视的一种人工神经网络，CNN是一种特殊的图像识别方式，属于非常有效的带有前向反馈的网络。现在，CNN的应用范围已经不仅仅限于图像识别领域，也可以应用在人脸识别、文字识别、图像处理等应用方向。
发明内容
本公开至少一个实施例提供一种图像处理方法，包括：接收第一特征图像；以及对所述第一特征图像进行至少一次多尺度循环采样处理；
其中，所述多尺度循环采样处理包括嵌套的第一层级采样处理和第二层级采样处理，所述第一层级采样处理包括第一下采样处理、第一上采样处理和第一残差链接相加处理，其中，所述第一下采样处理基于第一层级采样处理的输入进行下采样处理得到第一下采样输出，所述第一上采样处理基于所述第一下采样输出进行上采样处理得到第一上采样输出，所述第一残差链接相加处理将所述第一层级采样处理的输入和所述第一上采样输出进行第一残差链接相加，然后将所述第一残差链接相加的结果作为第一层级采样处理的输出；所述第二层级采样处理嵌套在所述第一下采样处理和所述第一上采样处理之间，接收所述第一下采样输出作为第二层级采样处理的输入，提供第二层级采样处理的输出作为第一上采样处理的输入，以使得所述第一上采样处理基于所述第一下采样输出进行上采样处理；所述第二层级采样处理包括第二下采样处理、第二上采样处理和第二残差链接相加处理，其中，所述第二下采样处理基于所述第二层级采样处理的输入进行下采样处理得到第二下采样输出，所述第二上采样处理基于所述第二下采样输出进行上采样处理得到第二上采样输出，所述第二残差链接相加处理将所述第二层级采样处理的输入和所述第二上采样输出进行第二残差链接相加，然后将所述第二残差链接相加的结果作为所述第二层级采样处理的输出。
例如，在本公开一实施例提供的图像处理方法中，所述第一上采样处理的输出的尺寸与所述第一下采样处理的输入的尺寸相同；所述第二上采样处理的输出的尺寸与所述第二下采样处理的输入的尺寸相同。
例如，在本公开一实施例提供的图像处理方法中，所述多尺度循环采样处理还包括第三层级采样处理，所述第三层级采样处理嵌套在所述第二下采样处理和所述第二上采样处理之间，接收所述第二下采样输出作为第三层级采样处理的输入，提供第三层级采样处理的输出作为第二上采样处理的输入，以使得所述第二上采样处理基于所述第二下采样输出进行上采样处理；所述第三层级采样处理包括第三下采样处理、第三上采样处理和第三残差链接相加处理，其中，所述第三下采样处理基于所述第三层级采样处理的输入进行下采样处理得到第三下采样输出，所述第三上采样处理基于所述第三下采样输出进行上采样处理得到第三上采样输出，所述第三残差链接相加处理将所述第三层级采样处理的输入和所述第三上采样输出进行第三残差链接相加，然后将所述第三残差链接相加的结果作为所述第三层级采样处理的输出。
例如，在本公开一实施例提供的图像处理方法中，所述多尺度循环采样处理包括多次依次执行的所述第二层级采样处理，第一次所述第二层级采样处理接收所述第一下采样输出作为第一次所述第二层级采样处理的输入，除第一次所述第二层级采样处理之外的每次所述第二层级采样处理接收前一次所述第二层级采样处理的输出作为本次所述第二层级采样处理的输入，最后一次所述第二层级采样处理的输出作为所述第一上采样处理的输入。
例如，在本公开一实施例提供的图像处理方法中，所述至少一次多尺度循环采样处理包括多次依次执行的所述多尺度循环采样处理，每次所述多尺度循环采样处理的输入作为本次所述多尺度循环采样处理中的所述第一层级采样处理的输入，每次所述多尺度循环采样处理中的所述第一层级采样处理的输出作为本次所述多尺度循环采样处理的输出；第一次所述多尺度循环采样处理接收所述第一特征图像作为第一次所述多尺度循环采样处理的输入，除第一次所述多尺度循环采样处理之外的每次所述多尺度循环采样处理接收前一次所述多尺度循环采样处理的输出作为本次所述多尺度循环采样处理的输入，最后一次所述多尺度循环采样处理的输出作为所述至少一次多尺度循环采样处理的输出。
例如，在本公开一实施例提供的图像处理方法中，所述多尺度循环采样处理还包括：在所述第一下采样处理、所述第一上采样处理、所述第二下采样处理和所述第二上采样处理之后，分别对所述第一下采样输出、所述第一上采样输出、所述第二下采样输出和所述第二上采样输出进行实例标准化处理或层标准化处理。
例如，本公开一实施例提供的图像处理方法还包括：使用第一卷积神经网络进行所述多尺度循环采样处理；其中，所述第一卷积神经网络包括：第一元网络，用于执行所述第一层级采样处理；第二元网络，用于执行所述第二层级采样处理。
例如，在本公开一实施例提供的图像处理方法中，所述第一元网络包括：第一子网络，用于执行所述第一下采样处理；第二子网络，用于执行所述第一上采样处理；所述第二元网络包括：第三子网络，用于执行所述第二下采样处理；第四子网络，用于执行所述第二上采样处理。
例如，在本公开一实施例提供的图像处理方法中，所述第一子网络、所述第二子网络、所述第三子网络和所述第四子网络中每一个包括卷积层、残差网络、密集网络之一。
例如，在本公开一实施例提供的图像处理方法中，所述第一子网络、所述第二子网络、所述第三子网络和所述第四子网络中的每一个都包括实例标准化层或层标准化层，所述实例标准化层用于执行实例标准化处理，所述层标准化层用于执行层标准化处理。
例如，本公开一实施例提供的图像处理方法还包括：获取输入图像；使用分析网络将输入图像转换为所述第一特征图像；以及使用合成网络将所述至少一次多尺度循环采样处理的输出转换为输出图像。
本公开至少一个实施例还提供一种神经网络的训练方法，其中，所述神经网络包括：分析网络、第一子神经网络和合成网络，所述分析网络对输入图像进行处理以得到第一特征图像，所述第一子神经网络对所述第一特征图像进行至少一次多尺度循环采样处理以得到第二特征图像，所述合成网络对所述第二特征图像进行处理以得到输出图像；
所述训练方法包括：获取训练输入图像；使用所述分析网络对所述训练输入图像进行处理以提供第一训练特征图像；使用所述第一子神经网络对所述第一训练特征图像进行所述至少一次多尺度循环采样处理以得到第二训练特征图像；使用所述合成网络对所述第二训练特征图像进行处理以得到训练输出图像；基于所述训练输出图像，通过损失函数计算所述神经网络的损失值；以及根据所述损失值对所述神经网络的参数进行修正；
其中，所述多尺度循环采样处理包括嵌套的第一层级采样处理和第二层级采样处理，所述第一层级采样处理包括依次执行的第一下采样处理、第一上采样处理和第一残差链接相加处理，其中，所述第一下采样处理基于第一层级采样处理的输入进行下采样处理得到第一下采样输出，所述第一上采样处理基于所述第一下采样输出进行上采样处理得到第一上采样输出，所述第一残差链接相加处理将所述第一层级采样处理的输入和所述第一上采样输出进行第一残差链接相加，然后将所述第一残差链接相加的结果作为第一层级采样处理的输出；所述第二层级采样处理嵌套在所述第一下采样处理和所述第一上采样处理之间，接收所述第一下采样输出作为第二层级采样处理的输入，提供第二层级采样处理的输出作为第一上采样处理的输入，以使得所述第一上采样处理基于所述第一下采样输出进行上采样处理；所述第二层级采样处理包括依次执行的第二下采样处理、第二上采样处理和第二残差链接相加处理，其中，所述第二下采样处理基于所述第二层级采样处理的输入进行下采样处理得到第二下采样输出，所述第二上采样处理基于所述第二下采样输出进行上采样处理得到第二上采样输出，所述第二残差链接相加处理将所述第二层级采样处理的输入和所述第二上采样输出进行所述第二残差链接相加，然后将所述第二残差链接相加的结果作为所述第二层级采样处理的输出。
例如，在本公开一实施例提供的训练方法中，所述第一上采样处理的输出的尺寸与所述第一下采样处理的输入的尺寸相同；所述第二上采样处理的输出的尺寸与所述第二下采样处理的输入的尺寸相同。
例如，在本公开一实施例提供的训练方法中，所述第一子神经网络包括：第一元网络，用于执行所述第一层级采样处理；第二元网络，用于执行所述第二层级采样处理。
例如，在本公开一实施例提供的训练方法中，所述第一元网络包括：第一子网络，用于执行所述第一下采样处理；第二子网络，用于执行所述第一上采样处理；所述第二元网络包括：第三子网络，用于执行所述第二下采样处理；第四子网络，用于执行所述第二上采样处理。
例如，在本公开一实施例提供的训练方法中，所述第一子网络、所述第二子网络、所述第三子网络和所述第四子网络中的每一个包括卷积层、残差网络、密集网络之一。
例如，在本公开一实施例提供的训练方法中，所述第一子网络、所述第二子网络、所述第三子网络和所述第四子网络中的每一个都包括实例标准化层或层标准化层，所述实例标准化层用于分别对所述第一下采样输出、所述第一上采样输出、所述第二下采样输出和所述第二上采样输出进行实例标准化处理，所述层标准化层用于分别对所述第一下采样输出、所述第一上采样输出、所述第二下采样输出和所述第二上采样输出进行层标准化处理。
本公开至少一个实施例还提供一种图像处理装置，包括：存储器，用于非暂时性存储计算机可读指令；以及处理器，用于运行所述计算机可读指令，所述计算机可读指令被所述处理器运行时执行本公开任一实施例提供的图像处理方法。
本公开至少一个实施例还提供一种存储介质，非暂时性地存储计算机可读指令，当所述计算机可读指令由计算机执行时可以执行本公开任一实施例提供的图像处理方法的指令。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。
为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。
图1为一种卷积神经网络的示意图；
图2A为一种卷积神经网络的结构示意图；
图2B为一种卷积神经网络的工作过程示意图；
图3为本公开一实施例提供的一种图像处理方法的流程图；
图4A为本公开一实施例提供的一种对应于图3所示的图像处理方法中的多尺度循环采样处理的示意性流程框图；
图4B为本公开另一实施例提供的一种对应于图3所示的图像处理方法中的多尺度循环采样处理的示意性流程框图；
图4C为本公开再一实施例提供的一种对应于图3所示的图像处理方法中的多尺度循环采样处理的示意性流程框图；
图4D为本公开又一实施例提供的一种对应于图3所示的图像处理方法中的多尺度循环采样处理的示意性流程框图；
图5为本公开另一实施例提供的一种图像处理方法的流程图；
图6A为一种输入图像的示意图；
图6B为根据本公开一实施例提供的一种图像处理方法对图6A所示的输入图像进行处理得到的输出图像的示意图；
图7A为本公开一实施例提供的一种神经网络的结构示意图；
图7B为本公开一实施例提供的一种神经网络的训练方法的流程图；
图7C为本公开一实施例提供的一种对应于图7B中所示的训练方法训练图7A所示的神经网络的示意性架构框图；
图8为本公开一实施例提供的一种图像处理装置的示意性框图；以及
图9为本公开一实施例提供的一种存储介质的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
下面通过几个具体的实施例对本公开进行说明。为了保持本公开实施例的以下说明清楚且简明，可省略已知功能和已知部件的详细说明。当本公开实施例的任一部件在一个以上的附图中出现时，该部件在每个附图中由相同或类似的参考标号表示。
图像增强是图像处理领域的研究热点之一。由于在图像采集过程中存在各种物理因素的限制(例如，手机相机的图像传感器尺寸太小以及其他软件、硬件的限制等)以及环境噪声的干扰，会导致图像质量大大降低。图像增强的目的是通过图像增强技术，改善图像的灰度直方图，提高图像的对比度，从而凸显图像细节信息，改善图像的视觉效果。
利用深度神经网络进行图像增强是随着深度学习技术的发展而新兴起来的技术。例如，基于卷积神经网络，可以对手机拍摄的低质量的照片(输入图像)进行处理以获得高质量的输出图像，该输出图像的质量可以接近于数码单镜反光相机(Digital Single LensReflex Camera，常简称为DSLR，也简称为数码单反相机)拍摄的照片的质量。例如，常用峰值信噪比(Peak Signal to Noise Ratio，PSNR)指标来表征图像质量，其中PSNR值越高表示图像越接近于真实的数码单镜反光相机拍摄的照片。
例如，Andrey Ignatov等人提出了一种卷积神经网络实现图像增强的方法，请参见文献，Andrey Ignatov,Nikolay Kobyshev,Kenneth Vanhoey,Radu Timofte,Luc VanGool,DSLR-Quality Photos on Mobile Devices with Deep ConvolutionalNetworks.arXiv:1704.02470v2[cs.CV]，2017年9月5日。在此将该文献全文引用结合于此，以作为本申请的一部分。该方法主要是利用卷积层、批量标准化层及残差连接构建了一种单一尺度的卷积神经网络，利用该网络可以将输入的低质量图像(例如，对比度较低，图像曝光不足或曝光过度，整幅图像过暗或过亮等)处理成一张较高质量图像。利用颜色损失、纹理损失及内容损失作为训练中的损失函数，能够取得较好的处理效果。
本公开至少一个实施例提供一种图像处理方法、图像处理装置、神经网络的训练方法以及存储介质。该图像处理方法提出了一种基于卷积神经网络的多尺度循环采样方法，通过在多个尺度上反复采样以获取更高的图像保真度，可以大幅提升输出图像的质量，适用于对于图像质量要求较高的批处理等离线应用。
最初，卷积神经网络(Convolutional Neural Network，CNN)主要用于识别二维形状，其对图像的平移、比例缩放、倾斜或其他形式的变形具有高度不变性。CNN主要通过局部感知野和权值共享来简化神经网络模型的复杂性、减少权重的数量。随着深度学习技术的发展，CNN的应用范围已经不仅仅限于图像识别领域，其也可以应用在人脸识别、文字识别、动物分类、图像处理等领域。
图1示出了一种卷积神经网络的示意图。例如，该卷积神经网络可以用于图像处理，其使用图像作为输入和输出，并通过卷积核替代标量的权重。图1中仅示出了具有3层结构的卷积神经网络，本公开的实施例对此不作限制。如图1所示，卷积神经网络包括输入层101、隐藏层102和输出层103。输入层101具有4个输入，隐藏层102具有3个输出，输出层103具有2个输出，最终该卷积神经网络最终输出2幅图像。
例如，输入层101的4个输入可以为4幅图像，或者1幅图像的四种特征图像。隐藏层102的3个输出可以为经过输入层101输入的图像的特征图像。
例如，如图1所示，卷积层具有权重
Figure BDA0002000085010000081
和偏置/>
Figure BDA0002000085010000082
权重/>
Figure BDA0002000085010000083
表示卷积核，偏置/>
Figure BDA0002000085010000084
是叠加到卷积层的输出的标量，其中，k是表示输入层101的标签，i和j分别是输入层101的单元和隐藏层102的单元的标签。例如，第一卷积层201包括第一组卷积核(图1中的/>
Figure BDA0002000085010000085
)和第一组偏置(图1中的/>
Figure BDA0002000085010000086
)。第二卷积层202包括第二组卷积核(图1中的/>
Figure BDA0002000085010000087
)和第二组偏置(图1中的/>
Figure BDA0002000085010000088
)。通常，每个卷积层包括数十个或数百个卷积核，若卷积神经网络为深度卷积神经网络，则其可以包括至少五层卷积层。
例如，如图1所示，该卷积神经网络还包括第一激活层203和第二激活层204。第一激活层203位于第一卷积层201之后，第二激活层204位于第二卷积层202之后。激活层(例如，第一激活层203和第二激活层204)包括激活函数，激活函数用于给卷积神经网络引入非线性因素，以使卷积神经网络可以更好地解决较为复杂的问题。激活函数可以包括线性修正单元(ReLU)函数、S型函数(Sigmoid函数)或双曲正切函数(tanh函数)等。ReLU函数为非饱和非线性函数，Sigmoid函数和tanh函数为饱和非线性函数。例如，激活层可以单独作为卷积神经网络的一层，或者激活层也可以被包含在卷积层(例如，第一卷积层201可以包括第一激活层203，第二卷积层202可以包括第二激活层204)中。
例如，在第一卷积层201中，首先，对每个输入应用第一组卷积核中的若干卷积核
Figure BDA0002000085010000091
和第一组偏置中的若干偏置/>
Figure BDA0002000085010000092
以得到第一卷积层201的输出；然后，第一卷积层201的输出可以通过第一激活层203进行处理，以得到第一激活层203的输出。在第二卷积层202中，首先，对输入的第一激活层203的输出应用第二组卷积核中的若干卷积核/>
Figure BDA0002000085010000093
和第二组偏置中的若干偏置/>
Figure BDA0002000085010000094
以得到第二卷积层202的输出；然后，第二卷积层202的输出可以通过第二激活层204进行处理，以得到第二激活层204的输出。例如，第一卷积层201的输出可以为对其输入应用卷积核/>
Figure BDA0002000085010000095
后再与偏置/>
Figure BDA0002000085010000096
相加的结果，第二卷积层202的输出可以为对第一激活层203的输出应用卷积核/>
Figure BDA0002000085010000097
后再与偏置/>
Figure BDA0002000085010000098
相加的结果。
在利用卷积神经网络进行图像处理前，需要对卷积神经网络进行训练。经过训练之后，卷积神经网络的卷积核和偏置在图像处理期间保持不变。在训练过程中，各卷积核和偏置通过多组输入/输出示例图像以及优化算法进行调整，以获取优化后的卷积神经网络模型。
图2A示出了一种卷积神经网络的结构示意图，图2B示出了一种卷积神经网络的工作过程示意图。例如，如图2A和2B所示，输入图像通过输入层输入到卷积神经网络后，依次经过若干个处理过程(如图2A中的每个层级)后输出类别标识。卷积神经网络的主要组成部分可以包括多个卷积层、多个下采样层和全连接层等。本公开中，应该理解的是，多个卷积层、多个下采样层和全连接层等这些层每个都指代对应的处理操作，即卷积处理、下采样处理、全连接处理等，所描述的神经网络也都指代对应的处理操作，以下将要描述的实例标准化层或层标准化层等也与此类似，这里不再重复说明。例如，一个完整的卷积神经网络可以由这三种层叠加组成。例如，图2A仅示出了一种卷积神经网络的三个层级，即第一层级、第二层级和第三层级。例如，每个层级可以包括一个卷积模块和一个下采样层。例如，每个卷积模块可以包括卷积层。由此，每个层级的处理过程可以包括：对输入图像进行卷积(convolution)以及下采样(sub-sampling/down-sampling)。例如，根据实际需要，每个卷积模块还可以包括实例标准化(instance normalization)层或层标准化(layernormalization)层，从而每个层级的处理过程还可以包括实例标准化处理或层标准化处理。
例如，实例标准化层用于对卷积层输出的特征图像进行实例标准化处理，以使特征图像的像素的灰度值在预定范围内变化，从而简化图像生成过程，改善图像增强的效果。例如，预定范围可以为[-1，1]。实例标准化层根据每个特征图像自身的均值和方差，对该特征图像进行实例标准化处理。例如，实例标准化层还可用于对单幅图像进行实例标准化处理。
例如，假设小批梯度下降法(mini-batch gradient decent)的尺寸为T，某一卷积层输出的特征图像的数量为C，且每个特征图像均为H行W列的矩阵，则特征图像的模型表示为(T,C,H,W)。从而，实例标准化层的实例标准化公式可以表示如下：
Figure BDA0002000085010000101
其中，xtijk为该卷积层输出的特征图像集合中的第t个特征块(patch)、第i个特征图像、第j行、第k列的值。ytijk表示经过实例标准化层处理xtijk后得到的结果。e1为一个很小的整数，以避免分母为0。
例如，层标准化层与实例标准化层类似，也用于对卷积层输出的特征图像进行层标准化处理，以使特征图像的像素的灰度值在预定范围内变化，从而简化图像生成过程，改善图像增强的效果。例如，预定范围可以为[-1，1]。与实例标准化层不同的是，层标准化层根据每个特征图像每一列的均值和方差，对该特征图像的每一列进行层标准化处理，从而实现对该特征图像的层标准化处理。例如，层标准化层也可用于对单幅图像进行层标准化处理。
例如，仍然以上述小批梯度下降法(mini-batch gradient decent)为例，特征图像的模型表示为(T,C,H,W)。从而，层标准化层的层标准化公式可以表示如下：
Figure BDA0002000085010000102
其中，xtijk为该卷积层输出的特征图像集合中的第t个特征块(patch)、第i个特征图像、第j行、第k列的值。y′tijk表示经过层标准化层处理xtijk后得到的结果。e2为一个很小的整数，以避免分母为0。
卷积层是卷积神经网络的核心层。在卷积神经网络的卷积层中，一个神经元只与部分相邻层的神经元连接。卷积层可以对输入图像应用若干个卷积核(也称为滤波器)，以提取输入图像的多种类型的特征。每个卷积核可以提取一种类型的特征。卷积核一般以随机小数矩阵的形式初始化，在卷积神经网络的训练过程中卷积核将通过学习以得到合理的权值。对输入图像应用一个卷积核之后得到的结果被称为特征图像(feature map)，特征图像的数目与卷积核的数目相等。每个特征图像由一些矩形排列的神经元组成，同一特征图像的神经元共享权值，这里共享的权值就是卷积核。一个层级的卷积层输出的特征图像可以被输入到相邻的下一个层级的卷积层并再次处理以得到新的特征图像。例如，如图2A所示，第一层级的卷积层可以输出第一层级特征图像，该第一层级特征图像被输入到第二层级的卷积层再次处理以得到第二层级特征图像。
例如，如图2B所示，卷积层可以使用不同的卷积核对输入图像的某一个局部感受域的数据进行卷积，卷积结果被输入激活层，该激活层根据相应的激活函数进行计算以得到输入图像的特征信息。
例如，如图2A和2B所示，下采样层设置在相邻的卷积层之间，下采样层是下采样的一种形式。一方面，下采样层可以用于缩减输入图像的规模，简化计算的复杂度，在一定程度上减小过拟合的现象；另一方面，下采样层也可以进行特征压缩，提取输入图像的主要特征。下采样层能够减少特征图像的尺寸，但不改变特征图像的数量。例如，一个尺寸为12×12的输入图像，通过6×6的卷积核对其进行采样，那么可以得到2×2的输出图像，这意味着输入图像上的36个像素合并为输出图像中的1个像素。最后一个下采样层或卷积层可以连接到一个或多个全连接层，全连接层用于连接提取的所有特征。全连接层的输出为一个一维矩阵，也就是向量。
下面结合附图对本公开的一些实施例及其示例进行详细说明。
图3为本公开一实施例提供的一种图像处理方法的流程图。例如，如图3所示，该图像处理方法包括：
步骤S110：接收第一特征图像；
步骤S120：对第一特征图像进行至少一次多尺度循环采样处理。
例如，在步骤S110中，第一特征图像可以包括输入图像经过卷积层、残差网络、密集网络等之一处理后得到的特征图像(例如，可以参考图2B)。例如，残差网络通过例如残差连接相加的方式将其输入以一定的比例保持在其输出中。例如，密集网络包括瓶颈层(bottleneck layer)和卷积层，例如，在一些示例中，瓶颈层用于对数据进行降维以减少后续卷积操作中的参数数量，例如瓶颈层的卷积核为1x1卷积核，例如卷积层的卷积核为3x3卷积核；本公开包括但不限于此。例如，输入图像经过卷积、下采样等处理以得到第一特征图像。需要说明的是，本实施例对第一特征图像的获取方式不作限制。例如，第一特征图像可以包括多个特征图像，但不限于此。
例如，在步骤S110中接收的第一特征图像作为步骤S120中的多尺度循环采样处理的输入。例如，多尺度循环采样处理可以具有多种形式，包括但不限于下文中将要说明的图4A-4C所示的三种形式。
图4A为本公开一实施例提供的一种对应于图3所示的图像处理方法中的多尺度循环采样处理的示意性流程框图。如图4A所示，多尺度循环采样处理包括嵌套的第一层级采样处理和第二层级采样处理。
例如，如图4A所示，多尺度循环采样处理的输入作为第一层级采样处理的输入，第一层级采样处理的输出作为多尺度循环采样处理的输出。例如多尺度循环采样处理的输出称为第二特征图像，例如，第二特征图像的尺寸(像素阵列的行和列的数值)可以和第一特征图像的尺寸相同。
例如，如图4A所示，第一层级采样处理包括依次执行的第一下采样处理、第一上采样处理和第一残差链接相加处理。第一下采样处理基于第一层级采样处理的输入进行下采样处理得到第一下采样输出，例如，第一下采样处理可以直接对第一层级采样处理的输入进行下采样以得到第一下采样输出。第一上采样处理基于第一下采样输出进行上采样处理得到第一上采样输出，例如，在第一下采样输出经过第二层级采样处理之后，再进行上采样处理以得到第一上采样输出，即第一上采样处理可以间接地对第一下采样输出进行上采样处理。第一残差链接相加处理将第一层级采样处理的输入和第一上采样输出进行第一残差链接相加，然后将第一残差链接相加的结果作为第一层级采样处理的输出。例如，第一上采样处理的输出(即第一上采样输出)的尺寸与第一层级采样处理的输入(即第一下采样处理的输入)的尺寸相同，从而经过第一残差链接相加后，第一层级采样处理的输出的尺寸与第一层级采样处理的输入的尺寸相同。
例如，如图4A所示，第二层级采样处理嵌套在第一层级采样处理的第一下采样处理和第一上采样处理之间，接收第一下采样输出作为第二层级采样处理的输入，提供第二层级采样处理的输出作为第一上采样处理的输入，以使得第一上采样处理基于第一下采样输出进行上采样处理。
例如，如图4A所示，第二层级采样处理包括依次执行的第二下采样处理、第二上采样处理和第二残差链接相加处理。第二下采样处理基于第二层级采样处理的输入进行下采样处理得到第二下采样输出，例如，第二下采样处理可以直接对第二层级采样处理的输入进行下采样以得到第二下采样输出。第二上采样处理基于第二下采样输出进行上采样处理得到第二上采样输出，例如，第二上采样处理可以直接对第二下采样输出进行上采样以得到第二上采样输出。第二残差链接相加处理将第二层级采样处理的输入和第二上采样输出进行第二残差链接相加，然后将第二残差链接相加的结果作为第二层级采样处理的输出。例如，第二上采样处理的输出(即第二上采样输出)的尺寸与第二层级采样处理的输入(即第二下采样处理的输入)的尺寸相同，从而经过第二残差链接相加后，第二层级采样处理的输出的尺寸与第二层级采样处理的输入的尺寸相同。
需要说明的是，在本公开的一些实施例(不限于本实施例)中，每个层级的采样处理(例如，第一层级采样处理、第二层级采样处理以及图4B所示实施例中将要介绍的第三层级采样处理等)的流程是相似的，均包括下采样处理、上采样处理和残差链接相加处理。另外，以特征图像为例，残差链接相加处理可以包括将两幅特征图像的矩阵的每一行、每一列的值对应相加，但不限于此。
在本公开中，“嵌套”是指一个对象中包括与该对象相似或相同的另一个对象，所述对象包括但不限于流程或者网络结构等。
需要说明的是，在本公开的一些实施例中，每个层级的采样处理中的上采样处理的输出(例如，上采样处理的输出为特征图像)的尺寸与下采样处理的输入(例如，下采样处理的输入为特征图像)尺寸相同，从而经过残差链接相加后，每个层级的采样处理的输出(例如，每个层级的采样处理的输出可以为特征图像)的尺寸和每个层级的采样处理的输入(例如，每个层级的采样处理的输入可以为特征图像)的尺寸相同。
需要说明的是，在本公开的一些实施例中，多尺度循环采样处理可以通过卷积神经网络实现。例如，在本公开的一些实施例中，可以使用第一卷积神经网络进行多尺度循环采样处理。例如，在一些示例中，第一卷积神经网络可以包括嵌套的第一元网络和第二元网络，第一元网络用于执行第一层级采样处理，第二元网络用于执行第二层级采样处理。
例如，在一些示例中，第一元网络可以包括第一子网络和第二子网络，第一子网络用于执行第一下采样处理，第二子网络用于执行第一上采样处理。第二元网络嵌套在第一元网络的第一子网络和第三子网络之间。例如，在一些示例中，第二元网络可以包括第三子网络和第四子网络，第三子网络用于执行第二下采样处理，第四子网络用于执行第二上采样处理。例如，第一元网络和第二元网络均类似于前述残差网络的形式。
例如，一些示例中，第一子网络、第二子网络、第三子网络和第四子网络中的每一个都包括卷积层、残差网络、密集网络等之一。具体地，第一子网络和第三子网络可以包括具有下采样功能的卷积层(下采样层)，也可以包括具有下采样功能的残差网络、密集网络等之一；第二子网络和第四子网络可以包括具有上采样功能的卷积层(上采样层)，也可以包括具有上采样功能的残差网络、密集网络等之一。需要说明的是，第一子网络和第三子网络可以具有相同的结构，也可以具有不同的结构；第二子网络和第四子网络可以具有相同的结构，也可以具有不同的结构；本公开的实施例对此不作限制。
下采样用于减小特征图像的尺寸，从而减少特征图像的数据量，例如可以通过下采样层进行下采样处理，但不限于此。例如，下采样层可以采用最大值合并(max pooling)、平均值合并(average pooling)、跨度卷积(strided convolution)、欠采样(decimation，例如选择固定的像素)、解复用输出(demuxout，将输入图像拆分为多个更小的图像)等下采样方法实现下采样处理。
上采样用于增大特征图像的尺寸，从而增加特征图像的数据量，例如可以通过上采样层进行上采样处理，但不限于此。例如，上采样层可以采用跨度转置卷积(stridedtransposed convolution)、插值算法等上采样方法实现上采样处理。插值算法例如可以包括内插值、双线性插值、两次立方插值(Bicubic Interprolation)等算法。
需要说明的是，在本公开的一些实施例中，同一层级的下采样处理的下采样因子与上采样处理的上采样因子对应，即：当该下采样处理的下采样因子为1/y时，则该上采样处理的上采样因子为y，其中y为正整数，且y通常大于2。从而，可以确保同一层级的上采样处理的输出和下采样处理的输入尺寸相同。
需要说明的是，在本公开的一些实施例(不限于本实施例)中，不同层级的下采样处理的参数(即该下采样处理对应的网络的参数)可以相同，也可以不同；不同层级的上采样处理的参数(即该上采样处理对应的网络的参数)可以相同，也可以不同；不同层级的残差连接相加的参数可以相同，也可以不同。本公开对此不作限制。
例如，在本公开的一些实施例中(不限于本实施例)，为了改善特征图像的亮度、对比度等全局特征，多尺度循环采样处理还可以包括：在第一下采样处理、第一上采样处理、第二下采样处理和第二上采样处理之后，分别对第一下采样输出、第一上采样输出、第二下采样输出和第二上采样输出进行实例标准化处理或层标准化处理。需要说明的是，第一下采样输出、第一上采样输出、第二下采样输出和第二上采样输出可以采用相同的标准化处理方法(实例标准化处理或层标准化处理)，也可以采用不同的标准化处理方法，本公开对此不作限制。
相应地，第一子网络、第二子网络、第三子网络和第四子网络还分别包括实例标准化层或层标准化层，实例标准化层用于执行实例标准化处理，层标准化层用于执行层标准化处理。例如，实例标准化层可以根据前述实例标准化公式进行实例标准化处理，层标准化层可以根据前述层标准化公式进行层标准化处理，本公开对此不作限制。需要说明的是，第一子网络、第二子网络、第三子网络和第四子网络可以包括相同的标准化层(实例标准化层或层标准化层)，也可以包括不同的标准化层，本公开对此亦不作限制。
图4B为本公开另一实施例提供的一种对应于图3所示的图像处理方法中的多尺度循环采样处理的示意性流程框图。如图4B所示，在图4A所示的多尺度循环采样处理的基础上，该多尺度循环采样处理还进一步包括第三层级采样处理。需要说明的是，图5所示的多尺度循环采样处理的其他流程与图4A所示的多尺度循环采样处理的流程基本相同，重复之处在此不再赘述。
例如，如图4B所示，第三层级采样处理嵌套在第二层级采样处理的第二下采样处理和第二上采样处理之间，接收第二下采样输出作为第三层级采样处理的输入，提供第三层级采样处理的输出作为第二上采样处理的输入，以使得第二上采样处理基于所述第二下采样输出进行上采样处理。需要说明的是，此时，与第一上采样处理间接地对第一下采样输出进行上采样处理类似，第二上采样处理也间接地对第二下采样输出进行上采样处理。
第三层级采样处理包括依次执行的第三下采样处理、第三上采样处理和第三残差链接相加处理。第三下采样处理基于第三层级采样处理的输入进行下采样处理得到第三下采样输出，例如，第三下采样处理可以直接对第三层级采样处理的输入进行下采样以得到第三下采样输出。第三上采样处理基于第三下采样输出进行上采样处理得到第三上采样输出，例如，第三上采样处理可以直接对第三下采样输出进行上采样以得到第三上采样输出。第三残差链接相加处理将第三层级采样处理的输入和第三上采样输出进行第三残差链接相加，然后将第三残差链接相加的结果作为第三层级采样处理的输出。例如，第三上采样处理的输出(即第三上采样输出)的尺寸与第三层级采样处理的输入(即第三下采样处理的输入)的尺寸相同，从而经过第三残差链接相加后，第三层级采样处理的输出的尺寸与第三层级采样处理的输入的尺寸相同。
需要说明的是第三层级采样处理的更多细节以及实现方式(即网络结构)可以参考图4A所示实施例中关于第一层级采样处理和第二层级采样处理的描述，本公开对此不再赘述。
需要说明的是，基于本实施例，本领域的技术人员应当理解，多尺度循环采样处理还可以包括更多层级的采样处理，例如还可以包括嵌套在第三层级采样处理中的第四层级采样处理、嵌套在第四层级采样处理中的第五层级采样处理等，其嵌套方式与上面所述的第二层级采样处理、第三层级采样处理的方式向类似，本公开对此不作限制。
图4C为本公开再一实施例提供的一种对应于图3所示的图像处理方法中的多尺度循环采样处理的示意性流程框图。如图4C所示，在图4A所示的多尺度循环采样处理的基础上，该多尺度循环采样处理包括多次依次执行的第二层级采样处理。需要说明的是，图5所示的多尺度循环采样处理的其他流程与图4A所示的多尺度循环采样处理的流程基本相同，重复之处在此不再赘述。还需要说明的是，图4C中包括两次第二层级采样处理是示例性的，在本公开的实施例中，多尺度循环采样处理可以包括两次或两次以上依次执行的第二层级采样处理。需要说明的是，在本公开的实施例中，第二层级采样处理的次数可以根据实际需要进行选择，本公开对此不作限制。例如，在一些示例中，本申请的发明人发现，相比于采用具有一次或三次第二层级采样处理的图像处理方法，采用具有两次第二层级采样处理的图像处理方法进行图像增强处理的效果更好，但这不应当被视为对本公开的限制。
例如，第一次第二层级采样处理接收第一下采样输出作为第一次第二层级采样处理的输入，除第一次第二层级采样处理之外的每次第二层级采样处理接收前一次第二层级采样处理的输出作为本次第二层级采样处理的输入，最后一次第二层级采样处理的输出作为第一上采样处理的输入。
需要说明的是，每一次第二层级采样处理的更多细节以及实现方式可以参考图4A所示实施例中关于第二层级采样处理的描述，本公开对此不再赘述。
需要说明的是，在本公开的一些实施例(不限于本实施例)中，不同次序的相同层级的下采样处理的参数可以相同，也可以不同；不同次序的相同层级的上采样处理的参数可以相同，也可以不同；不同次序的相同层级的残差连接相加的参数可以相同，也可以不同。本公开对此不作限制。
需要说明的是，基于本实施例，本领域的技术人员应当理解，在多尺度循环采样处理中，第一层级采样处理可以嵌套多个依次执行的第二层级采样处理；进一步地，至少部分第二层级采样处理可以嵌套一个或多个依次执行的第三层级采样处理，且该至少部分第二层级采样处理嵌套的第三层级采样处理的数量可以相同，也可以不同；进一步地，第三层级采样处理可以嵌套第四层级采样处理，具体嵌套方式可以与第二层级采样处理嵌套第三层级采样处理的方式相同；之后以此类推。
需要说明的是，图4A-4C示出的是本公开的实施例提供的图像处理方法包括一次多尺度循环采样处理的情形。在图4A-4C所示的实施例提供的图像处理方法中，至少一次多尺度循环采样处理包括一次多尺度循环采样处理。该多尺度循环采样处理接收第一特征图像作为多尺度循环采样处理的输入，多尺度循环采样处理的输入作为多尺度循环采样处理中的第一层级采样处理的输入，多尺度循环采样处理中的第一层级采样处理的输出作为多尺度循环采样处理的输出，多尺度循环采样处理的输出作为至少一次多尺度循环采样处理的输出。本公开包括但不限于此。
图4D为本公开又一实施例提供的一种对应于图3所示的图像处理方法中的多尺度循环采样处理的示意性流程框图。如图4D所示，在本实施例提供的图像处理方法中，至少一次多尺度循环采样处理包括多次依次执行的多尺度循环采样处理，例如至少一次多尺度循环采样处理可以包括两次或三次依次执行的多尺度循环采样处理，但不限于此。需要说明的是，在本公开的实施例中，多尺度循环采样处理的次数可以根据实际需要进行选择，本公开对此不作限制。例如，在一些示例中，本申请的发明人发现，相比于采用具有一次或三次多尺度循环采样处理的图像处理方法，采用具有两次多尺度循环采样处理的图像处理方法进行图像增强处理的效果更好，但这不应当被视为对本公开的限制。
例如，每次多尺度循环采样处理的输入作为本次多尺度循环采样处理中的第一层级采样处理的输入，每次多尺度循环采样处理中的第一层级采样处理的输出作为本次多尺度循环采样处理的输出。
例如，如图4D所示，第一次多尺度循环采样处理接收第一特征图像作为第一次多尺度循环采样处理的输入，除第一次多尺度循环采样处理之外的每次多尺度循环采样处理接收前一次多尺度循环采样处理的输出作为本次多尺度循环采样处理的输入，最后一次多尺度循环采样处理的输出作为至少一次多尺度循环采样处理的输出。
需要说明的是，每次多尺度循环采样处理的更多细节和实现方式可以参考图4A-4C所示实施例中关于多尺度循环采样处理的描述，本公开对此不再赘述。还需要说明的是，不同次序的多尺度循环采样处理的实现方式(即网络结构)和参数等可以相同，也可以不同，本公开对此不作限制。
图5为本公开另一实施例提供的一种图像处理方法的流程图。如图5所示，该图像处理方法包括步骤S210至步骤S250。需要说明的是，图5所示的图像处理方法的步骤S230至步骤S240与图3所示的图像处理方法的步骤S110至步骤S120对应相同，即图5所示的图像处理方法包括图3所示的图像处理方法，因此图5所示的图像处理方法的步骤S230至步骤S240可以参考前述关于图3所示的图像处理方法的步骤S110至步骤S120的描述，当然也可以参考如图4A～4D所示的实施例的方法等。以下，对图5所示的图像处理方法的步骤S210至步骤S250进行详细说明。
步骤S210：获取输入图像。
例如，在步骤S210中，输入图像可以包括通过智能手机的摄像头、平板电脑的摄像头、个人计算机的摄像头、数码照相机的镜头、监控摄像头或者网络摄像头等拍摄采集的照片，其可以包括人物图像、动植物图像或风景图像等，本公开对此不作限制。例如，输入图像的质量低于真实的数码单镜反光相机拍摄的照片的质量，即输入图像为低质量图像。例如，在一些示例中，输入图像可以包括3个通道的RGB图像；在另一些示例中，输入图像可以包括3个通道的YUV图像。以下，以输入图像包括RGB图像为例进行说明，但是本公开的实施例不限于此。
步骤S220：使用分析网络将输入图像转换为第一特征图像。
例如，在步骤S220中，分析网络可以为包括卷积层、残差网络、密集网络等之一的卷积神经网络。例如，在一些示例中，分析网络可以将3个通道的RGB图像(即输入图像)转换为多个第一特征图像，例如64个第一特征图像，本公开包括但不限于此。
需要说明的是，本公开的实施例对分析网络的结构和参数不作限制，只要其能将输入图像转换到卷积特征维度(即转换为第一特征图像)即可。
步骤S230：接收第一特征图像；
步骤S240：对第一特征图像进行至少一次多尺度循环采样处理。
需要说明的是，步骤S230至步骤S240可以参考前述关于步骤S110至步骤S120的描述，本公开对此不再赘述。
步骤S250：使用合成网络将至少一次多尺度循环采样处理的输出转换为输出图像。
例如，在步骤S250中，合成网络可以为包括卷积层、残差网络、密集网络等之一的卷积神经网络。例如，可以将至少一次多尺度循环采样处理的输出称为第二特征图像。例如，第二特征图像的数量可以为多个，但不限于此。例如，在一些示例中，合成网络可以将多个第二特征图像转换为输出图像，例如，该输出图像可以包括3个通道的RGB图像，本公开包括但不限于此。
图6A为一种输入图像的示意图，图6B为根据本公开一实施例提供的一种图像处理方法(例如，图5所示的图像处理方法)对图6A所示的输入图像进行处理得到的输出图像的示意图。
例如，如图6A和图6B所示，输出图像保留了输入图像的内容，但是提高了图像的对比度，改善了输入图像过暗的问题，从而，与输入图像相比，输出图像的质量可以接近于真实的数码单镜反光相机拍摄的照片的质量，即输出图像为高质量图像。
需要说明的是，本公开的实施例对合成网络的结构和参数不作限制，只要其能将卷积特征维度(即第二特征图像)转换为输出图像即可。
本公开的实施例提供的图像处理方法，可以对低质量的输入图像进行图像增强处理，通过在多个尺度上反复采样以获取更高的图像保真度，可以大幅提升输出图像的质量，适用于对于图像质量要求较高的批处理等离线应用。具体地，Andrey Ignatov等人的文献中提出的图像增强方法输出的图像的PSNR为20.08，而基于本公开的图4C所示实施例提供的图像处理方法获得的输出图像的PSNR可以达到23.35，即本公开的实施例提供的图像处理方法获得的图像可以更接近于真实的数码单镜反光相机拍摄的照片。
本公开至少一实施例还提供一种神经网络的训练方法。图7A为本公开一实施例提供的一种神经网络的结构示意图，图7B为本公开一实施例提供的一种神经网络的训练方法的流程图，图7C为本公开一实施例提供的一种对应于图7B中所示的训练方法训练图7A所示的神经网络的示意性架构框图。
例如，如图7A所示，该神经网络300包括分析网络310、第一子神经网络320和合成网络330。例如，分析网络310对输入图像进行处理以得到第一特征图像，第一子神经网络320对第一特征图像进行至少一次多尺度循环采样处理以得到第二特征图像，合成网络330对第二特征图像进行处理以得到输出图像。
例如，分析网络310的结构可以参考前述步骤S220中关于分析网络的描述，本公开对此不作限制；第一子神经网络320的结构可以参考前述步骤S120(也即步骤S240)中关于多尺度循环采样处理的实现方式的描述，例如，第一子神经网络可以包括但不限于前述第一卷积神经网络，本公开对此不作限制；例如，合成网络330可以参考前述步骤S250中关于合成网络的描述，本公开对此不作限制。
例如，输入图像和输出图像也可以参考前述实施例提供的图像处理方法中关于输入图像和输出图像的描述，本公开对此不再赘述。
例如，结合图7B和图7C所示，该神经网络的训练方法包括步骤S410至步骤S460。
步骤S410：获取训练输入图像。
例如，与前述步骤S210中的输入图像类似，训练输入图像也可以包括通过智能手机的摄像头、平板电脑的摄像头、个人计算机的摄像头、数码照相机的镜头、监控摄像头或者网络摄像头等拍摄采集的照片，其可以包括人物图像、动植物图像或风景图像等，本公开对此不作限制。例如，训练输入图像的质量低于真实的数码单镜反光相机拍摄的照片的质量，即训练输入图像为低质量图像。例如，在一些示例中，训练输入图像可以包括3个通道的RGB图像。
步骤S420：使用分析网络对训练输入图像进行处理以提供第一训练特征图像。
例如，与前述步骤S220中的分析网络类似，分析网络310可以为包括卷积层、残差网络、密集网络等之一的卷积神经网络。例如，在一些示例中，分析网络可以将3个通道的RGB图像(即训练输入图像)转换为多个第一训练特征图像，例如64个第一训练特征图像，本公开包括但不限于此。
步骤S430：使用第一子神经网络对第一训练特征图像进行至少一次多尺度循环采样处理以得到第二训练特征图像。
例如，在步骤S430中，多尺度循环采样处理可以实现为图4A-4D任一所示的实施例中的多尺度循环采样处理，但不限于此。以下，以步骤S430中的多尺度循环采样处理实现为图4A所示的多尺度循环采样处理为例进行说明。
例如，如图4A所示，多尺度循环采样处理嵌套的第一层级采样处理和第二层级采样处理。
例如，如图4A所示，多尺度循环采样处理的输入(即第一训练特征图像)作为第一层级采样处理的输入，第一层级采样处理的输出作为多尺度循环采样处理的输出(即第二训练特征图像)。例如，第二训练特征图像的尺寸可以和第一训练特征图像的尺寸相同。
例如，如图4A所示，第一层级采样处理包括依次执行的第一下采样处理、第一上采样处理和第一残差链接相加处理。第一下采样处理基于第一层级采样处理的输入进行下采样处理得到第一下采样输出，例如，第一下采样处理可以直接对第一层级采样处理的输入进行下采样以得到第一下采样输出。第一上采样处理基于第一下采样输出进行上采样处理得到第一上采样输出，例如，在第一下采样输出经过第二层级采样处理之后，再进行上采样处理以得到第一上采样输出，即第一上采样处理可以间接地对第一下采样输出进行上采样处理。第一残差链接相加处理将第一层级采样处理的输入和第一上采样输出进行第一残差链接相加，然后将第一残差链接相加的结果作为第一层级采样处理的输出。例如，第一上采样处理的输出(即第一上采样输出)的尺寸与第一层级采样处理的输入(即第一下采样处理的输入)的尺寸相同，从而经过第一残差链接相加后，第一层级采样处理的输出的尺寸与第一层级采样处理的输入的尺寸相同。
例如，如图4A所示，第二层级采样处理嵌套在第一层级采样处理的第一下采样处理和第一上采样处理之间，接收第一下采样输出作为第二层级采样处理的输入，提供第二层级采样处理的输出作为第一上采样处理的输入，以使得第一上采样处理基于第一下采样输出进行上采样处理。
例如，如图4A所示，第二层级采样处理包括依次执行的第二下采样处理、第二上采样处理和第二残差链接相加处理。第二下采样处理基于第二层级采样处理的输入进行下采样处理得到第二下采样输出，例如，第二下采样处理可以直接对第二层级采样处理的输入进行下采样以得到第二下采样输出。第二上采样处理基于第二下采样输出进行上采样处理得到第二上采样输出，例如，第二上采样处理可以直接对第二下采样输出进行上采样以得到第二上采样输出。第二残差链接相加处理将第二层级采样处理的输入和第二上采样输出进行第二残差链接相加，然后将第二残差链接相加的结果作为第二层级采样处理的输出。例如，第二上采样处理的输出(即第二上采样输出)的尺寸与第二层级采样处理的输入(即第二下采样处理的输入)的尺寸相同，从而经过第二残差链接相加后，第二层级采样处理的输出的尺寸与第二层级采样处理的输入的尺寸相同。
例如，相应地，第一子神经网络320可以实现为前述第一卷积神经网络。例如，第一子神经网络320可以包括嵌套的第一元网络和第二元网络，第一元网络用于执行第一层级采样处理，第二元网络用于执行第二层级采样处理。
例如，第一元网络可以包括第一子网络和第二子网络，第一子网络用于执行第一下采样处理，第二子网络用于执行第一上采样处理。第二元网络嵌套在第一元网络的第一子网络和第三子网络之间。例如，第二元网络可以包括第三子网络和第四子网络，第三子网络用于执行第二下采样处理，第四子网络用于执行第二上采样处理。
例如，第一子网络、第二子网络、第三子网络和第四子网络中的每一个都包括卷积层、残差网络、密集网络等之一。具体地，第一子网络和第三子网络可以包括具有下采样功能的卷积层(下采样层)、残差网络、密集网络等之一；第二子网络和第四子网络可以包括具有上采样功能的卷积层(上采样层)、残差网络、密集网络等之一。需要说明的是，第一子网络和第三子网络可以具有相同的结构，也可以具有不同的结构；第二子网络和第四子网络可以具有相同的结构，也可以具有不同的结构；本公开对此不作限制。
例如，在本公开的实施例中，为了改善特征图像的亮度、对比度等全局特征，多尺度循环采样处理还可以包括：在第一下采样处理、第一上采样处理、第二下采样处理和第二上采样处理之后，分别对第一下采样输出、第一上采样输出、第二下采样输出和第二上采样输出进行实例标准化处理或层标准化处理。需要说明的是，第一下采样输出、第一上采样输出、第二下采样输出和第二上采样输出可以采用相同的标准化处理方法(实例标准化处理或层标准化处理)，也可以采用不同的标准化处理方法，本公开对此不作限制。
相应地，第一子网络、第二子网络、第三子网络和第四子网络还分别包括实例标准化层或层标准化层，实例标准化层用于执行实例标准化处理，层标准化层用于执行层标准化处理。例如，实例标准化层可以根据前述实例标准化公式进行实例标准化处理，层标准化层可以根据前述层标准化公式进行层标准化处理，本公开对此不作限制。需要说明的是，第一子网络、第二子网络、第三子网络和第四子网络可以包括相同的标准化层(实例标准化层或层标准化层)，也可以包括不同的标准化层，本公开对此亦不作限制。
需要说明的是，步骤S430中的多尺度循环采样处理的更多实现方式以及更多细节可以参考前述步骤S120(即步骤S240)以及图4A-4D所示的实施例中关于多尺度循环采样处理的描述，本公开对此不再赘述。还需要说明的是，当步骤S430中的多尺度循环采样处理实现为其他形式时，第一子神经网络320应当作相应变化，以实现其他形式的多尺度循环采样处理，本公开对此不再赘述。
例如，在步骤S430中，第二训练特征图像的数量可以为多个，但不限于此。
步骤S440：使用合成网络对第二训练特征图像进行处理以得到训练输出图像。
例如，与前述步骤S250中的合成网络类似，合成网络330可以为包括卷积层、残差网络、密集网络等之一的卷积神经网络。例如，在一些示例中，合成网络可以将多个第二训练特征图像转换为训练输出图像，例如，该训练输出图像可以包括3个通道的RGB图像，本公开包括但不限于此。
步骤S450：基于训练输出图像，通过损失函数计算神经网络的损失值。
例如，神经网络300的参数包括分析网络310的参数、第一子神经网络320的参数和合成网络330的参数。例如，神经网络300的初始参数可以为随机数，例如随机数符合高斯分布，本公开的实施例对此不作限制。
例如，本实施例的损失函数可以参考Andrey Ignatov等人提供的文献中的损失函数。例如，与该文献中的损失函数类似，该损失函数可以包括颜色损失函数、纹理损失函数及内容损失函数；相应地，通过损失函数计算神经网络300的参数的损失值的具体过程也可以参考该文献中的描述。需要说明的是，本公开的实施例对损失函数的具体形式不作限制，即包括但不限于上述文献中的损失函数的形式。
步骤S460：根据损失值对神经网络的参数进行修正。
例如，在神经网络300的训练过程中还可以包括优化函数(图7C中未示出)，优化函数可以根据损失函数计算得到的损失值计算神经网络300的参数的误差值，并根据该误差值对神经网络300的参数进行修正。例如，优化函数可以采用随机梯度下降(stochasticgradient descent，SGD)算法、批量梯度下降(batch gradient descent,BGD)算法等计算神经网络300的参数的误差值。
例如，神经网络的训练方法还可以包括：判断神经网络的训练是否满足预定条件，若不满足预定条件，则重复执行上述训练过程(即步骤S410至步骤S460)；若满足预定条件，则停止上述训练过程，得到训练好的神经网络。例如，在一个示例中，上述预定条件为连续两幅(或更多幅)训练输出图像对应的损失值不再显著减小。例如，在另一个示例中，上述预定条件为神经网络的训练次数或训练周期达到预定数目。本公开对此不作限制。
例如，训练好的神经网络300输出的训练输出图像保留了训练输入图像的内容，但是，训练输出图像的质量可以接近于真实的数码单镜反光相机拍摄的照片的质量，即训练输出图像为高质量图像。
需要说明的是，上述实施例仅是示意性说明神经网络的训练过程。本领域技术人员应当知道，在训练阶段，需要利用大量样本图像对神经网络进行训练；同时，在每一幅样本图像训练过程中，都可以包括多次反复迭代以对神经网络的参数进行修正。又例如，训练阶段还包括对神经网络的参数进行微调(fine-tune)，以获取更优化的参数。
本公开的实施例提供的神经网络的训练方法，可以对本公开实施例的图像处理方法中采用的神经网络进行训练，通过该训练方法训练好的神经网络，可以对低质量的输入图像进行图像增强处理，通过在多个尺度上反复采样以获取更高的图像保真度，可以大幅提升输出图像的质量，适用于对于图像质量要求较高的批处理等离线应用。
本公开至少一实施例还提供一种图像处理装置。图8为本公开一实施例提供的一种图像处理装置的示意性框图。例如，如图8所示，该图像处理装置500包括存储器510和处理器520。例如，存储器510用于非暂时性存储计算机可读指令，处理器520用于运行该计算机可读指令，该计算机可读指令被处理器520运行时执行本公开的实施例提供的图像处理方法。
例如，存储器510和处理器520之间可以直接或间接地互相通信。例如，存储器510和处理器520等组件之间可以通过网络连接进行通信。网络可以包括无线网络、有线网络、和/或无线网络和有线网络的任意组合。网络可以包括局域网、互联网、电信网、基于互联网和/或电信网的物联网(Internet of Things)、和/或以上网络的任意组合等。有线网络例如可以采用双绞线、同轴电缆或光纤传输等方式进行通信，无线网络例如可以采用3G/4G/5G移动通信网络、蓝牙、Zigbee或者WiFi等通信方式。本公开对网络的类型和功能在此不作限制。
例如，处理器520可以控制图像处理装置中的其它组件以执行期望的功能。处理器520可以是中央处理单元(CPU)、张量处理器(TPU)或者图形处理器GPU等具有数据处理能力和/或程序执行能力的器件。中央处理器(CPU)可以为X86或ARM架构等。GPU可以单独地直接集成到主板上，或者内置于主板的北桥芯片中。GPU也可以内置于中央处理器(CPU)上。
例如，存储器510可以包括一个或多个计算机程序产品的任意组合，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、闪存等。
例如，在存储器510上可以存储一个或多个计算机指令，处理器520可以运行所述计算机指令，以实现各种功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据，例如训练输入图像、以及应用程序使用和/或产生的各种数据等。
例如，存储器510存储的一些计算机指令被处理器520执行时可以执行根据上文所述的图像处理方法中的一个或多个步骤。又例如，存储器510存储的另一些计算机指令被处理器520执行时可以执行根据上文所述的神经网络的训练方法中的一个或多个步骤。
例如，关于图像处理方法的处理过程的详细说明可以参考上述图像处理方法的实施例中的相关描述，关于神经网络的训练方法的处理过程的详细说明可以参考上述神经网络的训练方法的实施例中的相关描述，重复之处不再赘述。
需要说明的是，本公开的上述实施例提供的图像处理装置是示例性的，而非限制性的，根据实际应用需要，该图像处理装置还可以包括其他常规部件或结构，例如，为实现图像处理装置的必要功能，本领域技术人员可以根据具体应用场景设置其他的常规部件或结构，本公开的实施例对此不作限制。
本公开的上述实施例提供的图像处理装置的技术效果可以参考上述实施例中关于图像处理方法以及神经网络的训练方法的相应描述，在此不再赘述。
本公开至少一实施例还提供一种存储介质。图9为本公开一实施例提供的一种存储介质的示意图。例如，如图9所示，该存储介质600非暂时性地存储计算机可读指令601，当非暂时性计算机可读指令601由计算机(包括处理器)执行时可以执行本公开任一实施例提供的图像处理方法的指令。
例如，在存储介质600上可以存储一个或多个计算机指令。存储介质600上存储的一些计算机指令可以是例如用于实现上述图像处理方法中的一个或多个步骤的指令。存储介质上存储的另一些计算机指令可以是例如用于实现上述神经网络的训练方法中的一个或多个步骤的指令。
例如，存储介质可以包括平板电脑的存储部件、个人计算机的硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、光盘只读存储器(CD-ROM)、闪存、或者上述存储介质的任意组合，也可以为其他适用的存储介质。
本公开的实施例提供的存储介质的技术效果可以参考上述实施例中关于图像处理方法以及神经网络的训练方法的相应描述，在此不再赘述。
对于本公开，有以下几点需要说明：
(1)本公开实施例附图中，只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计。
(2)在不冲突的情况下，本公开同一实施例及不同实施例中的特征可以相互组合。
以上，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (15)

1.一种图像处理方法，包括：
接收第一特征图像；以及
对所述第一特征图像进行至少一次多尺度循环采样处理；
其中，所述多尺度循环采样处理包括嵌套的第一层级采样处理和第二层级采样处理，
所述第一层级采样处理包括第一下采样处理、第一上采样处理和第一残差链接相加处理，其中，所述第一下采样处理基于第一层级采样处理的输入进行下采样处理得到第一下采样输出，所述第一上采样处理基于所述第一下采样输出进行上采样处理得到第一上采样输出，所述第一残差链接相加处理将所述第一层级采样处理的输入和所述第一上采样输出进行第一残差链接相加，然后将所述第一残差链接相加的结果作为第一层级采样处理的输出；
所述第二层级采样处理嵌套在所述第一下采样处理和所述第一上采样处理之间，接收所述第一下采样输出作为第二层级采样处理的输入，提供第二层级采样处理的输出作为第一上采样处理的输入，以使得所述第一上采样处理基于所述第一下采样输出进行上采样处理；
所述第二层级采样处理包括第二下采样处理、第二上采样处理和第二残差链接相加处理，其中，所述第二下采样处理基于所述第二层级采样处理的输入进行下采样处理得到第二下采样输出，所述第二上采样处理基于所述第二下采样输出进行上采样处理得到第二上采样输出，所述第二残差链接相加处理将所述第二层级采样处理的输入和所述第二上采样输出进行第二残差链接相加，然后将所述第二残差链接相加的结果作为所述第二层级采样处理的输出。
2.根据权利要求1所述的图像处理方法，其中，所述第一上采样处理的输出的尺寸与所述第一下采样处理的输入的尺寸相同；
所述第二上采样处理的输出的尺寸与所述第二下采样处理的输入的尺寸相同。
3.根据权利要求1或2所述的图像处理方法，其中，所述多尺度循环采样处理还包括第三层级采样处理，
所述第三层级采样处理嵌套在所述第二下采样处理和所述第二上采样处理之间，接收所述第二下采样输出作为第三层级采样处理的输入，提供第三层级采样处理的输出作为第二上采样处理的输入，以使得所述第二上采样处理基于所述第二下采样输出进行上采样处理；
所述第三层级采样处理包括第三下采样处理、第三上采样处理和第三残差链接相加处理，其中，所述第三下采样处理基于所述第三层级采样处理的输入进行下采样处理得到第三下采样输出，所述第三上采样处理基于所述第三下采样输出进行上采样处理得到第三上采样输出，所述第三残差链接相加处理将所述第三层级采样处理的输入和所述第三上采样输出进行第三残差链接相加，然后将所述第三残差链接相加的结果作为所述第三层级采样处理的输出。
4.根据权利要求1或2所述的图像处理方法，其中，所述多尺度循环采样处理包括多次依次执行的所述第二层级采样处理，
第一次所述第二层级采样处理接收所述第一下采样输出作为第一次所述第二层级采样处理的输入，
除第一次所述第二层级采样处理之外的每次所述第二层级采样处理接收前一次所述第二层级采样处理的输出作为本次所述第二层级采样处理的输入，
最后一次所述第二层级采样处理的输出作为所述第一上采样处理的输入。
5.根据权利要求1或2所述的图像处理方法，其中，所述至少一次多尺度循环采样处理包括多次依次执行的所述多尺度循环采样处理，
每次所述多尺度循环采样处理的输入作为本次所述多尺度循环采样处理中的所述第一层级采样处理的输入，每次所述多尺度循环采样处理中的所述第一层级采样处理的输出作为本次所述多尺度循环采样处理的输出；
第一次所述多尺度循环采样处理接收所述第一特征图像作为第一次所述多尺度循环采样处理的输入，
除第一次所述多尺度循环采样处理之外的每次所述多尺度循环采样处理接收前一次所述多尺度循环采样处理的输出作为本次所述多尺度循环采样处理的输入，
最后一次所述多尺度循环采样处理的输出作为所述至少一次多尺度循环采样处理的输出。
6.根据权利要求1或2所述的图像处理方法，其中，所述多尺度循环采样处理还包括：
在所述第一下采样处理、所述第一上采样处理、所述第二下采样处理和所述第二上采样处理之后，分别对所述第一下采样输出、所述第一上采样输出、所述第二下采样输出和所述第二上采样输出进行实例标准化处理或层标准化处理。
7.根据权利要求1或2所述的图像处理方法，还包括：使用第一卷积神经网络进行所述多尺度循环采样处理；
其中，所述第一卷积神经网络包括：
第一元网络，用于执行所述第一层级采样处理；
第二元网络，用于执行所述第二层级采样处理。
8.根据权利要求7所述的图像处理方法，其中，
所述第一元网络包括：
第一子网络，用于执行所述第一下采样处理；
第二子网络，用于执行所述第一上采样处理；
所述第二元网络包括：
第三子网络，用于执行所述第二下采样处理；
第四子网络，用于执行所述第二上采样处理。
9.根据权利要求8所述的图像处理方法，其中，所述第一子网络、所述第二子网络、所述第三子网络和所述第四子网络中每一个包括卷积层、残差网络、密集网络之一。
10.根据权利要求9所述的图像处理方法，其中，所述第一子网络、所述第二子网络、所述第三子网络和所述第四子网络中的每一个都包括实例标准化层或层标准化层，
所述实例标准化层用于执行实例标准化处理，所述层标准化层用于执行层标准化处理。
11.根据权利要求1或2所述的图像处理方法，还包括：
获取输入图像；
使用分析网络将输入图像转换为所述第一特征图像；以及：
使用合成网络将所述至少一次多尺度循环采样处理的输出转换为输出图像。
12.一种神经网络的训练方法，其中，
所述神经网络包括：分析网络、第一子神经网络和合成网络，
所述分析网络对输入图像进行处理以得到第一特征图像，所述第一子神经网络对所述第一特征图像进行至少一次多尺度循环采样处理以得到第二特征图像，所述合成网络对所述第二特征图像进行处理以得到输出图像；
所述训练方法包括：
获取训练输入图像；
使用所述分析网络对所述训练输入图像进行处理以提供第一训练特征图像；
使用所述第一子神经网络对所述第一训练特征图像进行所述至少一次多尺度循环采样处理以得到第二训练特征图像；
使用所述合成网络对所述第二训练特征图像进行处理以得到训练输出图像；
基于所述训练输出图像，通过损失函数计算所述神经网络的损失值；以及
根据所述损失值对所述神经网络的参数进行修正；
其中，所述多尺度循环采样处理包括嵌套的第一层级采样处理和第二层级采样处理，
所述第一层级采样处理包括依次执行的第一下采样处理、第一上采样处理和第一残差链接相加处理，其中，所述第一下采样处理基于第一层级采样处理的输入进行下采样处理得到第一下采样输出，所述第一上采样处理基于所述第一下采样输出进行上采样处理得到第一上采样输出，所述第一残差链接相加处理将所述第一层级采样处理的输入和所述第一上采样输出进行第一残差链接相加，然后将所述第一残差链接相加的结果作为第一层级采样处理的输出；
所述第二层级采样处理嵌套在所述第一下采样处理和所述第一上采样处理之间，接收所述第一下采样输出作为第二层级采样处理的输入，提供第二层级采样处理的输出作为第一上采样处理的输入，以使得所述第一上采样处理基于所述第一下采样输出进行上采样处理；
所述第二层级采样处理包括依次执行的第二下采样处理、第二上采样处理和第二残差链接相加处理，其中，所述第二下采样处理基于所述第二层级采样处理的输入进行下采样处理得到第二下采样输出，所述第二上采样处理基于所述第二下采样输出进行上采样处理得到第二上采样输出，所述第二残差链接相加处理将所述第二层级采样处理的输入和所述第二上采样输出进行第二残差链接相加，后将所述第二残差链接相加的结果作为所述第二层级采样处理的输出。
13.根据权利要求12所述的训练方法，其中，所述第一上采样处理的输出的尺寸与所述第一下采样处理的输入的尺寸相同；
所述第二上采样处理的输出的尺寸与所述第二下采样处理的输入的尺寸相同。
14.一种图像处理装置，包括：
存储器，用于非暂时性存储计算机可读指令；以及
处理器，用于运行所述计算机可读指令，所述计算机可读指令被所述处理器运行时执行根据权利要求1-11任一项所述的图像处理方法。
15.一种存储介质，非暂时性地存储计算机可读指令，当所述计算机可读指令由计算机执行时可以执行根据权利要求1-11任一项所述的图像处理方法的指令。
CN201910209662.2A 2019-03-19 2019-03-19 图像处理方法及装置、神经网络的训练方法、存储介质 Active CN111724309B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910209662.2A CN111724309B (zh) 2019-03-19 2019-03-19 图像处理方法及装置、神经网络的训练方法、存储介质
PCT/CN2020/077763 WO2020187029A1 (zh) 2019-03-19 2020-03-04 图像处理方法及装置、神经网络的训练方法、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910209662.2A CN111724309B (zh) 2019-03-19 2019-03-19 图像处理方法及装置、神经网络的训练方法、存储介质

Publications (2)

Publication Number Publication Date
CN111724309A CN111724309A (zh) 2020-09-29
CN111724309B true CN111724309B (zh) 2023-07-14

Family

ID=72519587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910209662.2A Active CN111724309B (zh) 2019-03-19 2019-03-19 图像处理方法及装置、神经网络的训练方法、存储介质

Country Status (2)

Country Link
CN (1) CN111724309B (zh)
WO (1) WO2020187029A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538287B (zh) * 2021-07-29 2024-03-29 广州安思创信息技术有限公司 视频增强网络训练方法、视频增强方法及相关装置
CN114501012B (zh) * 2021-12-31 2024-06-11 浙江大华技术股份有限公司 图像滤波、编解码方法以及相关设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10303977B2 (en) * 2016-06-28 2019-05-28 Conduent Business Services, Llc System and method for expanding and training convolutional neural networks for large size input images
CA3045333A1 (en) * 2016-12-01 2018-06-07 Berkeley Lights, Inc. Automated detection and repositioning of micro-objects in microfluidic devices
CN107767408B (zh) * 2017-11-09 2021-03-12 京东方科技集团股份有限公司 图像处理方法、处理装置和处理设备
CN107730474B (zh) * 2017-11-09 2022-02-22 京东方科技集团股份有限公司 图像处理方法、处理装置和处理设备
CN109360151B (zh) * 2018-09-30 2021-03-05 京东方科技集团股份有限公司 图像处理方法及***、分辨率提升方法、可读存储介质

Also Published As

Publication number Publication date
CN111724309A (zh) 2020-09-29
WO2020187029A1 (zh) 2020-09-24

Similar Documents

Publication Publication Date Title
CN111767979B (zh) 神经网络的训练方法、图像处理方法、图像处理装置
CN110717851B (zh) 图像处理方法及装置、神经网络的训练方法、存储介质
US11461639B2 (en) Image processing method, image processing device, and training method of neural network
CN112634137B (zh) 基于ae提取多尺度空谱特征的高光谱和全色图像融合方法
WO2020239026A1 (zh) 图像处理方法及装置、神经网络的训练方法、存储介质
JP7438108B2 (ja) 画像処理方法、処理装置及び処理デバイス
CN109191382B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN112529150B (zh) 一种模型结构、模型训练方法、图像增强方法及设备
EP3923233A1 (en) Image denoising method and apparatus
CN111914997B (zh) 训练神经网络的方法、图像处理方法及装置
CN112598597A (zh) 一种降噪模型的训练方法及相关装置
CN111833360B (zh) 一种图像处理方法、装置、设备以及计算机可读存储介质
CN112257759A (zh) 一种图像处理的方法以及装置
CN113095470A (zh) 神经网络的训练方法、图像处理方法及装置、存储介质
CN111724309B (zh) 图像处理方法及装置、神经网络的训练方法、存储介质
CN113096023B (zh) 神经网络的训练方法、图像处理方法及装置、存储介质
CN115936992A (zh) 一种轻量级Transformer的垃圾图像超分辨方法及***
CN114830168A (zh) 图像重建方法、电子设备和计算机可读存储介质
CN113076966B (zh) 图像处理方法及装置、神经网络的训练方法、存储介质
Luo et al. Piecewise linear regression-based single image super-resolution via Hadamard transform
CN116912268A (zh) 一种皮肤病变图像分割方法、装置、设备及存储介质
WO2022133814A1 (en) Omni-scale convolution for convolutional neural networks
CN113256556A (zh) 一种图像选择方法及装置
CN113011562B (zh) 一种模型训练方法及装置
WO2022183325A1 (zh) 视频块处理方法及装置、神经网络的训练方法和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant