CN115131218A - 图像处理方法、装置、计算机可读介质及电子设备 - Google Patents

图像处理方法、装置、计算机可读介质及电子设备 Download PDF

Info

Publication number
CN115131218A
CN115131218A CN202110320718.9A CN202110320718A CN115131218A CN 115131218 A CN115131218 A CN 115131218A CN 202110320718 A CN202110320718 A CN 202110320718A CN 115131218 A CN115131218 A CN 115131218A
Authority
CN
China
Prior art keywords
image
sample
loss function
network
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110320718.9A
Other languages
English (en)
Inventor
刘恩雨
李松南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110320718.9A priority Critical patent/CN115131218A/zh
Publication of CN115131218A publication Critical patent/CN115131218A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请的实施例提供了一种图像处理方法、装置、计算机可读介质及电子设备。该图像处理方法包括：获取待处理图像；将所述待处理图像输入至图像生成网络，所述图像生成网络是根据联合损失函数训练得到的，所述联合损失函数是根据所述图像生成网络的输出图像与期望生成的目标图像之间的损失值，以及所述输出图像与所述目标图像之间的真实性判别结果构建的；获取所述图像生成网络输出的针对所述待处理图像的修复图像。本申请实施例的技术方案能够对图像进行修复，增加了图像纹理和细节，使修复图像更加逼真，提高了图像修复效果。

Description

图像处理方法、装置、计算机可读介质及电子设备
技术领域
本申请涉及计算机及通信技术领域，具体而言，涉及一种图像处理方法、装置、计算机可读介质及电子设备。
背景技术
随着人工智能在图像处理技术上的不断发展，计算机设备能够利用如机器学习技术，对图像或者视频进行个性化处理，如图像修复、图像增强、图像分割等，得到满足用户实际需求的图像处理结果。
在基于人工智能的图像处理技术中，图像修复是一个重要的研究方向，能够对图像的各种降质损失进行修复和增强。但是，相关技术在进行图像修复时无法达到较好的修复效果。
发明内容
本申请的实施例提供了一种图像处理方法、装置、计算机可读介质及电子设备，进而至少在一定程度上能够对图像进行修复，增加了图像纹理和细节，使修复图像更加逼真，提高了图像修复效果。
本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
根据本申请实施例的一个方面，提供了一种图像处理方法，包括：获取待处理图像；将所述待处理图像输入至图像生成网络，所述图像生成网络是根据联合损失函数训练得到的，所述联合损失函数是根据所述图像生成网络的输出图像与期望生成的目标图像之间的损失值，以及所述输出图像与所述目标图像之间的真实性判别结果构建的；获取所述图像生成网络输出的针对所述待处理图像的修复图像。
根据本申请实施例的一个方面，提供了一种图像生成网络的训练方法，包括：获取多个图像对，各个图像对中包含有样本图像以及所述样本图像对应的降质图像；将所述样本图像对应的降质图像输入待训练网络，得到所述待训练网络输出的生成图像；根据所述生成图像与所述样本图像之间的损失值，以及对所述生成图像与所述样本图像之间的真实性判别结果，构建联合损失值；根据所述联合损失值调整所述待训练网络的参数，得到图像生成网络。
根据本申请实施例的一个方面，提供了一种图像处理装置，包括：第一获取单元，配置为获取待处理图像；第一输入单元，配置为将所述待处理图像输入至图像生成网络，所述图像生成网络是根据联合损失函数训练得到的，所述联合损失函数是根据所述图像生成网络的输出图像与期望生成的目标图像之间的损失值，以及对所述输出图像与所述目标图像之间的真实性判别结果构建的；第二获取单元，配置为获取所述图像生成网络输出的针对所述待处理图像的修复图像。
在本申请的一些实施例中，基于前述方案，所述图像处理装置还包括：第三获取单元，配置为获取多个图像对，各个图像对中包含有样本图像以及所述样本图像对应的降质图像；第二输入单元，配置为将所述样本图像对应的降质图像输入待训练网络，得到所述待训练网络输出的生成图像；第一构建单元，配置为根据所述生成图像以及所述样本图像构建所述联合损失函数，并根据所述联合损失函数调整所述待训练网络的参数，得到所述图像生成网络。
在本申请的一些实施例中，基于前述方案，所述第一构建单元包括：输入子单元，配置为将所述生成图像以及所述样本图像输入至预训练的判别网络，根据所述判别网络的输出结果确定第一损失函数；计算子单元，配置为根据所述生成图像以及所述样本图像计算图像信息差，根据所述图像信息差构建第二损失函数；构建子单元，配置为根据所述第一损失函数和所述第二损失函数构建所述联合损失函数。
在本申请的一些实施例中，基于前述方案，所述输入子单元配置为：获取所述判别网络输出的多个真实性判别结果；对各个真实性判别结果进行对数运算，得到多个运算结果；根据所述多个运算结果的运算结果之和，得到所述第一损失函数。
在本申请的一些实施例中，基于前述方案，所述第三获取单元包括：获取子单元，配置为获取多个样本图像；降质处理子单元，配置为对各个样本图像进行图像降质处理，得到所述各个样本图像对应的降质图像；生成子单元，配置为根据所述各个样本图像以及所述各个样本图像对应的降质图像，生成所述图像对。
在本申请的一些实施例中，基于前述方案，所述降质处理子单元配置为对各个样本图像进行图像降质处理，包括以下至少一种：对所述各个样本图像进行模糊化处理，所述模糊化处理包括高斯模糊、运动模糊中的一种或多种；对所述各个样本图像进行下采样处理；对所述各个样本图像进行插值放大处理，所述插值放大处理包括双线性插值、双三次插值、最近邻插值中的一种或多种；对所述各个样本图像进行增加噪声处理；对所述各个样本图像进行压缩处理。
在本申请的一些实施例中，基于前述方案，所述获取子单元配置为：获取具有图像背景且图像尺寸满足预设尺寸的多个初始图像；根据各个初始图像的图像质量类别，从所述多个初始图像中筛选出图像质量高于设定值的图像质量类别的图像，以获得所述多个样本图像。
在本申请的一些实施例中，基于前述方案，所述图像处理装置还包括：第三输入单元，配置为将所述多个初始图像输入图像分类模型，所述图像分类模型中包含有特征提取层和全连接层；特征提取单元，配置为基于所述特征提取层对各个初始图像进行特征提取，得到所述各个初始图像对应的目标特征向量；处理单元，配置为通过所述全连接层对所述目标特征向量进行全连接处理，得到所述各个初始图像对应的图像质量类别。
在本申请的一些实施例中，基于前述方案，所述处理单元配置为：通过所述全连接层对所述目标特征向量进行全连接处理；对所述全连接层的输出进行归一化处理，得到所述各个初始图像对应各图像质量类别的预测概率；将所述预测概率中最大预测概率对应的图像质量类别，作为所述各个初始图像对应的图像质量类别。
在本申请的一些实施例中，基于前述方案，所述图像分类模型是通过如下方式训练得到的：获取包含有多个样本图像的训练样本集，所述样本图像携带有图像质量标注类别；将所述多个样本图像输入所述图像分类模型，得到所述图像分类模型输出的各个样本图像对应的图像质量预测类别；基于所述图像质量标注类别以及所述图像质量预测类别，构建所述图像分类模型的目标损失函数；基于所述目标损失函数对所述图像分类模型进行训练，得到训练好的图像分类模型。
在本申请的一些实施例中，基于前述方案，基于所述图像质量标注类别以及所述图像质量预测类别，构建所述图像分类模型的目标损失函数，包括：获取所述各个样本图像对应的图像质量预测类别与所述各个样本图像对应的图像质量标注类别之间的差异；根据获取到的各个差异的差异和，构建所述图像分类模型的目标损失函数。
根据本申请实施例的一个方面，提供了一种图像生成网络的训练方法，包括：第四获取单元，配置为获取多个图像对，各个图像对中包含有样本图像以及所述样本图像对应的降质图像；第四输入单元，配置为将所述样本图像对应的降质图像输入待训练网络，得到所述待训练网络输出的生成图像；第二构建单元，配置为根据所述生成图像与所述样本图像之间的损失值，以及所述生成图像与所述样本图像之间的真实性判别结果，构建联合损失值；调整单元，配置为根据所述联合损失值调整所述待训练网络的参数，得到图像生成网络。
根据本申请实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的图像处理方法或者图像生成网络的训练方法。
根据本申请实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的图像处理方法或者图像生成网络的训练方法。
根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实施例中提供的图像处理方法或者图像生成网络的训练方法。
在本申请的一些实施例所提供的技术方案中，在获取到待处理图像之后，可以将待处理图像输入至图像生成网络，利用图像生成网络进行图像处理，图像生成网络可根据输入的待处理图像生成与其对应的修复图像，图像生成网络是通过联合损失函数训练得到的，一方面，可以通过图像生成网络的输出图像与目标图像之间的损失值使输出图像与目标图像接近或相同；另一方面，由于联合损失函数在构建时也考虑了输出图像与目标图像之间的真实性判别结果，因此可以根据输出图像与目标图像之间的真实性判别结果来调整图像生成网络的参数，进而确保图像生成网络的输出图像尽可能被判别为真，以使得输出图像尽可能接近目标图像，达到以假乱真的效果，这样可以在一定程度上补全待处理图像中缺失的部分，起到对待处理图像的修复功能。可见，本申请实施例的技术方案可以实现对图像的纹理和细节的增加，使修复图像更加逼真，达到较好的图像修复效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了可以应用本申请实施例的技术方案的实施环境示意图；
图2示出了根据本申请的一个实施例的图像处理方法的流程图；
图3示出了根据本申请的一个实施例的根据图像对得到图像生成网络的流程图；
图4示出了根据本申请的一个实施例的根据生成图像以及样本图像构建联合损失函数的流程图；
图5示出了根据本申请的一个实施例的获取多个图像对的流程图；
图6示出了根据本申请的一个实施例的将初始图像输入图像分类模型，得到初始图像对应的图像质量类别的流程图；
图7示出了根据本申请的一个实施例的图像分类模型的结构示意图；
图8示出了根据本申请的一个实施例的通过全连接层进行全连接处理，得到初始图像对应的图像质量类别的流程图；
图9示出了根据本申请的一个实施例的训练图像分类模型的流程图；
图10A-10B示出了根据本申请的一个实施例的待处理的人脸图像在图像处理前后的对比示意图；
图11示出了根据本申请的一个实施例的图像生成网络的训练方法的流程图；
图12示出了根据本申请的一个实施例的图像处理装置的框图；
图13示出了根据本申请的一个实施例的图像生成网络的训练装置的框图；
图14示出了适于用来实现本申请实施例的电子设备的计算机***的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
需要说明的是，本申请的说明书和权利要求书及上述附图中使用的术语仅用于描述实施例，并不旨在限制本申请的范围。应该理解的是，术语“包括”、“包含”、“具有”等在本文中使用时指定存在所陈述的特点、整体、步骤、操作、元件、组件和/或其群组，但并不排除存在或添加其他特点、整体、步骤、操作、元件、组件和/或其群组中的一个或多个。
将进一步理解的是，尽管术语“第一”、“第二”、“第三”等可以在本文中用于描述各种元件，但是这些元件不应受这些术语的限制。这些术语仅用于区分一个元件和另一个元件。例如，在不脱离本发明的范围的情况下，第一元件可以被称为第二元件。类似地，第二元件可以被称为第一元件。如本文所使用的，术语“和/或”包含关联的列出的项目中的一个或多个的任何和所有组合。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。
请参阅图1，图1示出了可以应用本申请实施例的技术方案的场景示意图。其中，终端102通过网络与服务器104通过网络进行通信。服务器104可以是独立的物理服务器，或者是多个物理服务器构成的服务器集群或者分布式***，或者是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(ContentDelivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端102可以是手机、平板电脑、笔记本电脑、台式电脑、或者可穿戴设备等，但并不局限于此。
本领域技术人员可以知晓，上述终端的数量仅仅是示意性的。根据实现需要，可以具有任意数目的终端，例如可以仅为一个，或者上述终端设备为几十个或几百个，或者更多数量。本申请实施例对终端设备的数量和设备类型不加以限定。
在本申请的一个实施例中，终端102获取待处理图像后，可以将待处理图像发送至服务器104；服务器104中安装有图像生成网络，图像生成网络是根据联合损失函数训练得到的，联合损失函数是根据图像生成网络的输出图像与期望生成的目标图像之间的损失值，以及输出图像与目标图像之间的真实性判别结果构建的，服务器104可以将待处理图像输入图像生成网络，然后获取到图像生成网络输出的针对待处理图像的修复图像。
在本申请的一个实施例中，服务器104可以根据多个图像对训练得到图像生成网络，通过获取多个图像对，各个图像对中包含有样本图像以及样本图像对应的降质图像，然后，将样本图像对应的降质图像输入待训练网络，得到待训练网络输出的生成图像，最后，服务器104可以根据生成图像以及样本图像之间的损失值，以及对生成图像与样本图像之间的真实性判别结果，构建联合损失函数，最后，根据联合损失函数调整待训练网络的参数，得到图像生成网络。
需要说明的是，本申请实施例所提供的图像处理方法一般由服务器104执行，相应地，图像处理装置一般设置于服务器104中。但是，在本公开的其它实施例中，终端也可以与服务器具有相似的功能，从而执行本公开实施例所提供的图像优化方案。
本申请实施例提供的图像处理方法可以涉及人工智能中的机器学习技术等技术，下面先对人工智能技术和机器学习技术进行说明。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、以及机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)，计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、以及算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、以及式教学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能的图像处理技术和图像识别技术，具体通过如下实施例进行说明：
在本申请的实施例中，提供了一种图像处理方法，至少在一定程度上能够对待处理图像进行修复，增加图像纹理和细节，使修复图像更加逼真，达到较好的图像修复效果。本实施例提供的图像处理方法的执行主体可以是具有计算处理功能的设备，例如可以是服务器、终端，也可以是由服务器和终端共同执行，其中终端、服务器可以为图1中所示的终端102和服务器104。
以下对本申请实施例的技术方案的实现细节进行详细阐述：
图2示出了根据本申请的一个实施例的图像处理方法的流程图，该图像处理方法可以由服务器来执行，该服务器可以是图1中所示的服务器103，当然该图像处理方法也可以由终端来执行，比如可以由图1中所示的终端101来执行。参照图2所示，所述方法包括：
步骤S210、获取待处理图像；
步骤S220、将待处理图像输入至图像生成网络，图像生成网络是根据联合损失函数训练得到的，联合损失函数是根据图像生成网络的输出图像与期望生成的目标图像之间的损失值，以及输出图像与目标图像之间的真实性判别结果构建的。
步骤S230、获取图像生成网络输出的针对待处理图像的修复图像。
在步骤S210中，获取待处理图像。
具体的，在本申请中，待处理图像指的是需要进行图像处理的图像，例如，需要进行图像增强或者进行图像修复。该图像可以是通过设定数据库获取，也可以是从其他途径中获得，例如，可以从搜索引擎中搜索出的图像，或者从视频帧中截取出的图像。本实施例对待处理图像的类型不进行限定，待处理图像可以是人脸图像、文本图像、建筑物图像或者水印图像等等。
当步骤S210为图1中的终端实现时，待处理图像可以是从服务器中获取到的。在一些实施例中，待处理图像还可以是利用终端采集到的图像。当步骤S210为图1中的服务器实现时，待处理图像可以是由终端上传至服务器的。
步骤S220、将待处理图像输入至图像生成网络，图像生成网络是根据联合损失函数训练得到的，联合损失函数是根据图像生成网络的输出图像与期望生成的目标图像之间的损失值，以及输出图像与目标图像之间的真实性判别结果构建的。
具体而言，在获取到待处理图像之后，可以将待处理图像输入至图像生成网络中，通过图像生成网络对待处理图像进行图像处理。其中，图像生成网络是通过联合损失函数训练得到的，其可根据输入的待处理图像生成与其对应的修复图像，修复图像是对待处理图像进行修复甚至加清和增强的图像。
在采用图像生成网络生成修复图像之前，需要根据联合损失函数对图像生成网络进行训练。联合损失函数的构建包括两个部分：一是图像生成网络的输出图像与期望生成的目标图像之间的损失值，二是图像生成网络的输出图像与期望生成的目标图像之间的真实性判别结果。
本实施例根据联合损失函数训练图像生成网络，一方面，联合损失函数包括图像生成网络的输出图像与期望生成的目标图像之间的损失值，通过该损失值可以使图像生成网络的输出图像与期望生成的目标图像接近或相同；另一方面，联合损失函数还包括图像生成网络的输出图像与期望生成的目标图像之间的真实性判别结果，因此可以根据输出图像与目标图像之间的真实性判别结果来调整图像生成网络的参数，进而确保图像生成网络的输出图像尽可能被判别为真，以使得输出图像尽可能接近目标图像，达到以假乱真的效果，这样可以在一定程度上补全待处理图像中缺失的部分，起到对待处理图像的修复功能。
需要说明的是，本实施例中的图像生成网络的特性在于网络的输入和输出的尺寸一致，为三通道的固定尺寸图像，因此在将待处理图像输入到图像生成网络之前需要对待处理图像进行随机剪裁(如随机裁剪出大小为256×256)。
步骤S230、获取图像生成网络输出的针对待处理图像的修复图像。
具体地，将待处理图像输入至图像生成网络，通过图像生成网络对待处理图像进行图像处理，以获取图像生成网络输出的针对待处理图像的修复图像。修复图像是对待处理图像进行修复甚至加清和增强的图像。
基于以上实施例的技术方案，利用图像生成网络进行图像处理，图像生成网络可根据输入的待处理图像生成与其对应的修复图像，图像生成网络是通过联合损失函数训练得到的，一方面，可以通过图像生成网络的输出图像与目标图像之间的损失值使输出图像与目标图像接近或相同；另一方面，由于联合损失函数在构建时也考虑了输出图像与目标图像之间的真实性判别结果，因此可以根据输出图像与目标图像之间的真实性判别结果来调整图像生成网络的参数，进而确保图像生成网络的输出图像尽可能被判别为真，以使得输出图像尽可能接近目标图像，达到以假乱真的效果，这样可以在一定程度上补全待处理图像中缺失的部分，起到对待处理图像的修复功能。可见，本申请实施例的技术方案可以实现对图像的纹理和细节的增加，使修复图像更加逼真，达到较好的图像修复效果。
在本申请的一个实施例中，图3示出了根据本申请的一个实施例的根据图像对得到图像生成网络的流程图，如图3所示，根据图像对得到图像生成网络的流程具体可以包括步骤S310-步骤S330，具体说明如下：
在步骤S310中，获取多个图像对，各个图像对中包含有样本图像以及样本图像对应的降质图像。
具体实施时，可以通过获取多个图像对，以得到图像生成网络。各个图像对中包含有样本图像以及样本图像对应的降质图像，相比于样本图像，样本图像对应的降质图像的图像质量较差、清晰度较低、噪声较多。其中样本图像对应的降质图像作为输入样本，样本图像作为验证样本，用于判断图像生成网络的性能是否稳定。也就是说，各个图像对中的降质图像是待处理图像，样本图像是期望处理后的图像。
在步骤S320中，将样本图像对应的降质图像输入待训练网络，得到待训练网络输出的生成图像。
在获取到多个图像对之后，可以将样本图像对应的降质图像输入待训练网络，待训练网络可以根据输入的降质图像输出生成图像。待训练网络主要的特性在于该网络的输入图像和输出图像的尺寸一致，为三通道的固定尺寸的图像。
在一些实施例中，为了获得更多的图像细节，可以将尺寸固定为256*256，因此，样本图像可以是尺寸大小为256*256的图像。
在一些实施例中，待训练网络可以选择有跳跃连接操作的网络，当然，待训练网络也可以选择其他替代的生成网络，本申请实施例在此不进行具体限定。
在步骤S330中，根据生成图像以及样本图像构建联合损失函数，并根据联合损失函数调整待训练网络的参数，得到图像生成网络。
在将样本图像对应的降质图像输入待训练网络，得到待训练网络输出的生成图像之后，可以根据输出的生成图像以及输入的降质图像对应的样本图像构建联合损失函数，基于该联合损失函数可以对待训练网络进行反向调参，在经过多次迭代训练后，即可得到联合损失函数收敛，性能稳定的，用于对待处理图像进行修复处理的图像生成网络。
在本申请的一个实施例中，图4示出了根据本申请的一个实施例的根据生成图像以及样本图像构建联合损失函数的流程图，如图4所示，根据生成图像以及样本图像构建联合损失函数可以具体包括步骤S410-步骤S430，详细说明如下：
步骤S410、将生成图像以及样本图像输入至预训练的判别网络，根据判别网络的输出结果确定第一损失函数。
图像生成网络是用来对降质图像进行处理，并输出生成图像。而判别网络用于接收上述生成图像以及上述降质图像对应的样本图像，并判别一副图像(包括样本图像和生成图像)的真假。判别网络的训练目标是：判别样本图像为真，判别生成图像为假。而图像生成网络的训练目标是：对于降质图像进行处理得到生成图像，令判别网络判别生成图像为真，即使得生成图像十分接近样本图像，以达到以假乱真的效果。可见，通过图像生成网络与判别网络的对抗式训练过程，可以优化获得较好的图像生成网络参数，从而使得生成图像接近样本图像。
基于此，可以通过判别网络构建图像生成网络训练过程中的一个损失函数，也即，将生成图像以及样本图像作为判别网络的输入，然后根据判别网络的输出结果确定第一损失函数。
在本申请的一个实施例中，将生成图像以及样本图像输入至预训练的判别网络之后，可以得到判别网络输出的多个真实性判别结果，也即分别得到判别网络输出的生成图像的真实性判别结果以及判别网络输出的样本图像的真实性判别结果，根据多个真实性判别结果确定第一损失函数可以具体包括：对各个真实性判别结果进行对数运算，得到多个运算结果，然后根据多个运算结果的运算结果之和，得到第一损失函数。第一损失函数LGAN的表达式可以如公式(1)所示：
LGAN＝-∑logD(It,G(Is)) (1)
其中，D表示预训练的判别网络，It为样本图像，Is为降质图像，G(Is)为生成图像，D(It,G(Is))为判别网络输出的真实性判别结果。
步骤S420、根据生成图像以及样本图像计算图像信息差，根据图像信息差构建第二损失函数。
在本实施例中，除了根据判别网络的输出结果确定第一损失函数，还可以根据生成图像以及样本图像计算图像信息差，根据图像信息差构建第二损失函数。
可以理解的是，由于样本图像对应的降质图像是作为输入样本，生成图像作为输出样本，样本图像是作为验证样本，生成图像和样本图像无论是在低层次的像素值上还是高层次的抽象特征上，都应当接近，因此为了保证生成图像与样本图像在深层语义上的一致，还可以将生成图像和样本图像进行比对，并根据比对结果构建第二损失函数，进而基于第二损失函数对图像生成网络的参数进行调整，以使图像生成网络输出的生成图像与样本图像接近或相同。其中将生成图像和样本图像进行比对，根据比对结果构建第二损失函数，具体可以根据生成图像以及样本图像计算图像信息差，根据图像信息差构建第二损失函数L1，第二损失函数的表达式可以如公式(2)所示：
L1＝||It-G(Is)|| (2)
其中，It为样本图像，Is为降质图像，G(Is)为生成图像。
步骤S430、根据第一损失函数和第二损失函数构建联合损失函数。
在确定出第一损失函数以及第二损失函数之后，最后可以根据第一损失函数和第二损失函数构建联合损失函数。示意性地，可以定义联合损失函数为L，联合损失函数的表达式可以如公式(3)所示：
L＝L1*k1+LGAN*k2 (3)
其中，LGAN为第一损失函数，L1为第二损失函数，k1、k2均为常量。经过试验，当k1＝1,k2＝0.0001时得到的图像生成网络的性能最好，稳定性最好，利用图像生成网络对图像进行修复的效果最好。
在本申请的一个实施例中，图5示出了根据本申请的一个实施例的获取多个图像对的流程图，如图5所示，获取多个图像对可以具体包括步骤S510-步骤S530，具体说明如下：
步骤S510、获取多个样本图像。
具体地，样本图像可以是对已有图像集进行筛选后得到的图像，筛选得到的样本图像是图像质量高的图像。
步骤S520、对各个样本图像进行图像降质处理，得到各个样本图像对应的降质图像。
在获取多个样本图像后，则可以对各个样本图像进行图像降质处理，以得到各个样本图像对应的降质图像，图像降质处理的目的在于降低样本图像的质量。
在本申请的一个实施例中，对各个样本图像进行图像降质处理，可以包括以下至少一种：对各个样本图像进行模糊化处理，模糊化处理包括高斯模糊、运动模糊中的一种或多种；对各个样本图像进行下采样处理；对各个样本图像进行插值放大处理，插值放大处理包括双线性插值、双三次插值、最近邻插值中的一种或多种；对各个样本图像进行增加噪声处理；对各个样本图像进行压缩处理。
接下来对上述提及到的图像降质处理方式进行简单介绍。
(1)模糊化处理
模糊化处理可以包括高斯模糊、运动模糊中的一种或多种，高斯模糊本质上是一种数据平滑处理，运动模糊是静态场景或一系列的图片像电影或是动画中快速移动的物体造成明显的模糊拖动痕迹。
高斯模糊是一种图像模糊滤波器，它用正态分布计算图像中每个像素的变换。N维空间正态分布方程为如公式(4)所示：
Figure BDA0002992710690000151
在二维空间可以定义为如公式(5)所示：
Figure BDA0002992710690000152
其中r是模糊半径，σ是正态分布的标准偏差。在二维空间中，这个公式生成的曲面的等高线是从中心开始呈正态分布的同心圆。分布不为零的像素组成的卷积矩阵与原始图像做变换。每个像素的值都是周围相邻像素值的加权平均。原始像素的值有最大的高斯分布值，所以有最大的权重，相邻像素随着距离原始像素越来越远，其权重也越来越小。
高斯模糊中，高斯核大小的选取，影响模糊程度，高斯核越大，模糊越大。经过实验，每张图像在进行高斯模糊时，高斯核大小在【3-13】中的奇数中随机取值。
运动模糊的原理是：假设有一清晰平面图片y(x)，我们只能观察到其模糊后的图像(y*psf)(x),psf(x)为已知的点扩散函数PSF(Point Spread Function)，*表示卷积((convolution)。假设此卷积为离散且有噪声，观察到的图像可表示为如公式(6)所示：
z(x)＝(y*psf)(x)+ε(x) (6)
其中，ε(x)为噪声。x为分布在整齐的n1*n2格子X中，X＝{k1,k2:k1＝1,2,....,n1,k2＝1,2,....,n2}。
最简单的动态模糊模型可用直线型点扩散函数以离散卷积形式可以表示为如公式(7)以及公式(8)所示：
Figure BDA0002992710690000161
psf(x1,x2)＝0,otherwise (8)
其中，L为核kernel的长度，由运动速率决定，斜率则由运动方向决定。此模型假设图片中的所有像素的移动皆相同。经过实验，每张图像在进行运动模糊时，L在【0-12】，运动方向为【0-90】度随机选取。
(2)下采样处理
下采样(subsampled)也被称为缩小图像或降采样，其主要目的有两个：1、使得图像符合显示区域的大小；2、生成对应图像的缩略图。对于一幅尺寸为M×N的图像，对其进行s倍下采样，即得到(M/s)×(N/s)尺寸的图像。
(3)插值放大处理
对图像进行放大到原来的尺寸，放大的方法随机选取以下三种：双线性插值，双三次插值，最近邻插值。
(4)增加噪声处理
高斯噪声的概率密度服从高斯分布，高斯分布的表达式如公式(9)所示：
Figure BDA0002992710690000162
其中，μ代表分布的均值，σ代表分布的标准差，σ2代表分布的方差。在本公开的实施例中，μ和σ可以随机确定，在确定参数后根据该概率分布对图像中各个像素的颜色值添加噪声，最后将像素的颜色值放缩到[0,255]即可实现高斯噪声的添加。
泊松噪声的概率密度服从泊松分布，泊松分布的表达式如公式(10)所示：
Figure BDA0002992710690000171
其中，参数λ可以随机确定。在确定参数后，可以根据泊松噪声的概率分布对图像中各个像素的颜色值进行处理，以添加泊松噪声。
椒盐噪声即随机在图像上添加黑白像素点，黑白像素的多少可以由信噪比来进行控制，信噪比可以随机确定。在指定信噪比后，根据信噪比可以确定总像素数目，然后在与总像素数目对应的图像区域中随机获取要增加噪声的像素的位置，并将该位置的像素值设置为255或0，最后对该图像区域中其它的像素重复上述步骤，即可完成对图像增加椒盐噪声。
(5)压缩处理
将图像保存为jpeg格式，需要注意的是，需要设定jpeg压缩质量参数为【50-100】，随机选取。
步骤S530、根据各个样本图像以及各个样本图像对应的降质图像，生成图像对。
在进行图像降质处理得到各个样本图像对应的降质图像之后，则可以根据各个样本图像以及各个样本图像对应的降质图像，生成图像对。
在一些实施例中，步骤S510中获取到的样本图像除了可以是从已有图像集中筛选得到的图像质量高的图像，还可以是具有图像背景且图像尺寸满足预设尺寸的图像。
在该实施例中，获取多个样本图像的步骤可以具体包括：首先，获取具有图像背景且图像尺寸满足预设尺寸的多个初始图像；然后，根据各个初始图像的图像质量类别，从多个初始图像中筛选出图像质量高于设定值的图像质量类别的图像，以获得多个样本图像。
其中，预设尺寸可以根据实际情况进行设置，例如预设尺寸为宽高为500(像素)*500(像素)以上。这样筛选的目的在于满足预设尺寸的图像细节更加清晰，有利于网络训练；再者，从已有图像集中筛选有背景的图像，目的在于图像的背景可能包含有大量有用信息，筛选具有背景的图像可以提供更多背景信息给网络进行训练。
在获取到具有图像背景且图像尺寸满足预设尺寸的多个初始图像之后，可以根据各个初始图像的图像质量类别，从多个初始图像中筛选出图像质量高于设定值的图像质量类别的图像，以获得多个样本图像。其中，图像质量类别是对图像质量的情况划分得到的类别，图像质量类别不同，图像质量也存在差异。
在一些实施例中，可以使不同的图像质量类别对应于不同的图像质量范围，例如，可以定义图像质量在0～30之间的图像质量类别为差，图像质量在30～60之间的图像质量类别为中，图像质量在60～100之间的图像质量类别为好。
因此，在筛选样本图像时，可以从多个初始图像中筛选出图像质量高于设定值的图像质量类别的图像，例如，假设设定值为60，则可以从多个初始图像中筛选图像质量类别为好的图像，将图像质量类别为好的图像作为样本图像。
在本申请的一个实施例中，对于各个初始图像的图像质量类别，可以通过图像分类模型的方式确定，图6示出了根据本申请的一个实施例的将初始图像输入图像分类模型，得到初始图像对应的图像质量类别的流程图，如图6所示，具体可以包括步骤S610-步骤S630，详细说明如下：
步骤S610、将多个初始图像输入图像分类模型，图像分类模型中包含有特征提取层和全连接层。
步骤S620、基于特征提取层对各个初始图像进行特征提取，得到各个初始图像对应的目标特征向量。
步骤S630、通过全连接层对目标特征向量进行全连接处理，得到各个初始图像对应的图像质量类别。
如前所述，初始图像是具有图像背景且图像尺寸满足预设尺寸的图像，在获取到多个初始图像后，可以将多个初始图像输入图像分类模型，以对各个初始图像进行分类，得到各个初始图像的图像质量类别。
图7为本申请实施例提供的图像分类模型的组成结构示意图，接下来结合图7对图像分类模型对于多个初始图像的分类过程进行说明：
参见图7，本申请实施例提供的图像分类模型包括输入层、特征提取层以及全连接层。在实际实施时，通过输入层将各个初始图像输入至图像分类模型，通过图像分类模型的特征提取层，对初始图像进行特征提取，得到初始图像的目标特征向量；通过图像分类模型的全连接层，对各个初始图像对应的目标特征向量进行连接，得到各个初始图像对应各图像质量类别的预测概率，然后，可以根据各个初始图像对应各图像质量类别的预测概率确定各个初始图像对应的图像质量类别。
这里，在实际应用中，图像分类模型的特征提取层可由任何具备对图像进行特征提取功能的网络构成，如可由包括卷积层、池化层及全连接层的卷积神经网络(CNN，Convolutional Neural Networks)构成。
基于以上实施例，图像分类模型包含特征提取层和全连接层，特征提取层和全连接层在训练过程中学习了各图像质量类别之间的关联性。获取初始图像，将该初始图像输入训练好的图像分类模型，基于特征提取层对待处理图像进行特征提取，得到初始图像对应的目标特征向量，将目标特征向量输入全连接层，通过全连接层对该目标特征向量进行全连接处理，得到该初始图像对应的图像质量类别，能够基于各图像质量类别之间的关联性对初始图像进行分类，提高分类的准确性。
在一些实施例中，如图8所示，步骤S630可以具体包括步骤S810-步骤S830，详细说明如下：
步骤S810、通过全连接层对目标特征向量进行全连接处理。
在本实施例中，可以获取各特征提取层输出的各个初始图像对应的目标特征向量，通过全连接层将各特征提取层输出的目标特征向量进行连接处理，得到全连接层的输出。
步骤S820、对全连接层的输出进行归一化处理，得到各个初始图像对应各图像质量类别的预测概率。
步骤S830、将预测概率中最大预测概率对应的图像质量类别，作为各个初始图像对应的图像质量类别。
具体地，可以将全连接层的输出进行归一化处理，得到各个初始图像对应各图像质量类别的预测概率。接着，可以确定该预测概率中的最大预测概率，并确定最大预测概率对应的图像质量类别，将该最大预测概率对应的图像质量类别作为各个初始图像对应的图像质量类别。
在本申请的一个实施例中，图9示出了根据本申请的一个实施例的训练图像分类模型的流程图，如图9所示，训练图像分类模型可以具体包括步骤S910-步骤S940，详细说明如下：
步骤S910、获取包含有多个样本图像的训练样本集，样本图像携带有图像质量标注类别。
在模型训练之前，需要构建用于模型训练的训练样本集，训练样本集中包含有多个样本图像，样本图像可为本地存储的，也可为其他设备存储的，也可以为从网络上获取的，还可为实时拍摄的，不限于此。
训练样本集中每个样本图像携带有图像质量标注类别，图像质量标注类别可为预先通过人工进行标注的图像质量类别，示意性地，标注的图像质量类别可以是：差、中、好三种。
步骤S920、将多个样本图像输入图像分类模型，得到图像分类模型输出的各个样本图像对应的图像质量预测类别。
具体地，在进行模型训练时，通过输入层将多个样本图像输入至图像分类模型，通过图像分类模型的特征提取层，对样本图像进行特征提取，得到样本图像的特征向量；通过图像分类模型的全连接层，对样本图像对应的特征向量进行连接，得到样本图像对应各图像质量类别的预测概率，然后，可以根据样本图像对应各图像质量类别的预测概率确定样本图像对应的图像质量预测类别。
步骤S930、基于图像质量标注类别以及图像质量预测类别，构建图像分类模型的目标损失函数。
其中，图像分类模型还包括损失函数(Loss Function)，损失函数用于表征图像质量预测类别和图像质量标注类别的不一致程度。可以理解，损失函数具有多种类型，在实际应用时可根据需求选择相应类型的损失函数。
在一些实施例中，可以通过获取各个样本图像对应的图像质量预测类别与各个样本图像对应的图像质量标注类别之间的差异；然后根据获取到的各个差异的差异和，构建图像分类模型的目标损失函数。
步骤S940、基于目标损失函数对图像分类模型进行训练，得到训练好的图像分类模型。
进一步，可以通过确定出的目标损失函数对图像分类模型中的模型参数进行调整，使模型参数调整后的图像分类模型预测得到的图像质量预测类别与图像质量标注类别之间的损失趋于收敛。
相应的，可通过如下方式调整图像分类模型的模型参数：
当确定目标损失函数的值超出预设阈值时，基于图像分类模型的损失函数确定相应的误差信号；将误差信号在图像分类模型中反向传播，并在传播的过程中调整图像分类模型的模型参数。
这里对反向传播进行说明，将训练样本数据输入到神经网络模型的输入层，经过隐藏层，最后达到输出层并输出结果，这是神经网络模型的前向传播过程，由于神经网络模型的输出结果与实际结果有误差，则计算输出结果与实际结果之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层，在反向传播的过程中，根据误差调整模型参数的值；不断迭代上述过程，直至收敛。
在本申请的一个实施例中，图10A-10B示出了根据本申请的一个实施例的待处理的人脸图像在图像处理前后的对比示意图，如图10A所示，展示的是待处理的人脸图像，可以看出，待处理的人脸图像模糊、清晰度低，在经过图像生成网络对待处理的人脸图像进行处理之后，可以得到清晰度高、人脸纹理以及面部细节丰富的人脸图像，如图10B所示。
根据本申请实施例提供的图像处理方法，针对待处理图像的修复图像在保留图像特征的基础上，使得修复图像具有清晰度高、包含图像细节以及噪声被准确去除的特点，修复图像更加逼真，图像修复效果较好。
此外，本申请实施例中的图像处理方法还可以应用于视频帧图像的处理，前后视频帧的修复图像不会存在修复效果上的差异，进而可以使得视频更加连贯，不会出现闪烁现象。
在本申请的一个实施例中，图11示出了根据本申请的一个实施例的训练图像生成网络的流程图，如图11所示，训练图像生成网络的流程可以具体包括步骤S1110-步骤S1140，详细说明如下：
在步骤S1110中，获取多个图像对，各个图像对中包含有样本图像以及样本图像对应的降质图像。
在训练图像生成网络时，需要预先获取作为训练样本的多个图像对。图像对中包含有样本图像以及样本图像对应的降质图像。相比于样本图像，样本图像对应的降质图像的图像质量较差、清晰度较低、噪声较多。其中样本图像对应的降质图像作为输入样本，样本图像作为验证样本，用于判断图像生成网络的性能是否稳定。也就是说，各个图像对中的降质图像是待处理图像，样本图像是期望处理后的图像。
在步骤S1120中，将样本图像对应的降质图像输入待训练网络，得到待训练网络输出的生成图像。
在获取到多个图像对之后，可以将样本图像对应的降质图像输入待训练网络，待训练网络可以根据输入的降质图像输出生成图像。待训练网络主要的特性在于该网络的输入图像和输出图像的尺寸一致，为三通道的固定尺寸的图像。
在一些实施例中，为了获得更多的图像细节，可以将尺寸固定为256*256，因此，样本图像可以是尺寸大小为256*256的图像。
在一些实施例中，待训练网络可以选择有跳跃连接操作的网络，当然，待训练网络也可以选择其他替代的生成网络，本申请实施例在此不进行具体限定。
在步骤S1130中，根据生成图像与样本图像之间的损失值，以及生成图像与样本图像之间的真实性判别结果，构建联合损失值。
可以理解的是，由于样本图像对应的降质图像是作为输入样本，生成图像作为输出样本，样本图像是作为验证样本，因此，生成图像和样本图像无论是在低层次的像素值上还是高层次的抽象特征上，都应当接近，因此为了保证生成图像与样本图像在深层语义上的一致，一方面，可以对生成图像和样本图像进行比对，并根据生成图像与样本图像之间的损失值构建一个损失值，另一方面，还可以根据生成图像与样本图像之间的真实性判别结果，构建一个损失值，最后构建得到联合损失值。
在步骤S1140中，根据联合损失值调整待训练网络的参数，得到图像生成网络。
进一步，在构建联合损失值之后，可以基于该联合损失值对待训练网络进行反向调参，在经过多次迭代训练后，即可得到联合损失值收敛，性能稳定的，用于对待处理图像进行修复处理的图像生成网络。
以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的图像处理方法。对于本申请装置实施例中未披露的细节，请参照本申请上述的图像处理方法的实施例。
图12示出了根据本申请的一个实施例的图像处理装置的框图，参照图12所示，根据本申请的一个实施例的图像处理装置1200，包括：第一获取单元1202、第一输入单元1204以及第二获取单元1206。
其中，所述第一获取单元1202，配置为获取待处理图像；所述第一输入单元1204，配置为将所述待处理图像输入至图像生成网络，所述图像生成网络是根据联合损失函数训练得到的，所述联合损失函数是根据所述图像生成网络的输出图像与期望生成的目标图像之间的损失值，以及对所述输出图像与所述目标图像之间的真实性判别结果构建的；所述第二获取单元1206，配置为获取所述图像生成网络输出的针对所述待处理图像的修复图像。
在本申请的一些实施例中，所述图像处理装置还包括：第三获取单元，配置为获取多个图像对，各个图像对中包含有样本图像以及所述样本图像对应的降质图像；第二输入单元，配置为将所述样本图像对应的降质图像输入待训练网络，得到所述待训练网络输出的生成图像；第一构建单元，配置为根据所述生成图像以及所述样本图像构建所述联合损失函数，并根据所述联合损失函数调整所述待训练网络的参数，得到所述图像生成网络。
在本申请的一些实施例中，所述第一构建单元包括：输入子单元，配置为将所述生成图像以及所述样本图像输入至预训练的判别网络，根据所述判别网络的输出结果确定第一损失函数；计算子单元，配置为根据所述生成图像以及所述样本图像计算图像信息差，根据所述图像信息差构建第二损失函数；构建子单元，配置为根据所述第一损失函数和所述第二损失函数构建所述联合损失函数。
在本申请的一些实施例中，所述输入子单元配置为：获取所述判别网络输出的多个真实性判别结果；对各个真实性判别结果进行对数运算，得到多个运算结果；根据所述多个运算结果的运算结果之和，得到所述第一损失函数。
在本申请的一些实施例中，所述第三获取单元包括：获取子单元，配置为获取多个样本图像；降质处理子单元，配置为对各个样本图像进行图像降质处理，得到所述各个样本图像对应的降质图像；生成子单元，配置为根据所述各个样本图像以及所述各个样本图像对应的降质图像，生成所述图像对。
在本申请的一些实施例中，所述降质处理子单元配置为对各个样本图像进行图像降质处理，包括以下至少一种：对所述各个样本图像进行模糊化处理，所述模糊化处理包括高斯模糊、运动模糊中的一种或多种；对所述各个样本图像进行下采样处理；对所述各个样本图像进行插值放大处理，所述插值放大处理包括双线性插值、双三次插值、最近邻插值中的一种或多种；对所述各个样本图像进行增加噪声处理；对所述各个样本图像进行压缩处理。
在本申请的一些实施例中，所述获取子单元配置为：获取具有图像背景且图像尺寸满足预设尺寸的多个初始图像；根据各个初始图像的图像质量类别，从所述多个初始图像中筛选出图像质量高于设定值的图像质量类别的图像，以获得所述多个样本图像。
在本申请的一些实施例中，所述图像处理装置还包括：第三输入单元，配置为将所述多个初始图像输入图像分类模型，所述图像分类模型中包含有特征提取层和全连接层；特征提取单元，配置为基于所述特征提取层对各个初始图像进行特征提取，得到所述各个初始图像对应的目标特征向量；处理单元，配置为通过所述全连接层对所述目标特征向量进行全连接处理，得到所述各个初始图像对应的图像质量类别。
在本申请的一些实施例中，所述处理单元配置为：通过所述全连接层对所述目标特征向量进行全连接处理；对所述全连接层的输出进行归一化处理，得到所述各个初始图像对应各图像质量类别的预测概率；将所述预测概率中最大预测概率对应的图像质量类别，作为所述各个初始图像对应的图像质量类别。
在本申请的一些实施例中，所述图像分类模型是通过如下方式训练得到的：获取包含有多个样本图像的训练样本集，所述样本图像携带有图像质量标注类别；将所述多个样本图像输入所述图像分类模型，得到所述图像分类模型输出的各个样本图像对应的图像质量预测类别；基于所述图像质量标注类别以及所述图像质量预测类别，构建所述图像分类模型的目标损失函数；基于所述目标损失函数对所述图像分类模型进行训练，得到训练好的图像分类模型。
在本申请的一些实施例中，基于所述图像质量标注类别以及所述图像质量预测类别，构建所述图像分类模型的目标损失函数，包括：获取所述各个样本图像对应的图像质量预测类别与所述各个样本图像对应的图像质量标注类别之间的差异；根据获取到的各个差异的差异和，构建所述图像分类模型的目标损失函数。
图13示出了根据本申请的一个实施例的图像生成网络的训练装置的框图。
参见图13所示，根据本申请的一个实施例的图像生成网络的训练装置1300，包括：第四获取单元1302、第四输入单元1304、第二构建单元1306以及调整单元1308。
其中，所述第四获取单元1302，配置为获取多个图像对，各个图像对中包含有样本图像以及所述样本图像对应的降质图像；所述第四输入单元1304，配置为将所述样本图像对应的降质图像输入待训练网络，得到所述待训练网络输出的生成图像；所述第二构建单元1306，配置为根据所述生成图像与所述样本图像之间的损失值，以及所述生成图像与所述样本图像之间的真实性判别结果，构建联合损失值；所述调整单元1308，配置为根据所述联合损失值调整所述待训练网络的参数，得到图像生成网络。
图14示出了适于用来实现本申请实施例的电子设备的计算机***的结构示意图。
需要说明的是，图14示出的电子设备的计算机***1400仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图14所示，计算机***1400包括中央处理单元(Central Processing Unit，CPU)1401，其可以根据存储在只读存储器(Read-Only Memory，ROM)1402中的程序或者从存储部分1408加载到随机访问存储器(Random Access Memory，RAM)1403中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在RAM 1403中，还存储有***操作所需的各种程序和数据。CPU 1401、ROM1402以及RAM1403通过总线1404彼此相连。输入/输出(Input/Output，I/O)接口1405也连接至总线1404。
以下部件连接至I/O接口1405：包括键盘、鼠标等的输入部分1406；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1407；包括硬盘等的存储部分1408；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1409。通信部分1409经由诸如因特网的网络执行通信处理。驱动器1410也根据需要连接至I/O接口1405。可拆卸介质1411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1410上，以便于从其上读出的计算机程序根据需要被安装入存储部分1408。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分1409从网络上被下载和安装，和/或从可拆卸介质1411被安装。在该计算机程序被中央处理单元(CPU)1401执行时，执行本申请的***中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (15)

1.一种图像处理方法，其特征在于，所述方法包括：
获取待处理图像；
将所述待处理图像输入至图像生成网络，所述图像生成网络是根据联合损失函数训练得到的，所述联合损失函数是根据所述图像生成网络的输出图像与期望生成的目标图像之间的损失值，以及所述输出图像与所述目标图像之间的真实性判别结果构建的；
获取所述图像生成网络输出的针对所述待处理图像的修复图像。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取多个图像对，各个图像对中包含有样本图像以及所述样本图像对应的降质图像；
将所述样本图像对应的降质图像输入待训练网络，得到所述待训练网络输出的生成图像；
根据所述生成图像以及所述样本图像构建所述联合损失函数，并根据所述联合损失函数调整所述待训练网络的参数，得到所述图像生成网络。
3.根据权利要求2所述的方法，其特征在于，根据所述生成图像以及所述样本图像构建所述联合损失函数，包括：
将所述生成图像以及所述样本图像输入至预训练的判别网络，根据所述判别网络的输出结果确定第一损失函数；
根据所述生成图像以及所述样本图像计算图像信息差，根据所述图像信息差构建第二损失函数；
根据所述第一损失函数和所述第二损失函数构建所述联合损失函数。
4.根据权利要求3所述的方法，其特征在于，根据所述判别网络的输出结果确定第一损失函数，包括：
获取所述判别网络输出的多个真实性判别结果；
对各个真实性判别结果进行对数运算，得到多个运算结果；
根据所述多个运算结果的运算结果之和，得到所述第一损失函数。
5.根据权利要求2至4中任一项所述的方法，其特征在于，所述获取多个图像对，包括：
获取多个样本图像；
对各个样本图像进行图像降质处理，得到所述各个样本图像对应的降质图像；
根据所述各个样本图像以及所述各个样本图像对应的降质图像，生成所述图像对。
6.根据权利要求5所述的方法，其特征在于，对各个样本图像进行图像降质处理，包括以下至少一种：
对所述各个样本图像进行模糊化处理，所述模糊化处理包括高斯模糊、运动模糊中的一种或多种；
对所述各个样本图像进行下采样处理；
对所述各个样本图像进行插值放大处理，所述插值放大处理包括双线性插值、双三次插值、最近邻插值中的一种或多种；
对所述各个样本图像进行增加噪声处理；
对所述各个样本图像进行压缩处理。
7.根据权利要求5所述的方法，其特征在于，所述获取多个样本图像，包括：
获取具有图像背景且图像尺寸满足预设尺寸的多个初始图像；
根据各个初始图像的图像质量类别，从所述多个初始图像中筛选出图像质量高于设定值的图像质量类别的图像，以获得所述多个样本图像。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
将所述多个初始图像输入图像分类模型，所述图像分类模型中包含有特征提取层和全连接层；
基于所述特征提取层对各个初始图像进行特征提取，得到所述各个初始图像对应的目标特征向量；
通过所述全连接层对所述目标特征向量进行全连接处理，得到所述各个初始图像对应的图像质量类别。
9.根据权利要求8所述的方法，其特征在于，通过所述全连接层对所述目标特征向量进行全连接处理，得到所述各个初始图像对应的图像质量类别，包括：
通过所述全连接层对所述目标特征向量进行全连接处理；
对所述全连接层的输出进行归一化处理，得到所述各个初始图像对应各图像质量类别的预测概率；
将所述预测概率中最大预测概率对应的图像质量类别，作为所述各个初始图像对应的图像质量类别。
10.根据权利要求9所述的方法，其特征在于，所述图像分类模型是通过如下方式训练得到的：
获取包含有多个样本图像的训练样本集，所述样本图像携带有图像质量标注类别；
将所述多个样本图像输入所述图像分类模型，得到所述图像分类模型输出的各个样本图像对应的图像质量预测类别；
基于所述图像质量标注类别以及所述图像质量预测类别，构建所述图像分类模型的目标损失函数；
基于所述目标损失函数对所述图像分类模型进行训练，得到训练好的图像分类模型。
11.根据权利要求10所述的方法，其特征在于，基于所述图像质量标注类别以及所述图像质量预测类别，构建所述图像分类模型的目标损失函数，包括：
获取所述各个样本图像对应的图像质量预测类别与所述各个样本图像对应的图像质量标注类别之间的差异；
根据获取到的各个差异的差异和，构建所述图像分类模型的目标损失函数。
12.一种图像生成网络的训练方法，其特征在于，所述方法包括：
获取多个图像对，各个图像对中包含有样本图像以及所述样本图像对应的降质图像；
将所述样本图像对应的降质图像输入待训练网络，得到所述待训练网络输出的生成图像；
根据所述生成图像与所述样本图像之间的损失值，以及所述生成图像与所述样本图像之间的真实性判别结果，构建联合损失值；
根据所述联合损失值调整所述待训练网络的参数，得到图像生成网络。
13.一种图像处理装置，其特征在于，所述装置包括：
第一获取单元，配置为获取待处理图像；
第一输入单元，配置为将所述待处理图像输入至图像生成网络，所述图像生成网络是根据联合损失函数训练得到的，所述联合损失函数是根据所述图像生成网络的输出图像与期望生成的目标图像之间的损失值，以及对所述输出图像与所述目标图像之间的真实性判别结果构建的；
第二获取单元，配置为获取所述图像生成网络输出的针对所述待处理图像的修复图像。
14.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至11中任一项所述的图像处理方法或者如权利要求12所述的图像生成网络的训练方法。
15.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至11中任一项所述的图像处理方法或者如权利要求12所述的图像生成网络的训练方法。
CN202110320718.9A 2021-03-25 2021-03-25 图像处理方法、装置、计算机可读介质及电子设备 Pending CN115131218A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110320718.9A CN115131218A (zh) 2021-03-25 2021-03-25 图像处理方法、装置、计算机可读介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110320718.9A CN115131218A (zh) 2021-03-25 2021-03-25 图像处理方法、装置、计算机可读介质及电子设备

Publications (1)

Publication Number Publication Date
CN115131218A true CN115131218A (zh) 2022-09-30

Family

ID=83373800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110320718.9A Pending CN115131218A (zh) 2021-03-25 2021-03-25 图像处理方法、装置、计算机可读介质及电子设备

Country Status (1)

Country Link
CN (1) CN115131218A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115439894A (zh) * 2022-11-08 2022-12-06 荣耀终端有限公司 训练指纹配对模型的方法、电子设备、程序产品及介质
CN116309151A (zh) * 2023-03-06 2023-06-23 腾讯科技（深圳）有限公司 图片去压缩失真网络的参数生成方法、装置和存储介质
CN116433501A (zh) * 2023-02-08 2023-07-14 阿里巴巴（中国）有限公司 图像处理方法及装置
WO2024078308A1 (zh) * 2022-10-13 2024-04-18 腾讯科技（深圳）有限公司 图像优化方法、装置、电子设备、介质和程序产品

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146856A (zh) * 2018-08-02 2019-01-04 深圳市华付信息技术有限公司 图像质量评定方法、装置、计算机设备及存储介质
CN109559287A (zh) * 2018-11-20 2019-04-02 北京工业大学 一种基于DenseNet生成对抗网络的语义图像修复方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146856A (zh) * 2018-08-02 2019-01-04 深圳市华付信息技术有限公司 图像质量评定方法、装置、计算机设备及存储介质
CN109559287A (zh) * 2018-11-20 2019-04-02 北京工业大学 一种基于DenseNet生成对抗网络的语义图像修复方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024078308A1 (zh) * 2022-10-13 2024-04-18 腾讯科技（深圳）有限公司 图像优化方法、装置、电子设备、介质和程序产品
CN115439894A (zh) * 2022-11-08 2022-12-06 荣耀终端有限公司 训练指纹配对模型的方法、电子设备、程序产品及介质
CN116433501A (zh) * 2023-02-08 2023-07-14 阿里巴巴（中国）有限公司 图像处理方法及装置
CN116433501B (zh) * 2023-02-08 2024-01-09 阿里巴巴（中国）有限公司 图像处理方法及装置
CN116309151A (zh) * 2023-03-06 2023-06-23 腾讯科技（深圳）有限公司 图片去压缩失真网络的参数生成方法、装置和存储介质

Similar Documents

Publication Publication Date Title
US10943145B2 (en) Image processing methods and apparatus, and electronic devices
CN111488865B (zh) 图像优化方法、装置、计算机存储介质以及电子设备
Li et al. Benchmarking single-image dehazing and beyond
Kim et al. Fully deep blind image quality predictor
US20230081645A1 (en) Detecting forged facial images using frequency domain information and local correlation
WO2021139324A1 (zh) 图像识别方法、装置、计算机可读存储介质及电子设备
CN115131218A (zh) 图像处理方法、装置、计算机可读介质及电子设备
CN111325851A (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
CN113066034A (zh) 人脸图像的修复方法与装置、修复模型、介质和设备
WO2021184754A1 (zh) 视频对比方法、装置、计算机设备和存储介质
CN115205150A (zh) 图像的去模糊方法、装置、设备、介质及计算机程序产品
CN114339409A (zh) 视频处理方法、装置、计算机设备及存储介质
CN112989085A (zh) 图像处理方法、装置、计算机设备及存储介质
Guo et al. Blind detection of glow-based facial forgery
CN112509144A (zh) 人脸图像处理方法、装置、电子设备及存储介质
CN114972016A (zh) 图像处理方法、装置、计算机设备、存储介质及程序产品
Xiang et al. Crowd density estimation method using deep learning for passenger flow detection system in exhibition center
CN116977200A (zh) 视频去噪模型的处理方法、装置、计算机设备和存储介质
CN118251698A (zh) 面向稀疏数据的鲁棒nerf模型新颖视图合成
Bak et al. Camera motion detection for story and multimedia information convergence
CN114841887A (zh) 一种基于多层次差异学习的图像恢复质量评价方法
CN115311152A (zh) 图像处理方法、装置、电子设备以及存储介质
CN113763313A (zh) 文本图像的质量检测方法、装置、介质及电子设备
Qin et al. Multi-level augmented inpainting network using spatial similarity
CN112990215B (zh) 图像去噪方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination