CN113554556A - 数据处理方法和***、存储介质及计算设备 - Google Patents
数据处理方法和***、存储介质及计算设备 Download PDFInfo
- Publication number
- CN113554556A CN113554556A CN202010334938.2A CN202010334938A CN113554556A CN 113554556 A CN113554556 A CN 113554556A CN 202010334938 A CN202010334938 A CN 202010334938A CN 113554556 A CN113554556 A CN 113554556A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- trained
- training
- generation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 169
- 238000000034 method Methods 0.000 claims abstract description 94
- 238000012549 training Methods 0.000 claims description 192
- 238000005070 sampling Methods 0.000 claims description 37
- 230000015654 memory Effects 0.000 claims description 34
- 230000000694 effects Effects 0.000 abstract description 10
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000002452 interceptive effect Effects 0.000 description 6
- 230000001965 increasing effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000750 progressive effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种数据处理方法和***、存储介质及计算设备。其中，该方法包括：获取包含有目标对象的第一图像；利用处理模型对第一图像进行处理，得到包含有目标对象的第二图像，其中，第二图像的清晰度与第一图像的清晰度不同，处理模型用于将第一图像输入至编码网络，得到第一图像的特征图，将多个下采样后的第一图像和特征图输入至多个生成网络，得到第二图像，多个生成网络的尺度不同。本申请解决了相关技术中数据处理方法在图像修复时的处理效果较差的技术问题。
Description
技术领域
本申请涉及图像处理领域，具体而言，涉及一种数据处理方法和***、存储介质及计算设备。
背景技术
目前，对于模糊、质量较低的图像，可以采用如下方式实现图像修复：人脸图像生成算法和超分辨率算法，其中，人脸生成算法采用对抗式生成网络合成高清人脸图像，超分辨率算法通常基于局部图像块(patch)的统计特性进行细节填充。
但是，人脸生成算法难以有效控制输出人脸的内容属性，得到高清人脸的属性与输入难以保持一致，而超分辨率算法未对人脸的结构属性建模，导致合成视频中人脸经常出现虚假纹理，影响质量。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种数据处理方法和***、存储介质及计算设备，以至少解决相关技术中数据处理方法在图像修复时的处理效果较差的技术问题。
根据本申请实施例的一个方面，提供了一种数据处理方法，包括：获取包含有目标对象的第一图像；利用处理模型对第一图像进行处理，得到包含有目标对象的第二图像，其中，第二图像的清晰度与第一图像的清晰度不同，处理模型用于将第一图像输入至编码网络，得到第一图像的特征图，将多个下采样后的第一图像和特征图输入至多个生成网络，得到第二图像，多个生成网络的尺度不同。
根据本申请实施例的另一方面，还提供了一种数据处理方法，包括：获取包含有目标对象的第一图像；对第一图像进行多次下采样，得到多个下采样图像；利用处理模型对第一图像和多个下采样图像进行处理，得到包含有目标对象的第二图像，其中，第二图像的清晰度与第一图像的清晰度不同，处理模型用于将第一图像输入至编码网络，得到第一图像的特征图，将多个下采样图像和特征图输入至多个生成网络，得到第二图像，多个生成网络的尺度不同。
根据本申请实施例的另一方面，还提供了一种数据处理方法，包括：接收输入的包含有目标对象的第一图像；利用处理模型对第一图像进行处理，得到包含有目标对象的第二图像，其中，第二图像的清晰度与第一图像的清晰度不同，处理模型用于将第一图像输入至编码网络，得到第一图像的特征图，将多个下采样后的第一图像和特征图输入至多个生成网络，得到第二图像，多个生成网络的尺度不同；展示第二图像。
根据本申请实施例的另一方面，还提供了一种数据处理方法，包括：接收输入的包含有目标对象的第一图像，以及多个下采样率；利用多个下采样率对第一图像进行下采样，得到多个下采样图像；利用处理模型对第一图像和多个下采样图像进行处理，得到包含有目标对象的第二图像，其中，第二图像的清晰度与第一图像的清晰度不同，处理模型用于将第一图像输入至编码网络，得到第一图像的特征图，将多个下采样图像和特征图输入至多个生成网络，得到第二图像，多个生成网络的尺度不同；展示第二图像。
根据本申请实施例的另一方面，还提供了一种数据处理方法，包括：获取多组训练样本，其中，每组训练样本包括：同一个对象的第一图像样本和第二图像样本，第二图像样本的清晰度与第一图像样本的清晰度不同；利用多组训练样本依次对处理模型中的编码网络和多个生成网络进行训练，其中，处理模型用于将第一图像样本输入至编码网络，得到第一图像样本的特征图，将多个下采样后的第一图像样本和特征图输入至多个生成网络，得到第二图像样本，多个生成网络的尺度不同；获取包含有目标对象的第一图像；利用处理模型对第一图像进行处理，得到包含有目标对象的第二图像。
根据本申请实施例的另一方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述的数据处理方法。
根据本申请实施例的另一方面，还提供了一种计算设备，包括：存储器和处理器，处理器用于运行存储器中存储的程序，其中，程序运行时上述的数据处理方法。
根据本申请实施例的另一方面，还提供了一种数据处理***，包括：处理器；以及存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：获取包含有目标对象的第一图像；利用处理模型对第一图像进行处理，得到包含有目标对象的第二图像，其中，第二图像的清晰度与第一图像的清晰度不同，处理模型用于将第一图像输入至编码网络，得到第一图像的特征图，将多个下采样后的第一图像和特征图输入至多个生成网络，得到第二图像，多个生成网络的尺度不同。
在本申请实施例中，在获取到第一图像之后，可以利用处理模型中的编码网络对第一图像进行编码，并利用多个生成网络基于下采样后的第一图像对编码网络输出的特征图进行上采样，得到包含有目标对象的第二图像，从而实现模糊、低质量图像的图像修复的目的。容易注意到的是，处理模型中采用了依次连接的多个生成网络，多个生成网络的尺度不同，而且生成网络基于下采样后的第一图像进行处理，从而实现了针对低质量视频中人脸区域进行细节增强，得到更为逼真的高清人物视频的目的，达到了提升图像的细节质量，提升处理效果的技术效果，进而解决了相关技术中数据处理方法在图像修复时的处理效果较差的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的一种用于实现数据处理方法的计算机终端的硬件结构框图；
图2是根据本申请实施例的第一种数据处理方法的流程图；
图3是根据本申请实施例的一种可选的数据处理方法的流程图；
图4是根据本申请实施例的一种可选的输入图像和输出图像的对比图；
图5是根据本申请实施例的第二种数据处理方法的流程图；
图6是根据本申请实施例的第三种数据处理方法的流程图；
图7是根据本申请实施例的一种交互界面的示意图；
图8是根据本申请实施例的第四种数据处理方法的流程图；
图9是根据本申请实施例的另一种交互界面的示意图；
图10是根据本申请实施例的第一种数据处理装置的示意图；
图11是根据本申请实施例的第二种数据处理装置的示意图；
图12是根据本申请实施例的第三种数据处理装置的示意图；
图13是根据本申请实施例的第四种数据处理装置的示意图；
图14是根据本申请实施例的第五种数据处理方法的流程图；以及
图15是根据本申请实施例的一种计算机终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先，在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释：
渐进式网络：是一种采用多层结构，从粗到细合成图像/视频等内容的网络结构。
实施例1
根据本申请实施例，还提供了一种数据处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现数据处理方法的计算机终端(或移动设备)的硬件结构框图。如图1所示，计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为BUS总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的处理器，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块，如本申请实施例中的数据处理方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的数据处理方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
此处需要说明的是，在一些可选实施例中，上述图1所示的计算机设备(或移动设备)可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是，图1仅为特定具体实例的一个实例，并且旨在示出可存在于上述计算机设备(或移动设备)中的部件的类型。
此处需要说明的是，在一些实施例中，上述图1所示的计算机设备(或移动设备)具有触摸显示器(也被称为“触摸屏”或“触摸显示屏”)。在一些实施例中，上述图1所示的计算机设备(或移动设备)具有图像用户界面(GUI)，用户可以通过触摸触敏表面上的手指接触和/或手势来与GUI进行人机交互，此处的人机交互功能可选的包括如下交互：创建网页、绘图、文字处理、制作电子文档、游戏、视频会议、即时通信、收发电子邮件、通话界面、播放数字视频、播放数字音乐和/或网络浏览等、用于执行上述人机交互功能的可执行指令被配置/存储在一个或多个处理器可执行的计算机程序产品或可读存储介质中。
在上述运行环境下，本申请提供了如图2所示的数据处理方法。图2是根据本申请实施例的第一种数据处理方法的流程图。如图2所示，该方法包括如下步骤：
步骤S202，获取包含有目标对象的第一图像；
上述步骤中的目标对象可以是用户指定的对象，例如，在图像修复领域中，第一图像可以是对目标对象进行拍摄得到的模糊、低质量图像，在本申请实施例中，该图像可以是用户上传的人脸图像，该图像模糊或质量较低，需要进行转换。又例如在设计领域，如在线购物平台中商品详情页的设计中，第一图像可以是对商品进行拍摄得到的模糊、低质量图像，在本申请实施例中，该图像可以是用户上传的商品图像，该图像模糊或质量较低，需要进行转换。
步骤S204，利用处理模型对第一图像进行处理，得到包含有目标对象的第二图像，其中，第二图像的清晰度与第一图像的清晰度不同，处理模型用于将第一图像输入至编码网络，得到第一图像的特征图，将多个下采样后的第一图像和特征图输入至多个生成网络，得到第二图像，多个生成网络的尺度不同。
在图像修复领域中，上述步骤中的第二图像可以是清晰、高质量的图像，在此基础上，多个生成网络的尺度可以依次增大。
上述步骤中的编码网络可以采用卷积神经网络，可以对输入的模糊、低质量图像进行特征编码，得到模糊、低质量图像的特征图。在本申请上述实施例中，64*64的分辨率可以是64*64，但不仅限于此，也可以是其他分辨率。
上述步骤中的多个生成网络可以采用渐进式网络结构，通过增加网络层数(即生成网络的个数)可以从模糊、低质量图像生成，逐步提高细节生成质量，从而得到清晰，高质量图像。在本申请实施例中，生成网络可以由基于时空注意机制的自适应特征归一化(Spatially-Adaptive Normalization，SPADE)层构成，但不仅限于此，也可以替换为其他类似的结构。另外，相邻两个生成网络的尺度缩放比例不受限制，可以根据实际需要进行确定。而且，生成网络的数量可以基于实际处理精度需求进行确定。
为了提升模糊、低质量图像中细节质量，同时消除部分虚假纹理，可以在多个生成网络中，利用下采样后的输入图像作为空域结构引导。由于多个生成网络的尺度依次增大，输入至多个生成网络的下采样后的第一图像的采样率依次增大，而且，可以基于生成网络的尺度缩放比例，确定采样率的缩放比例。
例如，如图3所示，可以预先构建一个由编码器和生成器两部分构成的处理模型，生成器部分由多个SPADE层构成。其中，多个SPADE层的尺度分比为4*4、……、64*64、128*128、256*256和512*512，每个SPADE层输入的下采样图像的采样率分比为：1/128、……、1/8、1/4、1/2和1/1。
在一种可选的实施例中，在获取到512*512的模糊、低质量图像之后，将模糊、低质量图像输入至编码器，由编码器对模糊、低质量图像进行特征编码，得到4*4的特征图，并将特征图输入至生成器，由生成器利用下采样后的模糊、低质量图像作为结构信息引导，逐步提升特征图的分辨率，得到512*512的清晰、高质量图像。输入的模糊、低质量图像和输出的清晰、高质量图像的对比结果如图4所示。
例如，以直播应用场景为例进行说明，在主播直播的过程中，客户端可以将主播的图像上传至服务器，服务器调用训练好的处理模型对接收到的图像进行处理，得到清晰、高质量的图像，并将清晰、高质量的图像提供给观看直播的用户。
基于本申请上述实施例提供的方案，在获取到第一图像之后，可以利用处理模型中的编码网络对第一图像进行编码，并利用多个生成网络基于下采样后的第一图像对编码网络输出的特征图进行上采样，得到包含有目标对象的第二图像，从而实现模糊、低质量图像的图像修复的目的。容易注意到的是，处理模型中采用了依次连接的多个生成网络，多个生成网络的尺度不同，而且生成网络基于下采样后的第一图像进行处理，从而实现了针对低质量视频中人脸区域进行细节增强，得到更为逼真的高清人物视频的目的，达到了提升图像的细节质量，提升处理效果的技术效果，进而解决了相关技术中数据处理方法在图像修复时的处理效果较差的技术问题。
在本申请上述实施例中，该方法还包括如下步骤：获取多组训练样本，其中，每组训练样本包括：同一个对象的第一图像样本和第二图像样本，第二图像样本的清晰度与第一图像样本的清晰度不同；利用多组训练样本依次对编码网络和多个生成网络进行训练。
由于从网络上获取同一个对象的模糊、低质量图像和清晰、高质量图像较为困难，在本申请实施例中，可以基于清晰、高质量图像人为生成模糊、低质量图像，例如，通过对清晰、高质量图像进行下采样的方式生成，或者通过增加噪声方式生成。
在一种可选的实施例中，为了增加处理模型训练的稳定性，可以采用渐进式训练，依次训练编码网络和多个生成网络，特别是多个生成网络，可以在一个生成网络的训练完成之后，进行下一个生成网络的训练过程，逐步提升图像分辨率。
在本申请上述实施例中，利用多组训练样本依次对多个生成网络进行训练，包括：确定多个生成网络中的待训练生成网络，其中，待训练生成网络之前的生成网络已完成训练；将多组训练样本输入至编码网络，获取待训练生成网络输出的第三图像，以及与待训练生成网络连接的前一个生成网络输出的第四图像；获取第三图像和第四图像的加权和，得到加权图像；基于加权图像的判别结果，确定待训练生成网络是否完成训练，其中，在待训练生成网络完成训练的情况下，确定与待训练生成网络连接的下一个生成网络为待训练生成网络，直至多个生成网络均完成训练。
在本实施例中，相邻两个生成网络的合成可以使用权重α进行结果融合，也即，每个生成网络采用权重α，前一个生成网络采用权重(1-α)。另外，可以采用对抗式生成网络的训练方式，通过鉴别网络对输入的图像进行判别，确定其是输入至生成网络的图像还是由生成网络生成的图像，得到其是进而确定该生成网络是否训练完成。当鉴别网络输出的判别结果为0.5时，表明鉴别网络无法确定输入的图像是否是生成网络生成的，此时可以确定生成网络训练完成，可以继续训练下一个生成网络。
例如，如图3所示，鉴别网络可以采用多层卷积神经网络的结构。对于第一个生成网络，可以直接采用对抗式生成网络的训练方式，利用多组训练样本进行训练，训练完成之后，继续训练第二个生成网络。可以获取第二个生成网络输出的图像I2(即上述的第三图像)，并获取第一个生成网络输出的图像I1(即上述的第四图像)，加权图像I’＝α*I2+(1-α)*I1，然后通过第二个生成网络对应的卷积层进行处理，输出结果输入至第一个生成网络对应的卷积层，从而得到判别结果，进一步基于判别结果是否第二个生成网络是否训练完成。之后的每个生成网络可以采用上述方式依次进行训练，直至所有的生成网络训练完成。
在本申请上述实施例中，获取多组训练样本，包括：获取多个第二图像样本；在第二图像样本中添加噪声，得到第一图像样本。
在一种可选的实施例中，可以从现有的开源高分辨率人脸数据集中获取第二图像样本，并通过人为手动添加噪声的方式合成第一图像样本，从而得到训练样本对。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
实施例2
根据本申请实施例，还提供了一种数据处理方法。
图5是根据本申请实施例的第二种数据处理方法的流程图。如图5所示，该方法包括如下步骤：
步骤S502，获取包含有目标对象的第一图像；
步骤S504，对第一图像进行多次下采样，得到多个下采样图像；
在一种可选的实施例中，可以利用不同的采样率对第一图像进行下采样，得到多个下采样图像。
步骤S506，利用处理模型对第一图像和多个下采样图像进行处理，得到包含有目标对象的第二图像，其中，第二图像的清晰度与第一图像的清晰度不同，处理模型用于将第一图像输入至编码网络，得到第一图像的特征图，将多个下采样图像和特征图输入至多个生成网络，得到第二图像，多个生成网络的尺度不同。
在本申请上述实施例中，该方法还包括如下步骤：获取多组训练样本，其中，每组训练样本包括：同一个对象的第一图像样本和第二图像样本，第二图像样本的清晰度与第一图像样本的清晰度不同；利用多组训练样本依次对编码网络和多个生成网络进行训练。
在本申请上述实施例中，利用多组训练样本依次对多个生成网络进行训练，包括：确定多个生成网络中的待训练生成网络，其中，待训练生成网络之前的生成网络已完成训练；将多组训练样本输入至编码网络，获取待训练生成网络输出的第三图像，以及与待训练生成网络连接的前一个生成网络输出的第四图像；获取第三图像和第四图像的加权和，得到加权图像；基于加权图像的判别结果，确定待训练生成网络是否完成训练，其中，在待训练生成网络完成训练的情况下，确定与待训练生成网络连接的下一个生成网络为待训练生成网络，直至多个生成网络均完成训练。
在本申请上述实施例中，获取多组训练样本，包括：获取多个第二图像样本；在第二图像样本中添加噪声，得到第一图像样本。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例3
根据本申请实施例，还提供了一种数据处理方法。
图6是根据本申请实施例的第三种数据处理方法的流程图。如图6所示，该方法包括如下步骤：
步骤S602，接收输入的包含有目标对象的第一图像；
在一种可选的实施例中，为了方便用户上传模糊、低质量图像，可以向用户提供一个如图7所示的交互界面，用户可以通过点击“上传图像”按钮，或者直接将图像文件拖至虚线框的方式上传图像。
步骤S604，利用处理模型对第一图像进行处理，得到包含有目标对象的第二图像，其中，第二图像的清晰度与第一图像的清晰度不同，处理模型用于将第一图像输入至编码网络，得到第一图像的特征图，将多个下采样后的第一图像和特征图输入至多个生成网络，得到第二图像，多个生成网络的尺度不同；
步骤S606，展示第二图像。
在一种可选的实施例中，如图7所示，清晰、高质量图像可以显示在交互界面的显示区域内，方便用户查看。
在本申请上述实施例中，该方法还包括如下步骤：获取多组训练样本，其中，每组训练样本包括：同一个对象的第一图像样本和第二图像样本，第二图像样本的清晰度与第一图像样本的清晰度不同；利用多组训练样本依次对编码网络和多个生成网络进行训练。
在本申请上述实施例中，利用多组训练样本依次对多个生成网络进行训练，包括：确定多个生成网络中的待训练生成网络，其中，待训练生成网络之前的生成网络已完成训练；将多组训练样本输入至编码网络，获取待训练生成网络输出的第三图像，以及与待训练生成网络连接的前一个生成网络输出的第四图像；获取第三图像和第四图像的加权和，得到加权图像；基于加权图像的判别结果，确定待训练生成网络是否完成训练，其中，在待训练生成网络完成训练的情况下，确定与待训练生成网络连接的下一个生成网络为待训练生成网络，直至多个生成网络均完成训练。
在本申请上述实施例中，获取多组训练样本，包括：获取多个第二图像样本；在第二图像样本中添加噪声，得到第一图像样本。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例4
根据本申请实施例，还提供了一种数据处理方法。
图8是根据本申请实施例的第四种数据处理方法的流程图。如图8所示，该方法包括如下步骤：
步骤S802，接收输入的包含有目标对象的第一图像，以及多个下采样率；
在一种可选的实施例中，为了方便用户上传模糊、低质量图像，可以向用户提供一个如图9所示的交互界面，用户可以通过点击“上传图像”按钮，或者直接将图像文件拖至虚线框的方式上传图像。同时，用户可以在输入区域内输入多个不同的采样率，多个采样率的顺序与多个生成网络的顺序一致。
步骤S804，利用多个下采样率对第一图像进行下采样，得到多个下采样图像；
步骤S806，利用处理模型对第一图像和多个下采样图像进行处理，得到包含有目标对象的第二图像，其中，第二图像的清晰度与第一图像的清晰度不同，处理模型用于将第一图像输入至编码网络，得到第一图像的特征图，将多个下采样图像和特征图输入至多个生成网络，得到第二图像，多个生成网络的尺度不同；
步骤S808，展示第二图像。
在一种可选的实施例中，如图9所示，清晰、高质量图像可以显示在交互界面的显示区域内，方便用户查看。
在本申请上述实施例中，该方法还包括如下步骤：获取多组训练样本，其中，每组训练样本包括：同一个对象的第一图像样本和第二图像样本，第二图像样本的分辨率大于第一图像样本的分辨率；利用多组训练样本依次对编码网络和多个生成网络进行训练。
在本申请上述实施例中，利用多组训练样本依次对多个生成网络进行训练，包括：确定多个生成网络中的待训练生成网络，其中，待训练生成网络之前的生成网络已完成训练；将多组训练样本输入至编码网络，获取待训练生成网络输出的第三图像，以及与待训练生成网络连接的前一个生成网络输出的第四图像；获取第三图像和第四图像的加权和，得到加权图像；基于加权图像的判别结果，确定待训练生成网络是否完成训练，其中，在待训练生成网络完成训练的情况下，确定与待训练生成网络连接的下一个生成网络为待训练生成网络，直至多个生成网络均完成训练。
在本申请上述实施例中，获取多组训练样本，包括：获取多个第二图像样本；在第二图像样本中添加噪声，得到第一图像样本。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例5
根据本申请实施例，还提供了一种用于实施上述数据处理方法的数据处理装置，如图10所示，该装置1000包括：第一获取模块1002和处理模块1004。
其中，第一获取模块1002用于获取包含有目标对象的第一图像；处理模块1004用于利用处理模型对第一图像进行处理，得到包含有目标对象的第二图像，其中，第二图像的清晰度与第一图像的清晰度不同，处理模型用于将第一图像输入至编码网络，得到第一图像的特征图，将多个下采样后的第一图像和特征图输入至多个生成网络，得到第二图像，多个生成网络的尺度不同。
此处需要说明的是，上述第一获取模块1002和处理模块1004对应于实施例1中的步骤S202至步骤S204，两个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
在本申请上述实施例中，该装置还包括：第二获取模块和训练模块。
其中，第二获取模块用于获取多组训练样本，其中，每组训练样本包括：同一个对象的第一图像样本和第二图像样本，第二图像样本的清晰度与第一图像样本的清晰度不同；训练模块用于利用多组训练样本依次对编码网络和多个生成网络进行训练。
在本申请上述实施例中，训练模块包括：确定单元、输入单元、处理单元和确定单元。
其中，确定单元用于确定多个生成网络中的待训练生成网络，其中，待训练生成网络之前的生成网络已完成训练；输入单元用于将多组训练样本输入至编码网络，获取待训练生成网络输出的第三图像，以及与待训练生成网络连接的前一个生成网络输出的第四图像；处理单元用于获取第三图像和第四图像的加权和，得到加权图像；确定单元用于基于加权图像的判别结果，确定待训练生成网络是否完成训练，其中，在待训练生成网络完成训练的情况下，确定与待训练生成网络连接的下一个生成网络为待训练生成网络，直至多个生成网络均完成训练。
在本申请上述实施例中，第二获取模块包括：获取单元和添加单元。
其中，获取单元用于获取多个第二图像样本；添加单元用于在第二图像样本中添加噪声，得到第一图像样本。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例6
根据本申请实施例，还提供了一种用于实施上述数据处理方法的数据处理装置，如图11所示，该装置1100包括：第一获取模块1102、采样模块1104和处理模块1106。
其中，第一获取模块1102用于获取包含有目标对象的第一图像；采样模块1104用于对第一图像进行多次下采样，得到多个下采样图像；处理模块1106用于利用处理模型对第一图像和多个下采样图像进行处理，得到包含有目标对象的第二图像，其中，第二图像的清晰度与第一图像的清晰度不同，处理模型用于将第一图像输入至编码网络，得到第一图像的特征图，将多个下采样图像和特征图输入至多个生成网络，得到第二图像，多个生成网络的尺度不同。
此处需要说明的是，上述第一获取模块1102、采样模块1104和处理模块1106对应于实施例2中的步骤S502至步骤S506，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
在本申请上述实施例中，该装置还包括：第二获取模块和训练模块。
其中，第二获取模块用于获取多组训练样本，其中，每组训练样本包括：同一个对象的第一图像样本和第二图像样本，第二图像样本的清晰度与第一图像样本的清晰度不同；训练模块用于利用多组训练样本依次对编码网络和多个生成网络进行训练。
在本申请上述实施例中，训练模块包括：确定单元、输入单元、处理单元和确定单元。
其中，确定单元用于确定多个生成网络中的待训练生成网络，其中，待训练生成网络之前的生成网络已完成训练；输入单元用于将多组训练样本输入至编码网络，获取待训练生成网络输出的第三图像，以及与待训练生成网络连接的前一个生成网络输出的第四图像；处理单元用于获取第三图像和第四图像的加权和，得到加权图像；确定单元用于基于加权图像的判别结果，确定待训练生成网络是否完成训练，其中，在待训练生成网络完成训练的情况下，确定与待训练生成网络连接的下一个生成网络为待训练生成网络，直至多个生成网络均完成训练。
在本申请上述实施例中，第二获取模块包括：获取单元和添加单元。
其中，获取单元用于获取多个第二图像样本；添加单元用于在第二图像样本中添加噪声，得到第一图像样本。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例7
根据本申请实施例，还提供了一种用于实施上述数据处理方法的数据处理装置，如图12所示，该装置1200包括：接收模块1202、处理模块1204和展示模块1206。
其中，接收模块1202用于接收输入的包含有目标对象的第一图像；处理模块1204用于利用处理模型对第一图像进行处理，得到包含有目标对象的第二图像，其中，第二图像的清晰度与第一图像的清晰度不同，处理模型用于将第一图像输入至编码网络，得到第一图像的特征图，将多个下采样后的第一图像和特征图输入至多个生成网络，得到第二图像，多个生成网络的尺度不同；展示模块1206用于展示第二图像。
此处需要说明的是，上述接收模块1202、处理模块1204和展示模块1206对应于实施例3中的步骤S602至步骤S606，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
在本申请上述实施例中，该装置还包括：获取模块和训练模块。
其中，获取模块用于获取多组训练样本，其中，每组训练样本包括：同一个对象的第一图像样本和第二图像样本，第二图像样本的清晰度与第一图像样本的清晰度不同；训练模块用于利用多组训练样本依次对编码网络和多个生成网络进行训练。
在本申请上述实施例中，训练模块包括：确定单元、输入单元、处理单元和确定单元。
其中，确定单元用于确定多个生成网络中的待训练生成网络，其中，待训练生成网络之前的生成网络已完成训练；输入单元用于将多组训练样本输入至编码网络，获取待训练生成网络输出的第三图像，以及与待训练生成网络连接的前一个生成网络输出的第四图像；处理单元用于获取第三图像和第四图像的加权和，得到加权图像；确定单元用于基于加权图像的判别结果，确定待训练生成网络是否完成训练，其中，在待训练生成网络完成训练的情况下，确定与待训练生成网络连接的下一个生成网络为待训练生成网络，直至多个生成网络均完成训练。
在本申请上述实施例中，获取模块包括：获取单元和添加单元。
其中，获取单元用于获取多个第二图像样本；添加单元用于在第二图像样本中添加噪声，得到第一图像样本。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例8
根据本申请实施例，还提供了一种用于实施上述数据处理方法的数据处理装置，如图13所示，该装置1300包括：接收模块1302、采样模块1304、处理模块1306和展示模块1308。
其中，接收模块1302用于接收输入的包含有目标对象的第一图像，以及多个下采样率；采样模块1304用于利用多个下采样率对第一图像进行下采样，得到多个下采样图像；处理模块1306用于利用处理模型对第一图像和多个下采样图像进行处理，得到包含有目标对象的第二图像，其中，第二图像的清晰度与第一图像的清晰度不同，处理模型用于将第一图像输入至编码网络，得到第一图像的特征图，将多个下采样图像和特征图输入至多个生成网络，得到第二图像，多个生成网络的尺度不同；展示模块1308用于展示第二图像。
此处需要说明的是，上述接收模块1302、采样模块1304、处理模块1306和展示模块1308对应于实施例4中的步骤S802至步骤S808，四个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
在本申请上述实施例中，该装置还包括：获取模块和训练模块。
其中，获取模块用于获取多组训练样本，其中，每组训练样本包括：同一个对象的第一图像样本和第二图像样本，第二图像样本的清晰度与第一图像样本的清晰度不同；训练模块用于利用多组训练样本依次对编码网络和多个生成网络进行训练。
在本申请上述实施例中，训练模块包括：确定单元、输入单元、处理单元和确定单元。
其中，确定单元用于确定多个生成网络中的待训练生成网络，其中，待训练生成网络之前的生成网络已完成训练；输入单元用于将多组训练样本输入至编码网络，获取待训练生成网络输出的第三图像，以及与待训练生成网络连接的前一个生成网络输出的第四图像；处理单元用于获取第三图像和第四图像的加权和，得到加权图像；确定单元用于基于加权图像的判别结果，确定待训练生成网络是否完成训练，其中，在待训练生成网络完成训练的情况下，确定与待训练生成网络连接的下一个生成网络为待训练生成网络，直至多个生成网络均完成训练。
在本申请上述实施例中，获取模块包括：获取单元和添加单元。
其中，获取单元用于获取多个第二图像样本；添加单元用于在第二图像样本中添加噪声，得到第一图像样本。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例9
根据本申请实施例，还提供了一种数据处理***，包括：
处理器；以及
存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：获取包含有目标对象的第一图像；利用处理模型对第一图像进行处理，得到包含有目标对象的第二图像，其中，第二图像的清晰度与第一图像的清晰度不同，处理模型用于将第一图像输入至编码网络，得到第一图像的特征图，将多个下采样后的第一图像和特征图输入至多个生成网络，得到第二图像，多个生成网络的尺度不同。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例10
根据本申请实施例，还提供了一种数据处理方法。
图14是根据本申请实施例的第五种数据处理方法的流程图。如图14所示，该方法包括如下步骤：
步骤S1402，获取多组训练样本，其中，每组训练样本包括：同一个对象的第一图像样本和第二图像样本，第二图像样本的清晰度与第一图像样本的清晰度不同；
步骤S1404，利用多组训练样本依次对处理模型中的编码网络和多个生成网络进行训练，其中，处理模型用于将第一图像样本输入至编码网络，得到第一图像样本的特征图，将多个下采样后的第一图像样本和特征图输入至多个生成网络，得到第二图像样本，多个生成网络的尺度不同；
步骤S1406，获取包含有目标对象的第一图像；
步骤S1408，利用处理模型对第一图像进行处理，得到包含有目标对象的第二图像。
在本申请上述实施例中，利用多组训练样本依次对多个生成网络进行训练，包括：确定多个生成网络中的待训练生成网络，其中，待训练生成网络之前的生成网络已完成训练；将多组训练样本输入至编码网络，获取待训练生成网络输出的第三图像，以及与待训练生成网络连接的前一个生成网络输出的第四图像；获取第三图像和第四图像的加权和，得到加权图像；基于加权图像的判别结果，确定待训练生成网络是否完成训练，其中，在待训练生成网络完成训练的情况下，确定与待训练生成网络连接的下一个生成网络为待训练生成网络，直至多个生成网络均完成训练。
在本申请上述实施例中，获取多组训练样本，包括：获取多个第二图像样本；在第二图像样本中添加噪声，得到第一图像样本。
需要说明的是，本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同，但不仅限于实施例1所提供的方案。
实施例11
本申请的实施例可以提供一种计算机终端，该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。
可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
在本实施例中，上述计算机终端可以执行数据处理方法中以下步骤的程序代码：获取包含有目标对象的第一图像；利用处理模型对第一图像进行处理，得到包含有目标对象的第二图像，其中，第二图像的清晰度与第一图像的清晰度不同，处理模型用于将第一图像输入至编码网络，得到第一图像的特征图，将多个下采样后的第一图像和特征图输入至多个生成网络，得到第二图像，多个生成网络的尺度不同。
可选地，图15是根据本申请实施例的一种计算机终端的结构框图。如图15所示，该计算机终端A可以包括：一个或多个(图中仅示出一个)处理器1502、以及存储器1504。
其中，存储器可用于存储软件程序以及模块，如本申请实施例中的数据处理方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的数据处理方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至终端A。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取包含有目标对象的第一图像；利用处理模型对第一图像进行处理，得到包含有目标对象的第二图像，其中，第二图像的清晰度与第一图像的清晰度不同，处理模型用于将第一图像输入至编码网络，得到第一图像的特征图，将多个下采样后的第一图像和特征图输入至多个生成网络，得到第二图像，多个生成网络的尺度不同。
可选的，上述处理器还可以执行如下步骤的程序代码：获取多组训练样本，其中，每组训练样本包括：同一个对象的第一图像样本和第二图像样本，第二图像样本的清晰度与第一图像样本的清晰度不同；利用多组训练样本依次对编码网络和多个生成网络进行训练。
可选的，上述处理器还可以执行如下步骤的程序代码：确定多个生成网络中的待训练生成网络，其中，待训练生成网络之前的生成网络已完成训练；将多组训练样本输入至编码网络，获取待训练生成网络输出的第三图像，以及与待训练生成网络连接的前一个生成网络输出的第四图像；获取第三图像和第四图像的加权和，得到加权图像；基于加权图像的判别结果，确定待训练生成网络是否完成训练，其中，在待训练生成网络完成训练的情况下，确定与待训练生成网络连接的下一个生成网络为待训练生成网络，直至多个生成网络均完成训练。
可选的，上述处理器还可以执行如下步骤的程序代码：获取多个第二图像样本；在第二图像样本中添加噪声，得到第一图像样本。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取包含有目标对象的第一图像；对第一图像进行多次下采样，得到多个下采样图像；利用处理模型对第一图像和多个下采样图像进行处理，得到包含有目标对象的第二图像，其中，第二图像的清晰度与第一图像的清晰度不同，处理模型用于将第一图像输入至编码网络，得到第一图像的特征图，将多个下采样图像和特征图输入至多个生成网络，得到第二图像，多个生成网络的尺度不同。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：接收输入的包含有目标对象的第一图像；利用处理模型对第一图像进行处理，得到包含有目标对象的第二图像，其中，第二图像的清晰度与第一图像的清晰度不同，处理模型用于将第一图像输入至编码网络，得到第一图像的特征图，将多个下采样后的第一图像和特征图输入至多个生成网络，得到第二图像，多个生成网络的尺度不同；展示第二图像。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：接收输入的包含有目标对象的第一图像，以及多个下采样率；利用多个下采样率对第一图像进行下采样，得到多个下采样图像；利用处理模型对第一图像和多个下采样图像进行处理，得到包含有目标对象的第二图像，其中，第二图像的清晰度与第一图像的清晰度不同，处理模型用于将第一图像输入至编码网络，得到第一图像的特征图，将多个下采样图像和特征图输入至多个生成网络，得到第二图像，多个生成网络的尺度不同；展示第二图像。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取多组训练样本，其中，每组训练样本包括：同一个对象的第一图像样本和第二图像样本，第二图像样本的清晰度与第一图像样本的清晰度不同；利用多组训练样本依次对处理模型中的编码网络和多个生成网络进行训练，其中，处理模型用于将第一图像样本输入至编码网络，得到第一图像样本的特征图，将多个下采样后的第一图像样本和特征图输入至多个生成网络，得到第二图像样本，多个生成网络的尺度不同；获取包含有目标对象的第一图像；利用处理模型对第一图像进行处理，得到包含有目标对象的第二图像。
采用本申请实施例，提供了一种数据处理的方案。通过处理模型中采用依次连接的多个生成网络，多个生成网络的尺度依次增大，而且生成网络基于下采样后的第一图像进行处理，从而实现了针对低质量视频中人脸区域进行细节增强，得到更为逼真的高清人物视频的目的，达到了提升合成图像的细节质量，减少虚假纹理的技术效果，进而解决了相关技术中数据处理方法在图像修复时的处理效果较差的技术问题。
本领域普通技术人员可以理解，图15所示的结构仅为示意，计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌声电脑以及移动互联网设备(MobileInternet Devices，MID)、PAD等终端设备。图15其并不对上述电子装置的结构造成限定。例如，计算机终端A还可包括比图15中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图15所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。
实施例12
本申请的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于保存上述实施例所提供的数据处理方法所执行的程序代码。
可选地，在本实施例中，上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取包含有目标对象的第一图像；利用处理模型对第一图像进行处理，得到包含有目标对象的第二图像，其中，第二图像的清晰度与第一图像的清晰度不同，处理模型用于将第一图像输入至编码网络，得到第一图像的特征图，将多个下采样后的第一图像和特征图输入至多个生成网络，得到第二图像，多个生成网络的尺度不同。
可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：获取多组训练样本，其中，每组训练样本包括：同一个对象的第一图像样本和第二图像样本，第二图像样本的清晰度与第一图像样本的清晰度不同；利用多组训练样本依次对编码网络和多个生成网络进行训练。
可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：确定多个生成网络中的待训练生成网络，其中，待训练生成网络之前的生成网络已完成训练；将多组训练样本输入至编码网络，获取待训练生成网络输出的第三图像，以及与待训练生成网络连接的前一个生成网络输出的第四图像；获取第三图像和第四图像的加权和，得到加权图像；基于加权图像的判别结果，确定待训练生成网络是否完成训练，其中，在待训练生成网络完成训练的情况下，确定与待训练生成网络连接的下一个生成网络为待训练生成网络，直至多个生成网络均完成训练。
可选的，上述存储介质还被设置为存储用于执行以下步骤的程序代码：获取多个第二图像样本；在第二图像样本中添加噪声，得到第一图像样本。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取包含有目标对象的第一图像；对第一图像进行多次下采样，得到多个下采样图像；利用处理模型对第一图像和多个下采样图像进行处理，得到包含有目标对象的第二图像，其中，第二图像的清晰度与第一图像的清晰度不同，处理模型用于将第一图像输入至编码网络，得到第一图像的特征图，将多个下采样图像和特征图输入至多个生成网络，得到第二图像，多个生成网络的尺度不同。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：接收输入的包含有目标对象的第一图像；利用处理模型对第一图像进行处理，得到包含有目标对象的第二图像，其中，第二图像的清晰度与第一图像的清晰度不同，处理模型用于将第一图像输入至编码网络，得到第一图像的特征图，将多个下采样后的第一图像和特征图输入至多个生成网络，得到第二图像，多个生成网络的尺度不同；展示第二图像。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：接收输入的包含有目标对象的第一图像，以及多个下采样率；利用多个下采样率对第一图像进行下采样，得到多个下采样图像；利用处理模型对第一图像和多个下采样图像进行处理，得到包含有目标对象的第二图像，其中，第二图像的清晰度与第一图像的清晰度不同，处理模型用于将第一图像输入至编码网络，得到第一图像的特征图，将多个下采样图像和特征图输入至多个生成网络，得到第二图像，多个生成网络的尺度不同；展示第二图像。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取多组训练样本，其中，每组训练样本包括：同一个对象的第一图像样本和第二图像样本，第二图像样本的清晰度与第一图像样本的清晰度不同；利用多组训练样本依次对处理模型中的编码网络和多个生成网络进行训练，其中，处理模型用于将第一图像样本输入至编码网络，得到第一图像样本的特征图，将多个下采样后的第一图像样本和特征图输入至多个生成网络，得到第二图像样本，多个生成网络的尺度不同；获取包含有目标对象的第一图像；利用处理模型对第一图像进行处理，得到包含有目标对象的第二图像。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (20)
1.一种数据处理方法，包括：
获取包含有目标对象的第一图像；
利用处理模型对所述第一图像进行处理，得到包含有所述目标对象的第二图像，其中，所述第二图像的清晰度与所述第一图像的清晰度不同，所述处理模型用于将所述第一图像输入至编码网络，得到所述第一图像的特征图，将多个下采样后的第一图像和所述特征图输入至多个生成网络，得到所述第二图像，所述多个生成网络的尺度不同。
2.根据权利要求1所述的方法，其中，所述方法还包括：
获取多组训练样本，其中，每组训练样本包括：同一个对象的第一图像样本和第二图像样本，所述第二图像样本的清晰度与所述第一图像样本的清晰度不同；
利用所述多组训练样本依次对所述编码网络和所述多个生成网络进行训练。
3.根据权利要求2所述的方法，其中，利用所述多组训练样本依次对所述多个生成网络进行训练，包括：
确定所述多个生成网络中的待训练生成网络，其中，所述待训练生成网络之前的生成网络已完成训练；
将所述多组训练样本输入至所述编码网络，获取所述待训练生成网络输出的第三图像，以及与所述待训练生成网络连接的前一个生成网络输出的第四图像；
获取所述第三图像和所述第四图像的加权和，得到加权图像；
基于所述加权图像的判别结果，确定所述待训练生成网络是否完成训练，其中，在所述待训练生成网络完成训练的情况下，确定与所述待训练生成网络连接的下一个生成网络为所述待训练生成网络，直至所述多个生成网络均完成训练。
4.根据权利要求2所述的方法，其中，获取多组训练样本，包括：
获取多个第二图像样本；
在所述第二图像样本中添加噪声，得到所述第一图像样本。
5.根据权利要求1所述的方法，其中，输入至所述多个生成网络的下采样后的第一图像的采样率依次增大。
6.一种数据处理方法，包括：
获取包含有目标对象的第一图像；
对所述第一图像进行多次下采样，得到多个下采样图像；
利用处理模型对所述第一图像和所述多个下采样图像进行处理，得到包含有所述目标对象的第二图像，其中，所述第二图像的清晰度与所述第一图像的清晰度不同，所述处理模型用于将所述第一图像输入至编码网络，得到所述第一图像的特征图，将所述多个下采样图像和所述特征图输入至多个生成网络，得到所述第二图像，所述多个生成网络的尺度不同。
7.根据权利要求6所述的方法，其中，所述方法还包括：
获取多组训练样本，其中，每组训练样本包括：同一个对象的第一图像样本和第二图像样本，所述第二图像样本的清晰度与所述第一图像样本的清晰度不同；
利用所述多组训练样本依次对所述编码网络和所述多个生成网络进行训练。
8.根据权利要求7所述的方法，其中，利用所述多组训练样本依次对所述多个生成网络进行训练，包括：
确定所述多个生成网络中的待训练生成网络，其中，所述待训练生成网络之前的生成网络已完成训练；
将所述多组训练样本输入至所述编码网络，获取所述待训练生成网络输出的第三图像，以及与所述待训练生成网络连接的前一个生成网络输出的第四图像；
获取所述第三图像和所述第四图像的加权和，得到加权图像；
基于所述加权图像的判别结果，确定所述待训练生成网络是否完成训练，其中，在所述待训练生成网络完成训练的情况下，确定与所述待训练生成网络连接的下一个生成网络为所述待训练生成网络，直至所述多个生成网络均完成训练。
9.一种数据处理方法，包括：
接收包含有目标对象的第一图像；
利用处理模型对所述第一图像进行处理，得到包含有所述目标对象的第二图像，其中，所述第二图像的清晰度与所述第一图像的清晰度不同，所述处理模型用于将所述第一图像输入至编码网络，得到所述第一图像的特征图，将多个下采样后的第一图像和所述特征图输入至多个生成网络，得到所述第二图像，所述多个生成网络的尺度不同；
展示所述第二图像。
10.根据权利要求9所述的方法，其中，所述方法还包括：
获取多组训练样本，其中，每组训练样本包括：同一个对象的第一图像样本和第二图像样本，所述第二图像样本的清晰度与所述第一图像样本的清晰度不同；
利用所述多组训练样本依次对所述编码网络和所述多个生成网络进行训练。
11.根据权利要求10所述的方法，其中，利用所述多组训练样本依次对所述多个生成网络进行训练，包括：
确定所述多个生成网络中的待训练生成网络，其中，所述待训练生成网络之前的生成网络已完成训练；
将所述多组训练样本输入至所述编码网络，获取所述待训练生成网络输出的第三图像，以及与所述待训练生成网络连接的前一个生成网络输出的第四图像；
获取所述第三图像和所述第四图像的加权和，得到加权图像；
基于所述加权图像的判别结果，确定所述待训练生成网络是否完成训练，其中，在所述待训练生成网络完成训练的情况下，确定与所述待训练生成网络连接的下一个生成网络为所述待训练生成网络，直至所述多个生成网络均完成训练。
12.一种数据处理方法，包括：
接收包含有目标对象的第一图像，以及多个下采样率；
利用所述多个下采样率对所述第一图像进行下采样，得到多个下采样图像；
利用处理模型对所述第一图像和所述多个下采样图像进行处理，得到包含有所述目标对象的第二图像，其中，所述第二图像的清晰度与所述第一图像的清晰度不同，所述处理模型用于将所述第一图像输入至编码网络，得到所述第一图像的特征图，将所述多个下采样图像和所述特征图输入至多个生成网络，得到所述第二图像，所述多个生成网络的尺度不同；
展示所述第二图像。
13.根据权利要求12所述的方法，其中，所述方法还包括：
获取多组训练样本，其中，每组训练样本包括：同一个对象的第一图像样本和第二图像样本，所述第二图像样本的清晰度与所述第一图像样本的清晰度不同；
利用所述多组训练样本依次对所述编码网络和所述多个生成网络进行训练。
14.根据权利要求13所述的方法，其中，利用所述多组训练样本依次对所述多个生成网络进行训练，包括：
确定所述多个生成网络中的待训练生成网络，其中，所述待训练生成网络之前的生成网络已完成训练；
将所述多组训练样本输入至所述编码网络，获取所述待训练生成网络输出的第三图像，以及与所述待训练生成网络连接的前一个生成网络输出的第四图像；
获取所述第三图像和所述第四图像的加权和，得到加权图像；
基于所述加权图像的判别结果，确定所述待训练生成网络是否完成训练，其中，在所述待训练生成网络完成训练的情况下，确定与所述待训练生成网络连接的下一个生成网络为所述待训练生成网络，直至所述多个生成网络均完成训练。
15.一种数据处理方法，包括：
获取多组训练样本，其中，每组训练样本包括：同一个对象的第一图像样本和第二图像样本，所述第二图像样本的清晰度与所述第一图像样本的清晰度不同；
利用多组训练样本依次对处理模型中的编码网络和多个生成网络进行训练，其中，所述处理模型用于将所述第一图像样本输入至所述编码网络，得到所述第一图像样本的特征图，将多个下采样后的第一图像样本和所述特征图输入至所述多个生成网络，得到所述第二图像样本，所述多个生成网络的尺度不同；
获取包含有目标对象的第一图像；
利用所述处理模型对所述第一图像进行处理，得到包含有所述目标对象的第二图像。
16.根据权利要求15所述的方法，其中，利用多组训练样本依次对处理模型中的多个生成网络进行训练，包括：
确定所述多个生成网络中的待训练生成网络，其中，所述待训练生成网络之前的生成网络已完成训练；
将所述多组训练样本输入至所述编码网络，获取所述待训练生成网络输出的第三图像，以及与所述待训练生成网络连接的前一个生成网络输出的第四图像；
获取所述第三图像和所述第四图像的加权和，得到加权图像；
基于所述加权图像的判别结果，确定所述待训练生成网络是否完成训练，其中，在所述待训练生成网络完成训练的情况下，确定与所述待训练生成网络连接的下一个生成网络为所述待训练生成网络，直至所述多个生成网络均完成训练。
17.根据权利要求15所述的方法，其中，获取多组训练样本，包括：
获取多个第二图像样本；
在所述第二图像样本中添加噪声，得到所述第一图像样本。
18.一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至17中任意一项所述的数据处理方法。
19.一种计算设备，包括：存储器和处理器，所述处理器用于运行所述存储器中存储的程序，其中，所述程序运行时执行权利要求1至17中任意一项所述的数据处理方法。
20.一种数据处理***，包括：
处理器；以及
存储器，与所述处理器连接，用于为所述处理器提供处理以下处理步骤的指令：获取包含有目标对象的第一图像；利用处理模型对所述第一图像进行处理，得到包含有所述目标对象的第二图像，其中，所述第二图像的清晰度与所述第一图像的清晰度不同，所述处理模型用于将所述第一图像输入至编码网络，得到所述第一图像的特征图，将多个下采样后的第一图像和所述特征图输入至多个生成网络，得到所述第二图像，所述多个生成网络的尺度不同。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010334938.2A CN113554556A (zh) | 2020-04-24 | 2020-04-24 | 数据处理方法和***、存储介质及计算设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010334938.2A CN113554556A (zh) | 2020-04-24 | 2020-04-24 | 数据处理方法和***、存储介质及计算设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113554556A true CN113554556A (zh) | 2021-10-26 |
Family
ID=78101386
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010334938.2A Pending CN113554556A (zh) | 2020-04-24 | 2020-04-24 | 数据处理方法和***、存储介质及计算设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113554556A (zh) |
-
2020
- 2020-04-24 CN CN202010334938.2A patent/CN113554556A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11354785B2 (en) | Image processing method and device, storage medium and electronic device | |
| US8836728B2 (en) | Techniques to magnify images | |
| CN104618803A (zh) | 信息推送方法、装置、终端及服务器 | |
| EP3534616A1 (en) | Method, device and system for playing 360 degree panoramic video | |
| CN111402399A (zh) | 人脸驱动和直播方法、装置、电子设备及存储介质 | |
| CN112040222B (zh) | 一种视觉显著性预测方法及设备 | |
| CN111080655A (zh) | 图像分割及其模型训练方法、装置、介质及电子设备 | |
| CN108810610B (zh) | 屏幕共享方法和装置 | |
| CN108876716B (zh) | 超分辨率重建方法及装置 | |
| CN111654723A (zh) | 视频质量提升方法、装置、电子设备和存储介质 | |
| EP3958207A2 (en) | Method and apparatus for video frame interpolation, and electronic device | |
| CN112019907A (zh) | 直播画面分流方法、计算机设备及可读存储介质 | |
| CN114245228B (zh) | 页面链接投放方法、装置及电子设备 | |
| CN112651475A (zh) | 二维码显示方法、装置、设备及介质 | |
| CN114004750A (zh) | 图像处理方法、装置和*** | |
| CN109065001B (zh) | 一种图像的降采样方法、装置、终端设备和介质 | |
| CN114598823A (zh) | 特效视频生成方法、装置、电子设备及存储介质 | |
| CN114170472A (zh) | 图像处理方法、可读存储介质及计算机终端 | |
| CN111489323A (zh) | 双光场图像融合方法、装置、设备及可读存储介质 | |
| CN114782460B (zh) | 图像分割模型的生成方法及图像的分割方法、计算机设备 | |
| CN113554556A (zh) | 数据处理方法和***、存储介质及计算设备 | |
| CN114449355B (zh) | 一种直播互动的方法、装置、设备及存储介质 | |
| CN113810755B (zh) | 全景视频预览的方法、装置、电子设备及存储介质 | |
| CN113592875B (zh) | 数据处理方法、图像处理方法、存储介质及计算设备 | |
| CN114913061A (zh) | 一种图像处理方法、装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |