CN116977169A - 数据处理方法、装置、设备、可读存储介质及程序产品 - Google Patents

数据处理方法、装置、设备、可读存储介质及程序产品 Download PDF

Info

Publication number
CN116977169A
CN116977169A CN202310811145.9A CN202310811145A CN116977169A CN 116977169 A CN116977169 A CN 116977169A CN 202310811145 A CN202310811145 A CN 202310811145A CN 116977169 A CN116977169 A CN 116977169A
Authority
CN
China
Prior art keywords
model
module
superdivision
processing
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310811145.9A
Other languages
English (en)
Inventor
贺思颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202310811145.9A priority Critical patent/CN116977169A/zh
Publication of CN116977169A publication Critical patent/CN116977169A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提出了一种数据处理方法、装置、设备、可读存储介质及程序产品，可应用于云技术、人工智能、图像超分处理等领域或场景，该方法包括：利用初始超分模型对样本图像进行超分处理，得到预测超分图像；根据预测超分图像和参考超分图像训练初始超分模型，得到第一超分模型；对第一超分模型中的待处理模块进行重参数化处理，生成第二超分模型；第二超分模型用于生成待处理图像的目标超分图像，待处理模块为初始超分模型中的模型调参后的特征粗加工网络以及特征细加工网络中的部分模块或全部模块；第二超分模型的参数量小于第一超分模型的参数量，该方法可以提高超分模型的模型容量，并提高通过超分模型得到的超分图像的质量。

Description

数据处理方法、装置、设备、可读存储介质及程序产品
技术领域
本申请涉及计算机技术领域，具体涉及数据处理方法、数据处理装置、计算机设备、计算机可读存储介质以及计算机程序产品。
背景技术
图像超分处理是计算机视觉研究领域的重要方向之一，其目的是从低分辨率图像中恢复出高分辨率图像。近年来，随着深度学习技术的发展，许多基于复杂超分模型的图像超分方法被提出，并展现出了良好的性能。但是，由于终端设备的计算能力有限，使得复杂超分模型并不能较好的配置在终端设备上，因而通常是在终端设备上配置结构简单的超分模型，这使得终端设备上的超分模型的模型容量较低，进而导致通过超分模型得到的超分图像的质量较差。因此，如何提高超分模型的模型容量，并提高通过超分模型得到的超分图像的质量，是目前亟需解决的问题。
发明内容
本申请提供了一种数据处理方法、装置、设备、可读存储介质及程序产品，可以提高超分模型的模型容量，并提高通过超分模型得到的超分图像的质量。
第一方面，本申请提供了一种数据处理方法，该方法包括：
利用初始超分模型对样本图像进行超分处理，得到预测超分图像；
根据上述预测超分图像以及上述样本图像对应的参考超分图像对上述初始超分模型进行模型调参，得到第一超分模型；
对上述第一超分模型中的待处理模块进行重参数化处理，生成第二超分模型，上述第二超分模型用于生成待处理图像的目标超分图像；
其中，上述初始超分模型包括特征粗加工网络、特征细加工网络以及特征融合网络，上述待处理模块为上述模型调参后的特征粗加工网络以及特征细加工网络中的部分模块或者全部模块；上述第二超分模型的参数量小于上述第一超分模型的参数量。
第二方面，本申请提供了另一种数据处理方法，该方法包括：
获取待处理图像；
利用第二超分模型对上述待处理图像进行超分处理，得到目标超分图像；
其中，上述第二超分模型是对第一超分模型中的待处理模块进行重参数化处理生成的，上述第一超分模型是利用样本图像对初始超分模型进行模型训练得到的，上述初始超分模型包括特征粗加工网络、特征细加工网络以及特征融合网络，上述待处理模块为在对上述初始超分模型进行模型训练时通过模型调参后的特征粗加工网络以及特征细加工网络中的部分模块或者全部模块；上述第二超分模型的参数量小于上述第一超分模型的参数量。
第三方面，本申请提供了一种数据处理装置，该装置包括：
超分处理模块，用于利用初始超分模型对样本图像进行超分处理，得到预测超分图像；
训练模块，用于根据上述预测超分图像以及上述样本图像对应的参考超分图像对上述初始超分模型进行模型调参，得到第一超分模型；
重参数化模块，用于对上述第一超分模型中的待处理模块进行重参数化处理，生成第二超分模型，上述第二超分模型用于生成待处理图像的目标超分图像；
其中，上述初始超分模型包括特征粗加工网络、特征细加工网络以及特征融合网络，上述待处理模块为上述模型调参后的特征粗加工网络以及特征细加工网络中的部分模块或者全部模块；上述第二超分模型的参数量小于上述第一超分模型的参数量。
第四方面，本申请提供了另一种数据处理装置，该装置包括：
超分处理模块，用于获取待处理图像；
上述超分处理模块，还用于利用第二超分模型对上述待处理图像进行超分处理，得到目标超分图像；
其中，上述第二超分模型是对第一超分模型中的待处理模块进行重参数化处理生成的，上述第一超分模型是利用样本图像对初始超分模型进行模型训练得到的，上述初始超分模型包括特征粗加工网络、特征细加工网络以及特征融合网络，上述待处理模块为在对上述初始超分模型进行模型训练时通过模型调参后的特征粗加工网络以及特征细加工网络中的部分模块或者全部模块；上述第二超分模型的参数量小于上述第一超分模型的参数量。
第五方面，本申请提供了一种计算机设备，包括：处理器、存储装置和通信接口，上述处理器、上述通信接口和上述存储装置相互连接，其中，上述存储装置存储有可执行程序代码，上述处理器用于调用上述可执行程序代码，用以实现上述的数据处理方法。
第六方面，本申请提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序包括程序指令，上述程序指令被处理器执行，用以实现如上述的数据处理方法。
第七方面，本申请提供了一种计算机程序产品，上述计算机程序产品包括计算机程序或计算机指令，上述计算机程序或计算机指令被处理器执行，用以实现上述的数据处理方法。
本申请实施例首先利用初始超分模型对样本图像进行超分处理，得到预测超分图像；然后根据预测超分图像和参考超分图像对初始超分模型进行模型调参，得到第一超分模型，使得第一超分模型具有更高的模型精度和更优的超分效果；再对第一超分模型中的待处理模块进行重参数化处理，生成第二超分模型，使得可以利用参数量更少的第二超分模型表示参数量更大的第一超分模型，将第二超分模型应用于终端设备进行图像超分任务，保证了第二超分模型与第一超分模型具有相同的处理效果。相比于在终端设备上配置结构简单的超分模型来说，本申请实施例中的方法使得终端设备可以配置原始模型容量更大的超分模型，提高了终端设备上的超分模型的模型容量，并提高通过超分模型得到的超分图像的质量，同时提高了终端设备上的计算资源利用率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个示例性实施例提供的一种数据处理***的架构示意图；
图2是本申请一个示例性实施例提供的一种数据处理方法的流程示意图；
图3是本申请一个示例性实施例提供的另一种数据处理方法的流程示意图；
图4A是本申请一个示例性实施例提供的一种第一超分模型的结构示意图；
图4B是本申请一个示例性实施例提供的一种特征粗加工模块以及重参数化过程的示意图；
图4C是本申请一个示例性实施例提供的一种第一加工子模块以及重参数化过程的示意图；
图4D是本申请一个示例性实施例提供的一种第二加工子模块以及重参数化过程的示意图；
图4E是本申请一个示例性实施例提供的一种第三加工子模块的结构示意图；
图5是本申请一个示例性实施例提供的另一种数据处理方法的流程示意图；
图6是本申请一个示例性实施例提供的一种数据处理装置的示意框图；
图7是本申请一个示例性实施例提供的一种计算机设备的示意框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中所涉及到的“第一”、“第二”等描述仅用于描述目的，而不能理解为指示或者暗示其相对重要性或者隐含指明所指示的技术特征的数量。因此，限定有“第一”、“第二”的技术特征可以明示或者隐含的包括至少一个该特征。
本申请实施例可应用于云计算、云物联、云游戏、人工智能、车载场景、智慧交通、辅助驾驶、图像超分处理等各种领域或场景，下面将对几个典型领域或场景进行介绍。
云计算(cloud computing)指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。云计算是网格计算(Grid Computing)、分布式计算(Distributed Computing)、并行计算(Parallel Computing)、效用计算(Utility Computing)、网络存储(Network StorageTechnologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等传统计算机和网络技术发展融合的产物。随着互联网、实时数据流、连接设备多样化的发展，以及搜索服务、社会网络、移动商务和开放协作等需求的推动，云计算迅速发展起来。不同于以往的并行分布式计算，云计算的产生从理念上将推动整个互联网模式、企业管理模式发生革命性的变革。本申请可以将样本图像、待处理图像、初始超分模型、第一超分模型、第二超分模型等数据存储于云服务器上，当需要使用上述不同数据时，可以在云服务器上直接获取，极大地提高了数据获取速度。
云物联(Cloud IOT)旨在将传统物联网中传感设备感知的信息和接受的指令连入互联网中，真正实现网络化，并通过云计算技术实现海量数据存储和运算，由于物联网的特性是物与物相连接，实时感知各个“物体”当前的运行状态，在这个过程中会产生大量的数据信息，如何将这些信息汇总,如何在海量信息中筛取有用信息为后续发展做决策支持,这些已成为影响物联网发展的关键问题，而基于云计算和云存储技术的物联云也因此成为物联网技术和应用的有力支持。
云游戏(Cloud gaming)又可称为游戏点播(gaming on demand)，是一种以云计算技术为基础的在线游戏技术。云游戏技术使图形处理与数据运算能力相对有限的轻端设备(thin client)能运行高品质游戏。在云游戏场景下，游戏并不在玩家游戏终端，而是在云端服务器中运行，并由云端服务器将游戏场景渲染为视频音频流，通过网络传输给玩家游戏终端。玩家游戏终端无需拥有强大的图形运算与数据处理能力，仅需拥有基本的流媒体播放能力与获取玩家输入指令并发送给云端服务器的能力即可。本申请应用于云游戏，在有相应业务需求时，通过在移动终端上配置第二超分模型，并利用第二超分模型对云游戏业务中的游戏图像进行超分处理，得到超分辨率图像，从而游戏图像的质量，提高用户的游戏体验。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、预训练模型技术、操作/交互***、机电一体化等。其中，预训练模型又称大模型、基础模型，经过微调后可以广泛应用于人工智能各大方向下游任务。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。本申请实施例提供的方案涉及人工智能技术下属的计算机视觉、技术机器学习技术，下面将对此进行叙述：
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。大模型技术为计算机视觉技术发展带来重要变革，swin-transformer，ViT，V-MOE，MAE等视觉领域的预训练模型经过微调(fine tune)可以快速、广泛适用于下游具体任务。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。预训练模型是深度学习的最新发展成果，融合了以上技术。具体来说，本申请结合上述图像处理、人工神经网络等技术，利用样本图像对初始超分模型进行训练，得到第一超分模型处理，然后对第一超分模型中的待处理模块进行重参数化处理，生成第二超分模型，以使得第二超分模型可以处理终端设备上针对待处理图像的图像超分任务。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、数字孪生、虚拟人、机器人、人工智能生成内容(AIGC)、对话式交互、智能医疗、智能客服、游戏AI等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
下面将对本申请的应用场景进行说明：
图像超分处理是计算机视觉研究领域的重要方向之一，其目的是从低分辨率图像中恢复出高分辨率图像。近年来，随着深度学习技术的发展，许多基于深度学习的复杂超分模型的图像超分方法被提出，并展现出了良好的性能。但是，由于终端设备(如移动端)的计算能力有限，使得复杂超分模型并不能较好的配置在终端设备上，因而通常是在终端设备上配置结构简单的超分模型。
例如，在设计终端设备的超分模型时，考虑到终端设备的算力限制，通常超分模型的卷积层的个数和通道数都会设置的较小，对应的超分模型计算量也相对较小，以手机A12芯片为例，A12芯片的神经处理单元(NPU，Neural Processing Unit)的计算能力为5TOPS(等于5000GOPS)，假设超分模型的计算量是2GLOPs，其在A12芯片的NPU上的处理速度为4ms(即超分模型每一次推理耗时4ms)，则该超分模型的计算能力可以估算为2GLOPs*(1000/4)＝500GOPS，那么，该超分模型对A12芯片的NPU的计算能力的利用率为500GOPS/5000GOPS＝10％，说明针对这种常见的终端设备的轻量化超分模型并没有充分挖掘终端设备的芯片的计算能力，利用率较低。
并且，根据roofline理论，当超分模型进入计算瓶颈区域(Compute-Bound)时，可以完全利用上计算平台的算力；而当超分模型处于带宽瓶颈区域(Memory-Bound)区域时，即便超分模型的计算量很小，但由于计算平台的带宽限制，处于该区域的超分模型无法完全利用上计算平台的算力，导致超分模型难以发挥出计算平台的全部计算能力。
通过提高超分模型中的卷积核的大小(如将卷积核尺寸从3*3变到7*7)，可以在一定程度上提高超分模型的计算量，但是提高超分模型中的卷积核的大小后，超分模型的参数量也会提升一个数量级，这会降低超分模型的处理速度(这使得利用率不一定增加)，使得超分模型难以在一些性能低、内存小的嵌入式设备上运行。上述方法导致在终端设备上只能配置低模型容量的超分模型，且很难单一的通过提高超分模型的复杂度(如提升超分模型中的卷积核的大小)提高超分模型的超分效果。
基于此，本申请实施例提出一种计算密集的重参数方案，通过对模型容量较大(对应的参数量较大)的第一超分模型中的待处理模块进行重参数化处理，生成模型容量较小(对应的参数量较小)的第二超分模型，将第二超分模型应用于终端设备上进行待处理图像的图像超分任务，从而提高超分模型的模型容量，并提高通过超分模型得到的超分图像的质量(也即是提高超分模型的超分效果)。上述方法实现了在终端设备有限的模型参数存储量的前提下，充分挖掘终端设备芯片的计算能力，并且，重参数化处理生成的第二超分模型模块中包括深度卷积层，深度卷积层用于减少特征处理所需要的参数量，深度卷积层中的深度卷积核的尺寸(如7*7)大于原始卷积核的尺寸(如3*3)，增加了超分模型的感受野，从而进一步提高超分模型的超分效果。
可以理解的是，在本申请的具体实施方式中，涉及到样本图像、待处理图像、初始超分模型、第一超分模型、第二超分模型等相关的数据，当本申请以上实施例运用到具体产品或技术中时，相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本申请将具体通过如下实施例进行说明：
请参阅图1，该图是本申请一个示例性实施例提供的一种数据处理***的架构示意图。数据处理***具体可以包括终端设备101和服务器102。其中，终端设备101和服务器102之间通过网络连接，比如，通过局域网、广域网、移动互联网等连接。服务器102可以生成第二超分模型，并将第二超分模型发送给终端设备101，终端设备101利用第二超分模型进行本设备上的针对待处理图像的图像超分任务。
在一实施例中，服务器102将样本图像输入到初始超分模型，利用初始超分模型对样本图像进行超分处理，初始超分模型输出预测超分图像；然后，服务器102根据预测超分图像以及样本图像对应的参考超分图像对初始超分模型进行模型调参(如图1中的步骤：对初始超分模型进行训练)，得到第一超分模型；最后，服务器102对第一超分模型(如对第一超分模型中的待处理模块)进行重参数化处理，生成第二超分模型。服务器102可以将第二超分模型发送给终端设备101，以使得终端设备101利用第二超分模型生成获取到的待处理图像的目标超分图像。
在一实施例中，终端设备101在接收到服务器102发送的第二超分模型后，可以将第二超分模型在本设备上进行配置，然后，终端设备101可以获取待处理图像；然后，利用配置好的第二超分模型对待处理图像进行超分处理，得到目标超分图像。
其中，终端设备101也称为终端(Terminal)、用户设备(user equipment,UE)、接入终端、用户单元、移动设备、用户终端、无线通信设备、用户代理或用户装置。终端设备可以是智能家电、具有无线通信功能的手持设备(例如智能手机、平板电脑)、计算设备(例如个人电脑(personal computer,PC)、车载终端、智能语音交互设备、可穿戴设备或者其他智能装置等，但并不局限于此。
其中，服务器102可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
在一实施例中，本申请提出的数据处理***的架构还可以包括数据库，数据库用于存储样本图像、预测超分图像、参考超分图像、待处理图像、目标超分图像等数据，还可以用于存储与初始超分模型、第一超分模型、第二超分模型相关的数据，这些数据在数据库中可以通过不同的数据库表格记录。例如，数据库可以是设于服务器中的数据库，即可以是服务器内置或自带的数据库；数据库也可以是与服务器相连接的外设数据库，例如云数据库(即部署在云端的数据库)，具体可以基于私有云、公有云、混合云、边缘云等中的任一种部署，从而使得云数据库侧重的功能不同。
可以理解的是，本申请实施例描述的***的架构示意图是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定。例如，本申请实施例所提供的数据处理方法除了可以由服务器102执行，还可以由不同于服务器102且能够与终端设备101和/或服务器102通信的其他服务器或服务器集群执行。本领域普通技术人员可知，图1中的终端设备和服务器的数目仅仅是示意性的。根据业务实现需要，可以配置具有任意数目的终端设备和服务器。并且，随着***架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。在后续实施例中，将以终端设备指代上述终端设备101，以服务器指代上述服务器102，后续实施例中将不再赘述。
请参阅图2，该图是本申请一个示例性实施例提供的一种数据处理方法的流程示意图，以该方法应用于服务器为例进行说明，该方法可包括以下步骤：
S201、利用初始超分模型对样本图像进行超分处理，得到预测超分图像。
本申请实施例中，超分处理是指图像超分辨率处理，通过对低分辨率图像(LR图像)进行超分处理，生成更高分辨率的高分辨率图像(SR图像)。服务器可以利用初始超分模型对样本图像(如低分辨率图像)进行超分处理，得到预测超分图像(如高分辨率图像)。
在一实施例中，初始超分模型基于深度神经网络生成，深度神经网络如卷积神经网络(Convolutional Neural Network，CNN)、生成对抗网络(Generative AdversarialNetwork，GAN)等。初始超分模型可以包含多个网络层或处理模块，用于提取图像特征并精确重建高分辨率的图像细节。本申请实施例中，初始超分模型可以是预先构建的未进行模型训练的超分模型，或者进行模型训练但模型精度较低的超分模型，通过使用大量的训练数据(如样本图像以及对应的参考超分图像)对初始超分模型进行训练，使得训练后的初始超分模型具有了对低分辨率图像进行细节恢复和增加分辨率的能力，逐步提高超分模型的模型精度和超分效果，从而能够生成高质量的超分辨率图像。
在一实施例中，在服务器将样本图像输入到初始超分模型后，初始超分模型可以先对样本图像进行特征提取处理，得到低频特征图；然后对低频特征图进行特征增强处理，得到增强特征图；然后对增强特征图进行特征重建处理，得到重建特征图；再对样本图像进行上采样处理，得到上采样图像；最后低频特征图、增强特征图、上采样图像中的一种或多种进行特征融合处理，得到预测超分图像。需要说明的是，上述超分处理的具体步骤和顺序可能会因为不同的算法以及超分模型的结构而有所差异，同时，上述特征提取处理、特征增强处理、上采样处理等步骤可以是可选的，本申请实施例中不对此进行限定。
在一实施例中，服务器还可以对原始图像进行预处理操作，将预处理操作后的原始图像作为样本图像，以使得样本图像与初始超分模型的输入相匹配，预处理操作包括：归一化、缩放、裁剪等方法中的一种或多种。除此之外，服务器还可以对样本图像进行超分处理后得到的图像进行后处理操作，将后处理操作后的图像作为预测超分图像，从而进一步提升预测超分图像的质量(如提高预测超分图像的细节和清晰度)，后处理操作包括：去噪、锐化、颜色校正等方法中的一种或多种。
在一实施例中，初始超分模型包括特征粗加工网络、特征细加工网络以及特征融合网络。特征粗加工网络的主要作用是通过粗粒度的特征重建，从低分辨率图像中提取低维特征信息，捕捉全局结构和大致纹理，以控制超分结果的整体形状和内容，在本申请实施例中，特征粗加工网络可以用于对样本图像进行特征重建处理，得到第一特征图。
特征细加工网络的主要作用是通过细粒度的特征重建，提升图像的高频细节和纹理，尽可能还原原始图像的细节信息，在本申请实施例中，特征细加工网络可以用于对第一特征图进一步进行特征重建处理，得到第二特征图。
特征融合网络的主要作用是通过反卷积、上采样以及特征融合，在尺度和语义上提升特征表达能力，并生成最终的超分图像，在本申请实施例中，特征融合网络可以用于对第二特征图进行反卷积处理，得到第三特征图，以及对样本图像进行上采样处理，得到第四特征图，并对第三特征图和第四特征图进行特征融合处理(如加和处理)，得到预测超分图像。
S202、根据预测超分图像以及样本图像对应的参考超分图像对初始超分模型进行模型调参，得到第一超分模型。
本申请实施例中，样本图像可以是低分辨率图像，参考超分图像可以是样本图像对应的作为参照标准的高分辨率图像，通过利用初始超分模型对样本图像进行超分处理，希望得到的预测超分图像尽量接近参考超分图像。服务器可以根据预测超分图像以及样本图像对应的参考超分图像对初始超分模型进行模型训练(包括模型调参)，最终得到第一超分模型。通过上述方法，保证了训练得到的第一超分模型的超分效果，也即是提高了通过第一超分模型得到的超分图像的质量。
在一实施例中，服务器可以对预测超分图像(SR图像)与参考超分图像(HR图像)进行差异数据计算(如损失函数计算)，得到目标差异数据(如目标损失函数)，然后利用目标差异数据对应的参考超分图像对初始超分模型进行模型调参，得到第一超分模型。其中，损失函数可以采用均方误差(Mean Squared Error，MSE)、交叉熵(Cross Entropy，CE)、KL散度(Kullback-Leibler Divergence，KL Divergence)、平均绝对误差(Mean AbsoluteError，MAE)、对比损失(Contrastive Loss)、感知损失(Perceptual Loss)等，本申请实施例不对此进行限定。
S203、对第一超分模型中的待处理模块进行重参数化处理，生成第二超分模型，第二超分模型用于生成待处理图像的目标超分图像。
本申请实施例中，重参数化处理是对网络模型参数进行权重重新表示的一种方法，通过对特定层的权重进行新的线性变换，重新参数化网络模型的权重并保持重新参数化处理前后的两个网络模型的输出不变。通过对第一超分模型进行重参数化处理，可以利用参数量更少的第二超分模型表示参数量更多的第一超分模型，将第二超分模型应用于终端设备(如移动设备、嵌入式设备)进行图像超分任务，在保证与第一超分模型具有相同处理效果的前提下，减少了第二超分模型的计算复杂度，提高了第二超分模型在终端设备上的处理性能。同时，重参数化得到的第二超分模型具有更高的模型训练效率、更高的模型泛化能力，可以有效避免过拟合现象。相比于在终端设备上配置结构简单的超分模型来说，本申请实施例中的方法使得终端设备上可以配置原始模型容量更大的超分模型，提高了终端设备上的超分模型的模型容量，并提高通过超分模型得到的超分图像的质量，同时提高了终端设备上的计算资源利用率。
在一实施例中，待处理模块为模型调参后的特征粗加工网络以及特征细加工网络中的部分模块或者全部模块。其中，第一超分模型中的待处理模块通常可以是结构较为复杂的模块，通过将第一超分模型中的待处理模块进行重参数化处理，可以得到轻量化的第二超分模型。由于第二超分模型是由第一超分模型进行重参数化处理得到的，使得第一超分模型和第二超分模型的处理能力和效果相同(表现在两个模型针对同一低分辨率图像输出的超分辨率图像相同)。而“模型容量”是指模型拟合各种函数的能力，由重参数化处理前的模型(如第一超分模型)决定，一个具有更多可学习参数的模型通常意味着具有更大的模型容量，可拟合更复杂的函数关系，但同时也需要更多的计算资源和内存来运行。本申请实施例通过采用重参数化处理的方法可以将第一超分模型中复杂的待处理模块简化成较为简单的形式，生成第二超分模型，从而可以减少模型的参数量，保证了第二超分模型的模型容量，使得能够在处理能力有限的终端设备上使用，并提高通过第二超分模型得到的超分图像的质量。
在一实施例中，第二超分模型的参数量小于第一超分模型的参数量。当对第一超分模型中的待处理模块进行重参数化处理后，生成的第二超分模型的参数量小于第一超分模型的参数量，该情况下重参数化处理可以采用矩阵分解、正交化、剪枝等方式对超分模型(如第一超分模型)中神经网络的权重矩阵进行重构和简化，从而减少超分模型的参数量，降低模型的复杂度。
在一实施例中，第二超分模型的参数量等于第一超分模型的参数量。当对第一超分模型中的待处理模块进行重参数化处理后，生成的第二超分模型的参数量等于第一超分模型的参数量，该情况下重参数化处理可以采用结构化剪枝、量化、低秩分解等方式对超分模型(如第一超分模型)中神经网络的权重矩阵进行优化，在保证超分模型的参数量不变的情况下，可以提高超分模型的处理精度、减少计算量、提高超分模型的鲁棒性。
基于上述实施例，本申请的有益效果在于：本申请实施例首先利用初始超分模型对样本图像进行超分处理，得到预测超分图像；然后根据预测超分图像和参考超分图像对初始超分模型进行模型调参，得到第一超分模型，使得第一超分模型具有更高的模型精度和更优的超分效果；再对第一超分模型中的待处理模块进行重参数化处理，生成第二超分模型，使得可以利用参数量更少的第二超分模型表示参数量更大的第一超分模型，将第二超分模型应用于终端设备进行图像超分任务，保证了与第一超分模型具有相同的处理效果。相比于在终端设备上配置结构简单的超分模型来说，本申请实施例中的方法使得终端设备可以配置原始模型容量更大的超分模型，提高了终端设备上的超分模型的模型容量，并提高通过超分模型得到的超分图像的质量，同时提高了终端设备上的计算资源利用率。
请参阅图3，该图是本申请一个示例性实施例提供的一种数据处理方法的流程示意图，以该方法应用于服务器为例进行说明，该方法可包括以下步骤：
S301、利用初始超分模型中的特征粗加工网络对样本图像进行特征重建处理，得到第一特征图。
在一实施例中，如图4A所示，样本图像记为LR，特征粗加工网络记为Stem网络，第一特征图记为Fstem。LR可以表示一个大小(shape)为[N，C，W，H]的输入图片，其中，N表示训练过程中的批处理大小，C表示通道数，本申请实施例中令C＝1，表示对样本图像的Y通道的图像进行超分处理(U、V通道的处理方法将在后续实施例中进行说明)，W表示输入图片的宽度，H表示输入图片的高度。
样本图像(LR)首先经过特征粗加工网络(Stem网络)对单通道的样本图像进行特征重建处理(如特征提取)，得到第一特征图Fstem，从而实现对通道数的扩展，例如Fstem的shape为[N，C0，W，H]，即通道数从C扩展到了C0。
在一实施例中，特征粗加工网络包括特征粗加工模块。训练阶段，Stem模块的实现采用的是MobileDense Block A模块，MobileDense Block A模块在推理阶段会经过重参数化处理(例如采用重参数方案DBB)，等价转换为一个卷积核大小为3的卷积层(如图4A中的3*3Conv)，该卷积层的输入通道和输出通道与MobileDense Block A模块保持一致。
在一实施例中，特征粗加工模块包括第一卷积层、第二卷积层以及加和模块，第一卷积层包括多个第一尺寸的卷积核，第二卷积层包括多个第二尺寸的卷积核。示例性的，特征粗加工模块的结构如图4B所示，第一卷积层由图4B中的m Blocks构成，其中包括多个第一尺寸的卷积核，如m个尺寸为3*3的Conv组成；第二卷积层由图4B中的n Blocks构成，其中包括多个第二尺寸的卷积核，如n个尺寸为1*1的Conv组成；加和模块如图4B中的符号所对应的模块。基于此，上述步骤S301，可以根据以下步骤实现：
(a1)、利用特征粗加工网络中的特征粗加工模块包括的第一卷积层、第二卷积层分别对样本图像进行特征重建处理，得到第一输出数据以及第二输出数据。
(a2)、通过加和模块对第一输出数据、第二输出数据以及样本图像进行加和处理，得到第一特征图。
在上述步骤(a1)-(a2)中，服务器利用特征粗加工模块包括的第一卷积层对样本图像进行特征重建处理，得到第一输出数据(如m个shape为[N，C0，W，H]的特征图Fa0)，以及利用特征粗加工模块包括的第二卷积层对样本图像进行特征重建处理，得到第二输出数据(如n个shape为[N，C0，W，H]的特征图Fa1)；然后通过特征粗加工模块包括的加和模块对第一输出数据、第二输出数据以及样本图像(样本图像为特征粗加工模块的输入数据)进行加和处理，得到第一特征图Fstem(第一特征图为特征粗加工模块的输出数据)，第一特征图Fstem的shape为[N，C0，W，H]。
其中，第一卷积层包括多个第一尺寸的卷积核(如m个3*3的Conv)，用于提取输入样本图像(shape为[N，1，W，H])的空间信息，通过应用多个第一尺寸的卷积核，可以捕捉更大范围的感受野，使得得到的特征图能够包含更丰富的图像细节信息和结构信息。第二卷积层包括多个第二尺寸的卷积核(如n个1*1的Conv)，用于增加特征图的通道数，1*1的Conv被称为逐点卷积(pointwise convolution)，它可以进行通道之间的线性组合和非线性变换，通过逐点卷积，可以引入更多的通道交互和特征转换，从而增强特征表达能力。加和模块用于进行加和操作，加和操作有助于融合不同类型的特征信息，进一步提升特征的多样性和表达能力。通过加和模块对第一卷积层得到的特征图、第二卷积层得到的特征图以及样本图像进行逐元素相加，可以得到特征粗加工模块的输出数据，即第一特征图。
基于步骤S301中的相关描述，特征粗加工模块的结构及处理过程如下：特征粗加工模块包括第一卷积层、第二卷积层以及加和模块，第一卷积层包括多个第一尺寸的卷积核，第二卷积层包括多个第二尺寸的卷积核，特征粗加工模块的输入数据分别通过第一卷积层、第二卷积层进行处理，得到第一输出数据以及第二输出数据，并通过加和模块对第一输出数据、第二输出数据以及输入数据进行加和处理，得到特征粗加工模块的输出数据。
S302、利用初始超分模型中的特征细加工网络对第一特征图进行特征重建处理，得到第二特征图。
在一实施例中，如图4A所示，特征细加工网络包括一个或多个特征细加工模块，各个特征细加工模块包括第一细加工模块以及第二细加工模块，第一细加工模块的输出与第二细加工模块的输入相连接，第一细加工模块包括第一加工子模块和第二加工子模块，第二细加工模块包括第一加工子模块和第三加工子模块。特征细加工网络记为MobileDense网络，特征细加工模块记为MobileDense Stage模块，第一细加工模块记为MobileDenseBasic Block，第二细加工模块记为MobileDense ConvFNN Block，第一加工子模块记为MobileDense Block B，第二加工子模块记为MobileDense Block C，第三加工子模块记为ConvFFN，第一细加工模块由第一加工子模块和第二加工子模块级联组成(第一加工子模块之后以及第二加工子模块之后可以分别添加对应的激活层Activition)，第二细加工模块由第一加工子模块和第三加工子模块级联组成。除此之外，样本图像记为LR，特征粗加工网络记为Stem网络，第一特征图记为Fstem，第二特征图记为Fdense。
第一特征图Fstem经过特征细加工网络(依次经过一个或多个特征细加工模块)进行处理特征提取，得到第二特征图Fdense，第二特征图Fdense的shape与第一特征图Fstem的shape保持一致，均为[N，C0，W，H]。
本申请实施例将以特征细加工网络包括一个特征细加工模块为例，对步骤S302进行说明，当特征细加工网络包括多个特征细加工模块时，可参考特征细加工网络包括一个特征细加工模块的处理流程，本申请实施例不再赘述。基于此，上述步骤S302，可以根据以下步骤实现：
(b1)、利用第一特征细加工网络中的第一加工子模块对第一特征图进行特征重建处理，得到第一中间数据。
其中，服务器利用第一加工子模块MobileDense Block B对第一特征图Fstem进行特征重建处理，得到第一中间数据。
在一实施例中，第一加工子模块包括第三卷积层、第四卷积层、第五卷积层以及加和模块，第三卷积层包括第三尺寸的深度卷积核，第四卷积层包括多个第四尺寸的深度卷积核，第五卷积层包括多个第五尺寸的深度卷积核。示例性的，第一加工子模块的结构如图4C所示，第三卷积层由图4C中的K*K DW Conv构成，其中包括一个第三尺寸的深度卷积核，如1个尺寸为K*K(例如K可以为7)的DW Conv组成；第四卷积层由图4C中的m Blocks构成，其中包括多个第四尺寸的深度卷积核，如m个尺寸为3*3的DW Conv组成；第五卷积层由图4C中的n Blocks构成，其中包括多个第五尺寸的深度卷积核，如n个尺寸为1*1的DW Conv组成；加和模块如图4C中的符号所对应的模块。基于此，上述步骤(b1)，可以根据以下步骤实现：
(b11)、利用第一加工子模块中的第三卷积层、第四卷积层、第五卷积层分别对第一特征图进行特征重建处理，得到第三输出数据、第四输出数据以及第五输出数据。
(b12)、通过加和模块对第三输出数据、第四输出数据、第五输出数据以及第一特征图进行加和处理，得到第一中间数据。
在上述步骤(b11)-(b12)中，服务器利用第一加工子模块包括的第三卷积层对第一特征图进行特征重建处理，得到第三输出数据(如1个shape为[N，C0，W，H]的特征图Fb0)，以及利用第一加工子模块包括的第四卷积层对第一特征图进行特征重建处理，得到第四输出数据(如m个shape为[N，C0，W，H]的特征图Fb1)，以及利用第一加工子模块包括的第五卷积层对第一特征图进行特征重建处理，得到第五输出数据(如n个shape为[N，C0，W，H]的特征图Fb2)；然后通过第一加工子模块包括的加和模块对第三输出数据、第四输出数据、第五输出数据以及第一特征图(第一特征图为第一加工子模块的输入数据)进行加和处理，得到第一中间数据(第一中间数据为第一加工子模块的输出数据)，第一中间数据的shape为[N，C0，W，H]。
在第一加工子模块输出第一中间数据后，可以通过非线性激活函数进行激活，例如RELU，非线性激活函数也可是图4A中的Activation模块。通过非线性激活函数将输入进行一个非线性的变换，使得神经网络能够拟合任意复杂的非线性映射关系，神经网络可以更好地处理非线性模式，比如出现噪音、图片的边缘检测等情况，同时，激活函数还可以限制模型的输出范围，避免产生梯度***或消失问题，提升神经网络的鲁棒性和稳定性。其中，非线性激活函数包括Sigmoid、ReLU、Tanh、LeakyReLU等，每种激活函数有其自身的优缺点和使用场景，本申请实施例不对此进行限定。基于此，服务器可以在实现步骤(b1)时，利用第一特征细加工网络中的第一加工子模块对第一特征图进行特征重建处理，得到第一加工子模块的输出数据，然后对该第一加工子模块的输出数据进行非线性激活函数(如图4A中将第一加工子模块的输出数据输入Activation模块)，然后将非线性激活函数处理后的数据作为第一中间数据，同时，通过重参数化处理得到的第二超分模型，可以参考上述结构并参见图4A中的结构，本申请实施例不再赘述。
在一实施例中，第三卷积层包括一个第三尺寸的深度卷积核(如1个K*K的DWConv)，第三卷积层可以使用一个较大的深度卷积核(如K＝7的depthwise卷积核)，可以进一步增加感受野大小，并捕获更广阔的上下文信息，有助于提取更为全面的语义特征。第四卷积层包括多个第四尺寸的深度卷积核(如m个3*3的DW Conv)，通过多次3x3的depthwise卷积可以增加网络的非线性表达能力和感受野大小，有助于提取输入特征图像中的空间信息和局部特征。第五卷积层包括多个第五尺寸的深度卷积核(如n个1*1的DW Conv)，通过多个1x1的depthwise卷积可以减少通道数，降低计算复杂度，并引入非线性特征映射，有助于学习更高级的特征表示并增强网络的表达能力。加和模块用于进行加和操作，加和操作有助于融合不同类型的特征信息，进一步提升特征的多样性和表达能力。通过加和模块对第三卷积层得到的特征图、第四卷积层得到的特征图、第五卷积层得到的特征图以及第一特征图进行逐元素相加，可以得到第一加工子模块的输出数据，即第一中间数据。
在一实施例中，第一加工子模块(MobileDense Block B)模块在推理阶段会经过重参数化处理(例如采用重参数方案DBB)，等价转换为一个卷积核大小为K*K的深度卷积层(如图4A中的K*K DW Conv)，该卷积层的输入通道和输出通道与MobileDense Block B模块保持一致。
(b2)、利用第一特征细加工网络中的第二加工子模块对第一中间数据进行特征重建处理，得到中间特征图。
其中，服务器利用第二加工子模块MobileDense Block C对第一中间数据进行特征重建处理，得到中间特征图。
在一实施例中，第二加工子模块包括第六卷积层以及加和模块，第六卷积层包括多个第六尺寸的卷积核。示例性的，第二加工子模块的结构如图4D所示，第六卷积层由图4D中的n Blocks构成，其中包括多个第六尺寸的卷积核，如n个尺寸为1*1的Conv组成；加和模块如图4D中的符号所对应的模块。基于此，上述步骤(b2)，可以根据以下步骤实现：
(b21)、利用第二加工子模块中的第六卷积层对第一中间数据进行特征重建处理，得到第六输出数据。
(b22)、通过加和模块对第六输出数据以及第一中间数据进行加和处理，得到中间特征图。
在上述步骤(b21)-(b22)中，服务器利用第二加工子模块包括的第六卷积层对第一中间数据(shape为[N，C0，W，H])进行特征重建处理，得到第六输出数据(如n个shape为[N，C0，W，H]的特征图Fc0)；然后通过第二加工子模块包括的加和模块对第六输出数据以及第一中间数据(第一中间数据为第二加工子模块的输入数据)进行加和处理，得到中间特征图(中间特征图为第二加工子模块的输出数据)，中间特征图的shape为[N，C0，W，H]。
在第二加工子模块输出中间特征图后，可以通过非线性激活函数进行激活，例如RELU，非线性激活函数也可是图4A中的Activation模块。基于此，服务器可以在实现步骤(b2)时，利用第一特征细加工网络中的第二加工子模块对第一中间数据进行特征重建处理，得到第二加工子模块的输出数据，然后对该第二人加工子模块的输出数据进行非线性激活函数(如图4A中将第二加工子模块的输出数据输入Activation模块)，然后将非线性激活函数处理后的数据作为中间特征图。
在一实施例中，第六卷积层包括多个第六尺寸的卷积核(如n个1*1的Conv)，可以在不改变特征图的尺寸的情况下，通过改变通道数来增强特征图的表示能力。1*1的卷积核是一个轻量级的卷积操作，用于对每个通道上的特征进行线性组合，并且可以学习到通道间的相关性。加和模块用于进行加和操作，加和操作有助于融合不同类型的特征信息，进一步提升特征的多样性和表达能力。加和操作可以通过Skip连接实现，通过融合第六输出数据以及第一中间数据，可以确保网络在进行深层次的特征提取过程中仍然能够保留低层次的细节信息，并避免梯度消失或信息丢失的问题。通过加和模块对第六卷积层得到的特征图以及第一中间数据进行逐元素相加，可以得到第二加工子模块的输出数据，即中间特征图。
在一实施例中，第二加工子模块(MobileDense Block C)模块在推理阶段会经过重参数化处理(例如采用重参数方案DBB)，等价转换为一个卷积核大小为1*1的卷积层(如图4D中的1*1Conv)，该卷积层的输入通道和输出通道与MobileDense Block C模块保持一致。
(b3)、利用第二特征细加工网络中的第一加工子模块对中间特征图进行特征重建处理，得到第二中间数据。
其中，步骤(b3)的具体实现方式请参见步骤(b1)的相关描述，本申请实施例不再赘述。
在一实施例中，第一特征细加工网络中的第一加工子模块MobileDense Block B相比于第二特征细加工网络中的第一加工子模块MobileDense Block B而言，两个第一加工子模块在推理阶段经过的重参数化处理可以存在不同，例如将第一特征细加工网络中的第一加工子模块重参数化处理为一个7*7DW Conv(此时K为7)，将第二特征细加工网络中的第一加工子模块重参数化处理为一个3*3DW Conv(此时K为3)，上述方法可以在保证模型参数量较小的前提下，通过增大一部分卷积核(如7*7DW Conv)的尺寸，从而提高模型的感受野，进而提高模型处理效果。
(b4)、利用第二特征细加工网络中的第三加工子模块对第二中间数据进行特征重建处理，得到第二特征图。
其中，服务器利用第三加工子模块ConvFFN对第二中间数据进行特征重建处理，得到第二特征图。应用ConvFFN，可以实现更灵活和复杂的信息更新。与传统的的FFN不同，ConvFFN能够实现体素间的信息交换，能够提高第二特征图的准确性，进而提高基于第二特征图训练得到的第二超分模型的超分效果。
在一实施例中，第三加工模块包括第一特征提取模块、第二特征提取模块以及加和模块，第一特征提取模块包括第七卷积层、通道变换层以及激活层，第七卷积层包括第七尺寸的深度卷积核，第二特征提取模块包括第八卷积层，第八卷积层包括第八尺寸的卷积核。示例性的，第三加工子模块的结构如图4E所示，第一特征提取模块由图4D中的7*7DWConv、1*1Conv、GELU(激活函数)以及1*1Conv构成；其中，第七卷积层可以是指上述7*7DWConv；通道变换层可以是指第一个1*1Conv以及第二个1*1Conv，第一个1*1Conv用于通道数的拓展，如输入通道数为C0，输出通道数为C0*ffn_ratio，ffn_ratio为通道变换参数(ffn_ratio可取值大于1的整数，例如取值为4)，第二个1*1Conv用于通道数的压缩，如输入通道数为C0*ffn_ratio，输出通道数为C0，通过通道变换层，实现更灵活和复杂的信息更新；激活层可以是指上述GELU，通过激活层，实现体素间的信息交换；加和模块如图4E中的符号所对应的模块。基于此，上述步骤(b4)，可以根据以下步骤实现：
(b41)、利用第三加工子模块中的第一特征提取模块、第二特征提取模块分别对第二中间数据进行特征重建处理，得到第七输出数据以及第八输出数据。
(b42)、通过加和模块对第七输出数据以及第八输出数据进行加和处理，得到第二特征图。
在上述步骤(b41)-(b42)中，第二中间数据为第三加工子模块的输入数据，服务器利用第三加工子模块包括的第一特征提取模块对第二中间数据(shape为[N，C0，W，H])进行特征重建处理，得到第七输出数据(如1个shape为[N，C0，W，H]的特征图Fd0)，以及利用第三加工子模块包括的第二特征提取模块对第二中间数据进行特征重建处理，得到第八输出数据(如1个shape为[N，C0，W，H]的特征图Fd1)；然后通过第三加工子模块包括的加和模块对第七输出数据以及第八输出数据进行加和处理，得到第二特征图(第二特征图为第三加工子模块的输出数据)，第二特征图的shape为[N，C0，W，H]。
在一实施例中，训练阶段，由于第三加工子模块ConvFFN中包括GELU，GELU本身是一个非线性函数激活函数，因此不对此进行重参数化，从而简化模型设计，并使得模型的训练和推理过程更高效。
基于步骤S302中的相关描述，第一加工子模块的结构及处理过程如下：第一加工子模块包括第三卷积层、第四卷积层、第五卷积层以及加和模块，第三卷积层包括第三尺寸的深度卷积核，第四卷积层包括多个第四尺寸的深度卷积核，第五卷积层包括多个第五尺寸的深度卷积核，第一加工子模块的输入数据分别通过第三卷积层、第四卷积层、第五卷积层进行处理，得到第三输出数据、第四输出数据以及第五输出数据，并通过加和模块对第三输出数据、第四输出数据、第五输出数据以及输入数据进行加和处理，得到第一加工子模块的输出数据。
基于步骤S302中的相关描述，第二加工子模块的结构及处理过程如下：第二加工子模块包括第六卷积层以及加和模块，第六卷积层包括多个第六尺寸的卷积核，第二加工子模块的输入数据通过第六卷积层进行处理，得到第六输出数据，并通过加和模块对第六输出数据以及输入数据进行加和处理，得到第二加工子模块的输出数据。
基于步骤S302中的相关描述，第三加工子模块的结构及处理过程如下：第三加工模块包括第一特征提取模块、第二特征提取模块以及加和模块，第一特征提取模块包括第七卷积层、通道变换层以及激活层，第七卷积层包括第七尺寸的深度卷积核，第二特征提取模块包括第八卷积层，第八卷积层包括第八尺寸的卷积核，第三加工模块的输入数据分别通过第一特征提取模块、第二特征提取模块进行处理，得到第七输出数据以及第八输出数据，并通过加和模块对第七输出数据以及第八输出数据进行加和处理，得到第三加工模块的输出数据。
S303、利用初始超分模型中的特征融合网络，对第二特征图进行反卷积处理，得到第三特征图，以及对样本图像进行上采样处理，得到第四特征图，并对第三特征图和第四特征图进行特征融合处理，得到预测超分图像。
本申请实施例中，反卷积处理可以还原压缩或降采样所导致的细节损失，因此能够得到更清晰、更具细节的图像；上采样处理会将低分辨率的图像放大到更高分辨率，服务器通过对样本图像进行上采样处理以及对第二特征图进行反卷积处理，可以有效地提高对应图像的分辨率。并且，利用特征融合网络将第三特征图和第四特征图进行融合处理，可以改善图像的质量，融合后的预测超分图像能够更好地保留并且增强输入图像的细节、纹理和边缘等特征，使得预测超分图像在视觉上更加自然和真实。
在一实施例中，特征融合网络包括反卷积模块、上采样模块、以及加和模块，反卷积模块用于进行反卷积处理，上采样模块用于进行上采样处理，加和模块用于进行特征融合处理。
其中，反卷积模块记为Deconv模块，上采样模块记为UpSample模块，第二特征图Fdense经过反卷积模块进行反卷积处理，得到第三特征图(第三特征图记为Fdeconv，其shape为[N，1，2W，2H])；样本图像LR经过上采样模块进行上采样处理，得到第四特征图(第四特征图记为Fup，其shape为[N，1，2W，2H])；然后，对第三特征图和第四特征图进行特征融合处理(例如进行加和操作)，得到预测超分图像(预测超分图像记为SR，其shape为[N，1，2W，2H])。其中，上采样处理可以采用双线性插值(Bilinear)、反卷积、反池化等方法。
其中，上述步骤S301-S303对利用初始超分模型对样本图像进行超分处理，得到预测超分图像的步骤(即步骤S201)进行了详细说明。下面将通过步骤S304-S306对根据预测超分图像以及样本图像对应的参考超分图像对初始超分模型进行模型调参，得到第一超分模型的步骤(即步骤S202)的方法进行详细说明：
S304、获取样本图像对应的参考超分图像。
在一实施例中，样本图像是对参考超分图像进行降低分辨率处理得到的。服务器首先获取参考超分图像(为高分辨率的图像)，然后对参考超分图像进行降低分辨率处理(如下采样处理)，得到样本图像(为低分辨率的图像)。服务器将样本图像作为初始超分模型的输入数据进行超分处理，得到预测超分图像，将参考超分图像作为监督数据，希望预测超分图像与参考超分图像保持效果一致。上述方法可以保证在对初始超分模型进行训练时的监督数据的准确性，进而保证模型训练效果，提高训练得到的第一超分模型的超分效果。
S305、确定预测超分图像与参考超分图像之间的目标差异数据。
S306、根据目标差异数据对初始超分模型的模型参数进行调整，将模型参数调整后的初始超分模型确定为第一超分模型。
在上述步骤S305-S306中，服务器可以对预测超分图像(SR图像)与参考超分图像(HR图像)进行差异数据计算(如损失函数计算)，得到目标差异数据(如目标损失函数)，然后利用目标差异数据对应的参考超分图像对初始超分模型进行模型调参，得到第一超分模型。其中，损失函数可以采用均方误差(Mean Squared Error，MSE)、交叉熵(CrossEntropy，CE)、KL散度(Kullback-Leibler Divergence，KL Divergence)、平均绝对误差(Mean Absolute Error，MAE)、对比损失(Contrastive Loss)、感知损失(PerceptualLoss)等，本申请实施例不对此进行限定。
下面将通过步骤S307-S308对对第一超分模型中的待处理模块进行重参数化处理，生成第二超分模型的步骤(即步骤S203)的方法进行详细说明：
S307、对第一超分模型中的待处理模块进行重参数化处理，得到重参数化模块。
S308、根据第一超分模型中未进行重参数化处理的模块和重参数化模块，生成第二超分模型。
在上述步骤S307-S308中，通过对第一超分模型进行重参数化处理，可以利用参数量更少的第二超分模型表示参数量更多的第一超分模型，将第二超分模型应用于终端设备(如移动设备、嵌入式设备)进行图像超分任务，在保证与第一超分模型具有相同处理效果的前提下，减少了第二超分模型的计算复杂度，提高了第二超分模型在终端设备上的处理性能。同时，重参数化得到的第二超分模型具有更高的模型训练效率、更高的模型泛化能力，可以有效避免过拟合现象。相比于在终端设备上配置结构简单的超分模型来说，本申请实施例中的方法使得终端设备上可以配置原始模型容量更大的超分模型，提高了终端设备上的超分模型的模型容量，并提高通过超分模型得到的超分图像的质量，同时提高了终端设备上的计算资源利用率。
在一实施例中，待处理模块为模型调参后的特征粗加工模块、第一细加工模块中包括的第一加工子模块以及第二加工子模块、第二细加工模块中包括的第一加工子模块。
其中，特征粗加工模块的实现采用的是MobileDense Block A模块，特征粗加工模块在推理阶段会经过重参数化处理(例如采用重参数方案DBB)，等价转换为一个卷积核大小为3的卷积层(如图4B中的3*3Conv)，该卷积层的输入通道和输出通道与特征粗加工模块保持一致，且保证了与第一超分模型具有相同的处理效果。
第一加工子模块的实现采用的是MobileDense Block B模块，第一加工子模块在推理阶段会经过重参数化处理(例如采用重参数方案DBB)，等价转换为一个卷积核大小为K*K的深度卷积层(如图4C中的K*K DW Conv)，该卷积层的输入通道和输出通道与第一加工子模块保持一致，且保证了与第一加工子模块具有相同的处理效果。
第二加工子模块的实现采用的是MobileDense Block C模块，第二加工子模块在推理阶段会经过重参数化处理(例如采用重参数方案DBB)，等价转换为一个卷积核大小为1*1的卷积层(如图4D中的1*1Conv)，该卷积层的输入通道和输出通道与第二加工子模块保持一致，且保证了与第二加工子模块具有相同的处理效果。
在一实施例中，重参数化模块包括深度卷积层，深度卷积层用于减少特征处理所需要的参数量，深度卷积层包括深度卷积核，深度卷积核是对待处理模块中的原始卷积核进行重参数化处理得到的，深度卷积核的尺寸大于原始卷积核的尺寸。
其中，深度卷积核可以是指K*K DW Conv，与传统的卷积核(如K*K Conv)不同，深度卷积核在每个输入通道上独立进行卷积计算，而不是整体进行。具体来说，DW conv维持输入特征图的通道数不变，通过使用与通道数量相等的卷积核，在输入特征图的每个通道上进行卷积运算，这意味着每个输入通道都有一个对应的卷积核，用于提取该通道的特征，然后，将每个通道得到的特征图合并起来，形成输出特征图。因此，使用深度卷积核可以有效地减少模型的参数量和计算量，提高模型的处理效率，尤其适用于移动设备等资源受限的场景。
其中，深度卷积核是对待处理模块中的原始卷积核进行重参数化处理得到的，以第一特征细加工网络中的第一加工子模块(MobileDense Block B)为例，第一加工子模块可以视为原始卷积核，对第一加工子模块进行重参数化处理后得到的模块(K*K DW Conv)可以视为深度卷积核。假设原始卷积核的尺寸为3*3*8*8，其中3*3表示卷积核的高度和宽度，即卷积核的大小为3×3；8*8表示输入通道数和输出通道数，其中输入通道数指的是卷积层的输入特征图的通道数，输出通道数指的是卷积层的输出特征图的通道数。那么，原始卷积核对应的计算复杂度可以视为3*3*8*8＝576单位。
深度卷积核由于是可分离卷积，通过分组卷积可以减少参数量，因此尺寸可以设为K*K*8。当深度卷积核的尺寸大于原始卷积核的尺寸时，以K＝7为例，那么，深度卷积核对应的计算复杂度可以视为7*7*8＝392单位。可以发现，相较于原始卷积核，虽然深度卷积核的尺寸更大(7*7>3*3)，但深度卷积核的计算复杂度却更低(392<576)，因此，提高了第二超分模型的感受野，使得第二超分模型可以更全面地捕捉输入图像中的上下文信息和纹理特征，从而提高超分辨率重建的效果。相比于在终端设备上配置结构简单的超分模型来说，本申请实施例中的方法使得终端设备上可以配置原始模型容量更大的超分模型，提高了终端设备上的超分模型的模型容量，并提高通过超分模型得到的超分图像的质量，同时提高了终端设备上的计算资源利用率。
在一实施例中，在超分辨率任务中，样本图像的Y、U、V三个通道可以分开进行超分辨率处理，也可以联合起来进行处理。一般来说，只有亮度通道(Y通道)需要进行超分辨率处理，因为色彩信息对人眼并不敏感，而且色度通道(U、V通道)的分辨率比亮度通道低，因此，在进行Y通道的超分辨率处理后，可以根据U、V通道与Y通道之间的依赖关系进行U、V通道的上采样处理，以确保图像的颜色质量。
示例性的，服务器可以对样本图像的U、V通道的分量图像进行上采样处理，得到与Y通道的分量图像相同分辨率的超分图像，然后根据Y、U、V三个通道的超分图像生成最终的超分图像。例如，将Y、U、V三个通道的超分图像转换为RGB格式的三张图像，然后对RGB格式的三张图像进行加和处理，得到融合图像，再将融合图像重新转换为YUV格式的超分图像，将其作为预测超分图像。
需要说明的是，本申请实施例中所提到的重参数化处理以DBB方案为例，DBB方案提供了6种等价变换，包括：BN融合、分支相加、卷积串联、深度连接、平均池化以及多尺度操作，通过上述多种等价变换，可以降低超分模型的参数量，并提高超分模型的精度。除此之外，重参数化处理还可以采用Reparameterization Trick重参数化技巧、LocalReparameterization Trick、Implicit Reparameterization等重参数化处理，本申请实施例不再赘述。
请参阅图5，该图是本申请一个示例性实施例提供的一种数据处理方法的流程示意图，以该方法应用于终端设备为例进行说明，该方法可包括以下步骤：
S501、获取待处理图像。
S502、利用第二超分模型对待处理图像进行超分处理，得到目标超分图像。
本申请实施例中，终端设备可以将第二超分模型配置在本设备上，然后利用第二超分模型对待处理图像进行超分处理，得到目标超分图像，从而实现图像超分任务。由于第二超分模型是基于第一超分模型进行重参数化处理得到的，使得第二超分模型和第一超分模型的图像超分效果和能力相同，也即是针对同一图像分别进行超分处理得到的超分图像相同，同时第二超分模型相较于第一超分模型的参数量更小，通过利用第二超分模型在终端设备上进行图像超分任务，提高了终端设备上的超分模型的模型容量，并提高通过超分模型得到的超分图像的质量。相比于在终端设备上配置结构简单的超分模型来说，本申请实施例中的方法使得终端设备上可以配置原始模型容量更大的超分模型，在提高图像超分效果的同时，提高了终端设备上的计算资源利用率。
其中，第二超分模型是对第一超分模型中的待处理模块进行重参数化处理生成的，第一超分模型是利用样本图像对初始超分模型进行模型训练得到的，初始超分模型包括特征粗加工网络、特征细加工网络以及特征融合网络，待处理模块为在对初始超分模型进行模型训练时通过模型调参后的特征粗加工网络以及特征细加工网络中的部分模块或者全部模块；第二超分模型的参数量小于第一超分模型的参数量。
其中，步骤S501-S502的具体实施方式参见前述实施例中步骤S201-S203以及步骤S301-S308的相关描述，此处不再赘述。
请参阅图6，该图是本申请实施例提供的一种数据处理装置的示意框图。在一个实施例中，数据处理装置具体可以包括：
超分处理模块601，用于利用初始超分模型对样本图像进行超分处理，得到预测超分图像；
训练模块602，用于根据上述预测超分图像以及上述样本图像对应的参考超分图像对上述初始超分模型进行模型调参，得到第一超分模型；
重参数化模块603，用于对上述第一超分模型中的待处理模块进行重参数化处理，生成第二超分模型，上述第二超分模型用于生成待处理图像的目标超分图像；
其中，上述初始超分模型包括特征粗加工网络、特征细加工网络以及特征融合网络，上述待处理模块为上述模型调参后的特征粗加工网络以及特征细加工网络中的部分模块或者全部模块；上述第二超分模型的参数量小于上述第一超分模型的参数量。
可选的，上述超分处理模块601在用于利用初始超分模型对样本图像进行超分处理，得到预测超分图像时，具体用于：
利用初始超分模型中的上述特征粗加工网络对样本图像进行特征重建处理，得到第一特征图；
利用上述初始超分模型中的上述特征细加工网络对上述第一特征图进行特征重建处理，得到第二特征图；
利用上述初始超分模型中的上述特征融合网络，对上述第二特征图进行反卷积处理，得到第三特征图，以及对上述样本图像进行上采样处理，得到第四特征图，并对上述第三特征图和上述第四特征图进行特征融合处理，得到预测超分图像。
可选的，上述特征粗加工网络包括特征粗加工模块，上述特征细加工网络包括一个或多个特征细加工模块，各个上述特征细加工模块包括第一细加工模块以及第二细加工模块，上述第一细加工模块的输出与上述第二细加工模块的输入相连接，上述第一细加工模块包括第一加工子模块和第二加工子模块，上述第二细加工模块包括上述第一加工子模块和第三加工子模块，上述特征融合网络包括反卷积模块、上采样模块、以及加和模块，上述反卷积模块用于进行上述反卷积处理，上述上采样模块用于进行上述上采样处理，上述加和模块用于进行上述特征融合处理；上述待处理模块为上述模型调参后的特征粗加工模块、第一细加工模块中包括的第一加工子模块以及第二加工子模块、第二细加工模块中包括的第一加工子模块。
可选的，上述特征粗加工模块包括第一卷积层、第二卷积层以及加和模块，上述第一卷积层包括多个第一尺寸的卷积核，上述第二卷积层包括多个第二尺寸的卷积核；
其中，上述超分处理模块601在用于利用初始超分模型中的上述特征粗加工网络对样本图像进行特征重建处理，得到第一特征图时，具体用于：
利用上述特征粗加工网络中的上述特征粗加工模块包括的上述第一卷积层、上述第二卷积层分别对样本图像进行特征重建处理，得到第一输出数据以及第二输出数据；
通过上述加和模块对上述第一输出数据、上述第二输出数据以及上述样本图像进行加和处理，得到第一特征图。
可选的，上述特征细加工网络包括一个特征细加工模块；上述超分处理模块601在用于利用上述初始超分模型中的上述特征细加工网络对上述第一特征图进行特征重建处理，得到第二特征图时，具体用于：
利用上述第一特征细加工网络中的上述第一加工子模块对上述第一特征图进行特征重建处理，得到第一中间数据；
利用上述第一特征细加工网络中的上述第二加工子模块对上述第一中间数据进行特征重建处理，得到中间特征图；
利用上述第二特征细加工网络中的上述第一加工子模块对上述中间特征图进行特征重建处理，得到第二中间数据；
利用上述第二特征细加工网络中的上述第三加工子模块对上述第二中间数据进行特征重建处理，得到第二特征图。
可选的，上述第一加工子模块包括第三卷积层、第四卷积层、第五卷积层以及加和模块，上述第三卷积层包括第三尺寸的深度卷积核，上述第四卷积层包括多个第四尺寸的深度卷积核，上述第五卷积层包括多个第五尺寸的深度卷积核；
其中，上述超分处理模块601在用于利用上述第一特征细加工网络中的上述第一加工子模块对上述第一特征图进行特征重建处理，得到第一中间数据时，具体用于：
利用上述第一加工子模块中的上述第三卷积层、上述第四卷积层、上述第五卷积层分别对上述第一特征图进行特征重建处理，得到第三输出数据、第四输出数据以及第五输出数据；
通过上述加和模块对上述第三输出数据、上述第四输出数据、上述第五输出数据以及上述第一特征图进行加和处理，得到第一中间数据。
可选的，上述第二加工子模块包括第六卷积层以及加和模块，上述第六卷积层包括多个第六尺寸的卷积核；
其中，上述超分处理模块601在用于利用上述第一特征细加工网络中的上述第二加工子模块对上述第一中间数据进行特征重建处理，得到中间特征图时，具体用于：
利用上述第二加工子模块中的上述第六卷积层对上述第一中间数据进行特征重建处理，得到第六输出数据；
通过上述加和模块对上述第六输出数据以及上述第一中间数据进行加和处理，得到中间特征图。
可选的，上述第三加工模块包括第一特征提取模块、第二特征提取模块以及加和模块，上述第一特征提取模块包括第七卷积层、通道变换层以及激活层，上述第七卷积层包括第七尺寸的深度卷积核，上述第二特征提取模块包括第八卷积层，上述第八卷积层包括第八尺寸的卷积核；
其中，上述超分处理模块601在用于利用上述第二特征细加工网络中的上述第三加工子模块对上述第二中间数据进行特征重建处理，得到第二特征图时，具体用于：
利用上述第三加工子模块中的上述第一特征提取模块、上述第二特征提取模块分别对上述第二中间数据进行特征重建处理，得到第七输出数据以及第八输出数据；
通过上述加和模块对上述第七输出数据以及第八输出数据进行加和处理，得到第二特征图。
可选的，上述训练模块602在用于根据上述预测超分图像以及上述样本图像对应的参考超分图像对上述初始超分模型进行模型调参，得到第一超分模型时，具体用于：
获取上述样本图像对应的参考超分图像，上述样本图像是对上述参考超分图像进行降低分辨率处理得到的；
确定上述预测超分图像与上述参考超分图像之间的目标差异数据；
根据上述目标差异数据对上述初始超分模型的模型参数进行调整，将模型参数调整后的初始超分模型确定为第一超分模型。
可选的，上述重参数化模块603在用于对上述第一超分模型中的待处理模块进行重参数化处理，生成第二超分模型时，具体用于：
对上述第一超分模型中的待处理模块进行重参数化处理，得到重参数化模块；
根据上述第一超分模型中未进行重参数化处理的模块和上述重参数化模块，生成第二超分模型；
其中，上述重参数化模块包括深度卷积层，上述深度卷积层用于减少特征处理所需要的参数量，上述深度卷积层包括深度卷积核，上述深度卷积核是对上述待处理模块中的原始卷积核进行重参数化处理得到的，上述深度卷积核的尺寸大于上述原始卷积核的尺寸。
在另一个实施例中，数据处理装置具体可以包括：
超分处理模块601，用于获取待处理图像；
上述超分处理模块601，还用于利用第二超分模型对上述待处理图像进行超分处理，得到目标超分图像；
其中，上述第二超分模型是对第一超分模型中的待处理模块进行重参数化处理生成的，上述第一超分模型是利用样本图像对初始超分模型进行模型训练得到的，上述初始超分模型包括特征粗加工网络、特征细加工网络以及特征融合网络，上述待处理模块为在对上述初始超分模型进行模型训练时通过模型调参后的特征粗加工网络以及特征细加工网络中的部分模块或者全部模块；上述第二超分模型的参数量小于上述第一超分模型的参数量。
需要说明的是，本申请实施例的数据处理装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
请参阅图7，该图是本申请实施例提供的一种计算机设备的示意框图。如图所示的本实施例中的计算机设备可以包括：处理器701、存储装置702以及通信接口703。上述处理器701、存储装置702以及通信接口703之间可以进行数据交互。
上述存储装置702可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储装置702也可以包括非易失性存储器(non-volatilememory)，例如快闪存储器(flash memory)，固态硬盘(solid-state drive，SSD)等；上述存储装置702还可以包括上述种类的存储器的组合。
上述处理器701可以是中央处理器(central processing unit，CPU)。在一个实施例中，上述处理器701还可以是图形处理器(Graphics Processing Unit，GPU)。上述处理器701也可以是由CPU和GPU的组合。在一个实施例中，上述存储装置702用于存储程序指令，上述处理器701可以调用上述程序指令，执行如下操作：
利用初始超分模型对样本图像进行超分处理，得到预测超分图像；
根据上述预测超分图像以及上述样本图像对应的参考超分图像对上述初始超分模型进行模型调参，得到第一超分模型；
对上述第一超分模型中的待处理模块进行重参数化处理，生成第二超分模型，上述第二超分模型用于生成待处理图像的目标超分图像；
其中，上述初始超分模型包括特征粗加工网络、特征细加工网络以及特征融合网络，上述待处理模块为上述模型调参后的特征粗加工网络以及特征细加工网络中的部分模块或者全部模块；上述第二超分模型的参数量小于上述第一超分模型的参数量。
可选的，上述处理器701在用于利用初始超分模型对样本图像进行超分处理，得到预测超分图像时，具体用于：
利用初始超分模型中的上述特征粗加工网络对样本图像进行特征重建处理，得到第一特征图；
利用上述初始超分模型中的上述特征细加工网络对上述第一特征图进行特征重建处理，得到第二特征图；
利用上述初始超分模型中的上述特征融合网络，对上述第二特征图进行反卷积处理，得到第三特征图，以及对上述样本图像进行上采样处理，得到第四特征图，并对上述第三特征图和上述第四特征图进行特征融合处理，得到预测超分图像。
可选的，上述特征粗加工网络包括特征粗加工模块，上述特征细加工网络包括一个或多个特征细加工模块，各个上述特征细加工模块包括第一细加工模块以及第二细加工模块，上述第一细加工模块的输出与上述第二细加工模块的输入相连接，上述第一细加工模块包括第一加工子模块和第二加工子模块，上述第二细加工模块包括上述第一加工子模块和第三加工子模块，上述特征融合网络包括反卷积模块、上采样模块、以及加和模块，上述反卷积模块用于进行上述反卷积处理，上述上采样模块用于进行上述上采样处理，上述加和模块用于进行上述特征融合处理；上述待处理模块为上述模型调参后的特征粗加工模块、第一细加工模块中包括的第一加工子模块以及第二加工子模块、第二细加工模块中包括的第一加工子模块。
可选的，上述特征粗加工模块包括第一卷积层、第二卷积层以及加和模块，上述第一卷积层包括多个第一尺寸的卷积核，上述第二卷积层包括多个第二尺寸的卷积核；
其中，上述处理器701在用于利用初始超分模型中的上述特征粗加工网络对样本图像进行特征重建处理，得到第一特征图时，具体用于：
利用上述特征粗加工网络中的上述特征粗加工模块包括的上述第一卷积层、上述第二卷积层分别对样本图像进行特征重建处理，得到第一输出数据以及第二输出数据；
通过上述加和模块对上述第一输出数据、上述第二输出数据以及上述样本图像进行加和处理，得到第一特征图。
可选的，上述特征细加工网络包括一个特征细加工模块；上述处理器701在用于利用上述初始超分模型中的上述特征细加工网络对上述第一特征图进行特征重建处理，得到第二特征图时，具体用于：
利用上述第一特征细加工网络中的上述第一加工子模块对上述第一特征图进行特征重建处理，得到第一中间数据；
利用上述第一特征细加工网络中的上述第二加工子模块对上述第一中间数据进行特征重建处理，得到中间特征图；
利用上述第二特征细加工网络中的上述第一加工子模块对上述中间特征图进行特征重建处理，得到第二中间数据；
利用上述第二特征细加工网络中的上述第三加工子模块对上述第二中间数据进行特征重建处理，得到第二特征图。
可选的，上述第一加工子模块包括第三卷积层、第四卷积层、第五卷积层以及加和模块，上述第三卷积层包括第三尺寸的深度卷积核，上述第四卷积层包括多个第四尺寸的深度卷积核，上述第五卷积层包括多个第五尺寸的深度卷积核；
其中，上述处理器701在用于利用上述第一特征细加工网络中的上述第一加工子模块对上述第一特征图进行特征重建处理，得到第一中间数据时，具体用于：
利用上述第一加工子模块中的上述第三卷积层、上述第四卷积层、上述第五卷积层分别对上述第一特征图进行特征重建处理，得到第三输出数据、第四输出数据以及第五输出数据；
通过上述加和模块对上述第三输出数据、上述第四输出数据、上述第五输出数据以及上述第一特征图进行加和处理，得到第一中间数据。
可选的，上述第二加工子模块包括第六卷积层以及加和模块，上述第六卷积层包括多个第六尺寸的卷积核；
其中，上述处理器701在用于利用上述第一特征细加工网络中的上述第二加工子模块对上述第一中间数据进行特征重建处理，得到中间特征图时，具体用于：
利用上述第二加工子模块中的上述第六卷积层对上述第一中间数据进行特征重建处理，得到第六输出数据；
通过上述加和模块对上述第六输出数据以及上述第一中间数据进行加和处理，得到中间特征图。
可选的，上述第三加工模块包括第一特征提取模块、第二特征提取模块以及加和模块，上述第一特征提取模块包括第七卷积层、通道变换层以及激活层，上述第七卷积层包括第七尺寸的深度卷积核，上述第二特征提取模块包括第八卷积层，上述第八卷积层包括第八尺寸的卷积核；
其中，上述处理器701在用于利用上述第二特征细加工网络中的上述第三加工子模块对上述第二中间数据进行特征重建处理，得到第二特征图时，具体用于：
利用上述第三加工子模块中的上述第一特征提取模块、上述第二特征提取模块分别对上述第二中间数据进行特征重建处理，得到第七输出数据以及第八输出数据；
通过上述加和模块对上述第七输出数据以及第八输出数据进行加和处理，得到第二特征图。
可选的，上述处理器701在用于根据上述预测超分图像以及上述样本图像对应的参考超分图像对上述初始超分模型进行模型调参，得到第一超分模型时，具体用于：
获取上述样本图像对应的参考超分图像，上述样本图像是对上述参考超分图像进行降低分辨率处理得到的；
确定上述预测超分图像与上述参考超分图像之间的目标差异数据；
根据上述目标差异数据对上述初始超分模型的模型参数进行调整，将模型参数调整后的初始超分模型确定为第一超分模型。
可选的，上述处理器701在用于对上述第一超分模型中的待处理模块进行重参数化处理，生成第二超分模型时，具体用于：
对上述第一超分模型中的待处理模块进行重参数化处理，得到重参数化模块；
根据上述第一超分模型中未进行重参数化处理的模块和上述重参数化模块，生成第二超分模型；
其中，上述重参数化模块包括深度卷积层，上述深度卷积层用于减少特征处理所需要的参数量，上述深度卷积层包括深度卷积核，上述深度卷积核是对上述待处理模块中的原始卷积核进行重参数化处理得到的，上述深度卷积核的尺寸大于上述原始卷积核的尺寸。
在另一个实施例中，上述存储装置702用于存储程序指令，上述处理器701可以调用上述程序指令，执行如下操作：
获取待处理图像；
利用第二超分模型对上述待处理图像进行超分处理，得到目标超分图像；
其中，上述第二超分模型是对第一超分模型中的待处理模块进行重参数化处理生成的，上述第一超分模型是利用样本图像对初始超分模型进行模型训练得到的，上述初始超分模型包括特征粗加工网络、特征细加工网络以及特征融合网络，上述待处理模块为在对上述初始超分模型进行模型训练时通过模型调参后的特征粗加工网络以及特征细加工网络中的部分模块或者全部模块；上述第二超分模型的参数量小于上述第一超分模型的参数量。
具体实现中，本申请实施例中所描述的处理器701、存储装置702以及通信接口703可执行本申请实施例图2、图3或图5提供的数据处理方法的相关实施例中所描述的实现方式，也可执行本申请实施例图6提供的数据处理装置的相关实施例中所描述的实现方式，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置和***，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的；例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式；例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
此外，这里需要指出的是：本申请实施例还提供了一种计算机可读存储介质，且计算机可读存储介质中存储有前文提及的数据处理装置所执行的计算机程序，且该计算机程序包括程序指令，当处理器执行上述程序指令时，能够执行前文图2、图3或图5所对应实施例中的方法，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述。作为示例，程序指令可以被部署在一个计算机设备上，或者在位于一个地点的多个计算机设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算机设备上执行，分布在多个地点且通过通信网络互连的多个计算机设备可以组成区块链***。
根据本申请的一个方面，提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备可以执行前文图2、图3或图5所对应实施例中的方法，因此，这里将不再进行赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，上述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
以上所揭露的仅为本申请的部分实施例而已，当然不能以此来限定本申请之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本申请权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (15)

1.一种数据处理方法，其特征在于，所述方法包括：
利用初始超分模型对样本图像进行超分处理，得到预测超分图像；
根据所述预测超分图像以及所述样本图像对应的参考超分图像对所述初始超分模型进行模型调参，得到第一超分模型；
对所述第一超分模型中的待处理模块进行重参数化处理，生成第二超分模型，所述第二超分模型用于生成待处理图像的目标超分图像；
其中，所述初始超分模型包括特征粗加工网络、特征细加工网络以及特征融合网络，所述待处理模块为所述模型调参后的特征粗加工网络以及特征细加工网络中的部分模块或者全部模块；所述第二超分模型的参数量小于所述第一超分模型的参数量。
2.根据权利要求1所述的方法，其特征在于，所述利用初始超分模型对样本图像进行超分处理，得到预测超分图像，包括：
利用初始超分模型中的所述特征粗加工网络对样本图像进行特征重建处理，得到第一特征图；
利用所述初始超分模型中的所述特征细加工网络对所述第一特征图进行特征重建处理，得到第二特征图；
利用所述初始超分模型中的所述特征融合网络，对所述第二特征图进行反卷积处理，得到第三特征图，以及对所述样本图像进行上采样处理，得到第四特征图，并对所述第三特征图和所述第四特征图进行特征融合处理，得到预测超分图像。
3.根据权利要求2所述的方法，其特征在于，所述特征粗加工网络包括特征粗加工模块，所述特征细加工网络包括一个或多个特征细加工模块，各个所述特征细加工模块包括第一细加工模块以及第二细加工模块，所述第一细加工模块的输出与所述第二细加工模块的输入相连接，所述第一细加工模块包括第一加工子模块和第二加工子模块，所述第二细加工模块包括所述第一加工子模块和第三加工子模块，所述特征融合网络包括反卷积模块、上采样模块、以及加和模块，所述反卷积模块用于进行所述反卷积处理，所述上采样模块用于进行所述上采样处理，所述加和模块用于进行所述特征融合处理；所述待处理模块为所述模型调参后的特征粗加工模块、第一细加工模块中包括的第一加工子模块以及第二加工子模块、第二细加工模块中包括的第一加工子模块。
4.根据权利要求3所述的方法，其特征在于，所述特征粗加工模块包括第一卷积层、第二卷积层以及加和模块，所述第一卷积层包括多个第一尺寸的卷积核，所述第二卷积层包括多个第二尺寸的卷积核；
其中，所述利用初始超分模型中的所述特征粗加工网络对样本图像进行特征重建处理，得到第一特征图，包括：
利用所述特征粗加工网络中的所述特征粗加工模块包括的所述第一卷积层、所述第二卷积层分别对样本图像进行特征重建处理，得到第一输出数据以及第二输出数据；
通过所述加和模块对所述第一输出数据、所述第二输出数据以及所述样本图像进行加和处理，得到第一特征图。
5.根据权利要求3所述的方法，其特征在于，所述特征细加工网络包括一个特征细加工模块；所述利用所述初始超分模型中的所述特征细加工网络对所述第一特征图进行特征重建处理，得到第二特征图，包括：
利用所述第一特征细加工网络中的所述第一加工子模块对所述第一特征图进行特征重建处理，得到第一中间数据；
利用所述第一特征细加工网络中的所述第二加工子模块对所述第一中间数据进行特征重建处理，得到中间特征图；
利用所述第二特征细加工网络中的所述第一加工子模块对所述中间特征图进行特征重建处理，得到第二中间数据；
利用所述第二特征细加工网络中的所述第三加工子模块对所述第二中间数据进行特征重建处理，得到第二特征图。
6.根据权利要求5所述的方法，其特征在于，所述第一加工子模块包括第三卷积层、第四卷积层、第五卷积层以及加和模块，所述第三卷积层包括第三尺寸的深度卷积核，所述第四卷积层包括多个第四尺寸的深度卷积核，所述第五卷积层包括多个第五尺寸的深度卷积核；
其中，所述利用所述第一特征细加工网络中的所述第一加工子模块对所述第一特征图进行特征重建处理，得到第一中间数据，包括：
利用所述第一加工子模块中的所述第三卷积层、所述第四卷积层、所述第五卷积层分别对所述第一特征图进行特征重建处理，得到第三输出数据、第四输出数据以及第五输出数据；
通过所述加和模块对所述第三输出数据、所述第四输出数据、所述第五输出数据以及所述第一特征图进行加和处理，得到第一中间数据。
7.根据权利要求5所述的方法，其特征在于，所述第二加工子模块包括第六卷积层以及加和模块，所述第六卷积层包括多个第六尺寸的卷积核；
其中，所述利用所述第一特征细加工网络中的所述第二加工子模块对所述第一中间数据进行特征重建处理，得到中间特征图，包括：
利用所述第二加工子模块中的所述第六卷积层对所述第一中间数据进行特征重建处理，得到第六输出数据；
通过所述加和模块对所述第六输出数据以及所述第一中间数据进行加和处理，得到中间特征图。
8.根据权利要求5所述的方法，其特征在于，所述第三加工模块包括第一特征提取模块、第二特征提取模块以及加和模块，所述第一特征提取模块包括第七卷积层、通道变换层以及激活层，所述第七卷积层包括第七尺寸的深度卷积核，所述第二特征提取模块包括第八卷积层，所述第八卷积层包括第八尺寸的卷积核；
其中，所述利用所述第二特征细加工网络中的所述第三加工子模块对所述第二中间数据进行特征重建处理，得到第二特征图，包括：
利用所述第三加工子模块中的所述第一特征提取模块、所述第二特征提取模块分别对所述第二中间数据进行特征重建处理，得到第七输出数据以及第八输出数据；
通过所述加和模块对所述第七输出数据以及第八输出数据进行加和处理，得到第二特征图。
9.根据权利要求1-8中任一项所述的方法，其特征在于，所述根据所述预测超分图像以及所述样本图像对应的参考超分图像对所述初始超分模型进行模型调参，得到第一超分模型，包括：
获取所述样本图像对应的参考超分图像，所述样本图像是对所述参考超分图像进行降低分辨率处理得到的；
确定所述预测超分图像与所述参考超分图像之间的目标差异数据；
根据所述目标差异数据对所述初始超分模型的模型参数进行调整，将模型参数调整后的初始超分模型确定为第一超分模型。
10.根据权利要求1-8中任一项所述的方法，其特征在于，所述对所述第一超分模型中的待处理模块进行重参数化处理，生成第二超分模型，包括：
对所述第一超分模型中的待处理模块进行重参数化处理，得到重参数化模块；
根据所述第一超分模型中未进行重参数化处理的模块和所述重参数化模块，生成第二超分模型；
其中，所述重参数化模块包括深度卷积层，所述深度卷积层用于减少特征处理所需要的参数量，所述深度卷积层包括深度卷积核，所述深度卷积核是对所述待处理模块中的原始卷积核进行重参数化处理得到的，所述深度卷积核的尺寸大于所述原始卷积核的尺寸。
11.一种数据处理方法，其特征在于，所述方法包括：
获取待处理图像；
利用第二超分模型对所述待处理图像进行超分处理，得到目标超分图像；
其中，所述第二超分模型是对第一超分模型中的待处理模块进行重参数化处理生成的，所述第一超分模型是利用样本图像对初始超分模型进行模型训练得到的，所述初始超分模型包括特征粗加工网络、特征细加工网络以及特征融合网络，所述待处理模块为在对所述初始超分模型进行模型训练时通过模型调参后的特征粗加工网络以及特征细加工网络中的部分模块或者全部模块；所述第二超分模型的参数量小于所述第一超分模型的参数量。
12.一种数据处理装置，其特征在于，所述装置包括用于实现如权利要求1-10中任一项所述的数据处理方法的模块，或者，包括用于实现如权利要求11所述的数据处理方法的模块。
13.一种计算机设备，其特征在于，包括：处理器、存储装置和通信接口，所述处理器、所述通信接口和所述存储装置相互连接，其中，所述存储装置存储有可执行程序代码，所述处理器用于调用所述可执行程序代码，用以实现如权利要求1-10中任一项所述的数据处理方法，或者，实现如权利要11所述的数据处理方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行，用以实现如权利要求1-10中任一项所述的数据处理方法，或者，实现如权利要11所述的数据处理方法。
15.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序或计算机指令，所述计算机程序或计算机指令被处理器执行时，用以实现如权利要求1-10中任一项所述的数据处理方法，或者，实现如权利要11所述的数据处理方法。
CN202310811145.9A 2023-07-04 2023-07-04 数据处理方法、装置、设备、可读存储介质及程序产品 Pending CN116977169A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310811145.9A CN116977169A (zh) 2023-07-04 2023-07-04 数据处理方法、装置、设备、可读存储介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310811145.9A CN116977169A (zh) 2023-07-04 2023-07-04 数据处理方法、装置、设备、可读存储介质及程序产品

Publications (1)

Publication Number Publication Date
CN116977169A true CN116977169A (zh) 2023-10-31

Family

ID=88477614

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310811145.9A Pending CN116977169A (zh) 2023-07-04 2023-07-04 数据处理方法、装置、设备、可读存储介质及程序产品

Country Status (1)

Country Link
CN (1) CN116977169A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117649577A (zh) * 2024-01-30 2024-03-05 深圳金三立视频科技股份有限公司 目标检测模型的训练方法、防外破监测预警方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117649577A (zh) * 2024-01-30 2024-03-05 深圳金三立视频科技股份有限公司 目标检测模型的训练方法、防外破监测预警方法及装置
CN117649577B (zh) * 2024-01-30 2024-05-24 深圳金三立视频科技股份有限公司 目标检测模型的训练方法、防外破监测预警方法及装置

Similar Documents

Publication Publication Date Title
WO2021018163A1 (zh) 神经网络的搜索方法及装置
KR20210074360A (ko) 이미지 처리 방법, 디바이스 및 장치, 그리고 저장 매체
WO2022022288A1 (zh) 一种图像处理方法以及装置
US11570477B2 (en) Data preprocessing and data augmentation in frequency domain
CN112950471A (zh) 视频超分处理方法、装置、超分辨率重建模型、介质
CN112906721B (zh) 图像处理方法、装置、设备及计算机可读存储介质
CN111862294A (zh) 基于ArcGAN网络的手绘3D建筑自动上色网络结构及方法
CN113344794B (zh) 一种图像处理方法、装置、计算机设备及存储介质
CN116958534A (zh) 一种图像处理方法、图像处理模型的训练方法和相关装置
CN113066018A (zh) 一种图像增强方法及相关装置
CN116977169A (zh) 数据处理方法、装置、设备、可读存储介质及程序产品
Löhdefink et al. On low-bitrate image compression for distributed automotive perception: Higher peak snr does not mean better semantic segmentation
KR20220008135A (ko) 영상 초해상도 처리 방법 및 장치
CN116977531A (zh) 三维纹理图像的生成方法、装置、计算机设备和存储介质
CN115170388A (zh) 人物线稿生成方法、装置、设备及介质
CN115131196A (zh) 一种图像处理方法、***及存储介质和终端设备
CN114761968B (zh) 用于频域静态通道滤波的方法、***和存储介质
CN115409697A (zh) 一种图像处理方法及相关装置
CN117593187A (zh) 基于元学习和Transformer的遥感图像任意尺度超分辨率重建方法
TWI826160B (zh) 圖像編解碼方法和裝置
WO2023010981A1 (zh) 编解码方法及装置
CN111861877A (zh) 视频超分变率的方法和装置
CN116703719A (zh) 一种基于人脸3d先验信息的人脸超分辨率重建装置及方法
CN114586056A (zh) 图像处理方法及装置、设备、视频处理方法及存储介质
CN118096961B (zh) 图像处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication