CN117391948A - 图像处理方法、装置、计算机设备及存储介质 - Google Patents

图像处理方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN117391948A
CN117391948A CN202210774202.6A CN202210774202A CN117391948A CN 117391948 A CN117391948 A CN 117391948A CN 202210774202 A CN202210774202 A CN 202210774202A CN 117391948 A CN117391948 A CN 117391948A
Authority
CN
China
Prior art keywords
image
feature
scale
space
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210774202.6A
Other languages
English (en)
Inventor
李�根
李艾瑾
孙磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210774202.6A priority Critical patent/CN117391948A/zh
Publication of CN117391948A publication Critical patent/CN117391948A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种图像处理方法、装置、计算机设备及存储介质，属于计算机技术领域。该方法包括：基于第一图像空间的第一尺度和第二图像空间的第二尺度，确定空间变换特征，对属于所述第一图像空间的第一图像对应的第一图像特征进行尺度上采样，得到第二图像特征；基于所述空间变换特征，对所述第二图像特征进行变换，得到第三图像特征；对所述第三图像特征进行重建，得到第二图像。本申请实施例提升了图像的清晰度。

Description

图像处理方法、装置、计算机设备及存储介质
技术领域
本申请实施例涉及计算机技术领域，特别涉及一种图像处理方法、装置、计算机设备及存储介质。
背景技术
随着计算机技术的发展，图像的应用越来越广泛，而由于图像的拍摄或传输等过程中会丢失图像信息，导致图像的清晰度低，显示效果差。因此，亟需提供一种图像处理方法，以提高图像的清晰度。
发明内容
本申请实施例提供了一种图像处理方法、装置、计算机设备及存储介质，能够提高图像的清晰度。所述技术方案如下：
一方面，提供了一种图像处理方法，所述方法包括：
基于第一图像空间的第一尺度和第二图像空间的第二尺度，确定空间变换特征，所述空间变换特征表示属于所述第一图像空间的任一图像变换至所述第二图像空间时的空间变换情况，所述第二尺度大于所述第一尺度，且所述第二图像空间的分辨率高于所述第一图像空间的分辨率；
对属于所述第一图像空间的第一图像对应的第一图像特征进行尺度上采样，得到属于所述第二尺度的第二图像特征；
基于所述空间变换特征，对所述第二图像特征进行变换，得到第三图像特征；
对所述第三图像特征进行重建，得到属于所述第二图像空间的第二图像。
在一种可能实现方式中，所述生成子模型包括m个第一解码层和第二解码层；
所述调用对抗模型中的生成子模型，对所述多个样本图像块对应的样本编码特征及m个第一样本解码特征进行重建，得到属于所述第二图像空间的第二预测图像；调用所述对抗模型中的判别子模型，对所述第二预测图像及所述样本图像进行判别，得到判别结果，包括：
调用第1个第一解码层，对所述多个样本图像块对应的样本编码特征进行解码，得到所述每个样本图像块对应的第1个第二样本解码特征；将所述第二样本解码特征与所述第1个第一样本解码特征进行融合，得到第1个融合特征；
调用第j个第一解码层，对第j-1个融合特征进行解码，得到所述每个样本图像块对应的第j个第二样本解码特征；直至调用第m个第一解码层，得到所述每个样本图像块对应的第m个第二样本解码特征，j为大于1且不大于m的整数；
调用所述第二解码层，按照所述多个样本图像块在所述样本图像中的位置，将所述多个样本图像块对应的第m个第二样本解码特征进行拼接，得到第二样本拼接特征，对所述第二样本拼接特征进行卷积，得到所述第二预测图像；
调用所述判别子模型，对所述第二预测图像及所述样本图像进行判别，得到所述判别结果。
在另一种可能实现方式中，所述第一图像为从原始图像中包含生物特征的区域提取得到的图像；所述按照所述多个图像块在所述第二图像中的位置，将所述多个图像块对应的第二图像块特征进行拼接，得到拼接特征，对所述拼接特征进行卷积得到属于所述第二图像空间的第四图像之后，所述方法还包括：
按照所述第二尺度与所述第一尺度之间的比例，对所述原始图像进行缩放，得到背景图像，所述背景图像中包含所述生物特征的区域的尺度为所述第二尺度；
按照所述第一图像在所述原始图像中的位置，将所述第四图像与所述背景图像进行组合，得到第五图像。
另一方面，提供了一种图像处理装置，所述装置包括：
确定模块，用于基于第一图像空间的第一尺度和第二图像空间的第二尺度，确定空间变换特征，所述空间变换特征表示属于所述第一图像空间的任一图像变换至所述第二图像空间时的空间变换情况，所述第二尺度大于所述第一尺度，且所述第二图像空间的分辨率高于所述第一图像空间的分辨率；
上采样模块，用于对属于所述第一图像空间的第一图像对应的第一图像特征进行尺度上采样，得到属于所述第二尺度的第二图像特征；
特征变换模块，用于基于所述空间变换特征，对所述第二图像特征进行变换，得到第三图像特征；
图像重建模块，用于对所述第三图像特征进行重建，得到属于所述第二图像空间的第二图像。
在一种可能实现方式中，所述空间变换特征包括位置偏移特征，所述位置偏移特征表示属于所述第一图像空间的任一图像变换至所述第二图像空间时像素点的位置偏移情况；所述特征变换模块，用于基于所述位置偏移特征，对所述第二图像特征进行变换，得到所述第三图像特征。
在另一种可能实现方式中，所述确定模块，包括：
因子确定单元，用于将所述第二尺度与所述第一尺度之间的比值，确定为上采样因子，所述上采样因子表示将任一像素点由所述第一图像空间变换至所述第二图像空间所采用的上采样因子；
像素点变换单元，用于基于所述第二图像空间中多个第一像素点的坐标和所述上采样因子，将所述多个第一像素点变换至所述第一图像空间中，得到多个第二像素点的坐标；
相对距离确定单元，用于基于所述多个第一像素点的坐标、所述上采样因子及所述多个第二像素点的坐标，确定多个相对距离，所述相对距离表示所述第二图像空间中的第一像素点的位置与对应的第二像素点的位置之间的距离；
偏移特征确定单元，用于基于所述多个第二像素点的坐标和所述多个相对距离，确定所述位置偏移特征。
在另一种可能实现方式中，所述偏移特征确定单元，用于：
将所述多个第二像素点的坐标和所述多个相对距离构成特征矩阵，所述特征矩阵包括多个第一子特征，每个第一子特征包含一个所述第二像素点的坐标及对应的相对距离；
对所述特征矩阵进行变换，得到所述位置偏移特征，所述位置偏移特征包括所述多个第一子特征分别变换得到的多个第二子特征。
在另一种可能实现方式中，所述空间变换特征还包括尺度变换权重，所述尺度变换权重表示属于所述第一图像空间的任一图像变换至所述第二图像空间时的尺度变换情况；
所述特征变换模块，用于：
基于所述位置偏移特征，对所述第二图像特征中的特征的位置进行调整，得到第四图像特征；
基于所述尺度变换权重，对所述第四图像特征进行压缩卷积和膨胀卷积，得到所述第三图像特征。
在另一种可能实现方式中，所述特征变换模块，用于：
基于所述尺度变换权重，分别对压缩卷积参数和膨胀卷积参数进行调整；
基于调整后的所述压缩卷积参数及调整后的所述膨胀卷积参数，对所述第四图像特征进行压缩卷积和膨胀卷积，得到第五图像特征；
将所述第五图像特征与所述第二图像特征进行融合，得到所述第三图像特征。
在另一种可能实现方式中，所述确定模块，包括：
因子确定单元，用于将所述第二尺度与所述第一尺度之间的比值，确定为上采样因子，所述上采样因子表示将任一像素点由所述第一图像空间变换至所述第二图像空间所采用的上采样因子；
像素点变换单元，用于基于所述第二图像空间中多个第一像素点的坐标和所述上采样因子，将所述多个第一像素点变换至所述第一图像空间中，得到多个第二像素点的坐标；
相对距离确定单元，用于基于所述多个第一像素点的坐标、所述上采样因子及所述多个第二像素点的坐标，确定多个相对距离，所述相对距离表示所述第二图像空间中的第一像素点的位置与对应的第二像素点的位置之间的距离；
特征向量确定单元，用于将所述多个第二像素点的坐标和所述多个相对距离构成特征矩阵，所述特征矩阵包括多个第一子特征，每个第一子特征包含一个所述第二像素点的坐标及对应的相对距离；对所述特征矩阵进行变换，得到特征向量；
第一变换单元，用于对所述特征向量进行第一变换，得到所述位置偏移特征；
第二变换单元，用于对所述特征向量进行第二变换，对变换后的特征向量进行归一化处理，得到所述尺度变换权重，所述尺度变换权重包括所述多个第二像素点的权重特征。
在另一种可能实现方式中，所述方法基于重建模型实现，所述重建模型包括空间变换子模型和重建子模型；
所述确定模块，用于调用所述空间变换子模型，基于所述第一尺度及所述第二尺度，确定所述空间变换特征；
所述上采样模块，用于调用所述重建子模型，对所述第一图像特征进行尺度上采样，得到所述第二图像特征；
所述特征变换模块，用于基于所述空间变换特征，对所述第二图像特征进行变换，得到所述第三图像特征；
所述图像重建模块，用于对所述第三图像特征进行重建，得到所述第二图像。
在另一种可能实现方式中，所述第一图像为从原始图像中包含生物特征的区域提取得到的图像；所述装置还包括：
第一缩放模块，用于按照所述第二尺度与所述第一尺度之间的比例，对所述原始图像进行缩放，得到背景图像，所述背景图像中包含所述生物特征的区域的尺度为所述第二尺度；
第一组合模块，用于按照所述第一图像在所述原始图像中的位置，将所述第二图像与所述背景图像进行组合，得到第三图像。
在另一种可能实现方式中，所述装置还包括：
特征获取模块，用于将所述第二图像分割成多个图像块，获取每个图像块对应的第一图像块特征；
图像块处理模块，用于基于自注意力机制，分别对所述每个图像块对应的第一图像块特征进行m次编码和m次解码，得到所述每个图像块对应的第二图像块特征，m为大于1的整数；
拼接卷积模块，用于按照所述多个图像块在所述第二图像中的位置，将所述多个图像块对应的第二图像块特征进行拼接，得到拼接特征，对所述拼接特征进行卷积得到属于所述第二图像空间的第四图像。
在另一种可能实现方式中，所述特征获取模块，包括：
特征提取单元，用于分别对所述每个图像块进行特征提取，得到所述每个图像块对应的第三图像块特征；
位置融合单元，用于分别将所述每个图像块对应的第三图像块特征与位置特征进行融合，得到所述每个图像块对应的第一图像块特征，所述位置特征指示所述图像块在所述第二图像中的位置。
在另一种可能实现方式中，基于所述第二图像获取所述第四图像的过程基于退化去除模型实现，所述退化去除模型包括第一编码子模型、基于自注意力机制的m个第二编码子模型、基于自注意力机制的m个第一解码子模型、第二解码子模型，m为大于1的整数；
所述特征获取模块，用于调用所述第一编码子模型，将所述第二图像分割成所述多个图像块，获取所述每个图像块对应的第一图像块特征；
并且，m个第二编码子模型依次连接，m个第一解码子模型依次连接，且第m个第二编码子模型与第1个第一解码子模型连接，所述图像块处理模块，用于：
调用m个第二编码子模型，对所述多个图像块对应的第一图像块特征进行m次编码，得到所述多个图像块对应的编码特征；
调用m个第一解码子模型，对所述多个图像块对应的编码特征进行m次解码，得到所述多个图像块对应的解码特征；
所述拼接卷积模块，用于调用所述第二解码子模型，按照所述多个图像块在所述第二图像中的位置，将所述多个图像块对应的解码特征进行拼接，得到所述拼接特征，对所述拼接特征进行卷积，得到所述第四图像。
在另一种可能实现方式中，所述图像块处理模块，用于：
对于任一图像块，调用第1个第二编码子模型，基于所述图像块对应的第一图像块特征与所述多个图像块对应的第一图像块特征之间的相似度，对所述多个图像块对应的第一图像块特征进行加权融合，得到所述图像块对应的第1个融合图像块特征；
将所述第1个融合图像块特征与所述图像块对应的第一图像块特征进行融合，得到所述图像块对应的第1个编码特征。
在另一种可能实现方式中，所述图像块处理模块，用于：
对于任一图像块，调用第i个第二编码子模型，基于所述图像块对应的第i-1个编码特征与所述多个图像块对应的第i-1个编码特征之间的相似度，对所述多个图像块对应的第i-1个编码特征进行加权融合，得到所述图像块对应的第i个融合图像块特征；
将所述第i个融合图像块特征与所述图像块对应的i-1个编码特征进行融合，得到所述图像块对应的第i个编码特征，其中，i为大于1且不大于m的整数。
在另一种可能实现方式中，所述装置还包括：
样本获取模块，用于获取属于所述第二图像空间的样本图像；
预测模块，用于调用所述退化去除模型对所述样本图像进行重建，得到属于所述第二图像空间的第一预测图像；
训练模块，用于基于所述样本图像与所述第一预测图像，对所述退化去除模型进行训练，以使调用训练后的退化去除模型得到的所述第一预测图像与所述样本图像的相似度增大。
在另一种可能实现方式中，所述预测模块，用于：
调用所述第一编码子模型，将所述样本图像分割成所述多个样本图像块，获取每个样本图像块对应的第一图像块特征；
调用m个第二编码子模型，对所述多个样本图像块对应的第一图像块特征进行m次编码，得到所述多个样本图像块对应的样本编码特征；
调用m个第一解码子模型，对所述多个样本图像块对应的样本编码特征进行m次解码，得到每个样本图像块对应的m个第一样本解码特征；
调用所述第二解码子模型，按照所述多个样本图像块在所述样本图像中的位置，将所述多个样本图像块对应的第m个第一样本解码特征进行拼接，得到第一样本拼接特征，对所述第一样本拼接特征进行卷积，得到所述第一预测图像；
所述训练模块，用于：
调用对抗模型中的生成子模型，对所述多个样本图像块对应的样本编码特征及m个第一样本解码特征进行重建，得到属于所述第二图像空间的第二预测图像；调用所述对抗模型中的判别子模型，对所述第二预测图像及所述样本图像进行判别，得到判别结果，所述判别结果指示所述第二预测图像与所述样本图像是否相似；
基于所述样本图像与所述第一预测图像以及所述判别结果，对所述退化去除模型和所述对抗模型进行训练，以使调用训练后的退化去除模型得到的所述第一预测图像与所述样本图像的相似度增大，且调用训练后的生成子模型得到的所述第二预测图像与所述样本图像的相似度增大。
在另一种可能实现方式中，所述生成子模型包括m个第一解码层和第二解码层；
所述训练模块，用于：
调用第1个第一解码层，对所述多个样本图像块对应的样本编码特征进行解码，得到所述每个样本图像块对应的第1个第二样本解码特征；将所述第二样本解码特征与所述第1个第一样本解码特征进行融合，得到第1个融合特征；
调用第j个第一解码层，对第j-1个融合特征进行解码，得到所述每个样本图像块对应的第j个第二样本解码特征；直至调用第m个第一解码层，得到所述每个样本图像块对应的第m个第二样本解码特征，j为大于1且不大于m的整数；
调用所述第二解码层，按照所述多个样本图像块在所述样本图像中的位置，将所述多个样本图像块对应的第m个第二样本解码特征进行拼接，得到第二样本拼接特征，对所述第二样本拼接特征进行卷积，得到所述第二预测图像；
调用所述判别子模型，对所述第二预测图像及所述样本图像进行判别，得到所述判别结果。
在另一种可能实现方式中，所述第一图像为从原始图像中包含生物特征的区域提取得到的图像；所述装置还包括：
第二缩放模块，用于按照所述第二尺度与所述第一尺度之间的比例，对所述原始图像进行缩放，得到背景图像，所述背景图像中包含所述生物特征的区域的尺度为所述第二尺度；
第二组合模块，用于按照所述第一图像在所述原始图像中的位置，将所述第四图像与所述背景图像进行组合，得到第五图像。
另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行以实现如上述方面所述的图像处理方法所执行的操作。
另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现如上述方面所述的图像处理方法所执行的操作。
再一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述方面所述的图像处理方法所执行的操作。
本申请实施例提供的方案，以基于第一图像空间与第二图像空间之间的空间变换特征表示图像从该第一图像空间变换至该第二图像空间时的空间变换情况，从而在第一图像对应的第一图像特征进行尺度上采样后再基于空间变换特征进行变换，考虑到了空间维度上的图像变化，从而得到了适用于第二图像空间的图像特征，进而重建出了属于第二图像空间的图像。由于第二图像空间的尺度更大、分辨率更高，因此通过上述图像变换提升了图像的尺度和分辨率，进而提升了图像的清晰度。而且此方法中的第一图像空间和第二图像空间可以为任意尺度的图像空间，而不必限定该第二尺度为该第一尺度的整数倍，因此适用性更强，能够满足多种场景下的图像处理需求。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种实施环境的结构示意图；
图2是本申请实施例提供的一种图像处理方法的流程图；
图3是本申请实施例提供的另一种图像处理方法的流程图；
图4是本申请实施例提供的另一种图像处理方法的流程图；
图5是本申请实施例提供的一种重建模型的结构示意图；
图6是本申请实施例提供的一种重建模型中的空间变换子模型和重建子模型的结构示意图；
图7是本申请实施例提供的另一种图像处理方法的流程图；
图8是本申请实施例提供的另一种图像处理方法的流程图；
图9是本申请实施例提供的另一种图像处理方法中的模型示意图；
图10是本申请实施例提供的一种退化去除模型的结构示意图；
图11是本申请实施例提供的一种第二编码子模型的结构示意图；
图12是本申请实施例提供的一种训练退化去除模型的方法的流程图；
图13是本申请实施例提供的一种联合训练退化去除模型和对抗模型的示意图；
图14是本申请实施例提供的一种联合训练的操作流程图；
图15是本申请实施例提供的一种修复图像的操作流程图；
图16是本申请实施例提供的一种人脸图像示意图；
图17是本申请实施例提供的一种图像处理装置的结构示意图；
图18是本申请实施例提供的一种终端的结构示意图；
图19是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请所使用的术语“第一”、“第二”、“第三”、“第四”、“第五”等可在本文中用于描述各种概念，但除非特别说明，这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。举例来说，在不脱离本申请的范围的情况下，可以将第一图像称为第二图像，且类似地，可将第二图像称为第一图像。
本申请所使用的术语“至少一个”、“多个”、“每个”、“任一”，至少一个包括一个、两个或两个以上，多个包括两个或两个以上，而每个是指对应的多个中的每一个，任一是指多个中的任意一个。举例来说，多个像素点包括3个像素点，而每个是指这3个像素点中的每一个像素点，任一是指这3个像素点中的任意一个，能够是第一个像素点，或者是第二个像素点，或者是第三个像素点。
本申请所涉及的数据(包括但不限于图像、图像特征等)，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision，CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D(3-Dimension，三维)技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
本申请实施例提供的方案，基于人工智能的机器学习技术，能够训练重建模型和退化去除模型，利用训练后的重建模型和退化去除模型，实现了图像处理方法。
在本申请实施例进行具体说明之前，首先对本申请实施例所涉及的关键词进行如下说明：
(1)CNN(Convolutional Neural Network，卷积神经网络)：是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元。卷积神经网络包括卷积层和池化层。
(2)GAN(Generative Adversarial Networks，生成式对抗网络)：是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。生成式对抗网络包含两部分：生成模型和判别模型，两个模型互相博弈学习产生好的输出。
(3)自注意力机制：注意力机制模仿了生物观察行为的内部过程，即一种将内部经验和外部感觉对齐，从而增加部分区域的观察精细度的机制。注意力机制可以快速提取稀疏数据的重要特征，因而被广泛用于自然语言处理任务、计算机视觉任务等。而自注意力机制是注意力机制的改进，其减少了对外部信息的依赖，更擅长捕捉数据或特征的内部相关性。
(4)Transformer模型：是一种基于自注意力机制来处理语义序列相关的问题的模型。
(5)分辨率：又称解析度、解像度，决定了图像细节的精细程度。图像的分辨率越高，所包含的像素就越多，图像就越清晰。
(6)超分辨率：是通过硬件或软件的方法提高原有图像的分辨率的方式。通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。
(7)图像噪声：是指存在于图像数据中的、不必要的或多余的干扰信息。
(8)图像上采样：是指对图像的大小进行调整，将图像增大的技术。上采样后的图像的分辨率将会变得更高。
(9)Kaiming初始化：由Kaiming He提出的一种初始化神经网络参数的方法。初始化服从均匀分布U～(-bound,bound)，其中
(10)Fréchet Inception距离:又称为FID，是一种评估GAN生成的图像质量的方法。FID是通过计算拟合到Inception网络特征表示的两个高斯函数之间的Fréchet距离(弗雷歇距离)来计算的。
(11)NIQE(Natural Image Quality Evaluator，自然图像质量评价方法)：是一种图像质量评价方法，采用分辨率为96×96的图像块间无重合的方式对图像对比度归一化进行分块，计算每个图像块的局部对比度的均值。
本申请实施例提供的图像处理方法由计算机设备执行，可选地，该计算机设备为终端或服务器。可选地，该服务器是独立的物理服务器，或者是多个物理服务器构成的服务器集群或者分布式***，或者是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。可选地，该终端是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、智能语音交互设备、智能家电及车载终端等，但并不局限于此。
在一些实施例中，本申请实施例所涉及的计算机程序可被部署在一个计算机设备上执行，或者在位于一个地点的多个计算机设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算机设备上执行，分布在多个地点且通过通信网络互连的多个计算机设备可以组成区块链***。
图1是本申请实施例提供的一种实施环境的示意图。参见图1，该实施环境包括终端101和服务器102，终端101和服务器102之间通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
服务器102用于提供图像修复功能，则终端101获取待修复的图像，向服务器102发送该图像，由服务器102采用本申请实施例提供的图像处理方法对该图像进行修复，得到分辨率更高且尺度更大的图像，从而提升了图像的清晰度。
在一种可能实现方式中，终端101上安装由服务器102提供服务的目标应用，终端101能够通过该目标应用实现例如图像处理、消息交互等功能。可选地，目标应用为终端101操作***中的目标应用，或者为第三方提供的目标应用。例如，目标应用为图像处理应用，该图像处理应用具有图像处理的功能，当然，该图像处理应用还能够具有其他功能，例如，消息交互功能、导航功能、游戏功能等。
终端101通过目标应用向服务器102发送待修复的图像，服务器102接收终端101发送的图像，对该图像进行修复，得到分辨率更高且尺度更大的图像，发送给终端101，由终端101通过目标应用进行显示。
在另一些实施例中，终端获取到图像后，采用本申请实施例提供的图像处理方法对该图像进行修复，得到分辨率更高且尺度更大的图像，从而提升了图像的清晰度。
图2是本申请实施例提供的一种图像处理方法的流程图，该方法由计算机设备执行，如图2所示，该方法包括：
201、计算机设备基于第一图像空间的第一尺度和第二图像空间的第二尺度，确定空间变换特征。
在本申请实施例中，为了便于进行图像变换，先确定了第一图像空间和第二图像空间，其中，该第一图像空间具有第一尺度，该第二图像空间具有第二尺度，该第二尺度大于该第一尺度，且该第二图像空间的分辨率高于该第一图像空间的分辨率，因此，属于该第二图像空间的图像的尺寸大于属于该第一图像空间的图像的尺寸，并且，属于该第二图像空间的图像的分辨率高于属于该第一图像空间的图像的分辨率，那么，将任一图像从该第一图像空间变换至该第二图像空间时，可以增大该图像的尺度，并提高该图像的分辨率，从而提升了该图像的清晰度。
其中，该第一尺度和第二尺度为任意的尺度，例如，该第一尺度为512×512，第二尺度为1024×1024。另外，该第一图像空间和该第二图像空间的分辨率为任意的分辨率，本申请实施例对此不做限定。
例如，计算机设备获取到待处理的第一图像时，可以将该第一图像所属的图像空间确定为第一图像空间，而且还会根据该图像所需变换至的尺度和分辨率，确定第二图像空间，以便后续将该第一图像从第一图像空间变换至第二图像空间，此变换过程不限定该第一图像空间和第二图像空间的尺度和分辨率具体是多少，因此针对任意图像空间均可实现本申请实施例提供的方法。
而该空间变换特征表示属于该第一图像空间的任一图像变换至该第二图像空间时的空间变换情况，该空间变换特征能够反映出图像在不同图像空间中进行变换时所发生的空间维度上的变化。因此在本申请实施例中，为了进行图像变换，首先需要确定从第一图像空间变换至第二图像空间所需的空间变换特征。
202、计算机设备对属于该第一图像空间的第一图像对应的第一图像特征进行尺度上采样，得到属于该第二尺度的第二图像特征。
本申请实施例以属于第一图像空间的第一图像为例，对将该第一图像变换至第二图像空间的过程进行说明。首先，由于第二尺度比第一尺度大，若要将第一图像变换至第二图像空间，首先需要增加该第一图像的尺度。
因此，获取第一图像对应的第一图像特征，该第一图像特征用于表示该第一图像，该第一图像特征属于第一尺度，之后对该第一图像特征进行尺度上采样，以使得到的第二图像特征属于第二尺度，后续即可利用尺度较大的第二图像特征生成尺度较大的图像。
203、计算机设备基于该空间变换特征，对该第二图像特征进行变换，得到第三图像特征。
由于该空间变换特征表示属于该第一图像空间的任一图像变换至该第二图像空间时的空间变换情况，因此基于该空间变换特征对进行尺度上采样后得到的第二图像特征进行变换，所得到的第三图像特征即可表示将第一图像从第一图像空间变换至第二图像空间所得到的图像。
204、计算机设备对该第三图像特征进行重建，得到属于该第二图像空间的第二图像。
该第三图像特征即可表示该第二图像，因此对该第三图像特征进行重建，所得到的包含该第三图像特征的图像，即为修复第一图像得到的第二图像。
在一种可能实现方式中，从第一图像中获取第一图像特征的方法，与对第三图像特征进行重建得到第二图像的方法匹配，如采用特征提取算法从第一图像中获取第一图像特征，则采用该特征提取算法的逆算法，对该第三图像特征进行重建，得到第二图像。
本申请实施例提供的方法，以基于第一图像空间与第二图像空间之间的空间变换特征表示图像从该第一图像空间变换至该第二图像空间时的空间变换情况，从而在第一图像对应的第一图像特征进行尺度上采样后再基于空间变换特征进行变换，考虑到了空间维度上的图像变化，从而得到了适用于第二图像空间的图像特征，进而重建出了属于第二图像空间的图像。由于第二图像空间的尺度更大、分辨率更高，因此通过上述图像变换提升了图像的尺度和分辨率，进而提升了图像的清晰度。而且此方法中的第一图像空间和第二图像空间可以为任意尺度的图像空间，而不必限定该第二尺度为该第一尺度的整数倍，因此适用性更强，能够满足多种场景下的图像处理需求。
在图2所示实施例的基础上，以下图3所示的实施例将以空间变换特征包括位置偏移特征为例，对图像处理过程进行详细说明。
图3是本申请实施例提供的一种图像处理方法的流程图，该方法由计算机设备执行，如图3所示，该方法包括：
301、计算机设备将第二尺度与第一尺度之间的比值，确定为上采样因子。
在本申请实施例中涉及到第一图像空间和第二图像空间，其中第一图像空间为待修复的第一图像所属的图像空间，而第二图像空间为目标图像空间，也即是需要将第一图像变换至的图像空间。
其中，第二尺度为第二图像空间的尺度，第一尺度为第一图像空间的尺度，第二尺度大于第一尺度，该第二尺度与该第一尺度之间的比值即可反映出第一图像空间与第二图像空间之间的像素点的尺度变化情况，因此将该比值作为上采样因子，该上采样因子表示将任一像素点由第一图像空间变换至第二图像空间所采用的上采样因子，可以在对图像进行上采样时使用。
在一种可能实现方式中，第一尺度和第二尺度均包括高度和宽度，例如，该高度为X轴尺度，宽度为Y轴尺度。上采样因子包括高度上采样因子和宽度上采样因子，将第二图像空间的高度与第一图像空间的高度之间的比值，确定为高度上采样因子，将第二图像空间的宽度与第一图像空间的宽度之间的比值，确定为宽度上采样因子。
可选地，第一尺度、第二尺度、高度上采样因子及宽度上采样因子，满足以下关系：
其中，Sx表示宽度上采样因子，W′表示第二图像空间的宽度，W表示第一图像空间的宽度，Sy表示高度上采样因子，H′表示第二图像空间的高度，H表示第一图像空间的高度。在此可选方案中，第一尺度为W×H，第二尺度为W′×H′。
302、计算机设备基于第二图像空间中多个第一像素点的坐标和上采样因子，将多个第一像素点变换至第一图像空间中，得到多个第二像素点的坐标。
在本申请实施例中，图像空间以多个像素点的坐标来表示，其中，图像空间中各个像素点的坐标已经确定的情况下，像素点的大小和数量也已经确定，其中像素点的大小和数量决定了图像空间的尺度，在单位尺度内像素点的数量决定了图像空间的分辨率。而如果按照该图像空间中的多个像素点的坐标生成一张图像，以使该图像中各个像素点的坐标与该图像空间一致，则该图像即为属于该图像空间的图像。而图像与图像空间的区别在于，图像空间中各个像素点的像素值还未确定，存在多种可能，而图像中各个像素点的像素值已经确定，像素值代表了图像中的颜色。
而在本申请实施例中，第一图像空间包括多个第二像素点的坐标，第二图像空间包括多个第一像素点的坐标。该上采样尺度因子为第二图像空间与第一图像空间之间的缩放比例，则通过该上采样因子，对第二图像空间中第一像素点的坐标进行变换，即可得到该第一像素点在第一图像空间中对应的第二像素点的坐标。
在一种可能实现方式中，由于该上采样尺度因子为第二尺度与第一尺度的比值，因此将第二图像空间中的第一像素点的坐标除以该上采样尺度因子，得到该第一像素点在第一图像空间中对应的第二像素点的坐标。
反之，将第一图像空间中的第二像素点的坐标乘以该上采样尺度因子，得到该第二像素点在第二图像空间中对应的第一像素点的坐标。
在另一种可能实现方式中，以像素点的中心的坐标为该像素点的坐标，且像素点的高度和宽度为1为例，0.5表示像素点的尺度的一半，在进行变换时也需要考虑像素点的中心移动而引起的坐标变化。因此，第一像素点的坐标、上采样因子及第二像素点的坐标，满足以下关系：
其中，第一像素点的坐标为(x，y)，第二像素点的坐标为(x′，y′)，Sx表示宽度上采样因子，Sy表示高度上采样因子。
303、计算机设备基于多个第一像素点的坐标、上采样因子及多个第二像素点的坐标，确定多个相对距离。
其中，相对距离表示第二图像空间中的第一像素点的位置与对应的第二像素点的位置之间的距离。
在一种可能实现方式中，相对距离包括第一相对距离和第二相对距离，第一相对距离为第一像素点与第二像素点在X轴上的相对距离，第二相对距离为第一像素点与第二像素点在Y轴上的相对距离。
可选地，第一像素点的坐标、上采样因子、该第一像素点对应的第二像素点的坐标与相对距离，满足以下关系：
其中，第一像素点的坐标为(x，y)，第二像素点的坐标为(x′，y′)，Sx表示宽度上采样因子，Sy表示高度上采样因子。R(x)为该第一像素点与该第二像素点之间的第一相对距离，R(y)为该第一像素点与该第二像素点之间的第二相对距离，用于表示向下取整。
304、计算机设备基于多个第二像素点的坐标和多个相对距离，确定位置偏移特征。
在本申请实施例中，多个第二像素点的坐标是由第二图像空间中多个第一像素点的坐标变换至第一图像空间得到的，而相对距离为在第一图像空间中，相互对应的第一像素点与第二像素点之间的相对距离，则基于该多个第二像素点的坐标及多个相对距离所确定的位置偏移特征，能够体现出属于第一图像空间的任一图像中的像素点变换至第二图像空间时，该像素点的位置所需的偏移量。因此，该位置偏移特征表示属于该第一图像空间的任一图像变换至第二图像空间时像素点的位置偏移情况。
在一种可能实现方式中，位置偏移特征包括该多个第二像素点的第一偏移量和第二偏移量，该第一偏移量表示该第二像素点在X轴上需要的偏移量，该第二偏移量表示该第二像素点在Y轴上需要的偏移量。
本申请实施例基于上采样因子将第二图像空间中的第一像素点变换至第一图像空间中，在第一图像空间中确定了变换前后的像素点坐标之间的相对距离，从而基于变换后的第二像素点的坐标和相对距离确定位置偏移特征，该位置偏移特征能够准确地表示属于该第一图像空间的任一图像变换至第二图像空间时像素点的位置偏移情况，提高了空间变换特征的准确性，进而提高了图像处理的准确性。
需要说明的是，本申请实施例是以空间变换特征包括位置偏移特征为例进行说明的，而在另一实施例中，无需执行上述步骤301-304，而是采取其他方式确定空间变换特征。
305、计算机设备对属于第一图像空间的第一图像对应的第一图像特征进行尺度上采样，得到属于第二尺度的第二图像特征。
306、计算机设备基于位置偏移特征，对第二图像特征进行变换，得到第三图像特征。
在一种可能实现方式中，该步骤306包括：将该位置偏移特征与该第二图像特征相加，得到第三图像特征，或者采用其他方式进行变换，本申请实施例对此不做限定。例如，该第二图像特征包括该第一图像中的每个像素点的坐标(x′,y′)以及特征值，该特征值用于指示该像素点的像素值，可以为0或1等数值。而该第二图像特征包括第一偏移量δx和第二偏移量δy，则将该位置偏移特征与该第二图像特征相加，也即是将每个像素点的坐标(x′,y′)叠加上第一偏移量δx和第二偏移量δy，从而得到偏移后的坐标(x′+δx，y′+δy)。
另外，本申请实施例是以空间变换特征包括位置偏移特征进行说明的，在此种情况下，空间变换特征还可以包括其他的特征，因此在采用上述步骤301-304确定位置偏移特征之外，还可以获取其他的空间变换特征，从而基于获取到的空间变换特征对第二图像特征进行变换，得到第三图像特征。
307、计算机设备对第三图像特征进行重建，得到属于第二图像空间的第二图像。
其中，该步骤307与上述步骤204类似，在此不再赘述。
本申请实施例提供的方法，以基于第一图像空间与第二图像空间之间的空间变换特征表示图像从该第一图像空间变换至该第二图像空间时的空间变换情况，从而在第一图像对应的第一图像特征进行尺度上采样后再基于空间变换特征进行变换，考虑到了空间维度上的图像变化，从而得到了适用于第二图像空间的图像特征，进而重建出了属于第二图像空间的图像。由于第二图像空间的尺度更大、分辨率更高，因此通过上述图像变换提升了图像的尺度和分辨率，进而提升了图像的清晰度。
并且，基于上采样因子将第二图像空间中的第一像素点变换至第一图像空间中，在第一图像空间中确定了变换前后的像素点坐标之间的相对距离，从而基于变换后的第二像素点的坐标和相对距离确定位置偏移特征，该位置偏移特征能够准确地表示属于该第一图像空间的任一图像变换至第二图像空间时像素点的位置偏移情况，提高了空间变换特征的准确性，进而提高了图像处理的准确性。
在上述图3所示的实施例的基础上，除了位置偏移特征之外，空间变换特征还可以包括尺度变换权重，以下图4所示的实施例将以空间变换特征包括位置偏移特征和尺度变换权重为例，对图像处理过程进行详细说明。
图4是本申请实施例提供的一种图像处理方法的流程图，该方法由计算机设备执行，如图4所示，该方法包括：
401、计算机设备将第二尺度与第一尺度之间的比值，确定为上采样因子。
402、计算机设备基于第二图像空间中多个第一像素点的坐标和上采样因子，将多个第一像素点变换至第一图像空间中，得到多个第二像素点的坐标。
403、计算机设备基于多个第一像素点的坐标、上采样因子及多个第二像素点的坐标，确定多个相对距离。
步骤401-403与上述步骤301-303类似，在此不再赘述。
在确定多个第二像素点的坐标和多个相对距离后，即可基于该多个第二像素点的坐标和该多个相对距离确定位置偏移特征和尺度变换权重。其中，确定位置偏移特征的过程详见下述步骤404和405，而确定尺度变换权重的过程详见下述步骤404和406。
404、计算机设备将多个第二像素点的坐标和多个相对距离构成特征矩阵，特征矩阵包括多个第一子特征，每个第一子特征包含一个第二像素点的坐标及对应的相对距离，对特征矩阵进行变换，得到特征向量。
其中，该特征矩阵中的每一行为一个第一子特征，或者每一列为一个第一子特征。并且，每个第一子特征中，包含一个第二像素点的坐标和一个相对距离，该相对距离为第二图像空间中的第一像素点的位置与对应的第二像素点的位置之间的距离。通过将特征矩阵变换为特征向量，能够对特征矩阵进行降维，使得特征矩阵中的特征的维度数量减小，特征矩阵的尺寸减小，从而减少了计算量。
405、计算机设备对特征向量进行第一变换，得到位置偏移特征。
例如，该位置偏移特征包括该多个第二像素点的第一偏移量和第二偏移量，该第一偏移量表示该第二像素点在X轴上需要的偏移量，该第二偏移量表示该第二像素点在Y轴上需要的偏移量。也即是在每个第二像素点对应的位置上需要得到第一偏移量和第二偏移量这两个维度的特征，因此需要对该特征向量进行变换，从而使每个第二像素点对应的位置上的特征维度为2。
406、计算机设备对特征向量进行第二变换，对变换后的特征向量进行归一化处理，得到尺度变换权重，尺度变换权重包括多个第二像素点的权重特征。
其中，尺度变换权重表示属于第一图像空间的任一图像变换至第二图像空间时的尺度变换情况。
步骤406中的第一变换与步骤405中的第二变换可以是相同方式的变换，也可以是不同方式的变换。步骤406中的第二变换，用于将特征矩阵变换为权重特征，该权重特征可以看做是第二像素点的尺度的调整系数。
407、计算机设备对属于第一图像空间的第一图像对应的第一图像特征进行尺度上采样，得到属于第二尺度的第二图像特征。
该步骤407与上述步骤202类似，在此不再赘述。
408、计算机设备基于位置偏移特征，对第二图像特征中的特征的位置进行调整，得到第四图像特征。
第二图像特征中包括多个位置，且每个位置上的特征用于表示该位置对应的像素点的特征。基于该位置偏移特征对第二图像特征进行处理，能够将该第二图像特征中的特征发生位置偏移，从而使处理得到的第四图像特征代表像素点的位置发生偏移后的图像。
在一种可能实现方式中，位置偏移特征包括每个第二像素点的第一偏移量和第二偏移量，而第二图像特征中包括每个第二像素点的横坐标和纵坐标，以及每个第二像素点对应的特征，则按照第二像素点的顺序，依次将每个第二像素点的横坐标叠加该第一偏移量，纵坐标叠加该第二偏移量后，得到第二像素点偏移后的坐标，则将该第二像素点对应的特征调整到该第二像素点偏移后的坐标所在的位置上。在多个第二像素点处理完成之后，即可得到调整后的第四图像特征。
409、计算机设备基于尺度变换权重，对第四图像特征进行压缩卷积和膨胀卷积，得到第三图像特征。
在一种可能实现方式中，该步骤409包括：
基于尺度变换权重，分别对压缩卷积参数和膨胀卷积参数进行调整，基于调整后的压缩卷积参数及调整后的膨胀卷积参数，对第四图像特征进行压缩卷积和膨胀卷积，得到第五图像特征，将第五图像特征与第二图像特征进行融合，得到第三图像特征。
由于基于尺度变换权重对压缩卷积参数和膨胀卷积参数进行了调整，因此调整后的压缩卷积参数及调整后的膨胀卷积参数包含了尺度变换信息，这样对第四图像特征进行压缩卷积和膨胀卷积后得到的第五图像特征也包含了尺度变换信息，可以表示变换尺度后的图像。
并且，为了避免由于变换尺度而导致的信息量丢失，将第五图像特征与第二图像特征进行融合，以使融合得到的第三图像特征既包含了尺度变换信息，还包含了原始的图像信息。
在一种可能实现方式中，基于尺度变换权重，分别对压缩卷积参数和膨胀卷积参数进行调整，包括：将尺度变换权重与压缩卷积参数进行点乘，得到调整后的压缩卷积参数，将尺度变换权重与膨胀卷积参数进行点乘，得到调整后的膨胀卷积参数。
410、计算机设备对第三图像特征进行重建，得到属于第二图像空间的第二图像。
需要说明的是，本申请实施例是以空间变换特征包括位置偏移特征和尺度变换权重为例进行说明的，而在另一实施例中，还可以采取其他方式，基于空间变换特征，对第二图像特征进行变换得到第三图像特征。
本申请实施例提供的方法，以基于第一图像空间与第二图像空间之间的空间变换特征表示图像从该第一图像空间变换至该第二图像空间时的空间变换情况，从而在第一图像对应的第一图像特征进行尺度上采样后再基于空间变换特征进行变换，考虑到了空间维度上的图像变化，从而得到了适用于第二图像空间的图像特征，进而重建出了属于第二图像空间的图像。由于第二图像空间的尺度更大、分辨率更高，因此通过上述图像变换提升了图像的尺度和分辨率，进而提升了图像的清晰度。
并且，空间变换特征包括位置偏移特征和尺度变换权重，位置偏移特征能够准确地表示属于该第一图像空间的任一图像变换至第二图像空间时像素点的位置偏移情况，尺度变换权重能够准确地表示属于第一图像空间的任一图像变换至第二图像空间时的尺度变换情况，空间变换特征更为准确，基于位置偏移特征调整特征的位置后基于尺度变换权重进行压缩卷积和膨胀卷积，能够得到准确的图像特征，进而得到准确的目标图像，提高了图像处理的准确性。
在上述图2至图4所示的实施例的基础上，本申请实施例还提供了一种提升生物特征图像的清晰度的方法，为了在处理图像的过程中既能够提升生物特征的清晰度，还能够保证生物特征的准确性，避免影响后续的生物识别精度，首先从原始图像中提取出第一图像，第一图像为从原始图像中包含生物特征的区域提取得到的图像。如该生物特征为人脸特征，则第一图像为原始图像中的人脸区域对应的人脸图像，或者该生物特征为指纹特征，则第一图像为原始图像中的指纹区域对应的指纹图像等。
在提取出第一图像之后，第一图像的尺度为第一尺度，采用上述图2至图7所示的实施例提供的方法提升第一图像的清晰度，得到第二图像，所得到的第二图像的尺度为第二尺度，那么，为了将第二图像还原到原始图像中，先按照第二尺度与第一尺度之间的比例，对原始图像进行缩放，得到背景图像，背景图像中包含生物特征的区域的尺度为第二尺度，相当于为第二图像预留了空间，之后即可按照第一图像在原始图像中的位置，将第二图像与背景图像进行组合，得到第三图像。在第三图像中保留了原始图像的背景，并且包含生物特征的区域的清晰度得到了提升。
在上述图2至图4所示的实施例的基础上，在一种可能实现方式中，该图像处理方法基于重建模型实现，该重建模型包括空间变换子模型和重建子模型，因此上述图2所示实施例中的各个步骤可以由该空间变换子模型和该重建子模型执行，其中，该空间变换子模型用于确定空间变换特征，该重建子模型用于基于该空间变换特征进行图像重建，相应地，该方法包括：
调用空间变换子模型，基于第一尺度及第二尺度，确定空间变换特征。调用重建子模型，对第一图像特征进行尺度上采样，得到第二图像特征，基于空间变换特征，对第二图像特征进行变换，得到第三图像特征，对第三图像特征进行重建，得到第二图像。
需要说明的是，此实现方式可以与上述图2至图4所示的实施例以任意方式结合，例如，调用空间变换子模型执行上述步骤301-304或者上述步骤401-406，调用重建子模型执行上述步骤305-307或者执行上述步骤407-410。
在另一种可能实现方式中，如图5所示，重建模型包括特征提取子模型、空间变换子模型和重建子模型；其中，特征提取子模型用于提取图像特征，该空间变换子模型用于确定空间变换特征，该重建子模型用于基于该空间变换特征进行图像重建，相应地，该方法包括：
调用空间变换子模型，基于第一尺度及第二尺度，确定空间变换特征，调用特征提取子模型提取第一图像对应的第一图像特征，调用重建子模型，对第一图像特征进行尺度上采样，得到第二图像特征，基于空间变换特征，对第二图像特征进行变换，得到第三图像特征，对第三图像特征进行重建，得到第二图像。
在一些实施例中，如图5所示，该特征提取子模型包括多个卷积层(图5仅以4个卷积层为例)，该多个卷积层之间级联，则该方法包括：获取第一图像，调用特征提取子模型包含的多个卷积层，对第一图像进行多次卷积处理，得到第一图像对应的第一图像特征。另外，该特征提取子模型的结构还可以为其他结构，本申请实施例对此不做限定。
其中，上述多个卷积层可以为二维卷积层，4个二维卷积层的卷积核数量分别为64、64、64、64，卷积核的大小均为3，所得到的第一图像特征的维度数为H×W×64，其中H表示第一图像的高度，W表示第一图像的宽度。
在一些实施例中，如图6所示，该空间变换子模型包括至少两个第一全连接层(图6仅以2个第一全连接层为例)、第二全连接层、第三全连接层及归一化层，至少两个第一全连接层之间级联，且最后一个第一全连接层分别与第二全连接层和第三全连接层连接，第三全连接层与归一化层连接，归一化层包含softmax函数(归一化指数函数)。该重建子模型包括上采样层、第一融合层、压缩卷积层、膨胀卷积层、第二融合层和卷积层，该压缩卷积层对应有压缩卷积参数，膨胀卷积层对应有膨胀卷积参数。
在上如图6所示的模型结构的基础上，如图7所示，该方法包括：
701、计算机设备调用特征提取子模型，提取第一图像对应的第一图像特征。
702、计算机设备调用空间变换子模型，将第二尺度与第一尺度之间的比值，确定为上采样因子。
其中，上采样因子表示将任一像素点由第一图像空间变换至第二图像空间所采用的上采样因子。
703、计算机设备调用空间变换子模型，基于第二图像空间中多个第一像素点的坐标和上采样因子，将多个第一像素点变换至第一图像空间中，得到多个第二像素点的坐标，基于多个第一像素点的坐标、上采样因子及多个第二像素点的坐标，确定多个相对距离。
其中，相对距离表示第二图像空间中的第一像素点的位置与对应的第二像素点的位置之间的距离。
704、计算机设备调用空间变换子模型，将多个第二像素点的坐标和多个相对距离构成特征矩阵，特征矩阵包括多个第一子特征，每个第一子特征包含一个第二像素点的坐标及对应的相对距离。
705、计算机设备调用至少两个第一全连接层，对特征矩阵进行变换，得到特征向量，调用第二全连接层，对尺度向量进行第一变换，得到位置偏移特征。
其中，位置偏移特征表示属于第一图像空间的任一图像变换至第二图像空间时像素点的位置偏移情况。
706、计算机设备调用第三全连接层，对特征向量进行第二变换，之后采用softmax函数进行归一化处理，得到尺度变换权重。
其中，尺度变换权重表示属于第一图像空间的任一图像变换至第二图像空间时的尺度变换情况。尺度变换权重包括多个第二像素点的权重特征。
707、计算机设备调用上采样层，对第一图像特征进行尺度上采样，得到属于第二尺度的第二图像特征。
708、计算机设备调用第一融合层，基于位置偏移特征，对第二图像特征中的特征的位置进行调整，得到第四图像特征。
709、计算机设备基于尺度变换权重，分别对压缩卷积参数和膨胀卷积参数进行调整，调用压缩卷积层和膨胀卷积层，基于调整后的压缩卷积参数及调整后的膨胀卷积参数，对第四图像特征进行压缩卷积和膨胀卷积，得到第五图像特征。
其中，该压缩卷积参数和该膨胀卷积参数可以采用Kaiming初始化进行初始化，之后基于尺度变换权重进行调整。可选地，该压缩卷积参数为压缩卷积过程中采用的卷积核的尺寸，该膨胀卷积参数为膨胀卷积过程中采用的卷积核的尺寸。
需要说明的是，在第一图像中包括像素点的坐标和像素信息，该像素信息包括多个通道上的信息，如RGB(Red、Green、Blue，红绿蓝)三个通道上的亮度值。而对第一图像的图像特征(即上述第四图像特征)进行压缩卷积和膨胀卷积后，导致像素点的通道的数量发生了变化，例如由3个通道变换为64个通道。因此，第五图像特征是进行通道维度上的变换后得到的图像特征。
710、计算机设备调用第二融合层，将第五图像特征与第二图像特征进行融合，得到第三图像特征。
其中，第二图像特征是进行空间维度上的变换后得到的图像特征，而第五图像特征是进行通道维度上的变换后得到的图像特征，将两者融合能够得到空间维度和通道维度均变换后的图像特征。
如图6所示，该第二融合层可以用于执行相加操作，即将第五图像特征与第二图像特征进行逐像素点的相加操作，即将每个像素点对应的特征相加，得到第三图像特征。
711、计算机设备调用卷积层，对第三图像特征进行卷积，得到属于第二图像空间的第二图像。
例如，该卷积层为二维卷积层，卷积核数量为64，且卷积核大小为3。通过对第三图像特征进行卷积，即可重建出属于高分辨率空间的第二图像，从而提高了图像的分辨率。
并且，由于第三图像特征为空间维度和通道维度均变换后的图像特征，因此基于第三图像特征得到的第二图像是在空间维度和通道维度上均进行了图像超分辨率处理后得到的图像，更能满足用户的图像修复需求。
另外，在使用重建模型之前，还需要对该重建模型进行训练。训练过程中可以先获取样本数据，样本数据中包括原始样本图像和该原始样本图像提升清晰度之后的重建样本图像，例如该原始样本图像属于第一图像空间，而该重建样本图像属于第二图像空间。之后基于该样本数据对该重建模型进行训练。经过一次或多次训练后，即可使重建模型学习到提升图像清晰度的能力，从而得到了准确的重建模型。
本申请实施例的操作流程总共分为两个阶段：Coarse(粗糙)阶段和Refine(改善)阶段，重建模型可称为Coarse阶段模型。在进行迭代训练的过程中，获取当前的迭代训练次数，判断该迭代训练次数是否大于Coarse阶段的迭代次数阈值。如果迭代训练次数不大于Coarse阶段的迭代次数阈值，则计算Coarse阶段的损失函数，通过反向传播算法回传梯度值，从而基于该梯度值更新Coarse阶段的重建模型的模型参数。如果迭代训练次数大于Coarse阶段的迭代次数阈值，则重建模型训练完成。
需要说明的是，在上述图2至图7所示的实施例的基础上，在计算机设备通过对第一图像进行处理得到第二图像后，由于第二图像中可能存在噪声等问题，图像质量依然不够好，因此还可以对第二图像进行进一步的处理，以提升图像质量。
相应地，如图8所示，该方法还包括：
801、计算机设备将第二图像分割成多个图像块，获取每个图像块对应的第一图像块特征。
其中，第二图像的尺度为第二尺度，而图像块的尺度可以为小于第二尺度的任意尺度。且第二图像的分辨率为第二图像空间的分辨率，而图像块的尺度可以为小于该第二图像的分辨率的任意分辨率。例如，该图像块的分辨率为16*16。
在一种可能实现方式中，获取每个图像块对应的第一图像块特征的过程，包括：分别对每个图像块进行特征提取，得到每个图像块对应的第三图像块特征；分别将每个图像块对应的第三图像块特征与位置特征进行融合，得到每个图像块对应的第一图像块特征。
其中，位置特征指示图像块在第二图像中的位置，通过将图像块原本的第三图像块特征与位置特征进行融合，不仅考虑了图像块本身的内容，还考虑了图像块在第二图像中的位置，因此得到的第三图像块特征更为准确。
802、基于自注意力机制，分别对每个图像块对应的第一图像块特征进行m次编码和m次解码，得到每个图像块对应的第二图像块特征，m为大于1的整数。
其中，上述编码用于提取图像块的内容特征，并且去除该图像块中与内容特征无关的其他特征，从而能够去除噪声。
通过基于自注意力机制对每个图像块进行多次的编码和解码，可以针对每个图像块还考虑第二图像中其他图像块的信息，从而提升图像块的图像块特征的准确程度，以使图像块特征既可以准确地表示图像块的内容，还能避免掺杂噪声特征。
803、按照多个图像块在第二图像中的位置，将多个图像块对应的第二图像块特征进行拼接，得到拼接特征，对拼接特征进行卷积得到属于第二图像空间的第四图像。
在将每个图像块的图像块特征进行处理之后，按照多个图像块在第二图像中的位置，将多个图像块对应的第二图像块特征进行拼接，所得到的拼接特征即为更新后的图像特征，则对该拼接特征进行卷积，即可实现图像的重建，得到更新后的第四图像。与第二图像相比，第四图像中减少了噪声。
在一种可能实现方式中，基于第二图像获取第四图像的过程基于退化去除模型实现，例如，如图9所示，计算机设备调用图5所示的重建模型生成第二图像之后，调用退化去除模型生成第四图像。
在另一种可能实现方式中，如图10所示，该退化去除模型包括第一编码子模型、基于自注意力机制的m个第二编码子模型、基于自注意力机制的m个第一解码子模型、第二解码子模型，并且，m个第二编码子模型依次连接，m个第一解码子模型依次连接，且第m个第二编码子模型与第1个第一解码子模型连接，m为大于1的整数。则基于第二图像获取第四图像的过程，包括：
调用第一编码子模型，将第二图像分割成多个图像块，获取每个图像块对应的第一图像块特征，调用m个第二编码子模型，对多个图像块对应的第一图像块特征进行m次编码，得到多个图像块对应的编码特征，调用m个第一解码子模型，对多个图像块对应的编码特征进行m次解码，得到多个图像块对应的解码特征，调用第二解码子模型，按照多个图像块在第二图像中的位置，将多个图像块对应的解码特征进行拼接，得到拼接特征，对拼接特征进行卷积，得到第四图像。
由于m个第二编码子模型和m个第一解码子模型是基于自注意力机制的模型，会在针对每个图像块处理的过程中还会考虑其他的图像块的信息，因此可以保证所提取特征的准确性，从而保证了后续得到的图像的准确性。其中，m个第二编码子模型和m个第一解码子模型可以为Transformer模型或者其他基于自注意力机制进行处理的模型。
以人脸图像为例，由于实际人脸的左右两部分区域可能不完全对称，导致采集到的人脸图像中的人脸区域也是非对称的，而经过上述m个第二编码子模型和m个第一解码子模型处理之后，由于各个图像块之间相互参考对方的信息，使得修复出的人脸图像中的人脸区域是对称的，提升了人脸图像的质量。
在一种可能实现方式中，m次编码中的第1次编码的过程，包括：
对于任一图像块，调用第1个第二编码子模型，基于图像块对应的第一图像块特征与多个图像块对应的第一图像块特征之间的相似度，对多个图像块对应的第一图像块特征进行加权融合，得到图像块对应的第1个融合图像块特征；将第1个融合图像块特征与图像块对应的第一图像块特征进行融合，得到图像块对应的第1个编码特征。
在一种可能实现方式中，m次编码中的第i次编码的过程，包括：
对于任一图像块，调用第i个第二编码子模型，基于图像块对应的第i-1个编码特征与多个图像块对应的第i-1个编码特征之间的相似度，对多个图像块对应的第i-1个编码特征进行加权融合，得到图像块对应的第i个融合图像块特征；将第i个融合图像块特征与图像块对应的i-1个编码特征进行融合，得到图像块对应的第i个编码特征，其中，i为大于1且不大于m的整数。
上述编码方法采用了自注意力机制确定每个图像块的图像特征，能够综合考虑多个图像块之间的相似度，使得得到的融合图像块特征中融合了其他图像块的影响，更为准确。而且将所得到的融合图像块特征与原始的第一图像块特征进行融合，不仅融合了其他图像块的影响，还避免丢失原始的图像块的全局信息，因此得到的编码特征会包含更为全面的信息，准确性更高。
在另一种可能实现方式中，m个第二编码子模型和m个第一解码子模型采用了相同的结构。以第二编码子模型为例，如图11所示，第二编码子模型中包括第一向量归一化层、划窗多头自注意力层、第一融合层、第二向量归一化层、多层感知器以及第二融合层。
P表示第一编码子模型输出的多个图像块的第一图像块特征，将P依次输入到串联的m个第二编码子模型中进行特征提取，其中，在第二编码子模型中，首先将P输入到第一向量归一化层，进行归一化处理得到归一化特征P1，之后将归一化特征P1输入到划窗多头自注意力层，对各个图像块的P1采用自注意力机制的特征提取，得到注意力特征P2，将P和P2进行融合，即可得到代表图像块的全局信息的全局特征P3，该全局特征P3既包含了图像块本身的信息，还包含了其他图像块对该图像块的影响。
之后将该全局特征P3输入到第二向量归一化层，得到归一化特征P4，将归一化特征P4输入到多层感知器，得到多层感知特征P5，之后将多层感知特征P5与全局特征P3进行融合，得到图像块的编码特征P6。
在此实现方式中，先进行了归一化处理之后，将图像块对应的第一图像块特征调整到指定的特征范围内，再采用划窗多头自注意力机制进行处理，可以提高准确性。
需要说明的是，本申请实施例还提供了一种退化去除模型的训练方法，如图12所示，该训练方法由计算机设备执行，该计算机设备为终端或服务器，且执行该训练方法的计算机设备与执行上述图像处理方法的计算机设备可以为相同设备或不同设备，本申请实施例对此不做限定。
该训练方法包括：
1201、获取属于第二图像空间的样本图像。
1202、调用退化去除模型对样本图像进行重建，得到属于第二图像空间的第一预测图像。
1203、基于样本图像与第一预测图像，对退化去除模型进行训练，以使调用训练后的退化去除模型得到的第一预测图像与样本图像的相似度增大。
该退化去除模型的作用是基于所输入的图像重建出另一张图像，且所重建的图像与所输入的图像的内容相似。因此在训练该退化去除模型时，训练目标是通过更新该退化去除模型的模型参数，使得训练后的退化去除模型如果基于该样本图像重新得到了第一预测图像，则新的第一预测图像与样本图像的相似度增大，即通过训练提高了退化去除模型的性能。
在上述所示的实施例的基础上，还能够结合对抗模型对退化去除模型进行训练，参考图13，则该方法包括下述步骤1-3：
1、调用退化去除模型获取第一预测图像、多个样本图像块对应的样本编码特征及m个第一样本解码特征。
也即是，调用第一编码子模型，将样本图像分割成多个样本图像块，获取每个样本图像块对应的第一图像块特征，调用m个第二编码子模型，对多个样本图像块对应的第一图像块特征进行m次编码，得到多个样本图像块对应的样本编码特征，调用m个第一解码子模型，对多个样本图像块对应的样本编码特征进行m次解码，得到每个样本图像块对应的m个第一样本解码特征，调用第二解码子模型，按照多个样本图像块在样本图像中的位置，将多个样本图像块对应的第m个第一样本解码特征进行拼接，得到第一样本拼接特征，对第一样本拼接特征进行卷积，得到第一预测图像。
本申请实施例以样本图像为例，通过上述步骤1，能够基于样本图像确定第一预测图像，该第一预测图像就是为样本图像提升图像质量后得到的第一预测图像，而该第一预测图像应当满足以下要求：第一预测图像与该样本图像相似，且该第一预测图像的图像质量要高于该样本图像的图像质量。
但是考虑到在训练过程中退化去除模型还不够准确，导致当前得到的第一预测图像也不够准确。
2、调用对抗模型中的生成子模型，对多个样本图像块对应的样本编码特征及m个第一样本解码特征进行重建，得到属于第二图像空间的第二预测图像；调用对抗模型中的判别子模型，对第二预测图像及样本图像进行判别，得到判别结果，判别结果指示第二预测图像与样本图像是否相似。
3、基于样本图像与第一预测图像以及判别结果，对退化去除模型和对抗模型进行训练，以使调用训练后的退化去除模型得到的第一预测图像与样本图像的相似度增大，且调用训练后的生成子模型得到的第二预测图像与样本图像的相似度增大。
其中，对抗模型包括生成子模型和判别子模型，生成子模型用于基于输入的特征重建出图像，而判别子模型用于判别重建出的图像与原始的图像是否相似，从而确定退化去除模型是否学习到了重建图像的能力。
其中，样本图像块对应的样本编码特征能够表示样本图像块的内容，而样本图像块对应的样本解码特征也能在一定程度上表示样本图像块的内容，因此本申请实施例中，将样本图像块对应的样本编码特征和m个样本解码特征都综合考虑进来，一起用于训练。则对样本编码特征及每个样本图像块对应的m个第一样本解码特征进行重建，得到属于第二图像空间的第二预测图像之后，如果退化去除模型已经学习到了重建图像的能力，所重建的图像足够准确，则该第一预测图像应该与该样本图像相似，而判别子模型所得到的判别结果应该指示第二预测图像与样本图像相似。而如果退化去除模型还不够准确，该第一预测图像与该样本图像可能不相似，判别子模型所得到的判别结果可能会指示该第二预测图像与该样本图像不相似。
因此，基于该样本图像与该第一预测图像，以及该判别结果，对退化去除模型和对抗模型进行训练，以使调用训练后的退化去除模型得到的第一预测图像与样本图像的相似度增大，且调用训练后的生成子模型得到的第二预测图像与样本图像的相似度增大。这样就能提高退化去除模型以及对抗模型的能力，提高准确性。
在一种可能实现方式中，生成子模型包括m个第一解码层和第二解码层，则调用生成子模型获取第二预测图像的过程，包括：
调用第1个第一解码层，对多个样本图像块对应的样本编码特征进行解码，得到每个样本图像块对应的第1个第二样本解码特征；将第二样本解码特征与第1个第一样本解码特征进行融合，得到第1个融合特征；
调用第j个第一解码层，对第j-1个融合特征进行解码，得到每个样本图像块对应的第j个第二样本解码特征；直至调用第m个第一解码层，得到每个样本图像块对应的第m个第二样本解码特征，j为大于1且不大于m的整数；
调用第二解码层，按照多个样本图像块在样本图像中的位置，将多个样本图像块对应的第m个第二样本解码特征进行拼接，得到第二样本拼接特征，对第二样本拼接特征进行卷积，得到第二预测图像。
需要说明的是，上述步骤仅是以联合训练退化去除模型和对抗模型为例，则可以先训练重建模型，在训练好重建模型后，联合训练退化去除模型和对抗模型，之后调用重建模型和退化去除模型实现本申请实施例提供的方法。或者还可以联合训练重建模型、退化去除模型和对抗模型。
本申请实施例的操作流程总共分为两个阶段：Coarse阶段和Refine阶段，重建模型可称为Coarse阶段模型，退化去除模型和对抗模型可称为Refine阶段模型。那么先训练重建模型之后，再训练退化去除模型和对抗模型。
参见图14，基于低质量的人脸图像进行训练，首先针对Coarse阶段的重建模型，基于低质量的多个人脸图像进行迭代训练，每次迭代训练过程中，获取当前的迭代训练次数，判断该迭代训练次数是否大于Coarse阶段的迭代次数阈值。如果迭代训练次数不大于Coarse阶段的迭代次数阈值，则计算Coarse阶段的损失函数，通过反向传播算法回传梯度值，从而基于该梯度值更新Coarse阶段的重建模型的模型参数。如果迭代训练次数大于Coarse阶段的迭代次数阈值，则重建模型的迭代训练完成，此时认为重建模型已经具备了初步的重建图像的能力。
之后继续基于低质量的多个人脸图像进行迭代训练，每次迭代训练过程中，调用Coarse阶段的重建模型得到人脸图像对应的特征，此时通过判断确定当前的迭代训练次数已经大于了Coarse阶段的迭代次数阈值，则不会再对重建模型进行训练，而是会将Coarse阶段的重建模型得到的特征输入到Refine阶段的退化去除模型中，利用退化去除模型和对抗模型进行处理，从而计算Refine阶段的损失函数，通过反向传播算法回传梯度值，从而基于该梯度值更新Refine阶段的模型的模型参数。并且获取当前的迭代训练次数，判断该迭代训练次数是否大于Refine阶段的迭代次数阈值。如果迭代训练次数不大于Refine阶段的迭代次数阈值，则进行下一次迭代训练。如果迭代训练次数大于Refine阶段的迭代次数阈值，则训练结束。
在一种可能实现方式中，本申请实施例还提供了一种提升生物特征图像的清晰度的方法，针对包含生物特征的图像，为了在处理图像的过程中既能够提升生物特征的清晰度，还能够保证生物特征的准确性，避免影响后续的生物识别精度，首先从原始图像中提取出第一图像，第一图像为从原始图像中包含生物特征的区域提取得到的图像。如该生物特征为人脸特征，则第一图像为原始图像中的人脸区域对应的人脸图像，或者该生物特征为指纹特征，则第一图像为原始图像中的指纹区域对应的指纹图像等。
在提取出第一图像之后，第一图像的尺度为第一尺度，采用上述图2至图7所示的实施例提供的方法提升第一图像的清晰度，得到第二图像，所得到的第二图像的尺度为第二尺度，之后还可以采用上述图8所示的实施例，对第二图像进行处理，得到第四图像，从而提升了图像质量。
那么，为了将第四图像还原到原始图像中，先按照第二尺度与第一尺度之间的比例，对原始图像进行缩放，得到背景图像，背景图像中包含生物特征的区域的尺度为第二尺度，相当于为第四图像预留了空间，之后即可按照第一图像在原始图像中的位置，将第四图像与背景图像进行组合，得到第五图像。在第五图像中保留了原始图像的背景，并且包含生物特征的区域的清晰度得到了提升。
因此，在一个示例中，以人脸图像为例，本申请实施例的操作流程可以如图15所示，首先获取输入的原始图像，之后对原始图像进行人脸检测，得到人脸图像，并且按照比例对原始图像进行缩放后得到背景图像。而针对人脸图像，调用本申请实施例中的重建模型和退化去除模型进行处理，得到修复之后的人脸图像，再将该人脸图像与该背景图像进行组合，即可得到最终修复之后的完整图像。
在多种数据集上，将输入图像、采用本申请实施例提供的方法修复后的图像与采用其他相关技术提供的方法修复后的图像进行对比，其中的相关技术包括：DeblurGANv2(一种基于GAN方法进行盲运动模糊移除的方法)、PSFRGAN(一种对抗生成网络)、GFP-GAN(另一种对抗生成网络)等。
输入图像以及采用上述多种方法处理后的图像如图16所示，每张图像的左上角展示了白色框区域的放大图像，从图16可以看出，针对同一张输入图像，本申请实施例提供的方法修复后的图像清晰度更高。
并且，上述多种方法的对比结果如下表1所示。表1为本申请实施例与相关技术修复的图像的FID和NIQE度量指标的对比。从表1中可以看出，本申请实施例相较于相关技术，在LFW-Test和CelebChild数据集上，FID指标分别提升了0.6和39.51；在CelebChild和WebPhoto数据集上，NIQE指标分别提升了0.056和0.011。
表1
图17是本申请实施例提供的一种图像处理装置的结构示意图，如图17所示，该装置包括：
确定模块1701，用于基于第一图像空间的第一尺度和第二图像空间的第二尺度，确定空间变换特征，空间变换特征表示属于第一图像空间的任一图像变换至第二图像空间时的空间变换情况，第二尺度大于第一尺度，且第二图像空间的分辨率高于第一图像空间的分辨率；
上采样模块1702，用于对属于第一图像空间的第一图像对应的第一图像特征进行尺度上采样，得到属于第二尺度的第二图像特征；
特征变换模块1703，用于基于空间变换特征，对第二图像特征进行变换，得到第三图像特征；
图像重建模块1704，用于对第三图像特征进行重建，得到属于第二图像空间的第二图像。
在一种可能实现方式中，空间变换特征包括位置偏移特征，位置偏移特征表示属于第一图像空间的任一图像变换至第二图像空间时像素点的位置偏移情况；特征变换模块1703，用于基于位置偏移特征，对第二图像特征进行变换，得到第三图像特征。
在另一种可能实现方式中，确定模块1701，包括：
因子确定单元，用于将第二尺度与第一尺度之间的比值，确定为上采样因子，上采样因子表示将任一像素点由第一图像空间变换至第二图像空间所采用的上采样因子；
像素点变换单元，用于基于第二图像空间中多个第一像素点的坐标和上采样因子，将多个第一像素点变换至第一图像空间中，得到多个第二像素点的坐标；
相对距离确定单元，用于基于多个第一像素点的坐标、上采样因子及多个第二像素点的坐标，确定多个相对距离，相对距离表示第二图像空间中的第一像素点的位置与对应的第二像素点的位置之间的距离；
偏移特征确定单元，用于基于多个第二像素点的坐标和多个相对距离，确定位置偏移特征。
在另一种可能实现方式中，偏移特征确定单元，用于：
将多个第二像素点的坐标和多个相对距离构成特征矩阵，特征矩阵包括多个第一子特征，每个第一子特征包含一个第二像素点的坐标及对应的相对距离；
对特征矩阵进行变换，得到位置偏移特征，位置偏移特征包括多个第一子特征分别变换得到的多个第二子特征，每个第二子特征的特征维度小于对应的第一子特征的特征维度。
在另一种可能实现方式中，空间变换特征还包括尺度变换权重，尺度变换权重表示属于第一图像空间的任一图像变换至第二图像空间时的尺度变换情况；
特征变换模块1703，用于：
基于位置偏移特征，对第二图像特征中的特征的位置进行调整，得到第四图像特征；
基于尺度变换权重，对第四图像特征进行压缩卷积和膨胀卷积，得到第三图像特征。
在另一种可能实现方式中，特征变换模块1703，用于：
基于尺度变换权重，分别对压缩卷积参数和膨胀卷积参数进行调整；
基于调整后的压缩卷积参数及调整后的膨胀卷积参数，对第四图像特征进行压缩卷积和膨胀卷积，得到第五图像特征；
将第五图像特征与第二图像特征进行融合，得到第三图像特征。
在另一种可能实现方式中，确定模块1701，包括：
因子确定单元，用于将第二尺度与第一尺度之间的比值，确定为上采样因子，上采样因子表示将任一像素点由第一图像空间变换至第二图像空间所采用的上采样因子；
像素点变换单元，用于基于第二图像空间中多个第一像素点的坐标和上采样因子，将多个第一像素点变换至第一图像空间中，得到多个第二像素点的坐标；
相对距离确定单元，用于基于多个第一像素点的坐标、上采样因子及多个第二像素点的坐标，确定多个相对距离，相对距离表示第二图像空间中的第一像素点的位置与对应的第二像素点的位置之间的距离；
特征向量确定单元，用于将多个第二像素点的坐标和多个相对距离构成特征矩阵，特征矩阵包括多个第一子特征，每个第一子特征包含一个第二像素点的坐标及对应的相对距离；对特征矩阵进行变换，得到特征向量；
第一变换单元，用于对特征向量进行第一变换，得到位置偏移特征；
第二变换单元，用于对特征向量进行第二变换，对变换后的特征向量进行归一化处理，得到尺度变换权重，尺度变换权重包括多个第二像素点的权重特征。
在另一种可能实现方式中，方法基于重建模型实现，重建模型包括空间变换子模型和重建子模型；
确定模块1701，用于调用空间变换子模型，基于第一尺度及第二尺度，确定空间变换特征；
上采样模块1702，用于调用重建子模型，对第一图像特征进行尺度上采样，得到第二图像特征；
特征变换模块1703，用于基于空间变换特征，对第二图像特征进行变换，得到第三图像特征；
图像重建模块1704，用于对第三图像特征进行重建，得到第二图像。
在另一种可能实现方式中，第一图像为从原始图像中包含生物特征的区域提取得到的图像；装置还包括：
第一缩放模块，用于按照第二尺度与第一尺度之间的比例，对原始图像进行缩放，得到背景图像，背景图像中包含生物特征的区域的尺度为第二尺度；
第一组合模块，用于按照第一图像在原始图像中的位置，将第二图像与背景图像进行组合，得到第三图像。
在另一种可能实现方式中，装置还包括：
特征获取模块，用于将第二图像分割成多个图像块，获取每个图像块对应的第一图像块特征；
图像块处理模块，用于基于自注意力机制，分别对每个图像块对应的第一图像块特征进行m次编码和m次解码，得到每个图像块对应的第二图像块特征，m为大于1的整数；
拼接卷积模块，用于按照多个图像块在第二图像中的位置，将多个图像块对应的第二图像块特征进行拼接，得到拼接特征，对拼接特征进行卷积得到属于第二图像空间的第四图像。
在另一种可能实现方式中，特征获取模块，包括：
特征提取单元，用于分别对每个图像块进行特征提取，得到每个图像块对应的第三图像块特征；
位置融合单元，用于分别将每个图像块对应的第三图像块特征与位置特征进行融合，得到每个图像块对应的第一图像块特征，位置特征指示图像块在第二图像中的位置。
在另一种可能实现方式中，基于第二图像获取第四图像的过程基于退化去除模型实现，退化去除模型包括第一编码子模型、基于自注意力机制的m个第二编码子模型、基于自注意力机制的m个第一解码子模型、第二解码子模型，m为大于1的整数；
特征获取模块，用于调用第一编码子模型，将第二图像分割成多个图像块，获取每个图像块对应的第一图像块特征；
并且，m个第二编码子模型依次连接，m个第一解码子模型依次连接，且第m个第二编码子模型与第1个第一解码子模型连接，图像块处理模块，用于：
调用m个第二编码子模型，对多个图像块对应的第一图像块特征进行m次编码，得到多个图像块对应的编码特征；
调用m个第一解码子模型，对多个图像块对应的编码特征进行m次解码，得到多个图像块对应的解码特征；
拼接卷积模块，用于调用第二解码子模型，按照多个图像块在第二图像中的位置，将多个图像块对应的解码特征进行拼接，得到拼接特征，对拼接特征进行卷积，得到第四图像。
在另一种可能实现方式中，图像块处理模块，用于：
对于任一图像块，调用第1个第二编码子模型，基于图像块对应的第一图像块特征与多个图像块对应的第一图像块特征之间的相似度，对多个图像块对应的第一图像块特征进行加权融合，得到图像块对应的第1个融合图像块特征；
将第1个融合图像块特征与图像块对应的第一图像块特征进行融合，得到图像块对应的第1个编码特征。
在另一种可能实现方式中，图像块处理模块，用于：
对于任一图像块，调用第i个第二编码子模型，基于图像块对应的第i-1个编码特征与多个图像块对应的第i-1个编码特征之间的相似度，对多个图像块对应的第i-1个编码特征进行加权融合，得到图像块对应的第i个融合图像块特征；
将第i个融合图像块特征与图像块对应的i-1个编码特征进行融合，得到图像块对应的第i个编码特征，其中，i为大于1且不大于m的整数。
在另一种可能实现方式中，装置还包括：
样本获取模块，用于获取属于第二图像空间的样本图像；
预测模块，用于调用退化去除模型对样本图像进行重建，得到属于第二图像空间的第一预测图像；
训练模块，用于基于样本图像与第一预测图像，对退化去除模型进行训练，以使调用训练后的退化去除模型得到的第一预测图像与样本图像的相似度增大。
在另一种可能实现方式中，预测模块，用于：
调用第一编码子模型，将样本图像分割成多个样本图像块，获取每个样本图像块对应的第一图像块特征；
调用m个第二编码子模型，对多个样本图像块对应的第一图像块特征进行m次编码，得到多个样本图像块对应的样本编码特征；
调用m个第一解码子模型，对多个样本图像块对应的样本编码特征进行m次解码，得到每个样本图像块对应的m个第一样本解码特征；
调用第二解码子模型，按照多个样本图像块在样本图像中的位置，将多个样本图像块对应的第m个第一样本解码特征进行拼接，得到第一样本拼接特征，对第一样本拼接特征进行卷积，得到第一预测图像；
训练模块，用于：
调用对抗模型中的生成子模型，对多个样本图像块对应的样本编码特征及m个第一样本解码特征进行重建，得到属于第二图像空间的第二预测图像；调用对抗模型中的判别子模型，对第二预测图像及样本图像进行判别，得到判别结果，判别结果指示第二预测图像与样本图像是否相似；
基于样本图像与第一预测图像以及判别结果，对退化去除模型和对抗模型进行训练，以使调用训练后的退化去除模型得到的第一预测图像与样本图像的相似度增大，且调用训练后的生成子模型得到的第二预测图像与样本图像的相似度增大。
在另一种可能实现方式中，生成子模型包括m个第一解码层和第二解码层；
训练模块，用于：
调用第1个第一解码层，对多个样本图像块对应的样本编码特征进行解码，得到每个样本图像块对应的第1个第二样本解码特征；将第二样本解码特征与第1个第一样本解码特征进行融合，得到第1个融合特征；
调用第j个第一解码层，对第j-1个融合特征进行解码，得到每个样本图像块对应的第j个第二样本解码特征；直至调用第m个第一解码层，得到每个样本图像块对应的第m个第二样本解码特征，j为大于1且不大于m的整数；
调用第二解码层，按照多个样本图像块在样本图像中的位置，将多个样本图像块对应的第m个第二样本解码特征进行拼接，得到第二样本拼接特征，对第二样本拼接特征进行卷积，得到第二预测图像；
调用判别子模型，对第二预测图像及样本图像进行判别，得到判别结果。
在另一种可能实现方式中，第一图像为从原始图像中包含生物特征的区域提取得到的图像；装置还包括：
第二缩放模块，用于按照第二尺度与第一尺度之间的比例，对原始图像进行缩放，得到背景图像，背景图像中包含生物特征的区域的尺度为第二尺度；
第二组合模块，用于按照第一图像在原始图像中的位置，将第四图像与背景图像进行组合，得到第五图像。
需要说明的是：上述实施例提供的图像处理装置在处理图像时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本申请实施例还提供了一种计算机设备，该计算机设备包括处理器和存储器，存储器中存储有至少一条计算机程序，该至少一条计算机程序由处理器加载并执行以实现上述实施例的图像处理方法所执行的操作。
可选地，计算机设备被提供为终端。图18示出了本申请一个示例性实施例提供的终端1800的结构框图。
终端1800包括有：处理器1801和存储器1802。
处理器1801可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。在一些实施例中，处理器1801可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1801还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1802可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。在一些实施例中，存储器1802中的非暂态的计算机可读存储介质用于存储至少一个计算机程序，该至少一个计算机程序用于被处理器1801所执行以实现本申请中方法实施例提供的图像处理方法。
在一些实施例中，终端1800还可选包括有：***设备接口1803和至少一个***设备。处理器1801、存储器1802和***设备接口1803之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口1803相连。具体地，***设备包括：射频电路1804、显示屏1805、摄像头组件1806、音频电路1807和电源1808中的至少一种。
***设备接口1803可被用于将I/O(Input/Output，输入/输出)相关的至少一个***设备连接到处理器1801和存储器1802。
射频电路1804用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1804通过电磁信号与通信网络以及其他通信设备进行通信。
显示屏1805用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1805是触摸显示屏时，显示屏1805还具有采集在显示屏1805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1801进行处理。此时，显示屏1805还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。
摄像头组件1806用于采集图像或视频。可选地，摄像头组件1806包括前置摄像头和后置摄像头。前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。
音频电路1807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1801进行处理，或者输入至射频电路1804以实现语音通信。
电源1808用于为终端1800中的各个组件进行供电。
本领域技术人员可以理解，图18中示出的结构并不构成对终端1800的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
可选地，计算机设备被提供为服务器。图19是本申请实施例提供的一种服务器的结构示意图，该服务器1900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(Central Processing Units，CPU)1901和一个或一个以上的存储器1902，其中，存储器1902中存储有至少一条计算机程序，至少一条计算机程序由处理器1901加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器还可以具有有线或无线网络接口、键盘及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。
服务器1900可以用于执行上述图像处理方法中计算机设备所执行的步骤。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条计算机程序，该至少一条计算机程序由处理器加载并执行以实现上述实施例的图像处理方法所执行的操作。
本申请实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述方面所述的图像处理方法所执行的操作。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请实施例的可选实施例，并不用以限制本申请实施例，凡在本申请实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (20)

1.一种图像处理方法，其特征在于，所述方法包括：
基于第一图像空间的第一尺度和第二图像空间的第二尺度，确定空间变换特征，所述空间变换特征表示属于所述第一图像空间的任一图像变换至所述第二图像空间时的空间变换情况，所述第二尺度大于所述第一尺度，且所述第二图像空间的分辨率高于所述第一图像空间的分辨率；
对属于所述第一图像空间的第一图像对应的第一图像特征进行尺度上采样，得到属于所述第二尺度的第二图像特征；
基于所述空间变换特征，对所述第二图像特征进行变换，得到第三图像特征；
对所述第三图像特征进行重建，得到属于所述第二图像空间的第二图像。
2.根据权利要求1所述的方法，其特征在于，所述空间变换特征包括位置偏移特征，所述位置偏移特征表示属于所述第一图像空间的任一图像变换至所述第二图像空间时像素点的位置偏移情况；所述基于所述空间变换特征，对所述第二图像特征进行变换，得到第三图像特征，包括：
基于所述位置偏移特征，对所述第二图像特征进行变换，得到所述第三图像特征。
3.根据权利要求2所述的方法，其特征在于，所述基于第一图像空间的第一尺度和第二图像空间的第二尺度，确定空间变换特征，包括：
将所述第二尺度与所述第一尺度之间的比值，确定为上采样因子，所述上采样因子表示将任一像素点由所述第一图像空间变换至所述第二图像空间所采用的上采样因子；
基于所述第二图像空间中多个第一像素点的坐标和所述上采样因子，将所述多个第一像素点变换至所述第一图像空间中，得到多个第二像素点的坐标；
基于所述多个第一像素点的坐标、所述上采样因子及所述多个第二像素点的坐标，确定多个相对距离，所述相对距离表示所述第二图像空间中的第一像素点的位置与对应的第二像素点的位置之间的距离；
基于所述多个第二像素点的坐标和所述多个相对距离，确定所述位置偏移特征。
4.根据权利要求3所述的方法，其特征在于，所述基于所述多个第二像素点的坐标和所述多个相对距离，确定所述位置偏移特征，包括：
将所述多个第二像素点的坐标和所述多个相对距离构成特征矩阵，所述特征矩阵包括多个第一子特征，每个第一子特征包含一个所述第二像素点的坐标及对应的相对距离；
对所述特征矩阵进行变换，得到所述位置偏移特征，所述位置偏移特征包括所述多个第一子特征分别变换得到的多个第二子特征。
5.根据权利要求2所述的方法，其特征在于，所述空间变换特征还包括尺度变换权重，所述尺度变换权重表示属于所述第一图像空间的任一图像变换至所述第二图像空间时的尺度变换情况；
所述基于所述位置偏移特征，对所述第二图像特征进行变换，得到所述第三图像特征，包括：
基于所述位置偏移特征，对所述第二图像特征中的特征的位置进行调整，得到第四图像特征；
基于所述尺度变换权重，对所述第四图像特征进行压缩卷积和膨胀卷积，得到所述第三图像特征。
6.根据权利要求5所述的方法，其特征在于，所述基于所述尺度变换权重，对所述第四图像特征进行压缩卷积和膨胀卷积，得到所述第三图像特征，包括：
基于所述尺度变换权重，分别对压缩卷积参数和膨胀卷积参数进行调整；
基于调整后的所述压缩卷积参数及调整后的所述膨胀卷积参数，对所述第四图像特征进行压缩卷积和膨胀卷积，得到第五图像特征；
将所述第五图像特征与所述第二图像特征进行融合，得到所述第三图像特征。
7.根据权利要求5所述的方法，其特征在于，所述基于第一图像空间的第一尺度和第二图像空间的第二尺度，确定空间变换特征，包括：
将所述第二尺度与所述第一尺度之间的比值，确定为上采样因子，所述上采样因子表示将任一像素点由所述第一图像空间变换至所述第二图像空间所采用的上采样因子；
基于所述第二图像空间中多个第一像素点的坐标和所述上采样因子，将所述多个第一像素点变换至所述第一图像空间中，得到多个第二像素点的坐标；
基于所述多个第一像素点的坐标、所述上采样因子及所述多个第二像素点的坐标，确定多个相对距离，所述相对距离表示所述第二图像空间中的第一像素点的位置与对应的第二像素点的位置之间的距离；
将所述多个第二像素点的坐标和所述多个相对距离构成特征矩阵，所述特征矩阵包括多个第一子特征，每个第一子特征包含一个所述第二像素点的坐标及对应的相对距离；
对所述特征矩阵进行变换，得到特征向量；
对所述特征向量进行第一变换，得到所述位置偏移特征；
对所述特征向量进行第二变换，对变换后的特征向量进行归一化处理，得到所述尺度变换权重，所述尺度变换权重包括所述多个第二像素点的权重特征。
8.根据权利要求1所述的方法，其特征在于，所述方法基于重建模型实现，所述重建模型包括空间变换子模型和重建子模型；
所述基于第一图像空间的第一尺度和第二图像空间的第二尺度，确定空间变换特征，包括：
调用所述空间变换子模型，基于所述第一尺度及所述第二尺度，确定所述空间变换特征；
所述对属于所述第一图像空间的第一图像对应的第一图像特征进行尺度上采样，得到属于所述第二尺度的第二图像特征；基于所述空间变换特征，对所述第二图像特征进行变换，得到第三图像特征；对所述第三图像特征进行重建，得到属于所述第二图像空间的第二图像，包括：
调用所述重建子模型，对所述第一图像特征进行尺度上采样，得到所述第二图像特征；基于所述空间变换特征，对所述第二图像特征进行变换，得到所述第三图像特征；对所述第三图像特征进行重建，得到所述第二图像。
9.根据权利要求1-8任一项所述的方法，其特征在于，所述第一图像为从原始图像中包含生物特征的区域提取得到的图像；所述对所述第三图像特征进行重建，得到属于所述第二图像空间的第二图像之后，所述方法还包括：
按照所述第二尺度与所述第一尺度之间的比例，对所述原始图像进行缩放，得到背景图像，所述背景图像中包含所述生物特征的区域的尺度为所述第二尺度；
按照所述第一图像在所述原始图像中的位置，将所述第二图像与所述背景图像进行组合，得到第三图像。
10.根据权利要求1-8任一项所述的方法，其特征在于，所述对所述第三图像特征进行重建，得到属于所述第二图像空间的第二图像之后，所述方法还包括：
将所述第二图像分割成多个图像块，获取每个图像块对应的第一图像块特征；
基于自注意力机制，分别对所述每个图像块对应的第一图像块特征进行m次编码和m次解码，得到所述每个图像块对应的第二图像块特征，m为大于1的整数；
按照所述多个图像块在所述第二图像中的位置，将所述多个图像块对应的第二图像块特征进行拼接，得到拼接特征，对所述拼接特征进行卷积得到属于所述第二图像空间的第四图像。
11.根据权利要求10所述的方法，其特征在于，所述获取每个图像块对应的第一图像块特征，包括：
分别对所述每个图像块进行特征提取，得到所述每个图像块对应的第三图像块特征；
分别将所述每个图像块对应的第三图像块特征与位置特征进行融合，得到所述每个图像块对应的第一图像块特征，所述位置特征指示所述图像块在所述第二图像中的位置。
12.根据权利要求10所述的方法，其特征在于，基于所述第二图像获取所述第四图像的过程基于退化去除模型实现，所述退化去除模型包括第一编码子模型、基于自注意力机制的m个第二编码子模型、基于自注意力机制的m个第一解码子模型、第二解码子模型，m为大于1的整数；
所述将所述第二图像分割成多个图像块，获取每个图像块对应的第一图像块特征，包括：
调用所述第一编码子模型，将所述第二图像分割成所述多个图像块，获取所述每个图像块对应的第一图像块特征；
并且，m个第二编码子模型依次连接，m个第一解码子模型依次连接，且第m个第二编码子模型与第1个第一解码子模型连接，所述分别对所述每个图像块对应的第一图像块特征进行m次编码和m次解码，得到所述每个图像块对应的第二图像块特征，包括：
调用m个第二编码子模型，对所述多个图像块对应的第一图像块特征进行m次编码，得到所述多个图像块对应的编码特征；
调用m个第一解码子模型，对所述多个图像块对应的编码特征进行m次解码，得到所述多个图像块对应的解码特征；
所述按照所述多个图像块在所述第二图像中的位置，将所述多个图像块对应的第二图像块特征进行拼接，得到拼接特征，对所述拼接特征进行卷积得到属于所述第二图像空间的第四图像，包括：
调用所述第二解码子模型，按照所述多个图像块在所述第二图像中的位置，将所述多个图像块对应的解码特征进行拼接，得到所述拼接特征，对所述拼接特征进行卷积，得到所述第四图像。
13.根据权利要求12所述的方法，其特征在于，所述m次编码中的第1次编码的过程，包括：
对于任一图像块，调用第1个第二编码子模型，基于所述图像块对应的第一图像块特征与所述多个图像块对应的第一图像块特征之间的相似度，对所述多个图像块对应的第一图像块特征进行加权融合，得到所述图像块对应的第1个融合图像块特征；
将所述第1个融合图像块特征与所述图像块对应的第一图像块特征进行融合，得到所述图像块对应的第1个编码特征。
14.根据权利要求13所述的方法，其特征在于，所述m次编码中的第i次编码的过程，包括：
对于任一图像块，调用第i个第二编码子模型，基于所述图像块对应的第i-1个编码特征与所述多个图像块对应的第i-1个编码特征之间的相似度，对所述多个图像块对应的第i-1个编码特征进行加权融合，得到所述图像块对应的第i个融合图像块特征；
将所述第i个融合图像块特征与所述图像块对应的i-1个编码特征进行融合，得到所述图像块对应的第i个编码特征，其中，i为大于1且不大于m的整数。
15.根据权利要求12所述的方法，其特征在于，训练所述退化去除模型的过程，包括：
获取属于所述第二图像空间的样本图像；
调用所述退化去除模型对所述样本图像进行重建，得到属于所述第二图像空间的第一预测图像；
基于所述样本图像与所述第一预测图像，对所述退化去除模型进行训练，以使调用训练后的退化去除模型得到的所述第一预测图像与所述样本图像的相似度增大。
16.根据权利要求15所述的方法，其特征在于，所述调用所述退化去除模型对所述样本图像进行重建，得到属于所述第二图像空间的第一预测图像，包括：
调用所述第一编码子模型，将所述样本图像分割成所述多个样本图像块，获取每个样本图像块对应的第一图像块特征；
调用m个第二编码子模型，对所述多个样本图像块对应的第一图像块特征进行m次编码，得到所述多个样本图像块对应的样本编码特征；
调用m个第一解码子模型，对所述多个样本图像块对应的样本编码特征进行m次解码，得到每个样本图像块对应的m个第一样本解码特征；
调用所述第二解码子模型，按照所述多个样本图像块在所述样本图像中的位置，将所述多个样本图像块对应的第m个第一样本解码特征进行拼接，得到第一样本拼接特征，对所述第一样本拼接特征进行卷积，得到所述第一预测图像；
所述基于所述样本图像与所述第一预测图像，对所述退化去除模型进行训练，以使调用训练后的退化去除模型得到的所述第一预测图像与所述样本图像的相似度增大，包括：
调用对抗模型中的生成子模型，对所述多个样本图像块对应的样本编码特征及m个第一样本解码特征进行重建，得到属于所述第二图像空间的第二预测图像；调用所述对抗模型中的判别子模型，对所述第二预测图像及所述样本图像进行判别，得到判别结果，所述判别结果指示所述第二预测图像与所述样本图像是否相似；
基于所述样本图像与所述第一预测图像以及所述判别结果，对所述退化去除模型和所述对抗模型进行训练，以使调用训练后的退化去除模型得到的所述第一预测图像与所述样本图像的相似度增大，且调用训练后的生成子模型得到的所述第二预测图像与所述样本图像的相似度增大。
17.一种图像处理装置，其特征在于，所述装置包括：
确定模块，用于基于第一图像空间的第一尺度和第二图像空间的第二尺度，确定空间变换特征，所述空间变换特征表示属于所述第一图像空间的任一图像变换至所述第二图像空间时的空间变换情况，所述第二尺度大于所述第一尺度，且所述第二图像空间的分辨率高于所述第一图像空间的分辨率；
上采样模块，用于对属于所述第一图像空间的第一图像对应的第一图像特征进行尺度上采样，得到属于所述第二尺度的第二图像特征；
特征变换模块，用于基于所述空间变换特征，对所述第二图像特征进行变换，得到第三图像特征；
图像重建模块，用于对所述第三图像特征进行重建，得到属于所述第二图像空间的第二图像。
18.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行以实现如权利要求1至16任一权利要求所述的图像处理方法所执行的操作。
19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现如权利要求1至16任一权利要求所述的图像处理方法所执行的操作。
20.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至16任一权利要求所述的图像处理方法所执行的操作。
CN202210774202.6A 2022-07-01 2022-07-01 图像处理方法、装置、计算机设备及存储介质 Pending CN117391948A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210774202.6A CN117391948A (zh) 2022-07-01 2022-07-01 图像处理方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210774202.6A CN117391948A (zh) 2022-07-01 2022-07-01 图像处理方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN117391948A true CN117391948A (zh) 2024-01-12

Family

ID=89470795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210774202.6A Pending CN117391948A (zh) 2022-07-01 2022-07-01 图像处理方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN117391948A (zh)

Similar Documents

Publication Publication Date Title
CN113240580B (zh) 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
CN111488865B (zh) 图像优化方法、装置、计算机存储介质以及电子设备
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨***
CN112614110B (zh) 评估图像质量的方法、装置及终端设备
CN112989085A (zh) 图像处理方法、装置、计算机设备及存储介质
CN116580257A (zh) 特征融合模型训练及样本检索方法、装置和计算机设备
CN112115900B (zh) 图像处理方法、装置、设备及存储介质
CN112750201A (zh) 三维重建方法及相关装置、设备
US20230153965A1 (en) Image processing method and related device
CN115131218A (zh) 图像处理方法、装置、计算机可读介质及电子设备
KR20220070505A (ko) 미세 구조 마스크를 사용한 다중 스케일 인자 이미지 슈퍼 해상도
CN116797768A (zh) 全景图像减少现实的方法和装置
CN117576248B (zh) 基于姿态引导的图像生成方法和装置
CN116563682A (zh) 一种基于深度霍夫网络的注意力方案和条带卷积语义线检测的方法
WO2022213623A1 (zh) 图像生成、三维人脸模型生成的方法、装置、电子设备及存储介质
CN114926734A (zh) 基于特征聚合和注意融合的固体废弃物检测装置及方法
CN115115724A (zh) 图像处理方法、装置、计算机设备及存储介质
CN114549556A (zh) 一种图像分割的方法、相关装置、设备以及存储介质
CN114529793A (zh) 一种基于门控循环特征融合的深度图像修复***及方法
CN116912148B (zh) 图像增强方法、装置、计算机设备及计算机可读存储介质
CN117292117A (zh) 一种基于注意力机制的小目标检测方法
CN110866866A (zh) 图像仿色处理方法、装置、电子设备及存储介质
CN113298931B (zh) 一种物体模型的重建方法、装置、终端设备和存储介质
CN115760807A (zh) 一种视网膜眼底图像配准方法及***
CN115311152A (zh) 图像处理方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination