CN110084775A - 图像处理方法及装置、电子设备和存储介质 - Google Patents

图像处理方法及装置、电子设备和存储介质 Download PDF

Info

Publication number
CN110084775A
CN110084775A CN201910385228.XA CN201910385228A CN110084775A CN 110084775 A CN110084775 A CN 110084775A CN 201910385228 A CN201910385228 A CN 201910385228A CN 110084775 A CN110084775 A CN 110084775A
Authority
CN
China
Prior art keywords
image
navigational
network
subgraph
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910385228.XA
Other languages
English (en)
Other versions
CN110084775B (zh
Inventor
任思捷
王州霞
张佳维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN201910385228.XA priority Critical patent/CN110084775B/zh
Publication of CN110084775A publication Critical patent/CN110084775A/zh
Priority to PCT/CN2020/086812 priority patent/WO2020224457A1/zh
Priority to SG11202012590SA priority patent/SG11202012590SA/en
Priority to KR1020207037906A priority patent/KR102445193B1/ko
Priority to JP2020570118A priority patent/JP2021528742A/ja
Priority to TW109115181A priority patent/TWI777162B/zh
Priority to US17/118,682 priority patent/US20210097297A1/en
Application granted granted Critical
Publication of CN110084775B publication Critical patent/CN110084775B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本公开涉及一种图像处理方法及装置、电子设备和存储介质，所述方法包括：获取第一图像；获取所述第一图像的至少一个引导图像，所述引导图像包括所述第一图像中的目标对象的引导信息；基于所述第一图像的至少一个引导图像对所述第一图像进行引导重构，得到重构图像。本公开实施例可以提高重构图像的清晰度。

Description

图像处理方法及装置、电子设备和存储介质
技术领域
本公开涉及计算机视觉技术领域，尤其涉及一种图像处理方法及装置、电子设备和存储介质。
背景技术
相关技术中，由于拍摄环境或者摄像设备的配置等因素，获取的图像中会存在质量较低的情况，通过这些图像很难实现人脸检测或者其他类型的目标检测，通常可以通过一些模型或者算法来重建这些图像。大部分重建较低像素的图像的方法很少考虑图像严重退化的影响，一旦有噪声和模糊混入，原有的模型就不适用。而且退化变得很严重时，即使加入噪声和模糊重新训练模型，依然难以恢复出清晰图像。
发明内容
本公开提出了一种图像处理的技术方案。
根据本公开的一方面，提供了一种图像处理方法，其包括：获取第一图像；获取所述第一图像的至少一个引导图像，所述引导图像包括所述第一图像中的目标对象的引导信息；基于所述第一图像的至少一个引导图像对所述第一图像进行引导重构，得到重构图像。基于上述配置，可以实现通过引导图像执行第一图像的重构，即使第一图像为退化严重的情况，由于引导图像的融合，也能重建出清晰的重构图像，具有更好的重构效果。
在一些可能的实施方式中，所述获取所述第一图像的至少一个引导图像，包括：获取所述第一图像的描述信息；基于所述第一图像的描述信息确定与所述目标对象的至少一个目标部位匹配的引导图像。基于上述配置，可以根据不同的描述信息得到不同目标部位引导图像，而且基于描述信息可以提供更为精确的引导图像。
在一些可能的实施方式中，所述基于所述第一图像的至少一个引导图像对所述第一图像进行引导重构，得到重构图像，包括：利用所述第一图像中所述目标对象的当前姿态，对所述至少一个引导图像执行仿射变换，得到所述当前姿态下与所述引导图像对应的仿射图像；基于所述至少一个引导图像中与所述目标对象匹配的至少一个目标部位，从所述引导图像对应的仿射图像中提取所述至少一个目标部位的子图像；基于提取的所述子图像和所述第一图像得到所述重构图像。基于上述配置，可以根据第一图像中目标对象的姿态调整引导图像中对象的姿态，从而使得引导图像内与目标对象匹配的部位可以调整成目标对象的姿态形式，在执行重构时，能够提高重构精度。
在一些可能的实施方式中，所述基于提取的所述子图像和所述第一图像得到所述重构图像，包括：利用提取的所述子图像替换所述第一图像中与所述子图像中目标部位对应的部位，得到所述重构图像，或者对所述子图像和所述第一图像进行卷积处理，得到所述重构图像。基于上述配置，可以提供不同方式的重构手段，具有重构方便且精度高的特点。
在一些可能的实施方式中，所述基于所述第一图像的至少一个引导图像对所述第一图像进行引导重构，得到重构图像，包括：对所述第一图像执行超分图像重建处理，得到第二图像，所述第二图像的分辨率高于所述第一图像的分辨率；利用所述第二图像中所述目标对象的当前姿态，对所述至少一个引导图像执行仿射变换，得到所述当前姿态下与所述引导图像对应的仿射图像；基于所述至少一个引导图像中与所述对象匹配的至少一个目标部位，从所述引导图像对应的仿射图像中提取所述至少一个目标部位的子图像；基于提取的所述子图像和所述第二图像得到所述重构图像。基于上述配置，可以通过超分重建处理提高第一图像的清晰度，得到第二图像，再根据第二图像执行引导图像的仿射变化，由于第二图像的分辨率高于第一图像，在执行仿射变换以及后续的重构处理时，可以进一步提高重构图像的精度。
在一些可能的实施方式中，所述基于提取的所述子图像和所述第二图像得到所述重构图像，包括：利用提取的所述子图像替换所述第二图像中与所述子图像中目标部位对应的部位，得到所述重构图像，或者基于所述子图像和所述第二图像进行卷积处理，得到所述重构图像。基于上述配置，可以提供不同方式的重构手段，具有重构方便且精度高的特点。
在一些可能的实施方式中，所述方法还包括：利用所述重构图像执行身份识别，确定与所述对象匹配的身份信息。基于上述配置，由于重构图像与第一图像相比，大大提升了清晰度以及具有更丰富的细节信息，基于重构图像执行身份识别，可以快速且精确得到识别结果。
在一些可能的实施方式中，通过第一神经网络执行所述对所述第一图像执行超分图像重建处理，得到所述第二图像，所述方法还包括训练所述第一神经网络的步骤，其包括：获取第一训练图像集，所述第一训练图像集包括多个第一训练图像，以及与所述第一训练图像对应的第一监督数据；将所述第一训练图像集中的至少一个第一训练图像输入至所述第一神经网络执行所述超分图像重建处理，得到所述第一训练图像对应的预测超分图像；将所述预测超分图像分别输入至第一对抗网络、第一特征识别网络以及第一图像语义分割网络，得到针对所述预测超分图像的辨别结果、特征识别结果以及图像分割结果；根据所述预测超分图像的辨别结果、特征识别结果、图像分割结果得到第一网络损失，基于所述第一网络损失反向调节所述第一神经网络的参数，直至满足第一训练要求。基于上述配置，可以基于对抗网络、特征识别网络以及语义分割网络辅助训练第一神经网络，在提高神经网络精度的前提下，还能够实现第一神经网络对图像的各部分细节的精确识别。
在一些可能的实施方式中，所述根据所述第一训练图像对应的预测超分图像的辨别结果、特征识别结果、图像分割结果得到第一网络损失，包括：基于所述第一训练图像对应的预测超分图像和所述第一监督数据中与所述第一训练图像对应的第一标准图像，确定第一像素损失；基于所述预测超分图像的辨别结果，以及所述第一对抗网络对所述第一标准图像的辨别结果，得到第一对抗损失；基于所述预测超分图像和所述第一标准图像的非线性处理，确定第一感知损失；基于所述预测超分图像的特征识别结果和所述第一监督数据中的第一标准特征，得到第一热力图损失；基于所述预测超分图像的图像分割结果和所述第一监督数据中与第一训练样本对应的第一标准分割结果，得到第一分割损失；利用所述第一对抗损失、第一像素损失、第一感知损失、第一热力图损失和第一分割损失的加权和，得到所述第一网络损失。基于上述配置，由于提供了不同的损失，结合各损失可以提高神经网络的精度。
在一些可能的实施方式中，通过第二神经网络执行所述引导重构，得到所述重构图像，所述方法还包括训练所述第二神经网络的步骤，其包括：获取第二训练图像集，所述第二训练图像集包括第二训练图像、所述第二训练图像对应的引导训练图像和第二监督数据；利用所述第二训练图像对所述引导训练图像进行仿射变换得到训练仿射图像，并将所述训练仿射图像和所述第二训练图像输入至所述第二神经网络，对所述第二训练图像执行引导重构，得到所述第二训练图像的重构预测图像；将所述重构预测图像分别输入至第二对抗网络、第二特征识别网络以及第二图像语义分割网络，得到针对所述重构预测图像的辨别结果、特征识别结果以及图像分割结果；根据所述重构预测图像的辨别结果、特征识别结果、图像分割结果得到所述第二神经网络的第二网络损失，并基于所述第二网络损失反向调节所述第二神经网络的参数，直至满足第二训练要求。基于上述配置，可以基于对抗网络、特征识别网络以及语义分割网络辅助训练第二神经网络，在提高神经网络精度的前提下，还能够实现第二神经网络对图像的各部分细节的精确识别。
在一些可能的实施方式中，所述根据所述训练图像对应的重构预测图像的辨别结果、特征识别结果、图像分割结果得到所述第二神经网络的第二网络损失，包括：基于所述第二训练图像对应的重构预测图像的辨别结果、特征识别结果以及图像分割结果得到全局损失和局部损失；基于所述全局损失和局部损失的加权和得到所述第二网络损失。基于上述配置，由于提供了不同的损失，结合各损失可以提高神经网络的精度。
在一些可能的实施方式中，基于所述训练图像对应的重构预测图像的辨别结果、特征识别结果以及图像分割结果得到全局损失，包括：基于所述第二训练图像对应的重构预测图像和所述第二监督数据中与所述第二训练图像对应的第二标准图像，确定第二像素损失；基于所述重构预测图像的辨别结果，以及所述第二对抗网络对所述第二标准图像的辨别结果，得到第二对抗损失；基于所述重构预测图像和所述第二标准图像的非线性处理，确定第二感知损失；基于所述重构预测图像的特征识别结果和所述第二监督数据中的第二标准特征，得到第二热力图损失；基于所述重构预测图像的图像分割结果和所述第二监督数据中的第二标准分割结果，得到第二分割损失；利用所述第二对抗损失、第二像素损失、第二感知损失、第二热力图损失和第二分割损失的加权和，得到所述全局损失。基于上述配置，由于提供了不同的损失，结合各损失可以提高神经网络的精度。
在一些可能的实施方式中，基于所述训练图像对应的重构预测图像的辨别结果、特征识别结果以及图像分割结果得到局部损失，包括：提取所述重构预测图像中至少一个部位的部位子图像，将至少一个部位的部位子图像分别输入至对抗网络、特征识别网络以及图像语义分割网络，得到所述至少一个部位的部位子图像的辨别结果、特征识别结果以及图像分割结果；基于所述至少一个部位的部位子图像的辨别结果，以及所述第二对抗网络对所述第二标准图像中所述至少一个部位的部位子图像的辨别结果，确定所述至少一个部位的第三对抗损失；基于所述至少一个部位的部位子图像的特征识别结果和所述第二监督数据中所述至少一个部位的标准特征，得到至少一个部位的第三热力图损失；基于所述至少一个部位的部位子图像的图像分割结果和所述第二监督数据中所述至少一个部位的标准分割结果，得到至少一个部位的第三分割损失；利用所述至少一个部位的第三对抗损失、第三热力图损失和第三分割损失的加和，得到所述网络的局部损失。基于上述配置，可以基于各部位的细节损失，进一步提高神经网络的精度。
根据本公开的第二方面，提供了一种图像处理装置，其包括：第一获取模块，其用于获取第一图像；第二获取模块，其用于获取所述第一图像的至少一个引导图像，所述引导图像包括所述第一图像中的目标对象的引导信息；重构模块，其用于基于所述第一图像的至少一个引导图像对所述第一图像进行引导重构，得到重构图像。基于上述配置，可以实现通过引导图像执行第一图像的重构，即使第一图像为退化严重的情况，由于引导图像的融合，也能重建出清晰的重构图像，具有更好的重构效果。
在一些可能的实施方式中，所述第二获取模块还用于获取所述第一图像的描述信息；基于所述第一图像的描述信息确定与所述目标对象的至少一个目标部位匹配的引导图像。基于上述配置，可以根据不同的描述信息得到不同目标部位引导图像，而且基于描述信息可以提供更为精确的引导图像。
在一些可能的实施方式中，所述重构模块包括：仿射单元，其用于利用所述第一图像中所述目标对象的当前姿态，对所述至少一个引导图像执行仿射变换，得到所述当前姿态下与所述引导图像对应的仿射图像；提取单元，其用于基于所述至少一个引导图像中与所述目标对象匹配的至少一个目标部位，从所述引导图像对应的仿射图像中提取所述至少一个目标部位的子图像；重构单元，其用于基于提取的所述子图像和所述第一图像得到所述重构图像。基于上述配置，可以根据第一图像中目标对象的姿态调整引导图像中对象的姿态，从而使得引导图像内与目标对象匹配的部位可以调整成目标对象的姿态形式，在执行重构时，能够提高重构精度。
在一些可能的实施方式中，所述重构单元还用于利用提取的所述子图像替换所述第一图像中与所述子图像中目标部位对应的部位，得到所述重构图像，或者对所述子图像和所述第一图像进行卷积处理，得到所述重构图像。基于上述配置，可以提供不同方式的重构手段，具有重构方便且精度高的特点。
在一些可能的实施方式中，所述重构模块包括：超分单元，其用于对所述第一图像执行超分图像重建处理，得到第二图像，所述第二图像的分辨率高于所述第一图像的分辨率；仿射单元，其用于利用所述第二图像中所述目标对象的当前姿态，对所述至少一个引导图像执行仿射变换，得到所述当前姿态下与所述引导图像对应的仿射图像；提取单元，其用于基于所述至少一个引导图像中与所述对象匹配的至少一个目标部位，从所述引导图像对应的仿射图像中提取所述至少一个目标部位的子图像；重构单元，其用于基于提取的所述子图像和所述第二图像得到所述重构图像。基于上述配置，可以通过超分重建处理提高第一图像的清晰度，得到第二图像，再根据第二图像执行引导图像的仿射变化，由于第二图像的分辨率高于第一图像，在执行仿射变换以及后续的重构处理时，可以进一步提高重构图像的精度。
在一些可能的实施方式中，所述重构单元还用于利用提取的所述子图像替换所述第二图像中与所述子图像中目标部位对应的部位，得到所述重构图像，或者基于所述子图像和所述第二图像进行卷积处理，得到所述重构图像。基于上述配置，可以提供不同方式的重构手段，具有重构方便且精度高的特点。
在一些可能的实施方式中，所述装置还包括：身份识别单元，其用于利用所述重构图像执行身份识别，确定与所述对象匹配的身份信息。基于上述配置，由于重构图像与第一图像相比，大大提升了清晰度以及具有更丰富的细节信息，基于重构图像执行身份识别，可以快速且精确得到识别结果。
在一些可能的实施方式中，所述超分单元包括第一神经网络，所述第一神经网络用于执行所述对所述第一图像执行超分图像重建处理；并且所述装置还包括第一训练模块，其用于训练所述第一神经网络，其中训练所述第一神经网络的步骤包括：获取第一训练图像集，所述第一训练图像集包括多个第一训练图像，以及与所述第一训练图像对应的第一监督数据；将所述第一训练图像集中的至少一个第一训练图像输入至所述第一神经网络执行所述超分图像重建处理，得到所述第一训练图像对应的预测超分图像；将所述预测超分图像分别输入至第一对抗网络、第一特征识别网络以及第一图像语义分割网络，得到针对所述预测超分图像的辨别结果、特征识别结果以及图像分割结果；根据所述预测超分图像的辨别结果、特征识别结果、图像分割结果得到第一网络损失，基于所述第一网络损失反向调节所述第一神经网络的参数，直至满足第一训练要求。基于上述配置，可以基于对抗网络、特征识别网络以及语义分割网络辅助训练第一神经网络，在提高神经网络精度的前提下，还能够实现第一神经网络对图像的各部分细节的精确识别。
在一些可能的实施方式中，所述第一训练模块用于基于所述第一训练图像对应的预测超分图像和所述第一监督数据中与所述第一训练图像对应的第一标准图像，确定第一像素损失；基于所述预测超分图像的辨别结果，以及所述第一对抗网络对所述第一标准图像的辨别结果，得到第一对抗损失；基于所述预测超分图像和所述第一标准图像的非线性处理，确定第一感知损失；基于所述预测超分图像的特征识别结果和所述第一监督数据中的第一标准特征，得到第一热力图损失；基于所述预测超分图像的图像分割结果和所述第一监督数据中与第一训练样本对应的第一标准分割结果，得到第一分割损失；利用所述第一对抗损失、第一像素损失、第一感知损失、第一热力图损失和第一分割损失的加权和，得到所述第一网络损失。基于上述配置，由于提供了不同的损失，结合各损失可以提高神经网络的精度。
在一些可能的实施方式中，所述重构模块包括第二神经网络，所述第二神经网络用于执行所述引导重构，得到所述重构图像；并且所述装置还包括第二训练模块，其用于训练所述第二神经网络，其中训练所述第二神经网络的步骤包括：获取第二训练图像集，所述第二训练图像集包括第二训练图像、所述第二训练图像对应的引导训练图像和第二监督数据；利用所述第二训练图像对所述引导训练图像进行仿射变换得到训练仿射图像，并将所述训练仿射图像和所述第二训练图像输入至所述第二神经网络，对所述第二训练图像执行引导重构，得到所述第二训练图像的重构预测图像；将所述重构预测图像分别输入至第二对抗网络、第二特征识别网络以及第二图像语义分割网络，得到针对所述重构预测图像的辨别结果、特征识别结果以及图像分割结果；根据所述重构预测图像的辨别结果、特征识别结果、图像分割结果得到所述第二神经网络的第二网络损失，并基于所述第二网络损失反向调节所述第二神经网络的参数，直至满足第二训练要求。基于上述配置，可以基于对抗网络、特征识别网络以及语义分割网络辅助训练第二神经网络，在提高神经网络精度的前提下，还能够实现第二神经网络对图像的各部分细节的精确识别。
在一些可能的实施方式中，所述第二训练模块还用于基于所述第二训练图像对应的重构预测图像的辨别结果、特征识别结果以及图像分割结果得到全局损失和局部损失；基于所述全局损失和局部损失的加权和得到所述第二网络损失。基于上述配置，由于提供了不同的损失，结合各损失可以提高神经网络的精度。
在一些可能的实施方式中，所述第二训练模块还用于基于所述第二训练图像对应的重构预测图像和所述第二监督数据中与所述第二训练图像对应的第二标准图像，确定第二像素损失；基于所述重构预测图像的辨别结果，以及所述第二对抗网络对所述第二标准图像的辨别结果，得到第二对抗损失；基于所述重构预测图像和所述第二标准图像的非线性处理，确定第二感知损失；基于所述重构预测图像的特征识别结果和所述第二监督数据中的第二标准特征，得到第二热力图损失；基于所述重构预测图像的图像分割结果和所述第二监督数据中的第二标准分割结果，得到第二分割损失；利用所述第二对抗损失、第二像素损失、第二感知损失、第二热力图损失和第二分割损失的加权和，得到所述全局损失。基于上述配置，由于提供了不同的损失，结合各损失可以提高神经网络的精度。
在一些可能的实施方式中，所述第二训练模块还用于：提取所述重构预测图像中至少一个部位的部位子图像，将至少一个部位的部位子图像分别输入至对抗网络、特征识别网络以及图像语义分割网络，得到所述至少一个部位的部位子图像的辨别结果、特征识别结果以及图像分割结果；基于所述至少一个部位的部位子图像的辨别结果，以及所述第二对抗网络对所述第二训练图像对应的第二标准图像中所述至少一个部位的部位子图像的辨别结果，确定所述至少一个部位的第三对抗损失；基于所述至少一个部位的部位子图像的特征识别结果和所述第二监督数据中所述至少一个部位的标准特征，得到至少一个部位的第三热力图损失；基于所述至少一个部位的部位子图像的图像分割结果和所述第二监督数据中所述至少一个部位的标准分割结果，得到至少一个部位的第三分割损失；利用所述至少一个部位的第三对抗损失、第三热力图损失和第三分割损失的加和，得到所述网络的局部损失。基于上述配置，可以基于各部位的细节损失，进一步提高神经网络的精度。
根据本公开的第三方面，提供了一种电子设备，其包括：
处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行第一方面中任意一项所述的方法。
根据本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现第一方面中任意一项所述的方法。
在本公开实施例中，可以利用至少一个引导图像执行第一图像的重构处理，由于引导图像中包括第一图像的细节信息，得到的重构图像相对于第一图像提高了清晰度，即使在第一图像退化严重的情况，也能通过融合引导图像，生成清晰的重构图像，即本公开能够结合多个引导图像方便的执行图像的重构得到清晰图像。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1示出根据本公开实施例的一种图像处理方法的流程图；
图2示出根据本公开实施例的一种图像处理方法中步骤S20的流程图；
图3示出根据本公开实施例的一种图像处理方法中步骤S30的流程图；
图4示出根据本公开实施例的一种图像处理方法中步骤S30的另一流程图；
图5示出根据本公开实施例一种图像处理方法的过程示意图；
图6示出根据本公开实施例训练第一神经网络的流程图；
图7示出根据本公开实施例中训练第一神经网络的结构示意图；
图8示出根据本公开实施例训练第二神经网络的流程图；
图9示出根据本公开实施例的一种图像处理装置的框图；
图10示出根据本公开实施例的一种电子设备的框图；
图11示出根据本公开实施例的另一种电子设备的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。
此外，本公开还提供了图像处理装置、电子设备、计算机可读存储介质、程序，上述均可用来实现本公开提供的任一种图像处理方法，相应技术方案和描述和参见方法部分的相应记载，不再赘述。
图1示出根据本公开实施例的一种图像处理方法的流程图，如图1所示，所述图像处理方法，可以包括：
S10：获取第一图像；
本公开实施例中图像处理方法的执行主体可以是图像处理装置，例如，图像处理方法可以由终端设备或服务器或其它处理设备执行，其中，终端设备可以为用户设备(UserEquipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(PersonalDigital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。服务器可以为本地服务器或者云端服务器，在一些可能的实现方式中，该图像处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。只要能够实现图像处理，即可以作为本公开实施例的图像处理方法的执行主体。
在一些可能的实施方式中，首先可以获得待处理的图像对象，即第一图像，本公开实施例中的第一图像可以为分辨率相对较低，图像质量较差的图像，通过本公开实施例的方法可以提高第一图像的分辨率，得到清晰的重构图像。另外，第一图像中可以包括目标类型的目标对象，例如本公开实施例中的目标对象可以为人脸对象，即通过本公开实施例可以实现人脸图像的重构，从而可以方便的识别出第一图像中的人物信息。在其他实施例中，目标对象也可以为其他类型，如动物、植物或者其他物体等等。
另外，本公开实施例获取第一图像的方式可以包括以下方式中的至少一种：接收传输的第一图像、基于接收的选择指令从存储空间中选择第一图像、获取图像采集设备采集的第一图像。其中，存储空间可以为本地的存储地址，也可以为网络中的存储地址。上述仅为示例性说明，不作为本公开获取第一图像的具体限定。
S20：获取所述第一图像的至少一个引导图像，所述引导图像包括所述第一图像中的目标对象的引导信息；
在一些可能的实施方式中，第一图像可以配置有相应的至少一个引导图像。引导图像中包括所述第一图像中的目标对象的引导信息，例如可以包括目标对象的至少一个目标部位的引导信息。如在目标对象为人脸时，引导图像可以包括与目标对象的身份匹配的人物的至少一个部位的图像，如眼睛、鼻子、眉毛、唇部、脸型、头发等至少一个目标部位的图像。或者，也可以为服饰或者其他部位的图像，本公开对此不作具体限定，只要能够用于重构第一图像，就可以作为本公开实施例的引导图像。另外，本公开实施例中的引导图像为高分辨率的图像，从而可以增加重构图像的清晰度和准确度。
在一些可能的实施方式中，可以直接从其他设备接收与第一图像匹配的引导图像，也可以根据获得的关于目标对象的描述信息得到引导图像。其中，描述信息可以包括目标对象的至少一种特征信息，如在目标对象为人脸对象时，描述信息可以包括：关于人脸对象的至少一种目标部位的特征信息，或者描述信息也可以直接包括第一图像中的目标对象的整体描述信息，例如该目标对象为某一已知身份的对象的描述信息。通过描述信息可以确定第一图像的目标对象的至少一个目标部位的相似图像或者确定包括与第一图像中的对象相同的对象的图像，该得到的各相似图像或者包括相同对象的图像即可以作为引导图像。
在一个示例中，可以将一个或多个目击证人提供的嫌疑人的信息作为描述信息，基于描述信息形成至少一个引导图像。同时结合摄像头或者其他途径得到的嫌疑人的第一图像，利用各引导对该第一图像重构，得到嫌疑人的清晰画像。
S30：基于所述第一图像的至少一个引导图像对所述第一图像进行引导重构，得到重构图像
在得到第一图像对应的至少一个引导图像之后，即可以根据得到的至少一个图像执行第一图像的重构。由于引导图像中包括第一图像中目标对象的至少一个目标部位的引导信息，可以根据该引导信息引导重构第一图像。而且即使第一图像为退化严重的图像的情况下，也能够结合引导信息重构出更为清晰的重构图像。
在一些可能的实施方式中，可以直接将相应目标部位的引导图像替换到第一图像中，得到重构图像。例如，在引导图像包括眼睛部分的引导图像时，可以将该眼睛部分的引导图像替换到第一图像中，在引导图像包括眼睛部分的引导图像时，可以将该眼睛部分的引导图像替换到第一图像。通过该种方式可以直接将对应的引导图像替换到第一图像中，完成图像重构。该方式具有简单方便的特点，可以方便的将多个引导图像的引导信息整合到第一图像中，实现第一图像的重构，由于引导图像为清晰图像，得到的重构图像也为清晰图像。
在一些可能的实施方式中，也可以基于引导图像和第一图像的卷积处理得到重构图像。
在一些可能的实施方式中，由于得到的第一图像中的目标对象的引导图像的对象的姿态与第一图像中目标对象的姿态可能不同，此时需要将各引导图像与第一图像对齐(warp)。即将引导图像中对象的姿态调整成与第一图像中目标对象的姿态一致，而后利用调整姿态后的引导图像执行第一图像的重构处理，通过该过程得到的重构图像的准确度会提高。
基于上述实施例，本公开实施例可以方便的基于第一图像的至少一个引导图像实现第一图像的重构，得到的重构图像能够融合各引导图像的引导信息，具有较高的清晰度。
下面结合附图对本公开实施例的各过程进行详细说明。
图2示出根据本公开实施例的一种图像处理方法中步骤S20的流程图，其中，所述获取所述第一图像的至少一个引导图像(步骤S20)，包括：
S21：获取所述第一图像的描述信息；
如上述所述，第一图像的描述信息可以包括第一图像中的目标对象的至少一个目标部位的特征信息(或者特征描述信息)。例如，在目标对象为人脸的情况下，描述信息可以包括：目标对象的眼睛、鼻子、唇、耳朵、面部、肤色、头发、眉毛等至少一种目标部位的特征信息，例如描述信息可以为眼睛像A(已知的一个对象)的眼睛、眼睛的形状、鼻子的形状、鼻子像B(已知的一个对象)的鼻子，等等，或者描述信息也可以直接包括第一图像中的目标对象整体像C(已知的一个对象)的描述。或者，描述信息也可以包括第一图像中的对象的身份信息，身份信息可以包括姓名、年龄、性别等可以用于确定对象的身份的信息。上述仅为示例性的说明描述信息，不作为本公开描述信息的限定，其他与对象有关的信息都可以作为描述信息。
在一些可能的实施方式中，获取描述信息的方式可以包括以下方式中的至少一种：接收通过输入组件输入的描述信息和/或接收具有标注信息的图像(标注信息所标注的部分为与第一图像中的目标对象相匹配的目标部位)。在其他实施方式中也可以通过其他方式接收描述信息，本公开对此不作具体限定。
S22：基于所述第一图像的描述信息确定与所述对象的至少一个目标部位匹配的引导图像。
在得到描述信息之后，即可以根据描述信息确定与第一图像中的对象匹配的引导图像。其中，在描述信息包括所述对象的至少一个目标部位的描述信息时，可以基于各目标部位的描述信息确定相匹配的引导图像，例如，描述信息中包括对象的眼睛像A(已知的一个对象)的眼睛，即可以从数据库中获得对象A的图像，作为对象的眼睛部位的引导图像，或者描述信息中包括对象的鼻子像B(已知的一个对象)的鼻子，即可以从数据库中获得对象B的图像，作为对象的鼻子部位的引导图像，或者，描述信息也可以包括对象的眉毛为浓眉，则可以在数据库中选择出与浓眉对应的图像，将该浓眉图像确定为对象的眉毛引导图像，依次类推，可以基于获取的图像信息确定第一图像中的对象的至少一个部位的引导图像。其中，数据库中可以包括多种对象的至少一个图像，从而可以方便基于描述信息确定相应的引导图像。
在一些可能的实施方式中，描述信息中也可以包括关于第一图像中的对象A的身份信息，此时可以基于该身份信息从数据库中选择出与该身份信息匹配的图像作为引导图像。
通过上述配置，即可以基于描述信息确定出与第一图像中的对象的至少一个目标部位相匹配的引导图像，结合引导图像对图像进行重构可以提高获取的图像的精确度。
在得到引导图像之后，即可以根据引导图像执行图像的重构过程，除了可以将引导图像直接替换到第一图像的相应目标部位之外，本公开实施例还可以在对引导图像执行仿射变换之后，在执行替换或者卷积，来得到重构图像。
图3示出根据本公开实施例的一种图像处理方法中步骤S30的流程图，其中，所述基于所述第一图像的至少一个引导图像对所述第一图像进行引导重构，得到重构图像(步骤S30)，可以包括：
S31：利用所述第一图像中所述目标对象的当前姿态，对所述至少一个引导图像执行仿射变换，得到所述当前姿态下与所述引导图像对应的仿射图像；
在一些可能的实施方式中，由于得到的关于第一图像中的对象的引导图像的对象的姿态与第一图像中对象的姿态可能不同，此时需要将各引导图像与第一图像对齐，即使得引导图像中的对象的姿态与第一图像中的目标对象的姿态相同。
本公开实施例可以利用仿射变换的方式，对引导图像执行仿射变换，仿射变换后的引导图像(即仿射图像)中的对象的姿态与第一图像中的目标对象的姿态相同。例如，第一图像中的对象为正面图像时，可以将引导图像中的各对象通过仿射变换的方式调整为正面图像。其中，可以利用第一图像中的关键点位置和引导图像中的关键点位置差异进行仿射变换，使得引导图像和第二图像在空间上对齐。例如可以通过对引导图像的偏转、平移、补全、删除的方式得到与第一图像中的对象的姿态相同的仿射图像。对于仿射变换的过程在此不作具体限定，可以通过现有技术手段实现。
通过上述配置，可以得到与第一图像中的姿态相同的至少一个仿射图像(每个引导图像在经仿射处理后得到一个仿射图像)，实现仿射图像与第一图像的对齐(warp)。
S32：基于所述至少一个引导图像中与所述目标对象匹配的至少一个目标部位，从引导图像对应的的仿射图像中提取所述至少一个目标部位的子图像；
由于得到的引导图像为与第一图像中的至少一个目标部位匹配的图像，在经过仿射变换得到与各引导图像对应的仿射图像之后，可以基于每个引导图像对应的引导部位(与对象所匹配的目标部位)，从仿射图像中提取该引导部位的子图像，即从仿射图像中分割出与第一图像中的对象匹配的目标部位的子图像。例如，在一引导图像中与对象所匹配的目标部位为眼睛时，可以从该引导图像对应的仿射图像中提取出眼睛部位的子图像。通过上述方式即可以得到与第一图像中对象的至少一个部位匹配的子图像。
S33：基于提取的所述子图像和所述第一图像得到所述重构图像。
在得到目标对象的至少一个目标部位的子图像之后，可以利用得到的子图像和第一图像进行图像重构，得到重构图像。
在一些可能的实施方式中，由于每个子图像可以与第一图像的对象中的至少一个目标部位相匹配，可以将子图像中相匹配的部位的图像替换到第一图像中的相应部位，例如，在子图像的眼睛与对象相匹配时，可以将子图像中的眼睛的图像区域替换到第一图像中的眼睛部位，在子图像的鼻子与对象相匹配时，可以将子图像中的鼻子的图像区域替换到第一图像中的眼睛部位，依次类推可以利用提取的子图像中与对象相匹配的部位的图像替换第一图像中的相应部位，最终可以得到重构图像。
或者，在一些可能的实施方式中，也可以基于所述子图像和所述第一图像的卷积处理，得到所述重构图像。
其中，可以将各子图像与第一图像输入至卷积神经网络，执行至少一次卷积处理，实现图像特征融合，最终得到融合特征，基于该融合特征即可以得到融合特征对应的重构图像。
通过上述方式，即可以实现第一图像的分辨率的提高，同时得到清晰的重构图像。
在本公开的另一些实施例中，为了进一步提高重构图像的图像精度和清晰度，也可以对第一图像进行超分处理，得到比第一图像的分辨率高的第二图像，并利用第二图像执行图像重构得到重构图像。图4示出根据本公开实施例的一种图像处理方法中步骤S30的另一流程图，其中，所述基于所述第一图像的至少一个引导图像对所述第一图像进行引导重构，得到重构图像(步骤S30)，还可以包括：
S301：对所述第一图像执行超分图像重建处理，得到第二图像，所述第二图像的分辨率高于所述第一图像的分辨率；
在一些可能的实施方式中，在得到第一图像的情况下，可以对第一图下个像执行图像超分重建处理，得到提高图像分辨率的第二图像。超分图像重建处理可以通过低分辨率图像或图像序列恢复出高分辨率图像。高分辨率图像意味着图像具有更多的细节信息、更细腻的画质。
在一个示例中，执行所述超分图像重建处理可以包括：对第一图像执行线性插值处理，增加图像的尺度：对线性插值得到的图像执行至少一次卷积处理，得到超分重建后的图像，即第二图像。例如可以先将低分辨率的第一图像通过双三次插值处理放大至目标尺寸(如放大至2倍、3倍、4倍)，此时放大后的图像仍为低分辨率的图像，而后将该放大后的图像输入至卷积神经网络，执行至少一次卷积处理，例如输入至三层卷积神经网络，实现对图像的YCrCb颜色空间中的Y通道进行重建，其中神经网络的形式可以为(conv1+relu1)—(conv2+relu2)—(conv3))，其中第一层卷积：卷积核尺寸9×9(f1×f1)，卷积核数目64(n1)，输出64张特征图；第二层卷积：卷积核尺寸1×1(f2×f2)，卷积核数目32(n2)，输出32张特征图；第三层卷积：卷积核尺寸5×5(f3×f3)，卷积核数目1(n3)，输出1张特征图即为最终重建高分辨率图像，即第二图像。上述卷积神经网络的结构仅为示例性说明，本公开对此不作具体限定。
在一些可能的实施方式中，也可以通过第一神经网络实现超分图像重建处理，第一神经网络可以包括SRCNN网络或者SRResNet网络。例如可以将第一图像输入至SRCNN网络(超分卷积神经网络)或者SRResNet网络(超分残差神经网络)，其中SRCNN网络和SRResNet网络的网络结构可以根据现有神经网络结构确定，本公开不作具体限定。通过上述第一神经网络可以输出第二图像，可以得到的第二图像比第一图像的分辨率高。
S302：利用所述第二图像中所述目标对象的当前姿态，对所述至少一个引导图像执行仿射变换，得到所述当前姿态下与所述引导图像对应的仿射图像；
同步骤S31，由于第二图像为相对于第一图像提高了分辨率的图像，第二图像中的目标对象的姿态与引导图像的姿态也可能不同，在执行重构之前可以根据第二图像中的目标对象的姿态对引导图像进行仿射变化，得到与第二图像中目标对象的姿态相同的仿射图像。
S303：基于所述至少一个引导图像中与所述对象匹配的至少一个目标部位，从所述引导图像对应的仿射图像中提取所述至少一个目标部位的子图像；
同步骤S32，由于得到的引导图像为与第二图像中的至少一个目标部位匹配的图像，在经过仿射变换得到与各引导图像对应的仿射图像之后，可以基于每个引导图像对应的引导部位(与对象所匹配的目标部位)，从仿射图像中提取该引导部位的子图像，即从仿射图像中分割出与第一图像中的对象匹配的目标部位的子图像。例如，在一引导图像中与对象所匹配的目标部位为眼睛时，可以从该引导图像对应的仿射图像中提取出眼睛部位的子图像。通过上述方式即可以得到与第一图像中对象的至少一个部位匹配的子图像。
S304：基于提取的所述子图像和所述第二图像得到所述重构图像。
在得到目标对象的至少一个目标部位的子图像之后，可以利用得到的子图像和第二图像进行图像重构，得到重构图像。
在一些可能的实施方式中，由于每个子图像可以与第二图像的对象中的至少一个目标部位相匹配，可以将子图像中相匹配的部位的图像替换到第二图像中的相应部位，例如，在子图像的眼睛与对象相匹配时，可以将子图像中的眼睛的图像区域替换到第一图像中的眼睛部位，在子图像的鼻子与对象相匹配时，可以将子图像中的鼻子的图像区域替换到第二图像中的眼睛部位，依次类推可以利用提取的子图像中与对象相匹配的部位的图像替换第二图像中的相应部位，最终可以得到重构图像。
或者，在一些可能的实施方式中，也可以基于所述子图像和所述第二图像的卷积处理，得到所述重构图像。
其中，可以将各子图像与第二图像输入至卷积神经网络，执行至少一次卷积处理，实现图像特征融合，最终得到融合特征，基于该融合特征即可以得到融合特征对应的重构图像。
通过上述方式，即可以通过超分重建处理进一步实现第一图像的分辨率的提高，同时得到更加清晰的重构图像。
在得到第一图像的重构图像之后，还可以利用该重构图像执行图像中的对象的身份识别。其中，在身份数据库中可以包括多个对象的身份信息，例如也可以包括面部图像以及对象的姓名、年龄、职业等信息。对应的，可以将重构图像与各面部图像进行对比，得到相似度最高且该相似度高于阈值的面部图像则可以确定为与重构图像匹配的对象的面部图像，从而可以确定重构图像中的对象的身份信息。由于重构图像的分辨率和清晰度等质量较高，得到的身份信息的准确度也相对的提高。
为了更加清楚的说明本公开实施例的过程，下面举例说明图像处理方法的过程。
图5示出根据本公开实施例一种图像处理方法的过程示意图。
其中，可以获取第一图像F1(LR低分辨率的图像)，该第一图像F1的分辨率较低，画面质量不高，将该第一图像F1输入至神经网络A(如SRResNet网络)中执行超分像重建处理，得到第二图像F2(coarse SR模糊的超分图像)。
在得到第二图像F2之后，可以基于该第二图像实现图像的重构。其中可以获得第一图像的引导图像F3(guided images)，如可以基于第一图像F1的描述信息得到各引导图像F3，根据第二图像F2中的对象的姿态对引导图像F 3执行仿射变换(warp)得到各仿射图像F4。继而可以根据引导图像对应的部位从仿射图像中提取出相应部位的子图像F5。
而后，根据各子图像F5和第二图像F2得到重构图像，其中可以对子图像F5和第二图像F2执行卷积处理，得到融合额特征，基于该融合特征得到最终的重构图像F6(fine SR清晰的超分图像)。
上述仅为示例性说明图像处理的过程，不作为本公开的具体限定。
另外，在本公开实施例中，本公开实施例的图像处理方法可以利用神经网络实现，例如步骤S201可以利用第一神经网络(如SRCNN或者SRResNet网络)实现超分重建处理，利用第二神经网络(卷积神经网络CNN)实现图像重构处理(步骤S30)，其中图像的仿射变换可以通过相应的算法实现。
图6示出根据本公开实施例训练第一神经网络的流程图。图7示出根据本公开实施例中第一训练神经网络的结构示意图，其中，训练神经网络的过程可以包括：
S51：获取第一训练图像集，所述第一训练图像集包括多个第一训练图像，以及与所述第一训练图像对应的第一监督数据；
在一些可能的实施方式中，训练图像集可以包括多个第一训练图像，该多个第一训练图像可以为分辨率较低的图像，如可以为在昏暗的环境、晃动的情况或者其他影响图像质量的情况下采集的图像，或者也可以为在图像中加入噪声后得到的降低图像分辨率的图像。对应的，第一训练图像集还可以包括与各第一训练图像对应的监督数据，本公开实施例的第一监督数据可以根据损失函数的参数确定。例如可以包括与第一训练图像对应的第一标准图像(清晰图像)、第一标准图像的第一标准特征(各关键点的位置的真实识别特征)、第一标准分割结果(各部位的真实分割结果)等等，在此不作一一举例说明。
现有的大部分重建较低像素人脸(如16*16)的方法很少考虑图像严重退化的影响，如噪声和模糊。一旦有噪声和模糊混入，原有的模型就不适用。退化变得很严重时，即使加入噪声和模糊重新训练模型，依然无法恢复出清晰的五官。本公开在训练第一神经网络或者下述的第二神经网络时，采用的训练图像可以为加入噪声或者严重退化的图像，从而提高神经网络的精度。
S52：将所述第一训练图像集中的至少一个第一训练图像输入至所述第一神经网络执行所述超分图像重建处理，得到所述第一训练图像对应的预测超分图像；
在训练第一神经网络时，可以将第一训练图像集中的图像一起输入至第一神经网络，或者分批次输入至第一神经网络，分别得到各第一训练图像对应的超分重建处理后的预测超分图像。
S53：将所述预测超分图像输入分别输入至第一对抗网络、第一特征识别网络以及第一图像语义分割网络，得到针对所述第一训练图像对应的预测超分图像的辨别结果、特征识别结果以及图像分割结果；
如图7所示，可以结合对抗网络(Discriminator)、关键点检测网络(FAN)以及语义分割网络(parsing)实现第一神经网络训练。其中生成器(Generator)相当于本公开实施例的第一神经网络中。下面以该生成器为执行超分图像重建处理的网络部分的第一神经网络为例进行说明。
将生成器输出的预测超分图像输入至上述对抗网络、特征识别网络以及图像语义分割网络，得到针对所述训练图像对应的预测超分图像的辨别结果、特征识别结果以及图像分割结果。其中辨别结果表示第一对抗网络能否识别出预测超分图像和标注图像的真实性，特征识别结果包括关键点的位置识别结果，以及图像分割结果包括对象的各部位所在的区域。
S54：根据所述预测超分图像的辨别结果、特征识别结果、图像分割结果得到第一网络损失，基于所述第一网络损失反向调节所述第一神经网络的参数，直至满足第一训练要求。
其中，第一训练要求为第一网路损失小于或者第一损失阈值，即在得到的第一网络损失小于第一损失阈值时，即可以停止第一神经网络的训练，此时得到的神经网络具有较高的超分处理精度。第一损失阈值可以为小于1的数值，如可以为0.1，但不作为本公开的具体限定。
在一些可能的实施方式中，可以根据预测超分图像的辨别结果得到对抗损失、可以根据图像分割结果得到分割损失、根据得到的特征识别结果得到热力图损失，以及根据得到的预测超分图像得到相应的像素损失和处理后的感知损失。
具体地，可以基于所述预测超分图像的辨别结果以及第一对抗网络对所述第一监督数据中第一标准图像的辨别结果，得到第一对抗损失。其中，可以利用所述第一训练图像集中各第一训练图像对应的预测超分图像的辨别结果以及第一对抗网络对第一监督数据中与所述第一训练图像对应的第一标准图像的辨别结果，确定该第一对抗损失；其中，对抗损失函数的表达式为：
其中，ladv表示第一对抗损失，表示预测超分图像的辨别结果的期望分布，Pg表示预测超分图像的样本分布，表示第一监督数据与第一训练图像对应的第一标准图像IHR的辨别结果D(IHR)的期望分布，Pr表示标准图像的样本分布，▽表示梯度函数，||||2表示2范数，表示对Pg和Pr构成的直线上进行均匀采样获得的样本分布。
基于上述对抗损失函数的表达式，可以得到对应于预测超分图像的第一对抗损失。
另外，基于所述第一训练图像对应的预测超分图像和所述第一监督数据中的与第一训练图像对应的第一标准图像，可以确定第一像素损失，像素损失函数的表达式为：
lpixel＝||IHR-ISR||2；
其中，lpixel表示第一像素损失，IHR表示与第一训练图像对应的第一标准图像，ISR表示第一训练图像对应的预测超分图像(同上述)，||||2表示范数的平方。
通过上述像素损失函数的表达式可以得到预测超分图像对应的第一像素损失。
另外，基于所述预测超分图像和第一标准图像的非线性处理，可以确定第一感知损失，感知损失函数的表达式为：
其中，lper表示第一感知损失，Ck表示预测超分图像和第一标准图像的通道数，Wk表示预测超分图像和第一标准图像的宽度，Hk表示预测超分图像和第一标准图像的高度，φk表示用于提取图像特征的非线性转换函数(如采用VGG网络中的conv5-3，出自于simonyanand zisserman，2014)。
通过上述感知损失函数的表达式可以得到超分预测图像对应的第一感知损失。
另外，基于所述训练图像对应的预测超分图像的特征识别结果和所述第一监督数据中的第一标准特征，得到第一热力图损失；热力图损失函数的表达式可以为：
其中，lhea表示预测超分图像对应的第一热力图损失，N表示预测超分图像和第一标准图像的标记点(如关键点)个数，n为从1到N的整数变量，i表示行数，j表示列数，表示第n个标签的预测超分图像的第i行第j列的特征识别结果(热图)，第n个标签的第一标准图像的第i行第j列的特征识别结果(热图)。
通过上述热力图损失的表达式可以得到超分预测图像对应的第一热力图损失。
另外，基于所述训练图像对应的预测超分图像的图像分割结果和所述第一监督数据中的第一标准分割结果，得到第一分割损失；其中分割损失函数的表达式为：
其中，lpar表示预测超分图像对应的第一分割损失，M表示预测超分图像和第一标准图像的分割区域的数量，m为从1到M的整数变量，表示预测超分图像中的第m个分割区域，第一标准图像中的第m个图像分割区域。
通过上述分割损失的表达式可以得到超分预测图像对应的第一分割损失。
根据上述得到的第一对抗损失、第一像素损失、第一感知损失、第一热力图损失和第一分割损失的加权和，得到所述第一网络损失。第一网络损失的表达式为：
lcoarse＝αladv+βlpixel+γlper+δlhea+θlpar；
其中，lcoarse表示第一网络损失，α、β、γ、δ和θ分别为第一对抗损失、第一像素损失、第一感知损失、第一热力图损失和第一分割损失的权重。对于权重的取值可以预先设定，本公开对此不作具体限定，例如各权重的加和可以为1，或者权重中至少一个为大于1的值。
通过上述方式可以得到第一神经网络的第一网络损失，在第一网络损失大于第一损失阈值时，则确定为不满足第一训练要求，此时可以反向调整第一神经网络的网络参数，例如卷积参数，并通过该调整参数的第一神经网络继续对训练图像集执行超分图像处理，直到得到的第一网络损失小于或者等于第一损失阈值，即可以判断为满足第一训练要求，并终止神经网络的训练。
上述为第一神经网络的训练过程，在本公开实施例中，也可以通过第二神经网络执行步骤S30的图像重构过程，如第二神经网络可以为卷积神经网络。图8示出根据本公开实施例训练第二神经网络的流程图。其中，训练第二神经网络的过程可以包括：
S61：获取第二训练图像集，所述第二训练图像集包括多个第二训练图像、第二训练图像对应的引导训练图像以及第二监督数据；
在一些可能的实施方式中，第二训练图像集中的第二训练图像可以为上述第一神经网络预测形成的预测超分图像，或者也可以为通过其他方式得到的分辨率相对较低的图像，或者也可以为引入噪声后的图像，本公开对此不作具体限定。
在执行第二神经网络的训练时，也可以为每个训练图像配置至少一个引导训练图像，引导训练图像中包括对应的第二训练图像的引导信息，如至少一个部位的图像。引导训练图像同样为高分辨率、清晰的图像。每个第二训练图像可以包括不同数量的引导训练图像，并且各引导训练图像对应的引导部位也可以不同，本公开对此不作具体限定。
第二监督数据同样也可以根据损失函数的参数确定，其可以包括与第二训练图像对应的第二标准图像(清晰的图像)、第二标准图像的第二标准特征(各关键点的位置的真实识别特征)、第二标准分割结果(各部位的真实分割结果)，也可以包括第二标准图像中各部位的辨别结果(对抗网络输出的辨别结果)、特征识别结果和分割结果等等，在此不作一一举例说明。
其中，在第二训练图像为第一神经网络输出的超分预测图像时，第一标准图像和第二标准图像相同，第一标准分割结果和第二标准分割结果相同，第一标准特征结果和第二标准特征结果相同。
S62：利用第二训练图像对所述引导训练图像进行仿射变换得到训练仿射图像，并将所述训练仿射图像和所述第二训练图像输入至所述第二神经网络，对所述第二训练图像执行引导重构，得到所述第二训练图像的重构预测图像；
如上所述，每个第二训练图像可以具有对应的至少一个引导图像，通过第二训练图像中的对象的姿态可以对引导训练图像执行仿射变换(warp)，得到至少一个训练仿射图像。可以将第二训练图像对应的至少一个训练仿射图像以及第二训练图像输入至第二神经网络中，得到相应的重构预测图像。
S63：将所述训练图像对应的重构预测图像分别输入至第二对抗网络、第二特征识别网络以及第二图像语义分割网络，得到针对所述第二训练图像对应的重构预测图像的辨别结果、特征识别结果以及图像分割结果；
同理，参照图7所示，可以采用图7的结构训练第二神经网络，此时生成器可以表示第二神经网络，可以将第二训练图像对应的重构预测图像也分别输入至对抗网络、特征识别网络以及图像语义分割网络，得到针对所述重构预测图像的辨别结果、特征识别结果以及图像分割结果。其中辨别结果表示重构预测图像与标准图像之间的真实性辨别结果，特征识别结果包括重构预测图像中关键点的位置识别结果，以及图像分割结果包括重构预测图像中对象的各部位所在的区域的分割结果。
S64：根据所述第二训练图像对应的重构预测图像的辨别结果、特征识别结果、图像分割结果得到所述第二神经网络的第二网络损失，并基于所述第二网络损失反向调节所述第二神经网络的参数，直至满足第二训练要求。
在一些可能的实施方式中，第二网络损失可以为全局损失和局部损失的加权和，即可以基于所述训练图像对应的重构预测图像的辨别结果、特征识别结果以及图像分割结果得到全局损失和局部损失，并基于所述全局损失和局部损失的加权和得到所述第二网络损失。
其中，全局损失可以为基于重构预测图像的对抗损失、像素损失、感知损失、分割损失、热力图损失的加权和。
同样的，与第一对抗损失的获取方式相同，参照对抗损失函数，可以基于所述对抗网络对所述重构预测图像的辨别结果以及对所述第二监督数据中的第二标准图像的辨别结果，得到第二对抗损失；与第一像素损失的获取方式相同，参照像素损失函数，可以基于所述第二训练图像对应的重构预测图像和所述第二训练图像对应的第二标准图像，确定第二像素损失；与第一感知损失的获取方式相同，参照感知损失函数，可以基于所述第二训练图像对应的重构预测图像和第二标准图像的非线性处理，确定第二感知损失；与第一热力图损失的获取方式相同，参照热力图损失函数，可以基于所述第二训练图像对应的重构预测图像的特征识别结果和所述第二监督数据中的第二标准特征，得到第二热力图损失；与第一分割损失的获取方式相同，参照分割损失函数，可以基于所述第二训练图像对应的重构预测图像的图像分割结果和所述第二监督数据中的第二标准分割结果，得到第二分割损失；利用所述第二对抗损失、第二像素损失、第二感知损失、第二热力图损失和第二分割损失的加权和，得到所述全局损失。
其中，全局损失的表达式可以为：lglobal＝αladv1+βlpixel1+γlper1+δlhea1+θlpar1，其中，lglobal表示全局损失，ladv1表示第二对抗损失，lpixel1表示第二像素损失，lper1表示第二感知损失，lhea1表示第二热力图损失，lpar1表示第二分割损失，α、β、γ、δ和θ分别表示各损失的权重。
另外，确定第二神经网络的局部损失的方式可以包括：
提取所述重构预测图像中至少一个部位对应的部位子图像，如眼睛、鼻子、嘴、眉毛、面部等部位的子图像，将至少一个部位的部位子图像分别输入至对抗网络、特征识别网络以及图像语义分割网络，得到所述至少一个部位的部位子图像的辨别结果、特征识别结果以及图像分割结果；
基于所述至少一个部位的部位子图像的辨别结果，以及所述第二对抗网络对所述第二训练图像对应的第二标准图像中所述至少一个部位的部位子图像的辨别结果，确定所述至少一个部位的第三对抗损失；
基于所述至少一个部位的部位子图像的特征识别结果和所述第二监督数据中对应部位的标准特征，得到至少一个部位的第三热力图损失；
基于所述至少一个部位的部位子图像的图像分割结果和所述第二监督数据中所述至少一个部位的标准分割结果，得到至少一个部位的第三分割损失；
利用所述至少一个部位的第三对抗网络损失、第三热力图损失和第三分割损失的加和，得到所述网络的局部损失。
同获取上述损失的方式相同，可以利用重构预测图像中各部位的子图像的第三对抗损失、第三像素损失和第三感知损失的加和确定各部位的局部损失，例如，
leyebrow＝ladv+lpixel+lpar
leye＝ladv+lpixel+lpar
lnose＝ladv+lpixel+lpar
lmouth＝ladv+lpixel+lpar；
即可以通过眼眉的第三对抗损失、第三感知损失和第三像素损失之和得到眼眉的局部损失leyebrow，通过眼睛的第三对抗损失、第三感知损失和第三像素损失之和得到眼睛的局部损失leye，鼻子的第三对抗损失、第三感知损失和第三像素损失之和得到鼻子的局部损失lnose，以及通过唇部的第三对抗损失、第三感知损失和第三像素损失之和得到唇部的局部损失lmouth，依次类推可以得到重构图像中各个部位的局部图像，而后可以基于各个部位的局部损失之和得到第二神经网络的局部损失llocal，即
llocal＝leyebrow+leye+lnose+lmouth。
在得到局部损失和全局损失之和，即可以得到第二网络损失为全局损失和局部损失的加和值，即lfine＝lglobal+llocal；其中lfine表示第二网络损失。
通过上述方式可以得到第二神经网络的第二网络损失，在第二网络损失大于第二损失阈值时，则确定为不满足第二训练要求，此时可以反向调整第二神经网络的网络参数，例如卷积参数，并通过该调整参数的第二神经网络继续对训练图像集执行超分图像处理，直到得到的第二网络损失小于或者等于第二损失阈值，即可以判断为满足第二训练要求，并终止第二神经网络的训练，此时得到的第二神经网络可以精确的得到重构预测图像。
综上所述，在本公开实施例可以对基于引导图像执行低分辨率图像的重构，得到清晰的重构图像。该方式可以方便的提高图像的分辨率，得到清晰的图像。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
另外，本公开实施例还提供了应用上述图像处理方法的图像处理装置、电子设备。
图9示出根据本公开实施例的一种图像处理装置的框图，其中，所述装置包括：
第一获取模块10，其用于获取第一图像；
第二获取模块20，其用于获取所述第一图像的至少一个引导图像，所述引导图像包括所述第一图像中的目标对象的引导信息；
重构模块30，其用于基于所述第一图像的至少一个引导图像对所述第一图像进行引导重构，得到重构图像。
在一些可能的实施方式中，所述第二获取模块还用于获取所述第一图像的描述信息；
基于所述第一图像的描述信息确定与所述目标对象的至少一个目标部位匹配的引导图像。
在一些可能的实施方式中，所述重构模块包括：
仿射单元，其用于利用所述第一图像中所述目标对象的当前姿态，对所述至少一个引导图像执行仿射变换，得到所述当前姿态下与所述引导图像对应的仿射图像；
提取单元，其用于基于所述至少一个引导图像中与所述目标对象匹配的至少一个目标部位，从所述引导图像对应的仿射图像中提取所述至少一个目标部位的子图像；
重构单元，其用于基于提取的所述子图像和所述第一图像得到所述重构图像。
在一些可能的实施方式中，所述重构单元还用于利用提取的所述子图像替换所述第一图像中与所述子图像中目标部位对应的部位，得到所述重构图像，或者
对所述子图像和所述第一图像进行卷积处理，得到所述重构图像。
在一些可能的实施方式中，所述重构模块包括：
超分单元，其用于对所述第一图像执行超分图像重建处理，得到第二图像，所述第二图像的分辨率高于所述第一图像的分辨率；
仿射单元，其用于利用所述第二图像中所述目标对象的当前姿态，对所述至少一个引导图像执行仿射变换，得到所述当前姿态下与所述引导图像对应的仿射图像；
提取单元，其用于基于所述至少一个引导图像中与所述对象匹配的至少一个目标部位，从所述引导图像对应的仿射图像中提取所述至少一个目标部位的子图像；
重构单元，其用于基于提取的所述子图像和所述第二图像得到所述重构图像。
在一些可能的实施方式中，所述重构单元还用于利用提取的所述子图像替换所述第二图像中与所述子图像中目标部位对应的部位，得到所述重构图像，或者
基于所述子图像和所述第二图像进行卷积处理，得到所述重构图像。
在一些可能的实施方式中，所述装置还包括：
身份识别单元，其用于利用所述重构图像执行身份识别，确定与所述对象匹配的身份信息。
在一些可能的实施方式中，所述超分单元包括第一神经网络，所述第一神经网络用于执行所述对所述第一图像执行超分图像重建处理；并且
所述装置还包括第一训练模块，其用于训练所述第一神经网络，其中训练所述第一神经网络的步骤包括：
获取第一训练图像集，所述第一训练图像集包括多个第一训练图像，以及与所述第一训练图像对应的第一监督数据；
将所述第一训练图像集中的至少一个第一训练图像输入至所述第一神经网络执行所述超分图像重建处理，得到所述第一训练图像对应的预测超分图像；
将所述预测超分图像分别输入至第一对抗网络、第一特征识别网络以及第一图像语义分割网络，得到针对所述预测超分图像的辨别结果、特征识别结果以及图像分割结果；
根据所述预测超分图像的辨别结果、特征识别结果、图像分割结果得到第一网络损失，基于所述第一网络损失反向调节所述第一神经网络的参数，直至满足第一训练要求。
在一些可能的实施方式中，所述第一训练模块用于基于所述第一训练图像对应的预测超分图像和所述第一监督数据中与所述第一训练图像对应的第一标准图像，确定第一像素损失；
基于所述预测超分图像的辨别结果，以及所述第一对抗网络对所述第一标准图像的辨别结果，得到第一对抗损失；
基于所述预测超分图像和所述第一标准图像的非线性处理，确定第一感知损失；
基于所述预测超分图像的特征识别结果和所述第一监督数据中的第一标准特征，得到第一热力图损失；
基于所述预测超分图像的图像分割结果和所述第一监督数据中与第一训练样本对应的第一标准分割结果，得到第一分割损失；
利用所述第一对抗损失、第一像素损失、第一感知损失、第一热力图损失和第一分割损失的加权和，得到所述第一网络损失。
在一些可能的实施方式中，所述重构模块包括第二神经网络，所述第二神经网络用于执行所述引导重构，得到所述重构图像；并且
所述装置还包括第二训练模块，其用于训练所述第二神经网络，其中训练所述第二神经网络的步骤包括：
获取第二训练图像集，所述第二训练图像集包括第二训练图像、所述第二训练图像对应的引导训练图像和第二监督数据；
利用所述第二训练图像对所述引导训练图像进行仿射变换得到训练仿射图像，并将所述训练仿射图像和所述第二训练图像输入至所述第二神经网络，对所述第二训练图像执行引导重构，得到所述第二训练图像的重构预测图像；
将所述重构预测图像分别输入至第二对抗网络、第二特征识别网络以及第二图像语义分割网络，得到针对所述重构预测图像的辨别结果、特征识别结果以及图像分割结果；
根据所述重构预测图像的辨别结果、特征识别结果、图像分割结果得到所述第二神经网络的第二网络损失，并基于所述第二网络损失反向调节所述第二神经网络的参数，直至满足第二训练要求。
在一些可能的实施方式中，所述第二训练模块还用于基于所述第二训练图像对应的重构预测图像的辨别结果、特征识别结果以及图像分割结果得到全局损失和局部损失；
基于所述全局损失和局部损失的加权和得到所述第二网络损失。
在一些可能的实施方式中，所述第二训练模块还用于基于所述第二训练图像对应的重构预测图像和所述第二监督数据中与所述第二训练图像对应的第二标准图像，确定第二像素损失；
基于所述重构预测图像的辨别结果，以及所述第二对抗网络对所述第二标准图像的辨别结果，得到第二对抗损失；
基于所述重构预测图像和所述第二标准图像的非线性处理，确定第二感知损失；
基于所述重构预测图像的特征识别结果和所述第二监督数据中的第二标准特征，得到第二热力图损失；
基于所述重构预测图像的图像分割结果和所述第二监督数据中的第二标准分割结果，得到第二分割损失；
利用所述第二对抗损失、第二像素损失、第二感知损失、第二热力图损失和第二分割损失的加权和，得到所述全局损失。
在一些可能的实施方式中，所述第二训练模块还用于
提取所述重构预测图像中至少一个部位的部位子图像，将至少一个部位的部位子图像分别输入至对抗网络、特征识别网络以及图像语义分割网络，得到所述至少一个部位的部位子图像的辨别结果、特征识别结果以及图像分割结果；
基于所述至少一个部位的部位子图像的辨别结果，以及所述第二对抗网络对所述第二标准图像中所述至少一个部位的部位子图像的辨别结果，确定所述至少一个部位的第三对抗损失；
基于所述至少一个部位的部位子图像的特征识别结果和所述第二监督数据中所述至少一个部位的标准特征，得到至少一个部位的第三热力图损失；
基于所述至少一个部位的部位子图像的图像分割结果和所述第二监督数据中所述至少一个部位的标准分割结果，得到至少一个部位的第三分割损失；
利用所述至少一个部位的第三对抗损失、第三热力图损失和第三分割损失的加和，得到所述网络的局部损失。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
本公开实施例还提出一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。计算机可读存储介质可以是非易失性计算机可读存储介质。
本公开实施例还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为上述方法。
电子设备可以被提供为终端、服务器或其它形态的设备。
图10示出根据本公开实施例的一种电子设备的框图。例如，电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等终端。
参照图10，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理***，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到电子设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器804，上述计算机程序指令可由电子设备800的处理器820执行以完成上述方法。
图11示出根据本公开实施例的另一种电子设备的框图。例如，电子设备1900可以被提供为一服务器。参照图11，电子设备1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。
电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理，一个有线或无线网络接口1950被配置为将电子设备1900连接到网络，和一个输入输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作***，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。
本公开可以是***、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取第一图像；
获取所述第一图像的至少一个引导图像，所述引导图像包括所述第一图像中的目标对象的引导信息；
基于所述第一图像的至少一个引导图像对所述第一图像进行引导重构，得到重构图像。
2.根据权利要求1所述的方法，其特征在于，所述获取所述第一图像的至少一个引导图像，包括：
获取所述第一图像的描述信息；
基于所述第一图像的描述信息确定与所述目标对象的至少一个目标部位匹配的引导图像。
3.根据权利要求1或2所述的方法，其特征在于，所述基于所述第一图像的至少一个引导图像对所述第一图像进行引导重构，得到重构图像，包括：
利用所述第一图像中所述目标对象的当前姿态，对所述至少一个引导图像执行仿射变换，得到所述当前姿态下与所述引导图像对应的仿射图像；
基于所述至少一个引导图像中与所述目标对象匹配的至少一个目标部位，从所述引导图像对应的仿射图像中提取所述至少一个目标部位的子图像；
基于提取的所述子图像和所述第一图像得到所述重构图像。
4.根据权利要求3所述的方法，其特征在于，所述基于提取的所述子图像和所述第一图像得到所述重构图像，包括：
利用提取的所述子图像替换所述第一图像中与所述子图像中目标部位对应的部位，得到所述重构图像，或者
对所述子图像和所述第一图像进行卷积处理，得到所述重构图像。
5.根据权利要求1或2所述的方法，其特征在于，所述基于所述第一图像的至少一个引导图像对所述第一图像进行引导重构，得到重构图像，包括：
对所述第一图像执行超分图像重建处理，得到第二图像，所述第二图像的分辨率高于所述第一图像的分辨率；
利用所述第二图像中所述目标对象的当前姿态，对所述至少一个引导图像执行仿射变换，得到所述当前姿态下与所述引导图像对应的仿射图像；
基于所述至少一个引导图像中与所述对象匹配的至少一个目标部位，从所述引导图像对应的仿射图像中提取所述至少一个目标部位的子图像；
基于提取的所述子图像和所述第二图像得到所述重构图像。
6.根据权利要求5所述的方法，其特征在于，所述基于提取的所述子图像和所述第二图像得到所述重构图像，包括：
利用提取的所述子图像替换所述第二图像中与所述子图像中目标部位对应的部位，得到所述重构图像，或者
基于所述子图像和所述第二图像进行卷积处理，得到所述重构图像。
7.根据权利要求1-6中任意一项所述的方法，其特征在于，所述方法还包括：
利用所述重构图像执行身份识别，确定与所述对象匹配的身份信息。
8.一种图像处理装置，其特征在于，包括：
第一获取模块，其用于获取第一图像；
第二获取模块，其用于获取所述第一图像的至少一个引导图像，所述引导图像包括所述第一图像中的目标对象的引导信息；
重构模块，其用于基于所述第一图像的至少一个引导图像对所述第一图像进行引导重构，得到重构图像。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1-7中任意一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1-7中任意一项所述的方法。
CN201910385228.XA 2019-05-09 2019-05-09 图像处理方法及装置、电子设备和存储介质 Active CN110084775B (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201910385228.XA CN110084775B (zh) 2019-05-09 2019-05-09 图像处理方法及装置、电子设备和存储介质
PCT/CN2020/086812 WO2020224457A1 (zh) 2019-05-09 2020-04-24 图像处理方法及装置、电子设备和存储介质
SG11202012590SA SG11202012590SA (en) 2019-05-09 2020-04-24 Image processing method and apparatus, electronic device and storage medium
KR1020207037906A KR102445193B1 (ko) 2019-05-09 2020-04-24 이미지 처리 방법 및 장치, 전자 기기, 및 기억 매체
JP2020570118A JP2021528742A (ja) 2019-05-09 2020-04-24 画像処理方法及び装置、電子機器、並びに記憶媒体
TW109115181A TWI777162B (zh) 2019-05-09 2020-05-07 圖像處理方法及裝置、電子設備和電腦可讀儲存媒體
US17/118,682 US20210097297A1 (en) 2019-05-09 2020-12-11 Image processing method, electronic device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910385228.XA CN110084775B (zh) 2019-05-09 2019-05-09 图像处理方法及装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN110084775A true CN110084775A (zh) 2019-08-02
CN110084775B CN110084775B (zh) 2021-11-26

Family

ID=67419592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910385228.XA Active CN110084775B (zh) 2019-05-09 2019-05-09 图像处理方法及装置、电子设备和存储介质

Country Status (7)

Country Link
US (1) US20210097297A1 (zh)
JP (1) JP2021528742A (zh)
KR (1) KR102445193B1 (zh)
CN (1) CN110084775B (zh)
SG (1) SG11202012590SA (zh)
TW (1) TWI777162B (zh)
WO (1) WO2020224457A1 (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705328A (zh) * 2019-09-27 2020-01-17 江苏提米智能科技有限公司 一种基于二维码图像采集电力数据的方法
CN111260577A (zh) * 2020-01-15 2020-06-09 哈尔滨工业大学 基于多引导图和自适应特征融合的人脸图像复原***
CN111698553A (zh) * 2020-05-29 2020-09-22 维沃移动通信有限公司 视频处理方法、装置、电子设备及可读存储介质
CN111860212A (zh) * 2020-06-29 2020-10-30 北京金山云网络技术有限公司 人脸图像的超分方法、装置、设备及存储介质
CN111861911A (zh) * 2020-06-29 2020-10-30 湖南傲英创视信息科技有限公司 基于引导相机的立体全景图像增强方法和***
WO2020224457A1 (zh) * 2019-05-09 2020-11-12 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN112082915A (zh) * 2020-08-28 2020-12-15 西安科技大学 一种即插即用型大气颗粒物浓度检测装置及检测方法
CN112529073A (zh) * 2020-12-07 2021-03-19 北京百度网讯科技有限公司 模型训练方法、姿态估计方法、装置及电子设备
CN112712470A (zh) * 2019-10-25 2021-04-27 华为技术有限公司 一种图像增强方法及装置
CN113160079A (zh) * 2021-04-13 2021-07-23 Oppo广东移动通信有限公司 人像修复模型的训练方法、人像修复方法和装置
CN113240687A (zh) * 2021-05-17 2021-08-10 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和可读存储介质
CN113255820A (zh) * 2021-06-11 2021-08-13 成都通甲优博科技有限责任公司 落石检测模型训练方法、落石检测方法及相关装置
CN113343807A (zh) * 2021-05-27 2021-09-03 北京深睿博联科技有限责任公司 一种重构引导下的复杂场景的目标检测方法及装置
CN113361300A (zh) * 2020-03-04 2021-09-07 阿里巴巴集团控股有限公司 标识信息识别方法、装置、设备和存储介质
CN113903180A (zh) * 2021-11-17 2022-01-07 四川九通智路科技有限公司 一种高速公路检测车辆超速的方法及***
KR20220010969A (ko) * 2020-07-20 2022-01-27 연세대학교 산학협력단 자기지도 학습 방식의 반복적 노이즈 저감 방법
CN114842198A (zh) * 2022-05-31 2022-08-02 平安科技（深圳）有限公司 车辆智能定损方法、装置、设备及存储介质
CN116883236A (zh) * 2023-05-22 2023-10-13 阿里巴巴（中国）有限公司 图像超分方法以及图像数据处理方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111861954A (zh) * 2020-06-22 2020-10-30 北京百度网讯科技有限公司 编辑人脸的方法、装置、电子设备和可读存储介质
CN112541876B (zh) * 2020-12-15 2023-08-04 北京百度网讯科技有限公司 卫星图像处理方法、网络训练方法、相关装置及电子设备
KR20220145567A (ko) * 2021-04-22 2022-10-31 에스케이하이닉스 주식회사 고해상도 프레임 생성 장치
CN113269691B (zh) * 2021-05-27 2022-10-21 北京卫星信息工程研究所 一种基于卷积稀疏进行噪声仿射拟合的sar图像去噪方法
CN113706428B (zh) * 2021-07-02 2024-01-05 杭州海康威视数字技术股份有限公司 一种图像生成方法及装置
US20230196526A1 (en) * 2021-12-16 2023-06-22 Mediatek Inc. Dynamic convolutions to refine images with variational degradation
CN114283486B (zh) * 2021-12-20 2022-10-28 北京百度网讯科技有限公司 图像处理、模型训练、识别方法、装置、设备及存储介质
US11756288B2 (en) * 2022-01-05 2023-09-12 Baidu Usa Llc Image processing method and apparatus, electronic device and storage medium
TWI810946B (zh) * 2022-05-24 2023-08-01 鴻海精密工業股份有限公司 圖像識別方法、電腦設備及儲存介質
WO2024042970A1 (ja) * 2022-08-26 2024-02-29 ソニーグループ株式会社 情報処理装置、情報処理方法及びコンピュータ読み取り可能な非一時的記憶媒体
US11908167B1 (en) * 2022-11-04 2024-02-20 Osom Products, Inc. Verifying that a digital image is not generated by an artificial intelligence

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101593269A (zh) * 2008-05-29 2009-12-02 汉王科技股份有限公司 人脸识别装置及方法
CN103839223A (zh) * 2012-11-21 2014-06-04 华为技术有限公司 图像处理方法及装置
US20160286097A1 (en) * 2015-03-25 2016-09-29 Tripurari Singh Methods and System for Sparse Blue Sampling
CN106056562A (zh) * 2016-05-19 2016-10-26 京东方科技集团股份有限公司 一种人脸图像处理方法、装置及电子设备
CN107451950A (zh) * 2016-05-30 2017-12-08 北京旷视科技有限公司 人脸图像生成方法、人脸识别模型训练方法及相应装置
CN107958444A (zh) * 2017-12-28 2018-04-24 江西高创保安服务技术有限公司 一种基于深度学习的人脸超分辨率重建方法
CN108510435A (zh) * 2018-03-28 2018-09-07 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4043708B2 (ja) * 1999-10-29 2008-02-06 富士フイルム株式会社 画像処理方法および装置
US8737769B2 (en) * 2010-11-26 2014-05-27 Microsoft Corporation Reconstruction of sparse data
JP6402301B2 (ja) * 2014-02-07 2018-10-10 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 視線変換装置、視線変換方法及びプログラム
JP6636828B2 (ja) * 2016-03-02 2020-01-29 株式会社東芝 監視システム、監視方法、および監視プログラム
JP6840957B2 (ja) * 2016-09-01 2021-03-10 株式会社リコー 画像類似度算出装置、画像処理装置、画像処理方法、及び記録媒体
EP3507773A1 (en) * 2016-09-02 2019-07-10 Artomatix Ltd. Systems and methods for providing convolutional neural network based image synthesis using stable and controllable parametric models, a multiscale synthesis framework and novel network architectures
KR102044003B1 (ko) * 2016-11-23 2019-11-12 한국전자통신연구원 영상 회의를 위한 전자 장치 및 그의 동작 방법
CN108205816B (zh) * 2016-12-19 2021-10-08 北京市商汤科技开发有限公司 图像渲染方法、装置和***
US10552977B1 (en) * 2017-04-18 2020-02-04 Twitter, Inc. Fast face-morphing using neural networks
CN107480772B (zh) * 2017-08-08 2020-08-11 浙江大学 一种基于深度学习的车牌超分辨率处理方法及***
CN107993216B (zh) * 2017-11-22 2022-12-20 腾讯科技（深圳）有限公司 一种图像融合方法及其设备、存储介质、终端
CN109993716B (zh) * 2017-12-29 2023-04-14 微软技术许可有限责任公司 图像融合变换
US10825219B2 (en) * 2018-03-22 2020-11-03 Northeastern University Segmentation guided image generation with adversarial networks
US10685428B2 (en) * 2018-11-09 2020-06-16 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Systems and methods for super-resolution synthesis based on weighted results from a random forest classifier
CN109544482A (zh) * 2018-11-29 2019-03-29 厦门美图之家科技有限公司 一种卷积神经网络模型生成方法及图像增强方法
CN109636886B (zh) * 2018-12-19 2020-05-12 网易（杭州）网络有限公司 图像的处理方法、装置、存储介质和电子装置
CN110084775B (zh) * 2019-05-09 2021-11-26 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101593269A (zh) * 2008-05-29 2009-12-02 汉王科技股份有限公司 人脸识别装置及方法
CN103839223A (zh) * 2012-11-21 2014-06-04 华为技术有限公司 图像处理方法及装置
US20160286097A1 (en) * 2015-03-25 2016-09-29 Tripurari Singh Methods and System for Sparse Blue Sampling
CN106056562A (zh) * 2016-05-19 2016-10-26 京东方科技集团股份有限公司 一种人脸图像处理方法、装置及电子设备
CN107451950A (zh) * 2016-05-30 2017-12-08 北京旷视科技有限公司 人脸图像生成方法、人脸识别模型训练方法及相应装置
CN107958444A (zh) * 2017-12-28 2018-04-24 江西高创保安服务技术有限公司 一种基于深度学习的人脸超分辨率重建方法
CN108510435A (zh) * 2018-03-28 2018-09-07 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020224457A1 (zh) * 2019-05-09 2020-11-12 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110705328A (zh) * 2019-09-27 2020-01-17 江苏提米智能科技有限公司 一种基于二维码图像采集电力数据的方法
CN112712470A (zh) * 2019-10-25 2021-04-27 华为技术有限公司 一种图像增强方法及装置
CN111260577A (zh) * 2020-01-15 2020-06-09 哈尔滨工业大学 基于多引导图和自适应特征融合的人脸图像复原***
CN111260577B (zh) * 2020-01-15 2023-04-18 哈尔滨工业大学 基于多引导图和自适应特征融合的人脸图像复原***
CN113361300A (zh) * 2020-03-04 2021-09-07 阿里巴巴集团控股有限公司 标识信息识别方法、装置、设备和存储介质
CN111698553A (zh) * 2020-05-29 2020-09-22 维沃移动通信有限公司 视频处理方法、装置、电子设备及可读存储介质
CN111860212A (zh) * 2020-06-29 2020-10-30 北京金山云网络技术有限公司 人脸图像的超分方法、装置、设备及存储介质
CN111861911B (zh) * 2020-06-29 2024-04-16 湖南傲英创视信息科技有限公司 基于引导相机的立体全景图像增强方法和***
CN111860212B (zh) * 2020-06-29 2024-03-26 北京金山云网络技术有限公司 人脸图像的超分方法、装置、设备及存储介质
CN111861911A (zh) * 2020-06-29 2020-10-30 湖南傲英创视信息科技有限公司 基于引导相机的立体全景图像增强方法和***
KR102490586B1 (ko) 2020-07-20 2023-01-19 연세대학교 산학협력단 자기지도 학습 방식의 반복적 노이즈 저감 방법
KR20220010969A (ko) * 2020-07-20 2022-01-27 연세대학교 산학협력단 자기지도 학습 방식의 반복적 노이즈 저감 방법
CN112082915A (zh) * 2020-08-28 2020-12-15 西安科技大学 一种即插即用型大气颗粒物浓度检测装置及检测方法
CN112082915B (zh) * 2020-08-28 2024-05-03 西安科技大学 一种即插即用型大气颗粒物浓度检测装置及检测方法
CN112529073A (zh) * 2020-12-07 2021-03-19 北京百度网讯科技有限公司 模型训练方法、姿态估计方法、装置及电子设备
CN113160079A (zh) * 2021-04-13 2021-07-23 Oppo广东移动通信有限公司 人像修复模型的训练方法、人像修复方法和装置
CN113240687A (zh) * 2021-05-17 2021-08-10 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和可读存储介质
CN113343807A (zh) * 2021-05-27 2021-09-03 北京深睿博联科技有限责任公司 一种重构引导下的复杂场景的目标检测方法及装置
CN113255820A (zh) * 2021-06-11 2021-08-13 成都通甲优博科技有限责任公司 落石检测模型训练方法、落石检测方法及相关装置
CN113903180A (zh) * 2021-11-17 2022-01-07 四川九通智路科技有限公司 一种高速公路检测车辆超速的方法及***
CN114842198A (zh) * 2022-05-31 2022-08-02 平安科技（深圳）有限公司 车辆智能定损方法、装置、设备及存储介质
CN116883236A (zh) * 2023-05-22 2023-10-13 阿里巴巴（中国）有限公司 图像超分方法以及图像数据处理方法
CN116883236B (zh) * 2023-05-22 2024-04-02 阿里巴巴（中国）有限公司 图像超分方法以及图像数据处理方法

Also Published As

Publication number Publication date
JP2021528742A (ja) 2021-10-21
SG11202012590SA (en) 2021-01-28
WO2020224457A1 (zh) 2020-11-12
US20210097297A1 (en) 2021-04-01
KR102445193B1 (ko) 2022-09-19
KR20210015951A (ko) 2021-02-10
TWI777162B (zh) 2022-09-11
CN110084775B (zh) 2021-11-26
TW202042175A (zh) 2020-11-16

Similar Documents

Publication Publication Date Title
CN110084775A (zh) 图像处理方法及装置、电子设备和存储介质
CN109800744A (zh) 图像聚类方法及装置、电子设备和存储介质
CN108764091A (zh) 活体检测方法及装置、电子设备和存储介质
CN109241835A (zh) 图像处理方法及装置、电子设备和存储介质
CN110210535A (zh) 神经网络训练方法及装置以及图像处理方法及装置
CN106548468B (zh) 图像清晰度的判别方法及装置
CN109166107A (zh) 一种医学图像分割方法及装置、电子设备和存储介质
TW201911130A (zh) 一種翻拍影像識別方法及裝置
CN109658401A (zh) 图像处理方法及装置、电子设备和存储介质
CN108280418A (zh) 脸部图像的欺骗识别方法及装置
CN109871883A (zh) 神经网络训练方法及装置、电子设备和存储介质
CN108470169A (zh) 人脸识别***及方法
CN109618184A (zh) 视频处理方法及装置、电子设备和存储介质
CN110503023A (zh) 活体检测方法及装置、电子设备和存储介质
CN109977847A (zh) 图像生成方法及装置、电子设备和存储介质
CN109658352A (zh) 图像信息的优化方法及装置、电子设备和存储介质
JP2021516831A (ja) 生体検知方法、装置及び記憶媒体
CN108985176A (zh) 图像生成方法及装置
CN110458218A (zh) 图像分类方法及装置、分类网络训练方法及装置
CN109087238A (zh) 图像处理方法和装置、电子设备以及计算机可读存储介质
CN109615593A (zh) 图像处理方法及装置、电子设备和存储介质
CN109934275A (zh) 图像处理方法及装置、电子设备和存储介质
CN110532956A (zh) 图像处理方法及装置、电子设备和存储介质
CN109920016A (zh) 图像生成方法及装置、电子设备和存储介质
CN109711546A (zh) 神经网络训练方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant