CN113570510A - 图像处理方法、装置、设备及存储介质 - Google Patents

图像处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113570510A
CN113570510A CN202110068659.0A CN202110068659A CN113570510A CN 113570510 A CN113570510 A CN 113570510A CN 202110068659 A CN202110068659 A CN 202110068659A CN 113570510 A CN113570510 A CN 113570510A
Authority
CN
China
Prior art keywords
image
sample image
processing
sample
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110068659.0A
Other languages
English (en)
Inventor
朱飞达
汪铖杰
邰颖
李季檩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110068659.0A priority Critical patent/CN113570510A/zh
Publication of CN113570510A publication Critical patent/CN113570510A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像处理方法、装置、设备及存储介质，属于人工智能技术领域，尤其涉及云技术领域的云计算、大数据或数据库等。本申请实施例能够随机选择一种处理方式对分辨率高的第一样本图像进行退化处理，得到分辨率低的第二样本图像，这样无需通过人工处理，即可获取得到分辨率低的第二样本图像，能够大大降低人工成本，提高分辨率低的获取效率。且训练过程中，每次均可以选择一种处理方式进行退化处理，这样训练得到的目标图像处理模型在该多种处理方式处理得到的图像上均能够进行良好的图像处理，能够适应更多图像处理场景，因而，该目标图像处理模型的适用性好。

Description

图像处理方法、装置、设备及存储介质
技术领域
本申请涉及人工智能技术领域，特别涉及一种图像处理方法、装置、设备及存储介质。
背景技术
随着人工智能技术发展，在很多场景中会需要通过对低分辨率的图像进行处理，得到高分辨率的图像。通过人工智能技术，能够通过样本图像对图像处理模型进行训练，得到目标图像处理模型。
目前，图像处理方法通常是获取高分辨率和低分辨率的样本图像，对图像处理模型进行训练，因而需要大量的样本图像，而样本图像需要由技术人员使用图像处理应用进行处理，样本图像的获取过程需要耗费大量人力，人工成本高，获取效率低，因而，图像处理方法的效率低。
发明内容
本申请实施例提供了一种图像处理方法、装置、设备及存储介质，能够达到提高图像处理效率和目标图像处理模型的适用性。所述技术方案如下：
一方面，提供了一种图像处理方法，所述方法包括：
获取第一样本图像；
从至少两种处理方式中，随机选择一种处理方式，对所述第一样本图像进行处理，得到第二样本图像，所述第二样本图像的分辨率小于所述第一样本图像的分辨率；
基于图像处理模型，对所述第二样本图像进行超分辨率图像处理，得到第三样本图像，所述第三样本图像的分辨率大于所述第二样本图像的分辨率；
基于所述第一样本图像和所述第三样本图像，获取目标损失值；
基于所述目标损失值，对所述图像处理模型的模型参数进行更新；
继续执行所述随机选择一种处理方式对第一样本图像进行处理、基于图像处理模型进行超分辨率图像处理以及获取目标损失值的步骤，直至符合目标条件时停止，得到目标图像处理模型。
一方面，提供了一种图像处理装置，所述装置包括：
获取模块，用于获取第一样本图像；
退化处理模块，用于从至少两种处理方式中，随机选择一种处理方式，对所述第一样本图像进行处理，得到第二样本图像，所述第二样本图像的分辨率小于所述第一样本图像的分辨率；
超分处理模块，用于基于图像处理模型，对所述第二样本图像进行超分辨率图像处理，得到第三样本图像，所述第三样本图像的分辨率大于所述第二样本图像的分辨率；
损失值获取模块，用于基于所述第一样本图像和所述第三样本图像，获取目标损失值；
更新模块，用于基于所述目标损失值，对所述图像处理模型的模型参数进行更新；
所述装置继续执行所述随机选择一种处理方式对第一样本图像进行处理、基于图像处理模型进行超分辨率图像处理以及获取目标损失值的步骤，直至符合目标条件时停止，得到目标图像处理模型。
在一些实施例中，所述至少两种处理方式包括图像模糊、添加图像噪声、图像滤波、图像压缩中的至少两种；
所述退化处理模块用于下述任一项：
对所述第一样本图像进行模糊处理，得到第二样本图像；
在所述第一样本图像中添加图像噪声，得到第二样本图像；
对所述第一样本图像进行图像滤波，得到第二样本图像；
对所述第一样本图像进行图像压缩，得到第二样本图像。
在一些实施例中，所述退化处理模块用于从至少两个退化模型中，随机选择一个退化模型，基于所述退化模型和所述退化模型对应的退化参数对所述第一样本图像进行处理。
在一些实施例中，所述退化处理模块用于：
从所述退化模型对应的至少两个退化参数中，随机选择一个退化参数；
基于所述退化模型和随机选择的所述退化参数，对所述第一样本图像进行处理。
在一些实施例中，所述超分处理模块用于将所述第二样本图像输入所述图像处理模型中，由所述图像处理模型中至少两个残差稠密模块对所述第二样本图像进行超分辨率图像处理，得到至少两个残差图像，基于所述至少两个残差图像和所述第二样本图像，获取并输出第三样本图像；其中，所述至少两个残差图像基于数量不同的残差稠密模块进行超分辨率图像处理得到。
在一些实施例中，所述模型参数包括至少两个残差图像各自的权重；
所述超分处理模块用于：
将所述至少两个残差图像分别与所述第二样本图像进行融合，得到至少两个候选第三样本图像；
基于所述至少两个残差图像各自的权重，对所述至少两个候选第三样本图像进行加权，得到所述第三样本图像，并输出所述第三样本图像。
在一些实施例中，所述残差稠密模块包括至少两个采用稠密链接串联的卷积层。
在一些实施例中，所述损失值获取模块用于：
基于所述第一样本图像和所述第三样本图像，获取第一损失值；
对所述第一样本图像和所述第三样本图像进行图像识别，得到第一样本图像的第一识别结果和第二样本图像的第二识别结果，所述第一识别结果和所述第二识别结果用于指示图像是否为生成的图像；
基于所述第一识别结果和所述第二识别结果，获取第二损失值；
基于所述第一损失值和所述第二损失值，获取目标损失值。
在一些实施例中，所述第一样本图像、所述第二样本图像和所述第三样本图像为人脸图像；
所述获取模块用于：
获取样本人脸图像；
对所述样本人脸图像进行人脸检测和人脸配准处理；
基于处理结果，对所述样本人脸图像中人脸所在区域进行裁剪，得到第一样本图像，所述第一样本图像中包括所述人脸所在区域。
在一些实施例中，所述获取模块还用于获取第一图像；
所述超分处理模块还用于基于所述图像处理模型对所述第一图像进行超分辨率图像处理，得到第二图像，所述第二图像的分辨率大于所述第一图像的分辨率。
在一些实施例中，所述获取模块用于：
获取视频；
对所述视频中的人脸图像进行人脸检测和人脸配准处理，所述人脸图像为所述视频中的图像帧；
基于处理结果，对所述人脸图像中人脸所在区域进行裁剪，得到第一图像，所述第一图像中包括所述人脸所在区域。
在一些实施例中，所述装置还包括：
融合模块，用于对所述人脸图像和所述第二图像进行融合，得到第三图像，所述第三图像中人脸所在区域为所述第二图像。
一方面，提供了一种电子设备，所述电子设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述一个或多个处理器加载并执行以实现上述图像处理方法的各种可选实现方式。
一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现上述图像处理方法的各种可选实现方式。
一个方面，提供了一种计算机程序产品或计算机程序，所述计算机程序产品或所述计算机程序包括一条或多条程序代码，所述一条或多条程序代码存储在计算机可读存储介质中。电子设备的一个或多个处理器能够从计算机可读存储介质中读取所述一条或多条程序代码，所述一个或多个处理器执行所述一条或多条程序代码，使得电子设备能够执行上述任一种可能实施方式的图像处理方法。
本申请实施例能够随机选择一种处理方式对分辨率高的第一样本图像进行退化处理，得到分辨率低的第二样本图像，这样无需通过人工处理，即可获取得到分辨率低的第二样本图像，能够大大降低人工成本，提高分辨率低的获取效率。且训练过程中，每次均可以选择一种处理方式进行退化处理，这样训练得到的目标图像处理模型在该多种处理方式处理得到的图像上均能够进行良好的图像处理，能够适应更多图像处理场景，因而，该目标图像处理模型的适用性好。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还能够根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像处理方法的实施环境的示意图；
图2是本申请实施例提供的一种图像处理方法的流程图；
图3是本申请实施例提供的一种图像处理方法的流程图；
图4是本申请实施例提供的一种图像处理模型的结构示意图；
图5是本申请实施例提供的一种残差稠密模块的结构示意图；
图6是本申请实施例提供的一种图像处理方法的流程图；
图7是本申请实施例提供的一种图像处理方法的流程图；
图8是本申请实施例提供的一种图像处理装置的结构示意图；
图9是本申请实施例提供的一种电子设备的结构示意图；
图10是本申请实施例提供的一种终端的结构框图；
图11是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。还应理解，尽管以下描述使用术语第一、第二等来描述各种元素，但这些元素不应受术语的限制。这些术语只是用于将一元素与另一元素区别分开。例如，在不脱离各种示例的范围的情况下，第一图像能够被称为第二图像，并且类似地，第二图像能够被称为第一图像。第一图像和第二图像都能够是图像，并且在某些情况下，能够是单独且不同的图像。
本申请中术语“至少一个”的含义是指一个或多个，本申请中术语“多个”的含义是指两个或两个以上，例如，多个数据包是指两个或两个以上的数据包。
应理解，在本文中对各种示例的描述中所使用的术语只是为了描述特定示例，而并非旨在进行限制。如在对各种示例的描述和所附权利要求书中所使用的那样，单数形式“一个(“a”“an”)”和“该”旨在也包括复数形式，除非上下文另外明确地指示。
还应理解，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。术语“和/或”，是一种描述关联对象的关联关系，表示能够存在三种关系，例如，A和/或B，能够表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本申请中的字符“/”，一般表示前后关联对象是一种“或”的关系。
还应理解，在本申请的各个实施例中，各个过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
还应理解，根据A确定B并不意味着仅仅根据A确定B，还能够根据A和/或其它信息确定B。
还应理解，术语“包括”(也称“inCludes”、“inCluding”、“Comprises”和/或“Comprising”)当在本说明书中使用时指定存在所陈述的特征、整数、步骤、操作、元素、和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元素、部件、和/或其分组。
还应理解，术语“如果”可被解释为意指“当...时”(“when”或“upon”)或“响应于确定”或“响应于检测到”。类似地，根据上下文，短语“如果确定...”或“如果检测到[所陈述的条件或事件]”可被解释为意指“在确定...时”或“响应于确定...”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。
本申请实施例提供的图像处理方法涉及到人工智能技术领域，下面对人工智能相关技术进行说明。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能的计算机视觉技术中图像处理、视频处理和机器学习等技术，具体通过如下实施例进行说明。
本申请实施例提供的方法涉及云技术中云计算、云社交、云游戏、人工智能云服务等可能涉及到图像处理或者视频处理的技术。下面对云技术进行简单说明。
云技术(Cloud technology)基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络***的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台***进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的***后盾支撑，只能通过云计算来实现。
云计算(cloud computing)是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用***能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。
作为云计算的基础能力提供商，会建立云计算资源池(简称云平台，一般称为IaaS(Infrastructure as a Service，基础设施即服务)平台，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(为虚拟化机器，包含操作***)、存储设备、网络设备。
按照逻辑功能划分，在IaaS(Infrastructure as a Service，基础设施即服务)层上可以部署PaaS(Platform as a Service，平台即服务)层，PaaS层之上再部署SaaS(Software as a Service，软件即服务)层，也可以直接将SaaS部署在IaaS上。PaaS为软件运行的平台，如数据库、web容器等。SaaS为各式各样的业务软件，如web门户网站、***器等。一般来说，SaaS和PaaS相对于IaaS是上层。
下面对本申请的实施环境进行说明。
图1是本申请实施例提供的一种图像处理方法的实施环境的示意图。该实施环境包括终端101，或者该实施环境包括终端101和图像处理平台102。终端101通过无线网络或有线网络与图像处理平台102相连。
终端101能够是智能手机、游戏主机、台式计算机、平板电脑、电子书阅读器、MP3(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)播放器或MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器，膝上型便携计算机，智能机器人，自助支付设备中的至少一种。终端101安装和运行有支持图像处理的应用程序，例如，该应用程序能够是***应用、即时通讯应用、新闻推送应用、图像处理应用、视频应用、社交应用。
示例性地，该终端101能够具有图像采集功能和图像处理功能，能够对采集到的图像进行处理，并根据处理结果执行相应的功能。该终端101能够独立完成该工作，也能够通过图像处理平台102为其提供数据服务。本申请实施例对此不作限定。
图像处理平台102包括一台服务器、多台服务器、云计算平台和虚拟化中心中的至少一种。图像处理平台102用于为支图像处理的应用程序提供后台服务。可选地，图像处理平台102承担主要处理工作，终端101承担次要处理工作；或者，图像处理平台102承担次要处理工作，终端101承担主要处理工作；或者，图像处理平台102或终端101分别能够单独承担处理工作。或者，图像处理平台102和终端101两者之间采用分布式计算架构进行协同计算。
可选地，该图像处理平台102包括至少一台服务器1021以及数据库1022，该数据库1022用于存储数据，在本申请实施例中，该数据库1022中能够存储有样本图像、样本图像或图像处理模型，为至少一台服务器1021提供数据服务。
服务器能够是独立的物理服务器，也能够是多个物理服务器构成的服务器集群或者分布式***，还能够是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端能够是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。
本领域技术人员能够知晓，上述终端101、服务器1021的数量能够更多或更少。比如上述终端101、服务器1021能够仅为一个，或者上述终端101、服务器1021为几十个或几百个，或者更多数量，本申请实施例对终端或服务器的数量和设备类型不加以限定。
下面对本申请的应用场景进行说明。
本申请实施例提供的图像处理方法可以应用于多种图像处理场景中。在一些实施例中，该图像处理场景可以为使用视频应用播放视频的场景，获取到低分辨率的视频时，可以通过本申请实施例提供的图像处理方法训练到的图像处理模型，对视频中全部或部分图像帧进行处理，得到高分辨率的视频。
在另一些实施例中，该图像处理场景可以为使用图像处理应用拍摄图像的场景，在拍摄得到图像后，可以通过上述图像处理模型，对拍摄的图像进行处理，得到更高分辨率的视频。
上述提供了两种可能的图像处理场景，本申请实施例提供的图像处理方法还可以应用于其他图像处理场景，在此不一一列举。
图2是本申请实施例提供的一种图像处理方法的流程图，该方法应用于电子设备中，该电子设备为终端或服务器，参见图2，该方法包括以下步骤。
201、电子设备获取第一样本图像。
该第一样本图像的分辨率比较高，为高质量的图像。在本申请实施例中，电子设备能够获取高分辨率的第一样本图像，通过对其进行退化处理，得到低分辨率的第二样本图像，快速、高效地获取样本图像，降低人工成本，提高样本图像的获取效率。退化处理是指将高分辨率的图像处理为低分辨率的图像的过程。
202、电子设备从至少两种处理方式中，随机选择一种处理方式，对该第一样本图像进行处理，得到第二样本图像，该第二样本图像的分辨率小于该第一样本图像的分辨率。
该至少两种处理方式用于将高分辨率的样本图像处理为低分辨率的样本图像。通过随机选择一种处理方式进行退化处理，能够使得图像处理模型能够适用于该退化方式得到的图像。
203、电子设备基于图像处理模型，对该第二样本图像进行超分辨率图像处理，得到第三样本图像，该第三样本图像的分辨率大于该第二样本图像的分辨率。
该第三样本图像基于超分辨率图像处理得到，因而，该第三样本图像的分辨率大于该第二样本图像的分辨率。该过程为高分辨率图像的重建过程，对于退化处理后的第二样本图像，通过超分辨率图像处理过程，将其重建得到高分辨率图像，也即是第三样本图像。
204、电子设备基于该第一样本图像和该第三样本图像，获取目标损失值。
电子设备获取到退化再重建的第三样本图像后，可以与原始的第一样本图像比较，来确定该图像处理模型的性能优劣，该目标损失值即能够用于指示该图像处理模型的性能。
205、电子设备基于该目标损失值，对该图像处理模型的模型参数进行更新。
电子设备基于当前图像处理模型的性能，能够对图像处理模型的模型参数进行更新，来优化图像处理模型的性能。
206、电子设备继续执行该随机选择一种处理方式对第一样本图像进行处理、基于图像处理模型进行超分辨率图像处理以及获取目标损失值的步骤，直至符合目标条件时停止，得到目标图像处理模型。
上述步骤202至步骤204为一次迭代过程，在该迭代过程中，能够获取目标损失值对图像处理模型的性能进行衡量，进而更新模型参数，再继续进行下一次迭代过程，经过多次迭代过程，该图像处理模型能够准确对低分辨率的图像进行处理。
本申请实施例能够随机选择一种处理方式对分辨率高的第一样本图像进行退化处理，得到分辨率低的第二样本图像，这样无需通过人工处理，即可获取得到分辨率低的第二样本图像，能够大大降低人工成本，提高分辨率低的获取效率。且训练过程中，每次均可以选择一种处理方式进行退化处理，这样训练得到的目标图像处理模型在该多种处理方式处理得到的图像上均能够进行良好的图像处理，能够适应更多图像处理场景，因而，该目标图像处理模型的适用性好。
图3是本申请实施例提供的一种图像处理方法的流程图，参见图3，该方法包括以下步骤。
301、电子设备获取样本人脸图像。
在本申请实施例中，电子设备可以获取样本人脸图像，基于样本人脸图像，处理得到能够用于训练图像处理模型的第一样本图像。经过初步的处理，能够得到更加标准或者统一的样本图像，进而能够提高图像处理模型的性能，或者减少训练所需时间，提高训练效率。
该样本人脸图像可以存储于不同位置，相应地，该电子设备可以通过不同的方式获取该样本人脸图像。
在一些实施例中，该样本人脸图像可以存储于图像数据库中，相应地，电子设备可以从图像数据库中提取该样本人脸图像。例如，该图像数据库可以为人脸图像库。
在另一些实施例中，该样本人脸图像也可以存储于该电子设备中，相应地，电子设备可以从本地存储中提取该样本人脸图像。
302、电子设备对该样本人脸图像进行人脸检测和人脸配准处理。
电子设备对样本人脸图像进行人脸检测和人脸配准，能够确定样本人脸图像中人脸所在区域，还能够确定出人脸的方向或姿态等，进而以此对样本人脸图像进行裁剪，能够得到更标准、更规范的样本图像。
在一些实施例中，电子设备对该样本人脸图像进行人脸检测，得到人脸检测结果，然后基于该人脸检测结果进行人脸配准。该人脸检测和人脸配准过程用于检测人脸的关键点，能够得到人脸检测框，以大致标识出人脸轮廓，这样既可获知样本人脸图像中人脸所在区域。
303、电子设备基于处理结果，对该样本人脸图像中人脸所在区域进行裁剪，得到第一样本图像，该第一样本图像中包括该人脸所在区域。
该处理结果用于指示该样本人脸图像中人脸所在区域，电子设备基于该处理结果能够将人脸所在区域裁剪出来，进而对人脸进行针对性的分析，以生成高分辨率的人脸图像，这样训练的图像处理模型能够准确还原人脸细节，增加人脸图像的清晰度，提高人脸图像的质量。
在一些实施例中，该裁剪过程能够通过对处理结果中的人脸所在区域外扩一定比例进行裁剪实现。具体的，电子设备基于处理结果所指示的人脸所在区域以及目标比例，对该样本人脸图像进行裁剪，得到第一样本图像，其中，该第一样本图像中包括人脸所在区域以及人脸附近的像素点。
其中，该目标比例可以由相关技术人员根据需求进行设置，比如，该目标比例可以为120％，或者150％，本申请实施例对此不作限定。
步骤301至步骤303为获取第一样本图像的过程，该过程中仅以该第一样本图像为人脸图像进行说明，相应的，下述步骤中的该第二样本图像和该第三样本图像为人脸图像。该步骤301和步骤303为可选步骤，在一些实施例中，该该第一样本图像、该第二样本图像和该第三样本图像也可以不是人脸图像，因而无需执行上述人脸检测、配准和裁剪步骤，电子设备可以直接获取第一样本图像，该第一样本图像的获取过程可以与步骤301中样本人脸图像的获取过程同理，本申请实施例对此不作限定。
304、电子设备从至少两种处理方式中，随机选择一种处理方式，对该第一样本图像进行处理，得到第二样本图像，该第二样本图像的分辨率小于该第一样本图像的分辨率。
电子设备在模型训练过程中每次迭代过程中，能够先对高分辨率的第一样本图像进行退化处理，得到低分辨率的第二样本图像，这样第一样本图像和第二样本图像形成样本图像对，能够在后续的图像处理过程中作为样本图像，对图像处理模型进行训练。
在一些实施例中，该至少两种处理方式包括图像模糊、添加图像噪声、图像滤波、图像压缩中的至少两种。这些均为可行的退化处理方式。因而，上述步骤304包括以下几种情况中的任一种。
情况一中，电子设备对该第一样本图像进行模糊处理，得到第二样本图像。例如，该模糊处理可以采用随机高斯模糊，或者其他模糊处理方式。
情况二中，电子设备在该第一样本图像中添加图像噪声，得到第二样本图像。
情况三中，电子设备对该第一样本图像进行图像滤波，得到第二样本图像。例如，该图像滤波可以通过中值滤波、平均滤波等滤波方式实现。
情况四中，电子设备对该第一样本图像进行图像压缩，得到第二样本图像。例如，该图像压缩可以采用JPEG(Joint Photographic Experts Group，联合图像专家组)压缩方式，或者其他压缩方式。
在一些实施例中，该退化处理过程可以通过退化模型实现，具体的，电子设备可以从至少两个退化模型中，随机选择一个退化模型，基于该退化模型和该退化模型对应的退化参数对该第一样本图像进行处理。该退化模型能够基于高清图像和真实世界场景采集的低质量图像训练得到。例如，该训练过程可以通过无监督Pix2Pix的方式训练，或者也可以通过高清图像和一定的退化处理方式得到的低质量图像训练得到。本申请实施例对此不作限定。
在一些实施例中，模型训练过程的每次迭代，该退化处理过程可以选用不同的退化参数进行退化处理，这样得到多样化的样本图像，能够更好的扩充样本图像，得到更全面的样本图像，以提高样本图像的随机性，进而提高训练得到的模型性能。具体的，电子设备可以从该退化模型对应的至少两个退化参数中，随机选择一个退化参数，然后基于该退化模型和随机选择的该退化参数，对该第一样本图像进行处理。例如，随机高斯噪声的退化参数为std参数，该std参数的取值可以为1.0～3.0，迭代过程中可以在该取值范围内随机选择。又例如，平均滤波方式中，退化参数为k参数，该k参数的取值可以为4～7。又例如，中值滤波方式中，退化参数为k参数，该k参数的取值可以为3～9。又例如，C压缩方式中，退化参数为rate参数，该rate参数的取值可以为50％～90％。又例如，高斯噪声方式中，退化参数为std参数，该std参数的取值可以为0～0.05。
305、电子设备基于图像处理模型，对该第二样本图像进行超分辨率图像处理，得到第三样本图像，该第三样本图像的分辨率大于该第二样本图像的分辨率。
超分辨率图像处理过程可以通过残差稠密模块实现，具体的，电子设备可以将该第二样本图像输入该图像处理模型中，由该图像处理模型中至少两个残差稠密模块对该第二样本图像进行超分辨率图像处理，得到至少两个残差图像，基于该至少两个残差图像和该第二样本图像，获取并输出第三样本图像；其中，该至少两个残差图像基于数量不同的残差稠密模块进行超分辨率图像处理得到。
在一些实施例中，残差稠密模块的数量为一个或多个，该多个残差稠密模块串联，但多个残差稠密模块之间可以采用短链接(Residual Connection)，经过不同数量的残差稠密模块能够提取到不同层次的特征。该模型参数包括至少两个残差图像各自的权重，该过程中，电子设备将该至少两个残差图像分别与该第二样本图像进行融合，得到至少两个候选第三样本图像，然后可以基于该至少两个残差图像各自的权重，对该至少两个候选第三样本图像进行加权，得到该第三样本图像，并输出该第三样本图像。例如，如图4所示，Entry(进入)模块401的卷积网络将3通道的输入图像转换为64通道的特征图(featuremap)，在RDB(Residual Dense Block，残差稠密模块)402内部，通过稠密链接(Denseconnections)，将不同分层的特征串联在一起，这样可以得到一个更宽的网络，提高网络泛化能力。同时在RDB的输入和输出之间加了个短链接(Residual Connection)，有利于训练稳定。这样每个残差稠密模块能够输出一个残差图像，Exit(出口)模块403将多个RDB模块输出的特征图转换为3通道的残差图像(Residual Image)，残差图像分别与输入图相加得到恢复图像结果。注意到，Exit模块有多个输出，可以通过加权平均的方式得到输出结果，其中，权重w是可以学习的变量，也即是模型参数，在网络训练中自动更新。
例如，该加权处理过程可以通过下述公式一实现：
Figure BDA0002905175050000101
其中，input为第二样本图像，output为第三样本图像，wi为该至少两个残差图像各自的权重。M的取值仅为一个示例。
对于残差稠密模块，该残差稠密模块可以包括至少两个采用稠密链接(Denseconnections)串联的卷积层。通过多次卷积处理，能够提取到高维信息，为第二样本图像补充细节，得到更高分辨率的第三样本图像。例如，如图5所示，该残差稠密模块包括多个卷积层501(以Conv2d)，每个卷积层对数据进行卷积处理后，能够通过线性整流单元(RectifiedLinear Unit,ReLU)502进行整流处理再输入下一个卷积。最终残差稠密模块可以合并(concat)503前面多个卷积层的结果，并通过一个卷积层504进行一次卷积后输出。
306、电子设备基于该第一样本图像和该第三样本图像，获取目标损失值。
在一些实施例中，该目标损失值可以包括两个损失值，该训练过程可以通过生成对抗网络(Generative Adversarial Network，简称GAN)实现。对于生成对抗网络(Generative Adversarial Network，简称GAN)，是非监督式学习的一种方法，由一个生成网络(generator)与一个判别网络(discriminator)组成。判别网络的输入则为真实样本或生成网络的输出，其目的是将生成网络的输出从真实样本中尽可能分辨出来。而生成网络则要尽可能地欺骗判别网络。两个网络相互对抗、不断调整参数，最终生成以假乱真的图片。
具体地，电子设备可以基于该第一样本图像和该第三样本图像，获取第一损失值，对该第一样本图像和该第三样本图像进行图像识别，得到第一样本图像的第一识别结果和第二样本图像的第二识别结果，该第一识别结果和该第二识别结果用于指示图像是否为生成的图像；基于该第一识别结果和该第二识别结果，获取第二损失值；基于该第一损失值和该第二损失值，获取目标损失值。
在一些实施例中，电子设备可以对第一样本图像和该第三样本图像进行判别，以判别这两个图像是否为生成的图像，还是真实图像。该判别过程可以通过判别器或判别网络实现。
例如，如图6所示，电子设备可以获取第一样本图像601，该第一样本图像601的分辨率较高，比较清晰，电子设备可以通过退化模型对其进行退化602，得到第二样本图像603，第二样本图像603的分辨率较低，比较模糊。电子设备可以将第二样本图像603作为恢复模型604的输入(input),通过恢复模型604对第二样本图像603进行恢复，得到分辨率高的输出(output)605。第一样本图像601即为高清图像(GT)，对于恢复模型604的输出605，能够通过判别器(Discriminator)606进行判别，基于判别，确定出对抗损失(GAN loss)607。基于恢复模型604的输出605和GT，也能够确定出重建损失(reconstruction loss)608。该第一损失值可以称为重建损失(reconstruction loss)，表示为LLPIPS。第二损失值可以称为对抗损失(GAN loss)，表示为LGAN，用于使得生成结果分布与真实输入图分布一致，提高结果的真实感。该目标损失值的获取过程可以通过公式二、三、四实现：
L＝LGAN+LLPIPS，公式二
Figure BDA0002905175050000111
LLPIPS＝|G(input)-GT|1，公式四
其中，L为目标损失值，LGAN为第二损失值，LLPIPS为第一损失值。G(input)为对输入进行超分辨率图像处理后得到的输出，也即是第三样本图像。GT为高清图像，也即是第一样本图像。E[]为期望。log()为对数函数。D()为通过判别器对图像进行判别得到的结果。
307、电子设备基于该目标损失值，对该图像处理模型的模型参数进行更新。
该模型参数更新过程用于优化图像处理模型的性能，最终使得图像处理模型能够准确对图像进行超分辨率图像处理。该更新过程可以通过梯度下降法实现，也可通过其他方式实现，对此不限定。
308、电子设备继续执行该随机选择一种处理方式对第一样本图像进行处理、基于图像处理模型进行超分辨率图像处理以及获取目标损失值的步骤，直至符合目标条件时停止，得到目标图像处理模型。
该步骤308中重复执行的步骤与上述步骤304至步骤307同理，在此不多做赘述。
该目标条件可以由相关技术人员根据需求设置，例如，迭代次数达到目标次数，或者目标损失值收敛等。本申请实施例对此不作限定。
例如，在一个具体示例中，如图7所示，上述图像处理过程中对于网络人脸数据701，能够对其进行检测配准裁剪步骤702，然后进行数据删选703，得到高清人像704，然后能够通过退化模型705对高清人像704处理，得到低质量数据706，进而综合高清人像704和低质量数据706来训练高清人像恢复模型707(也即是图像处理模型)。
309、电子设备获取第一图像。
电子设备可以通过多种方式获取第一图像，在不同的图像处理场景中，该获取过程可以具有不同的实现方式。下面提供了两种可能的方式。
方式一中，电子设备可以获取人脸图像，对该人脸图像进行人脸检测和人脸配准处理，基于处理结果，对该人脸图像中人脸所在区域进行裁剪，得到第一图像，该第一图像中包括该人脸所在区域。方式一中，该图像处理场景为对获取到的人脸图像(例如拍摄到的人脸图像)进行处理，提高图像的分辨率。
方式二中，电子设备获取视频，对该视频中的人脸图像进行人脸检测和人脸配准处理，该人脸图像为该视频中的图像帧，基于处理结果，对该人脸图像中人脸所在区域进行裁剪，得到第一图像，该第一图像中包括该人脸所在区域。方式二中，该图像处理场景为对获取到的视频进行处理，提高视频的分辨率。电子设备可以获取视频中部分视频帧作为人脸图像，也可以将视频中所有视频帧均作为人脸图像，也可以对视频进行抽帧，对抽取的视频帧进行人脸检测，当视频帧中包括人脸时，将其作为人脸图像进行进一步处理，本申请实施例对此不作限定。
310、电子设备基于该图像处理模型对该第一图像进行超分辨率图像处理，得到第二图像，该第二图像的分辨率大于该第一图像的分辨率。
该步骤310与上述步骤305同理，在此不多做赘述。
在一些实施例中，电子设备对第一图像进行处理后，得到了更高分辨率的第二图像后，还可以对该人脸图像和该第二图像进行融合，得到第三图像，该第三图像中人脸所在区域为该第二图像。例如，电子设备可以将该人脸图像中该第一图像对应区域替换为该第二图像，得到第三图像。这样人脸图像中人脸所在区域被第二图像替换得到了第三图像，第三图像补充了人脸细节，分辨率更高，因而，第三图像为对人脸图像进行质量优化后的高清人脸图像。
本申请实施例能够随机选择一种处理方式对分辨率高的第一样本图像进行退化处理，得到分辨率低的第二样本图像，这样无需通过人工处理，即可获取得到分辨率低的第二样本图像，能够大大降低人工成本，提高分辨率低的获取效率。且训练过程中，每次均可以选择一种处理方式进行退化处理，这样训练得到的目标图像处理模型在该多种处理方式处理得到的图像上均能够进行良好的图像处理，能够适应更多图像处理场景，因而，该目标图像处理模型的适用性好。
上述所有可选技术方案，能够采用任意结合形成本申请的可选实施例，在此不再一一赘述。
图8是本申请实施例提供的一种图像处理装置的结构示意图，参见图8，该装置包括：
获取模块801，用于获取第一样本图像；
退化处理模块802，用于从至少两种处理方式中，随机选择一种处理方式，对该第一样本图像进行处理，得到第二样本图像，该第二样本图像的分辨率小于该第一样本图像的分辨率；
超分处理模块803，用于基于图像处理模型，对该第二样本图像进行超分辨率图像处理，得到第三样本图像，该第三样本图像的分辨率大于该第二样本图像的分辨率；
损失值获取模块804，用于基于该第一样本图像和该第三样本图像，获取目标损失值；
更新模块805，用于基于该目标损失值，对该图像处理模型的模型参数进行更新；
该装置继续执行该随机选择一种处理方式对第一样本图像进行处理、基于图像处理模型进行超分辨率图像处理以及获取目标损失值的步骤，直至符合目标条件时停止，得到目标图像处理模型。
在一些实施例中，该至少两种处理方式包括图像模糊、添加图像噪声、图像滤波、图像压缩中的至少两种；
该退化处理模块802用于下述任一项：
对该第一样本图像进行模糊处理，得到第二样本图像；
在该第一样本图像中添加图像噪声，得到第二样本图像；
对该第一样本图像进行图像滤波，得到第二样本图像；
对该第一样本图像进行图像压缩，得到第二样本图像。
在一些实施例中，该退化处理模块802用于从至少两个退化模型中，随机选择一个退化模型，基于该退化模型和该退化模型对应的退化参数对该第一样本图像进行处理。
在一些实施例中，该退化处理模块802用于：
从该退化模型对应的至少两个退化参数中，随机选择一个退化参数；
基于该退化模型和随机选择的该退化参数，对该第一样本图像进行处理。
在一些实施例中，该超分处理模块803用于将该第二样本图像输入该图像处理模型中，由该图像处理模型中至少两个残差稠密模块对该第二样本图像进行超分辨率图像处理，得到至少两个残差图像，基于该至少两个残差图像和该第二样本图像，获取并输出第三样本图像；其中，该至少两个残差图像基于数量不同的残差稠密模块进行超分辨率图像处理得到。
在一些实施例中，该模型参数包括至少两个残差图像各自的权重；
该超分处理模块803用于：
将该至少两个残差图像分别与该第二样本图像进行融合，得到至少两个候选第三样本图像；
基于该至少两个残差图像各自的权重，对该至少两个候选第三样本图像进行加权，得到该第三样本图像，并输出该第三样本图像。
在一些实施例中，该残差稠密模块包括至少两个采用稠密链接串联的卷积层。
在一些实施例中，该损失值获取模块804用于：
基于该第一样本图像和该第三样本图像，获取第一损失值；
对该第一样本图像和该第三样本图像进行图像识别，得到第一样本图像的第一识别结果和第二样本图像的第二识别结果，该第一识别结果和该第二识别结果用于指示图像是否为生成的图像；
基于该第一识别结果和该第二识别结果，获取第二损失值；
基于该第一损失值和该第二损失值，获取目标损失值。
在一些实施例中，该第一样本图像、该第二样本图像和该第三样本图像为人脸图像；
该获取模块801用于：
获取样本人脸图像；
对该样本人脸图像进行人脸检测和人脸配准处理；
基于处理结果，对该样本人脸图像中人脸所在区域进行裁剪，得到第一样本图像，该第一样本图像中包括该人脸所在区域。
在一些实施例中，该获取模块801还用于获取第一图像；
该超分处理模块803还用于基于该图像处理模型对该第一图像进行超分辨率图像处理，得到第二图像，该第二图像的分辨率大于该第一图像的分辨率。
在一些实施例中，该获取模块801用于：
获取视频；
对该视频中的人脸图像进行人脸检测和人脸配准处理，该人脸图像为该视频中的图像帧；
基于处理结果，对该人脸图像中人脸所在区域进行裁剪，得到第一图像，该第一图像中包括该人脸所在区域。
在一些实施例中，该装置还包括：
融合模块，用于对该人脸图像和该第二图像进行融合，得到第三图像，该第三图像中人脸所在区域为该第二图像。
需要说明的是：上述实施例提供的图像处理装置在图像处理时，仅以上述各功能模块的划分进行举例说明，实际应用中，能够根据需要而将上述功能分配由不同的功能模块完成，即将图像处理装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图9是本申请实施例提供的一种电子设备的结构示意图，该电子设备900可因配置或性能不同而产生比较大的差异，能够包括一个或一个以上处理器(Central ProcessingUnits，CPU)901和一个或一个以上的存储器902，其中，该存储器902中存储有至少一条计算机程序，该至少一条计算机程序由该处理器901加载并执行以实现上述各个方法实施例提供的图像处理方法。该电子设备还能够包括其他用于实现设备功能的部件，例如，该电子设备还能够具有有线或无线网络接口以及输入输出接口等部件，以便进行输入输出。本申请实施例在此不做赘述。
上述方法实施例中的电子设备能够实现为终端。例如，图10是本申请实施例提供的一种终端的结构框图。该终端1000可以是便携式移动终端，比如：智能手机、平板电脑、MP3(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1000还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端1000包括有：处理器1001和存储器1002。
处理器1001可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1001可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1001也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1001可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1001还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1002可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1002还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1002中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1001所执行以实现本申请中方法实施例提供的图像处理方法。
在一些实施例中，终端1000还可选包括有：***设备接口1003和至少一个***设备。处理器1001、存储器1002和***设备接口1003之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口1003相连。具体地，***设备包括：射频电路1004、显示屏1005、摄像头组件1006、音频电路1007、定位组件1008和电源1009中的至少一种。
***设备接口1003可被用于将I/O(Input/Output，输入/输出)相关的至少一个***设备连接到处理器1001和存储器1002。在一些实施例中，处理器1001、存储器1002和***设备接口1003被集成在同一芯片或电路板上；在一些其他实施例中，处理器1001、存储器1002和***设备接口1003中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路1004用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1004通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1004将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1004包括：天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1004可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1004还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏1005用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1005是触摸显示屏时，显示屏1005还具有采集在显示屏1005的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1001进行处理。此时，显示屏1005还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1005可以为一个，设置在终端1000的前面板；在另一些实施例中，显示屏1005可以为至少两个，分别设置在终端1000的不同表面或呈折叠设计；在另一些实施例中，显示屏1005可以是柔性显示屏，设置在终端1000的弯曲表面上或折叠面上。甚至，显示屏1005还可以设置成非矩形的不规则图形，也即异形屏。显示屏1005可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-EmittingDiode,有机发光二极管)等材质制备。
摄像头组件1006用于采集图像或视频。可选地，摄像头组件1006包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1006还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路1007可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1001进行处理，或者输入至射频电路1004以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1000的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1001或射频电路1004的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1007还可以包括耳机插孔。
定位组件1008用于定位终端1000的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件1008可以是基于美国的GPS(GlobalPositioning System，全球定位***)、中国的北斗***或俄罗斯的伽利略***的定位组件。
电源1009用于为终端1000中的各个组件进行供电。电源1009可以是交流电、直流电、一次性电池或可充电电池。当电源1009包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端1000还包括有一个或多个传感器1010。该一个或多个传感器1010包括但不限于：加速度传感器1011、陀螺仪传感器1012、压力传感器1013、指纹传感器1014、光学传感器1015以及接近传感器1016。
加速度传感器1011可以检测以终端1000建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1011可以用于检测重力加速度在三个坐标轴上的分量。处理器1001可以根据加速度传感器1011采集的重力加速度信号，控制显示屏1005以横向视图或纵向视图进行用户界面的显示。加速度传感器1011还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1012可以检测终端1000的机体方向及转动角度，陀螺仪传感器1012可以与加速度传感器1011协同采集用户对终端1000的3D动作。处理器1001根据陀螺仪传感器1012采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1013可以设置在终端1000的侧边框和/或显示屏1005的下层。当压力传感器1013设置在终端1000的侧边框时，可以检测用户对终端1000的握持信号，由处理器1001根据压力传感器1013采集的握持信号进行左右手识别或快捷操作。当压力传感器1013设置在显示屏1005的下层时，由处理器1001根据用户对显示屏1005的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1014用于采集用户的指纹，由处理器1001根据指纹传感器1014采集到的指纹识别用户的身份，或者，由指纹传感器1014根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1001授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1014可以被设置在终端1000的正面、背面或侧面。当终端1000上设置有物理按键或厂商Logo时，指纹传感器1014可以与物理按键或厂商Logo集成在一起。
光学传感器1015用于采集环境光强度。在一个实施例中，处理器1001可以根据光学传感器1015采集的环境光强度，控制显示屏1005的显示亮度。具体地，当环境光强度较高时，调高显示屏1005的显示亮度；当环境光强度较低时，调低显示屏1005的显示亮度。在另一个实施例中，处理器1001还可以根据光学传感器1015采集的环境光强度，动态调整摄像头组件1006的拍摄参数。
接近传感器1016，也称距离传感器，通常设置在终端1000的前面板。接近传感器1016用于采集用户与终端1000的正面之间的距离。在一个实施例中，当接近传感器1016检测到用户与终端1000的正面之间的距离逐渐变小时，由处理器1001控制显示屏1005从亮屏状态切换为息屏状态；当接近传感器1016检测到用户与终端1000的正面之间的距离逐渐变大时，由处理器1001控制显示屏1005从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图10中示出的结构并不构成对终端1000的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
上述方法实施例中的电子设备能够实现为服务器。例如，图11是本申请实施例提供的一种服务器的结构示意图，该服务器1100可因配置或性能不同而产生比较大的差异，能够包括一个或一个以上处理器(Central Processing Units，CPU)1101和一个或一个以上的存储器1102，其中，该存储器1102中存储有至少一条计算机程序，该至少一条计算机程序由该处理器1101加载并执行以实现上述各个方法实施例提供的图像处理方法。当然，该服务器还能够具有有线或无线网络接口以及输入输出接口等部件，以便进行输入输出，该服务器还能够包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括至少一条计算机程序的存储器，上述至少一条计算机程序由可由处理器执行以完成上述实施例中的图像处理方法。例如，计算机可读存储介质能够是只读存储器(Read-Only Memory，简称：ROM)、随机存取存储器(Random Access Memory，简称：RAM)、只读光盘(Compact Disc Read-OnlyMemory，简称：CD-ROM)、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或该计算机程序包括一条或多条计算机程序，该一条或多条计算机程序存储在计算机可读存储介质中。电子设备的一个或多个处理器能够从计算机可读存储介质中读取该一条或多条计算机程序，该一个或多个处理器执行该一条或多条计算机程序，使得电子设备能够执行上述图像处理方法。
应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
应理解，根据A确定B并不意味着仅仅根据A确定B，还能够根据A和/或其它信息确定B。
本领域普通技术人员能够理解实现上述实施例的全部或部分步骤能够通过硬件来完成，也能够通过程序来指令相关的硬件完成，该程序能够存储于一种计算机可读存储介质中，上述提到的存储介质能够是只读存储器，磁盘或光盘等。
以上描述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种图像处理方法，其特征在于，所述方法包括：
获取第一样本图像；
从至少两种处理方式中，随机选择一种处理方式，对所述第一样本图像进行处理，得到第二样本图像，所述第二样本图像的分辨率小于所述第一样本图像的分辨率；
基于图像处理模型，对所述第二样本图像进行超分辨率图像处理，得到第三样本图像，所述第三样本图像的分辨率大于所述第二样本图像的分辨率；
基于所述第一样本图像和所述第三样本图像，获取目标损失值；
基于所述目标损失值，对所述图像处理模型的模型参数进行更新；
继续执行所述随机选择一种处理方式对第一样本图像进行处理、基于图像处理模型进行超分辨率图像处理以及获取目标损失值的步骤，直至符合目标条件时停止，得到目标图像处理模型。
2.根据权利要求1所述的方法，其特征在于，所述至少两种处理方式包括图像模糊、添加图像噪声、图像滤波、图像压缩中的至少两种；
所述从至少两种处理方式中，随机选择一种处理方式，对所述第一样本图像进行处理，得到第二样本图像，包括下述任一项：
对所述第一样本图像进行模糊处理，得到第二样本图像；
在所述第一样本图像中添加图像噪声，得到第二样本图像；
对所述第一样本图像进行图像滤波，得到第二样本图像；
对所述第一样本图像进行图像压缩，得到第二样本图像。
3.根据权利要求1所述的方法，其特征在于，所述从至少两种处理方式中，随机选择一种处理方式，对所述第一样本图像进行处理，包括：
从至少两个退化模型中，随机选择一个退化模型，基于所述退化模型和所述退化模型对应的退化参数对所述第一样本图像进行处理。
4.根据权利要求3所述的方法，其特征在于，所述基于所述退化模型和所述退化模型对应的退化参数对所述第一样本图像进行处理，包括：
从所述退化模型对应的至少两个退化参数中，随机选择一个退化参数；
基于所述退化模型和随机选择的所述退化参数，对所述第一样本图像进行处理。
5.根据权利要求1所述的方法，其特征在于，所述基于图像处理模型，对所述第二样本图像进行超分辨率图像处理，得到第三样本图像，包括：
将所述第二样本图像输入所述图像处理模型中，由所述图像处理模型中至少两个残差稠密模块对所述第二样本图像进行超分辨率图像处理，得到至少两个残差图像，基于所述至少两个残差图像和所述第二样本图像，获取并输出第三样本图像；其中，所述至少两个残差图像基于数量不同的残差稠密模块进行超分辨率图像处理得到。
6.根据权利要求5所述的方法，其特征在于，所述模型参数包括至少两个残差图像各自的权重；
所述基于所述至少两个残差图像和所述第二样本图像，获取并输出第三样本图像，包括：
将所述至少两个残差图像分别与所述第二样本图像进行融合，得到至少两个候选第三样本图像；
基于所述至少两个残差图像各自的权重，对所述至少两个候选第三样本图像进行加权，得到所述第三样本图像，并输出所述第三样本图像。
7.根据权利要求5所述的方法，其特征在于，所述残差稠密模块包括至少两个采用稠密链接串联的卷积层。
8.根据权利要求1所述的方法，其特征在于，所述基于所述第一样本图像和所述第三样本图像，获取目标损失值，包括：
基于所述第一样本图像和所述第三样本图像，获取第一损失值；
对所述第一样本图像和所述第三样本图像进行图像识别，得到第一样本图像的第一识别结果和第二样本图像的第二识别结果，所述第一识别结果和所述第二识别结果用于指示图像是否为生成的图像；
基于所述第一识别结果和所述第二识别结果，获取第二损失值；
基于所述第一损失值和所述第二损失值，获取目标损失值。
9.根据权利要求1所述的方法，其特征在于，所述第一样本图像、所述第二样本图像和所述第三样本图像为人脸图像；
所述获取第一样本图像，包括：
获取样本人脸图像；
对所述样本人脸图像进行人脸检测和人脸配准处理；
基于处理结果，对所述样本人脸图像中人脸所在区域进行裁剪，得到第一样本图像，所述第一样本图像中包括所述人脸所在区域。
10.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取第一图像；
基于所述图像处理模型对所述第一图像进行超分辨率图像处理，得到第二图像，所述第二图像的分辨率大于所述第一图像的分辨率。
11.根据权利要求10所述的方法，其特征在于，所述获取第一图像，包括：
获取视频；
对所述视频中的人脸图像进行人脸检测和人脸配准处理，所述人脸图像为所述视频中的图像帧；
基于处理结果，对所述人脸图像中人脸所在区域进行裁剪，得到第一图像，所述第一图像中包括所述人脸所在区域。
12.根据权利要求10或11所述的方法，其特征在于，所述方法还包括：
对所述人脸图像和所述第二图像进行融合，得到第三图像，所述第三图像中人脸所在区域为所述第二图像。
13.一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取第一样本图像；
退化处理模块，用于从至少两种处理方式中，随机选择一种处理方式，对所述第一样本图像进行处理，得到第二样本图像，所述第二样本图像的分辨率小于所述第一样本图像的分辨率；
超分处理模块，用于基于图像处理模型，对所述第二样本图像进行超分辨率图像处理，得到第三样本图像，所述第三样本图像的分辨率大于所述第二样本图像的分辨率；
损失值获取模块，用于基于所述第一样本图像和所述第三样本图像，获取目标损失值；
更新模块，用于基于所述目标损失值，对所述图像处理模型的模型参数进行更新；
所述装置继续执行所述随机选择一种处理方式对第一样本图像进行处理、基于图像处理模型进行超分辨率图像处理以及获取目标损失值的步骤，直至符合目标条件时停止，得到目标图像处理模型。
14.一种电子设备，其特征在于，所述电子设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求12任一项所述的图像处理方法。
15.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现如权利要求1至权利要求12任一项所述的图像处理方法。
CN202110068659.0A 2021-01-19 2021-01-19 图像处理方法、装置、设备及存储介质 Pending CN113570510A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110068659.0A CN113570510A (zh) 2021-01-19 2021-01-19 图像处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110068659.0A CN113570510A (zh) 2021-01-19 2021-01-19 图像处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113570510A true CN113570510A (zh) 2021-10-29

Family

ID=78160968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110068659.0A Pending CN113570510A (zh) 2021-01-19 2021-01-19 图像处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113570510A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205164A (zh) * 2022-09-15 2022-10-18 腾讯科技（深圳）有限公司 图像处理模型的训练方法、视频处理方法、装置及设备
CN116310959A (zh) * 2023-02-21 2023-06-23 南京智蓝芯联信息科技有限公司 一种复杂场景下低质量摄像机画面识别方法及***

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205164A (zh) * 2022-09-15 2022-10-18 腾讯科技（深圳）有限公司 图像处理模型的训练方法、视频处理方法、装置及设备
CN115205164B (zh) * 2022-09-15 2022-12-13 腾讯科技（深圳）有限公司 图像处理模型的训练方法、视频处理方法、装置及设备
CN116310959A (zh) * 2023-02-21 2023-06-23 南京智蓝芯联信息科技有限公司 一种复杂场景下低质量摄像机画面识别方法及***
CN116310959B (zh) * 2023-02-21 2023-12-08 南京智蓝芯联信息科技有限公司 一种复杂场景下低质量摄像机画面识别方法及***

Similar Documents

Publication Publication Date Title
CN110097019B (zh) 字符识别方法、装置、计算机设备以及存储介质
CN111091132B (zh) 基于人工智能的图像识别方法、装置、计算机设备及介质
CN110083791B (zh) 目标群组检测方法、装置、计算机设备及存储介质
CN111489378B (zh) 视频帧特征提取方法、装置、计算机设备及存储介质
CN111931877B (zh) 目标检测方法、装置、设备及存储介质
CN110059652B (zh) 人脸图像处理方法、装置及存储介质
CN111325699B (zh) 图像修复方法和图像修复模型的训练方法
CN111243668B (zh) 分子结合位点检测方法、装置、电子设备及存储介质
CN111104980B (zh) 确定分类结果的方法、装置、设备及存储介质
CN111914812A (zh) 图像处理模型训练方法、装置、设备及存储介质
CN111368116B (zh) 图像分类方法、装置、计算机设备及存储介质
CN114283050A (zh) 图像处理方法、装置、设备及存储介质
CN111178343A (zh) 基于人工智能的多媒体资源检测方法、装置、设备及介质
CN111597922A (zh) 细胞图像的识别方法、***、装置、设备及介质
CN111738365B (zh) 图像分类模型训练方法、装置、计算机设备及存储介质
CN110837858A (zh) 网络模型训练方法、装置、计算机设备及存储介质
CN114359225A (zh) 图像检测方法、装置、计算机设备及存储介质
CN113918767A (zh) 视频片段定位方法、装置、设备及存储介质
CN113724189A (zh) 图像处理方法、装置、设备及存储介质
CN113570510A (zh) 图像处理方法、装置、设备及存储介质
CN115129932A (zh) 视频片段的确定方法、装置、设备及存储介质
CN114282035A (zh) 图像检索模型的训练和检索方法、装置、设备及介质
CN113763931A (zh) 波形特征提取方法、装置、计算机设备及存储介质
CN114283299A (zh) 图像聚类方法、装置、计算机设备及存储介质
CN112528760A (zh) 图像处理方法、装置、计算机设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40052394

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination