CN110956599A - 图片处理方法和装置、存储介质及电子装置 - Google Patents

图片处理方法和装置、存储介质及电子装置 Download PDF

Info

Publication number
CN110956599A
CN110956599A CN201911143196.9A CN201911143196A CN110956599A CN 110956599 A CN110956599 A CN 110956599A CN 201911143196 A CN201911143196 A CN 201911143196A CN 110956599 A CN110956599 A CN 110956599A
Authority
CN
China
Prior art keywords
picture
facial
face
target
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911143196.9A
Other languages
English (en)
Inventor
宋奕兵
刘威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911143196.9A priority Critical patent/CN110956599A/zh
Publication of CN110956599A publication Critical patent/CN110956599A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图片处理方法和装置、存储介质及电子装置。其中，该方法包括：使用目标识别模型识别原始面部图片，获取原始面部图片的面部结构图，面部结构图中包括原始面部图片中面部的基本面部结构；根据基本面部结构从数据库存储的高清面部图片中查找与面部结构图匹配的目标高清面部图片，根据基本面部结构与目标高清面部图片确定目标面部图片，其中，目标面部图片的分辨率为第三分辨率，第三分辨率大于第一分辨率。本发明解决了相关技术中对低清晰度图片处理准确度低的技术问题。

Description

图片处理方法和装置、存储介质及电子装置
技术领域
本发明涉及计算机领域，具体而言，涉及一种图片处理方法和装置、存储介质及电子装置。
背景技术
相关技术中，在提高图片的清晰度的过程中，通常是可以使用去模糊的方法对图片进行去模糊以提高图片清晰度，或者使用超分辨率的方法提高图片的分辨率。对于去模糊的方法，通常为从人脸数据库中提取出梯度和纹理信息来补充至输入的模糊人脸图像中。而对于超分辨率的方法，已有方案为从高分辨率的人脸数据库中寻找匹配的人脸图像块来补充输入的低分辨率的人脸图像。在自然图像超分辨率的方案中，有提出利用卷积神经网络对自然图像进行端到端的上采样从而获得高分辨率的图像。
然而，若是采用上述方法，使用卷积神经网络对自然图像进行端到端的上采样，实际上仅仅实现了部分提高图片的清晰度，对图片的处理效果并不高。也就是说，相关技术中，无法有效处理低清晰度的图片，获得高清晰度的图片。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种图片处理方法和装置、存储介质及电子装置，以至少解决相关技术中对低清晰度图片处理准确度低的技术问题。
根据本发明实施例的一个方面，提供了一种图片处理方法，包括：使用目标识别模型获取原始面部图片的面部结构图，其中，上述原始面部图片的分辨率为第一分辨率，上述面部结构图中包括上述原始面部图片中面部的基本面部结构；根据上述基本面部结构从数据库存储的高清面部图片中查找与上述面部结构图匹配的目标高清面部图片，其中，上述目标高清面部图片的分辨率为第二分辨率，上述第二分辨率大于上述第一分辨率；根据上述基本面部结构与上述目标高清面部图片确定目标面部图片，其中，上述目标面部图片的分辨率为第三分辨率，上述第三分辨率大于上述第一分辨率。
根据本发明实施例的另一方面，还提供了一种图片处理装置，包括：获取单元，用于使用目标识别模型获取原始面部图片的面部结构图，其中，上述原始面部图片的分辨率为第一分辨率，上述面部结构图中包括上述原始面部图片中面部的基本面部结构；查找单元，用于根据上述基本面部结构从数据库存储的高清面部图片中查找与上述面部结构图匹配的目标高清面部图片，其中，上述目标高清面部图片的分辨率为第二分辨率，上述第二分辨率大于上述第一分辨率；确定单元，用于根据上述基本面部结构与上述目标高清面部图片确定目标面部图片，其中，上述目标面部图片的分辨率为第三分辨率，上述第三分辨率大于上述第一分辨率。
作为一种可选的示例，上述确定单元包括：第一处理模块，用于对上述目标高清面部图片执行滤波操作，得到第一滤波图片；第二处理模块，用于对上述面部结构图执行滤波操作，得到第二滤波图片；添加模块，用于将上述第一滤波图片与上述目标高清面部图片的差值图片添加到上述第二滤波图片中，得到目标面部图片，其中，上述目标面部图片的分辨率为第三分辨率，上述第三分辨率大于上述第一分辨率。
作为一种可选的示例，上述确定单元还包括：第二获取模块，用于在上述将上述第一滤波图片与上述目标高清面部图片的差值图片添加到上述第二滤波图片中，得到目标面部图片之前，获取上述第一滤波图片与上述目标高清面部图片中每两个处于相同位置的像素的差值；保存模块，用于将上述差值保存到上述差值图片中，得到上述第一滤波图片与上述目标高清面部图片的上述差值图片。
根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述图片处理方法。
根据本发明实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的图片处理方法。
在本发明实施例中，采用了使用目标识别模型获取原始面部图片的面部结构图根据上述基本面部结构从数据库存储的高清面部图片中查找与上述面部结构图匹配的目标高清面部图片，其中，上述目标高清面部图片的分辨率为第二分辨率，上述第二分辨率大于上述第一分辨率；根据上述基本面部结构与上述目标高清面部图片确定目标面部图片的方法。在上述方法中，在获取到原始面部图片后，首先使用目标识别模型对原始面部图片进行智能识别，获取到原始面部图片的面部结构图，然后根据面部结构图查找到目标高清面部图片，进一步通过面部结构图与目标高清面部图片获取原始面部图片的目标面部图片，得到高清的目标面部图片。因此，通过上述方法可以得到完整的且高清的图片，从而实现了提高图片处理准确度的效果，进而解决了相关技术中对低清晰度图片处理准确度低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的图片处理方法的应用环境的示意图；
图2是根据本发明实施例的一种可选的图片处理方法的流程示意图；
图3是根据本发明实施例的一种可选的图片处理方法的示意图；
图4是根据本发明实施例的另一种可选的图片处理方法的示意图；
图5是根据本发明实施例的又一种可选的图片处理方法的示意图；
图6是根据本发明实施例的又一种可选的图片处理方法的示意图；
图7是根据本发明实施例的又一种可选的图片处理方法的示意图；
图8是根据本发明实施例的一种可选的图片处理装置的结构示意图；
图9是根据本发明实施例的一种可选的电子装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面，提供了一种图片处理方法，可选地，作为一种可选的实施方式，上述图片处理方法可以但不限于应用于如图1 所示的环境中。
图1中用户102与用户设备104之间可以进行人机交互。用户设备104 中包含有存储器106，用于存储交互数据、处理器108，用于处理交互数据。用户设备104可以通过网络110与服务器112之间进行数据交互。服务器112中包含有数据库114，用于存储交互数据、处理引擎116，用于处理交互数据。用户设备104可以获取原始面部图片，原始面部图片可以是清晰度不高，细节不强的图片。用户设备104在获取到上述原始面部图片后，可以获取原始面部图片中面部的基本面部结构，然后根据基本面部结构从数据库114中存储的高清图片中查找目标高清面部图片，并对目标高清面部图片执行滤波操作，得到第一滤波图片，并对面部结构图执行滤波操作，得到第二滤波图片，以及将所述第一滤波图片与所述目标高清面部图片的差值图片添加到所述第二滤波图片中，得到目标面部图片，从而得到高清晰度高细节的图片。
可选地，上述用户设备104可以但不限于为手机、平板电脑、笔记本电脑、PC机等终端上，上述网络110可以包括但不限于无线网络或有线网络。其中，该无线网络包括：WIFI及其他实现无线通信的网络。上述有线网络可以包括但不限于：广域网、城域网、局域网。上述服务器112 可以包括但不限于任何可以进行计算的硬件设备。
可选地，作为一种可选的实施方式，如图2所示，上述图片处理方法包括：
S202，使用目标识别模型获取原始面部图片的面部结构图，其中，所述原始面部图片的分辨率为第一分辨率，所述面部结构图中包括所述原始面部图片中面部的基本面部结构；
S204，根据所述基本面部结构从数据库存储的高清面部图片中查找与所述面部结构图匹配的目标高清面部图片，其中，所述目标高清面部图片的分辨率为第二分辨率，所述第二分辨率大于所述第一分辨率；
S206，根据所述基本面部结构与所述目标高清面部图片确定目标面部图片，其中，所述目标面部图片的分辨率为第三分辨率，所述第三分辨率大于所述第一分辨率。
可选地，上述图片处理方法可以但不限于应用于人工智能领域，例如，由人工智能来识别图片，提高图片的分辨率或清晰度。
上述人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
语音技术(Speech Technology)的关键技术有自动语音识别技术(ASR) 和语音合成技术(TTS)以及声纹识别技术。让计算机能听、能看、能说、能感觉，是未来人机交互的发展方向，其中语音成为未来最被看好的人机交互方式之一。
自然语言处理(Nature Language processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
自动驾驶技术通常包括高精地图、环境感知、行为决策、路径规划、运动控制等技术，自定驾驶技术有着广泛的应用前景，
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能的计算机视觉识别与机器学习等技术，具体通过如下实施例进行说明。
例如将本方案应用于面部图片的清晰度与细节增强的过程中。相关技术中，在对面部图片进行细节增强与提高清晰度的过程中，仅仅能够实现对图片进行部分细节增强，或者部分提高清晰度。对图片提高清晰度的处理准确度低。而采用本方案中记载的方法，首先使用目标识别模型对原始面部图片进行智能识别，获取到原始面部图片的面部结构图，然后根据面部结构图查找到目标高清面部图片，进一步通过面部结构图与目标高清面部图片获取原始面部图片的目标面部图片，得到高清的目标面部图片。因此，通过上述方法可以得到完整的且高清的图片，从而实现了提高图片处理准确度的效果。可选地，本方案中的的原始面部图片可以为包含人脸的图片，面部结构图可以包含原始面部图片中的人脸的面部结构。面部结构可以为面部轮廓或者面部皮肤结构等。上述提到的分辨率可以为一种约定俗成的分辨率。
可选地，本方案中可以预先将目标高清面部图片存储到数据库中，目标高清面部图片清晰度或者分辨率较高。数据库中还可以存储有与清晰度或者分辨率不高的图片。本实施例不做限定。
可选地，本方案中在获取到原始面部图片之后，可以获取原始面部图片的基本面部结构。原始面部图片的基本面部结构可以通过目标识别模型获取。目标识别模型为预先训练的模型。在训练模型的过程中，首先，准备原始识别模型，然后准备样本面部图片。样本面部图片是带有人物面部的样本图片。对样本面部图片提取掩膜。在提取掩膜的过程中，可以对样本面部图片中的人物的五官的特征点，提取出针对五官的不同的掩膜。掩膜数量不做具体限定。在提取得到样本面部图片的掩膜后，可以将样本面部图片与样本面部图片的掩膜与样本面部图片的样本面部结构图输入到原始识别模型中，对原始识别模型进行训练，直到得到目标识别模型。目标识别模型用于对于N个所述样本面部图片分别输出N个预估的样本面部结构图，所述N个预估的样本面部结构图中包括M个满足收敛条件的预估的样本面部结构图，所述收敛条件为所述预估的样本面部结构图与所述已知的样本面部结构图的相似度大于第一阈值，M大于第二阈值，或， M/N大于第三阈值，N和M均为大于1的自然数。
在得到上述目标识别模型之后，可以将获取原始面部图片的五官对应的不同的掩膜，在获取掩膜时，可以根据原始面部图片上的五官的特征点进行获取。例如，鼻子的特征点有10个，标记了鼻子的位置与轮廓，则根据该10个特征点获取鼻子的掩膜。在获取到掩膜后，将原始面部图片与掩膜输入到目标识别模型中，由目标识别模型输出原始面部图片的面部结构图。
在得到原始面部图片的面部结构图之后，根据该面部结构图从数据库中查找与面部结构图对应的目标高清面部图片。数据库中存储有多张高清面部图片。需要对高清面部图片进行逐个比对，直到查找到目标高清面部图片。目标高清面部图片的分辨率或者清晰度要大于原始面部图片的清晰度或分辨率。目标高清面部图片与原始面部图片中人物对象的面部特征相似度是大于预定阈值的。
在查找的过程中，可以将面部结构图划分为多个图像块。划分的多个图像块的大小或者形状可以相同或不同。在划分得到多个图像块之后，对于每一个图像块，都可以在数据库中进行查找，查看是否与与该图像块关联的关联图像块。在查找后，多个图像块查找到多个关联图像块，将关联图像块进行合成，得到目标高清面部图片。
例如，如图3所示。图3中在获取到面部结构图之后，将面部结构图分成了三块图像块，对于每一块图像块，在数据库中查找到关联图像块，然后将关联图像块拼接为目标高清面部图片。
可选地，上述关联图像块为与多个图像块中的每一个图像块相似度最大的目标图像块。例如，如图4所示，对于一个图像块402，在数据库中可能查找到多个相关的图像块，相关的图像块与当前图像块402的相似度是不同的。将其中相似度最大的图像块404确定为当前图像块402的关联图像块。
可选地，在经过上述方法获取到目标高清面部图片之后，可以对目标高清面部图片执行滤波操作。在执行滤波操作时，可以使用目标高清面部图片作为指引图片，对目标高清面部图片执行滤波操作，得到第一滤波图片，然后使用目标高清面部图片作为指引图片，对面部结构图执行滤波操作，得到第二滤波图片。在得到第一滤波图片与第二滤波图片之后，可以得到第一滤波图片与目标高清面部图片之间的差值图片。差值图片中可以保存有第一滤波图片与目标高清面部图片的每一个相同位置的像素点的像素差值。上述差值图片中记录有人脸细节信息。将上述差值图片添加到第二滤波图片中，得到目标面部图片。目标面部图片即为相比于原始面部图片清晰度或分辨率高的面部图片。从而实现提高原始面部图片的清晰度或分辨率。
以下结合一个具体示例与图5的步骤进行说明。首先，获取原始面部图片，原始面部图片可以为低分辨率的图片，首先对该图片进行双线性差值的上采样操作，使该图片的分辨率达到输出分辨率的标准，然后用人脸关键点的技术提取出其关键点的分布情况，根据关键点的位置生成多张人脸掩膜，例如生成四张人脸掩膜，每张掩膜为二值图像，像素值为零的区域表示背景，像素值为1的区域表示标注出的人脸五官区域(此处不包含舌头)。将数据的低分辨率的人脸图像和对应的四张人脸掩膜一起作为目标识别模型的输入，得到目标识别模型输出的包含基本人脸结构的面部结构图。通过上述步骤得到了包含人脸的基本结构的图像。然后对上述步骤生成的面部结构图进行细节增强。利用数据驱动的方式进行细节纹理的合成与迁移。纹理合成的方式由回归的方式训练而成，针对生成的面部结构图，将其切割成为K个图像块，对于每一个图像块，在高清的人脸数据库中进行K近邻搜索，搜索出该图像块最相似的图像块。搜索中使用的度量标准为像素差异与归一化协方差相结合。搜索中可以使用如下公式：
Dp＝a*(1-Dncc)+(1-a)*Dabs (1)
其中D_abs为两个图像块之间每个像素之间的差异，D_ncc为两个图像块间整体的归一化协方差。这两个度量标准由系数alpha来调控。Dp为两个图像块的相似度。挑选好K个高清的图像块之后，我们定义为H_p。回归系数即可通过以下公式训练而成：
Ep＝||Hp*Fp-Ip||2+λ||Fp||2 (2)
Figure RE-RE-GDA0002373868330000101
其中Fp为回归系数的统一表达方式，Ip为面部结构图，Lambda为正则项系数。Ep为回归系数。
求出回归系数之后，可以用这些系数作用在高清的K个图像块之上合成出目标高清面部图片。不过该合成的人脸结构信息是依附于整张人脸图像，需要将这些信息进行提取作用于第一步生成出的人脸图像中。
首先，将合成的目标高清面部图片作为指引图像，对其自身进行滤波操作，得到第一滤波图片，将合成的目标高清面部图片作为指引图像对面部结构图执行滤波操作，得到第二滤波图片。然后将目标高清面部图片与第一滤波图片的差值图片添加到第二滤波图片之上，得到目标面部图片。在获取差值图片时，如图6所示，比对两个图片上的每一个相同位置的像素点的像素差值，将该像素差值保存到差值图片602上，得到差值图片。
具体效果可以如图7所示，在输入原始面部图片702之后，原始面部图片经过目标识别模型704，输出面部结构图706，根据面部结构图从数据库708中查找目标高清面部图片，并根据面部结构图706与目标高清面部图片，得到目标面部图片710。目标面部图片710的分辨率或清晰度大于原始面部图片702的分辨率或清晰度。
其中具体包括两个步骤。第一个步骤为人脸结构生成模块。该模块由深度学习框架构成，生成出人脸的基本结构。第二步骤为人脸结构增强模块，由数据驱动的框架组成。该框架能够补充人脸五官的结构细节信息，从而能够在高分辨率的输出人脸图像中合成出清晰的人脸结构。
对于人脸结构生成模块，对于一张低分辨率的人脸图像，首先对齐进行双线性差值的上采样操作，从而使得其分辨率达到输出分辨率的标准。然后用人脸关键点的技术提取出其关键点的分布情况。根据关键点的位置生成出四张人脸掩膜。每张掩膜为二值图像，其中像素值为零的区域表示背景，像素值为一的区域表示标注出的人脸五官区域。将输入的低分辨率人脸图像和对应的四张掩膜一起作为深度学习网络的输入。从而得到一张包含基本人脸结构的输出图像。
对于人脸结构增强，在上一步生成的包含基本人脸结构的输出图像的基础上，对该图像进行人脸结构的细节增强。这里利用数据驱动的方式进行细节纹理的合成与迁移。纹理合成的方式由回归的方式训练而成，针对第一步生成的图像，将其切割成为一个个的图像块，对于每一个图像块，在高清的人脸数据库中进行K近邻搜索，寻找出前K个最相似的图像块。搜索中使用的度量标准为像素差异与归一化协方差相结合。公式可以使用上述公式(1)。回归系数通过上述公式(2)、(3)计算。
求出回归系数之后，可以用这些系数作用在高清的K个图像块之上合成出高清的人脸结构信息。不过该合成的人脸结构信息是依附于整张人脸图像，需要将这些信息进行提取作用于第一步生成出的人脸图像中。
在提取过程中采用边缘保持的图像滤波操作。用回归得到的图像作为指引图像，对第一步合成出的图像进行滤波操作。同时用同样的指引图像对其本身进行滤波操作。指引图像与其本身滤波后的差值图像即为提取的人脸细节信息，对其细节信息添加于第一步的滤波图像即可得到最终的输出结果。
上述过程可以将人脸去模糊和超分辨率作为整体的解决思路，区别于先前的分别处理的方式。从而无需对低分辨率的模糊人脸图像进行独立处理，统一框架完成。
通过本实施例，通过上述方法，在获取到原始面部图片后，首先获取到原始面部图片的面部结构图，然后根据面部结构图查找到目标高清面部图片，通过对高清面部图片执行滤波操作，与对面部结构图执行滤波操作，并获取到执行滤波操作后得到的第一滤波图片与第二滤波图片，将第一滤波图片与所述高清面部图片的差值图片添加到所述第二滤波图片中。由于第一滤波图片与所述高清面部图片的差值图片是提取出的高清面部图片的人脸细节信息，因此，通过上述方法可以将人脸细节信息补充到滤波后的面部结构图中，得到完整的且高清的图片，从而实现了提高图片处理准确度的效果。
作为一种可选的实施方案，所述原始面部图片中包括有多个特征点，其中，所述通过目标识别模型获取原始面部图片的面部结构图包括：
S1，根据所述多个特征点获取所述原始面部图片的掩膜，其中，所述原始面部图片中面部的五官对应不同的掩膜；
S2，将所述原始面部图片与所述原始面部图片的掩膜输入到目标识别模型中，得到所述目标识别模型输出的所述面部结构图。
可选地，本方案中在获取原始面部图片的掩膜时，可以先获取原始面部图片中的特征点。该特征点可以使用人脸关键点识别技术提取出来。获取特征点后，可以根据特征点的位置与轮廓，确定出人脸五官的位置(不包括舌头)，然后，对五官中的每一个器官，确定出该器官的掩膜。
在得到掩膜后，将原始面部图片与掩膜输入到目标识别模型中，即可由目标识别模型输出面部结构图。
通过本实施例，通过上述方法，从而在获取面部结构图时，根据原始面部图片与掩膜进行获取，提高了获取面部结构图的准确性。
作为一种可选的实施方案，在将所述原始面部图片与所述原始面部图片的掩膜输入到目标识别模型中之前，还包括：
S1，获取具有N个样本面部图片、所述N个样本面部图片的掩膜与所述N个样本面部图片的已知的样本面部结构图；
S2，使用所述N个样本面部图片和所述N个样本面部图片的掩膜对原始识别模型进行训练，得到所述目标识别模型，其中，所述所述目标识别模型用于对于N个所述样本面部图片分别输出N个预估的样本面部结构图，所述N个预估的样本面部结构图中包括M个满足收敛条件的预估的样本面部结构图，所述收敛条件为所述预估的样本面部结构图与所述已知的样本面部结构图的相似度大于第一阈值，M大于第二阈值，或，M/N 大于第三阈值，N和M均为大于1的自然数。
可选地，上述训练过程中，每一次训练之后，都可以进行一次数据的统计。若是模型准确度大于第一阈值，则认为该模型是可以投入使用的模型。若是输入N个所述样本面部图片后分别输出N个预估的样本面部结构图，所述N个预估的样本面部结构图中包括M个满足收敛条件的预估的样本面部结构图，所述收敛条件为所述预估的样本面部结构图与所述已知的样本面部结构图的相似度大于第一阈值，M大于第二阈值，或，M/N 大于第三阈值，N和M均为大于1的自然数，则认为模型已经训练成熟。
通过本实施例，通过上述方法训练模型，从而提高了模型的训练效率。
作为一种可选的实施方案，所述从数据库存储的高清面部图片中查找与所述面部结构图匹配的目标高清面部图片包括：
S1，将所述面部结构图划分为多个图像块；
S2，在数据库中查找所述多个图像块中的每个图像块的关联图像块，得到多个关联图像块；
S3，将查找到的所述多个关联图像块进行合成，得到所述目标高清面部图片。
可选地，本方案中在查找目标高清面部图片时，首先将面部结构图划分为多个图像块，划分时，可以根据五官位置划分，或者平均划分，或者随机划分，本实施例对划分方法不做具体限定。在划分得到多个图像块之后，对每一个图像块从数据库中查找关联图像块，并对关联图像块进行合成，得到目标高清面部图片。
通过本实施例，通过上述方法，从而提高了获取目标高清面部图片的效率。
作为一种可选的实施方案，所述在数据库中查找所述多个图像块中的每个图像块的关联图像块包括：对于所述每个图像块执行以下操作，其中，在执行以下操作时，所述每个图像块被视为当前图像块：
S1，获取所述数据库中存储的图片中与所述当前图像块相同大小的一组第一图像块；
S2，在所述一组第一图像块中查找与所述当前图像块的相似度最大的目标图像块；
S3，将查找到的所述目标图像块确定为所述当前图像块的关联图像块。
通过本实施例，通过上述方法，从而可以将数据库中和当前图像块相同大小且相似度最大的目标图像块查找出来，实现了提高查找关联图像块的效率的效果。
作为一种可选的实施方案，所述根据所述基本面部结构与所述目标高清面部图片确定目标面部图片包括：
S1，对所述目标高清面部图片执行滤波操作，得到第一滤波图片；
S2，对所述面部结构图执行滤波操作，得到第二滤波图片；
S3，将所述第一滤波图片与所述目标高清面部图片的差值图片添加到所述第二滤波图片中，得到所述目标面部图片。
可选地，本方案中可以对目标高清面部图片执行滤波操作。在执行滤波操作时，可以使用目标高清面部图片作为指引图片，对目标高清面部图片执行滤波操作，得到第一滤波图片，然后使用目标高清面部图片作为指引图片，对面部结构图执行滤波操作，得到第二滤波图片。在得到第一滤波图片与第二滤波图片之后，可以得到第一滤波图片与目标高清面部图片之间的差值图片。差值图片中可以保存有第一滤波图片与目标高清面部图片的每一个相同位置的像素点的像素差值。上述差值图片中记录有人脸细节信息。将上述差值图片添加到第二滤波图片中，得到目标面部图片。
通过本实施例，通过上述方法获取目标面部图片，从而提高获取目标面部图片的准确性。
作为一种可选的实施方案，在所述将所述第一滤波图片与所述目标高清滤波图片的差值图片添加到所述第二滤波图片中，得到所述目标面部图片之前，所述方法还包括：
S1，获取所述第一滤波图片与所述目标高清面部图片中每两个处于相同位置的像素的差值；
S2，将所述差值保存到所述差值图片中，得到所述第一滤波图片与所述目标高清面部图片的所述差值图片。
可选地，在确定差值图片时，可以比对两个图像块中每一个相同位置的像素的像素差值，并将该差值保存到差值图片中，从而得到两个图像块的差值图片。
通过本实施例，通过上述方法，从而提高了获取差值图片的效率。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面，还提供了一种用于实施上述图片处理方法的图片处理装置。如图8所示，上述装置包括：
(1)获取单元802，用于获取原始面部图片的面部结构图，其中，所述原始面部图片的分辨率为第一分辨率，所述面部结构图中包括所述原始面部图片中面部的基本面部结构；
(2)查找单元804，用于根据所述基本面部结构从数据库存储的高清面部图片中查找与所述面部结构图匹配的目标高清面部图片，其中，所述目标高清面部图片的分辨率为第二分辨率，所述第二分辨率大于所述第一分辨率；
(3)确定单元806，用于根据所述基本面部结构与所述目标高清面部图片确定目标面部图片，其中，所述目标面部图片的分辨率为第三分辨率，所述第三分辨率大于所述第一分辨率。
可选地，上述图片处理装置可以但不限于应用于人工智能领域，例如，由人工智能来识别图片，提高图片的分辨率或清晰度。
本申请实施例提供的方案涉及人工智能的计算机视觉识别与机器学习等技术，具体通过如下实施例进行说明。
例如将本方案应用于面部图片的清晰度与细节增强的过程中。相关技术中，在对面部图片进行细节增强与提高清晰度的过程中，仅仅能够实现对图片进行部分细节增强，或者部分提高清晰度。对图片提高清晰度的处理准确度低。而采用本方案中记载的方法，首先使用目标识别模型对原始面部图片进行智能识别，获取到原始面部图片的面部结构图，然后根据面部结构图查找到目标高清面部图片，进一步通过面部结构图与目标高清面部图片获取原始面部图片的目标面部图片，得到高清的目标面部图片。因此，通过上述方法可以得到完整的且高清的图片，从而实现了提高图片处理准确度的效果。
可选地，本方案中的的原始面部图片可以为包含人脸的图片，面部结构图可以包含原始面部图片中的人脸的面部结构。面部结构可以为面部轮廓或者面部皮肤结构等。上述提到的分辨率可以为一种约定俗成的分辨率。
可选地，本方案中可以预先将目标高清面部图片存储到数据库中，目标高清面部图片清晰度或者分辨率较高。数据库中还可以存储有与清晰度或者分辨率不高的图片。本实施例不做限定。
可选地，本方案中在获取到原始面部图片之后，可以获取原始面部图片的基本面部结构。原始面部图片的基本面部结构可以通过目标识别模型获取。目标识别模型为预先训练的模型。在训练模型的过程中，首先，准备原始识别模型，然后准备样本面部图片。样本面部图片是带有人物面部的样本图片。对样本面部图片提取掩膜。在提取掩膜的过程中，可以对样本面部图片中的人物的五官的特征点，提取出针对五官的不同的掩膜。掩膜数量不做具体限定。在提取得到样本面部图片的掩膜后，可以将样本面部图片与样本面部图片的掩膜与样本面部图片的样本面部结构图输入到原始识别模型中，对原始识别模型进行训练，直到得到目标识别模型。目标识别模型用于对于N个所述样本面部图片分别输出N个预估的样本面部结构图，所述N个预估的样本面部结构图中包括M个满足收敛条件的预估的样本面部结构图，所述收敛条件为所述预估的样本面部结构图与所述已知的样本面部结构图的相似度大于第一阈值，M大于第二阈值，或， M/N大于第三阈值，N和M均为大于1的自然数。
在得到上述目标识别模型之后，可以将获取原始面部图片的五官对应的不同的掩膜，在获取掩膜时，可以根据原始面部图片上的五官的特征点进行获取。例如，鼻子的特征点有10个，标记了鼻子的位置与轮廓，则根据该10个特征点获取鼻子的掩膜。在获取到掩膜后，将原始面部图片与掩膜输入到目标识别模型中，由目标识别模型输出原始面部图片的面部结构图。
在得到原始面部图片的面部结构图之后，根据该面部结构图从数据库中查找与面部结构图对应的目标高清面部图片。数据库中存储有多张高清面部图片。需要对高清面部图片进行逐个比对，直到查找到目标高清面部图片。目标高清面部图片的分辨率或者清晰度要大于原始面部图片的清晰度或分辨率。目标高清面部图片与原始面部图片中人物对象的面部特征相似度是大于预定阈值的。
在查找的过程中，可以将面部结构图划分为多个图像块。划分的多个图像块的大小或者形状可以相同或不同。在划分得到多个图像块之后，对于每一个图像块，都可以在数据库中进行查找，查看是否与与该图像块关联的关联图像块。在查找后，多个图像块查找到多个关联图像块，将关联图像块进行合成，得到目标高清面部图片。
例如，如图3所示。图3中在获取到面部结构图之后，将面部结构图分成了三块图像块，对于每一块图像块，在数据库中查找到关联图像块，然后将关联图像块拼接为目标高清面部图片。
可选地，上述关联图像块为与多个图像块中的每一个图像块相似度最大的目标图像块。例如，如图4所示，对于一个图像块402，在数据库中可能查找到多个相关的图像块，相关的图像块与当前图像块402的相似度是不同的。将其中相似度最大的图像块404确定为当前图像块402的关联图像块。
可选地，在经过上述方法获取到目标高清面部图片之后，可以对目标高清面部图片执行滤波操作。在执行滤波操作时，可以使用目标高清面部图片作为指引图片，对目标高清面部图片执行滤波操作，得到第一滤波图片，然后使用目标高清面部图片作为指引图片，对面部结构图执行滤波操作，得到第二滤波图片。在得到第一滤波图片与第二滤波图片之后，可以得到第一滤波图片与目标高清面部图片之间的差值图片。差值图片中可以保存有第一滤波图片与目标高清面部图片的每一个相同位置的像素点的像素差值。上述差值图片中记录有人脸细节信息。将上述差值图片添加到第二滤波图片中，得到目标面部图片。目标面部图片即为相比于原始面部图片清晰度或分辨率高的面部图片。从而实现提高原始面部图片的清晰度或分辨率。
以下结合一个具体示例与图5的步骤进行说明。首先，获取原始面部图片，原始面部图片可以为低分辨率的图片，首先对该图片进行双线性差值的上采样操作，使该图片的分辨率达到输出分辨率的标准，然后用人脸关键点的技术提取出其关键点的分布情况，根据关键点的位置生成多张人脸掩膜，例如生成四张人脸掩膜，每张掩膜为二值图像，像素值为零的区域表示背景，像素值为1的区域表示标注出的人脸五官区域(此处不包含舌头)。将数据的低分辨率的人脸图像和对应的四张人脸掩膜一起作为目标识别模型的输入，得到目标识别模型输出的包含基本人脸结构的面部结构图。通过上述步骤得到了包含人脸的基本结构的图像。然后对上述步骤生成的面部结构图进行细节增强。利用数据驱动的方式进行细节纹理的合成与迁移。纹理合成的方式由回归的方式训练而成，针对生成的面部结构图，将其切割成为K个图像块，对于每一个图像块，在高清的人脸数据库中进行K近邻搜索，搜索出该图像块最相似的图像块。搜索中使用的度量标准为像素差异与归一化协方差相结合。搜索中可以使用如下公式：
Dp＝a*(1-Dncc)+(1-a)*Dabs (4)
其中D_abs为两个图像块之间每个像素之间的差异，D_ncc为两个图像块间整体的归一化协方差。这两个度量标准由系数alpha来调控。Dp为两个图像块的相似度。挑选好K个高清的图像块之后，我们定义为H_p。回归系数即可通过以下公式训练而成：
Ep＝||Hp*Fp-Ip||2+λ||Fp||2 (5)
Figure RE-RE-GDA0002373868330000201
其中Fp为回归系数的统一表达方式，Ip为面部结构图，Lambda为正则项系数。Ep为回归系数。
求出回归系数之后，可以用这些系数作用在高清的K个图像块之上合成出目标高清面部图片。不过该合成的人脸结构信息是依附于整张人脸图像，需要将这些信息进行提取作用于第一步生成出的人脸图像中。
首先，将合成的目标高清面部图片作为指引图像，对其自身进行滤波操作，得到第一滤波图片，将合成的目标高清面部图片作为指引图像对面部结构图执行滤波操作，得到第二滤波图片。然后将目标高清面部图片与第一滤波图片的差值图片添加到第二滤波图片之上，得到目标面部图片。在获取差值图片时，如图6所示，比对两个图片上的每一个相同位置的像素点的像素差值，将该像素差值保存到差值图片602上，得到差值图片。
具体效果可以如图7所示，在输入原始面部图片702之后，原始面部图片经过目标识别模型704，输出面部结构图706，根据面部结构图从数据库708中查找目标高清面部图片，并根据面部结构图706与目标高清面部图片，得到目标面部图片710。目标面部图片710的分辨率或清晰度大于原始面部图片702的分辨率或清晰度。
通过本实施例，通过上述方法，在获取到原始面部图片后，首先获取到原始面部图片的面部结构图，然后根据面部结构图查找到目标高清面部图片，通过对高清面部图片执行滤波操作，与对面部结构图执行滤波操作，并获取到执行滤波操作后得到的第一滤波图片与第二滤波图片，将第一滤波图片与所述高清面部图片的差值图片添加到所述第二滤波图片中。由于第一滤波图片与所述高清面部图片的差值图片是提取出的高清面部图片的人脸细节信息，因此，通过上述方法可以将人脸细节信息补充到滤波后的面部结构图中，得到完整的且高清的图片，从而实现了提高图片处理准确度的效果。
作为一种可选的实施方案，上述原始面部图片中包括有多个特征点，其中，上述获取单元包括：
(1)第一获取模块，用于根据所述多个特征点获取所述原始面部图片的掩膜，其中，所述原始面部图片中面部的五官对应不同的掩膜；
(2)输入模块，用于将所述原始面部图片与所述原始面部图片的掩膜输入到目标识别模型中，得到所述目标识别模型输出的所述面部结构图。
可选地，本方案中在获取原始面部图片的掩膜时，可以先获取原始面部图片中的特征点。该特征点可以使用人脸关键点识别技术提取出来。获取特征点后，可以根据特征点的位置与轮廓，确定出人脸五官的位置(不包括舌头)，然后，对五官中的每一个器官，确定出该器官的掩膜。
在得到掩膜后，将原始面部图片与掩膜输入到目标识别模型中，即可由目标识别模型输出面部结构图。
通过本实施例，通过上述方法，从而在获取面部结构图时，根据原始面部图片与掩膜进行获取，提高了获取面部结构图的准确性。
作为一种可选的实施方案，上述获取单元还包括：
(1)第二获取模块，用于在将所述原始面部图片与所述原始面部图片的掩膜输入到目标识别模型中之前，获取具有N个样本面部图片、所述 N个样本面部图片的掩膜与所述N个样本面部图片的已知的样本面部结构图；
(2)训练模块，用于使用所述N个样本面部图片和所述N个样本面部图片的掩膜对原始识别模型进行训练，得到所述目标识别模型，其中，所述所述目标识别模型用于对于N个所述样本面部图片分别输出N个预估的样本面部结构图，所述N个预估的样本面部结构图中包括M个满足收敛条件的预估的样本面部结构图，所述收敛条件为所述预估的样本面部结构图与所述已知的样本面部结构图的相似度大于第一阈值，M大于第二阈值，或，M/N大于第三阈值，N和M均为大于1的自然数。
可选地，上述训练过程中，每一次训练之后，都可以进行一次数据的统计。若是模型准确度大于第一阈值，则认为该模型是可以投入使用的模型。若是输入N个所述样本面部图片后分别输出N个预估的样本面部结构图，所述N个预估的样本面部结构图中包括M个满足收敛条件的预估的样本面部结构图，所述收敛条件为所述预估的样本面部结构图与所述已知的样本面部结构图的相似度大于第一阈值，M大于第二阈值，或，M/N 大于第三阈值，N和M均为大于1的自然数，则认为模型已经训练成熟。
通过本实施例，通过上述方法训练模型，从而提高了模型的训练效率。
作为一种可选的实施方案，上述查找单元包括：
(1)划分模块，用于将所述面部结构图划分为多个图像块；
(2)查找模块，用于在数据库中查找所述多个图像块中的每个图像块的关联图像块，得到多个关联图像块；
(3)合成模块，用于将查找到的所述多个关联图像块进行合成，得到所述目标高清面部图片。
可选地，本方案中在查找目标高清面部图片时，首先将面部结构图划分为多个图像块，划分时，可以根据五官位置划分，或者平均划分，或者随机划分，本实施例对划分方法不做具体限定。在划分得到多个图像块之后，对每一个图像块从数据库中查找关联图像块，并对关联图像块进行合成，得到目标高清面部图片。
通过本实施例，通过上述方法，从而提高了获取目标高清面部图片的效率。
作为一种可选的实施方案，上述查找模块包括：
(1)处理子模块，用于对所述每个图像块执行以下操作，其中，在执行以下操作时，所述每个图像块被视为当前图像块：获取所述数据库中存储的图片中与所述当前图像块相同大小的一组第一图像块；在所述一组第一图像块中查找与所述当前图像块的相似度最大的目标图像块；将查找到的所述目标图像块确定为所述当前图像块的关联图像块。
通过本实施例，通过上述方法，从而可以将数据库中和当前图像块相同大小且相似度最大的目标图像块查找出来，实现了提高查找关联图像块的效率的效果。
作为一种可选的实施方案，上述确定单元包括：
(1)第一处理模块，用于对所述目标高清面部图片执行滤波操作，得到第一滤波图片；
(2)第二处理模块，用于对所述面部结构图执行滤波操作，得到第二滤波图片；
(3)添加模块，用于将所述第一滤波图片与所述目标高清滤波图片的差值图片添加到所述第二滤波图片中，得到目标面部图片，其中，所述目标面部图片的分辨率为第三分辨率，所述第三分辨率大于所述第一分辨率。
通过本实施例，通过上述方法获取目标面部图片，从而提高获取目标面部图片的准确性。
作为一种可选的实施方案，上述装置还包括：
(1)第二获取模块，用于在所述将所述第一滤波图片与所述目标高清面部图片的差值图片添加到所述第二滤波图片中，得到目标面部图片之前，获取所述第一滤波图片与所述目标高清面部图片中每两个处于相同位置的像素的差值；
(2)保存模块，用于将所述差值保存到所述差值图片中，得到所述第一滤波图片与所述目标高清面部图片的所述差值图片。
可选地，在确定差值图片时，可以比对两个图像块中每一个相同位置的像素的像素差值，并将该差值保存到差值图片中，从而得到两个图像块的差值图片。
通过本实施例，通过上述方法，从而提高了获取差值图片的效率。
根据本发明实施例的又一个方面，还提供了一种用于实施上述图片处理方法的电子装置，如图9所示，该电子装置包括存储器902和处理器904，该存储器902中存储有计算机程序，该处理器904被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，使用目标识别模型获取原始面部图片的面部结构图，其中，原始面部图片的分辨率为第一分辨率，面部结构图中包括原始面部图片中面部的基本面部结构；
S2，根据基本面部结构从数据库存储的高清面部图片中查找与面部结构图匹配的目标高清面部图片，其中，目标高清面部图片的分辨率为第二分辨率，第二分辨率大于第一分辨率；
S3，根据所述基本面部结构与所述目标高清面部图片确定目标面部图片，其中，所述目标面部图片的分辨率为第三分辨率，所述第三分辨率大于所述第一分辨率。
可选地，本领域普通技术人员可以理解，图9所示的结构仅为示意，电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图9其并不对上述电子装置的结构造成限定。例如，电子装置还可包括比图9中所示更多或者更少的组件(如网络接口等)，或者具有与图9所示不同的配置。
其中，存储器902可用于存储软件程序以及模块，如本发明实施例中的图片处理方法和装置对应的程序指令/模块，处理器904通过运行存储在存储器902内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的图片处理方法。存储器902可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器902可进一步包括相对于处理器904远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器902具体可以但不限于用于存储原始面部图片等信息。作为一种示例，如图9所示，上述存储器902中可以但不限于包括上述图片处理装置中的获取单元802、查找单元804、与确定单元806。此外，还可以包括但不限于上述图片处理装置中的其他模块单元，本示例中不再赘述。
可选地，上述的传输装置906用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置906包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置906为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
此外，上述电子装置还包括：显示器908，用于显示目标面部图片；和连接总线910，用于连接上述电子装置中的各个模块部件。
根据本发明的实施例的又一方面，还提供了一种计算机可读的存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，使用目标识别模型获取原始面部图片的面部结构图，其中，原始面部图片的分辨率为第一分辨率，面部结构图中包括原始面部图片中面部的基本面部结构；
S2，根据基本面部结构从数据库存储的高清面部图片中查找与面部结构图匹配的目标高清面部图片，其中，目标高清面部图片的分辨率为第二分辨率，第二分辨率大于第一分辨率；
S3，根据所述基本面部结构与所述目标高清面部图片确定目标面部图片，其中，所述目标面部图片的分辨率为第三分辨率，所述第三分辨率大于所述第一分辨率。
可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种图片处理方法，其特征在于，包括：
使用目标识别模型获取原始面部图片的面部结构图，其中，所述原始面部图片的分辨率为第一分辨率，所述面部结构图中包括所述原始面部图片中面部的基本面部结构；
根据所述基本面部结构从数据库存储的高清面部图片中查找与所述面部结构图匹配的目标高清面部图片，其中，所述目标高清面部图片的分辨率为第二分辨率，所述第二分辨率大于所述第一分辨率；
根据所述基本面部结构与所述目标高清面部图片确定目标面部图片，其中，所述目标面部图片的分辨率为第三分辨率，所述第三分辨率大于所述第一分辨率。
2.根据权利要求1所述的方法，其特征在于，所述原始面部图片中包括有多个特征点，其中，所述使用目标识别模型获取原始面部图片的面部结构图包括：
根据所述多个特征点获取所述原始面部图片的掩膜，其中，所述原始面部图片中面部的五官对应不同的掩膜；
将所述原始面部图片与所述原始面部图片的掩膜输入到所述目标识别模型中，得到所述目标识别模型输出的所述面部结构图。
3.根据权利要求2所述的方法，其特征在于，在将所述原始面部图片与所述原始面部图片的掩膜输入到目标识别模型中之前，还包括：
获取具有N个样本面部图片、所述N个样本面部图片的掩膜与所述N个样本面部图片的已知的样本面部结构图；
使用所述N个样本面部图片和所述N个样本面部图片的掩膜对原始识别模型进行训练，得到所述目标识别模型，其中，所述所述目标识别模型用于对于N个所述样本面部图片分别输出N个预估的样本面部结构图，所述N个预估的样本面部结构图中包括M个满足收敛条件的预估的样本面部结构图，所述收敛条件为所述预估的样本面部结构图与所述已知的样本面部结构图的相似度大于第一阈值，M大于第二阈值，或，M/N大于第三阈值，N和M均为大于1的自然数。
4.根据权利要求1所述的方法，其特征在于，所述根据所述基本面部结构从数据库存储的高清面部图片中查找与所述面部结构图匹配的目标高清面部图片包括：
将所述面部结构图划分为多个图像块；
在所述数据库中查找所述多个图像块中的每个图像块的关联图像块，得到多个关联图像块；
将查找到的所述多个关联图像块进行合成，得到所述目标高清面部图片。
5.根据权利要求4所述的方法，其特征在于，所述在所述数据库中查找所述多个图像块中的每个图像块的关联图像块包括：对于每个图像块执行以下操作，其中，在执行以下操作时，每个图像块被视为当前图像块：
获取所述数据库中存储的图片中与所述当前图像块相同大小的一组第一图像块；
在所述一组第一图像块中查找与所述当前图像块的相似度最大的目标图像块；
将查找到的所述目标图像块确定为所述当前图像块的关联图像块。
6.根据权利要求1所述的方法，其特征在于，所述根据所述基本面部结构与所述目标高清面部图片确定目标面部图片包括：
对所述目标高清面部图片执行滤波操作，得到第一滤波图片；
对所述面部结构图执行滤波操作，得到第二滤波图片；
将所述第一滤波图片与所述目标高清面部图片的差值图片添加到所述第二滤波图片中，得到所述目标面部图片。
7.根据权利要求6所述的方法，其特征在于，在所述将所述第一滤波图片与所述目标高清面部图片的差值图片添加到所述第二滤波图片中，得到所述目标面部图片目标高清面部图片之前，所述方法还包括：
获取所述第一滤波图片与所述目标高清面部图片中每两个处于相同位置的像素的差值；
将所述差值保存到所述差值图片中，得到所述第一滤波图片与所述目标高清面部图片的所述差值图片。
8.一种图片处理装置，其特征在于，包括：
获取单元，用于使用目标识别模型获取原始面部图片的面部结构图，其中，所述原始面部图片的分辨率为第一分辨率，所述面部结构图中包括所述原始面部图片中面部的基本面部结构；
查找单元，用于根据所述基本面部结构从数据库存储的高清面部图片中查找与所述面部结构图匹配的目标高清面部图片，其中，所述目标高清面部图片的分辨率为第二分辨率，所述第二分辨率大于所述第一分辨率；
确定单元，用于根据所述基本面部结构与所述目标高清面部图片确定目标面部图片，其中，所述目标面部图片的分辨率为第三分辨率，所述第三分辨率大于所述第一分辨率。
9.根据权利要求8所述的装置，其特征在于，所述原始面部图片中包括有多个特征点，其中，所述获取单元包括：
第一获取模块，用于根据所述多个特征点获取所述原始面部图片的掩膜，其中，所述原始面部图片中面部的五官对应不同的掩膜；
输入模块，用于将所述原始面部图片与所述原始面部图片的掩膜输入到所述目标识别模型中，得到所述目标识别模型输出的所述面部结构图。
10.根据权利要求9所述的装置，其特征在于，所述获取单元还包括：
第二获取模块，用于在将所述原始面部图片与所述原始面部图片的掩膜输入到目标识别模型中之前，获取具有N个样本面部图片、所述N个样本面部图片的掩膜与所述N个样本面部图片的已知的样本面部结构图；
训练模块，用于使用所述N个样本面部图片和所述N个样本面部图片的掩膜对原始识别模型进行训练，得到所述目标识别模型，其中，所述所述目标识别模型用于对于N个所述样本面部图片分别输出N个预估的样本面部结构图，所述N个预估的样本面部结构图中包括M个满足收敛条件的预估的样本面部结构图，所述收敛条件为所述预估的样本面部结构图与所述已知的样本面部结构图的相似度大于第一阈值，M大于第二阈值，或，M/N大于第三阈值，N和M均为大于1的自然数。
11.根据权利要求8所述的装置，其特征在于，所述查找单元包括：
划分模块，用于将所述面部结构图划分为多个图像块；
查找模块，用于在所述数据库中查找所述多个图像块中的每个图像块的关联图像块，得到多个关联图像块；
合成模块，用于将查找到的所述多个关联图像块进行合成，得到所述目标高清面部图片。
12.根据权利要求11所述的装置，其特征在于，所述查找模块包括：
处理子模块，用于对所述每个图像块执行以下操作，其中，在执行以下操作时，所述每个图像块被视为当前图像块：获取所述数据库中存储的图片中与所述当前图像块相同大小的一组第一图像块；在所述一组第一图像块中查找与所述当前图像块的相似度最大的目标图像块；将查找到的所述目标图像块确定为所述当前图像块的关联图像块。
13.根据权利要求8所述的装置，其特征在于，所述确定单元包括：
第一处理模块，用于对所述目标高清面部图片执行滤波操作，得到第一滤波图片；
第二处理模块，用于对所述面部结构图执行滤波操作，得到第二滤波图片；
添加模块，用于将所述第一滤波图片与所述目标高清面部图片的差值图片添加到所述第二滤波图片中，得到目标面部图片，其中，所述目标面部图片的分辨率为第三分辨率，所述第三分辨率大于所述第一分辨率。
14.一种计算机可读的存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序运行时执行所述权利要求1至7任一项中所述的方法。
15.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方法。
CN201911143196.9A 2019-11-20 2019-11-20 图片处理方法和装置、存储介质及电子装置 Pending CN110956599A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911143196.9A CN110956599A (zh) 2019-11-20 2019-11-20 图片处理方法和装置、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911143196.9A CN110956599A (zh) 2019-11-20 2019-11-20 图片处理方法和装置、存储介质及电子装置

Publications (1)

Publication Number Publication Date
CN110956599A true CN110956599A (zh) 2020-04-03

Family

ID=69978090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911143196.9A Pending CN110956599A (zh) 2019-11-20 2019-11-20 图片处理方法和装置、存储介质及电子装置

Country Status (1)

Country Link
CN (1) CN110956599A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612851A (zh) * 2020-05-20 2020-09-01 北京百度网讯科技有限公司 用于标定相机的方法、装置、设备以及存储介质
CN113223084A (zh) * 2021-05-27 2021-08-06 北京奇艺世纪科技有限公司 一种位置确定方法、装置、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477684A (zh) * 2008-12-11 2009-07-08 西安交通大学 一种利用位置图像块重建的人脸图像超分辨率方法
CN102298775A (zh) * 2010-06-24 2011-12-28 财团法人工业技术研究院 以样本为基础的人脸超分辨率方法与***
CN102354397A (zh) * 2011-09-19 2012-02-15 大连理工大学 基于面部特征器官相似性的人脸图像超分辨率重建方法
CN103824272A (zh) * 2014-03-03 2014-05-28 武汉大学 基于k近邻重识别的人脸超分辨率重建方法
CN103839242A (zh) * 2014-01-15 2014-06-04 中国科学院电子学研究所 一种基于高维索引的图像快速超分辨率增强方法
CN104091320A (zh) * 2014-07-16 2014-10-08 武汉大学 基于数据驱动局部特征转换的噪声人脸超分辨率重建方法
CN106056562A (zh) * 2016-05-19 2016-10-26 京东方科技集团股份有限公司 一种人脸图像处理方法、装置及电子设备
CN106780318A (zh) * 2015-11-25 2017-05-31 北京大学 人脸幻构方法和人脸幻构***
US20180374197A1 (en) * 2016-11-30 2018-12-27 Boe Technology Group Co., Ltd. Human face resolution re-establishing method and re-establishing system, and readable medium

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101477684A (zh) * 2008-12-11 2009-07-08 西安交通大学 一种利用位置图像块重建的人脸图像超分辨率方法
CN102298775A (zh) * 2010-06-24 2011-12-28 财团法人工业技术研究院 以样本为基础的人脸超分辨率方法与***
CN102354397A (zh) * 2011-09-19 2012-02-15 大连理工大学 基于面部特征器官相似性的人脸图像超分辨率重建方法
CN103839242A (zh) * 2014-01-15 2014-06-04 中国科学院电子学研究所 一种基于高维索引的图像快速超分辨率增强方法
CN103824272A (zh) * 2014-03-03 2014-05-28 武汉大学 基于k近邻重识别的人脸超分辨率重建方法
CN104091320A (zh) * 2014-07-16 2014-10-08 武汉大学 基于数据驱动局部特征转换的噪声人脸超分辨率重建方法
CN106780318A (zh) * 2015-11-25 2017-05-31 北京大学 人脸幻构方法和人脸幻构***
CN106056562A (zh) * 2016-05-19 2016-10-26 京东方科技集团股份有限公司 一种人脸图像处理方法、装置及电子设备
US20180374197A1 (en) * 2016-11-30 2018-12-27 Boe Technology Group Co., Ltd. Human face resolution re-establishing method and re-establishing system, and readable medium

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YIBING SONG: ""Joint Face Hallucination and Deblurring via Structure Generation and Detail Enhancement", 《INTERNATIONAL JOURNAL OF COMPUTER VISION》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612851A (zh) * 2020-05-20 2020-09-01 北京百度网讯科技有限公司 用于标定相机的方法、装置、设备以及存储介质
CN111612851B (zh) * 2020-05-20 2023-04-07 阿波罗智联(北京)科技有限公司 用于标定相机的方法、装置、设备以及存储介质
CN113223084A (zh) * 2021-05-27 2021-08-06 北京奇艺世纪科技有限公司 一种位置确定方法、装置、电子设备及存储介质
CN113223084B (zh) * 2021-05-27 2024-03-01 北京奇艺世纪科技有限公司 一种位置确定方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN111401216B (zh) 图像处理、模型训练方法、装置、计算机设备和存储介质
CN111028330B (zh) 三维表情基的生成方法、装置、设备及存储介质
Xiao et al. Deep salient object detection with dense connections and distraction diagnosis
CN111553267B (zh) 图像处理方法、图像处理模型训练方法及设备
CN111368943B (zh) 图像中对象的识别方法和装置、存储介质及电子装置
CN113822314B (zh) 图像数据处理方法、装置、设备以及介质
CN112287820A (zh) 人脸检测神经网络及训练方法、人脸检测方法、存储介质
CN111476806B (zh) 图像处理方法、装置、计算机设备和存储介质
CN110765882B (zh) 一种视频标签确定方法、装置、服务器及存储介质
CN110852256A (zh) 时序动作提名的生成方法、装置、设备及存储介质
CN110796593A (zh) 基于人工智能的图像处理方法、装置、介质及电子设备
CN110866469B (zh) 一种人脸五官识别方法、装置、设备及介质
CN112116684A (zh) 图像处理方法、装置、设备及计算机可读存储介质
CN110503076A (zh) 基于人工智能的视频分类方法、装置、设备和介质
CN111626126A (zh) 一种人脸情绪识别的方法、装置、介质及电子设备
CN113570684A (zh) 图像处理方法、装置、计算机设备和存储介质
CN111680550B (zh) 情感信息识别方法、装置、存储介质及计算机设备
CN117033609B (zh) 文本视觉问答方法、装置、计算机设备和存储介质
CN110909680A (zh) 人脸图像的表情识别方法、装置、电子设备及存储介质
CN114897136A (zh) 多尺度注意力机制方法及模块和图像处理方法及装置
CN111541911A (zh) 视频检测方法和装置、存储介质及电子装置
CN111192223A (zh) 人脸纹理图像的处理方法、装置、设备及存储介质
CN110956599A (zh) 图片处理方法和装置、存储介质及电子装置
CN110008922A (zh) 用于终端设备的图像处理方法、设备、装置、介质
CN111626212B (zh) 图片中对象的识别方法和装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40021523

Country of ref document: HK

RJ01 Rejection of invention patent application after publication

Application publication date: 20200403

RJ01 Rejection of invention patent application after publication