CN109409262A - 图像处理方法、图像处理装置、计算机可读存储介质 - Google Patents

图像处理方法、图像处理装置、计算机可读存储介质 Download PDF

Info

Publication number
CN109409262A
CN109409262A CN201811184763.0A CN201811184763A CN109409262A CN 109409262 A CN109409262 A CN 109409262A CN 201811184763 A CN201811184763 A CN 201811184763A CN 109409262 A CN109409262 A CN 109409262A
Authority
CN
China
Prior art keywords
prediction
key point
curve
input picture
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811184763.0A
Other languages
English (en)
Inventor
孙伟
范浩强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Beijing Maigewei Technology Co Ltd
Original Assignee
Beijing Maigewei Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Maigewei Technology Co Ltd filed Critical Beijing Maigewei Technology Co Ltd
Priority to CN201811184763.0A priority Critical patent/CN109409262A/zh
Publication of CN109409262A publication Critical patent/CN109409262A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

一种图像处理方法、图像处理装置、计算机可读存储介质。该图像处理方法包括：获取输入图像；对所述输入图像进行人脸检测，以得到多个原始关键点；基于所述多个原始关键点，利用第一神经网络对所述输入图像中的人脸轮廓或五官轮廓进行曲线预测，以得到所述人脸轮廓或所述五官轮廓的多条预测轮廓曲线，其中，所述多条预测轮廓曲线与多个曲线表达式一一对应。

Description

图像处理方法、图像处理装置、计算机可读存储介质
技术领域
本公开涉及图像处理领域，更具体地，本公开涉及一种图像处理方法、图像处理装置、计算机可读存储介质。
背景技术
人脸关键点检测技术是人脸相关的视觉问题中十分基础但重要的一种技术。人脸关键点检测主要用于定位出人脸图像中的人脸面部的有一定语义信息的特征点，人脸关键点通常可以包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等位于人脸或五官的轮廓上的特征点。
随着技术的发展，在人脸关键点检测技术中，人们对检测得到的人脸关键点的数量和人脸检测的精准度的需求越来越高，人脸关键点的数量可以为68点、81点、106点、甚至超过200点等。由于人脸关键点的数量的增加，人脸关键点检测的算法需要进行升级，从而需要投入大量人力物力。同时，基于人脸关键点检测技术得到的是一系列的特征点，这些特征点对人脸轮廓线或五官轮廓线的描述是有限的。
发明内容
鉴于上述问题而提出了本公开。本公开提供一种图像处理方法、图像处理装置、计算机可读存储介质，以解决人脸关键点检测技术升级困难，人脸关键点描述人脸轮廓线或五官轮廓线的能力有限的问题。
本公开至少一实施例提供一种图像处理方法，包括：获取输入图像；对所述输入图像进行人脸检测，以得到多个原始关键点；基于所述多个原始关键点，利用第一神经网络对所述输入图像中的人脸轮廓或五官轮廓进行曲线预测，以得到所述人脸轮廓或所述五官轮廓的多条预测轮廓曲线，其中，所述多条预测轮廓曲线与多个曲线表达式一一对应。
例如，根据本公开一实施例的图像处理方法中，对所述输入图像进行人脸检测，以得到多个原始关键点，包括：利用第二神经网络对所述输入图像进行人脸检测，以得到所述多个原始关键点。
例如，根据本公开一实施例的图像处理方法中，基于所述多个原始关键点，利用第一神经网络对所述输入图像中的人脸轮廓或五官轮廓进行曲线预测，以得到所述人脸轮廓或所述五官轮廓的多条预测轮廓曲线包括：基于所述输入图像，利用所述第一神经网络对所述多个原始关键点进行曲线预测以得到多个系数组，所述多个系数组与所述多个曲线表达式一一对应；基于所述多个系数组，拟合得到所述多条预测轮廓曲线。
例如，根据本公开一实施例的图像处理方法中，所述多个曲线表达式中的第N个曲线表达式表示为：
y＝fN(x)，
其中，x表示自变量，y表示因变量，fN表示x和y之间的高阶函数多项式，且对于任意的x，有且仅有一个y与之对应，N为正整数，且小于等于所述多个曲线表达式的数量。
例如，根据本公开一实施例的图像处理方法中，所述输入图像包括一张人脸，基于所述输入图像，利用所述第一神经网络对所述多个原始关键点进行曲线预测以得到多个系数组，包括：划分所述多个原始关键点，以得到多个预测关键点组；基于所述输入图像，利用所述第一神经网络分别对所述多个预测关键点组进行曲线预测，以得到所述多个系数组，其中，所述多个系数组与所述多个预测关键点组一一对应。
例如，根据本公开一实施例的图像处理方法中，基于所述输入图像，利用所述第一神经网络分别对所述多个预测关键点组进行曲线预测，以得到所述多个系数组，包括：根据所述多个预测关键点组和所述输入图像，确定多个第一预测数据组，每个第一预测数据组包括一个预测关键点组和所述输入图像；利用所述第一神经网络分别对所述多个第一预测数据组进行曲线预测，以得到所述多个系数组。
例如，根据本公开一实施例的图像处理方法中，基于所述输入图像，利用所述第一神经网络分别对所述多个预测关键点组进行曲线预测，以得到所述多个系数组，包括：根据所述多个预测关键点组将所述输入图像划分为多个图像区域；根据所述多个预测关键点组和所述多个图像区域，确定多个第二预测数据组，每个第二预测数据组包括一个预测关键点组和一个图像区域；利用所述第一神经网络分别对所述多个第二预测数据组进行曲线预测，以得到所述多个系数组。
例如，根据本公开一实施例的图像处理方法中，所述输入图像包括多张人脸，基于所述输入图像，利用所述第一神经网络对所述多个原始关键点进行曲线预测以得到多个系数组，包括：划分所述多个原始关键点，以得到多个原始关键点组，所述多个原始关键点组与所述多张人脸一一对应，所述多个原始关键点组中的每一个原始关键点组中的原始关键点被划分为多个预测关键点组；根据所述多个原始关键点组，划分所述输入图像以得到多个子输入图像，其中，所述多个原始关键点组与所述多个子输入图像一一对应，所述多个子输入图像中的每一个包括一张人脸；基于所述多个子输入图像，利用所述第一神经网络分别对所述多个原始关键点组中的所有预测关键点组进行曲线预测，以得到所述多个系数组，其中，所述多个系数组与所述多个原始关键点组中的所有预测关键点组一一对应。
例如，根据本公开一实施例的图像处理方法还包括：根据所述多条预测轮廓曲线，得到多个输出关键点。
例如，根据本公开一实施例的图像处理方法中，所述多个输出关键点的数量大于所述多个原始关键点的数量。
本公开至少一实施例还提供一种图像处理装置，包括：图像获取模块，用于获取输入图像；图像处理模块，用于对所述输入图像进行人脸检测，以得到多个原始关键点；基于所述多个原始关键点，利用第一神经网络对所述输入图像中的人脸轮廓或五官轮廓进行曲线预测，以得到所述人脸轮廓或所述五官轮廓的多条预测轮廓曲线，其中，所述多条预测轮廓曲线与所述多个曲线表达式一一对应。
例如，根据本公开一实施例的图像处理装置中，所述图像处理模块包括人脸检测单元，所述人脸检测单元用于利用第二神经网络对所述输入图像进行人脸检测。
例如，根据本公开一实施例的图像处理装置中，所述图像处理模块还包括曲线预测单元，所述曲线预测单元用于：基于所述输入图像，利用所述神第一经网络对所述多个原始关键点进行曲线预测以得到多个系数组，所述多个系数组与所述多个曲线表达式一一对应；基于所述多个系数组，拟合得到所述多条预测轮廓曲线。
本公开至少一实施例还提供一种图像处理装置，包括：存储器，用于存储非暂时性计算机可读指令；以及处理器，用于运行所述非暂时性计算机可读指令，所述非暂时性计算机可读指令被所述处理器运行时执行根据上述任一所述的图像处理方法。
本公开至少一实施例还提供一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时执行根据上述任一所述的图像处理方法。
本公开实施例提供一种图像处理方法、图像处理装置、计算机可读存储介质，该图像处理方法可以基于神经网络实现，其通过预测多项式系数以预测人脸轮廓线和五官轮廓线，利用多项式表达人脸轮廓线和五官轮廓线，从而提供完整的边缘轮廓线(例如，人脸轮廓线和五官轮廓线)，更加准确地描述人脸轮廓和五官轮廓，同时，该图像处理方法还可以与现有的人脸关键点检测技术兼容。
要理解的是，前面的一般描述和下面的详细描述两者都是示例性的，并且意图在于提供要求保护的技术的进一步说明。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。
图1示出了根据本公开实施例的一种图像处理方法的示意性流程图；
图2示出了本公开一实施例提供的一种人脸上的原始关键点的示意图；
图3示出了根据本公开实施例的眼睛轮廓曲线的一种示意图；
图4A示出了根据本公开实施例的眼睛轮廓曲线的另一种示意图；
图4B示出了根据本公开实施例的眼睛轮廓曲线的又一种示意图；
图5示出了本公开一实施例提供的一种图像处理装置的示意性框图；
图6示出了本公开一实施例提供的另一种图像处理装置的示意性框图；
图7示出了根据本公开实施例的一种计算机可读存储介质的示意图。
具体实施方式
为了使得本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
本公开涉及图像处理方法、图像处理装置以及计算机可读存储介质，该图像处理方法可以基于神经网络实现，其通过预测多项式系数以预测人脸轮廓线和五官轮廓线，利用多项式表达人脸轮廓线和五官轮廓线，从而提供完整的边缘轮廓线(例如，人脸轮廓线和五官轮廓线)，更加准确地描述人脸轮廓和五官轮廓，同时，该图像处理方法还可以与现有的人脸关键点检测技术兼容。
需要说明的是，利用神经网络进行图像处理(例如，人脸关键点检测)可以分为两个阶段，即训练阶段和图像处理阶段。所谓训练阶段是指首先需要利用训练图像对神经网络进行训练，以调整神经网络的参数的阶段；所谓图像处理阶段是指利用训练好的神经网络对待进行图像处理的图像进行处理的阶段。
下面结合附图详细描述本公开的几个实施例，但是本公开并不限于这些具体的实施例。
图1示出了根据本公开实施例的一种图像处理方法的示意性流程图。
例如，本公开实施例提供的像处理方法可以基于神经网络实现。如图1所示，图像处理方法包括以下步骤：
步骤S10：获取输入图像；
步骤S11：对输入图像进行人脸检测，以得到多个原始关键点；
步骤S12：基于多个原始关键点，利用第一神经网络对输入图像中的人脸轮廓或五官轮廓进行曲线预测，以得到人脸轮廓或五官轮廓的多条预测轮廓曲线，其中，多条预测轮廓曲线与多个曲线表达式一一对应。
例如，本公开实施例提供的图像处理方法可以适用于手机等电子设备中，从而实现人脸识别、面部表情分析、三维人脸重建、三维动画等。在本公开的一个实施例中，可以在某一场景中配置能够获取该场景的图像数据的摄像头作为图像获取模块。从而在步骤S10中，获取输入图像包括但不限于，通过图像获取模块采集输入图像；然后，在步骤S11中，图像处理装置可以对输入图像进行人脸检测处理；最后，在步骤S12中，图像处理装置利用第一神经网络对输入图像进行曲线预测处理。图像获取装置可以包括智能手机的摄像头、平板电脑的摄像头、个人计算机的摄像头、数码照相机的镜头、监控摄像头或者网络摄像头等。
例如，图像获取模块和图像处理装置在物理位置上可以分离配置，且图像获取模块和图像处理装置之间可以通过有线或者无线方式进行通信。也就是说，由图像获取模块采集输入图像之后，图像处理装置可以经由有线或者无线方式接收从所述图像获取模块发送的输入图像。又例如，图像获取模块可以与图像处理装置中的其他模块或组件物理上位于同一位置甚至位于同一电子设备内部，图像获取装置可以为图像处理装置上配置的摄像头，例如，图像处理装置可以包括手机，图像获取模块可以为手机上配置的摄像头。图像处理装置中的其他模块或组件经由内部总线接收从所述图像获取模块发送的输入图像。
例如，输入图像可以为彩色图像，也可以为灰度图像。输入图像可以是图像获取模块采集到的原始图像，也可以是对原始图像进行预处理之后获得的图像。预处理可以消除原始图像中的无关信息，提高后续特征提取的可靠性。预处理可以包括但不限于对原始图像进行缩放、伽马(Gamma)校正、图像增强或降噪滤波等处理。
需要说明的是，输入图像可以预先获取并存储在图像获取模块或图像处理装置中，从而在步骤S10中，直接从图像获取模块或图像处理装置获取该输入图像。
例如，人脸轮廓表示人脸的整体形状。五官轮廓可以包括眼睛轮廓、嘴巴轮廓、眉毛轮廓、鼻子轮廓等。
例如，在步骤S11中，可以利用现有的任意一种人脸关键点检测的方法进行人脸检测，以得到多个原始关键点。例如，人脸检测的方法包括，但不限于，基于模型(ASM(ActiveShape Model)算法和AAM(Active Appearance Model)算法)的方法、基于级联形状回归(CPR(Cascaded pose regression))的方法、基于深度学习的方法等。
例如，在一些实施例中，步骤S11可以包括利用第二神经网络对输入图像进行人脸检测，以得到多个原始关键点。
例如，在步骤S11中，第二神经网络可以为已经训练好的神经网络。在一个示例中，第二神经网络可以为卷积神经网络(CNN)。该卷积神经网络的初始参数可以进行随机初始化，也可以利用之前已经训练好的网络(如VGG、ResNet等)进行初始化。例如，第二神经网络可以包括第二卷积神经网络，且第二卷积神经网络用于对输入图像进行人脸检测，以得到多个原始关键点。
例如，在步骤S11中，多个原始关键点的数量可以为68、81、106等。多个原始关键点可以包括与眼睛对应的关键点、与嘴巴对应的关键点、与人脸轮廓对应的关键点以及与鼻子对应的关键点等。与眼睛对应的关键点的数量、与嘴巴对应的关键点的数量、与人脸轮廓对应的关键点的数量以及与鼻子对应的关键点的数量等可以根据实际应用需求进行设置，本公开对此不作具体限制。
图2示出了本公开一实施例提供的一种人脸上的原始关键点的示意图。
例如，如图2所示，在一个示例中，多个原始关键点的数量可以为68，其中，与人脸轮廓对应的关键点的数量为17，且分别以标号1-17表示；与左眉毛对应的关键点的数量为5，且分别以标号18-22表示；与右眉毛对应的关键点的数量为5，且分别以标号23-27表示；与鼻子对应的关键点的数量为9，且分别以标号28-36表示；与左眼睛对应的关键点的数量为6，且分别以标号37-42表示；与右眼睛对应的关键点的数量为6，且分别以标号43-48表示；与嘴巴对应的关键点的数量为20，且分别以标号49-68表示。
例如，在步骤S12中，第一神经网络也为已经训练好的神经网络。在一个示例中，第一神经网络也可以为卷积神经网络。该卷积神经网络的初始参数可以进行随机初始化，也可以利用之前已经训练好的网络(如VGG、ResNet等)进行初始化。
需要说明的是，在本公开中，第一神经网络和第二神经网络可以为两个单独的神经网络。但本公开不限于此，第一神经网络和第二神经网络可以为同一个神经网络，即在一些实施例中，一个神经网络既可以实现“对输入图像进行人脸检测，以得到多个原始关键点”的操作，还可以实现“基于所述多个原始关键点，利用第一神经网络对所述输入图像中的人脸轮廓或五官轮廓进行曲线预测，以得到所述人脸轮廓或所述五官轮廓的多条预测轮廓曲线”的操作。
例如，步骤S12可以包括以下步骤：
步骤S121：基于输入图像，利用第一神经网络对多个原始关键点进行曲线预测以得到多个系数组，多个系数组与多个曲线表达式一一对应；
步骤S122：基于多个系数组，拟合得到多条预测轮廓曲线。
图3示出了根据本公开实施例的眼睛轮廓曲线的一种示意图。
例如，多条预测轮廓曲线可以为多条曲线段。
例如，以输入图像的中心为坐标原点，两只眼睛的中心的连线方向作为x轴方向，两只眼睛的中心的连线的中垂线方向作为y轴方向建立一个人脸坐标系。在人脸坐标系中，多个曲线表达式中的第N个曲线表达式表示为：
y＝fN(x)
其中，fN表示x和y之间的高阶函数多项式，x表示自变量，y表示因变量，例如y表示预测轮廓曲线，N为正整数，且小于等于多个曲线表达式的数量。需要说明的是，为了使各曲线表达式能够准确地表示人脸轮廓或五官轮廓，在各曲线表达式中，对于任意的x，有且仅有一个y与之对应，即一个x对应一个y，而一个y则可以对应多个x。人脸轮廓和五官轮廓的曲线基本都是十分自然的曲线，通过对人脸轮廓的完整曲线和五官轮廓的完整曲线进行拆分，从而利用多条曲线段表示完整的人脸轮廓或五官轮廓，以使每条曲线段满足上述条件(即一个x仅对应一个y)。
需要说明的是，还可以采用其他方式设置人脸坐标系，本公开对此不作限制。例如，若输入图像的形状为矩形，可以将矩形的相邻两条边所在的直线分别作为x轴和y轴，相邻两条边的交点作为坐标原点，从而建立人脸坐标系。
例如，由于曲线表达式为多项式，例如高阶函数多项式，从而第N个曲线表达式可以表示为：
其中，mN、aN、bN、cN、dN为第N个曲线表达式的系数，mN大于1，且为整数，aN、bN、cN、dN可以为任意实数。第N个曲线表达式的系数组包括mN、aN、bN、cN、dN，且mN、aN、bN、cN、dN的取值与第N个曲线表达式所表示的曲线相关。
例如，第一神经网络可以包括第一卷积神经网络，即在步骤S121中，第一卷积神经网络被配置为基于输入图像对多个原始关键点进行曲线预测，即可以预测得到多个系数组(例如，mN、aN、bN、cN、dN)。例如，由于多条预测轮廓曲线为多条曲线段，第一卷积神经网络还可以输出x的取值范围(例如，图3所示的xmin和xmax)。
例如，为了准确地描述人脸和五官的轮廓曲线，在本公开中，眼睛、鼻子、嘴巴等五官以及人脸等可以分别采用多条轮廓曲线表示，以保证在曲线表达式中每个x仅对应一个y，从而在步骤S122中，多条预测轮廓曲线可以包括多条眼睛轮廓曲线、多条嘴巴轮廓曲线、多条人脸轮廓曲线等。
例如，如图3所示，以一只眼睛为例，为了准确地描述一只眼睛的轮廓曲线，多条眼睛轮廓曲线可以包括第一眼睛轮廓线101(图3中以实线表示)和第二眼睛轮廓线102(图3中以点划线表示)。例如，如图3所示，人脸坐标系可以表示为xoy坐标系，在xoy坐标系中，第一眼睛轮廓线101可以采用由x和y形成的高阶函数多项式表示，第一眼睛轮廓线101的曲线表达式可以为：
其中，fe1(x)表示第一眼睛轮廓线101的曲线表达式，x大于等于xmin且小于等于xmax，me1、ae1、be1、ce1、de1为曲线表达式fe1(x)的系数，me1大于1，且为整数，ae1、be1、ce1、de1可以为任意实数。在一些示例中，me1可以为3，即第一眼睛轮廓线101的曲线表达式fe1(x)为三次函数多项式，第一眼睛轮廓线101为该曲线表达式fe1(x)所表示的曲线中的一部分曲线段(即当xmin≤x≤xmax时，fe1(x)所表示的部分曲线段即为第一眼睛轮廓线101)。
例如，如图3所示，在xoy坐标系中，第二眼睛轮廓线102也可以采用由x和y形成的高阶函数多项式表示，第二眼睛轮廓线102的曲线表达式可以表示为：
其中，fe2(x)表示第二眼睛轮廓线102的曲线表达式，x大于等于xmin且小于等于xmax，me2、ae2、be2、ce2、de2为曲线表达式fe2(x)的系数，me2大于1，且为整数，ae2、be2、ce2、de2可以为任意实数。在一些示例中，me2可以为3，即第二眼睛轮廓线102的曲线表达式fe2(x)为三次函数多项式，第二眼睛轮廓线102的曲线表达式fe2(x)所表示的曲线中的一部分曲线段(即当xmin≤x≤xmax时，fe2(x)所表示的部分曲线段即为第二眼睛轮廓线102)。
例如，对于第一眼睛轮廓线101的曲线表达式fe1(x)，每个x仅对应一个y；对于第二眼睛轮廓线102的曲线表达式fe2(x)，每个x也仅对应一个y。如图3所示，对于第一眼睛轮廓线101，y1对应x1和x2两个值；对于第二眼睛轮廓线102，y2对应x1和x3两个值。虽然x1分别对应y1和y2，但是，y1表示第一眼睛轮廓线101对应的值，y2表示第二眼睛轮廓线102对应的值。
需要说明的是，系数ae1、be1、ce1、de1和系数ae2、be2、ce2、de2可以各不相同，也可以至少部分相同。系数me1和系数me2可以相同，也可以不相同。
图4A示出了根据本公开实施例的眼睛轮廓曲线的另一种示意图；图4B示出了根据本公开实施例的眼睛轮廓曲线的又一种示意图。
例如，在一些实施例中，输入图像仅包括一张人脸。在一些情况下，通过人工或***控制，可以使得输入图像仅包含一个人脸。在步骤S121中，基于输入图像，利用第一神经网络对多个原始关键点进行曲线预测以得到多个系数组的操作可以包括：划分多个原始关键点，以得到多个预测关键点组；基于输入图像，利用第一神经网络分别对多个预测关键点组进行曲线预测，以得到多个系数组，其中，多个系数组与多个预测关键点组一一对应。
例如，如图4A所示，以一只眼睛为例，多个预测关键点组可以包括第一预测关键点组111和第二预测关键点组112，第一预测关键点组111和第二预测关键点组112均与一只眼睛(例如，左眼)对应。第一神经网络可以基于输入图像对第一预测关键点组111进行曲线预测，可以得到第一系数组，第一系数组表示与第一眼睛轮廓线101的曲线表达式fe1(x)对应的系数组，即me1、ae1、be1、ce1、de1；第一神经网络可以基于输入图像对第二预测关键点组112进行曲线预测，可以得到第二系数组，第二系数组表示与第二眼睛轮廓线102的曲线表达式fe2(x)对应的系数组，即me2、ae2、be2、ce2、de2。
值得注意的是，第一预测关键点组111中关键点的数量和第二预测关键点组112中关键点的数量可以根据实际应用设置，且第一预测关键点组111中关键点的数量和第二预测关键点组112中关键点的数量可以相同，也可以不相同，本公开对此不作具体限制。
例如，在一些实施例中，基于输入图像，利用第一神经网络分别对多个预测关键点组进行曲线预测，以得到多个系数组的操作可以包括：根据多个预测关键点组和输入图像，确定多个第一预测数据组，每个第一预测数据组包括一个预测关键点组和输入图像；利用第一神经网络分别对多个第一预测数据组进行曲线预测，以得到多个系数组。
例如，多个第一预测数据组的数量和多个预测关键点组的数量相同，且多个第一预测数据组与多个预测关键点组一一对应。
例如，如图4A所示，与第一系数组(即me1、ae1、be1、ce1、de1)对应的第一预测数据组可以包括第一预测关键点组111和输入图像，与第二系数组(即me2、ae2、be2、ce2、de2)对应的第一预测数据组可以包括第二预测关键点组112和输入图像。对于第一眼睛轮廓线101，根据输入图像，第一神经网络可以确定第一眼睛轮廓线101的位置和大致形状等信息，然后，第一神经网络可以处理第一预测关键点组111，以得到第一系数组。
例如，在另一些实施例中，基于输入图像，利用第一神经网络分别对多个预测关键点组进行曲线预测，以得到多个系数组的操作可以包括：根据多个预测关键点组将输入图像划分为多个图像区域；根据多个预测关键点组和多个图像区域，确定多个第二预测数据组，每个第二预测数据组包括一个预测关键点组和一个图像区域；利用第一神经网络分别对多个第二预测数据组进行曲线预测，以得到多个系数组。
例如，多个第二预测数据组的数量和多个预测关键点组的数量相同，且多个第二预测数据组与多个预测关键点组一一对应。
例如，根据多个预测关键点组，可以对输入图像进行图像分割处理以得到多个图像区域。在一些示例中，多个图像区域可以包括左眼图像区域、右眼图像区域、嘴巴图像区域、鼻子图像区域、人脸图像区域等。每个图像区域与多个(例如，两个、三个等)预测关键点组对应，如图4A所示，多个图像区域包括左眼图像区域210，第一预测关键点组111和第二预测关键点组112与左眼对应，则第一预测关键点组111和第二预测关键点组112与左眼图像区域210对应。在另一些示例中，多个图像区域可以包括第一左眼图像区域、第二左眼图像区域、第一右眼图像区域、第二右眼图像区域、嘴巴图像区域、鼻子图像区域、人脸图像区域等。多个预测关键点组与多个图像区域一一对应。如图4B所示，多个图像区域可以包括第一左眼图像区域211和第二左眼图像区域212，第一预测关键点组111和第二预测关键点组112均与左眼对应，第一预测关键点组111与第一左眼图像区域211对应，第二预测关键点组112与第二左眼图像区域212对应。
需要说明的是，多个图像区域的形状均为矩形、椭圆形等。多个图像区域的尺寸各不相同；或者，至少部分图像区域的尺寸相同。多个图像区域之间可以存在互相重叠的部分。本公开对多个图像区域的划分方式、形状、尺寸等不作限定。
例如，在另一些实施例中，输入图像可以包括多张人脸。在步骤S121中，基于输入图像，利用第一神经网络对多个原始关键点进行曲线预测以得到多个系数组的操作可以包括：划分多个原始关键点，以得到多个原始关键点组，多个原始关键点组与多张人脸一一对应，多个原始关键点组中的每一个原始关键点组中的原始关键点被划分为多个预测关键点组；根据多个原始关键点组，划分输入图像以得到多个子输入图像，其中，多个原始关键点组与多个子输入图像一一对应，多个子输入图像中的每一个包括一张人脸；基于多个子输入图像，利用第一神经网络分别对多个原始关键点组中的所有预测关键点组进行曲线预测，以得到多个系数组，其中，多个系数组与多个原始关键点组中的所有预测关键点组一一对应。
例如，在一些示例中，输入图像包括第一人脸和第二人脸，多个原始关键点组包括第一原始关键点组和第二原始关键点组，第一原始关键点组与第一人脸对应，第二原始关键点组与第二人脸对应。根据多个原始关键点组，输入图像可以被划分为第一子输入图像和第二子输入图像，第一子输入图像仅包括第一人脸，第二子输入图像仅包括第二人脸，也就是说，第一原始关键点组与第一子输入图像对应，第二原始关键点组与第二子输入图像对应。若第一原始关键点组包括W1个预测关键点组，第二原始关键点组包括W2个预测关键点组，则多个系数组的数量为W1+W2。
例如，以输入图像包括第一人脸和第二人脸为例，在一些示例中，基于多个子输入图像，利用第一神经网络分别对多个原始关键点组中的所有预测关键点组进行曲线预测，以得到多个系数组的操作可以包括：根据第一原始关键点组对应的所有预测关键点组和第一子输入图像，确定多个第三预测数据组，每个第三预测数据组包括第一原始关键点组对应的所有预测关键点组中的一个预测关键点组和第一子输入图像；根据第二原始关键点组对应的所有预测关键点组和第二子输入图像，确定多个第四预测数据组，每个第四预测数据组包括第二原始关键点组对应的所有预测关键点组中的一个预测关键点组和第二子输入图像；利用第一神经网络分别对多个第三预测数据组和多个第四预测数据组进行曲线预测，以得到多个系数组。
例如，多个第三预测数据组的数量和第一原始关键点组对应的所有预测关键点组的数量相同，且多个第三预测数据组与第一原始关键点组对应的所有预测关键点组一一对应。多个第四预测数据组的数量和第二原始关键点组对应的预测关键点组的数量相同，且多个第四预测数据组与第二原始关键点组对应的预测关键点组一一对应。
例如，以输入图像包括第一人脸和第二人脸为例，在另一些示例中，基于多个子输入图像，利用第一神经网络分别对多个原始关键点组中的所有预测关键点组进行曲线预测，以得到多个系数组的操作可以包括：根据第一原始关键点组对应的所有预测关键点组将第一子输入图像划分为多个第一图像区域；根据第二原始关键点组对应的所有预测关键点组将第二子输入图像划分为多个第二图像区域；根据第一原始关键点组对应的所有预测关键点组和多个第一图像区域，确定多个第五预测数据组，每个第五预测数据组包括第一原始关键点组对应的所有预测关键点组中的一个预测关键点组和一个第一图像区域；根据第二原始关键点组对应的所有预测关键点组和多个第二图像区域，确定多个第六预测数据组，每个第六预测数据组包括第二原始关键点组对应的所有预测关键点组中的一个预测关键点组和一个第二图像区域；利用第一神经网络分别对多个第五预测数据组和多个第六预测数据组进行曲线预测，以得到多个系数组。
例如，多个第五预测数据组的数量和第一原始关键点组对应的所有预测关键点组的数量相同。多个第六预测数据组的数量和第二原始关键点组对应的所有预测关键点组的数量相同。
例如，第一原始关键点组对应的所有预测关键点组与多个第一图像区域可以一一对应；或者，一个第一图像区域也可以对应第一原始关键点组中的多个(例如，两个、三个等)预测关键点组。类似地，第二原始关键点组对应的所有预测关键点组与多个第二图像区域可以一一对应；或者，一个第二图像区域也可以对应第二原始关键点组中的多个(例如，两个、三个等)预测关键点组。
需要说明的是，在上面的描述中，以输入图像包括两张人脸(即第一人脸和第二人脸)为例描述本公开，但本领域技术人员应该知道输入图像还可以包括多张(例如，三张、四张等)人脸，对各人脸的处理过程可以参考上述对第一人脸或第二人脸的处理过程，本公开在此不再赘述。
例如，根据实际应用需求，本公开提供的图像处理方法还可以输出多个输出关键点。即图像处理方法还包括以下步骤：根据多条预测轮廓曲线，得到多个输出关键点。
例如，多个输出关键点的数量大于多个原始关键点的数量，由此，本公开提供的图像处理方法可以在不增加计算量的基础上，增加输出的人脸关键点的数量，从而提高精确度。
例如，当利用第二神经网络进行人脸检测，且第一神经网络和第二神经网络为同一个神经网络(在下面的描述中，该同一个神经网络可以被称为主神经网络，该主神经网络同时包括第一神经网络和第二神经网络)时，从而本公开提供的图像处理方法可以对第一神经网络和第二神经网络同时进行训练，即第一神经网络和第二神经网络可以作为一个整体进行训练。在此种情况下，本公开提供的图像处理方法还包括：预先训练主神经网络。预先训练主神经网络包括：获取训练图像和对应的训练参数；利用训练图像和训练参数对主神经网络进行训练，其中，训练图像作为主神经网络的输入，训练参数可以包括多个目标系数组，多个目标系数组表示与训练图像中的训练人脸的多条训练轮廓曲线对应的多个训练曲线表达式的系数组，训练参数作为主神经网络的目标输出。此时，主神经网络的训练过程如下：将训练图像输入主神经网络，以获得主神经网络输出的多个训练系数组。将多个目标系数组作为多个训练系数组的目标值，不断优化主神经网络，最终得到训练好的主神经网络，即得到训练好的第一神经网络和第二神经网络。
例如，第一神经网络和第二神经网络可以为两个单独的神经网络，可以分别对第一神经网络和第二神经网络单独进行训练。在此种情况下，本公开提供的图像处理方法还包括：预先训练第一神经网络和第二神经网络。预先训练第一神经网络和第二神经网络包括：获取训练图像和对应的训练参数；利用训练图像和训练参数对第一神经网络和第二神经网络进行训练。训练参数包括标注数据和多个目标系数组，标注数据包括训练图像中的训练人脸的多个原始关键点，多个目标系数组表示与训练图像中的训练人脸的多条训练轮廓曲线对应的多个训练曲线表达式的系数组。利用训练图像和对应的训练参数对第二神经网络进行训练包括：利用训练图像和标注数据训练第二神经网络，其中，训练图像作为第二神经网络的输入，标注数据作为第二神经网络的目标输出；以及利用标注数据和多个目标系数组训练第一神经网络，其中，标注数据作为第一神经网络的输入，多个目标系数组作为第一神经网络的目标输出。
例如，第二神经网络的训练过程如下：将训练图像输入第二神经网络，以获得第二神经网络输出的多个训练关键点。将标注数据中的多个原始关键点作为多个训练关键点的目标值，不断优化第二神经网络，最终得到训练好的第二神经网络。本领域技术人员能够理解第二神经网络的训练过程，本文不对此进行赘述。
例如，第一神经网络的训练过程如下：将标注数据和多个目标系数组输入第一神经网络，以获得第一神经网络输出的多个训练系数组。将多个目标系数组作为多个训练系数组的目标值，不断优化第一神经网络，最终得到训练好的第一神经网络。本领域技术人员能够理解第一神经网络的训练过程，本文不对此进行赘述。
例如，在一个示例中，训练图像可以为通过图像采集装置直接获取的图像。获取训练图像和多个原始关键点可以包括：获取训练图像，并采用人工方式逐一标注训练人脸上的多个原始关键点。获取训练图像和多个目标系数组可以包括：获取训练图像；采用人工方式在训练图像上标注训练人脸的多条目标轮廓曲线，采用数学等方式拟合得到多个目标轮廓曲线的曲线表达式，从而确定多个目标系数组。
例如，在又一个示例中，获取训练图像和多个原始关键点包括：获取训练人脸的多个原始关键点；基于多个原始关键点生成训练人脸的人脸模型；对人脸模型进行渲染，以得到人脸模型生成图像；以及基于经渲染的人脸模型生成图像，获得训练图像。获取训练图像和多个目标系数组可以包括：获取曲线表达式的多个目标系数组；根据多个目标系数组得到训练人脸的多条目标轮廓曲线；基于多条目标轮廓曲线生成训练人脸的人脸模型；对人脸模型进行渲染，以得到人脸模型生成图像；以及基于经渲染的人脸模型生成图像，获得训练图像。
例如，可以预先设定好训练人脸的多个原始关键点和多个目标系数组，随后利用设定好的训练人脸的多个原始关键点和/或多个目标系数组渲染生成三维人脸模型。随后，可以将该三维人脸模型转换成人脸图像(例如，人脸模型生成图像)，并将该人脸图像作为训练图像。
图5示出了本公开一实施例提供的一种图像处理装置的示意性框图。如图5所示，图像处理装置50包括图像获取模块505和图像处理模块510。这些组件通过总线***和/或其它形式的连接机构(未示出)互连。应当注意，图5所示的图像处理装置50的组件和结构只是示例性的，而非限制性的，根据需要，图像处理装置50也可以具有其他组件和结构。
在该图像处理装置中，图像处理模块可以基于神经网络实现，其通过预测多项式系数以预测人脸轮廓线和五官轮廓线，利用多项式表达人脸轮廓线和五官轮廓线，从而提供完整的边缘轮廓线(例如，人脸轮廓线和五官轮廓线)，更加准确地描述人脸轮廓和五官轮廓。
例如，图像获取模块505用于获取输入图像。图像获取模块505可以包括一个或多个摄像头。例如，图像获取模块505可以是智能手机的摄像头、平板电脑的摄像头、个人计算机的摄像头、或者甚至可以是网络摄像头。
例如，图像获取模块505可以包括硬件、软件、固件以及它们的任意可行的组合。
例如，图像获取模块505可以经由有线或者无线方式将输入图像传输至图像处理模块510。
需要说明的是，图像获取模块505是可选的，图像处理装置50可以不包括图像获取模块505。在这种情况下，可选地，可以利用其他图像采集装置采集图像，并将采集的图像发送给图像处理装置50。
例如，图像处理模块510用于对输入图像进行人脸检测，以得到多个原始关键点；基于多个原始关键点，利用第一神经网络对输入图像中的人脸轮廓或五官轮廓进行曲线预测，以得到人脸轮廓或五官轮廓的多条预测轮廓曲线，其中，多条预测轮廓曲线与多个曲线表达式一一对应。
例如，如图5所示，图像处理模块510包括人脸检测单元5101。在本公开中，可以利用现有的任意一种人脸关键点检测的方法进行人脸检测，以得到多个原始关键点。例如，人脸检测的方法包括，但不限于，基于模型的方法、基于级联形状回归的方法、基于深度学习的方法等。在一些实施例中，人脸检测单元5101用于利用第二神经网络对输入图像进行人脸检测，以得到多个原始关键点。
例如，如图5所示，图像处理模块510还包括曲线预测单元5102。曲线预测单元5102用于：基于输入图像，利用第一神经网络对多个原始关键点进行曲线预测以得到多个系数组，多个系数组与多个曲线表达式一一对应；基于多个系数组，拟合得到多条预测轮廓曲线。
例如，第一神经网络和第二神经网络均可以为卷积神经网络。
例如，在一些实施例中，输入图像仅包括一张人脸。在执行基于输入图像，利用第一神经网络对多个原始关键点进行曲线预测以得到多个系数组的操作时，曲线预测单元5102具体用于：划分多个原始关键点，以得到多个预测关键点组；基于输入图像，利用第一神经网络分别对多个预测关键点组进行曲线预测，以得到多个系数组。例如，多个系数组与多个预测关键点组一一对应。在此种情况下，曲线预测单元5102可以包括关键点划分子模块和预测子模块，关键点划分子模块用于执行划分多个原始关键点，以得到多个预测关键点组的操作；预测子模块用于执行基于输入图像，利用第一神经网络分别对多个预测关键点组进行曲线预测，以得到多个系数组的操作。
例如，在另一些实施例中，输入图像可以包括多张人脸。在执行基于输入图像，利用第一神经网络对多个原始关键点进行曲线预测以得到多个系数组的操作时，曲线预测单元5102具体用于：划分多个原始关键点，以得到多个原始关键点组，多个原始关键点组与多张人脸一一对应，多个原始关键点组中的每一个原始关键点组中的原始关键点被划分为多个预测关键点组；根据多个原始关键点组，划分输入图像以得到多个子输入图像，其中，多个原始关键点组与多个子输入图像一一对应，多个子输入图像中的每一个包括一张人脸；基于多个子输入图像，利用第一神经网络分别对多个原始关键点组对应的所有预测关键点组进行曲线预测，以得到多个系数组。例如，多个系数组与多个原始关键点组中的所有预测关键点组一一对应。在此种情况下，曲线预测单元5102可以包括关键点划分子模块、图像划分子模块和预测子模块，关键点划分子模块用于执行划分多个原始关键点，以得到多个原始关键点组和划分多个原始关键点组中的每一个原始关键点组中的原始关键点以得到多个预测关键点组的操作；图像划分子模块用于执行根据多个原始关键点组，划分输入图像以得到多个子输入图像的操作；预测子模块用于执行基于多个子输入图像，利用第一神经网络分别对多个原始关键点组对应的所有预测关键点组进行曲线预测的操作
需要说明的是，利用第一神经网络和第二神经网络对输入图像进行处理的具体过程可以参考上述图像处理方法的实施例中的相关描述，在此将省略其重复描述。
例如，在本公开的一些实施例中，人脸检测单元5101和曲线预测单元5102可以包括存储在存储器中的代码和程序；处理器可以执行该代码和程序以实现如上所述的人脸检测单元5101和曲线预测单元5102的一些功能或全部功能。
例如，在本公开的一些实施例中，人脸检测单元5101和曲线预测单元5102可以是专用硬件器件，用来实现如上所述的人脸检测单元5101和曲线预测单元5102的一些或全部功能。例如，人脸检测单元5101和曲线预测单元5102可以包括一个电路板或多个电路板的组合，用于实现如上所述的功能。在本申请实施例中，该一个电路板或多个电路板的组合可以包括：(1)一个或多个处理器；(2)与处理器相连接的一个或多个非暂时的计算机可读的存储器；以及(3)处理器可执行的存储在存储器中的固件。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。
图6示出了本公开一实施例提供的另一种图像处理装置的示意性框图。如图6所示，图像处理装置60可以包括存储器605和处理器610。存储器605和处理器610之间可以通过网络或总线***实现数据传输。存储器605用于存储非暂时性计算机可读指令；处理器610用于运行所非暂时性述计算机可读指令，所述非暂时性计算机可读指令被处理器610运行时可以执行根据上文所述的图像处理方法中的一个或多个步骤。
例如，处理器610可以是中央处理单元(CPU)、张量处理器(TPU)或者图形处理器(GPU)等具有数据处理能力和/或程序执行能力的器件，并且可以控制图像处理装置60中的其它组件以执行期望的功能。中央处理元(CPU)可以为X86或ARM架构等。GPU可以单独地直接集成到主板上，或者内置于主板的北桥芯片中。GPU也可以内置于中央处理器(CPU)上。
例如，存储器605可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机可读指令，处理器610可以运行所述计算机可读指令，以实现图像处理装置的各种功能。
例如，存储器605和处理器610之间可以直接或间接地互相通信。
例如，关于利用图像处理装置60执行图像处理的处理过程的详细说明可以参考图像处理方法的实施例中的相关描述，重复之处不再赘述。
图7示出了根据本公开实施例的一种计算机可读存储介质的示意图。例如，如图7所示，在计算机可读存储介质700上可以存储一个或多个非暂时性计算机可读指令701。例如，当所述非暂时性计算机可读指令701由计算机执行时可以执行根据上文所述的图像处理方法中的一个或多个步骤。
本公开中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、***。
以上，参照附图描述了基于神经网络的图像处理方法、图像处理装置以及计算机可读存储介质，该图像处理方法通过预测多项式系数以预测人脸轮廓线和五官轮廓线，利用多项式表达人脸轮廓线和五官轮廓线，从而提供完整的边缘轮廓线(例如，人脸轮廓线和五官轮廓线)，更加准确地描述人脸轮廓和五官轮廓，同时，该图像处理方法还可以与现有的人脸关键点检测技术兼容。
对于本公开，还有以下几点需要说明：
(1)本公开实施例附图只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计。
(2)在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合以得到新的实施例。
以上所述仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (15)

1.一种图像处理方法，包括：
获取输入图像；
对所述输入图像进行人脸检测，以得到多个原始关键点；
基于所述多个原始关键点，利用第一神经网络对所述输入图像中的人脸轮廓或五官轮廓进行曲线预测，以得到所述人脸轮廓或所述五官轮廓的多条预测轮廓曲线，其中，所述多条预测轮廓曲线与多个曲线表达式一一对应。
2.根据权利要求1所述的图像处理方法，其中，
对所述输入图像进行人脸检测，以得到多个原始关键点，包括：
利用第二神经网络对所述输入图像进行人脸检测，以得到所述多个原始关键点。
3.根据权利要求1所述的图像处理方法，其中，基于所述多个原始关键点，利用第一神经网络对所述输入图像中的人脸轮廓或五官轮廓进行曲线预测，以得到所述人脸轮廓或所述五官轮廓的多条预测轮廓曲线包括：
基于所述输入图像，利用所述第一神经网络对所述多个原始关键点进行曲线预测以得到多个系数组，所述多个系数组与所述多个曲线表达式一一对应；
基于所述多个系数组，拟合得到所述多条预测轮廓曲线。
4.根据权利要求3所述的图像处理方法，其中，所述多个曲线表达式中的第N个曲线表达式表示为：
y＝fN(x)，
其中，x表示自变量，y表示因变量，fN表示x和y之间的高阶函数多项式，且对于任意的x，有且仅有一个y与之对应，N为正整数，且小于等于所述多个曲线表达式的数量。
5.根据权利要求4所述的图像处理方法，其中，所述输入图像包括一张人脸，
基于所述输入图像，利用所述第一神经网络对所述多个原始关键点进行曲线预测以得到多个系数组，包括：
划分所述多个原始关键点，以得到多个预测关键点组；
基于所述输入图像，利用所述第一神经网络分别对所述多个预测关键点组进行曲线预测，以得到所述多个系数组，其中，所述多个系数组与所述多个预测关键点组一一对应。
6.根据权利要求5所述的图像处理方法，其中，
基于所述输入图像，利用所述第一神经网络分别对所述多个预测关键点组进行曲线预测，以得到所述多个系数组，包括：
根据所述多个预测关键点组和所述输入图像，确定多个第一预测数据组，每个第一预测数据组包括一个预测关键点组和所述输入图像；
利用所述第一神经网络分别对所述多个第一预测数据组进行曲线预测，以得到所述多个系数组。
7.根据权利要求5所述的图像处理方法，其中，基于所述输入图像，利用所述第一神经网络分别对所述多个预测关键点组进行曲线预测，以得到所述多个系数组，包括：
根据所述多个预测关键点组将所述输入图像划分为多个图像区域；
根据所述多个预测关键点组和所述多个图像区域，确定多个第二预测数据组，每个第二预测数据组包括一个预测关键点组和一个图像区域；
利用所述第一神经网络分别对所述多个第二预测数据组进行曲线预测，以得到所述多个系数组。
8.根据权利要求4所述的图像处理方法，其中，所述输入图像包括多张人脸，
基于所述输入图像，利用所述第一神经网络对所述多个原始关键点进行曲线预测以得到多个系数组，包括：
划分所述多个原始关键点，以得到多个原始关键点组，所述多个原始关键点组与所述多张人脸一一对应，所述多个原始关键点组中的每一个原始关键点组中的原始关键点被划分为多个预测关键点组；
根据所述多个原始关键点组，划分所述输入图像以得到多个子输入图像，其中，所述多个原始关键点组与所述多个子输入图像一一对应，所述多个子输入图像中的每一个包括一张人脸；
基于所述多个子输入图像，利用所述第一神经网络分别对所述多个原始关键点组中的所有预测关键点组进行曲线预测，以得到所述多个系数组，其中，所述多个系数组与所述多个原始关键点组中的所有预测关键点组一一对应。
9.根据权利要求1-8任一项所述的图像处理方法，还包括：
根据所述多条预测轮廓曲线，得到多个输出关键点。
10.根据权利要求9所述的图像处理方法，其中，所述多个输出关键点的数量大于所述多个原始关键点的数量。
11.一种图像处理装置，包括：
图像获取模块，用于获取输入图像；
图像处理模块，用于对所述输入图像进行人脸检测，以得到多个原始关键点；基于所述多个原始关键点，利用第一神经网络对所述输入图像中的人脸轮廓或五官轮廓进行曲线预测，以得到所述人脸轮廓或所述五官轮廓的多条预测轮廓曲线，其中，所述多条预测轮廓曲线与所述多个曲线表达式一一对应。
12.根据权利要求11所述的图像处理装置，其中，所述图像处理模块包括人脸检测单元，
所述人脸检测单元用于利用第二神经网络对所述输入图像进行人脸检测，以得到所述多个原始关键点。
13.根据权利要求12所述的图像处理装置，其中，所述图像处理模块还包括曲线预测单元，所述曲线预测单元用于：
基于所述输入图像，利用所述第一神经网络对所述多个原始关键点进行曲线预测以得到多个系数组，所述多个系数组与所述多个曲线表达式一一对应；
基于所述多个系数组，拟合得到所述多条预测轮廓曲线。
14.一种图像处理装置，包括：
存储器，用于存储非暂时性计算机可读指令；以及
处理器，用于运行所述非暂时性计算机可读指令，所述非暂时性计算机可读指令被所述处理器运行时执行根据权利要求1-10任一所述的图像处理方法。
15.一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时执行根据权利要求1-10任一所述的图像处理方法。
CN201811184763.0A 2018-10-11 2018-10-11 图像处理方法、图像处理装置、计算机可读存储介质 Pending CN109409262A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811184763.0A CN109409262A (zh) 2018-10-11 2018-10-11 图像处理方法、图像处理装置、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811184763.0A CN109409262A (zh) 2018-10-11 2018-10-11 图像处理方法、图像处理装置、计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN109409262A true CN109409262A (zh) 2019-03-01

Family

ID=65467591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811184763.0A Pending CN109409262A (zh) 2018-10-11 2018-10-11 图像处理方法、图像处理装置、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109409262A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008911A (zh) * 2019-04-10 2019-07-12 北京旷视科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN110119722A (zh) * 2019-05-17 2019-08-13 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN111488836A (zh) * 2020-04-13 2020-08-04 广州市百果园信息技术有限公司 人脸轮廓修正方法、装置、设备及存储介质
CN112070708A (zh) * 2020-08-21 2020-12-11 杭州睿琪软件有限公司 图像处理方法、图像处理装置、电子设备、存储介质
CN112258440A (zh) * 2020-10-29 2021-01-22 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN113570052A (zh) * 2020-04-28 2021-10-29 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN113837067A (zh) * 2021-09-18 2021-12-24 成都数字天空科技有限公司 器官轮廓检测方法、装置、电子设备及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160275341A1 (en) * 2015-03-18 2016-09-22 Adobe Systems Incorporated Facial Expression Capture for Character Animation
CN107273837A (zh) * 2017-06-07 2017-10-20 广州视源电子科技股份有限公司 虚拟化妆的方法和***
CN107403144A (zh) * 2017-07-11 2017-11-28 北京小米移动软件有限公司 嘴巴定位方法及装置
CN107808129A (zh) * 2017-10-17 2018-03-16 南京理工大学 一种基于单个卷积神经网络的面部多特征点定位方法
CN108229268A (zh) * 2016-12-31 2018-06-29 商汤集团有限公司 表情识别及卷积神经网络模型训练方法、装置和电子设备
CN108509866A (zh) * 2018-03-12 2018-09-07 华南理工大学 一种人脸轮廓提取方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160275341A1 (en) * 2015-03-18 2016-09-22 Adobe Systems Incorporated Facial Expression Capture for Character Animation
CN108229268A (zh) * 2016-12-31 2018-06-29 商汤集团有限公司 表情识别及卷积神经网络模型训练方法、装置和电子设备
CN107273837A (zh) * 2017-06-07 2017-10-20 广州视源电子科技股份有限公司 虚拟化妆的方法和***
CN107403144A (zh) * 2017-07-11 2017-11-28 北京小米移动软件有限公司 嘴巴定位方法及装置
CN107808129A (zh) * 2017-10-17 2018-03-16 南京理工大学 一种基于单个卷积神经网络的面部多特征点定位方法
CN108509866A (zh) * 2018-03-12 2018-09-07 华南理工大学 一种人脸轮廓提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
胡旭晓等: "神经网络在机床主轴热位移监控***中的应用", 《机床与液压》 *
陈宗海: "《***仿真技术及其应用》", 30 June 2010, 中国科学技术大学出版社 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008911A (zh) * 2019-04-10 2019-07-12 北京旷视科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN110119722A (zh) * 2019-05-17 2019-08-13 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN111488836A (zh) * 2020-04-13 2020-08-04 广州市百果园信息技术有限公司 人脸轮廓修正方法、装置、设备及存储介质
JP2023510375A (ja) * 2020-04-28 2023-03-13 北京▲達▼佳互▲聯▼信息技▲術▼有限公司 画像処理方法、装置、電子デバイス及び記憶媒体
CN113570052B (zh) * 2020-04-28 2023-10-31 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN113570052A (zh) * 2020-04-28 2021-10-29 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
WO2021218121A1 (zh) * 2020-04-28 2021-11-04 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
JP7332813B2 (ja) 2020-04-28 2023-08-23 北京▲達▼佳互▲聯▼信息技▲術▼有限公司 画像処理方法、装置、電子デバイス及び記憶媒体
CN112070708A (zh) * 2020-08-21 2020-12-11 杭州睿琪软件有限公司 图像处理方法、图像处理装置、电子设备、存储介质
CN112070708B (zh) * 2020-08-21 2024-03-08 杭州睿琪软件有限公司 图像处理方法、图像处理装置、电子设备、存储介质
US11985287B2 (en) 2020-08-21 2024-05-14 Hangzhou Glority Software Limited Image processing method, image processing device, electronic apparatus and storage medium
CN112258440A (zh) * 2020-10-29 2021-01-22 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN112258440B (zh) * 2020-10-29 2024-01-02 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN113837067B (zh) * 2021-09-18 2023-06-02 成都数字天空科技有限公司 器官轮廓检测方法、装置、电子设备及可读存储介质
CN113837067A (zh) * 2021-09-18 2021-12-24 成都数字天空科技有限公司 器官轮廓检测方法、装置、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN109409262A (zh) 图像处理方法、图像处理装置、计算机可读存储介质
US10839578B2 (en) Artificial-intelligence enhanced visualization of non-invasive, minimally-invasive and surgical aesthetic medical procedures
Kollias et al. Recognition of affect in the wild using deep neural networks
CN109416727B (zh) 一种人脸图像中眼镜去除方法及装置
CN109543549B (zh) 用于多人姿态估计的图像数据处理方法及装置、移动端设备、服务器
EP3992919B1 (en) Three-dimensional facial model generation method and apparatus, device, and medium
CN109902546A (zh) 人脸识别方法、装置及计算机可读介质
CN108780519A (zh) 卷积神经网络中的结构学习
CN111222486B (zh) 手部姿态识别模型的训练方法、装置、设备及存储介质
CN109241880A (zh) 图像处理方法、图像处理装置、计算机可读存储介质
CN110796593A (zh) 基于人工智能的图像处理方法、装置、介质及电子设备
CN111553267A (zh) 图像处理方法、图像处理模型训练方法及设备
CN108463823A (zh) 一种用户头发模型的重建方法、装置及终端
CN112116684A (zh) 图像处理方法、装置、设备及计算机可读存储介质
CN109948441B (zh) 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质
CN110175505A (zh) 微表情类型的确定方法、装置、存储介质及电子装置
CN112949605A (zh) 基于语义分割的人脸上妆方法和***
CN111784818A (zh) 生成三维人体模型的方法、装置及计算机可读存储介质
CN114187624A (zh) 图像生成方法、装置、电子设备及存储介质
CN114360018B (zh) 三维人脸表情的渲染方法及装置、存储介质及电子装置
CN113822114A (zh) 一种图像处理方法、相关设备及计算机可读存储介质
CN106663186A (zh) 用于脸部识别的方法和***
CN116258800A (zh) 一种表情驱动方法、装置、设备及介质
CN115359265A (zh) 关键点提取方法、装置、设备及存储介质
CN117011449A (zh) 三维面部模型的重构方法和装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190301

RJ01 Rejection of invention patent application after publication