CN109145783A - 用于生成信息的方法和装置 - Google Patents

用于生成信息的方法和装置 Download PDF

Info

Publication number
CN109145783A
CN109145783A CN201810877815.6A CN201810877815A CN109145783A CN 109145783 A CN109145783 A CN 109145783A CN 201810877815 A CN201810877815 A CN 201810877815A CN 109145783 A CN109145783 A CN 109145783A
Authority
CN
China
Prior art keywords
sample
facial image
initial
key point
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810877815.6A
Other languages
English (en)
Other versions
CN109145783B (zh
Inventor
邓启力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Douyin Vision Co Ltd
Douyin Vision Beijing Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN201810877815.6A priority Critical patent/CN109145783B/zh
Publication of CN109145783A publication Critical patent/CN109145783A/zh
Application granted granted Critical
Publication of CN109145783B publication Critical patent/CN109145783B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了用于生成信息的方法和装置。该方法的一具体实施方式包括:获取初始人脸图像和初始人脸图像的初始人脸关键点信息;基于所获取的初始人脸关键点信息,对初始人脸图像中的人脸图像区域进行旋转,获得目标人脸图像,以及获取目标人脸图像的初始人脸关键点信息;基于目标人脸图像的初始人脸关键点信息和预设的初始图像,生成热点图;将目标人脸图像和所生成的热点图输入预先训练的第一识别模型,获得目标人脸图像的人脸关键点信息。该实施方式提高了信息生成的准确性。

Description

用于生成信息的方法和装置
技术领域
本申请实施例涉及计算机技术领域,尤其涉及用于生成信息的方法和装置。
背景技术
随着人脸识别技术的发展,人脸关键点检测技术也得到了广泛应用,例如用于特效添加、人脸三维模型构建等。
人脸关键点指的是人脸中具有明显语义区分度的点。目前,人脸关键点检测的流程一般为将待检测人脸图像输入一个预先训练的人脸关键点检测模型,进而获得模型输出的人脸关键点。
发明内容
本申请实施例提出了用于生成信息的方法和装置。
第一方面,本申请实施例提供了一种用于生成信息的方法,该方法包括:获取初始人脸图像和初始人脸图像的初始人脸关键点信息;基于所获取的初始人脸关键点信息,对初始人脸图像中的人脸图像区域进行旋转,获得目标人脸图像,以及获取目标人脸图像的初始人脸关键点信息;基于目标人脸图像的初始人脸关键点信息和预设的初始图像,生成目标人脸图像所对应的热点图,其中,初始图像与目标人脸图像的形状大小相同,热点图的图像区域包括数值集合,对于数值集合中的数值,该数值用于表征人脸关键点位于该数值所在位置的概率;将目标人脸图像和所生成的热点图输入预先训练的第一识别模型,获得目标人脸图像的人脸关键点信息。
在一些实施例中,获取初始人脸图像的初始人脸关键点信息,包括:将初始人脸图像输入预先训练的第二识别模型,获得初始人脸图像的初始人脸关键点信息。
在一些实施例中,获取目标人脸图像的初始人脸关键点信息,包括:将目标人脸图像输入第二识别模型,获得目标人脸图像的初始人脸关键点信息。
在一些实施例中,第二识别模型通过如下步骤训练得到:获取第二训练样本集,其中,第二训练样本包括样本人脸图像和针对样本人脸图像预先标注的样本初始人脸关键点信息;利用机器学习方法,将第二训练样本集中的第二训练样本的样本人脸图像作为输入,将所输入的样本人脸图像所对应的样本初始人脸关键点信息作为期望输出,训练得到第二识别模型。
在一些实施例中,第一识别模型通过如下步骤训练得到:获取初始第一训练样本集,其中,初始第一训练样本包括样本人脸图像和针对样本人脸图像预先标注的样本人脸关键点信息;对于初始第一训练样本集中的初始第一训练样本,执行以下步骤:获取该初始第一训练样本中的样本人脸图像的样本初始人脸关键点信息;基于所获得的样本初始人脸关键点信息和预设的样本初始图像,生成样本热点图;利用所生成的样本热点图和该初始第一训练样本,组成第一训练样本;利用机器学习方法,将所组成的第一训练样本中的第一训练样本的样本人脸图像和样本人脸图像所对应的样本热点图作为输入,将所输入的样本人脸图像所对应的样本人脸关键点信息作为期望输出,训练得到第一识别模型。
在一些实施例中,基于目标人脸图像的初始人脸关键点信息和预设的初始图像,生成目标人脸图像所对应的热点图,包括:利用高斯函数在初始图像中生成目标人脸图像的初始人脸关键点信息所对应的数值集合;基于所生成的数值集合,生成目标人脸图像所对应的热点图。
在一些实施例中,获取初始人脸图像,包括:获取对目标人脸进行拍摄所获得的人脸视频;从人脸视频所对应的人脸图像序列中选取人脸图像作为初始人脸图像。
第二方面,本申请实施例提供了一种用于生成信息的装置,该装置包括:信息获取单元,被配置成获取初始人脸图像和初始人脸图像的初始人脸关键点信息;区域旋转单元,被配置成基于所获取的初始人脸关键点信息,对初始人脸图像中的人脸图像区域进行旋转,获得目标人脸图像,以及获取目标人脸图像的初始人脸关键点信息;图像生成单元,被配置成基于目标人脸图像的初始人脸关键点信息和预设的初始图像,生成目标人脸图像所对应的热点图,其中,初始图像与目标人脸图像的形状大小相同,热点图的图像区域包括数值集合,对于数值集合中的数值,该数值用于表征人脸关键点位于该数值所在位置的概率;图像输入单元,被配置成将目标人脸图像和所生成的热点图输入预先训练的第一识别模型,获得目标人脸图像的人脸关键点信息。
在一些实施例中,信息获取单元进一步被配置成:将初始人脸图像输入预先训练的第二识别模型,获得初始人脸图像的初始人脸关键点信息。
在一些实施例中,区域旋转获取单元进一步被配置成:将目标人脸图像输入第二识别模型,获得目标人脸图像的初始人脸关键点信息。
在一些实施例中,第二识别模型通过如下步骤训练得到:获取第二训练样本集,其中,第二训练样本包括样本人脸图像和针对样本人脸图像预先标注的样本初始人脸关键点信息;利用机器学习方法,将第二训练样本集中的第二训练样本的样本人脸图像作为输入,将所输入的样本人脸图像所对应的样本初始人脸关键点信息作为期望输出,训练得到第二识别模型。
在一些实施例中,第一识别模型通过如下步骤训练得到:获取初始第一训练样本集,其中,初始第一训练样本包括样本人脸图像和针对样本人脸图像预先标注的样本人脸关键点信息;对于初始第一训练样本集中的初始第一训练样本,执行以下步骤:获取该初始第一训练样本中的样本人脸图像的样本初始人脸关键点信息;基于所获得的样本初始人脸关键点信息和预设的样本初始图像,生成样本热点图;利用所生成的样本热点图和该初始第一训练样本,组成第一训练样本;利用机器学习方法,将所组成的第一训练样本中的第一训练样本的样本人脸图像和样本人脸图像所对应的样本热点图作为输入,将所输入的样本人脸图像所对应的样本人脸关键点信息作为期望输出,训练得到第一识别模型。
在一些实施例中,图像生成单元包括:数值生成模块,被配置成利用高斯函数在初始图像中生成目标人脸图像的初始人脸关键点信息所对应的数值集合;图像生成模块,被配置成基于所生成的数值集合,生成目标人脸图像所对应的热点图。
在一些实施例中,信息获取单元包括:视频获取模块,被配置成获取对目标人脸进行拍摄所获得的人脸视频;图像选取模块,被配置成从人脸视频所对应的人脸图像序列中选取人脸图像作为初始人脸图像。
第三方面,本申请实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现上述用于生成信息的方法中任一实施例的方法。
第四方面,本申请实施例提供了一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时实现上述用于生成信息的方法中任一实施例的方法。
本申请实施例提供的用于生成信息的方法和装置,通过获取初始人脸图像和初始人脸图像的初始人脸关键点信息,而后基于所获取的初始人脸关键点信息,对初始人脸图像中的人脸图像区域进行旋转,获得目标人脸图像,以及获取目标人脸图像的初始人脸关键点信息,然后基于目标人脸图像的初始人脸关键点信息和预设的初始图像,生成热点图,最后将目标人脸图像和所生成的热点图输入预先训练的第一识别模型,获得目标人脸图像的人脸关键点信息,从而可以基于目标人脸图像所对应的热点图,生成目标人脸图像所对应的人脸关键点信息。在这里,由于热点图可以指示出人脸关键点在目标人脸图像中的各个位置的概率,故基于热点图可以获得更为准确的人脸关键点信息,提高了信息生成的准确性;另外,由于训练获得的用于识别人脸关键点的模型通常对符合预设条件的人脸图像可以进行更为准确的识别,故基于旋转后的、符合预设条件的人脸图像区域,对目标人脸图像进行识别,可以进一步提高了信息生成的准确性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请的一个实施例可以应用于其中的示例性***架构图;
图2是根据本申请的用于生成信息的方法的一个实施例的流程图;
图3是本申请实施例的一个热点图的示意图;
图4是根据本申请实施例的用于生成信息的方法的一个应用场景的示意图;
图5是根据本申请的用于生成信息的方法的又一个实施例的流程图;
图6是根据本申请的用于生成信息的装置的一个实施例的结构示意图;
图7是适于用来实现本申请实施例的电子设备的计算机***的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的用于生成信息的方法或用于生成信息的装置的实施例的示例性***架构100。
如图1所示,***架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如图像处理类应用、美图软件、网页浏览器应用、搜索类应用、社交平台软件等。
终端设备101、102、103可以是硬件,也可以是软件。当终端设备101、102、103为硬件时,可以是具有显示屏的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时,可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块),也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103发送的初始人脸图像进行处理的图像处理服务器。图像处理服务器可以对接收到的初始人脸图像等数据进行分析等处理,并获得处理结果(例如人脸关键点信息)。
需要说明的是,服务器可以是硬件,也可以是软件。当服务器为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。当服务器为软件时,可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块),也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。在初始人脸图像或者生成人脸关键点信息的过程中所使用的数据不需要从远程获取的情况下,上述***架构可以不包括网络,而只包括终端设备或服务器。
继续参考图2,示出了根据本申请的用于生成信息的方法的一个实施例的流程200。该用于生成信息的方法,包括以下步骤:
步骤201,获取初始人脸图像和初始人脸图像的初始人脸关键点信息。
在本实施例中,用于生成信息的方法的执行主体(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式获取初始人脸图像和初始人脸图像所对应的初始人脸关键点信息。其中,初始人脸图像可以为待确定其所对应的人脸关键点的人脸图像。人脸图像可以为对人脸进行拍摄所获得的图像。需要说明的是,在这里,人脸关键点可以为具有明显语义区分度的点,可以用于表征人脸的组成部位,例如人脸关键点可以为用于表征鼻子的点、用于表征眼睛的点等。初始人脸图像可以包括人脸图像区域。在这里,初始人脸图像所包括的人脸图像区域所对应的人体头部的头部姿态可以是任意的。头部姿态是指头部在三维坐标系中的方向。
初始人脸关键点信息用于表征初始人脸关键点在人脸图像中的位置,其可以包括但不限于以下至少一项:数字、文字、符号、图像。需要说明的是,初始人脸关键点可以作为人脸关键点的基准,用于确定人脸关键点。
具体的,上述执行主体可以获取预先存储于本地的初始人脸图像,也可以获取与之通信连接的电子设备(例如图1所示的终端设备)发送的初始人脸图像。
在本实施例的一些可选的实现方式中,上述执行主体还可以通过以下步骤获取初始人脸图像:首先,上述执行主体可以获取对目标人脸进行拍摄所获得的人脸视频。然后,上述执行主体可以从人脸视频所对应的人脸图像序列中选取人脸图像作为初始人脸图像。其中,目标人脸可以为待确定其所对应的人脸关键点的人脸。
需要说明的是,视频实质上是一个按照时间的先后顺序排列的图像序列,故上述人脸视频可以对应一个人脸图像序列。在这里,上述执行主体可以采用各种方式从人脸图像序列中选取人脸图像作为初始人脸图像。例如,可以采用随机选取的方式,或者可以优先选取清晰度较好的人脸图像作为初始人脸图像。
另外,上述执行主体可以通过各种方法获取初始人脸图像所对应的初始人脸关键点信息。例如,上述执行主体可以输出初始人脸图像用于显示,以及获取用户针对初始人脸图像标注出的初始人脸关键点信息。
步骤202,基于所获取的初始人脸关键点信息,对初始人脸图像中的人脸图像区域进行旋转,获得目标人脸图像,以及获取目标人脸图像的初始关键点信息。
在本实施例中。基于步骤201中获取的初始人脸关键点信息,上述执行主体可以对初始人脸图像中的人脸图像区域进行旋转,获得目标人脸图像,以及获取目标人脸图像的初始关键点信息。
具体的,上述执行主体可以首先从初始人脸图像中确定出人脸图像区域。然后基于初始人脸图像所对应的初始人脸关键点信息,对初始人脸图像中的人脸图像区域进行旋转,使得初始人脸图像中的人脸图像区域符合预设条件。需要说明的是,上述执行主体可以从人脸图像区域所在的平面内选取任意一个点作为对人脸图像区域进行旋转的旋转中心,此处不做限制。
在这里,上述执行主体可以采用各种方式从初始人脸图像中确定人脸图像区域。例如可以通过人脸识别技术确定人脸图像区域;或者,可以输出初始人脸图像,获取人工标注的人脸图像区域。
预设条件可以为技术人员预先设置的、用于使人脸图像区域符合技术人员的标准的条件。具体的,预设条件可以对所获得的初始人脸关键点信息所指示的初始人脸关键点中的初始人脸关键点进行限制,以使人脸图像区域符合技术人员的标准。
示例性的,所获得的、初始人脸图像所对应的初始人脸关键点信息包括人脸中的双眼所对应的两个关键点的坐标。进而,预设条件可以为人脸图像区域中的双眼所对应的关键点的连线与水平方向平行。在这里,双眼所对应关键点的坐标可以是以水平方向为横轴,以竖直方向为纵轴的坐标系下的坐标。进而,上述执行主体可以对初始人脸图像中的人脸图像区域进行旋转,使得双眼所对应的两个关键点的纵坐标相同(即双眼所对应的两个关键点的连线与水平方向平行,即符合预设条件)。
在这里,可以理解的是,双眼所对应的关键点的连线通常与头部轴线垂直。进而,经过上述示例中的、对人脸图像区域的旋转处理,可以使人脸图像区域所对应的头部的头部轴线与水平方向垂直。在这里,技术人员的标准即可以为人脸图像区域所对应的头部的头部轴线与水平方向垂直。当然,技术人员的标准也可以为其他标准,例如人脸图像区域所对应的头部的头部轴线与水平方向平行。需要说明的是,头部轴线可以为人体所对应的中心线的一部分。仅考虑人体的外观,人体所对应的中心线可以将人体划分为对称的两部分。
在本实施例中,基于旋转后的人脸图像区域,上述执行主体可以获得目标人脸图像,以及获取目标人脸图像的初始人脸关键点信息。其中,目标人脸图像所包括的人脸图像区域即为旋转后的人脸图像区域。即与初始人脸图像相比,目标人脸图像所包括的人脸图像区域符合预设条件(即人脸图像区域所对应的人体头部的头部姿态是预先确定的头部姿态)。
另外,与初始人脸图像所对应的初始人脸关键点信息的获取方式相类似,上述执行主体可以通过各种方法获取目标人脸图像所对应的初始人脸关键点信息。例如,上述执行主体可以输出目标人脸图像用于显示,以及获取用户针对目标人脸图像标注出的初始人脸关键点信息。
可以理解的是,当初始人脸图像中的人脸图像区域已经符合预设条件时,上述对初始人脸图像中的人脸图像区域的旋转处理所对应的旋转角度可以是0°(相当于不对初始人脸图像中的人脸图像区域进行旋转处理,直接将初始人脸图像确定为目标人脸图像)。
步骤203,基于目标人脸图像的初始人脸关键点信息和预设的初始图像,生成目标人脸图像所对应的热点图。
在本实施例中,基于步骤202中得到的目标人脸图像的初始人脸关键点信息和预设的初始图像,上述执行主体可以生成目标人脸图像所对应的热点图。其中,初始图像可以为技术人员预先设置的图像,初始图像与目标人脸图像的形状大小相同。另外,初始图像可以只包括背景图像,而不包括前景图像。进而,上述执行主体可以在初始图像上添加数值,以生成热点图。
热点图的图像区域可以包括数值集合,对于数值集合中的数值,该数值可以用于表征人脸关键点位于该数值所在位置的概率。需要说明的是,热点图可以包括至少两个数值集合,其中,至少两个数值集合中的每个数值集合可以对应一个目标人脸图像的初始人脸关键点信息。
具体的,与初始人脸关键点信息所表征的目标人脸图像中的位置相对应的、热点图中的位置上的数值可以为1。根据热点图中的各个位置与数值1所对应的位置的距离,各个位置所对应的数值可以逐渐减小。即距离数值1所对应的位置越远,所对应的数值越小。
需要说明的是,热点图中数值所在的位置可以由用于包围数值的最小矩形来确定。具体的,可以将上述最小矩形的中心确定为数值所在位置,或者,可以将最小矩形的端点确定为数值所在位置。
在本实施例中,上述执行主体可以通过各种方式利用目标人脸图像的初始人脸关键点信息,在初始图像中生成目标人脸图像的初始人脸关键点信息所对应的数值集合,进而获得热点图。
在本实施例的一些可选的实现方式中,上述执行主体可以利用高斯函数在初始图像中生成目标人脸图像的初始人脸关键点信息所对应的数值集合,进而获得热点图。具体的,上述执行主体可以将位置作为高斯函数的自变量,将位置所对应的数值作为高斯函数的因变量,进而基于位置确定出数值集合。可以理解,在这里,数值1(即初始人脸关键点)所对应的位置是高斯函数的数学期望所对应的自变量。
作为示例,图3示出了本申请实施例的一个热点图的示意图。图中包括一个数值集合301,该数值集合301所对应的初始人脸关键点信息为初始人脸关键点302所对应的初始人脸关键点信息。如图3所示。初始人脸关键点302所在位置上的数值为1。随着与初始人脸关键点302的距离的增大,数值逐渐由0.8减小至0.4,再由0.4减小至0.1。需要说明的是,在这里,对于热点图中未标注出数值的位置,其所对应的数值可以为0。数值所在位置可以由用于包围数值的最小矩形(例如附图标记303)来确定。
下面返回图2。
步骤204,将目标人脸图像和所生成的热点图输入预先训练的第一识别模型,获得目标人脸图像的人脸关键点信息。
在本实施例中,基于步骤202中得到的目标人脸图像,以及基于步骤203中得到的热点图,上述执行主体可以将目标人脸图像和热点图输入预先训练的第一识别模型,获得目标人脸图像所对应的人脸关键点信息。其中,人脸关键点信息用于表征人脸关键点在人脸图像中的位置,其可以包括但不限于以下至少一项:数字、文字、符号、图像。
在本实施例中,第一识别模型可以用于表征人脸图像和人脸图像所对应的热点图与人脸图像所对应的人脸关键点信息的对应关系。具体的,作为示例,第一识别模型可以包括第一特征提取模型和第一信息生成模型。第一特征提取模型可以将人脸图像和人脸图像所对应的热点图作为输入,用于提取所输入的人脸图像的图像特征和热点图的图像特征及输出。第一信息生成模型可以与第一特征提取模型连接,用于基于第一特征提取模型输出的图像特征,生成人脸图像所对应的人脸关键点信息。需要说明的是,在这里,第一特征提取模型可以包括用于提取图像特征的结构(例如卷积层),当然也可以包括其他结构(例如池化层)。第一信息生成模型可以包括用于生成信息的结构(例如全连接层),另外也可以包括其他结构(例如输出层)。
实践中,第一信息生成模型中的用于生成信息的结构(例如全连接层)的输出可以看成与该结构连接的每个其他结构(例如卷积层)的输出乘以一个权重系数,最后加上一个偏置值得到。在这里,权重系数以及偏置值可以通过以下训练步骤确定:
首先,可以获取训练样本集,其中,训练样本集可以包括预先提取的样本人脸图像所对应的图像特征、与样本人脸图像相对应的样本热点图所对应的图像特征以及针对样本人脸图像预先标注的样本人脸关键点信息。
然后,可以获取用于生成第一信息生成模型的初始模型(例如全连接层与输出层所组成的模型),以及从训练样本集中选取训练样本,并执行以下步骤:将所选取的训练样本中的样本人脸图像所对应的图像特征以及与样本人脸图像相对应的样本热点图所对应的图像特征输入初始模型,得到人脸关键点信息;将所选取的训练样本中的样本人脸关键点信息作为初始模型的期望输出,利用机器学习方法训练初始模型。
最后,获取训练完成的初始模型的参数,其中,所获取的参数即包括上述权重系数和偏置值。
具体的,可以首先利用预设的损失函数计算所得到的人脸关键点信息与样本人脸关键点信息之间的差异,例如,可以采用欧氏距离作为损失函数计算所得到的人脸关键点信息与样本人脸关键点信息之间的差异。然后,可以基于计算所得的差异,采用反向传播的方法调整初始模型的参数,并在满足预设的训练结束条件的情况下,结束训练,获得训练完成的初始模型。此时,训练完成的初始模型中的、调整后的参数即包括上述权重系数和偏置值。
需要说明的是,这里预设的训练结束条件可以包括但不限于以下至少一项:训练时间超过预设时长;训练次数超过预设次数;计算所得的差异小于预设差异阈值。
在本实施例的一些可选的实现方式中,上述第一识别模型可以通过如下步骤训练得到:
首先,获取初始第一训练样本集,其中,初始第一训练样本可以包括样本人脸图像和针对样本人脸图像预先标注的样本人脸关键点信息。其中,样本人脸关键点信息可以用于表征样本人脸关键点在样本人脸图像中的位置。
然后,对于初始第一训练样本集中的初始第一训练样本,执行以下步骤:获取该初始第一训练样本中的样本人脸图像所对应的样本初始人脸关键点信息;基于样本初始人脸关键点信息和预设的样本初始图像,生成该初始第一训练样本中的样本人脸图像所对应样本热点图;利用所生成的样本热点图和该初始第一训练样本,组成第一训练样本。
其中,样本初始人脸关键点信息用于表征样本初始人脸关键点在人脸图像中的位置,其可以包括但不限于以下至少一项:数字、文字、符号、图像。需要说明的是,样本初始人脸关键点可以作为样本人脸关键点的基准,用于确定样本人脸关键点。
在这里,可以通过各种方法获取样本人脸图像所对应的样本初始人脸关键点信息。例如,可以输出样本人脸图像用于显示,以及获取用户针对样本人脸图像标注出的样本初始人脸关键点信息。
样本初始图像可以为技术人员预先设置的图像,样本初始图像与样本人脸图像的形状大小相同。另外,样本初始图像可以只包括背景图像,而不包括前景图像。进而,可以在样本初始图像上添加数值,以生成样本热点图。
样本热点图的图像区域可以包括数值集合,对于数值集合中的数值,该数值可以用于表征样本人脸关键点位于该数值所在位置的概率。需要说明的是,样本热点图可以包括至少两个数值集合,其中,至少两个数值集合中的每个数值集合可以对应一个样本初始人脸关键点信息。
具体的,与样本初始人脸关键点信息所表征的样本人脸图像中的位置相对应的、样本热点图中的位置上的数值可以为1。根据样本热点图中的各个位置与数值1所对应的位置的距离,各个位置所对应的数值可以逐渐减小。即距离数值1所对应的位置越远,所对应的数值越小。
需要说明的是,样本热点图中数值所在的位置可以由用于包围数值的最小矩形来确定。具体的,可以将上述最小矩形的中心确定为数值所在位置,或者,可以将最小矩形的端点确定为数值所在位置。
在本实现方式中,可以通过各种方式利用样本初始人脸关键点信息,在样本初始图像中生成样本初始人脸关键点信息所对应的数值集合,进而获得样本热点图。例如,可以利用高斯函数在样本初始图像中生成样本初始人脸关键点信息所对应的数值集合,进而获得样本热点图。
最后,利用机器学习方法,将所组成的第一训练样本中的第一训练样本的样本人脸图像和样本人脸图像所对应的样本热点图作为输入,将所输入的样本人脸图像所对应的样本人脸关键点信息作为期望输出,对预先确定的初始模型(例如残差网络(ResNet))进行训练,得到第一识别模型。
需要说明的是,通常,残差网络相较于一般的神经网络,具有更高的准确度。具体的,在理想情况下,深的网络一般会比浅的网络效果好。但实际上,神经网络在反向传播过程中要不断地传播梯度,而当网络层数加深时,梯度在传播过程中会逐渐消失(假如采用Sigmoid函数作为激活函数,对于幅度为1的信号,每向后传递一层,梯度就衰减为原来的0.25,层数越多,衰减越厉害),导致无法对前面网络层的权重系数等参数进行有效的调整。基于此,残差网络应运而生。残差网络相较于一般神经网络,包括用于增加网络深度的恒等映射(identity mapping,即y=x,输出等于输入)层。通过恒等映射层,可以在增加网络的深度的同时,提高网络的准确度。
残差网络借鉴了高速网络(Highway Network)的跨层链接思想,在其所包括的某些特征提取层(例如卷积层)之间添加了恒等映射关系,形成了恒等映射层。
具体的,作为示例,对于具有恒等映射关系且相互连接的两个特征提取层(即这两个特征提取层可以构成一个恒等映射层),第一个特征提取层的输入是x,期望输出为F(x);第二个特征提取层的输入是F(x),期望输出是H(x)。残差网络中,可以直接把第一个特征提取层的输入x传到第二个特征提取层的输出,作为第二个特征提取层的初始结果,即第二个特征提取层的输出结果为H(x)=F(x)+x。在这里,当F(x)=0时,那么H(x)=x,即产生恒等映射。所以,可以理解的是,恒等映射层的学习目标则是F(x)=H(x)-x=0。
实践中,在组成第一训练样本后,可以利用各种方式对初始模型进行训练,获得第一识别模型。具体的,作为示例,对于所组成的第一训练样本,可以从所组成的第一训练样本中选取第一训练样本,并执行以下训练步骤:将所选取的第一训练样本的样本人脸图像和样本热点图输入初始模型,获得样本人脸图像所对应的人脸关键点信息;将所输入的样本人脸图像所对应的样本人脸关键点信息作为初始模型的期望输出,确定所获得的人脸关键点信息相对于样本人脸关键点信息的损失值;利用所确定的损失值,采用反向传播的方法调整初始模型的参数;确定所组成的第一训练样本中是否存在未被选取的第一训练样本;响应于确定不存在未被选取的第一训练样本,将调整后的初始模型确定为第一识别模型。
需要说明的是,第一训练样本的选取方式在本申请中并不限制。例如可以是随机选取,也可以是优先选取样本人脸图像的清晰度较好的第一训练样本。还需要说明的是,在这里,可以采用预设的各种损失函数确定所获得的人脸关键点信息相对于样本人脸关键点信息的损失值。例如,可以采用欧氏距离损失函数计算损失值。
在该示例中,还可以包括以下步骤:响应于确定存在未被选取的第一训练样本,从未被选取的第一训练样本中重新选取第一训练样本,以及使用最近一次调整的初始模型作为新的初始模型,继续执行上述训练步骤。
需要说明的是,实践中,用于生成模型的步骤的执行主体可以与用于生成信息的方法的执行主体相同或者不同。如果相同,则用于生成模型的步骤的执行主体可以在训练得到模型后将训练好的模型存储在本地。如果不同,则用于生成模型的步骤的执行主体可以在训练得到模型后将训练好的模型发送给用于生成信息的方法的执行主体。
可以理解的是,由于本申请实施例中的目标人脸图像是基于初始人脸图像,通过旋转处理获得的,故根据步骤205中得到的目标人脸图像所对应的人脸关键点信息,对步骤202中涉及的旋转处理过程进行逆推(例如,旋转处理过程包括逆时针旋转50°。则逆推的处理过程包括顺时针旋转50°),可以确定出初始人脸图像所对应的人脸关键点信息。
继续参见图4,图4是根据本实施例的用于生成信息的方法的应用场景的一个示意图。在图4的应用场景中,服务器401首先获取终端设备402发送的初始人脸图像403。然后,服务器401可以获取目标人脸图像403所对应的初始人脸关键点信息404“(4,17);(18,23)”。其中,“(4,17)”为用于表征初始人脸关键点(例如左眼所对应的关键点)在初始人脸图像403中的位置的坐标;“(18,23)”为用于表征另一个初始人脸关键点(例如右眼所对应的关键点)在初始人脸图像403中的位置的坐标。上述坐标可以为基于初始人脸图像403,预先建立的直角坐标系下的坐标。然后,服务器401可以基于所获取的初始人脸关键点信息404,对初始人脸图像403中的人脸图像区域进行旋转,获得目标人脸图像405。接着,服务器401可以获取目标人脸图像405的初始人脸关键点信息406“(6,20);(16,20)”;其中,“(6,20)”为用于表征初始人脸关键点(例如左眼所对应的关键点)在目标人脸图像405中的位置的坐标;“(16,20)”为用于表征另一个初始人脸关键点(例如右眼所对应的关键点)在目标人脸图像405中的位置的坐标。而后,服务器401可以基于目标人脸图像405的初始人脸关键点信息406和预设的初始图像407,生成热点图408。最后,服务器401可以将目标人脸图像405和热点图408输入预先训练的第一识别模型409,获得目标人脸图像405所对应的人脸关键点信息410“(5,19);(6,20);(7,21);(15,19);(16,20);(17,21)”。
可以看出,所获得的人脸关键点信息410包括6个坐标,其中,每个坐标可以对应一个人脸关键点(眼睛所对应的关键点),用于表征该人脸关键点在目标人脸图像405中的位置。
本申请的上述实施例提供的方法可以基于目标人脸图像所对应的热点图,生成目标人脸图像所对应的人脸关键点信息。在这里,由于热点图可以指示出人脸关键点在目标人脸图像中的各个位置的概率,故基于热点图可以获得更为准确的人脸关键点信息,提高了信息生成的准确性;另外,由于训练获得的用于识别人脸关键点的模型通常对符合预设条件的人脸图像可以进行更为准确的识别,故基于旋转后的、符合预设条件的人脸图像区域,对目标人脸图像进行识别,可以进一步提高了信息生成的准确性。
进一步参考图5,其示出了用于生成信息的方法的又一个实施例的流程500。该用于生成信息的方法的流程500,包括以下步骤:
步骤501,获取初始人脸图像。
在本实施例中,用于生成信息的方法的执行主体(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式获取初始人脸图像。其中,初始人脸图像可以为待确定其所对应的人脸关键点的人脸图像。人脸图像可以为对人脸进行拍摄所获得的图像。需要说明的是,在这里,人脸关键点可以为具有明显语义区分度的点,可以用于表征人脸的组成部位,例如人脸关键点可以为用于表征鼻子的点、用于表征眼睛的点等。初始人脸图像可以包括人脸图像区域。在这里,初始人脸图像所包括的人脸图像区域所对应的人体头部的头部姿态可以是任意的。头部姿态是指头部在三维坐标系中的方向。
步骤502,将初始人脸图像输入预先训练的第二识别模型,获得初始人脸图像所对应的初始人脸关键点信息。
在本实施例中,基于步骤501中得到的初始人脸图像,上述执行主体可以将初始人脸图像输入预先训练的第二识别模型,获得初始人脸图像所对应的初始人脸关键点信息。
其中,初始人脸关键点信息用于表征初始人脸关键点在人脸图像中的位置,其可以包括但不限于以下至少一项:数字、文字、符号、图像。需要说明的是,初始人脸关键点可以作为人脸关键点的基准,用于确定人脸关键点。
在本实施例中,第二识别模型可以用于表征人脸图像与人脸图像所对应的初始人脸关键点信息的对应关系。具体的,作为示例,第二识别模型可以包括第二特征提取模型和第二信息生成模型。第二特征提取模型可以将人脸图像作为输入,用于提取所输入的人脸图像的图像特征及输出。第二信息生成模型可以与第二特征提取模型连接,用于基于第二特征提取模型输出的图像特征,生成人脸图像所对应的初始人脸关键点信息。需要说明的是,在这里,第二特征提取模型可以包括用于提取图像特征的结构(例如卷积层),当然也可以包括其他结构(例如池化层)。第二信息生成模型可以包括用于生成信息的结构(例如全连接层),另外也可以包括其他结构(例如输出层)。
需要说明的是,第二信息生成模型中用于生成信息的结构所对应的参数可以采用与上述生成第一信息生成模型所对应的权重系数和偏置值的方式相类似的方式生成,此处不再赘述。
在本实施例的一些可选的实现方式中,上述第二识别模型可以通过如下步骤训练得到:首先,获取第二训练样本集。其中,第二训练样本可以包括样本人脸图像和针对样本人脸图像预先标注的样本初始人脸关键点信息。样本初始人脸关键点信息可以用于表征样本初始人脸关键点在样本人脸图像中的位置。然后,利用机器学习方法,将第二训练样本集中的第二训练样本的样本人脸图像作为输入,将所输入的样本人脸图像所对应的样本初始人脸关键点信息作为期望输出,对初始模型(例如残差网络)进行训练,得到第二识别模型。
步骤503,基于所获取的初始人脸关键点信息,对初始人脸图像中的人脸图像区域进行旋转,获得目标人脸图像,以及获取目标人脸图像的初始关键点信息。
在本实施例中。基于步骤502中获取的初始人脸关键点信息,上述执行主体可以对初始人脸图像中的人脸图像区域进行旋转,获得目标人脸图像,以及获取目标人脸图像的初始关键点信息。
其中,目标人脸图像所包括的人脸图像区域即为旋转后的人脸图像区域。即与初始人脸图像相比,目标人脸图像所包括的人脸图像区域符合预设条件(即人脸图像区域所对应的人体头部的头部姿态是预先确定的头部姿态)。
在本实施例的一些可选的实现方式中,与初始人脸图像所对应的初始人脸关键点信息的获取方式相类似,上述执行主体可以将目标人脸图像输入上述第二识别模型,获得目标人脸图像的初始人脸关键点信息。
步骤504,基于所获取的初始人脸关键点信息和预设的初始图像,生成目标人脸图像所对应的热点图。
在本实施例中,基于步骤503中得到的初始人脸关键点信息和预设的初始图像,上述执行主体可以生成目标人脸图像所对应的热点图。其中,初始图像可以为技术人员预先设置的图像,初始图像与目标人脸图像的形状大小相同。另外,初始图像可以只包括背景图像,而不包括前景图像。进而,上述执行主体可以在初始图像上添加数值,以生成热点图。
热点图的图像区域可以包括数值集合,对于数值集合中的数值,该数值可以用于表征人脸关键点位于该数值所在位置的概率。需要说明的是,热点图可以包括至少两个数值集合,其中,至少两个数值集合中的每个数值集合可以对应一个初始人脸关键点信息。
步骤505,将目标人脸图像和热点图输入预先训练的第一识别模型,获得目标人脸图像所对应的人脸关键点信息。
在本实施例中,基于步骤503中得到的目标人脸图像,以及基于步骤504中得到的热点图,上述执行主体可以将目标人脸图像和热点图输入预先训练的第一识别模型,获得目标人脸图像所对应的人脸关键点信息。其中,人脸关键点信息用于表征人脸关键点在人脸图像中的位置,其可以包括但不限于以下至少一项:数字、文字、符号、图像。第一识别模型可以用于表征人脸图像和人脸图像所对应的热点图与人脸图像所对应的人脸关键点信息的对应关系。
从图5中可以看出,与图2对应的实施例相比,本实施例中的用于生成信息的方法的流程500突出了利用预先训练的模型获得初始人脸图像所对应的初始人脸关键点信息的步骤。由此,本实施例描述的方案可以利用训练获得的、准确度满足技术人员预设指标的模型,生成更为准确的初始人脸关键点信息,进一步提高了信息生成的准确性。
进一步参考图6,作为对上述各图所示方法的实现,本申请提供了一种用于生成信息的装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图6所示,本实施例的用于生成信息的装置600包括:信息获取单元601、区域旋转单元602、图像生成单元603和图像输入单元604。其中,信息获取单元601被配置成获取初始人脸图像和初始人脸图像的初始人脸关键点信息;区域旋转单元602被配置成基于所获取的初始人脸关键点信息,对初始人脸图像中的人脸图像区域进行旋转,获得目标人脸图像,以及获取目标人脸图像的初始人脸关键点信息;图像生成单元603被配置成基于目标人脸图像的初始人脸关键点信息和预设的初始图像,生成目标人脸图像所对应的热点图,其中,初始图像与目标人脸图像的形状大小相同,热点图的图像区域包括数值集合,对于数值集合中的数值,该数值用于表征人脸关键点位于该数值所在位置的概率;图像输入单元604被配置成将目标人脸图像和所生成的热点图输入预先训练的第一识别模型,获得目标人脸图像的人脸关键点信息。
在本实施例中,用于生成信息的装置600的第一获取单元601可以通过有线连接方式或者无线连接方式获取初始人脸图像和初始人脸图像所对应的初始人脸关键点信息。其中,初始人脸图像可以为待确定其所对应的人脸关键点的人脸图像。人脸图像可以为对人脸进行拍摄所获得的图像。需要说明的是,在这里,人脸关键点可以为具有明显语义区分度的点,可以用于表征人脸的组成部位,例如人脸关键点可以为用于表征鼻子的点、用于表征眼睛的点等。初始人脸图像可以包括人脸图像区域。在这里,初始人脸图像所包括的人脸图像区域所对应的人体头部的头部姿态可以是任意的。头部姿态是指头部在三维坐标系中的方向。
初始人脸关键点信息用于表征初始人脸关键点在人脸图像中的位置,其可以包括但不限于以下至少一项:数字、文字、符号、图像。需要说明的是,初始人脸关键点可以作为人脸关键点的基准,用于确定人脸关键点。
在本实施例中。基于信息获取单元601中获取的初始人脸关键点信息,区域旋转单元602可以对初始人脸图像中的人脸图像区域进行旋转,获得目标人脸图像,以及获取目标人脸图像的初始关键点信息。
具体的,上述执行主体可以首先从初始人脸图像中确定出人脸图像区域。然后基于初始人脸图像所对应的初始人脸关键点信息,对初始人脸图像中的人脸图像区域进行旋转,使得初始人脸图像中的人脸图像区域符合预设条件。需要说明的是,上述执行主体可以从人脸图像区域所在的平面内选取任意一个点作为对人脸图像区域进行旋转的旋转中心,此处不做限制。
在本实施例中,基于旋转后的人脸图像区域,区域旋转单元602可以获得目标人脸图像,以及获取目标人脸图像的初始人脸关键点信息。其中,目标人脸图像所包括的人脸图像区域即为旋转后的人脸图像区域。即与初始人脸图像相比,目标人脸图像所包括的人脸图像区域符合预设条件(即人脸图像区域所对应的人体头部的头部姿态是预先确定的头部姿态)。
在本实施例中,基于区域旋转单元602得到的目标人脸图像的初始人脸关键点信息和预设的初始图像,图像生成单元603可以生成目标人脸图像所对应的热点图。其中,初始图像可以为技术人员预先设置的图像,初始图像与目标人脸图像的形状大小相同。另外,初始图像可以只包括背景图像,而不包括前景图像。进而,图像生成单元603可以在初始图像上添加数值,以生成热点图。
热点图的图像区域可以包括数值集合,对于数值集合中的数值,该数值可以用于表征人脸关键点位于该数值所在位置的概率。需要说明的是,热点图可以包括至少两个数值集合,其中,至少两个数值集合中的每个数值集合可以对应一个目标人脸图像的初始人脸关键点信息。
在本实施例中,基于区域旋转单元602得到的目标人脸图像,以及基于图像生成单元603得到的热点图,图像输入单元604可以将目标人脸图像和热点图输入预先训练的第一识别模型,获得目标人脸图像所对应的人脸关键点信息。其中,人脸关键点信息用于表征人脸关键点在人脸图像中的位置,其可以包括但不限于以下至少一项:数字、文字、符号、图像。第一识别模型可以用于表征人脸图像和人脸图像所对应的热点图与人脸图像所对应的人脸关键点信息的对应关系。
在本实施例的一些可选的实现方式中,信息获取单元601可以进一步被配置成:将初始人脸图像输入预先训练的第二识别模型,获得初始人脸图像的初始人脸关键点信息。
在本实施例的一些可选的实现方式中,区域旋转单元602可以进一步被配置成:将目标人脸图像输入第二识别模型,获得目标人脸图像的初始人脸关键点信息。
在本实施例的一些可选的实现方式中,第二识别模型可以通过如下步骤训练得到:获取第二训练样本集,其中,第二训练样本包括样本人脸图像和针对样本人脸图像预先标注的样本初始人脸关键点信息;利用机器学习方法,将第二训练样本集中的第二训练样本的样本人脸图像作为输入,将所输入的样本人脸图像所对应的样本初始人脸关键点信息作为期望输出,训练得到第二识别模型。
在本实施例的一些可选的实现方式中,第一识别模型可以通过如下步骤训练得到:获取初始第一训练样本集,其中,初始第一训练样本包括样本人脸图像和针对样本人脸图像预先标注的样本人脸关键点信息;对于初始第一训练样本集中的初始第一训练样本,执行以下步骤:获取该初始第一训练样本中的样本人脸图像的样本初始人脸关键点信息;基于所获得的样本初始人脸关键点信息和预设的样本初始图像,生成样本热点图;利用所生成的样本热点图和该初始第一训练样本,组成第一训练样本;利用机器学习方法,将所组成的第一训练样本中的第一训练样本的样本人脸图像和样本人脸图像所对应的样本热点图作为输入,将所输入的样本人脸图像所对应的样本人脸关键点信息作为期望输出,训练得到第一识别模型。
在本实施例的一些可选的实现方式中,图像生成单元603可以包括:数值生成模块(图中未示出),被配置成利用高斯函数在初始图像中生成目标人脸图像的初始人脸关键点信息所对应的数值集合;图像生成模块(图中未示出),被配置成基于所生成的数值集合,生成目标人脸图像所对应的热点图。
在本实施例的一些可选的实现方式中,信息获取单元601可以包括:视频获取模块(图中未示出),被配置成获取对目标人脸进行拍摄所获得的人脸视频;图像选取模块(图中未示出),被配置成从人脸视频所对应的人脸图像序列中选取人脸图像作为初始人脸图像。
可以理解的是,该装置600中记载的诸单元与参考图2描述的方法中的各个步骤相对应。由此,上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置600及其中包含的单元,在此不再赘述。
本申请的上述实施例提供的装置600可以基于目标人脸图像所对应的热点图,生成目标人脸图像所对应的人脸关键点信息。在这里,由于热点图可以指示出人脸关键点在目标人脸图像中的各个位置的概率,故基于热点图可以获得更为准确的人脸关键点信息,提高了信息生成的准确性;另外,由于训练获得的用于识别人脸关键点的模型通常对符合预设条件的人脸图像可以进行更为准确的识别,故基于旋转后的、符合预设条件的人脸图像区域,对目标人脸图像进行识别,可以进一步提高了信息生成的准确性。
下面参考图7,其示出了适于用来实现本申请实施例的电子设备(例如图1所示的终端设备/服务器)的计算机***700的结构示意图。图7示出的电子设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图7所示,计算机***700包括中央处理单元(CPU)701,其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中,还存储有***700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705:包括键盘、鼠标等的输入部分706;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707;包括硬盘等的存储部分708;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器710上,以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分709从网络上被下载和安装,和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时,执行本申请的方法中限定的上述功能。需要说明的是,本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括信息获取单元、区域旋转单元、图像生成单元和图像输入单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,信息获取单元还可以被描述为“获取初始人脸图像和初始人脸图像的初始人脸关键点信息的单元”。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取初始人脸图像和初始人脸图像的初始人脸关键点信息;基于所获取的初始人脸关键点信息,对初始人脸图像中的人脸图像区域进行旋转,获得目标人脸图像,以及获取目标人脸图像的初始人脸关键点信息;基于目标人脸图像的初始人脸关键点信息和预设的初始图像,生成目标人脸图像所对应的热点图,其中,初始图像与目标人脸图像的形状大小相同,热点图的图像区域包括数值集合,对于数值集合中的数值,该数值用于表征人脸关键点位于该数值所在位置的概率;将目标人脸图像和所生成的热点图输入预先训练的第一识别模型,获得目标人脸图像的人脸关键点信息。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (16)

1.一种用于生成信息的方法,包括:
获取初始人脸图像和初始人脸图像的初始人脸关键点信息;
基于所获取的初始人脸关键点信息,对所述初始人脸图像中的人脸图像区域进行旋转,获得目标人脸图像,以及获取所述目标人脸图像的初始人脸关键点信息;
基于目标人脸图像的初始人脸关键点信息和预设的初始图像,生成目标人脸图像所对应的热点图,其中,初始图像与所述目标人脸图像的形状大小相同,热点图的图像区域包括数值集合,对于数值集合中的数值,该数值用于表征人脸关键点位于该数值所在位置的概率;
将目标人脸图像和所生成的热点图输入预先训练的第一识别模型,获得所述目标人脸图像的人脸关键点信息。
2.根据权利要求1所述的方法,其中,所述获取初始人脸图像的初始人脸关键点信息,包括:
将所述初始人脸图像输入预先训练的第二识别模型,获得初始人脸图像的初始人脸关键点信息。
3.根据权利要求2所述的方法,其中,所述获取所述目标人脸图像的初始人脸关键点信息,包括:
将所述目标人脸图像输入所述第二识别模型,获得所述目标人脸图像的初始人脸关键点信息。
4.根据权利要求2所述的方法,其中,所述第二识别模型通过如下步骤训练得到:
获取第二训练样本集,其中,第二训练样本包括样本人脸图像和针对样本人脸图像预先标注的样本初始人脸关键点信息;
利用机器学习方法,将所述第二训练样本集中的第二训练样本的样本人脸图像作为输入,将所输入的样本人脸图像所对应的样本初始人脸关键点信息作为期望输出,训练得到第二识别模型。
5.根据权利要求1所述的方法,其中,所述第一识别模型通过如下步骤训练得到:
获取初始第一训练样本集,其中,初始第一训练样本包括样本人脸图像和针对样本人脸图像预先标注的样本人脸关键点信息;
对于初始第一训练样本集中的初始第一训练样本,执行以下步骤:获取该初始第一训练样本中的样本人脸图像的样本初始人脸关键点信息;基于所获得的样本初始人脸关键点信息和预设的样本初始图像,生成样本热点图;利用所生成的样本热点图和该初始第一训练样本,组成第一训练样本;
利用机器学习方法,将所组成的第一训练样本中的第一训练样本的样本人脸图像和样本人脸图像所对应的样本热点图作为输入,将所输入的样本人脸图像所对应的样本人脸关键点信息作为期望输出,训练得到第一识别模型。
6.根据权利要求1所述的方法,其中,所述基于目标人脸图像的初始人脸关键点信息和预设的初始图像,生成目标人脸图像所对应的热点图,包括:
利用高斯函数在所述初始图像中生成所述目标人脸图像的初始人脸关键点信息所对应的数值集合;
基于所生成的数值集合,生成目标人脸图像所对应的热点图。
7.根据权利要求1-6之一所述的方法,其中,所述获取初始人脸图像,包括:
获取对目标人脸进行拍摄所获得的人脸视频;
从所述人脸视频所对应的人脸图像序列中选取人脸图像作为初始人脸图像。
8.一种用于生成信息的装置,包括:
信息获取单元,被配置成获取初始人脸图像和初始人脸图像的初始人脸关键点信息;
区域旋转单元,被配置成基于所获取的初始人脸关键点信息,对所述初始人脸图像中的人脸图像区域进行旋转,获得目标人脸图像,以及获取所述目标人脸图像的初始人脸关键点信息;
图像生成单元,被配置成基于目标人脸图像的初始人脸关键点信息和预设的初始图像,生成目标人脸图像所对应的热点图,其中,初始图像与所述目标人脸图像的形状大小相同,所述热点图的图像区域包括数值集合,对于数值集合中的数值,该数值用于表征人脸关键点位于该数值所在位置的概率;
图像输入单元,被配置成将目标人脸图像和所生成的热点图输入预先训练的第一识别模型,获得所述目标人脸图像的人脸关键点信息。
9.根据权利要求8所述的装置,其中,所述信息获取单元进一步被配置成:
将所述初始人脸图像输入预先训练的第二识别模型,获得初始人脸图像的初始人脸关键点信息。
10.根据权利要求9所述的装置,其中,所述区域旋转单元进一步被配置成:
将所述目标人脸图像输入所述第二识别模型,获得所述目标人脸图像的初始人脸关键点信息。
11.根据权利要求9所述的装置,其中,所述第二识别模型通过如下步骤训练得到:
获取第二训练样本集,其中,第二训练样本包括样本人脸图像和针对样本人脸图像预先标注的样本初始人脸关键点信息;
利用机器学习方法,将所述第二训练样本集中的第二训练样本的样本人脸图像作为输入,将所输入的样本人脸图像所对应的样本初始人脸关键点信息作为期望输出,训练得到第二识别模型。
12.根据权利要求8所述的装置,其中,所述第一识别模型通过如下步骤训练得到:
获取初始第一训练样本集,其中,初始第一训练样本包括样本人脸图像和针对样本人脸图像预先标注的样本人脸关键点信息;
对于初始第一训练样本集中的初始第一训练样本,执行以下步骤:获取该初始第一训练样本中的样本人脸图像的样本初始人脸关键点信息;基于所获得的样本初始人脸关键点信息和预设的样本初始图像,生成样本热点图;利用所生成的样本热点图和该初始第一训练样本,组成第一训练样本;
利用机器学习方法,将所组成的第一训练样本中的第一训练样本的样本人脸图像和样本人脸图像所对应的样本热点图作为输入,将所输入的样本人脸图像所对应的样本人脸关键点信息作为期望输出,训练得到第一识别模型。
13.根据权利要求8所述的装置,其中,所述图像生成单元包括:
数值生成模块,被配置成利用高斯函数在所述初始图像中生成所述目标人脸图像的初始人脸关键点信息所对应的数值集合;
图像生成模块,被配置成基于所生成的数值集合,生成目标人脸图像所对应的热点图。
14.根据权利要求8-13之一所述的装置,其中,所述信息获取单元包括:
视频获取模块,被配置成获取对目标人脸进行拍摄所获得的人脸视频;
图像选取模块,被配置成从所述人脸视频所对应的人脸图像序列中选取人脸图像作为初始人脸图像。
15.一种电子设备,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
16.一种计算机可读介质,其上存储有计算机程序,其中,该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN201810877815.6A 2018-08-03 2018-08-03 用于生成信息的方法和装置 Active CN109145783B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810877815.6A CN109145783B (zh) 2018-08-03 2018-08-03 用于生成信息的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810877815.6A CN109145783B (zh) 2018-08-03 2018-08-03 用于生成信息的方法和装置

Publications (2)

Publication Number Publication Date
CN109145783A true CN109145783A (zh) 2019-01-04
CN109145783B CN109145783B (zh) 2022-03-25

Family

ID=64791643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810877815.6A Active CN109145783B (zh) 2018-08-03 2018-08-03 用于生成信息的方法和装置

Country Status (1)

Country Link
CN (1) CN109145783B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858444A (zh) * 2019-01-31 2019-06-07 北京字节跳动网络技术有限公司 人体关键点检测模型的训练方法和装置
CN110008926A (zh) * 2019-04-15 2019-07-12 北京字节跳动网络技术有限公司 用于识别年龄的方法和装置
CN110399809A (zh) * 2019-07-08 2019-11-01 北京亮亮视野科技有限公司 多特征融合的人脸关键点检测方法及装置
CN110929588A (zh) * 2019-10-30 2020-03-27 维沃移动通信有限公司 脸部特征点定位方法及电子设备
CN111968028A (zh) * 2020-08-14 2020-11-20 北京字节跳动网络技术有限公司 图像生成方法、装置、设备和计算机可读介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1822024A (zh) * 2006-04-13 2006-08-23 北京中星微电子有限公司 一种人脸特征点定位方法
CN103824049A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联神经网络的人脸关键点检测方法
CN105760836A (zh) * 2016-02-17 2016-07-13 厦门美图之家科技有限公司 基于深度学习的多角度人脸对齐方法、***及拍摄终端
CN106909909A (zh) * 2017-03-08 2017-06-30 王华锋 一种基于共享卷积特征的人脸检测与对齐方法
CN107545220A (zh) * 2016-06-29 2018-01-05 中兴通讯股份有限公司 一种人脸识别方法及装置
CN107928675A (zh) * 2017-11-22 2018-04-20 王华锋 一种基于深度学习和红点激光相结合的人体躯干测量方法
CN108062526A (zh) * 2017-12-15 2018-05-22 厦门美图之家科技有限公司 一种人体姿态估计方法及移动终端
CN108121952A (zh) * 2017-12-12 2018-06-05 北京小米移动软件有限公司 人脸关键点定位方法、装置、设备及存储介质
CN108985259A (zh) * 2018-08-03 2018-12-11 百度在线网络技术(北京)有限公司 人体动作识别方法和装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1822024A (zh) * 2006-04-13 2006-08-23 北京中星微电子有限公司 一种人脸特征点定位方法
CN103824049A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联神经网络的人脸关键点检测方法
CN105760836A (zh) * 2016-02-17 2016-07-13 厦门美图之家科技有限公司 基于深度学习的多角度人脸对齐方法、***及拍摄终端
CN107545220A (zh) * 2016-06-29 2018-01-05 中兴通讯股份有限公司 一种人脸识别方法及装置
CN106909909A (zh) * 2017-03-08 2017-06-30 王华锋 一种基于共享卷积特征的人脸检测与对齐方法
CN107928675A (zh) * 2017-11-22 2018-04-20 王华锋 一种基于深度学习和红点激光相结合的人体躯干测量方法
CN108121952A (zh) * 2017-12-12 2018-06-05 北京小米移动软件有限公司 人脸关键点定位方法、装置、设备及存储介质
CN108062526A (zh) * 2017-12-15 2018-05-22 厦门美图之家科技有限公司 一种人体姿态估计方法及移动终端
CN108985259A (zh) * 2018-08-03 2018-12-11 百度在线网络技术(北京)有限公司 人体动作识别方法和装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858444A (zh) * 2019-01-31 2019-06-07 北京字节跳动网络技术有限公司 人体关键点检测模型的训练方法和装置
CN110008926A (zh) * 2019-04-15 2019-07-12 北京字节跳动网络技术有限公司 用于识别年龄的方法和装置
CN110399809A (zh) * 2019-07-08 2019-11-01 北京亮亮视野科技有限公司 多特征融合的人脸关键点检测方法及装置
CN110929588A (zh) * 2019-10-30 2020-03-27 维沃移动通信有限公司 脸部特征点定位方法及电子设备
CN111968028A (zh) * 2020-08-14 2020-11-20 北京字节跳动网络技术有限公司 图像生成方法、装置、设备和计算机可读介质

Also Published As

Publication number Publication date
CN109145783B (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN108985257A (zh) 用于生成信息的方法和装置
CN109101919A (zh) 用于生成信息的方法和装置
CN109145783A (zh) 用于生成信息的方法和装置
CN108898185A (zh) 用于生成图像识别模型的方法和装置
CN110503703A (zh) 用于生成图像的方法和装置
CN108830235A (zh) 用于生成信息的方法和装置
CN108898186A (zh) 用于提取图像的方法和装置
CN109858445A (zh) 用于生成模型的方法和装置
CN108509915A (zh) 人脸识别模型的生成方法和装置
CN108491805A (zh) 身份认证方法和装置
CN108961369A (zh) 生成3d动画的方法和装置
CN109902659A (zh) 用于处理人体图像的方法和装置
CN108846377A (zh) 用于拍摄图像的方法和装置
CN108345387A (zh) 用于输出信息的方法和装置
CN110188719A (zh) 目标跟踪方法和装置
CN109086719A (zh) 用于输出数据的方法和装置
CN109829432A (zh) 用于生成信息的方法和装置
CN108363995A (zh) 用于生成数据的方法和装置
CN108171211A (zh) 活体检测方法和装置
CN108491823A (zh) 用于生成人眼识别模型的方法和装置
CN108960110A (zh) 用于生成信息的方法和装置
CN110009059A (zh) 用于生成模型的方法和装置
CN108510454A (zh) 用于生成深度图像的方法和装置
CN109934191A (zh) 信息处理方法和装置
CN109377508A (zh) 图像处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee after: Douyin Vision Co.,Ltd.

Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee before: Tiktok vision (Beijing) Co.,Ltd.

Address after: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee after: Tiktok vision (Beijing) Co.,Ltd.

Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee before: BEIJING BYTEDANCE NETWORK TECHNOLOGY Co.,Ltd.

CP01 Change in the name or title of a patent holder