CN102567716A - 一种人脸合成***及实现方法 - Google Patents

一种人脸合成***及实现方法 Download PDF

Info

Publication number
CN102567716A
CN102567716A CN2011104276657A CN201110427665A CN102567716A CN 102567716 A CN102567716 A CN 102567716A CN 2011104276657 A CN2011104276657 A CN 2011104276657A CN 201110427665 A CN201110427665 A CN 201110427665A CN 102567716 A CN102567716 A CN 102567716A
Authority
CN
China
Prior art keywords
face
image
synthesized
positive
positive face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011104276657A
Other languages
English (en)
Other versions
CN102567716B (zh
Inventor
卢林发
叶灿才
黄家祺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Xuzhi Travel Technology Co ltd
Original Assignee
ZHONGSHAN IKER DIGITAL TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZHONGSHAN IKER DIGITAL TECHNOLOGY Co Ltd filed Critical ZHONGSHAN IKER DIGITAL TECHNOLOGY Co Ltd
Priority to CN201110427665.7A priority Critical patent/CN102567716B/zh
Publication of CN102567716A publication Critical patent/CN102567716A/zh
Application granted granted Critical
Publication of CN102567716B publication Critical patent/CN102567716B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种人脸合成***及实现方法,其特征在于,***内部设有训练图像库、合成算法库、提取模型、基准点标识器、过滤器和正脸图像合成器,其中:训练图像库,用于存储正脸模板和不同姿势人脸样图、每个正脸模板分别对应两个或以上的不同姿势人脸样图;合成算法库,用于存储将不同姿势人脸样图融合于与其对应的正脸模板所使用的算法;提取模型,为基于贝叶斯正切轮廓的提取模型,用于将训练图像库内每个姿势人脸样图提取轮廓和控制点的工具;基准点标识器,用于为用户提供待合成人脸图像的浏览界面、提供直接在待合成人脸图像的两眼中心点、鼻尖点进行直接标识的手段;正脸图像合成器,用于确定正脸模板,并选择合成算法,将待合成人脸图像合成为正脸图像输出。

Description

一种人脸合成***及实现方法
技术领域
本发明涉及人脸识别技术领域,特别是一种多幅非正面人脸的合成***及实现方法。
背景技术
人脸识别具有自然、友好、对用户干扰少、易被用户接受等优势,因而有着广阔的应用前景。目前人脸识别包括二维人脸识别和三维人脸识别,其中基于二维图像的人脸识别方法,主要是通过线性或非线性的降维方法,提取人脸外观特征以识别人脸。无论是二维还是三维人脸识别,进行人脸识别的前提是需要获得人脸的正面图才能进行有效、准确的识别。但是,在一些进行实时视频监控和人员识别的应用环境下,被监控对象不可能直接站好让***照相以获取正脸图像,随着被监控对象移动,监控***拍到正脸的几率是非常小的,往往只能排到人脸其它角度的图。所以,为了进行人脸识别,必须解决多幅非正面人脸如何准确合成为正脸图像的问题。
中国专利申请《基于正脸图像合成的人脸识别方法》专利申请号201110054493.3,公开了一种基于正脸图像合成的人脸识别方法,该方法主要包括步骤:a)读取多个侧脸图像,获得每个侧脸图像的控制点图;b)从正面人脸库读取一个正脸图像,获得该正脸图像的控制点图等手段解决多幅非正面人脸合成。但是该方法的待合成图像定位复杂、进行合成过程中只采用了一种合成算法,而没有考虑不同角度、不同姿势的人脸图在转换成正面人脸时候应该根据两者之间的转换关系采用不同的算法。同时也没有结合人工辅助识别,无法发挥网络、人识别的优势。
发明内容
本发明的目的针对上述的现有问题,提出人脸合成***及实现方法,它采用新的流程和***结构,能提高多幅非正面人脸的合成速率,同时发挥网络、人工识别等优势,实现它们优势融合。
本发明通过如下方案实现:
一种人脸合成***,其特征在于,***内部设有训练图像库、合成算法库、提取模型、基准点标识器、过滤器和正脸图像合成器,其中:
训练图像库,用于存储正脸模板和不同姿势人脸样图、每个正脸模板分别对应两个或以上的不同姿势人脸样图;
合成算法库,用于存储将不同姿势人脸样图融合于与其对应的正脸模板所使用的算法;
提取模型,为基于贝叶斯正切轮廓的提取模型,用于将训练图像库内每个姿势人脸样图提取轮廓和控制点的工具;
基准点标识器,用于为用户提供待合成人脸图像的浏览界面、提供直接在待合成人脸图像的两眼中心点、鼻尖点进行直接标识的手段;
过滤器,用于调用各提取模型对待合成人脸图像进行依次提取轮廓与控制点,并分别与训练图像库人脸样图进行比对,选出相互间控制点特征最相近的一个轮廓提取结果进而确定控制点,并把该人脸样图作为参考姿势图;
正脸图像合成器,用于确定正脸模板,并选择合成算法,将待合成人脸图像合成为正脸图像输出。
***的实现方法:
一种多幅非正面人脸的合成方法,其特征在于,包括如下步骤:
步骤一,建立训练图像库,使其存储一个或一个以上的正脸模板,以及与每个正脸模板对应的不同姿势人脸样图;
步骤二,***为训练图像库内每个姿势人脸样图分别训练一个基于贝叶斯正切轮廓的提取模型;
步骤三,***读入所有待合成人脸图像;
步骤四,基准点标识器形成待合成人脸图像的显示界面供用户浏览、用户直接在待合成人脸图像的两眼中心点、鼻尖点进行直接标识作为基准点;
步骤五,各提取模型依次从基准点标识器获取基准点,并根据基准点和图像中心点计算提取模型的搜索初始控制点;
步骤六,过滤器将各提取模型提取轮廓、控制点,分别与训练图像库人脸样图的进行比对,选出相互间控制点特征最相近的一个轮廓提取结果作为依据确定最终控制点,并把该人脸样图作为参考姿势图;
步骤七,正脸图像合成器选定正脸模板,并利用参考姿势图对应合成算法,将待合成人脸图像合成为正脸图像并输出。
附图说明
图1是多幅非正面人脸示意图;
图2是合成***的结构框图;
图3是发明方法的核心流程图。
具体实施方式
参考图2,本发明人脸合成***由训练图像库、合成算法库、提取模型、基准点标识器、过滤器和正脸图像合成器等组成。它们在***的作用和互相联系为:
训练图像库,用于存储正脸模板和不同姿势人脸样图、每个正脸模板分别对应两个或以上的不同姿势人脸样图;
合成算法库,用于存储将不同姿势人脸样图融合于与其对应的正脸模板所使用的算法;
提取模型,为基于贝叶斯正切轮廓的提取模型,用于将训练图像库内每个姿势人脸样图提取轮廓和控制点的工具;
基准点标识器,用于为用户提供待合成人脸图像的浏览界面、提供直接在待合成人脸图像的两眼中心点、鼻尖点进行直接标识的手段;
过滤器,用于调用各提取模型对待合成人脸图像进行依次提取轮廓与控制点,并分别与训练图像库人脸样图进行比对,选出相互间控制点特征最相近的一个轮廓提取结果进而确定控制点,并把该人脸样图作为参考姿势图;
正脸图像合成器,用于确定正脸模板,并选择合成算法,将待合成人脸图像合成为正脸图像输出。正脸图像合成器还用于计算正脸图像每个像素点的灰度值,从训练图像库内选择一正脸模板作为正脸图像基板或随机分配一幅正脸模板作为正脸图像基板。
如1和2所示,***的输入为多幅非正面人脸,经过***合成后,输入为正面的人脸图。基准点标识器为用户提供进行待合成图片的定位操作界面。用户可以通过本地或网络终端,进行点击多幅非正面人脸的两眼睛中心点、鼻尖点进行直接标识。标识完成后,将反馈至基准点标识器为***内部的下一步处理提供基础信息。其中,多幅非正面人脸可以发送给一个用户进行标识,也可以发送到多个终端用户进行,充分利用云计算、分布式协作处理技术等的优势。在训练图像库里面,每个正脸模板应该预先存有多个不同姿势的人脸样图与其对应,同时没个姿势的人脸样图进行转化为正脸图时分别对应一种不同的转换算法。每个姿势的人脸样图应该训练一个提取模型。其它没提及的地方,可以根据现有技术和实际需要进行实施。
下面,有必要对该***实现方法进一步描述:
如图3,整体上主要包括:建立训练图像库、训练提取模型、通过基准点标识器进行基准标识、确定最终控制点和参考姿势图和合成正脸图像等步骤。更具体如下:
首先建立训练图像库,使其存储一个或一个以上的正脸模板,以及与每个正脸模板对应的不同姿势人脸样图;不同姿势人脸样图分别对应一种转换并合成于正脸图像的算法。
***为训练图像库内每个姿势人脸样图分别训练一个基于贝叶斯正切轮廓的提取模型;
***读入所有待合成人脸图像;
基准点标识器形成待合成人脸图像的显示界面供用户浏览、用户直接在待合成人脸图像的两眼中心点、鼻尖点进行直接标识作为基准点;
各提取模型依次从基准点标识器获取基准点,并根据基准点和图像中心点计算提取模型的搜索初始控制点;
过滤器将各提取模型提取轮廓、控制点,分别与训练图像库人脸样图的进行比对,选出相互间控制点特征最相近的一个轮廓提取结果作为依据确定最终控制点,并把该人脸样图作为参考姿势图;
正脸图像合成器判断是否存在正脸模板控制点特征与待合成人脸图像的控制点相近似,如果存在,则以该正脸模板作为正脸图像基板;否则从训练图像集中随机分配一幅正脸模板作为正脸图像基板;正脸图像合成器根据每幅待合成人脸图像对应的参考姿势图的算法计算合成在正脸图像基板每个像素点的灰度值,然后计算所有待合成图像在正脸图像上每个像素点灰度值加权总和,最后才形成合成正脸图像输出。

Claims (7)

1.一种人脸合成***,其特征在于,***内部设有训练图像库、合成算法库、提取模型、基准点标识器、过滤器和正脸图像合成器,其中:
训练图像库,用于存储正脸模板和不同姿势人脸样图、每个正脸模板分别对应两个或以上的不同姿势人脸样图;
合成算法库,用于存储将不同姿势人脸样图融合于与其对应的正脸模板所使用的算法;
提取模型,为基于贝叶斯正切轮廓的提取模型,用于将训练图像库内每个姿势人脸样图提取轮廓和控制点的工具;
基准点标识器,用于为用户提供待合成人脸图像的浏览界面、提供直接在待合成人脸图像的两眼中心点、鼻尖点进行直接标识的手段;
过滤器,用于调用各提取模型对待合成人脸图像进行依次提取轮廓与控制点,并分别与训练图像库人脸样图进行比对,选出相互间控制点特征最相近的一个轮廓提取结果进而确定控制点,并把该人脸样图作为参考姿势图;
正脸图像合成器,用于确定正脸模板,并选择合成算法,将待合成人脸图像合成为正脸图像输出。
2.如权利要求1所述的人脸合成***,其特征在于,正脸图像合成器还用于计算正脸图像每个像素点的灰度值。
3.如权利要求2所述的人脸合成***,其特征在于,正脸图像合成器还用于从训练图像库内选择一正脸模板作为正脸图像基板或随机分配一幅正脸模板作为正脸图像基板。
4.一种多幅非正面人脸的合成方法,其特征在于,包括如下步骤:
步骤一,建立训练图像库,使其存储一个或一个以上的正脸模板,以及与每个正脸模板对应的不同姿势人脸样图;
步骤二,***为训练图像库内每个姿势人脸样图分别训练一个基于贝叶斯正切轮廓的提取模型;
步骤三,***读入所有待合成人脸图像;
步骤四,基准点标识器形成待合成人脸图像的显示界面供用户浏览、用户直接在待合成人脸图像的两眼中心点、鼻尖点进行直接标识作为基准点;
步骤五,各提取模型依次从基准点标识器获取基准点,并根据基准点和图像中心点计算提取模型的搜索初始控制点;
步骤六,过滤器将各提取模型提取轮廓、控制点,分别与训练图像库人脸样图的进行比对,选出相互间控制点特征最相近的一个轮廓提取结果作为依据确定最终控制点,并把该人脸样图作为参考姿势图;
步骤七,正脸图像合成器选定正脸模板,并利用参考姿势图对应合成算法,将待合成人脸图像合成为正脸图像并输出。
5.如权利要求4所述多幅非正面人脸的合成方法,其特征在于,所述步骤七中,正脸图像合成器判断是否存在正脸模板控制点特征与待合成人脸图像的控制点相近似,如果存在,则以该正脸模板作为正脸图像基板;否则从训练图像集中随机分配一幅正脸模板作为正脸图像基板。
6.如权利要求5所述多幅非正面人脸的合成方法,其特征在于,所述步骤七中,正脸图像合成器根据每幅待合成人脸图像对应的参考姿势图的算法计算合成在正脸图像基板每个像素点的灰度值,然后计算所有待合成图像在正脸图像上每个像素点灰度值加权总和,最后才形成合成正脸图像输出。
7.如权利要求4、5、6任一所述多幅非正面人脸的合成方法,其特征在于,不同姿势人脸样图分别对应一种转换并合成于正脸图像的算法。
CN201110427665.7A 2011-12-19 2011-12-19 一种人脸合成***及实现方法 Expired - Fee Related CN102567716B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110427665.7A CN102567716B (zh) 2011-12-19 2011-12-19 一种人脸合成***及实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110427665.7A CN102567716B (zh) 2011-12-19 2011-12-19 一种人脸合成***及实现方法

Publications (2)

Publication Number Publication Date
CN102567716A true CN102567716A (zh) 2012-07-11
CN102567716B CN102567716B (zh) 2014-05-28

Family

ID=46413094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110427665.7A Expired - Fee Related CN102567716B (zh) 2011-12-19 2011-12-19 一种人脸合成***及实现方法

Country Status (1)

Country Link
CN (1) CN102567716B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104299250A (zh) * 2014-10-15 2015-01-21 南京航空航天大学 基于先验模型的正面人脸图像合成方法及***
CN106156730A (zh) * 2016-06-30 2016-11-23 腾讯科技(深圳)有限公司 一种人脸图像的合成方法和装置
CN106203400A (zh) * 2016-07-29 2016-12-07 广州国信达计算机网络通讯有限公司 一种人脸识别方法及装置
CN106295520A (zh) * 2016-07-28 2017-01-04 维沃移动通信有限公司 一种胖瘦检测方法及移动终端
CN106780660A (zh) * 2016-11-29 2017-05-31 维沃移动通信有限公司 一种图片处理方法及电子设备
CN107038400A (zh) * 2016-02-04 2017-08-11 索尼公司 人脸识别装置及方法和利用其的目标人跟踪装置及方法
CN107506717A (zh) * 2017-08-17 2017-12-22 南京东方网信网络科技有限公司 无约束场景中基于深度变换学习的人脸识别方法
CN107622227A (zh) * 2017-08-25 2018-01-23 深圳依偎控股有限公司 一种3d人脸识别的方法、终端设备及可读存储介质
CN109729274A (zh) * 2019-01-30 2019-05-07 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN111291669A (zh) * 2020-01-22 2020-06-16 武汉大学 一种双通道俯角人脸融合校正gan网络及人脸融合校正方法
CN113763232A (zh) * 2020-08-10 2021-12-07 北京沃东天骏信息技术有限公司 图像处理方法、装置、设备及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030123713A1 (en) * 2001-12-17 2003-07-03 Geng Z. Jason Face recognition system and method
CN101034481A (zh) * 2007-04-06 2007-09-12 湖北莲花山计算机视觉和信息科学研究院 一种肖像画的自动生成方法
CN102103689A (zh) * 2011-03-07 2011-06-22 北京大学 基于正脸图像合成的人脸识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030123713A1 (en) * 2001-12-17 2003-07-03 Geng Z. Jason Face recognition system and method
CN101034481A (zh) * 2007-04-06 2007-09-12 湖北莲花山计算机视觉和信息科学研究院 一种肖像画的自动生成方法
CN102103689A (zh) * 2011-03-07 2011-06-22 北京大学 基于正脸图像合成的人脸识别方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104299250B (zh) * 2014-10-15 2018-05-22 南京航空航天大学 基于先验模型的正面人脸图像合成方法及***
CN104299250A (zh) * 2014-10-15 2015-01-21 南京航空航天大学 基于先验模型的正面人脸图像合成方法及***
CN107038400A (zh) * 2016-02-04 2017-08-11 索尼公司 人脸识别装置及方法和利用其的目标人跟踪装置及方法
CN106156730A (zh) * 2016-06-30 2016-11-23 腾讯科技(深圳)有限公司 一种人脸图像的合成方法和装置
CN106156730B (zh) * 2016-06-30 2019-03-15 腾讯科技(深圳)有限公司 一种人脸图像的合成方法和装置
CN106295520A (zh) * 2016-07-28 2017-01-04 维沃移动通信有限公司 一种胖瘦检测方法及移动终端
CN106203400A (zh) * 2016-07-29 2016-12-07 广州国信达计算机网络通讯有限公司 一种人脸识别方法及装置
CN106780660A (zh) * 2016-11-29 2017-05-31 维沃移动通信有限公司 一种图片处理方法及电子设备
CN106780660B (zh) * 2016-11-29 2019-01-04 维沃移动通信有限公司 一种图片处理方法及电子设备
CN107506717A (zh) * 2017-08-17 2017-12-22 南京东方网信网络科技有限公司 无约束场景中基于深度变换学习的人脸识别方法
CN107622227A (zh) * 2017-08-25 2018-01-23 深圳依偎控股有限公司 一种3d人脸识别的方法、终端设备及可读存储介质
CN109729274A (zh) * 2019-01-30 2019-05-07 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN109729274B (zh) * 2019-01-30 2021-03-09 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN111291669A (zh) * 2020-01-22 2020-06-16 武汉大学 一种双通道俯角人脸融合校正gan网络及人脸融合校正方法
CN111291669B (zh) * 2020-01-22 2023-08-04 武汉大学 一种双通道俯角人脸融合校正gan网络及人脸融合校正方法
CN113763232A (zh) * 2020-08-10 2021-12-07 北京沃东天骏信息技术有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN113763232B (zh) * 2020-08-10 2024-06-18 北京沃东天骏信息技术有限公司 图像处理方法、装置、设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN102567716B (zh) 2014-05-28

Similar Documents

Publication Publication Date Title
CN102567716B (zh) 一种人脸合成***及实现方法
CN109359538B (zh) 卷积神经网络的训练方法、手势识别方法、装置及设备
WO2019174439A1 (zh) 图像识别方法、装置、终端和存储介质
CN104463117B (zh) 一种基于视频方式的人脸识别样本采集方法及***
CN107679522B (zh) 基于多流lstm的动作识别方法
CN110929569B (zh) 人脸识别方法、装置、设备及存储介质
CN104317391B (zh) 一种基于立体视觉的三维手掌姿态识别交互方法和***
CN103731583B (zh) 用于拍照智能化合成、打印处理方法
CN107341434A (zh) 视频图像的处理方法、装置和终端设备
CN110503703A (zh) 用于生成图像的方法和装置
CN101308571A (zh) 一种利用主动网格与人脸识别结合生成新人脸的方法
CN107688391A (zh) 一种基于单目视觉的手势识别方法和装置
CN104850825A (zh) 一种基于卷积神经网络的人脸图像颜值计算方法
CN109635727A (zh) 一种人脸表情识别方法及装置
CN110738161A (zh) 一种基于改进生成式对抗网络的人脸图像矫正方法
CN105426850A (zh) 一种基于人脸识别的关联信息推送设备及方法
CN109409994A (zh) 模拟用户穿戴服装饰品的方法、装置和***
CN108388882A (zh) 基于全局-局部rgb-d多模态的手势识别方法
CN102271241A (zh) 一种基于面部表情/动作识别的图像通信方法及***
CN105447432A (zh) 一种基于局部运动模式的人脸防伪方法
CN111680550B (zh) 情感信息识别方法、装置、存储介质及计算机设备
CN104821010A (zh) 基于双目视觉的人手三维信息实时提取方法及***
CN106485186A (zh) 图像特征提取方法、装置、终端设备及***
CN105022999A (zh) 一种人码伴随实时采集***
CN110796101A (zh) 一种嵌入式平台的人脸识别方法及***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180408

Address after: 528400 one of 25 floors, 25 floors, 2506 rooms, No. 1, de Zhong square, No. 1 of mice East Road, Guangdong Torch Development Zone

Patentee after: Guangdong Zen science and Technology Co.,Ltd.

Address before: Room 702, room 7, No. 16, exhibition East Road, Guangdong Torch Development Zone, Guangdong Province

Patentee before: ZHONGSHAN IKER DIGITAL TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right

Effective date of registration: 20190328

Address after: 510000 Room 2609,2610, 30 Huaxia Road, Tianhe District, Guangzhou City, Guangdong Province (office only)

Patentee after: Guangdong Xuzhi Travel Technology Co.,Ltd.

Address before: 528400 one of the 25 floors of the 1 building of Tazhong square, No. 1 East Convention and exhibition hall, Torch Development Zone, Zhongshan, Guangdong, China.

Patentee before: Guangdong Zen science and Technology Co.,Ltd.

TR01 Transfer of patent right
DD01 Delivery of document by public notice

Addressee: Ruan Zhengyu

Document name: payment instructions

DD01 Delivery of document by public notice
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140528

Termination date: 20211219

CF01 Termination of patent right due to non-payment of annual fee