CN108463823A - 一种用户头发模型的重建方法、装置及终端 - Google Patents
一种用户头发模型的重建方法、装置及终端 Download PDFInfo
- Publication number
- CN108463823A CN108463823A CN201680060827.9A CN201680060827A CN108463823A CN 108463823 A CN108463823 A CN 108463823A CN 201680060827 A CN201680060827 A CN 201680060827A CN 108463823 A CN108463823 A CN 108463823A
- Authority
- CN
- China
- Prior art keywords
- image
- hair
- face
- pixel
- area image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
一种用户头发模型的重建方法、装置及终端,能够在复杂环境下有效的进行头发模型重建。方法包括:获取被重建用户的人脸正视图像;根据所述人脸正视图像,确定所述被重建用户的头发区域图像;将所述头发区域图像与发型数据库中预先存储的三维3D头发模型进行匹配,得到与所述头发区域图像最接近的3D头发模型;将与所述头发区域图像最接近的3D头发模型,确定为被重建用户的3D头发模型。
Description
本发明涉及三维(Three Dimensions,3D)建模技术领域,尤其涉及一种用户头发模型的重建方法、装置及终端。
随着终端处理器性能的不断提高,基于平面图像中的人物角色重建高质量的3D虚拟人物角色已经成为现实,并备受各大厂商和广大用户的青睐。重建3D虚拟人物角色过程中,准确创建用户头发模型,对人物的整体形象起着非常重要的作用,并可以显著增强重建出的虚拟角色的真实感。
创建用户头发模型过程中,需要准确识别出人物的头发区域。目前,基于头发颜色模型的头发区域识别方法是主流的方法。图1给出基于颜色模型的头发区域识别示意图,如图1所示。该方法主要通过人脸识别技术提取人脸区域,人脸区域主要包括头发区域和皮肤区域,利用人脸区域中包括的头发区域的红绿蓝(Red Green Black,RGB)信息对各种颜色的发型进行统计,并构建头发颜色的高斯混合模型(Gaussian Mixture Model,GMM)。对人脸区域像素颜色进行像素判断,如果人脸区域像素的颜色范围落在构建好的头发颜色模型内,则识别该像素属于人体头发区域。通过对人脸区域内所有像素进行判断,进而可得到完整的头发区域。该方法受限于头发的样本,若头发样本不全则识别效果不好,而且还受到周围环境的影响,若周围环境比较复杂,环境中存在和头发颜色接近的物体,则识别过程会出现大量的误识别,若人物头发是染色的,该方法基本识别不了。
另一类基于机器学习的头发区域识别方法,通过将每幅人脸图像标注为人脸、头发、背景三部分,利用卷积神经网络(Convolutional Neural Network,CNN)模型对大量已标注的人脸图像进行训练,得到一个头发区域的识别模型,最后利用训练出的模型检测出测试图像中的头发区域,实现对头发区域
的识别,其主要流程如图2所示。基于机器学习的头发区域识别方法,改善了基于头发颜色模型的头发区域识别方法在复杂环境下,识别人物头发过程出现大量误识别的问题。但是,基于机器学习的头发区域识别方法需要对大量训练图像进行手工标注,模型训练的时间是非常漫长的,故应用范围非常狭窄。
在某些复杂的环境下,例如,若环境中存在和头发颜色接近的物体且空间狭小,则基于头发颜色模型的头发区域识别过程会出现大量的误识别,且基于机器学习的头发区域识别,由于机器的可移动性差,甚至在更狭小的空间是无法摆放机器,故不适用于复杂环境下的头发区域识别,进而无法在复杂环境下对人物头发模型进行重建。故现有技术中,无法在复杂环境下,有效的进行头发模型重建。
发明内容
本发明实施例提供一种用户头发模型的重建方法、装置及终端,以实现在复杂环境下,有效的进行头发模型重建。
第一方面,提供一种用户头发模型的重建方法,该方法中,根据获取的被重建用户的人脸正视图像,确定出所述被重建用户的头发区域图像,将所述头发区域图像与发型数据库中预先存储的3D头发模型进行匹配,得到与所述头发区域图像最接近的3D头发模型,并将与所述头发区域图像最接近的3D头发模型,确定为被重建用户的3D头发模型。
上述方案中,通过在获取到的被重建用户的人脸正视图像中确定出被重建用户的头发区域图像,并将所述头发区域图像与发型数据库中预先存储的3D头发模型进行匹配,得到与所述头发区域图像最接近的3D头发模型,并将与所述头发区域图像最接近的3D头发模型,确定为被重建用户的3D头发模型。无需对头发颜色建模,故识别过程中不会受头发颜色的影响,头发区域识别时误差较小。并且无需对人脸图像进行训练,省去了大量的人工交互与运算时间,检测时间较短。故本发明实施例上述用户头发模型的重建方法,
能够在复杂环境下有效的进行头发模型重建。
其中,所述人脸正视图像至少包括人脸区域图像、头发区域图像和背景区域图像。
在一种可能的设计中,可以通过如下方式根据所述人脸正视图像,确定所述被重建用户的头发区域图像:
在所述人脸正视图像中确定出第一区域图像,所述第一区域图像包括所述人脸区域图像、所述头发区域图像和部分所述背景区域图像;
在所述第一区域图像中识别出部分所述背景区域图像,将所述第一区域图像中除识别出的所述部分所述背景区域图像之外的图像,确定为第二区域图像;
在所述第二区域图像中识别出所述人脸区域图像,将所述第二区域图像中除识别出的所述人脸区域图像之外的图像,确定为所述头发区域图像。
在一种可能的设计中,可以通过如下方式在所述人脸正视图像中确定出第一区域图像:
检测所述人脸正视图像中的人脸特征点;根据所述人脸特征点,确定所述人脸区域图像,并在所述人脸正视图像中确定能够涵盖所述人脸区域图像的第一框图区域。以所述第一框图区域为基准,扩大所述第一框图区域,得到能够涵盖所述人脸区域图像、所述头发区域图像和所述部分背景区域图像的第二框图区域。将所述第二框图区域内的图像,作为第一区域图像。
上述设计中,通过人脸检测算法检测人脸特征点,本发明中不限定使用的人脸检测算法,通过检测出的人脸特征点确定人脸区域图像,根据人脸区域图像确定一个能够涵盖所述人脸区域图像的第一框图区域,通过扩大第一框图区域能够准确的得到包含所述人脸区域图像、所述头发区域图像和所述部分背景区域图像的第一区域图像。
在一种可能的设计中,可以通过如下方式在所述第一区域图像中识别出部分所述背景区域图像:
确定前景像素和背景像素,所述前景像素包括所述人脸特征点中包括的
眼睛特征点的像素、鼻子特征点的像素和嘴巴特征点的像素。所述背景像素包括属于所述人脸正视图像且不属于所述第一区域图像的图像像素。根据所述第一区域图像的像素,与所述前景像素和所述背景像素的匹配度,确定所述第一区域图像中的前景像素和背景像素;将所述第一区域图像中的背景像素对应的图像,确定为所述部分背景区域图像。
在一种可能的设计中,可以通过如下方式在所述第二区域图像中识别出所述人脸区域图像:
将所述第二区域图像中包括的像素转换到色调饱和度亮度HSV空间。根据人脸肤色像素在HSV三个分量上的值,在所述第二区域图像包括的像素中提取出人脸肤色像素,并依据所述人脸肤色像素确定人脸肤色区域。根据所述人脸特征点,确定人脸轮廓区域;根据所述人脸肤色区域和所述人脸轮廓区域,确定所述第二区域图像中的所述人脸区域图像。
上述设计中,根据人脸肤色区域和人脸轮廓区域来确定人脸区域图像,相比只根据人脸肤色区域或人脸轮廓区域来确定人脸区域图像的方法,确定出的人脸区域图像更为精确。
在一种可能的设计中,可以通过如下方式将所述头发区域图像与发型数据库中预先存储的3D头发模型进行匹配,得到与所述头发区域图像最接近的3D头发模型:
确定所述头发区域图像的特征描述算子,所述特征描述算子表征所述头发区域图像的空间特征;将所述特征描述算子与发型数据库中预先存储的3D头发模型对应的特征描述算子进行匹配,得到发型数据库中与所述特征描述算子最接近的特征描述算子;将发型数据库中与所述特征描述算子最接近的特征描述算子对应的3D头发模型,确定为与所述头发区域图像最接近的3D头发模型。
上述设计中,在准确确定了头发区域的图像之后,与发型数据库中的发型进行匹配,可得到用户的真实发型信息。
在一种可能的设计中,可以通过如下方式确定所述头发区域图像的特征
描述算子:
确定所述头发区域图像的内轮廓和外轮廓。确定所述人脸特征点包括的两个嘴角特征点水平连线的中点,将所述中点作为对所述头发区域图像进行全方位角度方向扫描的射线原点。在对所述头发区域图像进行全方位角度方向扫描过程中,记录每一角度方向上,所述原点到所述内轮廓的距离、所述原点到所述外轮廓的距离和所述内轮廓到所述外轮廓的距离。将记录的所述原点到所述内轮廓的距离、所述原点到所述外轮廓的距离和所述内轮廓到所述外轮廓的距离,作为所述头发区域图像的特征描述算子。
其中,所述特征描述算子表征所述头发区域图像的空间特征。
上述设计中,通过将所述人脸特征点包括的两个嘴角特征点水平连线的中点,作为对所述头发区域图像进行全方位角度方向扫描的射线原点,得到头发区域图像的特征描述算子的方法,能够更精确的确定出与所述头发区域图像最接近的3D头发模型。
第二方面,提供一种用户头发模型重建装置,所述用于用户头发模型重建的装置具有实现上述第一方面中涉及的用户头发模型重建方法的功能,所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。所述模块可以是软件和/或硬件。
一种可能的设计中,用户头发模型重建装置包括获取单元、确定单元、匹配单元和处理单元,获取单元、确定单元、匹配单元和处理单元的功能可以和各方法步骤相对应,在此不予赘述。
第三方面,本发明还提供了一种终端,该终端包括:输入设备、存储器、处理器、显示屏和总线。所述输入设备、所述存储器和所述显示屏均通过所述总线与所述处理器连接。所述输入设备,用于获取被重建用户的人脸正视图像。所述存储器,用于存储所述处理器执行的程序、所述输入设备获取的被重建用户的人脸正视图像和3D头发模型。所述处理器,用于执行所述存储器存储的程序,具体执行第一方面中任意一种设计所执行的操作。所述显示
屏,用于显示所述输入设备获取的被重建用户的人脸正视图像以及所述处理器确定出的被重建用户的3D头发模型。
第四方面,本发明还提供了一种存储一个或多个程序的计算机可读存储介质,所述一个或多个程序包括指令,所述指令当被包括多个应用程序的电子设备执行时使所述电子设备执行根据第一方面任意设计所述的操作。
图1为现有的基于头发颜色模型的头发区域识别方法示意图;
图2为现有的基于机器学习的头发区域识别方法示意图;
图3为本发明实施例提供的一种用户头发模型的重建方法流程图;
图4为本发明实施例提供的一种人脸正视图像示意图;
图5为本发明实施例提供的一种根据所述人脸正视图像确定所述头发区域图像的方法流程图;
图6为本发明实施例提供的一种在所述人脸正视图像中确定出第一区域图像的方法流程图;
图7为本发明实施例提供的人脸正视图像中人脸特征点示意图;
图8为本发明实施例提供的包含第一框图区域的人脸正视图像示意图;
图9为本发明实施例提供的一种确定第二框图区域的方法示意图;
图10为本发明实施例提供的一种在所述第一区域图像中识别出部分所述背景区域图像的方法流程图;
图11为本发明实施例提供的一种在所述第一区域图像中识别出部分所述背景区域图像并去除得到第二区域图像的示意图;
图12为本发明实施例提供的一种在第二区域图像中识别出所述人脸区域图像方法流程图;
图13为本发明实施例提供的一种在第二区域图像中识别出所述人脸区域图像并去除的处理过程流程图;
图14为本发明实施例提供的一种头发区域图像匹配的方法流程图;
图15为本发明实施例提供的一种确定所述头发区域图像的特征描述算子的方法流程图;
图16为本发明实施例提供的一种对头发区域图像进行匹配的处理流程图;
图17为本发明实施例提供的一种用户头发模型的重建效果示意图;
图18为本发明实施例提供的一种用户头发模型的重建装置示意图;
图19为本发明实施例提供的另一种用户头发模型的重建装置示意图。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行详细地描述,显然,所描述的实施例仅仅是本发明一部分实施例,并不是全部的实施例。
本发明实施例提供一种用户头发模型的重建方法、装置及终端,以实现在复杂环境下,有效的进行头发模型重建。其中,方法、装置和终端是基于同一发明构思的,由于方法、装置及终端解决问题的原理相似,因此终端、装置与方法的实施可以相互参见,重复之处不再赘述。
为保证在复杂环境下有效的进行头发模型重建,本发明实施例提供一种用户头发模型的重建方法。在该方法中,根据获取的被重建用户的人脸正视图像,确定出所述被重建用户的头发区域图像,将所述头发区域图像与发型数据库中预先存储的3D头发模型进行匹配,得到与所述头发区域图像最接近的3D头发模型,并将与所述头发区域图像最接近的3D头发模型,确定为被重建用户的3D头发模型。
本发明实施例提供的用户头发模型的重建方法可以应用于存储能力、计算能力相对较低的终端,当然也可以应用存储能力、计算能力较高的电子设备,本申请对此不作具体限定。本发明实施例以下以用于用户头发模型的重建的装置作为执行主体对本发明实施例涉及的用户头发模型的重建方法进行说明。
图3示出了本发明实施例提供的用户头发模型的重建方法的一种流程图,如图3所示:
S101:用于用户头发模型的重建的装置获取被重建用户的人脸正视图像。
本发明实施例中用于用户头发模型的重建的装置可以是具有图像采集功能的终端,该具有图像采集功能的终端可以通过图像采集设备(例如摄像头)获取人脸正视图像。当然,本发明实施例并不限定具体的获取人脸正视图像的实现方式,例如还可在用于用户头发模型的重建的装置中预先存储包括人脸正视图像的图片。
S102:根据所述人脸正视图像,确定所述被重建用户的头发区域图像。
S103:将所述头发区域图像与发型数据库中预先存储的3D头发模型进行匹配,得到与所述头发区域图像最接近的3D头发模型。
S104:将与所述头发区域图像最接近的3D头发模型,确定为被重建用户的3D头发模型。
其中,用户头发模型的重建的装置获取的所述人脸正视图像,至少包括人脸区域图像、头发区域图像和背景区域图像。
本发明实施例中涉及的人脸区域图像是人脸正视图像中包含有人脸区域的部分图像,头发区域图像是人脸正视图像中包含有头发区域的部分图像,背景区域图像是人脸正视图像中包含有背景区域的部分图像。例如图4中的人脸正视图像分为A、B和C三部分图像,其中,A区域部分图像即为背景区域图像,B区域部分图像即为人脸区域图像,C区域部分图像即为头发区域图像。
本发明实施例中,通过识别所述人脸正视图像中的人脸区域图像、头发区域图像和背景区域图像,最终确定出所述被重建用户的人脸正视图像中的头发区域图像。图5示出本发明提供的一种根据所述人脸正视图像确定所述头发区域图像的方法流程图,如图5所示:
S201:在所述人脸正视图像中确定出第一区域图像。
S202:在所述第一区域图像中识别出部分所述背景区域图像,将所述第
一区域图像中除识别出的所述部分所述背景区域图像之外的图像,确定为第二区域图像。
S203:在所述第二区域图像中识别出所述人脸区域图像,将所述第二区域图像中除识别出的所述人脸区域图像之外的图像,确定为所述头发区域图像。
其中,所述第一区域图像包括所述人脸区域图像、所述头发区域图像和部分所述背景区域图像
本发明实施例中可通过诸如人脸识别技术获取人脸正视图像中的人脸区域图像、头发区域图像和部分背景区域图像,确定第一区域图像。图6示出本发明提供的一种在所述人脸正视图像中确定出第一区域图像的方法流程图,如图6所示:
S301:检测所述人脸正视图像中的人脸特征点。
本发明实施例中可以根据人脸检测算法检测人脸正视图像中的人脸特征点,但对具体使用的人脸检测算法不做限定。
本发明实施例中涉及的人脸特征点包括眼睛特征点、鼻子特征点、嘴巴特征点、眉毛特征点、耳朵特征点和人脸轮廓特征点。图7为本发明提供的人脸正视图像中人脸特征点示意图,如图7所示,图中标出的每一个数字均对应一个人脸特征点。在人脸正视图像中标出从0到39号共40个人脸特征点,其中,0到9号所示的人脸特征点为眼睛特征点,10到18号所示的人脸特征点为鼻子特征点,19到24号所示的人脸特征点为嘴巴特征点,25到32号所示的人脸特征点为眉毛特征点,33到39号人脸特征点为人脸轮廓特征点,在人脸轮廓特征点中36到39号人脸特征点为耳朵特征点。
S302:根据所述人脸特征点,确定所述人脸区域图像,并在所述人脸正视图像中确定能够涵盖所述人脸区域图像的第一框图区域。
本发明实施例中,为了将人脸正视图像中的人物图像和背景图像分割开,首先根据人脸特征点确定一个能够涵盖所述人脸区域图像的第一框图区域。图8示出一种包含第一框图区域的人脸正视图像,如图8所示,图中的白色
框即为根据人脸特征点确定的第一框图区域。
S303:以所述第一框图区域为基准,扩大所述第一框图区域,得到能够涵盖所述人脸区域图像、所述头发区域图像和所述部分背景区域图像的第二框图区域。
本发明实施例中,根据人脸特征点确定的第一框图区域并不能保证完全包含人脸区域图像和头发区域图像,为了达到本发明在人脸正视图像中去除部分背景图像,保留人脸区域图像和头发区域图像的目的,将以所述第一框图区域为基准,扩大所述第一框图区域,得到一个能够涵盖所述人脸区域图像、所述头发区域图像和所述部分背景区域图像的第二框图区域。图9示出一种确定第二框图区域的方法示意图,如图9所示。以所述第一框图区域的宽度为基准长度,向左右两个方向各延伸0.2个基准长度,以所述第一框图区域的长度为基准长度,向上延伸0.5个基准长度,向下延伸0.3个基准长度,扩大所述第一框图区域,保证重新确定的第二框图区域能够包括完整的所述人脸区域图像和完整的所述头发区域图像。
S304:将所述第二框图区域内的图像,确定为第一区域图像。
本发明实施例中可通过诸如图像识别技术在所述第一区域图像中识别出部分所述背景区域图像。图10示出本发明提供的一种在所述第一区域图像中识别出部分所述背景区域图像的方法流程图,如图10所示:
S401:确定前景像素和背景像素。
本发明实施例中,所述前景像素包括所述人脸特征点中包括的眼睛特征点的像素、鼻子特征点的像素和嘴巴特征点的像素,所述背景像素包括属于所述人脸正视图像且不属于所述第一区域图像的图像像素。本发明实施例中可将图7中,0到9号所示的眼睛特征点的像素,10到18号所示的鼻子特征点的像素,19到24号所示的嘴巴特征点的像素,确定为前景像素。并将图9所示的第二框图区域外的像素确定为背景像素。
S402:根据所述第一区域图像的像素,与所述前景像素和所述背景像素的匹配度,确定所述第一区域图像中的前景像素和背景像素。
其中,所述第一区域图像中的前景像素对应所述人脸区域图像和所述头发区域图像,所述第一区域图像的背景像素对应所述部分背景区域图像
本发明中,可以通过混合高斯模型算法和最大流/最小割算法对所述第一区域图像的像素进行处理,将所述第一区域图像的像素确定为前景像素和背景像素,本发明中对具体采用何种算法确定所述第一区域图像中的前景像素和背景像素,不作具体限定。
S403:将所述第一区域图像中背景像素对应的图像,确定为所述部分背景区域图像。
图11给出了本发明实施例在所述第一区域图像中识别出部分所述背景区域图像并去除得到第二区域图像的示意图。如图11所示,将第一区域图像包括的背景区域图像去除,得到了只包含所述人脸区域图像和所述头发区域图像的第二区域图像。
本发明实施例中,在得到包含所述人脸区域图像和所述头发区域图像的第二区域图像之后,可进一步在第二区域图像中识别出所述人脸区域图像。
图12示出本发明实施例提供的一种在第二区域图像中识别出所述人脸区域图像的方法流程图,如图12所示:
S501:将所述第二区域图像中包括的像素转换到色调饱和度亮度(Hue Saturation Value,HSV)空间。
S502:根据人脸肤色像素在HSV三个分量上的值,在所述第二区域图像包括的像素中提取出人脸肤色像素,并依据所述人脸肤色像素确定人脸肤色区域。
S503:根据所述人脸特征点,确定人脸轮廓区域。
本发明实施例中,根据图7示出的人脸特征点中,33到39号人脸轮廓特征点,进行人脸轮廓拟合,得到所述第二区域中的人脸轮廓区域。
S504:根据所述人脸肤色区域和所述人脸轮廓区域,确定所述第二区域图像中的所述人脸区域图像。
图13示出了本发明在第二区域图像中识别出所述人脸区域图像并去除的
处理过程流程图,如图13所示。通过人脸肤色像素确定出人脸肤色区域,根据所述人脸特征点确定出人脸轮廓区域,进而根据人脸肤色区域和人脸轮廓区域来确定人脸区域图像并去除,得到头发区域图像。相比只根据人脸肤色区域或人脸轮廓区域来确定人脸区域图像的方法,确定出的人脸区域图像更为精确。
本发明通过在获取到的被重建用户的人脸正视图像中确定出被重建用户的头发区域图像,并将所述头发区域图像与发型数据库中预先存储的3D头发模型进行匹配,得到与所述头发区域图像最接近的3D头发模型,并将与所述头发区域图像最接近的3D头发模型,确定为被重建用户的3D头发模型。无需对头发颜色建模,故识别过程中不会受头发颜色的影响,头发区域识别时误差较小。并且无需对人脸图像进行训练,省去了大量的人工交互与运算时间,检测时间较短。故本发明实施例上述用户头发模型的重建方法,能够在复杂环境下,有效的进行头发模型重建。
本发明实施例中,识别出人脸正视图像中的头发区域图像之后,将头发区域图像与发型数据库中预先存储的3D头发模型进行匹配,得到与所述头发区域图像最接近的3D头发模型,可用于头发分层建模的头发建模模型。图14为本发明提供的一种头发区域图像匹配的方法流程图,如图14所示:
S601:确定所述头发区域图像的特征描述算子。
本发明实施例中,所述特征描述算子表征所述头发区域图像的空间特征。
S602:将所述特征描述算子与发型数据库中预先存储的3D头发模型对应的特征描述算子进行匹配,得到发型数据库中与所述特征描述算子最接近的特征描述算子。
S603:将发型数据库中与所述特征描述算子最接近的特征描述算子对应的3D头发模型,确定为与所述头发区域图像最接近的3D头发模型。
本发明实施例中,对所述头发区域图像与发型数据库中预先存储的3D头发模型进行匹配之前,可先确定所述头发区域图像的特征描述算子,下面给出一种确定所述头发区域图像的特征描述算子的具体实现方式。
图15为本发明提供的一种确定所述头发区域图像的特征描述算子的方法流程图,如图15所示:
S701:确定所述头发区域图像的内轮廓和外轮廓。
本发明实施例中,可以通过对所述头发区域图像进行二值化处理,确定所述头发区域图像的内轮廓和外轮廓,具体采取什么方法确定所述头发区域图像的内轮廓和外轮廓不作具体限定。
S702:确定所述人脸特征点包括的两个嘴角特征点水平连线的中点,将所述中点作为对所述头发区域图像进行全方位角度方向扫描的射线原点。
S703:在对所述头发区域图像进行全方位角度方向扫描过程中,记录每一角度方向上,所述原点到所述内轮廓的距离、所述原点到所述外轮廓的距离和所述内轮廓到所述外轮廓的距离。
S704:将记录的所述原点到所述内轮廓的距离、所述原点到所述外轮廓的距离和所述内轮廓到所述外轮廓的距离,作为所述头发区域图像的特征描述算子。
图16给出本发明提供的一种对头发区域图像进行匹配的处理流程图,如图16所示,图16中以人脸特征点包括的两个嘴角特征点水平连线的中点为扫描的原点,对头发区域图像进行全方位角度方向扫描,得到头发区域图像的特征描述算子,以两个嘴角特征点水平连线的中点为扫描的原点得到的特征描述算子,准确度更高,可以更精确的表征所述头发区域图像的空间特征,通过上述设计匹配得到的3D头发模型更接近用户头发区域图像的真实信息。
图17为本发明提供的一种用户头发模型的重建效果示意图,如图17所示。图17即为根据图3提供的用户头发模型的重建方法重建头发模型的一种实现效果图,通过对人脸正视图像进行分层处理,分割出头发区域图像,将头发区域图像与数据库中的3D头发模型进行匹配,将与所述头发区域图像最接近的3D头发模型,确定为用于头发分层建模的3D头发建模模型。
可以理解的是,用于用户头发模型的重建装置为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。结合本发明中所公开的实
施例描述的各示例的单元及算法步骤,本发明实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能,但是这种实现不应认为超出本发明实施例的技术方案的范围。
本发明实施例可以根据上述方法示例对用于用户头发模型的重建的装置进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本发明实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
在采用集成的单元的情况下,图18示出了用户头发模型的重建装置1000的结构示意图,如图18所示,用户头发模型的重建装置1000包括获取单元1001、确定单元1002、匹配单元1003、处理单元1004,其中:
获取单元1001,用于获取被重建用户的人脸正视图像;
确定单元1002,用于根据所述获取单元1001获取的所述人脸正视图像,确定所述被重建用户的头发区域图像;
匹配单元1003,用于将所述确定单元1002确定的所述头发区域图像与发型数据库中预先存储的3D头发模型进行匹配,得到与所述头发区域图像最接近的3D头发模型;
处理单元1004,用于将所述匹配单元1003匹配出的与所述头发区域图像最接近的3D头发模型,确定为被重建用户的3D头发模型。
其中,所述获取单元1001获取的所述人脸正视图像至少包括人脸区域图像、头发区域图像和背景区域图像。
在一种可能的实现方式中,所述确定单元1002可采用如下方式根据所述获取单元1001获取的所述人脸正视图像,确定所述被重建用户的头发区域图像:
在所述人脸正视图像中确定出第一区域图像,所述第一区域图像包括所述人脸区域图像、所述头发区域图像和部分所述背景区域图像;在所述第一区域图像中识别出部分所述背景区域图像,将所述第一区域图像中除识别出的所述部分所述背景区域图像之外的图像,确定为第二区域图像;在所述第二区域图像中识别出所述人脸区域图像,将所述第二区域图像中除识别出的所述人脸区域图像之外的图像,确定为所述头发区域图像。
在一种可能的实现方式中,所述确定单元1002,采用如下方式在所述人脸正视图像中确定出第一区域图像:
检测所述人脸正视图像中的人脸特征点。根据所述人脸特征点,确定所述人脸区域图像,并在所述人脸正视图像中确定能够涵盖所述人脸区域图像的第一框图区域。以所述第一框图区域为基准,扩大所述第一框图区域,得到能够涵盖所述人脸区域图像、所述头发区域图像和所述部分背景区域图像的第二框图区域。将所述第二框图区域内的图像,作为第一区域图像。
在一种可能的实现方式中,所述确定单元1002可采用如下方式在所述第一区域图像中识别出部分背景区域图像:
确定前景像素和背景像素,所述前景像素包括所述人脸特征点中包括的眼睛特征点的像素、鼻子特征点的像素和嘴巴特征点的像素,所述背景像素包括属于所述人脸正视图像且不属于所述第一区域图像的图像像素;根据所述第一区域图像的像素,与所述前景像素和所述背景像素的匹配度,得到所述第一区域图像中的前景像素和背景像素,将所述第一区域图像中背景像素对应的图像,确定为所述部分背景区域图像。
其中,所述第一区域图像中的前景像素对应所述人脸区域图像和所述头发区域图像,所述第一区域图像的背景像素对应所述部分背景区域图像。
在一种可能的实现方式中,所述确定单元1002可采用如下方式在所述第二区域图像中识别出所述人脸区域图像:
将所述第二区域图像中包括的像素转换到HSV空间;根据人脸肤色像素在HSV三个分量上的值,在所述第二区域图像包括的像素中提取出人脸肤色
像素,并依据所述人脸肤色像素确定人脸肤色区域;根据所述人脸特征点,确定人脸轮廓区域;根据所述人脸肤色区域和所述人脸轮廓区域,确定所述第二区域图像中的所述人脸区域图像。
在一种可能的实现方式中,所述匹配单元1003,采用如下方式将所述头发区域图像与发型数据库中预先存储的3D头发模型进行匹配,得到与所述头发区域图像最接近的3D头发模型:
确定所述头发区域图像的特征描述算子。将所述特征描述算子与发型数据库中预先存储的3D头发模型对应的特征描述算子进行匹配,得到发型数据库中与所述特征描述算子最接近的特征描述算子;将发型数据库中与所述特征描述算子最接近的特征描述算子对应的3D头发模型,确定为与所述头发区域图像最接近的3D头发模型。
其中,所述特征描述算子表征所述头发区域图像的空间特征。
在一种可能的实现方式中,所述匹配单元1003采用如下方式确定所述头发区域图像的特征描述算子:
确定所述头发区域图像的内轮廓和外轮廓;确定所述人脸特征点包括的两个嘴角特征点水平连线的中点,将所述中点作为对所述头发区域图像进行全方位角度方向扫描的射线原点;在对所述头发区域图像进行全方位角度方向扫描过程中,记录每一角度方向上,所述原点到所述内轮廓的距离、所述原点到所述外轮廓的距离和所述内轮廓到所述外轮廓的距离;将记录的所述原点到所述内轮廓的距离、所述原点到所述外轮廓的距离和所述内轮廓到所述外轮廓的距离,作为所述头发区域图像的特征描述算子。
在本发明实施例中,各功能单元可以集成在一个处理器中,也可以是单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
其中,集成的单元采用硬件的形式实现时,上述确定单元1002、匹配单元1003以及处理单元1004对应在用户头发模型的重建装置的实体硬件中可以是处理器2001,获取单元1001对应在用户头发模型的重建装置的实体硬件
中可以是输入设备2003,如图19所示。图19示出了用户头发模型的重建装置的另一结构示意图,图19所示的用户头发模型的重建装置可以是终端。以下以用户头发模型的重建装置为终端为例进行说明,如图19所示,终端2000包括处理器2001,还可以包括存储器2002,用于存储处理器2001执行的程序、所述输入设备2003获取的被重建用户的人脸正视图像和3D头发模型。所述处理器2001,用于调用所述存储器2002存储的程序以及所述存储器2002存储的被重建用户的人脸正视图像,确定所述人脸正视图像中的所述头发区域图像,并将所述头发区域图像与所述存储器中预先存储的3D头发模型进行匹配,得到与所述头发区域图像最接近的3D头发模型,将与所述头发区域图像最接近的3D头发模型,确定为被重建用户的3D头发模型。
存储器2002可以是易失性存储器(英文:volatile memory),例如随机存取存储器(英文:random-access memory,缩写:RAM);存储器2002也可以是非易失性存储器(英文:non-volatile memory),例如只读存储器(英文:read-only memory,缩写:ROM),快闪存储器(英文:flash memory),硬盘(英文:hard disk drive,缩写:HDD)或固态硬盘(英文:solid-state drive,缩写:SSD)、或者存储器2002是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器2002可以是上述存储器的组合。
上述涉及的终端2000中包括的输入设备2003,用于获取被重建用户的人脸正视图像以及配置发型数据库中预先存储的3D头发模型。其中配置完成后保存在存储器2002中。
上述涉及的终端2000中还可以包括显示屏2004,用于显示所述输入设备2003获取的被重建用户的人脸正视图像以及所述处理器2001确定出的被重建用户的3D头发模型。
其中,处理器2001,存储器2002、输入设备2003和显示屏2004可以通过总线2005连接。其它部件之间的连接方式,仅是进行示意性说明,并不引以为限。所述总线2005可以分为地址总线、数据总线、控制总线等。为便于
表示,图19中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
所述处理器2001,用于执行所述存储器2002存储的程序代码,具体执行如下操作:
获取被重建用户的人脸正视图像;根据所述人脸正视图像,确定所述被重建用户的头发区域图像;将所述头发区域图像与发型数据库中预先存储的三维3D头发模型进行匹配,得到与所述头发区域图像最接近的3D头发模型;将与所述头发区域图像最接近的3D头发模型,确定为被重建用户的3D头发模型。
其中,所述人脸正视图像至少包括人脸区域图像、头发区域图像和背景区域图像。
处理器2001可以通过如下方式根据所述人脸正视图像,确定所述被重建用户的头发区域图像:
在所述人脸正视图像中确定出第一区域图像,所述第一区域图像包括所述人脸区域图像、所述头发区域图像和部分所述背景区域图像。在所述第一区域图像中识别出部分所述背景区域图像,将所述第一区域图像中除识别出的所述部分所述背景区域图像之外的图像,确定为第二区域图像。在所述第二区域图像中识别出所述人脸区域图像,将所述第二区域图像中除识别出的所述人脸区域图像之外的图像,确定为所述头发区域图像。
处理器2001可以通过如下方式在所述人脸正视图像中确定出第一区域图像:
检测所述人脸正视图像中的人脸特征点;根据所述人脸特征点,确定所述人脸区域图像,并在所述人脸正视图像中确定能够涵盖所述人脸区域图像的第一框图区域;以所述第一框图区域为基准,扩大所述第一框图区域,得到能够涵盖所述人脸区域图像、所述头发区域图像和所述部分背景区域图像的第二框图区域;将所述第二框图区域内的图像,作为第一区域图像。
处理器2001可以通过如下方式在所述第一区域图像中识别出部分所述背
景区域图像:
确定前景像素和背景像素,所述前景像素包括所述人脸特征点中包括的眼睛特征点的像素、鼻子特征点的像素和嘴巴特征点的像素,所述背景像素包括属于所述人脸正视图像且不属于所述第一区域图像的图像像素;根据所述第一区域图像的像素,与所述前景像素和所述背景像素的匹配度,得到所述第一区域图像中的前景像素和背景像素,将所述第一区域图像中的背景像素对应的图像,确定为所述部分背景区域图像。
其中,所述第一区域图像中的前景像素对应所述人脸区域图像和所述头发区域图像,所述第一区域图像的背景像素对应所述部分背景区域图像。
处理器2001可以通过如下方式在所述第二区域图像中识别出所述人脸区域图像:
将所述第二区域图像中包括的像素转换到HSV空间;根据人脸肤色像素在HSV三个分量上的值,在所述第二区域图像包括的像素中提取出人脸肤色像素,并依据所述人脸肤色像素确定人脸肤色区域;根据所述人脸特征点,确定人脸轮廓区域;根据所述人脸肤色区域和所述人脸轮廓区域,确定所述第二区域图像中的所述人脸区域图像。
处理器2001可以通过如下方式将所述头发区域图像与发型数据库中预先存储的3D头发模型进行匹配,得到与所述头发区域图像最接近的3D头发模型:
确定所述头发区域图像的特征描述算子,所述特征描述算子表征所述头发区域图像的空间特征;将所述特征描述算子与发型数据库中预先存储的3D头发模型对应的特征描述算子进行匹配,得到发型数据库中与所述特征描述算子最接近的特征描述算子;将发型数据库中与所述特征描述算子最接近的特征描述算子对应的3D头发模型,确定为与所述头发区域图像最接近的3D头发模型。
处理器2001可以通过如下方式确定所述头发区域图像的特征描述算子:
确定所述头发区域图像的内轮廓和外轮廓;确定所述人脸特征点包括的
两个嘴角特征点水平连线的中点,将所述中点作为对所述头发区域图像进行全方位角度方向扫描的射线原点;在对所述头发区域图像进行全方位角度方向扫描过程中,记录每一角度方向上,所述原点到所述内轮廓的距离、所述原点到所述外轮廓的距离和所述内轮廓到所述外轮廓的距离;将记录的所述原点到所述内轮廓的距离、所述原点到所述外轮廓的距离和所述内轮廓到所述外轮廓的距离,作为所述头发区域图像的特征描述算子。
本发明实施例通过在获取到的被重建用户的人脸正视图像中确定出被重建用户的头发区域图像,并将所述头发区域图像与发型数据库中预先存储的3D头发模型进行匹配,得到与所述头发区域图像最接近的3D头发模型,并将与所述头发区域图像最接近的3D头发模型,确定为被重建用户的3D头发模型。无需对头发颜色建模,故识别过程中不会受头发颜色的影响,头发区域识别时误差较小。并且无需对人脸图像进行训练,省去了大量的人工交互与运算时间,检测时间较短。故本发明实施例上述用户头发模型的重建方法,能够在复杂环境下,有效的进行头发模型重建。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (21)
- 一种用户头发模型的重建方法,其特征在于,包括:获取被重建用户的人脸正视图像;根据所述人脸正视图像,确定所述被重建用户的头发区域图像;将所述头发区域图像与发型数据库中预先存储的三维3D头发模型进行匹配,得到与所述头发区域图像最接近的3D头发模型;将与所述头发区域图像最接近的3D头发模型,确定为被重建用户的3D头发模型。
- 如权利要求1所述的方法,其特征在于,所述人脸正视图像至少包括人脸区域图像、头发区域图像和背景区域图像;所述根据所述人脸正视图像,确定所述被重建用户的头发区域图像,包括:在所述人脸正视图像中确定出第一区域图像,所述第一区域图像包括所述人脸区域图像、所述头发区域图像和部分所述背景区域图像;在所述第一区域图像中识别出部分所述背景区域图像,将所述第一区域图像中除识别出的所述部分所述背景区域图像之外的图像,确定为第二区域图像;在所述第二区域图像中识别出所述人脸区域图像,将所述第二区域图像中除识别出的所述人脸区域图像之外的图像,确定为所述头发区域图像。
- 如权利要求2所述的方法,其特征在于,在所述人脸正视图像中确定出第一区域图像,包括:检测所述人脸正视图像中的人脸特征点;根据所述人脸特征点,确定所述人脸区域图像,并在所述人脸正视图像中确定能够涵盖所述人脸区域图像的第一框图区域;以所述第一框图区域为基准,扩大所述第一框图区域,得到能够涵盖所述人脸区域图像、所述头发区域图像和所述部分背景区域图像的第二框图区 域;将所述第二框图区域内的图像,确定为第一区域图像。
- 如权利要求3所述的方法,其特征在于,在所述第一区域图像中识别出部分所述背景区域图像,包括:确定前景像素和背景像素,所述前景像素包括所述人脸特征点中包括的眼睛特征点的像素、鼻子特征点的像素和嘴巴特征点的像素,所述背景像素包括属于所述人脸正视图像且不属于所述第一区域图像的图像像素;根据所述第一区域图像的像素,与所述前景像素和所述背景像素的匹配度,确定所述第一区域图像中的前景像素和背景像素;将所述第一区域图像中的背景像素对应的图像,确定为所述部分背景区域图像。
- 如权利要求2所述的方法,其特征在于,在所述第二区域图像中识别出所述人脸区域图像,包括:将所述第二区域图像中包括的像素转换到色调饱和度亮度HSV空间;根据人脸肤色像素在HSV三个分量上的值,在所述第二区域图像包括的像素中提取出人脸肤色像素,并依据所述人脸肤色像素确定人脸肤色区域;根据所述人脸特征点,确定人脸轮廓区域;根据所述人脸肤色区域和所述人脸轮廓区域,确定所述第二区域图像中的所述人脸区域图像。
- 如权利要求1-5任一项所述的方法,其特征在于,将所述头发区域图像与发型数据库中预先存储的3D头发模型进行匹配,得到与所述头发区域图像最接近的3D头发模型,包括:确定所述头发区域图像的特征描述算子,所述特征描述算子表征所述头发区域图像的空间特征;将所述特征描述算子与发型数据库中预先存储的3D头发模型对应的特征描述算子进行匹配,得到发型数据库中与所述特征描述算子最接近的特征描述算子;将发型数据库中与所述特征描述算子最接近的特征描述算子对应的3D头发模型,确定为与所述头发区域图像最接近的3D头发模型。
- 如权利要求6所述的方法,其特征在于,确定所述头发区域图像的特征描述算子,包括:确定所述头发区域图像的内轮廓和外轮廓;确定所述人脸特征点包括的两个嘴角特征点水平连线的中点,将所述中点作为对所述头发区域图像进行全方位角度方向扫描的射线原点;在对所述头发区域图像进行全方位角度方向扫描过程中,记录每一角度方向上,所述原点到所述内轮廓的距离、所述原点到所述外轮廓的距离和所述内轮廓到所述外轮廓的距离;将记录的所述原点到所述内轮廓的距离、所述原点到所述外轮廓的距离和所述内轮廓到所述外轮廓的距离,作为所述头发区域图像的特征描述算子。
- 一种用户头发模型重建装置,其特征在于,包括:获取单元,用于获取被重建用户的人脸正视图像;确定单元,用于根据所述获取单元获取的所述人脸正视图像,确定所述被重建用户的头发区域图像;匹配单元,用于将所述确定单元确定的所述头发区域图像与发型数据库中预先存储的3D头发模型进行匹配,得到与所述头发区域图像最接近的3D头发模型;处理单元,用于将所述匹配单元匹配出的与所述头发区域图像最接近的3D头发模型,确定为被重建用户的3D头发模型。
- 如权利要求8所述的装置,其特征在于,所述获取单元获取的所述人脸正视图像至少包括人脸区域图像、头发区域图像和背景区域图像;所述确定单元,采用如下方式根据所述获取单元获取的所述人脸正视图像,确定所述被重建用户的头发区域图像:在所述人脸正视图像中确定出第一区域图像,所述第一区域图像包括所述人脸区域图像、所述头发区域图像和部分所述背景区域图像;在所述第一区域图像中识别出部分所述背景区域图像,将所述第一区域图像中除识别出的所述部分所述背景区域图像之外的图像,确定为第二区域图像;在所述第二区域图像中识别出所述人脸区域图像,将所述第二区域图像中除识别出的所述人脸区域图像之外的图像,确定为所述头发区域图像。
- 如权利要求9所述的装置,其特征在于,所述确定单元,采用如下方式在所述人脸正视图像中确定出第一区域图像:检测所述人脸正视图像中的人脸特征点;根据所述人脸特征点,确定所述人脸区域图像,并在所述人脸正视图像中确定能够涵盖所述人脸区域图像的第一框图区域;以所述第一框图区域为基准,扩大所述第一框图区域,得到能够涵盖所述人脸区域图像、所述头发区域图像和所述部分背景区域图像的第二框图区域;将所述第二框图区域内的图像,确定为第一区域图像。
- 如权利要求10所述的装置,其特征在于,所述确定单元,采用如下方式在所述第一区域图像中识别出部分所述背景区域图像:确定前景像素和背景像素,所述前景像素包括所述人脸特征点中包括的眼睛特征点的像素、鼻子特征点的像素和嘴巴特征点的像素,所述背景像素包括属于所述人脸正视图像且不属于所述第一区域图像的图像像素;根据所述第一区域图像的像素,与所述前景像素和所述背景像素的匹配度,确定所述第一区域图像中的前景像素和背景像素;将所述第一区域图像中的背景像素对应的图像,确定为所述部分背景区域图像。
- 如权利要求9所述的装置,其特征在于,所述确定单元,采用如下方式在所述第二区域图像中识别出所述人脸区域图像:将所述第二区域图像中包括的像素转换到色调饱和度亮度HSV空间;根据人脸肤色像素在HSV三个分量上的值,在所述第二区域图像包括的 像素中提取出人脸肤色像素,并依据所述人脸肤色像素确定人脸肤色区域;根据所述人脸特征点,确定人脸轮廓区域;根据所述人脸肤色区域和所述人脸轮廓区域,确定所述第二区域图像中的所述人脸区域图像。
- 如权利要求8-12任一项所述的装置,其特征在于,所述匹配单元,采用如下方式将所述头发区域图像与发型数据库中预先存储的3D头发模型进行匹配,得到与所述头发区域图像最接近的3D头发模型:确定所述头发区域图像的特征描述算子,所述特征描述算子表征所述头发区域图像的空间特征;将所述特征描述算子与发型数据库中预先存储的3D头发模型对应的特征描述算子进行匹配,得到发型数据库中与所述特征描述算子最接近的特征描述算子;将发型数据库中与所述特征描述算子最接近的特征描述算子对应的3D头发模型,确定为与所述头发区域图像最接近的3D头发模型。
- 如权利要求13所述的装置,其特征在于,所述匹配单元,采用如下方式确定所述头发区域图像的特征描述算子:确定所述头发区域图像的内轮廓和外轮廓;确定所述人脸特征点包括的两个嘴角特征点水平连线的中点,将所述中点作为对所述头发区域图像进行全方位角度方向扫描的射线原点;在对所述头发区域图像进行全方位角度方向扫描过程中,记录每一角度方向上,所述原点到所述内轮廓的距离、所述原点到所述外轮廓的距离和所述内轮廓到所述外轮廓的距离;将记录的所述原点到所述内轮廓的距离、所述原点到所述外轮廓的距离和所述内轮廓到所述外轮廓的距离,作为所述头发区域图像的特征描述算子。
- 一种终端,其特征在于,包括输入设备、存储器、处理器、显示屏和总线,其中,所述输入设备、所述存储器和所述显示屏均通过所述总线与所述处理器连接,其中,所述输入设备,用于获取被重建用户的人脸正视图像;所述存储器,用于存储所述处理器执行的程序、所述输入设备获取的被重建用户的人脸正视图像和3D头发模型;所述处理器,用于调用所述存储器存储的程序以及所述存储器存储的被重建用户的人脸正视图像,确定所述人脸正视图像中的所述头发区域图像,并将所述头发区域图像与所述存储器中预先存储的3D头发模型进行匹配,得到与所述头发区域图像最接近的3D头发模型,将与所述头发区域图像最接近的3D头发模型,确定为被重建用户的3D头发模型;所述显示屏,用于显示所述输入设备获取的被重建用户的人脸正视图像以及所述处理器确定出的被重建用户的3D头发模型。
- 如权利要求15所述的终端,其特征在于,所述输入设备获取的所述人脸正视图像至少包括人脸区域图像、头发区域图像和背景区域图像;所述处理器,采用如下方式根据所述获取单元获取的所述人脸正视图像,确定所述被重建用户的头发区域图像:在所述人脸正视图像中确定出第一区域图像,所述第一区域图像包括所述人脸区域图像、所述头发区域图像和部分所述背景区域图像;在所述第一区域图像中识别出部分所述背景区域图像,将所述第一区域图像中除识别出的所述部分所述背景区域图像之外的图像,确定为第二区域图像;在所述第二区域图像中识别出所述人脸区域图像,将所述第二区域图像中除识别出的所述人脸区域图像之外的图像,确定为所述头发区域图像。
- 如权利要求16所述的终端,其特征在于,所述处理器,采用如下方式在所述人脸正视图像中确定出第一区域图像:检测所述人脸正视图像中的人脸特征点;根据所述人脸特征点,确定所述人脸区域图像,并在所述人脸正视图像中确定能够涵盖所述人脸区域图像的第一框图区域;以所述第一框图区域为基准,扩大所述第一框图区域,得到能够涵盖所 述人脸区域图像、所述头发区域图像和所述部分背景区域图像的第二框图区域;将所述第二框图区域内的图像,确定为第一区域图像。
- 如权利要求17所述的终端,其特征在于,所述处理器,采用如下方式在所述第一区域图像中识别出部分所述背景区域图像:确定前景像素和背景像素,所述前景像素包括所述人脸特征点中包括的眼睛特征点的像素、鼻子特征点的像素和嘴巴特征点的像素,所述背景像素包括属于所述人脸正视图像且不属于所述第一区域图像的图像像素;根据所述第一区域图像的像素,与所述前景像素和所述背景像素的匹配度,确定所述第一区域图像中的前景像素和背景像素;将所述第一区域图像中的背景像素对应的图像,确定为所述部分背景区域图像。
- 如权利要求16所述的终端,其特征在于,所述处理器,采用如下方式在所述第二区域图像中识别出所述人脸区域图像:将所述第二区域图像中包括的像素转换到色调饱和度亮度HSV空间;根据人脸肤色像素在HSV三个分量上的值,在所述第二区域图像包括的像素中提取出人脸肤色像素,并依据所述人脸肤色像素确定人脸肤色区域;根据所述人脸特征点,确定人脸轮廓区域;根据所述人脸肤色区域和所述人脸轮廓区域,确定所述第二区域图像中的所述人脸区域图像。
- 如权利要求15-19任一项所述的终端,其特征在于,所述处理器,采用如下方式将所述头发区域图像与发型数据库中预先存储的3D头发模型进行匹配,得到与所述头发区域图像最接近的3D头发模型:确定所述头发区域图像的特征描述算子,所述特征描述算子表征所述头发区域图像的空间特征;将所述特征描述算子与发型数据库中预先存储的3D头发模型对应的特征描述算子进行匹配,得到发型数据库中与所述特征描述算子最接近的特征 描述算子;将发型数据库中与所述特征描述算子最接近的特征描述算子对应的3D头发模型,确定为与所述头发区域图像最接近的3D头发模型。
- 如权利要求20所述的终端,其特征在于,所述处理器,采用如下方式确定所述头发区域图像的特征描述算子:确定所述头发区域图像的内轮廓和外轮廓;确定所述人脸特征点包括的两个嘴角特征点水平连线的中点,将所述中点作为对所述头发区域图像进行全方位角度方向扫描的射线原点;在对所述头发区域图像进行全方位角度方向扫描过程中,记录每一角度方向上,所述原点到所述内轮廓的距离、所述原点到所述外轮廓的距离和所述内轮廓到所述外轮廓的距离;将记录的所述原点到所述内轮廓的距离、所述原点到所述外轮廓的距离和所述内轮廓到所述外轮廓的距离,作为所述头发区域图像的特征描述算子。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2016/107121 WO2018094653A1 (zh) | 2016-11-24 | 2016-11-24 | 一种用户头发模型的重建方法、装置及终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108463823A true CN108463823A (zh) | 2018-08-28 |
CN108463823B CN108463823B (zh) | 2021-06-01 |
Family
ID=62194696
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680060827.9A Active CN108463823B (zh) | 2016-11-24 | 2016-11-24 | 一种用户头发模型的重建方法、装置及终端 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN108463823B (zh) |
WO (1) | WO2018094653A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110910487A (zh) * | 2018-09-18 | 2020-03-24 | Oppo广东移动通信有限公司 | 构建方法、构建装置、电子装置和计算机可读存储介质 |
CN111510769A (zh) * | 2020-05-21 | 2020-08-07 | 广州华多网络科技有限公司 | 视频图像处理方法、装置及电子设备 |
CN112862807A (zh) * | 2021-03-08 | 2021-05-28 | 网易(杭州)网络有限公司 | 基于头发图像的数据处理方法及装置 |
CN113269822A (zh) * | 2021-05-21 | 2021-08-17 | 山东大学 | 用于3d打印的人物发型肖像重建方法及*** |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109299323B (zh) * | 2018-09-30 | 2021-05-25 | Oppo广东移动通信有限公司 | 一种数据处理方法、终端、服务器和计算机存储介质 |
CN109408653B (zh) | 2018-09-30 | 2022-01-28 | 叠境数字科技(上海)有限公司 | 基于多特征检索和形变的人体发型生成方法 |
CN109544445B (zh) * | 2018-12-11 | 2023-04-07 | 维沃移动通信有限公司 | 一种图像处理方法、装置及移动终端 |
CN113763228B (zh) * | 2020-06-01 | 2024-03-19 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN111833240B (zh) * | 2020-06-03 | 2023-07-25 | 北京百度网讯科技有限公司 | 人脸图像转换方法、装置、电子设备及存储介质 |
CN113538455B (zh) * | 2021-06-15 | 2023-12-12 | 聚好看科技股份有限公司 | 三维发型匹配方法及电子设备 |
CN113962845B (zh) * | 2021-08-25 | 2023-08-29 | 北京百度网讯科技有限公司 | 图像处理方法、图像处理装置、电子设备以及存储介质 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101354743A (zh) * | 2007-08-09 | 2009-01-28 | 湖北莲花山计算机视觉和信息科学研究院 | 用于人脸图像合成的图像库 |
CN101593365A (zh) * | 2009-06-19 | 2009-12-02 | 电子科技大学 | 一种通用三维人脸模型的调整方法 |
CN101630363A (zh) * | 2009-07-13 | 2010-01-20 | 中国船舶重工集团公司第七○九研究所 | 复杂背景下彩色图像人脸的快速检测方法 |
CN101923637A (zh) * | 2010-07-21 | 2010-12-22 | 康佳集团股份有限公司 | 一种移动终端及其人脸检测方法和装置 |
CN102419868A (zh) * | 2010-09-28 | 2012-04-18 | 三星电子株式会社 | 基于3d头发模板进行3d头发建模的设备和方法 |
CN102567998A (zh) * | 2012-01-06 | 2012-07-11 | 西安理工大学 | 基于双模板匹配和边缘细化的头肩序列图像分割方法 |
CN103235931A (zh) * | 2013-03-29 | 2013-08-07 | 天津大学 | 一种人眼疲劳检测方法 |
CN103366400A (zh) * | 2013-07-24 | 2013-10-23 | 深圳市华创振新科技发展有限公司 | 一种三维头像自动生成方法 |
CN103400110A (zh) * | 2013-07-10 | 2013-11-20 | 上海交通大学 | Atm取款机前的异常人脸检测方法 |
CN103905733A (zh) * | 2014-04-02 | 2014-07-02 | 哈尔滨工业大学深圳研究生院 | 一种单目摄像头对人脸实时跟踪的方法及*** |
CN104157001A (zh) * | 2014-08-08 | 2014-11-19 | 中科创达软件股份有限公司 | 一种头部漫画的绘制方法及装置 |
CN105139415A (zh) * | 2015-09-29 | 2015-12-09 | 小米科技有限责任公司 | 图像前后景分割方法、装置及终端 |
CN105389548A (zh) * | 2015-10-23 | 2016-03-09 | 南京邮电大学 | 基于人脸识别的婚恋评价***和方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103065360B (zh) * | 2013-01-16 | 2016-08-24 | 中国科学院重庆绿色智能技术研究院 | 一种发型效果图的生成方法及*** |
CN105279186A (zh) * | 2014-07-17 | 2016-01-27 | 腾讯科技(深圳)有限公司 | 一种图像处理方法和*** |
CN105069180A (zh) * | 2015-06-19 | 2015-11-18 | 上海卓易科技股份有限公司 | 一种发型设计方法及*** |
-
2016
- 2016-11-24 WO PCT/CN2016/107121 patent/WO2018094653A1/zh active Application Filing
- 2016-11-24 CN CN201680060827.9A patent/CN108463823B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101354743A (zh) * | 2007-08-09 | 2009-01-28 | 湖北莲花山计算机视觉和信息科学研究院 | 用于人脸图像合成的图像库 |
CN101593365A (zh) * | 2009-06-19 | 2009-12-02 | 电子科技大学 | 一种通用三维人脸模型的调整方法 |
CN101630363A (zh) * | 2009-07-13 | 2010-01-20 | 中国船舶重工集团公司第七○九研究所 | 复杂背景下彩色图像人脸的快速检测方法 |
CN101923637A (zh) * | 2010-07-21 | 2010-12-22 | 康佳集团股份有限公司 | 一种移动终端及其人脸检测方法和装置 |
CN102419868A (zh) * | 2010-09-28 | 2012-04-18 | 三星电子株式会社 | 基于3d头发模板进行3d头发建模的设备和方法 |
CN102567998A (zh) * | 2012-01-06 | 2012-07-11 | 西安理工大学 | 基于双模板匹配和边缘细化的头肩序列图像分割方法 |
CN103235931A (zh) * | 2013-03-29 | 2013-08-07 | 天津大学 | 一种人眼疲劳检测方法 |
CN103400110A (zh) * | 2013-07-10 | 2013-11-20 | 上海交通大学 | Atm取款机前的异常人脸检测方法 |
CN103366400A (zh) * | 2013-07-24 | 2013-10-23 | 深圳市华创振新科技发展有限公司 | 一种三维头像自动生成方法 |
CN103905733A (zh) * | 2014-04-02 | 2014-07-02 | 哈尔滨工业大学深圳研究生院 | 一种单目摄像头对人脸实时跟踪的方法及*** |
CN104157001A (zh) * | 2014-08-08 | 2014-11-19 | 中科创达软件股份有限公司 | 一种头部漫画的绘制方法及装置 |
CN105139415A (zh) * | 2015-09-29 | 2015-12-09 | 小米科技有限责任公司 | 图像前后景分割方法、装置及终端 |
CN105389548A (zh) * | 2015-10-23 | 2016-03-09 | 南京邮电大学 | 基于人脸识别的婚恋评价***和方法 |
Non-Patent Citations (2)
Title |
---|
JIN-LI SUO.ET AL: ""Design sparse features for age estimation using hierarchical face model "", 《 8TH IEEE INTERNATIONAL CONFERENCE ON AUTOMATIC FACE AND GESTURE RECOGNITION (FG 2008), AMSTERDAM, THE NETHERLANDS》 * |
金遥力等: ""复杂背景下发型轮廓的自动提取方法"", 《***仿真学报》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110910487A (zh) * | 2018-09-18 | 2020-03-24 | Oppo广东移动通信有限公司 | 构建方法、构建装置、电子装置和计算机可读存储介质 |
CN110910487B (zh) * | 2018-09-18 | 2023-07-25 | Oppo广东移动通信有限公司 | 构建方法、构建装置、电子装置和计算机可读存储介质 |
CN111510769A (zh) * | 2020-05-21 | 2020-08-07 | 广州华多网络科技有限公司 | 视频图像处理方法、装置及电子设备 |
CN111510769B (zh) * | 2020-05-21 | 2022-07-26 | 广州方硅信息技术有限公司 | 视频图像处理方法、装置及电子设备 |
CN112862807A (zh) * | 2021-03-08 | 2021-05-28 | 网易(杭州)网络有限公司 | 基于头发图像的数据处理方法及装置 |
CN113269822A (zh) * | 2021-05-21 | 2021-08-17 | 山东大学 | 用于3d打印的人物发型肖像重建方法及*** |
Also Published As
Publication number | Publication date |
---|---|
WO2018094653A1 (zh) | 2018-05-31 |
CN108463823B (zh) | 2021-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108463823A (zh) | 一种用户头发模型的重建方法、装置及终端 | |
CN109829930B (zh) | 人脸图像处理方法、装置、计算机设备及可读存储介质 | |
JP6636154B2 (ja) | 顔画像処理方法および装置、ならびに記憶媒体 | |
CN109859098B (zh) | 人脸图像融合方法、装置、计算机设备及可读存储介质 | |
US11403874B2 (en) | Virtual avatar generation method and apparatus for generating virtual avatar including user selected face property, and storage medium | |
CN105184249B (zh) | 用于人脸图像处理的方法和装置 | |
US10403036B2 (en) | Rendering glasses shadows | |
US10824910B2 (en) | Image processing method, non-transitory computer readable storage medium and image processing system | |
EP3992919B1 (en) | Three-dimensional facial model generation method and apparatus, device, and medium | |
WO2022095721A1 (zh) | 参数估算模型的训练方法、装置、设备和存储介质 | |
CN111652123B (zh) | 图像处理和图像合成方法、装置和存储介质 | |
US10860755B2 (en) | Age modelling method | |
JP2024500896A (ja) | 3d頭部変形モデルを生成するための方法、システム及び方法 | |
CN116997933A (zh) | 用于构造面部位置图的方法和*** | |
CN109919030A (zh) | 黑眼圈类型识别方法、装置、计算机设备和存储介质 | |
CN111080746A (zh) | 图像处理方法、装置、电子设备和存储介质 | |
CN115270184A (zh) | 视频脱敏、车辆的视频脱敏方法、车载处理*** | |
US10803677B2 (en) | Method and system of automated facial morphing for eyebrow hair and face color detection | |
KR20230110787A (ko) | 개인화된 3d 머리 및 얼굴 모델들을 형성하기 위한 방법들 및 시스템들 | |
CN110163049B (zh) | 一种人脸属性预测方法、装置及存储介质 | |
CN116977539A (zh) | 图像处理方法、装置、计算机设备、存储介质和程序产品 | |
CN114155569A (zh) | 一种化妆进度检测方法、装置、设备及存储介质 | |
CN114596213A (zh) | 一种图像处理方法及装置 | |
CN115936796A (zh) | 一种虚拟换妆方法、***、设备和存储介质 | |
US20240005581A1 (en) | Generating 3d facial models & animations using computer vision architectures |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20210428 Address after: Unit 3401, unit a, building 6, Shenye Zhongcheng, No. 8089, Hongli West Road, Donghai community, Xiangmihu street, Futian District, Shenzhen, Guangdong 518040 Applicant after: Honor Device Co.,Ltd. Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen Applicant before: HUAWEI TECHNOLOGIES Co.,Ltd. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |