CN102043965A - 信息处理设备，信息处理方法和程序 - Google Patents

信息处理设备，信息处理方法和程序 Download PDF

Info

Publication number
CN102043965A
CN102043965A CN2010105060640A CN201010506064A CN102043965A CN 102043965 A CN102043965 A CN 102043965A CN 2010105060640 A CN2010105060640 A CN 2010105060640A CN 201010506064 A CN201010506064 A CN 201010506064A CN 102043965 A CN102043965 A CN 102043965A
Authority
CN
China
Prior art keywords
human face
image
unit
model
messaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010105060640A
Other languages
English (en)
Inventor
佐部浩太郎
大桥武史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102043965A publication Critical patent/CN102043965A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种信息处理设备，信息处理方法和程序。所述信息处理设备包括获取目标图像的图像获取单元；从目标图像提取包括人脸器官的人脸区域的人脸器官提取单元；通过比较人脸器官和保存在存储单元中的多个模型人脸器官，识别模型人脸器官的识别单元；和判定与识别的模型人脸器官对应的实例图像的实例图像判定单元。

Description

信息处理设备，信息处理方法和程序
相关申请的交叉引用
本申请依据35U.S.C.§119要求与于2009年10月21日在日本专利局申请的日本专利申请JP 2009-242771相关的主题，其整体内容在此以引用的方式并入。
技术领域
本发明涉及信息处理设备，信息处理方法和程序，更具体地说，涉及能够在无用户操作的情况下，创建在其上感知人脸图像的特征的变形图像的信息处理设备，信息处理方法和程序。
背景技术
近年来，随着人脸图像识别技术的发展，已实施一种从包含在拍摄的图像(比如照片)中的人脸创建相似人脸画像(face picture image)的技术。
作为这种创建相似人脸画像的方法，通常使用的是按照利用从诸如眼睛、眉毛、鼻子和嘴之类器官的轮廓图像提取的人脸器官区域的位置关系、大小、比例等的方式，创建相似人脸画像的方法，所述诸如眼睛、眉毛、鼻子和嘴之类器官的轮廓图像是通过对拍摄的图像中的人脸执行边缘提取处理等而获得的。
发明内容
不过，在按照现有技术的方法中，用于相似人脸画像的变形器官图像是按照组成人脸图像的器官图像的几何尺寸或比例选择的。于是，不能完全感知人脸图像的特征，从而当创建相似人脸画像时，用户不得不执行操作。为此，需要一种能够在无用户操作的情况下，生成在其上感知人脸图像的特征的相似人脸画像的技术。
理想的是提供一种能够在无用户操作的情况下，创建在其上感知人脸图像的特征的变形图像(比如相似人脸画像)的技术。
因此，在一个例证实施例中，本发明的目的在于一种信息处理设备、***、方法和/或计算机可读介质，其获得目标图像；从目标图像提取包括人脸器官的人脸区域；通过比较所述人脸器官和保存在存储单元中的多个模型人脸器官，识别模型人脸器官；并判定与所识别的模型人脸器官对应的实例图像。
附图说明
图1是图解说明按照本发明的一个实施例的相似人脸画像生成设备的结构的示图；
图2是图解说明相似人脸画像生成处理的流程图；
图3A-3H是图解说明相似人脸画像生成处理的整个例程的示图；
图4A-4C是图解说明头发区域的细节的示图；
图5A-5D是图解说明描绘处理的细节的示图；
图6是图解说明实例图像选择处理的细节的流程图；
图7是图解说明器官区域定义信息的细节的示图；
图8是图解说明实例图像选择处理的细节的示图；
图9A和9B是图解说明实例图像描绘处理的细节的示图；
图10A-10F是图解说明相似人脸画像的例子的示图；
图11是图解说明预处理设备的例证结构的示图；
图12是图解说明预处理的流程图；
图13是图解说明学习处理的流程图；
图14是图解说明K类别判定单元的细节的示图；
图15是图解说明K维得分向量的计算顺序的细节的示图；
图16是图解说明生成处理的流程图；
图17是图解说明眼睛模型图像的例子的示图；
图18是图解说明设定处理的流程图；
图19A-19L是图解说明眼睛实例图像的例子的示图；
图20是图解说明其中使眼睛模型图像与眼睛实例图像匹配的例子的示图；
图21A和21B是图解说明扩大实例图像，以便描绘的例子的示图；
图22是图解说明其中使眉毛模型图像与眉毛实例图像匹配的例子的示图；
图23是图解说明其中使鼻子模型图像与鼻子实例图像匹配的例子的示图；
图24是图解说明其中使嘴模型图像与嘴实例图像匹配的例子的示图；和
图25是图解说明计算机的结构的示图。
具体实施方式
下面参考附图，说明本发明的一个实施例。
相似人脸画像生成设备的例证结构
图1是图解说明按照本发明的一个实施例的相似人脸画像生成设备的结构的示图。
图1中所示的相似人脸画像生成设备1根据包含人脸图像的目标图像，生成诸如相似人脸画像之类的变形图像，并把变形图像显示在诸如LCD(液晶显示器)之类的显示设备2上。
如图1中所示，相似人脸画像生成设备1包括目标图像获取单元11，人脸检测单元12，特征点检测单元13，属性判定单元14，轮廓区域提取单元15，头发区域提取单元16，图画生成单元17，和实例图像选择处理单元18。
目标图像获取单元11获得目标图像，把目标图像提供给人脸检测单元12和轮廓区域提取单元15。
例如，当目标图像获取单元11是包括诸如透镜或CCD(电荷耦合器件)之类成像器件的照相机时，目标图像是用照相机拍摄的拍摄图像。或者，目标图像可以是通过读取记录在诸如存储卡之类记录介质中的图像数据而获得的图像，或者经由网络从与诸如因特网之类网络连接的设备获得的图像。即，目标图像可以用任意方法获得，只要目标图像包含人脸图像。
面部检测单元12对从目标图像获取单元11供给的目标图像进行预定图像处理，以检测人脸区域。随后，人脸检测单元12把由上述预定图像处理获得的人脸区域的人脸图像的有关信息提供给特征点检测单元13，轮廓区域提取单元15，头发区域提取单元16和实例图像选择处理单元18。
特征点检测单元13对从人脸检测单元12供给的人脸区域的人脸图像进行预定图像处理，以检测指定诸如眼睛、眉毛、鼻子和嘴之类器官的轮廓的特征点。随后，特征点提取单元13把由上述预定图像处理获得的关于特征点的信息提供给属性判定单元14和轮廓区域提取单元15。
属性判定单元14对通过按照从特征点检测单元13供给的特征点定位人脸区域而获得的人脸图像模式进行预定图像处理，以判定预定属性，并判定例如在人脸区域中的人脸图像中是否包含眼镜。属性判定结果被提供给图画生成单元17。
来自目标图像获取单元11的目标图像，来自人脸检测单元12的与人脸区域的人脸图像有关的信息，和来自特征点检测单元13的关于特征点的信息都被提供给轮廓区域提取单元15。轮廓区域提取单元15执行调整大小处理，用于从目标图像中裁切通过按预定放大率仅仅主要放大人脸区域而形成的区域，并使裁切的区域与要生成的相似人脸画像的图像大小相符。
当执行调整大小处理时，轮廓区域提取单元15执行把由特征点检测单元13检测的特征点的位置(x，y)转换成裁切区域中的位置(x，y)的处理。轮廓区域提取单元15计算的关于轮廓的信息被提供给图画生成单元17。
头发区域提取单元16对从人脸检测单元12供给的人脸区域中的人脸图像(或者说目标图像)进行预定图像处理，以提取头发区域。随后，头发区域提取单元16把按照这种方式获得的关于头发区域的信息提供给图画生成单元17。
实例图像选择处理单元18执行选择与人脸区域中的预定器官，比如眼睛、眉毛、鼻子和嘴对应的实例图像的处理。
实例图像选择处理单元18包括器官区域提取单元31，K类别判定单元32，相似性判定单元33，实例图像选择单元34和数据库35。
器官区域提取单元31根据器官区域定义信息，从供给自人脸检测单元12的人脸区域中的人脸图像中提取包含预定器官的器官区域。随后，器官区域提取单元31把提取的器官区域提供给K类别判定单元32。例如，器官区域定义信息被预先记录在数据库35中。于是，器官区域定义信息由器官区域提取单元31从数据库35获得。
K类别判定单元32计算关于从器官区域提取单元31供给的器官区域中的器官图像的K维得分(下面，也称为K维得分向量)。随后，K类别判定单元32把计算的K维得分向量提供给相似性判定单元33。
为每个器官准备K类别判定单元32，并用下面说明的图11中所示的预处理设备101计算K类别判定单元32。下面进行详细说明。
相似性判定单元33指定和记录在数据库35中的器官匹配信息对应的模型图像的K维得分向量之中、与从K类别判定单元32供给的K维得分向量最相似的K维得分向量。相似性判定单元33判定最相似的模型图像，并把判定结果提供给实例图像选择单元34。
器官匹配信息是匹配实例图像和模型图像的信息，并被记录在数据库35中。实例图像是通过变形和显示每个器官而构成的变形器官图像的例子，是由描绘每个器官的图画(实例)构成的图像。模型图像是通过根据输入图像的多维得分向量，把输入图像的器官图像分类成复数个原型，并计算属于每个原型的器官图像组的平均图像而生成的图像，所述输入图像的器官图像由AdaBoostECOC(纠错输出编码)学习利用复数个样本图像的图像特征量生成，并从多类别判定器(下面说明的图11中所示的K类别判定单元32)输出。
器官匹配信息由图11中所示的预处理设备101计算。后面进行详细说明。
实例图像选择单元34根据从相似性判定单元33供给的判定结果，在记录在数据库35中的器官匹配信息之中，选择与被确定为最相似的模型图像匹配的实例图像。随后，实例图像选择单元34把选择的实例图像提供给图画生成单元17。
数据库35保存为创建相似人脸画像所需的各种信息(比如锚点定义信息)，以及上面说明的器官区域定义信息和器官匹配信息。锚点定义信息定义实例图像上、与从包含在目标图像中的人脸图像中检测到的每个器官的位置(下面也称为器官点)匹配的点(下面也称为锚点)。锚点定义信息由图11中所示的预处理设备101计算。后面进行具体说明。
来自属性判定单元14的判定结果，来自轮廓区域提取单元15的关于轮廓的信息，来自头发区域提取单元16的关于头发区域的信息，来自实例图像选择单元34的实例图像，和来自数据库35的锚点定义信息被提供给图画生成单元17。
图画生成单元17根据关于轮廓和头发区域的信息，用预定肤色涂画轮廓区域和头发区域的并集的整个区域，并用预定发色涂画整个头发区域，从而描绘仅仅由皮肤区和头发区构成的图像(下面也称为基本图像)。随后，图画生成单元17对实例图像进行预定图像处理，比如旋转或比例缩放(调整大小)，以致根据锚点定义信息定义的锚点与器官点相符。随后，图画生成单元17描绘按照这种方式获得的实例，并将其布置在基本图像上，从而生成相似人脸画像。
当来自属性判定单元14的判定结果包括眼镜时，图画生成单元17还根据锚点定义信息布置眼镜图像。
图画生成单元17把按照这种方式生成的相似人脸画像显示在显示设备2上。
相似人脸画像生成设备1具有上述结构。
相似人脸画像生成处理的说明
下面参考图2的流程图，说明由图1中所示的相似人脸画像生成设备1执行的，生成相似人脸画像的处理(相似人脸画像生成处理)。
在参考图2进行的说明中，为了使在每一步中执行的处理的理解更容易，将频繁参看图3的整个例程。
在步骤S11，目标图像获取单元11获得包含人脸图像的目标图像，比如摄影图像。例如，包含图3A中所示的人脸图像的目标图像被输入目标图像获取单元11中。
在步骤S12，人脸检测单元12通过扫描从目标图像获取单元11供给的目标图像的人脸模式，检测目标图像中人脸区域的位置(x，y，w，h)。例如，人脸检测单元12把用与图3B的人脸重叠的矩形指示的区域检测为人脸区域。
在步骤S13，特征点检测单元13通过扫描由人脸检测单元12检测的人脸区域中的人脸图像的每个特征点的模式，检测特征点的位置(x，y)。器官和轮廓由特征点指定。例如，特征点检测单元13检测由重叠在图3C的人脸上的点指示的特征点。
在步骤S14，属性确定单元14判定通过按照由特征点检测单元13检测的眼睛等的特征点来定位人脸区域而获得的人脸图像模式的属性。随后，属性判定单元14判定是否存在眼镜。例如，如图3D中所示，属性判定单元14根据人脸图像模式，判定眼镜属性。这种情况下，属性判定单元14判定存在眼镜。
在步骤S15，轮廓区域提取单元15执行从目标图像中裁切通过主要放大人脸检测单元12检测到的人脸区域而构成的区域，并使裁切的区域与要生成的相似人脸画像的图像大小相符的调整大小处理。就调整大小来说，按照整个人脸在人脸检测单元12检测的人脸区域中稍微突出的程度提取该区域。于是，例如从目标图像中裁切约为人脸区域1.6倍的区域。
此时，例如，当假定希望计算的相似人脸画像的图像大小为300×300像素时，检测的人脸区域中的人脸图像被调整为该图像大小。此时，轮廓区域提取单元15把由特征点检测单元13检测的人脸区域的特征点的位置转换成裁切图像的位置。随后，轮廓区域提取单元15把变换后的特征点的位置提供给图画生成单元17。
在步骤S16，头发区域提取单元16利用例如k均值算法，对从人脸检测单元2检测的人脸区域(或者目标区域)中的人脸图像的上半部的区域(头的顶部区域)的图像中获得的RGB值聚类。随后，头发区域提取单元16提取预定区域作为头发区域。
图4A-4C是图解说明由头发区域提取单元16执行的头发区域提取处理的细节的示图。
在头发区域提取处理中，如图4A中所示，与人脸区域的上半部对应的上部人脸区域AU首先被提取。当利用k均值算法把上部人脸区域AU的所有像素(r，g，b)聚类成三种颜色时，所有像素属于三种类别中的任意之一。随后，当确定彼此相邻的像素的标记彼此相同时，上部人脸区域被划分成背景区、头发区和肤色区三个区域，如图4B中所示。
在该划分处理中，上部人脸区域可被划分成三个以上的区域。不过，如图4C中所示，头发区域提取单元16可从例如最接近于黑色的区域中，提取面积最大的区域作为头发区域。
返回图2的流程图，在步骤S17，图画生成单元17用预定肤色涂画轮廓区域和头发区域的并集的整个区域，并用预定发色涂画整个头发区域，从而描绘人脸基本图像。如图3E中所示，首先描绘提取的轮廓区域。之后，如图3F中所示，通过描绘提取的头发区域，描绘基本图像。
图5A-5D是图解说明由图画生成单元17执行的基本图像描绘处理的细节的示图。
如图5A中所示，可用预定的插值处理，比如样条曲线插值，使检测的特征点相互连接。当计算了由曲线环绕的区域时，获得图5B中所示的轮廓区域。如图5C中所示，用肤色涂画整个轮廓区域和用头发区域提取单元16提取的头发区域的内部，随后用黑色(发色)只涂画头发区域。这样，能够获得图5D中所示的基本图像。
返回图2的流程图，在步骤S18，实例图像选择处理单元18执行实例图像选择处理。实例图像选择处理是与图3G中所示的实例图像的选择对应的处理。
下面参考图6的流程图，说明图2中所示的步骤S18的实例图像选择处理的细节。这里，为了便于说明，将主要说明其中在器官：眼睛、眉毛、鼻子和嘴之中选择眼睛的实例图像的例子。
在步骤S31，实例图像选择处理单元18把目标图像的人脸区域的图像大小调整为预定图像大小。随后，在步骤S32中，器官区域提取单元31按照器官区域定义信息，从调整为预定图像大小的人脸区域中裁切出器官区域。
图7是图解说明器官区域定义信息的例子的示图。
如图7中所示，当从调整为64×64像素大小的人脸区域中裁切相应的器官区域时，提取其中人脸区域中的任意点(x1，y1)和任意点(x2，y2)是对角的矩形区域。例如，由于眼部区域是其中点(10，23)和点(55，30)为对角的矩形区域，因此器官区域提取单元31裁切并提取该区域作为眼部区域。
返回图6的流程图，在步骤S33，眼部区域的K类别判定单元32计算与眼部区域中的器官图像对应的K维得分向量。
在步骤S34，相似性判定单元33根据记录在数据库35中的器官匹配信息，指定与实例图像匹配的模型图像的K维得分向量之中、和由眼部区域的K类别判定单元32计算的、从眼部区域中的器官图像获得的K维得分向量最相似的K维得分向量。随后，相似性判定单元33判定最相似的模型图像。此外，就K维得分向量之间的相似性来说，使用欧几里德距离。
在步骤S35，实例图像选择单元34根据相似性判定单元33的判定结果，从记录在数据库35中的器官匹配信息中选择与被判定为最相似的模型图像匹配的实例图像。
图8是图解说明实例图像选择处理的细节的示图。
如图8中所示，当器官区域提取单元31从目标图像的人脸区域中，提取眼部区域中的器官图像时，相似性判定单元33根据K类别判定单元32的计算结果，判定器官图像和复数个模型图像之间的相似性，并确定相似性最高的模型图像。由于在器官匹配信息中预先使模型图像和实例图像相互匹配，因此，实例图像选择单元34能够选择与相似性最高的模型图像匹配的一个实例图像。
这样，从预先准备的复数个实例图像中，选择与和从人脸区域提取的眼部区域中的器官图像最相似的模型图像匹配的一个实例图像。随后，处理返回图2的步骤S18。
在步骤S19中，图画生成单元17对由实例图像选择单元34选择的实例图像进行诸如旋转或比例缩放之类的图像处理，以致由锚点定义信息定义的锚点与对应的器官点相同。随后，图画生成单元17在步骤S17中获得的基本图像上，描绘按照这种方式获得的实例图像。
图9A和9B是图解说明实例图像描绘处理的细节的示图。
如图9A和9B中所示，可以使实例图像选择单元34选择的眼睛实例图像的锚点PA，和与特征点检测单元13检测的人脸区域的特征点对应的相似人脸画像(基本图像)上的器官点PP匹配，如上所述。
即，如图9A中所示，由于使一个锚点PA1与器官点PP1匹配，并使另一个锚点PA2与器官点PP2匹配，因此，图画生成单元17对实例图像执行诸如旋转或比例缩放之类的图像处理，以致通过使这些点匹配，把眼睛实例图像描绘在基本图像上。随后，图画生成单元17进行描绘，以致使锚点PA与器官点PP匹配。这样，当进行描绘时，如图9B中所示，右眼实例图像被描绘在基本图像上。
此时，由于事先作为基本图像描绘了皮肤区，因此只重写与实例图像对应的像素。器官点PP可以是与检测的特征点匹配的点，或者可以是独立于特征点设定的点。
返回图2的流程图，在步骤S20，实例图像选择处理单元18判定是否在基本图像上描绘了诸如眼睛、眉毛、鼻子、嘴和前额之类的所有实例图像。
当在步骤S20中判定还未描绘所有的实例图像，那么处理返回步骤S18，随后重复上面说明的步骤S18-S20的实例图像选择描绘处理。
即，通过重复实例图像选择描绘处理，分别提取在图7中的器官区域定义信息中定义的除眼部区域外的眉部区域(点(8，15)-点(57，22))，鼻部区域(点(21，31)-点(44，45))，嘴部区域(点(18，46)-点(47，59))，和额部区域(点(1，1)-点(64，14))。随后利用在每个器官区域中准备的K类别判定单元32，确定与模型图像的相似性，选择与相似性最高的模型图像匹配的每个实例图像。根据锚点定义信息对选择的实例图像进行图像处理。随后，在基本图像上的预定位置描绘和布置该实例图像。
另一方面，当全部描绘了所有实例图像时，处理进入步骤S21。在步骤S21，当来自属性判定单元14的眼镜属性的判定结果表示有眼镜时，图画生成单元17根据锚点定义信息，在基本图像上的预定位置描绘眼镜架的图像。这样，生成图3H中所示的相似人脸画像。
下面例示按照这种方式生成的相似人脸画像。即，图10A-10F是图解说明其中图画生成单元17生成的相似人脸画像(变形图像)被显示在显示设备2上的例子的示图。
如图10A-10F中所示的目标图像(左侧)和相似人脸画像(右侧)的组合体所示，通过执行上述相似人脸画像生成处理，独立选择与包含在左侧的目标图像中的人脸图像的每个器官区域匹配的每个实例图像。选择的实例图像被描绘在基本图像上。从而，生成右侧的每个相似人脸画像。
即，相似人脸画像是生成自不是根据每个器官区域中的器官图像和实例图像之间的相似性选择的实例图像，而是根据器官图像和模型图像之间的相似性选择的实例图像。于是，能够直接从人脸图像的外貌选择和与目标图像的每个器官图像最相似的模型图像匹配的实例图像，从而，能够生成在其上感知人脸图像的特征的相似人脸画像。即，难以直接计算器官图像和实例图像之间的相似性。不过，在本实施例中，预先使实例图像与模型图像匹配，计算器官图像和模型图像之间的相似性，并选择和与器官图像最相似的模型图像匹配的实例图像。
按照这种方式，执行相似人脸画像生成处理。
预处理设备的例证结构
下面，说明作为对由图1中的相似人脸画像生成设备1执行相似人脸画像生成处理来说必需的预处理而执行的生成K类别判定单元32的学习处理，生成模型图像的生成处理，和设定各种信息(比如器官匹配信息和锚点定义信息)的设定处理。所述预处理由预处理设备执行。
图11是图解说明预处理设备的例证结构的示图。
如图11中所示，预处理设备101包括执行学习处理的学习***111，执行生成处理的生成***112，和执行设定处理的设定***113。
学习样本获取单元121，预图像处理单元122，学习单元123，和K类别判定单元32属于学习***111。生成图像获取单元124，预图像处理单元125，K类别判定单元32，生成单元126和数据库35属于生成***112。实例图像获取单元127，设定单元128和数据库35属于设定***113。
在图11中，与图1的元件对应的元件被赋予相同的附图标记，并适当省略说明。即，在图11中，描述了图1中所示的相同的K类别判定单元32和相同的数据库35。不过，在预处理设备101中，生成构成相似人脸画像生成设备1的K类别判定单元32，并设定各种信息，以执行把K类别判定单元32和各种信息记录在数据库35中的处理。
首先说明学习***111。
学习样本获取单元121获得为K(K＝1，2，...，K)个样本人物，按各种各样变化形式准备的人脸图像(下面，也称为样本图像)，并把获得的人脸图像提供给预图像处理单元122。
预图像处理单元122执行从供给自学习样本获取单元121的样本图像中检测人脸区域，并把人脸区域的大小调整为预定图像大小的处理。在调整大小处理中，人脸区域的大小被调整为在上面说明的器官区域定义信息(参见图7)中定义的图像大小。预图像处理单元122从调整大小后的人脸图像中，以器官区域定义信息为基础裁切器官区域，并把该器官区域提供给学习单元123。
学习单元123计算从预图像处理单元122供给的器官区域中的器官图像的图像特征量，利用AdaBoostECOC(纠错输出编码)学习复数个弱判定器，并生成由所述复数个弱判定器构成的K类别判定单元32。
下面说明生成***112。
生成图像获取单元124获得随机提取的用于生成模型图像的几张人脸图像(下面，也称为生成图像)，并把人脸图像提供给预图像处理单元125。
类似于预图像处理单元122进行的样本图像的调整大小处理，预图像处理单元125调整来自生成图像获取单元124的生成图像的大小，裁切器官区域，并把裁切的区域提供给K类别判定单元32。
K类别判定单元32计算与从预图像处理单元125供给的器官区域中的器官图像对应的K维得分向量，并把K维得分向量提供给生成单元126。
生成单元126根据从K类别判定单元32供给的K维得分向量，把器官图像分成N(N＝1，2，...，N)种原型，并通过计算属于每种原型的器官图像组的平均图像，生成模型图像。模型图像被记录在数据库35中。
下面说明设定***113。
实例图像获取单元127获得每个器官的实例图像，并把实例图像提供给设定单元128。
设定单元128通过匹配从实例图像获取单元127供给的实例图像和记录在数据库35中的模型图像，设定器官匹配信息。随后，设定单元128把器官匹配信息记录在数据库35中。另外，设定单元128设定锚点定义信息，并把锚点定义信息记录在数据库35中。
预处理设备101具有上述结构。
预处理的说明
下面参考图12的流程图，说明由预处理设备101执行的预处理。
在步骤S51，预处理设备101的学习***111执行学习处理，从而生成K类别判定单元32。
在步骤S52，预处理设备101的生成***112响应生成处理的执行，生成模型图像，并把模型图像记录在数据库35中。
在步骤S53，预处理设备101的设定***113通过执行设定处理，设定器官匹配信息和锚点定义信息，并把结果记录在数据库35中。
下面将详细说明图12的从步骤S51到S53的上述处理。
学习处理的细节
图13是详细图解说明学习处理的流程图。
在步骤S71，学习样本获取单元121获得为K个样本人物，以各种各样变化形式准备的样本图像。
在步骤S72，预图像处理单元122从学习样本获取单元121获得的样本图像中检测人脸区域，根据器官区域定义信息把检测到的人脸区域的大小调整为预定图像大小(步骤S73的处理)，随后从调整大小后的人脸区域中裁切器官区域(步骤S74的处理)。
在调整大小处理中，例如，按照在图7中所示的器官区域定义信息中定义的图像大小，人脸区域的大小被调整为64×64像素的大小。例如，眼部区域(点(10，23)-点(55，30)被裁切。
在学习单元123中，在步骤S75计算器官图像的图像特征量，随后在步骤S76中，按照AdaBoostECOC学习复数个弱判定器，以生成K类别判定单元32。
在确定是否属于每个类别的复数个弱判定器中，样本图像(器官图像)的图像特征量被用作判定基准。作为图像特征量，例如可以使用发明人建议的像素差分特征(PixDif特征)。
在Kohtaro Sabe和Kenichi Idai的“Learning Real-Time Arbitrary Position Face Detector Using Pixel Difference Feature”，Proceedings of the 10th Symposium on Sensing，第547-552页，2004，和未经审查的日本专利申请公开No.2005-157679中公开了像素差分特征。
图14是图解说明由学习单元123生成的K类别判定单元32的细节的示图。
如图14中所示，按各种各样的变化形式获得K个人物，比如“人物A”、“人物B”和“人物C”的样本图像，并调整样本图像的人脸区域的大小。之后，从调整大小后的人脸区域中裁切相应的器官区域，如在图13的从步骤S71到S74的处理中所述。
在学习单元123中，按照像素差分特征，计算K个样本人物的人脸图像的各个器官图像的图像特征量，利用图像特征量，按照AdaBoostECOC学习复数个弱判定器，并生成K类别判定单元32作为多类别判定器。
按照这种方式生成的K类别判定器32计算表达输入的人脸图像与K个样本人物中的每一个相似到什么程度的得分。此外，分值越大，输入的人脸图像就越相似。因此，如上所述，K类别判定单元32输出K维得分向量，作为K维得分。
按照这种方式，在每个器官中获得K维得分空间。例如，当输入的器官图像属于同一人时，K维得分空间中的距离较近。当输入的人脸图像属于未知人物“X”时，可用数字表示人物“X”的每个器官，以表示每个器官与样本人物“A”、“B”、“C”等的每个器官相似到什么程度。于是，能够按照在每个器官的K维得分空间中的距离，确定每个器官的相似性。
更具体地说，执行图15中的处理。即，计算人脸图像(人脸图像A)上的两个像素的像素值(亮度值)I1和I2之间的差值(I1-I2)，以获得像素差分特征(PixDif特征)。在与两个像素的组合体对应的二值弱判定器h(x)中，如表达式(1)中所示，依据像素差分特征(I1-I2)和阈值Th，判定真(+1)或假(-1)。
h(x)＝-1    如果 I1-I2≤Th
h(x)＝+1    如果 I1-I2＞Th    (1)
比较在每个类别中定义的ECOC比特(它是保存在第一行和第K列的ECOC表中的第K列的值(+1或-1))和从表达式(1)获得的h(x)。当判定结果等于所述ECOC比特时，该类别的得分被增加可靠度α。相反，当判定结果不等于ECOC比特时，该类别的得分被减少可靠度α。
当按图像特征量的数目重复该处理时，能够计算H(1)、H(2)、H(3)、H(4)、H(5)等作为K维得分向量(K类别的得分)。
返回图13的流程图，在步骤S77，学习单元123判定对所有器官来说，K类别判定单元32的生成是否都结束。
在步骤S77，当判定对所有器官来说，K类别判定单元32的生成还未结束，那么处理返回步骤S74，重复上面说明的生成处理(从步骤S74到S77的处理)。
即，当重复生成处理时，根据图7中所示的器官区域定义信息，分别从调整大小后的人脸区域提取器官区域，比如眼部区域、眉部区域、鼻部区域、嘴部区域和额部区域。随后，为每个器官区域独立生成每个K类别判定单元32。
为由图7中所示的器官区域定义信息定义的每个器官区域，获得K类别判定单元32，随后结束学习处理。
按照这种方式为每个器官的K生成类别判定单元32能够利用K维得分向量，表示输入的人脸图像(器官图像)的图像特征量。例如，在样本人物“A”、“B”、“C”等之中，可数字地表示未知人物“X”的每个器官与样本人物“A”、“B”、“C”等的每个器官相似到什么程度。
生成处理的细节
图16是图解说明生成处理的细节的流程图。
步骤S91-S94与图13的步骤S71-S74相同。预图像处理单元125检测生成图像获取单元124获得的生成图像的人脸区域，从调整大小后的人脸区域中裁切人脸区域。作为生成图像，使用从10000张图像中随机提取的包含人脸图像的图像。
按照这种方式获得的人脸图像被输入每个器官的K类别判定单元32中。在步骤S95，K类别判定单元32确定输入的器官图像的像素差分特征，作为阈值，比较该像素差分特征和在每种类别中定义的ECOC比特，以计算K维得分向量。
在步骤S96，生成单元126利用例如k均值算法，在K维得分空间中使K类别判定单元32计算的、与器官图像对应的一组K维得分向量聚类，并把该组K维得分向量划分成N个子集。这样，由于器官图像被划分成N个原型，因此，生成单元126通过计算属于每个划分的原型的器官图像组的平均图像，生成模型图像，并把模型图像记录在数据库35中。
图17是图解说明眼睛模型图像的例子的示图。
如图17中所示，当作为一组眼睛的眼部图像被划分成例如24个原型时，通过求属于每个原型的器官图像组的平均值，形成眼睛模型图像。在图17的例子中，特别地，对于各个原型的模型图像，眼睛的形状是不同的。
返回图16的流程图，在步骤S97，生成单元126判定对所有器官来说，模型图像的生成是否结束。
当在步骤S97中判定对所有器官来说，模型图像的生成还未结束，那么处理返回步骤S94，重复上面说明的生成处理(从步骤S94-S97的处理)。
即，当重复生成处理时，根据图7中所示的器官区域定义信息，分别从调整大小后的人脸区域中提取除上述眼部区域外的器官区域，比如眉部区域、鼻部区域、嘴部区域和额部区域。随后，为每个器官区域独立生成N个模型图像，并记录在数据库35中。
按照这种方式，对于由图7中所示的器官区域定义信息定义的每个器官区域，获得N个模型图像(这种情况下，对每个器官区域来说，模型图像的数目不必相等)。随后，结束生成处理。
设定处理
图18是详细图解说明设定处理的流程图。
在步骤S101，实例图像获取单元127获得每个器官的实例图像。例如，当设定眼睛实例图像时，准备构成相似人脸画像的器官之中的眼睛的按各种形式变化的实例图像。例如，准备图19A-19L中所示的实例图像。
在步骤S102，设定单元128获得记录在数据库35中的模型图像。模型图像由生成***112生成，并记录在数据库35中(图16中的生成处理)。例如，当设定眼睛实例图像时，在关于各个器官区域生成的并记录在数据库35中的模型图像之中，获得图17中的眼睛模型图像。
在步骤S103，设定单元128通过匹配获得的实例图像和模型图像，设定器官匹配信息，并把器官匹配信息记录在数据库35中。
匹配方法有两种：执行匹配某一模型图像与一组候选实例图像中的最相似实例图像的图像处理的第一匹配方法；和由用户视觉确认模型图像，并由用户在一组候选实例图像中选择为最相似模型图像的实例图像的第二匹配方法。
当用这两种方法任意之一使实例图像与模型图像匹配时，实例图像(参见图19A-19L)与模型图像(参见图17)相配，例如，如图20中一样。在图20的例子中，按照眼睛外观，可以使每6×4实例图像与每6×4模型图像匹配。这样，由于可通过器官图像和模型图像的外观的模式，而不是器官的几何尺寸或比例，来计算相似性，因此能够定义感知人物的主观感的相似性。
当用户在视觉上进行匹配时，设定单元128可有意匹配具有特征嘴的模型图像和在嘴方面有特色的实例图像，如图21A中所示。此外，设定单元128可有意匹配具有特征眼的模型图像和在眼睛方面有特色的实例图像，如图21B中所示。
这样，当设定器官匹配信息时，能够为模型图像分配表情比真实的外貌更夸张的实例图像。从而，当生成相似人脸画像时，能够生成具有人物的主观感的人脸特征的相似人脸画像(它是其中进一步强调人脸特征的相似人脸画像)。
返回图18的流程图，在步骤S104，设定单元128按照用户的指令，设定每个实例图像的锚点定义信息，并把锚点定义信息记录在数据库35中。
就锚点定义信息来说，如关于图9A和9B所述，当通过更向内地设定锚点PA1和PA2的位置，和进一步允许锚点PA1和PA2之间的距离小于器官点PP1和PP2之间的距离，来布置器官点PP1和PP2时，由于眼睛实例图像是在被扩大之后描绘的，因此即使在相同的眼睛实例图像中，也能够表现更大的眼睛。另一方面，当更向外地设定锚点PA1和PA2的位置时，锚点PA1和PA2之间的距离大于器官点PP1和PP2之间的距离。于是，由于眼睛实例图像是在被缩小之后描绘的，因此即使在相同的眼睛实例图像中，也能够表现更小的眼睛。
这样，由于仅仅通过改变锚点的位置，即使在相同的实例图像中，也能够以各种形式表现器官，因此能够减少要准备的实例图像的数目。此外，能够提供在其上感知每个器官的特征的变形器官图像。
此外，锚点的数目并不局限于两个，相反可按照对应器官点的数目来设定。
在步骤S105，设定单元128判定所有器官的器官匹配信息和锚点定义信息的设定是否都结束。
当在步骤S105，判定所有器官的器官匹配信息和锚点定义信息的设定还未结束时，处理返回步骤S101，重复上面说明的设定处理(从步骤S101到S105的处理)。
即，通过重复设定处理，能够使每个实例图像与为每个器官区域生成的每个模型图像匹配。此外，也能够独立设定实例图像的锚点。
图22-24表示模型图像和实例图像的匹配例子。图22表示眉毛的匹配例子。图23表示鼻子的匹配例子。图24表示嘴的匹配例子。
如图22中所示，通过把眉部图像划分成作为眉毛的分组的12个原型，并求属于各个原型的器官图像组的平均值，获得在图22的上侧的眉毛模型图像。在图22的例子中，特别地，对于各个原型的模型图像，眉毛的形状是不同的。通过执行设定处理，能够分别使在图22的下侧的眉毛实例图像与眉毛模型图像匹配。
和图22中的眉毛的例子中一样，这同样适用于图23和23的例子。即，在图23中能够分别使鼻子实例图像与鼻子模型图像匹配。同样地，在图24中能够分别使嘴实例图像与嘴模型图像匹配。
通过设定处理得到的用于匹配的信息作为器官匹配信息被记录在数据库35中。另外，设定所有器官的器官匹配信息和锚点定义信息，随后结束设定处理。
在预处理设备101中，为每个器官生成K类别判定单元32，并设定和在数据库35中预先记录器官匹配信息和锚点定义信息。从而，利用K类别判定单元32和数据库35的相似人脸画像生成设备1能够在无用户操作的情况下，由包含人脸图像的目标图像生成相似人脸画像。
类别划分的其它例子
到目前为止，是按照器官匹配信息使实例图像和模型图像匹配的。不过，样本人物的属性信息可作为类别标签被给予样本图像，并且均可被K类别判定单元32学习。样本人物的属性信息的例子是属于相同属性的信息，只要该信息涉及相同种族、年龄分类、性别、有无眼镜等的相同人物。
当使用学习作为类别标签的属性信息的K类别判定单元32时，与其中计算器官图像和模型图像之间的相似性的情况相比，能够更详细地描绘器官图像和模型图像的特征。于是，由于更准确地计算器官图像和模型图像之间的相似性，因此，能够选择准确的实例图像。
在本实施例中，图1中的相似人脸画像生成设备1是不同于图11中的预处理设备101的设备。不过，相似人脸画像生成设备1和预处理设备101可被看作一台设备，包括作为与图1中的相似人脸画像生成设备1对应的一个处理单元的相似人脸画像生成单元，和作为与图11中的预处理设备101对应的一个处理单元的预处理单元。这种情况下，包括在该设备中的K类别判定单元32和数据库35由预处理单元生成(设定)，并用在相似人脸画像生成单元的相似人脸画像生成处理中。
在本实施例中，图1中的相似人脸画像生成设备1和显示设备2彼此不同。不过，作为与显示设备2对应的一个处理单元的显示单元可被包括在相似人脸画像生成设备1中。这种情况下，图画生成单元17把生成的相似人脸画像显示在显示单元的屏幕上。
图画生成单元17生成的相似人脸画像显示在显示设备2的屏幕上。此外，相似人脸画像也可用预定的压缩方法，比如JPEG方法压缩，可作为文件保存在预定的记录介质中。
上述一系列处理可用专用硬件或软件执行。当用软件执行所述一系列处理时，构成所述软件的程序从记录介质被安装到所谓的嵌入式计算机中，或者被安装到通过使用安装于其中的各种程序，能够执行各种功能的通用个人计算机中。
图25是图解说明按照程序，执行上述一系列处理的个人计算机的例证结构的示图。CPU(中央处理器)211按照记录在ROM(只读存储器)212或存储单元218中的程序，执行各种处理。RAM(随机存取存储器)213恰当地保存由CPU 211执行的程序以及数据。CPU 211、ROM 212和RAM 213通过总线224相互连接。
输入/输出接口215经总线214与CPU 211连接。由麦克风等构成的输入单元216，和由显示器、扬声器等构成的输出单元217与输入/输出接口215连接。CPU 211按照从输入单元216输入的命令，执行各种处理。CPU 211把处理结果输出给输出单元217。
与输入/输出接口215连接的存储单元218由硬盘等实现，保存由CPU 211执行的程序，以及各种数据。通信单元219经诸如因特网或局域网之类的网络与外部设备通信。
程序可借助通信单元219来获得，并被保存在存储单元218中。
当安装诸如磁盘、光盘、磁光盘或半导体存储器之类的可拆卸介质221时，与输入/输出接口215连接的驱动器220驱动可拆卸介质221，获得保存在可拆卸介质221中的程序、数据等。必要时，获得的程序或数据被传给并保存在存储单元218中。
如图25中所示，保存安装在计算机中，并可由计算机执行的程序的程序记录介质包括可拆卸介质221，所述可拆卸介质221是由磁盘(包括软盘)，光盘(包括CD-ROM(压缩磁盘只读存储器)和DVD(数字通用磁盘))，磁光盘，半导体存储器等构成的套装介质，临时或永久保存程序的ROM 212，和构成存储单元218的硬盘驱动器。必要时通过通信单元219(它是诸如路由器或调制解调器之类的接口)，利用有线或无线通信介质，比如局域网、因特网或数字卫星广播，可把程序保存在程序记录介质中。
在本说明书中，描述保存在记录介质中的程序的步骤不仅包括按照记录的顺序，时序执行的步骤，而且包括不一定按时序执行，而是并行或者单独执行的步骤。
本领域的技术人员应明白，根据设计要求和其它因素，可产生各种修改、组合、子组合和变更，只要它们在附加权利要求或其等同物的范围之内。

Claims (20)

1.一种信息处理设备，包括：
被配置为获取目标图像的图像获取单元；
被配置为从目标图像提取包括人脸器官的人脸区域的人脸器官提取单元；
被配置为通过比较人脸器官和保存在存储单元中的多个模型人脸器官，识别模型人脸器官的识别单元；和
被配置为判定与识别的模型人脸器官对应的实例图像的实例图像判定单元。
2.按照权利要求1所述的信息处理设备，其中：
人脸器官提取单元被配置为通过扫描目标图像的人脸模式提取人脸区域。
3.按照权利要求1所述的信息处理设备，还包括：
被配置为判定在目标图像中存在眼镜的属性判定单元。
4.按照权利要求3所述的信息处理设备，其中：
实例图像判定单元被配置为判定与眼镜对应的实例图像。
5.按照权利要求1所述的信息处理设备，还包括：
被配置为从目标图像中提取头发区域的头发区域提取单元。
6.按照权利要求5所述的信息处理设备，其中：
实例图像判定单元被配置为判定与头发区域对应的实例图像。
7.按照权利要求1所述的信息处理设备，还包括：
被配置为从人脸区域提取人脸轮廓的轮廓区域提取单元。
8.按照权利要求1所述的信息处理设备，其中：
识别单元被配置为调整包括人脸器官的人脸区域的大小，和从调整大小后的人脸区域中裁切人脸器官。
9.按照权利要求8所述的信息处理设备，其中：
识别单元被配置为计算与从调整大小后的人脸区域裁切的人脸器官对应的得分向量。
10.按照权利要求9所述的信息处理设备，其中：
识别单元被配置为通过比较计算的得分向量和与保存在存储单元中的多个模型人脸器官中的每一个对应的多个得分向量，识别模型人脸器官。
11.按照权利要求1所述的信息处理设备，其中：
实例图像判定单元被配置为旋转实例图像，或调整实例图像的大小，以致实例图像的轮廓上的多个基准点与提取的人脸器官的轮廓上的多个点匹配。
12.按照权利要求1所述的信息处理设备，其中：
模型人脸器官是自然图像。
13.一种包括计算机程序指令的非临时性计算机可读介质，当被信息处理设备执行时，所述计算机程序指令使信息处理设备执行包括下述步骤的方法：
获取目标图像；
从目标图像提取包括人脸器官的人脸区域；
通过比较人脸器官和多个保存的模型人脸器官，识别模型人脸器官；
判定与所识别的模型人脸器官对应的实例图像。
14.按照权利要求13所述的非临时性计算机可读介质，其中：
所述识别还包括调整包括人脸器官的人脸区域的大小和从调整大小后的人脸区域中裁切人脸器官。
15.按照权利要求14述的非临时性计算机可读介质，其中：
所述识别还包括计算与从调整大小后的人脸区域裁切的人脸器官对应的得分向量。
16.按照权利要求15述的非临时性计算机可读介质，其中：
所述识别还包括通过比较计算的得分向量和与保存在存储单元中的多个模型人脸器官中的每一个对应的多个得分向量，识别模型人脸器官。
17.一种由信息处理设备执行的图像生成方法，所述方法包括：
由信息处理设备的图像获取单元获取目标图像；
由信息处理设备的处理器从目标图像提取包括人脸器官的人脸区域；
由信息处理设备的处理器通过比较人脸器官和保存在存储单元中的多个模型人脸器官，识别模型人脸器官；和
由信息处理设备的处理器判定与所识别的模型人脸器官对应的实例图像。
18.按照权利要求17所述的方法，其中：
所述识别还包括调整包括人脸器官的人脸区域的大小和从调整大小后的人脸区域中裁切人脸器官。
19.按照权利要求18所述的方法，其中：
所述识别还包括计算与从调整大小后的人脸区域裁切的人脸器官对应的得分向量，和通过比较计算的得分向量和与保存在存储单元中的多个模型人脸器官中的每一个对应的多个得分向量，识别模型人脸器官。
20.一种信息处理设备，包括：
获取目标图像的装置；
从目标图像提取包括人脸器官的人脸区域的装置；
通过比较人脸器官和保存在存储单元中的多个模型人脸器官，识别模型人脸器官的装置；和
判定与识别的模型人脸器官对应的实例图像的装置。
CN2010105060640A 2009-10-21 2010-10-13 信息处理设备，信息处理方法和程序 Pending CN102043965A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009242771A JP2011090466A (ja) 2009-10-21 2009-10-21 情報処理装置及び方法、並びにプログラム
JP2009-242771 2009-10-21

Publications (1)

Publication Number Publication Date
CN102043965A true CN102043965A (zh) 2011-05-04

Family

ID=43721276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010105060640A Pending CN102043965A (zh) 2009-10-21 2010-10-13 信息处理设备，信息处理方法和程序

Country Status (4)

Country Link
US (1) US8625859B2 (zh)
EP (1) EP2315158B1 (zh)
JP (1) JP2011090466A (zh)
CN (1) CN102043965A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324909A (zh) * 2012-03-15 2013-09-25 谷歌公司 面部特征检测
CN103632131A (zh) * 2012-08-24 2014-03-12 三星泰科威株式会社 用于提取对象的设备和方法
CN103916588A (zh) * 2012-12-28 2014-07-09 三星电子株式会社 图像变换设备和方法
CN104573623A (zh) * 2013-10-09 2015-04-29 爱信精机株式会社 人脸检测装置、方法
CN109145704A (zh) * 2018-06-14 2019-01-04 西安电子科技大学 一种基于人脸属性的人脸画像识别方法
CN111753837A (zh) * 2019-03-28 2020-10-09 株式会社石田 学习完毕模型生成方法及其装置、商品判别方法及其装置

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012068948A (ja) * 2010-09-24 2012-04-05 Renesas Electronics Corp 顔属性推定装置およびその方法
US9053356B2 (en) * 2010-10-22 2015-06-09 Nec Solution Innovators, Ltd. Attribute determining method, attribute determining apparatus, program, recording medium, and attribute determining system
WO2012139276A1 (en) * 2011-04-11 2012-10-18 Intel Corporation Avatar facial expression techniques
TWI467498B (zh) * 2011-12-19 2015-01-01 Ind Tech Res Inst 影像識別方法及系統
JP5927972B2 (ja) * 2012-02-16 2016-06-01 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
JP5966657B2 (ja) * 2012-06-22 2016-08-10 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
US20140071121A1 (en) * 2012-09-11 2014-03-13 Digital Signal Corporation System and Method for Off Angle Three-Dimensional Face Standardization for Robust Performance
JP6115932B2 (ja) * 2012-09-20 2017-04-19 株式会社エクシング 音発生装置及び音発生用プログラム
JP6111723B2 (ja) * 2013-02-18 2017-04-12 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
WO2014139142A1 (en) * 2013-03-15 2014-09-18 Intel Corporation Scalable avatar messaging
JP5742873B2 (ja) * 2013-05-08 2015-07-01 株式会社デンソー 物体識別装置
EP2816502A1 (en) 2013-06-17 2014-12-24 Betser Information Technologies Limited Retouching of portait images based on supervised face feature detection
JP2016118991A (ja) * 2014-12-22 2016-06-30 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
JP6664163B2 (ja) * 2015-08-05 2020-03-13 キヤノン株式会社 画像識別方法、画像識別装置及びプログラム
US10860887B2 (en) * 2015-11-16 2020-12-08 Samsung Electronics Co., Ltd. Method and apparatus for recognizing object, and method and apparatus for training recognition model
CN106778453B (zh) * 2015-11-25 2020-05-12 腾讯科技（深圳）有限公司 人脸图像中检测眼镜佩戴的方法及装置
CN106887024B (zh) * 2015-12-16 2019-09-17 腾讯科技（深圳）有限公司 照片的处理方法及处理***
JP6148426B1 (ja) * 2016-05-27 2017-06-14 楽天株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP6872742B2 (ja) * 2016-06-30 2021-05-19 学校法人明治大学 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
CN107369202B (zh) * 2017-07-10 2020-04-21 北京航空航天大学 姿势引导的跨类别三维模型组合建模方法及装置
CN108509915B (zh) * 2018-04-03 2021-10-26 百度在线网络技术（北京）有限公司 人脸识别模型的生成方法和装置
US11055887B2 (en) * 2018-11-29 2021-07-06 Adobe Inc. Modifying digital content with digital effects using facial skin mask
JP7358881B2 (ja) * 2019-09-26 2023-10-11 株式会社Ｊｖｃケンウッド アバター生成装置、移動体端末、服飾マッチングシステム、アバター生成方法およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101034481A (zh) * 2007-04-06 2007-09-12 湖北莲花山计算机视觉和信息科学研究院 一种肖像画的自动生成方法
CN101159064A (zh) * 2007-11-29 2008-04-09 腾讯科技（深圳）有限公司 画像生成***以及按照图像生成画像的方法
CN101169830A (zh) * 2007-11-30 2008-04-30 西安电子科技大学 基于嵌入式隐马尔可夫模型和选择性集成的人脸画像自动生成方法
CN101308571A (zh) * 2007-05-15 2008-11-19 上海中科计算技术研究所 一种利用主动网格与人脸识别结合生成新人脸的方法
CN101482925A (zh) * 2009-01-16 2009-07-15 西安电子科技大学 基于局部嵌入式隐马尔可夫模型的照片生成方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08305836A (ja) 1995-05-09 1996-11-22 Casio Comput Co Ltd 顔画像作成装置
JP3139617B2 (ja) 1996-03-25 2001-03-05 オムロン株式会社 似顔絵作成方法及び装置
GB9626825D0 (en) * 1996-12-24 1997-02-12 Crampton Stephen J Avatar kiosk
JP3444148B2 (ja) * 1997-07-07 2003-09-08 株式会社ナビタイムジャパン 眉描画方法
AU1613599A (en) * 1997-12-01 1999-06-16 Arsev H. Eraslan Three-dimensional face identification system
US6504546B1 (en) * 2000-02-08 2003-01-07 At&T Corp. Method of modeling objects to synthesize three-dimensional, photo-realistic animations
US6845171B2 (en) * 2001-11-19 2005-01-18 Microsoft Corporation Automatic sketch generation
KR100523742B1 (ko) * 2002-03-26 2005-10-26 김소운 3차원 안경 시뮬레이션 시스템 및 방법
JP2004005265A (ja) * 2002-05-31 2004-01-08 Omron Corp 画像合成方法、画像合成装置、画像合成システム
US7227976B1 (en) * 2002-07-08 2007-06-05 Videomining Corporation Method and system for real-time facial image enhancement
EP1599830A1 (en) * 2003-03-06 2005-11-30 Animetrics, Inc. Generation of image databases for multifeatured objects
JP4517633B2 (ja) 2003-11-25 2010-08-04 ソニー株式会社 対象物検出装置及び方法
EP1766555B1 (en) * 2004-06-21 2010-08-04 Google Inc. Single image based multi-biometric system and method
JP4588575B2 (ja) * 2005-08-09 2010-12-01 富士フイルム株式会社 デジタル画像の複数対象物検出方法および装置並びにプログラム
US20070080967A1 (en) * 2005-10-11 2007-04-12 Animetrics Inc. Generation of normalized 2D imagery and ID systems via 2D to 3D lifting of multifeatured objects
JP4829141B2 (ja) * 2007-02-09 2011-12-07 株式会社東芝 視線検出装置及びその方法
US8111281B2 (en) * 2007-06-29 2012-02-07 Sony Ericsson Mobile Communications Ab Methods and terminals that control avatars during videoconferencing and other communications
JP2009163465A (ja) * 2007-12-29 2009-07-23 Yurakusha:Kk 似顔絵イラストデータ提供システム
EP2263190A2 (en) * 2008-02-13 2010-12-22 Ubisoft Entertainment S.A. Live-action image capture
US8818883B2 (en) * 2009-07-23 2014-08-26 Apple Inc. Personalized shopping avatar
US8818131B2 (en) * 2010-08-20 2014-08-26 Adobe Systems Incorporated Methods and apparatus for facial feature replacement
KR101514327B1 (ko) * 2010-11-04 2015-04-22 한국전자통신연구원 얼굴 아바타 생성 장치 및 방법
US9352225B2 (en) * 2011-08-18 2016-05-31 Game Nation, Inc. System and method for providing a multi-player game experience

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101034481A (zh) * 2007-04-06 2007-09-12 湖北莲花山计算机视觉和信息科学研究院 一种肖像画的自动生成方法
CN101308571A (zh) * 2007-05-15 2008-11-19 上海中科计算技术研究所 一种利用主动网格与人脸识别结合生成新人脸的方法
CN101159064A (zh) * 2007-11-29 2008-04-09 腾讯科技（深圳）有限公司 画像生成***以及按照图像生成画像的方法
CN101169830A (zh) * 2007-11-30 2008-04-30 西安电子科技大学 基于嵌入式隐马尔可夫模型和选择性集成的人脸画像自动生成方法
CN101482925A (zh) * 2009-01-16 2009-07-15 西安电子科技大学 基于局部嵌入式隐马尔可夫模型的照片生成方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324909A (zh) * 2012-03-15 2013-09-25 谷歌公司 面部特征检测
CN103324909B (zh) * 2012-03-15 2015-04-29 谷歌公司 面部特征检测
CN103632131A (zh) * 2012-08-24 2014-03-12 三星泰科威株式会社 用于提取对象的设备和方法
CN103632131B (zh) * 2012-08-24 2018-05-04 韩华泰科株式会社 用于提取对象的设备和方法
CN103916588A (zh) * 2012-12-28 2014-07-09 三星电子株式会社 图像变换设备和方法
CN104573623A (zh) * 2013-10-09 2015-04-29 爱信精机株式会社 人脸检测装置、方法
CN104573623B (zh) * 2013-10-09 2020-07-31 爱信精机株式会社 人脸检测装置、方法
CN109145704A (zh) * 2018-06-14 2019-01-04 西安电子科技大学 一种基于人脸属性的人脸画像识别方法
CN109145704B (zh) * 2018-06-14 2022-02-22 西安电子科技大学 一种基于人脸属性的人脸画像识别方法
CN111753837A (zh) * 2019-03-28 2020-10-09 株式会社石田 学习完毕模型生成方法及其装置、商品判别方法及其装置

Also Published As

Publication number Publication date
EP2315158A3 (en) 2013-08-14
JP2011090466A (ja) 2011-05-06
US8625859B2 (en) 2014-01-07
US20110091071A1 (en) 2011-04-21
EP2315158A2 (en) 2011-04-27
EP2315158B1 (en) 2018-08-01

Similar Documents

Publication Publication Date Title
CN102043965A (zh) 信息处理设备，信息处理方法和程序
CN102576461B (zh) 评估数字图像的美学质量
JP4908505B2 (ja) 撮影者を利用した画像の分類
US7764828B2 (en) Method, apparatus, and computer program for processing image
CN1475969B (zh) 用于增强人像图像的方法和***
US7555148B1 (en) Classification system for consumer digital images using workflow, face detection, normalization, and face recognition
US7551755B1 (en) Classification and organization of consumer digital images using workflow, and face detection and recognition
US8300883B2 (en) Sketch generating system and method for generating sketch based on image
US7587068B1 (en) Classification database for consumer digital images
US7564994B1 (en) Classification system for consumer digital images using automatic workflow and face detection and recognition
US7522773B2 (en) Using time in recognizing persons in images
CN100423020C (zh) 一种基于结构主元分析的人脸识别方法
TW201931179A (zh) 用於虛擬面部化妝之移除與模擬、快速面部偵測及標記追蹤、降低輸入視訊之延遲及振動的系統與方法，以及用於建議化妝之方法
CN111667400B (zh) 一种基于无监督学习的人脸轮廓特征风格化生成方法
US20100066822A1 (en) Classification and organization of consumer digital images using workflow, and face detection and recognition
US20060126964A1 (en) Method of and system for image processing and computer program
CN102214361A (zh) 信息处理设备、方法和程序
EP2450852A1 (fr) Procédé et dispositif de simulation virtuelle d' une image
CN110263768A (zh) 一种基于深度残差网络的人脸识别方法
CN114565602A (zh) 基于多通道融合的图像识别方法、装置和存储介质
CN115564638A (zh) 网络训练方法、图像换脸方法、装置和电子设备
Nachlieli et al. Skin-sensitive automatic color correction
CN110738112A (zh) 人脸图像模拟方法、装置、计算机设备和存储介质
Zhang et al. Exemplar‐Based Portrait Photograph Enhancement as Informed by Portrait Paintings
CN114898415A (zh) 信息处理装置、信息处理方法和面部图像分类装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20110504