CN103890811A - 计测对象提取装置、面部形状估计装置、计测对象提取方法以及面部形状估计方法 - Google Patents

计测对象提取装置、面部形状估计装置、计测对象提取方法以及面部形状估计方法 Download PDF

Info

Publication number
CN103890811A
CN103890811A CN201280051327.0A CN201280051327A CN103890811A CN 103890811 A CN103890811 A CN 103890811A CN 201280051327 A CN201280051327 A CN 201280051327A CN 103890811 A CN103890811 A CN 103890811A
Authority
CN
China
Prior art keywords
face shape
face
estimate
evaluation
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280051327.0A
Other languages
English (en)
Other versions
CN103890811B (zh
Inventor
筑泽宗太郎
久保谷宽行
Z.牛
S.普拉纳塔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN103890811A publication Critical patent/CN103890811A/zh
Application granted granted Critical
Publication of CN103890811B publication Critical patent/CN103890811B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

公开了能够以高精度和低计算量估计难以仅用二维图像检测的、产生了立体的表情变化的面部形状的计测对象提取装置。在该装置中，面部纹理评价值计算单元(103)对于多个面部形状候选的每个面部形状候选，计算表示输入的面部图像与面部形状候选的纹理的重合度的面部纹理评价值，面部表情变化似然计算单元(104)对于多个面部形状候选的每个面部形状候选，计算成为基准的面部形状与面部形状候选之间的第一似然，相关评价单元(105)对于多个面部形状候选的每个面部形状候选，计算表示面部纹理评价值与第一似然之间的相关的强度的第一相关评价值，提取单元(107)提取多个面部形状候选中的、第一相关评价值低于第一阈值的面部形状候选作为计测对象。

Description

计测对象提取装置、面部形状估计装置、计测对象提取方法以及面部形状估计方法
技术领域
本发明涉及计测对象提取装置、面部形状估计装置、计测对象提取方法以及面部形状估计方法。
背景技术
为了获知人的感情或状态，有时会估计表情发生变化的面部形状。例如，在驾驶车辆中产生了睡意时，驾驶员的面部往往会产生皱眉、伴随深呼吸而撅起嘴唇、鼓起脸颊这样的表情变化。因此，这些表情变化成为用于检查驾驶员的睡意的指标。
在以往使用的面部形状估计方法中，为了提高面部形状的估计精度，设置“眼、鼻或嘴等面部部位处于无表情时的标准形状和位置”的限制，从而估计面部形状。但是，在该面部形状估计方法中，由于设置了该限制，因此无法检测脱离标准形状并发生了上述表情变化的面部。此外，在此，“表情变化”指的是面部处于不是无表情的状态。
与此不同，在非专利文献1所公开的技术(以下称为现有技术1)中，预先学习产生了表情变化的面部的图像，从而检测表情变化时的面部部位的形状和位置。另外，在专利文献1(以下称为现有技术2)所公开的技术中，对面部部位的三维位置进行测距，根据面部部位的三维位置估计面部的立体形状。由此，在非专利文献1或专利文献1所公开的技术中，能够检测发生了上述表情变化的面部。
现有技术文献
专利文献
专利文献1：日本特开2005-182247号公报
非专利文献
非专利文献1：Paul Viola and Michael J.Jones，″Rapid Object Detectionusing a Boosted Cascade of Simple Features″，IEEE CVPR，2001
发明内容
发明要解决的问题
但是，在现有技术1中，用于学***面上)没有变化、但在三维上(立体上)发生变化时的表情变化。例如，在现有技术1中，无法对应于撅起嘴唇、鼓起脸颊等表情变化。
另外，在现有技术2中，为了检测表情变化(估计面部的立体形状)，需要对面部整体的三维位置进行测距，面部形状估计的计算处理量变得庞大。因此，在现有技术2中，难以实时地检测产生了表情变化的面部。
本发明的目的在于，提供计测对象提取装置、面部形状估计装置、计测对象提取方法以及面部形状估计方法，其能够以高精度和低计算量估计难以仅用二维图像检测的、产生了立体的表情变化的面部形状。
解决问题的方案
本发明的一个方案的计测对象提取装置，提取多个面部形状候选中的成为三维形状的计测对象的候选，采用的结构包括：面部纹理评价值计算单元，对于所述多个面部形状候选的每个面部形状候选，计算表示输入的面部图像与所述面部形状候选的纹理的重合度的面部纹理评价值；似然计算单元，对于所述多个面部形状候选的每个面部形状候选，计算成为基准的面部形状与所述面部形状候选之间的第一似然；相关评价单元，对于所述多个面部形状候选的每个面部形状候选，计算表示所述面部纹理评价值与所述第一似然之间的相关的强度的第一相关评价值；以及提取单元，提取所述多个面部形状候选中的所述第一相关评价值小于第一阈值的面部形状候选作为所述计测对象。
本发明的一个方案的面部形状估计装置采用的结构包括：所述计测对象提取装置；三维形状计测单元，对在所述计测对象提取装置中作为所述计测对象提取出的面部形状候选的三维形状进行计测；形状候选评价单元，对于所述多个面部形状候选的每个面部形状候选，基于所述面部纹理评价值和所述第一似然，计算第一形状候选评价值；再评价单元，对于所述提取出的面部形状候选的每个面部形状候选，使用所述三维形状计算第二形状候选评价值；以及确定单元，基于所述第一形状候选评价值和所述第二形状候选评价值，从所述多个面部形状候选中确定对所述面部图像的估计形状。
本发明的一个方案的计测对象提取方法，提取多个面部形状候选中的、成为三维形状的计测对象的候选，包括如下步骤：对于所述多个面部形状候选的每个面部形状候选，计算表示输入的面部图像与所述面部形状候选的纹理的重合度的面部纹理评价值的步骤；对于所述多个面部形状候选的每个面部形状候选，计算成为基准的面部形状与所述面部形状候选之间的第一似然的步骤；对于所述多个面部形状候选的每个面部形状候选，计算表示所述面部纹理评价值与所述第一似然之间的相关的强度的第一相关评价值的步骤；以及提取所述多个面部形状候选中的所述第一相关评价值低于第一阈值的面部形状候选作为所述计测对象的步骤。
本发明的一个方案的面部形状估计方法，包括如下步骤：计测通过所述计测对象提取方法作为所述计测对象提取出的面部形状候选的三维形状的步骤；对于所述多个面部形状候选的每个面部形状候选，基于所述面部纹理评价值和所述第一似然，计算第一形状候选评价值的步骤；对于所述提取出的面部形状候选的每个面部形状候选，使用所述三维形状计算第二形状候选评价值的步骤；以及基于所述第一形状候选评价值和所述第二形状候选评价值，确定所述多个面部形状候选中的、对所述面部图像的估计形状的步骤。
发明效果
根据本发明，能够以高精度和低计算量估计难以仅用二维图像检测的、产生了立体的表情变化的面部形状。
附图说明
图1是表示本发明实施方式1的计测对象提取装置的主要结构的框图。
图2是表示本发明实施方式1的计测对象提取装置的结构的框图。
图3是表示本发明实施方式1的其他计测对象提取装置的结构的框图。
图4是表示本发明实施方式1的其他计测对象提取装置的结构的框图。
图5是表示本发明实施方式1的面部形状估计装置的结构的框图。
图6是表示本发明实施方式1的面部形状估计装置的工作的流程图。
图7是表示本发明实施方式1的面部纹理评价值与面部表情变化似然之间的相关的图。
图8是表示本发明实施方式1的面部纹理评价值与面部表情变化似然之间的相关的图。
图9是表示本发明实施方式2的计测对象提取装置的结构的框图。
图10是表示本发明实施方式2的面部形状估计装置的结构的框图。
图11是表示本发明实施方式2的面部形状估计装置的工作的流程图。
图12是表示本发明实施方式3的计测对象提取装置的结构的框图。
图13是表示本发明实施方式3的面部形状估计装置的工作的流程图。
图14是用于说明本发明实施方式3的表情肌似然的计算方法的图。
图15是表示本发明实施方式4的面部形状估计装置的结构的框图。
图16是表示本发明实施方式4的面部形状估计装置的工作的流程图。
标号说明
100、300、500 计测对象提取装置
200、400、600 面部形状估计装置
101 输入单元
102、102a、102b 面部形状候选保持单元
103、301 面部纹理评价值计算单元
104、302 面部表情变化似然计算单元
105、303 相关评价单元
106、304 判断单元
107、305 提取单元
201 形状候选评价单元
202、401 三维计测单元
203、402、601 再评价单元
204 确定单元
501 表情肌似然计算单元
具体实施方式
以下，参照附图详细地说明本发明的各实施方式。
＜实施方式1＞
图1是表示本实施方式的计测对象提取装置100的主要结构的框图。图1所示的计测对象提取装置100主要包括面部纹理评价值计算单元103、面部表情变化似然计算单元104、相关评价单元105、以及提取单元107。计测对象提取装置100从多个面部形状候选中提取成为三维形状的计测对象的候选。
在计测对象提取装置100中，面部纹理评价值计算单元103对于多个面部形状候选的每个面部形状候选，计算表示输入的面部图像与面部形状候选的纹理(texture)之间的重合度的面部纹理评价值。面部表情变化似然计算单元104对于多个面部形状候选的每个面部形状候选，计算成为基准的面部形状与面部形状候选之间的第一似然(面部表情变化似然)。相关评价单元105对于多个面部形状候选的每个面部形状候选，计算表示面部纹理评价值与第一似然之间的相关的强度的第一相关评价值。提取单元107提取多个面部形状候选中第一相关评价值低于第一阈值的面部形状候选作为计测对象。
[计测对象提取装置100的结构]
图2是表示本实施方式的计测对象提取装置100的结构的框图。在图2中，计测对象提取装置100包括输入单元101、面部形状候选保持单元102、面部纹理评价值计算单元103、面部表情变化似然计算单元104、相关评价单元105、判断单元106、以及提取单元107。
输入单元101获得从外部输入的二维图像，将其输出到面部纹理评价值计算单元103。输入单元101获得的图像，可以是通过设置在例如方向盘上、或者仪表板上等能够拍摄面部的位置上的照相机拍摄到的图像，也可以是从预先拍摄好的视频影像数据每帧切出数据而得到的图像，或者可以是保存在存储器等中的图像。另外，输入到输入单元101的图像也可以是通过具有例如CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)图像传感器和镜头的数码相机拍摄到的PPM格式(Portable Pix Map fileformat：可移植像素图格式)的图像。
面部形状候选保持单元102至少保持一个以上的面部形状候选，将面部形状候选输出到面部纹理评价值计算单元103和面部表情变化似然计算单元104。“面部形状候选”是由面部的多个特征点的坐标(三维坐标)、以及作为各特征点的亮度信息的纹理(各特征点的图像)构成的数据。例如，面部形状候选，由分别表示面部的外眼角、内眼角、嘴角、眉头等面部部位的特征点的三维坐标、以及表示特征点周围的亮度分布的纹理来表现。
面部纹理评价值计算单元103比较从输入单元101输入的图像(输入图像)和从面部形状候选保持单元102输入的面部形状候选，计算对输入图像的面部纹理评价值。面部纹理评价值计算单元103将对于每个面部形状候选的面部纹理评价值输出到相关评价单元105。
“面部纹理评价值”是表示面部形状候选的纹理(在面部形状候选中包含的特征点的纹理)与输入图像的重合度(二维上的重合度)的值。特征点的纹理与输入图像的重合度越高，则面部纹理评价值越高。例如，也可以是，面部纹理评价值计算单元103对于某面部形状候选，分别计算该面部形状候选的多个特征点处与输入图像的重合度(评价值)，将各特征点的重合度(评价值)的总和设为该面部形状候选的面部纹理评价值。
具体而言，面部纹理评价值计算单元103首先在输入图像上投影面部形状候选的各特征点，计算各特征点的输入图像平面上的二维坐标。接着，面部纹理评价值计算单元103对计算出的二维坐标周围的输入图像(纹理)与面部形状候选的各特征点的纹理的重合度进行计算。例如通过SAD(Sum ofAbsolute Difference：绝对差值求和)或归一化互相关计算重合度。
面部表情变化似然计算单元104使用从面部形状候选保持单元102输入的面部形状候选计算面部表情变化似然，并将对于每个面部形状候选的面部表情变化似然输出到相关评价单元105。“面部表情变化似然”是表示表情发生变化的面部的自然度的值。即，“面部表情变化似然”是表示面部形状候选所表示的面部形状作为面部形成何种程度的自然形状的值。
面部表情变化似然是成为基准的面部形状与面部形状候选之间的似然。例如，在将成为基准的面部形状设为无表情时的面部形状时，距离无表情的状态的变化量越大，则面部表情变化似然的值越低。例如，面部表情变化似然计算单元104也可以将如下的值作为该面部形状候选的面部表情变化似然，即：与某面部形状候选的特征点的三维坐标和与无表情的面部形状(成为基准的面部形状)的上述特征点对应的位置的三维坐标之间的变化量(即距离)的总和成反比例的函数的值。
相关评价单元105对于每个面部形状候选，计算表示从面部纹理评价值计算单元103输入的面部纹理评价值、与从面部表情变化似然计算单元104输入的面部表情变化似然之间的相关的强度的相关评价值，将相关评价值输出到判断单元106。“相关评价值”例如以如下值表示，即：以面部纹理评价值和面部表情变化似然表示的样本集合的、距面部纹理评价值和面部表情变化似然的比例直线的距离的倒数等。此时，面部纹理评价值和面部表情变化似然的相关越强(距比例直线的距离越小)，相关评价值取越大的的值。
判断单元106判断从相关评价单元105输入的、各面部形状候选的相关评价值是否小于规定的阈值，将判断结果输出到提取单元107。
提取单元107提取如下面部形状候选作为三维形状的计测对象，该面部形状候选为面部形状候选保持单元102所保持的面部形状候选中的、从判断单元106输入的判断结果为相关评价值小于规定的阈值的面部形状候选。即，提取单元107提取面部纹理评价值与面部表情变化似然之间的相关弱的面部形状候选。由此，在面部形状候选保持单元102中保持的多个面部形状候选中，仅由提取单元107提取出的面部形状候选成为三维形状的计测(三维测距)的对象。
此外，在本实施方式中，对在计测对象提取装置100中，作为计算面部表情变化似然的基准，使用无表情时的面部形状的情况进行说明。但是，例如当能够相信在先前规定的时间估计出的面部形状时，计测对象提取装置100也可以使用先前估计出的面部形状作为计算面部表情变化似然的基准。例如，也可以是，在图3所示的计测对象提取装置100中，面部形状候选保持单元102a保持在先前规定的时间取得的有关面部的形状的信息(形状信息)。形状信息与图2中的面部形状候选同样，由面部的多个特征点的坐标(三维坐标)、以及作为各特征点的亮度信息的纹理(各特征点的图像)构成。另外，在先前规定的时间估计出的与面部有关的形状信息既可以是实际计测出的值，可以是在其他***所估计的值，也可以是后述的面部形状估计装置200(图5)中的估计结果。
另外，在计测对象提取装置100中，作为计算面部表情变化似然的基准，在使用无表情时的面部形状的情况下，也可以预先计算面部表情变化似然。因此，也可以是，例如在图4所示的计测对象提取装置100中，面部形状候选保持单元102b保持预先计算出的、各面部形状候选的面部表情变化似然，将面部表情变化似然直接输出到相关评价单元105。即，此时，不需要面部表情变化似然计算单元104。
[面部形状估计装置200的结构]
图5是表示本实施方式的面部形状估计装置200的结构的框图。在图5中，面部形状估计装置200包括：计测对象提取装置100(图2)、形状候选评价单元201、三维计测单元202、再评价单元203、以及确定单元204。
以下，作为一例，说明面部形状估计装置200基于多个面部形状候选估计面部形状的情况。
在形状候选评价单元201中，从计测对象提取装置100的面部纹理评价值计算单元103输入面部纹理评价值，从计测对象提取装置100的面部表情变化似然计算单元104输入面部表情变化似然。形状候选评价单元201使用面部纹理评价值和面部表情变化似然，计算各面部形状候选的形状候选评价值，将形状候选评价值输出到确定单元204。“形状候选评价值”是表示在输入图像拍摄时的面部形状和面部形状候选的重合度(评价值)的值，例如以面部纹理评价值与面部表情变化似然之积表示。
三维计测单元202计测(测距)通过计测对象提取装置100的提取单元107作为三维形状的计测对象(三维测距对象)提取出的面部形状候选投影到输入图像的图像位置的三维形状，将各面部形状候选的计测出的三维形状输出到再评价单元203。例如，三维计测单元202将面部形状候选投影到输入图像平面，对于投影的图像区域进行测距。通过利用例如激光距离传感器或立体摄影机等距离传感器来实施测距。
再评价单元203基于从三维计测单元202输入的三维形状、从提取单元107输入的面部形状候选，计算三维形状的计测对象即每个面部形状候选的新评价值，将新评价值输出到确定单元204。“新评价值”是表示面部形状候选与三维形状的重合度的值。面部形状候选与三维形状的重合度越高，则新评价值越高。例如，也可以是，再评价单元203比较从提取单元107输入的面部形状候选的各特征点(三维坐标)与三维形状(三维坐标)，分别计算该面部形状候选的多个特征点的与三维形状的重合度(评价值)，将各特征点的重合度(评价值)的总和与该面部形状候选的面部纹理评价值之积设为该面部形状候选的新评价值。即，新评价值(从三维形状求得的评价值)是相当于形状候选评价值(从二维图像求得的评价值)的值。
确定单元204基于面部形状候选、从形状候选评价单元201输入的形状候选评价值以及从再评价单元203输入的新评价值，确定面部形状候选保持单元102保持的面部形状候选中的、成为对输入图像(面部图像)的估计形状的候选。例如，确定单元204将包含新评价值和形状候选评价值的评价值中的最大值所对应的面部形状候选，确定为对输入图像的面部的估计形状。
此外，也可以是，确定单元204基于使用新评价值和形状候选评价值而计算的权重，通过求多个面部形状候选(三维坐标)的加权平均，从而确定对输入图像的估计形状。其中，确定单元204对于计算出新评价值的面部形状候选，并不是将形状候选评价值而是将新评价值用作权重。另外，也可以是，确定单元204并不将新评价值或形状候选评价值作为权重直接使用，而是使用将各评价值平方后所得到的值，或者使用将新评价值或形状候选评价值作为变量的S型函数那样的单调增加函数。
[面部形状估计装置200的工作]
说明具有以上结构的面部形状估计装置200的工作。图6是表示面部形状估计装置200的面部形状的估计处理的流程图。例如，利用照相机拍摄图像时，图6所示的处理流程与拍摄作业一同开始。另外，拍摄作业既可以通过用户的操作开始，也可以将来自外部的某些信号作为触发而开始。
在图6所示的步骤(以下用“S”表示)101中，输入单元101取得拍摄到人物面部的图像(输入图像)，将输入图像输出到面部纹理评价值计算单元103。
在S102中，面部纹理评价值计算单元103根据从面部形状候选保持单元102输入的面部形状候选、以及在S101中从输入单元101输入的输入图像，计算各面部形状候选的面部纹理评价值。
在S103中，面部表情变化似然计算单元104计算从面部形状候选保持单元102输入的面部形状候选的面部表情变化似然。
在S104中，形状候选评价单元201根据在S102中计算出的面部纹理评价值和在S103中计算出的面部表情变化似然，计算面部形状候选的形状候选评价值。例如，形状候选评价值被计算为面部纹理评价值与面部表情变化似然之积或和。
在S105中，相关评价单元105计算在S102中计算出的面部纹理评价值与在S103中计算出的面部表情变化似然的相关评价值e。例如，通过以下的方法计算相关评价值e。首先，相关评价单元105将多个面部形状候选的面部纹理评价值和面部表情变化似然作为样本集合，计算将面部纹理评价值和面部表情变化似然作为变量时的第一主分量，取得表示第一主分量的直线。此外，相关评价单元105代替表示第一主成分的直线而使用预先取得的面部纹理评价值和面部表情变化似然的比例直线。接着，相关评价单元105计算作为第一主分量的直线与作为评价对象的面部形状候选(以面部纹理评价值和面部表情变化似然表示的采样点)之间的距离d。然后，相关评价单元105依照以下的式(1)计算相关评价值e。
e = 1 1 + d . . . ( 1 )
此时，输入图像的面部表情没有从计算面部表情变化似然时使用的无表情状态的面部形状(或在先前规定的时刻取得的面部形状。即成为基准的面部形状)发生较大的变化时，面部纹理评价值和面部表情变化似然的关系如下。在与输入图像近似的面部形状候选中，面部纹理评价值和面部表情变化似然均成为较高的值，在与输入图像很大不同的面部形状候选中，面部纹理评价值和面部表情变化似然均成为较低值(参照图7)。因此，在面部纹理评价值和面部表情变化似然中难以产生一者高、另一者低这种状态，因此样本集合分布在表示第一主分量的直线的周边(参照图7)。
另一方面，输入图像的面部表情从计算出面部表情变化似然时使用的无表情状态的面部形状(或在先前规定的时刻)取得的面部形状。即成为基准的面部形状)发生较大变化时，与输入图像不近似的面部形状候选中，面部纹理评价值较低，因此面部纹理评价值和面部表情变化似然均成为低值(参照图7)，在输入图像(二维图像)上其区别并不太表现出来的情况下，不会成为上述那样的分布(参照图7)。
例如，半张嘴的面部形状和撅起嘴的面部形状，其投影到二维平面上的面部的特征点的位置为大致相同的位置。另外，上述两种面部形状与作为基准的面部形状即无表情时的面部形状，在二维图像上近似。因此，在输入图像(二维图像)上，对于表示上述2种面部形状的面部形状候选的面部纹理评价值，两者均为高值(参照图8)。即，在二维图像上，可以说上述2种面部形状候选难以区别。另一方面，半张嘴的面部形状与无表情状态的面部形状(成为基准的面部形状)相比，表情变化小，因此面部表情变化似然成为高值(参照图8)，与此相对，撅起嘴的面部形状候选与无表情状态的面部形状相比，表情变化大，因此面部表情变化似然成为低值(参照图8)。因此，在为半张嘴的面部形状候选时，位于表示第一主分量的直线的周围，因此相关评价值成为高值，与此相对，在为撅起嘴的面部形状候选时，极大地远离表示第一主分量的直线进行分布，因此相关评价值为低值。
这样，根据面部形状(面部表情)的不同，存在仅用二维平面上的评价值(面部纹理评价值)能够区别的面部形状(相关评价值高的面部形状候选)、以及仅用二维平面上的评价值无法区别的面部形状(相关评价值低的面部形状候选)。因此，为了区别仅用二维平面上的评价值无法区别的面部形状，面部形状估计装置200对在二维平面上投影有相关评价值低的面部形状候选的区域进行三维计测，确认实际的三维形状。
因此，计测对象提取装置100通过以下的处理(S106、S107)，提取需要三维形状的计测(测距)的面部形状候选。
在S106中，判断单元106对于各面部形状候选，判断在S105中计算出的相关评价值是否小于规定的阈值。
在S107中，提取单元107提取在S106中判断为具有比规定的阈值小的相关评价值的面部形状候选。提取出的面部形状候选成为三维计测(三维测距)的对象。
在S108中，三维计测单元202对在S107中提取出的面部形状候选(具有小于阈值的相关评价值的面部形状候选)的三维形状进行计测(测距)。
在S109中，再评价单元203基于在S108中取得的三维形状(计测结果)与面部形状候选的各特征点的三维坐标的比较结果、以及面部纹理评价值，计算新评价值。例如，再评价单元203在比较三维形状(计测结果)与面部形状候选的特征点的三维坐标时，首先，对于各特征点计算面部形状候选的特征点的三维坐标与投影到二维平面上的特征点的根据计测结果取得的三维坐标之间的距离。接着，再评价单元203计算对各特征点计算出的距离的总和，取得距离总和作为比较结果。
另外，如上所述，新评价值反映计测结果与面部形状候选的比较结果，是取代形状候选评价值的值，比较结果的值越小，该新评价值越高。再评价单元203例如依照下面的式(2)计算新评价值r。
e t 1 1 + S . . . ( 2 )
其中，et是面部纹理评价值，S是计测结果与面部形状候选之间的距离的总和(比较结果)。此外，式(2)是面部表情变化似然的值取0～1的值时的式子。
在S110中，确定单元204基于在S104中计算出的所有面部形状候选的形状候选评价值、以及在S109中计算出的新评价值，确定对输入图像的估计面部形状。确定单元204例如从全面部形状候选的三维坐标中，将具有包含新评价值和形状候选评价值的所有评价值中的最高值的面部形状候选确定为估计形状。
在S111中，在结束了面部形状的估计处理时(S111：“是”)，面部形状估计装置200使图6所示的处理结束，在面部形状的估计处理没有结束时(S111：“否”)，返回到S101的处理。
这样，在本实施方式中，计测对象提取装置100提取仅用二维图像则无法区别的面部形状候选，将其设为三维形状的计测对象。具体而言，计测对象提取装置100提取面部纹理评价值与面部表情变化似然的相关评价值小于阈值的面部形状候选。例如，计测对象提取装置100仅提取面部纹理评价值高、但面部表情变化似然为低值的面部形状候选(例如，图8中的撅起嘴的面部形状候选)。
另外，在面部形状估计装置200中，形状候选评价单元201对于多个面部形状候选的每个面部形状候选，基于面部纹理评价值和面部表情变化似然(第一似然)，计算形状候选评价值(第一形状候选评价值)，三维计测单元202对在计测对象提取装置100中作为计测对象提取出的面部形状候选的三维形状进行计测，再评价单元203对于提取出的面部形状候选的每个面部形状候选，使用三维形状计算新评价值(第二形状候选评价值)，确定单元204基于形状候选评价值(第一形状候选评价值)和新评价值(第二形状候选评价值)，从多个面部形状候选中确定成为对于面部图像的估计形状的候选。
由此，面部形状估计装置200仅对由计测对象提取装置100提取出的面部形状候选计测三维形状(测距)即可。即，通过计测对象提取装置100来限定面部形状估计装置200中的三维测距的对象。如此一来，面部形状估计装置200不需要对于所有的面部形状候选计测三维形状，能够将用于计测三维形状的计算量抑制得较低。
另外，计测对象提取装置100提取仅用二维图像则无法区别的面部形状候选，面部形状估计装置200对于提取出的面部形状候选计测三维形状，基于计测出的三维形状对形状候选评价值进行再评价。
例如，在图8中，对于成为三维计测的对象的面部形状候选、即撅起嘴的面部形状候选，面部纹理评价值高、并且面部表情变化似然低，所以在形状候选评价单元201中计算的形状候选评价值与半张嘴的面部形状候选比较，成为较小的值。与此不同，面部形状估计装置200对于撅起嘴的面部形状候选计测了三维形状的结果，在三维形状与面部形状候选的差异(式(2)所示的距离S)小的情况下，新评价值r有可能成为高于半张嘴的面部形状候选的形状候选评价值的值。此时，确定单元204将撅起嘴的面部形状候选确定为对于输入图像的估计形状。即，在面部形状估计装置200中，即使是利用二维图像计算出的形状候选评价值小的面部形状候选，在确认了三维形状的结果是与输入图像的差异小的情况下，也计算出较高的值作为相当于形状候选评价值的新评价值。即，可以说，面部形状估计装置200将作为三维形状的计测对象的面部形状候选的评价值，从形状候选评价值更新为新评价值。
如此一来，对于产生了难以仅用二维图像稳定检测的立体表情变化的面部形状，也能够高精度地进行估计。
因此，根据本实施方式，能够以高精度且低计算量估计产生了难以仅用二维图像稳定检测的立体表情变化的面部形状。
＜实施方式2＞
[计测对象提取装置300的结构]
图9是表示本实施方式的计测对象提取装置300的结构的框图。此外，在图9中，对与实施方式1(图2)结构相同的部分标以相同标号，省略其说明。
在图9中，面部纹理评价值计算单元301除了进行与面部纹理评价值计算单元103同样的处理(面部纹理评价值的计算处理)之外，还比较从输入单元101输入的图像(输入图像)与从面部形状候选保持单元102输入的面部形状候选的各面部部位，计算每个面部部位的评价值(面部部位纹理评价值)。“面部部位纹理评价值”是对于面部形状候选的每个特征点、或者对于眼或鼻等各面部部位计算的值，表示与各面部部位对应的区域内的输入图像与面部形状候选的重合度。
例如，面部纹理评价值计算单元301首先在输入图像上投影面部形状候选的各特征点，计算在各特征点的输入图像平面上的二维坐标。接着，面部纹理评价值计算单元301对计算出的二维坐标周边的输入图像(纹理)与面部形状候选的面部部位各特征点的纹理的重合度进行计算。通过例如SAD(Sum ofAbsolute Difference：绝对差值求和)或归一化互相关计算重合度。
此外，面部纹理评价值计算单元301也可以并不是如实施方式1那样作为面部整体的纹理的重合度表示面部纹理评价值，而是作为所有的面部部位的面部部位纹理评价值的总和表示面部纹理评价值。
面部表情变化似然计算单元302除了进行与面部表情变化似然计算单元104同样的处理(面部表情变化似然的计算处理)之外，还对于从面部形状候选保持单元102输入的面部形状候选的每个面部部位，计算面部部位表情变化似然。“面部部位表情变化似然”是表示面部形状候选的各面部部位的自然度的值(即表示面部部位的形状变化作为面部形成何种程度的自然形状的值)。
具体而言，面部表情变化似然计算单元302对于面部形状候选的各面部部位，计算面部部位表情变化似然作为成为基准的面部形状的面部部位与面部形状候选的面部部位之间的似然。例如，也可以是，面部表情变化似然计算单元302将如下值作为该面部部位的面部部位表情变化似然，即，与在先前规定的时刻取得的面部形状(成为基准的面部形状)中的各特征点的坐标和面部形状候选的各面部部位所对应的特征点的坐标之间距离成反比例的函数的值。或者也可以是，面部表情变化似然计算单元302将如下值作为该面部部位的面部部位表情变化似然，即，与预先取得的无表情时的面部形状(成为基准的面部形状)中的各面部部位和面部形状候选的各面部部位所对应的特征点的坐标之间的距离成反比例的函数的值。
相关评价单元303除了进行与相关评价单元105同样的处理(相关评价值的计算处理)之外，还计算面部部位相关评价值，该面部部位相关评价值表示从面部纹理评价值计算单元301输入的面部部位纹理评价值与从面部表情变化似然计算单元302输入的面部部位表情变化似然之间的相关的强度。这样，在计测对象提取装置300中，除了面部整体的相关评价值之外，还对每个面部部位求表示面部部分纹理评价值与面部部分表情变化似然之间的相关的面部部分相关评价值。
判断单元304判断从相关评价单元303输入的各面部形状候选的相关评价值是否小于规定的阈值。进而，判断单元304对于相关评价值小于规定的阈值的面部形状候选，判断各面部部位的面部部位相关评价值是否小于规定的阈值。判断单元304将判断结果输出到提取单元305。
提取单元305基于判断单元304的判断结果，仅将面部形状候选保持单元102所保持的面部形状候选中，相关评价值小于阈值的面部形状候选的各面部部位中的、面部部位相关评价值小于阈值的面部部位提取为三维形状的计测对象。
[面部形状估计装置400的结构]
图10是表示本实施方式的面部形状估计装置400的结构的框图。此外，在图10中，与实施方式1(图5)结构相同的部分标以相同的标号而省略其说明。
在图10中，三维计测单元401仅对于在计测对象提取装置300的提取单元305中提取到的面部形状候选的面部部位，进行三维形状的计测(测距)。
再评价单元402使用在三维计测单元401中计测出的三维形状(计测结果)，计算新评价值。即，再评价单元402进行面部部位的三维形状与面部形状候选的面部部位的比较，计算对包含该面部部位的面部形状候选的新评价值。
[面部形状估计装置400的工作]
说明具有以上结构的面部形状估计装置400的工作。图11是表示面部形状估计装置400的面部形状的估计处理的流程图。此外，在图11中，对与实施方式1(图6)相同的处理标以相同的标号，省略其说明。
在图11所示的S201中，面部纹理评价值计算单元301计算各面部形状候选的面部纹理评价值、以及对于各面部形状候选的各面部部位的面部部位纹理评价值。
在S202中，面部表情变化似然计算单元302计算各面部形状候选的面部表情变化似然、以及对各面部形状候选的各面部部分的面部部位表情变化似然。
在S203中，形状候选评价单元201例如使用在S201中计算出的面部部位纹理评价值和在S202中计算出的面部部位表情变化似然，计算面部形状候选的形状候选评价值。例如，形状候选评价值被计算为各面部部位的面部部位纹理评价值与面部部位表情变化似然之积的总和。此外，也可以是，与实施方式1同样，形状候选评价单元201使用在S201中计算出的面部纹理评价值和在S202中计算出的面部表情变化似然，计算面部形状候选的形状候选评价值。
在S204中，相关评价单元303计算在S201中计算出的面部纹理评价值与在S202中计算出的面部表情变化似然之间的相关评价值e、以及在S201中计算出的各面部部位的面部部位纹理评价值与在S202中计算出的面部部位表情变化似然之间的面部部位相关评价值ep。
与实施方式1中的相关评价值e的计算同样地计算面部部位相关评价值ep。具体而言，相关评价单元303首先将多个面部形状候选的各面部部位纹理评价值和面部部位表情变化似然作为样本集合，计算将面部部位纹理评价值和面部部位表情变化似然作为变量时的第一主分量，取得表示第一主分量的直线。此外，也可以是，相关评价单元303代替表示第一主分量的直线而使用预先取得的面部纹理评价值和面部表情变化似然的比例直线。接着，相关评价单元303计算作为第一主分量的直线与作为评价对象的面部形状候选(面部部位)之间的距离dp。然后，相关评价单元303根据下面的式(3)计算面部部位相关评价值ep。
e p = 1 1 + d p . . . ( 3 )
在S205中，判断单元304对于各面部形状候选，判断在S204中计算出的相关评价值是否小于规定的阈值。进而，判断单元304对于相关评价值小于阈值的面部形状候选的各面部部位，判断在S204中计算出的面部部位相关评价值是否小于规定的阈值。
在S206中，提取单元305提取在S205中判断为具有小于规定的阈值的面部部位相关评价值的面部部位。即，在相关评价值小于阈值的面部形状候选的面部部位中的、面部部位相关评价值小于阈值的面部部位成为三维计测(三维测距)的对象。
此外，也可以是，在提取单元305中，作为三维计测的对象，例如在相关评价值小于阈值的面部形状候选中，选择具有小于阈值的面部部位相关评价值ep的所有面部部位。或者，也可以是，在提取单元305中，在相关评价值小于阈值的面部形状候选中，将面部部位相关评价值ep小于阈值的面部部位中，按照面部部位相关评价值ep从低到高的顺序，选择相对于面部部位的总数的规定比例的面部部位，将选择出的面部部位提取为三维计测的对象。
在S207中，三维计测单元401仅对于在S206中提取出的面部形状候选的面部部位(面部部位相关评价值小于阈值的面部部位)的区域，进行三维形状的计测(测距)。此外，对面部部位的测距的方法也可以与实施方式1相同。
在S208中，再评价单元402进行在S206中取得的面部部位的三维形状(计测结果)与面部形状候选的各面部部位的比较，基于比较结果计算新评价值。
再评价单元402对于各特征点，计算例如面部形状候选的各面部部位的特征点的三维坐标与投影于二维平面上的特征点的、从计测结果取得的三维坐标之间的距离。接着，再评价单元402取得在各特征点计算出的距离作为比较结果。此时，再评价单元402仅对于进行了三维形状的计测(测距)的面部部位所包含的特征点进行计测结果与特征点的三维坐标的比较。
与实施方式1同样，新评价值反映计测结果与面部形状候选的比较结果，是取代形状候选评价值的值，比较结果的值越小，则该新评价值越高。再评价单元402例如依照下面的式(4)计算新评价值r。
r = r ′ + Σe tp 1 1 + S p . . . ( 4 )
其中，r′是没有计测三维形状的面部部位的面部部位纹理评价值与面部部位表情变化似然之积的总和，etp是计测了三维形状的各面部部位的面部纹理评价值，Sp是计测了三维形状的各面部部位的计测结果与面部部位的特征点之间的距离。此外，式(4)是表情变化似然的值取0～1的值时的式子。
这样一来，在本实施方式中，计测对象提取装置300进行面部整体下的评价，并且还对每个面部部位进行评价。由此，与实施方式1同样，能够限定成为面部形状估计装置200中的三维形状的计测对象的面部形状候选。另外，根据本实施方式，在成为三维形状的计测对象的面部形状候选中，进一步限定成为三维计测的对象的面部部位。这样一来，与实施方式1相比，能够进一步削减计算量，以高精度估计面部的形状。
＜实施方式3＞
图12是表示本实施方式的计测对象提取装置500的结构的框图。此外，在图12中，对与实施方式2(图9)结构相同的部分标以相同的标号而省略其说明。在图12所示的计测对象提取装置500中，与实施方式2(图9)相比，取代面部表情变化似然计算单元302而具有表情肌似然计算单元501。
在图12中，表情肌似然计算单元501使用从面部形状候选保持单元102输入的面部形状候选，基于用于使构成面部形状候选的各面部部位活动的肌肉即表情肌的可动范围，对各面部部位计算表情肌似然。“表情肌似然”表示例如面部形状候选的各面部部位的位置与使各面部部位活动的表情肌的可动范围的重合度。
图13是表示本实施方式的面部形状估计装置进行的面部形状的估计处理的流程图。此外，本实施方式的面部形状估计装置与实施方式2的面部形状估计装置400(图10)相比，不同之处仅在于取代计测对象提取装置300(图9)而具有计测对象提取装置500(图12)，因此省略详细的说明。另外，在图13中，对于与实施方式2(图11)相同的处理，标以相同的标号而省略其说明。
在S301中，表情肌似然计算单元501基于用于使各面部部位活动的表情肌的可动范围，计算面部形状候选的面部表情变化似然和表情肌变化似然。
表情肌是用于使面部的表情活动的筋肉，是眼轮匝肌和颧大肌等肌肉的总称。在本实施方式中，计测对象提取装置500预先取得使面部形状候选的各特征点活动的表情肌的伸缩方向。表情肌似然计算单元501比较成为基准的面部形状的特征点的位置与面部形状候选的各面部部位的特征点，取代计算实施方式2中的面部部位表情变化似然，而计算表示从成为基准的面部形状的特征点到面部部位的位置的实际移动方向(及距离)与使各面部部位活动的表情肌的可动范围的重合度的值作为表情肌似然。
具体而言，表情肌似然计算单元501如以下那样计算表情肌似然。
表情肌似然计算单元501在取得表情肌的伸缩方向时，例如对于标准头部形状的人，将连接表情肌附着在骨格上的端点的直线按各个使面部形状候选的特征点活动的表情肌进行计算。然后，表情肌似然计算单元501获得与计算出的直线平行的单位矢量作为各表情肌的伸缩方向。其中，在存在多个使1个特征点活动的表情肌时，表情肌似然计算单元501获得该多个表情肌全部的伸缩方向(单位矢量)作为使该特征点活动的表情肌的伸缩方向。
接着，表情肌似然计算单元501计算表情肌似然时，例如对各特征点，将连接成为基准的面部形状的特征点与面部形状候选的特征点的矢量与作为表情肌的伸缩方向取得的单位矢量所成的角设为θ(参照图14)，计算下述的式(5)所示的表情肌似然k。
k = 1 1 + m cos θ . . . ( 5 )
其中，m是连接成为基准的面部形状的特征点与面部形状候选的特征点的矢量的绝对值(参照图14)。此外，成为基准的面部形状既可以是先前规定的时间的面部形状估计结果，也可以是预先取得的无表情时的面部形状。另外，也可以是，使特征点活动的表情肌存在多个时，表情肌似然计算单元501对于所有的伸缩方向的矢量，计算式(5)所示的k，将计算出的k中的最大值设为该特征点的表情肌似然。
根据式(5)，特征点在与表情肌的伸缩方向不同的方向上越移动(θ越变大)，表情肌似然k取越小的值(θ＝90°时，k为最小值)。另外，通过式(5)，对面部形状候选的特征点的基准的移动量越大(m越大)，表情肌似然k取越小的值。即，表情肌似然k与面部表情变化似然同样，来自成为基准的面部形状的变化量越大，则值越小。
这样一来，在本实施方式中，计测对象提取装置500以称为表情肌的实际控制特征点的活动的部分来规定特征点的活动方向和范围，取得面部形状候选的特征点与表情肌的适合度作为表情肌似然。由此，在本实施方式中，与实施方式1和2的面部表情变化似然同样，用表情肌似然正确地表现面部形状表示的表情变化的作为面部的自然度，因此能够使面部形状的估计精度提高。
＜实施方式4＞
图15是表示本实施方式的面部形状估计装置600的结构的框图。此外，在图15中，对于结构与实施方式1(图5)相同的部分标以相同标号而省略其说明。
在图15中，再评价单元601根据从三维计测单元202输入的计测结果和从输入单元101输入的图像(输入图像)，生成新的面部形状候选，追加到面部形状候选组中。另外，再评价单元601对于追加在面部形状候选组中的新面部形状候选，计算与在形状候选评价单元201中得到的值同样的形状候选评价值作为新评价值。
图16是表示面部形状估计装置600的面部形状的估计处理的流程图。此外，在图16中，对于与实施方式1(图6)相同的处理，标以相同标号而省略其说明。
在图16所示的S401中，再评价单元601首先使用在S108中取得的计测结果来设定投影在输入图像平面上的面部形状候选的特征点的进深，取得设定后的面部形状候选的特征点的三维坐标作为新的面部形状候选的特征点的三维坐标。由此，在面部形状候选组中追加新面部形状候选。
接着，再评价单元601将成为新面部形状候选的特征点的基础的特征点所对应的纹理设定为该新的面部形状候选的纹理。另外，再评价单元601将成为新的面部形状候选的基础的面部形状候选所对应的面部纹理评价值设定为对该新面部形状候选的面部纹理评价值。另外，再评价单元601将对新的面部形状候选的面部表情变化似然设定为可取的最大值。然后，再评价单元601使用设定的面部纹理评价值和面部表情变化似然，计算对新面部形状候选的形状候选评价值(例如面部纹理评价值和面部表情变化似然之积或和)。此外，可取的最大值是指例如面部表情变化似然取-1～1之间的实数值时，最大值为1。
这样，在本实施方式中，面部形状估计装置600追加将三维形状的计测结果反映到特征点的坐标中的新面部形状候选。由此，面部形状估计装置600使用考虑了三维形状的实测值的面部形状候选进行面部形状的估计，由此能够使面部形状的估计精度提高。
以上，说明了本发明的各实施方式。
此外，上述各实施方式的面部形状估计装置的各结构单元的功能也可以通过微计算机执行控制程序来实现。例如，也可以是，面部形状估计装置具有作为控制单元的CPU、记录有控制程序的ROM、程序执行用的RAM、作为拍摄装置的照相机、照明灯、以及作为显示/报警装置的显示单元，由控制单元控制面部形状估计装置的各结构单元的工作。图5、图10、图15所示的各结构单元将控制单元执行的面部形状估计处理作为块而明示出来。
另外，面部形状估计装置(图5、图10、图15)作为装载在个人计算机、OA设备、手机等信息终端、或汽车、飞机、船、电车等移动装置上的信息提供装置是有用的。另外，面部形状估计装置(图5、图10、图15)也能够应用于监视、警报装置、机器人或影像声音重放装置等用途。
本发明的计测对象提取装置，提取多个面部形状候选中的成为三维形状的计测对象的候选，该计测对象提取装置采用的结构包括：面部纹理评价值计算单元，对于所述多个面部形状候选的每个面部形状候选，计算表示输入的面部图像与所述面部形状候选的纹理的重合度的面部纹理评价值；似然计算单元，对于所述多个面部形状候选的每个面部形状候选，计算成为基准的面部形状与所述面部形状候选之间的第一似然；相关评价单元，对于所述多个面部形状候选的每个面部形状候选，计算表示所述面部纹理评价值与所述第一似然之间的相关的强度的第一相关评价值；以及提取单元，提取所述多个面部形状候选中的所述第一相关评价值小于第一阈值的面部形状候选作为所述计测对象。
在本发明的计测对象提取装置中，所述面部纹理评价值计算单元计算所述面部纹理评价值，对于所述面部形状候选的各面部部位，计算表示所述面部图像和所述面部部位的重合度的面部部位纹理评价值，所述似然计算单元计算所述第一似然，对于所述面部形状候选的每个所述面部部位，计算成为所述基准的面部形状与所述面部部位之间的第二似然，所述相关评价单元计算所述第一相关评价值，对于所述面部形状候选的每个所述面部部位，计算表示所述面部部位纹理评价值与所述第二似然之间的相关的强度的第二相关评价值，所述提取单元提取所述第一相关评价值低于所述第一阈值的面部形状候选的各面部部位中的、所述第二相关评价值低于第二阈值的面部部位作为所述计测对象。
在本发明的计测对象提取装置中，所述提取单元按照所述第二相关评价值从低到高的顺序，选择所述第二相关评价值低于所述第二阈值的面部部位中的、相对于所述面部部位的总数的规定的比例的数的面部部位，提取选择出的面部部位作为所述计测对象。
在本发明的计测对象提取装置中，所述似然计算单元对于所述多个面部形状候选的每个面部形状候选，计算所述第一似然，该所述第一似然表示在表示所述面部形状候选的多个特征点的三维坐标与成为所述基准的面部形状的所述多个特征点所对应的位置的三维坐标之间的变化量。
在本发明的计测对象提取装置中，所述似然计算单元通过比较所述面部形状候选的各面部部位的位置与成为所述基准的面部形状的位置，计算表示所述面部形状候选的各面部部位的位置与使所述各面部部位活动的表情肌的可动范围的重合度的所述第一似然。
在本发明的计测对象提取装置中，成为所述基准的面部形状为无表情时的面部形状。
在本发明的计测对象提取装置中，成为所述基准的面部形状是在先前规定的时间取得的面部形状。
本发明的面部形状估计装置采用的结构包括：上述计测对象提取装置；三维形状计测单元对在所述计测对象提取装置中作为所述计测对象提取出的面部形状候选的三维形状进行计测；形状候选评价单元，对于所述多个面部形状候选的每个面部形状候选，基于所述面部纹理评价值和所述第一似然，计算第一形状候选评价值；再评价单元，对于所述提取出的面部形状候选的每个面部形状候选，使用所述三维形状计算第二形状候选评价值；以及确定单元，基于所述第一形状候选评价值和所述第二形状候选评价值，从所述多个面部形状候选中确定对所述面部图像的估计形状。
在本发明的面部形状估计装置中，在所述计测对象提取装置中，所述面部纹理评价值计算单元计算所述面部纹理评价值，对于所述面部形状候选的各面部部位，计算表示所述面部图像和所述面部部位的重合度的面部部位纹理评价值，所述似然计算单元计算所述第一似然，对于所述面部形状候选的每个所述面部部位，计算成为所述基准的面部形状与所述面部部位之间的第二似然，所述相关评价单元计算所述第一相关评价值，对于所述面部形状候选的每个所述面部部位，计算表示所述面部部位纹理评价值与所述第二似然之间的相关的强度的第二相关评价值，所述提取单元提取所述第一相关评价值低于所述第一阈值的面部形状候选的各面部部位中的、所述第二相关评价值低于第二阈值的面部部位作为所述计测对象，所述三维计测单元对在所述提取单元中提取出的面部部位的三维形状进行计测，所述再评价单元使用所述面部部位的所述三维形状，计算所述第二形状候选评价值。
在本发明的面部形状估计装置中，所述再评价单元对于所述提取出的面部形状候选的每个面部形状候选，基于所述三维形状和所述面部形状候选的三维坐标的比较结果、以及所述面部纹理评价值，计算所述第二形状候选评价值。
在本发明的面部形状估计装置中，所述再评价单元使用所述提取出的面部形状候选和有关所述三维形状的信息生成新的面部形状候选，基于与所述新的面部形状候选的每个面部形状候选对应的所述面部纹理评价值和所述第一似然，计算对于所述新的面部形状候选的所述第二形状候选评价值。
在本发明的面部形状估计装置中，所述确定单元将所述第一形状候选评价值和所述第二形状候选评价值中的最大值所对应的面部形状候选，确定为所述估计形状。
在本发明的面部形状估计装置中，所述确定单元基于使用所述第一形状候选评价值和所述第二形状候选评价值计算的权重，通过求所述多个面部形状候选的加权平均，从而确定所述估计形状。
本发明的计测对象提取方法，提取多个面部形状候选中的、成为三维形状的计测对象的候选，包括如下步骤：对于所述多个面部形状候选的每个面部形状候选，计算表示输入的面部图像与所述面部形状候选的纹理的重合度的面部纹理评价值的步骤；对于所述多个面部形状候选的每个面部形状候选，计算成为基准的面部形状与所述面部形状候选之间的第一似然的步骤；对于所述多个面部形状候选的每个面部形状候选，计算表示所述面部纹理评价值与所述第一似然之间的相关的强度的第一相关评价值的步骤；以及提取所述多个面部形状候选中的所述第一相关评价值低于第一阈值的面部形状候选作为所述计测对象的步骤。
本发明的面部形状估计方法包括如下步骤：计测通过上述计测对象提取方法作为所述计测对象提取出的面部形状候选的三维形状的步骤；对于所述多个面部形状候选的每个面部形状候选，基于所述面部纹理评价值和所述第一似然，计算第一形状候选评价值的步骤；对于所述提取出的面部形状候选的每个面部形状候选，使用所述三维形状计算第二形状候选评价值的步骤；以及基于所述第一形状候选评价值和所述第二形状候选评价值，从所述多个面部形状候选中，确定对所述面部图像的估计形状的步骤。
在2011年12月13日提出的日本专利申请特愿2011-272203号所包含的说明书、附图和说明书摘要的公开内容全部被引用于本申请中。
工业实用性
本发明作为即使对产生了难以仅用二维图像估计的表情变化的面部形状也能够以高精度和低计算量进行估计的发明是有用的。

Claims (15)

1.计测对象提取装置，提取多个面部形状候选中的成为三维形状的计测对象的候选，包括：
面部纹理评价值计算单元，对于所述多个面部形状候选的每个面部形状候选，计算表示输入的面部图像与所述面部形状候选的纹理的重合度的面部纹理评价值；
似然计算单元，对于所述多个面部形状候选的每个面部形状候选，计算成为基准的面部形状与所述面部形状候选之间的第一似然；
相关评价单元，对于所述多个面部形状候选的每个面部形状候选，计算表示所述面部纹理评价值与所述第一似然之间的相关的强度的第一相关评价值；以及
提取单元，提取所述多个面部形状候选中的所述第一相关评价值小于第一阈值的面部形状候选作为所述计测对象。
2.如权利要求1所述的计测对象提取装置，
所述面部纹理评价值计算单元计算所述面部纹理评价值，对于所述面部形状候选的各面部部位，计算表示所述面部图像和所述面部部位的重合度的面部部位纹理评价值，
所述似然计算单元计算所述第一似然，对于所述面部形状候选的每个所述面部部位，计算成为所述基准的面部形状与所述面部部位之间的第二似然，
所述相关评价单元计算所述第一相关评价值，对于所述面部形状候选的每个所述面部部位，计算表示所述面部部位纹理评价值与所述第二似然之间的相关的强度的第二相关评价值，
所述提取单元提取所述第一相关评价值低于所述第一阈值的面部形状候选的各面部部位中的、所述第二相关评价值低于第二阈值的面部部位作为所述计测对象。
3.如权利要求2所述的计测对象提取装置，
所述提取单元按照所述第二相关评价值从低到高的顺序，选择所述第二相关评价值低于所述第二阈值的面部部位中的、相对于所述面部部位的总数的规定的比例的数的面部部位，提取选择出的面部部位作为所述计测对象。
4.如权利要求1所述的计测对象提取装置，
所述似然计算单元对于所述多个面部形状候选的每个面部形状候选，计算所述第一似然，该所述第一似然表示在表示所述面部形状候选的多个特征点的三维坐标与成为所述基准的面部形状的所述多个特征点所对应的位置的三维坐标之间的变化量。
5.如权利要求2所述的计测对象提取装置，
所述似然计算单元通过比较所述面部形状候选的各面部部位的位置与成为所述基准的面部形状的位置，计算表示所述面部形状候选的各面部部位的位置与使所述各面部部位活动的表情肌的可动范围的重合度的所述第一似然。
6.如权利要求1所述的计测对象提取装置，
成为所述基准的面部形状是无表情时的面部形状。
7.如权利要求1所述的计测对象提取装置，
成为所述基准的面部形状是在先前规定的时间取得的面部形状。
8.面部形状估计装置，包括：
权利要求1所述的计测对象提取装置；
三维形状计测单元，计测在所述计测对象提取装置中作为所述计测对象提取出的面部形状候选的三维形状；
形状候选评价单元，对于所述多个面部形状候选的每个面部形状候选，基于所述面部纹理评价值和所述第一似然，计算第一形状候选评价值；
再评价单元，对于所述提取出的面部形状候选的每个面部形状候选，使用所述三维形状计算第二形状候选评价值；以及
确定单元，基于所述第一形状候选评价值和所述第二形状候选评价值，从所述多个面部形状候选中确定对所述面部图像的估计形状。
9.如权利要求8所述的面部形状估计装置，
在所述计测对象提取装置中，
所述面部纹理评价值计算单元计算所述面部纹理评价值，对于所述面部形状候选的各面部部位，计算表示所述面部图像和所述面部部位的重合度的面部部位纹理评价值，
所述似然计算单元计算所述第一似然，对于所述面部形状候选的每个所述面部部位，计算成为所述基准的面部形状与所述面部部位之间的第二似然，
所述相关评价单元计算所述第一相关评价值，对于所述面部形状候选的每个所述面部部位，计算表示所述面部部位纹理评价值与所述第二似然之间的相关的强度的第二相关评价值，
所述提取单元提取所述第一相关评价值低于所述第一阈值的面部形状候选的各面部部位中的、所述第二相关评价值低于第二阈值的面部部位，作为所述计测对象，
所述三维计测单元计测在所述提取单元中提取出的面部部位的三维形状，
所述再评价单元使用所述面部部位的所述三维形状，计算所述第二形状候选评价值。
10.如权利要求8所述的面部形状估计装置，
所述再评价单元对于所述提取出的面部形状候选的每个面部形状候选，基于所述三维形状和所述面部形状候选的三维坐标的比较结果、以及所述面部纹理评价值，计算所述第二形状候选评价值。
11.如权利要求8所述的面部形状估计装置，
所述再评价单元使用所述提取出的面部形状候选和有关所述三维形状的信息，生成新的面部形状候选，基于与所述新的面部形状候选的每个面部形状候选对应的所述面部纹理评价值和所述第一似然，计算对所述新的面部形状候选的所述第二形状候选评价值。
12.如权利要求8所述的面部形状估计装置，
所述确定单元将所述第一形状候选评价值和所述第二形状候选评价值中的最大值所对应的面部形状候选，确定为所述估计形状。
13.如权利要求8所述的面部形状估计装置，
所述确定单元基于使用所述第一形状候选评价值和所述第二形状候选评价值计算的权重，求所述多个面部形状候选的加权平均，从而确定所述估计形状。
14.计测对象提取方法，提取多个面部形状候选中的、成为三维形状的计测对象的候选，包括如下步骤：
对于所述多个面部形状候选的每个面部形状候选，计算表示输入的面部图像与所述面部形状候选的纹理的重合度的面部纹理评价值的步骤；
对于所述多个面部形状候选的每个面部形状候选，计算成为基准的面部形状与所述面部形状候选之间的第一似然的步骤；
对于所述多个面部形状候选的每个面部形状候选，计算表示所述面部纹理评价值与所述第一似然之间的相关的强度的第一相关评价值的步骤；以及
提取所述多个面部形状候选中的所述第一相关评价值低于第一阈值的面部形状候选，作为所述计测对象的步骤。
15.面部形状估计方法，包括如下步骤：
计测通过权利要求14所述的计测对象提取方法作为所述计测对象提取出的面部形状候选的三维形状的步骤；
对于所述多个面部形状候选的每个面部形状候选，基于所述面部纹理评价值和所述第一似然，计算第一形状候选评价值的步骤；
对于所述提取出的面部形状候选的每个面部形状候选，使用所述三维形状计算第二形状候选评价值的步骤；以及
基于所述第一形状候选评价值和所述第二形状候选评价值，确定所述多个面部形状候选中的、对所述面部图像的估计形状的步骤。
CN201280051327.0A 2011-12-13 2012-12-04 计测对象提取装置、面部形状估计装置、计测对象提取方法以及面部形状估计方法 Expired - Fee Related CN103890811B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-272203 2011-12-13
JP2011272203A JP5894426B2 (ja) 2011-12-13 2011-12-13 計測対象抽出装置、顔形状推定装置、計測対象抽出方法および顔形状推定方法
PCT/JP2012/007769 WO2013088672A1 (ja) 2011-12-13 2012-12-04 計測対象抽出装置、顔形状推定装置、計測対象抽出方法および顔形状推定方法

Publications (2)

Publication Number Publication Date
CN103890811A true CN103890811A (zh) 2014-06-25
CN103890811B CN103890811B (zh) 2017-06-30

Family

ID=48612149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280051327.0A Expired - Fee Related CN103890811B (zh) 2011-12-13 2012-12-04 计测对象提取装置、面部形状估计装置、计测对象提取方法以及面部形状估计方法

Country Status (5)

Country Link
US (1) US9465979B2 (zh)
EP (1) EP2793184A4 (zh)
JP (1) JP5894426B2 (zh)
CN (1) CN103890811B (zh)
WO (1) WO2013088672A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114103961A (zh) * 2020-08-26 2022-03-01 丰田自动车株式会社 面部信息获取装置以及面部信息获取方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160063317A1 (en) * 2013-04-02 2016-03-03 Nec Solution Innovators, Ltd. Facial-expression assessment device, dance assessment device, karaoke device, and game device
US10121063B2 (en) * 2015-01-12 2018-11-06 BMT Business Meets Technology Holding AG Wink gesture based control system
CN105373784A (zh) * 2015-11-30 2016-03-02 北京光年无限科技有限公司 智能机器人数据处理方法及装置、智能机器人***
WO2017146202A1 (ja) * 2016-02-25 2017-08-31 大日本印刷株式会社 三次元形状データおよびテクスチャ情報生成システム、撮影制御プログラム、及び三次元形状データおよびテクスチャ情報生成方法
CN105975935B (zh) * 2016-05-04 2019-06-25 腾讯科技（深圳）有限公司 一种人脸图像处理方法和装置
WO2019102619A1 (ja) * 2017-11-27 2019-05-31 三菱電機株式会社 表情認識装置
JP6901386B2 (ja) 2017-12-08 2021-07-14 株式会社東芝 勾配推定装置、勾配推定方法、プログラムおよび制御システム
US11024034B2 (en) * 2019-07-02 2021-06-01 Acist Medical Systems, Inc. Image segmentation confidence determination
CN110321872B (zh) * 2019-07-11 2021-03-16 京东方科技集团股份有限公司 人脸表情识别方法及装置、计算机设备、可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1731416A (zh) * 2005-08-04 2006-02-08 上海交通大学 快速且精确的人脸特征点定位方法
JP2010128742A (ja) * 2008-11-27 2010-06-10 Casio Computer Co Ltd ３次元データ作成装置
US20110069879A1 (en) * 2009-09-18 2011-03-24 Samsung Electronics Co., Ltd. Apparatus and method to extract three-dimensional (3D) facial expression
JP2011128966A (ja) * 2009-12-18 2011-06-30 Denso Corp 顔特徴点検出装置および眠気検出装置
CN102254151A (zh) * 2011-06-16 2011-11-23 清华大学 一种基于面部视频分析的驾驶人疲劳检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1039417B1 (en) * 1999-03-19 2006-12-20 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Method and device for the processing of images based on morphable models
JP4839432B2 (ja) * 2003-12-17 2011-12-21 国立大学法人静岡大学 瞳孔位置検出によるポインティング装置及び方法
EP1887511A1 (en) * 2005-06-03 2008-02-13 NEC Corporation Image processing system, 3-dimensional shape estimation system, object position posture estimation system, and image generation system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1731416A (zh) * 2005-08-04 2006-02-08 上海交通大学 快速且精确的人脸特征点定位方法
JP2010128742A (ja) * 2008-11-27 2010-06-10 Casio Computer Co Ltd ３次元データ作成装置
US20110069879A1 (en) * 2009-09-18 2011-03-24 Samsung Electronics Co., Ltd. Apparatus and method to extract three-dimensional (3D) facial expression
JP2011128966A (ja) * 2009-12-18 2011-06-30 Denso Corp 顔特徴点検出装置および眠気検出装置
CN102254151A (zh) * 2011-06-16 2011-11-23 清华大学 一种基于面部视频分析的驾驶人疲劳检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114103961A (zh) * 2020-08-26 2022-03-01 丰田自动车株式会社 面部信息获取装置以及面部信息获取方法
CN114103961B (zh) * 2020-08-26 2023-12-12 丰田自动车株式会社 面部信息获取装置以及面部信息获取方法

Also Published As

Publication number Publication date
JP2013125307A (ja) 2013-06-24
US20140369571A1 (en) 2014-12-18
CN103890811B (zh) 2017-06-30
EP2793184A1 (en) 2014-10-22
WO2013088672A1 (ja) 2013-06-20
JP5894426B2 (ja) 2016-03-30
EP2793184A4 (en) 2015-06-17
US9465979B2 (en) 2016-10-11

Similar Documents

Publication Publication Date Title
CN103890811A (zh) 计测对象提取装置、面部形状估计装置、计测对象提取方法以及面部形状估计方法
US8983124B2 (en) Moving body positioning device
JP6364049B2 (ja) 点群データに基づく車両輪郭検出方法、装置、記憶媒体およびコンピュータプログラム
US20170337701A1 (en) Method and system for 3d capture based on structure from motion with simplified pose detection
US9621779B2 (en) Face recognition device and method that update feature amounts at different frequencies based on estimated distance
US9275276B2 (en) Posture estimation device and posture estimation method
US11062475B2 (en) Location estimating apparatus and method, learning apparatus and method, and computer program products
US11398049B2 (en) Object tracking device, object tracking method, and object tracking program
CN113377888B (zh) 训练目标检测模型和检测目标的方法
US20160117824A1 (en) Posture estimation method and robot
EP3067658B1 (en) 3d-shape measurement device, 3d-shape measurement method, and 3d-shape measurement program
JP6584208B2 (ja) 情報処理装置、情報処理方法、プログラム
CN114692720B (zh) 基于鸟瞰图的图像分类方法、装置、设备及存储介质
KR20150065445A (ko) 얼굴 포즈를 이용한 정면 얼굴 검출 장치 및 방법
EP2372652A1 (en) Method for estimating a plane in a range image and range image camera
CN116958584B (zh) 关键点检测方法、回归模型的训练方法、装置及电子设备
EP3376468A1 (en) Object detection device and object detection method
EP3223035B1 (en) Estimation apparatus, estimation method and computer-readable medium
JP7145770B2 (ja) 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム
JP2006090957A (ja) 移動体の周囲物体検出装置及び移動体の周囲物体検出方法
CN112699748B (zh) 基于yolo及rgb图像的人车距离估计方法
CN117392611A (zh) 工地安全监测方法、***、设备及存储介质
KR102407802B1 (ko) 인공신경망 학습 기반의 실내외 3차원 좌표 및 방위 추정 장치
CN114694257A (zh) 多人实时三维动作识别评估方法、装置、设备及介质
JP5246946B2 (ja) 全身領域推定装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20150429

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150429

Address after: California, USA

Applicant after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170630

Termination date: 20191204

CF01 Termination of patent right due to non-payment of annual fee