CN100407221C - 面部中央位置检测设备、方法 - Google Patents

面部中央位置检测设备、方法 Download PDF

Info

Publication number
CN100407221C
CN100407221C CN2005100965585A CN200510096558A CN100407221C CN 100407221 C CN100407221 C CN 100407221C CN 2005100965585 A CN2005100965585 A CN 2005100965585A CN 200510096558 A CN200510096558 A CN 200510096558A CN 100407221 C CN100407221 C CN 100407221C
Authority
CN
China
Prior art keywords
face
image
mid
horizontal
detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2005100965585A
Other languages
English (en)
Other versions
CN1741038A (zh
Inventor
安达省泰
林健
春日井纯也
田中勇彦
白木伸征
安藤道则
二宫芳树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Toyota Motor Corp filed Critical Aisin Seiki Co Ltd
Publication of CN1741038A publication Critical patent/CN1741038A/zh
Application granted granted Critical
Publication of CN100407221C publication Critical patent/CN100407221C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/68Analysis of geometric attributes of symmetry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种面部中央位置检测设备、方法及程序,该面部中央位置检测设备具有用于输入捕捉的面部图像的图像输入装置,其特征在于,该面部中央位置的检测设备还包括:水平边检测装置,其基于该图像输入装置输入的面部图像来检测具有预定垂直长度的水平边;以及面部中央位置检测装置,其用于计算由该水平边检测装置检测的水平边的水平位置数据的平均值,并将该平均值确定为面部中央位置。

Description

面部中央位置检测设备、方法
技术领域
本发明涉及一种面部中央位置检测设备、方法。尤其是,本发明涉及一种基于捕捉的面部图像来检测面部的中央位置的面部中央位置检测设备、方法。
背景技术
为了基于个人的面部图像来对其进行识别或者显示其表情,检测面部方位(换句话说,检测面部中央位置)是很重要的。
例如在JP2001-291108A中公开了一种公知的图像处理器,其能够从未特别指定的个人的输入面部图像来检测面部方位,而无需预先获取对象的面部图像数据。在该公知的图像处理器中,基于多个采样正面图像数据来产生平均正面图像数据,然后通过将平均正面图像数据映射到标准面部形状模型数据来产生平均面部模型数据。
基于从预定角度看到平均面部模型数据时输入图像和平均面部图像数据之间的角度关联程度,能够检测出输入图像中的面部方位。
此外,在JP2004-94491A中公开的公知面部方位测定装置可检测捕捉图像中的面部角度。具体地,该面部方位测定装置将与预先备好的脸线和眼睛位置对应的假定3D面部模型以不同的角度旋转,以使与输入图像匹配并且确定在图像与脸线和眼睛位置匹配时的模型角度。
但是,按照IP2001-291108A中公开的图像处理器,需要依据各种面部尺寸和各种面部方位来准备多个模板,并且由于输入图像需要与每个模板进行匹配计算,因此对图像处理器施加了很大的负荷。
另一方面,在JP2004-94491A中公开的面部方位测定装置是使用一个平面模板,但是由于人的脸特别是发型在不同的人中有很大的不同,因此很多时候其脸线和眼睛位置不与该平面模板相吻合。
在这种情况下,考虑到这些差异,如果要使不同的人与这种平面模板相匹配,那么就需要预先准备大量的面部模型,结果增加了处理量。因此,需要提供一种面部中央位置检测设备、方法及程序,其在不具备面部模型数据的条件下可降低计算负荷。
发明内容
按照本发明的一个方案,一种面部中央位置检测设备,其具有用于输入捕捉的面部图像的图像输入装置,其特征在于,该面部中央位置检测设备还包括:水平边检测装置,其基于该图像输入装置输入的面部图像来检测具有预定垂直长度的水平边;以及面部中央位置的检测装置,其用于计算随着该水平边的水平位置数据从图像的中心位置在水平方向上朝着图像的两端移动而变大的加权因子、并将通过利用该加权因子加权的水平位置数据的平均值确定为面部中央位置;其中,所述水平位置数据由该水平边检测装置检测。
由此,按照本发明的面部中央位置检测设备基于捕捉的面部图像来检测具有预定垂直长度的水平边,计算随着所检测的水平边的水平位置数据从图像的中心位置在水平方向上朝着图像的两端移动而变大的加权因子、并将通过利用该加权因子加权的水平位置数据的平均值确定为面部中央位置。所以即使当驾驶员将脸转向侧边时,也能降低计算负荷并能快速准确地检测出面部的中央位置。
按照本发明的另一方案,一种用于检测面部中央位置的方法包括下述步骤:基于捕捉的面部图像检测具有预定垂直长度的水平边;计算随着所检测的水平边的水平位置数据从图像的中心位置在水平方向上朝着图像的两端移动而变大的加权因子;以及将通过利用该加权因子加权的水平位置数据的平均值确定为面部中央位置。
由此,按照本发明的面部中央位置检测方法基于捕捉的面部图像来检测具有预定垂直长度的水平边,计算随着所检测的水平边的水平位置数据从图像的中心位置在水平方向上朝着图像的两端移动而变大的加权因子、并将通过利用该加权因子加权的水平位置数据的平均值确定为面部中央位置。所以即使当驾驶员将脸转向侧边时,也能降低计算负荷并能快速准确地检测出面部的中央位置。
附图说明
从参照附图的下述具体描述中,本发明的上述及其他特点和特性将变得更为明显,其中:
图1示出了按照本发明第一实施例的面部中央位置检测设备的配置图;
图2示出了计算机的配置框图;
图3示出了在ROM中存储的、用于检测面部中央位置的程序的处理例程的流程图;
图4示出了步骤S2中的面部右端和左端检测例程实例的流程图;
图5示出了在面部右端和左端检测例程的每个处理中产生的图像;
图6示出了在步骤S2中检测出面部左端和右端的状态、以及在另一处理中检测出面部上端和下端的状态;
图7示出了白色-黑色-白色边的说明;
图8A示出了输入的图像;
图8B示出了从输入的图像获得的白色-黑色-白色边;
图9A示出了白色-黑色-白色边;
图9B示出了所提取的白色-黑色-白色边;
图10示出了整个面部图像的水平边;
图11示出了步骤S5中的x坐标平均值计算例程实例的流程图;
图12示出在面部图像的水平边中设置x坐标和y坐标;
图13示出了当驾驶员将脸转到侧边时由按照第一实施例的面部中央位置检测设备检测出的面部中央位置;
图14示出了加权的x坐标平均值计算例程的流程图;
图15示出了说明通过利用加权因子修正的面部中央位置;
图16A示出了由按照第二实施例的面部中央位置检测设备检测的面部中央位置;以及
图16B示出了由按照第二实施例的面部中央位置检测设备检测的面部中央位置。
具体实施方式
下面参照附图来说明本发明的实施例。在这些实施例的例子中,捕捉车辆驾驶员的脸来检测驾驶员的面部中央位置,但是检测对象并不限于驾驶员的脸,任何个人的面部中央位置都可以检测。
第一实施例
图1示出了按照本发明第一实施例的面部中央位置检测设备的配置。
该面部中央位置检测设备包括:照相机10(即作为捕捉装置),其用于捕捉驾驶员的脸来产生初始图像;光源12,其用于向驾驶员的脸提供光线;计算机14,其用于检测驾驶员的面部中央位置(即计算机14作为面部中央位置检测装置);以及显示器16,其连接到计算机14上。
通过照相机10产生的初始图像不仅包括驾驶员的脸而且包括驾驶员的背景图像。此外,显示器16包括LCD(液晶显示器)或CRT(阴极射线管),其用于显示从由照相机10捕捉的初始图像中提取的二元图像(黑色和白色)。
图2示出了计算机14的配置框图。
计算机14包括:模拟/数字(A/D)转换器21,其用于将照相机10捕捉的图像转换成数字信号;图像存储器22,其用于存储照相机10产生的初始图像;ROM23,其内存储有用于检测面部中央位置的程序(即ROM23作为面部中央位置检测装置);CPU24,其基于ROM23中存储的程序来执行预定计算;RAM25,其用作数据工作区;显示控制器27,其用于控制显示装置;以及发光控制器28,其用于控制打开和关闭光源。
图3示出了ROM23中存储的程序的处理例程流程图。具体地,CPU24执行该处理例程中的步骤S1至S5。
在步骤S1中,CPU24将照相机10捕捉的初始图像输入计算机14,并通过A/D转换器21将该初始图像写入图像存储器22(即CPU24作为图像输入装置)。然后,处理执行步骤S2。
在步骤S2中,CPU24检测驾驶员面部的左侧和右侧位置,换句话说,检测驾驶员面部的左端和右端。具体地,CPU24计算面部图像的垂直边,并通过将所计算的垂直边投影到垂直方向来创建直方图。此处,由于其峰值位于水平方向上的面部两端部,所以这些峰值可被确定为面部的两端,也就是面部的左端和右端。此外优选地,通过缩短时间或长度的方式对每个图像元素(单位区域)进行加权来消除噪声元素(即在背景中的对象比如头架或窗口框架)。可通过其他方法比如模板匹配或范围图像(range image)来检测面部左端和右端。具体地,CPU24执行下述步骤S11至S15(即CPU24作为面部长度检测装置)。
图4示出了在步骤S2中执行的面部右端和左端检测例程的流程图。从图5A至图5F的每个图表示在面部右端和左端检测例程中的各个处理中产生的图像。
在步骤S11中,CPU24从图像存储器22读取面部图像(图5A),并对在横向(水平方向)上的面部图像的图像元素求微分。
具体地,在步骤S11中,计算每个图像元素的亮度与每个邻接图像元素的亮度之间的亮度差,并基于这些亮度差产生边部提取图像(图5B)。然后处理执行步骤S12。
在图5B中,为方便起见用虚线来表示在面部图像(图5A)中捕捉的对象轮廓。
如图5B所示,在边部提取图像中,仅提取背景对象的垂直边31和面部图像的垂直边32,基本上不提取初始面部图像(图5A)中捕捉的对象的其他边。
即使在驾驶员不移动时也要提取这些垂直边31和32。
将边部提取图像的图像元素(亮度的微分)投影到长度方向(垂直方向)创建成图5B底端所示的直方图。
在该直方图中,由于所有边部的值都近似相等,所以无法指定面部的两边。
在步骤S12中,CPU24从图像存储器22读取初始图像(图5A),并对初始图像的图像元素求时间的微分。
具体地,通过计算每个图像元素在某个时刻的亮度与每个图像元素在前一瞬时时刻的亮度之间的亮度差,以产生仅着重于移动对象的图像元素时间微分图像。然后,处理执行步骤S13。
通常,由于驾驶员在驾驶期间不停止其移动,因此在图像元素时间微分图像中,仅用粗的轮廓线表示检测出的移动对象比如驾驶员的面部轮廓。
另一方面,由于背景中的其他对象比如窗口、柱子或头架保持静止,因此这些对象不会在图像元素时间微分图像中被检测出。但是,在驾驶员几乎根本不移动的情况下,驾驶员的面部轮廓线也不能在图像元素时间微分图像中被检测出,为了避免该问题,需要执行下述处理。
在步骤S13和S14中,CPU24产生合成图像1(图5D)和直方图。具体地,合成图像1通过组合边部提取图像和图像元素时间微分图像而成,直方图通过将合成图像1的图像元素(亮度)投影到垂直方向而成。
由此,即使当驾驶员不移动时,驾驶员的所有垂直边和轮廓线也在合成图像1中示出,在合成图像1中将边部提取图像和图像元素时间微分图像组合在一起。
可选地,将边部提取图像中的图像元素投影到垂直方向来产生直方图,并且将图像元素时间微分图像中的图像元素也投影到垂直方向来产生直方图,然后可将这两个直方图组合在一起。之后,在合成图像1的直方图中检测出多个峰值34和35,随后处理执行步骤S15。
在步骤S15中,CPU24从合成图像1的直方图中检测出的多个峰值34和35中选择两个显示与人的面部宽度达到最佳匹配的峰值,并且将这两个峰值作为面部左端和右端。此时,面部右端和左端检测例程的处理已经结束,且处理返回到图3所示的步骤S2。
面部右端和左端检测例程不限于上述处理,可以变换为如下方式。
例如,在步骤S12中,CPU24基于初始图像(图5A)对图像元素进行时间微分,但是也可替换为基于边部提取图像(图5B)进行计算。
具体地,在步骤S12中,对边部提取图像(图5B)中的图像元素求时间微分,以产生边部时间微分图像(图5E)。
由此,可从边部提取图像(图5B)中所示的垂直边31和32中删除在背景对象比如窗口和头架中的垂直边31和32,结果,仅能提取出进行了一定移动的面部图像的垂直边33,如图5E所示。
在该变换处理中,在步骤S13之后,CPU24将执行与上述类似的处理。在步骤S13和S14中,CPU24将边部提取图像和边部时间微分图像组合在一起以产生合成图像2(图5F),并将合成图像2的图像元素(亮度)投影到垂直方向以产生直方图。基于该直方图,可检测出峰值34和35。
图6示出了通过步骤S2的处理检测出的面部左端和右端、以及通过下述处理检测出的面部上端和下端位置。
如图6所示,CPU24选择对应于人的面部宽度达到最佳匹配的两个峰值,并将这两个峰值作为面部左端和右端。由此,通过执行面部右端和左端检测例程,CPU24能够不受背景或者驾驶员移动的影响来检测出面部的两端。然后,处理执行图3所示的步骤S3。
在步骤S3中,CPU24通过将面部宽度范围内的水平边投影到水平方向来产生直方图。
在该直方图中,在与眉毛、眼睛和嘴相对应的部位产生峰值。由此,如图6所示,基于该直方图中的这些峰值来测定面部的上端点和下端点,然后处理执行步骤S4(即CPU24作为面部长度检测装置)。
用于检测面部左端和右端的方法或者用于检测面部上端点和下端点的方法不仅限于上述方法,可替换使用其他方法比如模板匹配或者范围图像(range image)。
在步骤S4中,CPU24利用预定阈值从照相机10捕捉并在图像存储器22中存储的面部图像中来检测水平边(白色-黑色-白色边)(即CPU24用作水平边检测装置)。在水平边(白色-黑色-白色边)中,图像元素在垂直方向上从白色变为黑色,然后从黑色变为白色。然后,处理执行步骤S5。
在该图像中,白色表示其亮度在预定阈值之上的图像元素,黑色表示其亮度在预定阈值之下的图像元素。
图7给出了白色-黑色-白色边的说明。如图7所示,白色-黑色-白色边表示在垂直方向上从白色变为黑色、然后从黑色变为白色的水平边,其具有预定宽度,且并非表示处于在白色与黑色之间的边。
图8A示出了输入图像,图8B示出了从输入图像获得的白色-黑色-白色边。
具体地,在步骤S4中,例如当图像中的面部垂直长度是60个像素时,CPU24检测在垂直方向上具有2-4个像素的黑色图像元素,换句话说,检测其亮度相对较低的图像元素。在该处理中,其宽度等于或小于1个像素的黑色图像元素将作为噪声元素而被删掉。
此外,通过将垂直长度限定为4或4以下,仅仅面部部位(眉毛、眼睛、鼻子、嘴)的边可被检测到,如图8B所示。在这种情况下,面部的长度是60个像素,且其垂直长度在2和4个像素之间的边被检测到,但是边的垂直长度不限于这种取值。可依据面部的垂直长度来改变其标准值。
此外,CPU24基于步骤S2中检测到的左端和右端来计算面部宽度。此外,CPU24对从白色-黑色-白色边选出的提取白色-黑色-白色边进行检测,具体地,检测具有预定值(例如面部宽度的10%)或预定值以上的水平宽度的提取白色-黑色-白色边。
图9A示出了白色-黑色-白色边,图9B示出了提取的白色-黑色-白色边,图10示出了在整个面部图像中存在的提取白色-黑色-白色边。由此,可从图像中删除噪声的短水平边。如上所述,标准值可设为面部宽度的10%。这是因为,基于统计数据,每个面部器官的宽度通常为面部宽度的10%或在面部宽度的10%以上,并且具有宽度为10%或以上的边可被视为面部部位。该标准值不限于10%,并且除非用于删除水平方向上的噪声,该标准值可变为其他值。下文中的提取白色-黑色-白色边是指水平边。
在步骤S5中,CPU24计算含有水平边的图像元素的x坐标(水平位置数据)的平均值,并将该平均值确定为面部的中央位置iFaceCenter。
图11示出了用于在步骤S5中计算x坐标平均值的例程实例流程图。换句话说,CPU24执行从步骤S21至步骤S28的处理。
在步骤S21中,参数被初始化。具体地,将参数x、y、iXsum及iCount设为0,然后处理执行步骤S22。
图12示出了在面部图像的水平边中设置x坐标和y坐标。“x”表示整个图像的x坐标,X_MAX表示x坐标的最大值。
“y”表示整个图像的y坐标,Y_MAX表示y坐标的最大值。iXsum表示通过将存在水平边的图像元素的每个x坐标求和所得的值,以及iCount表示通过将存在水平边的图像元素计数所得的计数值。
在步骤S22中,判断在坐标(x,y)的图像元素中是否存在水平边。换句话说,判断Edge[x][y]是1还是0。具体地,Edge[x][y]是表示坐标(x,y)的图像元素中是否存在水平边的二进制数(0代表边部,1代表非边部)。在步骤S22中,如果CPU判定Edge[x][y]为0,则处理执行步骤S24;反之,如果CPU判定Edge[x][y]为1,则处理执行步骤S23。
在步骤S23中,将x坐标加到iXsum上(iXsum=iXsum+x),并且使iCount加1(iCount=iCount+1)。然后,处理执行步骤S24。
在步骤S24中,判断y坐标是否是最大值Y_MAX。如果y坐标是Y_MAX,则处理执行步骤S26;如果y坐标不是Y_MAX,则处理执行步骤S25。在步骤S25,将y坐标加1(y=y+1),然后处理返回到步骤S22。
在步骤S26,判断x坐标是否是最大值X_MAX。如果x坐标是X_MAX,则处理执行步骤S28;如果x坐标不是X_MAX,则处理执行步骤S27。在步骤S27,将y坐标设为0,并将x坐标加1(x=x+1),然后处理返回到步骤S22。
由此,通过步骤S22至S26,扫描整个图像中的水平边,并当检测到含有水平边的图像元素时,加和该图像元素的x坐标,同时,对加和的次数进行计数。
在步骤S28中,计算存在有水平边的图像元素的x坐标平均值,以便获得面部中央位置“iFaceCenter”。可通过公式(1)来计算iFaceCenter。
iF aceCenter = iXsum iCount 公式(1)
下面给出计算存在有水平边的图像元素的x坐标平均值的理由。
通常,面部器官比如眉毛、眼睛、鼻子和嘴是对称的,从而能通过计算存在有水平边的图像元素的x坐标平均值来获得面部中央位置。
由此,在步骤S28中,获得面部中央位置iFaceCenter,如图12所示。
如上所述,本发明第一实施例中的面部中央位置检测设备从面部图像中检测出具有预定宽度的水平边,并且通过计算所检测的水平边的x坐标平均值来确定面部中央位置。
在这种配置中,与其中使面部图像与预先备好的大量模板中的每一个进行匹配的公知设备相比,在该实施例中可使计算负荷最小化,结果能快速准确地检测出面部中央位置。
第二实施例
接下来,将说明按照本发明的第二实施例。在第二实施例中,与第一实施例中的元素和处理相同的那些元素和处理由与第一实施例的说明中使用的相同标号来表示,并且将省略对于相同配置的说明。
图13示出了通过第一实施例的面部中央位置检测设备检测到的当驾驶员将脸转向侧边时的面部中央位置。
在驾驶员不面向照相机10的正面时,不能精确检测其面部中央位置。
当驾驶员不面向照相机10的正面时,在驾驶员的脸所转向的方向上代表眉毛和眼睛的水平边变得相对较短,如图13所示,结果,作为水平边的x坐标平均值的iFaceCenter将与实际的面部中央位置不同。
为了避免这种问题,第二实施例中的面部中央位置检测设备执行加权的x坐标平均值计算例程,以替代图11所示的第一实施例的x坐标平均值计算例程。
图14示出了加权的x坐标平均值计算例程的流程图。在图3的步骤S5中,计算机14中的CPU24执行下述步骤S31至S39。
在步骤S31中,参数被初始化。具体地,将参数x、y、iXsum及iCount设为0,然后处理执行步骤S32。
在步骤S32中,通过公式(2)计算x坐标的加权因子iWeight。
iWeight = 1 + 3 · abs x - X _ MAX / 2 X _ MAX / 2 公式(2)
在该公式中,abs是用于计算参数的绝对值,例如absX由|X|表示。
当x坐标存在于图像的中心位置处(x=X_MAX/2)时,加权因子iWeight变为最小值1,并且当x坐标存在于图像的两端处(x=0或X_MAX)时,加权因子iWeight变为最大值4。具体地,加权因子iWeight在x坐标处于图像的中心位置时变为最小值(局部最小值),并且加权因子iWeight在x坐标从图像的中心位置朝两端移动时单调增加。
加权因子iWeight的最大值4只是一个例子,该最大值可基于测试调整为更优选的值。
换句话说,加权因子iWeight不限于由公式(2)计算的值,而是可以进行修改,只要该因子iWeight在x坐标从图像的中心位置朝两端移动时单调增加即可。
图15示出了通过利用加权因子修改的面部中央位置。
如图15的底部所示,加权因子在x坐标从图像的中心位置朝两端移动时单调增加。
通过利用加权因子对水平边的x坐标进行加权,由于存在于面部两侧上的水平边可被加权,因此面部中央位置可以被修改。
在步骤S33中,判定水平边是否存在于坐标(x,y)的图像元素中。换句话说,判定Edge[x][y]是1还是0。
如果CPU判定Edge[x][y]为0,则处理执行步骤S35。反之,如果CPU判定Edge[x][y]为1,则处理执行步骤S34。
在步骤S34中,将加权的x坐标加到iXsum上(iXsum=iXsum+x*iWeight),并且将加权因子iWeight加到iCount上(iCount=iCount+iWeight),然后,处理执行步骤S35。
从步骤S35至S39的处理与图11所示的从步骤S24至S28的处理相同。
由此,通过从图像的中心位置朝着图像的两端增加水平边上的权重,CPU24计算水平边的加权x坐标平均值。由此,即使当驾驶员将脸转向侧边时,代表眉毛或眼睛的水平边变短时,x坐标的平均值也可通过对较短的水平边进行加权来计算,结果,面部中央位置可被精确检测。
图16A和16B示出了由第二实施例中的面部中央位置检测设备检测的面部中央位置。
在图16A中,由第二实施例的设备检测的面部中央位置由粗的虚线表示,由第一实施例的设备检测的面部中央位置由细的虚线表示。粗的虚线相对于细的虚线位于面向方向(facing direction)(图16A的左侧),并且粗的虚线位于代表鼻子和嘴的水平边的中心。
此外,如图16B所示,即使当驾驶员在图16B中将脸进一步向左转时,面部中央位置(粗的虚线)也位于代表鼻子或嘴的水平边的中心。
如上所述,在第二实施例中的面部中央位置检测设备从面部图像中检测出具有预定宽度的水平边,从图像的中心位置朝着图像的两端增加施加到水平边上的权重,计算水平边的加权的x坐标平均值,由此检测面部中央位置。
由此,即使当驾驶员将脸转向侧边并且水平边被缩短时,该缩短的水平边也能通过加权被涉及,结果,在该实施例中可使计算负荷最小化,从而能快速准确地检测出面部中央位置。
但是,本发明并不限于上述第一和第二实施例,而是可在权利要求书范围内进行各种应用。
例如,CPU24可读取光盘或磁盘(未示出)中存储的程序以替代ROM23中存储的程序来进行如上所述的面部中央位置检测。
实施例中的处理不限于实施例中说明的和流程图中示出的处理例程。
图像输入装置输入捕捉的面部图像。该图像不仅包含作为对象的人的面部,而且包括背景中的对象。该图像输入装置可输入由捕捉装置提供的图像,该捕捉装置捕捉人的面部来产生图像。
水平边检测装置基于图像输入装置输入的图像来检测具有预定垂直长度的水平边。该预定垂直长度是指对应于眉毛、眼睛、鼻子和嘴的垂直长度。由此,能消除由噪声引起的极短边或者大于眉毛或眼睛尺寸的边。
面部中央位置检测装置计算所检测的水平边的水平位置数据平均值。此时,由于每个所检测的水平边对应于各个面部器官,因此水平边对称地存在于图像中。由此,将水平边的水平位置数据平均值确定为面部中央位置。
由此,按照本发明的面部中央位置的检测设备、方法和程序基于捕捉的面部图像来检测具有预定垂直长度的水平边,计算所检测的水平边的水平位置数据的平均值,并且将该平均值确定为面部中央位置;结果,能降低计算负荷并能快速准确地检测出面部中央位置。
此外,面部中央位置的检测设备可包括面部长度检测装置,其用于基于图像输入装置输入的图像来检测在垂直方向和水平方向的一个方向上的面部长度。此外,水平边检测装置可基于面部长度检测装置检测的在垂直方向和水平方向的一个方向上的面部长度来确定水平边的垂直长度和宽度的一个的范围,并检测出在所确定范围内的水平边。
面部中央位置的检测方法可基于捕捉的面部图像来检测在垂直方向和水平方向的一个方向上的面部长度,并可基于面部长度检测装置检测的在垂直方向和水平方向的一个方向上的面部长度来确定水平边的垂直长度和宽度的一个的范围,以及检测所确定范围内的水平边。
在所检测出的水平边中可包括由噪声产生的短水平边,或者包括大于面部器官的大部位(例如头发)的水平边。
当检测出这种水平边时,可能不会准确地检测出面部中央位置。
因此,本发明检测垂直方向和水平方向上的面部长度,基于所检测的长度来确定水平边的垂直长度范围,检测所确定范围内的水平边以消除除了面部器官之外的水平边,结果能检测出恰当的水平边。
按照该面部中央位置的检测设备,面部中央位置检测装置可计算其值随着水平位置数据从图像的中心位置在水平方向上朝着图像的两端移动而变大的加权因子,并将通过利用加权因子加权的水平位置数据的平均值确定为面部中央位置。
该面部中央位置检测方法可计算其值随着水平位置数据从图像的中心位置在水平方向上朝着图像的两端移动而变大的加权因子,并将通过利用加权因子加权的水平位置数据的平均值确定为面部中央位置。
当驾驶员将脸转向侧边时,面部方位上的水平边缩短。在这种情况下,将水平边的水平位置数据的平均值计算为面部中央位置是不准确的。
由此,本发明可计算其值随着位置数据从图像的中心位置在水平方向上朝着图像的两端移动而变大的加权因子,并将通过利用加权因子加权的水平位置数据的平均值确定为面部中央位置。由此,由于缩短的水平边可进一步被加权,因此能精确检测出面部中央位置。
此外,按照该面部中央位置检测设备,面部中央位置检测装置在检测出该水平边的图像中当每次检测出含有该水平边的单位区域时通过加和该单位区域的水平位置数据来计算水平位置数据的和值并基于该水平位置数据的和值和加和次数来检测面部中央位置。
该面部中央位置检测方法在检测出该水平边的图像中当每次检测出含有该水平边的单位区域时通过加和该单位区域的水平位置数据来计算水平位置数据的和值,并基于该水平位置数据的和值和加和次数来检测面部中央位置。
由此,本发明基于水平位置数据的和值和加和次数来计算水平位置数据的平均值,能够检测出面部中央位置。
此外,按照该面部中央位置检测设备,面部中央位置检测装置在检测出该水平边的图像中当每次检测出含有该水平边的单位区域时通过加和利用该单位区域的加权因子加权的水平位置数据来计算水平位置数据的和值,通过将所检测的单位区域的加权因子加和来计算加权因子的和值,并基于该水平位置数据的和值和加权因子的和值来检测面部中央位置。
此外,该面部中央位置检测方法在检测出该水平边的图像中当每次检测出含有该水平边的单位区域时通过加和利用该单位区域的加权因子加权的水平位置数据来计算水平位置数据的和值,通过加和所检测的单位区域的加权因子来计算加权因子的和值,并基于该水平位置数据的和值和加权因子的和值来检测面部中央位置。
因此,由于本发明可基于水平位置数据的和值和加权因子的和值来计算被加权的水平位置数据的平均值,所以即使当驾驶员将脸转向侧边时,也能准确地检测出面部中央位置,而不会带来额外计算负荷。
该面部中央位置检测设备、方法基于捕捉的面部图像来检测具有预定垂直长度的水平边,计算所检测的水平边的水平位置数据的平均值,并且将该平均值确定为面部中央位置;结果,能在最小化计算负荷的同时快速准确地检测出面部中央位置。

Claims (8)

1.一种面部中央位置检测设备,其具有用于输入捕捉的面部图像的图像输入装置,其特征在于,该面部中央位置检测设备还包括:
水平边检测装置,其基于该图像输入装置输入的面部图像来检测具有预定垂直长度的水平边;以及
面部中央位置的检测装置,其用于计算随着该水平边的水平位置数据从图像的中心位置在水平方向上朝着图像的两端移动而变大的加权因子、并将通过利用该加权因子加权的水平位置数据的平均值确定为面部中央位置;其中,所述水平位置数据由该水平边检测装置检测。
2.如权利要求1所述的面部中央位置检测设备,其中,该面部中央位置检测设备还包括面部长度检测装置,其基于该图像输入装置输入的图像来检测在垂直方向和水平方向的一个方向上的面部长度,其中该水平边检测装置基于该面部长度检测装置检测出的在垂直方向和水平方向的一个方向上的面部长度来确定水平边的垂直长度和宽度的一个的范围,并检测在该范围内存在的水平边。
3.如权利要求1或2所述的面部中央位置检测设备,其中,该面部中央位置检测装置在检测出该水平边的图像中当每次检测出含有该水平边的单位区域时通过加和利用该单位区域的加权因子加权的水平位置数据来计算水平位置数据的和值,该面部中央位置检测装置还通过加和所检测的单位区域的加权因子来计算加权因子的和值,并因此基于该水平位置数据的和值和该加权因子的和值来检测面部中央位置。
4.如权利要求1或2所述的面部中央位置检测设备,该面部中央位置检测设备还包括捕捉装置(10),其用于捕捉人的面部、基于所捕捉的面部图像来产生图像并将该图像提供给该图像输入装置。
5.如权利要求3所述的面部中央位置检测设备,该面部中央位置检测设备还包括捕捉装置(10),其用于捕捉人的面部、基于所捕捉的面部图像来产生图像并将该图像提供给该图像输入装置。
6.一种面部中央位置检测方法,包括如下处理步骤:
基于捕捉的面部图像检测具有预定垂直长度的水平边;
计算随着所检测的水平边的水平位置数据从图像的中心位置在水平方向上朝着图像的两端移动而变大的加权因子;以及
将通过利用该加权因子加权的水平位置数据的平均值确定为面部中央位置。
7.如权利要求6所述的面部中央位置检测方法,其中,该面部中央位置检测方法还包括如下处理步骤:
基于所捕捉的面部图像来检测在垂直方向和水平方向的一个方向上的面部长度;
基于所检测的在垂直方向和水平方向的一个方向上的面部长度来确定水平边的垂直长度和宽度的一个的范围;以及
检测在所确定范围内存在的水平边。
8.如权利要求6或7所述的面部中央位置检测方法,该面部中央位置检测方法在检测出该水平边的图像中当每次检测出含有该水平边的单位区域时通过加和该单位区域的加权因子加权的水平位置数据来计算水平位置数据的和值,通过将所检测的单位区域的加权因子加和来计算加权因子的和值;并基于该水平位置数据的和值和加权因子的和值来检测面部中央位置。
CN2005100965585A 2004-08-27 2005-08-26 面部中央位置检测设备、方法 Expired - Fee Related CN100407221C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004249008 2004-08-27
JP2004249008A JP4130820B2 (ja) 2004-08-27 2004-08-27 顔中心位置検出装置及び方法並びにプログラム

Publications (2)

Publication Number Publication Date
CN1741038A CN1741038A (zh) 2006-03-01
CN100407221C true CN100407221C (zh) 2008-07-30

Family

ID=35169640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005100965585A Expired - Fee Related CN100407221C (zh) 2004-08-27 2005-08-26 面部中央位置检测设备、方法

Country Status (5)

Country Link
US (1) US7522752B2 (zh)
EP (1) EP1630718B1 (zh)
JP (1) JP4130820B2 (zh)
CN (1) CN100407221C (zh)
DE (1) DE602005002802T2 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4180027B2 (ja) * 2004-08-27 2008-11-12 株式会社豊田中央研究所 顔部品位置検出装置及び方法並びにプログラム
CN101124612B (zh) * 2005-02-17 2012-06-20 富士通株式会社 图像处理方法、图像处理***、以及图像处理装置
JP4478093B2 (ja) * 2005-10-17 2010-06-09 富士フイルム株式会社 対象画像検索装置およびディジタル・カメラならびにそれらの制御方法
JP4137969B2 (ja) 2006-12-04 2008-08-20 アイシン精機株式会社 眼部検出装置、眼部検出方法及びプログラム
JP4845698B2 (ja) 2006-12-06 2011-12-28 アイシン精機株式会社 眼部検出装置、眼部検出方法及びプログラム
JP4895797B2 (ja) 2006-12-26 2012-03-14 アイシン精機株式会社 瞼検出装置、瞼検出方法及びプログラム
JP2008197722A (ja) * 2007-02-08 2008-08-28 Denso Corp 顔追跡装置
JP4309926B2 (ja) 2007-03-13 2009-08-05 アイシン精機株式会社 顔特徴点検出装置、顔特徴点検出方法及びプログラム
JP4307496B2 (ja) 2007-03-19 2009-08-05 株式会社豊田中央研究所 顔部位検出装置及びプログラム
US8064655B2 (en) * 2007-04-20 2011-11-22 Panasonic Corporation Face image detection device, face image detection method and imaging apparatus
KR101607224B1 (ko) * 2008-03-03 2016-03-29 아비길론 페이턴트 홀딩 2 코포레이션 동적 물체 분류 방법 및 장치
KR20100047521A (ko) * 2008-10-29 2010-05-10 삼성전자주식회사 가상 조명을 이용한 영상 표시 방법 및 이를 이용한 단말기
JP2010142592A (ja) * 2008-12-22 2010-07-01 Nintendo Co Ltd ゲームプログラムおよびゲーム装置
EP2453383A1 (en) 2010-11-12 2012-05-16 ST-Ericsson SA Facial features detection
US10150028B2 (en) * 2012-06-04 2018-12-11 Sony Interactive Entertainment Inc. Managing controller pairing in a multiplayer game
CN105719269B (zh) * 2014-12-03 2018-09-28 高德软件有限公司 一种目标物体确定方法及装置
US9533687B2 (en) 2014-12-30 2017-01-03 Tk Holdings Inc. Occupant monitoring systems and methods
US10532659B2 (en) 2014-12-30 2020-01-14 Joyson Safety Systems Acquisition Llc Occupant monitoring systems and methods
US10614328B2 (en) 2014-12-30 2020-04-07 Joyson Safety Acquisition LLC Occupant monitoring systems and methods
USD751437S1 (en) 2014-12-30 2016-03-15 Tk Holdings Inc. Vehicle occupant monitor
CN105913487B (zh) * 2016-04-09 2018-07-06 北京航空航天大学 一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法
JP2021114111A (ja) * 2020-01-17 2021-08-05 Necソリューションイノベータ株式会社 撮像支援装置、撮像支援方法、及びプログラム
CN112613459B (zh) * 2020-12-30 2022-07-15 深圳艾摩米智能科技有限公司 一种人脸敏感区域检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08297019A (ja) * 1995-04-27 1996-11-12 Nissan Motor Co Ltd 車両用視線方向計測装置
US5859921A (en) * 1995-05-10 1999-01-12 Mitsubishi Denki Kabushiki Kaisha Apparatus for processing an image of a face
JPH11250267A (ja) * 1998-03-05 1999-09-17 Nippon Telegr & Teleph Corp <Ntt> 目の位置検出方法、目の位置検出装置および目の位置検出プログラムを記録した記録媒体
JP2001331804A (ja) * 2000-05-18 2001-11-30 Victor Co Of Japan Ltd 画像領域検出装置及び方法
JP2004078778A (ja) * 2002-08-21 2004-03-11 Nissan Motor Co Ltd ドライバモニタ装置
JP2004133749A (ja) * 2002-10-11 2004-04-30 Tokai Rika Co Ltd 顔の向き検知装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5832115A (en) * 1997-01-02 1998-11-03 Lucent Technologies Inc. Ternary image templates for improved semantic compression
JP3436473B2 (ja) 1997-06-20 2003-08-11 シャープ株式会社 画像処理装置
JP4031122B2 (ja) * 1998-09-30 2008-01-09 本田技研工業株式会社 差分画像を用いた被写体の検出装置
JP3926507B2 (ja) * 1999-05-28 2007-06-06 沖電気工業株式会社 目位置及び顔位置検出装置
SG91841A1 (en) * 1999-11-03 2002-10-15 Kent Ridge Digital Labs Face direction estimation using a single gray-level image
JP4476424B2 (ja) 2000-04-05 2010-06-09 本田技研工業株式会社 画像処理装置およびその方法ならびにプログラム記録媒体
US7286692B2 (en) * 2001-12-27 2007-10-23 Amnart Kanarat Automatic celebrity face matching and attractiveness rating machine
US6937745B2 (en) * 2001-12-31 2005-08-30 Microsoft Corporation Machine vision system and method for estimating and tracking facial pose
AUPS170902A0 (en) * 2002-04-12 2002-05-16 Canon Kabushiki Kaisha Face detection and tracking in a video sequence
JP4238542B2 (ja) 2002-08-30 2009-03-18 日本電気株式会社 顔向き推定装置および顔向き推定方法ならびに顔向き推定プログラム
JP4180027B2 (ja) * 2004-08-27 2008-11-12 株式会社豊田中央研究所 顔部品位置検出装置及び方法並びにプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08297019A (ja) * 1995-04-27 1996-11-12 Nissan Motor Co Ltd 車両用視線方向計測装置
US5859921A (en) * 1995-05-10 1999-01-12 Mitsubishi Denki Kabushiki Kaisha Apparatus for processing an image of a face
JPH11250267A (ja) * 1998-03-05 1999-09-17 Nippon Telegr & Teleph Corp <Ntt> 目の位置検出方法、目の位置検出装置および目の位置検出プログラムを記録した記録媒体
JP2001331804A (ja) * 2000-05-18 2001-11-30 Victor Co Of Japan Ltd 画像領域検出装置及び方法
JP2004078778A (ja) * 2002-08-21 2004-03-11 Nissan Motor Co Ltd ドライバモニタ装置
JP2004133749A (ja) * 2002-10-11 2004-04-30 Tokai Rika Co Ltd 顔の向き検知装置

Also Published As

Publication number Publication date
DE602005002802T2 (de) 2008-07-17
JP2006065673A (ja) 2006-03-09
JP4130820B2 (ja) 2008-08-06
US7522752B2 (en) 2009-04-21
DE602005002802D1 (de) 2007-11-22
US20060045317A1 (en) 2006-03-02
EP1630718A1 (en) 2006-03-01
EP1630718B1 (en) 2007-10-10
CN1741038A (zh) 2006-03-01

Similar Documents

Publication Publication Date Title
CN100407221C (zh) 面部中央位置检测设备、方法
US8385645B2 (en) Object detecting device, imaging apparatus, object detecting method, and program
US10304164B2 (en) Image processing apparatus, image processing method, and storage medium for performing lighting processing for image data
CN106056064B (zh) 一种人脸识别方法及人脸识别装置
US8698910B2 (en) Apparatus, camera, method, and computer-readable storage medium for generating advice for capturing an image
KR101303877B1 (ko) 얼굴 검출과 피부 영역 검출을 적용하여 피부의 선호색변환을 수행하는 방법 및 장치
US11069057B2 (en) Skin diagnostic device and skin diagnostic method
US20090097711A1 (en) Detecting apparatus of human component and method thereof
US8351663B2 (en) Dot templates for object detection in images
US7907752B2 (en) Face center position detecting device, face center position detecting method, and computer-readable medium
US6968094B1 (en) Method of estimating and correcting camera rotation with vanishing point location
JP4597391B2 (ja) 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体
CN105612473A (zh) 操作输入装置及方法以及程序和记录介质
US11238302B2 (en) Method and an apparatus for performing object illumination manipulation on an image
CN112419420B (zh) 一种相机标定方法、装置、电子设备及存储介质
CN115035581A (zh) 面部表情识别方法、终端设备及存储介质
JP2012068948A (ja) 顔属性推定装置およびその方法
US20140140624A1 (en) Face component extraction apparatus, face component extraction method and recording medium in which program for face component extraction method is stored
CN111354088A (zh) 环境地图建立方法以及其***
US11750917B2 (en) Systems and methods for generating consistent images of objects
CN113988957B (zh) 基于元素识别的图像自动化评分方法与评分***
JP2007025901A (ja) 画像処理装置、画像処理方法
EP3168780B1 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JP4831344B2 (ja) 目の位置の検出方法
JPH11283036A (ja) 対象物検出装置及び対象物検出方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080730

Termination date: 20210826