CN100382108C - 脸图像候选区域检索方法、检索*** - Google Patents

脸图像候选区域检索方法、检索*** Download PDF

Info

Publication number
CN100382108C
CN100382108C CNB2004800105987A CN200480010598A CN100382108C CN 100382108 C CN100382108 C CN 100382108C CN B2004800105987 A CNB2004800105987 A CN B2004800105987A CN 200480010598 A CN200480010598 A CN 200480010598A CN 100382108 C CN100382108 C CN 100382108C
Authority
CN
China
Prior art keywords
image
aforementioned
face
feature amount
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2004800105987A
Other languages
English (en)
Other versions
CN1777915A (zh
Inventor
长桥敏则
日向崇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN1777915A publication Critical patent/CN1777915A/zh
Application granted granted Critical
Publication of CN100382108C publication Critical patent/CN100382108C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

使用圆周滤波器(28)对抽样图像进行滤波,使识别单元(30)学习图像特征量,使用前述圆周滤波器(28)对检索对象图像(G)进行滤波,检测所滤波的各个区域的旋转不变的图像特征量,把所检测的各个图像特征量输入到前述识别单元(30)。这样,可高速判别滤波区域是否是脸图像候选区域,并且图像特征量的维数大幅度减少,因而不仅识别作业,连抽样图像的学习时间也可大幅度缩短。

Description

脸图像候选区域检索方法、检索***
技术领域
本发明涉及模式识别(Pattern recognition)和物体识别技术,具体地涉及用于从图像中高速检索存在人脸图像的可能性高的区域的脸图像候选区域检索方法和脸图像候选区域检索***以及脸图像候选区域检索程序。
背景技术
随着近年来模式识别技术和诸如计算机等的信息处理装置的高性能化,字符和声音的识别精度取得显著提高,然而公知的是,对于在映有人物、物体、景色等的图像(例如通过数字照相机等获取的图像)的模式识别中,特别是准确且高速地识别在该图像中是否映有人脸的这一点,仍然是极其困难的作业。
然而,这样使用计算机等自动且准确地识别在图像中是否映有人脸、以及该人物是谁,这在实现生物体识别技术的建立和安全性的提高、罪犯搜查的迅速化、图像数据的整理和检索作业的高速化等方面成为极其重要的课题,关于该课题,以往提出了许多方案。
例如,在特开平9-50528号公报等中,对于某个输入图像,首先判定有无肤色区域,针对该肤色区域自动决定镶嵌尺寸来进行镶嵌,通过计算该镶嵌区域与人脸词典的距离来判定有无人脸,通过进行人脸的切出,减少由背景等的影响引起的误抽出,从而高效地从图像中自动找到人脸。
然而,前述以往技术具有的问题是,由于旋转(倾斜)的脸图像不被判断为脸图像,而是作为别的模式来处理,因而到抽出这种脸图像为止需要较长时间。
即,在检测倾斜(旋转)的脸图像的情况下,由于需要假定其旋转角,针对所假定的每一个旋转角(例如每一个10°)计算与人脸词典的一致度,或者使图像按每一个固定角度旋转,针对该各个角度计算一致度,因而存在需要庞大的计算时间的问题。
发明内容
因此,本发明是为了有效解决该课题而提出的,本发明的目的是提供可以从图像中高速检索存在人脸图像的可能性高的区域的新的脸图像候选区域检索方法和脸图像候选区域检索***以及脸图像候选区域检索程序。
为了解决前述课题,发明1的脸图像候选区域检索方法,从未判明是否包含有脸图像的检索对象图像中检索存在该脸图像的可能性高的脸图像候选区域,其特征在于,使用规定的圆周滤波器对多个学习用的抽样图像进行滤波,检测各个旋转不变的图像特征量,并使识别单元学习该各个图像特征量,然后,使用前述圆周滤波器在前述检索对象图像内顺次进行滤波,检测滤波后的每个区域的旋转不变的图像特征量,并把所检测的各个图像特征量顺次输入到前述识别单元,使用该识别单元顺次判别与所输入的图像特征量相对应的滤波区域是否是前述脸图像候选区域。
即,本发明在以往用于脸图像的识别等的识别单元的学习时,不是直接输入多个学习用抽样图像的图像特征量来进行学习,而是把由规定的圆周滤波器滤波后的图像特征量作为对象来进行学习。
而且,当使用这样学习了抽样图像的旋转不变的图像特征量后的识别单元来判别检索对象图像中的规定区域图像是否是脸图像候选区域时,同样不是直接输入该区域的图像特征量,而是使用在前述学习时所使用的圆周滤波器进行滤波,算出滤波后的旋转不变的图像特征量,并输入该图像特征量。
这样,与检索对象图像中存在的脸的旋转(倾斜)无关,可以高速判别滤波区域是否是脸图像候选区域。并且,通过利用由圆周滤波器滤波后的旋转不变的图像特征量,图像特征量的维数大幅度减少,因而不仅识别作业中的计算时间,连抽样图像的学习时间也可大幅度缩短。
并且,发明2的脸图像候选区域检索方法,根据发明1所述的脸图像候选区域检索方法,其特征在于,作为前述识别单元,使用支持向量机或神经网络。
即,该支持向量机(Support Vector Machine:以下适当称为“SVM”)(将在后面详述)是在1995年由AT&T的V.Vapnik在统计学***面的学习机,公知的是,该支持向量机在模式识别能力方面是最优秀的学习模型之一。并且,即使在不能线性分离的情况下,也能通过使用核心诀窍法(kernel-trick)这一技术,来发挥高的识别能力。
另一方面,神经网络是模仿生物脑神经电路网的计算机模型,特别是作为多层型神经网络的PDP(Parallel Distributed Processing:并行分布处理)模型可进行不能线性分离的模式学习,是模式识别技术的分类方法的代表性模型。
因此,具体地说,如果具体使用这种高精度的识别器来作为前述识别单元,则误识别会大幅度减少,可实施高精度的识别。
并且,发明3的脸图像候选区域检索方法,从未判明是否包含有脸图像的检索对象图像中检索存在该脸图像的可能性高的脸图像候选区域,其特征在于,使用规定的圆周滤波器对多个学***均脸向量,然后,使用前述圆周滤波器在前述检索对象图像内顺次进行滤波,检测滤波后的每个区域的旋转不变的图像特征量,并根据该图像特征量算出每个区域的图像向量,然后,计算所算出的各图像向量与前述平均脸向量的向量间距离,根据该距离顺次判别与该图像向量相对应的区域是否是脸图像候选区域。
即,发明1使用由SVM等识别器构成的识别单元来判别滤波区域是否是脸图像候选区域,相对之下,本发明计算从抽样脸图像获得的平均脸向量与从滤波区域获得的图像向量的向量间距离,根据该距离判别与该图像向量相对应的区域是否是脸图像候选区域。
这样,即使不使用由SVM等识别器构成的专用识别单元,也能高精度地识别滤波区域是否是脸图像候选区域。
并且,发明4的脸图像候选区域检索方法,根据发明1~3中的任意一项所述的脸图像候选区域检索方法,其特征在于,作为前述旋转不变的图像特征量,使用各像素中的边缘强度、或者边缘方差值、或者亮度中的任意一方,或者使用将沿前述圆周滤波器的各圆的圆周对该组合的平均数值求线性积分后的值按照圆的数量进行合计后的值。
这样,可以分别可靠地检测多个学***均脸向量和各滤波区域的图像向量。
并且,发明5的脸图像候选区域检索方法,根据发明4所述的脸图像候选区域检索方法,其特征在于,前述各像素中的边缘强度、或者边缘方差值是使用Sobel(索贝尔)运算符来算出的。
即,该Sobel运算符是用于检测诸如图像中的边缘或线那样的浓淡急剧变化的部分的差分型边缘检测运算符之一,公知的是,与诸如Roberts和Prewitt等的其他差分型边缘检测运算符相比,是特别适于检测人脸的轮廓等的最佳运算符。
因此,通过使用该Sobel运算符算出各像素中的边缘强度或边缘方差值,能够准确地检测图像特征量。
另外,该Sobel运算符的形状如图9(a:横向边缘)和(b:纵向边缘)所示,在把使用各个运算符算出的结果求平方和之后,通过取平方根,可求出边缘强度。
并且,发明6的脸图像候选区域检索***,从未判明是否包含有脸图像的检索对象图像中检索存在脸图像的可能性高的脸图像候选区域,其特征在于,具有:图像读取单元,其读取前述检索对象图像内的规定区域和学习用的抽样图像;特征量算出单元,其使用相同圆周滤波器对由前述图像读取单元读取的前述检索对象图像内的规定区域和学习用的抽样图像分别进行滤波,来算出各个旋转不变的图像特征量;以及识别单元,其学习由前述特征量算出单元算出的学习用的抽样图像的旋转不变的图像特征量,并根据该学习结果识别由前述特征量算出单元算出的前述检索对象图像内的规定区域是否是前述脸图像候选区域。
这样,与发明1一样,与检索对象图像中存在的脸的旋转无关,可高速且自动地判别滤波区域是否是脸图像候选区域,并且图像特征量的维数大幅度减少,因而不仅识别作业,连抽样图像的学习时间也可大幅度缩短。
并且,发明7的脸图像候选区域检索***,根据发明6所述的脸图像候选区域检索***,其特征在于,前述识别单元是支持向量机或神经网络识别器。
这样,与发明2一样,对滤波区域的误识别可大幅度减少,可实施高精度的识别。
并且,发明8的脸图像候选区域检索***,从未判明是否包含有脸图像的检索对象图像中检索存在脸图像的可能性高的脸图像候选区域,其特征在于,具有:图像读取单元,其读取前述检索对象图像内的规定区域和学***均脸向量和前述检索对象图像内的规定区域的图像向量,并计算所算出的两向量之间的距离,根据该距离识别前述检索对象图像内的规定区域是否是前述脸图像候选区域。
这样,与发明3一样,即使不使用由SVM等识别器构成的专用识别单元,也能判别滤波区域是否是脸图像候选区域。
并且,发明9的脸图像候选区域检索程序,用于从未判明是否包含有脸图像的检索对象图像中检索存在脸图像的可能性高的脸图像候选区域,其特征在于,该程序使计算机执行以下步骤:图像读取步骤,读取前述检索对象图像内的规定区域和学习用的抽样图像;特征量算出步骤,使用相同圆周滤波器对在前述图像读取步骤读取的前述检索对象图像内的规定区域和学习用的抽样图像分别进行滤波,来算出各个旋转不变的图像特征量;以及识别步骤,学习在前述特征量算出步骤算出的学习用的抽样图像的旋转不变的图像特征量,并根据该学习结果识别在前述特征量算出步骤算出的前述检索对象图像内的规定区域是否是前述脸图像候选区域。
这样,可取得与发明1相同的效果,并可使用个人计算机等通用计算机***在软件上实现它们的各个功能,因而与制造各专用硬件来实现各个功能的情况相比,更经济且容易实现。并且,只需改写程序的一部分,就可容易地进行该各个功能的改进。
并且,发明10的脸图像候选区域检索程序,用于从未判明是否包含有脸图像的检索对象图像中检索存在脸图像的可能性高的脸图像候选区域,其特征在于,该程序使计算机执行以下步骤:图像读取步骤,读取前述检索对象图像内的规定区域和学***均脸向量和前述检索对象图像内的规定区域的图像向量,并计算所算出的两向量之间的距离,根据该距离识别前述检索对象图像内的规定区域是否是前述脸图像候选区域。
这样,可取得与发明3相同的效果,并可与发明9一样使用个人计算机等通用计算机***在软件上实现它们的各个功能,因而与制造各专用硬件来实现各个功能的情况相比,更经济且容易实现。并且,只需改写程序的一部分,就可容易地进行该各个功能的改进。
附图说明
图1是示出脸图像候选区域检索***的一实施方式的方框图。
图2是示出脸图像候选区域检索方法的一实施方式的流程图。
图3是示出检索对象图像的一例的图。
图4是示出使用圆周滤波器对检索对象图像的一部分区域进行了滤波后的状态的概念图。
图5是示出使用圆周滤波器对检索对象图像的一部分区域进行了滤波后的状态的概念图。
图6是示出构成圆周滤波器的观察像素的排列的说明图。
图7是示出构成圆周滤波器的观察像素的排列的说明图。
图8是示出构成圆周滤波器的观察像素的排列的说明图。
图9是示出Sobel运算符的形状的图。
具体实施方式
下面,参照附图对本发明的最佳实施方式进行详述。
图1是示出本发明的脸图像候选区域检索***100的一实施方式的图。
如图所示,该脸图像候选区域检索***100主要由以下部分构成:图像读取单元10,其读取学习用的抽样图像和检索对象图像;特征量算出单元20,其算出由该图像读取单元10读取的图像的旋转不变的图像特征量;以及识别单元30,其根据由该特征量算出单元20算出的旋转不变的图像特征量,识别前述检索对象图像是否是脸图像候选区域。
该图像读取单元10,具体地说,是诸如数字静态照相机和数字摄像机等的CCD(Charge Coupled Device:电荷耦合器件)照相机或视象管摄像机、图像扫描器、鼓形扫描器等,并提供以下功能:把所读入的检索对象图像内的规定区域以及成为学习用的抽样图像的多个脸图像和非脸图像进行A/D转换,并把该数字数据顺次发送到特征量算出单元20。
特征量算出单元20进一步由以下部分构成:亮度算出部22,其算出图像中的亮度;边缘算出部24,其算出图像中的边缘强度;平均值/方差值算出部26,其求出边缘强度的平均值、亮度的平均值或边缘强度的方差值;以及圆周滤波器28,其具有多个同心圆,并且特征量算出单元20提供以下功能:通过沿圆周滤波器28的圆周对由平均值/方差值算出部26进行离散抽样的像素值求线性积分,并把其值按各圆的圆周数进行合计,来算出各抽样图像和检索对象图像的旋转不变的图像特征量,并把该图像特征量顺次发送到识别单元30。
识别单元30,具体地说,具有由支持向量机(SVM)构成的识别器32,并提供以下功能:学习由前述特征量算出单元20算出的成为学习用的抽样的多个脸图像和非脸图像的旋转不变的图像特征量,并根据该学习结果,识别由特征量算出单元20算出的检索对象图像内的规定区域是否是脸图像候选区域。
该支持向量机是如前所述可使用边界这一指标求出最适合于使所有输入数据线性分离的超平面的学习机,公知的是,即使在不能线性分离的情况下,也能通过使用核心诀窍法(kernel trick)的技术,发挥高的识别能力。
而且,在本实施方式中使用的SVM可分为2个步骤:1.进行学习的步骤;2.进行识别的步骤。
首先,在1.进行学习的步骤,如图1所示,在使用图像读取单元10读取了成为学习用的抽样图像的多个脸图像和非脸图像之后,使用特征量算出部20算出由圆周滤波器28滤波后的各个图像的特征量,并将该特征量作为特征向量来学习。
此后,在2.进行识别的步骤,顺次读入检索对象图像内的规定区域并同样使用圆周滤波器28对其进行滤波,算出滤波后的图像的旋转不变的特征量,将其作为特征向量输入,根据所输入的特征向量在该识别超平面与哪个区域对应来判别是否是存在脸图像的可能性高的区域。
这里,用于学习的抽样用的脸图像和非脸图像的大小与圆周滤波器28的大小是相同大小,例如如果圆周滤波器28是19×19像素(pixel),则抽样用的脸图像和非脸图像的大小按照19×19像素来执行,并且,即使在检测脸图像时,也针对相同大小的区域来执行。
而且,下面将参照“パタ一ン認識と学習の统計学”(岩波书店,麻生英树、津田宏治、村田昇著)pp107~118的描述对该SVM进行更详细的说明,在识别的问题是非线性的情况下,SVM可使用非线性核函数,这种情况下的识别函数由以下公式1来表示。
即,在公式1的值是“0”的情况下,该识别函数为识别超平面,在是除“0”以外的情况下,该识别函数为根据所提供的图像特征量计算的到识别超平面的距离。并且,在公式1的结果是非负的情况下,是脸图像,在负的情况下,是非脸图像。
[公式1]
f ( Φ ( x ) ) = Σ i = 1 n α i * y i * K ( x , x i ) + b
其中,x、xi是图像特征量。K是核函数,在本实施方式中使用下述公式2的函数。
[公式2]
K(x,xi)=(a*x*xi+b)T
其中,a=1、b=0、T=2
另外,该特征量算出单元20、识别单元30以及图像读取单元10的控制等实际上是使用其中将CPU(中央控制装置)、RAM(主存储装置)、ROM(辅助存储装置)、各种接口等通过总线连接的硬件***,以及预先存储在诸如硬盘驱动器(HDD)、半导体ROM或者CD-ROM、DVD-ROM等的各种记录介质内的专用计算机程序(软件)在个人计算机等的计算机***上实现的。
下面,对本发明的脸图像候选区域检索方法的一例进行说明。
图2是实际示出对成为检索对象的图像的脸图像候选区域检索方法的一例的流程图,然而在实际进行识别时,必须预先经过学习脸图像和非脸图像的步骤,该脸图像和非脸图像为由用于识别的SVM构成的识别器32的学习用抽样图像。
该学习步骤,如以往那样,算出成为抽样图像的各脸图像和非脸图像的特征量,将该特征量连同表示是脸图像还是非脸图像的信息一起输入,而作为该输入的图像特征量,使用由图6~图8所示的包含9个同心圆的9维圆周滤波器进行了滤波后的旋转不变的特征量。
如图6~图8所示,该圆周滤波器28是把滤波器尺寸设定为19×19,即把标准化的图像尺寸设定为19×19像素的例,通过沿着其圆周对与各图中符号“1”相当的像素求线性积分,并将该积分值按各圆进行合计,来针对各图像获得9维的旋转不变的特征量。
即,对于图6(a)的滤波器F0,由表示成为线性积分计算对象的像素的符号“1”构成的圆最大,对于图6(b)的滤波器F1,示出与滤波器F0的圆相比纵横各少1个像素的圆,对于图6(c)的滤波器F2,示出比图6(b)纵横再各少1个像素的圆。并且,对于图7(a)~(c)的滤波器F3~F5,示出纵横再各少1个像素的圆,对于图8(a)~(c)的滤波器F6~F8,示出纵横再各少1个像素的圆,滤波器F8的圆为最小的圆。即,对于本实施方式的圆周滤波器28,滤波器尺寸是19×19像素,在同心圆上形成从其中央逐渐大出1个像素的9个圆。
另外,在预先要学***均值/方差值算出部28把该图像镶嵌处理成19×19的块,然后再使用前述滤波器28获得9维旋转不变的特征量。
然后,使用这样由9个同心圆构成的圆周滤波器28进行前述学习,并可通过使用下述公式3所示的计算式,来求出下面用于识别的旋转不变的图像特征量。
[公式3]
V k = Σ x , y = 0 x = w - 1 , y = h - 1 F k ( x , y ) * P ( x , y )
式中,
-w是横向像素数,h是纵向像素数
-x、y是像素在横、纵向的位置
-Fk是圆周滤波器
-P是使用前述方法求出的像素特征量
然后,如果要使识别器32这样进行旋转不变的图像特征量的学习,则如图2的步骤S101所示,选择检索对象图像G内的成为识别对象的区域。
这里,作为该检索对象图像G,是例如图3和图4所示的一对年轻男女的照片,男性的脸垂直并面向正面,而女性的脸处于倾斜(旋转)的状态,而且,假定要利使用的圆周滤波器28的大小是该检索对象图像G的大约1/4。
在此情况下,首先,作为最初选择的检索对象区域,是把该检索对象图像G从其中央纵横分割成4部分后的左上区域,如图4所示,针对该区域的图像使用前述的圆周滤波器28,生成该区域的旋转不变的图像特征量(步骤S103)。
然后,当这样生成针对该检索对象区域的旋转不变的图像特征量后,转到下一步骤S105,把该旋转不变的图像特征量输入到作为识别器32的SVM,利用该SVM判定该区域是否是脸图像候选区域。另外,该判定结果单独存储在未作图示的存储单元等内。
然后,当这样结束了针对该检索对象图像G的左上区域的判定后,转到下一步骤S107,判断针对检索对象图像G内的所有区域的判定是否结束,当判断为未结束时(No),再次转到最初的步骤S101,选择下一区域,重复同样的步骤。
在图4的例中,由于仅对检索对象图像G的左上区域进行了判定,因而在步骤S107当然选择否(No),转到最初步骤S101之后,选择从该最初区域朝图中右侧移动了一定距离,例如从最初区域朝图中右侧移动了5个像素的区域作为下一判定区域,顺次进行同样的判定。然后,如果该圆周滤波器28到达了检索对象图像G内的右端区域,则使该圆周滤波器28直接朝下方向移动例如5个像素之后,此次在检索对象图像G内朝左方向顺次移动的同时,针对各区域进行判定。
然后,在这样在该检索对象图像G内顺次移动到下一区域的同时,实施判定,如图5所示,到达检索对象图像G内的最右下区域,如果判断为针对所有区域的判定结束(Yes),则转到下一步骤S109,判定在前述步骤S105被认为是脸图像区域的区域实际上是否是脸图像,然后结束处理。在图3~图5的示例中,当圆周滤波器28到达了男性的脸图像区域时,和当圆周滤波器28到达了除上述男性脸图像区域之外的女性的脸图像区域时,这2个区域都检测为脸图像候选区域。另外,该步骤S109的判定,如果直接应用如现有技术,即前述特开平9-50528号公报等那样通过镶嵌肤色区域,计算该镶嵌区域和人脸词典的距离,并由此来判定有无人脸的技术,则可自动实施人脸判定。
这样,本发明针对学习用的图像和检索图像使用圆周滤波器来求出旋转不变的图像特征量,根据该旋转不变的图像特征量判定是否是脸图像候选区域,因而不仅可大幅度减少学习所需要的时间,而且还可大幅度缩短检索所需要的时间,可高速实现脸图像候选区域的检索。
即,尽管在前述例中针对与19×19个像素直接对应的图像特征量需要计算361(19×19)维的特征,然而根据本发明,计算所需要的维数是9维,可相应地大幅度削减计算时间。并且,如图3~图5所示,针对各区域原则上是进行1次判别作业,不仅是垂直竖立的男性的脸,连倾斜的女性的脸都可以确实地判别是脸图像候选区域。
另外,在本实施方式中,以使用SVM等识别器32作为识别滤波区域是否是脸图像候选区域的识别单元30为例进行了说明,然而即使采用不使用这种识别器32的方法,也能识别该区域是否是脸图像候选区域。
即,使用前述公式3,根据学***均脸向量,并同样使用公式3,根据滤波区域生成图像向量,计算该2个向量之间的距离,如果该向量间距离小于等于根据脸图像和非脸图像所预先求出的规定阈值,则判定为是脸图像候选区域,在该向量间距离超过该阈值的情况下,判定为不是脸图像候选区域。
即,如果下述公式4的值小于该阈值,则认为是脸图像区域。
[公式4]
Σ k ( V k - V ‾ k ) 2 / | V | / | V ‾ |
式中,|V|、
Figure C20048001059800162
是各向量的大小。
这样,与前述实施方式一样,可高速实施脸图像候选区域的检索,实际上采用该方法,也能以较高概率抽出脸图像候选区域。

Claims (4)

1.一种脸图像候选区域检索方法,用于从未判明是否包含有脸图像的检索对象图像中检索存在脸图像的可能性高的脸图像候选区域,其特征在于,
使用在同心圆上形成逐渐大出1个像素的多个圆柱的圆周滤波器对多个学***均值求线性积分后的值按照圆的数量进行合计后的值。
2.一种脸图像候选区域检索方法,用于从未判明是否包含有脸图像的检索对象图像中检索存在脸图像的可能性高的脸图像候选区域,其特征在于,
使用在同心圆上形成逐渐大出1个像素的多个圆柱的圆周滤波器对多个学***均脸向量,然后,使用前述圆周滤波器在前述检索对象图像内顺次进行滤波,检测滤波后的每个区域的旋转不变的图像特征量,并根据该图像特征量算出该每个区域的图像向量,然后,计算所算出的各个图像向量与前述平均脸向量的向量间距离,根据该距离顺次判别与该图像向量相对应的区域是否是脸图像候选区域,而且作为前述旋转不变的图像特征量,使用沿前述圆周滤波器的各个圆的圆周对各个像素中的边缘强度、边缘方差值、亮度中的1个或2个以上的平均值求线性积分后的值按照圆的数量进行合计后的值。
3.一种脸图像候选区域检索***,用于从未判明是否包含有脸图像的检索对象图像中检索存在脸图像的可能性高的脸图像候选区域,其特征在于,具有:
图像读取单元,其读取前述检索对象图像内的规定区域和学习用的抽样图像;
特征量算出单元,其使用相同的在同心圆上形成逐渐大出1个像素的多个圆柱的圆周滤波器对由前述图像读取单元所读取的前述检索对象图像内的规定区域和学习用的抽样图像分别进行滤波,来算出各个旋转不变的图像特征量;以及
识别单元,其学习由前述特征量算出单元所算出的学习用的抽样图像的旋转不变的图像特征量,并根据该学习结果识别由前述特征量算出单元所算出的前述检索对象图像内的规定区域是否是前述脸图像候选区域;
而且作为前述旋转不变的图像特征量,使用沿前述圆周滤波器的各个圆的圆周对各个像素中的边缘强度、边缘方差值、亮度中的1个或2个以上的平均值求线性积分后的值按照圆的数量进行合计后的值。
4.一种脸图像候选区域检索***,用于从未判明是否包含有脸图像的检索对象图像中检索存在脸图像的可能性高的脸图像候选区域,其特征在于,具有:
图像读取单元,其读取前述检索对象图像内的规定区域和学习用的抽样图像;
特征量算出单元,其使用相同的在同心圆上形成逐渐大出1个像素的多个圆柱的圆周滤波器对由前述图像读取单元读取的前述检索对象图像内的规定区域和学习用的抽样图像分别进行滤波,来算出各个旋转不变的图像特征量;以及
识别单元,其根据由前述特征量算出单元算出的旋转不变的图像特征量算出前述学***均脸向量和前述检索对象图像内的规定区域的图像向量,并计算所算出的两向量之间的距离,根据该距离识别前述检索对象图像内的规定区域是否是前述脸图像候选区域;
而且作为前述旋转不变的图像特征量,使用沿前述圆周滤波器的各个圆的圆周对各个像素中的边缘强度、边缘方差值、亮度中的1个或2个以上的平均值求线性积分后的值按照圆的数量进行合计后的值。
CNB2004800105987A 2003-10-15 2004-10-15 脸图像候选区域检索方法、检索*** Expired - Fee Related CN100382108C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP354793/2003 2003-10-15
JP2003354793A JP2005122351A (ja) 2003-10-15 2003-10-15 顔画像候補領域検索方法及び検索システム並びに検索プログラム

Publications (2)

Publication Number Publication Date
CN1777915A CN1777915A (zh) 2006-05-24
CN100382108C true CN100382108C (zh) 2008-04-16

Family

ID=34463151

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004800105987A Expired - Fee Related CN100382108C (zh) 2003-10-15 2004-10-15 脸图像候选区域检索方法、检索***

Country Status (5)

Country Link
US (1) US20050141766A1 (zh)
EP (1) EP1675066A4 (zh)
JP (1) JP2005122351A (zh)
CN (1) CN100382108C (zh)
WO (1) WO2005038715A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106793992A (zh) * 2014-05-14 2017-05-31 Sync-Rx有限公司 对象识别

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100405388C (zh) * 2004-05-14 2008-07-23 欧姆龙株式会社 特定被摄体检测装置
US8542900B2 (en) 2007-03-08 2013-09-24 Sync-Rx Ltd. Automatic reduction of interfering elements from an image stream of a moving organ
US11197651B2 (en) 2007-03-08 2021-12-14 Sync-Rx, Ltd. Identification and presentation of device-to-vessel relative motion
US9968256B2 (en) 2007-03-08 2018-05-15 Sync-Rx Ltd. Automatic identification of a tool
US9629571B2 (en) 2007-03-08 2017-04-25 Sync-Rx, Ltd. Co-use of endoluminal data and extraluminal imaging
WO2008107905A2 (en) 2007-03-08 2008-09-12 Sync-Rx, Ltd. Imaging and tools for use with moving organs
US9375164B2 (en) 2007-03-08 2016-06-28 Sync-Rx, Ltd. Co-use of endoluminal data and extraluminal imaging
US11064964B2 (en) 2007-03-08 2021-07-20 Sync-Rx, Ltd Determining a characteristic of a lumen by measuring velocity of a contrast agent
US10716528B2 (en) 2007-03-08 2020-07-21 Sync-Rx, Ltd. Automatic display of previously-acquired endoluminal images
CA2711143C (en) 2007-12-31 2015-12-08 Ray Ganong Method, system, and computer program for identification and sharing of digital images with face signatures
US9721148B2 (en) 2007-12-31 2017-08-01 Applied Recognition Inc. Face detection and recognition
US9639740B2 (en) 2007-12-31 2017-05-02 Applied Recognition Inc. Face detection and recognition
US8542951B2 (en) * 2008-06-04 2013-09-24 National University Corporation Shizuoka University Image retrieval device and computer program for image retrieval applicable to the image retrieval device
US10362962B2 (en) 2008-11-18 2019-07-30 Synx-Rx, Ltd. Accounting for skipped imaging locations during movement of an endoluminal imaging probe
US9974509B2 (en) 2008-11-18 2018-05-22 Sync-Rx Ltd. Image super enhancement
US11064903B2 (en) 2008-11-18 2021-07-20 Sync-Rx, Ltd Apparatus and methods for mapping a sequence of images to a roadmap image
CN101853507B (zh) * 2010-06-03 2012-05-23 浙江工业大学 一种仿射传播聚类的细胞分类方法
TWI469087B (zh) * 2011-04-26 2015-01-11 Univ Nat Cheng Kung 深度圖產生方法
US9552376B2 (en) 2011-06-09 2017-01-24 MemoryWeb, LLC Method and apparatus for managing digital files
EP2723231A4 (en) 2011-06-23 2015-02-25 Sync Rx Ltd LUMINAL BACKGROUND CLEANING
US8548207B2 (en) 2011-08-15 2013-10-01 Daon Holdings Limited Method of host-directed illumination and system for conducting host-directed illumination
US9202105B1 (en) 2012-01-13 2015-12-01 Amazon Technologies, Inc. Image analysis for user authentication
JP6134789B2 (ja) 2012-06-26 2017-05-24 シンク−アールエックス,リミティド 管腔器官における流れに関連する画像処理
JP6474210B2 (ja) 2014-07-31 2019-02-27 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 大規模画像データベースの高速検索手法
US10698995B2 (en) 2014-08-28 2020-06-30 Facetec, Inc. Method to verify identity using a previously collected biometric image/data
CA3186147A1 (en) 2014-08-28 2016-02-28 Kevin Alan Tussy Facial recognition authentication system including path parameters
US11256792B2 (en) 2014-08-28 2022-02-22 Facetec, Inc. Method and apparatus for creation and use of digital identification
US10614204B2 (en) 2014-08-28 2020-04-07 Facetec, Inc. Facial recognition authentication system including path parameters
US10803160B2 (en) 2014-08-28 2020-10-13 Facetec, Inc. Method to verify and identify blockchain with user question data
US10915618B2 (en) 2014-08-28 2021-02-09 Facetec, Inc. Method to add remotely collected biometric images / templates to a database record of personal information
CN106650742B (zh) * 2015-10-28 2020-02-21 中通服公众信息产业股份有限公司 一种基于环形核的图像特征提取方法及装置
USD987653S1 (en) 2016-04-26 2023-05-30 Facetec, Inc. Display screen or portion thereof with graphical user interface
KR102028824B1 (ko) * 2018-02-14 2019-10-04 경일대학교산학협력단 객체를 식별하는 인공신경망을 이용한 워터마킹을 처리하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
US10936178B2 (en) 2019-01-07 2021-03-02 MemoryWeb, LLC Systems and methods for analyzing and organizing digital photos and videos

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002342760A (ja) * 2001-05-17 2002-11-29 Sharp Corp 顔画像処理装置および方法
US20030059092A1 (en) * 2000-11-17 2003-03-27 Atsushi Okubo Robot device and face identifying method, and image identifying device and image identifying method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6095989A (en) * 1993-07-20 2000-08-01 Hay; Sam H. Optical recognition methods for locating eyes
EP0774145A1 (en) * 1995-06-07 1997-05-21 University Of Florida Research Foundation, Inc. Automated method for digital image quantitation
JP3279913B2 (ja) * 1996-03-18 2002-04-30 株式会社東芝 人物認証装置、特徴点抽出装置及び特徴点抽出方法
US6459809B1 (en) * 1999-07-12 2002-10-01 Novell, Inc. Searching and filtering content streams using contour transformations
EP1107166A3 (en) * 1999-12-01 2008-08-06 Matsushita Electric Industrial Co., Ltd. Device and method for face image extraction, and recording medium having recorded program for the method
EP1260935B1 (en) * 2001-05-22 2006-07-12 Matsushita Electric Industrial Co., Ltd. Face detection device, face pose detection device, partial image extraction device, and methods for said devices

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030059092A1 (en) * 2000-11-17 2003-03-27 Atsushi Okubo Robot device and face identifying method, and image identifying device and image identifying method
JP2002342760A (ja) * 2001-05-17 2002-11-29 Sharp Corp 顔画像処理装置および方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106793992A (zh) * 2014-05-14 2017-05-31 Sync-Rx有限公司 对象识别
CN106793992B (zh) * 2014-05-14 2020-06-12 Sync-Rx有限公司 对象识别

Also Published As

Publication number Publication date
JP2005122351A (ja) 2005-05-12
EP1675066A4 (en) 2007-03-28
EP1675066A1 (en) 2006-06-28
CN1777915A (zh) 2006-05-24
WO2005038715A1 (ja) 2005-04-28
US20050141766A1 (en) 2005-06-30

Similar Documents

Publication Publication Date Title
CN100382108C (zh) 脸图像候选区域检索方法、检索***
CN106960195B (zh) 一种基于深度学习的人群计数方法及装置
CN108710865B (zh) 一种基于神经网络的司机异常行为检测方法
Busta et al. Deep textspotter: An end-to-end trainable scene text localization and recognition framework
CN101339609B (zh) 图像处理装置和图像处理方法
CN107977639B (zh) 一种人脸清晰度判断方法
US20150054824A1 (en) Object detection method, object detection device, and image pickup device
WO2012169088A1 (ja) 画像処理装置、画像処理方法及び画像処理システム
JP5235691B2 (ja) 情報処理装置及び情報処理方法
CN103218610B (zh) 狗脸检测器的形成方法和狗脸检测方法
CN103136504A (zh) 人脸识别方法及装置
CN108509950B (zh) 基于概率特征加权融合的铁路接触网支柱号牌检测识别法
CN110458158A (zh) 一种针对盲人辅助阅读的文本检测与识别方法
CN112991280B (zh) 视觉检测方法、***及电子设备
WO2013075295A1 (zh) 低分辨率视频的服装识别方法及***
JP2014059655A (ja) 道路状況監視装置、及び道路状況監視方法
WO2005041128A1 (ja) 顔画像候補領域検索方法及び顔画像候補領域検索システム並びに顔画像候補領域検索プログラム
Li et al. Real-time traffic sign detection: an evaluation study
WO2017089865A1 (en) Efficient unconstrained stroke detector
JP4749884B2 (ja) 顔判別装置の学習方法、顔判別方法および装置並びにプログラム
CN115937492B (zh) 一种基于特征识别的变电设备红外图像识别方法
CN106156774A (zh) 影像处理方法及影像处理***
Xu et al. Efficient eye states detection in real-time for drowsy driving monitoring system
CN113706580B (zh) 一种基于相关滤波***的目标跟踪方法、***、设备及介质
Islam et al. A new method for road surface detection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080416

Termination date: 20141015

EXPY Termination of patent right or utility model