CN100502471C - 图像处理装置、图像处理方法和成像装置 - Google Patents
图像处理装置、图像处理方法和成像装置 Download PDFInfo
- Publication number
- CN100502471C CN100502471C CNB2007100895473A CN200710089547A CN100502471C CN 100502471 C CN100502471 C CN 100502471C CN B2007100895473 A CNB2007100895473 A CN B2007100895473A CN 200710089547 A CN200710089547 A CN 200710089547A CN 100502471 C CN100502471 C CN 100502471C
- Authority
- CN
- China
- Prior art keywords
- zone
- image
- search window
- size
- facial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims abstract description 36
- 238000003384 imaging method Methods 0.000 title claims description 27
- 238000003672 processing method Methods 0.000 title claims description 9
- 230000001815 facial effect Effects 0.000 claims description 147
- 238000000034 method Methods 0.000 description 32
- 238000001514 detection method Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000015654 memory Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 101150052726 DSP2 gene Proteins 0.000 description 1
- 244000287680 Garcinia dulcis Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
一种图像处理装置包括:图像获取装置,用于获取图像;搜索窗尺寸设置装置,用于设置搜索窗的尺寸;搜索范围设置装置,用于对应于搜索窗的设置尺寸来设置图像中的搜索范围;扫描装置,用于在所设置的搜索范围中移动具有设置尺寸的搜索窗;面部区域确定装置,用于确定在每个扫描位置处的搜索窗中的图像是否是面部区域;以及面部信息输出装置,用于输出由面部区域确定装置的确定结果获得的面部区域的信息。
Description
相关申请的交叉参考
本发明包含于2006年3月29日向日本专利局提交的日本专利申请JP2006-090906的主题,其全部内容结合于此作为参考。
技术领域
本发明涉及一种图像处理装置、图像处理方法、和成像装置。
背景技术
举例来说,当观看通过数码相机等拍摄的多个照片图像时,可以使用面部图像检测技术。这项技术用于通过从每张照片中提取面部信息,然后使用该面部信息作为该照片的索引来搜索照片。同样,当调节照片的图像质量时,也用到这项技术。调节图像质量,以使所提取的面部区域成为最好的一个。此外,从为调节相机而实时拍摄的图像中检测出面部区域,以最佳地曝光或聚焦面部区域。同样,通过摇镜头/倾架(pan/tilter)来控制相机的拍摄方向,以使得面部位置处于中心。此外,面部图像识别技术可以应用于诸如个人身份识别等安全领域中。
例如,第2005-44330号日本未审查专利申请公开中描述了一种用于识别面部图像的方法,从而,确定在搜索窗(下文中,适当称作部分图像)中的图像是否是面部,其中,在部分图像的像素值与学术字典之间进行比较计算。
同样,第2006-48328号日本未审查专利申请公开中描述了一种能够根据由于玻璃等反射光而产生的发光图像来容易地检测面部区域的面部检测装置。
如第2005-44330号和第2006-48328号日本未审查专利申请公开所述,在适用于实时图像或存储的图像数据的面部图像检测方法中,通过搜索窗扫描图像来获得对应于每个搜索窗的部分图像,并且检测该部分图像是否包括面部。例如,作为一种面部区域的检测方法,在部分图像和先前已通过学习得到的样板之间进行比较处理。除此之外,可以使用另一种面部区域检测方法。例如,第2005-48328号日本未审查专利申请公开中描述了以下的方法。一种方法是将部分图像的像素向量化并投影到主分量空间(maincomponent space)上,计算向量到主分量空间的距离以及向量在主分量空间中的距离,然后确定在部分图像中是否存在面部区域。另一种方法是从在背景图像(不包括人轮廓的图像)和包括人轮廓的图像之间的不同信息中识别出面部区域和眼睛区域的位置。
图6A和图6B分别示出了用于取出部分图像的一个扫描实例和另一个扫描实例。在图6A和图6B中示出的图像是通过获取相同但面部尺寸不同的拍摄对象得到的个别实例。为了取出部分图像,例如,由四边形(例如正方形)表示的搜索窗用于从图像的左上角(upper left corner)向右下角进行扫描。搜索窗的位置沿水平方向和垂直方向移动m个像素距(pixel step)。优选地,m个像素与搜索窗的尺寸成正比例,并且例如,将m个像素设置成大约一侧长度的十分之一。在图6A中所示的相对大的面部和图6B中的相对小的面部之间,搜索窗的适当尺寸是不同的。在面部大的情况下,搜索窗的尺寸变大。
发明内容
在一个图像中可能存在各种尺寸的面部,因而,需要改变用于取出部分图像的搜索窗的尺寸。对多个尺寸的搜索窗单独地执行面部检测处理。如上所述,当与搜索窗的尺寸近似成比例地改变移动量时,如果搜索窗很小,则在扫描过程中生成的搜索窗的总数量变大,因而,用于确定面部区域的计算量增加。同样,如果待处理的图像尺寸(分辨率)变大,则计算量增加。处理量的增加导致CPU工作量的增加,因而,存在的问题在于处理时间变长。特别地,结合到移动装置(诸如数码相机、移动电话、个人数字助理)中的微型计算机的处理能力达不到这么高,因而,很难在短时间内,在不降低精度的情况下执行面部检测。
另一方面,在实际快照拍摄人轮廓的情况下,在作为拍摄对象的面部区域的位置中存在一定程度的倾斜或偏离。在拍摄对象的面部成为照片主题的情况下,面部区域通常位于所拍摄图像的中心附近。然而,由于是对整个图像执行面部检测处理,因而,存在的问题在于检测到了并不必需开始就检测的面部、已意外拍摄到的面部等等。可以基于面部区域检测结果来实现诸如对图像文件的提取处理等的应用。然而,如果如上所述检测到了不想要的面部区域,则会引起诸如得到错误的提取结果的麻烦。
因而,需要提供能够缩短用于检测面部区域的处理时间但不降低检测精度的图像处理装置、图像处理方法、和成像装置。
根据本发明的实施例,提供了一种图像处理装置,包括:图像获取装置,用于获取图像;搜索窗尺寸设置装置,用于设置搜索窗的尺寸;搜索范围设置装置,用于对应于搜索窗的设置尺寸,在图像中设置搜索范围;扫描装置,用于在设置的搜索范围中移动具有设置尺寸的搜索窗;面部区域确定装置,用于确定在每个扫描位置处的搜索窗中的图像是否是面部区域;以及面部信息输出装置,用于输出由面部区域确定装置的确定结果获得的面部区域信息。
根据本发明的实施例,提供了一种图像处理方法,其包括以下步骤:用于获取图像的图像获取步骤;用于设置搜索窗的尺寸的搜索窗尺寸设置步骤;用于对应于搜索窗的设置尺寸,在图像中设置搜索范围的搜索范围设置步骤;用于在设置的搜索范围中移动具有设置尺寸的搜索窗的扫描步骤;用于确定在每个扫描位置处的搜索窗中的图像是否是面部区域的面部区域确定步骤;以及用于输出由面部区域确定步骤的确定结果获得的面部区域的信息的面部信息输出步骤。
根据本发明的实施例,提供了一种成像装置,其包括:相机部,用于获取拍摄对象的图像;相机信号处理部,用于对来自相机部的成像信号执行信号处理;存储部,用于存储成像信号;以及控制部,用于控制成像装置的操作,其中,控制部包括:搜索窗尺寸设置部,用于设置搜索窗的尺寸;搜索范围设置部,用于对应于搜索窗的设置尺寸,在拍摄对象的图像中设置搜索范围;扫描部,用于在设置的搜索范围中移动具有设置尺寸的搜索窗;面部区域确定部,用于确定在每个扫描位置处的搜索窗中的图像是否是面部区域;以及面部信息输出部,用于输出由面部区域确定部的确定结果获得的面部区域的信息。
通过本发明,将面部区域的搜索范围限制成比目标图像的整个范围窄的范围,因而,减少了面部区域检测处理所必需的计算量,从而可以缩短处理时间。仅在搜索窗尺寸较小的情况下限制搜索范围。因此,不会省略像将成为照片主题的大面部的检测,因而,可以防止检测精度的降低。
附图说明
图1是示出了根据本发明实施例的成像装置的配置实例的框图;
图2是根据本发明实施例的面部检测装置的功能框图;
图3是用于说明根据本发明实施例的包括面部的区域的示意图;
图4是用于说明根据本发明实施例的面部分布图的示意图;
图5是示出了根据本发明实施例的面部检测处理的流程的流程图;以及
图6是用于说明在面部检测处理中通过搜索窗进行扫描的示意图。
具体实施方式
在下文中,将参考附图给出对本发明实施例的描述。在本实施例中,本发明应用于具有图1所示配置的成像装置。该成像装置包括相机部1、相机DSP(数字信号处理器)2、SDRAM(同步动态随机存取存储器)3、介质接口(下文中,称为介质I/F)4、控制部5、操作部6、LCD(液晶显示器)控制器7、LCD8、和外部接口(下文中,称为外部I/F)9。记录介质10可拆卸地连接至成像装置。
例如,记录介质10是所谓的使用半导体存储器的存储卡。除了存储卡之外,还可以使用硬盘、光学记录介质(诸如可记录DVD(数字多功能光盘)、可记录CD(光盘)等)、磁盘等等。
相机部1包括光学组块11、CCD(电荷耦合器件)12、预处理电路13、光学组块驱动器14、CCD驱动器15、和定时发生电路16。此处,光学组块11包括透镜、聚焦机构、快门机构、光圈(可变光阑)机构等等。
控制部5是具有以下配置的微型机算机,其中,CPU(中心处理单元)51、RAM(随机存取存储器)52、快速ROM(只读存储器)53、定时器电路54通过***总线55连接。控制部5控制本实施例的成像装置的每个部件。RAM 52主要用作工作区域,诸如用于临时存储处理的中间结果。快速ROM 53存储由CPU 51执行的各种程序、进行处理所必需的数据等。定时器电路54提供当前日期、星期的当前日、当前时间、拍摄日期和时间等等。
拍摄时,光学组块驱动器14在控制部5的控制下形成用于操作光学组块11的驱动信号,将驱动信号提供给光学组块11,然后操作光学组块11。在光学组块11中,根据来自驱动器14的驱动信号来控制聚焦机构、快门机构、和光圈机构,摄取拍摄对象的图像,然后将该对象图像提供给CCD 12。
CCD 12对来自光学组块11的对象图像进行光电转换,然后将其输出。CCD 12根据来自CCD驱动器15的驱动信号而操作,以摄取对象的图像。基于来自由控制部5控制的定时发生电路16的定时信号,将所摄取的对象图像作为电信号提供给预处理电路13。
在这点上,如上所述,定时发生电路16在控制部5的控制下形成用于提供预定定时的定时信号。同样,CCD驱动器15基于来自定时发生电路16的定时信号来形成用于将驱动信号提供给CCD12的定时信号。
预处理电路13对所提供的图像信号执行CDS(相关双采样)处理来改善信噪比(S/N ratio),执行AGC(自动增益控制)处理来控制增益,并且执行A/D(模拟/数字)转换来将图像数据形成为数字信号。
来自预处理电路13的数字图像数据被提供给DSP 2。DSP 2对图像数据执行诸如AF(自动聚焦)、AE(自动曝光)、AWB(自动白平衡)等相机信号处理。通过预定压缩方法对已经过相机信号处理的图像数据进行数据压缩,然后将作为待记录在记录介质10中的图像文件提供给通过***总线55和介质I/F4连接的记录介质10。
同样,根据从用户输入的操作(已通过包括接触面板、控制键等的操作部6接收),通过介质I/F4从记录介质10中读取记录在记录介质10中的图像数据的目标图像数据,然后将其提供给DSP2。
DSP 2对已从记录介质10中读取并且通过介质I/F4提供的压缩图像数据执行解压缩处理(扩展处理),然后通过***总线55将解压缩的图像数据提供给LCD控制器7。LCD控制器7根据图像数据形成将要提供给LCD 8的显示图像信号,然后将该显示图像信号提供给LCD 8。因而,在LCD 8上显示对应于记录在记录介质10中的图像数据的图像。
在这点上,图像的显示形式取决于记录在ROM中的显示处理程序。即,这种显示处理程序是指定了如下所述的文件***的结构以及再生图像的方式的程序。
此外,成像装置设置有外部I/F 9。例如,外部个人计算机通过外部I/F 9连接至成像装置。因而,成像装置可以接收从个人计算机提供的图像数据,然后将其记录在连接至装置本身的记录介质中。此外,成像装置可以将记录在连接至装置的记录介质中的图像数据提供给外部个人计算机。
此外,通过将通信模块连接至外部I/F 9,例如,通过连接至诸如互联网的网络,成像装置可以通过网络获得各种图像数据和其他信息,并将图像数据记录在连接至装置本身的记录介质中。可选地,成像装置可以通过网络将记录在连接至装置本身的记录介质中的数据传输至传输目的地。
此外,成像装置可以如上所述来读取和再生信息(诸如,已通过外部个人计算机或网络获得并且已记录在记录介质中的图像数据),并且将其显示在LCD 8上。
在这点上,可以将外部I/F 9设置成有线接口,诸如IEEE(电气和电子工程师协会)1394、USB(通用串行总线)等。此外,可以通过光或无线电波将外部I/F 9设置成无线接口。即,外部I/F 9可以是无线或有线接口中的任何一个。
如上所述,本实施例的成像装置可以摄取拍摄对象的图像,并且将所摄取的图像记录在连接至该装置的记录介质中。此外,成像装置可以读取记录在记录介质中的图像数据、再生图像数据、以及使用图像数据。此外,成像装置可以接收到通过外部个人计算机或网络提供的图像数据,并将图像数据记录在连接至装置本身的记录介质中,然后读取和再生图像数据。
控制部(微型计算机)5执行面部检测处理。图2是表示通过控制部5进行的面部检测处理的功能框图。在这点上,可以将面部检测装置配置成独立于成像装置的用于观察照片的图像处理装置。
在图2中,参考数字101表示图像数据读取部。图像数据读取部101将读取存储在到存储器(例如,工作RAM)中的存储装置102中的图像数据的预定图像文件。例如,存储装置102对应于记录介质10。此外,如图2中的虚线所示,本发明不仅可以应用于所存储的图像文件,而且还可以应用于诸如当前从图像摄取部109所摄取图像的实时图像数据的面部检测。通过图像数据读取部101所读取的图像数据被传送至图像中搜索控制部(search-in-imagecontrol section)103。
图像中搜索控制部103设置有来自搜索窗尺寸确定部104的搜索窗尺寸的详细说明,并且设置有来自搜索范围确定部105的搜索范围的详细说明。图像中搜索控制部103基于详细说明,以与使用指定尺寸的搜索窗在指定搜索范围内进行光栅扫描的相同方式来扫描图像。即,从搜索范围的左上角开始沿水平方向使搜索窗移动预定移动量。当搜索窗到达搜索范围的右端时,搜索窗回到左端,并且搜索窗的位置向下变化,然后沿水平方向执行扫描。重复该操作,并且扫描指定范围。优选地,使沿水平方向和垂直方向的每一步的移动量(m个像素)与搜索窗的尺寸近似成比例。因而,例如,将移动量设成搜索窗的一侧长度的十分之一。
面部区域确定部106确定在每个部分图像中是否存在面部区域,每个部分图像都是通过图像中搜索控制部103对搜索范围进行搜索而获得的每个搜索窗的图像。面部区域的确定方法可以使用在背景技术中所述的已知方法。如果在一个图像文件中存在多个面部区域,则在多个部分图像中检测到面部区域。在此情况下,所摄取的面部区域的数目信息被记录在图像文件的分类标签信息(下文中,适当称为元数据)中。元数据是描述各个图像文件的属性的数据,并被存储在与图像文件相关的面部信息数据库108中。在这点上,面部信息数据库108仅存储元数据,但是如果能够使得存储容量增加,则可以存储面部区域的图像或者其缩小图像。此外,除了面部区域的数目之外,还可以通过面部区域确定提取出下列来作为元数据。
在每个面部区域中的面部区域的位置
每个面部区域的尺寸
在每个面部区域中的面部的朝向
当面部区域确定部106已确定出存在面部区域,则将元数据(例如,面部区域的数目的数据)通过图像中搜索控制部103传递至面部数据库写入部107。面部数据库写入部107将元数据写入面部信息数据库108中。面部信息数据库108是仅用于存储面部信息的元数据的数据库。对应于对应的图像文件来保存元数据。面部信息数据库108内置在存储装置102或其他存储器中。
图2是对应于到建立面部信息数据库108为止的处理的功能框图。此外,虽然在附图中未示出,但是可以使用存储在面部信息数据库108中的面部信息来实现各种应用。例如,可以搜索包括用户指定数目的面部区域的图像文件。此外,可以根据面部区域的数目对图像文件进行分类。此外,可以从正在摄取的实时图像中检测面部区域,然后执行自动聚焦操作,以便将相机聚焦在面部区域上,或者执行自动曝光处理,以在面部区域上实施适度曝光(correctexposure)。
到目前为止,已为可以采用的所有面部区域的每个尺寸设置了搜索窗,并且已通过每个搜索窗扫描将要处理的整个图像。因而,存在的问题在于用于面部区域的检测的处理时间变长。在本发明的实施例中,当搜索面部区域时,通过将将要处理的图像中的搜索范围限制到包括已预先获得的面部的区域来增加处理速度。包括面部的区域指的是极有可能包括拍摄对象的面部区域的区域。包括面部的最大区域等于目标图像的整个区域(全部范围)。
对于设置包括面部的区域的方法来说,存在两种可能的方法,一种是根据硬件等的处理能力来固定设置的方法。另一种方法是对诸如实际拍摄的照片等的图像数据执行统计处理,以作估计。在进行固定设置的方法中,设置包括面部的区域,以至于包括(例如)图像的中心部分附近,以及具有大约整个图像区域一半的区域。
在这点上,在以下描述中,设置了一种包括面部的区域。然而,可以设置两种或多种包括面部的区域,这些区域具有彼此互不相同的尺寸。此外,可以根据拍摄时相机的方向(垂直/水平)来改变包括面部的区域。此外,可以根据拍摄模式(诸如人物拍摄模式,风景拍摄模式等)来改变包括面部的区域。在人物拍摄模式的时候,强调的是中心部分附近。在风景拍摄模式时,必需考虑到拍摄对象的面部极有可能包括在***部分中。在任一种方法中,需要使得图像中心附近包括在包括面部的区域中。
下文将给出对通过作为实例的统计方法估计包括面部的区域的方法的描述。将包括面部的区域的估计处理作为图2中所示的面部检测装置的初始设置来执行、或者作为通过除了面部检测装置之外的装置(例如,个人计算机)进行的其他处理来执行。将已作为估计结果获得的包括面部的区域作为通用数据应用于面部检测装置。使用多个(例如几百个)图像组来估计包括面部的区域。通过标示在图像组中的每个图像中的包括面部的面部区域的中心位置,可以获得在图像组中的面部位置的分布图。在这点上,对于检测面部区域的方法来说,使用与面部检测装置中的处理相同的方法、或者另一种方法。例如,用户可以在观看屏幕时通过操作输入装置(诸如鼠标等)来标示中心位置。
图3中示出了在图像组中的一个图像实例(组照片)。检测面部区域,然后标示每个所检测的面部区域的中心位置。图4是从(例如)包括800个图像的图像组中得到的面部分布图的实例。使用面部分布图来估计包括面部的区域。估计方法的一个实例是将包括含有至少一块图的范围的分布图划分成相等尺寸的单元(称为块),以执行包括在每个块中的面部数目的阈值处理,并确定包括大于阈值的面部数目的块是包括面部的区域。在图3和图4中,虚线所表示的矩形区域示出了所估计的包括面部的区域。
此外,还能够使用另一种估计方法,其中,包括图像中面部的部分设置有恒量权重(简单地,+1),累积关于每个位置的权重,以获得关于图像中所有面部区域的直方图,其中的频率要经过阈值处理,并且所获得的区域要经过矩形近似。此外,能够使用一种方法,其中,当在分布图中的每个标定点的某一直径内的附近存在另一个标定点时,添加标记(score),标记的分布要经过阈值处理,并且所获得的区域要经过矩形近似。
包括已经以此方式进行估计的面部的区域的信息作为数据保存在图2中所示的面部检测装置的搜索范围确定部105中。非易失性存储器用作用于保存数据的存储器。如果搜索窗的尺寸小于预定阈值,则仅在包括面部的区域中执行面部区域的检测处理。
基于搜索窗的尺寸(即,待检测的面部尺寸)来改变包括面部的区域的原因在于,需要尽可能地防止将要作为图像主题的拍摄对象的面部区域的检测的遗漏。例如,如果待检测的面部尺寸(搜索窗的尺寸)较小,则将面部区域的搜索范围限制在包括面部的区域。相反,如果将要检测的面部尺寸(搜索窗的尺寸)较大,则不将面部区域的搜索范围限制在包括面部的区域,而是将其设置成整个图像区域。
在照片情况下,带有相对大面部的人的轮廓在多数情况下很可能是在照片中的重要拍摄对象。如果设置大搜索窗,则优选地不将搜索范围限制在包括面部的区域。相反,如果设置小搜索窗并且检测小面部区域,则拍摄对象的重要性相对要小,因而,即使将搜索范围限制到包括面部的区域,也不太可能检测不到重要拍摄对象的面部。例如,在如图3所示的组照片的情况下,每个人的面部区域的尺寸变小,并且在图像的***部分中存在面部的概率变低。
此外,用于在面部检测处理过程中处理一个图片所需的计算量随着搜索窗逐渐变小而增加。因而,与大搜索窗的情况相比,当搜索窗很小时,通过限制搜索范围而减少计算量的效果要相对更大。基于这一观点采取以下措施。如果搜索窗很大,则从整个图像中检测面部区域,而如果搜索窗很小,则仅在包括面部的区域中检测面部区域,从而减少了进行处理所需要的计算量,同时防止了重要面部区域的检测的遗漏。因此,缩短了处理时间。
图5是示出了通过图2所示的功能框图的配置执行的面部区域检测处理的过程的流程图。在第一步骤S1中,以初值设置搜索窗(图5中简称为窗)的尺寸。例如,以初值设置所提供的多个尺寸中的最小尺寸。图2中的搜索窗尺寸确定部104设置搜索窗的尺寸。
在比较步骤S2中,确定搜索窗的尺寸是小于还是等于预定尺寸。预定尺寸是阈值。如果比较步骤S2的确定结果是否定的(NO),则处理进行到步骤S4。在步骤S4中,确定搜索窗的第一位置。如果比较步骤S2的确定结果是肯定的(YES),则将搜索范围限制到包括面部的区域。通过搜索范围确定部105处理比较步骤S2和S3。预先获得包括面部的区域,并将其保存在搜索范围确定部105中。
例如,如果不限制搜索范围,则将步骤S4中的搜索窗的扫描开始位置设在例如整个图像的左上角。如果在步骤S3中限制了搜索范围,则将搜索窗的扫描开始位置设置在例如包括面部的区域的左上角。可以将扫描开始位置设成除此以外的任意位置。同样,扫描模式并不限于如上所述的光栅扫描,并且可以从中心开始向***等等进行扫描。
在步骤S5中,得到搜索窗中的部分图像的像素值。在彩色图像的情况下,获得作为像素值的亮度值。在确定步骤S6中,根据所获得的部分图像的像素值来确定该图像是否是面部区域。面部区域确定部106执行确定步骤S6中的处理。如果确定为面部区域,则在步骤S7中输出面部区域的元数据。例如,元数据是面部区域的数目。在此情况下,在步骤S7中累加面部区域数目的计数。元数据被保存在图像中搜索控制部103中。
在步骤S7中的处理之后或者如果确定步骤S6的确定结果是否定的,则在确定步骤S8中确定是否已检查了整个图像。如果在确定步骤S8中确定没有检查整个图像,则处理进行到步骤S9,并且将搜索窗移至下个位置。然后,处理返回到步骤S5(获得搜索窗中的像素值)。
对新的搜索窗重复执行步骤S5、步骤S6、步骤S7、和步骤S8中的处理。当通过具有确定尺寸的搜索窗的面部区域检测处理完成时,确定步骤S8的结果(关于是否已检查了整个图像的确定)变为肯定,并且处理进行到确定步骤S10。在确定步骤S10中,确定是否为所有尺寸的搜索窗检测面部区域。
如果确定还未完成所有尺寸的搜索窗,则在步骤S11中将搜索窗的尺寸改变成下个级别(例如,较大尺寸)。然后,处理返回到确定步骤S2(确定搜索窗相对于阈值的尺寸)。如果新设置的搜索窗的尺寸大于阈值,则不限制搜索范围。如果搜索窗的尺寸小于或等于阈值,则搜索范围限制到包括面部的区域。在此之后,在使用新设置的搜索窗的搜索范围中执行面部区域的检测处理。
如果确定步骤S10的确定结果是肯定的,即,如果确定已经为所有尺寸的搜索窗完成面部区域的检测,则在步骤S12中输出面部信息(元数据)。在图2中,面部信息从图像中搜索控制部103传送至面部数据库写入部107。所传送的元数据存储在面部信息数据库108中。
图5中的流程图中的确定步骤S2和根据确定结果选择性地执行的搜索范围限制处理步骤S3是本发明实施例的特征处理。如果搜索窗小于或等于阈值,则将搜索范围限制在包括面部的区域,因而,可以减少检测面部区域的计算量,从而可以减少处理时间。在这点上,当用户设置面部尺寸(搜索窗的尺寸)时,除了动态改变搜索窗之外,可以根据设置值来控制搜索范围。
以上已给出了本发明实施例的具体描述。本发明并不限于上述实施例,并且可以基于本发明的技术构想来进行各种修改。例如,本发明适合应用于移动装置。然而,本发明并不限于移动装置,而是可应用于诸如用于观察所摄取的图像的观察器的固定装置。此外,通过将如图5中所示的处理作为程序安装到个人计算中,可以将本发明作为面部检测装置来实施。同样,可以将用于描述处理内容的程序记录在能够被计算机读取的记录介质(诸如磁记录设备、光盘、磁光盘、半导体存储器等)中。
Claims (9)
1.一种图像处理装置,包括:
图像获取装置,用于获取图像;
搜索窗尺寸设置装置,用于设置搜索窗的尺寸;
搜索范围设置装置,用于对应于所述搜索窗的所述设置尺寸,在所述图像中设置搜索范围;
扫描装置,用于在所设置的搜索范围中移动具有所述设置尺寸的所述搜索窗;
面部区域确定装置,用于确定在每个扫描位置处的所述搜索窗中的所述图像是否是面部区域;以及
面部信息输出装置,用于输出由所述面部区域确定装置的确定结果获得的所述面部区域的信息。
2.根据权利要求1所述的图像处理装置,
其中,所述搜索范围设置装置将所述搜索窗的所述设置尺寸与阈值进行比较,如果所述尺寸不大于所述阈值,则所述搜索范围设置装置将所述搜索范围限制到小于所述图像的整个区域的范围。
3.根据权利要求2所述的图像处理装置,
其中,如果所述尺寸大于所述阈值,则所述搜索范围设置装置将所述搜索范围设置为所述图像的所述整个区域。
4.根据权利要求2所述的图像处理装置,
其中,小于所述图像的所述整个区域的所述范围是包括所述图像的中心部分的预定区域。
5.一种图像处理方法,包括以下步骤:
图像获取步骤,用于获取图像;
搜索窗尺寸设置步骤,用于设置搜索窗的尺寸;
搜索范围设置步骤,用于对应于所述搜索窗的所述设置尺寸,在所述图像中设置搜索范围;
扫描步骤,用于在所设置的搜索范围中移动具有所述设置尺寸的所述搜索窗;
面部区域确定步骤,用于确定在每个扫描位置处的所述搜索窗中的所述图像是否是面部区域;以及
面部信息输出步骤,用于输出从所述面部区域确定步骤的确定结果获得的所述面部区域的信息。
6.根据权利要求5所述的图像处理方法,
其中,所述搜索范围设置步骤将所述搜索窗的所述设置尺寸与阈值进行比较,如果所述尺寸不大于所述阈值,则所述搜索范围设置步骤将所述搜索范围限制成小于所述图像的整个区域的范围。
7.根据权利要求6所述的图像处理方法,
其中,如果所述尺寸大于所述阈值,则所述搜索范围设置步骤将所述搜索范围设置为所述图像的所述整个区域。
8.根据权利要求6所述的图像处理方法,
其中,小于所述图像的所述整个区域的所述范围是包括所述图像的中心部分的预定区域。
9.一种成像装置,包括:
相机部,用于获取拍摄对象的图像;
相机信号处理部,用于对来自所述相机部的成像信号执行信号处理;
存储部,用于存储所述成像信号;以及
控制部,用于控制所述成像装置的操作,
其中,所述控制部包括:
搜索窗尺寸设置部,用于设置搜索窗的尺寸;
搜索范围设置部,用于对应于所述搜索窗的所述设置尺寸,在所述拍摄对象的所述图像中设置搜索范围;
扫描部,用于在所设置的搜索范围中移动具有所述设置尺寸的所述搜索窗;
面部区域确定部,用于确定在每个扫描位置处的所述搜索窗中的所述图像是否是面部区域;以及
面部信息输出部,用于输出由所述面部区域确定部的确定结果获得的所述面部区域的信息。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006090906A JP4539597B2 (ja) | 2006-03-29 | 2006-03-29 | 画像処理装置、画像処理方法および撮像装置 |
JP2006090906 | 2006-03-29 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101047792A CN101047792A (zh) | 2007-10-03 |
CN100502471C true CN100502471C (zh) | 2009-06-17 |
Family
ID=38638059
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2007100895473A Expired - Fee Related CN100502471C (zh) | 2006-03-29 | 2007-03-29 | 图像处理装置、图像处理方法和成像装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8126219B2 (zh) |
JP (1) | JP4539597B2 (zh) |
KR (1) | KR20070098511A (zh) |
CN (1) | CN100502471C (zh) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102007050568A1 (de) * | 2007-08-04 | 2009-02-05 | Continental Teves Ag & Co. Ohg | Verfahren und Einrichtung zur Objekterkennung in einem Bild |
KR101411910B1 (ko) * | 2008-01-04 | 2014-06-26 | 삼성전자주식회사 | 디지털 촬영 장치 및 이의 제어 방법 |
JP2009237611A (ja) * | 2008-03-25 | 2009-10-15 | Seiko Epson Corp | 対象画像からの顔領域の検出 |
JP5489197B2 (ja) * | 2008-11-10 | 2014-05-14 | 九州日本電気ソフトウェア株式会社 | 電子広告装置・方法及びプログラム |
KR20100081049A (ko) * | 2009-01-05 | 2010-07-14 | 삼성전자주식회사 | 휴대용 단말기에서 영상 촬영 방법 및 장치 |
JP5310234B2 (ja) * | 2009-04-24 | 2013-10-09 | 株式会社日本自動車部品総合研究所 | 画像認識装置 |
JP5517504B2 (ja) * | 2009-06-29 | 2014-06-11 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
US8270731B2 (en) * | 2009-08-19 | 2012-09-18 | Eastman Kodak Company | Image classification using range information |
JP5507962B2 (ja) * | 2009-11-05 | 2014-05-28 | キヤノン株式会社 | 情報処理装置及びその制御方法、プログラム |
US8279418B2 (en) | 2010-03-17 | 2012-10-02 | Microsoft Corporation | Raster scanning for depth detection |
US9396539B2 (en) * | 2010-04-02 | 2016-07-19 | Nokia Technologies Oy | Methods and apparatuses for face detection |
JP2013031034A (ja) * | 2011-07-29 | 2013-02-07 | Sony Corp | 画像編集プログラム、画像編集方法、画像編集装置、記録媒体 |
WO2014132349A1 (ja) * | 2013-02-27 | 2014-09-04 | 株式会社日立製作所 | 画像解析装置、画像解析システム、画像解析方法 |
US9471847B2 (en) * | 2013-10-29 | 2016-10-18 | Nec Corporation | Efficient distance metric learning for fine-grained visual categorization |
EP3065067A1 (en) * | 2015-03-06 | 2016-09-07 | Captoria Ltd | Anonymous live image search |
JP2016174203A (ja) * | 2015-03-16 | 2016-09-29 | 株式会社東芝 | 半導体装置及びカメラ端末 |
CN104794220A (zh) * | 2015-04-28 | 2015-07-22 | 百度在线网络技术(北京)有限公司 | 信息搜索方法和信息搜索装置 |
CN109774718A (zh) * | 2018-12-24 | 2019-05-21 | 惠州市德赛西威汽车电子股份有限公司 | 一种一体式车载身份识别*** |
CN111416942B (zh) * | 2020-04-27 | 2021-06-29 | 深圳市瑞立视多媒体科技有限公司 | 限制相机搜索范围的方法、装置、设备及存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004220555A (ja) * | 2002-12-27 | 2004-08-05 | Fuji Photo Film Co Ltd | 画像から被写体領域を抽出する装置、方法、プログラムおよびプログラムを記録した記録媒体 |
US20040228505A1 (en) * | 2003-04-14 | 2004-11-18 | Fuji Photo Film Co., Ltd. | Image characteristic portion extraction method, computer readable medium, and data collection and processing device |
JP4338560B2 (ja) * | 2003-04-14 | 2009-10-07 | 富士フイルム株式会社 | 画像の特徴部分抽出方法及び特徴部分抽出プログラム並びに撮像装置と画像処理装置 |
US7574016B2 (en) * | 2003-06-26 | 2009-08-11 | Fotonation Vision Limited | Digital image processing using face detection information |
JP2005044330A (ja) * | 2003-07-24 | 2005-02-17 | Univ Of California San Diego | 弱仮説生成装置及び方法、学習装置及び方法、検出装置及び方法、表情学習装置及び方法、表情認識装置及び方法、並びにロボット装置 |
JP2006048328A (ja) * | 2004-08-04 | 2006-02-16 | Konica Minolta Holdings Inc | 顔検出装置および顔検出方法 |
JP4674471B2 (ja) * | 2005-01-18 | 2011-04-20 | 株式会社ニコン | デジタルカメラ |
US7953253B2 (en) * | 2005-12-31 | 2011-05-31 | Arcsoft, Inc. | Face detection on mobile devices |
-
2006
- 2006-03-29 JP JP2006090906A patent/JP4539597B2/ja not_active Expired - Fee Related
-
2007
- 2007-03-08 KR KR1020070022957A patent/KR20070098511A/ko not_active Application Discontinuation
- 2007-03-09 US US11/716,356 patent/US8126219B2/en not_active Expired - Fee Related
- 2007-03-29 CN CNB2007100895473A patent/CN100502471C/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP4539597B2 (ja) | 2010-09-08 |
CN101047792A (zh) | 2007-10-03 |
KR20070098511A (ko) | 2007-10-05 |
US20070286488A1 (en) | 2007-12-13 |
US8126219B2 (en) | 2012-02-28 |
JP2007265150A (ja) | 2007-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100502471C (zh) | 图像处理装置、图像处理方法和成像装置 | |
TWI375181B (en) | Image processing apparatus, image processing method, program for image processing method, and recording medium which records program for image processing method | |
US7561718B2 (en) | Image search apparatus for images to be detected, and method of controlling same | |
US8340367B2 (en) | Image processing apparatus, image processing method, image processing program, image capturing apparatus, and controlling method thereof | |
US7868915B2 (en) | Photographing apparatus, method and computer program product | |
US7450756B2 (en) | Method and apparatus for incorporating iris color in red-eye correction | |
US10410061B2 (en) | Image capturing apparatus and method of operating the same | |
JP4535164B2 (ja) | 撮像装置、画像処理装置、これらにおける画像解析方法およびプログラム | |
US9092659B2 (en) | Subject determination apparatus that determines whether or not subject is specific subject | |
JP2010067102A (ja) | 物体検出装置、撮像装置、物体検出方法およびプログラム | |
US8295609B2 (en) | Image processing apparatus, image processing method and computer readable-medium | |
CN112017137B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN102542251B (zh) | 被摄体检测装置以及被摄体检测方法 | |
CN110365897B (zh) | 图像修正方法和装置、电子设备、计算机可读存储介质 | |
CN108259769B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
JP2007265149A (ja) | 画像処理装置、画像処理方法および撮像装置 | |
CN102572233A (zh) | 电子相机 | |
JP5374612B2 (ja) | 画像データの識別方法及び撮像装置、プログラム、及び記憶媒体 | |
JP5002311B2 (ja) | 撮像装置、撮像装置の制御方法、プログラム、及び記憶媒体 | |
JP6776532B2 (ja) | 画像処理装置、撮像装置、電子機器及び画像処理プログラム | |
JP5807695B2 (ja) | 被写体検出装置、被写体検出方法及びプログラム | |
JP2014057261A (ja) | 画像生成装置、画像生成方法、撮像装置、および撮像方法 | |
CN101726963B (zh) | 辨识被摄主体的维度形态的方法 | |
JP2006174022A (ja) | 画像処理装置および方法 | |
JP2009130840A (ja) | 撮像装置及びその制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20090617 Termination date: 20120329 |