CN101674411B - 摄影装置以及图像区域存在与否判定方法 - Google Patents

摄影装置以及图像区域存在与否判定方法 Download PDF

Info

Publication number
CN101674411B
CN101674411B CN2009101705333A CN200910170533A CN101674411B CN 101674411 B CN101674411 B CN 101674411B CN 2009101705333 A CN2009101705333 A CN 2009101705333A CN 200910170533 A CN200910170533 A CN 200910170533A CN 101674411 B CN101674411 B CN 101674411B
Authority
CN
China
Prior art keywords
image
region
reference object
evaluation
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2009101705333A
Other languages
English (en)
Other versions
CN101674411A (zh
Inventor
岩本健士
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN101674411A publication Critical patent/CN101674411A/zh
Application granted granted Critical
Publication of CN101674411B publication Critical patent/CN101674411B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/175Static expression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种摄影装置具备:摄像部件;图像生成部件,根据由摄像部件获得的摄像图像生成降低分辨率后的第一图像;检测部件,从第一图像中检测与拍摄对象相对应的图像区域;第一控制部件,在由检测部件未检测出与所述拍摄对象相对应的图像区域的情况下,判断为在所述摄像图像中不存在与所述拍摄对象相对应的图像区域;第一判定部件,在由检测部件检测出与所述拍摄对象相对应的图像区域的情况下,判定所述摄像图像中与由所述检测部件检测出的图像区域相对应的区域是否是与所述拍摄对象相对应的图像区域;以及第二控制部件,在判定为是与所述拍摄对象相对应的图像区域的情况下,判断为在所述摄像图像中存在与所述拍摄对象相对应的图像区域。

Description

摄影装置以及图像区域存在与否判定方法
技术领域
本发明涉及一种摄影装置以及拍摄对象的图像区域存在与否判定方法。 
背景技术
为了以摄影对象的人物的脸为基准进行曝光控制,已有具备从在摄像元件上成像的图像中检测脸的装置的数码相机。例如,专利文献1(日本国特开2008-28960号公报)中记载有如下摄影装置及摄影方法,即相比精度更优先处理时间,对实时取景(live view)图像进行脸检测处理,并进行与检测出的脸相适应的曝光控制。此外,专利文献2(日本国特开2008-42319号公报)中记载有如下摄像装置及摄影方法,即相比处理时间更优先精度,对全尺寸(full size)图像进行脸检测处理,计算所检测出的脸的表情的评价值。 
发明内容
本发明鉴于上述背景而形成,其目的在于,对与拍摄对象相对应的图像区域正确判定拍摄对象是否存在,且缩短该判定处理所需的时间。 
为达成上述目的,本发明的一个方式是摄影装置,其具备:摄像部件,通过摄像处理取得摄像图像;图像生成部件,根据由该摄像部件取得的摄像图像生成降低分辨率后的第一图像;检测部件,从由该图像生成部件生成的第一图像中检测与拍摄对象相对应的图像区域;第一控制部件,在由该检测部件未检测出与所述拍摄对象相对应的图像区域的情况下,判断为在所述摄像图像中不存在与所述拍摄对象相对应的图像区域;第一判定部 件,在由所述检测部件检测出与所述拍摄对象相对应的图像区域的情况下,判定所述摄像图像中与由所述检测部件检测出的图像区域相对应的区域是否是与所述拍摄对象相对应的图像区域;以及第二控制部件,在由该第一判定部件判定为是与所述拍摄对象相对应的图像区域的情况下,判断为在所述摄像图像中存在与所述拍摄对象相对应的图像区域。 
本发明的另一方式是图像区域存在与否判定方法,包括:图像生成部件(18),根据由摄像部取得的摄像图像生成降低分辨率后的第一图像;检测部件(14),从由该图像生成部件生成的第一图像中检测与拍摄对象相对应的图像区域;第一控制部件(18),在由该检测部件未检测出与所述拍摄对象相对应的图像区域的情况下,判断为在所述摄像图像中不存在与所述拍摄对象相对应的图像区域;第一判定部件(15),在由所述检测部件检测出与所述拍摄对象相对应的图像区域的情况下,判定所述摄像图像中与由所述检测部件检测出的图像区域相对应的区域是否是与所述拍摄对象相对应的图像区域;以及第二控制部件(18),在由该第一判定部件判定为是与所述拍摄对象相对应的图像区域的情况下,判断为在所述摄像图像中存在与所述拍摄对象相对应的图像区域。 
附图说明
图1是表示本发明实施方式的数码相机1的概念结构图。 
图2是示出实时取景图像的图。 
图3是示出实时取景图像的图。 
图4是示出从全尺寸图像中切出的图像的图。 
图5是示出实时取景图像的图。 
图6是示出数码相机1的脸图像检测步骤的流程图。 
图7是示出数码相机1的脸图像区域检测步骤的流程图。 
图8是说明在脸图像区域检测时从实时取景图像中切出的部分图像的图。 
图9是示出数码相机1的脸判定处理的步骤的流程图。 
图10是示出上述脸图像检测步骤的变形例的流程图。 
图11是示出上述脸图像检测步骤的变形例的流程图。 
图12是示出上述脸图像检测步骤的变形例的流程图。 
图13是示出上述脸图像检测步骤的变形例的流程图。 
具体实施方式
以下,针对本实施方式,作为适用于数码相机的一例,参照附图详细说明本发明的摄像装置。 
[实施方式] 
A.数码相机的结构 
图1是示出本实施方式涉及的数码相机1的概念结构的图。如图1所示,数码相机1由光学镜头(lens)装置10、CMOS 11、A/D转换器12、存储部13、脸检测部14、脸判定部15、表情识别部16、显示部17、控制部18、以及外部存储器19构成。 
光学镜头装置10具备镜头、光圈、焦点调整装置、以及快门装置等,是将拍摄对象的图像成像在CMOS11上的装置。 
CMOS11具备将大约100万个图像检测元件排列为二维矩阵状的部件,是将由光学镜头装置10在上述排列的图像检测元件上成像的图像转换为图像信号的装置。此外,CMOS11输出的图像信号具有与CMOS11上的图像检测元件大致相同数目的像素数。由与该CMOS11上的图像检测元件大致相同数目的像素构成的图像(信号)称为全尺寸图像(信号)。此外,如后所述,显示部17能显示的分辨率比全尺寸图像低。此外,还需要加快实时取景图像的更新处理速度。因此,针对CMOS11输出后由后述A/D转换器12转换为数字信号并暂时存储在存储部13中的图像信号,控制部18减少其像素数,并生成输出将分辨率降低至VGA类(class)后的图像。在本说明书中将降低该分辨率后得到的图像(信号)称为实时取景图像(信号)。 
A/D转换器12是将模拟信号转换为数字信号的电路,将由CMOS11输出的图像信号转换为数字信号。 
存储部13是存储图像信号的存储装置。 
脸检测部14是根据控制部18的指示,从实时取景图像中检测可能包含有人物的脸的图像(以下,称为脸图像)的图像区域(以下,称为脸图像区域)作为拍摄对象的图像区域的装置。 
脸判定部15是根据控制部18的指示,判定全尺寸图像中与由脸检测部14检测出的脸图像区域相对应的区域是否是脸图像的装置。 
表情识别部16根据控制部18的指示计算表情评价值,其中,该表情评价值表示提取出的脸图像中包含的脸是否接近特定表情。 
显示部17是按照控制部18的指示来显示实时取景图像等的液晶显示装置。 
控制部18是控制数码相机1的动作的计算机,按照程序存储器181中所写入的程序来控制脸检测部14等,并执行后述在CMOS11输出的图像信号中是否存在脸图像的判定处理。 
外部存储器19例如由对数码相机主体自由装卸的存储卡、内置于相机主体内的闪速存储器等构成。 
如以上构成的数码相机1利用CMOS11将由光学镜头装置10摄像的拍摄对象的图像转换为电信号,由A/D转换器12将该电信号转换为数字信号,存储在存储部13中。此外,由光学镜头装置10摄像的拍摄对象的图像被降低分辨率后显示在显示部17上。然后,用户确认显示部17上显 示的图像,通过操作未图示的快门装置,能够仅将所希望的图像保存在外部存储器19中。 
此外,如上所述,显示部17不限制能显示的像素数。因此,控制部18,对由CMOS11输出的全尺寸图像,另外从全尺寸图像中减少像素数,生成像素数较少的实时取景图像,并向存储部13输出。 
如上所述,在数码相机1中,虽然可以由用户确认显示部17中显示的图像,手动操作快门装置进行摄影,但是也能够检测拍摄对象人物令人满意的表情,进行自动摄影(以下,称为自动快门)。例如,如图2所示,当在显示部17中显示实时取景图像时,如果用户选择自动快门,则数码相机1进行如下处理。 
首先,脸检测部14针对图2示出的实时取景图像100搜索脸图像区域,作为其结果,如图3所示检测出区域R30、R31、R32。然后,脸检测部14确定该实时取景图像中区域R30、R31、R32的位置。之后,脸判定部15从在CMOS11上成像的全尺寸图像中,切出与由脸检测部14确定的R30、R31、R32相当的区域P30、P31、P32(参照图4),并详细地判定这些区域的图像是否真正是脸图像。例如,由于在P30、P31的图像中拍摄有人脸,因此脸判定部15判定为这些是脸图像。但是,如果脸判定部15针对P32在提高分辨率后的全尺寸图像中详细地进行判定,则判定为是在细节上具有人脸所具有的特征之外的特征的图像。也就是说,由于脸检测部14尽可能地将可能是脸图像的图像区域检测为脸图像区域,因此,有时会如R32这样检测出按细节来看并不是脸图像的图像区域。另一方面,为了针对全尺寸图像进行高精度的判定,脸判定部15能够针对脸检测部14误检测为脸图像的脸图像区域,纠正其判断,从而正确判定全尺寸图像中与脸图像区域相对应的区域是否是脸图像。作为其结果,即使在该实时取景图像100中的R32、以及与该实时取景相对应的全尺寸图像P32中,由脸检测部14检测为脸图像,脸判定部15也不会判定为脸图像。 
接着,表情识别部16对由脸判定部15判定为脸图像的脸图像P30、P31进行表情评价,计算表情评价值。另外,所谓表情评价值是针对检测出的脸图像的每一个,评价“未闭眼”和“是笑脸”等,并根据这两个评价值来计算表情评价值。也就是说,所谓表情评价值是表示作为拍摄对象表情是否“令人满意”的指标,如果拍摄对象的人物是笑脸,则其值变大。计算出表情评价值之后,数码相机1在显示部17中显示表示脸图像的位置的框F30、F31和脸图像的表情评价值V30、V31(参照图5)。此外,如果脸图像的表情评价值比规定阈值高,则在CMOS11中成像的全尺寸图像被存储在存储部13中,自动快门结束。 
参照图6详细说明以上处理。另外,控制部18读出保存在程序存储器181中的程序,控制部18基于该程序开始其处理。开始,控制部18按照规定时间间隔(例如,每秒30次~60次)依次反复进行实时取景图像的生成。也就是说,根据在CMOS11上成像的图像来生成降低分辨率后的图像作为实时取景图像,并依次显示在显示部17中。该处理用于用户研究构图。图6示出的流程图示出生成第N个实时取景图像时的处理步骤。 
首先,将第N个实时取景图像存储在存储部13中(步骤S100)。 
此时,如果使用上次生成的实时取景图像即第(N-1)个实时取景图像检测出的脸图像的位置信息和其表情评价值存储在存储部13中(步骤S101:是),则在第N个实时取景图像中,将使用第(N-1)个实时取景图像检测出的表示脸图像的位置的框和表情评价值重叠显示在显示部17中(步骤S102)。 
如果使用第(N-1)个实时取景图像检测出的脸图像和其表情评价值未存储在存储部13中(步骤S101:否),则在显示部17中仅显示第N个实时取景图像(步骤S103)。 
接着,脸检测部14搜索第N个实时取景图像并检测脸图像区域(步 骤S104)。另外,步骤S104中的脸图像区域检测的详细步骤以后叙述。 
从第N个实时取景图像中检测出脸图像区域后(步骤S104:是),确定该脸图像区域的位置,并从在CMOS11上成像的图像中按照全尺寸切出与该脸图像区域相对应的区域,并发送至脸判定部15(步骤S105)。另外,在未从第N个实时取景图像中检测出脸图像区域的情况下(步骤S104:否),判断为在该图像中不存在脸图像,省略步骤S105至步骤S111的处理,进入步骤S112。 
脸判定部15进行判定发送来的图像是否是脸图像的脸判定处理(步骤S106)。另外,该脸判定处理的详细步骤以后叙述。 
该步骤S106的脸判定处理的结果中,如果脸判定部15判定为发送来的图像是脸图像(步骤S107:是),则将该脸图像的位置信息输出至存储部13,并将该脸图像输出至表情识别部16(步骤S108)。另一方面,如果脸判定部15判定为发送来的图像不是脸图像(步骤S107:否),则越过步骤108的处理进入步骤S109。 
另外,针对检测出的所有脸图像区域反复进行从步骤S105至步骤S109的处理。 
控制部18判定针对所有脸图像区域的脸判定处理是否结束(步骤S109),在针对所有脸图像区域判定为脸判定处理结束后(步骤S109:是),进入步骤S110。 
另外,针对步骤S108中输出的脸图像,由表情识别部16对脸图像进行表情评价处理(步骤S110),计算表情评价值,并输出至存储部13(步骤S111)。在由步骤S108输出的脸图像不存在的情况下,不进行步骤S110以及步骤S111的处理。 
另外,表情评价处理是计算表情评价值的处理,其中,该表情评价值表示脸图像中包含的脸是否接近规定表情,假设本实施方式中的规定表情是笑脸,则脸图像的人物越笑则表情评价值越高。表情评价值的计算可以考虑例如如下方法,即准备表示笑脸的基准图像和表示无表情的基准图像,判定评价对象的脸图像接近哪一个基准图像。另外,上述专利文献2详细记载有这样的表情评价值的计算方法。 
用户确认显示部17中显示的表情评价值,判断能否进行快门操作。然后,如果用户操作快门(步骤S112:是),则检测到快门操作,控制部18采用记录用图像的摄影条件进行摄影,将在CMOS11上成像的全尺寸图像记录在外部存储器19中(步骤S113),摄影结束。 
另外,在用户未进行快门操作的情况下(步骤S112:否),由于未检测出快门操作,因此控制部18将处理返回至步骤S100,针对第(N+1)个实时取景图像重复进行同样的处理。 
下面,说明步骤S104中的脸图像区域检测的详细步骤。在脸图像检测处理中,脸检测部14从搜索对象的实时取景图像中切出,将该切出的部分图像与基准脸图像做对比,求出该部分图像与基准图像的相似度。然后,在求得的相似度超过规定阈值(第一阈值)的情况下,检测该部分图像作为脸图像区域。另外,上述基准脸图像是重叠多个人物的脸的图像后得到的图像,是平均的脸的黑白(monochrome)图像。此外,该基准脸图像是预先生成并存储在存储部13中的。 
图7是示出脸图像检测处理的步骤的流程图,图8是说明在脸图像区域检测的过程中从实时取景图像中切出的部分图像的图。以下,参照图7和图8继续说明。 
如前所述,由于基准脸图像是黑白图像,所以脸检测部14首先将搜索对象的实时取景图像黑白化(步骤S10)。 
接着,如图8所示,脸检测部14从采用步骤S10黑白化后的实时取景图像G中切出与基准脸图像T相同尺寸的部分图像F(步骤S11)。 
接着,脸检测部14针对基准脸图像T和部分图像F按照像素级别来比较亮度,并求出基准脸图像T与部分图像F的相似度(步骤S12)。另外,由于相似度的计算方法是公知技术,因此省略具体记述。 
如果得到的相似度为规定阈值(第一阈值)以上(步骤S13:是),则脸检测部14检测该部分图像F作为脸图像区域(步骤S14)。 
接着,脸检测部14将部分图像F在垂直方向或水平方向上移动一像素、或改变基准脸图像T的尺寸,重复步骤S11至步骤S14的处理(步骤S15:否)。 
针对实时取景图像的所有区域F搜索后(步骤S15:是),脸图像区域检测结束。 
下面,说明步骤S106中的脸判定处理的详细步骤。脸判定处理是针对与由脸图像检测处理检测出的脸图像区域相当的全尺寸图像的区域(以下,称为判定区域),判定该判定区域是否是脸图像的处理。因此,在脸判定处理中,脸判定部15研究判定区域的图像与全尺寸基准脸图像的相似度。另外,所谓全尺寸基准脸图像是增加在脸图像检测处理中使用的基准脸图像的像素数从而提高分辨率后,与全尺寸图像相对应的图像。 
图9是示出脸判定处理的步骤的流程图。以下,参照图9继续说明。 
首先,脸判定部15从在CMOS11上成像的全尺寸图像中切出判定区域(步骤S20),对该图像进行黑白处理(步骤S21)。 
接着,脸判定部15针对全尺寸基准脸图像和判定区域的图像,按照像素级别比较亮度,并求出全尺寸基准脸图像与判定区域的图像的相似度(步骤S22)。 
如果求得的相似度为规定阈值(第二阈值)以上(步骤S23:是),则脸判定部15判定为该判定区域为脸图像(步骤S24)。如果上述相似度不足规定阈值(第二阈值)(步骤S23:否),则脸判定部15判定为该判定区域不是脸图像,脸判定处理结束。 
如以上,数码相机1搜索实时取景图像并检测脸图像区域,在检测出脸图像区域的情况下,判定全尺寸图像的与该脸图像区域相对应的区域是否是脸图像并计算表情评价值。由此,在实时取景图像的搜索时还未检测出脸图像区域的情况下,通过在该时刻结束判定处理,从而能够缩短处理时间。更进一步地,在检测出脸图像区域的情况下,通过进行更高精度的脸判定处理,从而能够判定摄像得到的图像中是否存在正确的脸图像。还有,通过对由脸判定处理判定为脸图像的图像进行表情评价处理,从而也能够高精度地判断判定出的脸图像中包含的脸的表情是否是所谓的“美好表情”。 
[变形例] 
另外,也能够如图10所示对图6示出的控制流程进行变形。即,在步骤S104和步骤S105之间加入步骤S114,在基准脸图像T与部分图像F的相似度超过比上述第一阈值大的第三阈值的情况下(步骤S114:是),也可以省略步骤S105至步骤S107的处理。由此,在基准脸图像T与部分图像F的相似度超过第三阈值的情况下,在转移至脸判定处理之前,通过判定在由脸图像检测处理检测出的脸图像区域中是否存在脸,从而能够更进一步缩短处理时间。另外,第三阈值是比第一阈值高的值,将其设置为如下的值,即,即使检测对象为实时取景图像,若超过该值也能够信赖脸图像区域为脸图像的值。 
此外,虽然在图6示出的控制流程中,通过用户的快门操作,将CMOS11上的全尺寸图像保存在外部存储器19中(步骤S112),但是,也可以如图11所示,设置步骤S200来取代步骤S112。并且,例如,也可以由表情识别部16判定是否所有表情评价值超过70%,若判定为超过,则由控制部18自动将CMOS11上的全尺寸图像记录在外部存储器19中。由此,能够自动摄影拍摄对象现出笑脸的瞬间,而不必等待用户的快门操作。 
另外,将CMOS11上的全尺寸图像自动记录在外部存储器19中的必要条件不限于“所有表情评价值超过70%”。也可以是“至少一个表情评价值超过70%”,且“70%”也可以是其他值。 
于是,可以想象的到,当从CMOS11中输出每秒30帧至60帧的实时取景图像时,虽然执行脸图像检测处理,但脸图像区域的位置在短时间内没有较大变化。此外,在脸判定处理中,也可以考虑针对未判定为脸图像的区域,通过下一帧的脸图像检测处理再次检测脸图像区域的情况。但是,在该情况下,由于在对上一帧的处理中,通过比脸图像检测处理更高精度的脸判定处理判定为不是脸图像,因此,由下一帧的处理检测出的脸图像区域有较高可能也被脸判定处理判定为不是脸图像。因此,在依次进行的单个或多个帧的处理之前,也可以将判定为不是脸图像的脸图像区域判断为实时取景图像中的该图像区域不是脸图像区域,并从脸图像检测处理或脸判定处理的对象中排除。 
具体来说,在如图12所示这样在与脸图像区域相当的全尺寸图像的区域中,由脸判定处理判定为判定区域不是脸图像的情况下(步骤S107:否),控制部18将该判定区域的位置信息作为不是脸图像的区域存储在存储部13中(步骤S300)。然后,对紧邻之前的三帧实时取景图像(第(N-1)个~至第(N-3)个实时取景图像),判定是否存在与该不是脸图像的区域相对应的区域(步骤S301)。然后,在判定为存在的情况下(步骤S301:是),也可以判断为该区域不是脸图像,从脸图像检测处理的搜索对象中排除后进行搜索(步骤S302)。 
或者,如图13所示,在针对第N个实时取景图像检测出的脸图像区域的位置与紧邻之前的三帧的实时取景图像(第(N-1)个~至第(N-3)个实时取景图像)的不是脸图像的区域的位置大致一致的情况下(步骤S303:是),也可以省略该步骤S105至步骤S108,决定为该脸图像区域不是脸图像,并从脸判定处理的对象中排除。此外,在针对第N个实时取景图像检测出的脸图像区域的位置与紧邻之前的三帧的实时取景图像(第(N-1)个~至第(N-3)个实时取景图像)的脸图像的位置大致一致的情况下,也可以判断为该脸图像区域是脸图像,并从脸判定处理的对象中排除。也就是说,也可以不进行脸判定处理而判断该脸图像区域是脸图像。 
然后,根据上述图12、13的处理,能够正确判定与拍摄对象相对应的图像区域(这里为脸图像)是否存在,并且能够进一步缩短该判定处理的时间。 
上述实施方式和变形例的任一个中,求出从实时取景图像中切出的部分图像与基准脸图像的相似度,在相似度超过规定阈值(第一阈值)的情况下,检测该部分图像作为脸图像区域,该第一阈值设置为即使是脸图像区域的可能性较低也检测为脸图像区域的值。也就是说,脸图像检测处理不是用于检测是脸图像的区域的处理,而是为了对能够高精度地判定脸图像是否存在的脸判定处理的区域进行限定而进行的处理。 
这样,在对全尺寸图像进行精度较高的脸判定处理之前,预先检测实时取景图像中有可能是脸图像的区域(脸图像区域),仅在存在可能是脸图像的区域的情况下,进行脸判定处理,因此能够加快实时取景图像内没有可能存在脸图像区域的情况下的处理,并能够通过精度较高的脸判定处理对脸图像区域进行是否存在脸图像的判定。 
此外,由于表情评价处理也是对由脸判定处理判定为是脸的区域的全尺寸图像进行的,因此能够进行精度较高的表情评价处理。 
此外,在上述实施方式和变形例的任一个中,脸图像检测处理和脸判 定处理是求得基准脸图像的相似度的方法,但是也可以是这以外的方法,也可以采用与脸图像检测处理和脸判定处理不同的方法。例如,在脸图像检测处理中可以通过肤色检测来检测脸图像区域,脸判定处理也可以通过检测眼和/或嘴等特征点来进行是否是脸图像的判定。但是,无论哪种情况,对是否是脸图像的结果,相比脸图像检测处理,脸判定处理能够得到更高精度的结果。 
此外,上述实施方式和变形例的任一个中,从图像中检测人物的脸,但是可以不限定为脸,针对任何拍摄对象来实施。 
根据上述实施方式和变形例,能够针对与拍摄对象相对应的图像区域正确判定其是否存在,并且能够缩短该判定处理所需的时间。 

Claims (14)

1.一种摄影装置,具备:
摄像部件(11),通过摄像处理获得摄像图像;
图像生成部件(18),根据由该摄像部件获得的摄像图像生成比所述摄像图像降低了分辨率的第一图像;
检测部件(14),从由该图像生成部件生成的第一图像中检测与拍摄对象相对应的图像区域;
第一控制部件(18),在由该检测部件未检测出与所述拍摄对象相对应的图像区域的情况下,判断为在所述摄像图像中不存在与所述拍摄对象相对应的图像区域;
第一判定部件(15),在由所述检测部件检测出与所述拍摄对象相对应的图像区域的情况下,判定所述摄像图像中与由所述检测部件检测出的图像区域相对应的区域是否是与所述拍摄对象相对应的图像区域;以及
第二控制部件(18),在由该第一判定部件判定为是与所述拍摄对象相对应的图像区域的情况下,判断为在所述摄像图像中存在与所述拍摄对象相对应的图像区域。
2.根据权利要求1所述的摄影装置,其特征在于,
还包括:
第一评价值计算部件(14),针对所述第一图像中的图像区域,计算与所述拍摄对象的相似度作为评价值;以及
第二评价值计算部件(15),针对所述摄像图像中与由所述检测部件检测出的图像区域相对应的区域,计算与所述拍摄对象的相似度作为评价值,
在该摄影装置中,
所述检测部件检测所述第一评价值计算部件计算出的评价值为第一阈值以上的图像区域作为与所述拍摄对象相对应的图像区域,
所述第一判定部件根据所述第二评价值计算部件计算出的评价值是否是第二阈值以上,判定所述摄像图像中的所述区域是否是与所述拍摄对象相对应的图像区域。
3.根据权利要求2所述的摄影装置,其特征在于,
还具备第二判定部件(14),该第二判定部件(14)判定所述第一评价值计算部件计算出的评价值是否是第三阈值以上,其中,所述第三阈值比所述第一阈值大,
在该摄影装置中,
在由所述第二判定部件判定为所述评价值为所述第三阈值以上的情况下,所述第二控制部件进一步地判断为在所述摄像图像中存在与所述拍摄对象相对应的图像区域。
4.根据权利要求2或3所述的摄影装置,其特征在于,
所述第一评价值计算部件和所述第二评价值计算部件都采用相同的方法计算评价值。
5.根据权利要求4所述的摄影装置,其特征在于,
所述第一阈值是比所述第二阈值小的值。
6.根据权利要求4所述的摄影装置,其特征在于,
还具备基准图像存储部件(13),该基准图像存储部件(13)将与所述拍摄对象相对应的图像作为基准图像来存储,
在该摄影装置中,
所述第一评价值计算部件和所述第二评价值计算部件计算在所述基准图像存储部件中存储的基准图像与所述第一图像中的图像区域或所述摄像图像中的所述区域的相似度作为评价值。
7.根据权利要求2或3所述的摄影装置,其特征在于,
所述第一评价值计算部件和所述第二评价值计算部件采用相互不同的方法来计算评价值。
8.根据权利要求1所述的摄影装置,其特征在于,
还具备第三控制部件,在由所述第一判定部件判定为不是与所述拍摄对象相对应的图像区域的情况下,之后,在规定期间内由所述摄像部件获得的摄像图像中,该第三控制部件将与判定为不是与所述拍摄对象相对应的图像区域的所述区域相对应的区域判断为不是与所述拍摄对象相对应的图像区域。
9.根据权利要求8所述的摄影装置,其特征在于,
在由所述第一判定部件判定为不是与所述拍摄对象相对应的图像区域的情况下,之后,所述第三控制部件将该图像区域从规定期间内的所述检测部件的检测对象中排除。
10.根据权利要求1所述的摄影装置,其特征在于,
具备:
存储部件(13),在由所述第一判定部件判定为不是与所述拍摄对象相对应的图像区域的情况下,存储该图像区域的位置;以及
第三判定部件(18),判定由所述检测部件检测出的图像区域的位置和所述存储部件中存储的图像区域的位置是否大致一致,
在该摄影装置中,
在由所述第三判定部件判定为大致一致的情况下,所述第二控制部件进一步判断为所述摄像图像中与由所述检测部件检测出的图像区域相对应的所述区域是与所述拍摄对象相对应的图像区域。
11.根据权利要求1所述的摄影装置,其特征在于,
还具备表情评价值计算部件(16),当与所述拍摄对象相对应的图像区域是人物的脸的图像区域时,该表情评价值计算部件(16)计算由所述第二控制部件判断为存在的图像区域中的表情与规定表情的相似度作为表情评价值。
12.根据权利要求11所述的摄影装置,其特征在于,
还具备表情评价值报告部件(17),该表情评价值报告部件(17)向用户报告由所述表情评价值计算部件计算出的表情评价值。
13.根据权利要求12所述的摄影装置,其特征在于,
还具备:
记录图像的记录部件(19);
第四判定部件(16),判定由所述表情评价值计算部件计算出的表情评价值是否为规定阈值以上;以及
记录控制部件(18),如果由该第四判定部件判定为所述表情评价值为规定阈值以上,则将包含该图像区域的摄像图像记录在所述记录部件中。
14.一种图像区域存在与否判定方法,包括:
图像生成步骤,根据由摄像部获得的摄像图像生成比所述摄像图像降低了分辨率的第一图像;
检测步骤,从由该图像生成步骤生成的第一图像中检测与拍摄对象相对应的图像区域;
第一控制步骤,在由该检测步骤未检测出与所述拍摄对象相对应的图像区域的情况下,判断为在所述摄像图像中不存在与所述拍摄对象相对应的图像区域;
第一判定步骤,在由所述检测步骤检测出与所述拍摄对象相对应的图像区域的情况下,判定所述摄像图像中与由所述检测步骤检测出的图像区域相对应的区域是否是与所述拍摄对象相对应的图像区域;以及
第二控制步骤,在由该第一判定步骤判定为是与所述拍摄对象相对应的图像区域的情况下,判断为在所述摄像图像中存在与所述拍摄对象相对应的图像区域。
CN2009101705333A 2008-09-09 2009-09-08 摄影装置以及图像区域存在与否判定方法 Expired - Fee Related CN101674411B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008231203 2008-09-09
JP2008-231203 2008-09-09
JP2008231203A JP4702418B2 (ja) 2008-09-09 2008-09-09 撮影装置、画像領域の存否判定方法及びプログラム

Publications (2)

Publication Number Publication Date
CN101674411A CN101674411A (zh) 2010-03-17
CN101674411B true CN101674411B (zh) 2012-04-04

Family

ID=42021377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009101705333A Expired - Fee Related CN101674411B (zh) 2008-09-09 2009-09-08 摄影装置以及图像区域存在与否判定方法

Country Status (5)

Country Link
US (1) US8218833B2 (zh)
JP (1) JP4702418B2 (zh)
KR (1) KR101130775B1 (zh)
CN (1) CN101674411B (zh)
TW (1) TWI425828B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101457417B1 (ko) * 2008-08-22 2014-11-03 삼성전자주식회사 스트로보를 이용한 촬영 제어 방법 및 장치
JP2012023502A (ja) * 2010-07-13 2012-02-02 Canon Inc 撮影支援システム、撮影支援方法、サーバ、撮影装置およびプログラム
JP5510287B2 (ja) * 2010-11-22 2014-06-04 カシオ計算機株式会社 被写体検出装置、被写体検出方法及びプログラム
JP2012169777A (ja) * 2011-02-10 2012-09-06 Sony Corp 情報処理装置、情報処理方法、およびプログラム
WO2012164896A1 (ja) * 2011-05-31 2012-12-06 パナソニック株式会社 画像処理装置及び画像処理方法並びにデジタルカメラ
JP5939705B2 (ja) * 2012-02-08 2016-06-22 カシオ計算機株式会社 被写体判定装置、被写体判定方法及びプログラム
JP6062955B2 (ja) * 2012-11-16 2017-01-18 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America カメラ、カメラシステム、及び自己診断方法
CN104969543B (zh) * 2013-02-14 2019-04-02 松下知识产权经营株式会社 电子镜装置
JP2014187551A (ja) * 2013-03-22 2014-10-02 Casio Comput Co Ltd 画像取得装置、画像取得方法及びプログラム
EP2982421A1 (en) * 2013-04-02 2016-02-10 NEC Solution Innovators, Ltd. Facial-expression assessment device, dance assessment device, karaoke device, and game device
US20150016719A1 (en) * 2013-07-09 2015-01-15 Mediatek Inc. Methods of sifting out significant visual patterns from visual data
JP5928908B2 (ja) * 2013-09-30 2016-06-01 カシオ計算機株式会社 電子機器、給電制御方法、及びプログラム
CN104598897B (zh) * 2015-02-12 2018-06-12 杭州摩图科技有限公司 视觉传感器、图像处理方法和装置、视觉交互设备
JP2016177393A (ja) * 2015-03-19 2016-10-06 カシオ計算機株式会社 情報処理装置、顔認識方法、及びプログラム
US9848237B2 (en) 2015-10-21 2017-12-19 Rovi Guides, Inc. Systems and methods for identifying a source of a user interface from a fingerprint of the user interface
US9819996B2 (en) 2015-10-21 2017-11-14 Rovi Guides, Inc. Systems and methods for fingerprinting to track device usage
US11169661B2 (en) * 2017-05-31 2021-11-09 International Business Machines Corporation Thumbnail generation for digital images
CN111104818B (zh) * 2018-10-25 2021-05-14 珠海格力电器股份有限公司 一种人脸识别方法及人脸识别设备
CN114258672B (zh) * 2019-08-14 2024-05-14 富士胶片株式会社 摄像装置、摄像装置的工作方法及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1233336A (zh) * 1996-08-22 1999-10-27 富特福尔有限公司 视频成像***
CN101068314A (zh) * 2006-09-29 2007-11-07 腾讯科技(深圳)有限公司 一种网络视频秀方法及***
CN101207746A (zh) * 2006-12-20 2008-06-25 日本胜利株式会社 电子设备

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4431532B2 (ja) * 2005-09-16 2010-03-17 富士フイルム株式会社 対象画像の位置検出装置および方法ならびに対象画像の位置検出装置を制御するプログラム
EP2448247A1 (en) * 2005-11-02 2012-05-02 Olympus Corporation An image processor for electronic camera
GB2432659A (en) * 2005-11-28 2007-05-30 Pixology Software Ltd Face detection in digital images
JP2007282119A (ja) * 2006-04-11 2007-10-25 Nikon Corp 電子カメラおよび画像処理装置
US8306280B2 (en) * 2006-04-11 2012-11-06 Nikon Corporation Electronic camera and image processing apparatus
JP4751776B2 (ja) * 2006-06-19 2011-08-17 オリンパスイメージング株式会社 電子撮像装置及び個人特定システム
JP4819001B2 (ja) * 2006-07-25 2011-11-16 富士フイルム株式会社 撮影装置および方法並びにプログラム、画像処理装置および方法並びにプログラム
JP4730553B2 (ja) 2006-07-25 2011-07-20 富士フイルム株式会社 撮影装置及び露出制御方法
JP4197019B2 (ja) * 2006-08-02 2008-12-17 ソニー株式会社 撮像装置および表情評価装置
JP4218712B2 (ja) * 2006-08-04 2009-02-04 ソニー株式会社 顔検出装置、撮像装置および顔検出方法
US20080080748A1 (en) * 2006-09-28 2008-04-03 Kabushiki Kaisha Toshiba Person recognition apparatus and person recognition method
KR101310230B1 (ko) * 2007-01-17 2013-09-24 삼성전자주식회사 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체
JP4884251B2 (ja) * 2007-02-09 2012-02-29 富士フイルム株式会社 撮影装置および方法並びにプログラム
JP4717840B2 (ja) * 2007-02-15 2011-07-06 富士フイルム株式会社 撮像装置およびその制御方法
JP4655235B2 (ja) * 2008-03-14 2011-03-23 ソニー株式会社 情報処理装置および方法、並びにプログラム
WO2010063463A2 (en) * 2008-12-05 2010-06-10 Fotonation Ireland Limited Face recognition using face tracker classifier data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1233336A (zh) * 1996-08-22 1999-10-27 富特福尔有限公司 视频成像***
CN101068314A (zh) * 2006-09-29 2007-11-07 腾讯科技(深圳)有限公司 一种网络视频秀方法及***
CN101207746A (zh) * 2006-12-20 2008-06-25 日本胜利株式会社 电子设备

Also Published As

Publication number Publication date
KR101130775B1 (ko) 2012-03-28
CN101674411A (zh) 2010-03-17
US20100091135A1 (en) 2010-04-15
US8218833B2 (en) 2012-07-10
TW201015989A (en) 2010-04-16
TWI425828B (zh) 2014-02-01
JP2010068128A (ja) 2010-03-25
KR20100030596A (ko) 2010-03-18
JP4702418B2 (ja) 2011-06-15

Similar Documents

Publication Publication Date Title
CN101674411B (zh) 摄影装置以及图像区域存在与否判定方法
CN101309357B (zh) 具有图像抖动检测功能的摄像装置
US9060158B2 (en) Image pickup apparatus that continuously takes images to obtain multiple images, control method therefor, and storage medium
US8682040B2 (en) Image processing apparatus, image processing method, and image capturing apparatus
CN102281398B (zh) 摄像设备和摄像设备的控制方法
JP5483953B2 (ja) 焦点調節装置、焦点調節方法及びプログラム
EP2457118B1 (en) Imaging device and imaging method
US20040051029A1 (en) Focus control apparatus, image sensor, program and storage medium
US8098903B2 (en) Apparatus for adjusting focus and exposure based on a face image and method of controlling same
CN101001318A (zh) 图像拍摄设备及其控制方法
CN101170647B (zh) 检测特定对象区域的方法和数码相机
US8994783B2 (en) Image pickup apparatus that automatically determines shooting mode most suitable for shooting scene, control method therefor, and storage medium
US20120243857A1 (en) Focus adjusting apparatus and focus adjusting method
US8208035B2 (en) Image sensing apparatus, image capturing method, and program related to face detection
US20040223073A1 (en) Focal length detecting method and focusing device
CN102100062A (zh) 成像设备、成像方法和程序
US20070230930A1 (en) Methods and systems for automatic image acquisition
US8243154B2 (en) Image processing apparatus, digital camera, and recording medium
JP2012058724A (ja) 撮像装置
US10129449B2 (en) Flash band, determination device for detecting flash band, method of controlling the same, storage medium, and image pickup apparatus
US20080316351A1 (en) Photographing apparatus and photographing method
JP2009152725A (ja) 自動追跡装置及び方法
JP5030883B2 (ja) ディジタル・スチル・カメラおよびその制御方法
JP2014068280A (ja) 撮像装置
JP2012124556A (ja) 画像記録装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120404

Termination date: 20210908

CF01 Termination of patent right due to non-payment of annual fee