CN101170647A - 检测特定对象区域的方法和数码相机 - Google Patents

检测特定对象区域的方法和数码相机 Download PDF

Info

Publication number
CN101170647A
CN101170647A CNA2007101812088A CN200710181208A CN101170647A CN 101170647 A CN101170647 A CN 101170647A CN A2007101812088 A CNA2007101812088 A CN A2007101812088A CN 200710181208 A CN200710181208 A CN 200710181208A CN 101170647 A CN101170647 A CN 101170647A
Authority
CN
China
Prior art keywords
frame
image frame
zone
difference
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007101812088A
Other languages
English (en)
Other versions
CN101170647B (zh
Inventor
绫木健一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN101170647A publication Critical patent/CN101170647A/zh
Application granted granted Critical
Publication of CN101170647B publication Critical patent/CN101170647B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

提供了一种用于拍摄对象的图像的数码静止相机。运动矢量检测器获取第一图像帧和在此之前记录的前一图像帧之间的图像在对象位置上的变化。规格化器根据与位置变化相关的参数来规格化前一图像帧。特定对象检测器根据图像识别并且通过第一图像帧和规格化的前一图像帧之间的比较来检测特定对象区域,诸如面部图像区域。而且,获取第一图像帧和在此之前记录的前一图像帧之间的其图像的倍率变化。规格化器根据与倍率变化相关的参数来规格化前一图像帧。

Description

检测特定对象区域的方法和数码相机
技术领域
本发明涉及一种检测特定对象区域的方法和数码相机。更具体地,本发明涉及一种检测特定对象区域的方法和数码相机,其中,根据图像数据来检测特定对象区域,并且可以减少算术运算的任务量和存储资源。
背景技术
美国专利4,203,671(对应于JP-A52-156624)、美国专利4,244,654(对应于JP-A53-145621)和美国专利4,244,655(对应于JP-A53-145622)公开了一种从原始图像中检测肉色的部分作为从图像中检测面部图像区域的方法,用来从区域中收集到的测光点的肉色部分中确定面部图像。美国专利5,278,921(对应于JP-A4-346333)公开了一种通过将测光数据转换成色调和色度信息而检测面部图像区域的方法,用来创建和分析两个维度的柱状图。JP-A8-063597公开了一种通过考虑人面部形状而导出面部图像区域的候选区域的方法,用以根据候选区域中的特征值来确定面部图像区域。
在上面任意一种方法中,每一图像都必须全部通过用于识别图像中特定对象的图像处理来进行处理。即使高性能的CPU或计算设备也需要很长的时间,因为计算量相当大。
JP-A2001-116985公开了一种相机和对象识别。相机包括对象识别单元、视线识别单元、视线检测器和图像修剪单元。对象识别单元识别对象。图像修剪单元根据视线识别单元和视线检测器的输出来确定对象识别单元的识别位置和范围。对象识别单元和图像修剪单元合作来确定对象的位置,从而以高速度和高精确度进行识别。
JP-A2004-171490公开一种方法,其中,预先确定不相关图像和目标图像。不相关图像处于多个连续图像帧之中,根据搜索特定对象的考虑而排除不相关图像。目标图像处于多个连续图像帧之中,其作为用于检测特定对象的目标而被搜索。目标图像以预定周期顺序安排在两个或更多的不相关图像之间,以减少总的算术运算任务。在检测到具有特定对象的目标图像之一之后,搜索靠近检测到的特定对象的点,这在减少总任务方面也同样有效。
但是,在这些已知方法中还存在问题。在JP-A2001-116985中,通常在存在两个或更多对象时,在主要对象的对象识别中可能发生错误。当主要对象偏离识别的视线位置时,会出现失败。在JP-A2004-171490中,问题是由于简化处理自身造成的。用广泛公知的方式来处理目标图像,使得不存在计算任务的减少。JP-A2001-116985的问题在关于接近特定对象的点的JP-A2004-171490情况下仍然存在。
发明内容
考虑到上述的问题,本发明的目的是提供一种检测特定对象区域的方法和数码相机,其中,根据图像数据来检测特定对象区域,并且可以减少算术运算的任务量和存储资源。
为了获得本发明的上述和其他目的和优点,提供一种检测位于图像传感器所记录的图像帧中的特定对象区域的检测方法。在该检测方法中,通过对对象顺序地捡取而创建图像帧。在图像帧中,取得当前在图像帧中创建的当前图像帧与当前图像帧之前创建的前一图像帧之间的移动量。根据关于前一图像帧的移动量,移动在前一图像帧周围定义的轮廓帧,以在移动后从环绕在轮廓帧中的图像区域中形成规格化图像帧。找到当前图像帧和规格化图像帧之间的差异,以检测基于该差异且包括在当前图像帧中的差异区域。在差异区域中检测特定对象区域。
顺序地储存特定对象区域的信息,用于通过以恢复方式捡取而创建的图像帧。在当前图像帧的差异区域检测中,在没有差异区域的情况下,找到关于前一图像帧而获得的特定对象区域的信息,用于当前图像帧。
图像识别的模式匹配用于从差异区域中检测特定对象区域。
从拍摄前一图像帧到拍摄当前图像帧,测量包含图像传感器在内的外壳的移动量,将其用于当前图像帧和前一图像帧之间的移动量。
优选地,特定对象区域是人的面部图像区域。
图像传感器具有大的捡取区,其包含可拍摄区,用于捡取要在重放时观察的图像,在大捡取区中捡取前一图像帧和当前图像帧。
在一个优选实施例中,提供一种用于捡取图像帧的数码相机,包括图像传感器,用于通过顺序地捡取对象而创建图像帧。输入单元获取当前图像帧和前一图像帧之间的移动量,该当前图像帧是在所述图像帧中当前创建的,该前一图像帧是在所述图像帧中在所述当前图像帧之前创建的。规格化器根据关于所述前一图像帧的所述移动量,移动在所述前一图像帧周围定义的轮廓帧,以在移动之后从所述轮廓帧中环绕的图像区域中形成规格化图像帧。差异区域检测器找到所述当前图像帧和所述规格化图像帧之间的差异,以检测根据所述差异且包括在所述当前图像帧中的差异区域。特定对象检测器检测所述差异区域中的特定对象区域。
在本发明的另一方面中,提供一种检测位于由图像传感器记录的图像帧中的特定对象区域的检测方法。在该检测方法中通过顺序地捡取对象而创建图像帧。获取当前图像帧和前一图像帧之间的倍率的倍率变化,该当前图像帧是在所述图像帧中当前创建的,该前一图像帧是在所述图像帧中在所述当前图像帧之前创建的。以等于所述倍率变化的倒数的系数,来缩放在所述前一图像帧周围定义的轮廓帧,从而创建缩放轮廓帧,并且,以等于所述倍率变化的系数,来缩放所述前一图像帧,以获得在所述缩放轮廓帧中环绕的规格化图像帧。找到所述当前图像帧和所述规格化图像帧之间的差异,以检测根据所述差异且包括在所述当前图像帧中的差异区域。在所述差异区域中检测所述特定对象区域。
而且,特定对象检测步骤包括移动第一图像中的检测目标区域,以检查在检测目标区域中是否包含差异区域的部分。如果根据检测目标区域中的模式匹配,匹配分数高于阈值水平的话,就确定特定对象区域位于检测目标区域中。如果根据检测目标区域中的模式匹配,匹配分数等于或低于阈值水平的话,进一步继续检查在检测目标区域中是否包含差异区域的部分。
特定对象检测步骤包括移动第一图像中的第一尺寸的检测目标区域,以检查在检测目标区域中是否包含差异区域的部分。在移动第一图像中第一尺寸的检测目标区域之后,在第一图像中移动小于第一尺寸的第二尺寸的检测目标区域,以检查在检测目标区域中是否包含差异区域的部分。
还提供一种用于拍摄对象的图像的数码相机,包括输入单元,用于获取第一图像帧与在此之前拍摄的前一图像之间的图像在对象位置上的变化或其倍率变化。规格化器根据与位置或倍率的变化相关的参数来规格化前一图像。特定对象检测器根据图像识别并且通过第一图像和规格化的前一图像之间的比较来检测特定对象区域。
规格化器根据位置变化,通过规格化参数移动在轮廓帧中环绕的前一图像,以获得在移动的轮廓帧中环绕的规格化的前一图像。
优选地,规格化器以等于倍率的倍率变化的倒数的系数来缩放在前一图像周围定义的轮廓帧,从而创建缩放轮廓帧,还以等于倍率变化的系数来缩放前一图像,来获得在缩放的轮廓帧中环绕的规格化的前一图像。
而且,差异区域检测器通过找到第一图像和规格化的前一图像之间的部分差异来检测差异区域。特定对象检测器检测差异区域中的特定对象区域。
还提供一种用于检测位于对象图像中的特定对象区域的计算机可执行程序,包括获取程序代码,用于获取第一图像和在此之前拍摄的前一图像之间的图像在对象位置上的变化或其倍率变化。规格化程序代码用于根据与位置或倍率的变化相关的参数来规格化前一图像。特定对象检测程序代码用于根据图像识别并且通过第一图像和规格化的前一图像之间的比较来检测特定对象区域。
规格化程序代码用于根据位置变化,通过规格化参数移动在轮廓帧中环绕的前一图像,以获得在移动的轮廓帧中环绕的规格化的前一图像。
规格化程序代码用于以等于倍率的倍率变化的倒数的系数来缩放在前一图像周围定义的轮廓帧,从而创建缩放轮廓帧,还以等于倍率变化的系数来缩放前一图像,来获得在缩放的轮廓帧中环绕的规格化的前一图像。
而且,差异区域检测程序代码用于通过找到第一图像和规格化的前一图像之间的部分差异来检测差异区域。特定对象检测程序代码用于检测差异区域中的特定对象区域。
相应地,由于规格化、图像中位置的变化以及其倍率的变化,可以以减少的算术运算任务量根据图像数据来检测特定对象区域,还可以减少存储资源。
附图说明
通过下面的详细描述,同时结合附图阅读,将使本发明的上面的目的和优点变得更加明显,在附图中:
图1是图示说明数码静止相机的透视图;
图2是图示说明数码静止相机的后透视图;
图3是图示说明数码静止相机的框图;
图4是图示说明特定对象检测的流程的流程图;
图5是图示说明作为在特定对象检测中的一个步骤的模式匹配的流程的流程图;
图6是图示说明用于特定对象检测的当前时间的第一图像帧的示例平面视图;
图7是图示说明在第一图像帧之前拍摄的前一图像帧的示例平面视图;
图8是图示说明移动前一图像帧以便规格化的状态的示例平面视图;
图9是图示说明规格化的前一图像帧的示例平面视图;
图10是图示说明第一图像帧上重叠规格化的前一图像帧的状态的示例平面视图;
图11是图示说明差异区域和公共图像区域的示例平面视图;
图12是图示说明在特定对象检测步骤中的模式匹配的检测目标区域的示例平面视图;
图13是图示说明减小了尺寸的检测目标区域的状态的示例平面视图;
图14是图示说明在变焦之前不久的前一图像帧的示例平面视图;
图15是图示说明移动前一图像帧用于规格化的状态的示例平面视图;
图16是图示说明具有放大了尺寸的前一图像帧的另一优选实施例的示例平面视图;
图17是图示说明移动前一图像帧用于规格化的状态的示例平面视图;
图18是图示说明规格化的前一图像帧的比较区域的示例平面视图;以及
图19是图示说明差异区域的示例平面视图。
具体实施方式
在图1和2中,描述了本发明中能够检测面部图像区域的数码静止相机10。数码静止相机10具有相机机身11。相机机身11的前表面具有镜头筒13、闪光灯源14和取景器物镜窗15。图像捡取镜头12包括在镜头筒13中。相机机身11的上表面具有电源按钮16和快门释放按钮17。相机机身11的后表面具有液晶显示面板(LCD)18,用于显示图像或图像帧。触摸面板包括在显示面板18中,在外部显现出来。
此外,数码静止相机10具有取景器目镜窗19、模式选择器20以及变焦按钮21。模式选择器20可人工操作设置拍摄模式和重放模式中所选择的一种模式。变焦按钮21可以沿枢轴上下移动以便变焦。在相机机身11的下面形成槽(未示出)。存储卡22加载到该槽中。当捡取图像时,图像或图像帧的图像数据写入到存储卡22中并储存起来。
显示面板18是用户接口,通过该用户接口,将命令信号输入到数码静止相机10。触摸面板由显示面板18构成,并且指示操作图标。手指、输入笔(未示出)等可以接触触摸面板以便输入信号。
当用户希望用闪光灯拍摄图像时,在释放快门的同时,闪光灯源14向对象发射闪光。闪光量根据对象距离、光感度、孔径光阑等而确定,以便通过闪光来优化曝光量。在正常设定中,如果对象亮度等于或低于阈值水平,就自动发射闪光,而如果亮度高于阈值水平,则不发射闪光。
在图3中,示意性图示说明了数码静止相机10的各种电路组件。数码静止相机10中的CPU 30以管理方式控制着这些部分。此外,组件包括作为图像捡取设备的CCD 32、相关双采用电路(CDS)33、A/D转换器34、图像输入控制器35、图像信号处理器36、压缩器37、作为输入单元的运动矢量检测器38、LCD驱动器39、定时发生器(TG)40、马达驱动器41、光圈驱动器42、AF/AE/AWB评估器43、***存储器44、介质控制器45、数据总线46、以及特定对象图像识别单元或图像***。这些组件都安装在电路板(未示出)上。
图像捡取镜头12包括多个镜头/镜头组,诸如变焦镜头/镜头组、聚焦镜头/镜头组等。镜头马达被驱动以便有选择地移动镜头/镜头组。镜头马达与CPU 30控制的马达驱动器41相连接。CPU 30使得马达驱动器41驱动镜头马达。孔径光阑机制受到光圈驱动器42的控制,用来调节图像捡取镜头12的孔径。光圈驱动器42受到CPU 30的控制。
CCD 32放置在图像捡取镜头12之后。图像捡取镜头12将对象光聚焦到CCD 32的感光表面。图像捡取镜头12所聚焦的对象光由CCD32接收,CCD 32光电输出图像信号。定时发生器40连接在CCD 32和CPU 30之间。定时发生器40受到CPU 30的控制以生成定时信号或时钟脉冲。响应于定时信号而驱动CCD 32。
将来自于CCD 32的图像信号输入到CDS 33,CDS 33直接根据CCD 32的各个像素的存储电荷生成红、绿、蓝色的图像数据。来自CDS 33的图像数据被放大器放大,被A/D转换器34转换成数字形式的图像数据。
图像输入控制器35通过数据总线46连接到CPU 30,并且以受到CPU 30监控的状态来控制CCD 32、CDS 33和A/D转换器34。由A/D转换器34输出的图像数据临时地写入到***存储器44中。图像输入控制器35将来自A/D转换器34的图像数据发送到特定对象图像识别单元50。
图像信号处理器36从***存储器44中读取图像数据,并且在图像处理的各种步骤中处理图像数据,诸如半调转换、伽马校正等。然后,图像信号处理器36将处理过的图像数据写入到***存储器44。***存储器44中的图像数据被LCD驱动器39转换成模拟形式的复合信号,使得显示面板18根据图像数据显示活动物体图像或图像帧。
压缩器37根据预先确定的压缩格式(诸如JPEG(联合图像专家组)格式)来对图像信号处理器36处理的图像数据进行压缩。压缩后的图像数据被发送到介质控制器45并写入到存储卡22。
AF/AE/AWB评估器43连接到数据总线46。AF/AE/AWB评估器43操作用于根据图像数据来计算曝光量、用于焦距调节的评估值、以及白平衡值的数据。在曝光量的计算中,A/D转换器34所输出的图像数据的亮度水平在一帧内进行积分。积分值被作为曝光信息而获取,该曝光信息通过数据总线46发送到CPU 30。
为了自动地执行焦距调节,AF/AE/AWB评估器43从图像信号中找到高亮度的分量,对高亮度分量进行积分。AF/AE/AWB评估器43获得对调焦的评估值,其被发送到CPU 30。同时,AF/AE/AWB评估器43从图像数据中检测白平衡值,将白平衡值的信息发送到CPU 30。CPU 30根据来自AF/AE/AWB评估器43的检测结果控制马达驱动器41和定时发生器40,调节孔径光阑值、白平衡值等到优化值。注意到,向AF/AE/AWB评估器43提供面部图像数据,这将在后面描述,并且由AF/AE/AWB评估器43执行用于处理的任务。
***存储器44包括ROM、RAM等,储存各种程序、设定等用来控制数码静止相机10。同时,***存储器44是用于临时储存由CPU 30读取的程序、获取的图像数据等的缓冲器。
输入单元或运动矢量检测器38测量包含CCD 32的外壳的移动,找到当前第一图像帧和第一图像帧之前不久拍摄的前一图像帧之间的移动量。
特定对象图像识别单元50包括规格化器或规格化步骤51、差异区域检测器或差异区域检测步骤52、特定对象区域检测器或特定对象检测步骤53、以及存储区中面部模板图像54的信息。规格化器或规格化步骤51根据运动矢量检测器38所测量的移动,移动在前一图像帧周围定义的轮廓帧,离开其最初的位置,以获得定义在移动后的轮廓帧内的规格化的图像帧。
差异区域检测器或差异区域检测步骤52比较第一图像帧和规格化的图像帧,并且检测通过从中消除公共图像区域而定义的差异区域。在特定对象区域检测器或特定对象检测步骤53中,通过差异区域中的评估而识别面部图像区域。如果没有检测到差异区域,就再次使用从前一图像帧获得的面部图像区域的信息,并储存。
为了检测面部图像区域,使用模式匹配作为图像识别的方法,其中,修剪当前图像帧中的任何小区域,在正在修剪的检测目标区域中检测面部图像区域的存在与否。对于在检测目标区域中检测面部图像区域的存在性,使用面部模板图像54。如果在检测目标区域中不包含差异区域的部分,则通过忽略检测目标区域与面部模板图像54的比较,使用并储存检测到的前一图像帧的信息。如果在检测目标区域中包含差异区域的部分,则通过与面部模板图像54的比较而评估检测目标区域,如果发现匹配分数高于阈值的话,就检测到面部图像区域。
特定对象图像识别单元50或图像***所获得的面部图像数据通过数据总线46被发送到AF/AE/AWB评估器43。在AF/AE/AWB评估器43中根据面部图像数据而执行各种任务。根据面部图像数据而确定AF评估值,用来在对象中面部图像区域的位置上聚焦。聚焦镜头的位置是根据评估值而控制的。注意,也可使用其他方法来调焦。例如,计算面部图像区域相对于整个帧的尺寸。根据计算出的面部图像区域的尺寸来获得焦距,以便调节焦点。而且,确定曝光量和白平衡值以在预定范围内设置面部图像数据中的颜色和亮度。根据获得的曝光量和白平衡值来优化孔径光阑值和白平衡。
在图4中,图示说明图像捡取过程中检测面部图像区域的流程。数码静止相机10开始拍摄对象60。检查图6的第一图像帧Rn是否是排在第一位的图像帧。如果是,则使用第一图像帧的整个区域作为差异区域。与之对照,如果在第一图像帧Rn之前存在一个或多个图像帧,则评估直接就在第一图像帧Rn之前的前一图像帧。输入单元或运动矢量检测器38检测第一图像帧或当前图像帧周围的轮廓帧61相对于前一图像帧周围的轮廓帧62的移动量。
图7的前一图像帧Rn-1的轮廓帧62根据运动矢量检测器38所获得的移动量而移动。参看图8。轮廓帧62a所环绕的图像帧被获取作为规格化的前一图像帧Vn-1。参看图9。在差异区域检测器或差异区域检测步骤52中,第一图像帧Rn与规格化的图像帧Vn-1进行比较。消除其间的公共图像区域70以获得图10中斑点部分所示的差异区域72。在检测到图11的差异区域72之后,通过特定对象区域检测器或特定对象检测步骤53,根据与面部模板图像54的模式匹配,评估第一图像帧Rn
对于图像识别,现在通过参看图5中的流程来描述特定对象区域检测器或特定对象检测步骤53。预定确定具有固定尺寸的模式匹配的检测目标区域74。在特定对象区域检测器53中,设置检测目标区域74,位于当前图像帧Rn的左上角,如图12中符号a所示。在检测目标区域74的范围中不包含差异区域72。因此不执行模式匹配。使用检测到的前一图像帧的面部图像区域的信息并类似地进行储存。
然后,将模式匹配的检测目标区域74向右移动。检查检测目标区域74中是否包含差异区域的部分。图12的符号b指示帧区域的右上角。检测目标区域74在该点包含差异区域72的部分。然后,对检测目标区域74进行与面部模板图像54的模式匹配,以评估相关性。如果模式匹配的匹配分数等于或小于阈值,则没有找到存在的面部图像区域76作为特定对象区域。如果模式匹配的匹配分数大于阈值,则找到了存在的面部图像区域76。将面部图像区域76作为新信息储存,替换以前的面部图像区域76的信息。
类似地,连续地移动模式匹配的检测目标区域74以重复地检测面部图像区域。当面部图像区域检测结束于帧区域的右下角时,减小检测目标区域74的尺寸。在图13的符号c的区域处,较小尺寸的检测目标区域74从帧区域的左上角开始移动。重复地检查面部图像区域的一致性。如果在以减小尺寸的检测目标区域74进行检测的过程中,检测目标区域74的尺寸等于或小于预定值,则特定对象区域检测器或特定对象检测步骤53的操作结束。对于数码静止相机10所拍摄的所有图像或图像帧,重复包括特定对象检测步骤53的结束在内的程序。
现在描述优选实施例,其中,数码静止相机10向下倾斜俯摄,并对对象变焦。根据光学变焦或电子变焦的变焦信息被传送到倍率变化获取步骤,其中,测量图像帧的两个倍率之间的倍率变化。根据输入单元或运动矢量检测器38所获得的移动量来移动在变焦之前不久环绕图14的前一图像帧Rzn-1的轮廓帧63,使得创建轮廓帧63a。然后,在倍率变化获取步骤中,以等于倍率变化的倒数的比率来缩放轮廓帧63a。然后,通过等于倍率变化的比率来缩放在变焦之后由轮廓帧63a环绕的图15的图像帧Vzn-1,从而获得图9的规格化的图像帧Vn-1
因此,将第一图像帧Rn与规格化的前一图像帧Vn-1进行比较,其方式类似于图10。通过差异区域检测器或差异区域检测步骤52来检测差异区域72。在特定对象区域检测器或特定对象检测步骤53中,通过与面部模板图像54的模式匹配来评估差异区域72,以检查作为特定对象区域的面部图像区域76的存在与否。
通过参看图16来描述另一优选实施例。上述实施例的特征重复,在下面描述其区别。确定数码相机的重放中观察到的图像帧的有效尺寸小于可用数码静止相机10中的图像传感器或CCD 32拍摄的整个图像区。在规格化步骤中,前一图像帧周围的轮廓帧66的尺寸设置在相对于CCD 32的整个图像面积。
根据输入单元或运动矢量检测器38所获得的移动量,从最初位置开始移动图16的前一图像帧Pn-1的轮廓帧66。获取在轮廓帧66a内定义的图像帧,作为图17的规格化的前一图像帧Un-1。一般地,当在一个场景中一个紧接着一个地立刻拍摄图像帧时,轮廓帧的移动量很小。因此,第一图像帧或当前图像帧周围的轮廓帧65的位置在移动后并没有移出轮廓帧66a。用于与轮廓帧65比较的规格化的图像帧Un-1中的图18的区域Upn-1不包含上述实施例中图9的规格化的图像帧Vn-1的方式的空白区域。
差异区域检测器或差异区域检测步骤52比较图6的第一图像帧Pn与规格化的图像帧中的图18的部分Upn-1,并且检测图19的差异区域72,其通过从中消除公共图像区域而定义。差异区域72小于根据上述实施例的图11中斑点部分所示的差异区域。特定对象区域检测器或特定对象检测步骤53中与面部模板图像54进行模式匹配时所使用的面积小于上述实施例中的面积。这对于提升针对图像识别的评估的有效性来说很有效。
在该实施例中,规则化步骤中的轮廓帧66的尺寸被设置为图像传感器所能拍摄到的整个图像面积。但是,在本发明中,有可能确定轮廓帧66的尺寸大于图像传感器的整个图像面积。
如到这里为止所述,数码静止相机10能够识别作为人的对象60的面部图像区域,从而使用各种拍摄功能。当把测距点设置在检测到的面部图像区域处,以便敏捷而无失败地聚焦时,可以有效地使用自动聚焦(AF)设备。当可以通过面部图像区域所反射的光的测定而测量对象60的亮度,以便适当地优化曝光水平而不影响环绕区的亮度时,可以有效地使用自动曝光(AE)设备。同时,当可以检测面部图像区域的肉色以便优化图像帧的白平衡时,可以有效地使用白平衡调节(AWB)。
在实施例中,使用输入单元或运动矢量检测器38来检测图像帧的移动。但是,也可以替代地使用角速度传感器来检测图像帧的移动。
在上述实施例中,特定对象区域是面部图像区域。但是,在本发明中用于检测的特定对象区域也可以是面部图像区域以外的其他图像。
尽管在上面使用的是模式匹配方法,但本发明中的图像识别的方法可以是图像识别领域已知的多种方法中的任何一种合适的方法。
尽管通过优选实施例及结合附图的方式全面描述了本发明,但对于本领域技术人员来说,各种变化和修改将是很明显的。因此,除非这些变化和修改背离了本发明的范围,否则它们都应该被解释为包括在本发明的范围之中。

Claims (13)

1.一种检测位于由图像传感器记录的图像帧中的特定对象区域的检测方法,包括如下步骤:
通过顺序地捡取对象而创建图像帧;
获取当前图像帧和前一图像帧之间的移动量,该当前图像帧是在所述图像帧中当前创建的,该前一图像帧是在所述图像帧中在所述当前图像帧之前创建的;
根据关于所述前一图像帧的所述移动量,移动在所述前一图像帧周围定义的轮廓帧,以在移动之后从所述轮廓帧中环绕的图像区域中形成规格化图像帧;
找到所述当前图像帧和所述规格化图像帧之间的差异,以检测根据所述差异且包括在所述当前图像帧中的差异区域;
检测所述差异区域中的所述特定对象区域。
2.如权利要求1所述的检测方法,其中,顺序地储存所述特定对象区域的信息,以便用于通过以恢复方式捡取而创建的所述图像帧;
在对于所述当前图像帧的所述差异区域检测中没有所述差异区域的情况下,找到关于所述前一图像帧而获得的特定对象区域的信息,用于所述当前图像帧。
3.如权利要求1所述的检测方法,其中,在从所述差异区域中检测所述特定对象区域时,使用图像识别的模式匹配。
4.如权利要求1所述的检测方法,其中,从拍摄所述前一图像帧到拍摄所述当前图像帧,测量包含所述图像传感器在内的外壳的移动量,其用于所述当前图像帧和所述前一图像帧之间的所述移动量。
5.如权利要求4所述的检测方法,其中,所述特定对象区域是人的面部图像区域。
6.如权利要求4所述的检测方法,其中,所述图像传感器具有大捡取区,其包含用于捡取要在重放时观察的图像的可拍摄区,并且所述前一图像帧和所述当前图像帧是在所述大捡取区中捡取的。
7.一种用于捡取图像帧的数码相机,包括:
图像传感器,用于通过顺序地捡取对象而创建图像帧;
输入单元,用于获取当前图像帧和前一图像帧之间的移动量,该当前图像帧是在所述图像帧中当前创建的,该前一图像帧是在所述图像帧中在所述当前图像帧之前创建的;
规格化器,用于根据关于所述前一图像帧的所述移动量,移动在所述前一图像帧周围定义的轮廓帧,以在移动之后从所述轮廓帧中环绕的图像区域中形成规格化图像帧;
差异区域检测器,用于找到所述当前图像帧和所述规格化图像帧之间的差异,以检测根据所述差异且包括在所述当前图像帧中的差异区域;
特定对象检测器,用于检测所述差异区域中的特定对象区域。
8.一种检测位于由图像传感器记录的图像帧中的特定对象区域的检测方法,包括如下步骤:
通过顺序地捡取对象而创建图像帧;
获取当前图像帧和前一图像帧之间的倍率的倍率变化,该当前图像帧是在所述图像帧中当前创建的,该前一图像帧是在所述图像帧中在所述当前图像帧之前创建的;
以等于所述倍率变化的倒数的系数,来缩放在所述前一图像帧周围定义的轮廓帧,从而创建缩放轮廓帧,并且,以等于所述倍率变化的系数,来缩放所述前一图像帧,以获得在所述缩放轮廓帧中环绕的规格化图像帧;
找到所述当前图像帧和所述规格化图像帧之间的差异,以检测根据所述差异且包括在所述当前图像帧中的差异区域;
检测所述差异区域中的所述特定对象区域。
9.如权利要求8所述的检测方法,其中,顺序地储存所述特定对象区域的信息,以便用于通过以恢复方式捡取而创建的所述图像帧;
在对于所述当前图像帧的所述差异区域检测中没有所述差异区域的情况下,找到关于所述前一图像帧而获得的特定对象区域的信息,用于所述当前图像帧。
10.如权利要求8所述的检测方法,其中,在从所述差异区域中检测所述特定对象区域时,使用图像识别的模式匹配。
11.如权利要求10所述的检测方法,其中,所述特定对象区域是人的面部图像区域。
12.如权利要求10所述的检测方法,其中,所述图像传感器具有大捡取区,其包含用于捡取要在重放时观察的图像的可拍摄区,并且所述前一图像帧和所述当前图像帧是在所述大捡取区中捡取的。
13.一种用于捡取图像帧的数码相机,包括:
图像传感器,用于通过顺序地捡取对象而创建图像帧;
输入单元,用于获取当前图像帧和前一图像帧之间的倍率的倍率变化,该当前图像帧是在所述图像帧中当前创建的,该前一图像帧是在所述图像帧中在所述当前图像帧之前创建的;
规格化器,用于以等于所述倍率变化的倒数的系数,来缩放在所述前一图像帧周围定义的轮廓帧,从而创建缩放轮廓帧,并且,以等于所述倍率变化的系数,来缩放所述前一图像帧,以获得在所述缩放轮廓帧中环绕的规格化图像帧;
差异区域检测器,用于找到所述当前图像帧和所述规格化图像帧之间的差异,以检测根据所述差异且包括在所述当前图像帧中的差异区域;
特定对象检测器,用于检测所述差异区域中的特定对象区域。
CN2007101812088A 2006-10-25 2007-10-25 检测特定对象区域的方法和数码相机 Expired - Fee Related CN101170647B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006289594 2006-10-25
JP2006289594A JP4732299B2 (ja) 2006-10-25 2006-10-25 特定被写体像の検出方法およびデジタルカメラ
JP2006-289594 2006-10-25

Publications (2)

Publication Number Publication Date
CN101170647A true CN101170647A (zh) 2008-04-30
CN101170647B CN101170647B (zh) 2012-09-19

Family

ID=39329616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101812088A Expired - Fee Related CN101170647B (zh) 2006-10-25 2007-10-25 检测特定对象区域的方法和数码相机

Country Status (3)

Country Link
US (1) US8411159B2 (zh)
JP (1) JP4732299B2 (zh)
CN (1) CN101170647B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104182751A (zh) * 2014-07-25 2014-12-03 小米科技有限责任公司 目标物边缘提取方法和装置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5292982B2 (ja) * 2008-08-07 2013-09-18 オムロン株式会社 人体検出装置、および方法、監視装置および方法、並びにプログラム
US20100278395A1 (en) * 2009-05-04 2010-11-04 Jonathan Yen Automatic backlit face detection
JP5412953B2 (ja) * 2009-05-20 2014-02-12 リコーイメージング株式会社 撮像装置
KR101652116B1 (ko) * 2010-03-09 2016-08-29 삼성전자주식회사 피사체 영역 및 움직임 검출 장치 및 방법
JP5891391B2 (ja) * 2010-07-05 2016-03-23 パナソニックIpマネジメント株式会社 撮像装置
JP2013171089A (ja) * 2012-02-17 2013-09-02 Toshiba Corp 音声補正装置、方法、及びプログラム
US9946956B2 (en) 2016-06-15 2018-04-17 Qualcomm Incorporated Differential image processing
CN105957110B (zh) * 2016-06-29 2018-04-13 上海小蚁科技有限公司 用于检测对象的设备和方法
KR102668775B1 (ko) * 2016-11-11 2024-05-23 한국전자통신연구원 표적영역의 변위정보 확인 방법 및 장치, 이를 이용한 대기운동정보 확인방법 및 장치
WO2019133991A1 (en) * 2017-12-29 2019-07-04 Wu Yecheng System and method for normalizing skin tone brightness in a portrait image
WO2020195155A1 (ja) * 2019-03-27 2020-10-01 富士フイルム株式会社 画像処理装置,画像処理方法および画像処理プログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS52156624A (en) * 1976-06-22 1977-12-27 Fuji Photo Film Co Ltd Detection of skin color of color film
JPS53145622A (en) 1977-05-25 1978-12-19 Fuji Photo Film Co Ltd Hue extractor
JPS53145621A (en) * 1977-05-25 1978-12-19 Fuji Photo Film Co Ltd Hue extractor
JP2695067B2 (ja) 1991-05-23 1997-12-24 富士写真フイルム株式会社 人物の顔のデータの抽出方法及び露光量決定方法
EP0514909B1 (en) * 1991-05-23 1997-08-20 Fuji Photo Film Co., Ltd. Method of determining exposure
JP3557659B2 (ja) 1994-08-22 2004-08-25 コニカミノルタホールディングス株式会社 顔抽出方法
JPH11185026A (ja) * 1997-12-22 1999-07-09 Victor Co Of Japan Ltd 顔領域抽出装置
JP2001116985A (ja) 1999-10-21 2001-04-27 Canon Inc 被写体認識機能を有するカメラおよび被写体認識方法
AU2003246268A1 (en) 2002-08-09 2004-02-25 Sharp Kabushiki Kaisha Image combination device, image combination method, image combination program, and recording medium containing the image combination program
JP3983623B2 (ja) * 2002-08-09 2007-09-26 シャープ株式会社 画像合成装置、画像合成方法、画像合成プログラム、および画像合成プログラムを記録した記録媒体
JP4281338B2 (ja) 2002-11-22 2009-06-17 ソニー株式会社 画像検出装置及び画像検出方法
JP4149301B2 (ja) * 2003-04-14 2008-09-10 富士フイルム株式会社 連続画像の被写体特徴部分抽出方法及びそのプログラム並びにデジタルカメラ
JP4340968B2 (ja) * 2004-05-07 2009-10-07 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
EP1748378B1 (en) * 2005-07-26 2009-09-16 Canon Kabushiki Kaisha Image capturing apparatus and image capturing method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104182751A (zh) * 2014-07-25 2014-12-03 小米科技有限责任公司 目标物边缘提取方法和装置
CN104182751B (zh) * 2014-07-25 2017-12-12 小米科技有限责任公司 目标物边缘提取方法和装置

Also Published As

Publication number Publication date
CN101170647B (zh) 2012-09-19
US8411159B2 (en) 2013-04-02
JP4732299B2 (ja) 2011-07-27
JP2008109344A (ja) 2008-05-08
US20080100721A1 (en) 2008-05-01

Similar Documents

Publication Publication Date Title
CN101170647B (zh) 检测特定对象区域的方法和数码相机
CN101001318B (zh) 图像拍摄设备及其控制方法
CN101213828B (zh) 将虹膜颜色结合到红眼修正中的方法和设备
CN101662587B (zh) 摄像装置及其跟踪方法
JP5246275B2 (ja) 撮像装置およびプログラム
JP5564987B2 (ja) 被写体追尾装置及び撮像装置
US20070030381A1 (en) Digital camera
US7978248B2 (en) Data processing apparatus and data processing method for displaying image capture mode candidates
JP5313037B2 (ja) 電子カメラ、画像処理装置および画像処理方法
US20050212950A1 (en) Focal length detecting method, focusing device, image capturing method and image capturing apparatus
WO2010128579A1 (ja) 電子カメラ、画像処理装置及び画像処理方法
CN102857690B (zh) 追踪装置、追踪方法、摄像装置以及摄像方法
JP5759170B2 (ja) 追尾装置およびその制御方法
US8558935B2 (en) Scene information displaying method and apparatus and digital photographing apparatus using the scene information displaying method and apparatus
US8294785B2 (en) Method for adjusting photosensitiveness of digital camera
CN101001319A (zh) 图像处理设备和图像处理方法
CN103731604A (zh) 追踪装置及追踪方法
CN103004179A (zh) 跟踪装置和跟踪方法
JP2003288601A (ja) 画像撮像装置、画像処理装置、画像処理方法及び画像情報分類サービス方法
JP5036334B2 (ja) 撮像装置、撮像方法およびその方法をコンピュータが実行するためのプログラム
US8149317B2 (en) Display device, photographing apparatus, and display method
JP2003102022A (ja) 撮像装置及び撮像方法
CN104038689A (zh) 图像处理装置和图像处理方法
JP2010258765A (ja) 撮像装置
JP2009272799A (ja) 撮像装置、及び、プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120919

Termination date: 20211025

CF01 Termination of patent right due to non-payment of annual fee