CN101848337A - 图像处理设备、图像处理方法和程序 - Google Patents

图像处理设备、图像处理方法和程序 Download PDF

Info

Publication number
CN101848337A
CN101848337A CN201010138365A CN201010138365A CN101848337A CN 101848337 A CN101848337 A CN 101848337A CN 201010138365 A CN201010138365 A CN 201010138365A CN 201010138365 A CN201010138365 A CN 201010138365A CN 101848337 A CN101848337 A CN 101848337A
Authority
CN
China
Prior art keywords
image
personage
high priest
face
judged
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201010138365A
Other languages
English (en)
Other versions
CN101848337B (zh
Inventor
大桥武史
尾上直之
本庄麻子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101848337A publication Critical patent/CN101848337A/zh
Application granted granted Critical
Publication of CN101848337B publication Critical patent/CN101848337B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明提供了图像处理设备、图像处理方法和程序。图像处理设备包括：判断单元，判断所捕捉图像中被包括作为被摄物的各个人物是否是不引人注意的非主要人物；以及控制器，基于被判定为非主要人物的人物的状态来控制作为与图像相关的处理的图像相关处理。

Description

图像处理设备、图像处理方法和程序
技术领域
本发明涉及图像处理设备、图像处理方法和程序，尤其是涉及能够基于不引人注意的非主要人物的状态来对处理进行控制的图像处理设备、图像处理方法和程序。
背景技术
已经提出要应用于对数码相机等的图像进行处置的设备的各种技术，这些技术能够通过指定要由拍摄者捕捉的人物并使得所指定的人物对准在焦点上或者通过控制变焦透镜来获取更合意的图像。
例如，日本未实审专利申请公布No.2007-226346公开了一种由用户基于脸部大小来将不希望的人物与希望作为被摄物(subject)的人物区分开的技术。
日本未实审专利申请公布No.11-4377公开了一种反复捕捉具有相同构图的图像并指定其中持续包括的人物的技术。其还公开了一种通过图像合成来移除除了指定被摄物以外的移动路人等的技术。
日本未实审专利申请公布No.2004-320285公开了一种基于从图像中提取的人物的数目或大小来选择最佳颜色参数或轮廓强调参数或者光圈值的技术。其还公开了：当多个脸部被检测出时，应当使用哪个脸部来控制聚焦或曝光。
发明内容
根据上述技术，可通过适当地设定焦点、光圈、色调(hue)、脸部方向或视线、位置和大小来捕捉主要人物，但是，在适当的状态可能捕捉到除了主要人物之外的非主要人物。
例如，当主要人物和非主要人物相互接近时，可能在与主要人物相同的适当状态捕捉到非主要人物。
希望基于不引人注意的非主要人物的状态来控制处理。
根据本发明一个实施例，提供了一种图像处理设备，其包括：判断单元，判断所捕捉图像中被包括作为被摄物的各个人物是否是不引人注意的非主要人物；以及控制器，基于被判定为非主要人物的人物的状态来控制作为与图像相关的处理的图像相关处理。
图像处理设备还可以包括图像捕捉装置。在这种情况下，判断装置可以判断由图像捕捉装置捕捉的图像中被包括作为被摄物的各个人物是否是不引人注意的非主要人物，并且控制装置可以控制对要记录的图像的捕捉处理，该捕捉处理由图像捕捉装置作为图像相关处理来执行。
图像处理设备还可以包括：图像捕捉装置；和图像处理装置，用于对由图像捕捉装置捕捉的图像进行处理。在这种情况下，判断装置可以判断由图像捕捉装置捕捉的图像中被包括作为被摄物的各个人物是否是不引人注意的非主要人物，并且控制装置可以控制对由图像捕捉装置捕捉的图像中包括的被判定为非主要人物的人物的部分进行的加工处理，该加工处理由图像处理装置作为图像相关处理来执行。
图像处理设备还可以包括：记录装置，用于记录所捕捉图像；和显示控制装置，用于控制对记录在记录装置中的图像的显示。在这种情况下，判断装置可以判断记录在记录装置中的图像中、被包括作为被摄物的各个人物是否是不引人注意的非主要人物，并且控制装置可以控制对包括被判定为非主要人物的人物的图像的显示处理，该显示处理由显示控制装置作为图像相关处理来执行。
图像处理设备还可以包括检测装置，该检测装置用于对所捕捉图像进行分析以获取与被包括作为被摄物的各个人物的脸部和身体的至少一个的位置有关的信息。在这种情况下，判断装置可以基于由检测装置获取的与位置有关的信息，将被包括在除了图像中心附近以外的位置处的人物判定为非主要人物。
判断装置可以基于由检测装置从连续捕捉的多个图像获取的与位置有关的信息，将移动了大于等于阈值的距离的人物判定为非主要人物。
判断装置可以基于由检测装置从连续捕捉的多个图像获取的与位置有关的信息，将未被连续包括达预定时间的人物判定为非主要人物。
图像处理设备还可以包括检测装置，该检测装置用于对所捕捉图像进行分析以获取与被包括作为被摄物的各个人物的脸部和身体的至少一个的大小有关的信息。在这种情况下，判断装置可以基于由检测装置获取的与大小有关的信息，将大小小于阈值的人物判定为非主要人物。
图像处理设备还可以包括检测装置，该检测装置用于对所捕捉图像进行分析以获取与被包括作为被摄物的各个人物的脸部和身体的至少一个的方向有关的信息。在这种情况下，判断装置基于由检测装置从连续捕捉的多个图像获取的与方向有关的信息，将脸部或身体未朝向图像捕捉设备达预定时间的人物判定为非主要人物。
图像处理设备还可以包括：检测装置，用于对所捕捉图像进行分析以获取被包括作为被摄物的各个人物的脸部，和识别装置，用于识别由检测装置检测出的脸部的表情是否是微笑。在这种情况下，判断装置可以基于识别装置的根据连续捕捉的多个图像的识别结果，将未连续保持微笑达预定时间的人物判定为非主要人物。
图像处理设备还可以包括：记录装置，用于记录脸部图像；和检测装置，用于对所捕捉图像进行分析以获取被包括作为被摄物的各个人物的脸部图像。在这种情况下，判断装置可以将被摄物中包括的人物之中、脸部图像未记录在记录装置中的人物判定为非主要人物。
图像处理设备还可以包括用于显示所捕捉图像的显示装置。在这种情况下，判断装置可以将在显示装置所显示的图像中的被摄物中包括的人物之中、未被用户指定的人物判定为非主要人物。
根据本发明另一实施例，提供了一种图像处理方法，其包括以下步骤：判断所捕捉图像中被包括作为被摄物的各个人物是否是不引人注意的非主要人物；以及基于被判定为非主要人物的人物的状态来控制作为与图像相关的处理的图像相关处理。
根据本发明又一实施例，提供了一种使得计算机执行图像处理方法的程序，所述图像处理方法包括以下步骤：判断所捕捉图像中被包括作为被摄物的各个人物是否是不引人注意的非主要人物；以及基于被判定为非主要人物的人物的状态来控制作为与图像相关的处理的图像相关处理。
根据本发明实施例，判断所捕捉图像中被包括作为被摄物的各个人物是否是不引人注意的非主要人物，并且基于被判定为非主要人物的人物的状态来控制作为与图像相关的处理的图像相关处理。
根据本发明实施例，可以基于不引人注意的非主要人物的状态来控制各种处理。
附图说明
图1是图示出根据本发明一个实施例的图像处理设备的配置的框图。
图2是图示出图像处理设备的控制处理的流程图。
图3是图示出图1所示的判断单元的配置的框图。
图4是图示出基于脸部大小和身体大小的分值的示图。
图5是图示出基于脸部位置的分值的示图。
图6是图示出图1所示的判断单元的另一配置的框图。
图7是图示出图1所示的判断单元的又一配置的框图。
图8是图示出数码相机的配置的框图。
图9是图示出图像一个示例的示图。
图10是图示出图像另一示例的示图。
图11是图示出图像又一示例的示图。
图12是图示出图像一个示例的示图。
图13是图示出具有图8所示的配置的数码相机的快门控制处理的流程图。
图14是图示出数码相机的另一配置的框图。
图15是图示出经过处理的图像的示例的示图。
图16是图示出具有图14所示的配置的数码相机的阶调(gradate)控制处理的流程图。
图17是图示出数码相机的又一配置的框图。
图18是图示出具有图17所示的配置的数码相机的显示控制处理的流程图。
图19是图示出数码相机的又一配置的框图。
图20是图示出数码相机的又一配置的框图。
图21是图示出计算机的硬件配置的框图。
具体实施方式
图像处理设备的配置和操作
图1是图示出根据本发明一个实施例的图像处理设备1的配置的框图。
图1所示的图像处理设备1包括图像获取单元11、判断单元12、控制器13、和处理器14。具有此配置的图像处理设备1适用于诸如数码相机之类的装置，如后面描述的。
图像获取单元11获取所捕捉的图像。图像获取单元11获取由诸如CCD(电荷耦合器件)之类的图像捕捉设备直接捕捉的图像或者被捕捉并记录在诸如存储卡之类的记录介质上的图像。图像获取单元11将所获取的图像输出到判断单元12。
判断单元12对从图像获取单元11提供来的图像进行分析，并判断图像中包括的作为被摄物的人物是作为图像拍摄者的用户所注意的主要人物还是不引人注意的非主要人物。
当一幅图像中包括多个人物时，针对每一个人物来判断其是主要人物还是非主要人物。对人物是主要人物还是非主要人物的判断称为主要和非主要人物判断。
判断单元12检测被包括作为被摄物的人物的脸部的大小、位置和方向以及身体的大小和位置，并识别其位置等被检测到的脸部或身体的状态。例如，判断单元12将脸部的表情或视线识别为脸部状态，并将姿势识别为身体状态。
判断单元12将检测出的脸部或身体的信息以及所识别的脸部或身体的状态信息与主要和非主要人物判断的结果信息一起输出到控制器13。
控制器13基于从判断单元12提供来的信息来检测非主要人物的状态。控制器13基于非主要人物的状态来控制由处理器14执行的作为与图像相关的处理的图像相关处理。
例如，当非主要人物被显眼地包括并且图像处理设备1被应用于诸如数码相机之类的图像捕捉设备时，控制器13将快门按钮设定到锁定状态，即，将快门按钮控制为被按下，由此不执行捕捉图像的处理。
当非主要人物被显眼地包括并且图像处理设备1被应用于诸如数码相机之类的图像捕捉设备时，控制器13执行加工图像的处理，例如，对要记录的图像中包括的非主要人物的部分进行阶调的处理。
当用户指示对所捕捉的图像进行显示时，控制器13不将所指示的图像中非主要人物很显眼的图像选择为要显示的图像，而是仅选择并显示非主要人物不显眼的图像。
在这个示例中，图像相关处理包括图像获取处理、图像加工处理、和图像显示处理。另外，图像相关处理还包括与图像相关的各种处理，例如，图像发送处理、图像接收处理和所记录图像删除处理。
处理器14在控制器13的控制之下执行图像相关处理。
这里，将参考图2的流程图描述由图1所示的图像处理设备1执行的控制处理。
在步骤S1中，图像获取单元11获取所捕捉的图像。
在步骤S2中，判断单元12判断由图像获取单元11获取的图像中包括的作为被摄物的每一个人物是主要人物还是非主要人物。判断单元12检测每一个人物的脸部的大小、位置和方向或者身体的大小和位置，并识别其位置等被检测出的脸部或身体的状态。
在步骤S3中，控制器13基于非主要人物的状态来控制图像相关处理。
在步骤S4中，处理器14在控制器13的控制之下执行图像相关处理。
以这种方式，基于非主要人物的状态而不是主要人物的状态来控制图像处理设备1中的各种处理。
例如，在非主要人物很显眼时通过锁定快门按钮以便不捕捉图像，可以防止捕捉非主要人物和主要人物都很显眼的图像。
当主要人物引人注意并且主要人物很显眼的图像被捕捉时，可能捕捉到主要人物和非主要人物同等显眼的图像，但是这种问题可得到防止。
由于基于非主要人物的状态来控制处理，所以作为关于一人物是主要人物还是非主要人物的主要和非主要人物判断，仅仅执行了关于人物是否为非主要人物的判断。在这种情况下，指示出图像中包括的什么人物是非主要人物的信息被作为判断结果的信息从判断单元12提供给控制器13。判断单元的配置
图3是图示出图1所示的判断单元12的配置的框图。
如图3所示，判断单元12包括脸部检测器21、脸部状态识别器22、身体检测器23、姿势识别器24以及主要和非主要人物判断单元25。从图像获取单元11输出的图像被输入到脸部检测器21、身体检测器23、和主要和非主要人物判断单元25。
脸部检测器21检测输入图像中包括的脸部并获取图像中各脸部的位置、大小和方向。脸部方向由滚转(roll)角度、俯仰(pitch)角度和偏转(yaw)角度来表示。
例如在日本未实审专利申请公布No.2007-249852中描述了从图像中检测脸部以及检测各脸部的位置、大小和方向的技术。
在该公布的技术中，在按光栅顺序逐像素地顺序移动恒定大小的窗口的同时扫描目标图像并获取作为窗口中的图像的切出图像的处理被反复地执行，同时依次缩小目标图像的大小。通过检测每一个切出图像中包括的被摄物是否是脸部并将起始图像中两个像素之间的亮度差异输入到使用诸如AdaBoost之类的算法的辨识器，可以辨识出脸部朝向哪一侧。
在辨识器中，两个像素之间的亮度差异被输入其中，并且通过多个子辨识器来计算估计值，并且通过将估计值乘以通过学习得到的权重，基于经加权的估计值来判断脸部朝向哪一侧。
脸部检测器21将检测出脸部的窗口(矩形区域)的中心位置的信息与所检测出的脸部图像一起作为脸部的位置信息来输出，并将矩形区域的面积作为脸部的大小信息来输出。脸部检测器21输出具有在偏转方向上的诸如-45至-15、-15至+15、以及+15至+45之类的一定范围的信息作为脸部的方向信息。从脸部检测器21输出的信息被提供给脸部状态识别器22。
对脸部位置等的检测可通过在日本未实审专利申请公布No.2005-284487中描述的技术来执行。另外，还可以使用在Kohtaro Sabe和Kenichi Hidai所著的“Learning of Real-Time Posture and Face DetectorUsing Pixel Difference Feature”，Lectures of 10th Image Sensing Symposium，pp.547-552，2004中描述的技术。
脸部状态识别器22识别由脸部检测器21检测出其位置等的脸部的状态。例如，通过将脸部状态与通过学习预先准备的信息进行比较，视线方向和作为脸部表情的微笑被识别为脸部状态。脸部状态识别器22将指示出所识别的脸部状态的信息与从脸部检测器21提供的信息一起输出到主要和非主要人物判断单元25。
身体检测器23检测输入图像中包括的身体并获取图像中的身***置和大小。
例如，在K.Mikolajczyk、C.Schmid和A.Zisserman所著的“Humandetection based on a probabilistic assembly of robust part detectors”，Proc.ECCV，1：69.81，2004中描述了从图像中检测身体以及检测身体方向和身体大小的技术。
在该技术中，通过边缘提取获取的轮廓特征量被用作用于从图像中检测(识别)人的主特征量。人体各部分由使用高斯导数的轮廓特征量来表示。
身体检测器23将围绕身体的矩形区域的中心位置的信息与检测出的身体的图像一起作为身体的位置信息来输出，并将矩形区域的面积作为身体的大小信息来输出。从身体检测器23输出的信息被提供给姿势识别器24。
可以使用由Navneet Dalal和Bill Triggs所著的“Histograms ofOriented Gradients for Human Detection”，CVPR 2005中描述的技术而不是在上述文献中描述的技术来检测身体的位置。
姿势识别器24识别由身体检测器23检测出其位置等的身体的状态。例如，通过与预先准备的姿势信息相比较，来识别姿势。例如在日本未实审专利申请公布No.9-273920中描述了通过将所捕捉图像的信息与预先准备的信息相比较来识别姿势的技术。
姿势识别器24将指示出所识别的姿势的信息与从身体检测器23提供来的信息一起输出到主要和非主要人物判断单元25。
主要和非主要人物判断单元25获取从脸部状态识别器22提供来的关于脸部位置、大小和方向的信息以及从姿势识别器24提供来的关于身***置和大小的信息。
通过使得图像获取单元11反复地获取图像并依次分析所获取的图像，与图像中包括的人物的脸部或身体相关的信息被主要和非主要人物判断单元25获取。主要和非主要人物判断单元25还获取从图像获取单元11输出的图像。
主要和非主要人物判断单元25基于所获取的信息，对图像获取单元11所获取的图像中包括的各个人物执行主要和非主要人物判断处理。
例如，主要和非主要人物判断单元25通过计算基于脸部和身体的大小的分值、基于脸部和身体的位置的分值、以及使用时间信息的分值并且合成并使用计算出的分值来执行主要和非主要人物判断处理。将依次描述计算这些分值的方法。
1.基于脸部和身体的大小的分值
主要和非主要人物判断单元25计算基于脸部大小的分值和基于身体大小的分值，以使得分值随着面积变大而变高，并且分值随着面积变小而变低。
例如，主要和非主要人物判断单元25通过将脸部面积除以图像的总面积来计算基于脸部大小的分值，如式1所示。
式1
基于脸部大小的分值＝脸部面积/图像面积
主要和非主要人物判断单元25通过将身体面积除以图像的总面积来计算基于身体大小的分值，如式2所示。
式2
基于身体大小的分值＝身体面积/图像面积
由主要和非主要人物判断单元25计算出的分值在0.0到1.0的范围中。
图4是图示出基于脸部和身体的大小的分值的示图。
当如图4所示，获取了两个人物布置在前排并且两个人物布置在后排的图像时，脸部检测器21和身体检测器23检测四个人物的脸部和身体的位置、面积等。图4示出了上半身被检测为身体的示例。
在这种情况下，左前人物的脸部位置被显示在框F1的中心位置，并且脸部面积由框F1的面积表示。左前人物的身***置被显示在框B1的中心位置，并且身体面积由框B1的面积表示。
类似地，右后人物的脸部位置被显示在框F2的中心位置，并且脸部面积由框F2的面积表示。右后人物的身***置被显示在框B2的中心位置，并且身体面积由框B2的面积表示。
鉴于这些面积，根据式1和式2，左前人物的脸部大小的分值和身体大小的分值都高于右后人物的分值。
主要和非主要人物判断单元25以相同方式计算右前人物和左后人物的基于脸部大小和身体大小的分值。
2.基于脸部和身体的位置的分值
图5是图示出基于脸部位置的分值的示图。
主要和非主要人物判断单元25计算分值以使得该分值随着脸部位置变得越接近图像的中心而变得越高，并且该分值随着脸部位置变得越接近图像的角落而变得越低。
例如，如图5所示，当图像的宽度为W[像素]，高度为H[像素]，并且由矩形区域的中心位置表示的脸部位置为(x，y)[像素]时主要和非主要人物判断单元25通过使用式3来计算基于脸部位置的分值。在图5所示的示例中，表示脸部位置的坐标的原点被设定到左上角。
式3
Figure GSA00000052384200111
= 1 - ( x W - 0.5 ) 2 × 2 + ( y H - 0.5 ) 2 × 2 · · · ( 3 )
由主要和非主要人物判断单元25计算出的分值在0.0到1.0的范围中。主要和非主要人物判断单元25类似地计算基于身***置的分值，以使得该分值随着身***置变得越接近图像的中心而变得越高，并且该分值随着身***置变得越接近图像的顶角而变得越低。
3.使用时间信息的分值
主要和非主要人物判断单元25计算分值以使得人物注视相机的时间、人物停止移动并摆姿势的时间、人物停留在图像中的时间以及人物连续保持微笑的时间越长，则该人物的分值变得越高，并且这些时间越短，则人物的分值变得越低。在这种情况下，使用了与连续捕捉的图像有关的分析结果。
当测量时间为s[秒]并且每秒处理图像的数目(输入到判断单元12的图像的数目)为f[幅]时，在该测量时间内处理了sf幅图像。
基于人物注视相机的时间的分值通过式4来计算。
式4
(基于人物注视相机的时间的分值)
＝g/sf            …(4)
这里，g表示在该测量时间内处理的sf幅图像中、人物注视相机的图像的数目。基于由脸部检测器21检测出的脸部方向来判断一图像是否是人物注视相机的图像。由主要和非主要人物判断单元25计算出的分值在0.0到1.0的范围中。
可以基于由脸部状态识别器22识别出的视线来判断一图像是否是人物注视相机的图像。
其它分值通过式4来类似地计算。
当基于人物停止移动并摆姿势的时间的分值被计算出时，主要和非主要人物判断单元25计算某一帧中围绕身体的矩形区域的各像素与前一帧中围绕同一身体的矩形区域的各像素之间的亮度差异。身体检测器23的检测结果被用来计算基于人物停止移动并摆姿势的时间的分值。
主要和非主要人物判断单元25计算各亮度差异的和，当和值小于阈值时判定人物未移动，并且将s秒内人物未移动的帧的数目g应用于式4，从而计算分值。
基于人物停止移动并摆姿势的时间的分值可通过基于由姿势识别器24识别出的姿势、将连续识别出相同姿势的帧的数目g应用于式4来计算。
当计算基于人物停留在图像中的时间的分值时，主要和非主要人物判断单元25通过将连续检测出人物的帧的数目g应用于式4来计算该分值。例如，向由脸部检测器21检测出的脸部或者由身体检测器23检测出的身体赋予ID以便跟踪同一人物的脸部和身体在多个帧中的位置。
当计算人物连续保持微笑的时间的分值时，主要和非主要人物判断单元25通过将人物连续保持微笑的帧的数目g应用于式4来计算该分值。脸部状态识别器22的识别结果被用来计算基于人物连续保持微笑的时间的分值。
取代使用式4，可通过设定阈值t[幅]来计算这些分值，当在预定时间内检测出目标状态的图像的数目大于等于阈值时设定1.0，而当图像数目小于该阈值时设定0.0。在这种情况下，基于人物注视相机的时间的分值由式5表示。
式5
Figure GSA00000052384200121
= 0 ( g < t ) 1 ( t &le; g ) &CenterDot; &CenterDot; &CenterDot; ( 5 )
4.合成分值的方法
主要和非主要人物判断单元25对如上所述计算出的分值进行合成。
当要合成的分值的数目为N并且这些分值为Si(其中，i＝1，…，N)时，通过算术平均合成的分值由式6表示。
式6
Figure GSA00000052384200131
= &Sigma; i = 1 N S i N &CenterDot; &CenterDot; &CenterDot; ( 6 )
通过几何平均合成的分值由式7表示。
式7
= &Pi; i = 1 N S i N &CenterDot; &CenterDot; &CenterDot; ( 7 )
合成分值是针对被捕捉为被摄物的每一个人物来计算的。
主要和非主要人物判断单元25基于合成分值判定合成分值大于等于阈值的人物是主要人物，并判定合成分值小于阈值的人物是非主要人物。
主要和非主要人物判断单元25将关于判断结果的信息与从脸部状态识别器22提供的信息以及从姿势识别器24提供的信息一起输出到控制器13。
当判断一人物是主要人物还是非主要人物时，主要和非主要人物判断单元25判定分值小于阈值的人物为非主要人物。用来判定主要人物的阈值和用来判定非主要人物的阈值可以相互不同。
可以使用被计算为分值的一些分值而不是所有分值来进行合成。
例如，当根据基于脸部大小和身体大小的分值来执行非主要人物的判定时，判定被捕捉为被摄物的人物中、脸部大小和身体大小小于阈值的人物为非主要人物。
当根据基于脸部位置和身***置的分值来执行非主要人物的判定时，判定脸部和身***于预定中心附近以外的位置的人物为非主要人物。
当根据基于人物注视相机的时间的分值来执行非主要人物的判定时，判定脸部或身体未朝向相机达预定时间的人物为非主要人物。
当根据基于人物停止移动并摆姿势的时间的分值来执行非主要人物的判定时，判定(脸部或身体的位置)未停止移动达预定时间的人物为非主要人物。
当根据基于人物停留在图像中的时间的分值来执行非主要人物的判定时，判定未停留在图像中达预定时间的人物为非主要人物。
类似地，当根据基于人物连续保持微笑的时间的分值来执行非主要人物的判定时，判定未保持微笑达预定时间的人物为非主要人物。
修改示例
图6是图示出判断单元12的另一配置的框图。
在图6中，如图3所示的相同元件被加注相同标号和符号。不重复对其的描述。
图6所示的配置与图3所示的判断单元12的配置的不同之处在于未提供身体检测器23和姿势识别器24。图6所示的判断单元12包括脸部检测器21和脸部状态识别器22，并且基于脸部来执行主要和非主要人物判断处理。
脸部检测器21从输入图像中检测脸部并获取图像中各脸部的位置、大小和方向。脸部检测器21将指示出所获取的各脸部的位置、大小和方向的信息输出到脸部状态识别器22。
脸部状态识别器22识别由脸部检测器21检测出其位置等的脸部的状态，并将指示出所识别的脸部状态的信息与从脸部检测器21提供来的信息一起输出到主要和非主要人物判断单元25。
如上所述，主要和非主要人物判断单元25根据从图像获取单元11提供来的图像以及从脸部状态识别器22提供来的信息，计算基于脸部大小的分值和基于脸部位置的分值。
主要和非主要人物判断单元25计算使用时间信息的分值之中基于人物注视相机的时间、人物停留在图像中的时间、以及人物保持微笑的时间的分值，对计算出的分值的至少一部分进行合成，并执行主要和非主要人物判断处理。判断结果的信息与从脸部检测器21提供来的信息一起被输出到控制器13。
图7是图示出判断单元12的又一配置的框图。
在图7中，如图3所示的相同元件被加注相同标号和符号。不重复对其的描述。
图7所示的配置与图3所示的判断单元12的配置的不同之处在于未提供脸部检测器21和脸部状态识别器22。图7所示的判断单元12包括身体检测器23和姿势识别器24，并基于身体来执行主要和非主要人物判断处理。
身体检测器23从输入图像中检测身体并将图像中各身体的位置和大小信息输出到姿势识别器24。
姿势识别器24识别由身体检测器23检测出其位置等的身体的姿势，并将指示出所识别的姿势的信息与从身体检测器23提供来的信息一起输出到主要和非主要人物判断单元25。
主要和非主要人物判断单元25根据从图像获取单元11提供来的图像以及从姿势识别器24提供来的信息，如上所述地计算基于身体大小的分值和基于身***置的分值。
主要和非主要人物判断单元25计算使用时间信息的分值之中基于人物停留在图像中的时间等的分值，对计算出的分值的至少一部分进行合成，并执行主要和非主要人物判断处理。判断结果的信息与从姿势识别器24提供来的信息一起被输出到控制器13。
以这种方式，可仅根据图像中包括的各人物的脸部或者可仅根据各人物的身体来执行主要和非主要人物判断处理。
第一应用示例
数码相机的配置
图8是图示出采用了图1所示的图像处理设备1的数码相机的配置的框图。
图8所示的数码相机51包括图像捕捉单元61、判断单元62、控制器63、快门按钮64、记录控制器65和存储卡66。
图像捕捉单元61对应于图1所示的图像获取单元11，判断单元62对应于判断单元12。控制器63对应于控制器13，快门按钮64或者对快门按钮64的锁定状态和解锁状态进行切换的配置对应于处理器14。
图8所示的数码相机51是基于图像中包括的非主要人物的状态来控制作为图像相关处理的图像获取处理的设备。
图像捕捉单元61包括图像捕捉设备和A/D(模/数)转换电路，并且通过执行光电转换操作和A/D转换操作来获取图像。例如，当数码相机51被开启时，图像捕捉单元61获取要在主要和非主要人物判断处理中使用的图像并将所获取的图像输出到判断单元62。在预定时段内反复地获取要在主要和非主要人物判断处理中使用的图像。
图像捕捉单元61通过用户按下快门按钮64来获取要记录的图像并将所获取的图像输出到记录控制器65。
判断单元62对图像捕捉单元61所获取的图像进行分析，并与图1所示的判断单元12相类似地，执行主要和非主要人物判断处理。判断单元62将指示出判断结果的信息与通过分析图像而获取的脸部或身体的位置和大小的信息一起输出到控制器63。
控制器63基于从判断单元62提供来的信息来指定由图像捕捉单元61获取的图像中包括的非主要人物，并基于所指定非主要人物的状态来控制快门按钮64的锁定状态和解锁状态。非主要人物的状态是基于从判断单元62提供来的信息来检测出的。当设定了锁定状态时，快门按钮64被固定构件固定并因而快门按钮64不被按下。
例如，控制器63将非主要人物的脸部和身体的相对大小或绝对大小检测为非主要人物的状态，并在该大小很大时将快门按钮64切换到锁定状态。因此，当非主要人物的脸部和身体的面积大于等于主要人物的脸部和身体的面积或者大于等于阈值面积时，无法捕捉图像。
当非主要人物的脸部和身体的面积小于主要人物的脸部和身体的面积或者小于阈值面积时，快门按钮64被解锁以捕捉图像。
控制器63将非主要人物的脸部和身体的位置检测为非主要人物的状态，并在这些位置位于中心附近时将快门按钮64切换到锁定状态。因此，当非主要人物的脸部或身***于设定在图像中心附近的预定区域时，无法捕捉图像。
当非主要人物的脸部和身体的位置远离该区域时，快门按钮64被解锁以捕捉图像。
控制器63将非主要人物的脸部和身体的方向检测为非主要人物的状态，并在脸部或身体的方向朝向数码相机51时将快门按钮64切换到锁定状态。因此，当非主要人物的视线或者脸部或身体的方向处在所设定的朝向数码相机51的预定范围中时，无法捕捉图像。
当非主要人物的视线或者脸部和身体的方向远离该预定范围时，快门按钮64被解锁以捕捉图像。
控制器63检测非主要人物的状态，并在满足多个条件之一时将快门按钮64切换到锁定状态，从而不捕捉图像。
记录控制器65将通过执行对将记录的图像进行压缩的处理而获得的并且已从图像捕捉单元61提供来的图像记录在被***插槽的存储卡66中。
图9是图示出所捕捉图像的示例的示图。
图9所示的图像包括四个人物H1至H4。这四个人物H1至H4中的三个人物H1至H3的位置靠近数码相机51，而人物H4处于人物H1至H3之后。
当获取了图9所示的图像时，判断单元62如上所述地检测人物H1至H4的脸部和位置、面积和方向。
用虚线指示的框W1至W3分别表示由判断单元62检测出的人物H1至H3的脸部区域，而由实线指示的框W4表示人物H4的脸部区域。以框W4围绕的人物H4的脸部面积小于以框W1至W3围绕的人物H1至H3的脸部面积。所有人物H1至H4都朝向数码相机51。
判断单元62基于这些面积等来判定人物H1至H3是主要人物而人物H4是非主要人物。
当该判断结果被获取时，控制器63检测出被判定为非主要人物的人物H4的脸部朝向数码相机51并将快门按钮64切换到锁定状态。
即，即使作为主要人物的人物H1至H3处在非常靠近中心附近的位置并且朝向数码相机51，此时也无法捕捉图像。
图10是图示出所捕捉图像的另一示例的示图。
在图10所示的人物之中，与图9所示的人物相同的人物被加注相同标号和符号。这同样适用图11等所示的图像。
当图10所示的图像被获取时，判断单元62检测人物H1至H4的脸部的位置、面积和方向。
在图10所示的示例中，以框W4围绕的人物H4的脸部面积小于以框W1至W3围绕的人物H1至H3的脸部面积。在人物H1至H4中，三个人物H1至H3朝向数码相机51，而人物H4未朝向数码相机51。
判断单元62基于面积等判定人物H1至H3为主要人物并且人物H4为非主要人物。
当判断单元62作出该判定时，控制器63检测出被判定为非主要人物的人物H4的脸部未朝向数码相机51，并且将快门按钮64切换到解锁状态。
由于作为非主要人物的人物H4被捕捉但是未朝向数码相机51并因而并不显眼，所以此时可以捕捉图像。
图11是图示出所捕捉图像的又一示例的示图。
当图11所示的图像被获取时，判断单元62检测人物H1至H4的脸部的位置、面积和方向。
判断单元62根据基于时间信息等的分值，判定人物H1至H3为主要人物而人物H4为非主要人物。
由于图11所示的图像中包括的人物H1至H4中的人物H4的脸部面积很大并且位于中心附近，但是基于对连续捕捉的图像的分析结果其被检测为从由向左移动，所以人物H4被确定为非主要人物。在图11中，显示在人物H4的身体右侧的三条水平线意味着人物H4在移动。
当从判断单元62获取该判断结果时，控制器63检测出被判定为非主要人物的人物H4的脸部位于图像中心附近，并且将快门按钮64切换到锁定状态。
如图12所示，当人物H4从旁经过并因而未包括在图像中时，处于锁定状态的快门按钮64被解锁，从而捕捉图像。
数码相机的操作
将参考图13所示的流程图来描述具有图8所示的配置的数码相机51的快门控制处理的流程。
例如在开启数码相机51时开始图13所示的流程。
在步骤S11中，图像捕捉单元61捕捉图像并获取图像。
在步骤S12中，判断单元62对由图像捕捉单元61获取的图像进行分析并执行主要和非主要人物判断处理。
在步骤S13中，控制器63基于非主要人物的状态判断被判定为非主要人物的人物在所获取的图像中是否显眼。如上所述，当非主要人物的脸部和身体的面积很大时，当非主要人物的脸部和身体的位置位于图像中心附近时，或者当非主要人物的视线或脸部和身体的方向朝向数码相机51时，判定非主要人物显眼。
当在步骤S13中判定非主要人物显眼时，控制器63在步骤S14中将快门按钮64设定为锁定状态。之后，重复执行步骤S11的后续处理。
另一方面，当在步骤S13判定非主要人物并不显眼时，控制器63在步骤S15中将快门按钮64设定为解锁状态。当快门按钮一直处在锁定状态时，可以按下快门按钮64来捕捉图像。当快门按钮一直处在解锁状态时，解锁状态得以维持。
在步骤S16中，图像捕捉单元61判断快门按钮64是否被按下。
当在步骤S16判定快门按钮64被按下时，图像捕捉单元61在步骤S17中捕捉要记录的图像。
在步骤S18中，记录控制器65将由图像捕捉单元61捕捉的图像记录在存储卡66中。
在图像已记录之后或者当在步骤S16判定快门按钮64未被按下时，步骤S11的后续处理被重复执行。当得到结束图像捕捉的指令时，图13所示的处理的流程结束。
如上所述，通过基于不希望捕捉的非主要人物的状态而不是基于希望捕捉的主要人物的状态来控制快门按钮64，可以防止捕捉到非主要人物和主要人物同等显眼的图像。
虽然已经描述为通过切换快门按钮64的状态来控制作为图像相关处理的图像获取处理，但是可以通过其它方法来控制快门按钮。
例如，当非主要人物显眼时，可以通过使得图像捕捉设备不捕捉图像或者甚至在按下了快门按钮64的情况下使得不将所捕捉的图像提供给记录控制器65来控制图像获取处理。
第二应用示例
数码相机的配置
图14是图示出采用了图像处理设备1的数码相机的另一配置的框图。
在图14中，如图8所示的相同元件被加注相同标号。不重复对其的描述。
图14所示的数码相机51包括图像捕捉单元61、判断单元62、控制器63、快门按钮64、记录控制器65、存储卡66和图像处理器71。
图14所示的配置与图8所示的配置的不同之处在于额外提供了图像处理器71并且图像处理器71而不是快门按钮64受控制器63的控制。
图像捕捉单元61对应于图1所示的图像获取单元11，判断单元62对应于判断单元12。控制器63对应于控制器13并且图像处理器71对应于处理器14。
图14所示的数码相机51是基于图像中包括的非主要人物的状态来控制作为图像相关处理的图像获取处理的设备。
图像捕捉单元61捕捉并获取在主要和非主要人物判断处理中使用的图像，并将所获取的图像输出到判断单元62。图像捕捉单元61通过用户按下快门按钮64来获取要记录的图像并将所获取的图像输出到图像处理器71。
判断单元62对图像捕捉单元61所获取的图像进行分析并执行主要和非主要人物判断处理。判断单元62将指示出判断结果的信息与脸部或身体的位置和大小的信息一起输出到控制器63。
控制器63基于从判断单元62提供来的信息来指定图像捕捉单元61所获取的图像中包括的非主要人物，并基于所指定非主要人物的状态来控制图像处理器71的图像加工处理。
例如，当非主要人物显眼时，控制器63将图像处理器71控制为执行图像加工处理，例如，对与要记录的图像中的非主要人物相对应的部分进行阶调。指定与非主要人物相对应的部分的信息被从控制器63提供给图像处理器71。
当非主要人物不显眼时，控制器63将由图像捕捉单元61捕捉的要记录的图像输出到记录控制器65而没有进行任何改变。
图像处理器71在控制器63的控制之下响应于快门按钮64的按下而适当地处理从图像捕捉单元61提供来的图像。
即，当得到处理图像的指令时，图像处理器71基于从控制器63提供来的信息来指定要记录的图像中非主要人物显眼的部分。图像处理器71通过降低所指定的非主要人物显眼的部分的锐度等来对该部分进行阶调，并将其一部分经过阶调的要记录的图像输出到记录控制器65。
当未得到处理图像的指令时，图像处理器71将从图像捕捉单元61提供的图像输出到记录控制器65而不进行任何改变。
记录控制器65对从图像处理器71提供来的图像进行压缩等并将得到的图像记录在存储卡66中。
图15是图示出经处理图像的示例的示图。
例如，当包括人物H1至H4并且已参考图9描述的图像被获取作为在主要和非主要人物判断处理中使用的图像时，判断单元62检测人物H1至H4的位置、面积和方向。基于面积等判定人物H1至H3是主要人物而人物H4是非主要人物。
控制器63检测出被确定为非主要人物的人物H4的脸部朝向数码相机51，并向图像处理器71给出对图像进行处理的指令。指定其中人物H4显眼的部分的信息被从控制器63提供给图像处理器71。
当快门按钮64在这种状态下被按下并因而得到捕捉图像的指令时，图像处理器71对要记录的图像执行对其中人物H4显眼的部分进行阶调的处理，如图15所示。在图15中，指示出人物H4的虚线意味着其中人物H4显眼的那部分经过了阶调。
数码相机的操作
将参考图16所示的流程图来描述具有图14所示的配置的数码相机51的阶调控制处理的流程。
在步骤S31中，图像捕捉单元61捕捉图像并获取图像。
在步骤S32中，判断单元62对图像捕捉单元61所获取的图像进行分析并执行主要和非主要人物判断处理。
在步骤S33中，控制器63基于非主要人物的状态来判断被判定为非主要人物的人物在所获取的图像中是否显眼。这里，当非主要人物的脸部和身体的面积很大时，当非主要人物的脸部和身体的位置位于图像中心附近时，或者当非主要人物的视线或脸部和身体的方向朝向数码相机51时，判定非主要人物显眼。
当在步骤S33中判定非主要人物显眼时，图像捕捉单元61在步骤S34中判断快门按钮64是否被按下。
当在步骤S34中判定快门按钮64被按下时，图像捕捉单元61在步骤S35中捕捉要记录的图像。
在步骤S36中，图像处理器71对要记录的图像执行对其中非主要人物显眼的部分进行阶调的处理。当判定非主要人物显眼时，从控制器63向图像处理器71给出处理图像的指令。
在步骤S37中，记录控制器65将经图像处理器71处理的图像记录在存储卡66中。在图像已记录之后或者当在步骤S34判定快门按钮64未被按下时，重复执行步骤S31的后续处理。
另一方面，当在步骤S33判定非主要人物不显眼时，图像捕捉单元61在步骤S38判断快门按钮64是否被按下。
当在步骤S38判定快门按钮64被按下时，图像捕捉单元61在步骤S39捕捉要记录的图像。所捕捉的图像经由图像处理器71而被提供给记录控制器65。
在步骤S40中，记录控制器65将从图像处理器71提供来的未经处理的图像记录在存储卡66中。
在图像已记录之后或者当在步骤S38判定快门按钮64未被按下时，重复执行步骤S31的后续处理。当得到结束图像捕捉处理的指令时，图16所示的处理流程结束。
如上所述，通过基于不希望捕捉的非主要人物的状态而不是基于希望捕捉的主要人物的状态来控制图像的处理，可以防止记录非主要人物和主要人物同等显眼的图像。通过执行阶调处理，非主要人物与所记录的图像中的主要人物相比并不显眼。
第三应用示例
数码相机的配置
图17是图示出采用了图像处理设备1的数码相机的另一配置的框图。
在图17中，如图8所示的相同元件被加注相同标号。不重复对其的描述。
图17所示的数码相机51包括图像捕捉单元61、判断单元62、控制器63、快门按钮64、记录控制器65、存储卡66、显示控制器81、显示单元82和读取器83。
图17所示的配置与图8所示的配置的不同之处在于额外提供了显示控制器81、显示单元82和读取器83，并且显示控制器81而不是快门按钮64受控制器63的控制。
读取器83对应于图像获取单元11，判断单元62对应于判断单元12。控制器63对应于控制器13并且显示控制器81对应于处理器14。
图17所示的数码相机51是基于图像中包括的非主要人物的状态来控制作为图像相关处理的图像显示处理的设备。
图像捕捉单元61通过用户按下快门按钮64来获取要记录的图像，并将所获取的图像输出到记录控制器65。
记录控制器65将通过对从图像捕捉单元61提供的图像进行压缩等而获得的图像记录在存储卡66中。
当用户指示对记录在存储卡66中的图像进行显示时，显示控制器81从存储卡66读取所指示的图像。响应于用户操作，信号被输入显示控制器81，并且其被指示显示多幅图像，以例如在缩略图形式的列表中显示记录在存储卡66中的图像。
显示控制器81在控制器63的控制之下，在例如由LCD(液晶显示器)构成的显示单元82上显示从存储卡66读取的图像之中、被控制器63选择为要显示的图像的图像。
当用户指示对记录在存储卡66中的图像进行显示时，读取器83与显示控制器81相类似地从存储卡66读取并获取所指示的图像，并将所获取的图像输出到判断单元62。
判断单元62对读取器83所获取的图像进行分析并执行主要和非主要人物判断处理。由于使用了记录图像，所以主要和非主要人物判断处理是使用上述分值之中除了使用时间信息的分值之外的分值来执行的。判断单元62将指示出判断结果的信息与关于脸部或身体的位置和大小的信息一起输出到控制器63。
控制器63基于从判断单元62提供来的信息来指定由读取器83获取的图像中包括的非主要人物，并基于所指定非主要人物的状态来控制显示控制器81的图像显示处理。
例如，控制器63不选择从存储卡66读取的图像之中、非主要人物显眼的图像，而仅选择非主要人物不显眼的图像作为要显示的图像。控制器63将指示出什么图像是所选择图像的信息输出到显示控制器81并控制图像显示。
数码相机的操作
将参考图18所示的流程图来描述具有图17所示的配置的数码相机51的显示控制处理的流程。
当在存储卡66中记录了多幅所捕捉图像的状态中用户指示对所记录图像进行显示时，图18所示的处理流程开始。
在步骤S51中，读取器83从存储卡66读取并获取由用户指定的图像。类似地，显示控制器81也从存储卡66读取并获取由用户指定的图像。
在步骤S52中，判断单元62注意到由读取器83获取的一幅图像。
在步骤S53中，判断单元62对所注意的图像进行分析并执行主要和非主要人物判断处理。
在步骤S54中，控制器63判断所注意的图像中非主要人物是否显眼。此时，当非主要人物的脸部和身体的面积很大时，当非主要人物的脸部和身体的位置位于图像中心附近时，或者当非主要人物的视线或脸部和身体的方向朝向数码相机51时，判定非主要人物显眼。
当在步骤S54判定非主要人物显眼时，控制器63在步骤S55中不将所注意的图像选择为要显示的图像。
另一方面，当在步骤S54判定非主要人物不显眼时，控制器63在步骤S56中将所注意的图像选择为要显示的图像。与被选择为要显示的图像的图像有关的信息被依次从控制器63提供给显示控制器81。
在步骤S55中未将所注意图像选择为要显示的图像之后或者在步骤S56中将所注意图像选择为要显示的图像之后，判断单元62在步骤S57中判断是否所有所读取图像都得到注意。
当在步骤S57判定不是所有图像都得到注意时，判断单元62在步骤S52中对另一所注意图像执行相同处理。
当在步骤S57中判定所有图像都得到注意时，显示控制器81在步骤S58中在显示单元82上显示从存储卡66读取的图像之中被控制器63选择为要显示的图像的图像。之后，处理流程结束。
如上所述，通过基于不希望捕捉的非主要人物的状态而不是基于希望捕捉的主要人物的状态来控制图像显示，可以防止显示非主要人物和主要人物同等显眼的图像。
取代从要显示的图像中排除图像，可以对非主要人物显眼的那一部分进行阶调，然后可以显示非主要人物显眼的图像。在这种情况下，也可以防止显示非主要人物和主要人物同等显眼的图像。
修改示例
虽然已经描述为基于针对被捕捉为被摄物的每一个人物计算出的分值来执行主要和非主要人物判断处理，但是可以基于预先登记的脸部图像来执行主要和非主要人物判断处理。
图19是图示出基于预先登记的脸部图像执行主要和非主要人物判断处理的数码相机51的配置的框图。
图像捕捉单元61捕捉并获取要在主要和非主要人物判断处理中使用的图像并将所获取的图像输出到判断单元62。
判断单元62对由图像捕捉单元61获取的图像进行分析并提取所获取图像中包括的脸部图像。判断单元62计算所提取脸部图像与记录在脸部图像记录器91中的脸部图像之间的相关值，分别将脸部图像的相关值大于等于阈值的人物判定为主要人物，而将脸部图像的相关值小于阈值的人物判定为非主要人物。
脸部图像记录器91记录主要人物的脸部图像。例如通过向用户提供由判断单元62提取的脸部图像并记录由用户选择的脸部图像来执行在脸部图像记录器91中的脸部图像登记。
控制器63基于非主要人物的状态来控制由处理器92执行的图像相关处理。
处理器92在控制器63的控制之下执行图像相关处理。
主要和非主要人物判断处理可以基于相应人物是否是由用户直接指定的人物来执行。
图20是图示出基于相应人物是否是由用户直接指定的人物来执行主要和非主要人物判断处理的数码相机51的配置的框图。
图像捕捉单元61捕捉并获取要在主要和非主要人物判断处理中使用的图像，并将所获取的图像输出到判断单元62和显示单元93。由图像捕捉单元61捕捉的图像可被用作要显示的图像。
显示单元93显示由图像捕捉单元61捕捉的图像。
触摸面板94被堆叠在显示单元93上，并且将与用户拇指等接触的位置有关的信息输出到判断单元62。
在显示在显示单元93上的图像中包括的人物之中，判断单元62基于从触摸面板94提供来的信息，将显示单元93上用户所接触的人物判定为主要人物并将用户未接触的人物判定为非主要人物。
控制器63基于非主要人物的状态来控制由处理器92执行的图像相关处理。
处理器92在控制器63的控制之下执行图像相关处理。
虽然已经描述为图1所示的图像处理设备1被应用于数码相机，但是该图像处理设备可应用于诸如电视接收机、移动电话和个人计算机之类的各种装置，只要它们具有获取图像的功能即可。
例如，对作为图像相关处理的图像显示处理的控制可被安装作为个人计算机的应用。
上述处理可对视频以及静止图像执行。
可通过硬件或软件来实现上述一系列处理。当通过软件实现该一系列处理时，软件程序被从程序记录介质安装到装载在专用硬件上的计算机中或者通用个人计算机中。
图21是图示出利用程序执行上述一系列处理的计算机的硬件配置的框图。
CPU(中央处理单元)101、ROM(只读存储器)102和RAM(随机访问存储器)103经由总线104彼此互连。
另外，输入和输出接口105也连接到总线104。输入和输出接口105还连接到包括键盘和鼠标的输入单元106以及包括显示器和扬声器的输出单元107。总线104还连接到包括硬盘或非易失性存储器的存储单元108、包括网络接口的通信单元109、以及驱动可移除介质111的驱动器110。
在具有上述配置的计算机中，通过致使CPU 101将例如存储在存储单元108中的程序经由输入和输出接口105和总线104加载到RAM 103并执行该程序来执行上述一系列处理。
由CPU 101执行的程序被记录在可移除介质111中或者经由诸如LAN、因特网和数字广播之类的有线或无线介质来提供，然后被安装在存储单元108中。
由计算机执行的程序可以是按此说明书中描述的序列以时序执行其处理的程序，或者可以是并行地或在必要时刻(例如，调用时刻)执行其处理的程序。
本申请包含与在2009年3月25日向日本专利局提交的日本在先专利申请JP 2009-73142所公开的主题相关的主题，该申请的全部内容通过引用而结合于此。
本领域技术人员应当了解，在所附权利要求或其等同物的范围内，可依据设计要求和其它因素进行各种修改、组合、子组合和变更。

Claims (15)

1.一种图像处理设备，包括：
判断装置，用于判断所捕捉图像中被包括作为被摄物的各个人物是否是不引人注意的非主要人物；以及
控制装置，用于基于被判定为非主要人物的人物的状态来控制作为与图像相关的处理的图像相关处理。
2.根据权利要求1所述的图像处理设备，还包括图像捕捉装置，
其中，所述判断装置判断由所述图像捕捉装置捕捉的图像中被包括作为被摄物的各个人物是否是不引人注意的非主要人物，并且
其中，所述控制装置控制对要记录的图像的捕捉处理，该捕捉处理由所述图像捕捉装置作为所述图像相关处理来执行。
3.根据权利要求1所述的图像处理设备，还包括：
图像捕捉装置；和
图像处理装置，用于对由所述图像捕捉装置捕捉的图像进行处理，
其中，所述判断装置判断由所述图像捕捉装置捕捉的图像中被包括作为被摄物的各个人物是否是不引人注意的非主要人物，并且
其中，所述控制装置控制对由所述图像捕捉装置捕捉的图像中包括的被判定为非主要人物的人物的部分进行的加工处理，该加工处理由所述图像处理装置作为所述图像相关处理来执行。
4.根据权利要求1所述的图像处理设备，还包括：
记录装置，用于记录所捕捉图像；和
显示控制装置，用于控制对记录在所述记录装置中的图像的显示，
其中，所述判断装置判断记录在所述记录装置中的图像中、被包括作为被摄物的各个人物是否是不引人注意的非主要人物，并且
其中，所述控制装置控制对包括被判定为非主要人物的人物的图像的显示处理，该显示处理由所述显示控制装置作为所述图像相关处理来执行。
5.根据权利要求1所述的图像处理设备，还包括检测装置，该检测装置用于对所捕捉图像进行分析以获取与被包括作为被摄物的各个人物的脸部和身体的至少一个的位置有关的信息，
其中，所述判断装置基于由所述检测装置获取的与位置有关的信息，将被包括在除了图像中心附近以外的位置处的人物判定为非主要人物。
6.根据权利要求5所述的图像处理设备，其中，所述判断装置基于由所述检测装置从连续捕捉的多个图像获取的与位置有关的信息，将移动了大于等于阈值的距离的人物判定为非主要人物。
7.根据权利要求5所述的图像处理设备，其中，所述判断装置基于由所述检测装置从连续捕捉的多个图像获取的与位置有关的信息，将未被连续包括达预定时间的人物判定为非主要人物。
8.根据权利要求1所述的图像处理设备，还包括检测装置，该检测装置用于对所捕捉图像进行分析以获取与被包括作为被摄物的各个人物的脸部和身体的至少一个的大小有关的信息，
其中，所述判断装置基于由所述检测装置获取的与大小有关的信息，将大小小于阈值的人物判定为非主要人物。
9.根据权利要求1所述的图像处理设备，还包括检测装置，该检测装置用于对所捕捉图像进行分析以获取与被包括作为被摄物的各个人物的脸部和身体的至少一个的方向有关的信息，
其中，所述判断装置基于由所述检测装置从连续捕捉的多个图像获取的与方向有关的信息，将脸部或身体未朝向图像捕捉设备达预定时间的人物判定为非主要人物。
10.根据权利要求1所述的图像处理设备，还包括：
检测装置，用于对所捕捉图像进行分析以获取被包括作为被摄物的各个人物的脸部，和
识别装置，用于识别由所述检测装置检测出的脸部的表情是否是微笑，
其中，所述判断装置基于所述识别装置的根据连续捕捉的多个图像的识别结果，将未连续保持微笑达预定时间的人物判定为非主要人物。
11.根据权利要求1所述的图像处理设备，还包括：
记录装置，用于记录脸部图像；和
检测装置，用于对所捕捉图像进行分析以获取被包括作为被摄物的各个人物的脸部图像，
其中，所述判断装置将被摄物中包括的人物之中、脸部图像未记录在所述记录装置中的人物判定为非主要人物。
12.根据权利要求1所述的图像处理设备，还包括显示装置，用于显示所捕捉图像，
其中，所述判断装置将在所述显示装置所显示的图像中的被摄物中包括的人物之中、未被用户指定的人物判定为非主要人物。
13.一种图像处理方法，包括以下步骤：
判断所捕捉图像中被包括作为被摄物的各个人物是否是不引人注意的非主要人物；以及
基于被判定为非主要人物的人物的状态来控制作为与图像相关的处理的图像相关处理。
14.一种使得计算机执行图像处理方法的程序，所述图像处理方法包括以下步骤：
判断所捕捉图像中被包括作为被摄物的各个人物是否是不引人注意的非主要人物；以及
基于被判定为非主要人物的人物的状态来控制作为与图像相关的处理的图像相关处理。
15.一种图像处理设备，包括：
判断单元，判断所捕捉图像中被包括作为被摄物的各个人物是否是不引人注意的非主要人物；以及
控制器，基于被判定为非主要人物的人物的状态来控制作为与图像相关的处理的图像相关处理。
CN2010101383652A 2009-03-25 2010-03-18 图像处理设备、图像处理方法 Expired - Fee Related CN101848337B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009073142A JP2010226558A (ja) 2009-03-25 2009-03-25 画像処理装置、画像処理方法、及び、プログラム
JP2009-073142 2009-03-25

Publications (2)

Publication Number Publication Date
CN101848337A true CN101848337A (zh) 2010-09-29
CN101848337B CN101848337B (zh) 2012-07-04

Family

ID=42772778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010101383652A Expired - Fee Related CN101848337B (zh) 2009-03-25 2010-03-18 图像处理设备、图像处理方法

Country Status (3)

Country Link
US (2) US8675098B2 (zh)
JP (1) JP2010226558A (zh)
CN (1) CN101848337B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102843510A (zh) * 2011-06-14 2012-12-26 宾得理光映像有限公司 成像装置和距离信息检测方法
CN103581520A (zh) * 2012-08-02 2014-02-12 奥林巴斯映像株式会社 摄影设备、动作预想装置以及运动体的摄影方法
CN104601876A (zh) * 2013-10-30 2015-05-06 纬创资通股份有限公司 路人侦测方法与装置
CN105005777A (zh) * 2015-07-30 2015-10-28 科大讯飞股份有限公司 一种基于人脸的音视频推荐方法及***
CN105260732A (zh) * 2015-11-26 2016-01-20 小米科技有限责任公司 图片处理方法及装置
CN107578006A (zh) * 2017-08-31 2018-01-12 维沃移动通信有限公司 一种照片处理方法及移动终端
CN109040594A (zh) * 2018-08-24 2018-12-18 阿里巴巴集团控股有限公司 拍照方法及装置
CN109697703A (zh) * 2018-11-22 2019-04-30 深圳艺达文化传媒有限公司 视频的背景叠加方法及相关产品
CN109815352A (zh) * 2019-01-17 2019-05-28 网易传媒科技（北京）有限公司 封面图像选取方法、介质、装置和计算设备
CN110969076A (zh) * 2018-09-28 2020-04-07 佳能株式会社 信息处理设备、信息处理方法和存储介质
CN113271495A (zh) * 2021-05-15 2021-08-17 武汉丰华裕商务有限公司 基于图像特征提取与分析的视频信息智能剪辑处理方法及云服务***
WO2023147764A1 (en) * 2022-02-04 2023-08-10 Huawei Technologies Co., Ltd. Systems, methods, and media for main group identification in images via social relation recognition

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5746550B2 (ja) * 2011-04-25 2015-07-08 キヤノン株式会社 画像処理装置、画像処理方法
US9036069B2 (en) * 2012-02-06 2015-05-19 Qualcomm Incorporated Method and apparatus for unattended image capture
US9049382B2 (en) * 2012-04-05 2015-06-02 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP6056319B2 (ja) * 2012-09-21 2017-01-11 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP6184189B2 (ja) * 2013-06-19 2017-08-23 キヤノン株式会社 被写体検出装置およびその制御方法、撮像装置、被写体検出装置の制御プログラムおよび記憶媒体
JP5889247B2 (ja) * 2013-07-02 2016-03-22 キヤノン株式会社 画像処理装置、画像処理方法及び画像処理プログラム、並びに撮像装置
JP6357922B2 (ja) * 2014-06-30 2018-07-18 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
WO2017030255A1 (en) * 2015-08-18 2017-02-23 Samsung Electronics Co., Ltd. Large format display apparatus and control method thereof
JP6922410B2 (ja) * 2017-05-19 2021-08-18 富士通株式会社 姿勢判定プログラム、姿勢判定装置及び姿勢判定方法
CN113554693B (zh) * 2021-09-18 2021-12-31 深圳市安软慧视科技有限公司 一种边缘部署图像的关联和评判方法、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2217366A1 (en) * 1997-09-30 1999-03-30 Brc Business Renewal Corporation Facial recognition system
CN1604621A (zh) * 2003-09-29 2005-04-06 佳能株式会社 摄像装置及其控制方法
CN1823298A (zh) * 2003-07-15 2006-08-23 欧姆龙株式会社 对象决定装置和摄像装置
CN101188677A (zh) * 2006-11-21 2008-05-28 索尼株式会社 摄影装置、图像处理装置、图像处理方法以及使计算机执行该方法的程序
CN101272457A (zh) * 2007-03-19 2008-09-24 索尼株式会社 图像处理装置和图像处理方法

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH114377A (ja) 1997-06-12 1999-01-06 Agency Of Ind Science & Technol 多重シャッタによる動背景除去機構を持つデジタルスチルカメラおよびその撮影方法ならびに撮影制御プログラムを記録した記録媒体
US7106376B1 (en) * 1998-10-22 2006-09-12 Flashpoint Technology, Inc. Method and system for improving image quality of portrait images using a focus zone shift
US7106887B2 (en) * 2000-04-13 2006-09-12 Fuji Photo Film Co., Ltd. Image processing method using conditions corresponding to an identified person
JP2002300373A (ja) * 2001-03-30 2002-10-11 Minolta Co Ltd 画像処理方法、画像処理装置、記録媒体及びプログラム
US7298412B2 (en) * 2001-09-18 2007-11-20 Ricoh Company, Limited Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program
US7286168B2 (en) * 2001-10-12 2007-10-23 Canon Kabushiki Kaisha Image processing apparatus and method for adding blur to an image
JP2004040712A (ja) * 2002-07-08 2004-02-05 Minolta Co Ltd 撮像装置
JP2004206688A (ja) * 2002-12-12 2004-07-22 Fuji Photo Film Co Ltd 顔認識方法、顔切出方法、および撮像装置
US20040207743A1 (en) * 2003-04-15 2004-10-21 Nikon Corporation Digital camera system
JP2004320285A (ja) 2003-04-15 2004-11-11 Nikon Gijutsu Kobo:Kk デジタルカメラ
KR100839772B1 (ko) * 2003-07-15 2008-06-20 오므론 가부시키가이샤 대상 결정 장치 및 촬상 장치
JP2005130462A (ja) * 2003-09-29 2005-05-19 Fuji Photo Film Co Ltd 表示装置、及びプログラム
US20050129324A1 (en) * 2003-12-02 2005-06-16 Lemke Alan P. Digital camera and method providing selective removal and addition of an imaged object
JP4154400B2 (ja) * 2004-04-01 2008-09-24 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
CA2568633C (en) * 2004-10-15 2008-04-01 Oren Halpern A system and a method for improving the captured images of digital still cameras
US8045007B2 (en) * 2004-12-24 2011-10-25 Fujifilm Corporation Image capturing system and image capturing method
FI117265B (fi) * 2004-12-29 2006-08-15 Nokia Corp Elektroninen laite ja menetelmä elektronisessa laitteessa kuvadatan prosessoimiseksi
JP4324170B2 (ja) * 2005-03-17 2009-09-02 キヤノン株式会社 撮像装置およびディスプレイの制御方法
JP4661413B2 (ja) * 2005-07-11 2011-03-30 富士フイルム株式会社 撮像装置、撮影枚数管理方法及び撮影枚数管理プログラム
DE602006009191D1 (de) * 2005-07-26 2009-10-29 Canon Kk Bildaufnahmegerät und -verfahren
JP4665780B2 (ja) * 2006-01-30 2011-04-06 ソニー株式会社 顔重要度判定装置、方法、および撮像装置
JP2007226346A (ja) 2006-02-21 2007-09-06 Canon Inc 画像処理装置及び画像処理方法
JP4654974B2 (ja) * 2006-05-23 2011-03-23 富士フイルム株式会社 撮影装置および撮影方法
JP4127297B2 (ja) * 2006-06-09 2008-07-30 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4338047B2 (ja) * 2006-07-25 2009-09-30 富士フイルム株式会社 撮像装置
JP4656657B2 (ja) * 2006-07-31 2011-03-23 キヤノン株式会社 撮像装置及びその制御方法
JP4197019B2 (ja) * 2006-08-02 2008-12-17 ソニー株式会社 撮像装置および表情評価装置
JP2008136035A (ja) * 2006-11-29 2008-06-12 Ricoh Co Ltd 撮像装置
JP4848965B2 (ja) * 2007-01-26 2011-12-28 株式会社ニコン 撮像装置
JP2008244804A (ja) * 2007-03-27 2008-10-09 Fujifilm Corp 撮像装置及び撮像方法並びに制御プログラム
JP4858849B2 (ja) * 2007-05-18 2012-01-18 カシオ計算機株式会社 撮像装置及びそのプログラム
JP2009027298A (ja) * 2007-07-18 2009-02-05 Ricoh Co Ltd 撮像装置および撮像装置の制御方法
JP5046788B2 (ja) * 2007-08-10 2012-10-10 キヤノン株式会社 撮像装置及びその制御方法
JP4513843B2 (ja) * 2007-09-10 2010-07-28 カシオ計算機株式会社 撮像装置及びプログラム
JP5144422B2 (ja) * 2007-09-28 2013-02-13 富士フイルム株式会社 撮影装置及び撮影方法
JP2009110137A (ja) * 2007-10-29 2009-05-21 Ricoh Co Ltd 画像処理装置、画像処理方法及び画像処理プログラム
JP2010108475A (ja) * 2008-10-03 2010-05-13 Sony Corp 画像処理装置および方法、プログラム、並びに記録媒体
JP2010124120A (ja) * 2008-11-18 2010-06-03 Fujinon Corp オートフォーカスシステム
JP4760973B2 (ja) * 2008-12-16 2011-08-31 カシオ計算機株式会社 撮像装置及び画像処理方法
US20100225773A1 (en) * 2009-03-09 2010-09-09 Apple Inc. Systems and methods for centering a photograph without viewing a preview of the photograph
JP2010252046A (ja) * 2009-04-15 2010-11-04 Olympus Imaging Corp 撮像装置
US8615111B2 (en) * 2009-10-30 2013-12-24 Csr Technology Inc. Method and apparatus for image detection with undesired object removal
KR101355974B1 (ko) * 2010-08-24 2014-01-29 한국전자통신연구원 복수의 객체를 추적하는 객체 추적 방법 및 장치
JP6080417B2 (ja) * 2011-08-19 2017-02-15 キヤノン株式会社 画像処理装置、及び画像処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2217366A1 (en) * 1997-09-30 1999-03-30 Brc Business Renewal Corporation Facial recognition system
CN1823298A (zh) * 2003-07-15 2006-08-23 欧姆龙株式会社 对象决定装置和摄像装置
CN1604621A (zh) * 2003-09-29 2005-04-06 佳能株式会社 摄像装置及其控制方法
CN101188677A (zh) * 2006-11-21 2008-05-28 索尼株式会社 摄影装置、图像处理装置、图像处理方法以及使计算机执行该方法的程序
CN101272457A (zh) * 2007-03-19 2008-09-24 索尼株式会社 图像处理装置和图像处理方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102843510A (zh) * 2011-06-14 2012-12-26 宾得理光映像有限公司 成像装置和距离信息检测方法
CN103581520A (zh) * 2012-08-02 2014-02-12 奥林巴斯映像株式会社 摄影设备、动作预想装置以及运动体的摄影方法
CN103581520B (zh) * 2012-08-02 2017-06-27 奥林巴斯株式会社 摄影设备、动作预想装置以及运动体的摄影方法
US9736356B2 (en) 2012-08-02 2017-08-15 Olympus Corporation Photographing apparatus, and method for photographing moving object with the same
CN104601876A (zh) * 2013-10-30 2015-05-06 纬创资通股份有限公司 路人侦测方法与装置
CN104601876B (zh) * 2013-10-30 2018-01-05 纬创资通股份有限公司 路人侦测方法与装置
CN105005777B (zh) * 2015-07-30 2021-02-02 科大讯飞股份有限公司 一种基于人脸的音视频推荐方法及***
CN105005777A (zh) * 2015-07-30 2015-10-28 科大讯飞股份有限公司 一种基于人脸的音视频推荐方法及***
CN105260732A (zh) * 2015-11-26 2016-01-20 小米科技有限责任公司 图片处理方法及装置
CN107578006A (zh) * 2017-08-31 2018-01-12 维沃移动通信有限公司 一种照片处理方法及移动终端
CN109040594B (zh) * 2018-08-24 2020-12-18 创新先进技术有限公司 拍照方法及装置
CN109040594A (zh) * 2018-08-24 2018-12-18 阿里巴巴集团控股有限公司 拍照方法及装置
CN110969076A (zh) * 2018-09-28 2020-04-07 佳能株式会社 信息处理设备、信息处理方法和存储介质
CN109697703A (zh) * 2018-11-22 2019-04-30 深圳艺达文化传媒有限公司 视频的背景叠加方法及相关产品
CN109815352A (zh) * 2019-01-17 2019-05-28 网易传媒科技（北京）有限公司 封面图像选取方法、介质、装置和计算设备
CN109815352B (zh) * 2019-01-17 2021-07-09 网易传媒科技（北京）有限公司 封面图像选取方法、介质、装置和计算设备
CN113271495A (zh) * 2021-05-15 2021-08-17 武汉丰华裕商务有限公司 基于图像特征提取与分析的视频信息智能剪辑处理方法及云服务***
WO2023147764A1 (en) * 2022-02-04 2023-08-10 Huawei Technologies Co., Ltd. Systems, methods, and media for main group identification in images via social relation recognition

Also Published As

Publication number Publication date
US20100245612A1 (en) 2010-09-30
US20140132794A1 (en) 2014-05-15
CN101848337B (zh) 2012-07-04
US8675098B2 (en) 2014-03-18
US9131149B2 (en) 2015-09-08
JP2010226558A (ja) 2010-10-07

Similar Documents

Publication Publication Date Title
CN101848337B (zh) 图像处理设备、图像处理方法
US8115816B2 (en) Image capturing method, control method therefor, and program
US8866931B2 (en) Apparatus and method for image recognition of facial areas in photographic images from a digital camera
US7515739B2 (en) Face detection
US8384791B2 (en) Video camera for face detection
CN101246541B (zh) 图像处理设备和方法、图像拾取设备
CN101079964B (zh) 图像再现设备、图像再现方法及图像捕捉设备
US7739598B2 (en) Media handling system
CN103971090B (zh) 图像处理装置、图像捕获装置及图像处理方法
US8786760B2 (en) Digital photographing apparatus and method using face recognition function
CN101355631B (zh) 图像处理装置及数字式照相机
US20060104487A1 (en) Face detection and tracking
US8488840B2 (en) Image processing device, image processing method and electronic apparatus
US9092659B2 (en) Subject determination apparatus that determines whether or not subject is specific subject
US20060198554A1 (en) Face detection
CN103327228A (zh) 图像处理设备和方法以及程序
JP2019186791A (ja) 撮像装置、撮像装置の制御方法、および制御プログラム
JP2011019013A (ja) 撮像装置、領域検知方法、及びプログラム
JP5044472B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP5380833B2 (ja) 撮像装置、被写体検出方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120704

Termination date: 20150318

EXPY Termination of patent right or utility model