CN101419666A - 图像处理装置、图像捕获装置、图像处理方法及记录媒介 - Google Patents

图像处理装置、图像捕获装置、图像处理方法及记录媒介 Download PDF

Info

Publication number
CN101419666A
CN101419666A CNA2008101681546A CN200810168154A CN101419666A CN 101419666 A CN101419666 A CN 101419666A CN A2008101681546 A CNA2008101681546 A CN A2008101681546A CN 200810168154 A CN200810168154 A CN 200810168154A CN 101419666 A CN101419666 A CN 101419666A
Authority
CN
China
Prior art keywords
image
face
frame
target frame
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008101681546A
Other languages
English (en)
Other versions
CN101419666B (zh
Inventor
中村友和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to CN201410124231.3A priority Critical patent/CN103971090B/zh
Publication of CN101419666A publication Critical patent/CN101419666A/zh
Application granted granted Critical
Publication of CN101419666B publication Critical patent/CN101419666B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

图像处理装置、图像捕获装置、图像处理方法及记录媒介。获取按照连续方式所捕获的图像并对其进行临时存储。提取所获取的帧图像中的脸部的特征点。计算在当前帧中的脸部(脸部部分)的特征点与在之前帧的特征点之间的距离总和(表情变化量)。提取其中表情变化量最大的目标帧图像以及其中表情变化量最大的目标帧图像之前和之后的m个帧图像以作为最佳图像候选者。从最佳图像候选者中提取最佳拍摄图像并将其存储到存储媒介中。因此，可有效地从按照连续方式所捕获的图像当中仅提取包含用户期望记录的脸部的图像(最佳拍摄图像)并对其进行存储。

Description

图像处理装置、图像捕获装置、图像处理方法及记录媒介
技术领域
本发明涉及一种图像处理装置、图像捕获装置、图像处理方法以及图像处理程序，并且尤其是涉及一种用于存储最佳拍摄图像的技术。
背景技术
在现有技术中提出了一种脸部图像处理方法。该方法包括：连续地输入包括有脸部图像的人的图像、从该图像判断对象脸部的状态(例如瞳孔的状态)、并且自动选择包括有与用户期望相匹配的适当脸部图像(日本专利申请特开No.2000—259833)。该方法可，例如通过在某个时间长度将照相机指向对象而获得包括其中对象睁开眼睛的适当脸部图像的图像。
在现有技术中还提出了一种图像处理装置。所提粗的图像处理装置找到包含在输入图像之中的脸部的预定局部(与眼、嘴、以及鼻子相对应)中的特征点，并且找到预定局部的特征量(例如眼睛(特性点)的终端与嘴的终端(特性点)之间的距离)。图像处理装置还找到包含预定脸部表情的脸的另一图像中的预定局部的特征量。图像处理装置进一步计算对于每个预定局部而言输入图像的特征量与其他图像的特征量之间的差，并且根据该差来计算用于每个预定局部的分数。通过将为输入图像所计算的分数的分布与为各种脸部表情的脸中的预定局部所计算的分数的巳知分布进行比较，图像处理装置判断在输入图像的脸上是哪种脸部表情(日本专利申请特开No.2005—56388)。
此外，根据日本专利申请特开No.2005—56388的图像捕获装置，当用户希望捕获包括有期望脸部表情(诸如笑)的图像时，捕获包括该脸部的时间序列图像，并且将为每个图像所计算的分数的分布与为笑脸中的预定局部所计算的分数的分布进行比较。通过仅存储具有最接近笑脸分布的分布的图像，图像捕获设备可存储包括期望表情的图像。
发明内容
然而，日本专利申请特开No.2000—259833的发明的问题在于因为判断连续输入图像的每个图像是否包括用户期望的适当脸部图像(例如其中对象眼睛睁开的图像)，因此需要大量图像处理。
另外，日本专利申请特开No.2005—56388的发明也具有相似问题，该问题在于因为图像处理装置判断图像序列的每个图像中的脸部表情，因此需要大量图像处理。
此外，日本专利申请特开No.2000—259833和No.2005—56388均具有进一步的问题，该问题在于如果连续地输入包含适当脸部图像或者期望表情的脸部图像的图像，那么存储所有输入图像(例如包含具有相同表情的脸部的同样图像)，并且无用地消耗了存储媒介的存储器容量。
在考虑了上述问题之后构思了本发明并且目的是提供一种能够从连续捕获的图像中仅存储用户希望存储的图像(以下称为＂最佳拍摄图像＂)并且能够有效地提取最佳拍摄图像的图像处理装置、图像捕获装置、图像处理方法、以及图像处理程序。
为了实现该目的，根据本发明第一方面的图像处理装置包括：图像获取设备，其用于顺序地获取按照连续方式所捕获的图像；脸部检测设备，其用于对所获取的图像中的脸部进行检测；表情变化量计算设备，其用于对每个目标帧计算表情变化量，该表情变化量表示在当前目标帧的图像中所检测到的脸部与在之前目标帧的图像中所检测到的脸部之间的表情变化，目标帧是获取帧中的每个或者是获取帧中规则间隔的帧；提取设备，其用于提取所计算的表情变化量大于或等于预定值的目标帧的图像；以及存储设备，其用于将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。
因此，从按照连续方式所捕获的图像当中提取具有大脸部表情变化的脸部的目标帧的图像，并且将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。
应该注意的是存在大脸部表情变化的脸部很有可能是期望的图像(即，用户希望存储的脸的图像(最佳拍摄))。此外，对两个图像之间的表情变化量进行计算所需的图像处理负荷低于对脸部表情本身进行分析所需的图像处理负荷。此外，当在连续图像中捕获表情不变的脸部时，不存储包含这种脸部的图像。因此，可避免浪费使用存储媒介上的存储器容量。
根据本发明第二方面的图像处理装置包括：图像获取设备，其用于顺序地获取按照连续方式所捕获的图像；脸部检测设备，其用于对所获取图像中的脸部进行检测；表情变化量计算设备，其用于对每个目标帧计算表情变化量，该表情变化量表示在每个目标帧的图像中所检测到的脸部与参考模板脸部之间的表情变化，该目标帧是获取帧中的每个或者是获取帧中规则间隔的帧；提取设备，其用于提取所计算的表情变化量是预定值以及之上的目标帧的图像；以及存储设备，其用于将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。
根据本发明的第一方面计算在当前目标帧图像中所检测到的脸部与在连续捕获的图像的之前目标帧图像中所检测到的脸部之间的表情变化。另一方面，根据本发明的第二方面与第一方面的不同之处在于计算连续捕获的目标帧的图像与参考模板之间的表情变化量。
根据本发明的第三方面，在根据第二方面的图像处理装置中，根据与一个或多个人的平常脸的脸部局部相对应的多个特征点的坐标位置来创建参考模板。
应该注意的是之前与之后帧的脸部之间的表情变化量至多是预定值的连续捕获的任何帧的图像中的脸部可用作平常脸。
根据本发明的第四方面，在根据第三方面的图像处理装置中，预先创建与人的属性相对应的多个参考模板并且将其存储在存储器中，并且通过图像获取设备从存储器读取相应于所获取的图像中与人的属性的参考模板并使用。所考虑的人的属性的示例包括性别、年龄、成熟度(孩子或者成人)、以及种族。
根据本发明的第五方面，根据第一至第四方面任何一个的图像处理装置进一步包括典型脸部选择设备，该典型脸部选择设备用于当脸部检测设备对多个脸部进行检测时，根据以亮度、位置、大小、以及脸部清晰度中的至少一个为条件来选择典型脸部以作为目标帧图像中检测到的脸部。换句话说，当所捕获的图像中存在不止一个人时，选择单个人作为目标。利用该安排，可将被选择为目标的人的最佳拍摄图像进行存储，并且可使对要存储的图像的选择简单化。
根据本发明的第六方面，在根据第一至第五方面任何一个的图像处理装置中，表情变化量检测设备包括：特征点提取设备，其用于提取与每个脸部局部相对应的多个特征点；标准化设备，其用于使所提取的特征点的坐标位置标准化；以及计算设备，其用于根据每个脸部中的相应特征点的标准化坐标位置之间的距离总和或者其之间的距离的平方和来对两个比较的脸部计算表情变化量。该安排可利用简单操作来计算表情变化量。
根据本发明的第七方面，根据第一至第六方面任何一个的图像处理装置进一步包括：最佳图像候选者提取设备，其用于提取已提取的目标帧的图像以及多个连续帧的图像以作为最佳图像候选者，所述多个连续帧的图像是目标帧的之前和之后图像中的至少一个；以及最佳图像选择设备，其用于从所提取的最佳图像候选者组中选择最佳图像，其中存储设备将所选的最佳图像存储在存储媒介中。
根据本发明的第八方面，在根据第七方面的图像处理装置中，最佳图像选择设备包括：至少一个：第一估计设备，其用于将最佳图像候选者的脸部与表示预定表情的表情模板进行比较并且根据比较结果而判给每个最佳图像候选者分数；第二估计设备，其用于对最佳图像候选者中的脸部方向进行检测并且根据所检测到的脸部方向判给每个最佳图像候选者分数；以及第三估计设备，其用于对最佳图像候选者中对象眼睛的方向进行检测并且根据所检测到的对象眼睛的方向判给每个最佳图像候选者分数；以及选择设备，其用于根据由至少一个估计设备所判给的一个或多个分数来从最佳图像候选者当中选择最佳图像。
当例如，最佳图像候选者的脸部局部的特征点与表示预定表情的表情模板之间的匹配程度增大时，第一估计设备判给更高的分数。应该注意的是匹配程度可以是通过计算各自的特征点集合之间的距离的平均值或者总和而获得的。此外，表情模板可以是包括笑脸模板的多个模板中的任何一个。
当最佳图像候选者的脸部更接近正面的脸时(也就是说，当脸部方向接近面向前方时)，第二估计设备判给更高的分数。当最佳图像的对象眼睛更直接地看向图像捕获设备时(也就是说，当最佳图像候选者的对象眼睛的方向接近图像捕获设备时)，第三估计设备判给更高的分数。此后选择设备根据由第一至第三估计设备所判给的三个分数(包括使用两个或更多个分数的总和)中的至少一个从最佳图像候选者当中选择最佳图像。
根据本发明的第九方面，在根据第八方面的图像处理装置中，选择设备选择具有最高分数的图像作为最佳图像或者从其分数大于或等于预定值的最佳图像候选者当中选择具有由表情变化量计算设备所计算的最大表情变化量的图像作为最佳图像。
根据本发明第十方面的图像捕获装置包括：图像捕获设备，该图像捕获设备是可操作的以按照连续方式捕获对象的图像；以及根据第一至第九方面中任何一个的图像处理装置，其中图像获取设备顺序地获取由图像捕获设备按照连续方式所捕获的图像。
利用这个安排，在按照连续方式捕获对象的同时，该设备将脸部表情变化较大的图像作为图像候选者存储在存储媒介中。
根据本发明的第十一方面，根据第十方面的图像捕获装置进一步包括：图像捕获指示设备；以及存储数目设置设备，其用于设置为响应图像捕获指示设备的单个图像捕获指令而将要被存储在存储媒介中的图像的数目，其中当图像捕获指示设备发出了图像捕获的指令时，重复图像捕获设备的图像捕获操作以及图像处理装置的图像处理，直至已存储的图像数目到达了所设置的要存储的图像的数目。
例如，当从诸如快门按钮等等的图像捕获指示设备输入了用于图像捕获的单个指令时，顺序地存储包括有更大表情变化的脸部的图像，直至到达了要存储的图像的预置数目。
根据本发明的第十二方面，根据第十一方面的图像捕获装置进一步包括捕获结束指示设备，其中在图像捕获指示设备已发出了图像捕获的指令之后，当捕获结束指示设备发出捕获结束的指令时，在所存储的图像数目达到所设置的要存储的图像的数目之前结束图像捕获设备的图像捕获操作以及图像处理装置的图像处理。
因此，即使已预置了为响应图像捕获的指令而一次要存储的图像数目，用户也可在捕获了期望的脸部表情(最佳拍摄图像)之后通过捕获结束指示设备上的操作而结束图像捕获操作。
根据本发明的第十三方面，根据第十方面的图像捕获装置进一步包括图像捕获指示设备，其中当图像捕获指示设备发出图像捕获的指令时，重复图像捕获设备的图像捕获操作以及图像处理装置的图像处理，直到存储媒介中没有剩余空间。
根据本发明的第十四方面，根据第十三方面的图像捕获装置进一步包括捕获结束指示设备，其中在图像捕获指示设备已发出了图像捕获的指令之后，当捕获结束指示设备发出捕获结束的指令时，在存储媒介中没有剩余空间之前，结束图像捕获设备的图像捕获操作以及图像处理装置的图像处理。
在第十二和第十四方面的图像捕获装置中，捕获结束指示设备可利用相同的操作设备(即快门按钮)作为图像捕获指示设备。例如，一旦按下快门按钮则指示开始图像捕获并且第二次按下快门按钮则指示结束图像捕获。
根据本发明的第十五方面，根据第十至第十四方面任何一个的图像捕获装置进一步包括声音产生设备，该声音产生设备在每次将图像存储在存储媒介中时产生声音以通知用户存储定时。利用该安排，用户可检查存储图像的定时，并且知道在所存储图像中的脸部上是什么类型的表情。
根据本发明的第十六方面，根据第十至第十五方面任何一个的图像捕获装置进一步包括：图像显示设备，其用于显示图像捕获设备按照连续方式所捕获的图像；以及显示控制设备，其用于使图像显示设备显示最近存储在存储媒介上的一个或多个图像作为尺寸减小的图像，所述尺寸减小的图像具有小于图像显示设备的整个显示区的区域。利用该安排，用户可对所存储的图像进行检查并且根据对所存储图像的表情和组成的变化的评估而提出画面。
根据本发明的第十七方面，第十至第十六方面的任何一个的图像捕获装置进一步包括：显示设备，其用于显示可存储在存储媒介上的图像的最大数目以及已存储图像的当前数目，每当将图像存储在存储媒介中时更新已存储图像的当前数目。利用这个安排，用户可在执行图像捕获时，考虑到仍可记录在存储媒介中的图像数目。
根据本发明的第十八方面，根据第十至第十七方面任何一个的图像捕获装置进一步包括显示设备，该显示设备显示每当将图像存储在存储媒介中时所更新的已存储图像的当前数目，并且至少当已存储在存储媒介上的图像数目接近可储存在存储媒介中的图像的最大数目时改变已存储图像的当前数目的显示形式。利用该安排，用户可在执行图像捕获时，考虑到仍可存储在存储媒介中的图像数目。应该注意的是通过改变用于已存储图像的当前数目的指示器的颜色、通过使用于已存储图像的当前数目的指示器闪烁，或者通过其它方法可改变用于已存储图像的当前数目的指示器的形式。
根据本发明第十九方面的图像处理方法包括步骤：顺序地获取按照连续方式所捕获的图像；对所获取图像中的脸部进行检测；对每个目标帧计算表情变化量，该表情变化量表示在当前目标帧的图像中所检测到的脸部与在之前目标帧的图像中所检测到的脸部之间的表情的变化，该目标帧可以是获取帧中的每个或者是获取帧中规则间隔的帧；提取所计算的表情变化量大于或等于预定值的目标帧的图像；以及将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。
根据本发明第二十方面的图像处理方法包括步骤：顺序地获取按照连续方式所捕获的图像；对所获取的图像中的脸部进行检测；对每个目标帧计算表情变化量，该表情变化量表示在每个目标帧的图像中所检测到的脸部与参考模板脸部之间的表情的变化，该目标帧可以是获取帧的每个或者是获取帧中规则间隔的帧；提取所计算的表情变化量是预定值以及之上的目标帧的图像；以及将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。
根据本发明的第二十一方面，根据第十九或者第二十方面的图像处理方法，进一步包括步骤：提取所提取的目标帧的图像以及多个连续帧的图像作为最佳图像候选者，所述多个连续帧的图像是目标帧的之前和之后图像中的至少一个；以及从所提取的最佳图像候选者组中选择最佳图像以将其存储在存储媒介中。
根据本发明的第二十二方面，提供了一种存储图像处理程序的记录媒介。根据第二十二方面的记录媒介上的图像处理程序可使计算机实现下述功能：顺序地获取按照连续方式所捕获的图像；对所获取的图像中的脸部进行检测；对每个目标帧计算表情变化量，该表情变化量表示在当前目标帧的图像中所检测到的脸部与在之前目标帧中所检测到的脸部之间的表情的变化，该目标帧可以是获取帧的每个或者是获取帧中规则间隔的帧；提取所计算的表情变化量大于或等于预定值的目标帧的图像；以及将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。
根据本发明第二十三方面，提供了一种存储图像处理程序的记录媒介。根据根据第二十三方面的记录媒介上的图像处理程序可使计算机实现下述功能：顺序地获取按照连续方式所捕获的图像；对所获取的图像中的脸部进行检测；对每个目标帧计算表情变化量，该表情变化量表示在每个目标帧的图像中所检测到的脸部与参考模板脸部之间的表情的变化，该目标帧可以是获取帧的每个或者是获取帧中规则间隔的帧；提取所计算的表情变化量是预定值以及之上的目标帧的图像；以及将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。
根据本发明的二十四方面，根据第二十二或者第二十三方面的记录在记录媒介上的图像处理程序，进一步可使计算机起下述功能：提取所提取的目标帧的图像以及多个连续帧的图像作为最佳图像候选者，所述多个连续帧的图像是目标帧的之前和之后图像中的至少一个；以及从所提取的最佳图像候选者组中选择最佳图像以将其存储在存储媒介中。
根据本发明的方面，从按照连续方式所捕获的图像中提取具有较大脸部表情变化的目标帧的图像，并且将所提取的目标帧的图像或者位于所提取目标帧附近的帧的图像存储在存储媒介上。因此，用户可在连续捕获的图像当中存储他们希望记录的脸部的图像(最佳拍摄图像)。此外，可有效地提取最佳拍摄图像。
附图说明
图1是示出了根据本发明的图像捕获装置(数字照相机)的实施例的框图；
图2是示出了与脸部部分的位置相关的脸部特征点的示例的示意图；
图3是示出了根据本发明的第一实施例的处理的整个流程的流程图；
图4A、4B、以及4C是用于对目标帧和笑脸模板的脸部特征点的标准化进行描述的示意图；
图5A、5B、以及5C是示出了平常脸的特征点以及笑脸1和2的特征点的示意图；
图6是示出了根据本发明的第二实施例的处理的整个流程的流程图；
图7是示出了用于创建平常脸模板的处理程序的流程图；
图8是示出了根据本发明的第三实施例的处理的整个流程的流程图；
图9是用于对脸部的方向(脸方向)进行检测的方法进行描述的示意图；
图10示出了根据本发明的第四实施例的处理的整个流程的流程图；
图11是示出了当在最佳拍摄图像捕获模式下捕获图像时在显示单元上所显示的屏幕的第一示例的示意图；
图12A和12B是示出了当在最佳拍摄图像捕获模式下捕获图像时在显示单元上所显示的屏幕的第二示例的示意图；以及
图13A和13B是示出了当在最佳拍摄图像捕获模式下捕获图像时在显示单元上所显示的屏幕的第三示例的示意图。
具体实施方式
下面参考附图对根据本发明的图像处理装置、图像捕获装置、图像处理方法、以及图像处理程序的优选实施例进行描述。
[图像捕获装置的配置]
图1是示出了根据本发明的图像捕获装置(数字照相机)10的实施例的框图。
数字照相机10具有用于对静止图像和活动图像进行存储并且对该图像进行回放的功能。操作单元12包括电源按钮、快门按钮、模式手柄、变焦键、回放按钮、由上，下，左、右键所组成的多功能十字键、菜单/OK按钮、显示/返回按钮等等。
通过转动模式手柄，可选择包括有自动图像捕获模式、手动图像捕获模式、人图像捕获模式、风景图像捕获模式和夜景图像捕获模式的许多情形位置的任何一个。还可选择本发明的活动图像模式或者最佳拍摄图像捕获模式。快门按钮包括当半按下快门按钮时接通并且使数字照相机10通过使用自动曝光调节(AE)和自动聚焦调节(AF)来准备图像捕获的开关S1，以及当当完全按下快门按钮时接通并且使数字照相机10捕获图像的开关S2。
显示单元(液晶监控器)14显示活动图像(通过图像)并且因此用作电子取景器。显示单元14还可在存储之前显示所捕获的图像(预览图像)并且显示从加载到照相机中的诸如存储卡这样的存储媒介16所读取的图像等等。显示单元14还显示当手动设置照相机的操作模式、白平衡、图像中的像素数目、以及灵敏度时所使用的各种形式的菜单屏幕以响应对菜单/OK按钮的操作。显示单元14进一步显示可经由对十字键和菜单/OK按钮的操作而从其中设置手动设置的图形用户界面(GUI)。
当从操作单元12输入了操作信号时，中央处理单元(CPU)18通过根据照相机控制程序执行处理来执行数字照相机10中的单元的综合控制。CPU 18与控制总线20和数据总线22相连。
除了CPU 18之外，控制总线20和数据总线22还与SDRAM(同步动态RAM)24、表情判断单元26、特征点跟踪单元28、脸部检测单元30、EEPROM 32、数字信号处理单元34、压缩/解压缩单元36、音频控制单元38、显示控制单元40、以及外部介质控制单元41相连。进一步并且A/D转换电路54与数据总线22相连。
CPU 18从SDRAM 24和EEPROM 32接收所需数据。EEPROM 32将诸如用于固态成像设备的照相机控制程序和故障信息这样的与照相机控制有关的各种参数存储在其中。EEPROM进一步包含根据本发明的图像处理程序、参考模板、表情模板等等。
CPU 18将存储在EEPROM 32中的照相机控制程序调配到SDRAM 24中，并且利用作为工作存储器的SDRAM 24执行各种处理。
在数字照相机10中，当将操作单元12的电源按钮切换到ON时，CPU 18对该切换进行检测、接通内部电源、并且将数字照相机10置于图像捕获模式的图像捕获等待状态。在图像捕获等待状态下，CPU 18总是在显示单元14上显示活动图像(通过图像)。
用户(摄影师)框定要拍摄的对象并对其进行检查，同时在显示单元14上显示通过图像。用户还可观看所捕获的图像并且设置图像捕获条件。
当照相机处于普通静止图像捕获模式的图像捕获等待状态下半按下快门按钮时，CPU 18对半按进行检测并且执行AE光测量和AF控制。在AE测量期间，数字照相机10根据通过固态图像捕获设备(CCD)50所获取的图像信号的总和或者相似值来测量对象的亮度。通过光测量所获得的值(所测量的光值)用于确定光圈44的光圈值以及图像捕获的快门速度。当捕获图像时，CPU 18根据由所测量的光值确定的光圈值通过光圈驱动单元58来驱动光圈44并且通过图像捕获设备驱动单元60来对CCD 50上的电荷存储时段(所谓的＂电子快门＂)进行控制以提供利用所测量的光值所确定的快门速度。
当使用AF控制时，CPU 18还可通过使聚焦透镜位置在近景与无限远之间一点一点地移动、对每个透镜位置的通过CCD 50而在AF区域中所获得的图像信号的频率分量求和以获得估计值、找到估计值到达最高点的透镜位置、并且使聚焦透镜移动到该透镜位置来执行对比AF。应该注意的是在活动图像模式下，CPU 18利用聚焦透镜的位置受到控制的所谓＂波峰跟踪控制＂来执行连续AF，以便保持该波峰估计值。
来自对象的光在穿过包括有聚焦透镜和变焦透镜的成象透镜42之后并且此后穿过光圈44、红外线截止滤波器46、以及光学低通滤波器48而入射到CCD 50的光接收面上。
CCD 50是利用提供有预定安排(如Beyer或者蜂窝式安排)的R、G、B颜色滤波器阵列的彩色CCD构造而成的。将入射到CCD 50的光接收面上的光转换成其量取决于通过光接收面中的光电二极管的入射光量的信号电荷。根据图像捕获设备驱动单元60所应用的定时信号来读取存储在光电二极管中的信号电荷，并且使其从CCD 50顺序输出以作为电压信号(图像信号)。
模拟信号处理单元52包括CDS(相关双采样)电路和模拟放大器。CDS电路根据CDS脉冲对CCD输出信号执行相关双采样。模拟放大器根据CPU 18所应用的图像捕获灵敏度增益来对CDS电路所输出的图像信号进行放大。A/D转换电路54将模拟信号处理单元52所输出的模拟图像信号转换成数字图像信号。通过数据总线22将因而发生的图像信号(R、G、以及B RAW数据)发送到SDRAM 24并且将其临时存储在其中。
脸部检测单元30对通过图像或者活动图像中的人脸进行检测并且将与该脸的位置和大小有关的信息输出到CPU 18。更具体地说，脸部检测单元30包括图像比较电路和脸部图像模板(脸部词典)。图像比较电路在示出了通过图像等等的屏幕上对目标区域进行定位，并且将该目标区域中的图像与脸部词典进行比较以寻找相关性。当相关性分数超过预定门限值时，图像比较电路将目标区域指定为脸部区域。脸部检测单元30还通过将脸部区域中的脸部局部与脸部局部词典进行比较来对脸部局部(诸如眼睛、鼻子、嘴、以及眉毛)进行检测。
在从脸部检测单元30获取脸部区域的位置和大小时，CPU 18可使显示单元14显示叠加在通过图像上的环绕所获取的人类对象的脸的脸部检测框。
按照上述方式所检测到的脸部区域的位置和大小还可用作AF区域以使照相机聚焦于对象脸上或者还可用作AE区域以便对象脸部的亮度是合适的。
当在根据本发明的最佳拍摄图像捕获模式下捕获图像时表情判断单元26和特征点跟踪单元28进行操作。最佳拍摄图像捕获模式是其中按照活动图像或者连续画面的方式连续捕获帧图像、提取被判断为最佳拍摄图像的帧图像、并且将其存储在存储媒介16上的模式。
特征点跟踪单元28对每个连续捕获的帧图像的脸部图像的特征点进行检测，并且对脸部检测单元30所检测到的脸部局部中的特征点进行检测。
如图2所示，在该实施例中，特征点跟踪单元对由眉毛上的4个点、眼睛上的8个点、鼻尖上的1个点、以及嘴上的4个点所组成的总共17个特征点的Pi(xi，yi)(i＝1至17)进行检测。特征点跟踪单元28对该序列的每个帧图像中的每个特征点Pi(xi，yi)进行跟踪。
表情判断单元26计算表示被用作比较的目标的之前与当前帧图像中所检测到的脸部表情变化的表情变化量，并且对该脸部表情进行判断以选择最佳图像。
为了得到表情变化量，使不强烈地取决于脸部表情(例如眼睛的外边缘以及鼻尖)的当前帧的特征点与之前帧的相应特征点对准(匹配)(位置调节)。或者，通过利用诸如KLT算法(Kanade—Lucas—Tomasi的特征点跟踪算法)的相应点检测技术来跟踪帧之间的特征点以执行位置调节。此后利用以下公式来计算表情变化量以作为相应特征点之间的差(距离)的总和。
[公式1]
表 情 变 化 量
= Σ ( x i - x i - 1 ) 2 + ( y i - y i - 1 ) 2
应该注意的是虽然通过对相应特征点之间的距离求和来得到公式1中所描述的表情变化量，但是也可使用相应特征点之间的距离的平方之和。
当按照上面的方式所计算的表情变化量大于或等于预定门限值时，表情判断单元26从目标帧之前和之后获取m帧图像以作为最佳图像候选者。此后表情判断单元26计算，例如，该图像组中的每帧图像的笑容相似度分数并且从该组中提取其笑容相似度分数最高的帧图像以作为最佳图像(最佳拍摄图像)。随后对与最佳拍摄图像的选择有关的详情进行描述。
数字信号处理单元34起图像处理设备的作用，该图像处理设备包括白平衡调节电路、伽玛校正电路、同步电路、色度/亮度数据产生电路、边缘校正电路、用于***图像的图像转换电路、以及叠加处理电路。数字信号处理单元34利用SDRAM 24根据来自CPU 18的命令执行处理。具体地说，从SDRAM 24所读取的R、G和B图像信号由白平衡调节电路将数字增益施加到每个R、G和B图像信号上而经历白平衡调节、根据伽玛特性通过伽玛校正电路而经历灰度转换处理、并且通过同步电路而经历同步。在同步过程中，对与单个CCD上的颜色滤波器的安排相关的彩色信号中的时间滞后进行校正以提供同步格式的彩色信号。此后通过色度/亮度数据产生电路将同步的R、G、以及B图像信号转换成亮度信号Y和色度信号Cr和Cb(即YC信号)。Y信号通过边缘校正电路而经历边缘增强处理。数字信号处理单元34将数字信号处理单元34的处理所产生的YC信号返回到SDRAM 24。
在由数字信号处理单元34的处理并且存储在SDRAM 24中之后，压缩/解压缩单元36对YC信号进行压缩并且通过外部介质控制单元41将其存储在存储媒介16中以作为预定格式(诸如JPEG(联合图像专家组)格式)的图像文件。存储媒介16可以是诸如可移动的xD—PictureCard(商标)或者SmartMedia(商标)这样的半导体存储器卡、便携式压缩硬盘、磁盘、光盘、光磁盘片等等。
当对操作单元12的回放按钮进行操作以选择回放模式时，通过外部介质控制单元41来读取存储在存储媒介16中的最后帧的图像文件。对所读取的图像文件的压缩数据进行解压缩以通过压缩/解压缩单元36形成非压缩的YC信号。
将解压缩的YC信号存储在SDRAM 24中(或者附图中未示出的VRAM中)、将其转换成用于通过显示控制单元40来显示的信号格式、并且将其输出到显示单元14。因此，显示单元14显示存储在存储媒介16上的图像文件的最后帧。
此后，用户按下帧正序导航开关(十字键的右部)以使帧按照正序移动并且按下帧反序导航开关(十字键的左部)以使帧按照反序移动。在帧导航所确定的帧位置上从存储媒介16读取图像文件并且按照上述方式来在显示单元14上对相应应图像进行回放。
音频控制单元38既可使扬声器39对于照相机的各种操作产生声音且在回放活动图像时产生声音，还可使扬声器39产生声音(诸如快门的滴答声这样的耳朵捕获声音)以表示存储每个最佳拍摄图像的定时。
<第一实施例>
下面对用于捕获/存储n个最佳拍摄图像的第一实施例进行描述，其中预先设置为响应单个图像捕获指令而要存储的最佳拍摄图像数目＂n＂。
图3是给出了根据本发明第一实施例的处理的整个流程的流程图。
当已选择最佳拍摄图像捕获模式作为图像捕获模式并且按下快门按钮时，图像捕获开始(步骤S10)。应该注意的是为响应单个图像捕获指令而要存储的最佳拍摄图像数目＂n＂可以由默认数目确定或者由用户设置为适当数目(可以是1)。此外，当在最佳拍摄图像捕获模式下捕获图像时，与为活动图像和连续画面一样按照连续方式捕获帧图像。
该处理将所捕获的帧图像临时存储在SDRAM 24中(步骤S12)。接下来，该处理从临时存储在特征点跟踪单元28中的帧图像当中的目标帧图像中的对象脸部提取特征点(步骤S14)。目标帧包括连续捕获的帧图像的每个帧或者是以若干帧为间隔的所选帧。应该注意的是以若干帧为间隔选择目标框幅可比较容易地发现表情变化并且可降低处理负荷。
此后参考图2所述，该处理提取与的脸部局部的各个位置相对应的特征点Pi(xi，yi)。
接下来，表情判断单元26通过将从当前目标帧图像所提取的脸部特征点Pi(xi，yi)以及从存储在SDRAM 24中的之前目标帧图像所提取的脸部特征点Pi-1(xi-1，yi-1)代入到上述公式1来计算表情变化量(步骤S16)。
表情判断单元26此后判断所计算的表情变化量是否大于或等于预定门限值(步骤S18)。当表情判断单元26判断为否定时，该处理回到步骤S12。当判断为肯定时，认为对象脸部上的表情已经经历了很大变化，并且该处理转到步骤S20。
在步骤S20中，该处理提取包括当前目标帧以及当前目标帧之前和之后的m个帧的图像组以作为最佳图像候选者，对于所述当前目标帧表情变化量已被判断为等于或者超过门限值。
接下来，该处理从在步骤S20所提取的图像组(最佳图像候选者)的2m+1个帧中选择单个最佳图像(最佳拍摄图像)(步骤S22)。
以下被认为是用于选择最佳拍摄图像的可能方法。
(1)该处理将最佳图像候选者的脸部与预定表情的模板进行比较，例如将最佳图像候选者的脸部与笑容的笑脸模板进行比较，并且根据比较结果判给最佳图像候选者笑容相似度分数。
[计算笑容相似度分数]
首先，该处理将其分数要被估计的目标帧的脸部和笑脸模板的特征点执行标准化处理。如图4A、4B、以及4C所示，利用鼻尖作为参考点，该处理为包含在每个笑脸模板和目标帧脸部的17个特征点的每个特征点计算至各自参考点的距离(D1i，D2i)。该处理为每个特征点计算至参考点(D1i/D2i)的距离比，并且计算所有特征点上的平均比。此后该处理利用该平均比通过按比例缩放目标帧中的脸部的特征点来对目标帧(参见图4A和4B)脸部的特征点的坐标执行标准化处理(即按比例缩放以适合笑脸模板)。
此后该处理计算标准化目标帧的特征点与笑脸模板的相应特征点之间的距离的平均差，并且判给笑容相似度分数(参见图4B和4C)。应该注意的是目标帧具有的平均差值越小，判给该帧的笑容相似度分数越大。
该处理按照这种方式判给所有最佳图像候选者笑容相似度分数，并且选择具有最高笑容相似度分数的最佳图像候选者作为最佳拍摄图像。
(2)该处理将最佳图像候选者的脸部与笑脸模板进行比较并且根据该比较结果判给每个最佳图像候选者笑容相似度分数。此后该处理选择其中笑容相似度分数大于或等于预定值(缺省值)的最佳图像候选者当中的表情变化量最大的图像以作为最佳拍摄图像。
如图3所示，当步骤S22的处理选择最佳拍摄图像时，将所选的最佳拍摄图像存储在存储媒介16中。
接下来，该处理对所存储的最佳拍摄图像进行计数(步骤S24)，并且判断所存储的最佳拍摄图像的数目是否到达n(步骤S26)。当该数目没有到达n时，该处理回到步骤S12。当该数目到达n时，该处理结束最佳拍摄图像的捕获。
应该注意的是需要SDRAM 24临时存储计算了其表情变化量的当前目标帧之前和之后的至少m个帧。
当在步骤S16中计算表情变化量时，优选按照上述方式使之前和之后帧的特征点Pi(xi，yi)和Pi-1(xi-1，yi-1)标准化。该标准化可以与诸如脸部大小这样的因素无关地计算表情变化量。
应该注意的还有笑容相似度分数并不局限于按照上述方式来计算，而是可以替代为利用平常脸之间的特征量的差来计算。
该特征量可以是利用特征点的位置、特征点之间的距离、或者脸部中存在/不存在线(皱纹)来表示的。
图5A给出了平常脸的特征点。图5B和5C分别示出了笑脸1和2的特征点。
●笑脸1
如图5B所示，与图5A所示的平常脸相比嘴唇的两端提高了，并且在鼻子和嘴唇出现了线(皱纹)以给出具有比平常脸更多笑容的脸部。例如，如果＂嘴唇的两端都提高了＂和＂在脸上出现了线或者线加深了＂的每一个被判给1点，那么判给笑脸1的笑容相似度分数是2点。
●笑脸2
在图5C所示的笑脸2中，由于嘴张大了，因此与图5A所示的平常脸相比，该嘴的纵向宽度远大于笑脸1的宽度。同时，由于面颊上升了，因此眼睛的纵向宽度更小。如果＂嘴张开＂和＂眼睛变窄＂的每一个被判给1点，那么判给笑脸2的笑容相似度分数是4点。
通过利用表示重要程度的加权而判给每个特征量加权点，而不是利用统一加权判给点数，分数***的可靠性增大了。
<第一实施例的修改>
在上面所描述的第一实施例中，重复图像捕获和存储直到已存储的最佳拍摄图像达到预置数目＂n＂。然而，本发明并不局限于被重复的该安排。当指示捕获图像时，也可以重复图像捕获和存储直到存储媒介16的剩余容量耗尽。
此外，通过提供捕获结束指示设备，可以允许用户在他们选择时结束图像捕获操作。
例如，利用对捕获结束指示设备的操作，在已捕获了期望表情的脸部(最佳拍摄图像)但是在到达最佳拍摄的记录的设置数目＂n＂之前或者在存储媒介16的剩余容量耗尽之前，用户可结束图像捕获及其他操作。应该注意的是捕获结束指示设备可以利用相同控制设备作为图像捕获指示设备(即快门按钮)。在这种情况下，一旦按下快门按钮则指示将执行图像捕获并且在捕获图像的同时再次按下按钮则指示将结束图像捕获。
在上述第一实施例中，提取其表情变化量大于或等于预定值的目标帧之前的m个帧以及之后的m个帧作为最佳图像候选者。然而，本发明并不局限于这种安排，并且仅包括目标帧之前的m个帧或者目标帧之后的m个帧以及目标帧图像来作为最佳图像候选者也是可接受的。
此外，在第一实施例中，当从最佳图像候选者中选择最佳拍摄图像时，计算每个最佳图像候选者的笑容相似度分数。然而，可以通过选择具有最大表情变化量的最佳图像候选者作为最佳拍摄图像来选择最佳拍摄图像而无需计算笑容相似度分数。
<第二实施例>
图6是给出了根据本发明第二实施例的处理的整个流程的流程图。应该注意的是与图3所示的第一实施例相同的方法的部分被分配给相同的步骤号码，并且省略对这些部分的详细说明。
在图3所示的第一实施例中，计算目标帧之前和之后的帧中的脸部的表情变化量。图6所示的第二实施例不同之处在于计算连续捕获的目标帧中的脸部的表情变化量，所述目标帧与平常脸模板(参考模板)的脸部相关。
当通过第一图像捕获指令开始捕获/存储n个最佳拍摄图像(其中＂n＂是预先设置的)时(步骤S10)，创建平常脸模板(步骤S30)。
图7是示出了用于创建平常脸模板的处理程序的流程图。应该注意的是与图3所示的第一实施例相同的程序的部分被分配给相同的步骤号码，并且省略对这些部分的详细说明。
在用于创建平常脸模板的流程图中，提取包括表情变化量较小的脸部的预定数目＂k＂的帧图像，并且从对于所提取的帧图像的脸部局部的特征点的平均值来创建平常脸模板。
如图7所示，当用于创建平常脸模板的处理开始时，该处理判断根据从之前和当前帧图像所提取的脸部的特征点所计算的表情变化量是否小于或等于预定门限值(步骤S32)。当表情变化量大于门限值时，该处理重新设置计数到预定数目k的计数器的计数值、清除临时存储在SDRAM 24中的帧图像(步骤S34)、并且回到步骤S12。应该注意的是预定数目k可以，例如通过使不变脸部表情必须维持以被指定为平常脸的预定时段除以帧时段而得到的。
当在步骤S32中判断出表情变化量小于或等于预定门限值时，该处理使计数器的计数加1(步骤S36)，并且此后判断当前计数是否大于或等于预定数目k。当当前计数小于预定数目k时，该处理回到步骤S12。当当前计数大于或等于预定数目k时，该处理移动到步骤S39。
在步骤S39中，该处理计算存储在SDRAM 24中的预定数目k(也就是说，k个帧图像)的帧图像中的脸部局部的特征点的平均值，并且将该平均特征点的位置坐标设置为平常脸模板。
如图6所示，在按照上述方式完成了创建平常脸模板之后，处理开始图像捕获/存储实际最佳拍摄图像。
在第一实施例(图2)的步骤S16中，处理计算之前和之后帧中的表情变化量。然而，在第二实施例的步骤S16′中，处理计算从输入的目标帧所提取的脸部特征点Pi(xi，yi)与平常脸模板的特征点之间的表情变化量。应该注意的是当在步骤S16′中计算表情变化量时，优选预先使这两个特征点集标准化。
利用这个安排，可计算相对平常脸的脸部的表情变化量。此后根据表情变化量最大的目标帧从提取的2m+1个帧图像(最佳图像候选者)当中选择单个最佳图像(最佳拍摄图像)，并且将其存储在存储媒介16中。按照与第一实施例相同的方式来执行最佳拍摄图像选择等等。
<第二实施例的修改>
在上述第二实施例中，在开始捕获和记录实际最佳拍摄图像之前创建平常脸模板。然而，也可以预先创建平常脸模板并且将其存储在EEPROM 32中。当预先创建平常脸模板时，在创建处理中使用无表情的脸部数据库。
或者，为每个要捕获的人类对象记录平常脸模板，并且在开始捕获最佳拍摄图像之前读出给定拍摄的对象的平常脸模板。
另一可能性是从多个对象的平常脸创建平均平常脸模板并且将其存储在EEPROM 32上。
更进一步的可能性是根据各种对象属性创建平常脸模板并且将其存储在EEPROM 32中。考虑用作对象属性的特征包括性别、年龄、成熟度(孩子或者成人)、以及种族。
应该注意的是平常脸模板不必是利用数字照相机10创建的，并且可以在运送之前将其存储在EEPROM 32中或者根据外部源的输入而存储。
<第三实施例>
图8是给出了根据本发明第三实施例的处理的整个流程的流程图。应该注意的是与图3所示的第一实施例共享的过程的部分被分配给相同的步骤号码，并且省略对这些部分的详细说明。
在图8所示的第三实施例中，第一实施例的处理补充有步骤S40的处理。此外，步骤S22′提供了与步骤S22的最佳拍摄图像选择方法不同的处理程序。
在步骤S40中，处理判断每个最佳图像候选者中的脸部方向(脸部的方向)。
[计算脸部方向分数]
如图9所示，右眼的内端点表示为＂a＂并且左眼的内端点表示为＂b＂。线ab与平行于鼻子的鼻梁且垂直于线ab而延伸的线之间的交叉点表示c。
通过将距离ac与距离bc进行比较来执行评分。
该处理根据距离之间的比率或者根据距离差来计算分数(脸部方向分数)。当距离ac和距离bc的值彼此接近(接近相等)时，判断出脸部接近正面的脸(脸部差不多面向前方)并且向该脸部判给较高分数。当仅可提取一个眼睛时，该处理判断出脸部处于侧面并且判给分数＂0＂。
另外，该处理使用包括有与0°相对应的面向正面的脸部、与90°相对应的侧面脸部、以及以10°为间隔的这两者之间的脸部的脸部词典，判断每个帧中的脸部与角度词典中的脸部之间的匹配程度是否很高，并且根据匹配程度判给分数。
回到图8，可知在步骤S22′中处理从在步骤S20所提取的2m+1个帧图像(最佳图像候选者)选择单个最佳图像(最佳拍摄图像)。在图3所示的第一实施例中，只根据笑容相似度分数或者根据笑容相似度分数连同表情变化量来选择最佳拍摄图像。然而，在步骤S22′中，处理判给的分数是每个最佳图像候选者的笑容相似度分数与脸部方向分数的总和，并且选择具有最高结果分数的最佳图像候选者作为最佳拍摄图像。
或者，处理从具有大于或等于预定值的结果分数的最佳图像候选者当中选择最佳拍摄图像。
在步骤S22′中，处理此后将所选最佳拍摄图像存储在如上所述的存储媒介16中。
<第三实施例的修改>
在上述第三实施例中，使用脸部方向分数来选择最佳拍摄图像。然而，取代脸部方向分数或者除了脸部方向分数之外，可判断对象眼睛的方向。在这种情况下，当对象眼睛更直接地看向照相机时，在评分中分数变得较高，并且该分数(对象眼睛方向分数)可用于选择最佳拍摄图像。
为了判断对象眼睛的方向，该处理对在眼睛区域中瞳孔的位置进行检测。例如，当脸部面向前并且瞳孔位置位于眼睛区域中心时，判断出对象眼睛看向照相机。因此，该处理可根据脸部方向和瞳孔在眼睛区域中的位置判断对象眼睛的方向。
笑容相似度分数、脸部方向分数、对象眼睛方向分数、以及表情变化量中的任何一个可用于从最佳图像候选者当中选择最佳拍摄图像。或者，可适当结合两个或更多个分数并且用于选择。
除了笑脸模板之外，可制备其他脸部表情模板。处理此后选择最接近最佳图像候选者的表情模板并且根据所选表情模板的脸部表情的相似程度来判给每个最佳候选者图像分数。
<第四实施例>
图10是示出了根据本发明第四实施例的处理的整个流程的流程图。应该注意的是与图3所示的第一实施例相同的程序的部分被分配给相同的步骤号码，并且省略对这些部分的详细说明。
在图10所示的第四实施例中，第一实施例的处理补充有步骤S50的处理。此外，步骤S22＂提供了与步骤S22的最佳拍摄图像选择方法不同的处理程序。
在步骤S50中，当在帧图像中检测到多个面部时，处理选择典型脸部。该处理从由脸部检测单元30所检测到的多个脸部当中选择最大的脸部作为典型脸部。或者，该处理判给每个面部区域点数来确定每个条件的重要性并且使用具有最大点数总和的脸部作为典型脸部，所述条件是从脸部亮度、位置、大小、以及脸部清晰度当中选择的一个或多个。
仅对在步骤S50所选的典型脸部执行步骤S14至S18的处理。
在步骤S22＂中，处理利用下述之一从在步骤S20所提取的2m+1个帧图像(最佳图像候选者)当中选择单个最佳图像(最佳拍摄图像)。
(1)该处理挑选包含有最大数目的具有笑容相似度分数至少为门限值的脸部的帧作为最佳拍摄图像。当多个帧具有相同数目的笑脸时，该处理挑选其中典型脸部具有最高笑容相似度分数的帧作为最佳拍摄图像。
(2)该处理也可以利用来挑选包含有最大数目的具有笑容相似度分数至少为门限值的脸部的帧作为最佳拍摄图像。当多个帧具有相同数目的笑脸时，该处理挑选其中典型脸部具有最大表情变化量的帧作为最佳拍摄图像。
在上面所描述的(1)和(2)中，除了各自的脸部之外，还必须计算除了典型脸部之外的脸部的笑容相似度分数。
(3)该处理挑选其中典型脸部具有最高笑容相似度分数的帧作为最佳拍摄图像。
(4)该处理挑选其中典型脸部具有至少为门限值的笑容相似度分数的帧，并且从这些帧当中挑选具有典型脸部中的最大表情变化量的帧作为最佳拍摄图像。
在上面所描述的(3)和(4)中，不必计算除了典型脸部之外的脸部的笑容相似度分数，并且该处理类似于第一实施例的步骤S22。
应该注意的是在按照第三实施例和第三实施例的修改示例中所描述的方式考虑了脸部方向分数和对象眼睛方向分数之后选择最佳拍摄图像。
<第五实施例>
下面描述了当在最佳拍摄图像捕获模式下捕获图像时的用户界面。
因为在照相机侧确定最佳拍摄图像捕获模式下的最佳拍摄图像的存储定时，因此利用声音或者显示指示器向用户通知已存储了图像。
图11示出了在最佳拍摄图像捕获模式下进行图像捕获期间在显示单元14上所显示的屏幕的示例。除了显示通过图像之外，显示单元14还显示可存储的最佳拍摄(BS)的最大数目(100)和已存储的最佳拍摄的当前数目(8)。
该安排可使用户看到仍可存储多少最佳拍摄图像。此外，当获得新的最佳拍摄时对已存储的最佳拍摄的当前数目的计数可使用户看到当存储最佳拍摄时的定时。
图12A和12B示出了在最佳拍摄图像捕获模式下进行图像捕获期间在显示单元14上所显示的屏幕的第二示例。
图12A和12B所示的显示单元14显示的屏幕显示了最佳拍摄的当前数目以及直通图像(pass-through image)。此外，指示器的颜色根据已存储的最佳拍摄的当前数目而变化。
具体地说，指示器的颜色逐步变化，当已存储的最佳拍摄的当前数目是最佳拍摄(BS)的最大数目的很小比例时指示器颜色是绿色，当当前数目大约是最大数目的一半时是黄色，并且当当前数目接近最大数目时是红色。
在图12A所示的示例中，因为假如最佳拍摄(BS)的最大数目是＂100＂，那么当已存储了八个最佳拍摄时以绿色显示数字＂8＂(参见图12A)并且当已存储了98个最佳拍摄时以红色显示＂98＂(参见图12B)。
应该注意的是，本发明并不局限于根据由已存储的最佳拍摄的当前数目所构成的最佳拍摄的最大数目的比例而为已存储的最佳拍摄的数目改变指示器的颜色。可以仅当已存储的最佳拍摄的当前数目接近最大数目时使指示器改变颜色。此外，本发明并不局限于改变指示器的颜色。例如，已存储的最佳拍摄的当前数目可以断续地闪烁。只要当当前数目接近最大数目时以显示已存储的最佳拍摄的当前数目的方式存在变化，则提供任何指示器都是可接受的。
图13A和13B示出了在最佳拍摄图像捕获模式下进行图像捕获期间在显示单元14上所显示的屏幕的第三示例。
图13A所示的显示单元14的显示屏在小窗口中显示存储在存储媒介16中的最近的最佳拍摄的尺寸减小的图像以及通过图像。
图13B所示的显示单元14的显示屏在小窗口中显示存储在存储媒介16中的最近五个最佳拍摄的尺寸减小的图像以及通过图像。当记录了新的最佳拍摄图像时，更新在显示单元14的显示屏上所显示的尺寸减小的最佳拍摄图像。
应该注意的是在显示单元14的显示屏上所显示的尺寸减小的最佳拍摄图像的数目并不局限于当前实施例的数目。
每当存储最佳拍摄图像时，音频控制单元38通过扬声器39产生声音(诸如快门的滴答声的耳朵捕获声音)以表示存储最佳拍摄图像的时刻。
可以将已存储的最佳拍摄图像的数目、已存储图像的显示、以及在存储时刻的耳朵捕获声音进行组合可以改善可用性。
<修改示例>
在该实施例中，虽然数字照相机10用作示例，但是本发明可适用于监控照相机和移动电话中的照相机。此外可根据本实施例，制备用于使个人计算机等等起到图像处理设备的作用的图像处理程序、可将该图像处理程序安装在计算机上、并可使该计算机执行程序。当将该程序安装在计算机上时，可使用记录该程序的记录媒介。
例如，可使用诸如被捕获为视频、TV图像等等的活动图像的连续拍摄的图像作为输入图像，从该输入图像中提取最佳拍摄图像，并且将该最佳拍摄存储为静止图像。
此外，本发明还可是上述实施例的适当组合。
应该注意的是虽然已根据本发明对图像处理装置、图像捕获装置、图像处理方法、图像处理程序、以及记录媒介进行了详细的描述，但是本发明并不局限于这些示例并且在不脱离本发明的范围或者精神的情况下可按照多种方式对这些示例进行改善和修改。

Claims (24)

1.一种图像处理装置，包括：
图像获取设备，所述图像获取设备用于顺序地获取按照连续方式所捕获的图像；
脸部检测设备，所述脸部检测设备用于对所获取的图像中的脸部进行检测；
表情变化量计算设备，所述表情变化量计算设备用于对每个目标帧计算表情变化量，所述表情变化量表示在当前目标帧的图像中所检测到的脸部与在之前目标帧的图像中所检测到的脸部之间的表情的变化，所述目标帧是获取帧中的每个或者是所述获取帧中规则间隔的帧；
提取设备，所述提取设备用于提取所计算的表情变化量大于或等于预定值的目标帧的图像；以及
存储设备，所述存储设备用于将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。
2.一种图像处理装置，包括：
图像获取设备，所述图像获取设备用于顺序地获取按照连续方式所捕获的图像；
脸部检测设备，所述脸部检测设备用于对所获取图像中的脸部进行检测；
表情变化量计算设备，所述表情变化量计算设备用于对每个目标帧计算表情变化量，所述表情变化量表示在每个目标帧的图像中所检测到的脸部与参考模板脸部之间的表情的变化，所述目标帧是获取帧中的每个或者是所述获取帧中规则间隔的帧；
提取设备，所述提取设备用于提取所计算的表情变化量是预定值以及之上的目标帧的图像；以及
存储设备，所述存储设备用于将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。
3.根据权利要求2所述的图像处理装置，其中
所述参考模板是根据与一个或多个人的平常脸的脸部局部相对应的多个特征点的坐标位置而创建的。
4.根据权利要求3所述的图像处理装置，其中
预先创建与人的属性相对应的多个参考模板并且将所述多个参考模板存储在存储器中，以及
从所述存储器读取并使用与通过所述图像获取设备获取的图像中的人的属性相对应的参考模板。
5.根据权利要求1所述的图像处理装置，还包括：
典型脸部选择设备，所述典型脸部选择设备用于当所述脸部检测设备检测到多个脸部时，根据以亮度、位置、大小以及脸部清晰度中的至少一个为条件来选择典型脸部以作为所述目标帧的图像中检测到的脸部。
6.根据权利要求1所述的图像处理装置，其中
所述表情变化量检测设备包括：
特征点提取设备，所述特征点提取设备用于提取与每个脸部局部相对应的多个特征点；
标准化设备，所述标准化设备用于使所提取的特征点的坐标位置标准化；以及
计算设备，所述计算设备用于根据每个脸部中的相应特征点的标准化坐标位置之间的距离总和或者标准化坐标位置之间的距离的平方和来为两个比较的脸部计算表情变化量。
7.根据权利要求1所述的图像处理装置，还包括：
最佳图像候选者提取设备，所述最佳图像候选者提取设备用于提取所提取的目标帧的图像以及多个连续帧的图像以作为最佳图像候选者，所述多个连续帧的图像是所述目标帧的图像之前和之后的至少一个；以及
最佳图像选择设备，所述最佳图像选择设备用于从所提取的最佳图像候选者组中选择最佳图像，其中
所述存储设备将所选择的最佳图像存储在所述存储媒介中。
8.根据权利要求7所述的图像处理装置，其中
所述最佳图像选择设备包括：
下述至少一个：
第一估计设备，所述第一估计设备用于将所述最佳图像候选者的脸部与表示预定表情的表情模板进行比较，并且根据比较结果而判给每个最佳图像候选者分数；
第二估计设备，所述第二估计设备用于对所述最佳图像候选者中的脸部方向进行检测，并且根据所检测到的脸部方向判给每个最佳图像候选者分数；以及
第三估计设备，所述第三估计设备用于对所述最佳图像候选者中的对象眼睛的方向进行检测，并且根据所检测到的对象眼睛的方向判给每个最佳图像候选者分数；以及
选择设备，所述选择设备用于根据由所述估计设备中的至少一个所判给的一个或多个分数来从所述最佳图像候选者当中选择最佳图像。
9.根据权利要求8所述的图像处理装置，其中
所述选择设备选择具有最高分数的图像以作为最佳图像，或者从其分数大于或等于预定值的最佳图像候选者当中选择具有由所述表情变化量计算设备所计算的最大表情变化量的图像作为最佳图像。
10.一种图像捕获装置，包括：
图像捕获设备，所述图像捕获设备可操作用于按照连续方式捕获对象的图像；以及
根据权利要求1所述的图像处理装置，其中
所述图像获取设备顺序地获取由所述图像捕获设备按照连续方式所捕获的图像。
11.根据权利要求10所述的图像捕获装置，还包括：
图像捕获指示设备；以及
存储数目设置设备，所述存储数目设置设备用于设置响应所述图像捕获指示设备的单个图像捕获指令而将要存储在存储媒介中的图像的数目，其中
当所述图像捕获指示设备发出了图像捕获的指令时，重复所述图像捕获设备的图像捕获操作以及所述图像处理装置的图像处理，直至已存储的图像数目达到了所设置的要存储的图像的数目。
12.根据权利要求11所述的图像处理装置，还包括：
捕获结束指示设备，其中
在所述图像捕获指示设备已发出了图像捕获的指令之后，当所述捕获结束指示设备发出捕获结束的指令时，在已存储的图像数目达到所设置的要存储的图像的数目之前结束所述图像捕获设备的图像捕获操作以及所述图像处理装置的图像处理。
13.根据权利要求10所述的图像处理装置，还包括：
图像捕获指示设备，其中
当所述图像捕获指示设备发出图像捕获的指令时，重复所述图像捕获设备的图像捕获操作以及所述图像处理装置的图像处理，直至所述存储媒介中没有剩余空间。
14.根据权利要求13所述的图像处理装置，还包括：
捕获结束指示设备，其中
在所述图像捕获指示设备已发出了图像捕获的指令之后，当所述捕获结束指示设备发出捕获结束的指令时，在所述存储媒介中没有剩余空间之前结束所述图像捕获设备的图像捕获操作以及所述图像处理装置的图像处理。
15.根据权利要求10所述的图像捕获装置，还包括：
声音产生设备，所述声音产生设备在每次将图像存储在所述存储媒介中时产生声音以通知用户存储定时。
16.根据权利要求10的图像捕获装置，还包括：
图像显示设备，所述图像显示设备用于显示由所述图像捕获设备按照连续方式所捕获的图像；以及
显示控制设备，所述显示控制设备用于使所述图像显示设备将最近存储在所述存储媒介上的一个或多个图像显示为尺寸减小的图像，所述尺寸减小的图像具有小于所述图像显示设备的整个显示区的面积。
17.根据权利要求10所述的图像处理装置，还包括：
显示设备，所述显示设备用于显示可存储在存储媒介上的图像的最大数目以及已存储图像的当前数目，每当将图像存储在所述存储媒介中时更新所述已存储图像的当前数目。
18.根据权利要求10所述的图像处理装置，还包括：
显示设备，所述显示设备显示每当将图像存储在所述存储媒介中时所更新的所述已存储图像的当前数目，并且至少当存储在所述存储媒介上的图像数目接近可储存在所述存储媒介中的图像的最大数目时，改变所述已存储图像的当前数目的显示形式。
19.一种图像处理方法，包括步骤：
顺序地获取按照连续方式所捕获的图像；
对所获取图像中的脸部进行检测；
对每个目标帧计算表情变化量，所述表情变化量表示在当前目标帧的图像中所检测到的脸部与在之前目标帧的图像中所检测到的脸部之间的表情的变化，所述目标帧是获取帧中的每个或者是所述获取帧中规则间隔的帧；
提取所计算的表情变化量大于或等于预定值的目标帧的图像；以及
将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。
20.一种图像处理方法，包括步骤：
顺序地获取按照连续方式所捕获的图像；
对所获取的图像中的脸部进行检测；
对每个目标帧计算表情变化量，所述表情变化量表示在每个目标帧的图像中所检测到的脸部与参考模板脸部之间的表情的变化，所述目标帧可以是获取帧中的每个或者是所述获取帧中规则间隔的帧；
提取所计算的表情变化量是预定值以及之上的目标帧的图像；以及
将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。
21.根据权利要求19所述的图像处理方法，进一步包括步骤：
提取所提取的目标帧的图像以及多个连续帧的图像作为最佳图像候选者，所述多个连续帧的图像是所述目标帧的图像之前和之后的至少一个；以及
从所提取的最佳图像候选者组中选择最佳图像以将所述最佳图像存储在所述存储媒介中。
22.一种存储图像处理程序的记录媒介，所述图像处理程序使计算机实现下述功能：
顺序地获取按照连续方式所捕获的图像；
对所述获取的图像中的脸部进行检测；
计算每个目标帧的表情变化量，所述表情变化量表示在当前目标帧的图像中所检测到的脸部与在之前目标帧的图像中所检测到的脸部之间的表情的变化，所述目标帧是获取帧中的每个或者是所述获取帧中规则间隔的帧；
提取所计算的表情变化量大于或等于预定值的目标帧的图像；以及
将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。
23.一种存储图像处理程序的记录媒介，所述图像处理程序使计算机实现下述功能：
顺序地获取按照连续方式所捕获的图像；
对所获取的图像中的脸部进行检测；
对每个目标帧计算表情变化量，所述表情变化量表示在每个目标帧的图像中所检测到的脸部与参考模板脸部之间的表情的变化，所述目标帧是获取帧中的每个或者是所述获取帧中规则间隔的帧；
提取所计算的表情变化量是预定值以及之上的目标帧的图像；以及
将所提取的目标帧的图像或者位于所提取的目标帧附近的帧的图像存储在存储媒介中。
24.根据权利要求22所述的记录媒介，所述图像处理程序进一步使计算机实现下述功能：
提取所提取的目标帧的图像以及多个连续帧的图像作为最佳图像候选者，所述多个连续帧的图像是所述目标帧的图像之前和之后的至少一个；以及
从所提取的最佳图像候选者组中选择最佳图像以将所述最佳图像存储在所述存储媒介中。
CN200810168154.6A 2007-09-28 2008-09-28 图像处理装置、图像捕获装置、图像处理方法及记录媒介 Active CN101419666B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410124231.3A CN103971090B (zh) 2007-09-28 2008-09-28 图像处理装置、图像捕获装置及图像处理方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007256711 2007-09-28
JP2007-256711 2007-09-28
JP2007256711A JP4720810B2 (ja) 2007-09-28 2007-09-28 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201410124231.3A Division CN103971090B (zh) 2007-09-28 2008-09-28 图像处理装置、图像捕获装置及图像处理方法

Publications (2)

Publication Number Publication Date
CN101419666A true CN101419666A (zh) 2009-04-29
CN101419666B CN101419666B (zh) 2014-04-16

Family

ID=40508466

Family Applications (2)

Application Number Title Priority Date Filing Date
CN200810168154.6A Active CN101419666B (zh) 2007-09-28 2008-09-28 图像处理装置、图像捕获装置、图像处理方法及记录媒介
CN201410124231.3A Active CN103971090B (zh) 2007-09-28 2008-09-28 图像处理装置、图像捕获装置及图像处理方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201410124231.3A Active CN103971090B (zh) 2007-09-28 2008-09-28 图像处理装置、图像捕获装置及图像处理方法

Country Status (3)

Country Link
US (1) US8208732B2 (zh)
JP (1) JP4720810B2 (zh)
CN (2) CN101419666B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102158649A (zh) * 2010-02-01 2011-08-17 奥林巴斯映像株式会社 摄影设备和该摄影设备的摄影方法
CN102377905A (zh) * 2010-08-18 2012-03-14 佳能株式会社 图像摄取装置及其控制方法
CN104113691A (zh) * 2014-07-18 2014-10-22 小米科技有限责任公司 拍摄方法及装置
CN104244101A (zh) * 2013-06-21 2014-12-24 三星电子（中国）研发中心 对多媒体内容进行评论的方法和设备
JP2015154203A (ja) * 2014-02-13 2015-08-24 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
CN104935805A (zh) * 2014-03-20 2015-09-23 卡西欧计算机株式会社 图像处理装置以及图像处理方法
CN105229700A (zh) * 2013-05-14 2016-01-06 三星电子株式会社 用于从多个连续拍摄图像提取峰图像的设备和方法
WO2016074128A1 (en) * 2014-11-10 2016-05-19 Intel Corporation Image capturing apparatus and method
CN105654470A (zh) * 2015-12-24 2016-06-08 小米科技有限责任公司 图像选取方法、装置及***
CN105894031A (zh) * 2016-03-31 2016-08-24 青岛海信移动通信技术股份有限公司 一种照片选择的方法及装置
CN106791217A (zh) * 2017-03-30 2017-05-31 努比亚技术有限公司 一种移动终端的影像管理优化方法和移动终端
US9967456B2 (en) 2014-07-18 2018-05-08 Xiaomi Inc. Photographing method and device
CN108574803A (zh) * 2018-03-30 2018-09-25 广东欧珀移动通信有限公司 图像的选取方法、装置、存储介质及电子设备
WO2019178711A1 (zh) * 2018-03-18 2019-09-26 广东欧珀移动通信有限公司 图像的处理方法、装置、存储介质及电子设备
CN110769158A (zh) * 2014-05-21 2020-02-07 谷歌技术控股有限责任公司 增强的图像捕获
US10607063B2 (en) 2015-07-28 2020-03-31 Sony Corporation Information processing system, information processing method, and recording medium for evaluating a target based on observers
US11019252B2 (en) 2014-05-21 2021-05-25 Google Technology Holdings LLC Enhanced image capture

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9936143B2 (en) 2007-10-31 2018-04-03 Google Technology Holdings LLC Imager module with electronic shutter
KR100965320B1 (ko) * 2008-10-08 2010-06-22 삼성전기주식회사 연속 오토포커스 자동 제어장치 및 자동 제어방법
US11367083B1 (en) * 2008-11-20 2022-06-21 Videomining Corporation Method and system for evaluating content for digital displays by measuring viewer responses by demographic segments
JP2010177894A (ja) * 2009-01-28 2010-08-12 Sony Corp 撮像装置、画像管理装置及び画像管理方法、並びにコンピューター・プログラム
JP2010252046A (ja) * 2009-04-15 2010-11-04 Olympus Imaging Corp 撮像装置
JP5361524B2 (ja) * 2009-05-11 2013-12-04 キヤノン株式会社 パターン認識システム及びパターン認識方法
JP5188453B2 (ja) 2009-05-25 2013-04-24 パナソニック株式会社 カメラ装置および露光制御方法
JP5456159B2 (ja) * 2009-05-29 2014-03-26 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド 背景から前景の頭頂部を分離するための方法および装置
JP5488961B2 (ja) * 2009-07-27 2014-05-14 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
JP5434337B2 (ja) * 2009-07-28 2014-03-05 カシオ計算機株式会社 画像処理装置及びプログラム
JP5398408B2 (ja) * 2009-08-07 2014-01-29 オリンパスイメージング株式会社 カメラ、カメラの制御方法、表示制御装置、および表示制御方法
JP5500934B2 (ja) * 2009-10-01 2014-05-21 キヤノン株式会社 撮像装置及びその制御方法、プログラム並びに記憶媒体
US9319640B2 (en) * 2009-12-29 2016-04-19 Kodak Alaris Inc. Camera and display system interactivity
JP5505007B2 (ja) * 2010-03-18 2014-05-28 富士通株式会社 画像処理装置、画像処理方法及び画像処理用コンピュータプログラム
JP5182312B2 (ja) * 2010-03-23 2013-04-17 株式会社ニコン 画像処理装置、および画像処理プログラム
TWI447658B (zh) * 2010-03-24 2014-08-01 Ind Tech Res Inst 人臉影像擷取方法與裝置
JP4998630B2 (ja) * 2010-03-30 2012-08-15 株式会社ニコン 画像処理装置、および画像評価プログラム
US8971628B2 (en) 2010-07-26 2015-03-03 Fotonation Limited Face detection using division-generated haar-like features for illumination invariance
JP5648452B2 (ja) * 2010-12-03 2015-01-07 富士通株式会社 画像処理プログラムおよび画像処理装置
JP5854806B2 (ja) * 2010-12-16 2016-02-09 キヤノン株式会社 映像処理装置および映像処理方法
US9036069B2 (en) * 2012-02-06 2015-05-19 Qualcomm Incorporated Method and apparatus for unattended image capture
WO2013122421A1 (en) * 2012-02-15 2013-08-22 Samsung Electronics Co., Ltd. X-ray device and method for controlling the same
US9858501B2 (en) 2012-02-16 2018-01-02 Nec Corporation Reliability acquiring apparatus, reliability acquiring method, and reliability acquiring program
US9392322B2 (en) 2012-05-10 2016-07-12 Google Technology Holdings LLC Method of visually synchronizing differing camera feeds with common subject
US9310611B2 (en) * 2012-09-18 2016-04-12 Qualcomm Incorporated Methods and systems for making the use of head-mounted displays less obvious to non-users
KR101949218B1 (ko) 2012-09-25 2019-02-18 삼성전자 주식회사 휴대 단말기의 이미지 촬영 방법 및 장치
KR20140055819A (ko) * 2012-11-01 2014-05-09 삼성전자주식회사 얼굴인식장치 및 그 제어방법
KR102064963B1 (ko) * 2013-04-18 2020-01-10 삼성전자주식회사 통신 시스템에서 영상 통화 방법 및 장치
JP6238629B2 (ja) * 2013-08-06 2017-11-29 キヤノン株式会社 画像処理方法及び画像処理装置
US9357127B2 (en) 2014-03-18 2016-05-31 Google Technology Holdings LLC System for auto-HDR capture decision making
US9614724B2 (en) 2014-04-21 2017-04-04 Microsoft Technology Licensing, Llc Session-based device configuration
US9639742B2 (en) 2014-04-28 2017-05-02 Microsoft Technology Licensing, Llc Creation of representative content based on facial analysis
US9773156B2 (en) 2014-04-29 2017-09-26 Microsoft Technology Licensing, Llc Grouping and ranking images based on facial recognition data
US9430667B2 (en) 2014-05-12 2016-08-30 Microsoft Technology Licensing, Llc Managed wireless distribution network
US9384335B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content delivery prioritization in managed wireless distribution networks
US9384334B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content discovery in managed wireless distribution networks
US10111099B2 (en) 2014-05-12 2018-10-23 Microsoft Technology Licensing, Llc Distributing content in managed wireless distribution networks
US9874914B2 (en) 2014-05-19 2018-01-23 Microsoft Technology Licensing, Llc Power management contracts for accessory devices
US9729784B2 (en) 2014-05-21 2017-08-08 Google Technology Holdings LLC Enhanced image capture
US9774779B2 (en) * 2014-05-21 2017-09-26 Google Technology Holdings LLC Enhanced image capture
US10037202B2 (en) 2014-06-03 2018-07-31 Microsoft Technology Licensing, Llc Techniques to isolating a portion of an online computing service
US9367490B2 (en) 2014-06-13 2016-06-14 Microsoft Technology Licensing, Llc Reversible connector for accessory devices
US9460493B2 (en) 2014-06-14 2016-10-04 Microsoft Technology Licensing, Llc Automatic video quality enhancement with temporal smoothing and user override
US9373179B2 (en) 2014-06-23 2016-06-21 Microsoft Technology Licensing, Llc Saliency-preserving distinctive low-footprint photograph aging effect
US9413947B2 (en) 2014-07-31 2016-08-09 Google Technology Holdings LLC Capturing images of active subjects according to activity profiles
US9369625B2 (en) * 2014-08-12 2016-06-14 Kodak Alaris Inc. System for producing compliant facial images for selected identification documents
US9571725B2 (en) * 2014-09-02 2017-02-14 Htc Corporation Electronic device and image capture method thereof
US9654700B2 (en) 2014-09-16 2017-05-16 Google Technology Holdings LLC Computational camera using fusion of image sensors
GB2531758A (en) * 2014-10-29 2016-05-04 Nokia Technologies Oy Method and apparatus for determining the capture mode following capture of the content
CN105095917B (zh) * 2015-08-31 2019-08-06 小米科技有限责任公司 图像处理方法、装置及终端
JP6634298B2 (ja) * 2016-01-23 2020-01-22 オリンパス株式会社 撮像装置および撮像方法
CN107615745B (zh) * 2016-04-05 2020-03-20 华为技术有限公司 一种拍照方法及终端
CN106203332A (zh) * 2016-07-08 2016-12-07 北京光年无限科技有限公司 基于智能机器人视觉识别人脸面部表情变化的方法及***
CN108491822B (zh) * 2018-04-02 2020-09-08 杭州高创电子科技有限公司 一种基于嵌入式设备有限缓存的人脸检测去重方法
CN110634174B (zh) * 2018-06-05 2023-10-10 深圳市优必选科技有限公司 一种表情动画过渡方法、***及智能终端
JP6548788B2 (ja) * 2018-07-09 2019-07-24 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
KR102198337B1 (ko) 2018-12-07 2021-01-04 삼성전자주식회사 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 매체.
CN109831622B (zh) 2019-01-03 2021-06-22 华为技术有限公司 一种拍摄方法及电子设备
CN109816759B (zh) * 2019-01-25 2023-11-17 维沃移动通信有限公司 一种表情生成方法及装置
WO2020196384A1 (ja) * 2019-03-25 2020-10-01 富士フイルム株式会社 画像処理装置、画像処理方法及びプログラム、撮影装置
JP7461692B2 (ja) 2020-05-11 2024-04-04 Fcnt合同会社 携帯端末、情報処理方法及び情報処理プログラム
WO2022024272A1 (ja) * 2020-07-29 2022-02-03 日本電気株式会社 情報処理システム、データ蓄積装置、データ生成装置、情報処理方法、データ蓄積方法、データ生成方法及び記録媒体、並びに、データベース
WO2022024274A1 (ja) * 2020-07-29 2022-02-03 日本電気株式会社 画像処理装置、画像処理方法、及び、記録媒体
CN112990030B (zh) * 2021-03-23 2024-06-14 广东领均科技有限公司 一种基于表情图像的学生情绪分析***

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2727066B2 (ja) 1995-03-20 1998-03-11 株式会社エイ・ティ・アール通信システム研究所 可塑性物体特徴検出装置
JPH11355617A (ja) * 1998-06-05 1999-12-24 Fuji Photo Film Co Ltd 画像表示器付きカメラ
JP4377472B2 (ja) 1999-03-08 2009-12-02 株式会社東芝 顔画像処理装置
JP2003087770A (ja) * 2001-09-12 2003-03-20 Sharp Corp デジタルカメラリサイクルシステム、情報処理ユニット、デジタルカメラ、デジタルカメラのリサイクル方法
US8189927B2 (en) * 2007-03-05 2012-05-29 DigitalOptics Corporation Europe Limited Face categorization and annotation of a mobile phone contact list
WO2005008593A1 (ja) 2003-07-18 2005-01-27 Canon Kabushiki Kaisha 画像処理装置、撮像装置、画像処理方法
JP4743823B2 (ja) 2003-07-18 2011-08-10 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法
CN1839410B (zh) * 2003-07-18 2015-05-20 佳能株式会社 图像处理设备、摄像设备、图像处理方法
JP4612806B2 (ja) 2003-07-18 2011-01-12 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置
JP4553384B2 (ja) * 2005-09-20 2010-09-29 キヤノン株式会社 撮像装置及びその制御方法、コンピュータプログラム、記憶媒体
JP2007142565A (ja) * 2005-11-15 2007-06-07 Olympus Imaging Corp 撮像装置及びその撮像方法
JP4240108B2 (ja) 2006-10-31 2009-03-18 ソニー株式会社 画像記憶装置、撮像装置、画像記憶方法およびプログラム
JP4829186B2 (ja) 2007-07-27 2011-12-07 オリンパスイメージング株式会社 撮像装置

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102158649B (zh) * 2010-02-01 2014-12-10 奥林巴斯映像株式会社 摄影设备和该摄影设备的摄影方法
CN102158649A (zh) * 2010-02-01 2011-08-17 奥林巴斯映像株式会社 摄影设备和该摄影设备的摄影方法
CN102377905A (zh) * 2010-08-18 2012-03-14 佳能株式会社 图像摄取装置及其控制方法
US8625000B2 (en) 2010-08-18 2014-01-07 Canon Kabushiki Kaisha Image pickup apparatus that continuously takes images to obtain multiple images, control method therefor, and storage medium
US9060158B2 (en) 2010-08-18 2015-06-16 Canon Kabushiki Kaisha Image pickup apparatus that continuously takes images to obtain multiple images, control method therefor, and storage medium
CN105229700A (zh) * 2013-05-14 2016-01-06 三星电子株式会社 用于从多个连续拍摄图像提取峰图像的设备和方法
CN105229700B (zh) * 2013-05-14 2018-10-26 三星电子株式会社 用于从多个连续拍摄图像提取峰图像的设备和方法
US9940718B2 (en) 2013-05-14 2018-04-10 Samsung Electronics Co., Ltd. Apparatus and method for extracting peak image from continuously photographed images
CN104244101A (zh) * 2013-06-21 2014-12-24 三星电子（中国）研发中心 对多媒体内容进行评论的方法和设备
JP2015154203A (ja) * 2014-02-13 2015-08-24 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
CN104935805B (zh) * 2014-03-20 2018-06-08 卡西欧计算机株式会社 图像处理装置、图像处理方法以及记录介质
CN104935805A (zh) * 2014-03-20 2015-09-23 卡西欧计算机株式会社 图像处理装置以及图像处理方法
US11290639B2 (en) 2014-05-21 2022-03-29 Google Llc Enhanced image capture
CN110769158B (zh) * 2014-05-21 2022-02-15 谷歌技术控股有限责任公司 增强的图像捕获
US11019252B2 (en) 2014-05-21 2021-05-25 Google Technology Holdings LLC Enhanced image capture
CN110769158A (zh) * 2014-05-21 2020-02-07 谷歌技术控股有限责任公司 增强的图像捕获
US11575829B2 (en) 2014-05-21 2023-02-07 Google Llc Enhanced image capture
US11943532B2 (en) 2014-05-21 2024-03-26 Google Technology Holdings LLC Enhanced image capture
US9967456B2 (en) 2014-07-18 2018-05-08 Xiaomi Inc. Photographing method and device
CN104113691B (zh) * 2014-07-18 2015-10-14 小米科技有限责任公司 拍摄方法及装置
CN104113691A (zh) * 2014-07-18 2014-10-22 小米科技有限责任公司 拍摄方法及装置
WO2016008242A1 (zh) * 2014-07-18 2016-01-21 小米科技有限责任公司 拍摄方法及装置
CN107251096A (zh) * 2014-11-10 2017-10-13 英特尔公司 图像捕获装置和方法
WO2016074128A1 (en) * 2014-11-10 2016-05-19 Intel Corporation Image capturing apparatus and method
US10607063B2 (en) 2015-07-28 2020-03-31 Sony Corporation Information processing system, information processing method, and recording medium for evaluating a target based on observers
CN105654470A (zh) * 2015-12-24 2016-06-08 小米科技有限责任公司 图像选取方法、装置及***
CN105894031A (zh) * 2016-03-31 2016-08-24 青岛海信移动通信技术股份有限公司 一种照片选择的方法及装置
CN106791217A (zh) * 2017-03-30 2017-05-31 努比亚技术有限公司 一种移动终端的影像管理优化方法和移动终端
WO2019178711A1 (zh) * 2018-03-18 2019-09-26 广东欧珀移动通信有限公司 图像的处理方法、装置、存储介质及电子设备
CN108574803A (zh) * 2018-03-30 2018-09-25 广东欧珀移动通信有限公司 图像的选取方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN103971090B (zh) 2017-09-19
JP2009089077A (ja) 2009-04-23
US20090087099A1 (en) 2009-04-02
CN103971090A (zh) 2014-08-06
US8208732B2 (en) 2012-06-26
JP4720810B2 (ja) 2011-07-13
CN101419666B (zh) 2014-04-16

Similar Documents

Publication Publication Date Title
CN101419666B (zh) 图像处理装置、图像捕获装置、图像处理方法及记录媒介
CN101854484B (zh) 图像选择装置、图像选择方法
KR101797041B1 (ko) 디지털 영상 처리장치 및 그 제어방법
JP5218508B2 (ja) 撮像装置
CN101079964B (zh) 图像再现设备、图像再现方法及图像捕捉设备
JP4645685B2 (ja) カメラ、カメラ制御プログラム及び撮影方法
CN101867679B (zh) 缩略图生成装置及摄像装置
JP6049448B2 (ja) 被写体領域追跡装置、その制御方法及びプログラム
US8605190B2 (en) Image sensing apparatus and control method thereof
CN101047822B (zh) 缩略图生成装置及摄像装置
CN103905725B (zh) 图像处理设备和图像处理方法
JP5125734B2 (ja) 撮像装置、画像選択方法及び画像選択プログラム
CN103297670A (zh) 被摄体判断装置以及被摄体判断方法
CN105100586A (zh) 检测装置及检测方法
TWI508548B (zh) 攝像裝置及攝像方法
US20120087636A1 (en) Moving image playback apparatus, moving image management apparatus, method, and storage medium for controlling the same
CN104246597A (zh) 成像装置、成像方法、记录介质以及程序
CN101631221A (zh) 视频记录设备、视频记录方法、以及记录介质
JP5045538B2 (ja) 撮像装置、及び、プログラム
JP2014225763A (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP5170217B2 (ja) カメラ、カメラ制御プログラム及び撮影方法
JP5030883B2 (ja) ディジタル・スチル・カメラおよびその制御方法
JP5370577B2 (ja) 構図選択装置及びプログラム
JP2013211782A (ja) 画像処理装置および画像処理プログラム
JP2012029119A (ja) 表示制御装置、カメラ、および、表示装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant