JP2010239467A - 画像選択装置、画像選択方法及びプログラム - Google Patents

Abstract

【課題】画像の選択を適正に、且つ、簡便に行う。
【解決手段】撮像装置１００であって、被写体を連続して撮像することで生成された複数の画像フレームから人の顔を検出する顔検出部６と、顔検出部により検出された人の顔から目を検出する目検出部７と、目検出部により検出された目の瞬き評価値を算出する瞬き検出部９と、瞬き検出部により算出された瞬き評価値に基づいて人の顔の状態を評価し、当該人の顔の状態の評価に基づいて、複数の画像フレームの中から記録媒体に記録される一の撮像画像を特定する画像特定部１１とを備える。
【選択図】図１

Description

本発明は、複数の画像の中から何れかの画像を選択する画像選択装置、画像選択方法及びプログラムに関する。

従来、連写撮影して複数の画像データを生成する機能を有するデジタルカメラが知られている。近年の連写可能枚数の増加に伴って、ユーザ自身による選択操作はより煩雑となってきている。この煩雑さを解消するものとして、全員が目を開けている集合写真を選択する画像処理システムが知られている（例えば、特許文献１参照）。

特開２００７−８８５９４号公報

しかしながら、集合写真において全員が目を開けているか否かの判定のみによって選択を行ったのでは、選択される写真がゼロとなることも起こりうる。

そこで、本発明の課題は、画像の選択を適正に、且つ、簡便に行うことができる画像選択装置、画像選択方法及びプログラムを提供することである。

上記課題を解決するため、請求項１に記載の発明の画像選択装置は、
被写体を連続して撮像することで生成された複数の撮像画像を取得する取得手段と、この取得手段により取得された複数の撮像画像から人の顔を検出する顔検出手段と、この顔検出手段により検出された人の顔から目を検出する目検出手段と、この目検出手段により検出された目の瞬き度合いを検出する瞬き検出手段と、この瞬き検出手段により検出された瞬き度合いに基づいて、人の顔の状態を評価する評価手段と、この評価手段による評価に基づいて、前記取得手段により取得された複数の撮像画像の中から記録手段に記録される少なくとも一の撮像画像を特定する特定手段と、を備えたことを特徴としている。

請求項２に記載の発明は、請求項１に記載の画像選択装置において、
前記瞬き検出手段により検出された各人毎の瞬き度合いに基づいて、当該人の目が開いているか否かの判定に係る閾値を算出する閾値算出手段と、この閾値算出手段により算出された閾値に基づいて、前記取得手段により取得された複数の撮像画像について各人の目が開いているか否か判定する瞬き判定手段と、を更に備えることを特徴としている。

請求項３に記載の発明は、請求項２に記載の画像選択装置において、
前記瞬き判定手段による判定結果に基づいて、前記取得手段により取得された複数の撮像画像の中で目を閉じている顔数が最小の撮像画像が複数あるか否かを判定する第１画像判定手段を更に備え、前記特定手段は、前記第１画像判定手段によって目を閉じている顔数が最小の撮像画像が複数ないと判定された場合に、当該撮像画像を前記記録手段に記録される一の撮像画像として特定することを特徴としている。

請求項４に記載の発明は、請求項３に記載の画像選択装置において、
前記第１画像判定手段によって目を閉じている顔数が最小の撮像画像が複数あると判定された場合に、当該目を閉じている顔数が０であるか否かを判定する第２画像判定手段を更に備え、前記特定手段は、前記第２画像判定手段によって目を閉じている顔数が０であると判定された場合に、前記瞬き検出手段により検出された各人毎の瞬き度合いに基づいて、前記記録手段に記録される撮像画像を特定することを特徴としている。

請求項５に記載の発明は、請求項１〜４の何れか一項に記載の画像選択装置において、
前記目検出手段により検出された目の位置情報に基づいて、当該目が検出された顔の笑顔度合いを検出する笑顔検出手段と、この笑顔検出手段により検出された笑顔度合いに応じて、前記瞬き検出手段により検出された瞬き度合いを補正する瞬き補正手段と、を更に備え、前記特定手段は、前記瞬き補正手段により補正された瞬き度合いに応じて、人の顔の状態を判断することを特徴としている。

請求項６に記載の発明は、請求項３に記載の画像選択装置において、
前記目検出手段により検出された目の位置情報に基づいて、当該目が検出された顔の笑顔度合いを検出する笑顔検出手段と、前記第１画像判定手段によって目を閉じている顔数が最小の撮像画像が複数あると判定された場合に、当該目を閉じている顔数が０であるか否かを判定する第２画像判定手段と、を更に備え、前記特定手段は、前記第２画像判定手段によって目を閉じている顔数が０ではないと判定された場合に、前記笑顔検出手段により検出された笑顔度合いに基づいて、前記記録手段に記録される撮像画像を特定することを特徴としている。

請求項７に記載の発明は、請求項１〜６の何れか一項に記載の画像選択装置において、
前記目検出手段による目の検出の信頼度を算出する信頼度算出手段と、この信頼度算出手段により算出された信頼度が所定の閾値以下であるか否かに応じて当該信頼度に係る目が検出された顔の有効性を判定する有効性判定手段と、を更に備え、前記特定手段は、前記有効性判定手段により有効であると判定された人の顔の状態を判断することを特徴としている。

請求項８に記載の発明は、請求項１〜７の何れか一項に記載の画像選択装置において、
撮像フレームレートが所定値以上である場合に、前記瞬き検出手段により検出された瞬き度合いを隣接画像間で平滑化する平滑化手段を更に備え、前記特定手段は、前記平滑化手段により平滑化された瞬き度合いに応じて、人の顔の状態を判断することを特徴としている。

請求項９に記載の発明は、請求項７に記載の画像選択装置において、
前記取得手段により取得された複数の撮像画像のうち、前記有効性判定手段により顔が有効であると判定された撮像画像の各々について隣合う画像に対するぶれ量を検出するぶれ検出手段と、このぶれ検出手段により検出された各撮像画像のぶれ量が所定値よりも小さい撮像画像の数が複数あるか否かを判定する第３画像判定手段と、を更に備え、前記瞬き検出手段は、前記第３画像判定手段によりぶれ量が所定値よりも小さい撮像画像の数が複数あると判定された場合に、前記目検出手段により検出された目の瞬き度合いを検出することを特徴としている。

請求項１０に記載の発明は、請求項９に記載の画像選択装置において、
前記ぶれ検出手段により検出された各撮像画像のぶれ量を顔の位置に対するぶれの位置に応じて補正するぶれ補正手段を更に備え、前記画像特定手段は、前記ぶれ補正手段により補正された各撮像画像のぶれ量に基づいて、ぶれ量が所定値よりも小さい撮像画像を特定することを特徴としている。

請求項１１に記載の発明は、請求項９又は１０に記載の画像選択装置において、
前記特定手段は、前記第３画像判定手段によりぶれ量が所定値よりも小さい撮像画像の数が複数ないと判定された場合に、ぶれ量が最小の撮像画像を前記記録手段に記録される撮像画像として特定することを特徴としている。

請求項１２に記載の発明は、請求項１〜１１の何れか一項に記載の画像選択装置において、
前記評価手段による評価に基づいて前記取得手段により取得された複数の撮像画像を並び替えることを特徴としている。

請求項１３に記載の発明は、請求項１〜１２の何れか一項に記載の画像選択装置において、
前記取得手段は、所定数の画像フレームを一時記憶することができるリングバッファであることを特徴としている。

請求項１４に記載の発明は、請求項１〜１３の何れか一項に記載の画像選択装置において、
人物登録手段を更に備え、前記顔検出手段が検出した顔が前記人物登録手段に登録された人物であった場合には、前記評価手段は、当該顔に関する評価値を補正することを特徴としている。

請求項１５に記載の発明は、請求項１〜１４の何れか一項に記載の画像選択装置において、
撮像手段を更に備え、前記顔検出手段が検出した顔に応じて前記撮像手段が連続して撮像する画像の数を設定することを特徴としている。

請求項１６に記載の発明は、請求項１に記載の画像選択装置において、
前記顔検出手段により人の顔が検出されなかった場合に、前記取得手段により取得された複数の撮像画像の各々について隣合う画像に対するぶれ量を検出するぶれ検出手段を更に備え、前記特定手段は、前記ぶれ検出手段により検出されたぶれ量が最小の撮像画像を前記記録手段に記録される撮像画像として特定することを特徴としている。

請求項１７に記載の発明の画像選択方法は、
画像選択装置に、被写体を連続して撮像することで生成された複数の撮像画像を取得する処理と、取得された複数の撮像画像から人の顔を検出する処理と、検出された人の顔から目を検出する処理と、検出された目の瞬き度合いを検出する処理と、検出された瞬き度合いに基づいて、人の顔の状態を評価する処理と、人の顔の状態の評価に基づいて、取得された複数の撮像画像の中から記録手段に記録される少なくとも一の撮像画像を特定する処理と、を実行させることを特徴としている。

請求項１８に記載の発明のプログラムは、
画像選択装置のコンピュータを、被写体を連続して撮像することで生成された複数の撮像画像を取得する取得手段、この取得手段により取得された複数の撮像画像から人の顔を検出する顔検出手段、この顔検出手段により検出された人の顔から目を検出する目検出手段、この目検出手段により検出された目の瞬き度合いを検出する瞬き検出手段、この瞬き検出手段により検出された瞬き度合いに基づいて、人の顔の状態を評価する評価手段、この評価手段による評価に基づいて、前記取得手段により取得された複数の撮像画像の中から記録手段に記録される少なくとも一の撮像画像を特定する特定手段、として機能させることを特徴としている。

本発明によれば、人の顔の状態を基準として画像の選択を適正に、且つ、簡便に行うことができる。

本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 図１の撮像装置による画像選択処理に係る動作の一例を示すフローチャートである。 図２の画像選択処理の続きを示すフローチャートである。 図２の画像選択処理における瞬き検出処理に係る動作の一例を示すフローチャートである。 図４の瞬き検出処理に係る被写体の目の画像部分を模式的に示す図である。 変形例の撮像装置の概略構成を示すブロック図である。 図６の撮像装置による画像選択処理に係る動作の一例を示すフローチャートである。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
本実施形態の撮像装置１００は、連写撮影により生成された複数の画像フレームから人の顔を検出して、検出された人の顔の目の瞬き評価値を算出し、算出された瞬き評価値に基づいて人の顔の状態を評価し、当該人の顔の状態の評価に基づいて、複数の画像フレームの中から記録媒体１３に記録される一の撮像画像を特定する。
具体的には、図１に示すように、撮像装置１００は、レンズ部１と、電子撮像部２と、撮像制御部３と、画像データ生成部４と、画像メモリ５と、顔検出部６と、目検出部７と、笑顔検出部８と、瞬き検出部９と、ぶれ検出部１０と、画像特定部１１と、現像部１２と、記録媒体１３と、表示制御部１４と、表示部１５と、操作入力部１６と、ＣＰＵ１７とを備えている。
また、撮像制御部３と、顔検出部６と、目検出部７と、笑顔検出部８と、瞬き検出部９と、ぶれ検出部１０と、画像特定部１１と、現像部１２と、ＣＰＵ１７は、例えば、カスタムＬＳＩ１Ａとして設計されている。

レンズ部１は、複数のレンズから構成され、ズームレンズやフォーカスレンズ等を備えている。
また、レンズ部１は、図示は省略するが、被写体の撮像の際に、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えていても良い。

電子撮像部２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部１の各種レンズを通過した光学像を二次元の画像信号に変換する。

撮像制御部３は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部３は、タイミング発生器、ドライバにより電子撮像部２を走査駆動して、所定周期毎に光学像を電子撮像部２により二次元の画像信号に変換させ、当該電子撮像部２の撮像領域から１画面分ずつ画像フレームを読み出して画像データ生成部４に出力させる。
また、撮像制御部３は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体を撮像する際の条件の調整制御を行う。

このように構成された撮像レンズ部１、電子撮像部２及び撮像制御部３は、撮像手段として、被写体を所定のフレームレート（例えば、３ｆｐｓや１０ｆｐｓ）で連続して撮像して複数（例えば、２０枚）の画像フレームを逐次生成して取得する。

画像データ生成部４は、電子撮像部２から転送された画像フレームのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換してＲＡＷ画像データを生成する。また、画像データ生成部４は、ＲＡＷ画像データの輝度信号を水平及び垂直ともに所定倍率で縮小処理を行って低解像度の縮小輝度画像データを生成する。
ＲＡＷ画像データ及び縮小輝度画像データは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用される画像メモリ５にＤＭＡ転送される。

画像メモリ５は、例えば、ＤＲＡＭ等により構成され、顔検出部６、目検出部７、笑顔検出部８、瞬き検出部９、ぶれ検出部１０、画像特定部１１、ＣＰＵ１７等によって処理されるデータ等を一時記憶する。

顔検出部６は、複数の画像フレームの各々の縮小輝度画像データから所定の顔検出方法を用いて人の顔を検出する。具体的には、顔検出部６は、画像メモリ５に一時記憶された縮小輝度画像データに基づいて、各画像フレームから顔画像領域を検出し、検出した顔画像領域内の画像情報を顔枠情報として生成する。なお、顔検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
ここで、顔検出部６は、複数の撮像画像から人の顔を検出する顔検出手段を構成している。

また、顔検出処理にて顔が検出されなかった画像フレームについては、前後の画像フレームのうち、最も直近にて顔検出された顔画像領域の座標を元に当該顔検出されなかった画像フレームにて顔枠情報を設定する。
つまり、連写撮影は撮像間隔が極めて短時間であることから、何れか一の画像フレームから顔が検出された場合には、その前後の画像フレームにも人の顔が存在しているとみなすことができ、顔が検出された画像フレームの顔画像領域の座標（例えば、矩形枠の四隅の座標）を利用して、顔検出されなかった画像フレームにおいても顔枠情報を設定する。

目検出部７は、顔検出部６により生成された各画像フレームの顔枠情報に基づいて、人の顔の目を検出する。具体的には、目検出部７は、各画像フレームの顔枠情報に基づいて、各画像フレームの全ての人の左右両目を検出して、その中心座標を算出する。なお、目検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
ここで、目検出部７は、顔検出部６により検出された人の顔から目を検出する目検出手段を構成している。

また、目検出部７は、信頼度算出部７ａと、有効性判定部７ｂとを具備している。
信頼度算出部７ａは、信頼度算出手段として、目検出部７による目の検出に係る検出信頼度を算出する。具体的には、信頼度算出部７ａは、例えば、顔検出枠が不適切である場合や顔が横を向いている場合などに信頼度を低下させるように調整された検出信頼度を算出する。
有効性判定部７ｂは、有効性判定手段として、信頼度算出部７ａにより算出された検出信頼度が所定の閾値以下であるか否かに応じて当該信頼度に係る目が検出された顔の有効性を判定する。そして、有効性判定部７ｂは、検出信頼度が所定の閾値以下である場合には、当該目検出に係る顔をＮＧ判定として、目検出が有効でない顔とすることで、その後の瞬き検出処理（後述）や笑顔検出処理（後述）にて利用されないようにする。一方、有効性判定部７ｂは、検出信頼度が所定の閾値よりも大きい場合には、当該目検出に係る顔をＯＫ判定として、目検出が有効である顔とすることで、その後の瞬き検出処理や笑顔検出処理にて利用する。

笑顔検出部８は、目検出部７により検出された目の位置情報に基づいて、当該目が検出された顔の笑顔度合いを検出する。具体的には、笑顔検出部８は、連続撮影により生成された全ての画像フレームの縮小輝度画像データについて、有効性判定部７ｂにより有効であると判定された人の顔の左右両目の座標情報に基づいて、縮小輝度画像内で口の位置を探索して、口角が上がっている度合いに応じて笑顔値を算出する。
ここで、笑顔検出部８は、目検出部７により検出された目の位置情報に基づいて、当該目が検出された顔の笑顔値（笑顔度合い）を検出する笑顔検出手段を構成している。

瞬き検出部９は、目検出部７により検出された目の瞬き度合いを検出する。具体的には、瞬き検出部９は、連続撮影により生成された全ての画像フレームの縮小輝度画像データについて、有効性判定部７ｂにより有効であると判定された人の顔の左右両目の座標情報に基づいて縮小輝度画像上に瞬き検出ウィンドウＷ（図５（ａ）参照）を設定して、当該ウィンドウ内の各カラムＣ（図５（ｂ）参照）について評価値を算出し、最小の評価値の補数を瞬き評価値として算出する。これにより、瞬き評価値は、値が大きい程目が開いていることを表すものとする。
なお、瞬き検出処理の具体的な処理内容については、後述する（図４参照）。
ここで、瞬き検出部９は、目検出部７により検出された目の瞬き評価値（瞬き度合い）を検出する瞬き検出手段を構成している。

また、瞬き検出部９は、検出した瞬き評価値を隣接画像との間で平滑化する平滑化部９ａを具備している。具体的には、平滑化部９ａは、連写撮影の際の撮像フレームレートが所定値（例えば、１０ｆｐｓ）以上である場合に、検出した各画像フレームの瞬き評価値を隣接する前後の画像フレームの瞬き評価値との間で加算平均して平滑化する。即ち、撮像フレームレート（連写速度）が所定値以上の場合、隣合う画像フレームとの間で相関が高くなることから、目が全開の画像フレームと全閉の画像フレームの中間に、目が半開きの画像フレームがある場合に、当該画像フレームの瞬き評価値の値が多少ぶれても中間値になり易くすることができる。
ここで、平滑化部９ａは、撮像フレームレートが所定値以上である場合に、検出された瞬き評価値（瞬き度合い）を隣接画像間で平滑化する平滑化手段を構成している。

また、瞬き検出部９は、笑顔検出部８により検出された笑顔値に応じて、検出された瞬き評価値を補正する瞬き補正部９ｂを具備している。具体的には、瞬き補正部９ｂは、笑顔値が所定の閾値以上であるか否かを判定し、当該判定の結果、笑顔値が所定の閾値以上であると判定された場合、瞬き評価値を下記式に従って加点する。
瞬き評価値 ＋ = k ＊ (笑顔値 - 閾値)
ここで、kは所定の定数である。
即ち、人の顔は一般的に笑うと目が細くなる傾向にあるので、笑顔値が所定の閾値以上である場合、半開きの目が全開となる程度に評価されるように瞬き評価値をより適正な値に補正する。
ここで、瞬き補正部９ｂは、笑顔検出部８により検出された笑顔値に応じて、検出された瞬き評価値（瞬き度合い）を補正する瞬き補正手段を構成している。

また、瞬き検出部９は、検出された各人毎の瞬き度合いに基づいて、当該人の目が開いているか否かの判定に係る閾値を算出する閾値算出部９ｃを具備している。
ここで、瞬き評価値は、目の大きさ、睫毛の濃さ等の各人の特性に依存するところが大きいので、閾値算出部９ｃは各人毎に瞬き判定用の閾値を設定する。また、目が開いている状態を正確に区別可能な閾値を設定することは難しいことから、閾値算出部９ｃは各人毎に上位から一定割合に位置する瞬き評価値を仮閾値Th1として設定して、当該仮閾値Th1以上であれば瞬き判定ＯＫと判断する構成とする。
なお、瞬き判定用の閾値は、目が半開き状態を瞬き判定ＯＫと判断しないように極力大きく設定した方が好ましいが、大きくして閾値を厳しく設定し過ぎると、集合写真のように撮影人数が多い場合に、全員揃って目が開いていると判定される画像を選出できなくなる虞がある。そこで、閾値算出部９ｃは、撮影人数に応じて閾値を変化させるように設定する。例えば、目検出された画像フレームのうち、所定の割合（例えば、割合Ｎ）の画像フレームが残るように各人毎にＮ^(1/人数)の割合に位置する上位評価値を仮閾値Th1として設定する。具体的には、例えば、被写体として３人が画角内に入っている連写画像について、瞬き検出による選択によって最終的に全体の２割の画像を残したい場合、各人毎に0.2^(1/3) ≒ 0.58で、上位から約６割に位置する瞬き評価値を瞬き判定ＯＫと判断する仮閾値Th1として設定する。
さらに、閾値が対象人の瞬き評価値の最大値に近過ぎる場合や離れ過ぎている場合は、閾値として不適切であると考えられるので、閾値算出部９ｃは、瞬き評価値の最大値を基準として、所定の指定値によって仮閾値Th1の上限値及び下限値のクリップ処理を下記式に従って行うことで瞬き判定用の本閾値Th2を算出する。
If (Th1 > Bmax - Ofst1) Th2 = Bmax - Ofst1;
else if (Th1 < Bmax + Ofst2) Th2 = Bmax + Ofst2;
else Th2 = Th1;
ここで、Bmaxは、各人毎の瞬き評価値の最大値であり、Ofst1は、上限クリップオフセットであり、Ofst2は、下限クリップオフセットであり、Th1は、瞬き判定用の仮閾値であり、Th2は、瞬き判定用の本閾値である。
このように、閾値算出部９ｃは、検出された各人毎の瞬き評価値（瞬き度合い）に基づいて、当該人の目が開いているか否かの判定に係る本閾値Th2を算出する閾値算出手段を構成している。

また、瞬き検出部９は、連写撮影により生成された複数の画像フレームの縮小輝度画像データについて各人の目が開いているか否か判定する瞬き判定部９ｄを具備している。具体的には、瞬き判定部９ｄは、閾値算出部９ｃにより算出された瞬き判定用の本閾値Th2と各画像フレームの各人の瞬き評価値とを比較して、当該瞬き評価値が本閾値Th2以上であるか否かを判定し、当該判定の結果、瞬き評価値が本閾値Th2以上であると判定された場合、瞬き判定ＯＫ（目が開いている）と判断し、一方、瞬き評価値が本閾値Th2よりも小さいと判定された場合、瞬き判定ＮＧ（目が閉じている）と判断する。
ここで、瞬き判定部９ｄは、閾値算出部９ｃにより算出された瞬き判定用の本閾値Th2に基づいて、連写撮影により生成された複数の画像フレームについて各人の目が開いているか否か判定する瞬き判定手段を構成している。

ぶれ検出部１０は、連写撮影により生成された複数の画像フレームの各々について隣合う画像フレームに対するぶれ評価値（ぶれ量）を検出する。具体的には、ぶれ検出部１０は、連写撮影により生成された複数の画像フレームの縮小輝度画像データから顔検出処理にて人の顔が検出されなかった場合や何れかの画像フレームから人の顔が検出されたが目検出が有効である顔数が０であった場合に、各画像フレームを所定の領域にブロック分割して、各ブロック毎に隣合う画像フレームの同一位置のブロックとの間で差分を算出し、その差分値が全ブロックの中で最大のものを当該画像フレームのぶれ評価値とする。
ここで、ぶれ検出部１０は、顔検出部６により人の顔が検出されなかった場合に、連写撮影により生成された複数の画像フレームの各々について隣合う画像フレームに対するぶれ評価値（ぶれ量）を検出するぶれ検出手段を構成している。

画像特定部１１は、瞬き検出部９により算出された瞬き評価値に基づいて人の顔の状態を評価し、当該評価に基づいて、連写撮影により生成された複数のＲＡＷ画像データの中から記録媒体１３に記録される一の撮像画像を特定する。具体的には、画像特定部１１は、連写撮影された複数の画像フレームの縮小輝度画像データの中で目を閉じている顔数を判定する画像判定部１１ａを具備している。
画像判定部１１ａは、第１画像判定手段として、瞬き判定部９ｄによる判定結果に基づいて、連写撮影により生成された複数の画像フレームの縮小輝度画像データの中で目を閉じている顔数が最小の画像フレームが複数あるか否かを判定する（第１判定処理）。また、画像判定部１１ａは、第２画像判定手段として、第１判定処理にて目を閉じている顔数が最小の画像フレームが複数あると判定された場合に、当該目を閉じている顔数が０であるか否かを判定する（第２判定処理）。
そして、画像特定部１１は、画像判定部１１ａの判定結果に応じて記録媒体１３に記録される一の撮像画像を特定する。即ち、画像特定部１１は、第１判定処理にて目を閉じている顔数が最小の画像フレームが複数ないと判定された場合に、当該画像フレームに係るＲＡＷ画像データを記録媒体１３に記録される一の撮像画像として特定する。
また、画像特定部１１は、第２判定処理にて目を閉じている顔数が０であると判定された場合に、複数ある目を閉じている顔数が最小の画像フレームの中で、瞬き検出部９により検出された各人毎の瞬き評価値に基づいて当該瞬き評価値が最も高い一の画像フレームを特定して、当該画像フレームに係るＲＡＷ画像データを記録媒体１３に記録される一の撮像画像として特定する。一方、画像特定部１１は、第２判定処理にて目を閉じている顔数が０ではないと判定された場合に、複数ある目を閉じている顔数が最小の画像フレームの中で、笑顔検出部８により検出された笑顔値に基づいて当該笑顔値が最も高い一の画像フレームを特定して、当該画像フレームに係るＲＡＷ画像データを記録媒体１３に記録される一の撮像画像として特定する。

また、画像特定部１１は、全ての画像フレームから顔検出部６により人の顔が検出されなかった場合や何れかの画像フレームから人の顔が検出されたが目検出が有効である顔数が０であった場合に、ぶれ検出部１０により検出されたぶれ評価値が最小の画像フレームに係るＲＡＷ画像データを記録媒体１３に記録される一の撮像画像として特定する。

このように、画像特定部１１は、瞬き検出部９により算出された瞬き評価値（瞬き度合い）に基づいて、人の顔の状態を評価する評価手段を構成している。また、画像特定部１１は、人の顔の状態の評価に基づいて、連写撮影により生成された複数のＲＡＷ画像データの中から記録媒体１３に記録される少なくとも一の撮像画像を特定する特定手段を構成している。

現像部１２は、画像特定部１１により特定されたＲＡＷ画像データに対してカラープロセス回路（図示略）で画素補間処理及びγ補正処理等を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。

記録媒体１３は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、現像部１２のＪＰＥＧ圧縮部（図示略）により符号化された撮像画像の記録用の画像データを記憶保存する。

表示制御部１４は、画像メモリ５に一時的に記憶されている表示用の画像データを読み出して表示部１５に表示させる制御を行う。
具体的には、表示制御部１４は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、ＣＰＵ１７の制御下にて画像メモリ５から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部１５に出力する。

表示部１５は、例えば、液晶表示装置であり、表示制御部１４からのビデオ信号に基づいて電子撮像部２により撮像された画像などを表示画面に表示する。具体的には、表示部１５は、撮像モードにて、撮像レンズ部１、電子撮像部２及び撮像制御部３による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示したり、本撮像画像として撮像されたレックビュー画像を表示する。

操作入力部１６は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部１６は、被写体の撮影指示に係るシャッタボタン１６ａ、撮像モードの選択指示に係るモードボタン１６ｂ、ズーム量の調整指示に係るズームボタン（図示略）等を備え、これらのボタンの操作に応じて所定の操作信号をＣＰＵ１７に出力する。

ＣＰＵ１７は、撮像装置１００の各部を制御するものである。具体的には、ＣＰＵ１７は、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行うものである。

次に、撮像装置１００による画像選択方法に係る画像選択処理について、図２〜図５を参照して説明する。
図２及び図３は、画像選択処理に係る動作の一例を示すフローチャートである。また、図４は、画像選択処理における瞬き検出処理に係る動作の一例を示すフローチャートである。また、図５（ａ）は、瞬き検出ウィンドウＷと被写体の左右両目の画像部分を模式的に示す図であり、図５（ｂ）は、瞬き検出ウィンドウＷを拡大して模式的に示す図である。

画像選択処理は、ユーザによる操作入力部１６のモードボタン１６ｂの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から画像自動選択モードが選択指示された場合に実行される処理である。
図２に示すように、先ず、ＣＰＵ１７は、ユーザによる操作入力部１６のシャッタボタン１６ａの所定操作に基づいて連写撮像指示が入力されると、撮像制御部３に、フォーカスレンズの合焦位置や露出条件（シャッター速度、絞り、増幅率等）やホワイトバランス等の撮像条件を調整させて、被写体の光学像を電子撮像部２により所定の撮像フレームレート（例えば、１０ｆｐｓ）で連続して所定枚数（例えば、２０枚）撮像させる連写撮影を行わせる（ステップＳ１）。そして、ＣＰＵ１７は、画像データ生成部４に、電子撮像部２から転送された被写体の各画像フレームのＲＡＷ画像データ及び縮小輝度画像データを生成させて、これらの画像データを画像メモリ５に一時記憶させる（ステップＳ２）。

そして、ＣＰＵ１７は、顔検出部６に、各画像フレームの縮小輝度画像データから所定の顔検出方法を用いて人の顔を検出させ、検出された顔画像領域内の画像情報を顔枠情報として生成させる（ステップＳ３）。
続けて、ＣＰＵ１７は、顔検出処理にて検出された顔検出数が０（ゼロ）であるか否か、即ち、全ての画像フレームから顔検出されなかったか否かを判定する（ステップＳ４）。ここで、顔検出数が０ではないと判定されると（ステップＳ４；ＮＯ）、ＣＰＵ１７は、各画像フレームから検出された顔枠情報に基づいて、人の顔の各々に対して人ＩＤを割り当てる処理を行う（ステップＳ５）。ここで、人ＩＤの割り当ては、隣合う画像フレームの顔枠情報どうしで、それぞれの顔枠の中心の距離が何れかの顔枠の大きさ（例えば、横幅や縦幅）に対して所定割合（例えば、５割程度）以内であれば、その顔枠は同一人であると判断して行う。ここで、ＣＰＵ１７は、顔検出処理にて顔が検出されなかった画像フレームについては、前後の画像フレームのうち、最も直近にて顔検出された顔画像領域を取得して、当該顔画像領域の座標を元に当該顔検出されなかった画像フレームにて顔枠情報を設定することで、全ての画像フレームについて人ＩＤを設定する。

次に、ＣＰＵ１７は、目検出部７に、顔検出部６により生成された各画像フレームの顔枠情報に基づいて、人の左右両目を検出させて、その中心座標を算出させるとともに、目検出部７の信頼度算出部７ａに、当該目検出に係る検出信頼度を算出させる（ステップＳ６）。
続けて、ＣＰＵ１７は、目検出部７の有効性判定部７ｂに、信頼度算出部７ａにより算出された検出信頼度が所定の閾値以下であるか否かに応じて当該信頼度に係る目が検出された顔の有効性を判定させる（ステップＳ７）。具体的には、有効性判定部７ｂは、検出信頼度が所定の閾値以下である場合には、当該目検出に係る顔をＮＧ判定として、目検出が有効でない顔とする一方で、検出信頼度が所定の閾値よりも大きい場合には、当該目検出に係る顔をＯＫ判定として、目検出が有効である顔とする。

続けて、ＣＰＵ１７は、有効性判定部７ｂの判定結果に基づいて、目検出が有効である顔数（目検出有効顔数）が０（ゼロ）であるか否かを判定する（ステップＳ８）。
ここで、目検出有効顔数が０であると判定されると（ステップＳ８；ＹＥＳ）、ＣＰＵ１７は、ぶれ検出部１０に、複数の画像フレームの各々を所定の領域にブロック分割して、各ブロック毎に隣合う画像フレームの同一位置のブロックとの間で差分を算出し、その差分値が全ブロックの中で最大のものを当該画像フレームの評価値とするぶれ検出処理を行わせる（ステップＳ９）。また、ステップＳ４にて、顔検出数が０であると判定された場合にも（ステップＳ４；ＹＥＳ）、ＣＰＵ１７は、処理をステップＳ９に移行させて、ぶれ検出処理を行わせる。
その後、ＣＰＵ１７は、ぶれ検出部１０により検出されたぶれ評価値が最小の画像フレームに係るＲＡＷ画像データを画像特定部１１に特定させた後（ステップＳ１０）、画像特定部１１により特定されたＲＡＷ画像データの現像処理を現像部１２に行わせて、当該画像データをＪＰＥＧ形式で符号化して記録媒体１３に保存させる（ステップＳ１１）。

一方、ステップＳ８にて、目検出有効顔数が０ではないと判定されると（ステップＳ８；ＮＯ）、ＣＰＵ１７は、瞬き検出部９に瞬き検出処理を実行させる（ステップＳ１２）。

ここで、瞬き検出処理について図４並びに図５（ａ）及び図５（ｂ）を参照して詳細に説明する。
図４に示すように、瞬き検出部９は、有効性判定部７ｂにより有効であると判定された人の顔の左右両目の座標情報に基づいて各人の左右両目の平均距離Deを算出する（ステップＳ３１）。
続けて、瞬き検出部９は、全ての画像フレームの縮小輝度画像データに基づいて、各縮小輝度画像上に瞬き検出ウィンドウＷ（図５（ａ）参照）を設定する（ステップＳ３２）。ここで、瞬き検出ウィンドウＷの大きさWlenは、下記式に従って両目の平均距離Deに対して所定の割合となるように係数Wratioを乗算することで決定する。
Wlen = De ＊ Wratio
なお、瞬き検出ウィンドウＷの中心位置は、目検出で得られた両目の座標値に設定する。

次に、瞬き検出部９は、設定された瞬き検出ウィンドウＷを左右方向（Ｘ軸方向）に所定間隔で分割する各カラムＣ（図５（ｂ）参照）について評価値を算出する（ステップＳ３３）。具体的には、瞬き検出部９は、各カラムＣについて、上下方向（Ｙ軸方向）の画素値を輝度の低い順にソートして、上位から一定割合の画素値を平均した値を各カラムＣの評価値として算出する。これにより、瞬きをして黒目領域が減ったり、光の反射で黒目の中央に近い場所に白い領域がでたり、顔のぶれにより黒目がボケた場合であっても、黒目の上下方向に長い箇所で評価値が上がるため、一番長い箇所の黒目の値を取得することができる。
続けて、瞬き検出部９は、全てのカラムＣの評価値の仲から最小の評価値を特定した後（ステップＳ３４）、目が開いている時に評価値が高くなるように当該最小の評価値の補数を瞬き評価値として算出する（ステップＳ３５）。

次に、瞬き検出部９は、連写撮影の際の撮像フレームレートが所定値（例えば、１０ｆｐｓ）以上であるか否かを判定する（ステップＳ３６）。ここで、撮像フレームレートが所定値以上であると判定されると（ステップＳ３６；ＹＥＳ）、瞬き検出部９の平滑化部９ａは、各画像フレームの瞬き評価値を隣接する前後の画像フレームの瞬き評価値との間で加算平均して平滑化する（ステップＳ３７）。これにより、目が全開の画像フレームと全閉の画像フレームの中間に、目が半開きの画像フレームがある場合、当該画像フレームの瞬き評価値の値が多少ぶれても中間値になり易くすることができる。
一方、撮像フレームレートが所定値よりも小さい場合には（ステップＳ３６；ＮＯ）、隣合う画像フレームとの間で時間が空いてしまい相関が低くなることから、平滑化処理を行わずに、ステップＳ３６で算出された瞬き評価値を最終の評価値とする。
これにより、瞬き検出処理を終了する。

図３に示すように、ＣＰＵ１７は、笑顔検出部８に、人の顔の左右両目の座標情報に基づいて、縮小輝度画像内で口の位置を探索して口角が上がっている度合いに応じて笑顔値を算出させる（ステップＳ１３）。
続けて、ＣＰＵ１７は、瞬き検出部９の瞬き補正部９ｂに、笑顔検出部８により検出された笑顔値が所定の閾値以上であるか否かを判定し、当該判定の結果、笑顔値が所定の閾値以上であると判定された場合、瞬き評価値を下記式に従って加点することで当該瞬き評価値を補正させる（ステップＳ１４）。
瞬き評価値 ＋ = k ＊ (笑顔値 - 閾値)
ここで、kは所定の定数である。

次に、ＣＰＵ１７は、瞬き検出部９の閾値算出部９ｃに、各人毎に上位から一定割合に位置する瞬き評価値を仮閾値Th1として設定させる（ステップＳ１５）。具体的には、閾値算出部９ｃは、撮影人数に応じて閾値を変化させるように、例えば、目検出された画像フレームのうち、所定の割合（例えば、割合Ｎ）の画像フレームが残るように各人毎にＮ^(1/人数)の割合に位置する上位評価値を仮閾値Th1として設定する。
続けて、閾値算出部９ｃは、瞬き評価値の最大値を基準として、所定の指定値によって仮閾値Th1の上限値及び下限値のクリップ処理を下記式に従って行うことで瞬き判定用の本閾値Th2を算出する（ステップＳ１６）。
If (Th1 > Bmax - Ofst1) Th2 = Bmax - Ofst1;
else if (Th1 < Bmax + Ofst2) Th2 = Bmax + Ofst2;
else Th2 = Th1;
ここで、Bmaxは、各人毎の瞬き評価値の最大値であり、Ofst1は、上限クリップオフセットであり、Ofst2は、下限クリップオフセットであり、Th1は、瞬き判定用の仮閾値であり、Th2は、瞬き判定用の本閾値である。

次に、ＣＰＵ１７は、瞬き検出部９の瞬き判定部９ｄに、閾値算出部９ｃにより算出された瞬き判定用の本閾値Th2と各画像フレームの各人の瞬き評価値とを比較して、当該瞬き評価値が本閾値Th2以上であるか否かを判定する（ステップＳ１７）。この判定により、瞬き評価値が本閾値Th2以上であると判定された場合、瞬き判定ＯＫ（目が開いている）と判断し、一方、瞬き評価値が本閾値Th2よりも小さいと判定された場合、瞬き判定ＮＧ（目が閉じている）と判断する。

続けて、ＣＰＵ１７は、画像特定部１１に、連写撮影により生成された複数の画像フレームの縮小輝度画像データの中で目を閉じている顔数が最小の画像フレームを特定させる（ステップＳ１８）。
次に、ＣＰＵ１７は、画像特定部１１の画像判定部１１ａに、目を閉じている顔数が最小の画像フレームが複数あるか否かを判定させる（ステップＳ１９）。ここで、目を閉じている顔数が最小の画像フレームが複数ないと判定されると（ステップＳ１９；ＮＯ）、ＣＰＵ１７は、当該画像フレームに係るＲＡＷ画像データを記録媒体１３に記録される一の撮像画像として画像特定部１１に特定する（ステップＳ２０）。
その後、ＣＰＵ１７は、処理をステップＳ１１（図２参照）に移行させて、画像特定部１１により特定された目を閉じている顔数が最小の画像フレームに係るＲＡＷ画像データの現像処理を現像部１２に行わせて、当該画像データをＪＰＥＧ形式で符号化して記録媒体１３に保存させる（ステップＳ１１）。

一方、ステップＳ１９にて、目を閉じている顔数が最小の画像フレームが複数あると判定されると（ステップＳ１９；ＹＥＳ）、ＣＰＵ１７は、画像判定部１１ａに、当該目を閉じている顔数が０であるか否かを判定させる（ステップＳ２１）。
ここで、目を閉じている顔数が０であると判定されると（ステップＳ２１；ＹＥＳ）、ＣＰＵ１７は、複数ある目を閉じている顔数が最小の画像フレームの中で、瞬き検出部９により検出された各人毎の瞬き評価値に基づいて当該瞬き評価値が最も高い一の画像フレームを特定させ、当該画像フレームに係るＲＡＷ画像データを記録媒体１３に記録される一の撮像画像として画像特定部１１に特定させる（ステップＳ２２）。
その後、ＣＰＵ１７は、処理をステップＳ１１（図２参照）に移行させて、画像特定部１１により特定された瞬き評価値が最も高いＲＡＷ画像データの現像処理を現像部１２に行わせて、当該画像データをＪＰＥＧ形式で符号化して記録媒体１３に保存させる（ステップＳ１１）。

また、ステップＳ２１にて、目を閉じている顔数が０ではないと判定されると（ステップＳ２１；ＮＯ）、ＣＰＵ１７は、複数ある目を閉じている顔数が最小の画像フレームの中で、笑顔検出部８により検出された笑顔値に基づいて当該笑顔値が最も高い一の画像フレームを特定させ、当該画像フレームに係るＲＡＷ画像データを記録媒体１３に記録される一の撮像画像として画像特定部１１に特定させる（ステップＳ２３）。
その後、ＣＰＵ１７は、処理をステップＳ１１（図２参照）に移行させて、画像特定部１１により特定された笑顔値が最も高いＲＡＷ画像データの現像処理を現像部１２に行わせて、当該画像データをＪＰＥＧ形式で符号化して記録媒体１３に保存させる（ステップＳ１１）。

以上のように、本実施形態の撮像装置１００によれば、顔検出部６が連写撮影により生成された複数の画像フレームから人の顔を検出して、目検出部７が検出された人の顔から目を検出して、瞬き検出部９が検出された目の瞬き評価値を算出し、画像特定部１１が、瞬き評価値に基づいて人の顔の状態を評価し、当該人の顔の状態の評価に基づいて、複数の画像フレームの中から記録媒体１３に記録される一の撮像画像を特定する。
具体的には、顔検出部６により生成された顔枠情報に基づいて目検出部７により人の顔の目を各人毎に検出して、画像特定部１１は、目の検出信頼度が所定の閾値よりも大きく目が検出された顔が有効であると判定された人の顔の状態を各人毎に判断する。さらに、目の瞬き評価値を各人毎に瞬き検出部９により検出して、画像特定部１１は、目の位置情報に基づいて検出された当該顔の笑顔値に応じて補正された瞬き評価値に応じて各人毎に人の顔の状態を判断する。
これにより、瞬き度合いや笑顔度合い等の人の顔の状態を各人毎に総合的に判断して記録媒体１３に記録される画像の選択を適正に行うことができ、連写可能枚数が増加しても一の画像の選択を簡便に行うことができる。

また、瞬き検出処理にあっては、各人毎の瞬き評価値に基づいて、当該人の目が開いているか否かの判定に係る本閾値Th2を算出して、当該瞬き判定用の本閾値Th2に基づいて、複数の画像フレームについて各人の目が開いているか否か判定するので、各人毎に異なる目の大きさや細さや目の開き易さ等を考慮して検出した瞬き評価値から瞬き判定用の本閾値Th2を設定して、当該本閾値Th2に基づいて複数の画像フレームについて各人の目が開いているか否かを適正に判定することができる。

さらに、複数の画像フレームの中で目を閉じている顔数が最小の画像フレームが複数あるか否かを判定して、目を閉じている顔数が最小の画像フレームが複数ない、即ち、一枚であると判定された場合に、画像特定部１１は、当該画像フレームに係るＲＡＷ画像データを記録媒体１３に記録される一の撮像画像として特定するので、全ての人が目を閉じていない画像を確実に選択することができる。
また、目を閉じている顔数が最小の画像フレームが複数あると判定された場合には、当該目を閉じている顔数が０であるか否かを判定して、目を閉じている顔数が０であると判定された場合に、画像特定部１１は、複数ある目を閉じている顔数が最小の画像フレームの中で、瞬き検出部９により検出された各人毎の瞬き評価値に基づいて当該瞬き評価値が最も高い一の画像フレームを特定して、当該画像フレームに係るＲＡＷ画像データを記録媒体１３に記録される一の撮像画像として特定するので、瞬き評価値が最も高い画像を確実に選択することができる。一方、目を閉じている顔数が０ではないと判定された場合に、画像特定部１１は、複数ある目を閉じている顔数が最小の画像フレームの中で、笑顔検出部８により検出された笑顔値に基づいて当該笑顔値が最も高い一の画像フレームを特定して、当該画像フレームに係るＲＡＷ画像データを記録媒体１３に記録される一の撮像画像として特定するので、目を閉じている人がいた場合でも笑顔値が最も高い画像を確実に選択することができる。

さらに、全ての画像フレームから顔検出部６により人の顔が検出されなかった場合や何れかの画像フレームから人の顔が検出されたが目検出が有効である顔数が０であった場合に、画像特定部１１は、ぶれ検出部１０により検出されたぶれ評価値が最小の画像フレームに係るＲＡＷ画像データを記録媒体１３に記録される一の撮像画像として特定するので、最もぶれ量の小さい画像を確実に選択することができる。
これにより、瞬き度合いや笑顔度合い等の人の顔の状態だけでなく、被写体ぶれや手ぶれ画像のぶれ等も総合的に判断して記録媒体１３に記録される画像の選択を適正に、且つ、簡便に行うことができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
以下に、撮像装置１００の変形例について説明する。

＜変形例＞
この変形例の撮像装置１００は、目検出が有効である画像フレームの各々について隣合う画像に対するぶれ量を検出して、各画像フレームのぶれ量が所定値よりも小さい撮像画像の数が複数あるか否かに応じて、瞬き検出処理を行うか、或いは、ぶれ量が最小の画像フレームを記録媒体１３に記録される一の撮像画像として特定する。

図６は、変形例の撮像装置１００の概略構成を示すブロック図である。
図６に示すように、この変形例の撮像装置１００のぶれ検出部１０は、検出された各画像フレームのぶれ量を顔の位置に対するぶれの位置に応じて補正するぶれ補正部１０ａを具備している。
具体的には、ぶれ検出部１０は、何れかの画像フレームから人の顔が検出されたが目検出が有効である顔数が０でなかった場合に、各画像フレームについて隣合う画像フレームとの同一位置のブロック間で差分を算出し、その差分値が全ブロックの中で最大のものを当該画像フレームのぶれ評価値（ぶれ量）とするが、このとき、ぶれ補正部１０ａは、当該差分値が最大のブロックの位置が顔の存するブロックに対する位置から離れるに従ってぶれ評価値が低くなるように補正する。
ここで、ぶれ補正部１０ａは、ぶれ検出部１０により検出された各画像フレームのぶれ評価値（ぶれ量）を顔の位置に対するぶれの位置に応じて補正するぶれ補正手段を構成している。

また、画像特定部１１の画像判定部１１ａは、第３画像判定手段として、何れかの画像フレームから人の顔が検出されたが目検出が有効である顔数が０でなかった場合に、各画像フレームのぶれ評価値が所定のぶれ検出閾値よりも小さい画像フレームが複数あるか否かを判定する。
そして、画像特定部１１は、ぶれ評価値が所定のぶれ検出閾値よりも小さい画像フレームが複数ないと判定された場合に、ぶれ検出部１０により検出されたぶれ評価値が最小の画像フレームに係るＲＡＷ画像データを記録媒体１３に記録される一の撮像画像として特定する。

次に、変形例の撮像装置１００による画像選択処理について、図７を参照して説明する。
図７は、画像選択処理に係る動作の一例を示すフローチャートである。なお、図７の瞬き検出処理（ステップＳ１２）以降の処理は、図３に示す画像選択処理の続きを示すフローチャートに示す処理と同じであり、その詳細な説明は省略する。

図７に示すように、ＣＰＵ１７は、上記実施形態と同様に、ユーザによる操作入力部１６のシャッタボタン１６ａの所定操作に基づいて連写撮像指示が入力されると、撮像制御部３に所定の撮像条件を調整させて、被写体の光学像を電子撮像部２により所定の撮像フレームレートで連続して所定枚数撮像させる連写撮影を行わせる（ステップＳ１）。そして、ＣＰＵ１７は、上記実施形態と同様に、画像データ生成部４に、電子撮像部２から転送された被写体の各画像フレームのＲＡＷ画像データ及び縮小輝度画像データを生成させて、これらの画像データを画像メモリ５に一時記憶させる（ステップＳ２）。

そして、ＣＰＵ１７は、上記実施形態と同様に、顔検出部６に、各画像フレームの縮小輝度画像データから人の顔を検出させ、検出された顔画像領域内の画像情報を顔枠情報として生成させる（ステップＳ３）。
続けて、ＣＰＵ１７は、上記実施形態と同様に、顔検出処理にて検出された顔検出数が０（ゼロ）であるか否かを判定する（ステップＳ４）。ここで、顔検出数が０ではないと判定されると（ステップＳ４；ＮＯ）、ＣＰＵ１７は、上記実施形態と同様に、各画像フレームから検出された顔枠情報に基づいて、人の顔の各々に対して人ＩＤを割り当てた後（ステップＳ５）、目検出部７に、顔検出部６により生成された各画像フレームの顔枠情報に基づいて、人の左右両目を検出させて、その座標を算出させる（ステップＳ６）。
続けて、ＣＰＵ１７は、上記実施形態と同様に、目検出部７の有効性判定部７ｂに、目が検出された顔の有効性を判定させた後（ステップＳ７）、有効性判定部７ｂの判定結果に基づいて、目検出が有効である顔数（目検出有効顔数）が０（ゼロ）であるか否かを判定する（ステップＳ８）。

ステップＳ８にて、目検出有効顔数が０ではないと判定されると（ステップＳ８；ＮＯ）、ＣＰＵ１７は、ぶれ検出部１０に、目検出が有効である顔に係る画像フレームの各々を所定の領域にブロック分割して、各ブロック毎に隣合う画像フレームの同一位置のブロックとの間で差分を算出し、その差分値が全ブロックの中で最大のものを当該画像フレームの評価値とするぶれ検出処理を行わせる（ステップＳ４１）。このとき、ぶれ検出部１０のぶれ補正部１０ａは、差分値が最大のブロックの位置が顔の存するブロックに対する位置から離れるに従ってぶれ評価値が低くなるように補正する。

続けて、ＣＰＵ１７は、画像特定部１１に、所定のぶれ検出閾値に基づいて各画像フレームのぶれ評価値がぶれ検出閾値よりも小さい画像フレームを判別させた後（ステップＳ４２）、当該所定のぶれ検出閾値よりも小さい画像フレームが複数あるか否かを判定させる（ステップＳ４３）。
ここで、所定のぶれ検出閾値よりも小さい画像フレームが複数ないと判定されると（ステップＳ４３；ＮＯ）、ＣＰＵ１７は、上記実施形態と同様に、処理をステップＳ１０に移行させて、ぶれ検出部１０により検出されたぶれ評価値が最小の画像フレームに係るＲＡＷ画像データを画像特定部１１に特定させる（ステップＳ１０）。その後、ＣＰＵ１７は、上記実施形態と同様に、画像特定部１１により特定されたＲＡＷ画像データの現像処理を現像部１２に行わせて、当該画像データをＪＰＥＧ形式で符号化して記録媒体１３に保存させる（ステップＳ１１）。

一方、ぶれ評価値が所定のぶれ検出閾値よりも小さい画像フレームが複数あると判定されると（ステップＳ４３；ＹＥＳ）、ＣＰＵ１７は、上記実施形態と同様に、瞬き検出部９に瞬き検出処理を実行させる（ステップＳ１２）。
なお、瞬き検出処理以降の処理は、上記実施形態と同様であり、その詳細な説明は省略する。

従って、この変形例の撮像装置１００によれば、各画像フレームのぶれ評価値が所定のぶれ検出閾値よりも小さい画像フレームの数が複数あるか否かを判定して、ぶれ評価値が所定のぶれ検出閾値よりも小さい画像フレームの数が複数あると判定された場合に、瞬き検出処理を行うので、被写体ぶれや手ぶれの小さい画像フレームについて瞬き度合いや笑顔度合い等の人の顔の状態を各人毎に総合的に判断することができ、記録媒体１３に記録される画像の選択を適正に行うことができる。
また、ぶれ評価値が所定のぶれ検出閾値よりも小さい画像フレームの数が複数ないと判定された場合に、ぶれ検出部１０により検出されたぶれ評価値が最小の画像フレームに係るＲＡＷ画像データを記録媒体１３に記録される一の撮像画像として特定するので、最もぶれ量の小さい画像を確実に選択することができる。

さらに、ぶれ検出処理にて、差分値が最大のブロックの位置が顔の存するブロックに対する位置から離れるに従ってぶれ評価値が低くなるように補正するので、顔の位置に対するぶれが生じている位置の距離を考慮して、その後のぶれ評価値が所定のぶれ検出閾値よりも小さい画像フレームの数が複数あるか否かの判定を行うことができる。
即ち、多少ぶれが生じている画像フレームであっても当該ぶれの生じている位置が顔から遠い場合には、ある程度無視して瞬き判定処理等を行うことができ、より多くの画像フレームの中から記録媒体１３に記録される画像の選択を適正に行うことができる。

また、上記実施形態では、画像選択処理にて何れか一の画像データを特定するようにしたが、これに限られるものではなく、例えば、連写撮影に係る画像フレームを瞬き度合い、笑顔度合い、ぶれ度合い等に応じて評価した後、評価の高い順に並び替えて、所望の画像フレームをユーザに指定させて特定するようにしても良い。
また、評価の高い順位に全ての画像フレームに係る画像データを並び替えて記録媒体１３に記憶するようにしても良い。
さらに、上記の画像選択処理を画像再生の際に行っても良い。即ち、記録媒体１３に記録されている連写撮影に係る画像フレームを瞬き度合い、笑顔度合い、ぶれ度合い等に応じて評価した後、記録媒体１３に記録し直してもよい。更には、評価の高い順に並び替えて所定間隔を空けて再生表示するようにしても良い。

また、ライビュー画像から顔検出処理を行って、当該顔の状態に応じて連写枚数を調整しても良い。具体的には、被写体の連写撮影の際に、シャッタボタン１６ａの半押し状態で、顔検出処理を行って、顔検出された人数に応じて連写枚数を増加させるように設定しても良い。即ち、被写体として撮影される人数が多い程、全員目が開いている確率が低くなるため、連写枚数を増加させることで、全員が目を開いている画像の特定を確実に行うことができるようになる。
さらに、被写体の連写撮影の際に、シャッタボタン１６ａの半押し状態で、顔検出処理を行って、顔検出された顔の動きを追跡して顔の動きの大きさに応じて連写枚数を増加させるように設定しても良い。即ち、顔の動きが大きくなる程、顔の被写体ぶれや顔が正面を向いている確率が低くなるため、連写枚数を増加させることで、被写体ぶれの防止や顔が正面を向いた画像の特定を確実に行うことができるようになる。

さらに、画像メモリ５が、取得手段として、所定数の画像フレームを一時記憶することができるリングバッファ（図示略）を備えて、電子撮像部２により生成された複数の画像フレームを一時的に記憶して、瞬き検出処理にて全員の目が開いていると判定された場合に、自動的にシャッタを切るようにしても良い。これにより、全員が目を開いている画像の取得を確実に行うことができるようになる。

また、上記実施形態における笑顔検出処理にあっては、人の顔の笑顔度合いの評価とともに、画像全体に占める顔の大きさや顔の位置（例えば、画像全体の中央部にあるか端の方にあるか等)なども評価項目に加えて、当該項目に応じて笑顔値を補正するようにしても良い。

さらに、記録媒体１３が、人物登録手段として、人物登録データベース（図示略）を備え、当該データベースを利用して顔検出処理や人ＩＤの割り当てを行ってもよい。さらに、人物登録データベースに登録されている人物が顔検出処理にて検出された場合には、当該人物の顔の状態を他の人よりも考慮して画像選択処理を行っても良い。即ち、顔検出部６が検出した顔が人物登録データベースに登録された人物であった場合には、画像特定部１１は、当該顔に関する評価値を補正するようにしても良い。例えば、当該人物の瞬き検出処理や笑顔検出処理の判定用の閾値をそれぞれより厳しくするとともに他の人の閾値を甘くすることで、少なくとも当該人物の目が開いていたり笑顔である画像を特定することができる。

また、人ＩＤの割り当ての際に、何れか一の画像フレームから顔検出された場合には、検出された顔枠情報をテンプレートとして他の画像フレームから顔検出処理を行うようにしても良い。これにより、全ての画像フレームから人の顔を確実に検出することができ、その後の目検出処理や笑顔検出処理や瞬き検出処理の精度をより向上させることができる。

さらに、顔検出処理及び目検出処理を行う際に、何れか一の画像フレームから人の顔の左右両目を検出し、当該目周辺部の領域をテンプレートとして隣接画像間でテンプレートマッチングを行って成功した場合に、顔検出処理と目検出処理の動作をスキップするようにしても良い。

また、画像選択処理にて、全員の目が開いている画像が見つからなかった場合には、最も評価の高い画像を特定して、当該画像の目の閉じている人については、他の目の開いている画像フレームから目周辺部を切り取って、当該目周辺部を最も評価の高い画像に合成するようにしても良い。

また、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。即ち、画像選択装置として、撮像装置１００を例示したが、これに限られるものではい。例えば、連写撮影は当該撮像装置１００とは異なる撮像装置にて行い、この撮像装置から転送された画像データのみを記録して、画像選択処理のみを実行する画像選択装置であっても良い。

加えて、上記実施形態にあっては、取得手段、顔検出手段、目検出手段、瞬き検出手段、評価手段、特定手段としての機能を、ＣＰＵ１７の制御下にて、電子撮像部２、撮像制御部３、顔検出部６、目検出部７、瞬き検出部９、画像特定部１１が駆動することにより実現される構成としたが、これに限られるものではなく、ＣＰＵ１７によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、顔検出処理ルーチン、目検出処理ルーチン、瞬き検出処理ルーチン、評価処理ルーチン、特定処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンによりＣＰＵ１７に、被写体を連続して撮像することで生成された複数の撮像画像を取得させるようにしても良い。また、顔検出処理ルーチンによりＣＰＵ１７に、連写撮影により生成された複数の撮像画像から人の顔を検出させるようにしても良い。また、目検出処理ルーチンによりＣＰＵ１７に、顔検出処理にて検出された人の顔から目を検出させるようにしても良い。また、瞬き検出処理ルーチンによりＣＰＵ１７に、目検出処理にて検出された目の瞬き度合いを検出させるようにしても良い。また、評価処理ルーチンによりＣＰＵ１７に、瞬き検出処理にて検出された瞬き度合いに基づいて、人の顔の状態を評価させるようにしても良い。また、特定処理ルーチンによりＣＰＵ１７に、人の顔の状態の評価に基づいて、取得済みの複数の撮像画像の中から記録媒体１３に記録される少なくとも一の撮像画像を特定させるようにしても良い。

１００ 撮像装置
１ レンズ部
２ 電子撮像部
３ 撮像制御部
６ 顔検出部
７ 目検出部
７ａ 信頼度算出部
７ｂ 有効性判定部
８ 笑顔検出部
９ 瞬き検出部
９ａ 平滑化部
９ｂ 瞬き補正部
９ｃ 閾値算出部
９ｄ 瞬き判定部
１０ ぶれ検出部
１０ａ ぶれ補正部
１１ 画像特定部
１１ａ 画像判定部
１３ 記録媒体
１７ ＣＰＵ

Claims (18)

1. 被写体を連続して撮像することで生成された複数の撮像画像を取得する取得手段と、
   この取得手段により取得された複数の撮像画像から人の顔を検出する顔検出手段と、
   この顔検出手段により検出された人の顔から目を検出する目検出手段と、
   この目検出手段により検出された目の瞬き度合いを検出する瞬き検出手段と、
   この瞬き検出手段により検出された瞬き度合いに基づいて、人の顔の状態を評価する評価手段と、
   この評価手段による評価に基づいて、前記取得手段により取得された複数の撮像画像の中から記録手段に記録される少なくとも一の撮像画像を特定する特定手段と、
   を備えたことを特徴とする画像選択装置。
2. 前記瞬き検出手段により検出された各人毎の瞬き度合いに基づいて、当該人の目が開いているか否かの判定に係る閾値を算出する閾値算出手段と、
   この閾値算出手段により算出された閾値に基づいて、前記取得手段により取得された複数の撮像画像について各人の目が開いているか否か判定する瞬き判定手段と、を更に備えることを特徴とする請求項１に記載の画像選択装置。
3. 前記瞬き判定手段による判定結果に基づいて、前記取得手段により取得された複数の撮像画像の中で目を閉じている顔数が最小の撮像画像が複数あるか否かを判定する第１画像判定手段を更に備え、
   前記特定手段は、
   前記第１画像判定手段によって目を閉じている顔数が最小の撮像画像が複数ないと判定された場合に、当該撮像画像を前記記録手段に記録される一の撮像画像として特定することを特徴とする請求項２に記載の画像選択装置。
4. 前記第１画像判定手段によって目を閉じている顔数が最小の撮像画像が複数あると判定された場合に、当該目を閉じている顔数が０であるか否かを判定する第２画像判定手段を更に備え、
   前記特定手段は、
   前記第２画像判定手段によって目を閉じている顔数が０であると判定された場合に、前記瞬き検出手段により検出された各人毎の瞬き度合いに基づいて、前記記録手段に記録される撮像画像を特定することを特徴とする請求項３に記載の画像選択装置。
5. 前記目検出手段により検出された目の位置情報に基づいて、当該目が検出された顔の笑顔度合いを検出する笑顔検出手段と、
   この笑顔検出手段により検出された笑顔度合いに応じて、前記瞬き検出手段により検出された瞬き度合いを補正する瞬き補正手段と、を更に備え、
   前記特定手段は、
   前記瞬き補正手段により補正された瞬き度合いに応じて、人の顔の状態を判断することを特徴とする請求項１〜４の何れか一項に記載の画像選択装置。
6. 前記目検出手段により検出された目の位置情報に基づいて、当該目が検出された顔の笑顔度合いを検出する笑顔検出手段と、
   前記第１画像判定手段によって目を閉じている顔数が最小の撮像画像が複数あると判定された場合に、当該目を閉じている顔数が０であるか否かを判定する第２画像判定手段と、を更に備え、
   前記特定手段は、
   前記第２画像判定手段によって目を閉じている顔数が０ではないと判定された場合に、前記笑顔検出手段により検出された笑顔度合いに基づいて、前記記録手段に記録される撮像画像を特定することを特徴とする請求項３に記載の画像選択装置。
7. 前記目検出手段による目の検出の信頼度を算出する信頼度算出手段と、
   この信頼度算出手段により算出された信頼度が所定の閾値以下であるか否かに応じて当該信頼度に係る目が検出された顔の有効性を判定する有効性判定手段と、を更に備え、
   前記特定手段は、
   前記有効性判定手段により有効であると判定された人の顔の状態を判断することを特徴とする請求項１〜６の何れか一項に記載の画像選択装置。
8. 撮像フレームレートが所定値以上である場合に、前記瞬き検出手段により検出された瞬き度合いを隣接画像間で平滑化する平滑化手段を更に備え、
   前記特定手段は、
   前記平滑化手段により平滑化された瞬き度合いに応じて、人の顔の状態を判断することを特徴とする請求項１〜７の何れか一項に記載の画像選択装置。
9. 前記取得手段により取得された複数の撮像画像のうち、前記有効性判定手段により顔が有効であると判定された撮像画像の各々について隣合う画像に対するぶれ量を検出するぶれ検出手段と、
   このぶれ検出手段により検出された各撮像画像のぶれ量が所定値よりも小さい撮像画像の数が複数あるか否かを判定する第３画像判定手段と、を更に備え、
   前記瞬き検出手段は、
   前記第３画像判定手段によりぶれ量が所定値よりも小さい撮像画像の数が複数あると判定された場合に、前記目検出手段により検出された目の瞬き度合いを検出することを特徴とする請求項７に記載の画像選択装置。
10. 前記ぶれ検出手段により検出された各撮像画像のぶれ量を顔の位置に対するぶれの位置に応じて補正するぶれ補正手段を更に備え、
    前記画像特定手段は、
    前記ぶれ補正手段により補正された各撮像画像のぶれ量に基づいて、ぶれ量が所定値よりも小さい撮像画像を特定することを特徴とする請求項９に記載の画像選択装置。
11. 前記特定手段は、
    前記第３画像判定手段によりぶれ量が所定値よりも小さい撮像画像の数が複数ないと判定された場合に、ぶれ量が最小の撮像画像を前記記録手段に記録される撮像画像として特定することを特徴とする請求項９又は１０に記載の画像選択装置。
12. 前記評価手段による評価に基づいて前記取得手段により取得された複数の撮像画像を並び替えることを特徴とする請求項１〜１１の何れか一項に記載の画像選択装置。
13. 前記取得手段は、所定数の画像フレームを一時記憶することができるリングバッファであることを特徴とする請求項１〜１２の何れか一項に記載の画像選択装置。
14. 人物登録手段を更に備え、
    前記顔検出手段が検出した顔が前記人物登録手段に登録された人物であった場合には、前記評価手段は、当該顔に関する評価値を補正することを特徴とする請求項１〜１３の何れか一項に記載の画像選択装置。
15. 撮像手段を更に備え、前記顔検出手段が検出した顔に応じて前記撮像手段が連続して撮像する画像の数を設定することを特徴とする請求項１〜１４の何れか一項に記載の画像選択装置。
16. 前記顔検出手段により人の顔が検出されなかった場合に、前記取得手段により取得された複数の撮像画像の各々について隣合う画像に対するぶれ量を検出するぶれ検出手段を更に備え、
    前記特定手段は、
    前記ぶれ検出手段により検出されたぶれ量が最小の撮像画像を前記記録手段に記録される撮像画像として特定することを特徴とする請求項１に記載の画像選択装置。
17. 画像選択装置に、
    被写体を連続して撮像することで生成された複数の撮像画像を取得する処理と、
    取得された複数の撮像画像から人の顔を検出する処理と、
    検出された人の顔から目を検出する処理と、
    検出された目の瞬き度合いを検出する処理と、
    検出された瞬き度合いに基づいて、人の顔の状態を評価する処理と、
    人の顔の状態の評価に基づいて、取得された複数の撮像画像の中から記録手段に記録される少なくとも一の撮像画像を特定する処理と、
    を実行させることを特徴とする画像選択方法。
18. 画像選択装置のコンピュータを、
    被写体を連続して撮像することで生成された複数の撮像画像を取得する取得手段、
    この取得手段により取得された複数の撮像画像から人の顔を検出する顔検出手段、
    この顔検出手段により検出された人の顔から目を検出する目検出手段、
    この目検出手段により検出された目の瞬き度合いを検出する瞬き検出手段、
    この瞬き検出手段により検出された瞬き度合いに基づいて、人の顔の状態を評価する評価手段、
    この評価手段による評価に基づいて、前記取得手段により取得された複数の撮像画像の中から記録手段に記録される少なくとも一の撮像画像を特定する特定手段、
    として機能させることを特徴とするプログラム。

Images