JP2012060292A - 画像処理装置、画像選択方法、及び、プログラム - Google Patents

Abstract

【課題】連続して撮像された複数の画像において、特定の人物の存する画像の選択処理を適正に行う。
【解決手段】撮像装置１００であって、特定の人物を含む複数の人が存する複数の画像を連続して撮像することにより取得する画像取得部６ａと、特定の人物が有する特徴部（顔画像）を優先度と対応付けて複数の人物について記憶した人物登録ＤＢ７（第１登録テーブルＴ１）と、画像取得部により取得された複数の画像において、人物登録に記憶された優先度に基づいて特徴部（顔画像）を夫々検出する顔検出部５と、この顔検出部によって夫々検出された特徴部（顔画像）を、第１登録テーブルに記憶されている特徴部（顔画像）に基づいて夫々笑顔度を評価し、評価値を算出する評価値算出部ｂ１と、この評価値算出部によって算出された評価値に基づいて記録すべき撮像画像を選択する画像選択部６ｂとを備える。
【選択図】図１

Description

本発明は、画像処理装置、画像選択方法、及び、プログラムに関し、特に連続的に撮影された画像から記録に適する画像の選択技術に関する。

複数の顔が存在する画像の撮像を試みる場合、全てが瞬きをせず、且つ、笑顔となっている状態の撮像は容易ではない。そこで、従来技術として連続して撮像されている複数の画像の中で各人ごとに最も良い顔の画像を選択して、それらを一枚に合成する技術が知られている（例えば、特許文献１及び２参照）。

特開２００８−１９８０６２号公報 特開２００２−１９９２０２号公報

しかしながら、上記特許文献１、２の技術にあっては、一の画像内に存在する全ての人について満足度の高い画像を得ようとすると、人数が増えるに従って連続撮像枚数が増加してしまう虞がある。そしてこのような場合、連続して撮像された画像を一時的に記憶するためのメモリの容量を十分に確保しなくてはならないといった問題もある。

そこで、本願発明は、上記問題点に鑑みてなされたものであり、連続して撮像された複数の画像において、特定の人物の存する画像の選択処理を適正に行うことができる画像処理装置、画像選択方法、及び、プログラムを提供することを目的とする。

上記課題を解決するため、請求項１に記載の発明の画像処理装置は、
特定の人物を含む複数の人が存する複数の画像を連続して撮像することにより取得する取得手段と、前記特定の人物が有する特徴部を優先度と対応付けて複数の人物について記憶した特徴部記憶手段と、前記取得手段により取得された複数の画像において、前記特徴部記憶手段に記憶された優先度に基づいて特徴部を夫々検出する検出手段と、この検出手段によって夫々検出された特徴部を、前記記憶手段に記憶されている特徴部に基づいて夫々評価し、評価値を算出する算出手段と、この算出手段によって算出された評価値に基づいて記録すべき撮像画像を選択する選択手段と、を備えたことを特徴としている。

請求項２に記載の発明は、請求項１記載の画像処理装置において、
前記算出手段は、前記特徴部記憶手段に記憶された複数の人物毎に評価値を算出し、前記選択手段は、この算出された評価値に基づいて、前記夫々の撮像画像から人物を含む画像領域を抽出する抽出手段と、この抽出手段によって抽出された画像領域を合成する画像合成手段と、を含むことにより、記録すべき撮像画像を選択することを特徴としている。

請求項３に記載の発明の画像選択方法は、
特定の人物を含む複数の人が存する複数の画像を連続して撮像することにより取得する取得ステップと、予め前記特定の人物が有する特徴部を優先度と対応付けて複数の人物について記憶したメモリから優先度を読出し、前記取得ステップにて取得された複数の画像において、この優先度に基づいて特徴部を夫々検出する検出ステップと、この検出ステップにて夫々検出された特徴部を、前記メモリに記憶されている特徴部に基づいて夫々評価し、評価値を算出する算出ステップと、この算出ステップにて算出された評価値に基づいて記録すべき撮像画像を選択する選択ステップと、を含むことを特徴としている。

請求項４に記載の発明のプログラムは、
予め前記特定の人物が有する特徴部を優先度と対応付けて複数の人物について記憶したメモリを備える画像処理装置のコンピュータを、特定の人物を含む複数の人が存する複数の画像を連続して撮像することにより取得する取得手段、この取得手段により取得された複数の画像において、前記メモリに記憶された優先度に基づいて特徴部を夫々検出する検出手段、この検出手段によって夫々検出された特徴部を、前記メモリに記憶されている特徴部に基づいて夫々評価し、評価値を算出する算出手段、この算出手段によって算出された評価値に基づいて記録すべき撮像画像を選択する選択手段、として機能させることを特徴としている。

本発明によれば、連続して撮像された複数の画像において、特定の人物の存する画像の選択処理を適正に行うことができる。

本発明を適用した実施形態１の撮像装置の概略構成を示すブロック図である。 図１の撮像装置に記録されている第１登録テーブルの一例を模式的に示す図である。 図１の撮像装置による連続撮像処理に係る動作の一例を示すフローチャートである。 図３の連続撮像処理に係る撮像画像の一例を模式的に示す図である。 本発明を適用した実施形態２の撮像装置の概略構成を示すブロック図である。 図５の撮像装置に記録されている第２登録テーブルの一例を模式的に示す図である。 図５の撮像装置による連続撮像処理に係る動作の一例を示すフローチャートである。 図７の連続撮像処理に係る撮像画像の一例を模式的に示す図である。 図７の連続撮像処理に係る画像の一例を模式的に示す図である。 変形例１の撮像装置の概略構成を示すブロック図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。

［実施形態１］
実施形態１の撮像装置１００は、連続して撮像された複数の撮像画像の中で、予め用意された人物登録データベースに登録されている特定の人物の特徴部（顔）の評価値が高い撮像画像を選択し、この選択された撮像画像を記録画像として記録媒体に記録させる。
以下、上記の方法を具体的に記載する。
図１は、実施形態１における撮像装置１００の概略構成を示すブロック図である。同図に示すように、撮像装置１００は、撮像部１と、撮像制御部２と、画像データ生成部３と、メモリ４と、顔検出部５と、画像処理部６と、人物登録データベース（ＤＢ）７と、記録制御部８と、表示制御部９と、表示部１０と、操作入力部１１と、中央制御部１２とを備えている。

撮像部１は、レンズ部１ａと、電子撮像部１ｂとを備えている。
レンズ部１ａは、ズームレンズやフォーカスレンズ等の複数のレンズから構成されている。
電子撮像部１ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部１ａの各種レンズを通過した光学像を二次元の画像信号に変換する。
なお、図示は省略するが、撮像部１は、レンズ部１ａを通過する光の量を調整する絞りを備えていても良い。

撮像制御部２は、撮像部１による被写体の撮像を制御する。即ち、撮像制御部２は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部２は、タイミング発生器、ドライバにより電子撮像部１ｂを走査駆動して、所定周期毎に光学像を電子撮像部１ｂにより二次元の画像信号に変換させ、当該電子撮像部１ｂの撮像領域から１画面分ずつ画像フレーム（撮像画像P）を読み出して画像データ生成部３に出力させる。
ここで、被写体とは、所定の背景内に存する特定の人物を含む複数の人（図４（ａ）等参照）のことである。具体的には、人物登録ＤＢ７に登録されている第１登録テーブルＴ１（図２参照）の顔登録フラグが「ＯＮ」となっている人物（例えば、「Ａ」や「Ｂ」等）を特定の人物とし、当該特定の人物の少なくとも一人と特定の人物以外の少なくとも一人（例えば、「Ｃ」、「Ｄ」等）とを被写体としている。

このように、撮像部１及び撮像制御部２は、背景内に特定の人物を含む複数の人が存する画像を連続して撮像して、複数（例えば、n枚；nは自然数）の撮像画像Pa1〜Pan（図４（ａ）〜図４（ｄ）等参照）の画像フレームを逐次生成する。
なお、撮像画像Pa1〜Panは、複数の静止画像であっても良いし、動画像を構成する複数の画像フレームであっても良い。

また、撮像制御部２は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体を撮像する際の条件の調整制御を行っても良い。
ここで、撮像画像Pの画像フレーム内から人の顔が検出された場合には、撮像制御部２は、当該顔が含まれる領域をＡＦ（自動合焦処理）やＡＥ（自動露出処理）やＡＷＢ（自動ホワイトバランス）の基準領域として、ＡＦ（自動合焦処理）やＡＥ（自動露出処理）やＡＷＢ（自動ホワイトバランス）等を行うようにしても良い。

画像データ生成部３は、電子撮像部１ｂから転送された画像フレームのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（YUVデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用されるメモリ４にＤＭＡ転送される。

メモリ４は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、顔検出部５、画像処理部６、中央制御部１２等によって処理されるデータ等を一時記憶する。

顔検出部５は、撮像部１により連続して撮像された複数の撮像画像P、…の各々から、所定の顔検出方法を用いて特定の人物の顔を検出する。
即ち、顔検出部５は、複数（例えば、n枚）の撮像画像Pa1〜Panの画像フレームの各々について、当該画像フレーム内から特定の人物を含む複数の人の顔を特徴部として検出する。具体的には、例えば、顔検出部５は、撮像部１によるライブビュー画像の撮像により生成された複数の撮像画像P、…の画像フレームをメモリ４から逐次取得して、各画像フレーム内から顔画像領域を検出し、検出された各領域内から目、鼻、口等に相当する顔パーツを逐次検出する。なお、顔検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
そして、顔検出部５は、各撮像画像P（例えば、撮像画像Pa1等）から検出された人の顔が、人物登録ＤＢ７の第１登録テーブルＴ１に顔登録フラグが登録されている特定の人物（例えば、「Ａ」等）の顔画像と一致するか否かを判定する。具体的には、顔検出部５は、例えば、第１登録テーブルＴ１を参照して、顔登録フラグが登録されている特定の人物の顔画像をテンプレートとして取得する。そして、顔検出部５は、複数の撮像画像P、…の各々について、特定の人物のテンプレートとして取得した顔画像が検出された顔と一致するか否かを判定する。顔検出部５は、当該判定の結果、テンプレートとして取得した顔画像と一致すると判定された顔を特定の人物の顔と認識する。
このように、顔検出部５は、撮像部１により連続して撮像された複数の撮像画像P、…の各々から、顔登録フラグ（記録指示情報）が登録されている特定の人物の顔を特徴部として検出する。

画像処理部６は、画像取得部６ａと、画像選択部６ｂとを具備している。

画像取得部６ａは、連続して撮像された複数の撮像画像P、…を取得する。
即ち、画像取得部６ａは、撮像部１により所定の撮像フレームレートで撮像された複数の撮像画像P、…をそれぞれ取得する。具体的には、撮像部１によって所定の背景内に存する特定の人物（例えば、「Ａ」等）を含む複数の人（図４（ａ）等参照）を被写体として、連続して撮像された複数（例えば、n枚）の撮像画像Pa1〜Panの画像フレームのYUVデータを取得する。
このように、画像取得部６ａは、連続して撮像された背景内に特定の人物を含む複数の人が存する複数の撮像画像P、…を取得する。

画像選択部６ｂは、画像取得部６ａにより取得された複数の撮像画像P、…の中で、特定の人物（例えば、「Ａ」等）について顔（特徴部）の評価値が高い撮像画像Pを選択する。具体的には、画像選択部６ｂは、特定の人物について顔の笑顔度を評価値として算出する評価値算出部ｂ１を具備しており、複数の撮像画像P、…の中で、評価値算出部ｂ１により算出された顔の笑顔度が高い撮像画像Pを選択する。

評価値算出部ｂ１は、画像取得部６ａにより取得された複数の撮像画像P、…内に存する特定の人物について顔の笑顔度を評価値として算出する。
即ち、評価値算出部ｂ１は、複数の撮像画像P、…のうち、顔検出部５により特定の人物（例えば、「Ａ」等）の顔が検出された撮像画像Pについて、当該特定の人物の顔の笑顔度を評価値として算出する。具体的には、例えば、評価値算出部ｂ１は、特定の人物の顔から目を検出して、黒目の顔全体に対する大きさに応じて笑顔度を数値化する。また、例えば、評価値算出部ｂ１は、特定の人物の顔から口を検出して、口角の上がり具合いや口の開き具合い等に応じて笑顔度を数値化する。そして、評価値算出部ｂ１は、黒目や口角について数値化された笑顔度を統合して、特定の人物の顔の総合的な笑顔度を算出する。
なお、評価値算出部ｂ１による特定の人物の顔（特徴部）の評価値の算出方法は一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、目や口の他に、眉毛の傾き度合い、眉間や目尻の皺の寄せ度合い等を利用して、特定の人物の顔の評価値を算出しても良い。また、顔の笑顔度を評価値として算出するようにしたが、評価内容は一例であってこれに限られるものではなく、適宜任意に変更可能である。
このように、評価値算出部ｂ１は、特定の人物について顔の笑顔度を評価値として算出する。

そして、画像選択部６ｂは、評価値算出部ｂ１による評価結果に基づいて、複数の撮像画像P、…の中で、評価値算出部ｂ１により算出された顔の笑顔度が高い撮像画像Pを選択する。具体的には、第１登録テーブルＴ１に特定の人物が一人登録されている場合には、画像選択部６ｂは、顔検出部５により特定の人物の顔が検出された撮像画像Pの中で、評価値算出部ｂ１により算出された笑顔度が最も高い撮像画像Pを選択する。即ち、画像選択部６ｂは、記録媒体Ｍに記録される記録画像として、評価値算出部ｂ１により算出された笑顔度が最も高い撮像画像Pを選択する。

また、画像選択部６ｂは、第１登録テーブルＴ１に顔登録フラグと対応付けて登録されている優先度に基づいて、複数の特定の人物のうち、何れか一の特定の人物の顔の評価値が高い撮像画像Pを選択する。即ち、第１登録テーブルＴ１に複数の特定の人物が登録されている場合には、画像選択部６ｂは、顔登録フラグと対応付けて登録されている優先度を参照して、複数の特定の人物のうち、当該優先度の最も高い特定の人物（例えば、「Ａ」）について顔の笑顔度が最も高い撮像画像Pを選択する。
なお、優先度が次に高い特定の人物（例えば、「Ｂ」）については、例えば、優先度の最も高い特定の人物について顔の笑顔度が所定値以上の撮像画像Pを複数選択しておき、当該複数の撮像画像P、…の中で、優先度が次に高い特定の人物について顔の笑顔度が最も高い撮像画像Pを選択するようにしても良い。

さらに、特定の人物以外の人（例えば、「Ｃ」や「Ｄ」）についても、同様に、例えば、特定の人物について顔の笑顔度が所定値以上の撮像画像Pを複数選択しておき、当該複数の撮像画像P、…の中で、特定の人物以外の人のうち、優先度が最も高い人について顔の笑顔度が最も高い撮像画像Pを選択するようにしても良い。また、第１登録テーブルＴ１に特定の人物以外の人が複数登録されている場合には、当該特定の人物以外の人の中で、優先度が最も高い人について顔の笑顔度が所定値以上の撮像画像Pを複数選択しておき、当該複数の撮像画像P、…の中で、特定の人物以外の人のうち、優先度が次に高い人について顔の笑顔度が最も高い撮像画像Pを選択するようにしても良い。

このように、画像選択部６ｂは、複数の撮像画像P、…の中で、顔登録フラグが登録されている特定の人物について顔検出部５により検出された顔（特徴部）の評価値が高い撮像画像Pを選択する。

人物登録ＤＢ７は、特定の人物の顔登録フラグを登録する第１登録テーブルＴ１（図２参照）を記憶している。
ここで、第１登録テーブルＴ１について図２を参照して説明する。

図２に示すように、第１登録テーブルＴ１は、人物の名前（例えば、「Ａ」、「Ｂ」、「Ｃ」、「Ｄ」等）と、各人物の顔画像（実体の画像データ）ｆ１〜ｆ４と、顔登録フラグと、優先度とを対応付けて記憶している。
顔登録フラグとは、背景内に特定の人物の存する撮像画像Pの記録指示に係る記録指示情報である。即ち、顔登録フラグは、連続して撮像された複数の撮像画像P、…の中で、背景内に特定の人物の存する撮像画像Pを他の撮像画像Pに対して優先的に記録媒体Ｍに記録させる指示情報である。また、顔登録フラグは、複数の特定の人物と対応付けて登録されている。具体的には、例えば、「Ａ」及び「Ｂ」の顔登録フラグが「ＯＮ」に設定され、当該人物が特定の人物となる。これにより、複数の撮像画像P、…の中で、特定の人物である「Ａ」や「Ｂ」の顔画像ｆ１、ｆ２が存する撮像画像Pの他の撮像画像Pに対する優先的な記録が指示される。
また、例えば、「Ｃ」及び「Ｄ」の顔登録フラグは「ＯＦＦ」に設定され、当該人物は特定の人物以外の人となる。これにより、当該特定の人物以外の人である「Ｃ」や「Ｄ」のの顔画像ｆ３、ｆ４が存する撮像画像Pの他の撮像画像Pに対する優先的な記録は指示されていない。
なお、特定の人物として、例えば、「Ａ」及び「Ｂ」の二人を例示したが、特定の人物の数は一例であってこれに限られるものではなく、少なくとも一人設定されていれば適宜任意に変更可能である。同様に、特定の人物以外の人として、例えば、「Ｃ」及び「Ｄ」の二人を例示したが、特定の人物以外の人の数は一例であってこれに限られるものではなく、少なくとも一人設定されていれば適宜任意に変更可能である。

また、優先度とは、撮像画像Pの記録媒体Ｍに対する記録の人物毎の優先度を表すものである。例えば、優先度は、第１登録テーブルＴ１に登録されている全ての人物、即ち、特定の人物及びそれ以外の人物について、各人物の存する撮像画像Pの記録媒体Ｍに対する記録の優先度を表している。具体的には、例えば、数値が大きいほど優先度が高くなっており、図２にあっては、「Ａ」の顔画像ｆ１の存する撮像画像Pの記録が最も優先され、次いで、「Ｂ」の顔画像ｆ２の存する撮像画像P、「Ｄ」の顔画像ｆ４の存する撮像画像P、「Ｃ」の顔画像ｆ３の存する撮像画像Pの順となっている。
なお、第１登録テーブルＴ１に登録されている全ての人物について優先度が登録されたものを例示したが、一例であってこれに限られるものではなく、少なくとも特定の人物について登録されていれば良い。

このように、人物登録ＤＢ７は、特定の人物の顔画像の画像データが存する撮像画像Pの記録指示に係る顔登録フラグ（記録指示情報）を登録している。
なお、第１登録テーブルＴ１の各人物の顔画像ｆ１〜ｆ４は、顔検出処理や顔認識処理に利用されても良い。

記録制御部８は、記録媒体Ｍが着脱自在に構成され、装着された記録媒体Ｍからのデータの読み出しや記録媒体Ｍに対するデータの書き込みを制御する。
具体的には、記録制御部８は、連続して撮像された複数の撮像画像P1、P2、P3…の中で、画像選択部６ｂにより選択されたもの、即ち、顔登録フラグが登録されている特定の人物（例えば、「Ａ」等）について顔の笑顔度（評価値）が高いものを記録画像として選択し、記録媒体Ｍに記録させる。
このように、記録制御部８は、画像選択部６ｂにより選択された撮像画像Pを記録画像として記録媒体Ｍに記録させる。

なお、記録媒体Ｍは、例えば、不揮発性メモリ（フラッシュメモリ）等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。

表示制御部９は、メモリ４に一時的に記憶されている表示用の画像データを読み出して表示部１０に表示させる制御を行う。
具体的には、表示制御部９は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている（何れも図示略）。そして、デジタルビデオエンコーダは、中央制御部１２の制御下にてメモリ４から読み出されてＶＲＡＭに記録されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部１０に出力する。

表示部１０は、例えば、液晶表示装置であり、表示制御部９からのビデオ信号に基づいて電子撮像部１ｂにより撮像された画像などを表示画面に表示する。具体的には、表示部１０は、静止画撮像モードや動画撮像モードにて、撮像部１による被写体の撮像により生成された複数の画像フレームを所定のフレームレートで逐次更新しながらライブビュー画像を表示する。

操作入力部１１は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部１１は、被写体の撮像指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定用ボタン、ズーム量の調整指示に係るズームボタン等を備え（何れも図示略）、これらのボタンの操作に応じて所定の操作信号を中央制御部１２に出力する。

中央制御部１２は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１２は、図示は省略するが、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

次に、撮像装置１００による連続撮像処理について、図３及び図４を参照して説明する。
図３は、連続撮像処理に係る動作の一例を示すフローチャートである。また、図４（ａ）〜図４（ｄ）は、連続撮像処理に係る撮像画像Pa1〜Panの一例を模式的に示す図である。

連続撮像処理は、ユーザによる操作入力部１１の選択決定用ボタン（図示略）の所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から連続撮像モードが選択指示された場合に実行される処理である。
なお、以下に説明する連続撮像処理にあっては、「Ａ」、「Ｂ」、「Ｃ」及び「Ｄ」を被写体として撮像するものとする。また、「Ａ」及び「Ｂ」は第１登録テーブルＴ１の顔登録フラグが「ＯＮ」に設定されているものとする（図２参照）。

図３に示すように、先ず、表示制御部９は、撮像部１及び撮像制御部２による撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部１０の表示画面に表示させる（ステップＳ１）。
次に、顔検出部５は、撮像部１によるライブビュー画像の撮像により生成された複数の撮像画像P1、P2、P3、…の画像フレームをメモリ４から逐次取得して、各画像フレーム内から所定の顔検出方法を用いて人の顔画像を検出する（ステップＳ２）。続けて、顔検出部５は、各撮像画像Pから検出された人の顔画像から、第１登録テーブルＴ１に顔登録フラグが「ＯＮ」で登録されている顔画像、すなわち、特定の人物として登録されている顔画像が検出されたか否かを判定する（ステップＳ３）。

ステップＳ３にて、特定の人物の顔画像が検出されたと判定されると（ステップＳ３；ＹＥＳ）、表示制御部９は、第１登録テーブルＴ１を参照して、この顔画像と対応付けられて登録されている人物の名前（例えば、「Ａ」、「Ｂ」等）をライブビュー画像と共に表示させる（ステップＳ４）。
その後、中央制御部１２は、ユーザによる操作入力部１１のシャッタボタン（図示略）の所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ５）。また、ステップＳ３にて、特定の人物の顔画像が検出されていないと判定された場合（ステップＳ３；ＮＯ）にも、中央制御部１２は、処理をステップＳ５に移行して、撮像指示が入力されたか否かを判定する（ステップＳ５）。

ステップＳ５にて、撮像指示が入力されていないと判定されると（ステップＳ５；ＮＯ）、中央制御部１２は、処理をステップＳ２に移行して、それ以降の処理を実行する。
一方、ステップＳ５にて、撮像指示が入力されたと判定されると（ステップＳ５；ＹＥＳ）、撮像制御部２は、フォーカスレンズの合焦位置や露出条件（シャッター速度、絞り、増幅率等）やホワイトバランス等の条件を調整して、被写体の光学像を電子撮像部１ｂに所定の撮像フレームレートで連続して撮像させる（ステップＳ６）。続けて、画像データ生成部３は、連続撮像により電子撮像部１ｂから逐次転送された複数（例えば、n枚）の撮像画像Pa1〜Panの各々のＹＵＶデータを生成する（ステップＳ７）。

次に、画像処理部６の画像取得部６ａは、生成された複数の撮像画像Pa1〜PanのYUVデータを取得した後、画像選択部６ｂの評価値算出部ｂ１は、複数の撮像画像Pa1〜Panのうち、顔検出部５により特定の人物の顔画像が検出されたもの（複数）について、当該顔画像の画像データにおける笑顔度を評価値として夫々算出する（ステップＳ８）。具体的には、評価値算出部ｂ１は、例えば、顔検出部５により特定の人物である「Ａ」及び「Ｂ」の顔画像が検出された複数の撮像画像Pa1〜Panについて、当該特定の人物の顔の笑顔度を夫々算出する。

次に、画像選択部６ｂは、第１登録テーブルＴ１の顔登録フラグと対応付けて登録されている優先度を参照して、優先度の最も高い特定の人物（例えば、「Ａ」）について顔画像における笑顔度が最も高い撮像画像Pを複数選択する（ステップＳ９）。ここで、本実施形態１では、図２を参照すると第１登録テーブルＴ１に顔登録フラグが「ＯＮ」に設定されている人数は二人（すなわち複数）なので、優先度の最も高い人物について顔画像の笑顔度が所定値以上の複数の撮像画像Pを候補として先ず選択しておき、この複数選択された撮像画像Pの中から当該複数の撮像画像Pa1〜Panの中で、優先度が次に高い特定の人物（例えば、「Ｂ」）について顔画像の笑顔度が最も高い撮像画像Pを選択する。

例えば、１枚目の撮像画像Pa1（図４（ａ）参照）にあっては、「Ａ」の顔画像の笑顔度が所定値以上であると評価されるが、特定の人物である「Ｂ」の顔画像の笑顔度が所定値未満であると評価される。また、２枚目の撮像画像Pa2（図４（ｂ）参照）及びｎ枚目の撮像画像Pan（図４（ｄ）参照）にあっては、特定の人物である「Ａ」及び「Ｂ」の顔画像の笑顔度がともに所定値以上であると評価される。また、３枚目の撮像画像Pa3（図４（ｃ）参照）にあっては、特定の人物である「Ａ」の顔画像の笑顔度が所定値未満であり、特定の人物である「Ｂ」の顔画像の笑顔度が所定値以上であると評価される。
一方、特定の人物以外の人（例えば、「Ｃ」、「Ｄ」等）については、優先度のみを考慮して撮像画像Pを選択する。つまり、３枚目の撮像画像Pa3は、顔画像の笑顔度がともに所定値以上であると評価されているが、特定の人物については笑顔度が所定値未満であるため選択されない。
このように上記の場合には、特定の人物であり且つ優先度の最も高い「Ａ」の顔の笑顔度が所定値以上であり、特定の人物である「Ｂ」の顔の笑顔度が所定値以上である撮像画像Pa2及びｎ枚目の撮像画像Panが候補として選択され、更に、これらの候補のうち、上記特定の人物以外の人の中で優先度の最も高い「Ｄ」の笑顔度が所定値以上である撮像画像Pa2が、画像選択部６ｂにより選択される。

その後、記録制御部８は、画像選択部６ｂにより選択された２枚目の撮像画像Pa2を記録画像として、記録媒体Ｍの所定の記録領域に記録させる（ステップＳ１２）。
これにより、連続撮像処理を終了する。

以上のように、実施形態１の撮像装置１００によれば、連続して撮像された複数の撮像画像中で、顔登録フラグが人物登録データベース７に登録されている特定の人物の特徴部（顔）の評価値が高い撮像画像を選択するので、一の撮像画像内に存する複数の人のうち、少なくとも特定の人物（例えば、「Ａ」等）について良い表情が得られ、且つ、他の人物についても比較的良い表情の撮像画像Pを選択することができる。また、笑顔（良い表情）であるか否かを厳密に重視しなくても良い特定の人物以外の人については、特徴部（顔）の評価を行う必要がなくなるので、連続撮像枚数の増加を招くことが無い。

［実施形態２］
以下に、実施形態２の撮像装置２００について図５〜図９を参照して説明する。
実施形態２は、複数の特定の人物の各々について顔（特徴部）の評価値が高い撮像画像を選択し、当該撮像画像の各々から、各特定の人物が含まれる画像領域をそれぞれ抽出して、抽出された複数の画像領域同士を合成して一の合成画像を生成し記録媒体に記録させる。
なお、実施形態２の撮像装置２００は、以下に説明する以外の点で上記実施形態１の撮像装置１００と略同様の構成をなし、その説明は省略する。

図５は、本発明を適用した実施形態２の撮像装置２００の概略構成を示すブロック図である。
図５に示すように、実施形態２の撮像装置２００は、人物登録ＤＢ７に第２登録テーブルＴ２（図６参照）が記憶されている。

第２登録テーブルＴ２は、図６に示すように、人物の名前（例えば、「Ｅ」、「Ｆ」及び「Ｇ」等）と、各人物の顔画像（実体は画像データ）ｆ５〜ｆ７と、顔登録フラグとを対応付けて記憶している。
顔登録フラグは、複数の特定の人物の顔画像ｆ５〜ｆ７と対応付けて登録されている。具体的には、例えば、「Ｅ」、「Ｆ」及び「Ｇ」の顔登録フラグが「ＯＮ」に設定され、当該人物が特定の人物となる。これにより、複数の撮像画像P、…の中で、特定の人物である「Ｅ」、「Ｆ」及び「Ｇ」の存する撮像画像については、他の撮像画像と比較して優先的に記録するよう指示される。

また、画像処理部６は、画像取得部６ａと、画像選択部６ｂとに加えて、領域抽出部６ｃと、画像生成部６ｄとを具備している。

画像選択部６ｂは、第２登録テーブルＴ２に顔登録フラグ（記録指示情報）が登録されている複数の特定の人物の各々について、画像取得部６ａにより取得された複数の撮像画像P、…の中で、顔（特徴部）の評価値が高い撮像画像Pをそれぞれ選択する。
即ち、画像選択部６ｂの評価値算出部ｂ１は、画像取得部６ａにより取得された複数の撮像画像P、…内に存する特定の人物について顔の笑顔度を評価値として算出する。なお、評価値算出部ｂ１による特定の人物の顔の評価値の算出方法は、上記実施形態１と同様であり、その詳細な説明は省略する。
そして、画像選択部６ｂは、評価値算出部ｂ１による評価結果に基づいて、複数の撮像画像P、…の中で、顔登録フラグが「ＯＮ」に設定されている複数の特定の人物の各々について、評価値算出部ｂ１により算出された顔の笑顔度が高い撮像画像Pを選択する。例えば、画像選択部６ｂは、「Ｅ」の顔の笑顔度が所定値以上の撮像画像Pとして、ｎ枚目の撮像画像Pbn（図８（ｄ）参照）を選択し、また、「Ｆ」の顔の笑顔度が所定値以上の撮像画像Pとして、１枚目の撮像画像Pb1（図８（ａ）参照）を選択し、「Ｇ」の顔の笑顔度が所定値以上の撮像画像Pとして、１枚目の撮像画像Pb1（図８（ａ）参照）及び２枚目の撮像画像Pb2（図８（ｂ）参照）を選択する。

領域抽出部６ｃは、複数の特定の人物の各々について、顔の評価値が高い撮像画像Pの各々から、当該人物が含まれる画像領域Aをそれぞれトリミングして抽出する。
即ち、領域抽出部６ｃは、複数の特定の人物の各々について、画像選択部６ｂにより選択された顔の評価値が高い撮像画像Pの各々から、各人物が含まれる画像領域Aを選択して、当該画像領域Aをトリミングして抽出する。具体的には、領域抽出部６ｃは、例えば、各特定の人物（例えば、「Ｅ」、「Ｆ」及び「Ｇ」等）の顔（特徴部）の中心の座標を基準として、互いに重なり合わないように切り取る範囲を設定し、この設定された範囲（トリミング領域）を抽出する。なお、各特定の人物どうしが上下方向や水平方向に重なり合っている場合には、領域抽出部６ｃは、顔（特徴部）の中心の座標を基準として、特定の人物どうしの中間位置を、当該中間位置で区切られるように切り取る範囲（トリミング領域）を抽出しても良い。
例えば、「Ｅ」の場合、領域抽出部６ｃは、画像選択部６ｂにより顔の笑顔度が所定値以上の撮像画像Pとして特定されたｎ枚目の撮像画像Pbnから、「Ｅ」が含まれる第１画像領域A1（図９（ａ）参照）をトリミングして抽出する。また、例えば、「Ｆ」の場合は、領域抽出部６ｃは、画像選択部６ｂにより顔の笑顔度が所定値以上の撮像画像Pとして特定された１枚目の撮像画像Pb1から、「Ｆ」が含まれる第２画像領域A2（図９（ｂ）参照）をトリミングして抽出する。また、例えば、「Ｇ」の場合、領域抽出部６ｃは、画像選択部６ｂにより顔の笑顔度が所定値以上の撮像画像Pとして特定された１枚目の撮像画像Pb1若しくは２枚目の撮像画像Pb2から、「Ｇ」が含まれる第３画像領域A3（図９（ｃ）参照）をトリミングして抽出する。

なお、領域抽出部６ｃによる特定の人物が含まれる画像領域Aのトリミング方法は一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、各人物毎に画像領域Aをトリミングするようにしたが、例えば、「Ｆ」と「Ｇ」のように、１枚目の撮像画像Pb1が顔の笑顔度が所定値以上の撮像画像Pとして選択されている場合には、「Ｆ」と「Ｇ」がともに含まれる一の画像領域Aをトリミングして抽出するようにしても良い。
このように、領域抽出部６ｃは、画像選択部６ｂにより選択された複数の特定の人物の各々についての顔（特徴部）の評価値が高い撮像画像Pの各々から、当該人物が含まれる画像領域Aをそれぞれトリミングして抽出する。

画像生成部６ｄは、各人物毎に抽出された複数の画像領域A、…を合成して一の合成画像Ｇを生成する。
具体的には、例えば、画像生成部６ｄは、領域抽出部６ｃにより抽出された「Ｅ」が含まれる第１画像領域A1（図９（ａ）参照）と、「Ｆ」が含まれる第２画像領域A2（図９（ｂ）参照）と、「Ｇ」が含まれる第３画像領域A3（図９（ｃ）参照）とを合成して、一の合成画像Ｇ（図９（ｄ）参照）を生成する。
このように、画像生成部６ｄは、領域抽出部６ｃにより各人物毎に抽出された複数の画像領域A、…どうしを合成して一の合成画像Ｇを生成する。

記録制御部８は、画像生成部６ｄにより生成された一の合成画像Ｇ（図９（ｄ）参照）を記録画像として記録媒体Ｍに記録させる。

次に、撮像装置２００による連続撮像処理について、図７〜図９を参照して説明する。
図７は、連続撮像処理に係る動作の一例を示すフローチャートである。但し、処理の流れとしては上記第１実施形態における図３のステップＳ８と同じであるので、図面において上記第１実施形態と異なる点のみ説明することで省略する。
図８（ａ）〜図８（ｄ）は、連続撮像処理に係る撮像画像Pb1〜Pbnの一例を模式的に示す図である。また、図９（ａ）〜図９（ｃ）は、特定の人物について抽出された第１〜第３画像領域A1〜A3を模式的に表し、図９（ｄ）は、合成された合成画像Ｇを模式的に示す図である。
また、以下に説明する連続撮像処理にあっては、「Ｅ」、「Ｆ」及び「Ｇ」を特定の人物として、第２登録テーブルＴ２の顔登録フラグが「ＯＮ」に設定されているものとし（図６参照）、「Ｅ」、「Ｆ」及び「Ｇ」の前を横切る特定の人物以外の人を単なる通行人Ｊとして表す。

ステップＳ８において顔検出部５により特定の人物の顔画像の笑顔度を評価値として算出すると、画像選択部６ｂは、複数の撮像画像P、…の中で、複数の特定の人物の各々について、評価値算出部ｂ１により算出された顔の笑顔度が高い撮像画像Pをそれぞれ選択する（ステップＳ２１）。
例えば、図８（ａ）〜（ｄ）において、「Ｅ」、「Ｆ」及び「Ｇ」を被写体として撮像する際に、当該「Ｅ」、「Ｆ」及び「Ｇ」の前を通行人Ｊが横切ってしまった場合、特定の人物である「Ｅ」については、１枚目〜３枚目の撮像画像Pb1〜Pb3は、顔の笑顔度が所定値未満である。また、同様に、特定の人物である「Ｆ」については、２枚目〜ｎ枚目の撮像画像Pb2〜Pbnは、顔の笑顔度が所定値未満である。また、同様に、特定の人物である「Ｇ」については、３枚目の撮像画像Pb3及びｎ枚目の撮像画像Pbnは、顔の笑顔度が所定値未満である。
そこで、画像選択部６ｂは、「Ｅ」の顔の笑顔度が所定値以上の撮像画像としてｎ枚目の撮像画像Pbn（図８（ｄ）参照）を選択し、また、「Ｆ」の顔の笑顔度が所定値以上の撮像画像として１枚目の撮像画像Pb1（図８（ａ）参照）を選択し、「Ｇ」の顔の笑顔度が所定値以上の撮像画像として、１枚目の撮像画像Pb1（図８（ａ）参照）及び２枚目の撮像画像Pb2（図８（ｂ）参照）を選択する。

続けて、領域抽出部６ｃは、複数の特定の人物の各々について、画像選択部６ｂにより選択された顔の笑顔度が高い撮像画像の各々から、各人物が含まれる画像領域Aをそれぞれ選択して、当該各画像領域Aをトリミングして抽出する（ステップＳ２２）。
例えば、領域抽出部６ｃは、特定の人物である「Ｅ」について、画像選択部６ｂにより顔の笑顔度が所定値以上の撮像画像Pとして選択されたｎ枚目の撮像画像Pbnから、「Ｅ」が含まれる第１画像領域A1（図９（ａ）参照）を選択して当該画像領域A1をトリミングする。また、領域抽出部６ｃは、例えば、特定の人物である「Ｆ」について、画像選択部６ｂにより顔の笑顔度が所定値以上の撮像画像Pとして選択された１枚目の撮像画像Pb1から、「Ｆ」が含まれる第２画像領域A2（図９（ｂ）参照）を選択して当該画像領域A2をトリミングする。また、領域抽出部６ｃは、例えば、特定の人物である「Ｇ」について、画像選択部６ｂにより顔の笑顔度が所定値以上の撮像画像Pとして選択された１枚目の撮像画像Pb1若しくは２枚目の撮像画像Pb2から、「Ｇ」が含まれる第３画像領域A3（図９（ｃ）参照）を選択して当該画像領域A3をトリミングする。

次に、画像生成部６ｄは、領域抽出部６ｃにより抽出された複数の画像領域A、…を合成して一の合成画像Ｇを生成する（ステップＳ２３）。具体的には、画像生成部６ｄは、「Ｅさん」が含まれる第１画像領域A1（図９（ａ）参照）と、「Ｆ」が含まれる第２画像領域A2（図９（ｂ）参照）と、「Ｇ」が含まれる第３画像領域A3（図９（ｃ）参照）とを合成して、一の合成画像Ｇ（図９（ｄ）参照）を生成する。
その後、記録制御部８は、画像生成部６ｄにより生成された一の合成画像Ｇを記録画像として、記録媒体Ｍの所定の記録領域に記録させる（ステップＳ２４）。
これにより、連続撮像処理を終了する。

以上のように、実施形態２の撮像装置２００によれば、複数の特定の人物の各々について顔（特徴部）の評価値が高い撮像画像を選択し、当該撮像画像の各々から、各特定の人物が含まれる画像領域をそれぞれトリミングして抽出し、この抽出された複数の画像領域同士を合成して一の合成画像を生成するので、複数の特定の人物の各々について満足度の高い画像を記録画像として記録媒体Ｍに記録させることができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、連続撮像処理にて撮像された複数の撮像画像P、…のうち、特定の人物の顔が検出されなかった撮像画像Pを画像処理部６の処理対象から除くようにしても良い。

即ち、図１０に示すように、変形例１の撮像装置１００は、連続撮像処理にて撮像された複数の撮像画像P、…の中で、顔登録フラグ（記録指示情報）が登録されている特定の人物の顔が顔検出部５により検出されなかった撮像画像Pを指定する非検出画像指定部６ｅを画像処理部６に具備している。そして、画像取得部６ａは、複数の撮像画像P、…のうち、非検出画像指定部６ｅにより指定された特定の人物の顔が検出されなかった撮像画像Pを取得しないようになっている。
なお、この変形例１の撮像装置１００は、上記した以外の点で上記実施形態１の撮像装置１００と略同様の構成をなし、その説明は省略する。また、当該変形例１は、実施形態１の撮像装置１００の変形例として例示したが、実施形態２の撮像装置２００の変形例としても良い。

従って、変形例１の撮像装置１００によれば、複数の撮像画像P、…の中で、顔登録フラグが登録されている特定の人物の顔が検出されなかった撮像画像Pを画像処理の処理対象として取得しないので、当該画像処理にかかる負荷の軽減や処理速度の向上を図ることができる。

また、上記変形例１にあっては、複数の撮像画像P、…の中で、顔登録フラグが登録されていない人（例えば、通行人Ｊ等）が特定の人物の前に重なった撮像画像Pを指定して、当該撮像画像Pを画像取得部６ａが取得しないようにしても良い。即ち、顔登録フラグが登録されている特定の人物が顔検出部５により検出されずに、顔登録フラグが登録されていない人が顔検出部５により検出された撮像画像Pについては、画像取得部６ａは、画像処理部６の処理対象から除くようにしても良い。
このような構成としても、上記変形例１と同様に、当該画像処理にかかる負荷の軽減や処理速度の向上を図ることができる。

また、上記実施形態１、２及び変形例１にあっては、人の特徴部として顔を例示したが、一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、顔の一部のパーツ（例えば、目や口等）や人の体全体を特徴部として評価するようにしても良い。

また、撮像装置１００、２００の構成は、上記実施形態１、２に例示したものは一例であり、これらに限られるものではない。例えば、撮像画像Pは、当該撮像装置１００、２００とは異なる外部装置（図示略）で生成し、外部装置から所定の通信回線を介して送信されることで当該撮像装置１００、２００が取得して特徴部（例えば、顔）の評価値の高い撮像画像Pを選択して記録させる構成としても良い。

加えて、上記実施形態にあっては、取得手段、検出手段、算出手段、選択手段としての機能を、中央制御部１２の制御下にて、顔検出部５、画像処理部６が駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１２によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、検出処理ルーチン、算出処理ルーチン及び選択処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部１２のＣＰＵを、特定の人物を含む複数の人が存する複数の画像を連続して撮像することにより取得する取得手段として機能させるようにしても良い。また、検出処理ルーチンにより中央制御部１２のＣＰＵを、取得手段により取得された複数の画像において、メモリに記憶された優先度に基づいて特徴部を夫々検出する検出手段として機能させるようにしても良い。また、算出処理ルーチンにより中央制御部１２のＣＰＵを、検出手段によって夫々検出された特徴部を、メモリに記憶されている特徴部に基づいて夫々評価し、評価値を算出する算出手段として機能させるようにしても良い。また、選択処理ルーチンにより中央制御部１２のＣＰＵを、算出手段によって算出された評価値に基づいて記録すべき撮像画像を選択する選択手段として機能させるようにしても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

１００、２００ 撮像装置
１ 撮像部
２ 撮像制御部
５ 顔検出部
６ 画像処理部
６ａ 画像取得部
６ｂ 画像選択部
ｂ１ 評価値算出部
６ｃ 領域抽出部
６ｄ 画像生成部
６ｅ 非検出画像指定部
７ 人物登録データベース
８ 記録制御部
１２ 中央制御部
Ｍ 記録媒体

Claims (4)

1. 特定の人物を含む複数の人が存する複数の画像を連続して撮像することにより取得する取得手段と、
   前記特定の人物が有する特徴部を優先度と対応付けて複数の人物について記憶した特徴部記憶手段と、
   前記取得手段により取得された複数の画像において、前記特徴部記憶手段に記憶された優先度に基づいて特徴部を夫々検出する検出手段と、
   この検出手段によって夫々検出された特徴部を、前記記憶手段に記憶されている特徴部に基づいて夫々評価し、評価値を算出する算出手段と、
   この算出手段によって算出された評価値に基づいて記録すべき撮像画像を選択する選択手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記算出手段は、前記特徴部記憶手段に記憶された複数の人物毎に評価値を算出し、
   前記選択手段は、
   この算出された評価値に基づいて、前記夫々の撮像画像から人物を含む画像領域を抽出する抽出手段と、
   この抽出手段によって抽出された画像領域を合成する画像合成手段と、
   を含むことにより、記録すべき撮像画像を選択することを特徴とする請求項１記載の画像処理装置。
3. 特定の人物を含む複数の人が存する複数の画像を連続して撮像することにより取得する取得ステップと、
   予め前記特定の人物が有する特徴部を優先度と対応付けて複数の人物について記憶したメモリから優先度を読出し、前記取得ステップにて取得された複数の画像において、この優先度に基づいて特徴部を夫々検出する検出ステップと、
   この検出ステップにて夫々検出された特徴部を、前記メモリに記憶されている特徴部に基づいて夫々評価し、評価値を算出する算出ステップと、
   この算出ステップにて算出された評価値に基づいて記録すべき撮像画像を選択する選択ステップと、
   を含むことを特徴とする画像選択方法。
4. 予め前記特定の人物が有する特徴部を優先度と対応付けて複数の人物について記憶したメモリを備える画像処理装置のコンピュータを、
   特定の人物を含む複数の人が存する複数の画像を連続して撮像することにより取得する取得手段、
   この取得手段により取得された複数の画像において、前記メモリに記憶された優先度に基づいて特徴部を夫々検出する検出手段、
   この検出手段によって夫々検出された特徴部を、前記メモリに記憶されている特徴部に基づいて夫々評価し、評価値を算出する算出手段、
   この算出手段によって算出された評価値に基づいて記録すべき撮像画像を選択する選択手段、
   として機能させることを特徴とするプログラム。

Images