JP4240108B2 - 画像記憶装置、撮像装置、画像記憶方法およびプログラム - Google Patents

Description

本発明は、画像記憶装置に関し、特に被写体の顔画像の記録を行う画像記憶装置、ならびにその撮像を行う撮像装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

顔認識技術および表情認識技術の進歩により、近年では、被写体が人の顔であるか、また、その顔の表情はどのような表情であるかを認識することができるようになってきている。ここで、顔の認識とは、被写体の画像データが目、鼻、口などを含む顔画像データと合致するか否かを判別することをいう。また、表情の認識とは、笑い顔、泣き顔、怒った顔などの表情を示す画像データにどの程度近似しているのかを解析することをいう。これらは、コンピュータによる処理を前提としており、撮像装置にも適用されるようになっている。

例えば、被写体の顔の向きを認識し、顔が所定の方向を向いた場合に被写体の画像データを記録するカメラが提案されている（例えば、特許文献１参照。）。
特開２００１−５１３３８号公報（図１）

しかしながら、上述の従来技術では、被写体の画像データが特定の表情の画像データに一致した時点から画像の記録処理が開始されるため、表情の一致の時点と記録処理終了の時点で時間的な差が生じてしまう。つまり、撮像のタイミングが遅れ、ユーザの望む表情が記録されないこととなる。そのため、特に笑顔などの瞬間的な表情の画像を記録することは難しいと考えられる。

そこで、本発明は、時系列に変化する画像データから、その変化を推測し、ユーザの意図した画像を記録することを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、時系列に変化する画像データに含まれる顔画像の表情が所定の基準表情と相関する度合いを表情相関度として判定する表情相関判定手段と、所定期間内に上記顔画像の表情と上記所定の基準表情とが一定の相関関係を有するようになることを上記表情相関度の推移から推測して検出する表情推測手段と、上記検出が行われてから上記所定期間経過後の上記画像データが画像データ記憶手段に残存するよう制御する画像記憶制御手段とを具備することを特徴とする画像記憶装置である。これにより、画像記憶装置において、顔画像の表情相関度の推移から所定期間内の表情の変化を推測させ、この推測に基づいて所定期間内の画像データを画像データ記憶手段に残存させるという作用をもたらす。

また、この第１の側面において、上記表情推測手段は、上記表情相関度が所定の度合いを超えた場合に上記一定の相関関係を有するようになる旨を検出してもよい。これにより、所定の度合いを基準として、表情相関度の推移から表情を推測させるという作用をもたらす。

また、この第１の側面において、上記表情推測手段は、上記表情相関度の変化の傾きが所定の値を超え、かつ、上記表情相関度が所定の度合いを超えた場合に上記一定の相関関係を有するようになる旨を検出してもよい。これにより、所定の度合いおよび変化の傾きを基準として、表情相関度の推移から表情を推測させるという作用をもたらす。

また、この第１の側面において、上記画像記憶制御手段は、上記検出が行われてから上記所定期間経過後の上記画像データを画像データ記憶手段に記憶させることとしてもよい。これにより、表情の推測に基づいて所定期間内の画像データを画像データ記憶手段に記憶させるという作用をもたらす。

また、この第１の側面において、上記画像記憶制御手段は、新たな上記画像データを記憶するよう上記画像データ記憶手段に更新を行わせ、上記検出が行われてから上記所定期間経過後には上記更新を中止させてもよい。これにより、画像データの記憶制御に関し、順次新たな画像データを記憶し、最先の画像データを廃棄する過程において、記憶手段の画像データの更新をさせ、所定期間後にその更新を中止させるという作用をもたらす。

また、この第１の側面において、上記画像記憶制御手段は、上記検出が行われてから上記所定期間経過後の複数の上記画像データが画像データ記憶手段に残存するよう制御してもよい。これにより、表情の推測に基づいて所定期間内の複数の画像データを画像データ記憶手段に残存させるという作用をもたらす。

また、この第１の側面において、上記画像データを動画像データとして記憶する動画像データ記憶手段をさらに具備してもよく、かつ、上記画像記憶制御手段は、上記検出が行われてから上記所定期間経過後の上記画像データを上記動画像データ記憶手段から上記画像データ記憶手段に退避させてもよい。これにより、画像データを動画像データとして記憶させながら表情の推測に基づいて所定期間内の動画像データを動画像データ記憶手段から画像データ記憶手段に退避させるという作用をもたらす。

また、本発明の第２の側面は、時系列に変化する画像データに含まれる顔画像を検出する顔画像検出手段と、上記検出された顔画像の表情が所定の基準表情と相関する度合いを表情相関度として判定する表情相関判定手段と、所定期間内に上記顔画像の表情と上記所定の基準表情とが一定の相関関係を有するようになることを上記表情相関度の推移から推測して検出する表情推測手段と、上記検出が行われてから上記所定期間経過後の上記画像データが画像データ記憶手段に残存するよう制御する画像記憶制御手段とを具備することを特徴とする画像記憶装置である。これにより、画像記憶装置において、検出された顔画像の表情相関度の推移から所定期間内の表情の変化を推測させ、この推測に基づいて所定期間内の画像データを画像データ記憶手段に残存させるという作用をもたらす。

また、本発明の第３の側面は、時系列に変化する画像データに含まれる複数の顔画像を検出する顔画像検出手段と、上記検出された複数の顔画像について顔確度を評価する顔確度評価手段と、上記複数の顔画像において上記顔確度が最も高い顔画像の表情が所定の基準表情と相関する度合いを表情相関度として判定する表情相関判定手段と、所定期間内に上記顔確度が最も高い顔画像の表情と上記所定の基準表情とが一定の相関関係を有するようになることを上記表情相関度の推移から推測して検出する表情推測手段と、上記検出が行われてから上記所定期間経過後の上記画像データが画像データ記憶手段に残存するよう制御する画像記憶制御手段とを具備することを特徴とする画像記憶装置である。これにより、顔確度の最も高い顔画像の表情相関度の推移から所定期間内の表情の変化を推測させ、この推測に基づいて所定期間内の画像データを画像データ記憶手段に残存させるという作用をもたらす。

また、本発明の第４の側面は、時系列に変化する画像データに含まれる複数の顔画像を検出する顔画像検出手段と、上記検出された複数の顔画像の中から判定対象となる顔画像の選択を受け付ける選択受付手段と、上記選択された顔画像の表情が所定の基準表情と相関する度合いを表情相関度として判定する表情相関判定手段と、所定期間内に上記選択された顔画像の表情と上記所定の基準表情とが一定の相関関係を有するようになることを上記表情相関度の推移から推測して検出する表情推測手段と、上記検出が行われてから上記所定期間経過後の上記画像データが画像データ記憶手段に残存するよう制御する画像記憶制御手段とを具備することを特徴とする画像記憶装置である。これにより、選択された顔画像の表情相関度の推移から所定期間内の表情の変化を推測させ、この推測に基づいて所定期間内の画像データを画像データ記憶手段に残存させるという作用をもたらす。

また、本発明の第５の側面は、時系列に変化する被写体を撮像して画像データとして出力する撮像手段と、上記画像データに含まれる顔画像の表情が所定の基準表情と相関する度合いを表情相関度として判定する表情相関判定手段と、所定期間内に上記顔画像の表情と上記所定の基準表情とが一定の相関関係を有するようになることを上記表情相関度の推移から推測して検出する表情推測手段と、上記検出が行われてから上記所定期間経過後の上記画像データが画像データ記憶手段に残存するよう制御する画像記憶制御手段とを具備することを特徴とする撮像装置である。これにより、撮像された顔画像の表情相関度の推移から所定期間内の表情の変化を推測させ、この推測に基づいて所定期間内の画像データを画像データ記憶手段に残存させるという作用をもたらす。

本発明によれば、時系列に変化する画像データから、その変化を推測し、ユーザの意図した画像を記録することができるという優れた効果を奏し得る。

次に本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の実施の形態における撮像装置１００の機能構成例を示す図である。この撮像装置１００は、撮像部１１０と、信号処理部１２０と、バス１３０と、画像記憶部１４０と、制御部１５０と、保持部１６０と、ユーザインターフェース１７０と、画像圧縮伸張部１８０と、画像保存部１９０と、顔検出部２００と、顔確度評価部２９０と、表情検出部３００と、表情推測部３９０とを備える。

撮像部１１０は、被写体を撮像して画像データとして出力するものである。この撮像部１１０は、光学系１１１および撮像素子１１２を備える。この光学系１１１はフォーカスレンズやズームレンズなどのレンズ群を有しており、被写体を捉えた入射光がこれらレンズ群を通過するようになっている。これらレンズ群を通過した入射光は撮像素子１１２に達する。そして、撮像素子１１２において入射光は像として結ばれ、電気信号へ変換される。この変換された電気信号は、信号処理部１２０に出力される。

信号処理部１２０は、撮像素子１１２から出力された電気信号に対して各種の信号処理を施して、画像データとして撮像装置１００内の各部へ供給するものである。この信号処理部１２０における信号処理には、ノイズ軽減、レベル補正、Ａ／Ｄ変換(アナログ信号からデジタル信号への変換）および色彩補正などが含まれる。具体的には、その画像データは、画像記憶部１４０、顔検出部２００、ユーザインターフェース１７０および画像圧縮伸張部１８０に供給される。なお、この信号処理部１２０における上述の処理は、制御部１５０からの制御信号によって制御される。

バス１３０は、画像データを伝送するための共有の伝送路である。このバス１３０は、信号処理部１２０と、画像記憶部１４０と、画像圧縮伸張部１８０と、顔検出部２００と、表情検出部３００との間を相互に結合するものである。

画像記憶部１４０は、撮像装置１００において処理対象となる画像データを記憶するものである。この画像記憶部１４０に記憶された画像データは、バス１３０を介して、信号処理部１２０、画像圧縮伸張部１８０、顔検出部２００、表情検出部３００およびユーザインターフェース１７０からアクセスされる。

画像圧縮伸張部１８０は、撮像装置１００の各部から供給された画像データを圧縮して画像保存部１９０に供給し、また、画像保存部１９０から供給された画像データを伸張して撮像装置１００の各部に供給するものである。この画像圧縮伸張部１８０による圧縮形式としては、例えばＪＰＥＧ（Joint Photographic Experts Group）形式を採用することができる。

画像保存部１９０は、画像圧縮伸張部１８０から供給された圧縮済画像データを保存するものである。また、この画像保存部１９０に保存される圧縮済画像データは、画像圧縮伸張部１８０によって伸張され得る。

顔検出部２００は、画像データから顔画像を検出するものである。この顔検出部２００は、被検出対象となる画像データを、信号処理部１２０、画像記憶部１４０または画像圧縮伸張部１８０から供給される。顔画像の検出においては、画像データに含まれる顔画像の評価対象となる要素（例として、面積、座標、適合度、正面度および傾き度など）を組み合わせることにより総合的な観点から顔確度が判定される。なお、評価対象となる各要素に対する重み付け係数は、制御部１５０から供給される。そして、この顔検出部２００によって生成された顔確度は、制御部１５０に供給される。

顔確度評価部２９０は、顔検出部２００によって算出された顔確度に対する評価を行うものである。この顔確度評価によって、例えば、最も顔確度の高い顔画像は何れであるかが評価される。この顔確度評価部２９０は、被評価対象となる顔確度を制御部１５０から供給される。この顔確度評価部２９０は、顔確度に基づく顔確度評価の評価結果を制御部１５０に供給する。

ユーザインターフェース１７０は、撮像装置１００を使用するユーザに対するインターフェースを提供するものである。このユーザインターフェース１７０は、表示部１７１と選択受付部１７２を備える。

表示部１７１は、信号処理部１２０および画像圧縮伸張部１８０からの画像データを表示するものである。さらに、この表示部１７１は、顔確度評価部２９０による評価結果に応じて、その顔画像に対して顔の位置を示す枠の重畳表示を行う。例えば複数の顔が存在する場合には、最も顔確度の評価が高い顔画像に対する枠が視覚的に強調表示され、その他の枠は通常表示される。

選択受付部１７２は、表示部１７１に表示された顔の中からユーザが選択した指示入力を受け付けるものである。例えば複数の顔が表示部１７１に表示されている場合には、ユーザは重畳表示された枠を移動させることにより、何れかの顔を任意に選択することができる。この選択結果は制御部１５０に供給される。

表情検出部３００は、画像記憶部１４０から供給された画像データ（顔画像が検出された画像データ）に基づいて表情の検出を行うものである。何れの表情を検出すべきかは、表情種指定情報として、制御部１５０から指定される。ここでは、表情種指定情報として「笑い」が指定された場合の検出例について説明する。表情検出部３００は、顔画像を「笑い」の基準データ（基準表情）と比較して、基準表情と相関する度合いを表情相関度として判定する。つまり、顔画像が基準表情に近ければ近いほど、表情相関度が高くなる。この表情検出部３００によって生成された表情相関度は制御部１５０に供給される。

表情推測部３９０は、表情検出部３００による表情相関度に基づいて表情の時系列変化の推測を行うものである。この表情推測部３９０は、画像データにおける顔画像の表情と上述の基準表情とが所定期間内に一定の相関関係を有するようになることを表情相関度の推移から推測する。例えば、表情相関度と基準表情閾値とを比較して、表情相関度が基準表情閾値を超えた場合に、画像データにおける表情が所定期間内に基準表情に近づく旨を判定する。

また、他の推測の例としては、画像データの時系列変化の前後における表情相関度の差分値が基準差分値を超え、かつ、表情相関度が基準表情閾値を超えた場合に、画像データにおける表情が所定期間内に基準表情に近づく旨を判定する。

なお、この表情推測部３９０は、表情の推測に必要な表情相関度、基準標準閾値および基準表情差分値を制御部１５０から供給され、上記の推測を行って、その推測結果を制御部１５０に供給する。

制御部１５０は、撮像装置１００内の撮像部１１０、信号処理部１２０、画像圧縮伸張部１８０、顔検出部２００、表情検出部３００、顔確度評価部２９０および表情推測部３９０の処理を制御するものである。これらの制御に際しては、フォーカス値と絞り値、データ出力先、圧縮伸張率、顔確度算出用重み付け係数（顔検出パラメータ）、表情種指定情報（表情検出パラメータ）、被評価対象の画像データおよび被推測対象の顔画像が、パラメータまたは処理の対象データとして撮像装置１００内の撮像部１１０、信号処理部１２０、画像圧縮伸張部１８０、顔検出部２００、表情検出部３００、顔確度評価部２９０および表情推測部３９０において、それぞれ必要とされる。そのため、制御部１５０は、これらのパラメータを上記の各部に供給する。

まず、この制御部１５０は、撮像部１１０に対して、撮像の制御を行う。具体的には、光学系１１１に対して、絞りとフォーカスの制御を行う。さらに、この制御部１５０は、信号処理部１２０に対して、信号処理の制御および画像信号出力先の指示を行う。

また、制御部１５０は、顔検出部２００および表情検出部３００に対して、検出処理の制御を行う。この検出処理に際しては、検出パラメータとして、顔確度算出用重み付け係数および表情種指定情報が必要とされる。そのため、制御部１５０は、顔確度算出用重み付け係数を顔検出部２００に、表情種指定情報を表情検出部３００にそれぞれ供給する。さらに、制御部１５０は検出処理の開始と停止を顔検出部２００および表情検出部３００に指示する。この制御部１５０は、顔検出部２００および表情検出部３００から検出結果データを供給される。これらの検出結果データのうち、顔検出部２００からの顔検出結果データ（顔確度）を顔確度評価部２９０に、表情検出部３００からの表情検出データ（表情相関度）を表情推測部３９０にそれぞれ供給する。

また、制御部１５０は、画像圧縮伸張部１８０に対して、画像保存部１９０に保存された画像データの圧縮と伸張の制御を行う。

保持部１６０は、撮像装置１００において使用される各種データを保持するものである。この保持部１６０に保持されるデータは、検出結果データおよび設定パラメータに大別される。検出結果データとしては、顔確度１６１および表情相関度１６２が含まれる。また、設定パラメータとしては、顔検出モード１６３、基準差分値１６４、基準閾値１６５および連写間隔時間１６６が含まれる。

顔確度１６１は、画像データに含まれる顔画像の顔確度を保持する領域である。この顔確度は、顔検出部２００において算出された値である。

表情相関度１６２は、画像データに含まれるそれぞれの顔画像に対応した表情相関度を保持する領域である。この表情相関度は、表情検出部３００において、基準表情と相関する度合いを判定して得られた値である。

顔検出モード１６３は、顔検出を実行するか否かを示す顔検出モードを記憶する領域である。この顔検出モードが「顔検出を実行する」旨を示している場合には画像データから顔画像が検出される。

基準差分値１６４は、ユーザによって設定された、基準となる差分値を保持する領域である。この値の比較対象は、時系列に表情相関度が変化した場合の、変化の前後における表情相関度の差分値である。なお、この基準の差分値は表情推測部３９０による処理において参照される。

基準閾値１６５は、ユーザによって設定された、基準となる閾値を保持する領域である。この閾値は、表情相関度の比較対象となるものであり、表情推測部３９０による処理において基準データとの相関度が高くなったことを検出するために用いられる。

連写間隔時間１６６は、連写で撮像する際のある撮像時点と次の撮像時点との時間設定を保持する領域である。

この上限枚数１６７は、ユーザが連写時の所定撮像枚数の上限値として設定した値を保持する領域である。

図２は、本発明の実施の形態における顔検出部２００の機能構成例を示す図である。この顔検出部２００は、画像信号入力部２１０と、画像拡大縮小部２２０と、画像保持部２３０と、基準データ保持部２４０と、判定部２５０と、画像信号出力部２６０と、制御部２７０と、検出結果出力部２８０とを備える。

画像信号入力部２１０は、撮像装置１００内の各部から供給（入力）された画像データを受け付けて、画像拡大縮小部２２０に供給するものである。この画像信号入力部２１０は、画像データを信号処理部１２０、画像圧縮伸張部１８０および画像記憶部１４０から供給される。

画像拡大縮小部２２０は、画像信号入力部２１０から供給された画像データの拡大または縮小を行うものである。この画像拡大縮小部２２０は、多様な大きさの顔画像を含む画像データを所定の倍率にするため拡大縮小処理を行う。なお、この画像拡大縮小部２２０は、拡大縮小処理に必要とされる拡大率または縮小率の値を、制御部２７０から供給される。この画像拡大縮小部２２０による拡大縮小処理完了後の画像データは、画像保持部２３０に供給される。

画像保持部２３０は、画像拡大縮小部２２０から供給された画像データを一時的に保持するものである。なお、この画像保持部２３０は、画像データを保持する際の画像保持部２３０内のアドレスを制御部２７０から供給される。この画像保持部２３０に保持された画像データは、判定部２５０および画像信号出力部２６０に供給される。

基準データ保持部２４０は、あらかじめ顔の基準データを保持し、この顔の基準データを判定部２５０に供給するものである。この顔の基準データは、判定部２５０の顔確度の判定における基準として利用されるデータである。なお、この基準データの顔サイズは固定されており、顔確度の判定に際してはこの基準データの顔サイズに合致するように、比較対象となる画像データの顔サイズを切り出す必要がある。

判定部２５０は、画像保持部２３０から供給される画像データに基づいて、顔確度の判定を行うものである。この顔確度の判定に際しては、顔の基準データおよび顔確度算出用重み付け係数が必要とされる。そのため、判定部２５０は、これらのパラメータをそれぞれ基準データ保持部２４０および制御部２７０から供給される。なお、上記の画像データの供給に際して、判定部２５０は、顔の基準データの顔サイズと画像データの顔サイズとを一致させるために定型サイズ切出し処理を行う。

ここで、顔確度の判定について説明する。この顔確度の判定においては、評価対象となる要素を組み合わせることにより総合的な観点から顔確度を算出する。評価対象となる要素としては、例えば、面積、座標、適合度、正面度および傾き度などが考えられる。面積の要素は、画像データの全体領域における顔の占有領域であり、この面積が相対的に大きい値となれば、顔確度も相対的に高い値となる。座標の要素は、画像データの全体領域における顔の座標値であり、この座標値が中央位置に近ければ、顔確度も相対的に高い値となる。適合度の要素は、顔の基準データに基づく顔らしさを示す値であり、この値が相対的に高い値となれば、顔確度も相対的に高い値となる。正面度の要素は、顔の基準データに基づく正面方向の向き度合いを示す値であり、顔が真正面方向近くに向いていれば相対的に高い値となり、顔確度も相対的に高い値となる。傾き度の要素は、顔の基準データに基づく顔の傾き度であり、傾き度がなければ高い値となり、顔確度も相対的に高い値となる。これら各要素を、次式のように重み付け係数と掛け合わせて加算することにより、意図した顔検出を行うことができる。
顔確度＝（顔面積重み付け係数） ×（顔領域の面積値）
＋（顔座標重み付け係数） ×（顔領域の座標値）
＋（顔適合度重み付け係数）×（顔の適合度合いの値）
＋（正面度重み付け係数） ×（正面向き度合いの値）
＋（傾き度重み付け係数） ×（顔の傾きの度合いの値）

なお、評価対象となる各要素にかかる重み付け係数は、制御部２７０から供給される。そして、この判定部２５０によって生成された顔確度は、検出結果出力部２８０に供給される。

画像信号出力部２６０は、画像保持部２３０から供給された画像データを受け付けて、画像記憶部１４０に供給（出力）するものである。なお、上記の画像データの供給に際して、画像信号出力部２６０は、判定部２５０と同様に、定型サイズ切出し処理を行う。

制御部２７０は、顔検出部２００内の画像拡大縮小部２２０、画像保持部２３０および判定部２５０の処理を制御するものである。これらの制御に際しては、拡大縮小率、メモリアドレスおよび顔確度算出用の重み付け係数が、画像拡大縮小部２２０、画像保持部２３０および判定部２５０において、それぞれ必要とされる。そのため、制御部２７０は、これらのパラメータを上記の各部に供給する。なお、制御部２７０は、顔確度算出用の重み付け係数を、撮像装置１００の制御部１５０から供給される。

検出結果出力部２８０は、判定部２５０から供給された顔確度を、受け付けて撮像装置１００の制御部１５０に供給（出力）するものである。この顔確度は、顔確度１６１に保持される。

図３は、本発明の実施の形態における表情検出部３００の機能構成例を示す図である。この表情検出部３００は、画像信号入力部３１０と、画像拡大縮小部３２０と、画像保持部３３０と、基準データ保持部３４０と、判定部３５０と、画像信号出力部３６０と、制御部３７０と、検出結果出力部３８０とを備える。

画像信号入力部３１０は、撮像装置１００内の各部から供給（入力）された画像データを受け付けて、画像拡大縮小部３２０に供給するものである。この画像信号入力部３１０は、画像データを信号処理部１２０、画像圧縮伸張部１８０および画像記憶部１４０から供給される。

画像拡大縮小部３２０は、画像信号入力部３１０から供給された画像データの拡大または縮小を行うものである。この画像拡大縮小部３２０は、多様な大きさの顔画像を含む画像データを所定の倍率にするため拡大縮小処理を行う。なお、この画像拡大縮小部３２０は、拡大縮小処理に必要とされる拡大率または縮小率の値を、制御部３７０から供給される。この画像拡大縮小部３２０による拡大縮小処理完了後の画像データは、画像保持部３３０に供給される。

画像保持部３３０は、画像拡大縮小部３２０から供給された画像データを一時的に保持するものである。なお、この画像保持部３３０は、画像データを保持する際の画像保持部３３０内のアドレスを制御部３７０から供給される。この画像保持部３３０に保持された画像データは、判定部３５０および画像信号出力部３６０に供給される。

基準データ保持部３４０は、あらかじめ表情の基準データ（基準表情）を保持し、この表情の基準データを判定部３５０に供給するものである。この表情の基準データは、判定部３５０の表情相関度の判定において基準として利用されるデータであり、表情種ごとに存在する。なお、この基準データの顔サイズは固定されており、表情相関度の判定に際してはこの基準データの顔サイズに合致するように、比較対象となる画像データの顔サイズを切り出す必要がある。

判定部３５０は、画像保持部３３０から供給される画像データに基づいて、表情相関度の判定を行うものである。この表情相関度の判定に際しては、表情の基準データおよび表情種指定情報が必要とされる。そのため、判定部３５０は、これらのパラメータをそれぞれ基準データ保持部３４０および制御部３７０から供給される。なお、上記の画像データの供給に際して、判定部３５０は、表情の基準データのサイズと画像データの顔サイズとを一致させるために定型サイズ切出し処理を行う。

ここで、表情相関度の判定について説明する。この表情相関度の判定においては、表情種指定情報の内容で指定された表情種（例えば「笑い」）に応じて、画像データの中の顔画像を表情の基準データ（例えば「笑い」基準データ）と比較して、基準表情と相関する度合いを表情相関度として判定する。つまり、顔画像が表情の基準データに近ければ近いほど、表情相関度が高くなる。表情相関度の判定に必要となる表情種指定情報は、制御部３７０から供給される。また、この判定部３５０によって生成された表情相関度は、検出結果出力部３８０に供給される。

画像信号出力部３６０は、画像保持部３３０から供給された画像データを受け付けて、画像記憶部１４０に供給（出力）するものである。なお、上記の画像データの供給に際して、画像信号出力部３６０は、判定部３５０と同様に、定型サイズ切出し処理を行う。

制御部３７０は、表情検出部３００内の画像拡大縮小部３２０、画像保持部３３０および判定部３５０の処理を制御するものである。これらの制御に際しては、拡大縮小率、メモリアドレスおよび表情種指定情報が、画像拡大縮小部３２０、画像保持部３３０および判定部３５０において、それぞれ必要とされる、そのため、制御部３７０は、これらのパラメータを上記の各部に供給する。なお、制御部３７０は、表情種指定情報を、撮像装置１００の制御部１５０から供給される。

検出結果出力部３８０は、判定部３５０から供給された表情相関度を受け付けて、撮像装置１００の制御部１５０に供給（出力）するものである。この表情相関度は、表情相関度１６２に保持される。

図４は、本発明の実施の形態における画面表示の一例を示す図である。この表示は、撮像装置１００のユーザインターフェース１７０における表示部１７１によって、ユーザに対して提供されるものである。この図においては、顔確度評価部２９０による評価結果に応じて、３人の人物の顔画像に対して枠の重畳表示が行われており、最も顔確度の評価が高い顔画像の枠が視覚的に強調表示され、その他の枠は通常表示されている。なお、顔確度は、評価対象となる各要素（例えば、面積、座標、適合度、正面度および傾き度など）を組み合わせて総合的に判定されるものであり、各要素の重み付けにも影響され得るものである。ただし、何れの枠を強調表示するかは、選択受付部１７２からのユーザの選択に応じて変更させることができる。そして、この表示には、左端人物４０１、通常枠４０２、中央人物４０３、強調枠４０４、右端人物４０５および通常枠４０６が含まれている。

左端人物４０１は表示領域の左位置に存在し、その顔が横方向を向いている人物である。通常枠４０２は、左端人物４０１の顔画像に対して重畳表示されている枠である。この通常枠４０２は、左端人物４０１の顔画像が、３人の中で顔確度の評価が最も高い顔画像ではないことを示している。

中央人物４０３は表示領域の中央位置に存在し、その顔が正面方向を向いている人物である。強調枠４０４は、中央人物４０３の顔画像に対して重畳表示されている枠である。この強調枠４０４は、中央人物４０３の顔が、３人の中で顔確度の評価が最も高い顔画像であることを示している。

右端人物４０５は表示領域の右位置に存在し、その顔が傾いている人物である。通常枠４０６は、右端人物４０５の顔画像に対して重畳表示されている枠である。この通常枠４０６は、右端人物４０５の顔画像が、３人の中で顔確度の評価が最も高い顔画像ではないことを示している。

図５は、本発明の実施の形態における画面表示の他の例を示す図である。この表示は、撮像装置１００のユーザインターフェース１７０における表示部１７１によって、ユーザに対して提供されるものである。図４と同様に、この図においても、顔確度評価部２９０による評価結果に応じて、３人の人物の顔画像に対して枠の重畳表示が行われており、最も顔確度の評価が高い顔画像の枠が視覚的に強調表示され、その他の枠は通常表示されている。ただし、選択受付部１７２からのユーザの選択により、強調表示された枠は、他の通常表示された枠の位置に移動させることができる。そして、この表示には、左端人物４１１、強調枠４１２、中央人物４１３、通常枠４１４、右端人物４１５および通常枠４１６が含まれている。

図５においては、要素の重み付けの影響が示されている。すなわち、顔確度の評価においては、顔画像の座標値が中央位置に近ければ、顔確度も相対的に高い値となるが、顔座標重み付け係数による重み付けを低く設定することにより、以下のようにそれ以外の顔画像の顔確度が高くなる場合がある。

左端人物４１１は表示領域の左位置に存在し、その顔が正面方向を向いている人物である。強調枠４１２は、左端人物４１１の顔画像に対して重畳表示されている枠である。この強調枠４１２は、左端人物４１１の顔画像が、３人の中で顔確度の評価が最も高い顔画像であることを示している。

中央人物４１３は表示領域の中央位置に存在し、その顔が横方向を向いている人物である。通常枠４１４は、中央人物４１３の顔画像に対して重畳表示されている枠である。この通常枠４１４は、中央人物４１３の顔画像が、３人の中で顔確度の評価が最も高い顔画像でないことを示している。

右端人物４１５は表示領域の右位置に存在し、その顔が傾いている人物である。通常枠４１６は、右端人物４１５の顔画像に対して重畳表示されている枠である。この通常枠４１６は、右端人物４１５の顔画像が、３人の中で顔確度の評価が最も高い顔画像ではないことを示している。

図６は、本発明の実施の形態における画面表示のさらに他の例を示す図である。この表示は、撮像装置１００のユーザインターフェース１７０における表示部１７１によって、ユーザに対して、提供されるものである。図４および図５と同様に、この図においては、顔確度評価部２９０による評価結果に応じて、多数の人物の顔に対して枠の重畳表示が行われており、最も顔確度の評価が高い顔の枠が視覚的に強調表示され、その他の枠は通常表示されている。ただし、選択受付部１７２からのユーザの選択により、強調表示された枠は、他の通常表示された枠の位置に移動させることができる。そして、この表示には、特定人物４２１および強調枠４２２が含まれている。

図６においては、強調表示された枠の移動の効果が示されている。すなわち、顔確度の評価においては、顔の座標値が中央位置に近ければ、顔確度も相対的に高い値となるが（他の要素の影響を無視して、各要素の重み付け係数が等しく設定されている場合）、下記の説明にあるとおり「特定人物４２１の顔が、この表示領域内の人物の中で顔確度の評価が最も高い顔である」ことは、当初は中央位置の人物の顔にあった強調枠４２２が、その後ユーザの選択により、特定人物４２１の顔に移動されたことを示している。

特定人物４２１は表示領域の下位置に存在する人物である。強調枠４２２は、この特定人物４２１の顔に対して重畳表示されている枠である。この強調枠４２２は、特定人物４２１の顔が、この表示領域内の人物の中で顔確度の評価が最も高い顔であることを示している。

図７は、本発明の実施の形態における表情相関度推移４３０の一例を示す図である。この表情相関度推移４３０は、表情種指定情報が「笑い」である場合について、顔の表情とその表情における表情相関度の変化の様子を３段階表示したものである。この表情相関度推移４３０には、真顔（ａ）、微笑（ｂ）および笑い（ｃ）が含まれている。

真顔（ａ）は、表情の被判定対象である顔であり、その表情は真顔である。そのため真顔（ａ）のデータは、「笑い」の表情基準データから遠くなり、表情相関度は低くなる。

微笑（ｂ）は、表情の被判定対象である顔であり、その表情は微笑である。そのため微笑（ｂ）のデータは、「笑い」の表情基準データに近くなり、表情相関度は高くなる。

笑い（ｃ）は、表情の被判定対象である顔であり、その表情は笑いである。そのため笑い（ｂ）のデータは、「笑い」の表情基準データに一致し、表情相関度は最高値となる。

図８は、本発明の実施の形態における時系列表情相関度変化曲線図の一例を示す図である。この例においては、時間的な表情相関度の変化を示したものである。この中で撮像装置１００における連写指示の指示時点および連写間隔時間が明示されている。なお、横軸は時間Ｔ（Time）であり、ｔ１からｔ５までの各時間間隔は一定である。縦軸は表情相関度であり、これを評価値Ｅ（Evaluation）として表記している。また、縦軸において、評価閾値Ｅ_th（Evaluation threshold）および評価差分値ΔＥ（delta Evaluation) が示されている。この評価閾値Ｅ_thは、表情の推測において基準とされる値である。なお、評価値ｅ１、ｅ４およびｅ５は、図７の真顔（ａ）、微笑（ｂ）および笑い（ｃ）にそれぞれ相当する。

この曲線に従って、表情推測から画像記憶までの流れについて説明する。表情推測のためのデータとして、時間ｔ１から時間ｔ５までの各時点における評価値ｅ１から評価値ｅ５がそれぞれ白丸で示されている。時間ｔ１での評価値ｅ１は、評価値ｅ２を経て、時間ｔ３での評価値ｅ３に変化する。この変化の過程において、評価値が評価閾値Ｅ_thを越えたことを検出し、この検出をトリガーとして、時間ｔ３において連写指示がされる。ここでの連写指示は、連続的な画像記憶を指示するものである。ここでの連写指示に従って、時間ｔ４および時間ｔ５付近での表情を含む画像がそれぞれ記憶される。これらの画像が記憶される時点は、黒丸で示されている。なお、ここでは記憶する画像の上限枚数の設定を３枚とした例を示している。これらの画像は、撮像装置１００の画像記憶部１４０に記憶される。

また、他の実施例として、時間ｔ１での評価値ｅ１と時間ｔ２での評価値ｅ２との間の差分値が評価差分値ΔＥに達し、かつ、時間ｔ３での評価値ｅ３が評価閾値Ｅ_thを越えたことを検出して、これを連写指示のトリガーとすることが考えられる。この場合は、評価閾値Ｅ_thを低目に設定してもよい。

図９は、本発明の実施の形態における時系列表情相関度変化曲線図の他の例を示す図である。この例においては、更新停止指示の時点および連写間隔時間が明示されている。なお、グラフ上の表記および軸の名称については図８と同一である。

この曲線における表情推測については図８と同様であるが、画像記憶の方法が異なる。図９では、時間ｔ１より前の時点から定期的に画像が記憶され、その画像が撮像装置１００の画像記憶部１４０の最大記憶容量に達すると最先に記憶した画像から順番に廃棄され、最新の画像が残存するように制御される。このような制御を画像更新と称する。図８の連写指示に対応するものとして、図９では時間ｔ３の時点で画像更新の停止指示がされ、この停止指示に従って、時間ｔ３以後の表情を含む画像がそれぞれ残存される。これらの画像が記憶される時点は、黒丸で示されている。なお、ここでは画像記憶部１４０の最大記憶容量が画像データ３枚相当である例を示している。

図１０は、本発明の実施の形態の変形例としての画像記憶装置６００の一例を示す図である。この画像記憶装置６００は、カメラ部６１０と、記憶部６２０と、処理部６３０と、制御部６４０と、ユーザインターフェース６５０とを備える。

カメラ部６１０は、被写体を撮像して動画データを生成するものである。このカメラ部６１０は、ズームレンズ６１１、絞り６１２、画像センサ６１３およびＡ／Ｄ変換６１４を備える。ズームレンズ６１１は被写体を撮像するレンズ群であり、制御部６４０から制御信号を受けて、レンズ相互の距離を変えて焦点深度を連続的に変化させるものである。被写体を捉えた入射光は、このレンズ群を通過するようになっている。絞り６１２は、ズームレンズ６１１と同様に制御部６４０から制御信号を受けて、ズームレンズ６１１の入射光の量を調整するものである。画像センサ６１３は、ズームレンズ６１１および絞り６１２を通過した入射光を結像させ、その被写体像を動画データとして出力するセンサである。Ａ／Ｄ変換６１４は、画像センサ６１３からの動画データをアナログ信号からデジタル信号に変換するものである。このカメラ部６１０によって生成された動画データは、記憶部６２０に供給される。

記憶部６２０は、カメラ部６１０から供給された動画データを受け付けて、制御部６４０からの制御信号に応じて、その動画データを一時的に記憶するものである。この記憶部６２０は、接点６２１、メモリ６２２および切換接点６２３を備える。これら接点６２１および切換接点６２３の開閉は、制御部６４０によって制御される。この制御により、カメラ部６１０からの動画データは切換接点６２３から処理部６３０に供給される。また、接点６２１が閉じられることにより、カメラ部６１０からの動画データは一時的にメモリ６２２に記憶された後、処理部６３０に供給される。

接点６２１は、制御部６４０からの制御信号を受けて、開閉する電気的な接触点である。この接点が閉じると、動画データは、メモリ６２２に供給される。切換接点６２３は、制御部６４０からの制御信号を受けて、切り換わる電気的な接触点である。この接点の切換により、メモリ６２２からの動画データまたはＡ／Ｄ変換６１４からの動画データが、択一的に、処理部６３０に供給される。

処理部６３０は、制御部６４０からの動画記録用または静止画記録用の制御信号に応じて、記憶部６２０から供給された動画データに対して動画記録用の画像処理または静止画記録用の画像処理を行い、動画または静止画としてそれぞれ記録するものである。なお、これらの記録は、択一的な処理であり、同時に行われる処理ではない。そこで、この処理部６３０における動画記録の画像処理から静止画記録の画像処理への処理の切り換えの一例を以下に示す。

ユーザから動画記録の開始が指示され動画記録中となると、カメラ部６１０から出力された動画データは、記憶部６２０のメモリ６２２を介さず切換接点６２３から処理部６３０に供給される。そして処理部６３０は、この動画データに対して動画記憶用の画像処理を行う。この動画記憶用の画像処理と並行して、処理部６３０は、顔検出および表情検出を行い表情推測の判定をする。この判定において表情が基準表情に近づくと判定された場合、処理部６３０は、その判定の情報を制御部６４０に供給する。これにより、制御部６４０は記憶部６２０を制御して、接点６２１を閉じる。これにより、カメラ部６１０からの動画データは一時的にメモリ６２２に記憶される。

さらに、ユーザから動画記録の停止指示がされて動画記録が停止されると、表情推測の判定時から動画記録停止までの期間にメモリ６２２に記憶された動画データは、処理部６３０に供給される。この処理部６３０は、記憶部６２０のメモリ６２２から供給された動画データに対して静止画記憶用の画像処理を行い、静止画として記録する。なお、接点６２１および切換接点６２３の開閉は制御部６４０によって制御され、これらの接点の開閉は相互に独立して行われる。例えば、接点６２１は、動画記録の開始後の表情推測の判定に基づいて閉じられ、動画記録停止後は開かれる。切換接点６２３は、動画記録の開始および動画記録停止中のメモリ６２２内の動画データの有無により切り換えられる。

処理部６３０は、カメラ信号処理回路６３５、動画記録装置６３１および静止画記録装置６３２を備える。このカメラ信号処理回路６３５は、顔検出部２００、顔確度評価部２９０、表情検出部３００および表情推測部３９０を備える。

カメラ信号処理回路６３５は、記憶部６２０から供給された動画データに対して、ガンマ補正やＡＧＣ（Auto Gain Control）などの処理を行うとともに、所定の動画符号化処理（例えば、ＭＰＥＧ（Moving Picture Experts Group）符号化処理）を行うものである。これにより、動画データは、例えばＤＶ（Digital Video）規格に準拠したものとされる。これらの処理が動画記録用の画像処理であり、符号化された動画データは動画記録装置６３１に供給される。この処理と排他的に、カメラ信号処理回路６３５は、記憶部６２０から供給された動画データに対して、同様のガンマ補正やＡＧＣ（Auto Gain Control）などの処理を行うとともに、所定の静止画符号化処理を行う。さらに圧縮処理を行い、例えば、動画データをＪＰＥＧ（Joint Photographic Expert Group）規格に準拠したものとする。これらの処理が静止画記憶用の画像処理であり、符号化された静止画データは静止画記録装置６３２に供給される。

動画記録装置６３１は、動画符号化データ専用の記憶媒体である。静止画記録装置６３２は、静止画符号化データ専用の記憶媒体である。これらの記憶媒体は、例えば、記憶テープ、ＤＶＤ（Digital Versatile Disc）またはハードディスクである。

ユーザインターフェース６５０は、画像記憶装置６００を使用するユーザに対するインターフェースを提供するものである。ユーザからの指示内容を制御部６４０に供給し、ユーザに対して処理部から供給された動画データを表示する。このユーザインターフェース６５０は、静止画記録ボタン６５１、動画記録開始／停止ボタン６５２、エフェクト選択ボタン６５３、ズームスイッチ６５４、画質設定ボタン６５５および液晶パネル６５６を備える。

静止画記録ボタン６５１は、ユーザから静止画の記録指示を受け付けるものである。
例えば、動画記録中にこの静止画記録ボタン６５１が押されると、撮像された動画データは、処理部６３０で動画記録の処理がされるのと並行して、記憶部６２０のメモリ６２２にも一時的に記憶される。そして、動画記録の処理が休止すると、メモリ６２２に一時的記憶されている動画データは、静止画記録の処理がされる。

動画記録開始／停止ボタン６５２は、ユーザから動画記録の処理の開始および停止の指示を受け付けるものである。最初に、この静止画記録ボタン６５１が押されると動画記録の処理が開始し、次に、この静止画記録ボタン６５１が押されると動画記録が停止する。

エフェクト選択ボタン６５３は、ユーザからエフェクト変更の要求を受け付けるものである。ここにいうエフェクトとは、画像表示効果のことであり、その種類としては「油絵風」、「古い写真風」などがある。

ズームスイッチ６５４は、ユーザからレンズ焦点深度変更の指示を受け付けるものである。ユーザは、このズームスイッチ６５４を押しながら、ズームレンズ６１１を任意の焦点深度に変更する。

画質設定ボタン６５５は、ユーザから画質のレベル設定の要求を受け付けるものである。例えばユーザは、この画質設定ボタン６５５を押しながら、画像を高画質、中画質、低画質のうち任意の画質に設定する。

液晶パネル６５６は、液晶を利用したディスプレイの表示部であり、ユーザに対して画像を表示するものである。例えば動画記録中に、この液晶パネル６５６は記録中の動画を表示する。

制御部６４０は、カメラ部６１０、記憶部６２０および処理部６３０の処理を制御するものである。この制御部６４０は、マイコン６４１、レンズドライバ６４２およびジャイロセンサ６４３を備える。マイコン６４１は、中央処理装置および記憶装置を備えた小型のデータ処理装置であり、データの入力、計算、加工および出力を自動的に行うものである。レンズドライバ６４２は、ズームレンズ６１１および絞り６１２を制御するソフトウェアである。ジャイロセンサ６４３は、撮像時の揺れを計測するものである。

まず、この制御部６４０はカメラ部６１０に対して撮像の制御を行う。具体的には、ズームレンズ６１１の焦点深度を変更して全景からクローズアップまで撮像領域の変更を行うとともに、絞り６１２を調整して撮像時の入射光の量を制限する。さらに、この制御部６４０は記憶部６２０に対して記憶の制御を行う。具体的には、接点６２１および切換接点６２３の接点を開閉して、カメラ部６１０からの動画データをメモリ６２２に記憶するか否かを制御する。

また、制御部６４０は、処理部６３０に対して動画データ処理の制御を行う。具体的には、制御部６４０は、動画記憶用または静止画記憶用の画像処理について、それぞれの処理の内容を規定するパラメータを処理部６３０に供給する。そして制御部６４０は、表情推測部３９０の表情推測の判定の結果に応じて、記憶部６２０に対する制御を行う。これにより接点６２１が閉じられ、カメラ部６１０からの動画データは、メモリ６２２に記憶される。

また、制御部６４０は、ユーザインターフェース６５０からの操作指示を受け付ける。この指示の内容に応じて、カメラ部６１０、記憶部６２０および処理部６３０を制御する。例えば、ズームスイッチ６５４が操作されると、制御部６４０はカメラ部６１０に対して焦点深度を変更する制御を行う。また、静止画記録ボタン６５１が操作されると、制御部６４０は記憶部６２０に対して動画データを一時記憶させるための制御を行い、処理部６３０に対して静止画記憶用の画像処理パラメータを供給する。

なお、制御部６４０は、ジャイロセンサ６４３からの入力に応じて撮影時の手振れ量を検出している。この検出された手振れ量は、例えば、手振れにより位置ずれした被写体を本来の位置に戻す補正の補正量算出に利用される。

図１１は、本発明の実施の形態における撮像装置１００のコンピュータによる処理（メインルーチン）の一例を示す流れ図である。まず、顔検出モードであるか否かの判断がされ（ステップＳ９０１）、顔検出モードであれば、顔検出（ステップＳ９１０）を行い、顔検出モードでなければ、この処理を終了する。次に、顔検出（ステップＳ９１０）の完了後には、顔が検出されたか否かの判断がされ（ステップＳ９０２）、顔が検出されれば、被写体選択（ステップＳ９２０）および表情評価（ステップＳ９３０）を行い、この処理を終了する。なお、この顔が検出されたか否かの判断（ステップＳ９０２）の時に、顔が検出されなければ、その時点で、この処理を終了する。

図１２は、本発明の実施の形態における顔検出（ステップＳ９１０）の処理手順を示す流れ図である。これは撮像装置１００における処理（メインルーチン）の中で実施されるサブルーチンである。

まず、画像記憶部１４０から顔検出の被検出対象となる画像データが取得される（ステップＳ９１１）。次に、多様な大きさの顔を含む画像データを所定の倍率にするため拡大縮小（ステップＳ９１２）が行われる。そして、顔基準データの顔サイズと画像データの顔サイズを一致させるために定型サイズ切出し（ステップＳ９１３）が行われる。

その後、顔検出部２００の基準データ保持部２４０から顔基準データを取得される（ステップＳ９１４）。この顔基準データおよび上記の画像データに基づいて顔確度が判定され、この判定結果は保持部１６０の顔確度１６１に供給される（ステップＳ９１５）。

図１３は、本発明の実施の形態における被写体選択（ステップＳ９２０）の処理手順を示す流れ図である。これは撮像装置１００における処理（メインルーチン）の中で実施されるサブルーチンである。

まず、保持部１６０の顔確度１６１から取得した顔確度の判定結果に基づいて、画像データごとに顔確度に対する評価が行われ（ステップＳ９２１）、その評価結果は制御部１５０に供給される。ここにいう評価とは顔確度の評価であり、例えば、最も顔確度の高い顔は何れであるかが評価される。この評価結果に応じて、表示部１７１において上記画像データの顔に対する評価結果の重畳表示が行われる（ステップＳ９２２）。なお、この重畳表示では、例えば複数の顔が存在する場合には、最も顔確度の評価が高い顔の枠が視覚的に強調表示され、その他の枠は通常表示される。さらに、重畳表示された枠を移動させることにより、ユーザは何れかの顔を任意に選択できる。

具体的には、選択受付部１７２に対して枠の移動の指示があったか否か判断され（ステップＳ９２３）、指示があった場合には、指示の対象となる顔が選択される（ステップＳ９２４）。一方、選択受付部１７２に対して枠の移動の指示がなかった場合には、評価結果に基づく特定の顔が選択される（ステップＳ９２５）。この特定の顔は、例えば、最も顔確度の高い顔であり、上記の重畳表示が行われた（ステップＳ９２２）際に、視覚的に強調表示されたものである。

図１４は、本発明の実施の形態における表情検出評価（ステップＳ９３０）の処理手順を示す流れ図である。これは撮像装置１００における処理（メインルーチン）の中で実施されるサブルーチンである。

まず、画像記憶部１４０から表情検出の被検出対象となる画像データが取得される（ステップＳ９３１）。次に、多様な大きさの顔を含む画像データを所定の倍率にするため拡大縮小（ステップＳ９３２）が行われる。そして、表情基準データの顔サイズと画像データの顔サイズを一致させるために定型サイズ切出し（ステップＳ９３３）が行われる。

その後、表情検出部３００の基準データ保持部３４０から表情の基準データ（基準表情）が取得される（ステップＳ９３４）。この基準表情と上記の画像データに基づいて、指定された表情種（例えば、「笑い」）についての表情の相関度が判定され、この判定結果（表情相関度）は保持部１６０の表情相関度１６２に供給される（ステップＳ９３５）。

そして、画像データの時系列変化の前後における表情相関度の差分値が計算される（ステップＳ９３６）。次に、保持部１６０の基準差分値１６４から基準差分値が参照される（ステップＳ９３７）。表情相関度の差分値および基準差分値の関係を判定し（ステップＳ９３８）、表情相関度の差分値が基準差分値を越えた場合には、続いて基準閾値が参照される（ステップＳ９３９）。一方、表情相関度の差分値が基準差分値を越えてない場合には、その時点でメインルーチンに戻る。

保持部１６０の基準閾値１６５から基準閾値が参照された（ステップＳ９３９）後には、表情相関度および基準差分値の関係が判定され（ステップＳ９４１）、表情相関度が基準閾値を越えた場合には、さらに撮像処理（ステップＳ９５０）が、サブルーチンとして呼び出される。一方、表情相関度が基準閾値を越えてない場合には、その時点でメインルーチンに戻る。

図１５は、本発明の実施の形態における撮像処理（ステップＳ９５０）の処理手順を示す流れ図である。これは撮像装置１００における処理（メインルーチン）の中で実施されるサブルーチンである。

まず、撮像枚数カウンタがリセットされ（ステップＳ９５１）、保持部１６０の連写間隔時間１６６が参照され、その連写間隔時間の経過まで撮影時間待ちとなる。（ステップＳ９５２）。連写間隔時間の経過後に、撮像制御の指示がされる（ステップＳ９５３）。ここにいう撮像制御とは、撮像部１１０の出力した画像データを、信号処理部１２０を介して、画像記憶部１４０に記憶させることである。この撮像制御の後に、撮像枚数が計数（カウント）される（ステップＳ９５４）。

そして、保持部１６０の上限枚数１６７が参照され、撮像枚数のカウント数および上限枚数の関係が判定される（ステップＳ９５５）。この撮像枚数のカウント数が上限枚数を越えた場合には、上記の撮像制御指示（ステップＳ９５３）で画像記憶部１４０に記憶された画像データは、画像圧縮伸張部１８０に供給され、そこで圧縮される（ステップＳ９５６）。

撮像枚数のカウント数および上限枚数の関係が判定される（ステップＳ９５５）際に、撮像枚数のカウント数が上限枚数を越えてない場合には、その時点で上記の撮影時間待ち（ステップＳ９５２）に戻る。

上記の画像データの圧縮（ステップＳ９５６）の後には、その圧縮された画像データは画像保存部１９０に供給され、そこで保存される（ステップＳ９５７）。

図１６は、本発明の実施の形態における定期撮像（ステップＳ９６０）の処理手順を示す流れ図である。これは、撮像装置１００における処理（メインルーチン）とは、独立して実施されるループである。

まず、保持部１６０の連写間隔時間１６６が参照され、その連写間隔時間の経過まで撮影時間待ちとなる（ステップＳ９６１）。連写間隔の時間の経過後に、撮像制御の指示がされる（ステップＳ９６２）。ここにいう撮像制御の指示とは、図１５での撮像制御指示（ステップＳ９５３）と同様である。なお、この定期撮像（ステップＳ９６０）によって画像記憶部１４０に記憶された画像データに対しては、上述の画像更新がされる。すなわち、これらの画像データの容量の総計が画像記憶部１４０の最大記憶容量に達すると、最先に記憶した画像から順番に廃棄され、最新の画像が残存される。

図１７は、本発明の実施の形態における保存撮像（ステップＳ９７０）の処理手順を示す流れ図である。これは、撮像装置１００における処理（メインルーチン）内の図１５の撮像処理（ステップＳ９５０）の一部を別の形態で実施する処理である。なお、処理の対象となる画像データは、図１６の定期撮像（ステップＳ９６０）によって画像記憶部１４０に記憶されたものである。

まず、撮像装置１００の画像記憶部１４０における画像更新を停止する指示がされる（ステップＳ９７１）。これにより、ユーザの意図する画像データが画像記憶部１４０に残存される。次に、画像記憶部１４０に残存された画像データは、画像圧縮伸張部１８０に供給され、そこで圧縮される（ステップＳ９７２）。その圧縮された画像データは画像保存部１９０に供給され、そこで保存される（ステップＳ９７３）。

図１８は、本発明の実施の形態の変形例としての画像記憶装置６００のコンピュータによる処理（メインルーチン）の一例を示す流れ図である。

まず、画像記憶装置６００のカメラ部６１０に対する制御が行われる（ステップＳ９８１）この制御の内容は、例えば、ズームレンズ６１１に対する焦点深度の変更および絞り６１２に対する入射光の量の制限である。次に、ユーザインターフェース６５０の動画記録開始／停止ボタン６５２に対する、ユーザからの指示が判断される（ステップＳ９８２）。この指示がない場合とは、ユーザから開始または停止の双方の指示がされていないことである。一方、この指示がある場合とは、ユーザから開始または停止のいずれかの指示がされたことである。上記の指示がない場合には、表情推測の判定が判断される（ステップＳ９８３）。この表情推測の判定とは、所定期間内に動画データにおける表情が基準表情に近づくか否かである。

この表情推測の判定の判断（ステップＳ９８３）において、表情が基準表情に近づくとされれば、次に動画記録中であるか否かの判断がされる（ステップＳ９８４）。この判断において動画記録中でないと、動画データが静止画として記録される（ステップＳ９８５）。具体的には、カメラ部６１０で生成された動画データが、記憶部６２０においてメモリ６２２に記憶されることなく、処理部６３０に供給される。そして処理部６３０は、その動画データに対して静止画記憶用の画像処理を行い、静止画として記録する（ステップＳ９８５）。一方、動画記録中であるか否かの判断（ステップＳ９８４）において、動画記録中であると判断されると、動画データの記憶が行われる（ステップＳ９８６）。具体的には、カメラ部６１０で生成された動画データがメモリ６２２に一時的に記憶される。

この表情推測の判定の判断（ステップＳ９８３）において、表情が基準表情に近づくとされなければ、その時点で、カメラ部６１０に対する制御（ステップＳ９８１）がされる。

ユーザインターフェース６５０の動画記録開始／停止ボタン６５２に対する、ユーザからの指示の判断（ステップＳ９８２）において、ユーザから開始または停止のいずれかの指示がされると、次に動画記録中であるか否かの判断がされる（ステップＳ９８７）。この判断において動画記録中でないと、動画データの動画記録が開始する（ステップＳ９８８）。具体には、カメラ部６１０で生成された動画データが、記憶部６２０においてメモリ６２２に記憶されることなく、処理部６３０に供給される。そして処理部６３０は、その動画データに対して動画記憶用の画像処理を行い、動画として記録を開始する。一方、動画記録中であるか否かの判断（ステップＳ９８７）において、動画記録中であると、処理部６３０は、動画記録を停止する（ステップＳ９８９）。そして、動画記録は休止状態となる。

この動画記録が休止状態となると、カメラ部６１０で生成された動画データがメモリ６２２に記憶されたか否かの判断がされる（ステップＳ９９１）。この動画データの記憶が完了していれば、処理部６３０は、静止画の退避記録を行う（ステップＳ９９２）。具体的には、メモリ６２２に記憶された動画データが、処理部６３０に供給される。そして処理部６３０は、その動画データに対して静止画記憶用の画像処理を行い、静止画として記録する。

このように、本発明の実施の形態によれば、撮像装置１００では、所定期間内に画像データにおける表情と基準表情とが一定の相関関係を有するようになることを推測できる。この推測に基づいて、基準表情に最も近い表情を含む画像データが記憶され得る。

すなわち、時系列に変化する画像データから、その変化を推測し、ユーザの意図する画像を記録することが可能となる。

なお、本発明の実施の形態では、被検出対象を画像データの顔の表情の変化について説明したが、この被検出対象は、顔の表情に限定されるものでなく、例えば人の姿であってもよい。

このように、本発明の実施の形態によれば、画像データの顔の表情に関し、表情検出部３００において表情相関度を判定するとともに、表情推測部３９０において所定期間内にその表情相関度と基準表情が一定の相関関係を有するようになる旨を推測し、その推測に基づいて、上記所定期間内の画像データを画像記憶部１４０に記憶しておくことにより、ユーザは意図した画像データを記録することができる。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。

すなわち、請求項１、請求項８、請求項９、請求項１０または請求項１１において、表情相関判定手段は例えば表情検出部３００に対応する。また、表情推測手段は例えば表情推測部３９０に対応する。また、画像データ記憶手段は例えば画像記憶部１４０に対応する。また、画像記憶制御手段は例えば制御部１５０に対応する。

また、請求項７において、動画像データ記憶手段は例えばメモリ６２２に対応する。

また、請求項８、請求項９または請求項１０において、顔画像検出手段は例えば顔検出部２００に対応する。

また、請求項９において、顔確度評価手段は例えば顔確度評価部２９０に対応する。

また、請求項１０において、選択受付手段は例えば選択受付部１７２に対応する。

また、請求項１１において、撮像手段は例えば撮像部１１０に対応する。

また、請求項１２または請求項１３において、表情相関判定手順は例えばステップＳ９３５に対応する。また、表情推測手段は例えばステップＳ９３８に対応し、そして例えばステップＳ９３８およびステップＳ９４１に対応する。また、画像記憶制御手段は例えばステップＳ９５３に対応し、そして例えばステップＳ９６２およびステップＳ９７１に対応する。

なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。

本発明の実施の形態における撮像装置１００の機能構成例を示す図である。 本発明の実施の形態における顔検出部２００の機能構成例を示す図である。 本発明の実施の形態における表情検出部３００の機能構成例を示す図である。 本発明の実施の形態における画面表示の一例を示す図である。 本発明の実施の形態における画面表示の他の例を示す図である。 本発明の実施の形態における画面表示のさらに他の例を示す図である 本発明の実施の形態における表情相関度推移４３０の一例を示す図である。 本発明の実施の形態における時系列表情相関度変化曲線図の一例を示す図である。 本発明の実施の形態における時系列表情相関度変化曲線図の他の例を示す図である。 本発明の実施の形態の変形例としての画像記憶装置６００の一例を示す図である。 本発明の実施の形態における撮像装置１００のコンピュータによる処理（メインルーチン）の一例を示す流れ図である。 本発明の実施の形態における顔検出（ステップＳ９１０）の処理手順を示す流れ図である。 本発明の実施の形態における被写体選択（ステップＳ９２０）の処理手順を示す流れ図である。 本発明の実施の形態における表情検出評価（ステップＳ９３０）の処理手順を示す流れ図である。 本発明の実施の形態における撮像処理（ステップＳ９５０）の処理手順を示す流れ図である。 本発明の実施の形態における定期撮像（ステップＳ９６０）の処理手順を示す流れ図である。 本発明の実施の形態における保存撮像（ステップＳ９７０）の処理手順を示す流れ図である。 本発明の実施の形態の変形例としての画像記憶装置６００のコンピュータによる処理（メインルーチン）の一例を示す流れ図である。

符号の説明

１００ 撮像装置
１１０ 撮像部
１１１ 光学系
１１２ 撮像素子
１２０ 信号処理部
１３０ バス
１４０ 画像記憶部
１５０ 制御部
１６０ 保持部
１７０ ユーザインターフェース
１７１ 表示部
１７２ 選択受付部
１８０ 画像圧縮伸張部
１９０ 画像保存部
２００ 顔検出部
２１０ 画像信号入力部
２２０ 画像拡大縮小部
２３０ 画像保持部
２４０ 基準データ保持部
２５０ 判定部
２６０ 画像信号出力部
２７０ 制御部
２８０ 検出結果出力部
２９０ 顔確度評価部
３００ 表情検出部
３１０ 画像信号入力部
３２０ 画像拡大縮小部
３３０ 画像保持部
３４０ 基準データ保持部
３５０ 判定部
３６０ 画像信号出力部
３７０ 制御部
３８０ 検出結果出力部
３９０ 表情推測部

Claims (13)

1. 時系列に変化する画像データに含まれる顔画像の表情が所定の基準表情と相関する度合いを表情相関度として判定する表情相関判定手段と、
   所定期間内に前記顔画像の表情と前記所定の基準表情とが一定の相関関係を有するようになることを前記表情相関度の推移から推測して検出する表情推測手段と、
   前記検出が行われてから前記所定期間経過後の前記画像データが画像データ記憶手段に残存するよう制御する画像記憶制御手段と
   を具備することを特徴とする画像記憶装置。
2. 前記表情推測手段は、前記表情相関度が所定の度合いを超えた場合に前記一定の相関関係を有するようになる旨を検出することを特徴とする請求項１記載の画像記憶装置。
3. 前記表情推測手段は、前記表情相関度の変化の傾きが所定の値を超え、かつ、前記表情相関度が所定の度合いを超えた場合に前記一定の相関関係を有するようになる旨を検出することを特徴とする請求項１記載の画像記憶装置。
4. 前記画像記憶制御手段は、前記検出が行われてから前記所定期間経過後の前記画像データを画像データ記憶手段に記憶させることを特徴とする請求項１記載の画像記憶装置。
5. 前記画像記憶制御手段は、新たな前記画像データを記憶するよう前記画像データ記憶手段に更新を行わせ、前記検出が行われてから前記所定期間経過後には前記更新を中止させることを特徴とする請求項１記載の画像記憶装置。
6. 前記画像記憶制御手段は、前記検出が行われてから前記所定期間経過後の複数の前記画像データが画像データ記憶手段に残存するよう制御することを特徴とする請求項１記載の画像記憶装置。
7. 前記画像データを動画像データとして記憶する動画像データ記憶手段をさらに具備し、
   前記画像記憶制御手段は、前記検出が行われてから前記所定期間経過後の前記画像データを前記動画像データ記憶手段から前記画像データ記憶手段に退避させることを特徴とする請求項１記載の画像記憶装置。
8. 時系列に変化する画像データに含まれる顔画像を検出する顔画像検出手段と、
   前記検出された顔画像の表情が所定の基準表情と相関する度合いを表情相関度として判定する表情相関判定手段と、
   所定期間内に前記顔画像の表情と前記所定の基準表情とが一定の相関関係を有するようになることを前記表情相関度の推移から推測して検出する表情推測手段と、
   前記検出が行われてから前記所定期間経過後の前記画像データが画像データ記憶手段に残存するよう制御する画像記憶制御手段と
   を具備することを特徴とする画像記憶装置。
9. 時系列に変化する画像データに含まれる複数の顔画像を検出する顔画像検出手段と、
   前記検出された複数の顔画像について顔確度を評価する顔確度評価手段と、
   前記複数の顔画像において前記顔確度が最も高い顔画像の表情が所定の基準表情と相関する度合いを表情相関度として判定する表情相関判定手段と、
   所定期間内に前記顔確度が最も高い顔画像の表情と前記所定の基準表情とが一定の相関関係を有するようになることを前記表情相関度の推移から推測して検出する表情推測手段と、
   前記検出が行われてから前記所定期間経過後の前記画像データが画像データ記憶手段に残存するよう制御する画像記憶制御手段と
   を具備することを特徴とする画像記憶装置。
10. 時系列に変化する画像データに含まれる複数の顔画像を検出する顔画像検出手段と、
    前記検出された複数の顔画像の中から判定対象となる顔画像の選択を受け付ける選択受付手段と、
    前記選択された顔画像の表情が所定の基準表情と相関する度合いを表情相関度として判定する表情相関判定手段と、
    所定期間内に前記選択された顔画像の表情と前記所定の基準表情とが一定の相関関係を有するようになることを前記表情相関度の推移から推測して検出する表情推測手段と、
    前記検出が行われてから前記所定期間経過後の前記画像データが画像データ記憶手段に残存するよう制御する画像記憶制御手段と
    を具備することを特徴とする画像記憶装置。
11. 時系列に変化する被写体を撮像して画像データとして出力する撮像手段と、
    前記画像データに含まれる顔画像の表情が所定の基準表情と相関する度合いを表情相関度として判定する表情相関判定手段と、
    所定期間内に前記顔画像の表情と前記所定の基準表情とが一定の相関関係を有するようになることを前記表情相関度の推移から推測して検出する表情推測手段と、
    前記検出が行われてから前記所定期間経過後の前記画像データが画像データ記憶手段に残存するよう制御する画像記憶制御手段と
    を具備することを特徴とする撮像装置。
12. 時系列に変化する画像データに含まれる顔画像の表情が所定の基準表情と相関する度合いを表情相関度として判定する表情相関判定手順と、
    所定期間内に前記顔画像の表情と前記所定の基準表情とが一定の相関関係を有するようになることを前記表情相関度の推移から推測して検出する表情推測手順と、
    前記検出が行われてから前記所定期間経過後の前記画像データが画像データ記憶手順に残存するよう制御する画像記憶制御手順と
    を具備することを特徴とする画像記憶方法。
13. 時系列に変化する画像データに含まれる顔画像の表情が所定の基準表情と相関する度合いを表情相関度として判定する表情相関判定手順と、
    所定期間内に前記顔画像の表情と前記所定の基準表情とが一定の相関関係を有するようになることを前記表情相関度の推移から推測して検出する表情推測手順と、
    前記検出が行われてから前記所定期間経過後の前記画像データが画像データ記憶手順に残存するよう制御する画像記憶制御手順と
    をコンピュータに実行させることを特徴とするプログラム。

Images