JP2008131405A - 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム - Google Patents

Abstract

【課題】顔認識技術を用いて便利なユーザインターフェースを提供することを目的とする。
【解決手段】撮像部１２０が撮像した被写体の画像を入力する画像入力部８１０と、その画像から顔を検出する顔検出部２００と、入力された画像における検出された顔の位置を示す顔位置マーカを生成する顔位置マーカ生成部８２０と、入力された画像と生成された顔位置マーカとを重畳する重畳部８３０と、重畳された画像を出力する画像出力部８４０とを具備する撮像装置１００である。なお、顔位置マーカは、矩形状と、楕円形状と、矩形の四隅のみで形成される形状である四隅ポイント形状との何れかの形状を有する。また、入力された画像において顔の周りに顔位置マーカが配置されるように顔位置マーカが生成される。さらに、入力された画像において顔を囲むように顔位置マーカが配置されるように顔位置マーカが生成される。
【選択図】図４

Description

本発明は、撮像装置に関し、特に、顔が含まれる画像においてその顔の位置を表示する撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

従来、デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置、および両者の機能を備える動画および静止画カメラ等の撮像装置が急速に普及し、これらの撮像装置の高性能化が進んでいる。

撮像装置が備える機能のうちの代表的な機能として、人物の顔を検出する顔検出機能がある。この顔検出機能は、撮影画像から人物の顔領域を検出する機能である。このように撮影画像から人物の顔領域を検出することができるため、撮像装置のオートフォーカス（ＡＦ）や自動露光制御（ＡＥ）、オートホワイトバランス等の様々なアプリケーションや画像付随データに顔検出機能を活用することが考えられる。

例えば、画像から肌色の領域を抽出し、この肌色領域に基づいて人物の口、目等の特徴点の位置を検出し、肌色領域および特徴点の位置に基づいて肌色領域が顔領域であるか否かを判定する画像処理方法が提案されている（例えば、特許文献１参照。）。
特開２００４−５３８４公報（図１）

上述の従来技術によれば、撮影画像から人物の顔領域を検出することができる。さらに、顔認識技術を用いて、検出された顔領域に関して、顔の面積の大小、顔の位置、顔らしさの値等の様々な値を抽出することができる。また、笑顔、顔の表情、まばたきの有無等のように、顔の一部分の状態等を判定することもできる。

このように、顔認識技術を用いて撮影画像に含まれる顔に関する各種情報を抽出することが可能である。そこで、例えば、撮像装置において、顔認識技術を用いて撮影画像から検出された顔に関する各種情報をユーザが容易に認識することができれば、撮像装置を一層使い易くすることができ、撮影等を迅速に行うことができる。

そこで、本発明は、画像から検出された顔についての各種情報をその顔とともにユーザが容易に認識することができることを目的とする。また、本発明は、顔認識技術を用いて便利なユーザインターフェースを提供することを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、被写体の画像を撮像する撮像手段と、上記撮像手段により撮像された画像を入力する画像入力手段と、上記画像入力手段により入力された画像から顔を検出する顔検出手段と、上記画像入力手段により入力された画像における上記顔検出手段により検出された顔の位置を示す顔位置マーカを生成する顔位置マーカ生成手段と、上記画像入力手段により入力された画像と上記顔位置マーカ生成手段により生成された顔位置マーカとを重畳する重畳手段と、上記重畳手段により重畳された画像を表示する表示手段とを具備することを特徴とする撮像装置、およびその画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、撮像された画像を入力すると、入力された画像から顔を検出し、入力された画像における検出された顔の位置を示す顔位置マーカを生成し、入力された画像と生成された顔位置マーカとを重畳し、重畳された画像を表示するという作用をもたらす。

また、この第１の側面において、上記顔位置マーカ生成手段により顔位置マーカを生成するか否かを設定する設定手段をさらに具備することができる。これにより、顔位置マーカを生成するか否かを設定し、顔位置マーカの表示の有無を選択するという作用をもたらす。

また、この第１の側面において、上記顔位置マーカは、矩形状と、楕円形状と、矩形の四隅のみで形成される形状である四隅ポイント形状との何れかの形状を有することができる。これにより、矩形状と、楕円形状と、矩形の四隅のみで形成される形状である四隅ポイント形状との何れかの形状を有する顔位置マーカを表示するという作用をもたらす。

また、この第１の側面において、上記顔位置マーカ生成手段は、上記画像入力手段により入力された画像において上記顔検出手段により検出された顔の周りに上記顔位置マーカが配置されるように当該顔に係る顔位置マーカを生成することができる。これにより、入力された画像において顔の周りに顔位置マーカが配置されるように顔位置マーカを表示するという作用をもたらす。

また、この第１の側面において、上記顔位置マーカ生成手段は、上記画像入力手段により入力された画像において上記顔検出手段により検出された顔を囲むように上記顔位置マーカが配置されるように当該顔に係る顔位置マーカを生成することができる。これにより、入力された画像において顔を囲むように顔位置マーカが配置されるように顔位置マーカを表示するという作用をもたらす。

また、この第１の側面において、上記顔位置マーカ生成手段は、上記画像入力手段により入力された画像から上記顔検出手段により複数の顔が検出された場合には、上記顔位置マーカの色、上記顔位置マーカの線の種類、上記顔位置マーカの線の太さ、上記顔位置マーカの透過度、上記顔位置マーカの点滅状態、上記顔位置マーカの枠の内側の輝度または色のうちの少なくとも何れかを上記検出された顔毎に異なるように上記顔位置マーカを生成することができる。これにより、入力された画像から複数の顔が検出された場合には、顔位置マーカの色、線の種類、線の太さ、透過度、点滅状態、その枠の内側の輝度または色のうちの少なくとも何れかを、検出された顔毎に異なるように顔位置マーカを表示するという作用をもたらす。

また、この第１の側面において、上記表示手段は、上記重畳手段により重畳された画像において上記顔位置マーカの枠の内側または外側の何れかの輝度または色を変更して表示することができる。これにより、重畳された画像において顔位置マーカの枠の内側または外側の何れかの輝度または色を変更して表示するという作用をもたらす。

また、この第１の側面において、上記顔検出手段は、上記画像入力手段により入力された画像から検出された顔に関する各種情報を検出し、上記顔位置マーカ生成手段は、上記顔検出手段により検出された顔に関する各種情報に基づいて当該顔に係る顔位置マーカを生成することができる。これにより、入力された画像から検出された顔に関する各種情報を検出し、検出された顔に関する各種情報に基づいて当該顔に係る顔位置マーカを生成するという作用をもたらす。この場合において、上記顔に関する各種情報は、顔領域の面積、顔領域の座標、顔らしさの値、顔の正面向きの度合い、顔の傾きの度合い、表情が笑っている度合い、表情が真剣な度合い、目を閉じている度合いの何れか１つの情報またはこれらを組み合わせた情報であることができる。これにより、顔領域の面積、顔領域の座標、顔らしさの値、顔の正面向きの度合い、顔の傾きの度合い、表情が笑っている度合い、表情が真剣な度合い、目を閉じている度合いの何れか１つの情報またはこれらを組み合わせた情報に基づいて当該顔に係る顔位置マーカを生成するという作用をもたらす。

また、この第１の側面において、上記顔位置マーカ生成手段は、上記顔検出手段により検出された顔に関する各種情報に基づいて当該顔に係る顔位置マーカの透過率を変更することができる。これにより、検出された顔に関する各種情報に基づいて当該顔に係る顔位置マーカの透過率を順次変更して表示するという作用をもたらす。

また、この第１の側面において、上記顔検出手段により検出された顔に関する各種情報に基づいて当該顔についてフォーカスが合っている度合いまたはレンズ絞りが合っている度合いを検出するカメラ制御値検出手段をさらに具備し、上記顔位置マーカ生成手段は、上記カメラ制御値検出手段により検出された顔についてのフォーカスが合っている度合いまたはレンズ絞りが合っている度合いに基づいて当該顔に係る顔位置マーカを生成することができる。これにより、検出された顔に関する各種情報に基づいて当該顔についてフォーカスが合っている度合いまたはレンズ絞りが合っている度合いを検出し、この顔についてのフォーカスが合っている度合いまたはレンズ絞りが合っている度合いに基づいて当該顔に係る顔位置マーカを生成して表示するという作用をもたらす。

また、この第１の側面において、上記画像入力手段により入力された画像から上記顔検出手段により複数の顔が検出された場合には上記顔に関する各種情報に基づいて上記検出された複数の顔の中から最も主要な人物を推定する主要人物推定手段をさらに具備し、上記顔位置マーカ生成手段は、上記主要人物推定手段により推定された主要な人物の顔に係る顔位置マーカと他の人物の顔に係る顔位置マーカとを異なる形態として各顔位置マーカを生成することができる。これにより、入力された画像から複数の顔が検出された場合には、それらの顔に関する各種情報に基づいて、検出された複数の顔の中から最も主要な人物を推定し、推定された主要な人物の顔に係る顔位置マーカと他の人物の顔に係る顔位置マーカとを異なる形態として各顔位置マーカを生成して表示するという作用をもたらす。

また、この第１の側面において、特定の人物の顔に関する特定人物情報を記憶する特定人物記憶手段と、上記顔検出手段により検出された顔が上記特定人物記憶手段に記憶されている特定人物の顔と一致するか否かを判定する特定人物判定手段とをさらに具備し、上記顔位置マーカ生成手段は、上記顔検出手段により検出された顔が上記特定人物記憶手段に記憶されている特定人物の顔と一致すると上記特定人物判定手段により判定された場合には当該顔に係る顔位置マーカと他の人物の顔に係る顔位置マーカとを異なる形態として各顔位置マーカを生成することができる。これにより、検出された顔が特定人物の顔と一致するか否かを判定し、一致すると判定された場合には、当該顔に係る顔位置マーカと他の人物の顔に係る顔位置マーカとを異なる形態として各顔位置マーカを生成して表示するという作用をもたらす。

また、この第１の側面において、上記顔位置マーカ生成手段は、上記顔検出手段により検出された顔が上下左右何れかの方向を向いている場合にはその方向と角度に応じて当該顔に係る顔位置マーカの付近に表示する顔向きマーカを生成し、上記重畳手段は、上記画像入力手段により入力された画像と上記顔位置マーカ生成手段により生成された顔位置マーカおよび顔向きマーカとを重畳することができる。これにより、検出された顔が上下左右何れかの方向を向いている場合には、その方向と角度に応じて当該顔に係る顔位置マーカの付近に表示する顔向きマーカを生成し、入力された画像と生成された顔位置マーカおよび顔向きマーカとを重畳して表示するという作用をもたらす。

また、この第１の側面において、上記顔位置マーカ生成手段は、上記顔検出手段により検出された顔がロール方向に傾いている場合にはその傾きに応じて当該顔に係る顔位置マーカの付近に表示する顔傾斜マーカを生成し、上記重畳手段は、上記画像入力手段により入力された画像と上記顔位置マーカ生成手段により生成された顔位置マーカおよび顔傾斜マーカとを重畳することができる。これにより、検出された顔がロール方向に傾いている場合には、その傾きに応じて当該顔に係る顔位置マーカの付近に表示する顔傾斜マーカを生成し、入力された画像と生成された顔位置マーカおよび顔傾斜マーカとを重畳して表示するという作用をもたらす。なお、ロール方向とは、顔の前後方向を軸として顔が回転する回転方向である。

また、この第１の側面において、上記顔位置マーカ生成手段は、上記顔検出手段により検出された顔における上下左右の何れかを表示する顔位置マーカである特定位置表示マーカを生成し、上記重畳手段は、上記画像入力手段により入力された画像と上記顔位置マーカ生成手段により生成された特定位置表示マーカとを重畳することができる。これにより、検出された顔における上下左右の何れかを表示する特定位置表示マーカを生成し、入力された画像と生成された特定位置表示マーカとを重畳して表示するという作用をもたらす。

また、この第１の側面において、上記顔位置マーカ生成手段は、上記顔位置マーカ上またはその付近に表示するマーカであって上記顔検出手段により検出された顔における上下左右の何れかを表示する特定位置表示マーカを生成し、上記重畳手段は、上記画像入力手段により入力された画像と上記顔位置マーカ生成手段により生成された顔位置マーカおよび特定位置表示マーカとを重畳することができる。これにより、検出された顔における上下左右の何れかを表示する特定位置表示マーカを生成し、入力された画像と生成された顔位置マーカおよび特定位置表示マーカとを重畳し、顔位置マーカ上またはその付近に特定位置表示マーカを表示するという作用をもたらす。

また、この第１の側面において、上記顔位置マーカ生成手段により生成された特定位置表示マーカに基づいて縦長の画角の撮影状態であることを検出する撮影状態検出手段をさらに具備し、上記表示手段は、上記重畳手段により重畳された画像において上記顔位置マーカ生成手段により生成された特定位置表示マーカとともに上記撮影状態検出手段により縦長の画角の撮影状態であることが検出された場合にはその旨を表示することができる。これにより、生成された特定位置表示マーカに基づいて縦長の画角の撮影状態であることを検出し、重畳された画像において特定位置表示マーカとともに縦長の画角の撮影状態である旨を表示するという作用をもたらす。

また、この第１の側面において、上記重畳手段により重畳された画像とともに上記撮影状態検出手段により縦長の画角の撮影状態であることが検出された場合にはその旨を示す画像付随情報を記憶媒体に出力する出力手段をさらに具備することができる。これにより、重畳された画像とともに縦長の画角の撮影状態である旨を示す画像付随情報を記憶媒体に出力するという作用をもたらす。

また、この第１の側面において、上記顔検出手段により検出された複数の顔とともに当該複数の顔に対応する顔位置マーカが上記表示手段に表示されている場合において上記表示されている複数の顔の中から所望する人物の顔を選択する選択手段をさらに具備し、上記顔位置マーカ生成手段は、上記選択手段により選択された人物の顔に係る顔位置マーカと他の人物の顔に係る顔位置マーカとを異なる形態として各顔位置マーカを生成することができる。これにより、複数の顔とともに当該複数の顔に対応する顔位置マーカが表示されている場合において、その表示されている複数の顔の中から所望する人物の顔を選択し、選択された人物の顔に係る顔位置マーカと他の人物の顔に係る顔位置マーカとを異なる形態として各顔位置マーカを生成して表示するという作用をもたらす。

また、本発明の第２の側面は、画像を入力する画像入力手段と、上記画像入力手段により入力された画像から顔を検出する顔検出手段と、上記画像入力手段により入力された画像における上記顔検出手段により検出された顔の位置を示す顔位置マーカを生成する顔位置マーカ生成手段と、上記画像入力手段により入力された画像と上記顔位置マーカ生成手段により生成された顔位置マーカとを重畳する重畳手段と、上記重畳手段により重畳された画像を出力する出力手段とを具備することを特徴とする画像処理装置、およびその画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、入力された画像から顔を検出し、入力された画像における検出された顔の位置を示す顔位置マーカを生成し、入力された画像と生成された顔位置マーカとを重畳し、重畳された画像を出力するという作用をもたらす。

本発明によれば、画像から検出された顔についての各種情報をその顔とともにユーザが容易に認識することができるという優れた効果を奏し得る。

次に本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の実施の形態における撮像装置１００の機能構成例を示すブロック図である。撮像装置１００として、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置、または、携帯電話やパーソナルコンピュータ等の端末装置に付属するカメラ等の撮像装置が例として挙げられる。

撮像装置１００は、制御部１１０と、撮像部１２０と、信号処理部１３０と、画像記憶部１４０と、画像圧縮伸張部１５０と、ユーザインターフェース１６０と、入出力端子１７０と、記憶媒体１８０と、バス１９０と、顔検出部２００と、表情検出部６００と、保持部７００と、振動センサ７１０とを備える。なお、各ブロック間における画像信号の送受信は、直接のやりとり、または、画像記憶部１４０またはバス１９０を経由したやりとりによって行われる。

制御部１１０は、メモリ（図示せず）に格納されている各種制御プログラムに基づいて撮像装置１００の各部を制御する制御部である。

撮像部１２０は、光学系１２１および撮像素子１２２を備え、被写体からの入射光を電気信号に光電変換し、光電変換された電気信号を信号処理部１３０に出力するものである。光学系１２１は、フォーカスレンズやズームレンズ等のレンズ群を備え、これらのレンズ群を介して入力された被写体からの入射光を撮像素子１２２に出力するものである。撮像素子１２２は、光学系１２１から出力された入射光を光電変換し、光電変換された電気信号を信号処理部１３０に出力するものである。

信号処理部１３０は、撮像素子１２２から出力された電気信号に対して各種の信号処理を施し、信号処理が施された画像データを画像記憶部１４０と画像圧縮伸張部１５０とユーザインターフェース１６０と顔検出部２００とに出力するものである。信号処理部１３０における信号処理として、ノイズ軽減処理、レベル補正処理、Ａ／Ｄ変換処理および色彩補正処理等の信号処理がある。また、信号処理部１３０は、制御部１１０の指示に基づいて各部から入力された画像に対して各種の画像処理を実行する。

画像記憶部１４０は、撮像装置１００において処理対象となる画像データを記憶するものである。

画像圧縮伸張部１５０は、入力された各種画像データを各画像処理に応じて圧縮または伸張するものである。例えば、画像圧縮伸張部１５０により圧縮処理が施された画像データが記憶媒体１８０に出力されて記憶媒体１８０に記録される。また、画像圧縮伸張部１５０により伸張処理が施された画像データが画像記憶部１４０、表示部１６１、顔検出部２００に出力される。なお、圧縮形式として、例えばＪＰＥＧ（Joint Photographic Experts Group）形式を採用することができる。

ユーザインターフェース１６０は、表示部１６１と選択受付部１６２とを備え、撮像装置１００を使用するユーザに対するインターフェースを提供するものである。

表示部１６１は、信号処理部１３０または画像圧縮伸張部１５０が出力した画像データに対応する画像を表示する表示部である。表示部１６１は、例えば、撮像装置１００が撮像する被写体の画像である撮影画像を表示する。

選択受付部１６２は、ユーザが入力した選択情報を電気信号に変換し、変換された電気信号を制御部１１０に出力するものである。例えば、表示部１６１に表示されている撮影画像から顔検出部２００が顔を検出した場合には、撮像装置１００は、その顔に顔位置マーカを付して撮影画像に顔が含まれていることをユーザに通知する。このように、画像に顔が含まれている場合において、その顔に顔位置マーカを付するように設定（ＯＮ設定）することができるとともに、その顔に顔位置マーカを付さない設定（ＯＦＦ設定）をすることができる。このＯＮ、ＯＦＦ設定を選択受付部１６２において行う。また、表示部１６１に表示されている画像に複数の顔が含まれている場合に、ユーザが所望する人物の顔を選択する場合における選択操作を選択受付部１６２において行う。

なお、ユーザインターフェース１６０は、例えば、図１５（ｂ）に示すように、タッチパネルとして表示部１６１と選択受付部１６２とが一体で構成するようにしてもよく、図１５（ｃ）に示すように、表示部１６１を液晶ディスプレイ（ＬＣＤ）とし、選択受付部１６２を十字キー１６２ａ等のハードキーとして双方を別体で構成するようにしてもよい。

入出力端子１７０は、画像圧縮伸張部１５０が出力した画像データを外部記憶媒体等の外部装置に出力するとともに、外部記憶媒体から入力された画像データを画像圧縮伸張部１５０に出力する入出力端子である。

記憶媒体１８０は、画像圧縮伸張部１５０が出力した画像データを記憶するとともに、記憶されている画像データを画像圧縮伸張部１５０に出力する画像記憶媒体である。なお、画像記憶媒体としては、磁気ディスク、光ディスク、半導体記憶媒体、磁気テープ等の画像記憶媒体がある。また、画像記憶媒体は、外部取り外しの可能な記憶媒体および内蔵の記憶媒体の少なくとも何れか一方である。

バス１９０は、画像データを伝達するための共有バスである。

顔検出部２００は、入力された画像データに対応する画像に含まれる人の顔を検出するものである。なお、顔検出部２００の詳細については、図２を参照して説明する。

表情検出部６００は、顔検出部２００によって検出された顔についての各表情等を検出するものである。なお、表情検出部６００の詳細については、図３を参照して説明する。

保持部７００は、各種情報を記憶する揮発／不揮発性の記憶媒体である。

振動センサ７１０は、撮像装置１００の加速度、動き、傾き等を検出するものであり、検出された各種情報を制御部１１０に出力する。振動センサ７１０は、例えばジャイロセンサにより実現することができる。

図２は、顔検出部２００の機能構成例を示すブロック図である。

顔検出部２００は、制御部２１０と、画像入力部２２０と、画像拡大縮小部２３０と、画像保持部２４０と、基準データ保持部２５０と、判定部２６０と、検出結果出力部２７０と、画像出力部２８０とを備える。

制御部２１０は、制御部１１０からの指示に従って顔検出部２００の各部を制御するものである。

画像入力部２２０は、信号処理部１３０、画像記憶部１４０、画像圧縮伸張部１５０の何れかから画像データが入力されると、入力された画像データを画像拡大縮小部２３０に出力するものである。

画像拡大縮小部２３０は、画像入力部２２０が出力した画像データに対応する画像に対して、顔の検出に適する画像に拡大または縮小処理を実行するものである。なお、画像の拡大率または縮小率は、制御部１１０からの指示に基づいて決定される。

画像保持部２４０は、画像拡大縮小部２３０が拡大または縮小処理をした画像を保持するものである。

基準データ保持部２５０は、顔検出に用いる顔の基準データを保持するものであり、保持している顔の基準データを判定部２６０に出力する。ここで基準となる顔データは、例えば、顔画像そのもの、人の顔としての特徴データベース、特定の人物の顔に関する特徴データベース等である。一般に、顔画像そのものよりも特徴データの方が、多くの顔データベースを比較的少ない記憶容量で保持することができる。

判定部２６０は、画像保持部２４０に保持されている画像データに対応する画像に顔が含まれているか否かを判定するものであり、判定結果を検出結果出力部２７０に出力する。具体的には、判定部２６０は、画像保持部２４０に保持されている画像データに対応する画像を一定のウィンドウサイズで部分的に取り出し、取り出された画像と、基準データ保持部２５０に保持されている顔データとの相関性の高さに基づいて、取り出された画像が顔画像であるか否かを判定する。これらの判定を繰り返し実行し、画像保持部２４０に保持されている画像データに対応する画像に顔が含まれているか否かを判定する。

また、判定部２６０は、基準データ保持部２５０に保持されている顔データとの相関性の高さに基づいて、画像保持部２４０に保持されている画像データに対応する画像に含まれている顔に関する各種データを抽出し、抽出された各種データを顔検出結果として検出結果出力部２７０に出力する。

検出結果出力部２７０は、判定部２６０が出力した判定結果および顔検出結果を受け取ると、受け取った判定結果および顔検出結果を制御部１１０に出力するものである。

画像出力部２８０は、画像保持部２４０に保持されている画像を画像記憶部１４０に出力するものである。

ここで、顔検出部２００が出力する顔検出結果の値について説明する。

顔検出部２００が出力する顔検出結果の値として、以下に示す（１）乃至（６）等の顔領域に関する評価値がある。
（１）顔の面積の大小（カメラからの距離）
（２）顔の位置（画像中心からの距離）
（３）顔らしさの値
（４）顔の横向きの度合い（正面方向、上下左右何れかの方向）
（５）顔の傾きの度合い（首をかしげている）
（６）顔の上下左右

これらの何れかの値を単独で顔位置マーカの生成に用いることができるとともに、これらを重み付け処理して顔位置マーカの生成に用いることができる。また、（１）乃至（６）以外の顔検出結果の値として、以下に示す（７）乃至（９）等の顔の表情や顔の一部分の状態等に関する評価値がある。
（７）笑顔の度合い
（８）真顔（真剣な顔）の度合い
（９）目が閉じている（まばたきをしている）度合い

これらについても顔位置マーカの生成に用いることができる。

図３（ａ）は、表情検出部６００の機能構成例を示すブロック図である。

表情検出部６００は、制御部６１０と、画像入力部６２０と、画像拡大縮小部６３０と、画像保持部６４０と、基準データ保持部６５０と、判定部６６０と、検出結果出力部６７０と、画像出力部６８０とを備える。

制御部６１０は、制御部１１０からの指示に従って表情検出部６００の各部を制御するものである。

画像入力部６２０は、顔検出部２００が検出した顔に対応する画像データが画像記憶部１４０から入力されると、入力された画像データを画像拡大縮小部６３０に出力するものである。

画像拡大縮小部６３０は、画像入力部６２０が出力した画像データに対応する画像に対して、表情等の各種情報の検出に適する画像に拡大または縮小処理を実行するものである。なお、画像の拡大率または縮小率は、制御部１１０からの指示に基づいて決定される。

画像保持部６４０は、画像拡大縮小部６３０が拡大または縮小処理をした画像を保持するものである。

基準データ保持部６５０は、表情検出等に用いる顔の各部等の基準データを保持するものであり、保持している基準データを判定部６６０に出力する。ここで基準となる基準データは、例えば、目や口等の画像そのもの、人の顔としての特徴データベース、特定の人物の顔に関する特徴データベース等であり、図３（ｂ）に示すように、顔画像における右目および左目を抽出するための右目データベース左目データベース６５１、笑顔を判定するための笑顔データベース６５２、まばたき顔を判定するためのまばたき顔データベース６５３、ユーザによって特定された人物を特定人物として抽出するための特定人物データベース６５４等がある。一般に、画像そのものよりも特徴データの方が、多くの各種データベースを比較的少ない記憶容量で保持することができる。

判定部６６０は、画像保持部６４０に保持されている画像データに対応する顔画像における表情等を判定するものであり、表情検出結果を検出結果出力部６７０に出力する。具体的には、判定部６６０は、画像保持部６４０に保持されている画像データに対応する顔画像を一定のウィンドウサイズで部分的に取り出し、取り出された画像と、基準データ保持部６５０に保持されている各種データとの相関性の高さに基づいて、取り出された画像に関する各種データを抽出する。これらの抽出処理を繰り返し実行し、抽出された各種データに基づいて、画像保持部６４０に保持されている画像データに対応する顔画像の表情等を判定する。

また、判定部６６０は、顔検出部２００が出力した顔検出結果の値に基づいて画像保持部６４０に保持されている画像データに対応する顔画像の表情等を判定し、判定した表情等に関する各種データを表情検出結果として検出結果出力部６７０に出力する。

検出結果出力部６７０は、判定部６６０が出力した表情検出結果を受け取ると、受け取った表情検出結果を制御部１１０に出力するものである。

画像出力部６８０は、画像保持部６４０に保持されている画像を画像記憶部１４０に出力するものである。

次に、顔検出部２００が出力した顔検出結果の値に基づいて最も主要と思われる人物を判定する場合について説明する。

例えば、撮影画像に複数の顔が存在する場合において、顔検出部２００が検出した各顔の各種の評価値を総合し、最も主要と思われる人物を判定して、その人物に付する顔位置マーカの色や太さを他の人物に付する顔位置マーカと異なるようにして、その人物をユーザに知らせることができる。

最も主要と思われる人物を判定する判定方法として、例えば、以下の（式１）を用いて、総合的な評価値Ｅ０を求め、評価値Ｅ０が最大の顔を複数の顔の中で最も主要な人物の顔であると判定する方法がある。なお、Ｅ０１乃至Ｅ０５はそれぞれの顔評価値の重み付け係数を表す。
Ｅ０＝Ｅ０１×顔領域の面積
＋Ｅ０２×顔領域の座標
＋Ｅ０３×顔らしさの値
＋Ｅ０４×正面向きの度合い
＋Ｅ０５×顔の傾きの少なさの度合い……（式１）

次に、顔検出部２００が出力した顔検出結果の値に基づいて顔のフォーカス・絞りの評価値Ｅ１を求める場合について説明する。

顔のフォーカス・絞りの評価値Ｅ１を求める方法として、例えば、以下の（式２）を用いて求める方法がある。なお、Ｅ１０またはＥ１１はそれぞれの顔評価値の重み付け係数を表す。
Ｅ１＝Ｅ１０×フォーカス評価値
＋Ｅ１１×絞り評価値…………（式２）

次に、顔検出部２００が出力した顔検出結果の値に基づいて顔の表情の評価値Ｅ２を求める場合について説明する。なお、顔の表情の評価値Ｅ２を求める動作については、図１７を参照して説明する。

顔の表情の評価値Ｅ２を求める方法として、例えば、以下の（式３）を用いて求める方法がある。なお、Ｅ２０またはＥ２１はそれぞれの顔評価値の重み付け係数を表す。
Ｅ２＝Ｅ２０×笑顔（または真顔）の度合い
＋Ｅ２１×まばたき回避度合い…………（式３）

次に、顔検出部２００が出力した顔検出結果の値に基づいて表情・まばたきの度合いを求める場合について説明する。

最初に、表情の度合いを算出する方法について説明する。

人物を撮影する場合における撮影モードであるポートレート・モード等を用いて人物を好ましく撮影する場合、被写体の人物がにっこりと笑顔になった瞬間を逃さずにシャッターを切る（または動画として録画する）ことが重要である。なお、従来は、被写体の人物が十分に笑顔になっているか否かを撮影者が判断している。

本発明の実施の形態では、その笑顔の度合いを数値化することによって、被写体人物が笑顔であることを撮像装置１００が判断することができる。

人の顔を認識するために、多数の顔データを統合させたデータベースとテンプレート・マッチングを取る手法はよく知られている（例えば、特開２００３−２７１９３３、特開２００４−３０６２９等参照）。そこで、例えば笑顔に関しても、多数の笑顔のサンプル画像から笑顔データベースを構築しておき、これと入力画像の一部を取り出した画像とをテンプレート・マッチング処理することにより、「笑顔である」／「笑顔でない」の判定が可能である。また、これにより笑顔の度合いの数値化が可能である。

笑顔の度合いの算出式として、例えば、以下の（式４）の算出式がある。
笑顔の度合いＥｓｍｉｌｅ
＝Ｗｓ０×（目が細くなる度合い）
＋Ｗｓ１×（口の左右端が横に広がる度合い）
＋Ｗｓ２×（上下の唇の間に歯が見える度合い）
＋Ｗｓ３×（口の左右端が上に上がる度合い）
＋Ｗｓ４×（口の左右の脇に笑いじわが寄る度合い）
＋Ｗｓ５×（頬が前に出る「光が当たって白っぽくなる」度合い）
＋Ｗｓｎ……
（Ｗｓｎ：各要因の重み付け係数）……（式４）

なお、証明写真撮影等においては、真顔（まがお、真剣な顔）がシャッターチャンスになる場合がある。この場合においても、笑顔と同様に、多数の真剣な顔のサンプル画像から真顔データベースを構築しておき、テンプレート・マッチング処理することにより真剣な度合いを数値化することができる。

真剣な顔の場合の算出式では、目が開いている度合い、口の横幅が狭い度合い等を、上記の（式４）における各要因をほぼ逆の状態で定義することができる。

次に、まばたきの度合いを算出する方法について説明する。

人物の撮影をする場合には、基本的に目のまばたきを回避することが好ましい。このため、まばたきの期間（すなわち、目を閉じ始めてから、完全に目を閉じ、目を開ききるまでの時間）はシャッターチャンスに適さないと考えられる。特に、多人数での集合写真を撮影する場合には、人物全員がまばたきせずに目を十分に開いているタイミングで撮影することは、困難である場合が多い。しかしながら、これについても、従来は、撮影者が判断していた。

本発明の実施の形態では、被写体人物がまばたきの最中か否かを、撮像装置１００が認識することができ、さらにそのまばたきの度合いを数値化することが可能である。まばたきに関しても、多数のまばたき顔のサンプル画像からまばたき顔データベースを構築しておき、これと入力画像の一部を取り出した画像とをテンプレート・マッチング処理することにより、「まばたき顔である」／「まばたき顔ではない」を判定することができる。また、まばたきの度合いの数値化が可能である。

次に、特定人物を検出する方法について説明する。

特定人物とは、撮像装置１００のユーザにより特定された人物である。その人物の顔領域に関する各種データが特定人物データベース６５４として撮像装置１００内に保持される。なお、各種データとしては、例えば、顔の輪郭、顔の構成部分（目、鼻、眉、口、耳、髪、ひげ、眼鏡等）の形状や特徴、位置等がある。また、外部から撮像装置１００に特定人物のデータを与えるようにしてもよい。その特定人物の顔に関する特定人物データベースと、入力画像より検出された顔領域での各種データとを比較し、その相関値を算出して、同一人物であるか否かを判定し、同一人物であれば、その人物が特定人物であると判定する。このような顔画像による特定人物の認識に関しては、特公平６−７３８８等に記載されている技術がよく知られている。

図４は、本発明の実施の形態における撮像装置１００の顔位置マーカ重畳に関する機能構成例を示すブロック図である。

撮像装置１００は、画像入力部８１０と、顔検出部２００と、表情検出部６００と、顔位置マーカ生成部８２０と、重畳部８３０と、画像出力部８４０と、選択受付部１６２とを備える。

画像入力部８１０は、画像を入力するものであり、入力された画像を顔検出部２００と、顔位置マーカ生成部８２０と、重畳部８３０とに出力するものである。

顔検出部２００は、図１および図２で示した顔検出部２００と同じものであり、画像入力部８１０が出力した画像から顔を検出するものであり、検出結果等を表情検出部６００と顔位置マーカ生成部８２０とに出力するものである。

顔位置マーカ生成部８２０は、画像入力部８１０が出力した画像における顔検出部２００が検出した顔の位置を示す顔位置マーカを生成するものであり、生成された顔位置マーカを重畳部８３０に出力する。なお、顔位置マーカについては、顔検出部２００が出力した検出結果および表情検出部６００が出力した表情検出結果等に基づいて顔検出部２００が検出した各顔の顔位置マーカが生成される。なお、顔位置マーカ生成部８２０が生成する顔位置マーカについては、図５乃至図１５を用いて詳細に説明する。また、顔位置マーカ生成部８２０は、選択受付部１６２から顔位置マーカに関するＯＮ設定が出力された場合には顔位置マーカを生成し、選択受付部１６２から顔位置マーカに関するＯＦＦ設定が出力された場合には顔位置マーカを生成しない。

重畳部８３０は、画像入力部８１０が出力した画像と、顔位置マーカ生成部８２０により生成された顔位置マーカとを重畳するものであり、重畳された画像を画像出力部８４０に出力する。なお、重畳方法については、図５を用いて説明する。

画像出力部８４０は、重畳部８３０により重畳された重畳画像を出力するものである。画像出力部８４０は、例えば、重畳画像を表示する表示部１６１に対応する。また、例えば、重畳画像に対応する画像データを、重畳画像を表示する他の外部装置に出力する入出力端子１７０に対応する。なお、重畳画像に対応する画像データを記憶媒体１８０等の画像記憶媒体に出力してその外部装置に重畳画像を記憶させるようにすることができる。

選択受付部１６２は、図１で示した選択受付部１６２と同じものであり、ユーザにより入力された顔位置マーカに関するＯＮ設定またはＯＦＦ設定に関する選択情報を顔位置マーカ生成部８２０に出力するものである。

図５は、表示部１６１に表示される撮影画像に顔位置マーカを重畳する場合における重畳方法の一例を示す図である。

図５（ａ）は、表示部１６１に表示される撮影画像である画像３０１を示す図である。表示部１６１に表示される画像３０１は、画像記憶部１４０における所定のアドレスにおいて順次更新される。なお、画像３０１には、人間の顔５０１乃至５０３が含まれている。

図５（ｂ）は、画像３０１に重畳される図形や記号等で構成される顔位置マーカ４１１乃至４１３を示す図である。これらの顔位置マーカ４１１乃至４１３は、画像記憶部１４０において図５（ａ）に示す画像３０１とは異なるアドレスに描画される。なお、これらの顔位置マーカ４１１乃至４１３は、画像３０１に含まれている人間の顔５０１乃至５０３に対応する位置に描画される。

図５（ｃ）は、図５（ａ）に示す画像３０１と図５（ｂ）に示す顔位置マーカ４１１乃至４１３とが重畳された画像である重畳画像３０３を示す図である。なお、重畳画像３０３は、設定された合成比で撮影画像と顔位置マーカとが重畳される。この合成比を０〜１００％の範囲で任意に設定可能にすることによって、顔位置マーカの透過率を変更することができる。これにより、重畳画像において撮影画像が所定の透過度で透過するように顔位置マーカを表示することができる。

次に、表示部１６１に表示される表示例について図面を参照して説明する。

図６および図７は、表示部１６１に表示される画像の表示例を示す図であって、顔位置マーカの形状の表示例を示す図である。

図６（ａ）は、顔位置マーカの表示がＯＦＦに設定されている場合における表示部１６１の表示例（画像３０４）を示す図である。このように、選択受付部１６２において顔位置マーカ表示のＯＦＦが選択されている場合には、表示部１６１に顔位置マーカが表示されない。

図６（ｂ）、図７（ａ）、図７（ｂ）は、顔位置マーカの表示がＯＮに設定されている場合における表示部１６１の表示例を示す図である。このように、選択受付部１６２において顔位置マーカの表示がＯＮに設定されている場合において、表示部１６１に表示される画像に顔が含まれている場合には、表示部１６１に顔位置マーカが表示される。

図６（ｂ）は、人間の顔５０１乃至５０３の少なくとも一部を囲むように矩形の顔位置マーカ４２１乃至４２３が表示部１６１に表示されている場合における表示例（画像３０５）を示す図である。矩形の顔位置マーカは、最も簡易に表示することが可能な形状であり、その形状は正方形としてもよく、長方形とするようにしてもよい。例えば、図６（ｂ）に示すように、顔の上下左右方向と顔位置マーカの矩形の各辺とが垂直になるように顔位置マーカを表示すると、表示部１６１に表示されている顔が、回転しているか否かを判断し易い。具体的には、顔５０２のように、顔の前後方向を軸として顔が回転している（以下では、「顔が傾いている」と称する。）場合には、顔位置マーカ４２２のように、その顔の傾きに合わせて顔位置マーカの矩形の中心を回転中心としてその矩形を回転させる。また、例えば、顔５０３のように、顔の上下方向を軸として顔が回転している（以下では、「顔が横を向いている」と称する。）場合には、顔位置マーカ４２３のように、その顔の正面方向に合わせて顔位置マーカの矩形を回転させる。

図７（ａ）は、人間の顔５０１乃至５０３を囲むように円形の顔位置マーカ４２４乃至４２６が表示部１６１に表示されている場合における表示例（画像３０６）を示す図である。なお、本発明の実施の形態で示す各図では、顔の形を簡略化しているため、顔の形を円形としている。しかし、人の顔のシルエットは、縦長の楕円形を描くことが多い。このため、人の顔の輪郭に合わせるように、楕円形の顔位置マーカとするようにしてもよい。このように、楕円形の顔位置マーカを人の顔の輪郭に合わせることによって、ユーザに人の顔を視覚的に分かり易くすることができる。例えば、顔位置マーカを楕円形とする場合には、図６（ｂ）に示す矩形の場合と同様に、その顔の回転等に合わせて顔位置マーカの楕円形を回転させる。

図７（ｂ）は、人間の顔５０１乃至５０３を囲むように四隅ポイントの顔位置マーカ４２７乃至４２９が表示部１６１に表示されている場合における表示例（画像３０７）を示す図である。四隅ポイントの顔位置マーカは、図７（ｂ）に示すように、矩形の四隅の部分のみを表示して、矩形の各辺の中央部分を表示しない顔位置マーカである。このように、矩形の四隅の部分のみを表示することによって、表示部１６１に表示される画像３０７における顔位置マーカの表示領域を比較的小さくすることができる。このため、表示部１６１に表示される撮影画像を見易くすることができる。なお、顔位置マーカを四隅ポイントとする場合においても、図６（ｂ）に示す矩形の場合と同様に、その顔の回転等に合わせて四隅ポイントの顔位置マーカを回転させる。

図８および図９は、矩形の顔位置マーカが付された人間の顔５０１乃至５０３が表示部１６１に表示されている場合における表示例を示す図であって、顔位置マーカの表示バリエーション例を示す図である。

図８（ａ）は、顔位置マーカ４３１乃至４３３のそれぞれを異なる色で表示する表示例（画像３０８）を示す図である。例えば、表示部１６１に複数の顔が表示されている場合において、最も主要と判断された人物の顔に付される顔位置マーカを黄色の顔位置マーカとし、その人物以外の人物の顔に付される顔位置マーカを青色の顔位置マーカとし、傾いている顔または横を向いている顔に付される顔位置マーカを赤色の顔位置マーカとする。このように、表示部１６１に表示されている人物またはその顔に応じて顔位置マーカの色を変更することによって、使用者が各顔の状態等を識別し易くすることができる。具体的に、表示部１６１に表示されている人物の中で最も主要な人物の顔を顔５０１とした場合、顔５０１には黄色の顔位置マーカ４３１が付される。また、傾いている顔５０２には赤色の顔位置マーカ４３２が付され、横を向いている顔５０３には赤色の顔位置マーカ４３３が付される。なお、図８（ａ）では、各色の表示を省略する。

図８（ｂ）は、顔位置マーカ４３４乃至４３６のそれぞれを実線や点線とし、または実線や点線の太さを変更することによって顔５０１乃至５０３を区別する表示例（画像３０９）を示す。例えば、表示部１６１に複数の顔が表示されている場合において、顔が傾いておらず横を向いていない状態であれば、その顔に付される顔位置マーカを太い実線の顔位置マーカとし、傾いている顔に付される顔位置マーカを点線の顔位置マーカとし、横を向いている顔に付される顔位置マーカを実線の顔位置マーカとする。このように、表示部１６１に表示されている人物またはその顔に応じて顔位置マーカの線の太さ等を変更することによって、使用者が各顔の状態等を識別し易くすることができる。具体的に、表示部１６１に表示されている人物の中で、顔が傾いておらず横を向いていない人物の顔５０１には太い実線の顔位置マーカ４３４が付され、顔が傾いている人物の顔５０２には点線の顔位置マーカ４３５が付され、顔が横を向いている人物の顔５０３には実線の顔位置マーカ４３６が付される。なお、顔５０１の実線を顔５０３の実線と比較して太くする。また、実線または点線等の線の種類をさらに複数種類設けて、顔の性質や状態に応じてこれらの種類を使用するようにしてもよい。

図８（ｃ）は、顔位置マーカ４３７乃至４３９のそれぞれの透過度を変更することによって顔５０１乃至５０３を区別する表示例（画像３１０）を示す。例えば、表示部１６１に複数の顔が表示されている場合において、複数の顔の中で顔らしさの値が高い顔の場合には、その顔に付される顔位置マーカの透過率を下げて濃い顔位置マーカ表示とし、複数の顔の中で顔らしさの値が低い顔の場合には、その顔に付される顔位置マーカの透過率を上げて薄い顔位置マーカ表示とする。このように、表示部１６１に表示されている人物またはその顔に応じて顔位置マーカの透過率を変更することによって、使用者が各顔の状態等を識別し易くすることができる。具体的に、表示部１６１に表示されている人物の中で、顔らしさの値が低い人物の顔を顔５０１とし、顔らしさの値が高い人物の顔を顔５０２および５０３とした場合においては、顔５０１には透過率が高い顔位置マーカ４３７が付され、顔５０２および５０３には透過率の低い顔位置マーカ４３８および４３９が付される。なお、顔５０１に付される顔位置マーカ４３７の透過率が高いため、顔位置マーカ４３７を使用者が認識し難い。このため、使用者が認識し易いように、顔位置マーカ４３７の線を太く表示するとよい。

図９（ａ）は、顔位置マーカ４４０乃至４４２の少なくとも１つを点滅表示させる表示例（画像３１１）を示す図である。例えば、表示部１６１に複数の顔が表示されている場合において、最も主要と判断された人物の顔に付される顔位置マーカを点滅表示させ、その人物以外の人物の顔に付される顔位置マーカを通常表示とする。また、表示部１６１に複数の顔が表示されている場合において、フォーカスや絞りが変化した後に、フォーカスや絞りが最も適正な値となっている人物の顔に付される顔位置マーカを所定時間だけ点滅表示させ、その人物以外の人物の顔に付される顔位置マーカを通常表示とする。このように、表示部１６１に表示されている人物またはその顔等に応じて顔位置マーカの表示状態を変更することによって、使用者が各顔の状態等を識別し易くすることができる。具体的に、表示部１６１に表示されている人物の中で最も主要な人物の顔を顔５０１とし、それ以外の人物の顔を顔５０２および５０３とした場合においては、顔５０１に付される顔位置マーカ４４０が点滅表示され、顔５０２および顔５０３に付される顔位置マーカ４４１および４４２が通常の表示となる。

図９（ｂ）および（ｃ）は、顔位置マーカ４４３乃至４４８の内側（顔領域）と外側とで画像の輝度や色を変更して表示させる表示例（画像３１２および３１３）を示す図である。例えば、表示部１６１に顔が表示されている場合において、顔位置マーカの枠の内側の画像については輝度等を変更せずに、顔位置マーカの枠の外側の画像については色の彩度を下げたり、単一色にしたり、無彩色（グレー）にする。このように、表示部１６１に表示されている顔位置マーカの内側と外側との画像の表示状態を変更することによって、顔領域をユーザに一層わかりやすくすることができる。具体的に、図９（ｂ）に示すように、表示部１６１に表示されている顔位置マーカ４４３乃至４４５の枠の内側の画像については変更せずに、顔位置マーカ４４３乃至４４５の枠の外側の画像については無彩色（グレー）にする。また、図９（ｃ）に示すように、表示部１６１に表示されている顔位置マーカ４４６乃至４４８の枠の内側の画像については顔領域を認識し易い程度の色を付し、顔位置マーカ４４６乃至４４８の枠の外側の画像については変更しない。なお、これらの場合において、最も主要と判断された人物の顔のみに顔位置マーカの枠線を付し、それ以外の人物の顔には枠線を付さないようにしてもよい。

図１０は、矩形の顔位置マーカが付された人間の顔５０４が表示部１６１に表示されている場合における表示例を示す図であって、顔位置マーカの表示バリエーション例を示す図である。

顔検出部２００が出力した顔検出結果の値のうちの各顔領域に関する評価値に基づいて、顔位置マーカを異なる表示にすることによって、顔の変化や撮影条件の変化等をユーザに容易に通知することができる。例えば、笑顔の度合いに応じて、顔位置マーカの透過度を変更する表示例（画像３１４および３１５）について図１０を参照して説明する。

例えば、表示部１６１に顔が表示されている場合において、その顔について笑っている度合いが高い場合には、その顔に付される顔位置マーカの透過率を下げて濃い顔位置マーカ表示とする。一方、その顔について笑っている度合いが低く笑みが少ない場合には、その顔に付される顔位置マーカの透過率を上げて薄い顔位置マーカ表示とする。このように、顔の笑みの度合いの変化に応じて透過率を変化させる。この場合に、ユーザに認識されない程度の細かいステップで顔位置マーカの透過率を変化させることが好ましい。このように、表示部１６１に表示されている人物の笑顔の度合いに応じて顔位置マーカの透過率を変更することによって、その笑顔を使用者が識別し易くすることができる。具体的に、図１０（ａ）に示すように、表示部１６１に表示されている人物の顔５０４について、笑っている度合いが低く笑みが少ない場合には、顔５０４には透過率が高い顔位置マーカ４５０が付される。一方、図１０（ｂ）に示すように、顔５０４について笑っている度合い高い場合には、顔５０４には透過率の低い顔位置マーカ４５１が付される。

また、笑顔の度合いに応じて、顔位置マーカの透過度を変更する表示例と同様に、被写体の人物が十分に笑顔になっていると判断された場合や、複数の人物が全員まばたきをせずに目を開いていると判断された場合等について、顔位置マーカを点滅等させることによって、ユーザにシャッターチャンスを知らせ、撮影を促すことも可能である。

図１１は、矩形の顔位置マーカが付された人間の顔５０５乃至５０７が表示部１６１に表示されている場合における表示例（画像３１６および３１７）を示す図であって、フォーカスや絞りの状態に応じた顔位置マーカの表示バリエーション例を示す図である。

顔検出部２００が出力した顔検出結果の値のうちの各顔領域に関する評価値に基づいて、顔位置マーカを異なる表示にすることによって、撮影条件等をユーザに容易に通知することができる。例えば、フォーカスまたはレンズ絞りの合っている度合いに応じて、顔位置マーカの表示を変更する表示例について図１１を参照して説明する。

なお、フォーカスの合っている度合いを検出する方法として、顔領域内にＡＦ検波枠を設け、枠の内側で高周波成分を求め、高周波成分の積分値が大きいほど、フォーカスが合っているとみなす方法がある。このため、フォーカスの合っている度合いを、高精度の評価値として得ることができる。また、レンズ絞りが合っている度合いを検出する方法として、適正なレンズ絞り値と、その際の顔画像の輝度値とを予め設定しておき、その値に近いほどレンズ絞りが合っているとみなす方法がある。

なお、画像のどの部分に今フォーカスが合っているのかをユーザに知らせる方法としては、いくつか例が考えられる。例えば、フォーカスの合っている部分に色を重畳する。また、フォーカスの合っている度合いに応じて色を切り替える等のように表示を変える。さらに、画像全体、またはＡＦ枠内の周波数分布グラフを表示し、フォーカスを合わせながら高周波成が増加していく様子を表示してユーザに通知する。ＡＦ用マルチ枠を表示しておき、フォーカスの合った枠の表示色を変える。または、点滅させる等のように表示を変える。

しかしながら、これらの例は、フォーカスが合っている部分をユーザに単に知らせるための表示である。これに対して、本発明の実施の形態では、画像の中から顔検出部２００が人の顔を検出し、その顔の顔領域に対してフォーカスが合っている度合いを求め、それに応じて顔位置マーカの表示をする。このように、画像全体をＡＦ検波対象にするのではなく、画像認識の結果として得られた顔領域に対してのみＡＦ検波枠を設け、フォーカスが合っている度合いを顔位置マーカとして表示することによってユーザに知らせる。ユーザは、顔と認識された領域を知ると同時に、それぞれの顔領域にどの程度フォーカスが合っているかも知ることができる。このため、複数の人物の中で、ユーザが特に主要と考える人物がいる場合においては、その人物の顔領域に対して適切なＡＦが働いているか否かを容易に理解することができる。

例えば、撮像装置１００からの距離が異なる複数の顔が表示部１６１に表示されている場合において、フォーカスが最も合っている顔とこれ以外の顔との顔位置マーカの色や太さを異なる表示としたり、フォーカスの合っている度合いに応じて顔位置マーカの透過度を変更して表示する。また、同様に、表示部１６１に表示されている複数の人物に対しての光の当たり方が異なる場合において、レンズ絞りの最も合っている顔とこれ以外の顔との顔位置マーカの色や太さを異なる表示としたり、絞りの合っている度合いに応じて顔位置マーカの透過度を変更して表示する。このように、表示部１６１に表示されている人物の顔のフォーカスの合っている度合い等に応じて顔位置マーカの表示を変更することによって、その顔についてフォーカスが合っているか否か等の撮影状態を使用者が容易に判断することができる。

具体的に、図１１（ａ）に示すように、表示部１６１に表示されている人物の中で最もフォーカスが合っている度合いが高い人物の顔を顔５０６とし、顔５０６よりも近い人物の顔を顔５０５とし、顔５０６よりも遠い人物の顔を顔５０７とした場合においては、顔５０６に付される顔位置マーカ４５３が太く黄色で表示され、顔５０５および顔５０７に付される顔位置マーカ４５２および４５４が細く赤色で表示される。

また、図１１（ｂ）に示すように、表示部１６１に表示されている複数の人物に対しての光の当たり方が異なる場合において、最も絞りの合っている度合いが高い（適正なレンズ絞り値）人物の顔を顔５０５とし、絞りの合っている度合いが低く暗い色となっている顔を顔５０６とし、絞りの合っている度合いが低く明るい色となっている顔を顔５０７とした場合においては、顔５０５に付される顔位置マーカ４５５が太く黄色で表示され、顔５０６および顔５０７に付される顔位置マーカ４５６および４５７が細く赤色で表示される。

図１２は、矩形の顔位置マーカが付された人間の顔５０８乃至５１０が表示部１６１に表示されている場合における表示例（画像３１８）を示す図であって、特定人物の有無に応じた顔位置マーカの表示バリエーション例を示す図である。

顔検出部２００が出力した顔検出結果の値のうちの各顔領域に関する評価値に基づいて、顔位置マーカを異なる表示にすることによって、特定人物をユーザに容易に通知することができる。

例えば、複数の顔が表示部１６１に表示されている場合において、複数の顔の中に特定人物の顔と認識される顔が存在する場合には、顔に関する他の評価値よりも優先して、特定人物として認識された顔を他の顔と明確に区別するための顔位置マーカ表示を実行する。例えば、特定人物に付される顔位置マーカを点滅表示させる。このように、表示部１６１に表示されている人物の中に特定人物が存在する場合には、顔位置マーカの表示を変更することによって、その顔が特定人物の顔であることを使用者が容易に認識することができる。

具体的に、図１２に示すように、表示部１６１に表示されている人物の中で特定人物の顔を顔５０８とし、未知の人物の顔を顔５０９および５１０とした場合において、顔５０８に付される顔位置マーカ４５８が太く表示するとともに点滅表示され、顔５０９および顔５１０に付される顔位置マーカ４５９および４６０が細く表示される。

図１３は、矩形の顔位置マーカが付された人間の顔５１１乃至５１３が表示部１６１に表示されている場合における表示例（画像３１９）を示す図であって、顔の向きや顔の傾斜に応じた顔位置マーカの表示バリエーション例を示す図である。

顔検出部２００が出力した顔検出結果の値のうちの各顔領域に関する評価値に基づいて、顔位置マーカとともに顔向きマーカまたは顔傾斜マーカを表示することによって、顔の向きや顔の傾斜をユーザに容易に通知することができる。

例えば、複数の顔が表示部１６１に表示されている場合において、複数の顔の中に正面ではなく上下左右方向の何れかの方向を向いている顔が存在する場合には、その顔に顔位置マーカを付すとともに、顔位置マーカの内側またはその付近に、顔の向きに応じた方向の矢印等の顔向きマーカを表示する。また、その顔が正面向きからどの程度の角度がずれているかに応じて、矢印の長さや、色、濃さ等を変更する等して顔向きマーカの表示を切り替え、ユーザに通知するようにしてもよい。このように、表示部１６１に表示されている人物の中に正面を向いていない顔が存在する場合には、顔位置マーカを表示するとともに顔向きマーカを表示することによって、その顔が正面を向いていない顔であることを使用者が容易に認識することができる。

また、複数の顔が表示部１６１に表示されている場合において、複数の顔の中に顔を傾けている人物が存在する場合には、その顔に顔位置マーカを付すとともに、顔位置マーカの内側またはその付近に、顔の中心線や顔の水平線等を表す顔傾斜マーカを表示する。具体的に、図１３に示すように、表示部１６１に表示されている人物の中で顔が回転している人物の顔５１１には顔位置マーカ４６１とともに顔向きマーカ６０１を表示する。また、顔が傾いている人物の顔５１３には顔位置マーカ４６３とともに顔の中心線６０２および顔の水平線６０３で構成される顔傾斜マーカを表示する。なお、正面を向いている人物の顔５１２には通常の顔位置マーカ４６２が表示される。

図１４は、矩形の顔位置マーカが付された人間の顔５１４乃至５１８が表示部１６１に表示されている場合における表示例（画像３２０乃至３２２）を示す図であって、顔の上下左右方向に応じた顔位置マーカの表示バリエーション例を示す図である。

顔検出部２００が出力した顔検出結果の値のうちの各顔領域に関する評価値に基づいて、顔位置マーカにおいて顔の上下左右の少なくとも１つを示す辺の表示を変更することによって、顔の向きや顔の傾斜をユーザに容易に通知する。

例えば、表示部１６１に顔が表示されている場合において、その顔に顔位置マーカを付すとともに、顔位置マーカにおける顔の上下方向の上側の辺を顔の上側であることを示す表示とする。例えば、顔位置マーカにおける顔の上下方向の上側の辺の太さを太くして赤色で表示し、他の辺については通常の太さとし黄色で表示する。このように、表示部１６１に表示されている画像の中に人物の顔が存在する場合には、その顔に顔位置マーカを表示するとともに顔の上下方向の上側の辺を特定表示することによって、その顔の上側を使用者が容易に認識することができる。

具体的に、図１４（ａ）に示すように、表示部１６１に表示されている人物の顔５１４乃至５１６について、それぞれに顔位置マーカ４６４乃至４６６を付して、顔位置マーカ４６４乃至４６６における各顔の上下方向の上側に相当する辺４６４ａ乃至４６６ａを太くして赤色で表示し、他の辺については通常の太さとして黄色の表示とする。なお、色の表示については省略する。

また、図１４（ｂ）および（ｃ）に示すように、表示部１６１に表示されている人物の顔５１７および５１８について、それぞれに顔位置マーカ４６７乃至４７０を付して、顔位置マーカ４６７乃至４７０における各顔の上下方向の上側に相当する辺４６７ａ乃至４７０ａを太くして赤色で表示し、他の辺については通常の太さとし黄色で表示する。なお、色の表示については省略する。このように、静止画撮影では、図１４（ｂ）および（ｃ）に示すように、縦長の画角で撮影する機会が多くあるが、顔位置マーカにおける各顔の上下方向の上側に相当する辺を特定表示することによって、顔の上下左右を容易に判別することができ、縦長の画角で撮影されたことを撮像装置１００が自動的に認識することができる。

なお、図１４（ｂ）は、撮像装置１００の左右の両端の一端を下にして撮影する場合における撮影画像３２１を示す図であり、図１４（ｃ）は、撮像装置１００の他端を下にして撮影する場合における撮影画像３２２を示す図である。撮影画像３２１および３２２には、撮像装置１００の上側を示す表示であるカメラ表示３５０を表示することによって、撮像装置１００が判断した縦長の画角の上下左右方向をユーザが容易に認識することができる。この縦長の画角に関する情報を、撮影された撮影画像の付属情報として撮影画像とともに記憶媒体に記録するようにしてもよい。また、この場合に、表示部１６１に表示されている撮影画像における上側と、記憶媒体に格納されている縦長の各画像における上側とが一致しない場合には、その旨を表示部１６１に表示するようにしてもよい。このようにすることによって、記憶媒体に格納される撮影画像の縦長の画像の上下方向を一致させることができるため、記憶媒体に格納されている各画像を表示部１６１において見る場合に、縦長の画像の上下方向が一致し、見易くすることができる。

なお、矩形の顔位置マーカの場合には、顔の上側、下側、左側、右側に相当する各辺の何れか（例えば顔の上側の辺）を表示することができれば、それ以外の方向を容易に認識することができる。このため、表示の簡易化やユーザからの見やすさを考慮して、例えば顔の上側の辺のみを別の色で表示し、または点線等で表示する。なお、顔の上側、下側、左側、右側に相当する各辺を色分けする等して各辺を識別し易くするようにしてもよい。また、顔の上下左右については、振動センサ７１０が検出した各種情報に基づいて求めるようにしてもよい。また、

また、本発明の実施の形態では、顔位置マーカにおける顔の上下左右方向の何れかを表示する場合に、その何れかの方向に相当する顔位置マーカの辺を他の辺と異なる表示にしているが、その顔位置マーカにおける顔の上下左右方向の何れかを表示するマーカである特定位置表示マーカを顔位置マーカとは別に生成して、その顔位置マーカ上またはその付近に特定位置表示マーカを表示するようにしてもよい。

図１５は、矩形の顔位置マーカが付された人間の顔５１９乃至５２１が表示部１６１に表示されている場合における表示例（画像３２３乃至３２５）を示す図であって、主要な人物の顔における顔位置マーカの表示バリエーション例を示す図である。

顔検出部２００が出力した顔検出結果の値のうちの各顔領域に関する評価値に基づいて、最も主要と思われる人物の顔に付す顔位置マーカの表示を他の人物の顔に付す顔位置マーカと異なる表示とすることによって、主要な人物の顔をユーザに容易に通知する。

例えば、複数の顔が表示部１６１に表示されている場合において、複数の顔の中に最も主要な人物の顔であると判定された顔が存在する場合には、その顔に付す顔位置マーカを太くして赤色で表示し、その他の人物の顔に付す顔位置マーカを通常の太さとして黄色で表示する。また、最も主要な人物であると判定された人物が、ユーザが意図する人物と違っている場合には、ユーザインターフェース１６０の選択受付部１６２においてユーザが意図する人物の顔を選択することができる。さらに、ユーザにより選択された顔は、その顔領域を検出することができなくなるまで、最も主要な人物として継続的に追尾され、その顔に付される顔位置マーカも他の人物と区別した表示状態を保つようにする。このように、表示部１６１に表示されている画像の中に最も主要な人物の顔が存在する場合には、その顔に付す顔位置マーカを他の顔位置マーカと異なる表示にすることによって、その顔を使用者が容易に認識することができる。また、画像に含まれる複数の人物の顔を継続的に追尾する場合にはＣＰＵの負荷が大きいが、主要な人物の顔のみを継続的に追尾することによってＣＰＵの負荷を軽減させることができる。

具体的に、図１５（ａ）に示すように、表示部１６１に表示されている人物の顔５１９乃至５２１について、最も主要な人物であると撮像装置１００により判定された人物の顔を顔５２０とする。この場合には、それぞれの顔に顔位置マーカ４７１乃至４７３を付して、最も主要な人物と判定された人物の顔５２０に付する顔位置マーカ４７２を太くして赤色で表示し、他の顔位置マーカ４７１および４７３については通常の太さとして黄色の表示とする。なお、色の表示については省略する。

ここで、表示部１６１に表示されている人物の顔５１９乃至５２１について、最も主要な人物であると撮像装置１００により判定された人物の顔を顔５２０とし、ユーザインターフェース１６０をタッチパネルとする。この場合に、最も主要であると撮像装置１００により判定された人物が、ユーザが意図する人物と違っている場合には、図１５（ｂ）に示すように、表示部１６１に表示されている人物の顔５１９乃至５２１から、ユーザインターフェース１６０においてユーザが意図する人物の顔部分を指８００で押下することによって選択することができる。例えば、ユーザによって選択された人物の顔を顔５２１とする。この場合には、それぞれの顔に顔位置マーカ４７１乃至４７３を付して、ユーザによって選択された人物の顔５２１に付する顔位置マーカ４７３を太くして赤色で表示し、他の顔位置マーカ４７１および４７２については通常の太さとして黄色の表示とする。なお、色の表示については省略する。

また、表示部１６１に表示されている人物の顔５１９乃至５２１について、最も主要な人物であると撮像装置１００により判定された人物の顔を顔５２０とし、ユーザインターフェース１６０の選択受付部１６２を上下左右方向の十字キー１６２ａとする。この場合に、最も主要であると判定された人物が、ユーザの意図と違っている場合には、図１５（ｃ）に示すように、表示部１６１に表示されている人物の顔５１９乃至５２１から、十字キー１６２ａを用いてユーザが意図する人物を指８０１の押下によって選択することができる。この場合に、ユーザによって選択された人物の顔を顔５２１とする。この場合には、それぞれの顔に顔位置マーカ４７１乃至４７３を付して、選択された人物の顔５２１に付する顔位置マーカ４７３を太くして赤色で表示し、他の顔位置マーカ４７１および４７２については通常の太さとして黄色の表示とする。なお、色の表示については省略する。

ここで、ユーザインターフェース１６０における双方向的な操作性を、オートフォーカス（ＡＦ（Auto Focus））に応用する場合について説明する。

ユーザインターフェース１６０における双方向的な操作性によって、ユーザにより主要な人物が選択された場合において、例えば、撮像装置１００の制御ソフトウェアの動作として、顔検出部２００が検出した顔領域の水平・垂直座標と顔領域サイズとを用いて、オートフォーカスの検波枠（ＡＦ検波枠）を選択された主要人物の顔、胴体や手脚に設ける。そして、被写体距離の異なる複数の人物が存在していても、その主要人物のみにＡＦ検波枠を設け、その主要人物にちょうど焦点が合うようにフォーカスレンズを駆動する。これにより、他の人物や背景に引かれずに、主要人物に対して最適なオートフォーカス動作を実現することができる。

次に、ユーザインターフェース１６０における双方向的な操作性を、自動絞り制御（自動露出制御）（ＡＥ（Auto Exposure））に応用する場合について説明する。

ユーザインターフェース１６０における双方向的な操作性を、自動絞り制御に応用することが可能である。例えば、同一画像内に複数の人物の顔が存在する場合において、照明や光の当たり方や、それぞれの顔の色・輝度等によって、各顔の最適な絞り値が異なる。このような場合においては、ユーザが１つの顔領域を選択することによって、その顔領域に対してＡＥ検波枠を設定し直し、その顔が最も適した輝度になるように、絞りを変化させる。このようにすることによって、他の人物からの影響でＡＥが振られたり間違えたりすることを回避することができ、背景（空、壁、通過物体、木々等）にＡＥが引かれて、主要人物の顔領域が黒く沈んだり、白く飛んだりするような絞りになってしまうことを防止することができる。

次に、ユーザインターフェース１６０における双方向的な操作性を、自動ホワイトバランス制御（ＡＷＢ（Auto White Balance））に応用する場合について説明する。

ユーザインターフェース１６０における双方向的な操作性を、自動ホワイトバランス制御に応用することが可能である。同一画像内に複数の人物の顔が存在する場合において、光源の種類（太陽光・白熱灯・蛍光灯等）やその色温度、光量によって、最適なホワイトバランスが異なる。このような場合においては、ユーザが１つの顔領域を選択することによって、その顔領域に対してＡＷＢ検波枠を設定し直し、その顔が最も適した肌色になるように、ホワイトバランスの各色に対するゲイン値を変化させる。このようにすることによって、他の人物からの影響でＡＷＢが振られたり間違えたりすることを回避することができ、背景（空、壁、通過物体、木々等）にＡＷＢが引かれて、主要人物の顔領域の肌色が青ざめたり、赤らんだりするような色バランスになることを防止することができる。

さらに、顔の肌色に関しては、好ましいと感じる肌色の色相・彩度の範囲が既知である場合、主要人物の肌色をより好ましい色空間に引き込むようなホワイトバランスも可能となる。この場合、主要人物として選択された人は、実際の肌より一層美しい色合いで撮影され、人物ポートレートとして品位の高い画像が自動的に得られる。

次に、ユーザインターフェース１６０における双方向的な操作性を、ＡＦ、ＡＥ、ＡＷＢの追尾機能に応用する場合について説明する。

デジタルスチルカメラのモニタリングモードや動画撮影モードでは、人物は静止せずに画像内を移動し得る。このため、ユーザが主要人物を選択した場合には、その人物の顔に対してのＡＦ制御は、時間と共に継続的に実行され、主要人物に一度焦点を合わせて以降は、その人物を追尾しながらＡＦ動作を行ない、その人物が画像内から消えるまで続けられる。

ＡＦと同様に、ＡＥ、ＡＷＢについても、モニタリングモードや動画撮影モードにおいて、ユーザが選択した主要な人物を追尾しながらＡＥ、ＡＷＢ動作を行なうことが可能である。

この追尾機能への応用に関して言えば、ＡＦ、ＡＥ、ＡＷＢの中では、最も高速な追従性能を求められるＡＦに対してのアプリケーションが特に適しており、主要人物選択を応用することで、複数の人物から特定の一人の顔だけをターゲットとして、間違わない、迷わない、高速な追尾ＡＦを実現することができる。

なお、図９乃至１５では矩形の顔位置マーカのみを示すものの、矩形以外の他の形状の顔位置マーカについても同様に適用することができる。

次に本発明の実施の形態における撮像装置１００の動作について図面を参照して説明する。

図１６は、撮像装置１００による顔位置マーカ表示処理の処理手順を示すフローチャートである。

本発明の実施の形態では、撮像装置１００において撮像部１２０が撮像した画像において顔位置マーカを重畳する場合の表示例について説明する。また、これらの各処理において、ステップＳ９１０乃至ステップＳ９２１、ステップＳ９２９は顔検出に係る動作を示し、ステップＳ９２２乃至ステップＳ９２８、ステップＳ９３０は顔検出結果を利用した顔位置マーカの表示動作を示す。

最初に、撮像装置１００において撮像部１２０が撮像した画像である撮影画像が入力される（ステップＳ９１０）。撮像部１２０から撮影画像が入力されると、顔検出部２００は、入力された画像から顔を検出するとともに検出された各顔の評価値を算出する（ステップＳ９１１）。続いて、顔位置マーカの表示がＯＮに設定されているか否かが判断され（ステップＳ９１２）、顔位置マーカの表示がＯＦＦに設定されていれば（ステップＳ９１２）、顔位置マーカを表示する必要がないため、ステップＳ９１０に進む。

顔位置マーカの表示がＯＮに設定されていれば（ステップＳ９１２）、顔検出部２００により撮影画像から顔が検出されたか否かが判断される（ステップＳ９１３）。顔検出部２００により撮影画像から顔が検出されていなければ（ステップＳ９１３）、顔位置マーカを表示する必要がないため、ステップＳ９１０に進む。顔検出部２００により撮影画像から顔が検出されていれば（ステップＳ９１３）、表情検出部６００は、検出された顔の中の一の顔を取り出す（ステップＳ９１４）。

続いて、表情検出部６００は、取り出された顔について、上記の（式１）を用いて評価値Ｅ０を求め（ステップＳ９１５）、上記の（式２）を用いて顔のフォーカス・絞りの評価値Ｅ１を求め（ステップＳ９１６）、上記の（式３）を用いて顔の表情の評価値Ｅ２を求める（ステップＳ９１７）。

続いて、取り出された顔が、特定人物データベースに格納されている特定人物の顔と一致するか否かが判断される（ステップＳ９１８）。取り出された顔が、特定人物の顔と一致する場合には、取り出された顔の特定人物判定フラグとして「１」を保存する（ステップＳ９１９）。一方、取り出された顔が、特定人物の顔と一致しない場合には、取り出された顔の特定人物判定フラグとして「０」を保存する（ステップＳ９２０）。

続いて、顔検出部２００により検出された顔を全て取り出したか否かが判断される（ステップＳ９２１）。顔検出部２００により検出された顔を全て取り出していなければ（ステップＳ９２１）、ステップＳ９１４に進み、残っている顔についての各処理を繰り返す（ステップＳ９１４乃至Ｓ９２０）。

顔検出部２００により検出された顔を全て取り出していれば（ステップＳ９２１）、顔検出部２００により検出された各顔の中に特定人物判定フラグとして「１」が保存されている顔が存在するか否かが判断される（ステップＳ９２２）。顔検出部２００により検出された各顔の中に特定人物判定フラグとして「１」が保存されている顔が存在する場合には（ステップＳ９２２）、その顔が最も主要な人物の顔であるとされ、その顔についての顔位置マーカの色や太さ等が選択される（ステップＳ９２３）。一方、顔検出部２００により検出された各顔の中に特定人物判定フラグとして「１」が保存されている顔が存在しない場合には（ステップＳ９２２）、顔検出部２００により検出された各顔の評価値Ｅ０に基づいて最も主要な人物の顔が推定され、その顔についての顔位置マーカの色や太さ等が選択される（ステップＳ９２４）。

続いて、顔検出部２００により検出された各顔の正面向きの度合いに基づいて顔向きマーカの表示状態が選択される（ステップＳ９２５）。続いて、顔検出部２００により検出された各顔の傾きの度合いに基づいて顔傾斜マーカの表示状態が選択される（ステップＳ９２６）。

続いて、顔検出部２００により検出された各顔の評価値Ｅ１に基づいて顔位置マーカの点滅状態等が選択される（ステップＳ９２７）。続いて、顔検出部２００により検出された各顔の評価値Ｅ２に基づいて顔位置マーカの透過率等が選択される（ステップＳ９２８）。これらの各処理によって顔位置マーカ、顔向きマーカまたは顔傾斜マーカが生成される。

続いて、生成された顔位置マーカ、顔向きマーカおよび顔傾斜マーカが画像記憶部１４０に描写される（ステップＳ９２９）。続いて、撮像部１２０が撮像した画像であって表示部１６１に表示される撮影画像と、画像記憶部１４０に描写された顔位置マーカ、顔向きマーカおよび顔傾斜マーカとが重畳され、重畳された重畳画像が表示部１６１に表示される（ステップＳ９３０）。

続いて、表示部１６１に表示されている顔位置マーカ（人物の顔）のうちで選択受付部１６２において選択された顔位置マーカ（人物の顔）があるか否かが判断される（ステップＳ９３１）。選択受付部１６２において選択された顔位置マーカがある場合には（ステップＳ９３１）、選択受付部１６２において選択された顔位置マーカおよびその他の顔位置マーカ等の表示状態等が変更された後に（ステップＳ９３２）、ステップＳ９２９に進み、重畳表示の各処理を繰り返す（ステップＳ９２９乃至Ｓ９３０）。

表示部１６１に表示されている顔位置マーカのうちで選択受付部１６２において選択された顔位置マーカがない場合には（ステップＳ９３１）、ステップＳ９１０に進み、顔位置マーカ表示の各処理を繰り返す（ステップＳ９１０乃至Ｓ９３０）。

図１７は、撮像装置１００による顔位置マーカの透過率等の選択処理の処理手順を示すフローチャートである。この動作は、図１０に示すように、表示部１６１に表示されている顔の笑顔の度合いの変化等に基づいて、表示されている顔位置マーカの透過率を順次変更する動作を示すものであり、図１６のステップＳ９１７を中心としてより詳細に展開したものである。

顔検出部２００により入力された画像から顔が検出されている場合において、検出された顔の中の一の顔が取り出される（ステップＳ９４１）。続いて、右目データベース左目データベース６５１を用いて、取り出された顔から両目が取り出される（ステップＳ９４２）。続いて取り出された目の位置合わせをして、取り出された顔が判定に適するサイズに変換される（ステップＳ９４３）。続いて、笑顔データベース６５２を用いて、取り出された顔について、笑顔の判定が行われ、笑顔の度合いが求められる（ステップＳ９４４）。

続いて、まばたき顔データベース６５３を用いて、取り出された顔について、まばたき顔の判定が行われる（ステップＳ９４５）。続いて、まばたきの度合いの逆数が、まばたき回避度合いとして求められる。そして、以上で求めた笑顔の度合いおよびまばたき回避度合いが各顔に対応させて記憶される（ステップＳ９４６）。

続いて、以上で求めた笑顔の度合いおよびまばたき回避度合いに基づいて、上記の（式３）を用いて顔の表情の評価値Ｅ２を求める（ステップＳ９４７）。続いて、顔検出部２００により検出された顔を全て取り出したか否かが判断され（ステップＳ９４８）、顔検出部２００により検出された顔を全て取り出していなければ、ステップＳ９４１に進み、顔の表情の評価値Ｅ２を求める各処理を繰り返す（ステップＳ９４１乃至Ｓ９４８）。

顔検出部２００により検出された顔を全て取り出していなければ（ステップＳ９４８）、顔検出部２００により検出された各顔の評価値Ｅ２に基づいて顔位置マーカの透過率等を選択する（ステップＳ９４９）。

次に本発明の実施の形態の一変形例について図面を参照して詳細に説明する。

図１８は、上述した撮像装置１００の一変形例である画像処理装置１０１の機能構成例を示すブロック図である。画像処理装置１０１として、パーソナルコンピュータやビデオレコーダ等の画像記録再生装置が例として挙げられる。

画像処理装置１０１は、制御部１１０と、信号処理部１３０と、画像記憶部１４０と、画像圧縮伸張部１５０と、ユーザインターフェース１６０と、入出力端子１７０と、記憶媒体１８０と、バス１９０と、顔検出部２００と、表情検出部６００と、保持部７００とを備える。なお、画像処理装置１０１は、撮像装置１００から撮像部１２０と振動センサ７１０とを除いた以外の構成は、上述した撮像装置１００とほぼ同様の構成であるため、同一のものについては同一の符号を付して説明を省略する。

画像処理装置１０１の再生時においては、記憶媒体１８０から画像信号と画像付随情報とが画像圧縮伸張部１５０に入力される。そして、画像信号が圧縮されている場合には、画像圧縮伸張部１５０により画像伸長処理が施され、画像伸長処理が施された画像が顔検出部２００に出力される。そして、顔検出部２００により画像から顔が検出された場合には、上述したように、顔位置マーカが付された顔が表示部１６１に表示される。なお、画像信号が外部から入力される場合には、外部装置から入出力端子１７０を介して画像信号と画像付随情報とが画像圧縮伸張部１５０に入力される。

また、顔検出部２００により検出された顔検出結果は、制御部１１０を介して画像付随情報として入力された画像信号に追加・更新され、画像信号とともに記憶媒体１８０に再度記録される。なお、画像信号が外部から入力される場合には、入出力端子１７０を介して画像信号と画像付随情報とが外部装置に出力され記録される。

以上で示したように、本発明の実施の形態では、顔検出部２００が検出した各種の顔に関する評価値に基づく各種情報を、正確にかつ視覚的に見やすく、顔位置マーカとして表示することができる。これにより、その各種情報の内容をユーザが即座に容易に知ることができる。また、表示部１６１に複数の顔が表示されている場合において、撮像装置１００および画像処理装置１０１による主要な人物判定の他に、ユーザの選択操作により複数の顔の中から所望する顔を選択することができる。これにより、両者の組合せによって装置とユーザが双方向で知的な被写体認識を実現することができる。

また、顔検出部２００による顔検出処理の結果として得られた各顔に関する評価値を、顔位置マーカとして表示画像に重畳することによって、顔位置とともにその顔の評価値等をユーザが容易に知ることができる。

さらに、人物を撮影しない場合等のように顔位置マーカが不要な場合には、顔位置マーカの表示のＯＮ、ＯＦＦを設定することができるため、顔位置マーカを表示させないことを選択することができる。これにより、表示される画像が不必要に繁雑になることを回避することができるとともに、顔検出処理や顔検出処理の表示に関する消費電力を節約することができる。

また、顔位置マーカとして、矩形、楕円、矩形の四隅ポイント等の図形や記号等で構成されるものを表示するため、表示画像の品位を保ちながらユーザの利便性を高めることができる。

さらに、顔検出部２００が出力する多様な顔評価値に応じて、顔位置マーカの色、実線と点線、線の太さ、透過度、点滅状態、顔位置マーカの内側と外側の輝度および色等を変更することができるため、ユーザがそれぞれの顔評価値を容易に理解することができる。

また、被写体となる人物の表情に応じて顔位置マーカを順次変化させることができる。これにより、例えば、笑顔の度合いが高い時や複数の人物が全員まばたきをしていない時等に、シャッターチャンスであることを顔位置マーカによってユーザに迅速に知らせることができるため、ユーザがタイミング良く好適なシーンを撮影することができる。

さらに、撮像装置１００では、フォーカスやレンズ絞りの適正度を顔位置マーカの表示状態から容易に知ることができる。

また、予め登録された既知の人物（特定人物）が検出された場合において、特定人物の顔については他の人物の顔と区別した顔位置マーカを表示することによって、複数の人物の中からユーザが容易に特定人物の位置を知ることができる。

さらに、顔位置マーカにとともに顔向きマーカを加えて表示することによって、それぞれの顔がどちらの方向にどの程度の角度だけ向いているのかを、ユーザがひと目で容易に知ることができる。

また、顔位置マーカにとともに顔傾斜マーカを加えて表示することによって、それぞれの顔がどちらの方向にどの程度の角度だけ傾斜しているのかを、ユーザがひと目で容易に知ることができる。

さらに、矩形の顔位置マーカにおいて、それぞれの顔の上辺（または下辺、右辺、左辺）を、色や太さ等で区別して表示することによって、顔の回転や撮影時のカメラの回転をユーザに容易に知らせることができる。また、顔の上下左右の方向を用いて、縦長の画角であることを判別して、その旨を画面に表示することによって、撮像装置１００の画角に関する認識をユーザが容易に確認することができる。

また、画像に複数の顔が存在する場合において、最も主要な人物の顔と撮像装置１００または画像処理装置１０１により判定された顔を、ユーザがひと目で容易に知ることができる。さらに、画像に複数の顔が存在する場合において、その複数の顔からユーザが選択操作することによって、主要な人物を自在に指示することができる。また、その人物に対して、フォーカスやレンズ絞りの制御を合わせ込むことができる。なお、特定人物として装置に予め登録していない人物でも、ユーザからの選択指示で、主要な人物として扱うことができる。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。

すなわち、請求項１乃至２０において撮像装置は、撮像装置１００に対応する。

また、請求項１において、撮像手段は、例えば撮像部１２０に対応する。

また、請求項１または請求項２１において、画像入力手段は、例えば画像入力部８１０に対応する。

また、請求項１、請求項８または請求項２１において、顔検出手段は、例えば顔検出部２００に対応する。

また、請求項１、請求項４乃至６、請求項８、請求項１０乃至１７、請求項２０、請求項２１において、顔位置マーカ生成手段は、例えば顔位置マーカ生成部８２０に対応する。

また、請求項１、請求項１４乃至１７、請求項２１において、重畳手段は、例えば重畳部８３０に対応する。

また、請求項１、請求項７または請求項１８において、表示手段は、例えば表示部１６１に対応する。

また、請求項２において、設定手段は、例えば選択受付部１６２に対応する。

また、請求項１１において、カメラ制御値検出手段は、例えば制御部１１０に対応する。

また、請求項１２において、主要人物推定手段は、例えば表情検出部６００に対応する。

また、請求項１３において、特定人物記憶手段は、例えば特定人物データベース６５４に対応する。また、特定人物判定手段は、例えば表情検出部６００に対応する。

また、請求項１８において、撮影状態検出手段は、例えば表情検出部６００に対応する。

また、請求項１９において、出力手段は、例えば入出力端子１７０に対応する。

また、請求項２０において、選択手段は、例えば選択受付部１６２に対応する。

また、請求項２１において、出力手段は、例えば画像出力部８４０に対応する。また、画像処理装置は、例えば画像処理装置１０１に対応する。

また、請求項２２乃至２３において、画像入力手順は、例えばステップＳ９１０に対応する。また、顔検出手順は、例えばステップＳ９１１に対応する。また、顔位置マーカ生成手順は、ステップＳ９２９に対応する。また、重畳手順は、例えばステップＳ９３０に対応する。出力手順は、例えばステップＳ９３０に対応する。

なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。

本発明の実施の形態における撮像装置１００の機能構成例を示すブロック図である。 顔検出部２００の機能構成例を示すブロック図である。 表情検出部６００の機能構成例を示すブロック図である。 撮像装置１００の顔位置マーカ重畳に関する機能構成例を示すブロック図である。 表示部１６１に表示される撮影画像に顔位置マーカを重畳する場合における重畳方法の一例を示す図である。 表示部１６１に表示される画像の表示例を示す図である。 表示部１６１に表示される画像の表示例を示す図である。 矩形の顔位置マーカが付された人間の顔５０１乃至５０３が表示部１６１に表示されている場合における表示例を示す図である。 矩形の顔位置マーカが付された人間の顔５０１乃至５０３が表示部１６１に表示されている場合における表示例を示す図である。 矩形の顔位置マーカが付された人間の顔５０４が表示部１６１に表示されている場合における表示例を示す図である。 矩形の顔位置マーカが付された人間の顔５０５乃至５０７が表示部１６１に表示されている場合における表示例を示す図である。 矩形の顔位置マーカが付された人間の顔５０８乃至５１０が表示部１６１に表示されている場合における表示例を示す図である。 矩形の顔位置マーカが付された人間の顔５１１乃至５１３が表示部１６１に表示されている場合における表示例を示す図である。 矩形の顔位置マーカが付された人間の顔５１４乃至５１８が表示部１６１に表示されている場合における表示例を示す図である。 矩形の顔位置マーカが付された人間の顔５１９乃至５２１が表示部１６１に表示されている場合における表示例を示す図である。 撮像装置１００による顔位置マーカ表示処理の処理手順を示すフローチャートである。 撮像装置１００による顔位置マーカの透過率等の選択処理の処理手順を示すフローチャートである。 撮像装置１００の一変形例である画像処理装置１０１の機能構成例を示すブロック図である。

符号の説明

１００ 撮像装置
１０１ 画像処理装置
１１０ 制御部
１２０ 撮像部
１２１ 光学系
１２２ 撮像素子
１３０ 信号処理部
１４０ 画像記憶部
１５０ 画像圧縮伸張部
１６０ ユーザインターフェース
１６１ 表示部
１６２ 選択受付部
１７０ 入出力端子
１８０ 記憶媒体
１９０ バス
２００ 顔検出部
２１０ 制御部
２２０ 画像入力部
２３０ 画像拡大縮小部
２４０ 画像保持部
２５０ 基準データ保持部
２６０ 判定部
２７０ 検出結果出力部
２８０ 画像出力部
６００ 表情検出部
６１０ 制御部
６２０ 画像入力部
６３０ 画像拡大縮小部
６４０ 画像保持部
６５０ 基準データ保持部
６６０ 判定部
６７０ 検出結果出力部
６８０ 画像出力部
７００ 保持部
７１０ 振動センサ
８１０ 画像入力部
８２０ 顔位置マーカ生成部
８３０ 重畳部
８４０ 画像出力部

Claims (23)

1. 被写体の画像を撮像する撮像手段と、
   前記撮像手段により撮像された画像を入力する画像入力手段と、
   前記画像入力手段により入力された画像から顔を検出する顔検出手段と、
   前記画像入力手段により入力された画像における前記顔検出手段により検出された顔の位置を示す顔位置マーカを生成する顔位置マーカ生成手段と、
   前記画像入力手段により入力された画像と前記顔位置マーカ生成手段により生成された顔位置マーカとを重畳する重畳手段と、
   前記重畳手段により重畳された画像を表示する表示手段と
   を具備することを特徴とする撮像装置。
2. 前記顔位置マーカ生成手段により顔位置マーカを生成するか否かを設定する設定手段をさらに具備することを特徴とする請求項１記載の撮像装置。
3. 前記顔位置マーカは、矩形状と、楕円形状と、矩形の四隅のみで形成される形状である四隅ポイント形状との何れかの形状を有することを特徴とする請求項１記載の撮像装置。
4. 前記顔位置マーカ生成手段は、前記画像入力手段により入力された画像において前記顔検出手段により検出された顔の周りに前記顔位置マーカが配置されるように当該顔に係る顔位置マーカを生成することを特徴とする請求項１記載の撮像装置。
5. 前記顔位置マーカ生成手段は、前記画像入力手段により入力された画像において前記顔検出手段により検出された顔を囲むように前記顔位置マーカが配置されるように当該顔に係る顔位置マーカを生成することを特徴とする請求項１記載の撮像装置。
6. 前記顔位置マーカ生成手段は、前記画像入力手段により入力された画像から前記顔検出手段により複数の顔が検出された場合には、前記顔位置マーカの色、前記顔位置マーカの線の種類、前記顔位置マーカの線の太さ、前記顔位置マーカの透過度、前記顔位置マーカの点滅状態、前記顔位置マーカの枠の内側の輝度または色のうちの少なくとも何れかを前記検出された顔毎に異なるように前記顔位置マーカを生成することを特徴とする請求項１記載の撮像装置。
7. 前記表示手段は、前記重畳手段により重畳された画像において前記顔位置マーカの枠の内側または外側の何れかの輝度または色を変更して表示することを特徴とする請求項１記載の撮像装置。
8. 前記顔検出手段は、前記画像入力手段により入力された画像から検出された顔に関する各種情報を検出し、
   前記顔位置マーカ生成手段は、前記顔検出手段により検出された顔に関する各種情報に基づいて当該顔に係る顔位置マーカを生成する
   ことを特徴とする請求項１記載の撮像装置。
9. 前記顔に関する各種情報は、顔領域の面積、顔領域の座標、顔らしさの値、顔の正面向きの度合い、顔の傾きの度合い、表情が笑っている度合い、表情が真剣な度合い、目を閉じている度合いの何れか１つの情報またはこれらを組み合わせた情報であることを特徴とする請求項８記載の撮像装置。
10. 前記顔位置マーカ生成手段は、前記顔検出手段により検出された顔に関する各種情報に基づいて当該顔に係る顔位置マーカの透過率を変更することを特徴とする請求項９記載の撮像装置。
11. 前記顔検出手段により検出された顔に関する各種情報に基づいて当該顔についてフォーカスが合っている度合いまたはレンズ絞りが合っている度合いを検出するカメラ制御値検出手段をさらに具備し、
    前記顔位置マーカ生成手段は、前記カメラ制御値検出手段により検出された顔についてのフォーカスが合っている度合いまたはレンズ絞りが合っている度合いに基づいて当該顔に係る顔位置マーカを生成する
    ことを特徴とする請求項８記載の撮像装置。
12. 前記画像入力手段により入力された画像から前記顔検出手段により複数の顔が検出された場合には前記顔に関する各種情報に基づいて前記検出された複数の顔の中から最も主要な人物を推定する主要人物推定手段をさらに具備し、
    前記顔位置マーカ生成手段は、前記主要人物推定手段により推定された主要な人物の顔に係る顔位置マーカと他の人物の顔に係る顔位置マーカとを異なる形態として各顔位置マーカを生成する
    ことを特徴とする請求項８記載の撮像装置。
13. 特定の人物の顔に関する特定人物情報を記憶する特定人物記憶手段と、
    前記顔検出手段により検出された顔が前記特定人物記憶手段に記憶されている特定人物の顔と一致するか否かを判定する特定人物判定手段とをさらに具備し、
    前記顔位置マーカ生成手段は、前記顔検出手段により検出された顔が前記特定人物記憶手段に記憶されている特定人物の顔と一致すると前記特定人物判定手段により判定された場合には当該顔に係る顔位置マーカと他の人物の顔に係る顔位置マーカとを異なる形態として各顔位置マーカを生成する
    ことを特徴とする請求項１記載の撮像装置。
14. 前記顔位置マーカ生成手段は、前記顔検出手段により検出された顔が上下左右何れかの方向を向いている場合にはその方向と角度に応じて当該顔に係る顔位置マーカの付近に表示する顔向きマーカを生成し、
    前記重畳手段は、前記画像入力手段により入力された画像と前記顔位置マーカ生成手段により生成された顔位置マーカおよび顔向きマーカとを重畳する
    ことを特徴とする請求項１記載の撮像装置。
15. 前記顔位置マーカ生成手段は、前記顔検出手段により検出された顔がロール方向に傾いている場合にはその傾きに応じて当該顔に係る顔位置マーカの付近に表示する顔傾斜マーカを生成し、
    前記重畳手段は、前記画像入力手段により入力された画像と前記顔位置マーカ生成手段により生成された顔位置マーカおよび顔傾斜マーカとを重畳する
    ことを特徴とする請求項１記載の撮像装置。
16. 前記顔位置マーカ生成手段は、前記顔検出手段により検出された顔における上下左右の何れかを表示する顔位置マーカである特定位置表示マーカを生成し、
    前記重畳手段は、前記画像入力手段により入力された画像と前記顔位置マーカ生成手段により生成された特定位置表示マーカとを重畳する
    ことを特徴とする請求項１記載の撮像装置。
17. 前記顔位置マーカ生成手段は、前記顔位置マーカ上またはその付近に表示するマーカであって前記顔検出手段により検出された顔における上下左右の何れかを表示する特定位置表示マーカを生成し、
    前記重畳手段は、前記画像入力手段により入力された画像と前記顔位置マーカ生成手段により生成された顔位置マーカおよび特定位置表示マーカとを重畳する
    ことを特徴とする請求項１記載の撮像装置。
18. 前記顔位置マーカ生成手段により生成された特定位置表示マーカに基づいて縦長の画角の撮影状態であることを検出する撮影状態検出手段をさらに具備し、
    前記表示手段は、前記重畳手段により重畳された画像において前記顔位置マーカ生成手段により生成された特定位置表示マーカとともに前記撮影状態検出手段により縦長の画角の撮影状態であることが検出された場合にはその旨を表示する
    ことを特徴とする請求項１７記載の撮像装置。
19. 前記重畳手段により重畳された画像とともに前記撮影状態検出手段により縦長の画角の撮影状態であることが検出された場合にはその旨を示す画像付随情報を記憶媒体に出力する出力手段をさらに具備することを特徴とする請求項１８記載の撮像装置。
20. 前記顔検出手段により検出された複数の顔とともに当該複数の顔に対応する顔位置マーカが前記表示手段に表示されている場合において前記表示されている複数の顔の中から所望する人物の顔を選択する選択手段をさらに具備し、
    前記顔位置マーカ生成手段は、前記選択手段により選択された人物の顔に係る顔位置マーカと他の人物の顔に係る顔位置マーカとを異なる形態として各顔位置マーカを生成することを特徴とする請求項１記載の撮像装置。
21. 画像を入力する画像入力手段と、
    前記画像入力手段により入力された画像から顔を検出する顔検出手段と、
    前記画像入力手段により入力された画像における前記顔検出手段により検出された顔の位置を示す顔位置マーカを生成する顔位置マーカ生成手段と、
    前記画像入力手段により入力された画像と前記顔位置マーカ生成手段により生成された顔位置マーカとを重畳する重畳手段と、
    前記重畳手段により重畳された画像を出力する出力手段と
    を具備することを特徴とする画像処理装置。
22. 画像を入力する画像入力手順と、
    前記画像入力手順で入力された画像から顔を検出する顔検出手順と、
    前記画像入力手順で入力された画像における前記顔検出手順で検出された顔の位置を示す顔位置マーカを生成する顔位置マーカ生成手順と、
    前記画像入力手順で入力された画像と前記顔位置マーカ生成手順で生成された顔位置マーカとを重畳する重畳手順と、
    前記重畳手順で重畳された画像を出力する出力手順と
    を具備することを特徴とする画像処理方法。
23. 画像を入力する画像入力手順と、
    前記画像入力手順で入力された画像から顔を検出する顔検出手順と、
    前記画像入力手順で入力された画像における前記顔検出手順で検出された顔の位置を示す顔位置マーカを生成する顔位置マーカ生成手順と、
    前記画像入力手順で入力された画像と前記顔位置マーカ生成手順で生成された顔位置マーカとを重畳する重畳手順と、
    前記重畳手順で重畳された画像を出力する出力手順と
    をコンピュータに実行させることを特徴とするプログラム。

Images