JP2009223835A - 撮影装置、画像処理装置、これらにおける画像処理方法およびプログラム - Google Patents

Abstract

【課題】撮像画像に含まれる３次元空間における対象物の位置を容易に把握する。
【解決手段】顔検出部１３０は撮像画像に含まれる顔を検出し、顔属性判定部１４０は顔属性を判定する。顔サイズ比較部１５０は、顔検出部１３０により複数の顔が検出された場合には、検出された顔の顔幅の値に、判定された顔属性に応じた係数を乗算することにより、顔毎に比較値を算出し、この算出された各比較値に基づいて、レンズ部１１０の光軸方向における各顔の位置の前後関係を推定する。画像合成部１７０は、顔サイズ比較部１５０により推定された前後関係に基づいて、顔毎に異なる態様とした顔位置マーカを、検出された各顔の撮像画像における位置に付すように撮像画像に合成する。表示制御部１８０は、顔位置マーカが合成された撮像画像を表示部１９０に表示させる。
【選択図】図２

Description

本発明は、撮像装置に関し、特に、撮像画像から人物の顔等の対象物を検出することが可能な撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

近年、人物等の被写体を撮像して撮像画像を生成し、この撮像画像を記録するデジタルスチルカメラ等の撮像装置が普及している。また、撮像装置により生成された撮像画像等の各種画像について画像処理を施して、この画像処理が施された撮像画像を表示または記録する画像処理装置等が多数提案されている。

例えば、撮影画像中から抽出された人物の表情等に基づいて、予め登録された感情の種類を判定し、予め設定された画像処理パターンのうち判定された感情の種類に対応する画像処理パターンを適用した画像処理を撮影画像に行う画像処理方法が提案されている（例えば、特許文献１参照。）。
特開２００７−１９３８２４号公報（図５）

上述の従来技術によれば、例えば、人物が含まれる画像について、その人物の感情の種類に対応するマーカを、その人物の所定の位置に合成することにより、娯楽性を高めることができる。

しかしながら、例えば、複数の人物が画像に含まれている場合において、人物間の距離が近い場合には、合成されるマーカがその画像上で重なることが考えられる。この場合には、マーカの重なる部分が見難くなり、不自然な画像となるおそれがある。そこで、合成されるマーカがその画像上で重なる場合には、例えば、撮像装置の光軸方向における位置の前後関係を考慮して、自然な画像とすることが重要である。また、複数の人物が含まれる画像上でマーカが重ならない場合でも、例えば、撮像装置の光軸方向における位置の前後関係を考慮したマーカを表示することにより、その画像に含まれる３次元空間における人物の位置を容易に把握することができ、その画像に対する興味を高めることができると考えられる。

そこで、本発明は、撮像画像に含まれる３次元空間における対象物の位置を容易に把握することを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、被写体を撮像して撮像画像を生成する撮像部と、上記撮像画像に含まれる対象物を検出する対象物検出部と、上記検出された対象物の属性を判定する対象物属性判定部と、上記対象物検出部により複数の対象物が検出された場合には上記検出された各対象物のサイズと上記判定された各対象物の属性とに基づいて光軸方向における上記検出された各対象物の位置の前後関係を推定する推定部と、上記推定された前後関係に基づいて対象物毎に異なる態様とした対象物位置マーカを上記検出された各対象物の上記撮像画像における位置に付すように上記対象物マーカを上記撮像画像に合成する画像合成部と、上記対象物位置マーカが合成された撮像画像を表示させる表示制御部とを具備する撮像装置およびこれにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、検出された各対象物のサイズと、判定された各対象物の属性とに基づいて光軸方向における各対象物の位置の前後関係を推定し、この推定された前後関係に基づいて対象物毎に異なる態様とした対象物位置マーカを、各対象物の撮像画像における位置に付すように撮像画像に合成し、この対象物位置マーカが合成された撮像画像を表示させるという作用をもたらす。

また、この第１の側面において、上記対象物検出部により複数の対象物が検出された場合に上記対象物位置マーカの何れかが重なるか否かを判定する対象物位置マーカ重なり判定部をさらに具備し、上記画像合成部は、上記対象物位置マーカの何れかが重なると判定された場合には上記重なる対象物位置マーカのうち上記推定された前後関係により手前側と推定された対象物に係る対象物位置マーカを上側に重ねて上記撮像画像に合成するようにしてもよい。これにより、対象物位置マーカの何れかが重なる場合には、この重なる対象物位置マーカのうち、推定された前後関係により手前側と推定された対象物に係る対象物位置マーカを上側に重ねて撮像画像に合成するという作用をもたらす。また、この場合において、上記画像合成部は、上記手前側と推定された対象物に係る対象物位置マーカである上側対象物位置マーカと上記上側対象物位置マーカの下側に重ねる下側対象物位置マーカとの重複領域に係る上記上側対象物位置マーカの外周部に影画像を付すようにしてもよい。これにより、上側対象物位置マーカと下側対象物位置マーカとの重複領域に係る上側対象物位置マーカの外周部に影画像を付すという作用をもたらす。

また、この第１の側面において、上記推定部は、上記検出された対象物のサイズの値に上記判定された対象物の属性に応じた係数を乗算することにより対象物毎に比較値を算出して当該算出された各比較値に基づいて上記前後関係を推定するようにしてもよい。これにより、検出された対象物のサイズの値に、判定された対象物の属性に応じた係数を乗算することにより、対象物毎に比較値を算出し、この算出された各比較値に基づいて前後関係を推定するという作用をもたらす。

また、この第１の側面において、上記画像合成部は、上記判定された対象物の属性に応じた異なる種類の上記対象物位置マーカを対象物毎に合成するようにしてもよい。これにより、判定された対象物の属性に応じた異なる種類の対象物位置マーカを対象物毎に合成するという作用をもたらす。

また、この第１の側面において、上記画像合成部は、上記対象物位置マーカの色、上記対象物位置マーカの透過率、上記対象物位置マーカの線の太さ、上記対象物位置マーカの線の種類の少なくとも１つを上記推定された前後関係に基づいて対象物毎に異なる態様とするようにしてもよい。これにより、対象物位置マーカの色、対象物位置マーカの透過率、対象物位置マーカの線の太さ、対象物位置マーカの線の種類の少なくとも１つを、推定された前後関係に基づいて対象物毎に異なる態様とするという作用をもたらす。

また、この第１の側面において、上記撮像画像の記録を指示する記録指示操作を受け付ける操作受付部と、上記記録指示操作が受け付けられた際における上記対象物位置マーカが合成された撮像画像を記録する記録制御部とをさらに具備するようにしてもよい。これにより、記録指示操作が受け付けられた際における対象物位置マーカが合成された撮像画像を記録するという作用をもたらす。

また、本発明の第２の側面は、被写体を撮像して撮像画像を生成する撮像部と、上記撮像画像に含まれる対象物を検出する対象物検出部と、上記検出された対象物の属性を判定する対象物属性判定部と、上記対象物検出部により複数の対象物が検出された場合には上記検出された対象物のサイズの値と上記判定された対象物の属性に応じた係数とに基づいて対象物毎に比較値を算出して当該算出された各比較値を比較する比較部と、上記各比較値の比較結果に基づいて対象物毎に異なる態様とした対象物位置マーカを上記検出された各対象物の上記撮像画像における位置に付すように上記対象物マーカを上記撮像画像に合成する画像合成部と、上記対象物位置マーカが合成された撮像画像を表示させる表示制御部とを具備する撮像装置およびこれにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、検出された対象物のサイズの値と、判定された対象物の属性に応じた係数とに基づいて、対象物毎に比較値を算出し、この算出された各比較値を比較し、各比較値の比較結果に基づいて対象物毎に異なる態様とした対象物位置マーカを、各対象物の撮像画像における位置に付すように撮像画像に合成し、この対象物位置マーカが合成された撮像画像を表示させるという作用をもたらす。

また、本発明の第３の側面は、画像を入力する画像入力部と、上記画像に含まれる対象物を検出する対象物検出部と、上記検出された対象物の属性を判定する対象物属性判定部と、上記対象物検出部により複数の対象物が検出された場合には上記検出された対象物のサイズの値と上記判定された対象物の属性に応じた係数とに基づいて対象物毎に比較値を算出して当該算出された各比較値を比較する比較部と、上記各比較値の比較結果に基づいて対象物毎に異なる態様とした対象物位置マーカを上記検出された各対象物の上記画像における位置に付すように上記対象物マーカを上記画像に合成する画像合成部と、上記対象物位置マーカが合成された画像を出力させる出力制御部とを具備する画像処理装置およびこれにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、検出された対象物のサイズの値と、判定された対象物の属性に応じた係数とに基づいて、対象物毎に比較値を算出し、この算出された各比較値を比較し、各比較値の比較結果に基づいて対象物毎に異なる態様とした対象物位置マーカを、各対象物の撮像画像における位置に付すように撮像画像に合成し、この対象物位置マーカが合成された撮像画像を出力させるという作用をもたらす。

本発明によれば、撮像画像に含まれる３次元空間における対象物の位置を容易に把握することができるという優れた効果を奏し得る。

次に本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の実施の形態における撮像装置１００の一構成例を示すブロック図である。撮像装置１００は、レンズ部１１０と、撮像素子１２１と、カメラ信号処理部１２２と、顔検出部１３０と、顔属性判定部１４０と、表示部１９０と、操作受付部２００と、制御部３２０と、ＲＡＭ（Random Access Memory）３３０と、表示情報処理部３４０と、メディアドライブ３５０と、メディア３６０と、音声合成部３７１と、アンプ（アンプリファイアー：Amplifier）３７２と、スピーカ３７３と、フラッシュメモリ３８０と、バス３９０とを備える。撮像装置１００は、例えば、顔検出機能を備えるデジタルスチルカメラによって実現することができる。

レンズ部１１０は、被写体からの光を集光する複数のレンズ（ズームレンズ、フォーカスレンズ（図示せず）等）から構成され、入射された被写体からの光がこれらのレンズおよびアイリス（図示せず）を介して撮像素子１２１に供給される。

撮像素子１２１は、レンズ部１１０を介して入射された被写体からの光信号をアナログの画像信号に光電変換し、この光電変換されたアナログの画像信号をカメラ信号処理部１２２に出力するものである。なお、撮像素子１２１として、例えば、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の撮像素子を用いることができる。

カメラ信号処理部１２２は、撮像素子１２１から供給された画像信号について、ノイズ除去等のアナログ信号処理、Ａ／Ｄ（Analog/Digital）変換処理、デジタル画像信号に対するホワイトバランス処理等の現像処理等の適正なカメラ信号処理を施すものである。そして、これらのカメラ信号処理により得られるデジタル画像信号が表示情報処理部３４０、顔検出部１３０等に供給される。

顔検出部１３０は、カメラ信号処理部１２２から供給されたデジタル画像信号に対応する撮像画像に含まれる人物の顔を検出するものである。なお、顔検出部１３０については、図２を参照して詳細に説明する。

顔属性判定部１４０は、顔検出部１３０により検出された顔の属性を判定するものである。なお、顔属性判定部１４０については、図２を参照して詳細に説明する。

表示部１９０は、表示情報処理部３４０から供給された各画像を表示するものである。表示部１９０は、例えば、ＬＣＤ（Liquid Crystal Display：液晶ディスプレイ）やＥＶＦ（Electronic View Finder：電子ビューファインダ）により実現することができる。

操作受付部２００は、ユーザによって操作された操作内容を受け付ける操作受付部であり、受け付けられた操作内容に応じた信号を制御部３２０に出力する。操作受付部２００として、例えば、レリーズボタン（図示せず）や顔位置マーカ表示モード設定／解除ボタン（図示せず）等の操作部材が撮像装置１００に備えられている。レリーズボタンは、撮像画像を記録する際にユーザにより操作される押圧スイッチである。顔位置マーカ表示モード設定／解除ボタンは、モニタリングモードにおいて顔位置マーカを表示させる顔位置マーカ表示モードの設定または解除を行うためのボタンである。ここで、顔位置マーカは、図７（ａ）、図８（ａ）等に示すように、撮像画像に含まれる顔の位置を示すマーカであって、各顔に付されるものである。なお、操作受付部２００の一部または全部と表示部１９０とをタッチパネルとして一体で構成するようにしてもよい。

制御部３２０は、各種制御プログラムに基づいて撮像装置１００全体を制御するものである。なお、制御部３２０により行われる制御については、図２を参照して詳細に説明する。

ＲＡＭ３３０は、制御部３２０が各種の処理を行う上で必要なプログラムやデータを記憶するメモリであり、画像処理のための各種の画像保存領域を備える。

表示情報処理部３４０は、カメラ信号処理部１２２から供給されたデジタル画像信号に対応する撮像画像を表示部１９０に出力させるものである。また、表示情報処理部３４０は、制御部３２０により撮像画像に顔位置マーカを重ねる合成処理が行われた場合には、カメラ信号処理部１２２から供給されたデジタル画像信号に対応する撮像画像に顔位置マーカが合成された画像を表示部１９０に出力させる。

メディアドライブ３５０は、制御部３２０の指示に基づいて、カメラ信号処理部１２２から供給されたデジタル画像信号に対応する撮像画像に、顔位置マーカが合成された画像等をメディア３６０に記録させるものである。すなわち、メディアドライブ３５０は、レリーズボタンが押下された際における撮像画像を記録する。また、メディアドライブ３５０は、制御部３２０の指示に基づいて、メディア３６０に記憶されている画像データの読み出しを行う。

メディア３６０は、メディアドライブ３５０から供給された画像データを記録する記録デバイスである。メディア３６０には、例えば、ＪＰＥＧ（Joint Photographic Experts Group）形式の画像データ等の各種データが記録される。なお、メディア３６０として、例えば、ディスクメモリカード等の半導体メモリや、ＤＶＤ（Digital Versatile Disc）等のリムーバブル記録媒体を用いることができる。また、メディア３６０は、撮像装置１００に内蔵するようにしてもよく、撮像装置１００から着脱可能とするようにしてもよい。

音声合成部３７１は、制御部３２０の指示に基づいて、音声情報を合成するものであり、合成された音声情報をアンプ３７２に出力する。アンプ３７２は、音声合成部３７１から出力された音声情報を増幅するものであり、増幅された音声情報をスピーカ３７３に出力する。スピーカ３７３は、アンプ３７２により増幅された音声情報を出力する音声出力部である。

フラッシュメモリ３８０は、撮像装置１００の電源がオフにされている状態でも保持しておく必要があるデータ等を記憶するメモリである。

図２は、本発明の実施の形態における撮像装置１００の機能構成例を示すブロック図である。撮像装置１００は、レンズ部１１０と、撮像部１２０と、顔検出部１３０と、顔属性判定部１４０と、顔属性判定辞書記憶部１４１と、顔サイズ比較部１５０と、顔位置マーカ情報記憶部１６０と、画像合成部１７０と、表示制御部１８０と、表示部１９０と、操作受付部２００と、記録制御部２１０と、記録部２２０とを備える。なお、図１に示す構成と同じものについては、同一の符号を付して説明する。

レンズ部１１０は、図１に示すレンズ部１１０と同じものであり、入射された被写体からの光が複数のレンズおよびアイリス（図示せず）を介して撮像部１２０に供給される。

撮像部１２０は、所定の撮像パラメータに従って、被写体からの入射光を変換して撮像画像を生成するものであり、生成された撮像画像を顔検出部１３０、顔属性判定部１４０および画像合成部１７０に出力する。なお、撮像部１２０は、図１に示す撮像素子１２１およびカメラ信号処理部１２２に対応する。なお、撮像部１２０は、特許請求の範囲に記載の撮像部および画像入力部の一例である。

顔検出部１３０は、撮像部１２０から出力された撮像画像に含まれる人物の顔を検出するものであり、検出された顔に関する顔検出情報を顔属性判定部１４０、顔サイズ比較部１５０および画像合成部１７０に出力する。この顔検出情報には、検出された顔の撮像画像における位置およびサイズ（例えば、顔幅、顔高さ）が含まれる。この検出された顔の撮像画像における位置およびサイズについては、図６を参照して詳細に説明する。ここで、顔検出方法として、例えば、顔の輝度分布情報が記録されているテンプレートと実画像とのマッチングによる顔検出方法（例えば、特開２００４−１３３６３７参照。）、撮影画像に含まれる肌色の部分や人間の顔の特徴量等に基づいた顔検出方法等を用いることができる。なお、顔検出部１３０は、特許請求の範囲に記載の対象物検出部の一例である。

顔属性判定部１４０は、顔属性判定辞書記憶部１４１に記憶されている顔属性判定辞書を用いて、顔検出部１３０により検出された顔の属性を判定するものであり、この判定結果を顔サイズ比較部１５０に出力する。例えば、撮像部１２０により生成された撮像画像において、顔検出部１３０から出力された顔検出情報（位置およびサイズ）を用いて、顔検出部１３０により検出された顔の少なくとも一部を含む矩形状の画像である顔画像が抽出される。この顔画像は、例えば、図６に示す顔画像４３１および４３２である。この顔画像について正規化処理が施され、この正規化処理が施された顔画像について、顔属性判定辞書記憶部１４１に記憶されている顔属性判定辞書の判定条件がどの程度満たされるか否かを算出することにより、各属性についての積算結果値が得られる。ここで、正規化処理として、例えば、撮像画像から抽出された顔画像に含まれる顔が一定の大きさになるように、その顔画像を解像度変換するとともに、その顔に含まれる両目がほぼ水平に保たれるように、その顔画像に回転処理を施す処理を行う。また、顔属性判定部１４０により判定される顔の属性は、例えば、人物の年齢や年代を示す「大人」および「子供」である。また、顔属性の判定方法として、例えば、判定対象となる顔画像上の２点間の輝度値の差分値を用いた判別器による判定処理を行う判定方法等を用いることができる。なお、顔属性判定部１４０は、特許請求の範囲に記載の対象物属性判定部の一例である。

顔属性判定辞書記憶部１４１は、顔属性判定部１４０による顔属性の判定に用いられる複数の顔属性判定データから構成されている顔属性判定用辞書を顔属性毎に記憶するものであり、記憶されている顔属性判定用辞書を顔属性判定部１４０に供給する。この顔属性判定データは、顔属性判定部１４０により判定される顔の属性に関して予め十分に学習をさせた判定条件に関する判定情報である。

顔サイズ比較部１５０は、顔検出部１３０により複数の顔が検出された場合に、各顔のサイズを比較するものである。この顔サイズ比較部１５０は、これらの各顔の顔幅の値に、顔属性判定部１４０から出力された顔属性に対応する変換係数１６２（図３（ａ）に示す）を乗算することにより、顔毎に比較値を算出する。そして、この各比較値を比較した比較結果に基づいて、レンズ部１１０の光軸方向における各顔の位置の前後関係を推定し、この推定された結果を画像合成部１７０に出力する。これらの顔の位置に関する前後関係の推定については、図４および図５を参照して詳細に説明する。なお、顔サイズ比較部１５０は、図１に示す制御部３２０に対応する。また、顔サイズ比較部１５０は、特許請求の範囲に記載の推定部および比較部の一例である。

顔位置マーカ情報記憶部１６０は、撮像部１２０により生成された撮像画像に含まれる顔の位置に付す顔位置マーカのテンプレート画像および顔サイズ比較部１５０による比較処理に用いられる変換係数を記憶するものである。そして、記憶されている顔位置マーカのテンプレート画像を画像合成部１７０に供給し、記憶されている変換係数を顔サイズ比較部１５０に供給する。顔位置マーカ情報記憶部１６０については、図３を参照して詳細に説明する。なお、顔位置マーカ情報記憶部１６０は、図１に示すＲＡＭ３３０に対応する。

画像合成部１７０は、撮像部１２０から出力された撮像画像に、顔位置マーカ情報記憶部１６０から供給された顔位置マーカを重ねて合成するものであり、この顔位置マーカが合成された撮像画像を表示制御部１８０に出力する。また、画像合成部１７０は、顔検出部１３０により複数の顔が検出された場合には、顔サイズ比較部１５０から出力された各顔の位置の前後関係に関する推定結果に基づいて、各顔に付される顔位置マーカの色を変更し、その前後関係に応じて異なる態様とする。また、画像合成部１７０は、顔位置マーカ表示モードの設定または解除を行う指示信号が操作受付部２００から出力された場合には、その指示信号に応じて顔位置マーカ表示モードの設定または解除を行う。なお、画像合成部１７０は、図１に示す制御部３２０および表示情報処理部３４０に対応する。また、これらの顔位置マーカおよび撮像画像の合成については、図６乃至図８を参照して詳細に説明する。

表示制御部１８０は、画像合成部１７０から出力された各画像を表示部１９０に表示させるものである。なお、表示制御部１８０は、図１に示す表示情報処理部３４０に対応する。また、表示制御部１８０は、特許請求の範囲に記載の表示制御部および出力制御部の一例である。表示部１９０は、表示制御部１８０から出力された各画像を表示するものである。

操作受付部２００は、レリーズボタン押下による記録指示操作が受け付けられた場合には、撮像画像を記録する記録指示信号を記録制御部２１０に出力する。また、顔位置マーカ表示モード設定／解除ボタン押下の操作入力が受け付けられた場合には、この操作入力に応じて、顔位置マーカ表示モードの設定または解除を指示する指示信号を画像合成部１７０に出力する。

記録制御部２１０は、操作受付部２００によりレリーズボタン押下による記録指示操作が受け付けられた場合には、この際に画像合成部１７０から出力された撮像画像を記録部２２０に記録させるものである。なお、記録制御部２１０は、レリーズボタン押下による記録指示操作が受け付けられた際に画像合成部１７０から出力された撮像画像として、顔位置マーカが合成された撮像画像とともに、この撮像画像と同時刻に生成されて顔位置マーカが合成されていない撮像画像を記録させるようにしてもよい。また、記録制御部２１０は、図１に示すメディアドライブ３５０に対応する。なお、記録制御部２１０は、特許請求の範囲に記載の記録制御部および出力制御部の一例である。

記録部２２０は、記録制御部２１０の制御に基づいて、レリーズボタン押下の操作入力が受け付けられた際に画像合成部１７０から出力された撮像画像を記録するものである。なお、記録部２２０は、図１に示すメディア３６０に対応する。

図３は、本発明の実施の形態における顔位置マーカ情報記憶部１６０に記憶されている内容を概略的に示す図である。なお、図３（ａ）には、顔位置マーカ情報記憶部１６０に記憶されている内容を概略的に示し、図３（ｂ）には、一般的な人間の大人４０１と、一般的な人間の子供４０２とを模式的に示す。

顔位置マーカ情報記憶部１６０には、顔属性１６１と、変換係数１６２と、テンプレート画像１６３とが記憶されている。なお、図３に示す例では、人物の顔について２種類の顔属性（「大人」および「子供」）を判定する場合における顔位置マーカ情報記憶部１６０について説明する。

顔属性１６１は、顔属性判定部１４０による判定の対象となる顔属性であり、例えば、２種類の顔属性「大人」および「子供」が格納される。

変換係数１６２は、顔サイズ比較部１５０による顔サイズの比較の際に、顔幅の値に乗算される係数であり、例えば、顔属性「大人」の係数として「１」が格納され、顔属性「子供」の係数として「Ｐ１」が格納される。

ここで、レンズ部１１０の光軸方向における顔の位置の前後関係を推定する推定方法について説明する。例えば、実際の顔幅が同一である２人の大人（Ａ氏およびＢ氏）が撮像画像に含まれている場合、撮像画像におけるＡ氏およびＢ氏の顔幅を比較することにより、光軸方向におけるＡ氏およびＢ氏の顔の位置の前後関係を推定することができる。例えば、撮像画像におけるＡ氏の顔幅と、撮像画像におけるＢ氏の顔幅とが同一である場合には、光軸方向におけるＡ氏およびＢ氏の顔の位置は同じ位置であると推定することができる。また、撮像画像におけるＡ氏の顔幅が、撮像画像におけるＢ氏の顔幅よりも大きい場合には、光軸方向におけるＡ氏の顔の位置は、Ｂ氏の顔の位置よりも撮像装置１００側（手前側）であると推定することができる。この場合に、光軸方向におけるＢ氏の顔の位置は、Ａ氏の顔の位置よりも撮像装置１００から離れた位置（後側）であると推定することができる。

しかしながら、例えば、大人と子供のように、実際の顔幅が異なる場合において、撮像画像における各顔幅を比較することにより、光軸方向における各顔の位置の前後関係を推定すると、誤差が生じる可能性がある。例えば、図３（ｂ）に示すように、一般的な人間の大人４０１の顔幅を顔幅ＷＡとし、一般的な人間の子供４０２の顔幅を顔幅ＷＣとする場合、子供４０２の顔幅ＷＣよりも大人４０１の顔幅ＷＡの方が大きい。このため、撮像画像に大人４０１および子供４０２が含まれる場合において、撮像画像における大人４０１および子供４０２の各顔幅を比較することにより、光軸方向における各顔の位置の前後関係を推定すると、誤差が生じる可能性がある。そこで、本発明の実施の形態では、検出された顔の顔幅を比較する際に互いに基準を合わせるため、変換係数を用いて各顔幅の値を変換する。すなわち、検出された顔の属性に応じた変換係数を、撮像画像における顔幅の値に乗算することにより、顔毎に比較値を算出する。そして、算出された各比較値を比較することにより、光軸方向における顔の位置の前後関係を推定する。

ここで、図３（ｂ）を参照して顔属性１６１の「大人」に対応する変換係数１６２の「１」と、顔属性１６１の「子供」に対応する変換係数１６２の「Ｐ１」とについて説明する。なお、本発明の実施の形態では、大人の顔幅を基準サイズとする場合について説明する。このため、大人の顔幅の値の変換係数を「１」とし、子供の顔幅の値の変換係数を「Ｐ１（≠１）」とする。この「Ｐ１」として、例えば、一般的な人間の大人４０１の顔幅ＷＡと、一般的な人間の子供４０２の顔幅ＷＣとの比率に基づいて算出される「Ｐ１＝ＷＡ／ＷＣ」を用いることができる。例えば、撮像画像に大人および子供が含まれる場合には、大人の顔幅の値に係数「１」を乗算するとともに、子供の顔幅の値に係数「Ｐ１」を乗算し、大人および子供の顔幅の比較値を算出する。そして、算出された大人および子供の顔幅の比較値を比較することにより、レンズ部１１０の光軸方向における位置の前後関係を推定する。これにより、例えば、大人および子供のように、実際の顔幅が異なる顔について光軸方向における位置の前後関係を推定する場合でも、実際の顔幅の異なりによって生じる誤差を低減させることができる。なお、大人の顔幅ＷＡおよび子供の顔幅ＷＣの比率に基づいて算出される「Ｐ１＝ＷＡ／ＷＣ」については、例えば、大量の大人の顔幅および子供の顔幅を統計学習することにより求めることができる。

テンプレート画像１６３は、撮像画像に含まれる顔の位置を示す画像である顔位置マーカ１６４のテンプレート画像である。顔位置マーカ１６４は、画像領域１６５および顔領域１６６により構成される。画像領域１６５は、撮像画像に重ねて合成される画像部分である。また、顔領域１６６は、画像領域１６５に囲まれた領域であって、検出された顔が表示される領域である。ここで、顔位置マーカ１６４は、検出された顔の撮像画像におけるサイズと、顔領域１６６のサイズとが略同一となるように拡大または縮小され、検出された顔が顔領域１６６に含まれるように、拡大または縮小後の顔位置マーカが撮像画像に合成される。この顔位置マーカの合成については、図６乃至図８を参照して詳細に説明する。

図４は、本発明の実施の形態における表示部１９０に表示される撮像画像４１０と、撮像画像４１０に含まれる人物のレンズ部１１０の光軸方向における位置の前後関係とを示す図である。図４（ａ）に示す撮像画像４１０は、撮像部１２０により生成された画像であり、撮像画像４１０には、大人４１１および子供４１２が含まれている。この場合には、顔検出部１３０により大人４１１および子供４１２の顔が検出されるとともに、大人４１１および子供４１２の顔の位置およびサイズが検出される。また、顔属性判定部１４０により、大人４１１および子供４１２の各顔について顔属性が判定される。この場合には、大人４１１の顔については「大人」と判定され、子供４１２の顔については「子供」と判定される。図４では、大人４１１の顔幅を顔幅ＷＡ１とし、子供４１２の顔幅を顔幅ＷＣ１とする場合において、レンズ部１１０の光軸方向における大人４１１および子供４１２の位置の前後関係を推定する場合を例にして説明する。なお、本発明の実施の形態で示す表示例は、モニタリング状態における表示例である。

最初に、大人４１１の属性「大人」に対応して顔位置マーカ情報記憶部１６０の変換係数１６２に格納されている変換係数「１」と、大人４１１の顔幅ＷＡ１の値とが乗算され、乗算後の比較値「ＷＡ１」が算出される。同様に、子供４１２の属性「子供」に対応して顔位置マーカ情報記憶部１６０の変換係数１６２に格納されている変換係数「Ｐ１」と、子供４１２の顔幅ＷＣ１の値とが乗算され、乗算後の比較値「ＷＣ１・Ｐ１」が算出される。続いて、算出された比較値「ＷＡ１」および比較値「ＷＣ１・Ｐ１」を比較し、この比較結果に基づいて、レンズ部１１０の光軸方向における大人４１１および子供４１２の位置の前後関係が推定される。ここで、図４（ａ）に示す例では、「ＷＡ１」＝「ＷＣ１・Ｐ１」となる場合を例にして示す。このように、「ＷＡ１」＝「ＷＣ１・Ｐ１」となる場合には、レンズ部１１０の光軸方向における大人４１１および子供４１２の位置の前後関係は、同じ位置であると推定することができる。すなわち、図４（ｂ）に示すように、レンズ部１１０の光軸方向において、大人４１１および子供４１２は、同じ位置Ｚ１にいると推定することができる。

図５は、本発明の実施の形態における表示部１９０に表示される撮像画像４２０と、撮像画像４２０に含まれる人物のレンズ部１１０の光軸方向における位置の前後関係とを示す図である。図５（ａ）に示す撮像画像４２０は、撮像部１２０により生成された画像であり、撮像画像４２０には、大人４２１および子供４２２が含まれている。なお、大人４２１および子供４２２についての顔検出および顔属性判定については、図４と同様であるため、ここでの説明を省略する。図５では、大人４２１の顔幅を顔幅ＷＡ２とし、子供４２２の顔幅を顔幅ＷＣ２とする場合において、レンズ部１１０の光軸方向における大人４２１および子供４２２の位置の前後関係を推定する場合を例にして説明する。

最初に、図４で示した算出方法と同様に、変換係数「１」と顔幅ＷＡ２の値との乗算後の比較値「ＷＡ２」が算出されるとともに、変換係数「Ｐ１」と顔幅ＷＣ２の値との乗算後の比較値「ＷＣ２・Ｐ１」が算出される。続いて、算出された比較値「ＷＡ２」および比較値「ＷＣ２・Ｐ１」を比較し、この比較結果に基づいて、レンズ部１１０の光軸方向における大人４２１および子供４２２の位置の前後関係が推定される。ここで、図５（ａ）に示す例では、「ＷＡ２」＜「ＷＣ２・Ｐ１」となる場合を示す。このように、「ＷＡ２」＜「ＷＣ２・Ｐ１」となる場合には、レンズ部１１０の光軸方向において、子供４２２の位置が手前側であり、大人４２１の位置が後側であると推定することができる。すなわち、図５（ｂ）に示すように、レンズ部１１０の光軸方向において、大人４２１の位置Ｚ２よりも撮像装置１００側の位置Ｚ３に子供４２２が存在すると推定することができる。また、「ＷＡ２」および「ＷＣ２・Ｐ１」の差分値に基づいて、大人４２１の位置Ｚ２と、子供４２２の位置Ｚ３との間の距離Ｚ４を算出するようにしてもよい。

図６は、本発明の実施の形態における顔位置マーカを撮像画像に重ねて合成する画像合成方法を概略的に示す図である。なお、この画像合成は、画像合成部１７０により行われる。

図６（ａ）には、撮像範囲４３０に含まれる大人４１１および子供４１２の各顔の撮像範囲４３０における位置およびサイズを示す。ここで、撮像範囲４３０は、図４に示す撮像画像４１０に相当する大きさを示す範囲であり、図６（ａ）では実線および点線により構成される矩形で撮像範囲４３０を表す。また、撮像範囲４３０に含まれる大人４１１および子供４１２は、図４に示す大人４１１および子供４１２と同一であるため、同一の符号を付して、これらについての説明を省略する。

ここで、本発明の実施の形態では、撮像画像における顔画像の位置として、顔画像の中心位置を用いるとともに、撮像画像における顔画像のサイズとして、顔画像の左右方向および上下方向の大きさを用いる場合を例にして説明する。具体的に、撮像範囲４３０の左上角を原点（０，０）とし、左右方向をｘ軸、上下方向をｙ軸としたｘｙ平面座標上において、大人４１１の顔画像４３１の中心位置を座標Ｏ１（Ｘ１１，Ｙ１１）とし、顔画像４３１の上下方向の大きさを顔高さＨＡ１とし、左右方向の大きさを顔幅ＷＡ１とする。また、撮像範囲４３０におけるｘｙ平面座標上において、子供４１２の顔画像４３２の中心位置を座標Ｏ２（Ｘ２１，Ｙ２１）とし、顔画像４３２の上下方向の大きさを顔高さＨＣ１とし、左右方向の大きさを顔幅ＷＣ１とする。なお、顔幅ＷＡ１および顔幅ＷＣ１は、図４に示す値と同一である。これらの各値は、顔検出部１３０により検出される。

図６（ｂ）には、撮像範囲４３０に含まれる大人４１１の顔に、顔位置マーカ１６４を付す場合における顔位置マーカ１６４の拡大または縮小方法を概略的に示す。なお、図６（ｂ）に大人４１１および顔画像４３１は、図６（ａ）に示すものと同じである。また、図６（ｂ）に示す顔位置マーカ１６４は、顔位置マーカ情報記憶部１６０のテンプレート画像１６３に格納されているテンプレート画像である。なお、顔位置マーカ１６４において、顔領域１６６の上下方向の大きさを高さＨ１０とし、左右方向の大きさを幅Ｗ１０とし、顔領域１６６の中心位置を中心位置Ｋ１とする。

大人４１１の顔に顔位置マーカ１６４を付す場合には、顔位置マーカ１６４の顔領域１６６のサイズが大人４１１の顔のサイズに合うように、顔位置マーカ１６４が拡大または縮小される。具体的には、顔画像４３１の顔高さＨＡ１と、顔領域１６６の高さＨ１０とが一致するとともに、顔画像４３１の顔幅ＷＡ１と、顔領域１６６の幅Ｗ１０とが一致するように、顔位置マーカ１６４が拡大または縮小される。続いて、拡大または縮小後の顔位置マーカを大人４１１の顔に重ねて合成させる場合には、顔画像４３１の座標Ｏ１（Ｘ１１，Ｙ１１）と、顔領域１６６の中心位置Ｋ１とが一致するように、拡大または縮小後の顔位置マーカを大人４１１の顔に重ねて合成させる。このように、合成された表示例を図７および図８に示す。なお、本発明の実施の形態では、顔画像の顔高さおよび顔領域１６６の高さＨ１０と、顔画像の顔幅および顔領域１６６の幅Ｗ１０との双方が一致するように、顔位置マーカ１６４を拡大または縮小する場合を例にして説明する。しかし、顔画像の顔高さおよび顔領域１６６の高さＨ１０と、顔画像の顔幅および顔領域１６６の幅Ｗ１０との何れかが一致するように、顔位置マーカ１６４を拡大または縮小するようにしてもよい。

図７は、本発明の実施の形態における表示部１９０に表示される撮像画像４４０と、撮像画像４４０に含まれる人物のレンズ部１１０の光軸方向における位置の前後関係とを示す図である。ここで、図７に示す例は、図４（ａ）に示す大人４１１および子供４１２の顔に顔位置マーカ４４１および４４２が付された点以外は、図４に示す例と同一である。このため、図４に示す例と同一の部分についての説明は省略する。

図６（ｂ）に示すように、顔位置マーカ１６４の顔領域１６６のサイズが大人４１１の顔のサイズに合うように、顔位置マーカ１６４が拡大または縮小され、拡大または縮小後の顔位置マーカ４４１が大人４１１の顔に重ねて合成される。同様に、顔位置マーカ１６４の顔領域１６６のサイズが子供４１２の顔のサイズに合うように、顔位置マーカ１６４が拡大または縮小され、拡大または縮小後の顔位置マーカ４４２が子供４１２の顔に重ねて合成される。ここで、図７および図８に示す例では、レンズ部１１０の光軸方向における顔の位置の前後に応じて、顔位置マーカを異なる色として表示させる。なお、レンズ部１１０の光軸方向における顔の位置が同一である場合には、顔位置マーカを同じ色で表示させる。ここで、図７（ａ）に示す例では、図４（ｂ）および図７（ｂ）に示すように、レンズ部１１０の光軸方向において、大人４１１および子供４１２が同じ位置Ｚ１にいると推定される。このため、図７（ａ）に示す撮像画像４４０に含まれる大人４１１および子供４１２の顔に付される顔位置マーカ４４１および４４２の色は同一の色が付される。

図８は、本発明の実施の形態における表示部１９０に表示される撮像画像４５０と、撮像画像４５０に含まれる人物のレンズ部１１０の光軸方向における位置の前後関係とを示す図である。ここで、図８に示す例は、図５（ａ）に示す大人４２１および子供４２２の顔に顔位置マーカ４５１および４５２が付された点以外は、図５に示す例と同一である。このため、図５に示す例と同一の部分についての説明は省略する。また、大人４２１および子供４２２に顔位置マーカを合成する合成方法は、図７に示す方法と同様であるため、ここでの説明を省略する。

ここで、図８（ａ）に示す例では、図５（ｂ）および図８（ｂ）に示すように、レンズ部１１０の光軸方向において、レンズ部１１０の光軸方向において、大人４２１の位置Ｚ２よりも撮像装置１００側の位置Ｚ３に子供４２２が存在すると推定される。このため、図８（ａ）に示す撮像画像４５０に含まれる大人４２１および子供４２２の顔に付される顔位置マーカ４５１および４５２の色を異なる色とする。例えば、大人４２１に付される顔位置マーカ４５１の色よりも、子供４２２に付される顔位置マーカ４５２の色を濃い色とすることができる。なお、推定された前後関係に基づいて複数の顔位置マーカを異なる色に変更する代わりに、顔位置マーカの透過率、顔位置マーカの線の太さ、顔位置マーカの線の種類等を対象物毎に異なる態様とするようにしてもよい。例えば、大人４２１に付される顔位置マーカ４５１の透過率よりも、子供４２２に付される顔位置マーカ４５２の透過率を濃くすることができる。また、３以上の顔が検出されている場合には、例えば、手前側の顔から一番奥側の顔に進むに従って、色の濃さを順次薄くすることができる。なお、図８（ａ）に示す例では、色の代わりに、顔位置マーカ内に付された斜線の太さを異なる太さとする場合を示す。

このように、光軸方向における顔の位置の前後関係を推定し、この推定に基づいて顔位置マーカを異なる態様で表示することにより、撮像画像に含まれる各顔の前後関係が明確に把握することができる。また、これらの表示をすることにより、撮影中における娯楽性を高めることができる。また、撮像画像における上下左右方向の構図とともに、光軸方向における顔の位置の前後関係を考慮することができるため、ユーザ好みの撮像画像を容易に記録することができる。

次に、本発明の実施の形態における撮像装置１００の動作について図面を参照して説明する。

図９は、本発明の実施の形態における撮像装置１００による撮像画像合成処理の処理手順を示すフローチャートである。この例では、撮像装置１００においてモニタリングモードがユーザにより設定されている場合について説明する。

最初に、撮像部１２０が撮像画像を生成する（ステップＳ９０１）。続いて、顔検出部１３０が、生成された撮像画像について顔検出処理を行う（ステップＳ９０２）。この顔検出処理により、顔が検出されたか否かが判断され（ステップＳ９０３）、顔が検出されない場合には、顔位置マーカが付されない撮像画像が表示部１９０に表示される（ステップＳ９１２）。一方、顔が検出された場合には（ステップＳ９０３）、顔属性判定部１４０が、検出された顔について顔属性判定処理を行う（ステップＳ９０４）。

続いて、顔検出部１３０による顔検出処理により、複数の顔が検出されたか否かが判断され（ステップＳ９０５）、複数の顔が検出された場合には、顔サイズ比較部１５０が、検出された各顔の属性に対応する変換係数と各顔の顔幅の値とに基づいて比較値を算出する（ステップＳ９０６）。一方、複数の顔が検出されない場合には（ステップＳ９０５）、ステップＳ９０９に進む。続いて、顔サイズ比較部１５０が、算出された各比較値を比較することにより、レンズ部１１０の光軸方向における各顔の位置の前後関係を推定する（ステップＳ９０７）。続いて、画像合成部１７０が、推定された各顔の位置の前後関係に応じて、各顔に付す顔位置マーカの色を決定する（ステップＳ９０８）。

続いて、画像合成部１７０が、顔位置マーカ情報記憶部１６０から顔位置マーカを取得し（ステップＳ９０９）、顔検出部１３０による顔検出処理により検出された顔のサイズに基づいて、顔位置マーカを拡大または縮小する（ステップＳ９１０）。ここで、複数の顔が検出された場合には、検出された顔毎に顔位置マーカが拡大または縮小される。続いて、画像合成部１７０が、検出された各顔の位置に、拡大または縮小後の顔位置マーカを重ねて撮像画像に合成する（ステップＳ９１１）。この場合に、ステップＳ９０８で決定された色が各顔位置マーカに付される。続いて、表示制御部１８０が、顔位置マーカが合成された撮像画像を表示部１９０に表示させる（ステップＳ９１２）。

続いて、操作受付部２００によりレリーズボタン押下による記録指示操作が受け付けられたか否かが判断される（ステップＳ９１３）。記録指示操作が受け付けられた場合には（ステップＳ９１３）、記録制御部２１０が撮像画像を記録部２２０に記録する（ステップＳ９１４）。この場合に、撮像画像から顔が検出されている場合には、顔位置マーカが合成された撮像画像が記録部２２０に記録される。一方、撮像画像から顔が検出されていない場合には、顔位置マーカが合成されていない撮像画像が記録部２２０に記録される。続いて、モニタリングモードを終了するモニタリングモード終了指示操作が操作受付部２００により受け付けられたか否かが判断される（ステップＳ９１５）。モニタリングモード終了指示操作が受け付けられた場合には（ステップＳ９１５）、撮像画像合成処理の動作を終了する。一方、モニタリングモード終了指示操作が受け付けられない場合には（ステップＳ９１５）、ステップＳ９０１に戻り、撮像画像合成処理の動作を繰り返す。

以上では、撮像画像から検出された複数の顔に付される顔位置マーカについて、レンズ部１１０の光軸方向における各顔の位置の前後関係に応じて異なる色とし、この異なる色の複数の顔位置マーカを表示する例について説明した。以下では、撮像画像から検出された複数の顔に付される顔位置マーカが重なる場合には、レンズ部１１０の光軸方向における各顔の位置の前後関係に応じて上側に表示される顔位置マーカを決定して表示する例について説明する。

図１０は、本発明の実施の形態における撮像装置５００の機能構成例を示すブロック図である。ここで、撮像装置５００は、図２に示す撮像装置１００の一部を変形したものであり、顔サイズ比較部１５０、顔位置マーカ情報記憶部１６０および画像合成部１７０の代わりに、顔サイズ比較部５２０、顔位置マーカ情報記憶部５３０および画像合成部５４０を設けるとともに、顔位置マーカ重なり判定部５１０を設けた撮像装置である。このため、図２に示す撮像装置１００と同様の構成についての詳細な説明は省略する。また、他の構成についても、以下では、図２に示す撮像装置１００と異なる点を中心に説明する。

顔位置マーカ重なり判定部５１０は、顔検出部１３０により検出された複数の顔に付される各顔位置マーカの何れかが重なるか否かを判定するものである。そして、顔位置マーカが重なると判定された場合には、顔位置マーカが重なると判定された複数の顔に関する情報（位置および大きさ）を顔サイズ比較部５２０に出力する。また、顔位置マーカ重なり判定部５１０は、顔位置マーカが重なると判定された場合には、この顔位置マーカが重なる領域である重複領域を算出し、この重複領域を画像合成部５４０に出力する。この重なるか否かの判定および重複領域の算出については、図１１乃至図１３を参照して詳細に説明する。なお、顔位置マーカ重なり判定部５１０は、図１に示す制御部３２０に対応する。また、顔位置マーカ重なり判定部５１０は、特許請求の範囲に記載の対象物位置マーカ重なり判定部の一例である。

顔サイズ比較部５２０は、顔位置マーカ重なり判定部５１０により顔位置マーカが重なると判定された場合に、顔位置マーカが重なる各顔の顔幅の値に、顔属性判定部１４０から出力された顔属性に対応する変換係数１６２を乗算することにより、顔毎に比較値を算出するものである。そして、この各比較値を比較した比較結果に基づいて、レンズ部１１０の光軸方向における各顔の位置の前後関係を推定し、この推定された結果を画像合成部５４０に出力する。なお、顔サイズ比較部５２０は、図１に示す制御部３２０に対応する。また、顔サイズ比較部５２０は、特許請求の範囲に記載の推定部および比較部の一例である。

顔位置マーカ情報記憶部５３０は、図１１（ｂ）に示す顔位置マーカ１６４のサイズ（高さＨ２０、横幅Ｗ２０）および顔領域１６６の位置および大きさ（中心位置Ｋ１、高さＨ１０、幅Ｗ１０）を顔位置マーカ重なり判定部５１０に供給する。なお、顔位置マーカ情報記憶部５３０は、図１に示すＲＡＭ３３０に対応する。

画像合成部５４０は、顔位置マーカ重なり判定部５１０により顔位置マーカが重なると判定された場合に、顔位置マーカが重なる各顔の位置の前後関係に関する推定結果に基づいて、顔位置マーカが重なると判定された複数の顔について、上側に重ねて表示すべき顔位置マーカを決定する。これらの顔位置マーカおよび撮像画像の合成については、図１２および図１３を参照して詳細に説明する。なお、画像合成部５４０は、図１に示す制御部３２０および表示情報処理部３４０に対応する。

図１１は、本発明の実施の形態における顔位置マーカを撮像画像に重ねて合成する画像合成方法を概略的に示す図である。なお、図１１（ａ）に示す撮像範囲６００は、撮像部１２０により生成された撮像画像に相当する大きさを示す範囲であり、図１１（ａ）では実線および点線により構成される矩形で撮像範囲６００を表す。また、撮像範囲６００には、大人６０１および子供６０２が含まれている。なお、大人６０１および子供６０２についての顔検出および顔属性判定については、図４と同様であるため、ここでの説明を省略する。ここで、撮像範囲６００において、大人６０１の顔画像６０３のサイズについては、顔幅ＷＡ５および顔高さＨＡ５とし、子供６０２の顔画像６０４のサイズについては、顔幅ＷＣ５および顔高さＨＣ５とする。また、撮像範囲６００におけるｘｙ平面座標上において、大人６０１の顔画像６０３の中心位置を座標Ｏ５（Ｘ５１，Ｙ５１）とし、子供６０２の顔画像６０４の中心位置を座標Ｏ６（Ｘ６１，Ｙ６１）とする。さらに、撮像範囲６００では、レンズ部１１０の光軸方向において、子供６０２の位置よりも撮像装置１００側の位置に大人６０１が存在する（すなわち、大人６０１が手前側に存在）と推定されているものとする。

図１１（ｂ）に示す大人６０１は、顔画像６０３の中心位置を座標Ｏ５（Ｘ５１，Ｙ５１）とした点以外は、図６（ｂ）に示す大人６０１と同一である。また、図１１（ｂ）に示す顔位置マーカ１６４は、図６（ｂ）に示す顔位置マーカ１６４と同一であるが、顔位置マーカ１６４のサイズ（高さＨ２０および横幅Ｗ２０）を図示した点が、図６（ｂ）とは異なる。

図６（ｂ）で示したように、顔位置マーカ１６４の顔領域１６６のサイズが大人６０１の顔のサイズに合うように、顔位置マーカ１６４が拡大または縮小され、この拡大または縮小後の顔位置マーカが大人６０１の顔に重ねて合成される。この拡大または縮小により、顔位置マーカ１６４のサイズ（高さＨ２０および横幅Ｗ２０）が変更される。このため、顔位置マーカ重なり判定部５１０は、拡大または縮小後の顔位置マーカのサイズを算出し、この算出された拡大または縮小後の顔位置マーカのサイズを用いることにより、撮像画像から検出された複数の顔に付される顔位置マーカが重なるか否かを判定する。

図１２および図１３は、本発明の実施の形態における表示部１９０に表示される撮像画像を示す図である。ここで、図１２（ａ）に示す撮像画像６１０は、図１１（ａ）に示す撮像範囲６００に対応する撮像画像である。図１２（ａ）に示すように、顔位置マーカ１６４の顔領域１６６のサイズが大人６０１の顔のサイズに合うように、顔位置マーカ１６４が拡大または縮小される。そして、拡大または縮小後の顔位置マーカのサイズ（高さＨ２１および横幅Ｗ２１）が算出される。また、顔位置マーカ１６４の顔領域１６６のサイズが子供６０２の顔のサイズに合うように、顔位置マーカ１６４が拡大または縮小される。そして、拡大または縮小後の顔位置マーカのサイズ（高さＨ２２および横幅Ｗ２２）が算出される。このように算出された大人６０１に付される顔位置マーカのサイズ（高さＨ２１および横幅Ｗ２１）と、中心位置の座標Ｏ５（Ｘ５１，Ｙ５１）とに基づいて顔位置マーカ表示領域６１１が特定される。同様に、子供６０２に付される顔位置マーカのサイズ（高さＨ２２および横幅Ｗ２２）と、中心位置の座標Ｏ６（Ｘ６１，Ｙ６１）とに基づいて顔位置マーカ表示領域６１２が特定される。そして、これらの顔位置マーカ表示領域６１１および６１２に基づいて、顔位置マーカ重なり判定部５１０は、撮像画像６１０から検出された大人６０１および子供６０２の各顔に付される顔位置マーカが重なるか否かを判定する。

例えば、図１２（ａ）に示すように、撮像画像６１０の左右方向については、顔位置マーカ表示領域６１１および６１２が幅ＷＳ１だけ重なっている。また、撮像画像６１０の上下方向については、顔位置マーカ表示領域６１１および６１２が高さＨＳ１だけ重なっている。このため、顔位置マーカ重なり判定部５１０は、撮像画像６１０から検出された大人６０１および子供６０２の各顔に付される顔位置マーカが重なると判定するとともに、幅ＷＳ１および高さＨＳ１により特定される重複領域６１３を算出する。図１２（ａ）では、重複領域６１３を太い点線で囲んで示す。

このように、各顔に付される顔位置マーカが重なると判定された場合には、顔位置マーカ重なり判定部５１０が、顔位置マーカが重なると判定された複数の顔に関する情報（位置および大きさ）を顔サイズ比較部５２０に出力する。また、顔位置マーカ重なり判定部５１０が、算出された重複領域６１３に関する情報（位置および大きさ）を画像合成部５４０に出力する。そして、顔サイズ比較部５２０は、顔位置マーカが重なると判定された複数の顔について、上述した推定方法と同様に、レンズ部１１０の光軸方向における各顔の位置の前後関係を推定する。そして、画像合成部５４０は、その推定結果に基づいて、顔位置マーカが重なると判定された複数の顔について、上側に重ねて表示すべき顔位置マーカを決定する。このように決定された場合における顔位置マーカの表示例を図１２（ｂ）および図１３（ｂ）に示す。

ここで、撮像画像６２０では、レンズ部１１０の光軸方向において子供６０２よりも大人６０１が手前側に存在すると推定されている。このため、図１２（ｂ）に示すように、子供６０２に付される顔位置マーカ６２２の上側に、大人６０１に付される顔位置マーカ６２１が重ねて表示される。また、重ねて表示される顔位置マーカの上下の関係を明確にするため、例えば、上側に重ねて表示される顔位置マーカの外周部のうち、下側の顔位置マーカに含まれる部分に影を付すようにしてもよい。例えば、図１３（ｂ）では、顔位置マーカ重なり判定部５１０により算出された重複領域６１３に含まれる顔位置マーカ６３１の外周部に影画像６３３を付した場合における表示例を示す。なお、図１３（ａ）に示す撮像画像６１０は、図１２（ａ）に示す撮像画像６１０と同一である。

このように、顔位置マーカが重なっている場合には、手前側に存在すると推定される顔に付される顔位置マーカを上側に表示させることにより、顔位置マーカが混在して不自然な画像となることを防止することができる。ここで、例えば、顔位置マーカを付した撮像画像を記録する場合において、記録後に撮像画像を再生表示させる場合には、顔位置マーカが重なる部分の前後関係が不明確となる場合が考えられる。しかし、この例によれば、顔位置マーカが重なる部分の上下関係が不明確となることを防止することができる。また、上側に表示される顔位置マーカの外周部に影を付すことにより、顔位置マーカが重なる部分および重なりの上下関係をさらに明確にすることができる。また、この例では、２つの顔位置マーカが重なる場合を例にして説明したが、３以上の顔位置マーカが重なる場合については、人物の前後関係に基づいて重ねる順序を決定することにより、同様に適用することができる。

次に、本発明の実施の形態における撮像装置５００の動作について図面を参照して説明する。

図１４は、本発明の実施の形態における撮像装置５００による撮像画像合成処理の処理手順を示すフローチャートである。この処理手順は、図９に示す処理手順の変形例であり、図１４に示すステップＳ９０１乃至Ｓ９０５、Ｓ９０９、Ｓ９１０、Ｓ９１２乃至Ｓ９１５については、図９に示すステップＳ９０１乃至Ｓ９０５、Ｓ９０９、Ｓ９１０、Ｓ９１２乃至Ｓ９１５と同一の処理手順であるため、同一の符号を付し、ここでの説明を省略する。

顔検出部１３０による顔検出処理により複数の顔が検出された場合には（ステップＳ９０５）、顔位置マーカ重なり判定部５１０が、検出された各顔について顔位置マーカ表示領域を算出する（ステップＳ９２１）。続いて、顔位置マーカ重なり判定部５１０が、算出された各顔の顔位置マーカ表示領域に基づいて、顔位置マーカが重なる顔が存在するか否かを判定する（ステップＳ９２２）。顔位置マーカが重なる顔が存在しない場合には（ステップＳ９２２）、ステップＳ９０９に進む。一方、顔位置マーカが重なる顔が存在する場合には（ステップＳ９２２）、顔サイズ比較部１５０が、顔位置マーカが重なると判定された各顔の属性に対応する変換係数と各顔の顔幅の値とに基づいて比較値を算出する（ステップＳ９２３）。続いて、顔サイズ比較部１５０が、算出された各比較値を比較することにより、レンズ部１１０の光軸方向における各顔の位置の前後関係を推定する（ステップＳ９２４）。続いて、画像合成部１７０が、推定された各顔の位置の前後関係に応じて、上側に重ねて表示すべき顔位置マーカを決定する（ステップＳ９２５）。

また、顔検出部１３０により検出された顔のサイズに基づいて、顔位置マーカが拡大または縮小された後に（ステップＳ９１０）、画像合成部１７０が、検出された各顔の位置に、拡大または縮小後の顔位置マーカを重ねて撮像画像に合成する（ステップＳ９２４）。この場合に、顔位置マーカが重なる顔については、ステップＳ９２５で上側に重ねて表示すると決定された顔位置マーカが上側になるように合成する。

なお、この例では、顔位置マーカが重なると判定された複数の顔の位置の前後関係を推定する例について示すが、全ての顔の位置の前後関係を推定し、顔位置マーカが重なると判定された複数の顔については、上述した表示とし、他の顔については、顔位置マーカの色を異なる色として、各顔位置マーカを識別することができるようにしてもよい。

以上では、撮像画像から検出された各顔には同じ種類の顔位置マーカを付す例について説明した。しかしながら、撮像画像から検出された各顔の属性に応じて、異なる種類の顔位置マーカを付すことにより、検出された顔の属性を容易に把握することができる。そこで、以下では、撮像画像から検出された各顔の属性に応じて、異なる種類の顔位置マーカを付す例について説明する。

図１５は、本発明の実施の形態における撮像装置７００の機能構成例を示すブロック図である。ここで、撮像装置７００は、図１０に示す撮像装置５００の一部を変形したものであり、顔属性判定部１４０、顔属性判定辞書記憶部１４１、顔位置マーカ重なり判定部５１０、顔位置マーカ情報記憶部５３０および画像合成部５４０の代わりに、顔属性判定部７１０、顔属性判定辞書記憶部７１１、顔位置マーカ重なり判定部７１５、顔位置マーカ情報記憶部７２０および画像合成部７３０を設けた撮像装置である。このため、図１０に示す撮像装置５００と同様の構成についての詳細な説明は省略する。また、他の構成についても、以下では、図１０に示す撮像装置５００と異なる点を中心に説明する。

顔属性判定部７１０は、顔属性判定辞書記憶部７１１に記憶されている顔属性判定辞書を用いて、顔検出部１３０により検出された顔の属性を判定するものであり、この判定結果を顔サイズ比較部５２０および画像合成部７３０に出力する。なお、顔属性判定部７１０により判定される顔の属性は、例えば、人物の年齢や年代を示す「大人」および「子供」と、「大人」の性別を示す「男性」および「女性」である。なお、顔属性判定部７１０は、特許請求の範囲に記載の対象物属性判定部の一例である。

顔属性判定辞書記憶部７１１は、顔属性判定部７１０による顔属性の判定に用いられる複数の顔属性判定データから構成されている顔属性判定用辞書を顔属性毎に記憶するものであり、記憶されている顔属性判定用辞書を顔属性判定部７１０に供給する。

顔位置マーカ重なり判定部７１５は、顔検出部１３０により検出された複数の顔に付される各顔位置マーカについて、顔属性判定部７１０により判定された顔属性に対応する顔位置マーカの各サイズを用いて、何れかの顔位置マーカが重なるか否かを判定するものである。なお、顔位置マーカ重なり判定部７１５は、図１に示す制御部３２０に対応する。また、顔位置マーカ重なり判定部７１５は、特許請求の範囲に記載の対象物位置マーカ重なり判定部の一例である。

顔位置マーカ情報記憶部７２０は、顔属性判定部７１０による判定対象となる顔属性に対応する顔位置マーカのテンプレート画像を記憶するものである。そして、記憶されている顔位置マーカのテンプレート画像を画像合成部７３０に供給する。顔位置マーカ情報記憶部７２０については、図１６を参照して詳細に説明する。なお、顔位置マーカ情報記憶部７２０は、図１に示すＲＡＭ３３０に対応する。

画像合成部７３０は、顔属性判定部７１０から出力された顔属性に対応する顔位置マーカを顔位置マーカ情報記憶部７２０から取得して、各顔に応じた顔位置マーカを撮像部１２０から出力された撮像画像に重ねて合成するものである。これらの顔位置マーカおよび撮像画像の合成については、図１７を参照して詳細に説明する。なお、画像合成部７３０は、図１に示す制御部３２０および表示情報処理部３４０に対応する。

図１６は、本発明の実施の形態における顔位置マーカ情報記憶部７２０に記憶されている内容を概略的に示す図である。顔位置マーカ情報記憶部７２０には、顔属性７２１と、変換係数７２２と、テンプレート画像７２３とが記憶されている。ここで、顔位置マーカ情報記憶部７２０は、図３に示す顔位置マーカ情報記憶部１６０の一部を変形したものであり、人物の顔について３種類の顔属性（「大人男性」、「大人女性」および「子供」）を記憶する点と、各顔属性に応じた複数種類のテンプレート画像を記憶する点とが、図３とは異なる。このため、以下では、図３に示す構成と同様の構成についての詳細な説明は省略し、図３に示す構成と異なる点を中心に説明する。

顔属性７２１は、顔属性判定部７１０による判定の対象となる顔属性であり、例えば、３種類の顔属性「大人男性」、「大人女性」および「子供」が格納される。

変換係数７２２は、顔サイズ比較部５２０による顔サイズの比較の際に、顔幅の値に乗算される係数であり、例えば、顔属性「大人」の係数として「１」が格納され、顔属性「子供」の係数として「Ｐ１」が格納される。

テンプレート画像７２３は、撮像画像に含まれる顔の位置を示す画像である顔位置マーカ７２４乃至７２６のテンプレート画像である。この例では、顔の属性に応じて、異なる種類の顔位置マーカが記憶される。これらの表示例については、図１７を参照して詳細に説明する。

図１７は、本発明の実施の形態における表示部１９０に表示される撮像画像８００および８１０を示す図である。図１７（ａ）に示す撮像画像８００は、撮像部１２０により生成された画像であり、撮像画像８００には、大人男性８０１、大人女性８０２および子供８０３が含まれている。なお、大人男性８０１、大人女性８０２および子供８０３についての顔検出および顔属性判定については、図４と同様であるため、ここでの説明を省略する。また、大人男性８０１、大人女性８０２および子供８０３の光軸方向における位置の前後関係は、撮像装置１００に対する手前側から子供８０３、大人女性８０２、大人男性８０１と推定されているものとする。

ここで、撮像画像８００では、顔属性判定部７１０により大人男性８０１が「大人男性」と判定され、大人女性８０２が「大人女性」と判定され、子供８０３が「子供」と判定される。そして、顔属性判定部７１０により判定された顔属性に対応する顔位置マーカを、画像合成部７３０が顔位置マーカ情報記憶部７２０から取得し、各顔に応じた顔位置マーカを撮像画像に重ねて合成する。すなわち、「大人男性」と判定された大人男性８０１については顔位置マーカ７２４が取得され、「大人女性」と判定された大人女性８０２については顔位置マーカ７２５が取得され、「子供」と判定された子供８０３については顔位置マーカ７２６が取得される。続いて、顔属性判定部７１０により判定された顔属性に対応する顔位置マーカのサイズを用いて、各顔位置マーカの重なり判定が行われる。また、上述したように、各顔位置マーカの拡大または縮小処理がされ、各顔に応じた顔位置マーカが撮像画像に重ねて合成される。

例えば、図１７（ｂ）に示すように、大人男性８０１には顔位置マーカ８２１が付され、大人女性８０２には顔位置マーカ８２２が付され、子供８０３には顔位置マーカ８２３が付される。そして、顔位置マーカ８２１乃至８２３が重なるため、上述したように、各重複領域において上側に表示される顔位置マーカが決定される。図１７（ｂ）に示す表示例では、撮像装置１００に対する手前側から子供８０３、大人女性８０２、大人男性８０１と推定されているため、顔位置マーカ８２３が一番上側に重なるように表示され、顔位置マーカ８２２が真中に挟まれるように表示され、顔位置マーカ８２１が一番下側になるように表示される。なお、図１３に示すように、影を付すようにしてもよい。

このように、検出された顔属性に応じて異なる顔位置マーカを付すことにより、顔位置マーカが付される顔の属性を容易に把握することができる。また、顔位置マーカが重なっている場合には、手前側に存在すると推定される顔に付される顔位置マーカを上側に表示させることにより、顔位置マーカが混在して不自然な画像となることを防止することができる。なお、この例では、３種類の顔属性を判定する例について説明したが、さらに多数の顔属性を判定する場合についても同様に適用することができる。また、顔位置マーカと顔属性との組合せをユーザが指定可能とすることにより、ユーザの好みに応じた顔位置マーカを各顔に付することができる。

次に、本発明の実施の形態における撮像装置７００の動作について図面を参照して説明する。

図１８は、本発明の実施の形態における撮像装置７００による撮像画像合成処理の処理手順を示すフローチャートである。この処理手順は、図１４に示す処理手順の変形例であり、図１８に示すステップＳ９３１およびＳ９３２以外の処理手順については、図１４に示す処理手順と同一であるため、同一の符号を付し、ここでの説明を省略する。

顔検出部１３０による顔検出処理により複数の顔が検出された場合には（ステップＳ９０５）、顔位置マーカ重なり判定部５１０が、検出された各顔について、判定された顔属性に対応する顔位置マーカのサイズを用いて、顔位置マーカ表示領域を算出する（ステップＳ９３１）。

また、画像合成部１７０が、判定された各顔属性に対応する顔位置マーカを顔位置マーカ情報記憶部１６０から取得する（ステップＳ９３２）。

なお、この例では、顔位置マーカが重なると判定された複数の顔の位置の前後関係を推定する例について示すが、全ての顔の位置の前後関係を推定し、顔位置マーカが重なると判定された複数の顔については、上述した表示とし、他の顔については、顔位置マーカの色を異なる色として、各顔位置マーカを識別することができるようにしてもよい。

このように、本発明の実施の形態によれば、撮像画像を記録する場合に、顔位置マーカを付した画像状態を、撮影前の段階で表示部１９０において確認することができるため、顔位置マーカが付された撮像画像をイメージしながら撮影操作を行うことができる。また、各人物の位置の前後関係を顔位置マーカの態様により把握することができるため、撮像画像における人物の顔の２次元上および３次元上の位置関係を容易に把握することができる。また、これらの顔位置マーカが撮影中に表示されるため、娯楽性を高めるとともに、客観的な判断材料を撮影者に提供することができる。また、顔位置マーカが付された撮像画像とともに、顔位置マーカが付されない撮像画像を同時に記録することにより、記録後にユーザの好みに応じた撮像画像を選択することができる。

なお、本発明の実施の形態では、説明の容易のため、顔の前後関係を推定する場合に用いられる顔属性として「大人」および「子供」についてのみ説明したが、年齢や性別等をさらに細かく判定し、その結果を用いることにより、さらに精度の高い推定を行うことができる。また、本発明の実施の形態では、顔のサイズとして顔幅を用いて顔の前後関係を推定する例について説明したが、顔のサイズとして顔の高さや顔の面積等を用いて顔の前後関係を推定するようにしてもよい。

また、本発明の実施の形態では、撮像画像に含まれる人の顔を検出し、この検出された顔に関する顔属性を判定する場合について説明したが、撮像画像に含まれる人の顔以外の他の対象物を検出し、この検出された対象物に関する属性を判定する場合についても、本発明の実施の形態を適用することができる。撮像画像に含まれる人の顔以外の他の対象物として、例えば、猫や犬等のペットの顔等に適用することができる。

また、カムコーダ（camcorder：camera and recorder）や撮像部を備える携帯電話機等の撮像装置に本発明の実施の形態を適用することができる。また、撮像装置により記録された撮像画像を再生表示するブルーレイ再生機（Blu-ray（登録商標）Disc Player）や撮像画像を印刷するプリンタ等の画像処理装置についても本発明の実施の形態を適用することができる。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、上述したように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。

なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード（memory card）、ブルーレイディスク（Blu-ray（登録商標）Disc）等の記録媒体を用いることができる。

本発明の実施の形態における撮像装置１００の一構成例を示すブロック図である。 本発明の実施の形態における撮像装置１００の機能構成例を示すブロック図である。 本発明の実施の形態における顔位置マーカ情報記憶部１６０に記憶されている内容を概略的に示す図である。 本発明の実施の形態における表示部１９０に表示される撮像画像４１０と、撮像画像４１０に含まれる人物の光軸方向における位置の前後関係とを示す図である。 本発明の実施の形態における表示部１９０に表示される撮像画像４２０と、撮像画像４２０に含まれる人物の光軸方向における位置の前後関係とを示す図である。 本発明の実施の形態における顔位置マーカを撮像画像に重ねて合成する画像合成方法を概略的に示す図である。 本発明の実施の形態における表示部１９０に表示される撮像画像４４０と、撮像画像４４０に含まれる人物の光軸方向における位置の前後関係とを示す図である。 本発明の実施の形態における表示部１９０に表示される撮像画像４５０と、撮像画像４５０に含まれる人物の光軸方向における位置の前後関係とを示す図である。 本発明の実施の形態における撮像装置１００による撮像画像合成処理の処理手順を示すフローチャートである。 本発明の実施の形態における撮像装置５００の機能構成例を示すブロック図である。 本発明の実施の形態における顔位置マーカを撮像画像に重ねて合成する画像合成方法を概略的に示す図である。 本発明の実施の形態における表示部１９０に表示される撮像画像６１０および６２０を示す図である。 本発明の実施の形態における表示部１９０に表示される撮像画像６１０および６３０（図１２に示す撮像画像６２０に影画像を付した撮像画像）を示す図である。 本発明の実施の形態における撮像装置５００による撮像画像合成処理の処理手順を示すフローチャートである。 本発明の実施の形態における撮像装置７００の機能構成例を示すブロック図である。 本発明の実施の形態における顔位置マーカ情報記憶部７２０に記憶されている内容を概略的に示す図である。 本発明の実施の形態における表示部１９０に表示される撮像画像８００および８１０を示す図である。 本発明の実施の形態における撮像装置７００による撮像画像合成処理の処理手順を示すフローチャートである。

符号の説明

１００、５００、７００ 撮像装置
１１０ レンズ部
１２０ 撮像部
１２１ 撮像素子
１２２ カメラ信号処理部
１３０ 顔検出部
１４０、７１０ 顔属性判定部
１４１、７１１ 顔属性判定辞書記憶部
１５０、５２０ 顔サイズ比較部
１６０、５３０、７２０ 顔位置マーカ情報記憶部
１７０、５４０、７３０ 画像合成部
１８０ 表示制御部
１９０ 表示部
２００ 操作受付部
２１０ 記録制御部
２２０ 記録部
３２０ 制御部
３４０ 表示情報処理部
３５０ メディアドライブ
３６０ メディア
３７１ 音声合成部
３７２ アンプ
３７３ スピーカ
３８０ フラッシュメモリ
３９０ バス
５１０、７１５ 顔位置マーカ重なり判定部

Claims (11)

1. 被写体を撮像して撮像画像を生成する撮像部と、
   前記撮像画像に含まれる対象物を検出する対象物検出部と、
   前記検出された対象物の属性を判定する対象物属性判定部と、
   前記対象物検出部により複数の対象物が検出された場合には前記検出された各対象物のサイズと前記判定された各対象物の属性とに基づいて光軸方向における前記検出された各対象物の位置の前後関係を推定する推定部と、
   前記推定された前後関係に基づいて対象物毎に異なる態様とした対象物位置マーカを前記検出された各対象物の前記撮像画像における位置に付すように前記対象物マーカを前記撮像画像に合成する画像合成部と、
   前記対象物位置マーカが合成された撮像画像を表示させる表示制御部と
   を具備する撮像装置。
2. 前記対象物検出部により複数の対象物が検出された場合に前記対象物位置マーカの何れかが重なるか否かを判定する対象物位置マーカ重なり判定部をさらに具備し、
   前記画像合成部は、前記対象物位置マーカの何れかが重なると判定された場合には前記重なる対象物位置マーカのうち前記推定された前後関係により手前側と推定された対象物に係る対象物位置マーカを上側に重ねて前記撮像画像に合成する
   請求項１記載の撮像装置。
3. 前記画像合成部は、前記手前側と推定された対象物に係る対象物位置マーカである上側対象物位置マーカと前記上側対象物位置マーカの下側に重ねる下側対象物位置マーカとの重複領域に係る前記上側対象物位置マーカの外周部に影画像を付す請求項２記載の撮像装置。
4. 前記推定部は、前記検出された対象物のサイズの値に前記判定された対象物の属性に応じた係数を乗算することにより対象物毎に比較値を算出して当該算出された各比較値に基づいて前記前後関係を推定する請求項１記載の撮像装置。
5. 前記画像合成部は、前記判定された対象物の属性に応じた異なる種類の前記対象物位置マーカを対象物毎に合成する請求項１記載の撮像装置。
6. 前記画像合成部は、前記対象物位置マーカの色、前記対象物位置マーカの透過率、前記対象物位置マーカの線の太さ、前記対象物位置マーカの線の種類の少なくとも１つを前記推定された前後関係に基づいて対象物毎に異なる態様とする請求項１記載の撮像装置。
7. 前記撮像画像の記録を指示する記録指示操作を受け付ける操作受付部と、
   前記記録指示操作が受け付けられた際における前記対象物位置マーカが合成された撮像画像を記録する記録制御部と
   をさらに具備する請求項１記載の撮像装置。
8. 被写体を撮像して撮像画像を生成する撮像部と、
   前記撮像画像に含まれる対象物を検出する対象物検出部と、
   前記検出された対象物の属性を判定する対象物属性判定部と、
   前記対象物検出部により複数の対象物が検出された場合には前記検出された対象物のサイズの値と前記判定された対象物の属性に応じた係数とに基づいて対象物毎に比較値を算出して当該算出された各比較値を比較する比較部と、
   前記各比較値の比較結果に基づいて対象物毎に異なる態様とした対象物位置マーカを前記検出された各対象物の前記撮像画像における位置に付すように前記対象物マーカを前記撮像画像に合成する画像合成部と、
   前記対象物位置マーカが合成された撮像画像を表示させる表示制御部と
   を具備する撮像装置。
9. 画像を入力する画像入力部と、
   前記画像に含まれる対象物を検出する対象物検出部と、
   前記検出された対象物の属性を判定する対象物属性判定部と、
   前記対象物検出部により複数の対象物が検出された場合には前記検出された対象物のサイズの値と前記判定された対象物の属性に応じた係数とに基づいて対象物毎に比較値を算出して当該算出された各比較値を比較する比較部と、
   前記各比較値の比較結果に基づいて対象物毎に異なる態様とした対象物位置マーカを前記検出された各対象物の前記画像における位置に付すように前記対象物マーカを前記画像に合成する画像合成部と、
   前記対象物位置マーカが合成された画像を出力させる出力制御部と
   を具備する画像処理装置。
10. 被写体を撮像して撮像画像を生成する撮像手順と、
    前記撮像画像に含まれる対象物を検出する対象物検出手順と、
    前記検出された対象物の属性を判定する対象物属性判定手順と、
    前記対象物検出手順で複数の対象物が検出された場合には前記検出された各対象物のサイズと前記判定された各対象物の属性とに基づいて光軸方向における前記検出された各対象物の位置の前後関係を推定する推定手順と、
    前記推定された前後関係に基づいて対象物毎に異なる態様とした対象物位置マーカを前記検出された各対象物の前記撮像画像における位置に付すように前記対象物マーカを前記撮像画像に合成する画像合成手順と、
    前記対象物位置マーカが合成された撮像画像を表示させる表示制御手順と
    を具備する撮像装置における画像処理方法。
11. 被写体を撮像して撮像画像を生成する撮像手順と、
    前記撮像画像に含まれる対象物を検出する対象物検出手順と、
    前記検出された対象物の属性を判定する対象物属性判定手順と、
    前記対象物検出手順で複数の対象物が検出された場合には前記検出された各対象物のサイズと前記判定された各対象物の属性とに基づいて光軸方向における前記検出された各対象物の位置の前後関係を推定する推定手順と、
    前記推定された前後関係に基づいて対象物毎に異なる態様とした対象物位置マーカを前記検出された各対象物の前記撮像画像における位置に付すように前記対象物マーカを前記撮像画像に合成する画像合成手順と、
    前記対象物位置マーカが合成された撮像画像を表示させる表示制御手順と
    をコンピュータに実行させるプログラム。

Images