JP5874192B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本開示は、画像処理装置、画像処理方法、及びプログラに関する。

画像処理装置として、例えば、人や風景等の被写体を撮像するスチルカメラやビデオカメラ等の撮像装置が知られている。この撮像装置の中には、被写体を撮影し、撮影した被写体の画像を表示部に立体（３次元）表示させものがある。このような表示を見て、ユーザは、奥行きがある画像を知覚する。

また、撮像装置においては、人の顔（特定の被写体）を検出し、検出した顔に対応した顔枠を表示部に表示させる技術が知られている（特許文献１参照）。ここで、顔枠は、２次元で表示部に表示される。

特開２００９−２９０２５５号公報

ところで、表示部に画像を立体表示させる際に、顔枠（被写体枠）も表示させるニーズが存在する。しかし、上記の特許文献１の技術では、３次元の画像に２次元の顔枠を表示させるため、奥行きのある画像と奥行きの無い顔枠とが混在してしまい、ユーザは表示内容に違和感を抱くこととなる。

このため、表示部に画像を立体表示させる際に、画像中の特定の被写体に対応した被写体枠をユーザが違和感無く知覚できる画像処理装置、画像処理方法、及びプログラムの提供が求められている。

本開示によれば、視差が異なる第１入力画像及び第２入力画像の少なくともいずれか一方の入力画像中の所定の被写体を検出する被写体検出部と、検出された前記被写体に対応した被写体枠を、表示部に立体表示される前記第１入力画像と前記第２入力画像の間で奥行きがあるように、前記第１入力画像及び前記第２入力画像にそれぞれ合成する合成部と、を備える、画像処理装置が提供される。

また、本開示によれば、視差が異なる第１入力画像及び第２入力画像の少なくともいずれか一方の入力画像中の所定の被写体を検出することと、検出された前記被写体に対応した被写体枠を、表示部に立体表示される前記第１入力画像と前記第２入力画像の間で奥行きがあるように、前記第１入力画像及び前記第２入力画像にそれぞれ合成することと、を有する、画像処理方法が提供される。

また、本開示によれば、視差が異なる第１入力画像及び第２入力画像の少なくともいずれか一方の入力画像中の所定の被写体を検出することと、検出された前記被写体に対応した被写体枠を、表示部に立体表示される前記第１入力画像と前記第２入力画像の間で奥行きがあるように、前記第１入力画像及び前記第２入力画像にそれぞれ合成することと、をコンピュータに実行させるための、プログラムが提供される。

以上説明したように本開示によれば、表示部に画像を立体表示させる際に、画像中の特定の被写体に対応した被写体枠をユーザが違和感無く知覚できる。

撮像装置１００の構成を示すブロック図である。 第１の顔枠合成処理を行う撮像装置１００の機能ブロック図である。 第１の顔枠合成処理を説明するための模式図である。 立体画像を説明するための模式図である。 第２の顔枠合成処理を行う撮像装置１００の機能ブロック図である。 第２の顔枠合成処理を説明するための模式図である。 第３の顔枠合成処理を行う撮像装置１００の機能ブロック図である。 顔枠合成処理の選択処理を説明するためのフローチャートである。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．画像処理装置の構成
２．顔枠合成処理
３．顔枠合成処理の選択処理
４．まとめ

＜１．画像処理装置の構成＞
本実施形態では、画像処理装置として撮像装置を例に挙げて、図１を参照しながら撮像装置１００の構成について説明する。図１は、撮像装置１００の構成を示すブロック図である。

撮像装置１００は、例えば動画像を撮影できるビデオカメラ、又は静止画像を撮影できるデジタルカメラである。

図１に示すように、撮像装置１００は、フォーカスレンズ１０１、ズームレンズ１０２、撮像素子１０３、アナログ信号処理部１０４、Ａ／Ｄ変換部１０５、タイミングジェネレータ１０６、垂直ドライバ１０７、デジタル信号処理部１０８、制御部１１０、モータドライバ１１２、記録デバイス１１５、表示部１１６、操作部１１８、ＥＥＰＲＯＭ１１９、ＲＯＭ１２０、ＲＡＭ１２１、検出部１３０を有する。

フォーカスレンズ１０１は、光軸方向の前後に移動して被写体のピントを調節する。ズームレンズ１０２は、光軸方向の前後に移動して被写体の大きさを変化して撮影する。撮像素子１０３は、例えばＣＣＤ素子又はＣＭＯＳ素子であり、フォーカスレンズ１０１及びズームレンズ１０２から入射された光を電気信号に変換する。

アナログ信号処理部１０４は、撮像素子１０３から出力された電気信号のノイズを除去する処理等を行う。Ａ／Ｄ変換部１０５は、撮像素子１０３によって生成された信号をデジタル信号に変換して、画像の生データを生成する。

タイミングジェネレータ１０６は、撮像素子１０３およびアナログ信号処理部１０４の処理タイミングの制御信号を生成して、処理タイミングを制御する。垂直ドライバ１０７は、撮像素子１０３を駆動する。デジタル信号処理部１０８は、生成された画像の生データに対して、光量のゲイン補正やホワイトバランスの調整等の画像処理を行う。

制御部１１０は、ＣＰＵを有し、撮像装置１００の実行する各種の処理の制御をＲＯＭ１２０などに格納されたプログラムに従って実行する。モータドライバ１１２は、フォーカスレンズ１０１に対応して設定されたフォーカスレンズ駆動モータ１１３、ズームレンズ１０２に対応して設定されたズームレンズ駆動モータ１１４を駆動する。

記録デバイス１１５は、デジタル信号処理部１０８によって画像処理が施された画像データを記憶する。表示部１１６は、ライブビュー表示や、画像処理が施された画像データの表示を行う。操作部１１８は、レリーズスイッチ、ズームボタン、各種の操作情報を入力する操作ボタン等を含む。

ＥＥＰＲＯＭ１１９は、不揮発性メモリであり、画像データ、各種の補助情報、プログラムを格納する。ＲＯＭ１２０は、制御部１１０が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ１２１は、制御部１１０において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。

検出部１３０は、センサ等を有し、レンズを介して入力される画像データの解析を行う。例えば、検出部１３０は、画像データの奥行きを検出する奥行き検出部として機能する。また、検出部１３０は、画像データ中の人物の顔を検出する顔検出部として機能する。なお、制御部１１０は、フォーカス位置を制御しており、検出部１３０によって検出された顔の位置と、フォーカス位置とが一致するか否かの判定を行う。

撮像装置１００は、撮影した画像（動画像又は静止画像）を表示部１１６に立体表示（以下、３Ｄ表示とも呼ぶ）させることが可能である。具体的には、撮像装置１００は、視差が異なる左目画像と右目画像を撮影し、撮影した左目画像（便宜上、左画像と呼ぶ）と右眼画像（便宜上、右画像と呼ぶ）を表示部１１６に表示させることで、立体表示を行う。これにより、ユーザは、表示部１１６に表示された画像を奥行きがある画像として知覚する。

なお、図１では、説明の便宜上、フォーカスレンズ１０１とズームレンズ１０２と撮像素子１０３（この３つを撮像部と呼ぶ）が、１つずつ表示されているが、立体表示を行う撮像装置１００は、左画像の撮影用の撮像部と、右画像の撮影用の撮像部とを有する。この２つの撮像部によって、視差が異なる画像が撮像される。

＜２．顔枠合成処理＞
ところで、表示部１１６に画像を立体表示させる際に、顔枠も表示させるニーズが存在する。このようなニーズに対して、表示部１１６に画像を立体表示させる際に、顔枠をユーザが違和感無く知覚できることが求められる。このような要望に応えるべく、本実施形態に係る撮像装置１００は、ユーザが知覚する被写体（例えば、顔）の奥行きと被写体枠（例えば、顔枠）の奥行きとが一致するように、顔枠合成処理を行う。

本実施形態では、顔枠合成処理として、まず、撮像装置１００は、視差が異なる第１入力画像（例えば、左画像）及び第２入力画像（例えば、右画像）の少なくともいずれか一方の入力画像中の所定の被写体（例えば、顔）を検出する。次に、撮像装置１００は、検出された顔に対応した顔枠を、表示部１１６に立体表示される左画像と右画像の間で奥行きがあるように、左画像及び右画像にそれぞれ合成する。このような顔枠合成処理によれば、ユーザが知覚する顔の奥行きと顔枠の奥行きとが一致するので、ユーザにとって見やすい表示を実現できる。

以下においては、顔枠合成処理として、第１の顔枠合成処理、第２の顔枠合成処理、及び第３の顔枠合成処理を例に挙げて、詳細に説明する。なお、本実施形態では、第１の顔枠合成処理が第１処理に該当し、第２の顔枠合成処理又は第３の顔枠合成処理が第２処理に該当する。

（第１の顔枠合成処理）
まず、第１の顔枠合成処理について説明する。第１の顔枠合成処理では、立体画像を構成する左画像と右画像に対して、それぞれ人物の顔検出を行い、左画像に対する顔検出に基いて左画像に顔枠を合成し、右画像の顔検出に基いて右画像に顔枠を合成する。

図２と図３を参照して、第１の顔枠合成処理について説明する。図２は、第１の顔枠合成処理を行う撮像装置１００の機能ブロック図である。図３は、第１の顔枠合成処理を説明するための模式図である。

図２に示すように、撮像装置１００は、画像処理部２１２と、顔検出部２１４と、顔枠合成部２１６と、画像処理部２２２と、顔検出部２２４と、顔枠合成部２２６と、画像合成部２３２を有する。なお、画像処理部２１２、２２２と顔枠合成部２１６、２２６と画像合成部２３２は、図１に示すデジタル信号処理部１０８によって実行され、顔検出部２１４、２２４は、検出部１３０によって実行される。

画像処理部２１２には、左画像の撮影用の撮像部から、立体画像を構成する左画像と右画像のうち左画像のデータが入力される。画像処理部２１２は、入力された左画像に対して各種の画像処理を行う。画像処理部２１２は、図３に示す画像処理後の左画像Ａ１を、顔検出部２１４と顔枠合成部２１６に出力する。

顔検出部２１４は、画像処理部２１２から入力された左画像Ａ１において人物の顔（顔に対応する領域）を検出する。左画像中に人物の顔が複数ある場合には、顔検出部２１４は、複数の顔を検出する。また、顔検出部２１４は、顔の位置も検出する。顔検出部２１４は、顔の検出結果を顔枠合成部２１６に出力する。

顔枠合成部２１６は、顔検出部２１４の検出結果に基づいて、画像処理部２１２から入力された左画像Ａ１に顔枠Ｆ１を合成する。すなわち、顔枠合成部２１６は、人物の顔に対応した顔枠Ｆ１を左画像Ａ１に合成して、図３に示す左画像Ａ２を生成する。顔枠合成部２１６は、顔枠Ｆ１が合成された左画像Ａ２を画像合成部２３２に出力する。

画像処理部２２２には、右画像の撮影用の撮像部から、立体画像を構成する右画像のデータが入力される。画像処理部２２２は、入力された右画像に対して各種の画像処理を行う。画像処理部２２２は、図３に示す画像処理後の右画像Ｂ１を、顔検出部２２４と顔枠合成部２２６に出力する。なお、右画像Ｂ１と左画像Ａ１は、異なる撮像部から撮像されたものであるため、視差がある。

顔検出部２２４は、画像処理部２２２から入力された右画像Ｂ１において人物の顔（顔に対応する領域）を検出する。右画像中に人物の顔が複数ある場合には、顔検出部２２４は、複数の顔を検出する。顔検出部２２４は、顔の検出結果を顔枠合成部２２６に出力する。

顔枠合成部２２６は、顔検出部２２４の検出結果に基づいて、画像処理部２２２から入力された右画像Ｂ１に顔枠Ｆ２を合成する。すなわち、顔枠合成部２２６は、人物の顔に対応した顔枠Ｆ２を右画像Ｂ１に合成して、図３に示す右画像Ｂ２を生成する。顔枠合成部２１６は、顔枠Ｆ２が合成された右画像Ｂ２を画像合成部２３２に出力する。

画像合成部２３２は、顔枠合成部２１６から入力された左画像Ａ２と、顔枠合成部２２６から入力された右画像Ｂ２とを、図３に示すように横に並べて１つのフレームＣ１に合成する（いわゆるサイド・バイ・サイド方式）。サイド・バイ・サイド方式において、フレームＣ１における左画像は、左画像Ａ２の横幅を１／２に圧縮したものであり、フレームＣ１における右画像は、右画像Ｂ２の横幅を１／２に圧縮したものである。画像合成部２３２は、合成したフレームＣ１を表示部１１６（図１）に出力する。

表示部１１６は、入力されたフレームＣ１の左画像と右画像の横幅を２倍に伸ばして、順次表示する。左画像と右画像が順次表示される際に、ユーザは、例えばシャッターメガネを介して、右眼で右画像を視認し、左眼で左画像を視認する。なお、撮像装置１００が、いわゆる偏光方式で画像を表示させて、ユーザに右画像と左画像を視認させても良い。そして、顔枠を含む右画像と左画像には視差あるため、ユーザは、図４に示すように、人物だけで無く、顔枠も奥行きがあるように知覚する。図４は、立体画像を説明するための模式図である。

第１の顔枠合成処理によれば、左画像と右画像に視差があるため、左画像に合成された顔枠Ｆ１と、右画像に合成された顔枠Ｆ２にも視差がある。そして、顔枠Ｆ１と顔枠Ｆ２の間の視差は、左画像と右画像の間の視差と同じであるため、ユーザが知覚する人物の顔の奥行きと顔枠の奥行きとが一致する。この結果、表示部１１６に画像を立体表示させる際に、ユーザは顔枠を違和感無く知覚できる。

（第２の顔枠合成処理）
次に、第２の顔枠合成処理について説明する。第２の顔枠合成処理は、まず、左画像と右画像の一方の画像（ここでは、左画像とする）に対して、顔検出及び奥行き検出を行う。次に、左画像の顔検出の結果に基づいて左画像に顔枠を合成し、左画像の顔枠と奥行き検出の結果に基づいて右画像に顔枠を合成する。

図５と図６を参照して、第２の顔枠合成処理について説明する。図５は、第２の顔枠合成処理を行う撮像装置１００の機能ブロック図である。図６は、第２の顔枠合成処理を説明するための模式図である。

図５に示すように、撮像装置１００は、画像処理部２１２と、顔検出部２１４と、奥行き検出部２１８と、画像処理部２２２と、画像合成部２３２を有する。なお、画像処理部２１２、２２２と画像合成部２３２は、図１のデジタル信号処理部１０８によって実行され、顔検出部２１４と奥行き検出部２１８は、検出部１３０によって実行される。

画像処理部２１２には、立体画像を構成する左画像と右画像のうち左画像のデータが入力される。画像処理部２１２は、入力された左画像に対して各種の画像処理を行う。画像処理部２１２は、図６に示す画像処理後の左画像Ａ１を、顔検出部２１４と奥行き検出部２１８と画像合成部２３２に出力する。

顔検出部２１４は、画像処理部２１２から入力された左画像Ａ１において人物の顔（顔に対応する領域）を検出する。顔検出部２１４は、顔の検出結果を画像合成部２３２に出力する。

奥行き検出部２１８は、左画像Ａ１における顔等の被写体の奥行きを検出する。例えば、奥行き検出部２１８は、画像における被写体の輝度コントラスト情報を取得することで、被写体の奥行きを検出する。奥行き検出部２１８は、奥行きの検出結果を画像合成部２３２に出力する。

画像処理部２２２には、立体画像を構成する右画像のデータが入力される。画像処理部２２２は、入力された右画像に対して各種の画像処理を行う。画像処理部２２２は、図５に示す画像処理後の右画像Ｂ１を、画像合成部２３２に出力する。

画像合成部２３２は、顔検出部２１４の検出結果に基づいて、左画像Ａ１で検出された顔に対応した顔枠Ｆ１を生成し、生成した顔枠Ｆ１を左画像Ａ１に合成する。また、画像合成部２３２は、左画像Ａ１で検出された顔に対応した顔枠Ｆ１と、奥行き検出部２１８が検出した奥行きとに基いて、右画像Ｂ１に対応した顔枠Ｆ２を生成する。具体的には、画像合成部２３２は、検出された奥行きによって視差を取得し、顔枠Ｆ１に対して取得した視差分だけずらすことで顔枠Ｆ２を生成する。そして、画像合成部２３２は、生成した顔枠Ｆ２を右画像Ｂ１に合成する（図６参照）。

ところで、第２の顔枠合成処理においては奥行き検出部２１８により検出された奥行きにより視差が求まるので、第１の顔枠合成処理とは異なり、第２の顔枠合成処理では右画像の顔検出は行われない。

また、画像合成部２３２は、顔枠Ｆ１が合成された左画像と顔枠Ｆ２が合成された右画像とを、図６に示すように横に並べて１つのフレームＣ１に合成する（前述したサイド・バイ・サイド方式）。画像合成部２３２は、合成したフレームＣ１を表示部１１６に出力する。

表示部１１６は、入力されたフレームＣ１の左画像と右画像の横幅を２倍に伸ばして、順次表示する。左画像と右画像が順次表示される際に、ユーザは、例えばシャッターメガネを介して、右眼で右画像を視認し、左眼で左画像を視認する。そして、顔枠を含む右画像と左画像には視差あるため、ユーザは、前述した図４に示すように、人物だけで無く、顔枠も奥行きがあるように知覚する。

第２の顔枠合成処理によれば、第１の顔枠合成処理と同様に、左画像に合成された顔枠Ｆ１と、右画像に合成された顔枠Ｆ２にも視差がある。そして、顔枠Ｆ１と顔枠Ｆ２の間の視差は、左画像と右画像の間の視差と同じであるため、ユーザが知覚する人物の顔の奥行きと顔枠の奥行きとが一致する。この結果、表示部１１６に画像を立体表示させる際に、ユーザは顔枠を違和感無く知覚できる。

また、第２の顔枠合成処理においては、上述したように右画像の顔検出が不要であるので、第１の顔枠合成処理に比べて処理量を低減でき、この結果処理時間を短縮することができる。

（第３の顔枠合成処理）
次に、第３の顔枠合成処理について説明する。第３の顔枠合成処理は、まず、左画像と右画像の一方の画像（ここでは、左画像とする）に対して顔検出を行う一方で、左画像と右画像の両方を用いて奥行き検出を行う。次に、左画像の顔検出に基いて左画像に顔枠を合成し、左画像の顔枠と、左画像及び右画像による奥行き検出との結果に基づいて、右画像に顔枠を合成する。

図７を参照して、第３の顔枠合成処理について説明する。図７は、第３の顔枠合成処理を行う撮像装置１００の機能ブロック図である。

図７に示すように、撮像装置１００は、画像処理部２１２と、顔検出部２１４と、奥行き検出部２１８と、画像処理部２２２と、画像合成部２３２を有する。なお、図７の画像処理部２１２、顔検出部２１４、及び画像処理部２２２は、それぞれ、図５の画像処理部２１２、顔検出部２１４、及び画像処理部２２２と同様な機能を有するので、説明は省く。

奥行き検出部２１８は、左画像Ａ１のみに基いて奥行きを検出する第２の顔枠合成処理とは異なり、左画像Ａ１及び右画像Ｂ１に基いて顔等の被写体の奥行きを検出する。例えば、奥行き検出部２１８は、左画像Ａ１と右画像Ｂ１の対応する特定の部分を抽出してブロックマッチングすることで、被写体の奥行きを検出する。奥行き検出部２１８は、奥行きの検出結果を画像合成部２３２に出力する。

画像合成部２３２は、顔検出部２１４の検出結果に基づいて、左画像Ａ１で検出された顔に対応した顔枠Ｆ１を生成し、生成した顔枠Ｆ１を左画像Ａ１に合成する。また、画像合成部２３２は、左画像Ａ１で検出された顔に対応した顔枠Ｆ１と、奥行き検出部２１８が検出した奥行きとに基いて、右画像Ｂ１に対応した顔枠Ｆ２を生成する。そして、画像合成部２３２は、生成した顔枠Ｆ２を右画像Ｂ１に合成する（図６参照）。なお、生成された顔枠Ｆ２は、奥行き検出部２１８により奥行きが考慮されているため、顔枠Ｆ１に対して視差を有する。

また、画像合成部２３２は、顔枠Ｆ１が合成された左画像と顔枠Ｆ２が合成された右画像とを、図６に示すように横に並べて１つのフレームＣ１に合成し、合成したフレームＣ１を表示部１１６に出力する。表示部１１６は、前述した図４に示すように、顔枠Ｆ１が合成された左画像と顔枠Ｆ２が合成された右画像とを順次表示することで、人物だけで無く、顔枠も奥行きがあるように表示される。

第３の顔枠合成処理によれば、第２の顔枠合成処理と同様に、左画像に合成された顔枠Ｆ１と、右画像に合成された顔枠Ｆ２にも視差がある。そして、顔枠Ｆ１と顔枠Ｆ２の間の視差は、左画像と右画像の間の視差と同じであるため、ユーザが知覚する人物の顔の奥行きと顔枠の奥行きとが一致する。この結果、表示部１１６に画像を立体表示させる際に、ユーザは顔枠を違和感無く知覚できる。

また、第３の顔枠合成処理によれば、左画像及び右画像に基いて奥行きを検出するので、左画像と右画像の一方の画像のみに基いて奥行きを検出する場合に比べて、より高精度に奥行きを検出可能である。

なお、上記では３つの顔枠合成処理を説明したが、撮像装置１００が実行可能な顔枠合成処理は、これに限定されない。以下において、前述した図５を参照しながら、他の顔枠合成処理について説明する。

他の顔枠合成処理では、奥行き検出部２１８は、連続した２つの左画像を用いて奥行きを検出する。連続した２つの画像の間には、時間差があるため画像の変化がある。そこで、奥行き検出部２１８は、時間差がある２つの左画像から奥行きを検出する。例えば、奥行き検出部２１８は、２つの左画像の対応する特定の部分を抽出してブロックマッチングすることで、奥行きを検出する。そして、画像合成部２３２は、検出された奥行きと左画像の顔検出の結果に基づいて、右画像の顔枠を生成する。このように生成された右画像の顔枠も、前述した３つの顔枠合成処理と同様に、左画像の顔枠と視差が異なる。

＜３．顔枠合成処理の選択処理＞
上記では、撮像装置１００が実行可能な複数の顔枠合成処理を説明したが、撮像装置１００の制御部１１０は、被写体の撮影状態に応じて、複数の顔枠合成処理のうちの１つの顔枠合成処理を選択して実行する。これにより、リアルタイムで立体表示を行う際に、複数の顔枠合成処理の中から、奥行き検出等の検出精度や顔枠合成処理の処理時間を考慮した、最適な顔枠合成処理を実行できる。

例えば、制御部１１０は、同一の平面内において、検出された顔の位置がフォーカス位置（例えば、ファインダ内の中心位置）と一致するか否かに応じて、複数の顔枠合成処理のうちの１つの顔枠合成処理を選択して実行する。具体的には、制御部１１０は、同一の平面内において、検出された顔の位置がフォーカス位置と一致する場合には、第２の顔枠合成処理を選択して実行する。一方で、同一の平面内において、検出された顔の位置がフォーカス位置と一致しない場合には、制御部１１０は、第１の顔枠合成処理又は第３の顔枠合成処理を選択して実行する。

同一の平面内において、検出された顔の位置がフォーカス位置と一致した場合の奥行き検出の精度は、顔の位置がフォーカス位置と一致しない場合の奥行き検出の精度よりも高精度である。このため、顔の位置がフォーカス位置と一致する場合には、左画像と右画像のうちの一方の画像から奥行きを検出しても（第２の顔枠合成処理）、奥行き検出の精度が良く、処理時間も短くできる。一方で、顔の位置がフォーカス位置と一致しない場合には、左画像と右画像の両方を用いて奥行きを検出することで（第１の顔枠合成処理又は第３の顔枠合成処理）、奥行き検出の精度の低下を防止できる。

また、例えば、制御部１１０は、顔検出部２１４（顔検出部２２４）によって検出された顔の数に応じて、３つの顔枠合成処理のうちの１つの顔枠合成処理を選択して実行する。具体的には、制御部１１０は、検出された顔の数が所定数よりも多い場合には、第３の顔枠合成処理を選択して実行し、検出された顔の数が所定数よりも少ない場合には、第１の顔枠合成処理を選択して実行する。ここで、所定数は、以下のように定まる。奥行き検出部２１８による奥行き検出時間は、一定時間であるのに対して、顔検出部２１４による顔検出時間は、顔の数に比例して長くなる。所定数は、所定数の数の顔を検出する顔検出時間が奥行き検出時間よりも長くなる最小の数である。

顔の数に応じて、３つの顔枠合成処理のうちの１つの顔枠合成処理を選択して実行する場合には、以下のようなメリットがある。画像中の顔の数が多い程、制御部１１０の処理量が増える。第３の顔枠合成処理は、右画像の顔検出が不要であるので、検出された顔の数が多い程、右画像の顔検出を行う第１の顔枠合成処理に比べて処理量が少ない。このため、顔の数が多い場合には第３の顔枠合成処理を選択して実行することで、顔枠合成処理の処理量の増加を防止できる。一方で、顔の数が少ない場合には、第１の顔枠合成処理を実行することで、顔枠Ｆ１と顔枠Ｆ２の視差を精度良いものにできる。

（顔枠合成処理の選択処理の具体例）
図８を参照して、顔枠合成処理の選択処理の具体例について説明する。図８は、顔枠合成処理の選択処理を説明するためのフローチャートである。本処理は、制御部１１０がＲＯＭ１２０等に記憶されたプログラムを実行することで、実現される。

図８のフローチャートは、顔検出部２１４が、入力された左画像の顔を検出したところから開始される。なお、以下の処理においては、第１の顔枠合成処理と第２の顔枠合成処理と第３の顔枠合成処理の中から、１つの顔枠合成処理を選択するものとする。

制御部１１０は、まず、顔検出部２１４によって検出された顔検出の精度が、良いか否かを判定する（ステップＳ１０２）。例えば、制御部１１０は、顔検出の精度の度合いを示す数値（閾値）等を予め把握しており、検出された精度が閾値よりも大きい場合には、精度が良いと判断し、検出された精度が閾値よりも小さい場合には、精度が悪いと判断する。

ステップＳ１０２で顔検出の精度が良いと判定された場合には（Ｙｅｓ）、制御部１１０は、検出された顔の数が１つで、かつ、検出された顔の位置とフォーカス位置が一致するか否かを判定する（ステップＳ１０４）。

ステップＳ１０４でＹｅｓと判定された場合には、制御部１１０は、図５に示す第２の顔枠合成処理を実行する（ステップＳ１０６）。これにより、奥行き検出の精度を高め、また、処理時間も短くできる。ステップＳ１０４でＮｏと判定された場合には、制御部１１０は、検出された顔の数が所定数よりも多いか否かを判定する（ステップＳ１０８）。

ステップＳ１０８で顔の数が所定数よりも多い場合には（Ｙｅｓ）、制御部１１０は、図７に示す第３の顔枠合成処理を選択して実行する（ステップＳ１１０）。このように、顔の数が多い場合には第３の顔枠合成処理を選択して実行することで、他の顔枠合成処理に比べて、顔枠合成処理の処理量の増加を防止できる。ステップＳ１０８で顔の数が所定数よりも少ない場合には（Ｎｏ）、制御部１１０は、図２に示す第１の顔枠合成処理を選択して実行する（ステップＳ１１２）。第１の顔枠合成処理を実行することで、顔枠Ｆ１と顔枠Ｆ２の視差を精度良いものにできる。

ステップＳ１０２で顔検出の精度が悪いと判定された場合には（Ｎｏ）、制御部１１０は、検出された顔の数が１つで、かつ、検出された顔の位置とフォーカス位置が一致するか否かを判定する（ステップＳ１１４）。

ステップＳ１１４でＹｅｓと判定された場合には、制御部１１０は、第２の顔枠合成処理を実行する（ステップＳ１１６）。これにより、奥行き検出の精度を高め、また、処理時間も短くできる。ステップＳ１１４でＮｏと判定された場合には、制御部１１０は、第３の顔枠合成処理を実行する（ステップＳ１１８）。これにより、奥行き検出の精度の低下を防止できる。

上述した本処理によれば、リアルタイムで立体表示を行う際に、複数の顔枠合成処理の中から、奥行き検出等の検出精度や顔枠合成処理の処理時間を考慮した、最適な顔枠合成処理を実行できる。

＜４．まとめ＞
上述したように、本実施形態に係る撮像装置１００は、視差が異なる第１入力画像（例えば、左画像）及び第２入力画像（例えば、右画像）の少なくともいずれか一方の入力画像中の所定の被写体（例えば、顔）を検出する。次に、撮像装置１００は、検出された顔に対応した顔枠を、表示部１１６に立体表示される左画像と右画像の間で奥行きがあるように、左画像及び右画像にそれぞれ合成する。

このような顔枠合成処理によれば、立体画像を構成する二つの画像のそれぞれに、二つの画像の視差に対応した２つの顔枠を合成させるので、ユーザが知覚する被写体の奥行きと被写体枠の奥行きとが一致する。この結果、表示部１１６に画像を立体表示させる際に、ユーザは被写体枠を違和感無く知覚できる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

上記では、被写体として人物の顔を例に挙げて説明したが、これに限定されない。例えば、被写体は、人物全体、ペット、植物等の特定の物体であっても良い。

また、上記では、画像処理装置として、ビデオカメラ等の撮像装置を例に挙げて説明したが、これに限定されない。例えば、画像処理装置は、画像データを表示部に立体表示させる機能を有すれば良く、例えば、携帯電話機、ＰＤＡ、ゲーム機、電子辞書、ノートパソコン等であっても良い。また、画像処理装置は、外部の表示装置に画像を表示させても良い。

また、上記の実施形態のフローチャートに示されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。

なお、本技術は以下のような構成も取ることができる。
（１）視差が異なる第１入力画像及び第２入力画像の少なくともいずれか一方の入力画像中の所定の被写体を検出する被写体検出部と、
検出された前記被写体に対応した被写体枠を、表示部に立体表示される前記第１入力画像と前記第２入力画像の間で奥行きがあるように、前記第１入力画像及び前記第２入力画像にそれぞれ合成する合成部と、
を備える、画像処理装置。
（２）前記被写体検出部は、前記被写体の顔を検出し、
前記被写体枠は、前記顔に対応した顔枠である、前記（１）に記載の画像処理装置。
（３）前記合成部は、
前記第１入力画像で検出された前記被写体に対応した第１被写体枠を、前記第１入力画像に合成すると共に、
前記第２入力画像で検出された前記被写体に対応した第２被写体枠を、前記第２入力画像に合成する、前記（１）又は（２）に記載の画像処理装置。
（４）前記第１入力画像に基いて、前記被写体の奥行きを検出する奥行き検出部を更に備え、
前記合成部は、
前記第１入力画像で検出された前記被写体に対応した第１被写体枠を、前記第１入力画像に合成すると共に、
前記第１被写体枠と前記奥行き検出部が検出した前記奥行きとに基いて生成した第２被写体枠を、前記第２入力画像に合成する、前記（１）又は（２）に記載の画像処理装置。
（５）前記第１入力画像及び前記第２入力画像に基いて、前記被写体の奥行きを検出する奥行き検出部を更に備え、
前記合成部は、
前記第１入力画像で検出された前記被写体に対応した第１被写体枠を、前記第１入力画像に合成すると共に、
前記第１被写体枠と前記奥行き検出部が検出した前記奥行きとに基いて生成した第２被写体枠を、前記第２入力画像に合成する、前記（１）又は（２）に記載の画像処理装置。
（６）前記第１入力画像に基いて、前記被写体の奥行きを検出する奥行き検出部と、
前記合成部が、前記第１入力画像で検出された前記被写体に対応した第１被写体枠を、前記第１入力画像に合成すると共に、前記第２入力画像で検出された前記被写体に対応した第２被写体枠を、前記第２入力画像に合成する第１処理と、
前記合成部が、前記第１入力画像で検出された前記被写体に対応した第１被写体枠を、前記第１入力画像に合成すると共に、前記第１被写体枠と前記奥行き検出部が検出した前記奥行きとに基いて生成した第２被写体枠を、前記第２入力画像に合成する第２処理と、
のいずれか一方を選択して実行する制御部と、
を更に備える、前記（１）〜（４）のいずれかに記載の画像処理装置。
（７）前記制御部は、
前記被写体検出部によって検出された前記被写体の数が所定数よりも多い場合には、前記第２処理を選択して実行し、
前記被写体検出部によって検出された前記被写体の数が所定数よりも少ない場合には、前記第１処理を選択して実行する、前記（６）に記載の画像処理装置。
（８）前記制御部は、
入力画像におけるフォーカス位置と、検出された前記顔の位置とを検出し、
前記フォーカス位置が前記被写体の位置と一致する場合には、前記第２処理を選択して実行し、
前記フォーカス位置が前記被写体の位置と一致しない場合には、前記第１処理を選択して実行する、前記（６）に記載の画像処理装置。
（９）視差が異なる第１入力画像及び第２入力画像の少なくともいずれか一方の入力画像中の所定の被写体を検出することと、
検出された前記被写体に対応した被写体枠を、表示部に立体表示される前記第１入力画像と前記第２入力画像の間で奥行きがあるように、前記第１入力画像及び前記第２入力画像にそれぞれ合成することと、
を有する、画像処理方法。
（１０）視差が異なる第１入力画像及び第２入力画像の少なくともいずれか一方の入力画像中の所定の被写体を検出することと、
検出された前記被写体に対応した被写体枠を、表示部に立体表示される前記第１入力画像と前記第２入力画像の間で奥行きがあるように、前記第１入力画像及び前記第２入力画像にそれぞれ合成することと、
をコンピュータに実行させるための、プログラム。

１００ 撮像装置
１０１ フォーカスレンズ
１０２ ズームレンズ
１０３ 撮像素子
１０４ アナログ信号処理部
１０５ Ａ／Ｄ変換部
１０６ タイミングジェネレータ（ＴＡ）
１０７ 垂直ドライバ
１０８ デジタル信号処理部
１１０ 制御部
１１２ モータドライバ
１１３ フォーカスレンズ駆動モータ
１１４ ズームレンズ駆動モータ
１１５ 記録デバイス
１１６ 表示部
１１８ 操作部
１１９ メモリ（ＥＥＰＲＯＭ）
１２０ メモリ（ＲＯＭ）
１２１ メモリ（ＲＡＭ）
２１２ 画像処理部
２１４ 顔検出部
２１６ 顔枠合成部
２１８ 奥行き検出部
２２２ 画像処理部
２２４ 顔検出部
２２６ 顔枠合成部
２３２ 画像合成部
Ｆ１、Ｆ２ 顔枠

Claims (7)

1. 第１入力画像に基づいて、所定の被写体を検出する被写体検出部と、
   前記第１入力画像に基づいて、前記被写体の奥行きを検出する奥行き検出部と、
   前記被写体に対応した第１被写体枠を、前記第１入力画像に合成すると共に、前記第１被写体枠と前記奥行きとに基づいて生成した第２被写体枠を、前記第１入力画像と視差が異なり前記奥行きの検出には用いない第２入力画像に合成する合成部と、
   を備える、画像処理装置。
2. 前記被写体検出部は、前記被写体の顔を検出し、
   前記第１被写体枠および前記第２被写体枠は、前記顔に対応した顔枠である、請求項１に記載の画像処理装置。
3. 前記合成部が、
   前記第１入力画像から検出した前記被写体に対応した第１被写体枠を、前記第１入力画像に合成すると共に、前記第２入力画像から検出した前記被写体に対応した第２被写体枠を、前記第２入力画像に合成する第１処理と、
   前記合成部が、
   前記第１入力画像から検出した前記被写体に対応した第１被写体枠を、前記第１入力画像に合成すると共に、前記第１被写体枠と前記奥行きとに基づいて生成した第２被写体枠を、前記第２入力画像に合成する第２処理と、
   のいずれか一方を選択して実行する制御部、
   を更に備える、請求項１または２に記載の画像処理装置。
4. 前記制御部は、
   前記第１入力画像におけるフォーカス位置と、前記第１入力画像から検出した前記被写体の位置とを検出し、
   前記フォーカス位置が前記被写体の位置と一致する場合には、前記第２処理を選択して実行し、
   前記フォーカス位置が前記被写体の位置と一致しない場合には、前記第１処理を選択して実行する、請求項３に記載の画像処理装置。
5. 第１入力画像に基づいて、所定の被写体を検出することと、
   前記第１入力画像に基づいて、前記被写体の奥行きを検出することと、
   前記被写体に対応した第１被写体枠を、前記第１入力画像に合成すると共に、前記第１被写体枠と前記奥行きとに基づいて生成した第２被写体枠を、前記第１入力画像と視差が異なり前記奥行きの検出には用いない第２入力画像に合成することと、
   を有する、画像処理方法。
6. 第１入力画像に基づいて、所定の被写体を検出することと、
   前記第１入力画像に基づいて、前記被写体の奥行きを検出することと、
   前記被写体に対応した第１被写体枠を、前記第１入力画像に合成すると共に、前記第１被写体枠と前記奥行きとに基づいて生成した第２被写体枠を、前記第１入力画像と視差が異なり前記奥行きの検出には用いない第２入力画像に合成することと、
   をコンピュータに実行させるための、プログラム。
7. 視差が異なる第１入力画像及び第２入力画像中の特定の被写体に対応した情報を、前記第１入力画像から検出した前記被写体の奥行きに基づいて、前記第１入力画像及び前記第２入力画像の前記特定の被写体にそれぞれ合成する合成部、
   を備える、画像処理装置。

Images