JP2011077900A - 画像処理装置、カメラ及び画像処理方法 - Google Patents

Abstract

【課題】複数の顔と共に複数の顔枠を表示する場合でも、立体視する観察者の立体感を阻害することなく且つ目の疲労を抑えること。
【解決手段】複数の撮像手段でそれぞれ撮像して得られる複数の撮像画像から構成される 立体撮像画像を入力する立体画像入力部１０１と、前記各撮像画像における顔の位置を特定する顔位置特定部１２４と、前記各撮像画像における合焦位置を特定する合焦位置特定部１４６、前記顔の位置と前記複数の撮像手段の基線長及び輻輳角とに基づいて 、前記顔の位置の距離情報を取得する距離情報取得部１４４と、前記合焦位置と前記顔の位置の距離情報とに基づいて、前記顔の位置の焦点状態を特定する焦点状態特定部１４８と、前記顔の位置を示す顔枠であって、前記顔の位置の焦点状態に応じてぼかした顔枠を生成する顔枠生成部１６０と、前記生成した顔枠及び前記立体撮像画像から、立体表示画像を生成する立体表示画像生成部１８０を備えた。
【選択図】図３

Description

本発明は、撮像した複数の顔と共に、検出した複数の顔枠を表示する場合でも、立体視する観察者の立体感を阻害することなく且つ目の疲労を抑えることを可能にする画像処理装置、カメラ及び画像処理方法に関する。

複数の視点でそれぞれ被写体を撮像して立体画像を生成する３Ｄデジタルカメラがユーザに提供されている。立体画像は例えば２つの視点でそれぞれ撮像された２枚の撮像画像からなり、これら２枚の撮像画像をそれぞれ観察者に異なる眼で観察させることにより、奥行き感のある被写体像を観察者に認識させることができる。

また、特許文献１には、複数の顔を撮影するシーンにおいて、検出した複数の顔領域を表示する構成が開示されている。複数の顔領域を顔領域の大きさ又は位置に基づいて２以上のグループに分類し、複数のグループのうちからユーザの操作で指定されたグループを基準として、撮影制御（合焦制御、自動露出制、及び、オートホワイトバランス）を行う。特許文献２には、顔の検出状況に応じて、顔枠の色、線の種類、線の太さ、透過度、点滅状態、顔枠内の輝度又は色を、顔毎に異ならせる構成が開示されている。特許文献３には、顔らしさを示す評価値に応じて、顔枠の枠線の濃淡、色相、線分方向表示率、又は、幅を切り替える構成が開示されている。

特開２００８−２５２７１３号公報 特開２００８−１３１４０５号公報 特開２００７−２７４２０７号公報

撮像装置からの距離が異なる複数の顔を撮像し画像を取得した場合、画像中の焦点を合わせた顔（主要被写体）は、くっきりと表示される。また、主要被写体と距離が異なり焦点深度内に入らない顔（副被写体）はボケて表示される。しかし、ボケた顔に対しても顔検出は可能である。つまり画像内の検出した顔の全てに顔枠を表示する場合、焦点が合っている、いないとは無関係に、顔枠自体はくっきりと表示される。立体表示装置に表示した場合、顔枠は検出された顔の位置に表示されるが、ボケて表示された顔であっても、その顔の周囲の顔枠がくっきりと表示されることになる。例えば合焦位置よりも遠くにあるために合焦していない顔に対しても、視認しやすい顔枠がくっきりと表示される。つまり、同じ距離にある顔と顔枠との間でボケ方が異なるため、観察者の頭の中で混乱が生じ、被写体の立体視が阻害されてしまうことになる。また、観察者の目は顔枠と同じようにボケた顔もくっきり見ようとして目の焦点合わせを試みるが、実際には不可能であるため、疲労してしまうという問題もある。

特許文献１には、複数の顔領域をグループ分けしてそのグループを指定する操作をユーザにさせることで、ユーザの利便性を高める構成が開示されているが、立体画像を立体視する観察者の立体感を阻害することなく且つ目の疲労を抑えることが可能な構成については、開示も示唆もない。特許文献２、３には、顔の検出状況に応じて顔枠を切り換える構成が開示されているが、立体画像を立体視する観察者の立体感を阻害することなく且つ目の疲労を抑えることが可能な構成については、開示も示唆もない。

本発明はこのような事情に鑑みてなされたもので、撮像した複数の顔と共に、検出した複数の顔枠を表示する場合でも、立体視する観察者の立体感を阻害することなく且つ目の疲労を抑えることを可能にする画像処理装置、カメラ及び画像処理方法を提供することを目的とする。

前記目的を達成するために、本発明は、複数の撮像手段でそれぞれ撮像して得られる複数の撮像画像から構成される 立体撮像画像を入力する画像入力手段と、前記各撮影画像から顔を検出する顔検出手段 と、前記各撮像画像における検出した顔の位置を特定する顔位置特定手段と、前記各撮像画像における合焦位置を特定する合焦位置特定手段 と、前記顔の位置と、前記複数の撮像手段間の相対距離と、前記各撮像手段の撮像方向とに基づいて、前記顔の位置の距離情報を取得する距離情報取得手段と、前記合焦位置と、前記顔の位置の距離情報とに基づいて、前記顔の位置の焦点状態を特定する焦点状態特定手段と、前記顔の位置を示す顔枠であって、前記顔の位置の焦点状態に応じてぼかした顔枠を生成する顔枠生成手段と、前記生成した顔枠及び前記立体撮像画像から、立体表示画像を生成する立体表示画像生成手段と、を備えたことを特徴とする画像処理装を提供する。

例えば、前記距離情報取得手段は、前記顔の位置と、前記複数の撮像手段の基線長及び輻輳角とに基づいて、前記顔の位置の距離情報を取得する。

即ち、撮像手段からの距離が異なる複数の顔を撮像して複数の顔枠を表示する場合でも、各撮像画像における検出した顔の位置が特定され、各撮像画像における合焦位置が特定され、顔の位置と複数の撮像手段間の相対距離と前記各撮像手段の撮像方向とに基づいて、顔の位置の距離情報が取得され、前記合焦位置と前記顔の位置の距離情報とに基づいて、顔の位置の焦点状態が特定され、顔の位置を示す顔枠であって顔の位置の焦点状態に応じてぼかした顔枠が生成されて、生成した顔枠及び立体撮像画像から立体表示画像が生成されるので、立体視する観察者の立体感を阻害することなく且つ目の疲労を抑えることが可能になる。

また、合焦位置と顔の位置の距離情報とに基づいて焦点状態を特定することで、適正な奥行き感を与える顔枠を生成することが可能になる。

本発明の一態様では、前記焦点状態特定手段は、前記顔の位置が合焦状態であるか非合焦状態であるかを特定し、前記顔枠生成手段は、前記顔の位置が非合焦状態である場合には、前記顔の位置が合焦状態である場合よりも前記顔枠をぼかした状態にする。

本発明の一態様では、前記焦点状態特定手段は、前記顔の位置のデフォーカス量を前記焦点状態として特定し、前記顔枠生成手段は、前記デフォーカス量に応じて前記顔枠のぼかし量を切り換える。

即ち、非合焦状態のボケた顔と共にその顔のボケの程度に応じたぼかし量の顔枠が表示されることになるので、立体視する観察者に対して、より自然な感じを与えることができると共に、立体感をさらに向上させることができる。

本発明の一態様では、前記距離情報取得手段は、前記複数の撮像画像間における前記顔の位置の差分を前記顔の視差量として検出し、少なくとも該視差量に基づいて、前記顔の位置の距離情報を求める。

即ち、複数の撮像画像から顔の視差量を検出してその顔の視差量を利用するので、特別なハードウェアが不要であり、また、容易且つ迅速に顔の位置の焦点状態を特定することができる。

本発明の一態様では、前記顔枠生成手段は、前記顔の位置を立体視可能に示す立体顔枠であって、前記顔の位置の焦点状態に応じてぼかした立体顔枠を生成する。

本発明の一態様では、前記表示画像を表示する画像表示手段を備える。

また、本発明は、前記画像処理装置を備えたことを特徴とするカメラを提供する。

即ち、撮影者は、顔枠により顔の検出状態を的確に把握できるとともに、立体感を十分に感じることができ、且つ、目の疲労も少ない。

また、本発明は、複数の撮像手段でそれぞれ撮像して得られる複数の撮像画像から構成される立体撮像画像を入力する画像入力ステップと、前記各撮影画像から顔を検出する顔検出ステップと、前記各撮像画像における検出した顔の位置を特定する顔位置特定ステップと、前記各撮像画像における合焦位置を特定する合焦位置特定ステップと、前記顔の位置と、前記複数の撮像手段間の相対距離と、前記各撮像手段の撮像方向とに基づいて、前記顔の位置の距離情報を取得する距離情報取得ステップと、前記合焦位置と、前記顔の位置の距離情報とに基づいて、前記顔の位置の焦点状態を特定する焦点状態特定ステップと、前記顔の位置を示す顔枠であって、前記顔の位置の焦点状態に応じてぼかした顔枠を生成する顔枠生成ステップと、前記生成した顔枠及び前記立体撮像画像から、立体表示画像を生成する立体表示画像生成ステップと、を含むことを特徴とする画像処理方法を提供する。

本発明によれば、撮像した複数の顔と共に、検出した複数の顔枠を表示する場合でも、立体視する観察者の立体感を阻害することなく且つ目の疲労を抑えることを可能にする。

本発明に係る画像処理装置の一例の全体構成を示すブロック図 被写体距離と視差量との関係の説明に用いる説明図 画像処理装置の要部の一例を示すブロック図 画像処理の第１実施例の流れを示すフローチャート 撮影場面の一例を示す説明図 顔枠基本情報の説明に用いる説明図 顔の視差量算出の説明に用いる説明図 画像処理の第２実施例の流れを示すフローチャート （Ａ）は顔枠をぼかさなかった場合の表示画像例、（Ｂ）は顔枠をぼかした場合の表示画像例 本発明を適用した３Ｄデジタルカメラの全体構成を示すブロック図

以下、添付図面に従って、本発明の実施形態について、詳細に説明する。

図１は、本発明に係る画像処理装置の一例の全体構成を示すブロック図である。

図１において、画像処理装置１００は、立体画像入力部１０１、信号処理部１０２、立体画像表示部１０３、画像記録部１０４、操作部１０５、記憶部１０６、及び、ＣＰＵ１１０を含んで構成されている。

立体画像入力部１０１は、立体画像（「立体撮像画像」ともいう）を入力する入力デバイスである。立体画像は、複数の視点で被写体をそれぞれ撮像して得られる複数の撮像画像（複数の平面画像）からなる。尚、立体画像は、複数の視点で実際に被写体を撮像して得た実視点画像には特に限定されず、複数の仮想視点で仮想的に被写体を撮像すると得られる仮想視点画像、即ち実視点画像を画像処理して得られる画像でもよい。また、立体画像は、複数の平面画像からなる立体画像には特に限定されず、複数の平面画像から生成された一視点の平面画像に、奥行き情報を付加して構成される立体画像でもよい。奥行き情報は、例えば、画像中の各点（各画素）の視差量、又は視差量に対応する情報を示す。

また、立体画像入力部１０１を構成する入力デバイスは、撮影レンズ及び撮像素子をそれぞれ有する複数の撮像デバイス（撮像手段）により直接的に立体画像を入力する場合には特に限定されず、メモリカード等の記録媒体から立体画像を読み取る記録媒体インタフェースや、ネットワークを介して立体画像を受信するネットワークインタフェースでもよい。

信号処理部１０２は、立体画像に対し各種の信号処理を施す。

立体画像表示部１０３は、立体画像を立体視可能に表示する表示デバイスである。例えば、光方向制御（ライト・ディレクション・コントロール）方式の３Ｄ液晶表示デバイスを用いる。光方向制御方式では、液晶表示デバイスの背面を照らすバックライトの方向を、観察者の右眼方向及び左眼方向に制御する。これにより、観察者の左眼には左撮像画像、右眼には右撮像画像がそれぞれ映るようにする。視差バリア（パララックスバリア）方式の立体視表示デバイスでもよい。視差バリア方式では、縦方向に刻まれたスリットを通して画像を観察者に見せる。その他の空間分割方式でもよい。また、かまぼこ状のレンズ群を有するレンチキュラレンズを備えた立体視表示デバイスでもよい。また、観察者に画像分離メガネを着用させることで、立体視させてもよい。また、特に液晶表示デバイスには限定されず、例えば有機ＥＬデバイスでもよい。

画像記録部１０４は、立体画像をメモリカード等の記録媒体に記録するデバイスである。

操作部１０５は、ユーザが指示を入力する入力デバイスである。例えば、キースイッチにより構成される。ポインティングデバイスでもよいし、タッチパネルセンサでもよい。記憶部１０６は、不揮発性メモリを含んで構成され、各種情報を記憶する。

ＣＰＵ（Central Processing Unit）１１０は、プログラムに従って、画像処理装置１００の各部を制御する。

次に、被写体距離とデフォーカス量（以下「ボケ量」ともいう）との関係について、説明する。尚、本明細書では、合焦した物体（主要被写体）までの距離に限らず、非合焦の物体（副被写体）までの距離も、「被写体距離」という。

撮影レンズから物体（例えば顔）までの距離（被写体距離）をａ、撮影レンズから像までの距離をｂ、撮影レンズの焦点距離をｆとすると、次の数１が成立する。

［数１］ １／ａ＋１／ｂ＝ｆ
数１の公式を利用して撮影レンズの錯乱円半径ｘを算出する。撮影レンズの絞り値をＦとすると、焦点からｄずれた位置にある光点の錯乱円半径ｘ（後ボケ量）は、数２で表される。

［数２］ ｘ＝ｄｆ^２／２{Ｆ（ａ−ｆ）（ａ＋ｄ）}
また、前ボケの場合の錯乱円半径ｘ（前ボケ量）は、数３で表される。

［数３］ ｘ＝ｄｆ^２／２{Ｆ（ａ−ｆ）（ａ−ｄ）}
数２及び数３から解るように、ボケ量は、焦点距離ｆの２乗に比例して大きくなり、絞り値Ｆに反比例し、ほぼフォーカス面距離の２乗に比例して小さくなる。フォーカス面との距離差は、後ボケの場合にはｄ／（ａ＋ｄ）に比例し、前ボケの場合にはｄ／（ａ−ｄ）に比例する。要するに、焦点距離ｆ及び絞り値Ｆが決まっていれば、合焦した顔までの距離（主要被写体距離）と非合焦の顔までの距離（副被写体距離）との差分に基づいて、各顔画像のボケ量を算出することができる。

次に、被写体距離と視差量との関係について、図２を用いて説明する。

図２において、左撮像手段１１Ｌ及び右撮像手段１１Ｒは、ズームレンズ、フォーカスレンズ及び絞りを有する撮影レンズと、ＣＣＤセンサなどの撮像素子とを有する。尚、発明の理解を容易にするため、撮像手段１１Ｌ、１１Ｒの撮影レンズの焦点距離、及び、輻輳角θｃ（撮像手段１１Ｌ、１１Ｒの光軸（撮像方向）同士が成す角度）、及び、基線長ＳＢ（撮像手段１１Ｌ、１１Ｒの光軸の間隔（撮像手段間の相対距離））は、固定であるものとして説明する。

複数の撮像手段１１Ｌ、１１Ｒにより、同一の被写体９１（ここでは球を図示した）を複数の視点から撮像することで、複数の平面画像（左撮像画像９２Ｌ及び右撮像画像９２Ｒ）が生成される。生成された平面画像９２Ｌ、９２Ｒは、同一の被写体９１が投影された被写体像９３Ｌ、９３Ｒを、それぞれ含んでいる。一対の平面画像９２Ｌ、９２Ｒを、立体視表示可能なモニタ６０で重ね合わせて表示することで、すなわち立体視表示することで、立体画像９４が再生される。観察者９５は、モニタ６０上の立体画像９４を両眼９６Ｌ、９６Ｒから観察する。そうすると、観察者９５には被写体９１の虚像９７が飛び出して見える。尚、図２では、光軸間の交点９９（クロスポイント）よりも近い位置に被写体９１が存在したので虚像９７が手前側に飛び出して見えるが、交点９９よりも遠い位置に被写体が存在した場合には虚像が奥側に引き込んで見える。

図２に示すように被写体距離Ｓが交点９９までの距離よりも小さい範囲内では、被写体距離Ｓが小さいほど、立体画像９４上で被写体像９３Ｌ、９３Ｒの中心座標ＸＬＦ、ＸＲＦの差分｜ＸＬＦ−ＸＲＦ｜が大きくなる。即ち、被写体距離Ｓが小さいほど、平面画像９２Ｌ、９２Ｒ間で対応画素同士が離れる。ここで、差分｜ＸＬＦ−ＸＲＦ｜は、両眼を結ぶ方向における座標（ｘ座標）のみであり、これを視差量ＡＰとして表す。つまり、基線長ＳＢ及び輻輳角θｃ及び焦点距離が決まっていれば、交点９９よりも近い物体点９８については、被写体距離Ｓが小さいほど立体画像９４における視差量ＡＰ（画素９８Ｌと画素９８Ｒとの位置の差分）が大きくなり、観察者９５が体感する虚像９７の飛び出し量ＡＤも大きくなる。また、図示を省略したが、交点９９よりも遠い点については、被写体距離Ｓが大きいほど、視差量ＡＰが大きくなり、観察者９５が体感する虚像の引き込み量も大きくなる。立体画像９４における被写体像９３Ｌ、９３Ｒの位置関係により、交点９９よりも被写体９１の物体点９８が近い場合には、視差量ＡＰに正の符号を付し、交点９９よりも被写体９１の物体点９８が遠い場合には、視差量ＡＰに負の符号を付すことで、交点９９の前後にわたって被写体距離Ｓと視差量ＡＰとを対応付けることができる。

即ち、撮像手段１１Ｌ、１１Ｒの焦点距離及び輻輳角θｃ及び基線長ＳＢが決まっていれば、視差量ＡＰから被写体距離Ｓを一義的に対応付けることができる。また、焦点距離、輻輳角θｃ、及び、基線長ＳＢのうちで可変のものがある場合には、その可変のパラメータにも基づいて被写体距離Ｓを求めればよい。

次に、図１の焦点状態特定部１１４による焦点状態特定について説明する。

例えば、第１に、左撮像画像における顔の位置（顔座標）と右撮像画像における顔の位置（顔座標）との差分（視差量）を利用して、顔の位置のデフォーカス量を求める態様がある。まず、左撮像画像及び右撮像画像にて顔画像を検出する。次に、顔画像ごとに、各撮像画像における検出した顔画像の位置を特定する。次に、顔画像ごとに、顔画像の視差量を検出する。次に、顔画像ごとに、少なくとも顔画像の視差量と複数の撮像手段間の相対距離及び各撮像手段の撮像方向とに基づいて、顔の位置の距離情報（例えば撮影レンズと顔との距離）を特定する。次に、合焦している物体（例えば顔）の位置（合焦位置）の距離情報、非合焦の顔の位置の距離情報、焦点距離、及び、絞り値に基づいて、非合焦の顔画像のボケ量（デフォーカス量）を特定する。

尚、本発明は、視差量を用いないで顔の位置の距離情報を求める場合にも適用可能である。

第２に、フォーカスレンズの合焦位置をコントラスト方式によりサーチする際に、顔ごとの被写体距離もフォーカスレンズの位置に基づいて特定しておく態様がある。第１の態様と同様、合焦位置の距離情報、及び、非合焦の顔の位置の距離情報、焦点距離、及び、絞り値に基づいて、非合焦の顔画像のボケ量を特定すればよい。

第３に、顔の位置の距離情報を直接的に取得する態様がある。例えば、被写体を撮像して撮像画像を取得する際に、距離画像センサにより距離画像も取得する。第１の態様と同様、合焦位置の距離情報、及び、非合焦の顔の位置の距離情報、焦点距離、及び、絞り値に基づいて、非合焦の顔画像のボケ量を特定すればよい。

第４に、顔画像のデフォーカス量を直接的に特定する態様がある。例えば、撮像素子に、撮影用の通常画素と共に位相差検出用画素をアレイ状に配設しておき、その位相差検出用画素の出力信号に基づいて、顔画像のデフォーカス量を求める。

上記第３及び第４の態様では特別なハードウェアが必要だが、上記第１及び第２の態様では、特別なハードウェアを必要としない利点がある。また、上記第１の態様では、通常の顔検出処理により得られる顔枠の位置情報を顔の位置情報として利用可能なので、顔のボケ量を容易且つ迅速に得られる利点がある。

図３は、図１に示した画像処理装置１００の要部の一例を示すブロック図である。

ＣＰＵ１０は、顔検出部１２２、顔位置特定部１２４、視差量検出部１４２、距離情報取得部１４４、合焦位置特定部１４６、焦点状態特定部１４８、顔枠生成部１６０、及び、立体表示画像生成部１８０を含んで構成されている。

顔検出部１２２は、立体画像を構成する各撮像画像において、顔画像（以下単に「顔」ともいう）を検出する。尚、顔画像の検出は公知の方法により行えばよいので、ここではその説明を省略する。

顔位置特定部１２４は、立体画像を構成する各撮像画像において、顔検出部１２２で検出した顔画像の位置を特定する。例えば、顔画像の座標と、縦幅及び横幅とを特定する。

視差量検出部１４２は、立体画像を構成する各撮像画像間において、顔検出部１２２で検出した顔画像の位置の差分（視差量）を検出する。２視点の場合、左撮像画像における顔画像の位置と、右撮像画像における顔画像の位置との差分を算出する。

距離情報取得部１４４は、顔画像の視差量（図２のＡＰ）と、複数の撮像手段（図２の１１Ｌ，１１Ｒ）間の相対距離（基線長）と、各撮像手段の撮像方向（光軸方向）とに基づいて、交点（図２の９９）から顔までの距離（顔の位置の距離情報）を算出する。尚、複数の撮像手段の焦点距離が可変である場合には、その焦点距離にも基づいて被写体距離を算出する。

合焦位置特定部１４６は、立体画像を構成する各撮像画像における合焦位置を特定する。例えば、どの顔に合焦したか、或いは、顔以外のどの物体に合焦したかを特定する。

焦点状態特定部１４８は、顔検出部１２２で検出された顔ごとに、合焦位置特定部１４６で特定した合焦位置と、距離情報取得部１４４で取得した顔の位置の距離情報とに基づいて、顔の位置の焦点状態を特定する。尚、顔以外の物体に合焦した場合には、その物体の位置（合焦位置）の距離情報にも基づいて、顔の位置の焦点状態を特定する。例えば、顔画像のデフォーカス量として、錯乱円半径を算出する。尚、焦点距離及び絞り値が可変である場合には、その可変パラーメータにも基づいて、
錯乱円半径を算出する。

顔枠生成部１６０は、検出された顔ごとに、顔の位置を示す顔枠であって、顔の位置の焦点状態に応じてぼかした顔枠を生成する。例えば、顔枠を立体状態で作成し、三次元フィルタを用いて、立体状態でぼかす。

本例の顔枠生成部１６０は、顔枠基本情報生成部１６２、及び、ぼかし処理部１６４を含んで、構成されている。

顔枠基本情報生成部１６２は、顔画像ごとに、顔枠の位置及びサイズ、顔枠の色及び形状を示す顔枠基本情報を生成する。尚、顔枠の色及び形状は、顔画像ごとに異なっていてもよい。

ぼかし処理部１６４は、顔画像ごとに、顔画像のデフォーカス量に応じて顔枠のぼかし量（フィルタ係数）を特定し、顔枠に対してフィルタ処理を施す。

立体表示画像生成部１８０は、顔枠生成部１６０で生成された顔枠と、立体画像入力部１０１に入力された立体画像から、立体画像表示部１０３で立体視表示可能な画像（「立体表示画像」ともいう）を生成する。

図４は、画像処理の第１実施例の流れを示すフローチャートである。

ステップＳ２にて、立体画像入力部１０１により、立体画像を入力する。本例の立体画像は、左撮像画像及び右撮像画像からなる２視点の撮像画像である。以下では、立体画像に、互いに被写体距離が異なる複数の顔画像（単に「顔」ともいう）が含まれているものとして説明する。

ステップＳ４にて、立体画像における顔検出及び顔位置特定を行う。複数の顔が撮像されている場合、まず、顔検出部１２２により、左撮像画像及び右撮像画像のそれぞれにおいて、複数の顔画像を検出する。次に、顔位置特定部１２４により、検出された顔画像ごとに、各撮像画像における顔画像の位置及びサイズを特定する。例えば、図５に模式的に示すように、左撮像手段１１Ｌ及び右撮像手段１１Ｒにより３人を撮像した場合、３人の顔画像が検出され、各顔画像の座標及びサイズが特定される。本例では、検出した顔画像の数を変数ｉ及びｋに設定しておく。

ステップＳ６にて、顔枠生成部１６０により、顔画像ごとに、顔枠基本情報を生成する。例えば、図６に示す左撮像画像用の顔枠８１Ｌ、８２Ｌ、８３Ｌ及び右撮像画像用の顔枠８１Ｒ、８２Ｒ、８３Ｒの顔枠基本情報を生成する。ここで３人の顔枠は、位置及びサイズが互いに異なるけれども、ボケのない枠である。尚、本ステップでは、図６に示した顔枠を実際に表示するわけではなく、顔枠を表示するための基本的な情報を生成するのみである。

ステップＳ８にて、顔画像ごとに、顔画像の焦点状態を特定する。具体的には、次のようにして、デフォーカス量を算出する。

まず、視差量検出部１４２により、顔画像ごとに、左撮像画像における顔画像の位置と右撮像画像における顔画像の位置との差分を、視差量として検出する。本例では、図７に示すように、左撮像画像の顔枠８１Ｌ、８２Ｌ、８３Ｌの位置と右撮像画像との顔枠８１Ｒ、８２Ｒ、８３Ｒの位置との差分ＡＰ１、ＡＰ２、ＡＰ３を視差量として算出する。ここで、視差量は、撮像手段（図２の１１Ｌ、１１Ｒ）の光軸の交点（図２の９９）よりも顔が近いか遠いかを示す符号と、交点９９から顔までの距離に対応する絶対値とからなる。

次に、距離情報取得部１４４により、顔画像ごとに、視差量と輻輳角（図２のθｃ）及び基線長（図２のＳＢ）とに基づいて、顔の位置の距離情報を算出する。尚、本例では、焦点距離が固定であるが、焦点距離が可変である場合には、その可変である焦点距離にも基づいて、被写体距離を算出すればよい。本例では、交点９９を基準とした距離を顔の位置の距離情報として算出するが、撮影レンズから顔までの距離を求めてもよい。

次に、合焦位置特定部１４６により、各撮像画像における合焦位置を特定する。本例では、どの顔に合焦したかを特定する。例えば、画像中で一番大きい顔、撮像手段に一番近い顔、あるいは、ユーザから指定された顔に合焦されている。

次に、焦点状態特定部１４８により、顔画像ごとに、顔画像のデフォーカス量を特定する。例えば、合焦位置、顔の位置の距離情報、焦点距離ｆ及び絞り値Ｆに基づいて、錯乱円半径を算出する。尚、顔以外の物体に合焦した場合には、合焦位置の距離情報にも基づいて、非合焦の顔画像のデフォーカス量を特定する。

ステップＳ１０にて、ｉ番目の顔に合焦しているか否かを判定する。合焦していると判定された場合にはステップＳ１４に進み、合焦していないと判例された場合にステップＳ１２に進む。

ステップＳ１２にて、顔枠生成部１６０により、ｉ番目の顔枠をぼかすフィルタ処理を行う。例えば、各顔枠内の点像（点画素）がボケるように、ガウシアンフィルタをかける。例えば、焦点状態特定部１１４は、錯乱円半径が許容範囲内であるか否かを判定し、許容範囲内であれば顔の位置が合焦状態であると特定し、許容範囲外であれば顔の位置が非合焦状態であると特定する。そして、顔枠生成部１６０は、合焦状態であれば顔枠に対してフィルタ処理を行わず、非合焦状態であれば顔枠に対してフィルタ処理を行う。即ち、顔枠生成部１６０は、顔の位置が非合焦である場合には、顔の位置が合焦状態である場合よりも顔枠をぼかした状態にする。

ステップＳ１４にて、ｉをデクリメントし、ステップＳ１６にて、ｉ＝０であるか否かを判定する。ｉ＝０の場合、即ち全ての顔について合焦判定が終了した場合には、ステップＳ１８に進み、ｉが０でない場合には、ステップＳ１０に戻る。

ステップＳ１８にて、立体表示画像生成部１８０により、入力された立体画像と生成された顔枠とから、表示画像を生成する。本例では、立体画像を構成する各撮像画像に顔枠を合成する。

尚、フィルタ処理により顔枠をぼかす場合を例に説明したが、予めぼかした顔枠を記憶部１０６に記憶しておき、顔の位置のデフォーカス量が許容範囲外である場合には、通常の顔枠をぼかした顔枠に切り換えるようにしてもよい。

また、顔の位置の距離情報を、入力された立体画像に基づいて求める場合を例に説明したが、立体画像を含む画像ファイルのタグ（付加情報）から顔の焦点状態を求めてもよい。

図８は、画像処理の第２実施例の流れを示すフローチャートである。

ステップＳ２２〜２８は、図４に示した第１実施例のステップＳ２〜８と同様である。

ステップＳ３０にて、ｉ番目の顔が合焦しているか否かを判定する。合焦していると判定された場合にはステップＳ３４に進み、合焦していないと判例された場合にステップＳ３２に進む。

ステップＳ３２にて、顔枠生成部１６０により、ｉ番目の顔枠をデフォーカス量に応じてぼかすフィルタ処理を行う。ここで、各顔画像のデフォーカス量に応じて、フィルタ係数を切り換える。例えば、複数段階（例えば５段階）のフィルタ係数を予め記憶部１０６に記憶しておき、顔画像のデフォーカス量が大きいほど顔枠のぼかし量が大きくなるようにフィルタ係数を選択する。例えば、錯乱円半径に応じて選択する。即ち、顔画像のデフォーカス量に応じて、顔枠のぼかし量を切り換える。

ステップＳ３４にて、ｉをデクリメントし、ステップＳ３６にて、ｉ＝０であるか否かを判定する。ｉ＝０の場合には、ステップＳ３８に進み、ｉが０でない場合には、ステップＳ３０に戻る。

ステップＳ３８は、第１実施例のステップＳ１８と同様である。

図９（Ａ）は顔枠をぼかさなかった場合の表示画像例を示し、図９（Ｂ）は顔枠をぼかした場合の表示画像例を示す。図９（Ａ）では、顔がボケて表示されていても、その周囲の顔枠がくっきりと見えるので、観察者は合焦位置にある顔も、それよりも遠くにある顔も、同じ距離にあるものと認識しがちである。即ち、顔枠により立体感が阻害されてしまう。また、観察者の目は、くっきりした顔枠内のボケた顔もくっきり見ようと目の焦点合わせを試みるため、疲労してしまう。これに対して、図９（Ｂ）では、合焦位置にある顔は顔枠がくっきりと見え、それよりも遠くにある顔は顔枠がボケて見える。即ち、顔の焦点状態に顔枠の表示状態が対応しているので、顔枠による立体感の阻害がない。尚、図９では便宜上一視点の画像のみ表したが、立体画像表示部１０３には、実際には複数視点の画像（立体表示画像）が表示される。

図１０は、本発明を適用した３Ｄデジタルカメラの全体構成を示すブロック図である。

図１０において、３Ｄデジタルカメラ１は、同一の被写体を複数の視点から撮像して立体画像を生成可能な立体撮影装置であり、ＣＰＵ１０、撮像系１１（１１Ｒ，１１Ｌ）、操作部１２、ＲＯＭ１６、フラッシュＲＯＭ１８、ＳＤＲＡＭ２０、ＶＲＡＭ２２、ズームレンズ制御部２４（２４Ｌ、２４Ｒ）、フォーカスレンズ制御部２６（２６Ｌ、２６Ｒ）、絞り制御部２８（２８Ｌ、２８Ｒ）、撮像素子制御部３６（３６Ｌ、３６Ｒ）、アナログ信号処理部３８（３８Ｌ、３８Ｒ）、Ａ／Ｄ変換器４０（４０Ｌ、４０Ｒ）、画像入力コントローラ４１（４１Ｌ、４１Ｒ）、デジタル信号処理部４２（４２Ｌ、４２Ｒ）、ＡＦ評価値取得部４４、ＡＥ／ＡＷＢ評価値取得部４６、圧縮・伸張処理部５２、メディア制御部５４、メモリカード５６、モニタ制御部５８、モニタ６０、電源制御部６１、バッテリ６２、フラッシュ制御部６４、フラッシュ６５、姿勢検出センサ６６、スピーカ６７、及び、計時部６８を含んで構成されている。

左眼用の撮像系１１Ｌ（「左撮像手段」ともいう）は、主として、撮影レンズ１４Ｌ、ズームレンズ制御部２４Ｌ、フォーカスレンズ制御部２６Ｌ、絞り制御部２８Ｌ、撮像素子３４Ｌ、撮像素子制御部３６Ｌ、アナログ信号処理部３８Ｌ、Ａ／Ｄ変換器４０Ｌ、画像入力コントローラ４１Ｌ、デジタル信号処理部４２Ｌ等から構成されている。

右眼用の撮像系１１Ｒ（「右撮像手段」ともいう）は、主として、撮影レンズ１４Ｒ、ズームレンズ制御部２４Ｒ、フォーカスレンズ制御部２６Ｒ、絞り制御部２８Ｒ、撮像素子３４Ｒ、撮像素子制御部３６Ｒ、アナログ信号処理部３８Ｒ、Ａ／Ｄ変換器４０Ｒ、画像入力コントローラ４１Ｒ、デジタル信号処理部４２Ｒ等から構成されている。

なお、本明細書では、撮像系１１Ｌ、１１Ｒにより被写体を撮像して得られる画像信号を、「撮像画像」という。また、左眼用の撮像系１１Ｌにより得られる撮像画像を「左撮像画像」、右眼用の撮像系１１Ｒにより得られる撮像画像を「右撮像画像」という。

ＣＰＵ１０は、撮影、再生などデジタルカメラ全体の動作を統括制御する制御手段として機能し、操作部１２からの入力に基づき、プログラムに従って各部を制御する。

操作部１２は、シャッタボタン、電源スイッチ、モードスイッチ、ズームボタン、十字ボタン、メニューボタン、ＯＫボタン、ＢＡＣＫボタンなどを含む。シャッタボタンは、いわゆる「半押し」と「全押し」が可能な二段ストローク式のスイッチで構成されている。電源スイッチは、デジタルカメラ１の電源のオン及びオフを切り替えるスイッチである。モードスイッチは、各種のモードを切り替えるスイッチである。ズームボタンはズーム操作に用いられる。十字ボタンは、上下左右４方向に操作可能であり、メニューボタン、ＯＫボタン及びＢＡＣＫボタンと共に、各種の設定操作に用いられる。

バス１４を介して接続されたＲＯＭ１６には、ＣＰＵ１０が実行するプログラム及びＣＰＵ１０の制御に必要な各種データ等が格納されており、フラッシュＲＯＭ１８には、ユーザ設定情報等のデジタルカメラ１の動作に関する各種設定情報等が格納されている。ＳＤＲＡＭ２０は、ＣＰＵ１０の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用され、ＶＲＡＭ２２は、表示用の画像データ専用の一時記憶領域として利用される。

左右一対の撮影レンズ１４Ｌ、１４Ｒは、ズームレンズ３０ＺＬ、３０ＺＲ、フォーカスレンズ３０ＦＬ、３０ＦＲ、絞り３２Ｌ、３２Ｒを含んで構成されている。

ズームレンズ３０ＺＲ、３０ＬＲは、ズームレンズ駆動手段としてのズームレンズ制御部２４Ｒ、２４Ｌにより駆動されて、光軸に沿って前後移動する。ＣＰＵ１０は、ズームレンズ制御部２４Ｌ、２４Ｒを介して、ズームレンズ３０ＬＲ、３０ＺＲの位置を制御し、撮影レンズ１４Ｌ、１４Ｒのズーミングを行う。

フォーカスレンズ３０ＦＬ、３０ＦＲは、フォーカスレンズ駆動手段としてのフォーカスレンズ制御部２６Ｌ、２６Ｒにより駆動されて、光軸に沿って前後移動する。ＣＰＵ１０は、フォーカスレンズ制御部２６Ｌ、２６Ｒを介して、フォーカスレンズ３０ＦＬ、３０ＦＲの位置を制御し、撮影レンズ１４Ｌ、１４Ｒのフォーカシングを行う。

絞り３２Ｌ、３２Ｒ、は、たとえば、アイリス絞りで構成されており、絞り駆動手段としての絞り制御部２８Ｒにより駆動されて、開口量（絞り値）が変化する。ＣＰＵ１０は、絞り制御部２８Ｌ、２８Ｒを介して絞りの開口量を制御し、撮像素子３４Ｌ、３４Ｒの露光量を制御する。

撮像素子３４Ｌ、３４Ｒは、所定のカラーフィルタ配列のカラーＣＣＤ撮像素子で構成されている。ＣＣＤは、その受光面に多数のフォトダイオードが二次元的に配列されている。撮影レンズ１４Ｌ、１４ＲによってＣＣＤの受光面上に結像された被写体の光学像（被写体像）は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１０の指令に従って撮像素子制御部３６Ｌ、３６Ｒから与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として撮像素子３４Ｌ、３４Ｒから順次読み出される。撮像素子３４Ｌ、３４Ｒには、電子シャッタの機能が備えられており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間（シャッタ速度）が制御される。なお、本実施の形態では、撮像素子としてＣＣＤを用いているが、ＣＭＯＳセンサ等の他の構成の撮像素子を用いることもできる。

ＣＰＵ１０は、撮影レンズ１４Ｌ、１４Ｒを構成するズームレンズ３０ＺＬ、３０ＺＲ、フォーカスレンズ３０ＦＬ、３０ＦＲ、絞り３２Ｌ、３２Ｒを駆動する際、左右の撮影レンズ１４Ｌ、１４Ｒを同期させて駆動する。すなわち、左右の撮影レンズ１４Ｌ、１４Ｒは、常に同じ焦点距離（ズーム倍率）に設定されるとともに、常に同じ被写体に合焦するように、フォーカスレンズ３０ＦＬ、３０ＦＲの位置が設定される。また、常に同じ露光量となるように絞り値及び露光時間（シャッタ速度）が調整される。

アナログ信号処理部３８Ｌ、３８Ｒは、撮像素子３４Ｌ、３４Ｒから出力された画像信号に含まれるリセットノイズ（低周波）を除去するための相関二重サンプリング回路（ＣＤ）、画像信号を増幅して一定レベルの大きさにコントロールするためのＡＧＣ回路を含み、撮像素子３４Ｌ、３４Ｒから出力される画像信号を相関二重サンプリング処理するとともに増幅する。Ａ／Ｄ変換器４０Ｌ、４０Ｒは、アナログ信号処理部３８Ｌ、３８Ｒから出力されたアナログの画像信号をデジタルの画像信号に変換する。画像入力コントローラ４１Ｌ、４１Ｒは、Ａ／Ｄ変換器４０Ｌ、４０Ｒから出力された画像信号を取り込んで、ＳＤＲＡＭ２０に格納する。本例では、左撮像画像及び右撮像画像がＳＤＲＡＭ２０に一時的に格納される。デジタル信号処理部４２Ｌ、４２Ｒは、ＣＰＵ１０からの指令に従い、ＳＤＲＡＭ２０に格納された画像信号を取り込み、所定の信号処理を施して輝度信号Ｙと色差信号Ｃｒ、Ｃｂとからなる画像データ（Ｙ／Ｃ信号）を生成する。また、ＣＰＵ１０からの指令に応じて、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、ＲＧＢ補間処理、ＲＧＢ／ＹＣ変換処理、ノイズ低減処理、輪郭補正処理、色調補正、光源種別判定処理等の各種のデジタル補正を行う。なお、デジタル信号処理部４２Ｌ、４２Ｒはハードウェア回路で構成してもよいし、同じ機能をソフトウェアにて構成してもよい。

ＡＦ評価値取得部４４は、一方の画像入力コントローラ４１によりＳＤＲＡＭ２０に書き込まれたＲ，Ｇ，Ｂ各色の画像信号（撮像画像）に基づいて、フォーカスレンズ３０Ｆの合焦位置を検出するためのＡＦ評価値（合焦評価値）を算出する。本例のＡＦ評価値取得部４４は、撮像画像を複数の検出ブロック（例えば、８×８＝６４ブロック）に分割し、各検出ブロックごとにＡＦ評価値を算出する。また、本例のＡＦ評価値取得部４４は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、各検出ブロック内の信号を切り出す信号抽出部、及び、各検出ブロック内の信号の絶対値を積算する積算部を含み、各検出ブロックごとの積算値をＡＦ評価値として出力する。本例のＡＦ評価値は、各検出ブロックごとに合焦程度を示す。

ＣＰＵ１０は、ＡＦ制御時、複数のブロックによって構成される合焦エリアにてＡＦ評価値取得部４４から出力されるＡＦ評価値が極大となるレンズ位置を検出し、そのレンズ位置にフォーカスレンズ３０ＦＬ、３０ＦＲを移動させることにより、フォーカスレンズ３０ＦＬ、３０ＦＲの合焦を行う。ＣＰＵ１０は、例えば、まず、フォーカスレンズ３０ＦＬ、３０ＦＲを至近から無限遠まで移動させ、その移動過程で逐次ＡＦ評価値取得部４４からＡＦ評価値を取得し、合焦位置検出エリアにてＡＦ評価値が極大となるレンズ位置を検出して、そのレンズ位置にフォーカスレンズ３０ＦＬ、３０ＦＲを移動させる。これにより、画角内の合焦エリアに位置する被写体にピントが合わせられる。

ＡＥ／ＡＷＢ評価値取得部４６は、一方の画像入力コントローラ４１によりＳＤＲＡＭ２０に書き込まれたＲ、Ｇ、Ｂの各色の画像信号（撮像画像）に基づいて、ＡＥ（自動露出）制御及びＡＷＢ（自動ホワイトバランス調整）制御に必要な評価値を算出する。本例のＡＥ／ＡＷＢ評価値取得部４６は、撮像画像を複数の検出ブロック（例えば、８×８＝６４ブロック）に分割し、各検出ブロックごとのＲ、Ｇ、Ｂ信号の積算値をＡＥ評価値及びＡＷＢ評価値として算出する。

ＣＰＵ１０は、ＡＥ制御時、ＡＥ評価値に基づいて、露出量を算出する。すなわち、感度、絞り値、シャッタ速度、フラッシュ発光要否などを決定する。また、ＣＰＵ１０は、ＡＷＢ制御時、ＡＷＢ評価値として取得し、ホワイトバランス調整用のゲイン値を算出するとともに、光源種を検出する。

圧縮・伸張処理部５２は、ＣＰＵ１０からの指令に従い、入力された画像データに所定形式の圧縮処理を施し、圧縮画像データを生成する。また、ＣＰＵ１０からの指令に従い、入力された圧縮画像データに所定形式の伸張処理を施し、非圧縮の画像データを生成する。

メディア制御部５４は、ＣＰＵ１０からの指令に従い、メモリカード５６に対してデータの読み／書きを制御する。

モニタ制御部５８は、ＣＰＵ１０からの指令に従い、モニタ６０への表示を制御する。モニタ６０は、撮影済み画像を表示するための画像表示部として利用されるとともに、各種設定時にＧＵＩとして利用される。また、モニタ６０は、撮影時には、各撮像素子３４Ｒ、３４Ｌが継続的に捉えた画像（スルー画像）を順次表示し、電子ファインダとして利用される。

電源制御部６１は、ＣＰＵ１０からの指令に従い、バッテリ６２から各部への電源供給を制御する。フラッシュ制御部６４は、ＣＰＵ１０からの指令に従い、フラッシュ６５の発光を制御する。姿勢検出センサ６６は、デジタルカメラ１のボディの姿勢（上下、左右の傾き）を検出し、その結果をＣＰＵ１０に出力する。すなわち、デジタルカメラ１のボディの左右方向の傾き角度（撮影レンズ１４Ｌ、１４Ｒの光軸回りの回転角度）と、デジタルカメラ１のボディの上下方向の傾き角度（撮影レンズ１４Ｌ、１４Ｒの光軸の上下方向の傾き角度）とを検出する。スピーカ６７は音を出力する。計時部６８は、現在日時を計時するとともに、ＣＰＵ１０からの指令に従って時間の計測を行う。

以上説明した３Ｄデジタルカメラ１において、図１０の左撮像系１１Ｌ及び右撮像系１１Ｒによって図１の立体画像入力部１０１が構成され、図１０のデジタル信号処理部４２Ｌ、４２Ｒ等によって図１の信号処理部１０２が構成され、図１０のモニタ６０によって図１の立体画像表示部１０３が構成され、図１０のメディア制御部５４によって図１の画像記録部１０４が構成され、図１０の操作部１２によって図１の操作部１０５が構成され、図１０のＲＯＭ１６、フラッシュＲＯＭ１８、ＳＤＲＡＭ２０等によって図１の記憶部１０６が構成され、図１０のＣＰＵ１０によって図１のＣＰＵ１１０が構成される。

なお、人の顔を含む画像を例に説明したが、人以外の動物（例えば、犬、猫など）の顔を含む画像であって、本発明を適用できることは、言うまでもない。

また、本発明の画像処理装置を３Ｄデジタルカメラに適用した場合を例に説明したが、顔枠を含む立体表示画像を生成する各種の画像処理装置に適用できる。例えば、３Ｄデジタルカメラによって撮影された立体画像に対して編集処理を行うコンピュータ装置に適用してもよい。

本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。

１１Ｌ、１１Ｒ…撮像手段、１００…画像処理装置、１０１…立体画像入力部、１０２…信号処理部、１０３…立体画像表示部、１０４…画像記録部、１０５…操作部、１０６…記憶部、１１０…ＣＰＵ、１２２…顔検出部、１２４…顔位置特定部、１４２…視差量検出部、１４４…距離情報取得部、１４６…合焦位置特定部、１４８…焦点状態特定部、１６０…顔枠生成部、１８０…表示画像生成部

Claims (9)

1. 複数の撮像手段でそれぞれ撮像して得られる複数の撮像画像から構成される立体撮像画像を入力する画像入力手段と、
   前記各撮影画像から顔を検出する顔検出手段と、
   前記各撮像画像における検出した顔の位置を特定する顔位置特定手段と、
   前記各撮像画像における合焦位置を特定する合焦位置特定手段と、
   前記顔の位置と、前記複数の撮像手段間の相対距離と、前記各撮像手段の撮像方向とに基づいて、前記顔の位置の距離情報を取得する距離情報取得手段と、
   前記合焦位置と、前記顔の位置の距離情報とに基づいて、前記顔の位置の焦点状態を特定する焦点状態特定手段と、
   前記顔の位置を示す顔枠であって、前記顔の位置の焦点状態に応じてぼかした顔枠を生成する顔枠生成手段と、
   前記生成した顔枠及び前記立体撮像画像から、立体表示画像を生成する立体表示画像生成手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記距離情報取得手段は、前記顔の位置と、前記複数の撮像手段の基線長及び輻輳角とに基づいて、前記顔の位置の距離情報を取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記焦点状態特定手段は、前記顔の位置が合焦状態であるか非合焦状態であるかを特定し、
   前記顔枠生成手段は、前記顔の位置が非合焦状態である場合には、前記顔の位置が合焦状態である場合よりも前記顔枠をぼかした状態にすることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記焦点状態特定手段は、前記顔の位置のデフォーカス量を前記焦点状態として特定し、
   前記顔枠生成手段は、前記デフォーカス量に応じて前記顔枠のぼかし量を切り換えることを特徴とする請求項１または２に記載の画像処理装置。
5. 前記距離情報取得手段は、前記複数の撮像画像間における前記顔の位置の差分を前記顔の視差量として検出し、少なくとも該視差量に基づいて、前記顔の位置の距離情報を求めることを特徴とする請求項１ないし４のうちいずれか１項に記載の画像処理装置。
6. 前記顔枠生成手段は、前記顔の位置を立体視可能に示す立体顔枠であって、前記顔の位置の焦点状態に応じてぼかした立体顔枠を生成することを特徴とする請求項１ないし５のうちいずれか１項に記載の画像処理装置。
7. 前記表示画像を表示する画像表示手段を備えたことを特徴とする請求項１ないし６のうちいずれか１項に記載の画像処理装置。
8. 請求項１ないし７のうちいずれか１項に記載の画像処理装置を備えたことを特徴とするカメラ。
9. 複数の撮像手段でそれぞれ撮像して得られる複数の撮像画像から構成される立体撮像画像を入力する画像入力ステップと、
   前記各撮影画像から顔を検出する顔検出ステップと、
   前記各撮像画像における検出した顔の位置を特定する顔位置特定ステップと、
   前記各撮像画像における合焦位置を特定する合焦位置特定ステップと、
   前記顔の位置と、前記複数の撮像手段間の相対距離と、前記各撮像手段の撮像方向とに基づいて、前記顔の位置の距離情報を取得する距離情報取得ステップと、
   前記合焦位置と、前記顔の位置の距離情報とに基づいて、前記顔の位置の焦点状態を特定する焦点状態特定ステップと、
   前記顔の位置を示す顔枠であって、前記顔の位置の焦点状態に応じてぼかした顔枠を生成する顔枠生成ステップと、
   前記生成した顔枠及び前記立体撮像画像から、立体表示画像を生成する立体表示画像生成ステップと、
   を含むことを特徴とする画像処理方法。