JP2011210027A - 画像処理装置および方法並びにプログラム - Google Patents

Abstract

【課題】複数の人物が写っている立体視用画像について適切に立体感を調整できるようにする。
【解決手段】複数の顔を距離順に並べたとき、手前から奥に向けて１：２に内分する点Ａが頂点となる立体感評価関数Ｆ１に基づいて各顔毎に立体感評価値ｒを決定し、立体感評価値ｒが最も高い顔を最も優先順位の高い顔として主要被写体を決定する。次いで、上記のように決定した主要被写体の視差が最も小さくなるように複数の画像に対して３次元処理を行って立体視用画像を生成する。
【選択図】図６

Description

本発明は、視点が異なる複数の画像に対して立体視表示のための３次元処理を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理装置および方法並びに画像処理方法をコンピュータに実行させるためのプログラムに関するものである。

同一の被写体を異なる位置から撮影することにより取得した複数の画像を組み合わせて立体視用画像を生成し、生成した立体視用画像を立体視表示することにより、視差を利用して立体視できることが知られている。立体視表示の具体的な手法として、複数の画像を並べて配置して立体視表示を行う裸眼平衡法が知られている。また、複数の画像の色を例えば赤と青のように異ならせて重ね合わせたり、複数の画像の偏光方向を異ならせて重ね合わせることにより、複数の画像を合成して立体視用画像を生成することによっても立体視表示を行うことができる。この場合赤青メガネや偏光メガネ等の画像分離メガネを用いて、立体視表示された立体視用画像を融合視することにより、立体視を行うことができる（アナグリフ方式、偏光フィルタ方式）。

また、偏光メガネ等を使用しなくても、パララックスバリア方式およびレンチキュラー方式のように、複数の画像を立体視可能な立体視表示モニタに表示して立体視することも可能である。この場合、複数の画像を垂直方向に短冊状に切り取って交互に配置することにより立体視用画像を生成して、立体視表示が行われる。また、画像分離メガネを使用したり、光学素子を液晶に貼ることで左右の画像の光線方向を変えながら、左右の画像を交互に高速で切り替えて表示することにより、残像効果によって立体視表示を行う方式も提案されている（スキャンバックライト方式）。

このように立体視を行う場合、立体感を適切に調整する必要があるため、立体視表示された立体視用画像の視差量の調整の指示を受け付け、指示された視差量に応じて立体視用画像を生成する手法が提案されている（特許文献１参照）。また、表示された立体視用画像を立体視しながら立体感を調整して立体視用画像を生成する手法も提案されている（特許文献２参照）。また、ゲームにおいて立体感を調整する手法も提案されている（特許文献３参照）。

特開２００４−１２９１８６号公報 特開平１０−９０８１４号公報 特開平９−１９２３４９号公報

上記のような立体感の調整は、具体的には視線の交差位置であるクロスポイントを主要被写体に合せることで行なわれる。

画像中に人物が映っている場合、その人物の顔の位置をクロスポイントとして設定することにより、好ましい立体感の画像を得ることができるが、画像中に複数の人物が映っている場合には、最も手前の人物の顔にクロスポイントを合せると、他の人物の顔が全て奥に引っ込んで立体感の乏しい画像となってしまい、逆に最も奥の人物の顔にクロスポイントを合せると、他の人物の顔が全て手前に飛び出して視覚疲労や不快感を生じる画像となってしまうという問題がある。

本発明は上記事情に鑑みなされたものであり、複数の人物が写っている立体視用画像について適切に立体感を調整できるようにすることを目的とする。

本発明の第１の画像処理装置は、複数の顔が撮影された、視点が異なる複数の画像に対して立体視表示のための３次元処理を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理装置であって、画像中の顔を検出する顔検出手段と、各顔毎に、複数の画像間の視差量に基づいて奥行き方向の距離を算出する距離算出手段と、複数の顔を距離順に並べたとき、中間距離にある顔を最も優先順位の高い顔として、主要被写体を決定する主要被写体決定手段と、主要被写体の視差が最も小さくなるように、複数の画像に対して３次元処理を行って立体視用画像を生成する３次元処理手段とを備えたことを特徴とするものである。

最適な立体感を得るために必要な要件としては、「（１）：主要被写体より手前に飛び出した被写体が存在すること」、「（２）：主要被写体より奥に引っ込んだ被写体が存在すること」等が挙げられる。これらを実現するためには、複数の顔を距離順に並べたとき、中間距離にある顔を最も優先順位の高い顔として、主要被写体を決定すればよい。

ここで、中間距離にある顔、すなわち優先順位を最も高くする顔は、複数の顔を距離順に並べたとき、手前から奥に向けて１：２に内分する点に最も近い顔とすることが好ましい。

その根拠について図２０を用いて説明する。図２０は３Ｄコンソーシアムが定めた立体映像に関する安全ガイドライン「ＧＬ−１２：快適に見られる奥行き範囲を超えてコンテンツを表示しないこと」に示される立体視可能範囲である。なお図２０中の数値の単位はｃｍである。

このガイドラインに従えば、立体視可能な範囲について、手前側の飛び出し量（図２０の表示面ＩＳより右側）は、奥側の引っ込み量（図２０の表示面ＩＳより左側）に比べて抑える必要があるとしている。この範囲を超える視差を残すようなクロスポイント調整を行えば、視覚疲労や不快感が生じる可能性がある。

従って、クロスポイントとなる主要被写体は、少なくとも最も手前の被写体と最も奥の被写体の中心よりも手前にすべきであり、この目安として手前から奥に向けて概ね１：２に内分する点に最も近い被写体とすることが望ましいと言える。もちろんこれは１：２に限定するものではなく、表示システムや観察者の視距離によっても変わり得るが、重要なことは中心よりも手前に位置する被写体を主要被写体として設定することである。

従って、画像中において顔が２つのみ検出された場合には、２つの顔を距離順に並べたとき、手前側の顔を主要被写体として決定することが好ましい。

また、主要被写体決定手段は、優先順位を調整する優先順位調整手段を備えたものとすることが好ましい。

この場合、優先順位調整手段は、表示手段の特性、各顔の信頼度、各顔の大きさ、各顔の表情、各顔の下部領域の色、各顔の下部領域の所定範囲内における肌色の割合の少なくとも１つに基づいて優先順位を調整するものとすることが好ましい。

本発明の第２の画像処理装置は、複数の顔が撮影された、視点が異なる複数の画像に対して立体視表示のための３次元処理を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理装置であって、画像中の顔を検出する顔検出手段と、画像の各画素毎に、複数の画像間の視差量に基づいて奥行き方向の距離を算出する距離算出手段と、各画素を距離順に並べたとき、中間距離にある画素に最も近い顔を最も優先順位の高い顔として、主要被写体を決定する主要被写体決定手段と、主要被写体の視差が最も小さくなるように、複数の画像に対して３次元処理を行って立体視用画像を生成する３次元処理手段とを備えたことを特徴とするものである。

ここで、中間距離にある画素、すなわち優先順位を最も高くする顔を決めるための基準となる画素は、各画素を距離順に並べたとき、手前から奥に向けて１：２に内分する点の画素とすることが好ましい。

従って、画像中において顔が２つのみ検出された場合には、２つの顔を距離順に並べたとき、手前側の顔を主要被写体として決定することが好ましい。

本発明の第２の画像処理装置は、上記第１の画像処理装置と比較して、奥行き方向の距離が人物同士の中で中間付近にある人物の顔ではなく、画像全体の中で中間付近にある人物の顔を主要被写体として立体感を調整するようにした点が異なるだけであり、その利点の根拠は上記第１の画像処理装置での説明と同様である。

また、主要被写体決定手段は、優先順位を調整する優先順位調整手段を備えたものとすることが好ましい。

この場合、優先順位調整手段は、表示手段の特性、各顔の信頼度、各顔の大きさ、各顔の表情、各顔の下部領域の色、各顔の下部領域の所定範囲内における肌色の割合の少なくとも１つに基づいて優先順位を調整するものとすることが好ましい。

本発明の第１の画像処理方法は、複数の顔が撮影された、視点が異なる複数の画像に対して立体視表示のための３次元処理を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理方法であって、画像中の顔を検出し、各顔毎に、複数の画像間の視差量に基づいて奥行き方向の距離を算出し、複数の顔を距離順に並べたとき、中間距離にある顔を最も優先順位の高い顔として、主要被写体を決定し、主要被写体の視差が最も小さくなるように、複数の画像に対して前記３次元処理を行って立体視用画像を生成することを特徴とする方法である。

本発明の第２の画像処理方法は、複数の顔が撮影された、視点が異なる複数の画像に対して立体視表示のための３次元処理を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理方法であって、画像中の顔を検出し、画像の各画素毎に、複数の画像間の視差量に基づいて奥行き方向の距離を算出し、各画素を距離順に並べたとき、中間距離にある画素に最も近い顔を最も優先順位の高い顔として、主要被写体を決定し、主要被写体の視差が最も小さくなるように、複数の画像に対して３次元処理を行って立体視用画像を生成することを特徴とする方法である。

なお、本発明による第１および第２の画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、複数の人物が写っている立体視用画像について、奥行き方向の距離が人物同士の中で中間付近にある人物の顔、もしくは画像全体の中で中間付近にある人物の顔を主要被写体として立体感を調整するようにしたので、立体感に富みつつ視覚疲労や不快感を生じない適切な立体視用画像を得ることができる。

ここで、主要被写体を、奥行き方向の距離が人物同士の中で手前から奥に向けて１：２に内分する点に最も近い顔、もしくは画像全体の中で手前から奥に向けて１：２に内分する点の画素に最も近い顔とすることで、より適切な立体視用画像を得ることができる。

なお、画像中において顔が２つのみ検出された場合には、２つの顔を距離順に並べたとき、手前側の顔を主要被写体として決定することにより、同様の効果を得ることができる。

また、主要被写体を決定する上で、優先順位を調整可能にすることで、より柔軟な調整を行なうことができる。

この場合、表示手段の特性、各顔の信頼度、各顔の大きさ、各顔の表情、各顔の下部領域の色、各顔の下部領域の所定範囲内における肌色の割合の少なくとも１つに基づいて優先順位を調整することで、これらの条件を考慮したより適切な立体視用画像を得ることができる。

本発明の第１の実施の形態による画像処理装置の外観構成を示す斜視図 第１の実施の形態による画像処理装置の内部構成を示す概略ブロック図 第１の実施の形態において立体感の調整時に行われる処理を示すフローチャート 左右画像間の視差量を説明するための図（その１） 表示画像の一例を示す図（その１） 立体感評価値を示す図（その１） 表示手段毎に異なる立体感評価値とした場合の図 顔の信頼度に基づいて優先度を調整する場合の説明図 表示画像の一例を示す図（その２） 顔の大きさに基づいて優先度を調整する場合の説明図 表示画像の一例を示す図（その３） 顔の表情に基づいて優先度を調整する場合の説明図 表示画像の一例を示す図（その４） 服の彩度に基づいて優先度を調整する場合の説明図 肌の露出度に基づいて優先度を調整する場合の説明図 第２の実施の形態において立体感の調整時に行われる処理を示すフローチャート 左右画像間の視差量を説明するための図（その２） 立体感評価値を示す図（その２） その他の態様において立体感の調整時に行われる処理を示すフローチャート ３Ｄコンソーシアムが定めた立体映像に関する安全ガイドラインに示される立体視可能範囲を示す図

以下、図面を参照して本発明の実施の形態について説明する。図１は本発明の第１の実施の形態による画像処理装置の外観構成を示す斜視図、図２は第１の実施の形態による画像処理装置の内部構成を示す概略ブロック図である。

図１に示すように第１の実施の形態による画像処理装置１は、正面に液晶ディスプレイ（ＬＣＤ）２および操作ボタン３を備える。また、側面にはメモリカード等の記録メディア４を挿入するスロット５を備える。そして、第１の実施の形態による画像処理装置１は、記録メディア４に記録された、互いに異なる位置において撮影を行うことにより取得した複数の画像から生成された立体視用画像を、ＬＣＤ２に立体視表示するものである。なお、本実施の形態においては、２つの画像ＧＬ、ＧＲを用いて立体視表示を行うものとして説明する。また、画像ＧＬは立体視表示する際の左目用の画像、画像ＧＲは右目用の画像とする。

操作ボタン３は、上ボタン３Ｕ、下ボタン３Ｄ、左ボタン３Ｌ、右ボタン３Ｒおよび中央ボタン３Ｃを備える。

図２に示すように、画像処理装置１は、記録制御部２１、圧縮／伸長処理部２２、フレームメモリ２３、内部メモリ２４、画像処理部２５、表示制御部２６およびＣＰＵ２７を備える。

記録制御部２１は、スロット５に挿入された記録メディア４に対する情報の記録および読み出しの制御を行う。

圧縮／伸長処理部２２は、記録メディア４から読み出した立体視表示を行うための２つの画像ＧＬ，ＧＲの圧縮および解凍の処理を行う。画像ＧＬ、ＧＲの画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、後述する立体感調整値および撮影日時等の付帯情報が格納されたタグが付与される。

フレームメモリ２３は、画像ＧＬ、ＧＲを表す画像データに対して、後述する３次元処理を含む各種処理を行う際に使用する作業用メモリである。

内部メモリ２４は、画像処理装置１において設定される各種定数、およびＣＰＵ２７が実行するプログラム等を記憶する。

画像処理部２５は、画像ＧＬ、ＧＲをＬＣＤ２に立体視表示させるために、画像ＧＬ、ＧＲに３次元処理を行って立体視用画像を生成する。ここで、本実施の形態における立体視表示の方式としては、公知の任意の方式を用いることができる。例えば、画像ＧＬ、ＧＲを並べて表示して裸眼平衡法により立体視を行う方式、またはＬＣＤ２にレンチキュラーレンズを貼り付け、ＬＣＤ２の表示面の所定位置に画像ＧＬ、ＧＲを表示することにより、左右の目に画像ＧＬ、ＧＲをそれぞれ入射させて立体視表示を実現するレンチキュラー方式を用いることができる。また、ＬＣＤ２に左右の目への光路を変更するバリアを貼り付け、ＬＣＤ２の表示面の所定位置に画像ＧＬ、ＧＲを表示することにより、左右の目に画像ＧＬ、ＧＲをそれぞれ入射させて立体視表示を実現するパララックスバリア方式を用いることができる。

また、画像ＧＬ、ＧＲの色を例えば赤と青のように異ならせて重ね合わせたり、画像ＧＬ、ＧＲの偏光方向を異ならせて重ね合わせることにより、画像ＧＬ、ＧＲを合成して立体視表示を実現する方式（アナグリフ方式、偏光フィルタ方式）を用いることができる。さらに、ＬＣＤ２のバックライトの光路を光学的に左右の目に対応するように交互に分離し、ＬＣＤ２の表示面に画像ＧＬ、ＧＲをバックライトの左右への分離にあわせて交互に表示することにより、立体視表示を実現するスキャンバックライト方式を用いることができる。

なお、ＬＣＤ２は画像処理部２５が行う３次元処理の方式に応じた加工がなされている。例えば、立体視表示の方式がレンチキュラー方式の場合には、ＬＣＤ２の表示面にレンチキュラーレンズが取り付けられており、パララックスバリア方式の場合には、ＬＣＤ２の表面にバリアが取り付けられている。また、スキャンバックライト方式の場合には、左右の画像の光線方向を変えるための光学素子がＬＣＤ２の表示面に取り付けられている。

また、画像処理部２５は、画像中の顔を検出する顔検出手段、各顔毎に複数の画像間の視差量に基づいて奥行き方向の距離を算出する距離算出手段、複数の顔を距離順に並べたとき中間距離にある顔を最も優先順位の高い顔として主要被写体を決定する主要被写体決定手段、および主要被写体の視差が最も小さくなるように複数の画像に対して３次元処理を行って立体視用画像を生成する３次元処理手段としての機能を有する他、必要に応じて画像ＧＬ、ＧＲに対してホワイトバランスを調整する処理、階調補正、シャープネス補正、および色補正等の画像処理を施すことも可能である。

表示制御部２６は、３次元処理により取得される立体視用画像を立体視表示したり、画像ＧＬ、ＧＲを２次元表示したりする。

ＣＰＵ２７は、操作ボタン３からの指示に応じて画像処理装置１の各部を制御する。

データバス２８は、画像処理装置１を構成する各部およびＣＰＵ２７に接続されており、画像処理装置１における各種データおよび各種情報のやり取りを行う。

次に、第１の実施の形態において行われる処理について説明する。図３は第１の実施の形態において立体感の調整時に行われる処理を示すフローチャート、図４は左右画像間の視差量を説明するための図（その１）、図５は表示画像の一例を示す図（その１）、図６は立体感評価値を示す図（その１）である。

第１の実施の形態による画像処理装置１は、複数の人物が写っている立体視用画像について、奥行き方向の距離が人物同士の中で中間付近にある人物の顔を主要被写体として立体感を調整するようにしたものである。なお、ここでは立体視表示の方式としてレンチキュラー方式を採用した場合について説明する。

立体視用画像を生成するための２つの画像ＧＬ、ＧＲは、同一の被写体を異なる位置において撮影することにより取得されたものであるため、画像ＧＬ、ＧＲを重ねた場合、画像ＧＬ、ＧＲに含まれる被写体はあらかじめ定められた視差量を持っており、まず、図４に示すように、画像ＧＬ、ＧＲに基づいて視差マップＰＭの作成を行なう（ステップＳ１）。この視差マップＰＭは、画像ＧＬ、ＧＲのうちの一方を基準として、各画素毎の視差量を輝度で示したものである。本実施の形態では、左画像ＧＬを基準画像とし、視差量が大きい程高輝度で表示しているが、この態様に限定されるものではない。

次いで、図５に示すように、基準画像とした左画像ＧＬ中において顔の検出を行ない（ステップＳ２）、各顔の代表視差の算出を行なう（ステップＳ３）。なお、画像中の顔の検出方法についてはどのような方法を用いてもよい。また、各顔の代表視差については、顔の中心位置や瞳の位置等どの位置を基準としてもよい。また、各顔の代表視差については、視差マップＰＭを参照して顔領域の視差の平均値を代表視差としてもよいし、顔の中心位置や瞳の位置等の任意の位置の視差量を代表視差としてもよい。

次いで、図６に示すように、複数の顔を距離順に並べたとき、手前から奥に向けて１：２に内分する点Ａが頂点となる立体感評価関数Ｆ１に基づいて各顔毎に立体感評価値ｒを決定し（ステップＳ４）、立体感評価値ｒが最も高い顔を最も優先順位の高い顔として主要被写体を決定する（ステップＳ５）。

ここで、立体感評価値ｒの調整を行なわない場合には、立体感評価値ｒが最も高い顔２が主要被写体として決定されるのだが、各種の条件に基づいて各顔毎の立体感評価値ｒの調整を行なうようにしてもよい。以下、その条件について説明する。

例えば、表示手段の特性に基づいて立体感評価値ｒの調整を行なうようにしてもよい。図７は表示手段毎に異なる立体感評価値とした場合の図である。

ＬＣＤ２（表示手段）の構成によって立体視の見え方は異なる。例えばレンチキュラーレンズが取り付けられたものの場合、レンチキュラーレンズのクロストーク特性によって立体視の見え方が異なる。クロストークが少ない場合には左右画像の視差が多少残っていてもクロスポイントがあっているように見えるため、この場合は、図７に示すように、頂点の位置は変えないものの他の部分の立体感評価値ｒが高い別の立体感評価関数Ｆ１ａやＦ１ｂに変更する。その結果、後述の他の調整を組み合わせた場合に、各顔毎の優先順位が入れ替わり易くなる。

なお、レンチキュラーレンズが取り付けられたもの以外の場合であっても、その表示手段の特性を考慮して、立体感評価関数を変更すればよい。

また、各顔の信頼度に基づいて立体感評価値ｒの調整を行なうようにしてもよい。図８は顔の信頼度に基づいて優先度を調整する場合の説明図である。

顔の信頼度とは、画像から検出された顔が本当に顔であるかの信憑性を測る度合であって、図８に示すように、顔の信頼度が高い程、顔優先度ｋ１の値を大きくする。なお、顔の信憑性を測る方法については、既に種々の方法が提案されており、どのような方法を用いてもよい。これにより顔の誤判別の影響を小さくすることができる。この顔優先度ｋ１は、各顔毎に立体感評価値ｒに乗算する係数であって、０より大きい値を有する。最終的な立体感評価値ｒｆは式（１）に基づいて算出され、立体感評価値ｒｆが最も高い顔を最も優先順位の高い顔として主要被写体を決定する
ｒｆ＝ｒ×ｋ１ （１）
また、各顔の大きさに基づいて立体感評価値ｒの調整を行なうようにしてもよい。図９は表示画像の一例を示す図（その２）、図１０は顔の大きさに基づいて優先度を調整する場合の説明図である。

図９に示すように、画像中の顔の大きさが小さい程、図１０に示すように、顔優先度ｋ２の値を大きくする。これは、一般には子供を主役として画像の撮影を行なうことが多く、顔の大きさが小さい程子供の可能性が高いため、上記の態様とすることにより適切に主要被写体を選択できるようになるからである。この顔優先度ｋ２は、各顔毎に立体感評価値ｒに乗算する係数であって、０より大きい値を有する。最終的な立体感評価値ｒｆは式（２）に基づいて算出され、立体感評価値ｒｆが最も高い顔を最も優先順位の高い顔として主要被写体を決定する
ｒｆ＝ｒ×ｋ２ （２）
なお、上記とは逆に画像中の顔の大きさが大きい程、顔優先度ｋ２の値を大きくするようにしてもかまわない。

また、各顔の表情に基づいて立体感評価値ｒの調整を行なうようにしてもよい。図１１は表示画像の一例を示す図（その３）、図１２は顔の表情に基づいて優先度を調整する場合の説明図である。

図１１に示すように、画像中の顔の表情が笑顔である程、図１２に示すように、顔優先度ｋ３の値を大きくする。なお、顔の表情を判断する方法については、既に種々の方法が提案されており、どのような方法を用いてもよい。これは、一般には笑顔で写っている人を主要被写体とした方が好ましいため、上記の態様とすることにより適切に主要被写体を選択できるようになるからである。この顔優先度ｋ３は、各顔毎に立体感評価値ｒに乗算する係数であって、０より大きい値を有する。最終的な立体感評価値ｒｆは式（３）に基づいて算出され、立体感評価値ｒｆが最も高い顔を最も優先順位の高い顔として主要被写体を決定する
ｒｆ＝ｒ×ｋ３ （３）
なお、笑顔以外にも怒った表情等他の表情に基づいて顔優先度ｋ３の値を調整するようにしてもかまわない。

また、各顔の下部領域の色に基づいて立体感評価値ｒの調整を行なうようにしてもよい。図１３は表示画像の一例を示す図（その４）、図１４は服の彩度に基づいて優先度を調整する場合の説明図である。

図１３に示すように、画像中の顔の下部領域、すなわち人物の服装部分である可能性が高い領域の色の彩度が高い程、図１４に示すように、顔優先度ｋ４の値を大きくする。これは、例えば結婚式等のパーティーでは鮮やか色の服装をした人物が主役であることが多く、服装の色の彩度が高い程主役の可能性が高いため、上記の態様とすることにより適切に主要被写体を選択できるようになるからである。この顔優先度ｋ４は、各顔毎に立体感評価値ｒに乗算する係数であって、０より大きい値を有する。最終的な立体感評価値ｒｆは式（４）に基づいて算出され、立体感評価値ｒｆが最も高い顔を最も優先順位の高い顔として主要被写体を決定する
ｒｆ＝ｒ×ｋ４ （４）
なお、上記とは逆に画像中の顔の下部領域の色の彩度が低い程、顔優先度ｋ４の値を大きくするようにしてもかまわない。

また、各顔の下部領域の所定範囲内における肌色の割合に基づいて立体感評価値ｒの調整を行なうようにしてもよい。図１３は表示画像の一例を示す図（その４）、図１５は肌の露出度に基づいて優先度を調整する場合の説明図である。

図１３に示すように、画像中の顔の下部領域、すなわち人物の服装部分である可能性が高い領域の所定範囲内における肌色の割合が多い程、図１５に示すように、顔優先度ｋ５の値を大きくする。これは、例えば結婚式等のパーティーでは肌の露出が多い服装をした人物が主役であることが多く、顔の下部領域の所定範囲内における肌色の割合が多い程主役の可能性が高いため、上記の態様とすることにより適切に主要被写体を選択できるようになるからである。この顔優先度ｋ５は、各顔毎に立体感評価値ｒに乗算する係数であって、０より大きい値を有する。最終的な立体感評価値ｒｆは式（５）に基づいて算出され、立体感評価値ｒｆが最も高い顔を最も優先順位の高い顔として主要被写体を決定する
ｒｆ＝ｒ×ｋ５ （５）
なお、上記とは逆に顔の下部領域の所定範囲内における肌色の割合が少ない程、顔優先度ｋ５の値を大きくするようにしてもかまわない。

以上の調整を、１つもしくは複数組み合わせて主要被写体を決定することによって、ユーザのニーズに沿ったより適切な立体視用画像を得ることができる。仮に以上の調整を全て組み合わせた場合には、最終的な立体感評価値ｒｆは式（６）に基づいて算出される。

ｒｆ＝ｒ×ｋ１×ｋ２×ｋ３×ｋ４×ｋ５ （６）
次いで、上記のように決定した主要被写体の視差が最も小さくなるように複数の画像に対して３次元処理を行って立体視用画像を生成する（ステップＳ６）。

本実施の形態では立体視表示の方式としてレンチキュラー方式を採用しているため、３次元処理の具体的な内容としては、ＬＣＤ２上で画像ＧＬ、ＧＲの主要被写体の表示位置が同じ位置となるように画像ＧＬ、ＧＲの水平方向の座標を変更すればよい。なお、立体視表示の方式としてレンチキュラー方式以外の方式を採用した場合には、主要被写体がクロスポイントとなるように、各方式に合せて適宜処理を変更すればよい。

最後に、上記の様にして生成した立体視用画像をＬＣＤ２上に表示して処理を終了する。

上記の構成とすることにより、人物のみを主体として撮影された画像の場合に、立体感に富みつつ視覚疲労や不快感を生じない適切な立体視用画像を得ることができる。

次いで、本発明の第２の実施の形態について説明する。なお、第２の実施の形態による画像処理装置は、第１の実施の形態による画像処理装置と同一の構成を有し、行われる処理のみが異なるため、ここでは構成についての詳細な説明は省略する。図１６は第２の実施の形態において立体感の調整時に行われる処理を示すフローチャート、図１７は左右画像間の視差量を説明するための図（その２）、図１８は立体感評価値を示す図（その２）である。

本実施の形態による画像処理装置は、複数の人物が写っている立体視用画像について、画像全体の中で中間付近にある人物の顔を主要被写体として立体感を調整するようにしたものである。なお、ここでは立体視表示の方式としてレンチキュラー方式を採用した場合について説明する。

立体視用画像を生成するための２つの画像ＧＬ、ＧＲは、同一の被写体を異なる位置において撮影することにより取得されたものであるため、画像ＧＬ、ＧＲを重ねた場合、画像ＧＬ、ＧＲに含まれる被写体はあらかじめ定められた視差量を持っており、まず、図１７に示すように、画像ＧＬ、ＧＲに基づいて視差マップＰＭの作成を行なう（ステップＳ１１）。この視差マップＰＭは、画像ＧＬ、ＧＲのうちの一方を基準として、各画素毎の視差量を輝度で示したものである。本実施の形態では、左画像ＧＬを基準画像とし、視差量が大きい程高輝度で表示しているが、この態様に限定されるものではない。

次いで、基準画像とした左画像ＧＬ中において顔の検出を行ない（ステップＳ１２）、各顔の代表視差の算出を行なう（ステップＳ１３）。なお、画像中の顔の検出方法についてはどのような方法を用いてもよい。また、各顔の代表視差については、顔の中心位置や瞳の位置等どの位置を基準としてもよい。

次いで、図１８に示すように、各画素を距離順に並べたとき、手前から奥に向けて１：２に内分する点Ｂが頂点となる立体感評価関数Ｆ２に基づいて各顔毎に立体感評価値ｒを決定し（ステップＳ１４）、立体感評価値ｒが最も高い顔を最も優先順位の高い顔として主要被写体を決定する（ステップＳ１５）。

ここで、立体感評価値ｒの調整を行なわない場合には、立体感評価値ｒが最も高い顔２が主要被写体として決定されるのだが、上記第１の実施の形態と同様に、各種の条件に基づいて各顔毎の立体感評価値ｒの調整を行なうようにしてもよい。

次いで、上記のように決定した主要被写体の視差が最も小さくなるように複数の画像に対して３次元処理を行って立体視用画像を生成する（ステップＳ１６）。

本実施の形態では立体視表示の方式としてレンチキュラー方式を採用しているため、３次元処理の具体的な内容としては、ＬＣＤ２上で画像ＧＬ、ＧＲの主要被写体の表示位置が同じ位置となるように画像ＧＬ、ＧＲの水平方向の座標を変更すればよい。なお、立体視表示の方式としてレンチキュラー方式以外の方式を採用した場合には、主要被写体がクロスポイントとなるように、各方式に合せて適宜処理を変更すればよい。

最後に、上記の様にして生成した立体視用画像をＬＣＤ２上に表示して処理を終了する。

上記の構成とすることにより、風景まで含めた全体が撮影された画像の場合に、立体感に富みつつ視覚疲労や不快感を生じない適切な立体視用画像を得ることができる。

なお、第１の実施の形態における処理と第２の実施の形態における処理とを切り替え可能に構成することもできる。そのような態様とした場合において行われる処理について説明する。図１９はこの場合の立体感の調整時に行われる処理を示すフローチャートである。

まず、視差マップの作成を行ない（ステップＳ２１）、次いで基準画像中において顔の検出を行ない（ステップＳ２２）、各顔の代表視差の算出を行なう（ステップＳ２３）。

次いで、撮影画像についてのモード種別の取得を行なう（ステップＳ２４）。このモード種別とは、立体視用画像を生成するための画像が、人物のみを主体として撮影されたものか風景まで含めた全体が撮影されたものかを判断するための情報であって、撮影を行なったカメラにおいて、撮影を行なった際の撮影モード（例えば人物／風景）の情報を画像のデータに添付するようにしてもよいし、本発明の画像処理装置において、ユーザに手動入力により選択させるようにしてもよい。

そして、モード種別の判定を行い（ステップＳ２５）、風景を含むモードである場合には、図１８に示すように、各画素を距離順に並べたとき、手前から奥に向けて１：２に内分する点Ｂが頂点となる立体感評価関数Ｆ２に基づいて各顔毎に立体感評価値ｒを決定し（ステップＳ２６）、立体感評価値ｒが最も高い顔を最も優先順位の高い顔として主要被写体を決定する（ステップＳ２７）。また、人物のみを主体としたモードである場合には、図６に示すように、複数の顔を距離順に並べたとき、手前から奥に向けて１：２に内分する点Ａが頂点となる立体感評価関数Ｆ１に基づいて各顔毎に立体感評価値ｒを決定し（ステップＳ２９）、立体感評価値ｒが最も高い顔を最も優先順位の高い顔として主要被写体を決定する（ステップＳ２７）。

ここで、立体感評価値ｒの調整を行なわない場合には、立体感評価値ｒが最も高い顔２が主要被写体として決定されるのだが、上記第１および第２の実施の形態と同様に、各種の条件に基づいて各顔毎の立体感評価値ｒの調整を行なうようにしてもよい。

次いで、上記のように決定した主要被写体の視差が最も小さくなるように複数の画像に対して３次元処理を行って立体視用画像を生成し（ステップＳ２８）、最後に上記の様にして生成した立体視用画像をＬＣＤ２上に表示して処理を終了する。

上記の構成とすることにより、画像の内容に応じて最適な処理を選択できるため、より適切な立体視用画像を得ることができる。

また、上記第１および第２の実施の形態による画像処理装置１を、複数の撮影部を備えた複眼撮影装置に適用してもよい。この場合、撮影により取得した複数の画像を直ちに表示して、立体感の調整を行って記録メディア４に記録することが可能となる。

以上、本発明の実施の形態に係る装置１０について説明したが、コンピュータを、画像処理部２５、記録制御部２１および表示制御部２６に対応する手段として機能させ、図３、図１６および図１９に示すような処理を行わせるプログラムも、本発明の実施の形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施の形態の１つである。

１ 画像処理装置
２ ＬＣＤ
３ 操作ボタン
４ 記録メディア
５ スロット
２１ 記録制御部
２５ 画像処理部
２６ 表示制御部

Claims (14)

1. 複数の顔が撮影された、視点が異なる複数の画像に対して立体視表示のための３次元処理を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理装置であって、
   前記画像中の顔を検出する顔検出手段と、
   各顔毎に、前記複数の画像間の視差量に基づいて奥行き方向の距離を算出する距離算出手段と、
   前記複数の顔を前記距離順に並べたとき、中間距離にある顔を最も優先順位の高い顔として、主要被写体を決定する主要被写体決定手段と、
   前記主要被写体の視差が最も小さくなるように、前記複数の画像に対して前記３次元処理を行って立体視用画像を生成する３次元処理手段とを備えたことを特徴とする画像処理装置。
2. 前記中間距離にある顔が、前記複数の顔を前記距離順に並べたとき、手前から奥に向けて１：２に内分する点に最も近い顔であることを特徴とする請求項１記載の画像処理装置。
3. 前記主要被写体決定手段が、前記画像中において顔が２つ検出された場合に、該２つの顔を前記距離順に並べたとき、手前側の顔を前記主要被写体として決定するものであることを特徴とする請求項１または２記載の画像処理装置。
4. 前記主要被写体決定手段が、前記優先順位を調整する優先順位調整手段を備えたものであることを特徴とする請求項１から３のいずれか１項記載の画像処理装置。
5. 前記優先順位調整手段が、前記表示手段の特性、各顔の信頼度、各顔の大きさ、各顔の表情、各顔の下部領域の色、各顔の下部領域の所定範囲内における肌色の割合の少なくとも１つに基づいて前記優先順位を調整するものであることを特徴とする請求項４記載の画像処理装置。
6. 複数の顔が撮影された、視点が異なる複数の画像に対して立体視表示のための３次元処理を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理装置であって、
   前記画像中の顔を検出する顔検出手段と、
   前記画像の各画素毎に、前記複数の画像間の視差量に基づいて奥行き方向の距離を算出する距離算出手段と、
   前記各画素を前記距離順に並べたとき、中間距離にある画素に最も近い顔を最も優先順位の高い顔として、主要被写体を決定する主要被写体決定手段と、
   前記主要被写体の視差が最も小さくなるように、前記複数の画像に対して前記３次元処理を行って立体視用画像を生成する３次元処理手段とを備えたことを特徴とする画像処理装置。
7. 前記中間距離にある画素が、前記各画素を前記距離順に並べたとき、手前から奥に向けて１：２に内分する点の画素であることを特徴とする請求項５記載の画像処理装置。
8. 前記主要被写体決定手段が、前記画像中において顔が２つ検出された場合に、該２つの顔を前記距離順に並べたとき、手前側の顔を前記主要被写体として決定するものであることを特徴とする請求項６または７記載の画像処理装置。
9. 前記主要被写体決定手段が、前記優先順位を調整する優先順位調整手段を備えたものであることを特徴とする請求項６から８のいずれか１項記載の画像処理装置。
10. 前記優先順位調整手段が、前記表示手段の特性、各顔の信頼度、各顔の大きさ、各顔の表情、各顔の下部領域の色、各顔の下部領域の所定範囲内における肌色の割合の少なくとも１つに基づいて前記優先順位を調整するものであることを特徴とする請求項９記載の画像処理装置。
11. 複数の顔が撮影された、視点が異なる複数の画像に対して立体視表示のための３次元処理を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理方法であって、
    前記画像中の顔を検出し、
    各顔毎に、前記複数の画像間の視差量に基づいて奥行き方向の距離を算出し、
    前記複数の顔を前記距離順に並べたとき、中間距離にある顔を最も優先順位の高い顔として、主要被写体を決定し、
    前記主要被写体の視差が最も小さくなるように、前記複数の画像に対して前記３次元処理を行って立体視用画像を生成することを特徴とする画像処理方法。
12. 複数の顔が撮影された、視点が異なる複数の画像に対して立体視表示のための３次元処理を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理方法であって、
    前記画像中の顔を検出し、
    前記画像の各画素毎に、前記複数の画像間の視差量に基づいて奥行き方向の距離を算出し、
    前記各画素を前記距離順に並べたとき、中間距離にある画素に最も近い顔を最も優先順位の高い顔として、主要被写体を決定し、
    前記主要被写体の視差が最も小さくなるように、前記複数の画像に対して前記３次元処理を行って立体視用画像を生成することを特徴とする画像処理方法。
13. 請求項１１に記載の画像処理方法をコンピュータに実行させるためのプログラム。
14. 請求項１２に記載の画像処理方法をコンピュータに実行させるためのプログラム。