JP5464129B2 - 画像処理装置および視差情報生成装置 - Google Patents

Description

本発明は、画像処理技術に関する。

近年、３次元の立体画像を視認可能な３次元テレビの普及が進んでいる。しかし、ハード面での普及が進む一方で、立体表示可能なソフト（コンテンツ）の量は依然として少ないため、立体画像を容易に作成可能な技術が望まれている。

立体画像を作成する手法としては、例えば、１枚の２次元画像から視差情報を推定し立体画像を生成する手法が存在する（例えば、特許文献１）。

特開２０００−２６１８２８号公報

しかし、１枚の２次元画像から視差情報を推定して立体画像を作成する手法では、得られる視差情報は、あくまで推定された情報であるため、視認性の良い立体画像を生成できない可能性がある。

そこで、例えば、２台のカメラによってステレオ撮影された２枚の画像相互間で対応点探索を行い、画像内の領域において視差情報を取得し、当該視差情報を推定された視差情報に与えることによって、視認性の良い立体画像を生成することが考えられるが、この手法では、画像内の全領域において視差情報を取得することになり、処理量が膨大となる。

そこで、本発明は、立体画像の生成に用いる視差情報の取得に要する処理量を減らしつつ、視認性の良い立体画像を生成することが可能な技術を提供することを目的とする。

上記の課題を解決するため、請求項１の発明は、画像処理装置であって、１組のステレオ画像を構成する第１画像および第２画像を取得する画像取得手段と、前記第１画像に含まれる被写体の奥行きを推定して、前記第１画像内の領域ごとに推定視差情報を取得する推定手段と、前記推定視差情報を変更するか否かを判定し、変更対象の推定視差情報を含む前記第１画像内の領域を変更対象領域として決定する決定手段と、前記第１画像および前記第２画像の相互間において、前記変更対象領域に含まれる被写体上の対応点を特定して被写体の視差を示す計測視差情報を取得する視差測定手段と、前記推定手段によって取得された推定視差情報のうち、前記変更対象領域の推定視差情報を、前記視差測定手段によって取得される前記変更対象領域の前記計測視差情報に変更して、基準視差情報を生成する基準視差生成手段と、前記基準視差情報に基づいて立体画像を生成する画像生成手段とを備える。

また、請求項２の発明は、請求項１の発明に係る画像処理装置において、前記決定手段は、前記推定視差情報の信頼性に基づいて、前記変更対象領域を決定する。

また、請求項３の発明は、請求項１または請求項２の発明に係る画像処理装置において、前記推定手段は、前記第１画像における背景領域と非背景領域とを特定して、前記非背景領域の前記背景領域に対する相対動きベクトルを算出する手段と、当該相対動きベクトルの大きさに基づいて、前記被写体の奥行きを推定して、前記非背景領域ごとの前記推定視差情報を取得する手段とを有し、前記決定手段では、前記相対動きベクトルの大きさに基づいて、前記推定視差情報を変更するか否かが判定される。

また、請求項４の発明は、請求項１または請求項２の発明に係る画像処理装置において、前記推定手段は、前記第１画像に含まれる各画素の画素情報に基づいて、前記被写体の奥行きを推定して、前記推定視差情報を取得し、前記決定手段では、前記第１画像に含まれる各画素の輝度値に基づいて、前記推定視差情報を変更するか否かが判定される。

また、請求項５の発明は、請求項１または請求項２の発明に係る画像処理装置において、前記推定手段は、基本となるシーン構造を表現した複数の基本奥行きモデルを、前記第１画像に含まれる各画素の画素情報に基づいて得られる合成比率で合成して、合成基本モデルを生成する手段と、当該合成基本モデルを用いて、前記被写体の奥行きを推定して、前記推定視差情報を取得する手段とを有し、前記決定手段では、前記合成比率に基づいて、前記推定視差情報を変更するか否かが判定される。

また、請求項６の発明は、請求項１から請求項５のいずれかの発明に係る画像処理装置において、前記基準視差生成手段は、前記変更対象領域の計測視差情報に応じた視差値と、当該変更対象領域周辺の推定視差情報に応じた視差値との差が所定値より大きかった場合は、視差値の差が前記所定値以内となるように前記変更対象領域の計測視差情報を補正する。

また、請求項７の発明は、請求項１から請求項５のいずれかの発明に係る画像処理装置において、前記基準視差生成手段は、前記変更対象領域の計測視差情報に応じた視差値と、当該変更対象領域周辺の推定視差情報に応じた視差値との差が所定値より大きかった場合は、視差値の差が前記所定値以内となるように前記変更対象領域周辺の推定視差情報を補正する。

また、請求項８の発明は、請求項１から請求項７のいずれかの発明に係る画像処理装置において、時系列で取得される前記第１画像において、シーンの切り替わりを検出する手段、をさらに備え、前記基準視差生成手段は、シーンの切り替わりが検出されたときは、切り替わる前の立体画像の生成に用いられた基準視差情報を用いて、切り替わった後の基準視差情報を補正する。

また、請求項９の発明は、請求項１から請求項８のいずれかの発明に係る画像処理装置において、前記視差測定手段は、前記変更対象領域内の全画素に対して前記対応点の特定を行う。

また、請求項１０の発明は、請求項１から請求項８のいずれかの発明に係る画像処理装置において、前記推定視差情報に基づいて、前記変更対象領域内の共通領域をグループ化するグループ化手段、をさらに備え、前記視差測定手段は、前記共通領域内の代表画素に対して前記対応点の特定を行う。

また、請求項１１の発明は、請求項１から請求項１０のいずれかの発明に係る画像処理装置において、前記第１画像における被写体領域相互の境界線を抽出する抽出手段、をさらに備え、前記決定手段は、前記境界線が閉曲線を形成している場合、当該閉曲線によって囲まれる領域の内部領域を前記変更対象領域として決定する。

また、請求項１２の発明は、請求項１から請求項１１のいずれかの発明に係る画像処理装置において、前記第１画像における被写体から顔領域を検出する顔領域検出手段、をさらに備え、前記決定手段は、前記顔領域を前記変更対象領域として決定する。

また、請求項１３の発明は、視差情報生成装置であって、１組のステレオ画像を構成する第１画像および第２画像を取得する画像取得手段と、前記第１画像に含まれる被写体の奥行きを推定して、前記第１画像内の領域ごとに推定視差情報を取得する推定手段と、前記推定視差情報を変更するか否かを判定し、変更対象の推定視差情報を含む前記第１画像内の領域を変更対象領域として決定する決定手段と、前記第１画像および前記第２画像の相互間において、前記変更対象領域に含まれる被写体上の対応点を特定して被写体の視差を示す計測視差情報を取得する視差測定手段と、前記推定手段によって取得された推定視差情報のうち、前記変更対象領域の推定視差情報を、前記視差測定手段によって取得される前記変更対象領域の前記計測視差情報に変更して、基準視差情報を生成する基準視差生成手段とを備える。

本発明によれば、立体画像の生成に用いる基準視差情報の取得に要する処理量を減らしつつ、視認性の良い立体画像を生成することが可能になる。

本発明の第１実施形態に係る撮像装置の外観構成を示す図である。 本発明の第１実施形態に係る撮像装置の外観構成を示す図である。 撮像装置によって取得された２枚の画像を示す図である。 撮像装置の内部構成を示す図である。 撮像装置の機能ブロック図である。 立体画像が生成される様子を示す図である。 立体画像が生成される様子を示す図である。 撮像装置の動作に関するフローチャートである。 合成視差情報の生成処理を説明するための図である。 合成視差情報の生成処理を説明するための図である。 画像を構成する画素を分割して、サブピクセルを設定する様子を示す図である。

以下、本発明の各実施形態について図面を参照して説明する。

＜１．第１実施形態＞
［１−１．外観構成］
図１および図２は、本発明の第１実施形態に係る撮像装置１Ａの外観構成を示す図である。図３は、撮像装置１Ａによって取得された２枚の画像を示す図である。

図１に示されるように、撮像装置１Ａは、互いに基線長Ｌ分だけ離れて配置された主撮像部ＭＣと副撮像部（補助撮像部）ＳＣとを有している。このように、２つの撮像部ＭＣ，ＳＣを有する撮像装置１Ａは、被写体をステレオ撮影するステレオカメラとして機能する。

主撮像部ＭＣおよび副撮像部ＳＣからは、同じ精度の画像が取得される態様であってもよく、異なる精度の画像が取得される態様であってもよい。ここでは、主撮像部ＭＣとして、ハイビジョン放送対応レンズ（ＨＤＴＶレンズ）を有した比較的高解像度の画像を取得可能なカメラユニットを用いるとともに、副撮像部ＳＣとして、比較的低解像度の画像を取得するマイクロカメラユニット（ＭＣＵ）を用いる場合について例示する。

このような撮像部ＭＣ，ＳＣを有する撮像装置１Ａからは、例えば、図３に示されるような２枚の画像（「ステレオ画像」とも称する）ＭＧ，ＳＧが取得されることになる。２つの撮像部ＭＣ，ＳＣは、同じ被写体（主被写体ＰＳおよび背景ＢＧ）を撮像しているが、副撮像部ＳＣの光軸は、基線長Ｌ分だけ主撮像部ＭＣの光軸から離れているので、副撮像部ＳＣで得られた画像（「参照画像」または「サブ画像」とも称する）ＳＧと主撮像部ＭＣで得られた画像（「基準画像」または「メイン画像」とも称する）ＭＧとの間には視差に伴う差が生じる。

撮像装置１Ａでは、２枚の画像ＭＧ，ＳＧのうちの一方の画像（ここでは、主撮像部ＭＣで得られた基準画像ＭＧ）を用いて視差を推定する。そして、推定された視差の信頼性が低いときは、２つの撮像部ＭＣ，ＳＣそれぞれによって、同じタイミングで異なる視点から撮影される２枚の画像ＭＧ，ＳＧを用いて視差を測定し、信頼性の低い推定された視差を補正する。

なお、撮像装置１Ａにおいては、主撮像部ＭＣおよび副撮像部ＳＣの配列方向は、図１のように、水平面に対して垂直な方向（「縦方向」とも称する）であってもよく、図２のように、水平面に対して平行な方向（「横方向」とも称する）であってよい。２つの撮像部ＭＣ，ＳＣを縦方向に配列することによれば、従来のカムコーダと同様、コンパクトな構成とすることができる。

［１−２．内部構成］
次に、撮像装置１Ａの内部構成について説明する。図４は、撮像装置１Ａの内部構成を示す図である。

図４に示されるように、撮像装置１Ａは、２つの撮像部ＭＣ，ＳＣと、画像処理部３と、液晶ディスプレイ等で構成される表示部４と、ボタン等の操作部５とを有している。

主撮像部ＭＣおよび副撮像部ＳＣは、ＣＣＤまたはＣＭＯＳ等の撮像素子を有し、同一の被写体に関する２つの画像信号（ここでは「画像」と略称している）を生成する。主撮像部ＭＣおよび副撮像部ＳＣからの出力された画像および撮影条件を含むデータは、データ線ＬＮを介して画像処理部３に入力される。

画像処理部３は、２つの撮像部ＭＣ，ＳＣからのデータを受信するインターフェース(Ｉ／Ｆ)３１と記憶装置３２と全体制御部３３とを備える。

記憶装置３２は、例えばメモリカード等で構成され、２つの撮像部ＭＣ，ＳＣによって取得された基準画像ＭＧおよび参照画像ＳＧを記憶する。

全体制御部３３は、プロセッサとして働くＣＰＵ３４と、情報を一時的に記憶するＲＡＭ３５と、プログラム等を記憶するＲＯＭ３６とを有し、撮像装置１Ａの各部を統括的に制御する。全体制御部３３は、ＲＯＭ３６内のプログラムを読み出してＣＰＵ３４で実行することによって、各種機能を実現する。

次に、撮像装置１Ａで実現される機能について説明する。図５は、撮像装置１Ａの機能ブロック図である。図６および図７は、立体画像が生成される様子を示す図である。

図５における、撮影情報取得部１１、視差推定部１２、判定部１３、視差測定部１４、視差情報生成部１５、および立体画像生成部１６は、全体制御部３３においてプログラムを実行することによって実現される機能を機能ブロックとして表したものである。

撮影情報取得部１１は、主撮像部ＭＣおよび副撮像部ＳＣからステレオ画像（基準画像および参照画像）および撮影倍率等の撮影条件を含むデータを取得する。そして、撮影情報取得部１１は、基準画像を視差推定部１２に出力し、参照画像を視差測定部１４に出力する。

視差推定部１２は、撮影情報取得部１１から出力された基準画像に基づいて、基準画像内の被写体の奥行きを推定して、奥行きに関する情報（奥行き情報）を取得する。そして、取得された奥行き情報に応じた視差に関する情報（「推定視差情報」とも称する）を取得する。

奥行き情報の取得手法としては、例えば、２次元画像（ここでは基準画像）における背景領域と非背景領域とを特定して、背景領域に関する動きベクトル（「背景動きベクトル」とも称する）と、背景領域以外の領域（非背景領域）に関する動きベクトル（「非背景動きベクトル」とも称する）とを抽出し、２つの動きベクトルを用いて２次元画像における奥行き情報を推定する手法を採用することができる。当該手法では、非背景動きベクトルから背景動きベクトルを減算することによって、非背景領域の背景領域に対する相対的な動きベクトル（「相対動きベクトル」とも称する）が算出され、当該相対動きベクトルのスカラー量が取得される。そして、スカラー量の大きい方の被写体を近景（手前）、小さい方の被写体を遠景（奥）とする規則に基づいて、２次元画像に含まれる被写体の前後関係を特定することによって、奥行き情報が取得される。

なお、奥行き情報は、２次元画像を構成する画素ごとに取得されることになる。具体的には、奥行き情報は、２次元画像における、非背景領域および背景領域ごとに取得されるが、２次元画像を構成する画素ごとの情報として扱われる。すなわち、同一の被写体領域に含まれる各画素には、当該被写体領域の奥行き情報が一様に与えられることになる。

このような相対動きベクトルを用いて、２次元画像における奥行き情報を推定する手法は、例えば、特開２０００−２６１８２８号公報に開示されている。なお、非背景動きベクトルおよび背景動きベクトルは、時系列の異なる前後の画像を比較して得られるものであることから、相対動きベクトルを用いて奥行き情報を取得する手法は、時系列情報に基づいて奥行き情報を取得する手法とも表現することができる。

なお、奥行き情報から推定視差情報への変換は、例えば、予め撮像装置１Ａに格納されている、奥行きと視差との関係を示すテーブルを用いて行うことができ、推定視差情報は、２次元画像を構成する画素ごとに特定される。

判定部１３は、視差推定部１２において取得された推定視差情報の信頼性を判定し、信頼性の低い推定視差情報を有する画素を特定する。例えば、視差推定部１２において、奥行き情報が上述のように相対動きベクトルを用いて取得されていた場合、移動量の少ない被写体については、奥行きの推定が精度良く行われていない可能性が高い。このため、判定部１３は、相対動きベクトルのスカラー量が小さい被写体に関する奥行き情報に基づいて取得された推定視差情報については、情報の信頼性が低いと判定する。

判定部１３による信頼性の判定は、例えば、相対動きベクトルのスカラー量と信頼性の基準を示す所定の閾値との比較によって行うことができる。すなわち、判定部１３は、相対動きベクトルのスカラー量が上記所定の閾値より大きい場合、推定視差情報の信頼性は高いと判定し、相対動きベクトルのスカラー量が上記所定の閾値以下の場合、推定視差情報の信頼性は低いと判定する。

またさらに、判定部１３による信頼性の判定は、基準画像の画素ごとに行われる。具体的には、判定部１３は、各画素に与えられた推定視差情報それぞれについて信頼性の判定を行い、信頼性の低い推定視差情報を有する画素によって構成される領域と、信頼性の高い推定視差情報を有する画素によって構成される領域とを特定する。そして、判定部１３は、基準画像ＭＧにおいて、信頼性の低い推定視差情報を有する画素によって構成される領域を視差情報の変更対象領域（修正対象領域）として、視差測定部１４および視差情報生成部１５に出力する。このように、判定部１３は、変更対象の推定視差情報を含む基準画像ＭＧ内の領域を変更対象領域として決定する決定手段としても機能する。

視差測定部１４は、推定視差情報に関する判定結果に応じて、ステレオ画像を用いて視差を測定し、視差に関する情報（「計測視差情報」とも称する）を取得する。具体的には、視差測定部１４は、基準画像ＭＧおよび参照画像ＳＧの相互間において、被写体上の対応点を特定して、対応点間の距離、すなわち対応点における被写体の視差を測定する。

このような視差の測定は、変更対象領域に含まれる画素、つまり推定視差情報の信頼性が低いと判定された画素（注目画素）それぞれについて行われ、ここでは、参照画像ＳＧ上において、基準画像ＭＧの注目画素に対応する点が特定されることになる。

視差情報生成部（基準視差生成部）１５は、視差推定部１２において奥行き情報に基づいて得られた推定視差情報と、視差測定部１４によって取得された計測視差情報とを合成することによって、合成視差情報（「基準視差情報」または「変更視差情報」とも称する）を生成する。具体的には、視差情報生成部１５は、視差推定部１２において奥行き情報に基づいて得られた推定視差情報を基準として用い、変更対象領域における推定視差情報を計測視差情報で置き換えて、合成視差情報を生成する。

また、視差情報生成部１５は、変更対象領域の推定視差情報を計測視差情報へ置換（変更）する際に、推定視差情報或いは計測視差情報を補正して、置換により生じる視差情報の不連続性を緩和する。詳細は、後述する。

立体画像生成部１６は、視差情報生成部１５で生成された合成視差情報に基づいて、基準画像をずらすことによって、立体画像を生成する。立体画像の生成手法としては、例えば、立体画像を構成する左目用画像および右目用画像のうち、どちらか一方の画像として基準画像ＭＧを用い、他方の画像を新たに生成する手法を採用することができる。

当該手法では、図６に示されるように、例えば、基準画像ＭＧ１を左目用画像ＬＧ１としてそのまま用いた場合、立体画像生成部１６は、合成視差情報に従って、基準画像ＭＧ１を水平方向（矢印ＹＰの方向）に視差の値分ずらすことによって右目用画像ＲＧ１を生成する。左目用画像および右目用画像のうち、一方の画像として基準画像ＭＧを用いることによれば、新たに生成する画像を１つにすることができるので、立体画像の生成処理を軽減することができる。

また、立体画像の生成手法としては、例えば、左目用画像および右目用画像の両方の画像を新たに生成する手法を採用してもよい。当該手法では、図７に示されるように、基準画像ＭＧ１を水平方向に視差の値の半分ずつずらすことによって、左目用画像ＬＧ２および右目用画像ＲＧ２が生成される。当該手法によれば、基準画像ＭＧ１のずらし量を減らすことができるので、左目用画像および右目用画像においてオクルージョン領域を減らすことができ、より違和感のない立体画像を生成することができる。

［１−３．動作］
次に、撮像装置１Ａの動作について説明する。図８は、撮像装置１Ａの動作に関するフローチャートである。図９および図１０は、合成視差情報の生成処理を説明するための図である。

図８に示されるように、まず、ステップＳＰ１１では、撮影情報取得部１１が主撮像部ＭＣおよび副撮像部ＳＣから、ステレオ画像を取得する。

次のステップＳＰ１２では、視差推定部１２によって、ステレオ画像に含まれる基準画像ＭＧを用いて推定視差情報が取得される。

ステップＳＰ１３では、判定部１３によって、推定視差情報の信頼性が判定され、信頼性の低い推定視差情報を有する画素によって構成される変更対象領域が特定される。なお、判定部１３は、推定視差情報の信頼性についての判定結果に応じて、変更対象とする推定視差情報を特定することから、判定部１３は、推定視差情報の変更を行うか否かを判定しているとも表現することができる。

ステップＳＰ１４では、視差測定部１４によって、基準画像ＭＧおよび参照画像ＳＧを用いた視差測定が行われ、変更対象領域に含まれる各画素について、計測視差情報が取得される。上述のように、視差測定は、基準画像ＭＧ上の注目点（ここでは注目画素）に対応する参照画像ＳＧ上の点（対応点）を特定して行われるが、対応点の特定処理（探索処理）には、種々の手法を採用することができる。詳細は、後述する。

ステップＳＰ１５では、視差情報生成部１５によって、信頼性の低い推定視差情報を有する変更対象領域の推定視差情報が計測視差情報に置換される。

そして、ステップＳＰ１６では、視差情報生成部１５によって、計測視差情報が補正される。計測視差情報の補正は、置換した変更対象領域内の計測視差情報と、変更対象領域周辺の推定視差情報との差が大きい場合に実行される。

具体的には、図９に示される基準画像ＭＧ１において、主被写体ＰＳ１に関する領域が、変更対象領域ＤＲとして特定された場合を例にして説明する。この場合において、変更対象領域ＤＲ内の推定視差情報が計測視差情報に置換され（ステップＳＰ１５）、図９の基準画像ＭＧ１を横切る一点鎖線ＨＬにおける視差の値が、図１０の様になったとする。

この状況において、ステップＳＰ１６では、置換した変更対象領域ＤＲ内の計測視差情報によって示される視差の値「ＲＡ１」と、変更対象領域周辺の推定視差情報によって示される視差の値「ＲＡ２」との差ＶＤが所定値より大きかった場合、視差値の差ＶＤが所定値以内となるように、置換された計測視差情報に応じた視差の値を減らす補正が行われる。

このように、置換された計測視差情報を補正することによれば、置換により生じる視差情報の不連続性を緩和することができるので、立体画像を視認する視認者の立体画像に対する違和感を抑制することが可能になる。

なお、ここでは、置換された計測視差情報を補正する場合を例示したが、変更対象領域周辺の推定視差情報を補正するようにしてもよい。すなわち、視差値の差ＶＤが所定値より大きかった場合、視差値の差ＶＤが所定値以内となるように、変更対象領域周辺の推定視差情報に応じた視差の値を増やす補正を行ってもよい。

また、ステップＳＰ１６では、視差値の差ＶＤが所定値より大きい場合、推定視差情報と計測視差情報との視差量のずれを吸収するように、接続部分を滑らかにする処理を行ってもよい。接続部分を滑らかにする処理としては、例えば、平滑化処理、量子化処理等を採用することができる。

次のステップＳＰ１７（図８）では、立体画像生成部１６によって、合成視差情報に基づいて、基準画像から立体画像が生成される。生成された立体画像は、撮像装置１Ａの表示部４において表示される。また、撮像装置１Ａは、生成した立体画像を外部に出力してもよい。

［１−４．対応点探索処理］
ここで、ステップＳＰ１４において視差測定の際に実行される対応点の探索処理について説明する。図１１は、画像を構成する画素を分割して、サブピクセルを設定する様子を示す図である。なお、図１１には、画像内の１つの画素ＮＰを横方向に３分割して、単位画素あたり、３つのサブピクセルＢＰを設定する様子が示されている。

なお、上述のように、本実施形態の撮像装置１Ａでは、主撮像部ＭＣおよび副撮像部ＳＣからは、異なる精度の画像が取得される態様であるため、一般的な対応点探索を実施するだけでは、正確に対応点を特定できない可能性が高い。そこで、撮像装置１Ａでは、対応点の特定を精度良く行うために、対応点の探索数を増やして対応点探索処理を実行する。詳細は、後述する。

対応点の探索手法としては、例えば、基準画像ＭＧにおいて探索窓（ウインドウ）を設定し、当該探索窓に対応する参照画像ＳＧ上の領域を求めることによって、対応点を特定する手法を採用することができる。

具体的には、基準画像ＭＧにおいて、変更対象領域に含まれる１の画素を注目点とし、当該注目点を中心とする探索窓（ウインドウ）を設定し、当該探索窓を参照画像ＳＧ上でシフトさせつつ、相関値を算出する。そして、当該相関値に基づいて、参照画像ＳＧ上での探索窓の対応位置を取得し、探索窓の注目点に対する参照画像ＳＧ上の対応点を特定する。このような対応点の特定は、変更対象領域に含まれる各画素について行われる。

なお、相関値の算出方法としては、例えば、ＳＡＤ（Sum of Absolute Difference）法、ＳＳＤ(Sum of Squared intensity Difference)法（２乗残差法）、ＮＣＣ（Normalized cross Correlation）法（正規化相互相関法）等の比較する画像間の画素の輝度値を用いて相関値を算出する方法を用いてもよい。また、相関値の算出方法として、例えば、位相限定相関法（ＰＯＣ法）、位相差解析法（ＰＳＡ法）等の比較する画像間の位相情報を用いて相関値を算出する方法を用いてもよい。

また、上記では、対応点の特定は、変更対象領域に含まれる各画素（全画素）について行われる態様としていたが、これに限定されず、対応点の特定を変更対象領域に含まれる代表的な画素（代表画素）について行う態様としてもよい。

また、対応点の特定を変更対象領域内の全画素に対して行うか、代表画素に対して行うかを状況に応じて選択するようにしてもよい。

具体的には、基準画像ＭＧを取得する主撮像部ＭＣがズーム撮影機能を有している場合において、基準画像ＭＧがズーム撮影機能を利用して撮影されたときは、ユーザ（使用者）は、被写体の形状を精度良く表した立体画像の生成を希望していると考えられる。よって、基準画像ＭＧがズーム撮影機能を利用して撮影されたときは、視差測定の計測点数を増やすために、対応点の特定を変更対象領域内の全画素に対して行い、ズーム撮影機能を利用していないときは、対応点の特定を代表画素に対して行うようにする。

また、撮影モードが人物撮影モードに設定されていた場合、および基準画像ＭＧから人の顔が検出された場合等、人物が撮影されたと考えられる場合は、被写体としての人物の形状を精度良く表した立体画像が生成されることが好ましいと考えられる。よって、被写体が人物であると考えられる場合は、対応点の特定を変更対象領域内の全画素に対して行い、被写体が人物であると考えられない場合は、対応点の特定を代表画素に対して行うようにする。

また、撮影モードが風景撮影モードに設定されていた場合等、風景などを撮影する場合は、撮影画像内の被写体物の位置関係等の構成が正確に算出されればよく、被写体物の形状に関する精度は要求されない。このため、風景などを撮影する場合は、変更対象領域において共通領域をグループ化するグルーピング処理を行い、グループ化された領域内の代表画素に対して対応点の特定を行うようにし、風景などを撮影しない場合は、対応点の特定を変更対象領域内の全画素に対して行うようにする。

また、主撮像部ＭＣがズーム撮影機能を有している場合において、ズーム撮影機能を利用して基準画像ＭＧを撮影したとき等、基準画像ＭＧと参照画像ＳＧとでは、画像内の隣接する画素間の被写体像の位置が大幅に異なるため、精度の良い対応点の探索が困難となり得る。

このため、撮像装置１Ａでは、基準画像ＭＧおよび参照画像ＳＧのうち、どちらかの画像における各画素をサブピクセルに分割して（図１１参照）、対応点の特定が行われる。

例えば、図３のような画像ＭＧ，ＳＧが取得された場合、参照画像ＳＧにおいて、基準画像ＭＧと同じ領域を切り出すと、切り出された画像は、基準画像ＭＧに比べて大幅に解像度の少ない画像となる。

そこで、このような場合において、基準画像ＭＧを基準にして参照画像ＳＧに対して対応点探索を実施するときは、参照画像ＳＧにおける画素をサブピクセルに分割してサブピクセル単位で対応点探索を実施する。一方、参照画像ＳＧを基準にして基準画像ＭＧに対して対応点探索を実施するときは、参照画像ＳＧ上の計測点を増やすために、参照画像ＳＧの画素をサブピクセルに分割する。そして、参照画像ＳＧ上の注目点をサブピクセル単位で設定して、対応点探索数を増やして、対応点探索を実施する。

このように、画素をサブピクセルに分割して、対応点の特定処理を行うことによれば、対応点を精度良く特定することができ、ひいては、精度の高い計測視差情報を取得することが可能になる。

以上のように、撮像装置１Ａは、１組のステレオ画像を構成する基準画像ＭＧおよび参照画像ＳＧを取得する撮影情報取得部１１と、基準画像ＭＧに含まれる被写体の奥行きを推定して、基準画像ＭＧ内の領域ごとに推定視差情報を取得する視差推定部１２と、推定視差情報を変更するか否かを判定して、変更対象の推定視差情報を含む基準画像ＭＧ内の領域を変更対象領域として決定する判定部１３と、基準画像ＭＧおよび参照画像ＳＧの相互間において、変更対象領域に含まれる被写体上の対応点を特定して被写体の視差を示す計測視差情報を取得する視差測定部１４と、視差推定部１２によって取得された推定視差情報のうち、変更対象領域の推定視差情報を、視差測定部１４によって取得される変更対象領域の計測視差情報に変更して、基準視差情報を生成する視差情報生成部１５と、基準視差情報に基づいて立体画像を生成する立体画像生成部１６とを備える。

このような撮像装置１Ａによれば、１枚の基準画像ＭＧから取得される推定視差情報を利用して、立体画像の生成に用いる基準視差情報を生成するので、画像内の全領域においてステレオ画像を用いた対応点探索を行い、視差情報を生成する場合に比べて、基準視差情報の生成に要する処理量を減らすことが可能になる。

また、１枚の基準画像ＭＧから取得される推定視差情報のうち、変更対象領域の推定視差情報を信頼性の高い計測視差情報に変更するので、推定視差情報をそのまま立体画像の生成に用いる基準視差情報とする場合に比べて、信頼性の高い基準視差情報を生成することが可能となり、ひいては視認性の良い立体画像を生成することが可能になる。

なお、基準画像ＭＧ内の領域および変更対象領域には、１つの画素で構成される領域も含まれる。

また、上記撮像装置１Ａでは、２次元画像に画像処理を施すことにより、立体画像が生成されることから、撮像装置１Ａは画像処理装置であるとも表現することができる。また、撮像装置１Ａでは、推定視差情報と計測視差情報とを合成して、基準視差情報が生成されることから、撮像装置１Ａは視差情報生成装置とも表現できる。

＜２．第２実施形態＞
次に、本発明の第２実施形態について説明する。第２実施形態に係る撮像装置１Ｂでは、視差推定部１２における奥行き情報の取得手法、および判定部１３における推定視差情報の信頼性の判定手法が、第１実施形態の各手法とは異なる。なお、撮像装置１Ｂは、上記相違点以外は、撮像装置１Ａとほぼ同様の構造および機能（図１〜５参照）を有しており、共通する部分については同じ符号を付して説明を省略する。

具体的には、撮像装置１Ｂの視差推定部１２では、奥行き情報の取得手法として、例えば、２次元画像としての基準画像ＭＧにおける輝度信号の高周波成分を検出し、当該高周波成分を用いて推定視差情報を取得する手法が採用される。当該手法では、高周波成分の多い領域（被写体領域）を近景、高周波成分の少ない被写体領域を遠景とする規則に基づいて、基準画像ＭＧに含まれる被写体の前後関係を特定することによって、奥行き情報が取得される。

また、奥行き情報の取得手法として、例えば、基準画像ＭＧにおける各画素の輝度に基づいて、推定視差情報を取得する手法を採用してもよい。当該手法では、輝度値の高い被写体領域を近景、輝度値の低い被写体領域を遠景とする規則に基づいて、基準画像ＭＧに含まれる被写体の前後関係を特定することによって、奥行き情報が取得される。なお、画像における各画素の輝度に基づいて、推定視差情報を取得する手法は、例えば、特開２００６−３１９４６９において開示されている。

また、奥行き情報の取得手法として、例えば、基準画像ＭＧにおける各画素の色情報（例えば、彩度または明度）に基づいて、推定視差情報を取得する手法を採用してもよい。当該手法では、例えば、彩度の高い被写体領域を近景、彩度の低い被写体領域を遠景とする規則に基づいて、基準画像ＭＧに含まれる被写体の前後関係を特定することによって、奥行き情報が取得される。

このように、撮像装置１Ｂの視差推定部１２では、基準画像ＭＧに含まれる各画素の画素値の情報（「画素情報」とも称する）に基づいて、基準画像ＭＧにおける奥行き情報を推定して、推定視差情報が取得される。

撮像装置１Ｂの判定部１３では、視差推定部１２において採用された奥行き情報の取得手法に応じた手法で、推定視差情報の信頼性が判定される。

具体的には、視差推定部１２において、奥行き情報が基準画像ＭＧに含まれる各画素の画素情報に基づいて取得された場合、光の照射によって輝度が高くなった被写体、または陰によって輝度が低くなった被写体については、奥行きの推定が精度良く行われていない可能性が高い。

このため、判定部１３は、基準画像ＭＧにおいて高輝度の画素および低輝度の画素に関する推定視差情報については、信頼性が低いと判定する。より詳細には、判定部１３は、輝度値が第１の閾値よりも高い画素、および輝度値が第２の閾値（第２の閾値は、第１の閾値よりも小さい値）よりも低い画素を検出し、検出された高輝度の画素および低輝度の画素における推定視差情報については、いずれも情報の信頼性が低いと判定する。

＜３．第３実施形態＞
次に、本発明の第３実施形態について説明する。第３実施形態に係る撮像装置１Ｃでは、視差推定部１２における奥行き情報の取得手法、および判定部１３における推定視差情報の信頼性の判定手法が、第１実施形態の各手法とは異なる。なお、撮像装置１Ｃは、上記相違点以外は、撮像装置１Ａとほぼ同様の構造および機能（図１〜５参照）を有しており、共通する部分については同じ符号を付して説明を省略する。

具体的には、撮像装置１Ｃの視差推定部１２は、基本となる複数のシーン構造それぞれを表した複数の基本奥行きモデルを、基準画像ＭＧの画像情報に基づいて合成し、奥行き情報を取得する。より詳細には、視差推定部１２は、基本奥行きモデルを複数（例えば、３つ）用意し、基準画像ＭＧにおける輝度信号の高周波成分に基づいて取得される合成比率で、複数の基本奥行きモデルを合成して、合成基本奥行きモデルを生成する。そして、生成された合成基本奥行きモデルを用いて、奥行き情報を取得する。なお、このような複数の基本奥行きモデルを合成して、２次元画像における奥行き情報を推定する手法は、例えば、特開２００６−１８５０３３号公報に開示されている。

また、視差推定部１２において、複数の基本奥行きモデルを合成して奥行き情報を取得する手法が採用された場合、基本奥行きモデルの合成比率に偏りがないときは、基準画像ＭＧにおける被写体の構成が、いずれの基本奥行きモデルにも当てはまらなかったと考えられる。

このため、判定部１３は、基本奥行きモデルの合成比率に偏りがないときは、推定視差情報の信頼性は低いと判定し、基準画像ＭＧ全体を変更対象領域に設定する。なお、合成比率に偏りがあるか否かは、基本奥行きモデルそれぞれの合成比率間の差を算出して行われ、例えば、各合成比率間の差がいずれも所定範囲内（例えば５％以内）であれば、推定視差情報の信頼性は低いと判定される。

また、基本奥行きモデルの合成比率は、基準画像ＭＧに含まれる各画素の画素情報（ここでは、高周波成分）を用いて取得されるので、第２実施形態の判定部１３と同様、基準画像ＭＧにおいて高輝度の画素および低輝度の画素に関する推定視差情報については、信頼性が低いと判定するようにしてもよい。

＜４．変形例＞
以上、この発明の実施の形態について説明したが、この発明は、上記に説明した内容に限定されるものではない。

例えば、上記各実施形態の判定部１３に関する説明においては、推定視差情報の信頼性の判定手法について例示していたが、判定部１３が、変更対象とする推定視差情報を判定する機能部であるとの広い概念から見ると、判定部１３における判定手法として、例えば、下記のような各手法も採用することができる。

具体的には、基準画像ＭＧにおける異なる被写体領域相互の境界線（エッジ）を抽出し、当該境界線が閉曲線を形成している場合は、閉曲線によって囲まれる領域（閉領域）内の中心付近の領域（「内部領域」とも称する）に存在する画素の推定視差情報を変更対象とする視差情報として判定してもよい。なお、この場合、上記内部領域は、閉領域を形成する閉曲線から内側に向かって所定画素分の領域を、閉領域から除いた残りの領域として特定される。

被写体領域の境界では、遠近競合・オクルージョンの問題から対応点探索処理の精度が低下するため、被写体領域を形成する閉領域では、閉領域内の内部領域を変更対象領域とし、閉曲線周辺の領域を変更対象領域から除外することで、視差情報生成部１５によって生成される合成視差情報の信頼性を高めることができる。なお、上記閉領域には、抽出された被写体領域相互の境界線と、基準画像ＭＧの外枠とで形成される閉じた領域も含まれる。

また、判定部１３における判定手法として、例えば、基準画像ＭＧに対して顔領域を検出する処理を施し、顔領域が検出された場合は、当該顔領域を変更対象領域とする手法を採用することができる。画像中の顔領域は重要な領域であると想定されるので、顔領域の推定視差情報を、より信頼性の高い計測視差情報に変更することによれば、ユーザの意図に合致した立体画像を生成することが可能になる。

また、上記各実施形態では、視差推定部１２における奥行き情報の取得手法として、それぞれ異なる手法が用いられる場合を例示したが、これに限定されず、上記各手法を組み合わせて用いるようにしてもよい。また、この場合、判定部１３における判定手法は、組み合わされた奥行き情報の取得手法それぞれに応じた手法が採用されることになる。

また、上記各実施形態における立体画像生成部１６は、立体画像を表示する表示部（撮像装置１Ａ〜１Ｃの表示部４以外の外部の表示部を含む）の情報（表示部情報）をも加味して、立体画像を生成してもよい。具体的には、表示部の画面（表示画面）が大きい場合に、合成視差情報で示される視差の値分画像をずらして立体画像を生成すると、当該画面に表示された立体画像では立体感が過度に強調される可能があるので、表示画面の大きさに応じて画像のずらし量を調整してもよい。すなわち、立体画像生成部１６は、表示画面が大きい場合は、画像のずらし量を、合成視差情報で示される視差の値に相当するずらし量よりも少なく設定し、立体画像を生成する。これによれば、立体画像を出力表示する表示部情報を反映した立体画像を取得することが可能になる。

また、上記各実施形態における立体画像生成部１６は、合成視差情報で示される視差の値分ずらすことによって新たに生成された画像（視差画像）において、推定視差情報を計測視差情報に置き換えた変更対象領域と、変更対象領域以外の不変更領域との境界に相当する部分に対して、平滑化処理を施してもよい。これによれば、視差画像において、推定視差情報に基づくずらし量と計測視差情報に基づくずらし量との境界を滑らかにすることができる。

また、上記各実施形態における視差情報生成部１５は、シーン（場面）の切り替わりに応じて、合成視差情報を補正してもよい。具体的には、シーンの切り替わりが検出された場合は、視差情報生成部１５は、切り替わる前（例えば直前）の立体画像の生成に用いられた合成視差情報（旧合成視差情報）を用いて、切り替わった後（例えば直後）に新たに生成された合成視差情報（新合成視差情報）を補正する。新合成視差情報の補正手法としては、旧合成視差情報によって示される視差の値と新合成視差情報によって示される視差の値との差が所定値以上であった場合、所定値以内となるように、新合成視差情報を補正する手法を採用すればよい。

これによれば、シーンが切り替わった際の、急激な立体感の変化を軽減することができるので、視認者に与える違和感を抑制することができる。なお、シーンの切り替わりは、順次に取得される基準画像ＭＧ内の各画素の画素値の差分を算出して、画素値の変化を測定することにより検出することができる。

また、上記各実施形態の視差推定部１２は、基準画像ＭＧにおける被写体の奥行きを推定して、推定視差情報を取得していたが、これに限定されず、参照画像ＳＧについても推定視差情報を取得してもよい。

参照画像ＳＧについても推定視差情報を取得した場合、各機能部１３〜１６は、次のように動作する。

具体的には、判定部１３は、参照画像ＳＧに基づく推定視差情報についても、変更対象とする推定視差情報の判定を行う。そして、判定部１３は、基準画像ＭＧに基づく推定視差情報に関する変更対象領域（「第１変更対象領域」とも称する）と、参照画像ＳＧに基づく推定視差情報に関する変更対象領域（「第２変更対象領域」とも称する）とを特定する。

視差測定部１４は、第１変更対象領域に含まれる各画素について、計測視差情報を取得する。さらに、視差測定部１４は、第２変更対象領域に含まれる各画素の基準画像ＭＧ上での対応画素を特定し、当該対応画素が、第１変更対象領域に含まれているか否かを判定する。そして、視差測定部１４は、対応画素が第１変更対象領域に含まれていない場合は、当該対応画素を第１変更対象領域に含まれる画素とみなして、当該対応画素についても計測視差情報を取得する。

視差情報生成部１５は、第１変更対象領域に含まれる画素における推定視差情報を計測視差情報に置換することによって、合成視差情報を生成する。

このように、第２変更対象領域に含まれる画素の基準画像ＭＧ上での対応画素をも、第１変更対象領域の画素に加えて第１変更対象領域を拡張することによれば、さらに信頼性の高い合成視差情報を取得することが可能になる。

また、上記各実施形態では、撮像装置１Ａ〜１Ｃにおいて立体画像が生成される場合について例示したが、これに限定されない。具体的には、一般的なコンピュータによって構成される画像処理装置において、上記撮像装置１Ａ〜１Ｃの画像処理部３を実現してもよい。この場合、１組のステレオ画像は、画像処理装置としての当該コンピュータに対して、外部から入力されることになる。

１Ａ〜１Ｃ 撮像装置
３ 画像処理部
３３ 全体制御部
ＭＣ 主撮像部
ＳＣ 副撮像部
１１ 撮影情報取得部
１２ 視差推定部
１３ 判定部
１４ 視差測定部
１５ 視差情報生成部
１６ 立体画像生成部
ＭＧ，ＭＧ１ 基準画像
ＳＧ 参照画像
ＰＳ，ＰＳ１ 主被写体
ＢＧ 背景
ＤＲ 変更対象領域
ＬＧ１，ＬＧ２ 左目用画像
ＲＧ１，ＲＧ２ 右目用画像
ＢＰ サブピクセル

Claims (13)

1. １組のステレオ画像を構成する第１画像および第２画像を取得する画像取得手段と、
   前記第１画像に含まれる被写体の奥行きを推定して、前記第１画像内の領域ごとに推定視差情報を取得する推定手段と、
   前記推定視差情報を変更するか否かを判定し、変更対象の推定視差情報を含む前記第１画像内の領域を変更対象領域として決定する決定手段と、
   前記第１画像および前記第２画像の相互間において、前記変更対象領域に含まれる被写体上の対応点を特定して被写体の視差を示す計測視差情報を取得する視差測定手段と、
   前記推定手段によって取得された推定視差情報のうち、前記変更対象領域の推定視差情報を、前記視差測定手段によって取得される前記変更対象領域の前記計測視差情報に変更して、基準視差情報を生成する基準視差生成手段と、
   前記基準視差情報に基づいて立体画像を生成する画像生成手段と、
   を備える画像処理装置。
2. 前記決定手段は、前記推定視差情報の信頼性に基づいて、前記変更対象領域を決定する請求項１に記載の画像処理装置。
3. 前記推定手段は、
   前記第１画像における背景領域と非背景領域とを特定して、前記非背景領域の前記背景領域に対する相対動きベクトルを算出する手段と、
   当該相対動きベクトルの大きさに基づいて、前記被写体の奥行きを推定して、前記非背景領域ごとの前記推定視差情報を取得する手段と、
   を有し、
   前記決定手段では、前記相対動きベクトルの大きさに基づいて、前記推定視差情報を変更するか否かが判定される請求項１または請求項２に記載の画像処理装置。
4. 前記推定手段は、前記第１画像に含まれる各画素の画素情報に基づいて、前記被写体の奥行きを推定して、前記推定視差情報を取得し、
   前記決定手段では、前記第１画像に含まれる各画素の輝度値に基づいて、前記推定視差情報を変更するか否かが判定される請求項１または請求項２に記載の画像処理装置。
5. 前記推定手段は、
   基本となるシーン構造を表現した複数の基本奥行きモデルを、前記第１画像に含まれる各画素の画素情報に基づいて得られる合成比率で合成して、合成基本モデルを生成する手段と、
   当該合成基本モデルを用いて、前記被写体の奥行きを推定して、前記推定視差情報を取得する手段と、
   を有し、
   前記決定手段では、前記合成比率に基づいて、前記推定視差情報を変更するか否かが判定される請求項１または請求項２に記載の画像処理装置。
6. 前記基準視差生成手段は、前記変更対象領域の計測視差情報に応じた視差値と、当該変更対象領域周辺の推定視差情報に応じた視差値との差が所定値より大きかった場合は、視差値の差が前記所定値以内となるように前記変更対象領域の計測視差情報を補正する請求項１から請求項５のいずれかに記載の画像処理装置。
7. 前記基準視差生成手段は、前記変更対象領域の計測視差情報に応じた視差値と、当該変更対象領域周辺の推定視差情報に応じた視差値との差が所定値より大きかった場合は、視差値の差が前記所定値以内となるように前記変更対象領域周辺の推定視差情報を補正する請求項１から請求項５のいずれかに記載の画像処理装置。
8. 時系列で取得される前記第１画像において、シーンの切り替わりを検出する手段、
   をさらに備え、
   前記基準視差生成手段は、シーンの切り替わりが検出されたときは、切り替わる前の立体画像の生成に用いられた基準視差情報を用いて、切り替わった後の基準視差情報を補正する請求項１から請求項７のいずれかに記載の画像処理装置。
9. 前記視差測定手段は、前記変更対象領域内の全画素に対して前記対応点の特定を行う請求項１から請求項８のいずれかに記載の画像処理装置。
10. 前記推定視差情報に基づいて、前記変更対象領域内の共通領域をグループ化するグループ化手段、
    をさらに備え、
    前記視差測定手段は、前記共通領域内の代表画素に対して前記対応点の特定を行う請求項１から請求項８のいずれかに記載の画像処理装置。
11. 前記第１画像における被写体領域相互の境界線を抽出する抽出手段、
    をさらに備え、
    前記決定手段は、前記境界線が閉曲線を形成している場合、当該閉曲線によって囲まれる領域の内部領域を前記変更対象領域として決定する請求項１から請求項１０のいずれかに記載の画像処理装置。
12. 前記第１画像における被写体から顔領域を検出する顔領域検出手段、
    をさらに備え、
    前記決定手段は、前記顔領域を前記変更対象領域として決定する請求項１から請求項１１のいずれかに記載の画像処理装置。
13. １組のステレオ画像を構成する第１画像および第２画像を取得する画像取得手段と、
    前記第１画像に含まれる被写体の奥行きを推定して、前記第１画像内の領域ごとに推定視差情報を取得する推定手段と、
    前記推定視差情報を変更するか否かを判定し、変更対象の推定視差情報を含む前記第１画像内の領域を変更対象領域として決定する決定手段と、
    前記第１画像および前記第２画像の相互間において、前記変更対象領域に含まれる被写体上の対応点を特定して被写体の視差を示す計測視差情報を取得する視差測定手段と、
    前記推定手段によって取得された推定視差情報のうち、前記変更対象領域の推定視差情報を、前記視差測定手段によって取得される前記変更対象領域の前記計測視差情報に変更して、基準視差情報を生成する基準視差生成手段と、
    を備える視差情報生成装置。

Images