JP5178876B2 - 立体映像表示装置及び立体映像表示方法 - Google Patents

Description

本発明の実施形態は画像処理に関するものであって、特に立体画像を提供することが可能な立体映像処理装置及び立体映像処理方法に関する。

近年、画像表示技術の発達により、ユーザに立体画像を表示することが可能な立体画像処理システムが提案されている。ユーザに立体画像を認識させる立体画像処理方式の一つとして、シャッターメガネを用いた方式がある。この方式では、一つの表示装置に互いに視差を有する左目用画像と右目用画像とを交互に表示して、シャッターメガネの液晶シャッターの開閉を制御することによって、左目用画像をユーザの左目のみに見せ、右目用画像を右目のみに見せることで、ユーザに表示装置に表示されている画像を立体として認識させている。

このような立体映像表示装置では、映像の奥行感は左右画像における同一物体の画面上表示位置を左右方向にずらすことにより得られる。この左右方向にずらす量（ここでは奥行情報という）に応じて物体が手前に見えたり奥に見えたりする。奥行情報は表示される各画素について付加される。

被写体とカメラの位置関係などの撮像条件や立体像を表示できる奥行範囲の大きさなどの表示条件によっては，撮像された被写体の厚みが立体像に表現されず，自然な奥行感が得られないことがある。この様な場合、各画素の奥行情報を表示装置が再現できる奥行範囲の全域に渡り平滑（平坦）化する方法がある。このような方法では先ず、奥行情報の頻度を示すヒストグラムを作成し、更に各頻度を累積した累積ヒストグラムを作成する。この累積ヒストグラムを用いて奥行情報を変換することで、奥行情報の平滑化が行われる。

特開２００６−３１１７１号公報

奥行値の累積ヒストグラムを用いてヒストグラムを平滑化することで奥行情報の調整を行った場合、背景領域を多く含む映像などでは奥側の奥行範囲にヒストグラムの体積が偏って累積ヒストグラムの傾きが大きくなり、奥側に過度に奥行情報が割り当てられることになる。このため、手前側の奥行範囲が潰されてしまい、自然な奥行感が得られないという点で問題があった。

実施形態の目的は、背景領域に過度に奥行範囲を割り当てることなく、手前側の奥行感が強調され、自然な奥行感を再現できる立体映像表示装置を提供することにある。

上記問題を解決するため実施形態においては、奥行情報に対応する奥行値の頻度に対して、奥行値に応じた重み付けを行うことによって奥行値の重み付きヒストグラムを求め、その後に累積ヒストグラムから求められる奥行調整関数を用いて重み付きヒストグラムを平滑化することで奥行値の調整を行う。

すなわち１実施形態に係る立体映像表示装置は、入力画像から奥行値を生成する奥行情報生成部１１と、前記奥行値を調整し、調整された奥行値を生成する奥行調整部１２と、前記入力画像及び前記調整された奥行値から、右視点用画像及び左視点用画像を生成する画像生成部と、前記右及び左視点用画像に基づいて、立体映像を表示する画像表示部１４と、を備え、前記奥行調整部１２は、各奥行値の頻度に対して、奥行値に応じた重み付けを行うことによって奥行値の重み付きヒストグラムを求め、該ヒストグラムから得られる重み付き累積ヒストグラムから求められる互いに異なる複数の奥行調整関数を混合した関数を用いて奥行値を調整することを特徴とする。

立体映像表示装置の第１実施形態の構成を示すブロック図である。 全奥行範囲のうち最も手前の位置を基準に奥行値を生成する例を示す図である。 奥行調整部１２の処理動作を示すフローチャートである。 奥行値ｄの１フレームにおける頻度を示すヒストグラムである。 実施形態に係る重み関数を示す図である。 実施形態に係る奥行値の重み付きヒストグラムを示す図である。 実施形態に係る第１の重み関数を用いて各奥行値について算出される重みを示す図である。 実施形態に係る第２の重み関数を用いて各奥行値について算出される重みを示す図である。 実施形態に係る第３の重み関数を用いて各奥行値について算出される重みを示す図である。 実施形態に係る第４の重み関数を用いて各奥行値について算出される重みを示す図である。 実施形態に係る重み付き累積ヒストグラムを示す図である。 実施形態に係る奥行調整関数ＤＦ（ｄ）を示す図である。 従来の累積ヒストグラムを示す図である。 図１３の累積ヒストグラムに基づいて求めた奥行調整関数を示す図である。 立体映像表示装置の第２実施形態の構成を示すブロック図である。 立体映像表示装置の第３実施形態の構成を示すブロック図である。 第３実施形態のベクトルＶmax、ベクトルＶmin、視差量ｐを示す図である。 立体映像表示装置の第４実施形態の構成を示すブロック図である。 第５実施形態の奥行調整において、α＝０．５としたときの奥行調整関数を示す図である。

以下、実施形態に係る立体映像表示装置について、図面を参照して説明する。

［第１実施形態］
図１は立体映像表示装置の第１実施形態の構成を示すブロック図である。

この立体映像表示装置は右カメラ画像、左カメラ画像を入力として立体画像を表示する例である。第１実施形態の立体画像表示装置は、奥行生成部１１ａ、奥行調整部１２、画像表示部１４１３を備える。右カメラ画像は奥行生成部１１ａに、左カメラ画像は奥行生成部１１ａ及び視差画像生成部１３に入力される。

奥行生成部１１ａは、右カメラ画像及び左カメラ画像から奥行情報を生成し出力する。奥行情報及び奥行調整用パラメータは奥行調整部１２に入力される。奥行調整部１２は、奥行調整用パラメータに基づいて奥行情報を調整し、調整後の奥行情報を出力する。調整後の奥行情報は、視差画像生成部１３に入力される。視差画像生成部１３は、左カメラ画像及び視差情報を基に右視点（右目）用画像、左視点（左目）用画像を生成し出力する。右視点用画像、左視点用画像は画像表示部１４に入力される。画像表示部１４は右視点用画像、左視点用画像を基に立体画像を表示する。

以下、本実施形態に係る立体映像表示装置の各部について詳細に説明する。

奥行生成部１１ａは、右カメラ画像と左カメラ画像を用いてステレオマッチングを行う。すなわち奥行生成部１１ａは、左カメラ画像における対応点の位置を始点、右カメラ画像における対応点の位置を終点としたベクトル（以下、対応ベクトル）を算出する。この対応ベクトルは大きさ及び方向（右または左）を含む。奥行生成部１１ａは、算出した対応ベクトルを用いて奥行値からなる奥行情報を生成する。

対応ベクトルから奥行値を生成するには、例えば特開２００１−２９８７５３ 段落００１６〜００１８の方法を用いればよい。表示装置が再現できる全奥行範囲のうち最も手前の位置を基準に奥行値を生成する例を図２に示す。

奥行値をｄ、対応ベクトルの水平成分をｕ［ｃｍ］、眼間距離をｂ［ｃｍ］、全奥行範囲をＬ_z［ｃｍ］、表示画面位置から奥行範囲Ｌ_zの最も手前の位置までの距離をｚ_o［ｃｍ］、視点位置から画面位置までの距離をｚ_s［ｃｍ］、奥行値を距離に換算するための定数をγとする。図２において視点とは、当該奥行で見える画素を示す。

対応ベクトルの水平成分は右向きを正とし、対応ベクトルの大きさが画素単位で求まっている場合、画面の横幅及び水平方向の画素数を元に、対応ベクトルをｃｍ単位に換算した値をｕ［ｃｍ］として用いる。対応ベクトルの水平成分をｕ_pixel［ｐｉｘｅｌ］、画面の横幅をＷ［ｃｍ］、画面の水平方向の画素数をｈ_pixel［ｐｉｘｅｌ］とするとき、対応ベクトルの水平成分ｕ［ｃｍ］を次式のように求める。

奥行値を距離に換算するための定数γについては、例えばｄを０から２５５までの２５６階調で表現する場合、次式のように設定する。

画面位置から注視点までの距離ｚ’を次式とする。

図２における三角形の相似関係により次式が成り立つ。

式（３）及び（４）から、奥行値ｄは次式で求められる。

図３は奥行調整部１２の処理動作を示すフローチャートである。

奥行調整部１２は、奥行生成部１１ｂから入力される各奥行値ｄの１フレームにおける頻度を示す図４のようなヒストグラムを算出する（ブロックＢ１）。奥行調整部１２は、奥行値ｄの頻度に対して、該奥行値に応じた重み付けを行う。ここで奥行値の最小値を０、最大値をＤとする。最大値Ｄは奥行値の分解能が例えば２の８乗の場合は２５５である。この最大値Ｄは表示システムの設計仕様に応じて決められる値である。

ヒストグラムは、フレーム単位で各奥行値の画素数を数え上げ頻度を求めることで算出される。ヒストグラムは奥行値の頻度の集合として次式で表される。

ここで、奥行値の最大値をＤ、奥行値に対する頻度をＰ（ｄ）とする。

奥行調整部１２は、図４のようなヒストグラムの各頻度に図５のような重み関数にて示される重みを例えば乗算し、図６のような奥行値の重み付きヒストグラムを算出する（ブロックＢ２）。

図５は各奥行値ｄに応じて設定される重みの一例を示す。この例では、奥行の分解能を２５６とし、全奥行範囲Ｌ_zにおいて、最も近い画素の奥行値（ｄ＝０）から最も奥の画素の奥行値（ｄ＝２５５）対して、１から０まで直線的に減少する重みが設定されている。

重み付きヒストグラムの算出は、次式のように行われる。

ここで、重み関数をｗ（ｄ）、奥行値に対する重み付き頻度をＰｗ（ｄ）とする。重み関数ｗ（ｄ）の算出法は図５の例に限らず、例えば次式（８）〜（１１）のように様々ある。

図７は上式（８）を用いて各奥行値について算出される重みを示す。この例では、全奥行範囲Ｌ_ｚにおいて、最も手前の画素の奥行値（ｄ＝０）には重み１が設定され、最も奥の画素の奥行値（ｄ＝Ｄ）にはθlinearが設定され、奥行値０〜Ｄにおいて重みが１からθlinearまで直線的に減少する重みが設定される。ここでθlinearは、重み関数のパラメータであって、θlinear∈［０，１］である。すなわちθlinearは０〜１に含まれる値である。重み関数のパラメータは、奥行情報パラメータとして奥行情報調整部１２に与えられる。

図８は上式（９）を用いて各奥行値について算出される重みを示す。この例では、全奥行範囲Ｌ_ｚにおいて、最も手前の画素の奥行値（ｄ＝０）には重み１が設定され、最も奥の画素の奥行値（ｄ＝Ｄ）にはθconvexが設定され、奥行値０〜Ｄにおいて重みが１からθconvexまで下に凸の形状で減少する重みが設定される。ここでθconvexは重み関数のパラメータであって、θconvex∈［０，１］）である。

図９は上式（１０）を用いて各奥行値について算出される重みを示す。この例では、奥行範囲Ｌ_ｚにおいて、最も手前の画素の奥行値（ｄ＝０）には重み１が設定され、最も奥の画素の奥行値（ｄ＝Ｄ）にはθconcaveが設定され、奥行値０〜Ｄにおいて重みが１からθconcaveまで上に凸の形状で減少する重みが設定される。ここでθconcaveは重み関数のパラメータであって、θconcave∈［０，１］である。

図１０は上式（１１）を用いて各奥行値について算出される重みを示す。この例では、奥行範囲Ｌ_ｚにおいて、最も手前の画素の奥行値（ｄ＝０）には重み０が設定され、最も奥の画素の奥行値（ｄ＝Ｄ）にも０が設定され、中間（例えば表示画面付近）の奥行値φには１が設定され、奥行値０〜Ｄにおいて重みが１を頂点とする上に凸の曲線状に変化する重みが設定される。ここでは重み関数のパラメータであって、φ∈（０，Ｄ）である。

式（８）〜（１０）及び図７〜図９のように手前側の重みを大きく、奥側の重みを小さくすることより、手前側の奥行範囲を広く割り当て、手前側の奥行感を強調することが可能になる。また、式（１１）及び図１０のように中間の重みを大きくすることにより、中間の奥行範囲を広く割り当て、中間の奥行感を強調することが可能である。

さらに奥行調整部１２は、重み付きヒストグラムの各頻度を累積し図１１のような重み付き累積ヒストグラムを算出する（ブロックＢ３）。

重み付き累積ヒストグラムの算出は、次式にように行われる。

ここで、Ｆ（ｄ）は重み付き累積ヒストグラム、ＣはＦ（ｄ）∈［０、１］とするための規格化定数であり、次式で表される。

奥行調整部１２は、重み付き累積ヒストグラムをスケーリング（拡大又は縮小）して図１２のような関数ＤＦ（ｄ）を求める。関数ＤＦ（ｄ）は奥行値を調整するための関数である。奥行値を調整するために用いられるこのような関数を奥行調整関数と呼ぶことにする。

図１２の横軸はここでは図１１と同一の奥行値を示し、図１２の縦軸は図１１の縦軸の累積頻度に奥行値の最大値Ｄ（２５５）を乗算して得られる調整後の奥行値である。すなわち図１２の奥行調整関数ＤＦ（ｄ）は、図１１の重み付き累積ヒストグラムを縦軸方向にスケーリングすることで得られる。

奥行調整部１２は、奥行調整関数ＤＦ（ｄ）を用いて奥行値を調整（変換）する（ブロックＢ４）。奥行調整部１２は、奥行値ｄを奥行調整関数ＤＦ（ｄ）を用いて、以下のように調整後の奥行値ｄ’に変換する。

ここでＤは奥行値の最大値（例えば２５５）である。

すなわち奥行調整部１２は、例えば調整前の奥行値ｄ１が与えられたとき、グラフの横軸上にｄ１の点（座標（ｄ１，０））を設定する。次に、この点ｄ１を通る垂直な直線と奥行調整関数の交点（座標（ｄ， ＤＦ（ｄ）））を求める。奥行調整部１２は、交点を通る水平な直線と縦軸の交点（座標（０， ＤＦ（ｄ）））を求め、縦軸の値から調整後の奥行値ＤＦ（ｄ）を求める。

図１３は図４のような重み付けされていないヒストグラムに基づいて作成した従来の累積ヒストグラムを示す。背景画像が占める割合が大きな画像は、図１３のように奥行値が大きな領域で、累積ヒストグラムの傾きが大きい。また、手前に表示される奥行値の小さい領域では、累積ヒストグラムの傾きが小さい。

図１４は図１３の累積ヒストグラムを前述したようにスケーリングすることにより求めた奥行調整関数を示す。背景画像が占める割合が大きな画像は、ヒストグラムを平滑化するために奥行値を調整しても、奥側の奥行範囲に奥行値が広く割り当てられ、手前側の奥行範囲が潰れている（狭い）。従って、調整後の奥行値を用いて画像を表示しても、自然な奥行感は得られない。

これに対して本実施例に係る図１１の重み付き累積ヒストグラムでは、奥側に表示される奥行値が大きな領域で、重みなしの場合に比べ累積ヒストグラムの傾きが小さくなる。また、手前に表示される奥行値の小さい領域では、重みなしの場合に比べ累積ヒストグラムの傾きが大きくなる。

従って図１２のように、本実施形態に係る奥行調整関数ＤＦ（ｄ）では、重みなしの場合に比べ手前側の奥行範囲が広く割り当てられる。この結果、手前側に表示される画素の奥行感が強調され、全体として自然な奥行で画像が提供される。

図１に戻り、各画素に対する調整後の奥行値が奥行調整部１２から視差画像生成部１３へ出力される。視差画像生成部１３は、左視点（左目）用画像として左カメラ画像をそのまま出力し、右視点（右目）用画像は奥行情報に従って左カメラ画像の画素を水平方向へずらすことにより生成する。

画像表示部１４は、使用者が着用するメガネに備えられたシャッターと同期して右視点用画像、左視点用画像を表示することで立体画像を表示するディスプレイを用いればよい。

［効果］
本実施形態によれば、背景領域を含む奥側に過度に奥行範囲を割り当てることなく、奥行感の強調ができる。例えば手前側の重みが大きく、奥側の重みが小さくなるような重み付けを行った場合、重み付きヒストグラムの体積は通常のヒストグラムと比較して手前側に偏り、重み付き累積ヒストグラムの手前の奥行範囲における傾きは、重み付けを行わない場合と比較して大きくなる。この結果、重み付き累積ヒストグラムを用いて奥行値が調整された後は、手前側の奥行範囲が広く割り当てられて手前側の奥行感が強調されることになり、自然な奥行感を得ることができる。

［第２実施形態］
図１５は立体映像表示装置の第２実施形態の構成を示すブロック図である。

第２実施形態は１台のカメラにより撮影された２次元画像を入力として立体画像を表示する装置例である。この立体画像表示装置の基本構成は第１実施形態と同様である。ただし、奥行生成部１１ｂ及び視差画像生成部１３に２次元画像が入力される点が異なる。

奥行生成部１１ｂは、特開２０００−２６１８２８号公報に開示されているように、先ず２次元映像信号を背景領域像とそれ以外の領域の像の信号に分離する。そして２次元映像の動きベクトルと前記背景領域像の動きベクトルとから、背景領域像の代表動きベクトルを算出する。また奥行生成部１１ｂは、前記２次元映像の動きベクトルから前記代表動きベクトルを減算することで相対動きベクトルを算出する。そして前記相対動きベクトルを用いて、前記２次元映像信号の映像の奥行情報を生成する。

視差画像生成部１３については、また特開２０００−２６１８２８号公報に開示されているのと同様に、左視点用画像としては２次元画像をそのまま用い、右視点用画像は、奥行情報に従って２次元画像の画素を水平方向へずらすことにより生成する。

［効果］
２次元画像から３次元画像を生成する場合でも、背景領域に過度に奥行範囲を割り当てることなく、手前側の奥行感が強調され、自然な奥行感を得ることができる。

［第３実施形態］
図１６は立体映像表示装置の第３実施形態の構成を示すブロック図である。

第３実施形態は右カメラ画像、左カメラ画像を入力として立体画像を表示する装置例である。この立体画像表示装置の基本構成は第１の実施形態と同様である。ただし、奥行生成部１１ａの代わりに視差情報生成部１５ａを備えており、奥行を算出せずに視差画像を生成するための情報として視差情報を用いている点が異なる。

視差情報生成部１５ａは、右カメラ画像と左カメラ画像を用いてステレオマッチング、すなわち左カメラ画像における対応点の位置を始点、右カメラ画像における対応点の位置を終点とした対応ベクトル（視差量）を算出し、視差情報として出力する。

視差調整部１６は視差量の頻度に対して、視差量に応じた重み付けを行うことによって視差量の重み付きヒストグラムを求め、さらにそれから求められる累積ヒストグラムによってヒストグラム平滑化を行い、視差量毎に奥行感の強弱を調整する。

各画素に対する視差量ｐ（ｘ、ｙ）は、次式で表すものとする。

ここで、ｕ（ｘ、ｙ）を画面上座標（ｘ、ｙ）の画素に対する対応ベクトルの水平成分、Ｖｍａｘを対応ベクトルの水平成分のフレーム内最大値、Ｖｍｉｎを対応ベクトルの水平成分のフレーム内最小値とし、以下では視差量の値をｐで表す。

図１７（ａ）はベクトルＶmaxを示す図である。ベクトルＶmaxは全奥行範囲Ｌ_zにおいて最も奥に見える画素（図中の注視点）の対応ベクトルである。図１７（ｂ）はベクトルＶminを示す図である。ベクトルＶminは全奥行範囲Ｌ_zにおいて最も手前に見える画素（図中の注視点）の対応ベクトルである。図１７（ｃ）は視差量ｐを示す図である。視差量ｐは全奥行範囲Ｌ_zにおいて任意の奥行で見える画素の対応ベクトルｕとベクトルＶminの大きさの差に等しい大きさを有し、対応ベクトルｕと同一の方向を有するベクトルである。

一般には、本実施形態の対応ベクトルｕまたはその水平成分が視差量と呼ばれることがあるが、第３実施形態では、視差量として対応ベクトルの水平成分のフレーム内最小値Ｖｍｉｎを基準にした視差量ｐを用いている。視差量ｐが大きければ奥側、小さければ手前側を示すため、奥行との対応関係が分かりやすい。

ヒストグラムは、フレーム単位で各視差量の画素数を数え上げ頻度を求めることにより作成される。ヒストグラムは視差量の頻度の集合として次式で表される。

ここで、Ｖ’ｍｉｎ、Ｖ’ｍａｘは、調整後の対応ベクトルの水平成分のフレーム内最小値、最大値であり、これらの値は予め決めておくものとする。例えば、Ｖ’ｍｉｎ＝Ｖｍｉｎ、Ｖ’ｍａｘ＝Ｖｍａｘとしてもよい。

調整後の視差情報として、次式で表される調整後の視差量から得られる対応ベクトルが出力される。

ここで、ｐ’（ｘ、ｙ）を座標（ｘ、ｙ）の画素に対する調整後の視差量とする。

［効果］
第３実施形態は上記第１実施形態の効果に加え、視差量ｐが上記第１実施形態の奥行値ｄより大幅に少ない計算処理量で算出できるので、第１実施形態より高速処理が可能となる。

［第４実施形態］
図１８は立体映像表示装置の第４実施形態の構成を示すブロック図である。

第４実施形態は２次元画像を入力として立体画像を表示する装置例である。この立体画像表示装置の基本構成は図１５の第２の実施形態と同様である。ただし、奥行生成部１１ｂの代わりに視差情報生成部１５ｂを備えており、奥行を算出せずに視差画像を生成するための情報として視差情報を用いている点が異なる。

視差情報生成部１５ｂは、特開２０００−２６１８２８公報に開示されているように、先ず２次元映像信号を背景領域像とそれ以外の領域の像の信号に分離する。そして２次元映像の動きベクトルと前記背景領域像の動きベクトルとから、背景領域像の代表動きベクトルを算出する。また視差情報生成部１５ｂは、前記２次元映像の動きベクトルから前記代表動きベクトルを減算することで相対動きベクトルを算出する。そして前記相対動きベクトルを用いて、前記２次元映像信号の映像の視差情報を生成する。

［効果］
２次元画像から３次元画像を生成する場合でも、手前側の奥行感が強調され、自然な奥行感を得ることができると共に、上記第２実施形態より高速処理が可能となる。

［第５実施形態」
次に、立体画像表示装置の第５実施形態を説明する。

第５実施形態は、奥行値の調整において重み付き累積ヒストグラムから算出される奥行調整関数（第１実施形態の式（ｄ’＝ＤＦ（ｄ））と他の関数を混合した関数を用いる。第５の実施形態の立体画像表示装置の基本構成は第１の実施形態と同様であるから構成ブロック図は省略する。

第５実施形態の奥行調整部１２で行われる処理の流れは、図１の第１実施形態と同様である。ただし第５実施形態は、奥行値の調整で用いる関数が第１実施形態と異なる。

奥行値の調整において、以下の二つの奥行調整関数を用意する。

調整後の奥行値ｄ’はこれらの関数を混合した関数によって以下のように求められる。

ここでαは混合比に関するパラメータである（α∈［０、１］）。混合比に関するパラメータαは奥行情報パラメータとして奥行情報調整部１２に与えられる。関数ｇ（ｄ）は調整前の奥行値そのものを表す線形関数である。従って、αが大きいほど奥行感が強められ、小さいほど奥行感が弱められる。このように、混合比αを調整することにより、奥行感の強弱を直感的に調整することが可能となる。

第５実施形態の奥行調整において、α＝０．５としたときの例を図１９に示す。細線が累積ヒストグラムから算出される関数ｆ（ｄ）、点線が線形関数ｇ（ｄ）、太線が両者を混合した関数を表す。

この第５実施形態と同様にして、第２から第４の実施形態の奥行値の調整において累積ヒストグラムから算出される奥行調整関数と他の関数を混合した関数を用いるように変更した実施形態を構成することも可能である。また図７〜１０のような重み付けに基づく互いに異なる３つ以上の奥行調整関数を混合した関数を用いて奥行値を調整するように変更した実施形態も可能である。

［効果」
二つの関数を用いて奥行調整関数を作成し、混合比αを調整することにより、奥行感の強弱を直感的に調整することが可能となる。

以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

Claims (6)

1. 入力画像から奥行値を生成する奥行情報生成部と、
   前記奥行値を調整し、調整された奥行値を生成する奥行調整部と、
   前記入力画像及び前記調整された奥行値から、右視点用画像及び左視点用画像を生成する画像生成部と、
   前記右及び左視点用画像に基づいて、立体映像を表示する画像表示部と、を備え、
   前記奥行調整部は、各奥行値の頻度に対して、奥行値に応じた重み付けを行うことによって奥行値の重み付きヒストグラムを求め、該ヒストグラムから得られる重み付き累積ヒストグラムから求められる互いに異なる複数の奥行調整関数を混合した関数を用いて奥行値を調整することを特徴とする立体映像表示装置。
2. 入力画像から奥行値を生成する奥行情報生成部と、
   前記奥行値を調整し、調整された奥行値を生成する奥行調整部と、
   前記入力画像及び前記調整された奥行値から、右視点用画像及び左視点用画像を生成する画像生成部と、
   前記右及び左視点用画像に基づいて、立体映像を表示する画像表示部と、を備え、
   前記奥行調整部は、奥行値の頻度に対して、最も近い画素の奥行値から最も奥の画素の奥行値に対して、単調減少する重みを乗算して、奥行値の重み付きヒストグラムを求め、該ヒストグラムから得られる重み付き累積ヒストグラムを用いて奥行値を調整することを特徴とする立体映像表示装置。
3. 前記入力画像は複数台のカメラより撮影された画像である請求項１又は２記載の立体映像装置。
4. 前記入力画像は２台のカメラより撮影された左右の画像である請求項１又は２記載の立体映像装置。
5. 入力画像から奥行値を生成する奥行情報生成部と、
   前記奥行値を調整し、調整された奥行値を生成する奥行調整部と、
   前記入力画像及び前記調整された奥行値から、右視点用画像及び左視点用画像を生成する画像生成部と、を備え、
   前記奥行調整部は、各奥行値の頻度に対して、奥行値に応じた重み付けを行うことによって奥行値の重み付きヒストグラムを求め、該ヒストグラムから得られる重み付き累積ヒストグラムから求められる互いに異なる複数の奥行調整関数を混合した関数を用いて奥行値を調整することを特徴とする立体映像表示装置。
6. 入力画像から奥行値を生成し、
   前記奥行値を調整し、調整された奥行値を生成し、
   前記入力画像及び前記調整された奥行値に基づいて、右視点用画像及び左視点用画像を生成し、
   前記右及び左視点用画像に基づいて、立体映像を表示することを具備し、
   前記奥行値の調整は、各奥行値の頻度に対して、奥行値に応じた重み付けを行うことによって奥行値の重み付きヒストグラムを求め、該ヒストグラムから得られる重み付き累積ヒストグラムから求められる互いに異なる複数の奥行調整関数を混合した関数を用いて奥行値を調整することを特徴とする立体映像表示方法。

Images