JP2000253422A - ２次元映像からの立体映像生成方法 - Google Patents

Abstract

(57)【要約】 【課題】2次元映像から立体映像を生成する場合、被写
体像と背景像との境界近傍の画素を生成する際には時間
軸方向で、境界近傍以外の画素を生成する際には空間軸
方向で補間して生成し、破綻のない立体映像を得る。 【解決手段】2次元映像信号と前記奥行き情報とを複数
フレーム分メモリ１０２，１０３に格納し、被写体境界
検出部１０６で被写体像と背景像との境界を検出する。
対応が疎検索部１０９、対応画素算出部１０７、補間映
像生成部１１０は、前記境界近傍の視差情報を生成する
場合には、視差を得るための画素を前記２次元映像信号
の前方及び又は後方フレームから検索し画素演算により
補間画素を得ることで生成し、境界近傍以外の視差情報
を生成する場合には、前記２次元映像信号のフレーム内
の画素演算により補間画素を得る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、2次元映像から
の立体映像生成方法に関するもので、特に２次元映像の
奥行き情報が与えられた場合に、立体映像を生成する時
に必要な映像の補間処理に工夫を行ったものである。

【０００２】

【従来の技術】現在民生用の立体ディスプレイの開発が
進む一方で民生用の立体映像用ソフトの量は少なく、立
体映像を表示するためには新規に立体映像を制作する必
要がある。

【０００３】そこで従来の2次元映像の資産を活かす方
法として、従来の2次元映像を立体映像に変換する方法
が提案されている。2次元映像を立体映像に変換する立
体映像生成装置については、例えば特開平８−１４９５
１７号に開示されている。

【０００４】この視差映像を生成する方法は、現フレー
ムの映像を一方の眼に呈示し、所定フレーム遅延した映
像を他方の眼に呈示するものである。2次元動映像上で
被写体が水平方向に移動している場合、この移動分が視
差となり立体的に知覚される。しかし、被写体が変形し
ている場合には変形量が不要な視差として知覚されてし
まうという問題がある。

【０００５】別の視差映像を生成する方法として、2次
元映像を空間軸方向で補間して拡大縮小することにより
視差映像を生成するものがある。しかし空間軸方向に被
写体像と背景像との境界付近を補間処理すると、被写体
と背景とが混ざりあって不自然な像となることがある。

【０００６】又、視差映像を生成する別の方法として、
現フレームの映像を一方の眼に呈示し、所定フレーム遅
延した映像を他方の眼に呈示する方法がある。2次元動
映像上で被写体が水平方向に移動している場合、この移
動分が視差となり立体的に知覚される。しかし、被写体
が変形している場合には変形量が不要な視差として知覚
されてしまうという問題がある。

【０００７】

【発明が解決しようとする課題】以上述べてきたよう
に、映像の空間軸方向での補間により視差映像を生成す
る場合には被写体の境界部分で不適当となる。またフレ
ーム遅延した映像を視差映像とする場合には被写体がフ
レーム間で変形している場合に不適当となる。またフレ
ーム遅延した映像を視差映像として使用する場合、映像
内に任意の視差を設定できないため融通性がない。

【０００８】そこでこの発明は、２次元映像信号から立
体映像信号を生成する場合に、画素補間処理方法を工夫
し、例えば背景像と被写体像の境界のように、奥行き感
を必要とする部分の立体感を向上し得る２次元映像から
の立体映像生成方法を提供することを目的とする。

【０００９】

【課題を解決するための手段】上記問題を解決するため
に本発明では、2次元映像信号とその奥行き情報が与え
られ、前記奥行き情報に従って前記２次元映像信号を左
用又は右用の立体映像信号に変換処理する際、被写体像
の境界を検出し、境界付近の視差用情報を生成する場合
には前記２次元映像信号の前方後方フレームからの補間
演算によって生成し、境界近傍以外に視差用情報を生成
する場合には前記２次元映像信号のフレーム内での補間
演算によって生成し、生成した視差用情報を前記２次元
映像信号に加えるようにしている。

【００１０】これによって被写体の境界付近での像が不
自然な像となるのを防ぐ。また被写体像の内部はフレー
ム内から補間することによって、フレーム間での像の変
化による影響を防ぐことが可能となる。

【００１１】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。

【００１２】図１は本発明の第１の実施の形態を示す構
成図である。入力部１１には圧縮された２次元映像信号
が供給され、２次元映像信号復号部１２に導かれる。こ
こで復号された２次元映像信号は、奥行き推定部１３に
供給される。奥行き推定部１３は、例えば被写体像と背
景像との奥行き情報を得るものである。奥行き情報を求
める方法としては、各種方法がある。

【００１３】まず背景像を識別し、背景像と被写体像と
の判別を行う。次に背景像の平均動きベクトルを求め、
次に被写体像の動きベクトルを求める。次に背景像の平
均動きベクトルと被写体像の動きベクトルから、被写体
像の相対動きベクトルを求める。次に相対動きベクトル
のスカラー量を求め、スカラー量を奥行き情報に変換す
る。スカラー量が大きいほど奥行きは手前であると判定
する。

【００１４】背景像と被写体像の判別方法としては、コ
ントラスが閾値より低い部分を背景像とし、それ以外の
部分を被写体像として判別する。動きベクトルを求める
方法としては、例えばＭＰＥＧの規格で定められている
方法を利用する。

【００１５】上記のように得られた奥行き情報は、奥行
き情報メモリ１０３に入力され、また復号された２次元
映像信号は、映像メモリ１０２に入力される。

【００１６】立体映像生成部１０１は、映像メモリ１０
２、奥行き情報メモリ１０３、映像メモリインターフェ
ース(映像メモリI/F)１０４、奥行き情報メモリインタ
ーフェース（奥行き情報メモリI/F）１０５、被写体境
界抽出部１０６、対応画素算出部１０７、動きベクトル
検出部１０８、対応画素検索部１０９、補間映像生成部
１１０より構成される。

【００１７】次に各ブロックの動作の詳細について説明
する。

【００１８】立体映像生成装置１０１には2次元映像信
号とその映像に対応する奥行き情報が入力する。2次元
映像信号は映像メモリ１０２に、奥行き情報は奥行き情
報メモリ１０３に、複数フレーム分それぞれ格納され
る。ここで例えば図２（Ａ），（Ｂ）のように5フレー
ム分格納された後、3フレーム目がそれぞれ読み出され
る。

【００１９】2次元映像は、映像メモリインターフェー
ス１０４を介して被写体境界抽出部１０６へ入力され、
奥行き情報は、奥行き情報メモリインターフェース１０
５を介して対応画素算出部１０７へ入力される。

【００２０】被写体境界抽出部１０６では、2次元映像
上の被写体像の境界（輪郭）を検出する。抽出した被写
体像の境界の例を図３に示す。被写体像の境界の求め方
としては、 1枚の静止映像から求める方法として、1次
微分、2次微分フィルタを用いてエッジを抽出する方
法、Ｋ平均クラスタリング法などの領域分割・統合処理
により境界を抽出する方法などがある。連続した複数の
フレームから求める方法としては、動きベクトルを求
め、ベクトルの方向、大きさの空間的変化から被写体像
の境界を求めても良い。本発明の場合、２次元映像上の
奥行き情報が既知なため、奥行き情報の空間的変化から
被写体像の境界を求めても良い。また以上述べた手法を
組み合わせて使用しても良い。抽出した被写体像の境界
情報は対応画素算出部１０７に供給する。

【００２１】対応画素算出部１０７では、奥行き情報に
従って、生成する視差（立体）映像信号の画素と2次元
映像信号の画素との位置関係を算出する。立体映像信号
は左用或いは右用のいずれかを予め特定しておく。

【００２２】この位置関係を図４を用いて説明する。図
４において、白丸○は入力する2次元映像の水平ライン
上の画素を、指定された奥行き情報に基づいて奥行き方
向へ配置したものである。黒丸はディスプレィ面の奥行
き情報での画素配置である。この黒丸の画素（発光部）
から白丸○の画素が知覚されるように、黒丸の画素によ
る映像を生成する必要がある。このため白丸○から黒丸
の画素を補間演算によって生成する。

【００２３】補間演算を行う際、同一被写体内の場合に
は空間的に隣接する画素を使用する。被写体像の境界部
分においては現フレームには存在しない背景部分の画素
を表示する必要があるため対応する画素を前方および後
方のフレームから検索し使用する。

【００２４】例えば黒丸7'の画素を生成する場合を述べ
る。

【００２５】この説明図を図５に示す。7'の画素に隣接
する画素は、8と9に相当する。8,9の画素は同一被写体
と判断されるため、8,9の画素の線形補間によって生成
する。 このため対応画素算出部では7'の画素を生成す
るための情報として、隣接画素のアドレス（この場合8
と9）と、それぞれ画素の7'からの距離(aとb）あるいは
距離の比 (a/b)とを補間映像生成部１１０に出力する。

【００２６】次に、9'の画素を生成する場合を述べる。
この説明図を図６に示す。9'の画素の隣接画素は9、10
であるが、9と10の画素間に被写体の境界が存在するた
め、 9と10の画素は違う被写体の画素と判断される。こ
のため9'の画素を9と10から生成しない。例えば、9に対
し背景に位置し、10と同一被写体である9pの画素があれ
ば、9pと10の画素との線形補間によって9'の画素を生成
することができる。このように前後のフレームの画素を
用いることで、より破綻の無い映像を得ることができ
る。

【００２７】そのためには、9pの画素を検索する必要が
ある。しかしこの9pの画素は現フレームには存在しない
ため前後のフレームから9pの画素を検索する必要があ
る。対応画素算出部１０７は、9と10の間の画素を検索
するように対応画素検索部１０９に通知する。対応画素
検索部１０９では被写体の境界部分の視差を得るために
必要な画素を前方後方フレームから検索する。

【００２８】本発明では前方後方フレームに画素が存在
するかどうかを判断するために動きベクトルを利用す
る。動きベクトルと視差映像との関係を図７に示す。

【００２９】図７において、７０１は現フレーム、７０
２は前フレーム、７０３は後フレームを示す。背景に対
して被写体像７０４は右方向に相対的に移動し、被写体
像７０５は左方向に相対的に移動するものとする。被写
体像７０４は、前フレーム、現フレーム、後フレームと
次第に右方向へ移動している。また被写体像７０５は、
前フレーム、現フレーム、後フレームと次第に右方向へ
移動している。

【００３０】このとき被写体像７０４，７０５が背景像
に対して手前に位置するように視差映像信号を生成する
ことを考える。

【００３１】右眼映像の場合、被写体像７０４と７０５
を背景に対して左側にずらし視差映像を生成する必要が
ある。左側にずらすことにより背景部分の７０７と７０
８の領域が生じる。この部分を前方後方フレームから補
間する。背景領域７０７に関しては、被写体像７０４が
背景像に対して右方向に移動しているため前フレームか
ら補間する。

【００３２】一方背景領域７０８に関しては、被写体像
７０５が背景像に対して左方向に移動しているため後フ
レームから補間する。左眼映像の場合、被写体像７０４
と７０５を背景像に対して右側にずらし視差映像を生成
する必要がある。右側にずらすことにより背景部分の７
１０と７１１の領域が生じる。背景領域７１０に関して
は後フレームから補間する。背景領域７１１に関しては
前フレームから補間する。

【００３３】次に対応画素検索部１０９の動作を説明す
る。対応画素検索部１０９では対応する画素が前後フレ
ームに存在するかどうかを判断するのに動きベクトルを
利用する。このためまず動きベクトル検出部１０８にて
被写体像と背景像の境界での動きベクトルを求める。こ
の場合の動きベクトルとは境界両側に位置する前景領域
の動きベクトルと背景領域の動きベクトルである。

【００３４】動きベクトルの求め方としては例えばブロ
ックマッチング法を用いる。ただしここで、従来の動き
ベクトル検出に使用する矩形状のマクロブロック形状で
は、被写体像の境界付近でエラーが生じる可能性が高
い。このためマクロブロックの形状を、被写体像の境界
形状を考慮して決定する。例えば図８のように、指定さ
れた画素を中心として同一領域の一定数の画素がブロッ
クに含まれるようにブロック形状を決定する。ブロック
マッチングの方法としてはブロックの平行移動のマッチ
ングにより動きベクトルを求めても良いし、ブロックの
フレーム間での変形を考慮してアフィン変換を採りいれ
たマッチングにより動きベクトルを求めても良い。求め
た動きベクトルは対応画素検索部１０９に出力する。

【００３５】対応画素検索部１０９では、前景の動きベ
クトルと背景の動きベクトルおよび境界形状から視差部
分に対応した画素のアドレスとフレームとを検索し出力
する。この原理を図９〜図１４に示す。

【００３６】図９は画像の水平方向での画素配置を示
し、黒丸は前景領域に属する画素を示し、白丸○は背景
領域に属する画素を示し、現フレーム、１フレーム後、
２フレーム後での対応する画素の関係を示したものであ
る。ここで画素aとbの間に被写体像の境界が存在すると
する。前景領域の動きベクトルは０．５画素左方向、背
景領域の動きベクトルは１．０画素右方向であり、相対
動きベクトル(前景-背景)は １．５画素左方向とする。
動きベクトルがフレーム間で一定の場合、1フレーム
後、2フレーム後と比較したとき、画素ａは動きベクト
ルが０．５画素左方向なので、1フレーム後ではcの位
置、２フレーム後ではgの位置となる。

【００３７】画素 bは動きベクトルが１．０画素右方向
なので、1フレーム後ではfの位置、2フレーム後ではkの
位置となる。

【００３８】境界は画素aとbの間のどこかに存在するの
で、境界の存在する可能性のある範囲は斜線部で示すよ
うになる。ここで現フレームには存在せず 1フレーム後
で存在する背景領域の画素としてｅ、2フレーム後で存
在する背景領域の画素としてh，ｉ，jがある。dに関し
ては斜線の範囲内にあるので、その画素が前景領域のも
のか、背景領域のものか不定である。図９より前景の相
対動きベクトルの向きが前景側を向いているとき、後方
フレームに画素 a、b間の視差生成に必要な背景領域の
画素が存在することがわかる。またその画素数は相対ベ
クトルとフレーム数に依存する。

【００３９】図１０は、前景領域の動きベクトルは１．
０画素右方向、背景領域の動きベクトルは０．５画素左
方向であり、相対動きベクトル(前景-背景)は１．５画
素右方向の場合である。画素aは動きベクトルが右方向
に１．０画素なので、1フレーム前ではｃの位置、2フレ
ーム前ではｇの位置になる。画素ｂは動きベクトルが
０．５画素左なので、1フレーム前ではｆの位置、2フレ
ーム前ではｋの位置になる。

【００４０】ここで現フレームには存在せず1フレーム
前で存在する背景領域の画素としてd、e、2フレーム前
で存在する背景領域の画素としてh、ｉ、jがある。図１
０より前景の相対動きベクトルの向きが背景側を向いて
いるとき、前方フレームに画素a、b間の視差生成に必要
な背景領域の画素が存在することがわかる。

【００４１】フレーム間の画素関係を水平垂直の2次元
で示したものを図１１，図１２に示す。図１１で，黒丸
は前景領域、白丸○は背景領域に属する画素を示す。こ
こで前景領域の画素aと背景領域の画素bは図中に示す動
きベクトルをもつとき、画素aとbは1フレーム後ではcと
dに、2フレーム後ではeとfにそれぞれ対応する。斜線部
は境界の存在する範囲を示す。ここで現フレームには存
在せず1および2フレーム後に存在する背景領域の画素を
太線の○で示す。

【００４２】1フレーム後のdの左方向、2フレーム後のf
の左方向に現フレームには存在しない背景領域の画素が
存在するので、後方フレームに画素a、b間の視差情報生
成に必要な背景領域の画素が存在することがわかる。

【００４３】図１２は図１１とは境界形状が違う場合を
示す。各動きベクトルは図１１の場合と同様である。図
１２の境界形状の場合、1フレーム後のdの左方向、2フ
レーム後の fの左方向は前景領域あるい境界の存在する
範囲となってしまうため後方フレームに画素a、b間の視
差生成に必要な背景領域の画素が存在しない。このため
画素が存在するかどうかは、相対動きベクトルの水平成
分だけでなく、境界形状が関与することがわかる。

【００４４】図１３（Ａ），（Ｂ）では現フレームの境
界付近画素aとbに対応する画素が、tフレーム後にそれ
ぞれcとdの位置になる場合を示す。ここでdの位置は画
素配置の間となる。このため視差情報生成に必要な画素
e、fも画素の間となるため、eはgとhから、 fはｉとjか
ら画素間の距離mとnを参照して補間して生成することが
できる。

【００４５】図９乃至図１３に示した例を考慮して視差
生成に必要な画素を検索するフローを次に示す。

【００４６】図１４においてステップ1401では前景動き
ベクトルから背景動きベクトルを減算することで相対動
きベクトルを算出する。ステップ1402では相対動きベク
トルの向きが前景方向（前景の動きベクトルの向く方
法）かを判断する。前景方向の場合ステップ1403に進
み、ステップ1403にて映像メモリ102から所定数後のフ
レームを視差情報生成用の検索対象フレームとして選択
する。相対動きベクトルの向きが背景方向（背景の動き
ベクトルの向く方向）の場合ステップ1404に進み、ステ
ップ1404にて映像メモリ102から所定数前のフレームを
視差情報生成用の検索対象フレームとして選択する。

【００４７】ステップ1405では現フレームで境界の背景
側に位置した画素が、検索対象フレーム上でどこに移動
するかを求める。この変位量は背景の動きベクトルに所
定フレーム数を乗算した値となる。ステップ1406では現
フレームでの境界の存在範囲が検索対象フレーム上でど
こに移動するかを求める。この変位量は前景の動きベク
トルに所定数を乗算した値となる。

【００４８】ステップ1407では検索対象フレーム上に視
差情報生成に必要な画素が存在するかを判断する。ステ
ップ1405と1406にて算出した検索対象フレーム上での境
界背景側の画素位置と境界位置から、検索対象フレーム
上で境界背景側の画素位置から境界に向かって水平方向
に背景領域に属する画素があるかを検索し、存在する場
合には対応する画素のアドレスを出力する(ステップ140
8)。

【００４９】例えば図１１において検索対象フレームを
2フレーム後とし、境界背景側の画素位置をfとすると
ｇ，ｈ，ｉ，ｊのアドレスを出力することになる。対応
する画素が画素の間に位置する場合には隣接画素のアド
レスとそのアドレスとの距離を出力する。図１３の場
合，対応する画素がeとfに位置するので、それぞれg、h
のアドレス、ｉ，jのアドレスおよび距離m、nを出力す
る。検索した結果、検索対象フレーム上で視差情報生成
に必要な背景領域に属する画素がない場合にはその旨を
出力する(ステップ1409)。

【００５０】図１５，図１６では視差情報生成に必要な
画素の検索の第２の方法を示す。図1では 1つの検索対
象フレームから視差生成に必要な画素を検索したが、映
像がフレーム間で変形すること、動きベクトルにもエラ
ーが含まれることを考えると、現フレームに時間軸で近
いフレームから視差情報生成に必要な画素を検索するの
が望ましい。この検索方法の説明図を図１５に示す。図
１５において被写体の境界形状および各動きベクトルは
図１１と同様である。図１５上で太線の○は、1フレー
ム後の図上では、現フレームで存在せず1フレーム後に
存在する背景領域の画素、2フレーム後の図上では、1フ
レーム後で存在せず2フレーム後に存在する背景領域の
画素を示す。

【００５１】視差情報生成に必要な画素は現フレームに
近いフレームから選択することを考えると1フレーム後
でのg、h、ｉ、jの画素、2フレーム後でのk、l、mの画
素となる。

【００５２】図１６に視差情報生成に必要な画素の検索
の第２の方法のフローを示す。図１４の例との違いは所
定数後または所定数前のフレームを検索対象フレームと
するのでなく、1フレーム後または1フレーム前を検索対
象フレームとして用いる点にある。検索対象フレーム上
に視差情報生成に必要な画素が存在する場合、そのアド
レスを出力する。視差情報生成に必要な画素のアドレス
を出力した後、再度検索対象フレームを現在より1フレ
ーム後または1フレーム前に更新する。ここで前検索対
象フレームには存在せず、現検索対象フレーム上に存在
する、視差情報生成に必要な画素を出力する。更新数が
所定数にいたるまで前記処理を繰り返す。

【００５３】検索した画素のアドレスは対応画素算出部
１０７に出力する。対応画素算出部１０７では視差生成
に必要な画素が現フレーム上でどこに位置するかを求め
る。図１７は、この説明のために示している。図１７
は、前フレームに視差情報生成に必要な画素が存在する
場合で、黒丸が現フレームの画素を奥行き情報にしたが
って配置したもの、×印が前フレームの画素を奥行き情
報に従って配置したものである。 cは検索の結果、指定
された視差情報生成に必要な画素を示す。現フレーム上
で aに相当する画素が前フレームでbの位置にあると
き、aとbの変位量を用いて、前フレーム上でのcが現フ
レーム上でどこに位置するかを求めることができる。図
１７ではcの画素が現フレーム上ではdの位置になること
を示す。

【００５４】視差情報生成に必要な画素の現フレームで
上の位置を求めた後、隣接画素が同一被写体像に属する
場合と同様に、視差情報（画像）の画素を生成するため
の情報として同一被写体内隣接画素のアドレスおよびフ
レーム位置、それぞれの画素との距離を求め、補間映像
生成部１１０に出力する(説明図５および図６)。

【００５５】視差情報生成に必要な画素が存在しなかっ
た場合は、視差情報生成に必要な画素を同一被写体内の
近傍の画素によって置き換え、その画素を隣接画素とし
て補間映像生成部１１０に出力する。この説明図を図１
８に示す。

【００５６】補間映像生成部１１０では対応画素算出部
１０７から入力する画素アドレスと距離に従って線形補
間により視差画像の各画素を生成する。例えば視差画像
の画素zを生成するのに隣接画素の値それぞれがxとy、
zとの距離がそれぞれaとbのとき、 z={x×b/(a+b)}+{y×a/(a+b)} により求める。

【００５７】しかし視差情報生成に必要な画素が存在し
なかった場合は、同一被写体内の近傍の画素によって置
き換える。

【００５８】図１９に本発明の第２の実施の形態の構成
図を示す。図１と同一部分は同一符号で示す。第１の実
施の形態との違いは相対動きベクトル平均算出部１９０
２にて相対動きベクトル(前景領域の動きベクトル-背景
領域の動きベクトル)の水平成分の平均を算出し、その
値を参照して映像メモリおよび奥行き情報メモリに格納
するフレームを制御する点にある。

【００５９】第２の実施の形態を図２０を用いて説明す
る。相対動きベクトルの水平成分が小さい場合、時間的
に隣接するフレーム間では視差情報生成に必要な画素が
存在する可能性は低い。このため映像メモリおよび奥行
き情報メモリに格納するフレーム間隔を広くする。一
方、相対動きベクトルの水平成分が大きい場合、時間的
に隣接するフレーム間で視差情報生成に必要な画素が存
在する可能性が高い。このため映像メモリおよび奥行き
情報メモリに格納するフレーム間隔を短くする。これに
より映像メモリおよび奥行き情報メモリに一定数のフレ
ーム数しか格納できない場合、視差情報生成に適したフ
レームを選択して格納することが可能となる。

【００６０】図２１に本発明の第３の実施の形態の構成
図を示す。図１と同一部分は同一符号で示す。第１の実
施の形態との違いは奥行き情報差分平均算出部２１０２
にて奥行き情報の差分の平均を算出し、その値を参照し
て映像メモリおよび奥行き情報メモリに格納するフレー
ムを制御する点にある。

【００６１】第３の実施の形態を図２２を用いて説明す
る。奥行き情報の差分が大きい場合（図２２（Ｃ））、
視差画像生成に必要とされる視差領域の面積も大きい。
このため映像メモリおよび奥行き情報メモリに格納する
フレーム間隔を広くし、視差生成に必要な画素が多く含
まれるようにする。一方、奥行き情報の差分が小さい場
合（図２２（Ａ））、視差画像生成に必要とされる視差
領域の面積も小さい。このため映像メモリおよび奥行き
情報メモリに格納するフレーム間隔を短くする。奥行き
情報の差分が小さい場合、視差生成に必要な画素を時間
的に近いフレームから補間することで、被写体のフレー
ム間での変形の影響を抑える。これにより映像メモリお
よび奥行き情報メモリに一定数のフレーム数しか格納で
きない場合、視差情報生成に適したフレームを選択して
格納することが可能となる。

【００６２】図２３に本発明の第４の実施の形態の構成
図を示す。図１と同一部分は同一符号で示す。第１の実
施の形態との違いは被写体境界算出部２３０２の動作に
ある。被写体境界算出部２３０２では境界の位置だけで
なく、境界の存在する範囲(境界の幅)も算出する。境界
の存在する範囲は境界付近の空間周波数成分を参照して
決定する。

【００６３】図２４に境界付近の空間周波数と境界の存
在する範囲との関係を示す。境界付近の空間周波数成分
が低い場合、その近傍の画素は、2つの領域の混じり合
った値となることが予想される。このため視差画像を補
間して生成する際、この画素を用いるのは不適当であ
る。そのため境界付近の空間周波数成分が低い場合は境
界の存在する範囲を広く（図２４（Ｄ）の斜線部分）、
境界付近の空間周波数成分が高い場合は境界の存在する
範囲を狭くする（図２４（Ｂ）の斜線部分）。境界の存
在する範囲内にある画素は視差情報生成の補間演算に用
いないことによって、2つの領域の混じり合った画素は
視差画像生成に用いないようにする。

【００６４】

【発明の効果】以上詳述したように、この発明によれば
2次元映像から立体映像を生成するにあたって、被写体
境界近傍の画素を生成する際には時間軸方向で、境界近
傍以外の画素を生成する際には空間軸方向で補間して生
成することによって、破綻のない立体映像を提供するこ
とが可能となる。

【図面の簡単な説明】

【図１】 本発明の第１の実施の形態を示す構成図。

【図２】 映像メモリ、奥行き情報メモリの動作を示す
説明図。

【図３】 ２次元映像から被写体の境界を抽出した例を
示す図。

【図４】 ２次元映像を指定された奥行き情報で配置し
たもの、およびディスプレィ面での画素配置との関係を
示す図。

【図５】 被写体の境界付近以外の画素を補間して視差
映像を生成する場合の説明図。

【図６】 被写体の境界付近の画素を補間して視差映像
を生成する場合の説明図。

【図７】 動きベクトルと視差領域との関係を示す説明
図。

【図８】 ブロックマッチングに用いるブロックの形状
の例を示す図。

【図９】 動きベクトルと被写体境界のフレーム間での
関係を水平方向で示した例を示す図。

【図１０】 動きベクトルと被写体境界のフレーム間で
の関係を水平方向で示した例を示す図。

【図１１】 動きベクトルと被写体境界のフレーム間で
の関係を2次元方向で示した例を示す図。

【図１２】 動きベクトルと被写体境界のフレーム間で
の関係を2次元方向で示した例を示す図。

【図１３】 動きベクトルと被写体境界のフレーム間で
の関係を2次元方向で示した例を示す図。

【図１４】 視差生成に必要な画素を検索する方法を示
すフローチャート。

【図１５】 動きベクトルと被写体境界のフレーム間で
の関係を2次元方向で示した例を示す図。

【図１６】 視差生成に必要な画素を検索する方法を示
すフローチャート。

【図１７】 検索した画素を現フレーム上に 3次元的に
配置する方法を示す説明図。

【図１８】 視差生成に必要な画素がなかった場合の補
間処理を示す説明図。

【図１９】 本発明の第２の実施の形態を示す構成図。

【図２０】 相対動きベクトルの大きさに従ってメモリ
に格納するフレームを制御する方法を示す説明図。

【図２１】 本発明の第３の実施の形態を示す構成図。

【図２２】 奥行き情報の差分の大きさに従ってメモリ
に格納するフレームを制御する方法を示す説明図。

【図２３】 本発明の第４の実施の形態を示す構成図。

【図２４】 被写体の境界近傍の空間周波数成分に従っ
て境界の存在する範囲を制御する方法を示す説明図

【符号の説明】

１０１…立体映像生成装置、１０２…映像メモリ、１０
３…奥行き情報メモリ、１０４…映像メモリインターフ
ェース、１０５…奥行き情報メモリインターフェース、
１０６…被写体境界抽出部、１０７…対応画素算出部、
１０８…動きベクトル算出部、１０９…対応画素検索
部、１１０…補間映像生成部、２０１…映像メモリ、２
０２…奥行き情報メモリ、１９０１…立体映像生成装
置、１９０２…相対動きベクトル平均算出部、１９０３
…映像メモリインターフェース、１９０４…奥行き情報
メモリインターフェース、２１０１…立体映像生成装
置、２１０２…奥行き情報差分平均算出部、２１０３…
映像メモリインターフェース、２１０４…奥行き情報メ
モリインターフェース、２３０１…立体映像生成装置、
２３０２…被写体境界抽出部。

Claims (8)

【特許請求の範囲】
1. 【請求項１】 2次元映像信号から立体映像信号を生成
   する場合に、前記2次元映像信号の奥行き情報が与えら
   れるとき、 前記2次元映像信号と前記奥行き情報とを複数フレーム
   分メモリに格納し、 2次元映像信号中の少なくとも被写体像と背景像との境
   界を検出し、 前記境界近傍の視差情報を生成する場合には、視差を得
   るための画素を前記２次元映像信号の前方及び又は後方
   フレームから検索し画素演算により補間画素を得ること
   で生成し、 境界近傍以外の視差情報を生成する場合には、前記２次
   元映像信号のフレーム内の画素演算により補間画素を得
   ることで生成することを特徴とする２次元映像からの立
   体映像生成方法。
2. 【請求項２】 前記境界近傍の視差をつける場合におい
   て、 視差情報を得るための画素を前方後方フレームから検索
   する方法は、 現在フレームと前方及び又は後方フレームとを比較する
   ことで、前記境界の両側で前景領域側に位置する画素と
   背景領域側に位置する画素とのそれぞれの動きベクトル
   を推定し、 前景領域側に位置する画素の動きベクトルから背景領域
   側に位置する画素の動きベクトルを引いた相対動きベク
   トルを求め、 相対動きベクトルの向きが前景方向を向いている場合に
   は、現在フレームで境界の両側に位置する画素が後方フ
   レーム上でどこに移動するかを求め、後方フレームにお
   いてその画素の間に位置し、かつ背景側に属する画素を
   視差に相当する画素とし、 相対動きベクトルの向きが背景方向を向いている場合に
   は、現在フレームで境界の両側に位置する画素が前方フ
   レーム上でどこに移動するかを求め、前方フレームにお
   いてその画素の間に位置し、かつ背景側に属する画素を
   視差に相当する画素とすることを特徴とする請求項１記
   載の２次元映像からの立体映像生成方法。
3. 【請求項３】 前記境界の両側の前景領域側の動きベク
   トルと背景領域側の動きベクトルを求める際に、ブロッ
   クマッチング法を用いるが、そのブロック形状を被写体
   の境界形状を従って決定し、同一ブロックには同一領域
   の画素のみが含まれるようにブロック形状を決定するこ
   とを特徴とする請求項２記載の２次元映像からの立体映
   像生成方法。
4. 【請求項４】 前記境界近傍の画素に視差をつける場合
   に、視差に相当する画素が前方及び又は後方フレームに
   複数存在する場合には、現在のフレームに時間的に最も
   近いフレーム上の画素を用いることを特徴とする請求項
   ２記載の２次元映像からの立体映像生成方法。
5. 【請求項５】 前記境界近傍の画素に視差をつける場合
   に、視差に相当する画素が前方後方フレームに存在しな
   い場合には、前記境界に接する画素のうち、奥行き情報
   方向で背景側に位置する画素を視差に相当する画素とし
   て代用し、前記視差情報を生成することを特徴とする請
   求項２記載の２次元映像からの立体映像生成方法。
6. 【請求項６】 前記2次元映像信号と奥行き情報を複数
   フレーム分メモリに格納するとき、格納するフレーム間
   隔は、前記相対動きベクトルの水平成分の大きさに従
   い、大きさが小さいほどフレーム間隔を大きくすること
   を特徴とする請求項２記載の２次元映像からの立体映像
   生成方法。
7. 【請求項７】 前記2次元映像と奥行き情報を複数フレ
   ーム分メモリに格納するとき、格納するフレーム間隔
   は、画素間での奥行き情報の差の大きさに従い、奥行き
   情報の差が大きいほどフレーム間隔を大きくすることを
   特徴とする請求項２記載の２次元映像からの立体映像生
   成方法。
8. 【請求項８】 被写体像の境界と考える範囲に位置する
   画素は立体映像を生成する際の補間演算には使用せず、
   被写体像の境界と考える範囲は、被写体像の境界近傍の
   空間周波数成分に従い、空間周波数成分が低くなるほど
   被写体像の境界を考える範囲を広くすることを特徴とす
   る請求項２記載の２次元映像からの立体映像生成方法。