JP2001320731A - ２次元映像を３次元映像に変換する装置及びその方法 - Google Patents

Abstract

(57)【要約】 【課題】 この発明は、ＭＴＤ法とＣＩＤ法との併用し
て２次元映像を３次元映像に変換する場合に、入力映像
により変換映像の立体感が大きく異なるといったことを
回避できる２次元映像を３次元映像に変換する方法を提
供することを目的とする。 【解決手段】 視差量算出手段で算出された各領域毎の
視差量を動きベクトル検出手段で検出された各領域毎の
動きベクトルの大きさに応じて修正する視差量修正手
段、ならびに視差量修正手段で修正された各領域の視差
量に基づいて、切替手段で出力された右目用映像及び左
目用映像の各領域の位相を修正して、立体映像信号とし
て出力する位相制御手段を備えている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、２次元映像を３次
元映像に変換する装置とその方法に関する。

【０００２】

【従来の技術】従来、２次元映像を３次元映像に変換す
る装置及びその方法は、特開平９−１０７５６２号公報
及び特開平１０−５１８１２号公報に記載されている。

【０００３】まず、特開平９−１０７５６２号公報に記
載されている概要を、図１２に基づいて説明する。

【０００４】２次元映像（２Ｄ映像）では、鳥が山の前
を左から右へ飛んでいる様子を画像１から５に示すよう
に、撮像したとする。

【０００５】まず、画像１から画像２に移行する際の動
きベクトル、画像２から画像３に移行するための動きベ
クトル等のように、各画像間の動きベクトルを抽出す
る。次に、抽出した動きベクトルから被写体（鳥）と背
景（山）とを決定する。そして、被写体が背景の前に来
るように基準画像を右または左目画像の一方に決め、動
きベクトルの大きさに応じてフィールド数遅延させた画
像を他方として決める。

【０００６】例えば、基準画像、即ち現在の画像が画像
４とすると、画像３と画像４とから得られた動きベクト
ルの大きさに応じてフィールド遅延させた画像、即ち遅
延画像を画像２とし、動きベクトルの方向から基準画像
を左目用画像、また遅延画像を右目画像に見せている。

【０００７】この動作を繰り返し実行することにより、
立体感のある映像、即ち３次元映像を表示するのであ
る。この方法は、以下ＭＴＤ法と呼ぶことにする。

【０００８】また、特開平１０−５１８１２号公報に記
載されている概要を、図１３に基づいて説明する。

【０００９】まず、２次元画像を複数の領域に分割し、
各領域毎に色成分、高周波成分、コントラストを抽出、
即ち画像特徴を抽出する。次に色情報等により分割した
各領域をグループ化する。そして、グループ化した領域
単位で、その領域の平均コントラスト及び平均高周波成
分等の情報により、奥行き推定を行い視差量を算出す
る。この算出した視差量に基づいて、分割した各領域毎
に左目用画像と右目用画像を反対方法に水平シフトさせ
て、３次元映像を生成している。

【００１０】このようにして作成した左目用映像及び右
目用映像を立体表示手段に表示させて立体表示するので
ある。この方法は、ＣＩＤ法と呼ぶことにする。

【００１１】ＭＴＤ法およびＣＩＤ法について、さらに
詳しく説明する。

【００１２】１．ＭＴＤ法 ＭＴＤ法では、画面内の動きに応じて、左右いずれかの
目に入る映像を遅延させて立体感を作りだす。この際、
映像にとって最適である（目標となる）フィールド遅延
量（目標遅延量dly ＿target）は、被写体背景判別によ
って得た被写体領域の水平方向ベクトルの平均値obj ＿
xvec [pixel / field]と背景領域の水平方向ベクトルbg
＿xvec [pixel / field]を用い、次式１により決定す
る。なお、ベクトルは右方向の動きに対して正の値を取
る。

【００１３】

【数１】

【００１４】ここで、Mdly＿sisaはＭＴＤ法によって生
成する立体感を決定する視差量[pixel] を表し、その値
はユーザーインターフェース等を介し予め設定される。

【００１５】なお、左右いずれの目を遅延させるかとい
う遅延方向は、目標遅延量dly ＿targetを用い次式２に
より決定される。

【００１６】

【数２】

【００１７】ここでは、便宜上、目標遅延量を例に遅延
量の説明を行ったが実際の制御では、目標遅延量を時間
的に平滑化した実遅延量delay により遅延するフィール
ド数と遅延方向を決定する。

【００１８】２．被写***置制御 被写***置制御は、ＭＴＤ法を行った場合に生じる管面
に対する物体呈示位置のあいまいさを是正するために使
用する。すなわち、ＭＴＤ法では、図１４に示すように
被写体が動くか背景が動くかによって、見え方が異な
る。このため、被写***置制御の中央割り振り中央基準
では、被写体が動く場合は、右眼映像の呈示位置を右に
シフトし、左目映像の呈示位置を左にシフトすることで
画面全体を奥方向にもっていくことによって、被写体か
ら管面の画素数と管面から背景の画素数が等しくなるよ
うにしている。また、背景が動く場合は、右眼映像の呈
示位置を左にシフトし、左目映像の呈示位置を右にシフ
トすることで画面全体を手前方向にもっていくことによ
って、被写体から管面の画素数と管面から背景の画素数
が等しくなるようにしている。

【００１９】この被写***置制御の中央割り振り中央基
準によって算出される右眼の水平位相量phr と左眼の水
平位相量phl は、フィールド遅延により発生する被写体
の位相量obj ＿sisaと背景の位相量bg＿sisaを次式３で
表した場合、以下の式４で表現できる。

【００２０】

【数３】

【００２１】

【数４】

【００２２】なお、実遅延量delay は目標遅延量dly ＿
targetを時間的に平滑化しているため、ＭＴＤ法により
生成される視差量dly ＿sisa(=obj ＿sisa - bg ＿sis
a) [pixel] (dly＿sisaは飛び出している場合は正の値
を、奥まっている場合は負の値を取る。) の絶対値とユ
ーザ設定によって予め決定したMdly＿sisa[pixel] とは
完全に一致しない。また、遅延がない（dly ＿target =
0）場合は、dly ＿sisa=0となる。

【００２３】３．ＣＩＤ法 ＣＩＤ法は、一画面を複数の領域に分割し、各々の領域
から得た画像情報及び構図から各領域の奥行きを推定
し、この推定した奥行きを基に画面内の各画素をシフト
することによって両眼視差を生成する手法である。

【００２４】また、本出願人は、既に開発したＣＩＤ法
をさらに改良したＣＩＤ法をも開発している。

【００２５】図１５は、改良後のＣＩＤ法（公知ではな
い）の制御手順を示している。

【００２６】まず、一画面を複数の領域に分割し、各々
の領域から高周波、輝度コントラスト、色(B-Y、R-Y 成
分) の情報を得る（ステップ６１）。そして、これらの
情報及び構図から推定した各領域の奥行き推定値を求め
る（ステップ６２）。求めた奥行き推定値を単にシフト
量に変換すると変換画像に歪みが目立つため、歪み抑圧
処理を行う（ステップ６３）。歪み抑圧処理後の奥行き
推定値に距離スケール変換を施す（ステップ６４）。

【００２７】歪み抑圧処理について説明する。ＣＩＤ法
では、２Ｄ画像を変形し左右画像を生成する。この変形
が大きくなりすぎると不自然な映像となるため、ＣＩＤ
法では、隣接する領域間の位相量の差が、ユーザによっ
て予め定められた変換画像の歪み許容範囲h ＿supp＿le
v[Pixel]以下になるよう制御している。すなわち、推定
した奥行きをMfrontとMrear との間に割り当てることに
よって求めた各領域の位相量から隣接する領域の位相量
の差を求める。この差の最大値をh ＿dv＿max[pixel]と
し、h ＿dv＿max が歪み許容範囲h ＿supp＿lev[pixel]
を越える場合は、次式５を満足するまでMfrontとMrear
を０[pixel] に近づける方向に小さくする。

【００２８】

【数５】

【００２９】従って、h ＿dv＿max がh ＿supp＿lev よ
り大きい場合は、図１６の右側の図に示すように、変換
映像の飛び出し位相量front[Pixel]と奥まり位相量rear
[Pixel] を、次式６の線形演算により、ユーザが予め定
めた最大飛び出し位相量Mfront[Pixel] と最大奥まり位
相量Mrear[Pixel]より小さくする。

【００３０】

【数６】

【００３１】逆に、h ＿dv＿max がh ＿supp＿lev より
小さい場合は、変換画像の歪みは許容範囲内であるか
ら、図１６の左側の図に示すように、次式７が成り立
つ。

【００３２】

【数７】

【００３３】つまり、h ＿dv＿max がh ＿supp＿lev よ
り小さい場合は、変換映像の位相のダイナミックレンジ
dv＿range(=front rear) と、ユーザが予め定めた位相
のダイナミックレンジMdv ＿range(=Mfront Mrear) と
は等しくなる。

【００３４】なお、実機におけるこのダイナミックレン
ジを抑圧する歪み抑圧処理は、ＣＰＵ負荷を軽減するた
めh ＿supp＿lev を推定した奥行きの単位に置き換えて
行っているが、ここでは便宜上、画素の単位系を用いて
説明を行った。

【００３５】距離スケール変換方法について説明する。

【００３６】２眼式立体ディスプレイでは、右眼用画像
（Ｒ画像）と左眼用画像（Ｌ画像）の対応点の視差量Ｗ
とその融像位置（実際に見える管面からの距離）Ypと
は、非線形の関係にある。

【００３７】すなわち、ディスプレイ面上で視差Ｗ[mm]
を持つＲ画像およびＬ画像を管面から距離Ｋ[mm]離れた
位置から観察した場合、管面からの融像位置までの距離
Yp[mm]は次式８で表される。

【００３８】

【数８】

【００３９】上記数式８において、各変数は以下の値を
表す。 K ：ディスプレイ管面からの観察者までの距離 [mm] E ：眼間の1/2 の長さ [mm] W ：ディスプレイ面上での左眼用画像と右眼用画像の対
応点の視差量 [mm] Yp：管面から融像位置までの距離[mm]

【００４０】K=1000mm, 2E=65mm として上記数式８をグ
ラフで表すと、図１７のようになる。

【００４１】図１７より、奥行き推定値を線形的に画素
の単位に置き換えただけでは、融像する映像には空間的
な歪みを生じることが分かる。そこで、距離スケール手
法では、空間歪みを考慮して、奥行き推定値を画素の単
位に変換する。

【００４２】以下、距離スケール変換手法について簡単
に説明する。

【００４３】今、ディスプレイ上の１画素の幅をU[mm]
とし、対応点がα画素分の視差Ｗがあるとすると、視差
Ｗは次式９で表される。

【００４４】

【数９】

【００４５】上記数式９を上記数式８に代入することに
より、次式１０に示すように、画素と融像位置の関係が
求まる。

【００４６】

【数１０】

【００４７】また、上式１０を変形し次式１１を得る。

【００４８】

【数１１】

【００４９】完全距離スケール変換では、管面からの最
大飛び出し量Ymax' と管面からの最大奥まり量Ymin' を
指定すると、奥行き推定値depth （０〜１００の値を持
つ）が決まれば対応する奥行きYpは次式１２で表される
単純なスケール変換で得ることができる。

【００５０】

【数１２】

【００５１】そして、Ypに対応する視差量αは、上記１
１により求められる。これにより、空間歪みを考慮し
て、奥行き推定値を画素の単位に変換することができ
る。

【００５２】完全距離スケール変換において、２５６段
の視差量変換テーブルＷ" を用いる場合は、図１８に示
すように、まず、Ymax' 〜Ymin' の間を２５６等分し、
各奥行き値Yp毎に対応した視差量変換テーブルW''[pixe
l]を上記式１１に基づいて求める。

【００５３】この場合、W"[255] がYmax' に対応した視
差量となり、W"[0] がYmin' に対応した視差量となる。
そして、奥行き推定値depth が決まれば、対応する視差
量αは次式１３より求まる。

【００５４】

【数１３】

【００５５】ここで、lev は視差量変換テーブル上の段
数を表し、次式１４で与えられる。

【００５６】

【数１４】

【００５７】ここまで、２Ｄ／３Ｄ変換における完全距
離スケール変換手法について述べたが、この手法には以
下に示す２つの問題がある。

【００５８】(1) 奥行きYpが飽和する所まで最大飛び
出し量Ymax' を大きくすると、Ymax'近傍の奥行き値を
持つ部分において、変換画像自体の歪み( Ｒ画像、Ｌ画
像自体の歪み) が大きくなる。

【００５９】(2) 奥行き再現空間のダイナミックレン
ジを大きく取ろうとすると、最大奥まり量Ymin' を小さ
くするしかないので、管面より前に飛び出す領域が極端
に少なくなる。

【００６０】上記の問題を回避するためには、奥行きと
視差量がある程度比例関係にある領域のみ使用して変換
する必要がある。しかし、それでは画素スケール変換と
ほぼ同じになってしまい、複雑な処理を行う関係上、完
全距離スケール変換はもはや有用とは言い難い。

【００６１】そこで、考案したのが次に紹介する折れ線
距離スケール変換である。折れ線距離スケール変換で
は、図１９に示すように、飛び出し量比Ｃ[%] を導入
し、Ymax' 〜0 を255*C/100 等分し、0 〜Ymin' を255
｛(1-C)/100)｝等分することで、視差量変換テーブルを
求める。

【００６２】すなわち、飛び出し量比Ｃを制御すること
で、管面より前の飛び出し量を変え、かつ、最大飛び出
しとなる部分での変換画像自体の歪みを抑えることがで
きる。なお、折れ線距離スケール変換において上記式１
２に対応する式は、次式１５となる。

【００６３】

【数１５】

【００６４】また、視差量変換テーブルＷ" の段数を表
す上記式１４に対応する式は、次式１６となる。

【００６５】

【数１６】

【００６６】ここで、Dlevは、次式１７で定義され、管
面に対応する視差量変換テーブル上の段数を表す。

【００６７】

【数１７】

【００６８】折れ線距離スケール変換は管面より前と、
管面より奥において、それぞれ空間的な歪みが出ないよ
うになっている。逆に言えば、管面において空間的な歪
みがでることになる。これは、「立体映像を見た場合、
管面前後で見え方が違う。」という多くの視聴者から得
た言葉より、空間的な歪みは管面近傍で最も分かりづら
くなるという仮説に基づいている。

【００６９】なお、実際に使用している値は、管面前後
での奥行き視差量変換テーブルの傾向（ステップ幅）が
大きく違わないようYmax',Ymin',C を決定している。

【００７０】４．ＭＴＤ法とＣＩＤ法との併用 一般に、人は、目の位置の視差により生じる左右の死角
部の差により立体視の距離感などを知覚している。この
点、ＭＴＤ法では、カバーできる反面、動きのない映像
や動きの複雑な映像ではうまく３次元映像に変換できな
かった。また、ＣＩＤ法では左右目用画像の視差量は自
由に変更できる反面、人の左右の目にはその視差により
被写体の影になる死角部分が異なって見えるように見せ
ることができなかった。

【００７１】そこで、動画に対して効果的なＭＴＤ法
と、静止画も変換可能なＣＩＤ法を併用して、２Ｄ／３
Ｄ変換を行なうことが考えられる。この場合には、ＭＴ
Ｄ法で得られた視差とＣＩＤ法で得られた視差を単純に
加算することが考えられる。

【００７２】しかしながら、ＭＴＤ法による視差とＣＩ
Ｄ法による視差を個別に制御しているため、変換によっ
て生成される視差は入力映像の動きの有無によって大き
く左右される。すなわち、入力映像が動画の場合はＭＴ
Ｄ法の視差とＣＩＤ法の視差が変換映像に反映される
が、静止画の場合はＭＴＤ法の視差はなくＣＩＤ法の視
差のみとなる。

【００７３】このように入力映像により変換映像の立体
感が大きく異なる現象は、ユーザーが立体感を調整する
際に都合が悪い。

【００７４】

【発明が解決しようとする課題】この発明は、ＭＴＤ法
とＣＩＤ法とを併用して２次元映像を３次元映像に変換
する場合に、入力映像により変換映像の立体感が大きく
異なるといったことを回避できる２次元映像を３次元映
像に変換する方法を提供することを目的とする。

【００７５】

【課題を解決するための手段】この発明による２次元映
像を３次元映像に変換する装置は、映像信号源から入力
された２次元映像信号をフィールド毎に記憶するフィー
ルドメモリ、入力映像信号のフィールド間の動きに応じ
た動きベクトルを、入力映像の各領域毎に検出する動き
ベクトル検出手段、フィールドメモリに格納された映像
信号のうちから、入力映像信号に対して、動きベクトル
検出手段によって検出された各領域の動きベクトルから
求められた遅延量だけ遅延した映像信号をフィールドメ
モリから読み出す読み出し手段、動きベクトル検出手段
で検出された各領域の動きベクトルの水平成分の方向に
基づいて、入力映像信号とフィールドメモリから読み出
された映像信号とのうち、一方の映像信号を左目映像信
号として、他方の映像信号を右目映像信号として出力す
る切替手段、入力映像信号から映像特徴量を、入力映像
の各領域毎に抽出する特徴量抽出手段、特徴量抽出手段
で抽出された各領域毎の画像特徴量に基づいて、入力映
像の各領域毎に奥行き量を算出し、算出した各領域毎の
奥行き量から各領域毎の視差量を算出する視差量算出手
段、視差量算出手段で算出された各領域毎の視差量を動
きベクトル検出手段で検出された各領域毎の動きベクト
ルの大きさに応じて修正する視差量修正手段、ならびに
視差量修正手段で修正された各領域の視差量に基づい
て、切替手段で出力された右目用映像及び左目用映像の
各領域の位相を修正して、立体映像信号として出力する
位相制御手段を備えていることを特徴とする。

【００７６】視差量修正手段としては、たとえば、視差
量算出手段によって算出された各領域毎の視差量から、
対応する領域の動きベクトルの大きさに応じた視差量を
減算した差分視差量を各領域毎に算出する手段、および
隣接領域間の差分視差量の差の最大値が所定範囲内とな
るように、ダイナミックレンジを変更して各領域毎の差
分視差量を算出する手段を備えているものが用いられ
る。

【００７７】視差量修正手段によって得られた各領域毎
の差分視差量と対応する領域の動きベクトルの大きさに
応じた視差量との和が所定範囲を越える場合には、その
余剰視差量に応じた量だけ、遅延量を減少させる手段を
設けることが好ましい。

【００７８】この発明による２次元映像を３次元映像に
変換する方法は、映像信号源から入力された２次元映像
信号をフィールド毎にフィールドメモリに記憶させる第
１ステップ、入力映像信号のフィールド間の動きに応じ
た動きベクトルを、入力映像の各領域毎に検出する第２
ステップ、フィールドメモリに格納された映像信号のう
ちから、入力映像信号に対して、第２ステップによって
検出された各領域の動きベクトルから求められた遅延量
だけ遅延した映像信号をフィールドメモリから読み出す
第３ステップ、第２ステップで検出された各領域の動き
ベクトルの水平成分の方向に基づいて、入力映像信号と
フィールドメモリから読み出された映像信号とのうち、
一方の映像信号を左目映像信号として、他方の映像信号
を右目映像信号として出力する第４ステップ、入力映像
信号から映像特徴量を、入力映像の各領域毎に抽出する
第５ステップ、第５ステップで抽出された各領域毎の画
像特徴量に基づいて、入力映像の各領域毎に奥行き量を
算出し、算出した各領域毎の奥行き量から各領域毎の視
差量を算出する第６ステップ、第６ステツプで算出され
た各領域毎の視差量を第２ステップで検出された各領域
毎の動きベクトルの大きさに応じて修正する第７ステッ
プ、ならびに第７ステップで修正された各領域の視差量
に基づいて、第４ステップで出力された右目用映像及び
左目用映像の各領域の位相を修正して、立体映像信号と
して出力する第８ステップを備えていることを特徴とす
る。

【００７９】第７ステップとしては、たとえば、第６ス
テップによって算出された各領域毎の視差量から、対応
する領域の動きベクトルの大きさに応じた視差量を減算
した差分視差量を各領域毎に算出するステップ、および
隣接領域間の差分視差量の差の最大値が所定範囲内とな
るように、ダイナミックレンジを変更して各領域毎の差
分視差量を算出するステップを備えているものが用いら
れる。

【００８０】第７ステップによって得られた各領域毎の
差分視差量と対応する領域の動きベクトルの大きさに応
じた視差量との和が所定範囲を越える場合には、その余
剰視差量に応じた量だけ、遅延量を減少させるステップ
を備えていることが好ましい。

【００８１】

【発明の実施の形態】以下、この発明の実施の形態につ
いて説明する。

【００８２】〔１〕第１の実施の形態の説明 まず、図１および図２を参照して、この発明の第１の実
施の形態について説明する。

【００８３】図１において、１はＶＴＲ、ＣＤ−ＲＯ
Ｍ、ＴＶ放送等の映像信号供給手段となる映像供給源、
２は映像供給源１から供給された２次元映像信号を３次
元映像信号、即ち左目用映像信号Ｌ及び右目用映像信号
Ｒに変換する２Ｄ／３Ｄ変換装置、３は２Ｄ／３Ｄ変換
装置２から出力された３次元映像信号を表示するイメー
ジスプリッター方式等を使用した立体表示手段である。

【００８４】２Ｄ／３Ｄ変換装置２の構成について説明
する。

【００８５】４は、該映像供給源１からの映像信号を１
フィールド単位で映像を記憶するフィールドメモリ、５
は映像供給源１からの映像信号から動きベクトルを検出
する動きベクトル検出手段である。

【００８６】６は映像供給源１から供給される映像から
色成分を抽出する色抽出手段、７は映像供給源１の映像
からコントラストを抽出するコントラスト抽出手段、８
は映像信号源１の映像から高周波成分を抽出する高周波
成分抽出手段である。かかる色抽出手段６、コントラス
ト抽出手段７、高周波成分抽出手段８は、本発明の画像
特徴量抽出手段に相当する。

【００８７】９は動きベクトル検出手段５で検出した動
きベクトルから動きの方向とその動き量（動きベクトル
の大きさ）とを求めて、出力する動き量算出手段、１０
は現在の画像を基準として動き量算出手段９から出力さ
れた動き量に応じたフィールド数遅延した画像をフィー
ルドメモリ４から読みだすメモリ制御手段、１１は動き
量算出手段９から出力された動きの方向に基づいて、基
準画像即ち現在の画像を左目用映像信号Ｌまたは右目用
映像信号Ｒのいずれにするのか切り換え３次元映像信号
を出力する切換手段である。

【００８８】１２は映像供給源１の映像から色抽出手段
６の色成分及び動き量算出手段９で算出した動き量及び
方向により被写体や背景などのように同じ物体と判断で
きる部分をグループ化し、グループ化情報を出力するグ
ループ化手段、１３は動き量算出手段９で算出した動き
量とグループ化手段でグループ化した各領域情報とから
奥行き情報を算出し、一画面の奥行きマップを作成する
第１奥行きマップ作成手段である。

【００８９】１４は該グループ化手段１２でグループ化
した領域毎に前記コントラスト抽出手段７で抽出したコ
ントラスト情報より奥行き情報を算出し、一画面の奥行
きマップを作成する第２奥行きマップ作成手段、１５は
前記グループ化手段１２でグループ化した領域毎に前記
高周波成分抽出手段８で抽出した高周波成分情報より奥
行き情報を算出し、一画面の奥行きマップを作成する第
３奥行きマップ作成手段、１６は予め設定された構図情
報とグループ化手段１２でグループ化された領域情報と
から奥行き情報を算出し、一画面の奥行きマップを作成
する第４奥行きマップ作成手段である。

【００９０】１７は第１から第４奥行きマップ作成手段
１３、１４、１５，１６で作成した奥行きマップを加重
加算して合成し、合成マップを作成する合成マップ作成
手段、１８は該合成マップ作成手段１７で作成した合成
マップより各領域毎の視差量を算出する視差量算出手
段、１９は視差量算出手段１８で算出した視差量に基づ
き、切換手段１１から出力された左右目用画像の各領域
を、たとえば画素単位で水平方向にシフトさせ、合成す
る水平位置設定手段である。

【００９１】なお、前記視差量算出手段１８は、動き量
算出手段９で算出された動き量に基づいてフレーム遅延
が行われる分を考慮するため、前記動き量に応じて水平
位置設定手段１９に出力する視差量を修正、即ち減少さ
せている。したがって、本発明の視差量修正手段にも相
当する。

【００９２】かかる構成による動作を図２に基づいて説
明する。

【００９３】ステップ１では、映像供給源１の映像信号
を１フィールド単位でフィールドメモリ４に記憶させ
る。ステップ２では動きベクトル検出手段５で映像供給
源１の２次元映像信号の動きベクトルを検出する。具体
的には、現在の画像と１フィールド前の画像とを比較
し、画像内の被写体の移動量とその方向とを動きベクト
ルとして抽出する。そして、動き量算出手段９で動きベ
クトルの動き量及びその方向を算出する。

【００９４】ステップ３では、ステップ２で検出した動
きベクトルの動き量に応じてフィールド数遅延させた画
像をフィールドメモリ４から読み出し、切換手段１１か
ら３次元映像信号として出力する。この時、切換手段１
１は、基準映像を映像供給源１からの２次元映像信号、
また遅延画像をフィールドメモリ４から読み出された映
像信号とし、ステップ２で検出した動きベクトルの動き
の方向に基づいて左目用映像信号Ｌ及び右目用映像信号
Ｒに切り換えて出力している。

【００９５】上記ステップ１〜ステップ３の動作は、Ｍ
ＴＤ法の動作に相当する。次にステップ４では、映像供
給源１からの２次元映像信号から画像特徴を抽出する。

【００９６】具体的には、画像を複数の領域に分割し、
各領域の色情報を色抽出手段６で抽出し、またコントラ
スト情報をコントラスト抽出手段７で抽出し、さらに高
周波成分情報を高周波抽出手段８で抽出し、画像特徴と
している。

【００９７】また、本ステップ４では、被写体や背景な
どの判別に使用するために、色情報及びステップ２の動
き量からグループ化手段１２が画像内の領域をグループ
化している。

【００９８】ステップ５ではステップ４で抽出したコン
トラスト及び高周波成分について、グループ化手段１２
でグループ化情報に応じて第２及び第３奥行きマップ作
成手段１４，１５で各奥行きマップを作成する。また、
ステップＳ２で算出した動き量及びグループ化手段１２
のグループ化情報に応じた奥行きマップを第１奥行きマ
ップ作成手段１３で作成する。さらに、予め設定された
画面の構図（たとえば風景画が主体であれば画面下部が
地面で、画面上部が空、画面中央部に被写体という構
図）及びグループ化手段１２のグループ化情報に応じた
奥行きマップを第４奥行きマップ作成手段１６で作成す
る。

【００９９】ステップ６では合成マップ作成手段１７
が、第１乃至第４奥行きマップ作成手段１３、１４、１
５、１６で作成した奥行きマップを加重加算し、合成し
て合成マップを作成する。

【０１００】ステップ７では視差量算出手段１８がステ
ップ６で作成した合成マップに基づいて左目用画像の視
差量及び右目用画像の視差量を算出する。

【０１０１】以上ステップ４及びステップ７は、ＣＩＤ
法の動作に相当する。

【０１０２】ステップ８では、視差量算出手段１８が、
ステップ２で検出した動きベクトルの動き量に応じて、
ステップＳ７で算出した各視差量を修正する。具体的に
は、ステップ３から出力した３次元映像信号の視差量分
を考慮し、その分視差量を減少させるように修正するの
である。

【０１０３】ステップ９では、水平位置設定手段１９が
ステップ３から出力された３次元映像信号をステップ８
で修正された視差量に基づいて各領域を水平シフトし、
合成する。具体的には、ステップ３で出力した３次元映
像信号の右目用映像信号Ｒをステップ７の右目用画像の
視差量に基づき、また左目用映像信号Ｌをステップ７の
左目用画像の視差量に基づいて画面の各領域毎に水平シ
フトを施す。

【０１０４】そして、ステップ１０では、立体表示手段
３に水平位置設定手段１９で合成した３次元映像信号を
出力し、立体表示させるのである。

【０１０５】〔２〕第２の実施の形態の説明

【０１０６】図３〜図１１を参照して、この発明の第２
の実施の形態について説明する。図３は、２次元映像を
３次元映像に変換する装置（２Ｄ／３Ｄ変換装置）の構
成を示している。

【０１０７】図３において、１０１はＶＴＲ、ＣＤ−Ｒ
ＯＭ、ＴＶ放送等の映像信号供給手段となる映像供給
源、１０２は映像供給源１から供給された２次元映像信
号を３次元映像信号、即ち左目用映像信号Ｌ及び右目用
映像信号Ｒに変換する２Ｄ／３Ｄ変換装置、１０３は２
Ｄ／３Ｄ変換装置２から出力された３次元映像信号を表
示するイメージスプリッター方式等を使用した立体表示
手段である。

【０１０８】２Ｄ／３Ｄ変換装置１０２の構成について
説明する。

【０１０９】１０４は、該映像供給源１０１からの映像
信号を１フィールド単位で記憶するフィールドメモリ、
１０５は映像供給源１０１からの映像信号から動きベク
トルを検出する動きベクトル検出手段である。

【０１１０】１０６は映像供給源１０１から供給される
映像から色成分、コントラスト、高周波成分等の画像特
徴量を領域毎に抽出する画像特徴抽出手段である。

【０１１１】１１０は、動きベクトル検出手段１０５で
検出した動きベクトルから遅延量を算出する遅延量算出
手段である。１０７は現在の入力画像を基準として遅延
量算出手段１１０によって算出された遅延量に応じたフ
ィールド数遅延した画像（遅延画像）をフィールドメモ
リ１０４から読みだすメモリ制御手段である。１０８は
遅延量算出手段１１０から出力された動きの方向に基づ
いて、入力画像および遅延画像のうちの、いずれを左目
用映像信号Ｌとし、いずれを右目用映像信号Ｒとするか
を切り換える切換手段である。

【０１１２】１０９は画像特徴抽出手段１０６によって
抽出された領域毎の画像特徴量に基づいて、奥行き推定
値を領域毎に算出する奥行き推定値算出手段である。１
１１は奥行き推定値算出手段によって算出された領域毎
の奥行き推定値に基づいて、領域毎のＣＩＤ法による視
差量（位相量）を算出するとともに、遅延量算出手段１
１０から出力されたＭＴＤ法の視差量に基づいて、ＣＩ
Ｄ法による視差量を修正して統合視差量（統合位相量）
を算出する視差量算出手段である。

【０１１３】１１３は視差量算出手段１１１で算出した
統合視差量に基づき、切換手段１０８から出力された左
右目用画像の各領域（たとえば画素単位）を、水平方向
にシフトさせ、合成する立体映像合成手段である。

【０１１４】１１２は、視差量算出手段１１１で算出し
た統合視差量および遅延量算出手段１１０から出力され
たＭＴＤ法の視差量に基づいて、遅延量を制御するため
の視差量監視手段である。

【０１１５】この実施の形態では、ＣＩＤ法で得た奥行
き推定値をベースに立体空間の再現を行う。すなわち、
ＣＩＤ法にＭＴＤ法によるオクルージョンを付加した立
体映像の提示を行う。具体的な方法としては、ＣＩＤ法
で算出した各領域の位相（視差量）からＭＴＤ法の位相
（視差量：フィールド遅延によって結果として生成され
る位相）を減算することによって、ＭＴＤ法とＣＩＤ法
を併用した後でも各領域の位相はＣＩＤ法による位相と
等しくなるようにする。このため、下記の優先順位によ
りＭＴＤ法とＣＩＤ法によって生成される位相量を制御
する。

【０１１６】優先順位１ ユーザが設定する位相量の最
大レンジUrange[pixel] 優先順位２ 変換画像における位相シフトに伴う画像歪
みの制限h ＿supp＿lev[pixel] 優先順位３ ＣＩＤ法によって推定される奥行き形状
（奥行き推定値の形状） 優先順位４ Urangeを越えないＭＴＤ法によって生成さ
れる位相量dly ＿sisa[pixel] 優先順位５ ＣＩＤ法によって生成される位相量 [pixe
l]

【０１１７】以下、この優先順位の意味づけについて説
明する。

【０１１８】最も優先順位が高い優先順位１は、統合位
相がユーザが設定する位相量の最大レンジUrangeを越え
ないことを保証する。

【０１１９】優先順位２は、統合位相制御（特にＣＩＤ
法）によって生成される画像の歪みが、ある限界値内(h
＿supp＿lev 以内) であることを保証する。

【０１２０】優先順位３は、ＣＩＤ法によって算出され
る各領域に対する奥行き推定値（奥行きの形状）がＭＴ
Ｄ法とＣＩＤ法を併用した後も保全されることを意味す
る。

【０１２１】優先順位４は、ＭＴＤ法によって生成され
る視差量がUrangeを越えないことを保証する。

【０１２２】最も優先順位が低い優先順位５は、ＣＩＤ
法によって生成される位相は、ＭＴＤ法と併用すること
によってＣＩＤ法単独で生成した位相と異なる値になる
ことを意味する。

【０１２３】図４は、ＣＩＤ法の奥行き形状を保った統
合位相制御処理手順を示している。また、図５は、実施
時の位相の振る舞いを示している。

【０１２４】まず、画像特徴抽出手段１０６によって画
像特徴量を抽出する（ステップ２１）。奥行き推定値算
出手段１０９は、画像特徴抽出手段１０６によって抽出
された画像特徴量に基づいて、ＣＩＤ法の奥行き推定を
行なう（ステップ２２）。すなわち、算出周波数、コン
トラスト、構図重み、被写体背景判別結果重みを適当な
割合で加算し、奥行き推定値を求める。

【０１２５】なお、統合位相制御では、ＣＩＤ法は動画
に対しても使用するため、この加算比率は映像内の動き
の速さに応じ可変とする。具体的には、速い動きによる
高周波成分の値が下がる傾向を補償するため、動きが速
くなる程、高周波成分を加算する割合を減らしている。

【０１２６】そして、このようにして求めた奥行き推定
値をUfrontとUrear 内に距離スケール変換（完全距離ス
ケール変換または折れ線距離スケール変換）し、ＣＩＤ
法による各領域の位相量を求める（ステップ２３）。こ
のＣＩＤ法の位相からＭＴＤ法の位相（＝フィールド遅
延量×その領域の水平方向動きベクトル値) を引いた差
分位相を求め（ステップ２４）、この差分位相に対して
隣接する領域の位相量の差がh ＿supp＿lev[pixel]以下
となるよう歪み抑圧処理を施す（ステップ２５）。

【０１２７】なお、図５の差分位相（＝ＣＩＤ位相−Ｍ
ＴＤ位相）においてＭＴＤ位相の右端とＣＩＤ位相の左
端がオーバラップしているのは、領域毎に両手法の位相
が異なるためである。これは、図６に示すＣＩＤ法の各
領域の位相ph＿cidjからＭＴＤ法の各領域の位相ph＿mt
djを引いた各領域の差分位相ph＿diffj （= ph＿cidj−
ph＿mtdj）の振る舞いから明らかである。ｊは領域番号
を表す。

【０１２８】図６では、上側の３行４列の値は各領域の
位相量[pixel] を表し、下側の図で各領域の位相量を一
列に並べて視覚的に分かりやすくしている。

【０１２９】また、図５の歪み抑圧処理後の位相は、差
分位相に対して歪み抑圧処理を行うことを示している。
上記の歪み抑圧処理後のＭＴＤ法とＣＩＤ法を統合した
位相（統合位相）の最大飛び出し位相量ufront[pixel]
と最大奥まり位相量urear[pixel]とは、図７に示すルー
プ処理によって求められる。

【０１３０】図７は、図４のステップ２３、２４、２５
の処理の詳細を示している。これらの処理は、視差量算
出手段１１１によって行なわれる。

【０１３１】まず、変数Ufront' とUrear'に、ユーザが
設定したUfrontとUrear を設定した後（ステップ３
１）、Ufront' とUrear'とによって規定されるダイナミ
ックレンジで距離スケール変換を施し、ＣＩＤ位相量を
得る（ステップ３２）。次に、ＣＩＤ位相からＭＴＤ位
相を引いた仮の差分位相を求める（ステップ３３）。こ
の仮の差分位相量から求めた隣接領域間の位相差の最大
値h ＿dv＿max [pixel] 、（各隣接領域間での差分位相
量の差のうちの最大値）を求める（ステップ３４）。そ
して、ステップ３５に進む。

【０１３２】後述するように、隣接領域間の位相差の最
大値h ＿dv＿max [pixel] が歪み許容範囲h ＿supp＿le
v [pixel] 内でない場合には、当該隣接領域間の位相差
が歪み許容範囲内になるように、ダイナミックレンジが
小さくした後、再び上記ステップ３２、３３、３４の処
理が行なわれる。

【０１３３】ステップ３５では、このようなループ処理
が行なわれた場合に前回のステップ３４で算出された位
相差の最大値h ＿dv＿max [pixel] が、今回のステップ
３４で算出された位相差の最大値h ＿dv＿max [pixel]
より小さいか否かを判別する。

【０１３４】上記ループ処理が行なわれてない時点で
は、ステップ３５でＮＯとなり、今回のステップ３４で
算出された位相差の最大値h ＿dv＿max [pixel] が、歪
み許容範囲h ＿supp＿lev [pixel] 内であるか否かを判
定する（ステップ３６）。範囲内であるなら、仮の差分
位相を真の目標位相とする（ステップ４２）。

【０１３５】逆に、範囲外であるなら、ＣＰＵ負荷を軽
減するために、ループ回数が制限ループ回数内であるか
否かを判定する（ステップ３７）。ループ回数が制限ル
ープ回数より大きい場合は、仮の差分位相に対する後述
する強制歪み抑圧処理により真の目標位相を求める（ス
テップ４３）。

【０１３６】また、ループ回数が制限ループ回数より少
ない場合は、仮の差分位相を退避した後（ステップ３
８）、隣接領域間の位相差がh ＿supp＿lev 以下になる
まで、Ufront' とUrear'によって規定されるダイナミッ
クレンジを段階的に小さくすることによって最適なufro
nt、urear 値を得る（ステップ３９）。この処理を、以
下、逐次探索処理ということにする。逐次探索処理の詳
細については後述する。

【０１３７】逐次探索処理で求めたufrontとurear との
距離比がユーザ指定の距離比になるよう変更する（ステ
ップ４０）。そして、得られたufrontおよびurear を、
Ufront' およびUrear'に設定することにより、ダイナミ
ックレンジを変更した後（ステップ４１）、ステップ３
２に戻って、再度、距離スケール変換を行う。

【０１３８】ステップ３２〜ステップ４１の一連の処理
を隣接領域間の位相差の最大値h ＿dv＿max[pixel]が歪
み許容範囲h ＿supp＿lev [pixel] 内になるか、途中で
中断されるまで繰り返し、最終的な目標位相量を得る。

【０１３９】図７における２種類のループの中断につい
て順に説明する。

【０１４０】まず、第１の中断は、ステップ３７におい
て、ＣＰＵ負荷を軽減するためにループ回数が制限ルー
プ回数に達したときに発生する。この条件によって中断
した場合は、仮の差分位相に対し、次式１８に示すよう
な、上記式６と同意義の画素スケール的な歪み抑圧処理
を行いufront,urear値を決定し、このレンジ内に奥行き
推定値をレンジ変換する。

【０１４１】

【数１８】

【０１４２】ここで、df＿ufront、df＿urear はそれぞ
れ仮の差分位相の最大値と最小値を表し、差分位相に対
する隣接領域間の最大位相差を算出する段階で取得する
ものとする。そして、このようにして新たに求められた
レンジ内に差分位相が収まるようにする。なお、上記式
１８のufrontとurear に対し、次式１９で表される距離
比維持の処理を行っても何等問題はない。

【０１４３】

【数１９】

【０１４４】第２の中断は、ステップ３５において、ス
テップ３２〜ステップ４１のループ処理が行なわれた場
合に前回のステップ３４で算出された位相差の最大値h
＿dv＿max [pixel] が、今回のステップ３４で算出され
た位相差の最大値h ＿dv＿max [pixel] より小さい場合
に発生する。

【０１４５】この中断が起こるのは、現ループでの隣接
領域間の位相差の最大値h ＿dv＿max が、ダイナミック
レンジを十分小さくしたにも関わらず、１つ前のループ
で得た際の値より小さくならない場合である。これは、
歪み抑圧処理によりＭＴＤ法によって生成される位相が
変更されないことにより起こる。すなわち、図８に示す
ように、ＭＴＤ法によって生成される被写体と背景の位
相の差が大きい場合は、ループ数を増やしてもＭＴＤ位
相の位相差が邪魔をしダイナミックレンジが小さくなら
ず、結果として差分位相が、h ＿supp＿lev 以下にはな
らない。

【０１４６】このような場合は、処理を中断し、ステッ
プ４３と同様な処理によって、ダイナミックレンジ変更
を行う（ステップ４４）。ただし、この場合には、ステ
ップ３８で退避された仮の退避差分位相に対しダイナミ
ックレンジ変更を行う。ここで仮の退避差分位相に対し
てダイナミックレンジを変更しているのは、歪み抑圧の
ループを重ねるごとにＭＴＤ法の位相が差分位相の形状
に影響を及ぼしかつ差分位相のダイナミックレンジが減
少する傾向を緩和するためである。

【０１４７】しかし、このような手法はあくまで対症療
法であり、根本的にＭＴＤ法の位相によって引き起こさ
れる強制歪み抑圧処理の発生頻度を下げるまでには至ら
ない。

【０１４８】このような現象の発生頻度を下げるために
は、ＭＴＤ位相自体の隣接領域間の位相差を小さくする
必要がある。このため、統合位相制御では、各領域のＭ
ＴＤ位相ph＿mtdjとして、本来その領域が持つ視差量
（＝フィールド遅延量×その領域の水平方向動きベクト
ル値) を隣接領域間と平滑化した後の値を用いている。

【０１４９】また、強制歪み抑圧処理の発生頻度を下げ
るためには、ＭＴＤ法とＣＩＤ法の位相の形状を似せる
必要がある。このため、統合位相では図４に示すよう
に、ＭＴＤ位相が大きくなる領域ではＣＩＤ位相も大き
くなるように被写体背景判別の結果を考慮して奥行き推
定を行っている。

【０１５０】図７のステップ３９のダイナミックレンジ
の逐次探索処理について説明する。

【０１５１】差分位相の隣接領域間の位相差が最大と
なる領域を決定する。

【０１５２】探索の方向を決定する。具体的には、
で決定した位相差が互いに最大となる２領域のＣＩＤ位
相の値に応じて探索の方向を決定する。

【０１５３】ufront値ないしurear 値を管面の値に近
づける。

【０１５４】上記２領域に対して、更新後のufront値
およびurear 値で規定されるダイナミックレンジを用い
た距離スケール変換を行なって、上記２領域のＣＩＤ位
相を算出する。

【０１５５】２領域の差分位相(=ＣＩＤ位相−ＭＴＤ
位相) を算出する。

【０１５６】両領域間の差分位相の位相差h ＿dv＿ma
x を算出する。

【０１５７】で求めた位相差h ＿dv＿max を下記の
順で判定する。 1). h＿dv＿max がh ＿supp＿lev 以下の場合は、処理
を終了する。 2). h＿dv＿max が１つ前のループのh ＿dv＿max より
大きくなる場合は、求める値を１つ前のループで使用し
たufront値ないしurear 値として、処理を終了する。 3). h＿dv＿max がh ＿supp＿lev より大きい場合は、
に飛ぶ。

【０１５８】次に、視差量監視手段１１２によって行な
われる、ＭＴＤ法によって生成される視差（位相）の制
御方法について説明する。

【０１５９】ＣＩＤ法の立体再現性を保った統合位相制
御では、ＭＴＤ法では被写***置制御を用いていない。
このため、ＭＴＤ法によって生成される位相はユーザが
予め定めた最大飛び出し位相量Ufront[pixel] と最大奥
まり位相量Urear[pixel]を越えることがある。このよう
な現象が起きる場合の位相の振る舞いを図９に示す。図
中の右端のＯＫマークは、ＭＴＤ位相と差分位相との和
である統合位相が、ユーザによって予め定められたダイ
ナミックレンジUrange内であることを表し、ＮＧマーク
は統合位相がダイナミックレンジUrangeを越えることを
表す。

【０１６０】ＮＧのケースでは、以下に示す問題が発生
する。

【０１６１】Urear が眼間と同程度である場合、距離ス
ケールでは眼間以上の奥行きが規定できない。また、Ｎ
Ｇの現象が歪み抑圧処理後も維持する場合は、統合位相
はその大前提であるUrange内の立体再現の原則が守られ
ない。

【０１６２】このような問題を解決するため、ＭＴＤ法
によって生成する立体感を決定する視差量Mdly＿sisaを
予め小さく設定し、ＮＧの現象が起こらないようにする
ことも可能であるが、この方法はＭＴＤ法による立体感
を損なうため好ましいとは言い難い。そこで、Mdly＿si
saを大きく取る代償としてＮＧの現象の発生をある程度
認め、Ufront、Urear を越える位相が発生した場合にの
み目標遅延量dly ＿targetを小さくするという制御が必
要となる（図１０参照）。

【０１６３】なお、この方法でUrange内に位相を抑える
ためには、最初からユーザ設定値のUfront、Urear の代
わりに、ＭＴＤ併用時に発生するUrangeのオーバー分を
見込んで、各々の値より絶対値が小さくなるような値を
内部的なUfrontとUrear として処理する必要がある。ま
た、視差量変換テーブルを用いて距離スケール変換を行
う手法では、変換テーブル外となる位相量に対しては変
換テーブルに収まるよう丸める必要がある。

【０１６４】図１１は、図１０の処理を実現する制御処
理手順（視差量監視手段１１２によって行なわれる制御
処理手順）を示している。

【０１６５】図１１では、各領域の統合位相（実位相と
実遅延量による位相との和）がUfront、Urear を越える
場合に目標遅延量を小さくする。

【０１６６】このため、毎フィールド被写体領域及び背
景領域それぞれのＭＴＤ法による位相量を算出する必要
がある（ステップ５１）。現フィールドの位相量の算出
には、精度を高めるため実位相phase[pixel]及び実遅延
量delay [field] を用いて行う。

【０１６７】実際の制御では、まず、ＭＴＤ法のフィー
ルド遅延によって生じる被写体領域の実視差obj ＿sis
a'[pixe] 及び背景領域の実視差bg＿sisa'[pixel]、い
ずれの領域に属するか不明のＮＧ領域の実視差ng＿sis
a'[piexel] を、次式２０で求める。

【０１６８】

【数２０】

【０１６９】次式２１に示すように、これらと各領域の
真の目標位相量を時間的に平滑化した実位相量rph ＿di
ffj[pixel]を加算することによって、各領域の実統合位
相量u ＿phasej [pixel]を求める（ステップ５２）。

【０１７０】

【数２１】

【０１７１】そして、この実統合位相量u ＿phase がユ
ーザの設定したUfrontからUrear の範囲に入るか否かを
計るため、範囲外の場合はその領域の位相がユーザ設定
からどのくらい離れているかを表す位相量over＿phase
[pixel]を次式２２により求める（ステップ５３）。

【０１７２】

【数２２】

【０１７３】次に１画面を構成する各領域のover＿phas
e の最大値over＿maxp[pixel] を求め、over＿maxpが０
でない場合は、目標遅延量を小さくする目標遅延量抑圧
処理を行う（ステップ５４）。

【０１７４】目標遅延量抑圧処理では、まずフィールド
遅延によって発生する現フィールドの実視差量dly ＿si
sa'[pixel]の絶対値から上記式２２で求めたover＿maxp
を引き、ＭＴＤ法が生成可能な視差量dly ＿sisa" を次
式２３により求める。

【０１７５】

【数２３】

【０１７６】そして、このdly ＿sisa" を基に抑圧した
目標遅延量dly ＿tartget'を次式２４により求める。

【０１７７】

【数２４】

【０１７８】実遅延量の推移速度が実遅延量と目標遅延
量との差に応じて変化する手法に備え、dly ＿target'
と抑圧前の目標遅延量dly ＿targetの大きさを比較し、
より小さい方を最終的な抑圧後の目標遅延量dly ＿targ
et" とする。つまり、最終的な抑圧後の目標遅延量dly
＿target" は、次式２５で表される。

【０１７９】

【数２５】

【０１８０】ここでは、実遅延量と実視差によりＭＴＤ
法の位相の抑圧を行ったが、精度よりＣＰＵへの負荷を
優先させる場合は、目標位相、目標遅延量により行うこ
とも可能である。

【０１８１】

【発明の効果】本発明によれば、動きのない映像や動き
の複雑な映像に対して、人によく立体感を知覚させるこ
とができるようになる。

【図面の簡単な説明】

【図１】第１の実施の形態である２Ｄ／３Ｄ変換装置の
概略構成を示す図である。

【図２】図１の２Ｄ／３Ｄ変換装置の動作を示すフロー
チャートである。

【図３】第２の実施の形態である２Ｄ／３Ｄ変換装置の
概略構成を示す図である。

【図４】統合位相制御の全体的な制御処理手順を示すフ
ローチャートである。

【図５】統合位相制御の全体的な振る舞いを示す模式図
である。

【図６】統合位相制御時の各領域の振る舞いを示す模式
図である。

【図７】図４のステップ２３、２４、２５の詳細な処理
手順を示すフローチャートである。

【図８】統合位相制御において行なわれる歪み抑圧例を
示す模式図である。

【図９】ＭＴＤ法による位相の調整が必要な場合と必要
でない場合とを示す模式図である。

【図１０】ＭＴＤ法の位相抑圧処理を説明するための模
式図である。

【図１１】遅延量抑圧処理手順を示すフローチャートで
ある。

【図１２】従来のＭＴＤ法を説明するための模式図であ
る。

【図１３】従来のＣＩＤ法を説明するための模式図であ
る。

【図１４】被写***置制御を説明するための模式図であ
る。

【図１５】従来のＣＩＤ法の制御処理手順を示すフロー
チャートである。

【図１６】従来のＣＩＤ法におけるダイナミックレンジ
の抑圧処理を説明するための模式図である。

【図１７】視差量Ｗとその融像位置Ypとの関係を示すグ
ラフである。

【図１８】完全距離スケール変換を説明するためのグラ
フである。

【図１９】折れ線距離スケール変換を説明するためのグ
ラフである。

【符号の説明】

１、１０１ 映像供給源 ２、１０２ ２Ｄ／３Ｄ変換装置 ３、１０３ 立体表示手段 ４、１０４ フィールドメモリ ５、１０５ 動きベクトル検出手段 ９ 動き量算出手段 １１、１０８ 切換手段 １８、１１１ 視差量算出手段 １９ 水平位置設定手段 １０６ 画像特徴抽出手段 １０９ 奥行き推定値算出手段 １１０ 遅延量算出手段 １１２ 視差量監視手段 １１３ 立体映像合成手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 飯沼 俊哉 大阪府守口市京阪本通２丁目５番５号 三 洋電機株式会社内 (72)発明者 中島 三生 大阪府大東市三洋町１番１号 三洋電子部 品株式会社内 (72)発明者 森 孝幸 大阪府大東市三洋町１番１号 三洋電子部 品株式会社内 Ｆターム(参考） 5B057 AA20 CA01 CA12 CB13 CD14 DA11 DB02 DB06 DC16 5C021 PA53 PA54 PA58 PA77 PA79 RA01 RA02 RA06 RA15 ZA00 5C023 AA10 AA34 AA37 AA38 BA01 BA02 BA04 BA11 CA02 DA04 5C061 AA21 AA25 AB08 AB18 5L096 AA02 BA20 GA08 HA04

Claims (6)

【特許請求の範囲】
1. 【請求項１】 映像信号源から入力された２次元映像信
   号をフィールド毎に記憶するフィールドメモリ、 入力映像信号のフィールド間の動きに応じた動きベクト
   ルを、入力映像の各領域毎に検出する動きベクトル検出
   手段、 フィールドメモリに格納された映像信号のうちから、入
   力映像信号に対して、動きベクトル検出手段によって検
   出された各領域の動きベクトルから求められた遅延量だ
   け遅延した映像信号をフィールドメモリから読み出す読
   み出し手段、 動きベクトル検出手段で検出された各領域の動きベクト
   ルの水平成分の方向に基づいて、入力映像信号とフィー
   ルドメモリから読み出された映像信号とのうち、一方の
   映像信号を左目映像信号として、他方の映像信号を右目
   映像信号として出力する切替手段、 入力映像信号から映像特徴量を、入力映像の各領域毎に
   抽出する特徴量抽出手段、 特徴量抽出手段で抽出された各領域毎の画像特徴量に基
   づいて、入力映像の各領域毎に奥行き量を算出し、算出
   した各領域毎の奥行き量から各領域毎の視差量を算出す
   る視差量算出手段、 視差量算出手段で算出された各領域毎の視差量を動きベ
   クトル検出手段で検出された各領域毎の動きベクトルの
   大きさに応じて修正する視差量修正手段、ならびに視差
   量修正手段で修正された各領域の視差量に基づいて、切
   替手段で出力された右目用映像及び左目用映像の各領域
   の位相を修正して、立体映像信号として出力する位相制
   御手段、 を備えていることを特徴とする２次元映像を３次元映像
   に変換する装置。
2. 【請求項２】 視差量修正手段は、 視差量算出手段によって算出された各領域毎の視差量か
   ら、対応する領域の動きベクトルの大きさに応じた視差
   量を減算した差分視差量を各領域毎に算出する手段、お
   よび隣接領域間の差分視差量の差の最大値が所定範囲内
   となるように、ダイナミックレンジを変更して各領域毎
   の差分視差量を算出する手段、 を備えていることを特徴とする請求項１に記載の２次元
   映像を３次元映像に変換する装置。
3. 【請求項３】 視差量修正手段によって得られた各領域
   毎の差分視差量と対応する領域の動きベクトルの大きさ
   に応じた視差量との和が所定範囲を越える場合には、そ
   の余剰視差量に応じた量だけ、遅延量を減少させる手段
   を備えていることを特徴とする請求項２に記載の２次元
   映像を３次元映像に変換する装置。
4. 【請求項４】 映像信号源から入力された２次元映像信
   号をフィールド毎にフィールドメモリに記憶させる第１
   ステップ、 入力映像信号のフィールド間の動きに応じた動きベクト
   ルを、入力映像の各領域毎に検出する第２ステップ、 フィールドメモリに格納された映像信号のうちから、入
   力映像信号に対して、第２ステップによって検出された
   各領域の動きベクトルから求められた遅延量だけ遅延し
   た映像信号をフィールドメモリから読み出す第３ステッ
   プ、 第２ステップで検出された各領域の動きベクトルの水平
   成分の方向に基づいて、入力映像信号とフィールドメモ
   リから読み出された映像信号とのうち、一方の映像信号
   を左目映像信号として、他方の映像信号を右目映像信号
   として出力する第４ステップ、 入力映像信号から映像特徴量を、入力映像の各領域毎に
   抽出する第５ステップ、 第５ステップで抽出された各領域毎の画像特徴量に基づ
   いて、入力映像の各領域毎に奥行き量を算出し、算出し
   た各領域毎の奥行き量から各領域毎の視差量を算出する
   第６ステップ、 第６ステツプで算出された各領域毎の視差量を第２ステ
   ップで検出された各領域毎の動きベクトルの大きさに応
   じて修正する第７ステップ、ならびに第７ステップで修
   正された各領域の視差量に基づいて、第４ステップで出
   力された右目用映像及び左目用映像の各領域の位相を修
   正して、立体映像信号として出力する第８ステップ、 を備えていることを特徴とする２次元映像を３次元映像
   に変換する方法。
5. 【請求項５】 第７ステップは、 第６ステップによって算出された各領域毎の視差量か
   ら、対応する領域の動きベクトルの大きさに応じた視差
   量を減算した差分視差量を各領域毎に算出するステッ
   プ、および隣接領域間の差分視差量の差の最大値が所定
   範囲内となるように、ダイナミックレンジを変更して各
   領域毎の差分視差量を算出するステップ、 を備えていることを特徴とする請求項５に記載の２次元
   映像を３次元映像に変換する方法。
6. 【請求項６】 第７ステップによって得られた各領域毎
   の差分視差量と対応する領域の動きベクトルの大きさに
   応じた視差量との和が所定範囲を越える場合には、その
   余剰視差量に応じた量だけ、遅延量を減少させるステッ
   プを備えていることを特徴とする請求項５に記載の２次
   元映像を３次元映像に変換する方法。