JP3091644B2 - ２次元画像の３次元化方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、映画、ＶＴＲ(Video T
ape Recorder) 、ＬＤ(Laser Disc)、ＣＡＴＶ(Cable T
elevision)、テレビ電話、テレビ会議システム、及びビ
デオカメラの撮像信号等の２次元画像を３次元化する方
法に関する。

【０００２】

【従来の技術】３次元画像は歴史的にかなり古くから存
在し、以来さまざまな方式が提案されてきたが、これま
での技術では十分な満足度が得られていないのが現状で
ある。

【０００３】一般に人の目で認識できる画像は３次元画
像であるが、それを記録しようとすると絵画や写真のよ
うに２次元画像に置き換えることになる。また３次元画
像としての記録では、彫刻等が古くからあるが、背景ま
で実像に近いものを含めることは基本的にできていな
い。

【０００４】このため、人の目と同じ３次元で記録表示
させたいということが、人の持つ自然な欲求の一つであ
り続けているのが現状である。ところで、近年アミュー
ズメント施設等で見受けられるようになってきつつある
３次元映像には、表示装置等において、偏光あるいは色
付け等の加工を施された映像をスクリーンに映し出し、
偏光あるいは色付け等の加工を施された映像をスクリー
ンに映し出し、偏光あるいは色付けの眼鏡を人が着用し
て初めて実現し得るものが多くある。

【０００５】これらの表示装置は元々左目映像と右目映
像のソースがあり、それを偏光あるいは色付け等の加工
により、同一のスクリーン上に映し出した後、眼鏡によ
って左目映像と右目映像とを分離するものである。

【０００６】また、最近眼鏡なしの３次元映像表示装置
が実用化されたが、左目映像と右目映像が光学的に見て
いる人の夫々の左目、右目に像を結ぶようになってお
り、元々左目映像と右目映像のソースが準備されている
ことに変わりはない。

【０００７】そして、実用化されている３次元画像表示
装置の殆どは、人の目が立体を知覚する時のさまざまな
機能、両眼視差、運動視差、輻輳、単眼の調節機能等の
内の両眼視差及び輻輳を応用している。

【０００８】ここで左右の眼が離れていることによって
左目画像と右目画像において像のずれがあり、目と物体
との距離によって異なるずれの大小を大脳の視覚中枢で
遠近感として知覚しているのが両眼視差の機能である。

【０００９】左目映像と右目映像のソースを作るには、
実写の場合、人間の左右の目の間隔距離だけ離して２台
のカメラを設置し、撮影することで簡単に行える。その
他のアニメーション等の場合、両眼視差を応用して左目
から見た映像、右目から見た映像を作り出す。

【００１０】最近のコンピュータグラフィックス技術の
進歩により、コンピュータに計算させてアニメーション
の左目映像、右目映像を比較的速く生成させることがで
きるようになってきた。

【００１１】前述のような人間の目で見える実像に近い
３次元画像でなくても実現し得る３次元画像の略全てが
人間の両眼視差を応用しており、手前の画像が背景画像
に対し、左目画像と右目画像とで左右にずれていること
から、例えば特開平２−２９３７３３号公報では平面的
な背景画像と手前画像の夫々を別々に用意して、重ね合
わせ合成を行うことにより、簡便に３次元映像を得られ
る方法が提案されている。

【００１２】このように新しく３次元映像を作り出すこ
とは比較的簡単にできるようになってきたが、既にある
２次元映像から３次元映像に変換することは余り行われ
ていない。

【００１３】映画やＴＶ、ビデオ、写真などの２次元映
像文化の歴史は長く、その間に蓄えられた２次元映像は
膨大な量に上る。また、これらの２次元映像の制作にか
かった費用や時間も莫大なものである。人類が持つこの
ような２次元の文化財産をこれからの３次元映像表示装
置、延ては３次元映像文化に活用していくことが３次元
映像産業の発展、さらには生活やビジネスの文化の発展
に寄与していくものと考えられる。

【００１４】そこで２次元画像ソースから３次元画像に
変換するため、例えば特開平２−３９６９０号公報の発
明では撮像した２次元画像から人物像を抽出し、この人
物像と別途用意した背景画像とを３次元手法的に異なる
位置に表示するように表示装置を構成することにより、
人物像を３次元空間中に実像として表示できるように提
案している。

【００１５】しかし、当該公報の技術では背景画像を元
々の人物像を含んだ２次元画像から取り出すのではな
く、別途用意する必要があった。

【００１６】

【発明が解決しようとする課題】ところで、２次元画像
ソースを３次元画像の左目画像及び右目画像に変換する
ためには２次元画像中から背景（立体化しない領域）よ
り手前にある人物像（立体化したい領域）の画像を抽出
し、両眼視差と遠近感に応じて手前画像を左右にずら
し、背景と重ね、左目画像及び右目画像ができる。

【００１７】しかしながら、手前画像が元々あった領域
には背景画像情報がないことから、手前画像が移動する
ことによって画像情報のない領域ができてしまうことに
なる。

【００１８】この画像情報のない領域を背景画像あるい
は手前画像が左右に延長された画像として補填するに
は、コンピュータグラフィックスを主とするアニメーシ
ョンで作り出す方法も考えられるが、画像を類推して作
り出すことは大変な手間や労力がかかることを否めな
い。

【００１９】その上、既存の２次元画像ソースとして、
映画やＴＶ、ビデオ、写真等殆どのものは実写であり、
実写画像の一部にアニメーション画像が含まれることは
画像の質感が異なることから補填部分が際立って目につ
いてしまい、違和感のある３次元画像になってしまう問
題点が生じる。

【００２０】そこで本発明は、既存の２次元画像の情報
のみからでも違和感の少ない３次元画像化を実現できる
方式を提供することを目的とする。

【００２１】

【課題を解決するための手段】本発明は、２次元画像か
ら３次元画像用の左目画像あるいは右目画像を作成する
２次元画像の３次元化方法であって、２次元画像の立体
化しようとする所定領域の周囲の画像を拡大あるいは縮
小することにより、前記所定領域を左右に移動させて左
目画像あるいは右目画像を作成する。

【００２２】この場合、前記２次元画像を水平方向に複
数に分割し、分割された領域の一つあるいは複数の領域
を立体化する際、該立体化しようとする領域の左右の領
域の画像を拡大あるいは縮小する。

【００２３】もちろん、前記立体化しようとする領域は
任意の基本図形であっても良いし、、前記立体化しよう
とする領域は任意の形状であっても良い。

【００２４】

【作用】上記構成において、立体化しようとする画像領
域を拡大せずにそのまま視差や遠近感に応じて左右にず
らしても、このずらしに対応して立体化しようとする画
像領域以外の領域が同時に拡大あるいは縮小され、当該
ずらしによる画像情報の欠如した部分ができず、従って
補填等の後処理を行う必要がなくなる。

【００２５】なお、この操作は水平方向に領域分割され
た画像の立体化だけでなく、任意の形状の任意の領域の
立体化に応用でき、しかも静止画のみならず動画にも適
用できる。

【００２６】

【実施例】以下本発明の２次元画像の３次元化方法の実
施例として、画面を水平方向に分割し、分割された領域
のうちの特定の領域を立体化する方法を例に挙げて図面
に基づき詳細に説明する。

【００２７】図１は本発明の立体化方法の概念を示す図
である。今、原画像Ｐを図示のように水平方向に５つの
領域（図面左から領域１、２・・・５とする）に分割
し、その真ん中の領域（領域３）を立体化する場合を想
定する。この場合、変換画像Ｑは領域３が元の位置より
右にずれた変換画像Ｑの領域３の形になる。

【００２８】ここで、原画像Ｐの領域１及び領域５は変
換画像Ｑではそのままの大きさで領域１、５となるよう
に設定した。そして、原画像Ｐの領域２は拡大されて変
換画像Ｑの領域２となり、原画像Ｐの領域４は縮小され
て変換画像Ｑの領域４となるように設定した。

【００２９】このように立体化のため水平方向にずれた
領域をはさむ両側の領域が拡大または縮小することによ
り、画素のない領域を作ることなく立体化したい領域を
水平方向にずらすことができるのが本方法の特徴であ
る。

【００３０】次にかかる方法の具体的なアルゴリズムに
ついて説明する。前記図１において垂直方向をｙ座標、
水平方向をｘ座標とするとき、原画像Ｐの領域３の立体
化の方法は図２に示すフローチャートに沿って実現され
る。

【００３１】即ち、開始後まずステップＳ１でｙ座標を
ｙ＝０として初期化するとともに、ステップＳ２でｎ＝
１として初期化し、ステップＳ３で変換画像Ｑの水平方
向の座標ｘ’をｘ’＝ｑ［ｎ−１］［ｙ］と定義する。
なお、最初のルーチンではｎ＝１あるから、ｘ’＝ｑ
［０］［ｙ］であり、原画像Ｐと変換画像Ｑとのライン
の開始点が一致することを意味する。

【００３２】ここで後述するｐ［ｎ−１］［ｙ］と上記
ｑ［ｎ−１］［ｙ］は夫々原画像Ｐ及び変換画像Ｑにお
ける各領域の拡大縮小を制御する境界値であり、１≦ｎ
≦Ｎ［ｙ］、０≦ｙ＜Ｙである。但し、Ｙは画像の縦
（垂直方向）ライン（走査線）数であり、Ｎ［ｙ］はｙ
番目のラインにおける境界値の個数である。そして図１
の領域分割の場合は全てのｙに対してＮ［ｙ］は６とな
る。

【００３３】このように初期化並びに定義を終えてから
ステップＳ４の変換処理に入る。先に説明したように領
域によって拡大したり、縮小したり、あるいは平行移動
したりする。

【００３４】言い換えれば、原画像Ｐのあるライン（垂
直座標値ｙ）上の任意の画素（水平座標値ｘ）が変換画
像Ｑの対応する画素（水平座標値ｘ’）に対して、

【００３５】

【数１】

【００３６】を満たす、ある領域の画素について、

【００３７】

【数２】

【００３８】ならば平行移動の領域であり、この場合数
３に従って、原画像Ｐ上の画素Ｐ（ｘ，ｙ）は変換画像
Ｑ上の画素Ｑ（ｘ’，ｙ）に移動する。

【００３９】

【数３】

【００４０】例えば原画像Ｐの領域３の場合を例に取る
と、この領域３内の任意の画素ｘは前記数３によれば、
次の数４のように移動が行われる。

【００４１】

【数４】

【００４２】そしてこの操作はステップＳ５によるｘ’
のインクリメントによって次の画素の変換画像Ｑのｘ’
が境界値ｑ［ｎ］［ｙ］に一致するまで行われる。ま
た、原画像Ｐのあるライン上の任意の画素ｘが変換画像
Ｑの対応する画素ｘ’に対して、

【００４３】

【数５】

【００４４】ならば拡大処理の領域であり、この場合数
６に従って、原画像Ｐ上の画素Ｐ（ｘ，ｙ）は変換画像
Ｑ上の画素Ｑ（ｘ’，ｙ）に移動する。

【００４５】

【数６】

【００４６】但し数６においてＦ（ｔ）は拡大時の補間
関数であり、ｉを整数とし、［ｘ］をｘを越えない最大
の整数値すると、

【００４７】

【数７】

【００４８】となり、図３に示すような関数となる。例
えば原画像Ｐの領域２の場合を例に取ると、この領域２
内の任意の画素（水平座標値ｘ）は前記数６によれば、
次の数８のように移動が行われる。そしてこの操作はス
テップＳ５による（水平座標値ｘ’）のインクリメント
によって次の画素の変換画像Ｑのｘ’が境界値ｑ［ｎ］
［ｙ］に一致するまで行われる。

【００４９】

【数８】

【００５０】さらに、原画像Ｐのあるライン上の任意の
画素（水平座標値ｘ）が変換画像Ｑの対応する画素（水
平座標値ｘ’）に対して、

【００５１】

【数９】

【００５２】ならば縮小処理の領域であり、この場合数
１０に従って、原画像Ｐ上の画素Ｐ（ｘ，ｙ）は変換画
像Ｑ上の画素Ｑ（ｘ’，ｙ）に移動する。

【００５３】

【数１０】

【００５４】但し数１０においてＧ（ｔ）は縮小時の補
間関数であり、ｉを整数とし、［ｘ］をｘを越えない最
大の整数値すると、

【００５５】

【数１１】

【００５６】となり、図４に示すような関数となる。例
えば原画像Ｐの領域４の場合を例に取ると、この領域２
内の任意の画素（水平座標値ｘ）は前記数１０によれ
ば、次の数１２のように移動が行われる。そしてこの操
作はステップＳ５によるｘ’のインクリメントによって
次の画素の変換画像Ｑのｘ’が境界値ｑ［ｎ］［ｙ］に
一致するまで行われる。

【００５７】

【数１２】

【００５８】次に一つの領域内での変換処理がその領域
に含まれる１ライン分の全ての画素について行われると
ステップ７でｎをインクリメントして次の領域に対する
変換処理に進む。

【００５９】そして、ステップＳ８でｎが右端の境界点
に一致するまでこの変換処理が行われ、１ライン分の変
換処理が全ての領域について行われると、ステップＳ９
にてｙをインクリメントして次のラインの画素の処理を
行う。

【００６０】この処理は垂直方向の全ラインについてつ
いて行われ、ステップＳ１０にて最終ラインの処理が終
わったと判断されるまで続けられる。このようにして１
フレームの原画像Ｐの全画素に対して変換処理が施さ
れ、所望の変換画像Ｑを得ることができる。

【００６１】図５は前記図２のフローチャートに基づい
て作成された左目用画像と右目用画像、並びにこれら左
右の画像によって視認される画像のスクリーン面からの
飛び出し状態を示す図である。この場合は中央の領域３
が最も手前に飛び出し、その両側の領域２及び領域４は
図示の如く一定の勾配を保って徐々に飛び出すような画
像となる。

【００６２】また図６に示すように原画像Ｐの水平方向
の領域分割数を増加させることにより、領域３をスクリ
ーン手前に飛び出させ、領域５をスクリーン奥に引っ込
ませることも可能である。

【００６３】図６の場合は領域４を領域３と領域５とで
共通化し、同じ縮小処理を行っているが、図７に示すよ
うにこの領域４をさらに３つの領域４１と領域４２と領
域４３に分割し、領域４１を縮小処理し、領域４３を拡
大処理し、領域４２を平行移動して、領域６を縮小処理
することにより、領域３と領域５との両方をスクリーン
面から手前に飛び出させることも可能である。

【００６４】さらにライン毎に前記境界点の座標を変化
させ、各分割領域の水平方向の間隔を調整することによ
り、上述した図８（ａ）に示すようにずらす領域が垂直
方向で変化しない場合の領域を立体化できるだけでな
く、同図（ｂ）に示すようにずらす領域の形状が任意の
基本図形（この場合真円）の場合、及び同図（ｃ）に示
すようにずらす領域の形状が任意の形状を採る場合にも
対応できる。

【００６５】

【発明の効果】本発明は以上の説明のように、立体化し
ようとする画像領域を拡大せずにそのまま視差や遠近感
に応じて左右にずらしても、このずらしに対応して立体
化しようとする画像領域以外の領域が同時に拡大あるい
は縮小され、当該ずらしによる画像情報の欠如した部分
ができず、従って補填等の後処理を行う必要がなくなる
効果が期待できる。

【００６６】しかも、この操作は水平方向に領域分割さ
れた垂直方向でずらす領域が変化しない画像の立体化だ
けでなく、任意の形状の任意の領域の立体化に応用で
き、しかも静止画のみならず動画にも適用できる効果が
期待できる。

【図面の簡単な説明】

【図１】本発明の変換方法の概念図である。

【図２】変換方法を説明するフローチャートである。

【図３】補間関数Ｆ（ｔ）の一例を示すグラフである。

【図４】補間関数Ｇ（ｔ）の一例を示すグラフである。

【図５】本発明によって得られる左右用画像及びスクリ
ーン面からの飛び出し状態の一例を示す図である。

【図６】本発明によって得られる左右用画像及びスクリ
ーン面からの飛び出し状態の他の例を示す図である。

【図７】本発明によって得られる左右用画像及びスクリ
ーン面からの飛び出し状態のさらに他の例を示す図であ
る。

【図８】（ａ）はずらす領域が垂直方向で変化しない場
合、（ｂ）はずらす領域の形状が任意の基本図形の場
合、（ｃ）はずらす領域の形状が任意の形状をとる場合
の説明図である。

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 15/00 G06T 7/00 G03B 35/00 H04N 13/02 特許ファイル（ＰＡＴＯＬＩＳ)

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 ２次元画像から３次元画像用の左目画像
   あるいは右目画像を作成する２次元画像の３次元化方法
   であって、２次元画像の立体化しようとする所定領域の
   周囲の画像を拡大あるいは縮小することにより、前記所
   定領域を左右に移動させて左目画像あるいは右目画像を
   作成することを特徴とする２次元画像の３次元化方法。
2. 【請求項２】 前記２次元画像を水平方向に複数に分割
   し、分割された領域の一つあるいは複数の領域を立体化
   する際、該立体化しようとする領域の左右の領域の画像
   を拡大あるいは縮小することを特徴とする上記請求項１
   記載の２次元画像の３次元化方法。
3. 【請求項３】 前記立体化しようとする領域は任意の基
   本図形であることを特徴とする上記請求項１記載の２次
   元画像の３次元化方法
4. 【請求項４】 前記立体化しようとする領域は任意の形
   状であることを特徴とする上記請求項１記載の２次元画
   像の３次元化方法。