JP4228646B2 - 立体視画像生成方法および立体視画像生成装置 - Google Patents
立体視画像生成方法および立体視画像生成装置 Download PDFInfo
- Publication number
- JP4228646B2 JP4228646B2 JP2002289559A JP2002289559A JP4228646B2 JP 4228646 B2 JP4228646 B2 JP 4228646B2 JP 2002289559 A JP2002289559 A JP 2002289559A JP 2002289559 A JP2002289559 A JP 2002289559A JP 4228646 B2 JP4228646 B2 JP 4228646B2
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- data
- eye
- stereoscopic
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/34—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、立体視画像生成方法、及び立体視画像生成装置に関する。
【０００２】
【従来の技術】
立体視画像の表示装置の一つとして、観察者の左右の目に異なる画像を認識させ、両眼視差を引き起こして立体視を実現するものがあり、これまでかかる立体視は、レンチキュラレンズを用いるレンチキュラ方式（例えば、非特許文献１の図６.１８）、パララックスバリアを用いるパララックスバリア方式（例えば、非特許文献１の図６.１５、特許文献１）などにより実現されている。
【０００３】
【非特許文献１】
監修者 泉武博 書籍「３次元映像の基礎」オーム社発行 平成７年６月５日（P145-150）
【０００４】
【特許文献１】
特許第３０９６６１３号
上記のパララックスバリア方式では、多数の細かいスリットで作られたパララックスバリアを装着し、立体視表示装置の画素ごとに見える方向を限定している。
【０００５】
すなわち、両眼視差を引き起こす右眼用の画像と、左眼用の画像を対応する目に視認されるように、一つの平面ディスプレイに設定する。かかる両眼視差による立体画像表示を実現するためには右眼用及び左眼用、更に３以上の多眼式の立体画像表示を実現するためには対応する数の複数の目に対応する画像データを作成することが必要である。
【０００６】
したがって、多眼式の立体画像表示を行なう装置においては、座標変換処理や、メモリアクセス回数が視点の数に対応して増加することになる。かかる不都合を解決するものとして、空間内に仮視点を置き、仮視点に基づくスクリーン系のオブジェクトを、両眼視差に応じてスクリーン座標上でずらすことにより、複数視点に対応する画像を生成することが提案されている(例えば、特許文献２参照)。
【０００７】
【特許文献２】
特開２００２−７３００３号公報
ここで、両眼視差に基づく立体視表示を行なう場合、画像表示面を基準とした立体視が可能となる所定の領域が存在する。この立体視が可能な領域の外側では、観測者は、立体視を行えず、像がぶれて表示されていると認識することになる。これにより画像を継続して観察する場合、観察者の目の負担が大きくなるという問題が生じる。
【０００８】
これを、図１を用いて更に説明する。図１Ａは、オブジェクト１に対し、前後位置にオブジェクト２，３が配置される像をオブジェクト１を視点ＯＰとする時に視差を有する左眼用視差カメラＣＬと右眼用視差カメラＣＲで左眼用画像及び右眼用画像を撮像する場合を上方から表した図である。
【０００９】
このとき左眼用視差カメラＣＬと右眼用視差カメラＣＲのそれぞれで得られるは、図１Ｂ，図１Ｃのごとくである。
【００１０】
図１Ｄは更に、前記左眼用座標データＳＬ、右眼用座標データＳＲに対応する左眼用画像データＳＬ、右眼用画像データＳＲを示す図である。この左眼用画像画像データＳＬ、右眼用画像データＳＲを図１Ｅに示すようにバリア方式、レンチキュラ方式などの様々の方式を用いた表示装置で立体視画像表示面ＳＣに表示した像を観察者５により観察する。
【００１１】
観察者５は、表示される左眼用画像データＳＬ、右眼用画像データＳＲを感覚的に融合することにより立体画像として認識することが可能である。
【００１２】
ここで、画像表示装置の立体視画像表示面ＳＣに対し、オブジェクト２,３が所定の距離（立体感の得られる範囲４）以上に離れた位置に結像する場合、観察者５の左眼及び右眼により観察されるオブジェクト２,３の画像は、図１Ｆに示すように、対応する各点の変位（２-１，２-２）(３-１，３-２)が大きく、ブレであると認識され立体視ができない。図１に示す例では立体視できるのはオブジェクト１のみの画像である。
【００１３】
ここで、立体視を成立させる重要な視覚要因は、両眼視差が関わる。右と左の２つの目が離れた位置にあることによって、ある物体を眺めたとき、両眼がそれぞれ認識する像は同じにならず、注視点より離れた位置ではずれが生じる。両眼像にずれがあるとき、図１において説明したように一般に二重像に見えることになるが、両眼視差がある程度以下であるときは、像は一つに融合し、立体像として認識される。
【００１４】
図２はこれを説明する図であり、図２において、観測者５から表示面ＳＣまでの観察距離をＬreal、観測者５の眼間距離をＥ、表示面ＳＣから手前側の立体視可能範囲４の限界距離をｎ、表示面ＳＣから奥側の立体視可能範囲４の限界距離をｆ、視差による対応点の変位差をＤ（手前側の立体視可能な結像限界を与える視差の変位差をＤn、奥側の立体視可能な結像限界を与える視差の変位差をＤf）とする。
【００１５】
ほとんどの観察者にとって、両眼融合の生理的限界距離は、観察距離Ｌrealのおよそ０．０３倍である。例えば、Ｌreal＝６０ｃｍの観察距離では、変位差がＤn又はＤf＝１．８ｃｍ以上離れた対応点を立体視することは困難になる。
【００１６】
この場合、観察者の眼間距離Ｅを６．５ｃｍとすると、手前側の結像限界距離ｎはｎ（６０−ｎ）＝１．８／６．５の関係から表示面ＳＣよりｎ≒１３．０ｃｍ離れた位置が手前側の結像の限界になり、一方、奥側の結像限界距離ｆは、ｆ／（６０＋ｆ）＝１．８／６．５の関係から表示面よりｆ≒２３．０ｃｍ離れた位置が奥側の結像の限界になる。このように、眼間距離Ｅを基準として、立体視可能範囲４の外側では立体視が困難となる。
【００１７】
かかる立体視ができない領域の存在については、上記の非特許文献１、特許文献１、２のいずれにも記載がない。従って、これに対処する技術を示唆する記載も存在しない。
【００１８】
かかる点に鑑みて、本発明の目的は、観測者に負担のない立体視画像を効率よく生成する立体視画像生成方法および立体視画像生成表示装置を提供することにある。
【００１９】
また、本発明は、別の観点から立体視画像と平面視画像を混在させて表示することにより、前記立体視画像を画面上でより目立たせる表示効果を与えるための立体視画像生成方法および立体視画像生成装置を提供することにある。
【００２０】
【課題を解決するための手段】
上記の課題を解決する本発明に従う立体視画像生成方法および立体視画像生成装置は、第１の態様として、
三次元座標を有するポリゴンで構成されるオブジェクトのうち、平面視表示させるオブジェクトデータを基準カメラを原点とする基準カメラ座標系データに、立体視表示させるオブジェクトのデータを所定の視差角を有する右眼用及び左眼用視差カメラをそれぞれ原点とする右眼用及び左眼用視差カメラ座標系データに変換し、
前記基準カメラ座標系のオブジェクトのデータと、前記右眼用視差カメラ座標系のオブジェクトのデータを右眼用画像データとして、ビデオメモリに描画し、
前記基準カメラ座標系のオブジェクトのデータと、前記左眼用視差カメラ座標系のオブジェクトのデータを左眼用画像データとして、ビデオメモリに描画し、
前記ビデオメモリに描画された右眼用画像データと左眼用画像データを合成して、立体視オブジェクトと平面視オブジェクトの混在する画像を立体視表示装置に表示することを特徴とする。
【００２１】
上記の課題を解決する本発明に従う立体視画像生成方法および立体視画像生成装置は、第２の態様として、第１の態様において、
前記平面視表示させるオブジェクトは、三次元座標空間で立体視表示装置の立体視可能範囲外に結像位置を有するオブジェクトであることを特徴とする。
【００２２】
上記の課題を解決する本発明に従う立体視画像生成方法および立体視画像生成装置は、第３の態様として、
三次元座標を有するポリゴンで構成されるオブジェクトのデータを、所定の視差角を有する右眼用視差カメラと左眼用視差カメラのそれぞれを原点とする視差カメラ座標系データに変換し、
前記変換された視差カメラ座標系データにより立体視表示装置の立体視可能範囲内に全てのオブジェクトが結像位置を有するように、前記視差カメラ座標系データの座標を前記立体視可能範囲の奥行き方向に対して圧縮するスケーリングを行い、
前記スケーリングされた視差カメラ座標系データをビデオメモリに描画し、
前記ビデオメモリに描画された描画データを前記立体視表示装置に表示することを特徴とする。
【００２３】
上記の課題を解決する本発明に従う立体視画像生成方法および立体視画像生成装置は、第４の態様として、
三次元座標を有するポリゴンで構成されるオブジェクトのデータを、視差角を有する右眼用視差カメラと左眼用視差カメラのそれぞれを原点とする視差カメラ座標系データに変換し、
前記視差カメラ座標系データに変換する際、前記変換される視差カメラ座標系データの全てのオブジェクトが、立体視表示装置の立体視可能範囲内に結像位置を有するように前記視差角を狭め、
前記狭められた視差角で変換される視差カメラ座標系データを前記立体視表示装置に表示することを特徴とする。
【００２４】
さらに、上記の課題を解決する本発明に従う立体視画像生成方法および立体視画像生成装置は、第５の態様として、
三次元座標を有するポリゴンで構成されるオブジェクトのデータを、基準カメラを原点とする基準カメラ座標系データに変換し、
前記基準カメラ座標系データに変換されたオブジェクトのデータのうち、立体視表示させるオブジェクトのデータを所定の視差角を有する右眼用及び左眼用視差カメラをそれぞれ原点とする視差カメラ座標系のオブジェクトのデータに変換し、
前記基準カメラ座標系のオブジェクトのデータと、前記右眼用視差カメラ座標系のオブジェクトのデータを右眼用画像データとして、ビデオメモリに描画し、
前記基準カメラ座標系のオブジェクトのデータと、前記左眼用視差カメラ座標系のオブジェクトのデータを左眼用画像データとして、ビデオメモリに描画し、
前記ビデオメモリに描画された右眼用画像データと左眼用画像データを合成して、立体視オブジェクトと平面視オブジェクトの混在する画像を立体視表示装置に表示することを特徴とする。
【００２５】
また、上記の課題を解決する本発明に従う立体視画像生成方法および立体視画像生成装置は、第６の態様として、第５の態様において、
前記平面視表示させるオブジェクトは、三次元座標空間で立体視表示装置の立体視可能範囲外に結像位置を有するオブジェクトであることを特徴とする。
【００２６】
上記の課題を解決する本発明に従う立体視画像生成方法および立体視画像生成装置は、第７の態様として、
三次元座標を有するポリゴンで構成されるオブジェクトのデータを、基準カメラを原点とする基準カメラ座標系データに変換し、
前記基準カメラ座標系データから、視差角を有する右眼用視差カメラと左眼用視差カメラを原点とする視差カメラ座標系データを生成し、
前記視差カメラ座標系データを生成する際、全てのオブジェクトが立体視表示装置の立体視可能範囲内に結像位置を有するように圧縮スケーリングを行い、
前記右眼用及び左眼用視差カメラ座標系データをビデオメモリに描画し、
前記ビデオメモリに描画された右眼用及び左眼用の画像データを前記立体視表示装置に合成して表示することを特徴とする。
【００２７】
さらに、上記の課題を解決する本発明に従う立体視画像生成方法および立体視画像生成装置は、第８の態様として、
三次元座標を有するポリゴンで構成されるオブジェクトのデータを、基準カメラを原点とする基準カメラ座標系データに変換し、
基準カメラ座標系データから、視差角を有する右眼用視差カメラと左眼用視差カメラのそれぞれを原点とする視差カメラ座標系データに変換し、
前記視差カメラ座標系データに変換する際、前記変換される視差カメラ座標系データの全てのオブジェクトが、立体視表示装置の立体視可能範囲内に結像位置を有するように前記視差角を狭め、
前記狭められた視差角で変換される視差カメラ座標系データを前記立体視表示装置に表示することを特徴とする。
【００２８】
さらにまた、上記の課題を解決する本発明に従う立体視画像生成方法および立体視画像生成装置は、第９の態様として、第１乃至第８の態様のいずれかにおいて、前記視差カメラ視差角が遊戯者の操作によりリアルタイムに調整可能であることを特徴とする。
【００２９】
更に、上記の課題を解決する本発明に従う立体視画像生成方法および立体視画像生成装置は、第１０の態様として、第９の態様において、前記観察者の操作による調整により視差角が連続的に徐々に変化されることを特徴とする。
【００３０】
本発明の特徴は、以下に図面に従い説明される発明の実施の形態例の説明から更に明らかになる。
【００３１】
【発明の実施の形態】
以下に図面に従い本発明の実施の形態を説明するが、先に本発明の解決原理について説明する。
【００３２】
図３は、本発明の第１の解決原理を説明する図である。図３Ａは、三次元仮想空間にある複数のポリゴンで構成されるオブジェクト１に対し、前後位置に同様に複数のポリゴンで構成されるオブジェクト２，３が配置される状態を示す上面図である。
【００３３】
オブジェクト１を視点ＯＰとする時に、基準カメラＲＣから視点ＯＰに向かう方向の視線に対し所定角度の視線を持つ視差カメラである左眼用視差カメラＣＬと右眼用視差カメラＣＲで、それぞれ左眼用画像及び右眼用画像を撮像する場合を上方から表した図である。
【００３４】
いま、オブジェクト２，３を平面視表示させ、オブジェクト１のみを立体視表示させる場合を考える。この場合、基準カメラＲＣでオブジェクト２，３の座標データが得られる。
【００３５】
一方、オブジェクト１に対する左眼用の座標データは左眼用視差カメラＣＬ により得られる。同様にオブジェクト１に対する右眼用の座標データは右眼用視差カメラＣＲにより得られる。
【００３６】
先の基準カメラＲＣで得られるオブジェクト２，３の座標データは、左眼用の及び右眼用座標データとして共通に使用される。したがって、図３Ａに示す状態のオブジェクト１，２，３に対する左眼用の座標データは、図３Ｂに示すごとくであり、右眼用の座標データは、図３Ｃに示すごとくである。
【００３７】
これらの左眼用の座標データ及び右眼用の座標データのそれぞれから得られる左眼用画像データＳＬ及び右眼用画像データＳＲは図３Ｄに示すごとくである。
【００３８】
これら左眼用画像データＳＬ及び右眼用画像データＳＲを共通の立体画像表示装置に表示させる。このとき、上面から見た関係図が図３Ｅであり、観察者５側から見た関係図が図３Ｆである。
【００３９】
図３Ｅ及び図３Ｆにおいて、立体視表示装置の表示面ＳＣにオブジェクト２，３は平面視画像として表示され、オブジェクト１は立体視画像として表示される。これにより、オブジェクト１の画像がオブジェクト２，３の画像より強調して表示される。同時に、図３Ｆから明らかなように、オブジェクト２，３の像は、オブジェクト２，３の座標位置が立体視可能範囲４を超える場合であっても、平面視画像として表示することにより、図１Ｆとの比較において、表示像２，３がブレた様に表示認識されることが回避できる。
【００４０】
かかる解決原理を、例えばゲームプログラムの画像に適用する場合、中心となるオブジェクト１に対する周辺オブジェクト２，３は、非立体的に表示されるが、画面全体として、前記中心にある主のオブジェクト１が立体視可能であるので、迫力のあるオブジェクト１の画像を観察して遊戯者は、ゲームを実行することが可能である。
【００４１】
図４は、本発明の第２の解決原理を示す図である。図３と同様に、図４Ａは、仮想空間におかれるオブジェクト１に対し、前後位置にオブジェクト２，３が配置される状況をオブジェクト１を視点ＯＰとする時に、視差カメラである左眼用視差カメラＣＬと右眼用視差カメラＣＲで撮像する場合を上方から表した図である。
【００４２】
このとき、オブジェクト２，３は、表示装置で立体感の得られる範囲４を超えている。かかる場合、第２の解決原理では、オブジェクト２，３の像が表示装置で立体感の得られる立体可視範囲４内となるように、全てのオブジェクトに対して立体可視範囲４の奥行き方向即ち、仮想空間のＺ軸方向に座標を圧縮するスケーリングを行なう（図４Ｂ参照）。これにより、相対位置関係を崩さないで図４Ｃに示すように、オブジェクト１、２，３を立体視観察することができる。
【００４３】
しかし、仮想空間のオブジェクトに対してスケーリングを行なう際、オブジェクトを構成するポリゴンの頂点位置を再計算することが必要となり、処理量が大きくなる。かかる点に関しては、図５に示す第３の解決原理による方法が好ましい。
【００４４】
図５において、図５Ａは、オブジェクト１に対し前後位置にオブジェクト２，３が配置される像を、オブジェクト１を視点ＯＰとする時に視差角を有する左眼用視差カメラＣＬと右眼用視差カメラＣＲで撮像する場合を上方から表している。
【００４５】
このとき左眼用視差カメラＣＬと右眼用視差カメラＣＲのそれぞれで得られる投影面ＳＣの左眼用座標データＳＬと右眼用座標データＳＲは、図５Ｂ，図５Ｃのごとくである。図５Ｄは更に、左眼用座標データＳＬと右眼用座標データＳＲによる左眼画像及び右眼画像を示す図である。
【００４６】
図５の解決原理の特徴は、左眼用視差カメラＣＬと右眼用視差カメラＣＲ間の前記の視差角をオブジェクト２，３の画像が立体視可能範囲４に入るような小さな視差角に設定していることである。
【００４７】
これにより、視差による変位の幅が小さくなるため、画像表示面ＳＣからオブジェクト２,３の結像位置までの距離が小さくなり、立体視可能範囲４内にオブジェクト２，３の像を置くことが可能である。したがって、図４に示した例によりスケーリングを行なう場合と同等の効果が得られる。
【００４８】
すなわち、図５Ｆに示すように、シーン全体のオブジェクト１、２，３の相対位置関係を崩さずに、立体視することができる。
【００４９】
図６は、上記の本発明の解決原理に従う立体視画像生成方法が適用される立体視画像生成装置としてのゲーム装置１００の構成例を示す図である。図６Ａは、ゲーム装置１００の概観構成例であり、図６Ｂは、ハードウェアブロック図である。
【００５０】
ゲーム装置１００の筺体１０１の前面側に突き出た操作卓を有し、操作卓にはゲームコントロール部１０２、視差調整部１０３を有し、更に前面に向かう立体視画像表示部１０４を有している。更に、演算処理・画像処理部１０５が内蔵されている。
【００５１】
演算処理・画像処理部１０５において、ゲームコントロール部１０２、視差調整部１０３から入力される情報に従って、立体視映像データを生成して立体視画像表示部１０４に表示を行なう。
【００５２】
図７は、かかるゲーム装置１００の筺体１０１内部に備えられ、本発明の解決原理に従う立体視画像生成方法が適用される立体視映像データを生成する演算処理・画像処理部１０５の構成例を示すブロック図である。
【００５３】
図７において、ワークメモリ１０には、アプリケーションプログラムを格納し、ディスプレィリストメモリ１１には、設定、演算及びモデルを形成するポリゴン描画の手順のプログラムであるディスプレィリストを格納する。
【００５４】
これらアプリケーションプログラム及びディスプレィリストをワークメモリ１０から読み出し、ＣＰＵ１２でプログラム処理が行われる。インタフェースであるブリッジ１３を通して、ＣＰＵ１２のプログラム処理結果がジオメトリ部１４に送られる。
【００５５】
ジオメトリ部１４は、ＣＰＵ１２のプログラム処理結果に基づき、ワールド座標データで定義される複数のポリゴンで構成されるモデルデータをカメラ位置を原点とするカメラ座標系データに変換し、更にクリッピング、カリング、輝度計算、テクスチャ座標演算及び透視投影変換等の処理を行なう。特に、ワールド座標データで定義されるモデルデータのカメラ座標への変換において、基準カメラ座標系データに変換した後、本発明の特徴として視差変換を行い、右眼用及び左眼用視差カメラ座標系データを得る。
【００５６】
次いで、レンダラ(レンダリング部)１５において、テクスチャ座標演算結果に基づき、テクスチャメモリ及びフレームバッファを兼用するビデオＲＡＭ１６からテクスチャデータを読み出しポリゴンの塗りつぶしを行なう。
【００５７】
テクスチャデータの塗りつぶしが行われた画像データは基準カメラ座標系データと右眼用視差カメラ座標系データを右眼用画像データとし、基準カメラ座標系データと左眼用視差カメラ座標系データを左眼用画像データとし、ビデオＲＡＭ１６に再び格納される。ついで、ディスプレィコントローラ１７により、ビデオＲＡＭ１６から読み出した右眼用画像データ及び左眼用画像データの合成を行い、合成された画像データは、立体視表示装置１８に送られ、立体画像の表示が行われる。
【００５８】
図８は、上記図７において説明したように、本発明の立体視画像生成方法の特徴を実現するジオメトリ部１４の処理を示すフロー図である。また、図９は、図８に対応する処理過程を説明する図である。
【００５９】
なお、図８において、処理はポリゴン単位であっても、頂点単位であってもよい。
【００６０】
まず、図７において、ＣＰＵ１４の制御によりワークメモリ１１に格納されている、例としてモデル１、２を有するモデルデータ２０は、ブリッジ１３を通してジオメトリ部１４に読み込まれる（処理工程Ｐ１）。
【００６１】
このモデルデータは、ローカル座標を有している。したがって、ジオメトリ部１４でローカル座標系のモデルデータは、図９Ａに示すようにワールド座標系モデルデータ２０に変換され、更にワールド座標系から基準カメラＲＣを原点とする基準カメラ座標系へ座標変換が施される（処理工程Ｐ２）。
【００６２】
ついで、基準カメラ座標系に座標変換されたモデルデータ１４−１は、視差変換され（処理工程Ｐ３）、視差カメラ座標系データ１４−２となる。ここで、図９Ｂは、基準カメラＲＣを原点とする基準カメラ座標系におけるモデル１，２を示す図であり、図９Ｃは、基準カメラＲＣの視線とθの視差角をなす視差カメラＲ’Ｃを原点とする視差カメラ座標系におけるモデル１，２を示す図である。
【００６３】
なお、図９Ｃにおいて、視差カメラＲ’Ｃを1台のみ示しているが、説明の簡単化のためであり、少なくとも基準カメラＲＣに対し、所定の視差角度θを左眼及び右眼方向に成す２台の視差カメラが必要である。
【００６４】
図９Ｄは、基準カメラ座標系と視差カメラ座標系の関係を示す図である。
【００６５】
次に、視差カメラ座標系データ１４−２に対し透視投影変換を行い（処理工程Ｐ４）、投影座標系データ１４−３即ち、２次元のスクリーン座標系を得る。
【００６６】
ついで、投影座標系データ１４−３は、レンダリング部１５に出力され、レンダリング部１５により、ビデオメモリ１６に視差画像データが描画される。
【００６７】
上記の説明において、本発明の特徴は、引用文献1における画像データ生成の方法と異なるのは、基準カメラ座標系データ１４−１に対し、透視投影変換（処理工程Ｐ３）を行なう前に、視差カメラ座標系データ１４−２を基準カメラ座標系データ１４−１から変換して取得することである。
【００６８】
更に、視差カメラ座標系データへの変換（処理工程Ｐ３）において、先に説明した図３〜図５の本発明の原理に対応して、オブジェクトの結像位置が立体視表示装置１８の立体視可能範囲内に位置するように、視差カメラ座標系データと基準カメラ系データの切り替え(図３参照)、視差カメラ座標系データのスケーリング(図４参照)及び、小さな視差角に設定（図５参照）の処理が行われる。
【００６９】
ここで、視差画像を生成するための上記の基準カメラ座標系データ１４−１を視差カメラ座標系データ１４−２に変換する方法を、図１０を参照して以下に説明する。
【００７０】
図１０Ａに示すように、基準カメラＲＣの位置を座標原点とした場合の座標Ｐ（x, y, z）のオブジェクトは、視点ＯＰ(視差カメラＲ’Ｃからの視線が基準カメラＲＣからの視線と交差する点)するまでの距離をＬvirtual，基準カメラＲＣとの視差角をθとすると、視差カメラＲ’Ｃからは、座標Ｐ'（x', y', z'）に見える。
【００７１】
このとき、次の関係が成立する。
【００７２】
【数１】
【００７３】
ここで視差カメラＲ’Ｃは、図９Ｄに示すように基準カメラＲＣの位置座標を含むＸ軸上にあるものとし、視差によるＺ方向の変動を無視する場合は、
【００７４】
【数２】
【００７５】
と近似できる。
【００７６】
上式２より、パラメータ(Ｌvirtual ,θ)を用いて、基準カメラＲＣから見た座標Ｐ（x, y, z）を、視差カメラＲ’Ｃから見た座標Ｐ'（x', y', z'）に近似的に変換することができる。
【００７７】
全てのモデルデータのポリゴン頂点に対してこの変換をすることにより、基準カメラＲＣから見たシーンを、視差カメラＳＣから見たシーンに近似的に変換することができる（以後、これを視差変換と呼び、用いるパラメータを視差パラメータと呼ぶことにする）。
【００７８】
視差パラメータを左眼用にはパラメータ▲１▼((Ｌvirtual , −θ) 、 右眼用にはパラメータ▲２▼(Ｌvirtual , θ)と設定することにより、図１０Ｂに示すように２眼式立体視表示装置用の２眼の視差画像を生成できる。４眼の場合は図１０Ｃに示すようにパラメータの組は▲１▼(Ｌvirtual , −３θ) 、 ▲２▼(Ｌvirtual , −θ)、▲３▼(Ｌvirtual , θ) 、▲４▼(Ｌvirtual , ３θ)となり、同様に任意の複数ｎ眼にも容易に拡張できる。
【００７９】
かかる視差変換は、図１１に示すように、ジオメトリ部１４に視差変換部１４０を設けて実行する。即ち、基準カメラ座標系データを入力して視差変換パラメータ(Ｌvirtual , ｎθ)１４１によりハードウエアもしくはソフトウエアを設けて上記式１、式２に従う視差変換演算１４２を行なうことが可能である。
【００８０】
ここで、上記のとおり、基準カメラ座標系データＰ（x, y, z）を視差変換パラメータ(Ｌvirtual ,θ)で視差変換を行なった視差カメラ座標系データＰ'（x', y', z'）は式２より
ｘ' ＝ ｘcosθ−ｚsinθ+ Ｌvirtualsinθ
ｙ' ＝ ｙ
ｚ' ≒ ｚ
と表される。
【００８１】
したがって、ｘ成分についてのみの変換を行ない、更に、演算コストを少なくするため、視差変換パラメータ(Ｌvirtual,θ)を
Ａ＝ cosθ
Ｂ＝ −sinθ
Ｃ＝ Ｌvirtualsinθ
と置き換えると
ｘ' ＝ Ａｘ + Ｂｚ + Ｃ
となる。
【００８２】
これを利用して、図１１の視差変換部１４０は、図１２に示すような簡易な構成の演算器で構成することが可能である。
【００８３】
さらに、検討を加えると、視差変換部１４０は、図１３に示すように、視差変換部１４０にｎ眼分の視差パラメータ１４１−１〜１４１−ｎを記憶しておけば、１つの基準カメラ座標系データから、ｎ眼分の視差カメラ座標系データに変換することが可能となり、モデルデータの読み出し(図８の処理工程Ｐ１)及びジオメトリ部１４における座標変換（図８の処理工程Ｐ２）処理を並列処理として１度で済ませられるため、処理を高速化できる。
【００８４】
次に図４に示した解決原理に使用される視差パラメータの求め方について説明する。
【００８５】
三次元座標から二次元スクリーン座標に変換する透視投影変換(x,y,z)→(Sx,Sy)の一般的な式は
Sx = F×x / z + Ch
Sy = F×y / z + Cv
（ただし、F:フォーカス値、Ch:水平方向センター値、Cv:鉛直方向センター）のように表される。
【００８６】
視差変換パラメータ(Ｌvirtual,θ)、(Lvirtual,−θ)で変換した右眼用視差カメラＣＲと左眼用視差カメラＣＬで視差のついた対応点を(ｘR, ｙ, ｚ)、(ｘL, ｙ, ｚ)とすると、立体視表示装置１９の表示画面上での視差による変位差Dは、
【００８７】
【数３】
【００８８】
となる。
【００８９】
次に実空間において、図１４に示すように観測者５から画像表示面ＳＣまでの距離Ｌreal及び観測者５の眼間距離Ｅを固定値とした場合、画像表示面ＳＣから物体が結像される位置までの距離は、物体の視差による変位差Ｄによって決まる。即ち、視差による変位差Dを図１４Ａに示す立体視可能領域４に結像させる範囲内に収めればよい。
【００９０】
ここで、観測者５から表示面ＳＣまでの距離をＬreal、観測者５の眼間距離をＥ、表示面ＳＣから手前側の立体視可能範囲４の距離をｎ、表示面ＳＣから奥側の立体視可能範囲４の距離をｆ、視差による対応点の変位差をＤ、手前側の立体視可能な結像限界を与える視差の変位差をＤn、奥側の立体視可能な結像限界を与える視差の変位差をＤfとすると、
手前側の結合限界は、Ｄ＝Ｄnの時であり、三角形の相似関係より、
Ｄn / ｎ＝Ｅ / ( Ｌreal −ｎ)
Ｄn ＝Ｅ×ｎ / ( Ｌreal −ｎ)
となり、式４(i)より、
２Ｆsinθ(Ｌvirtual−ｚ) / z ＝Ｅ×ｎ / (Ｌreal −ｎ)
sinθ(Ｌvirtual −ｚ) / z ＝Ｅ×ｎ / [２Ｆ(Ｌreal −ｎ)]
の関係がθとｚの間にある。
【００９１】
ここで三次元座標空間における表示対象領域の手前側の限界を手前側のクリップ面ｚ＝ｃnとした時には、
sinθ(Ｌvirtual −ｃn)/ｃn＝Ｅ×ｎ /[２Ｆ(Ｌreal −ｎ)]
sinθ= Ｅ×ｎ×ｃn/[２Ｆ(Ｌreal −ｎ)(Ｌvirtual −ｃn)]
を満たすθ＝θnearが最も手前側の表示物体を結合させるために必要な角度である。
【００９２】
一方、奥側の結合限界は、Ｄ＝Ｄfの時であり、三角形の相似関係より、
Ｄf /ｆ＝Ｅ/(Ｌreal ＋ｆ)
Ｄf ＝Ｅ×ｆ/(Ｌreal ＋ｆ)
となり、式３(iii)より、
２Ｆsinθ(z−Ｌvirtual) / z ＝Ｅ×ｆ/(Ｌreal＋ｆ)
sinθ(ｚ−Ｌvirtual) / ｚ＝Ｅ×ｆ/ [２Ｆ(Ｌreal ＋ｆ)]
の関係がθとｚの間にある。
ここで三次元座標空間における表示対象領域の奥側の限界を奥側のクリップ面ｚ＝ｃfとした時には、
sinθ(ｃf−Ｌvirtual) /ｃf＝Ｅ×ｆ/[２Ｆ(Ｌreal ＋ｆ)]
sinθ＝Ｅ×ｆ×ｃf/[２Ｆ(Ｌreal＋ｆ)(ｃf−Ｌvirtual)]
を満たすθ＝θfarが最も奥側の表示物体を結合させるために必要な角度である。
【００９３】
よって、ｃn≦ｚ≦ｃfの物体を全て結合させるためのパラメータθは
θ＝ ｍｉｎ[θnear ,θfar ]
となる。
【００９４】
ここで、θnear＝θfarの時、
ｆ(Ｌreal −ｎ)/[ｎ(Ｌreal ＋ｆ)]＝ｃn(ｃf−Ｌvirtual)/[ｃf(Ｌvirtual−ｃn)]
の関係があり、
また、Ｄn = Ｄf の時、
(Ｌreal −ｎ)/ ｎ＝(Ｌreal ＋ｆ) /ｆ
Ｌ/２×(１/ｎ −１/ｆ)＝１
の関係があるので、θnear＝θfar 、 Ｄn ＝Ｄf のとき、
ｃn(ｃf−Ｌvirtual)/[ ｃf (Ｌvirtual −ｃn)] ＝１
Ｌvirtual ＝２ｃnｃf/ (ｃn＋ｃf)
となり、この時
sinθnear ＝sinθfar ＝Ｅ×ｆ×（ｃf＋ｃn） / [２Ｆ (Ｌreal ＋f )（ｃf−ｃn）]
となる。
【００９５】
ちなみに、Ｌvirtual ＝Ｌreal、ｃn＝Ｌ−ｎ、ｃf＝Ｌ＋ｆとすると
sinθnear = sinθfar ＝Ｅ/ (２Ｆ)
となる。
【００９６】
以上のように、視差パラメータθを求めることができる。また、Ｌvirtual は注視する箇所（視差カメラ視線の交点）と基準カメラとの距離により求められる。なお、上記説明では専らハードウエアにより基準カメラ座標データから視差カメラ座標データを得ることを説明したが、本発明では、立体視画像と平面視画像とを混在して表示する点の特徴に注視する場合、基準カメラ座標データに基づかずに、ソフトウェアにより直接に左眼用及び右眼用視差カメラ座標データを得るようにしてもよい。
【００９７】
ここで、立体視を認識する生理的要因は、観察者５毎に個人差がある。更に、ゲーム実行中の画像によっても立体視を認識できる程度が変化する。したがって、これに対応するべく図６に示したゲーム装置では、視差調節部１０３を設けている。
【００９８】
即ち、図８における視差変換処理（処理工程Ｐ３）において、視差調節部１０３を遊戯者が操作してゲーム進行中であってもリアルタイムに、適正に視差角データを変更することができる。
【００９９】
この場合、観察者は自身に適した立体感を得ることが可能である。特に、ゲームセンター等の不特定多数が遊戯者となる環境にゲーム装置が配置される場合は、一律に自動的に視差角を設定することではなく、遊戯者毎に生理的要因に適した視差角となるように視差調整部１０３が設けられていることが好ましい。
さらに、好ましくは、弱い立体感から強い立体感に徐々に、あるいは連続的に変化するように視差角調整を行なうことが望ましい。
【０１００】
図１５は、かかる視差調節部１０３に適用視差データの変更を説明する図であり、図１６は、図１５に対応する図７における処理の動作例である。
図１５Ａは、基準カメラＲＣと、視差カメラＲ’Ｃの間隔が狭い場合であり、反対に図１５Ｂは、基準カメラＲＣと、視差カメラＲ’Ｃの間隔が広い場合である。
【０１０１】
視差調節部１０３からの視差変更の入力をＣＰＵ１２により検知すると（図１６：処理工程Ｐ３−１，Ｙｅｓ）、適用する視差データ、例えば視差カメラ間距離を変更する（処理工程Ｐ３−２）。現在の視差カメラ位置と適用視差データに基づく視差カメラ位置が一致するまで、視差カメラ位置を適用視差データに対応するカメラ位置に連続的に徐々に近づける（処理工程Ｐ３−３、Ｐ３−４）。
【０１０２】
特に、視差カメラ位置を適用視差データに対応するカメラ位置に徐々に近づけることは、視差カメラの間隔を狭い状態から広い状態に変更する場合、両眼融合状態（観察者が立体視できている状態）を維持するために重要である。即ち、視差の弱い状態から視差のきつい状態へ瞬時に移行すると、両眼融合状態が崩れてしまう可能性があり、徐々に視差カメラの間隔を広げることによりかかる不都合が回避できる。
【０１０３】
図１５において、図１５Ａと図１５Ｂの間で、視差カメラＲ’Ｃの位置が調整される。図１５Ａの位置では、オブジェクト２,３の位置が立体視表示面ＳＣに近づき（図１５Ａ，ｂ）立体視し易くなるが、立体感は乏しくなる。一方、図１５Ｂの位置では、オブジェクト２,３の位置が立体視表示面ＳＣから離れに近づき（図１５Ａ，ｂ）立体視し難くなるが、立体感に富む画像が得られる。
【０１０４】
このように、視差調節部１０３により、遊戯者が立体視し易い状態から、両眼融合状態を維持しつつ徐々に立体感に富んだ観察状態に移行することが可能である。
【０１０５】
つぎに実施例として、図１７に上空においたカメラＲＣから見たシーンで、空中物１１０と地上物１１１があり、空中物１１０だけに立体視を行い、地上物１１１は平面視を行なう場合を示す。
【０１０６】
図１７の例では、図１８に対応する平面図を示すように、空中物１１０だけ立体視可能の範囲４内にあり、地上物１１１はその外側にある状態が示される。
【０１０７】
図１９、図２０は、図１７の例に対応する処理手順を示すフロー図である。空中物１１０と地上物１１１はプログラマがあらかじめ区別できるものとし、空中物１１０に対して、視差パラメータを基準カメラの視線方向を基準に右眼用視差カメラには(Lvirtual, θ)、左眼用視差カメラには(Lvirtual, −θ)と設定する。地上物１１１に対して、視差パラメータを右眼用、左眼用ともに(Lvirtual, ０)と設定即ち、基準カメラに一致させてから描画命令を出す。
【０１０８】
この描画命令に対し、図１９に示す立体視・平面視混合画像描画ルーチンフローに従い、右眼用画像描画ルーチン（Ｒ１）、左眼用画像描画ルーチン（Ｒ２）を実行する。それぞれの描画ルーチンＲ１，Ｒ２は、図２０に示すフローに従い実行され、その順序は入れ替えが可能である。
【０１０９】
図２０に示す右（左）眼用描画ルーチンフローにおいて、空中物１１０に対して位置・方向パラメータ即ち、視差パラメータ (Lvirtual, θ)、(Lvirtual, −θ)を設定し（処理工程Ｐ２０−１）、図８で説明したジオメトリ部１４及びレンダリング部１５の処理により空中物１１０の描画をビデオメモリ１６上に行なう（処理工程Ｐ２０−２）。
【０１１０】
更に、図２０に示す描画ルーチンフローにおいて、同じシーンにおける地上物１１１に対して基準カメラの位置・方向パラメータ即ち、右眼用（左眼用）として、視差パラメータ (Lvirtual, ０)を設定し（処理工程Ｐ２０−３）、図８で説明したジオメトリ部１４及びレンダリング部１５の処理により地上物１１１の描画を前記ビデオメモリ１６上に行なう（処理工程Ｐ２０−３）。
【０１１１】
なお、図２０において、空中物１１０及び地上物１１１に対するパラメータ設定及び描画処理の順序は入れ替え可能である。
【０１１２】
図２１Ａ、図２１Ｂは上記のそれぞれ描画ルーチンフローＲ１，Ｒ２により得られた、ビデオメモリ１６上に描画された右眼用描画画像と左眼用描画画像である。
【０１１３】
ついで、図１９の描画ルーチン（Ｒ１、Ｒ２）により、ビデオメモリ１６上に描画された空中物１１０及び地上物１１１の右眼用描画画像（図２１Ａ）と左眼用描画画像（図２１Ｂ）を合成して立体視表示装置１８に出力し、表示する。これにより、図２１Ｃに示すように、空中物１１０を立体視表示し、地上物１１１を平面視表示することができる。
【０１１４】
なお、図２１Ｃにおいて、視差のない地上物１１１は画像表示面上に結像するので、空中物１１０を手前側に表示させるには、カメラの視点より手前側に配置する必要があるが、反対に視点より奥側に配置すると、手前にあるはずの物体が奥にあるように見えるといった騙し絵的な効果が得られる。
【０１１５】
図２２は、図１７乃至図２１により説明した左眼用描画画像及び右眼用描画画像を立体視表示装置１８に表させる過程を説明する図である。
【０１１６】
図２２において、図２２Ａ，図２２Ｂは、例としてそれぞれ図２１Ａ，図２１Ｂに示した立体視するオブジェクトである空中物１１０及び平面視するオブジェクトである地上物１１１に対する描画データに基づきビデオメモリに描画された左眼用描画画像及び右眼用描画画像である。即ち、基準カメラＲＣにより得られる地上物１１１の描画データと基準カメラＲＣに対し視差角を有する左眼用視差カメラにより得られる空中物１１０の描画データをビデオメモリ１６に描画した左眼用描画画像（図２２Ａ）と、同様に基準カメラＲＣにより得られる地上物１１１の描画データと基準カメラＲＣに対し視差角を有する右眼用視差カメラにより得られる空中物１１０の描画データをビデオメモリ１６に描画した右眼用描画画像（図２２Ｂ）である。
【０１１７】
この左眼用描画画像及び右眼用描画画像に対し、用いる立体視表示装置に対応する加工を行なう。図２２Ｃ，図２２Ｄはそれぞれ左眼用描画画像（図２２Ａ）及び右眼用描画画像（図２２Ｂ）に対し、バリア方式を用いる場合の例であり、それぞれ、スリット状にバリアを形成し、図２２Ｃではスリットバリアの領域は、右目では観察できず、図２２Ｄではスリットバリアの領域は、左目では観察できないように加工される。
【０１１８】
ついで、図２２Ｃ、図２２Ｄの像を重ねて合成し、図２２Ｅに示す立体視用合成画像を生成し、これを立体視表示装置に表示して両眼で観察することにより一つの画面上に同時に空中物１１０を立体視表示及び地上物１１１を平面視表示することが可能である。ここでの合成は、右眼が右眼用画像のみ、左眼が左眼用画像のみを観察できるように加工するという意味であり、右眼用、左眼用画像をそれぞれ対応眼に独立に表示できるヘッドマウントディスプレイ方式や、シャッター式メガネ等を用いて右眼用・左眼用画像を交互に表示する方式、さらには多眼式の立体視表示装置にも、本手法は適応可能である。
【０１１９】
【発明の効果】
上記に図面に従い説明したように、本発明により、観測者に負担のない立体視映像を効率よく生成する立体視画像生成方法および立体視画像生成装置を提供することが可能である。
【図面の簡単な説明】
【図１】従来例を示す図である。
【図２】図１における立体視可能範囲４を説明する図である。
【図３】本発明の第１の解決原理を説明する図である。
【図４】本発明による別の解決原理を示す図である。
【図５】本発明による第３の解決原理による方法を示す図である。
【図６】本発明の解決原理に従う立体視画像生成方法が適用される立体視画像生成装置としてのゲーム装置の概観構成例を示す図である。
【図７】本発明の解決原理に従う立体視画像生成方法が適用される立体視画像生成装置の構成を示すブロック図である。
【図８】本発明の立体視画像生成方法の特徴を実現するジオメトリ部１５の処理を示すフロー図である。
【図９】図８に対応する処理過程を説明する図である。
【図１０】視差画像を生成するための基準カメラ座標系データを視差カメラ座標系データに変換する方法を示す図である。
【図１１】視差変換部の構成例を示す図である。
【図１２】図１１の視差変換部を演算器で構成する実施例を示す図である。
【図１３】視差変換部の処理を高速化する実施例を示す図である。
【図１４】視差による変位差Dを説明する図である。
【図１５】視差調節部１０３に適用視差データの変更を節税する図である。
【図１６】図１５に対応する図７における処理の動作例である。
【図１７】空中物体だけに立体視を行い、地上物は平面視を行なう場合の実施例を示す図である。
【図１８】図１７に対応する平面図を示す図で去る。
【図１９】立体視・平面視混合画像描画ルーチンフローを示す図である。
【図２０】右（左）眼用描画ルーチンフローを示す図である。
【図２１】図１７の実施例における立体視用合成画像を説明する図である。
【図２２】図２２は、図１７乃至図２１により説明した左眼用描画画像及び右眼用描画画像を立体視表示装置に表させる過程を説明する図である。
【符号の説明】
１４，４ オブジェクト
ＣＬ 左眼用視差カメラ
ＣＲ 右眼用視差カメラ
ＲＣ 基準カメラ
５ 立体視可能範囲
６ 観察者
【発明の属する技術分野】
本発明は、立体視画像生成方法、及び立体視画像生成装置に関する。
【０００２】
【従来の技術】
立体視画像の表示装置の一つとして、観察者の左右の目に異なる画像を認識させ、両眼視差を引き起こして立体視を実現するものがあり、これまでかかる立体視は、レンチキュラレンズを用いるレンチキュラ方式（例えば、非特許文献１の図６.１８）、パララックスバリアを用いるパララックスバリア方式（例えば、非特許文献１の図６.１５、特許文献１）などにより実現されている。
【０００３】
【非特許文献１】
監修者 泉武博 書籍「３次元映像の基礎」オーム社発行 平成７年６月５日（P145-150）
【０００４】
【特許文献１】
特許第３０９６６１３号
上記のパララックスバリア方式では、多数の細かいスリットで作られたパララックスバリアを装着し、立体視表示装置の画素ごとに見える方向を限定している。
【０００５】
すなわち、両眼視差を引き起こす右眼用の画像と、左眼用の画像を対応する目に視認されるように、一つの平面ディスプレイに設定する。かかる両眼視差による立体画像表示を実現するためには右眼用及び左眼用、更に３以上の多眼式の立体画像表示を実現するためには対応する数の複数の目に対応する画像データを作成することが必要である。
【０００６】
したがって、多眼式の立体画像表示を行なう装置においては、座標変換処理や、メモリアクセス回数が視点の数に対応して増加することになる。かかる不都合を解決するものとして、空間内に仮視点を置き、仮視点に基づくスクリーン系のオブジェクトを、両眼視差に応じてスクリーン座標上でずらすことにより、複数視点に対応する画像を生成することが提案されている(例えば、特許文献２参照)。
【０００７】
【特許文献２】
特開２００２−７３００３号公報
ここで、両眼視差に基づく立体視表示を行なう場合、画像表示面を基準とした立体視が可能となる所定の領域が存在する。この立体視が可能な領域の外側では、観測者は、立体視を行えず、像がぶれて表示されていると認識することになる。これにより画像を継続して観察する場合、観察者の目の負担が大きくなるという問題が生じる。
【０００８】
これを、図１を用いて更に説明する。図１Ａは、オブジェクト１に対し、前後位置にオブジェクト２，３が配置される像をオブジェクト１を視点ＯＰとする時に視差を有する左眼用視差カメラＣＬと右眼用視差カメラＣＲで左眼用画像及び右眼用画像を撮像する場合を上方から表した図である。
【０００９】
このとき左眼用視差カメラＣＬと右眼用視差カメラＣＲのそれぞれで得られるは、図１Ｂ，図１Ｃのごとくである。
【００１０】
図１Ｄは更に、前記左眼用座標データＳＬ、右眼用座標データＳＲに対応する左眼用画像データＳＬ、右眼用画像データＳＲを示す図である。この左眼用画像画像データＳＬ、右眼用画像データＳＲを図１Ｅに示すようにバリア方式、レンチキュラ方式などの様々の方式を用いた表示装置で立体視画像表示面ＳＣに表示した像を観察者５により観察する。
【００１１】
観察者５は、表示される左眼用画像データＳＬ、右眼用画像データＳＲを感覚的に融合することにより立体画像として認識することが可能である。
【００１２】
ここで、画像表示装置の立体視画像表示面ＳＣに対し、オブジェクト２,３が所定の距離（立体感の得られる範囲４）以上に離れた位置に結像する場合、観察者５の左眼及び右眼により観察されるオブジェクト２,３の画像は、図１Ｆに示すように、対応する各点の変位（２-１，２-２）(３-１，３-２)が大きく、ブレであると認識され立体視ができない。図１に示す例では立体視できるのはオブジェクト１のみの画像である。
【００１３】
ここで、立体視を成立させる重要な視覚要因は、両眼視差が関わる。右と左の２つの目が離れた位置にあることによって、ある物体を眺めたとき、両眼がそれぞれ認識する像は同じにならず、注視点より離れた位置ではずれが生じる。両眼像にずれがあるとき、図１において説明したように一般に二重像に見えることになるが、両眼視差がある程度以下であるときは、像は一つに融合し、立体像として認識される。
【００１４】
図２はこれを説明する図であり、図２において、観測者５から表示面ＳＣまでの観察距離をＬreal、観測者５の眼間距離をＥ、表示面ＳＣから手前側の立体視可能範囲４の限界距離をｎ、表示面ＳＣから奥側の立体視可能範囲４の限界距離をｆ、視差による対応点の変位差をＤ（手前側の立体視可能な結像限界を与える視差の変位差をＤn、奥側の立体視可能な結像限界を与える視差の変位差をＤf）とする。
【００１５】
ほとんどの観察者にとって、両眼融合の生理的限界距離は、観察距離Ｌrealのおよそ０．０３倍である。例えば、Ｌreal＝６０ｃｍの観察距離では、変位差がＤn又はＤf＝１．８ｃｍ以上離れた対応点を立体視することは困難になる。
【００１６】
この場合、観察者の眼間距離Ｅを６．５ｃｍとすると、手前側の結像限界距離ｎはｎ（６０−ｎ）＝１．８／６．５の関係から表示面ＳＣよりｎ≒１３．０ｃｍ離れた位置が手前側の結像の限界になり、一方、奥側の結像限界距離ｆは、ｆ／（６０＋ｆ）＝１．８／６．５の関係から表示面よりｆ≒２３．０ｃｍ離れた位置が奥側の結像の限界になる。このように、眼間距離Ｅを基準として、立体視可能範囲４の外側では立体視が困難となる。
【００１７】
かかる立体視ができない領域の存在については、上記の非特許文献１、特許文献１、２のいずれにも記載がない。従って、これに対処する技術を示唆する記載も存在しない。
【００１８】
かかる点に鑑みて、本発明の目的は、観測者に負担のない立体視画像を効率よく生成する立体視画像生成方法および立体視画像生成表示装置を提供することにある。
【００１９】
また、本発明は、別の観点から立体視画像と平面視画像を混在させて表示することにより、前記立体視画像を画面上でより目立たせる表示効果を与えるための立体視画像生成方法および立体視画像生成装置を提供することにある。
【００２０】
【課題を解決するための手段】
上記の課題を解決する本発明に従う立体視画像生成方法および立体視画像生成装置は、第１の態様として、
三次元座標を有するポリゴンで構成されるオブジェクトのうち、平面視表示させるオブジェクトデータを基準カメラを原点とする基準カメラ座標系データに、立体視表示させるオブジェクトのデータを所定の視差角を有する右眼用及び左眼用視差カメラをそれぞれ原点とする右眼用及び左眼用視差カメラ座標系データに変換し、
前記基準カメラ座標系のオブジェクトのデータと、前記右眼用視差カメラ座標系のオブジェクトのデータを右眼用画像データとして、ビデオメモリに描画し、
前記基準カメラ座標系のオブジェクトのデータと、前記左眼用視差カメラ座標系のオブジェクトのデータを左眼用画像データとして、ビデオメモリに描画し、
前記ビデオメモリに描画された右眼用画像データと左眼用画像データを合成して、立体視オブジェクトと平面視オブジェクトの混在する画像を立体視表示装置に表示することを特徴とする。
【００２１】
上記の課題を解決する本発明に従う立体視画像生成方法および立体視画像生成装置は、第２の態様として、第１の態様において、
前記平面視表示させるオブジェクトは、三次元座標空間で立体視表示装置の立体視可能範囲外に結像位置を有するオブジェクトであることを特徴とする。
【００２２】
上記の課題を解決する本発明に従う立体視画像生成方法および立体視画像生成装置は、第３の態様として、
三次元座標を有するポリゴンで構成されるオブジェクトのデータを、所定の視差角を有する右眼用視差カメラと左眼用視差カメラのそれぞれを原点とする視差カメラ座標系データに変換し、
前記変換された視差カメラ座標系データにより立体視表示装置の立体視可能範囲内に全てのオブジェクトが結像位置を有するように、前記視差カメラ座標系データの座標を前記立体視可能範囲の奥行き方向に対して圧縮するスケーリングを行い、
前記スケーリングされた視差カメラ座標系データをビデオメモリに描画し、
前記ビデオメモリに描画された描画データを前記立体視表示装置に表示することを特徴とする。
【００２３】
上記の課題を解決する本発明に従う立体視画像生成方法および立体視画像生成装置は、第４の態様として、
三次元座標を有するポリゴンで構成されるオブジェクトのデータを、視差角を有する右眼用視差カメラと左眼用視差カメラのそれぞれを原点とする視差カメラ座標系データに変換し、
前記視差カメラ座標系データに変換する際、前記変換される視差カメラ座標系データの全てのオブジェクトが、立体視表示装置の立体視可能範囲内に結像位置を有するように前記視差角を狭め、
前記狭められた視差角で変換される視差カメラ座標系データを前記立体視表示装置に表示することを特徴とする。
【００２４】
さらに、上記の課題を解決する本発明に従う立体視画像生成方法および立体視画像生成装置は、第５の態様として、
三次元座標を有するポリゴンで構成されるオブジェクトのデータを、基準カメラを原点とする基準カメラ座標系データに変換し、
前記基準カメラ座標系データに変換されたオブジェクトのデータのうち、立体視表示させるオブジェクトのデータを所定の視差角を有する右眼用及び左眼用視差カメラをそれぞれ原点とする視差カメラ座標系のオブジェクトのデータに変換し、
前記基準カメラ座標系のオブジェクトのデータと、前記右眼用視差カメラ座標系のオブジェクトのデータを右眼用画像データとして、ビデオメモリに描画し、
前記基準カメラ座標系のオブジェクトのデータと、前記左眼用視差カメラ座標系のオブジェクトのデータを左眼用画像データとして、ビデオメモリに描画し、
前記ビデオメモリに描画された右眼用画像データと左眼用画像データを合成して、立体視オブジェクトと平面視オブジェクトの混在する画像を立体視表示装置に表示することを特徴とする。
【００２５】
また、上記の課題を解決する本発明に従う立体視画像生成方法および立体視画像生成装置は、第６の態様として、第５の態様において、
前記平面視表示させるオブジェクトは、三次元座標空間で立体視表示装置の立体視可能範囲外に結像位置を有するオブジェクトであることを特徴とする。
【００２６】
上記の課題を解決する本発明に従う立体視画像生成方法および立体視画像生成装置は、第７の態様として、
三次元座標を有するポリゴンで構成されるオブジェクトのデータを、基準カメラを原点とする基準カメラ座標系データに変換し、
前記基準カメラ座標系データから、視差角を有する右眼用視差カメラと左眼用視差カメラを原点とする視差カメラ座標系データを生成し、
前記視差カメラ座標系データを生成する際、全てのオブジェクトが立体視表示装置の立体視可能範囲内に結像位置を有するように圧縮スケーリングを行い、
前記右眼用及び左眼用視差カメラ座標系データをビデオメモリに描画し、
前記ビデオメモリに描画された右眼用及び左眼用の画像データを前記立体視表示装置に合成して表示することを特徴とする。
【００２７】
さらに、上記の課題を解決する本発明に従う立体視画像生成方法および立体視画像生成装置は、第８の態様として、
三次元座標を有するポリゴンで構成されるオブジェクトのデータを、基準カメラを原点とする基準カメラ座標系データに変換し、
基準カメラ座標系データから、視差角を有する右眼用視差カメラと左眼用視差カメラのそれぞれを原点とする視差カメラ座標系データに変換し、
前記視差カメラ座標系データに変換する際、前記変換される視差カメラ座標系データの全てのオブジェクトが、立体視表示装置の立体視可能範囲内に結像位置を有するように前記視差角を狭め、
前記狭められた視差角で変換される視差カメラ座標系データを前記立体視表示装置に表示することを特徴とする。
【００２８】
さらにまた、上記の課題を解決する本発明に従う立体視画像生成方法および立体視画像生成装置は、第９の態様として、第１乃至第８の態様のいずれかにおいて、前記視差カメラ視差角が遊戯者の操作によりリアルタイムに調整可能であることを特徴とする。
【００２９】
更に、上記の課題を解決する本発明に従う立体視画像生成方法および立体視画像生成装置は、第１０の態様として、第９の態様において、前記観察者の操作による調整により視差角が連続的に徐々に変化されることを特徴とする。
【００３０】
本発明の特徴は、以下に図面に従い説明される発明の実施の形態例の説明から更に明らかになる。
【００３１】
【発明の実施の形態】
以下に図面に従い本発明の実施の形態を説明するが、先に本発明の解決原理について説明する。
【００３２】
図３は、本発明の第１の解決原理を説明する図である。図３Ａは、三次元仮想空間にある複数のポリゴンで構成されるオブジェクト１に対し、前後位置に同様に複数のポリゴンで構成されるオブジェクト２，３が配置される状態を示す上面図である。
【００３３】
オブジェクト１を視点ＯＰとする時に、基準カメラＲＣから視点ＯＰに向かう方向の視線に対し所定角度の視線を持つ視差カメラである左眼用視差カメラＣＬと右眼用視差カメラＣＲで、それぞれ左眼用画像及び右眼用画像を撮像する場合を上方から表した図である。
【００３４】
いま、オブジェクト２，３を平面視表示させ、オブジェクト１のみを立体視表示させる場合を考える。この場合、基準カメラＲＣでオブジェクト２，３の座標データが得られる。
【００３５】
一方、オブジェクト１に対する左眼用の座標データは左眼用視差カメラＣＬ により得られる。同様にオブジェクト１に対する右眼用の座標データは右眼用視差カメラＣＲにより得られる。
【００３６】
先の基準カメラＲＣで得られるオブジェクト２，３の座標データは、左眼用の及び右眼用座標データとして共通に使用される。したがって、図３Ａに示す状態のオブジェクト１，２，３に対する左眼用の座標データは、図３Ｂに示すごとくであり、右眼用の座標データは、図３Ｃに示すごとくである。
【００３７】
これらの左眼用の座標データ及び右眼用の座標データのそれぞれから得られる左眼用画像データＳＬ及び右眼用画像データＳＲは図３Ｄに示すごとくである。
【００３８】
これら左眼用画像データＳＬ及び右眼用画像データＳＲを共通の立体画像表示装置に表示させる。このとき、上面から見た関係図が図３Ｅであり、観察者５側から見た関係図が図３Ｆである。
【００３９】
図３Ｅ及び図３Ｆにおいて、立体視表示装置の表示面ＳＣにオブジェクト２，３は平面視画像として表示され、オブジェクト１は立体視画像として表示される。これにより、オブジェクト１の画像がオブジェクト２，３の画像より強調して表示される。同時に、図３Ｆから明らかなように、オブジェクト２，３の像は、オブジェクト２，３の座標位置が立体視可能範囲４を超える場合であっても、平面視画像として表示することにより、図１Ｆとの比較において、表示像２，３がブレた様に表示認識されることが回避できる。
【００４０】
かかる解決原理を、例えばゲームプログラムの画像に適用する場合、中心となるオブジェクト１に対する周辺オブジェクト２，３は、非立体的に表示されるが、画面全体として、前記中心にある主のオブジェクト１が立体視可能であるので、迫力のあるオブジェクト１の画像を観察して遊戯者は、ゲームを実行することが可能である。
【００４１】
図４は、本発明の第２の解決原理を示す図である。図３と同様に、図４Ａは、仮想空間におかれるオブジェクト１に対し、前後位置にオブジェクト２，３が配置される状況をオブジェクト１を視点ＯＰとする時に、視差カメラである左眼用視差カメラＣＬと右眼用視差カメラＣＲで撮像する場合を上方から表した図である。
【００４２】
このとき、オブジェクト２，３は、表示装置で立体感の得られる範囲４を超えている。かかる場合、第２の解決原理では、オブジェクト２，３の像が表示装置で立体感の得られる立体可視範囲４内となるように、全てのオブジェクトに対して立体可視範囲４の奥行き方向即ち、仮想空間のＺ軸方向に座標を圧縮するスケーリングを行なう（図４Ｂ参照）。これにより、相対位置関係を崩さないで図４Ｃに示すように、オブジェクト１、２，３を立体視観察することができる。
【００４３】
しかし、仮想空間のオブジェクトに対してスケーリングを行なう際、オブジェクトを構成するポリゴンの頂点位置を再計算することが必要となり、処理量が大きくなる。かかる点に関しては、図５に示す第３の解決原理による方法が好ましい。
【００４４】
図５において、図５Ａは、オブジェクト１に対し前後位置にオブジェクト２，３が配置される像を、オブジェクト１を視点ＯＰとする時に視差角を有する左眼用視差カメラＣＬと右眼用視差カメラＣＲで撮像する場合を上方から表している。
【００４５】
このとき左眼用視差カメラＣＬと右眼用視差カメラＣＲのそれぞれで得られる投影面ＳＣの左眼用座標データＳＬと右眼用座標データＳＲは、図５Ｂ，図５Ｃのごとくである。図５Ｄは更に、左眼用座標データＳＬと右眼用座標データＳＲによる左眼画像及び右眼画像を示す図である。
【００４６】
図５の解決原理の特徴は、左眼用視差カメラＣＬと右眼用視差カメラＣＲ間の前記の視差角をオブジェクト２，３の画像が立体視可能範囲４に入るような小さな視差角に設定していることである。
【００４７】
これにより、視差による変位の幅が小さくなるため、画像表示面ＳＣからオブジェクト２,３の結像位置までの距離が小さくなり、立体視可能範囲４内にオブジェクト２，３の像を置くことが可能である。したがって、図４に示した例によりスケーリングを行なう場合と同等の効果が得られる。
【００４８】
すなわち、図５Ｆに示すように、シーン全体のオブジェクト１、２，３の相対位置関係を崩さずに、立体視することができる。
【００４９】
図６は、上記の本発明の解決原理に従う立体視画像生成方法が適用される立体視画像生成装置としてのゲーム装置１００の構成例を示す図である。図６Ａは、ゲーム装置１００の概観構成例であり、図６Ｂは、ハードウェアブロック図である。
【００５０】
ゲーム装置１００の筺体１０１の前面側に突き出た操作卓を有し、操作卓にはゲームコントロール部１０２、視差調整部１０３を有し、更に前面に向かう立体視画像表示部１０４を有している。更に、演算処理・画像処理部１０５が内蔵されている。
【００５１】
演算処理・画像処理部１０５において、ゲームコントロール部１０２、視差調整部１０３から入力される情報に従って、立体視映像データを生成して立体視画像表示部１０４に表示を行なう。
【００５２】
図７は、かかるゲーム装置１００の筺体１０１内部に備えられ、本発明の解決原理に従う立体視画像生成方法が適用される立体視映像データを生成する演算処理・画像処理部１０５の構成例を示すブロック図である。
【００５３】
図７において、ワークメモリ１０には、アプリケーションプログラムを格納し、ディスプレィリストメモリ１１には、設定、演算及びモデルを形成するポリゴン描画の手順のプログラムであるディスプレィリストを格納する。
【００５４】
これらアプリケーションプログラム及びディスプレィリストをワークメモリ１０から読み出し、ＣＰＵ１２でプログラム処理が行われる。インタフェースであるブリッジ１３を通して、ＣＰＵ１２のプログラム処理結果がジオメトリ部１４に送られる。
【００５５】
ジオメトリ部１４は、ＣＰＵ１２のプログラム処理結果に基づき、ワールド座標データで定義される複数のポリゴンで構成されるモデルデータをカメラ位置を原点とするカメラ座標系データに変換し、更にクリッピング、カリング、輝度計算、テクスチャ座標演算及び透視投影変換等の処理を行なう。特に、ワールド座標データで定義されるモデルデータのカメラ座標への変換において、基準カメラ座標系データに変換した後、本発明の特徴として視差変換を行い、右眼用及び左眼用視差カメラ座標系データを得る。
【００５６】
次いで、レンダラ(レンダリング部)１５において、テクスチャ座標演算結果に基づき、テクスチャメモリ及びフレームバッファを兼用するビデオＲＡＭ１６からテクスチャデータを読み出しポリゴンの塗りつぶしを行なう。
【００５７】
テクスチャデータの塗りつぶしが行われた画像データは基準カメラ座標系データと右眼用視差カメラ座標系データを右眼用画像データとし、基準カメラ座標系データと左眼用視差カメラ座標系データを左眼用画像データとし、ビデオＲＡＭ１６に再び格納される。ついで、ディスプレィコントローラ１７により、ビデオＲＡＭ１６から読み出した右眼用画像データ及び左眼用画像データの合成を行い、合成された画像データは、立体視表示装置１８に送られ、立体画像の表示が行われる。
【００５８】
図８は、上記図７において説明したように、本発明の立体視画像生成方法の特徴を実現するジオメトリ部１４の処理を示すフロー図である。また、図９は、図８に対応する処理過程を説明する図である。
【００５９】
なお、図８において、処理はポリゴン単位であっても、頂点単位であってもよい。
【００６０】
まず、図７において、ＣＰＵ１４の制御によりワークメモリ１１に格納されている、例としてモデル１、２を有するモデルデータ２０は、ブリッジ１３を通してジオメトリ部１４に読み込まれる（処理工程Ｐ１）。
【００６１】
このモデルデータは、ローカル座標を有している。したがって、ジオメトリ部１４でローカル座標系のモデルデータは、図９Ａに示すようにワールド座標系モデルデータ２０に変換され、更にワールド座標系から基準カメラＲＣを原点とする基準カメラ座標系へ座標変換が施される（処理工程Ｐ２）。
【００６２】
ついで、基準カメラ座標系に座標変換されたモデルデータ１４−１は、視差変換され（処理工程Ｐ３）、視差カメラ座標系データ１４−２となる。ここで、図９Ｂは、基準カメラＲＣを原点とする基準カメラ座標系におけるモデル１，２を示す図であり、図９Ｃは、基準カメラＲＣの視線とθの視差角をなす視差カメラＲ’Ｃを原点とする視差カメラ座標系におけるモデル１，２を示す図である。
【００６３】
なお、図９Ｃにおいて、視差カメラＲ’Ｃを1台のみ示しているが、説明の簡単化のためであり、少なくとも基準カメラＲＣに対し、所定の視差角度θを左眼及び右眼方向に成す２台の視差カメラが必要である。
【００６４】
図９Ｄは、基準カメラ座標系と視差カメラ座標系の関係を示す図である。
【００６５】
次に、視差カメラ座標系データ１４−２に対し透視投影変換を行い（処理工程Ｐ４）、投影座標系データ１４−３即ち、２次元のスクリーン座標系を得る。
【００６６】
ついで、投影座標系データ１４−３は、レンダリング部１５に出力され、レンダリング部１５により、ビデオメモリ１６に視差画像データが描画される。
【００６７】
上記の説明において、本発明の特徴は、引用文献1における画像データ生成の方法と異なるのは、基準カメラ座標系データ１４−１に対し、透視投影変換（処理工程Ｐ３）を行なう前に、視差カメラ座標系データ１４−２を基準カメラ座標系データ１４−１から変換して取得することである。
【００６８】
更に、視差カメラ座標系データへの変換（処理工程Ｐ３）において、先に説明した図３〜図５の本発明の原理に対応して、オブジェクトの結像位置が立体視表示装置１８の立体視可能範囲内に位置するように、視差カメラ座標系データと基準カメラ系データの切り替え(図３参照)、視差カメラ座標系データのスケーリング(図４参照)及び、小さな視差角に設定（図５参照）の処理が行われる。
【００６９】
ここで、視差画像を生成するための上記の基準カメラ座標系データ１４−１を視差カメラ座標系データ１４−２に変換する方法を、図１０を参照して以下に説明する。
【００７０】
図１０Ａに示すように、基準カメラＲＣの位置を座標原点とした場合の座標Ｐ（x, y, z）のオブジェクトは、視点ＯＰ(視差カメラＲ’Ｃからの視線が基準カメラＲＣからの視線と交差する点)するまでの距離をＬvirtual，基準カメラＲＣとの視差角をθとすると、視差カメラＲ’Ｃからは、座標Ｐ'（x', y', z'）に見える。
【００７１】
このとき、次の関係が成立する。
【００７２】
【数１】
ここで視差カメラＲ’Ｃは、図９Ｄに示すように基準カメラＲＣの位置座標を含むＸ軸上にあるものとし、視差によるＺ方向の変動を無視する場合は、
【００７４】
【数２】
と近似できる。
【００７６】
上式２より、パラメータ(Ｌvirtual ,θ)を用いて、基準カメラＲＣから見た座標Ｐ（x, y, z）を、視差カメラＲ’Ｃから見た座標Ｐ'（x', y', z'）に近似的に変換することができる。
【００７７】
全てのモデルデータのポリゴン頂点に対してこの変換をすることにより、基準カメラＲＣから見たシーンを、視差カメラＳＣから見たシーンに近似的に変換することができる（以後、これを視差変換と呼び、用いるパラメータを視差パラメータと呼ぶことにする）。
【００７８】
視差パラメータを左眼用にはパラメータ▲１▼((Ｌvirtual , −θ) 、 右眼用にはパラメータ▲２▼(Ｌvirtual , θ)と設定することにより、図１０Ｂに示すように２眼式立体視表示装置用の２眼の視差画像を生成できる。４眼の場合は図１０Ｃに示すようにパラメータの組は▲１▼(Ｌvirtual , −３θ) 、 ▲２▼(Ｌvirtual , −θ)、▲３▼(Ｌvirtual , θ) 、▲４▼(Ｌvirtual , ３θ)となり、同様に任意の複数ｎ眼にも容易に拡張できる。
【００７９】
かかる視差変換は、図１１に示すように、ジオメトリ部１４に視差変換部１４０を設けて実行する。即ち、基準カメラ座標系データを入力して視差変換パラメータ(Ｌvirtual , ｎθ)１４１によりハードウエアもしくはソフトウエアを設けて上記式１、式２に従う視差変換演算１４２を行なうことが可能である。
【００８０】
ここで、上記のとおり、基準カメラ座標系データＰ（x, y, z）を視差変換パラメータ(Ｌvirtual ,θ)で視差変換を行なった視差カメラ座標系データＰ'（x', y', z'）は式２より
ｘ' ＝ ｘcosθ−ｚsinθ+ Ｌvirtualsinθ
ｙ' ＝ ｙ
ｚ' ≒ ｚ
と表される。
【００８１】
したがって、ｘ成分についてのみの変換を行ない、更に、演算コストを少なくするため、視差変換パラメータ(Ｌvirtual,θ)を
Ａ＝ cosθ
Ｂ＝ −sinθ
Ｃ＝ Ｌvirtualsinθ
と置き換えると
ｘ' ＝ Ａｘ + Ｂｚ + Ｃ
となる。
【００８２】
これを利用して、図１１の視差変換部１４０は、図１２に示すような簡易な構成の演算器で構成することが可能である。
【００８３】
さらに、検討を加えると、視差変換部１４０は、図１３に示すように、視差変換部１４０にｎ眼分の視差パラメータ１４１−１〜１４１−ｎを記憶しておけば、１つの基準カメラ座標系データから、ｎ眼分の視差カメラ座標系データに変換することが可能となり、モデルデータの読み出し(図８の処理工程Ｐ１)及びジオメトリ部１４における座標変換（図８の処理工程Ｐ２）処理を並列処理として１度で済ませられるため、処理を高速化できる。
【００８４】
次に図４に示した解決原理に使用される視差パラメータの求め方について説明する。
【００８５】
三次元座標から二次元スクリーン座標に変換する透視投影変換(x,y,z)→(Sx,Sy)の一般的な式は
Sx = F×x / z + Ch
Sy = F×y / z + Cv
（ただし、F:フォーカス値、Ch:水平方向センター値、Cv:鉛直方向センター）のように表される。
【００８６】
視差変換パラメータ(Ｌvirtual,θ)、(Lvirtual,−θ)で変換した右眼用視差カメラＣＲと左眼用視差カメラＣＬで視差のついた対応点を(ｘR, ｙ, ｚ)、(ｘL, ｙ, ｚ)とすると、立体視表示装置１９の表示画面上での視差による変位差Dは、
【００８７】
【数３】
となる。
【００８９】
次に実空間において、図１４に示すように観測者５から画像表示面ＳＣまでの距離Ｌreal及び観測者５の眼間距離Ｅを固定値とした場合、画像表示面ＳＣから物体が結像される位置までの距離は、物体の視差による変位差Ｄによって決まる。即ち、視差による変位差Dを図１４Ａに示す立体視可能領域４に結像させる範囲内に収めればよい。
【００９０】
ここで、観測者５から表示面ＳＣまでの距離をＬreal、観測者５の眼間距離をＥ、表示面ＳＣから手前側の立体視可能範囲４の距離をｎ、表示面ＳＣから奥側の立体視可能範囲４の距離をｆ、視差による対応点の変位差をＤ、手前側の立体視可能な結像限界を与える視差の変位差をＤn、奥側の立体視可能な結像限界を与える視差の変位差をＤfとすると、
手前側の結合限界は、Ｄ＝Ｄnの時であり、三角形の相似関係より、
Ｄn / ｎ＝Ｅ / ( Ｌreal −ｎ)
Ｄn ＝Ｅ×ｎ / ( Ｌreal −ｎ)
となり、式４(i)より、
２Ｆsinθ(Ｌvirtual−ｚ) / z ＝Ｅ×ｎ / (Ｌreal −ｎ)
sinθ(Ｌvirtual −ｚ) / z ＝Ｅ×ｎ / [２Ｆ(Ｌreal −ｎ)]
の関係がθとｚの間にある。
【００９１】
ここで三次元座標空間における表示対象領域の手前側の限界を手前側のクリップ面ｚ＝ｃnとした時には、
sinθ(Ｌvirtual −ｃn)/ｃn＝Ｅ×ｎ /[２Ｆ(Ｌreal −ｎ)]
sinθ= Ｅ×ｎ×ｃn/[２Ｆ(Ｌreal −ｎ)(Ｌvirtual −ｃn)]
を満たすθ＝θnearが最も手前側の表示物体を結合させるために必要な角度である。
【００９２】
一方、奥側の結合限界は、Ｄ＝Ｄfの時であり、三角形の相似関係より、
Ｄf /ｆ＝Ｅ/(Ｌreal ＋ｆ)
Ｄf ＝Ｅ×ｆ/(Ｌreal ＋ｆ)
となり、式３(iii)より、
２Ｆsinθ(z−Ｌvirtual) / z ＝Ｅ×ｆ/(Ｌreal＋ｆ)
sinθ(ｚ−Ｌvirtual) / ｚ＝Ｅ×ｆ/ [２Ｆ(Ｌreal ＋ｆ)]
の関係がθとｚの間にある。
ここで三次元座標空間における表示対象領域の奥側の限界を奥側のクリップ面ｚ＝ｃfとした時には、
sinθ(ｃf−Ｌvirtual) /ｃf＝Ｅ×ｆ/[２Ｆ(Ｌreal ＋ｆ)]
sinθ＝Ｅ×ｆ×ｃf/[２Ｆ(Ｌreal＋ｆ)(ｃf−Ｌvirtual)]
を満たすθ＝θfarが最も奥側の表示物体を結合させるために必要な角度である。
【００９３】
よって、ｃn≦ｚ≦ｃfの物体を全て結合させるためのパラメータθは
θ＝ ｍｉｎ[θnear ,θfar ]
となる。
【００９４】
ここで、θnear＝θfarの時、
ｆ(Ｌreal −ｎ)/[ｎ(Ｌreal ＋ｆ)]＝ｃn(ｃf−Ｌvirtual)/[ｃf(Ｌvirtual−ｃn)]
の関係があり、
また、Ｄn = Ｄf の時、
(Ｌreal −ｎ)/ ｎ＝(Ｌreal ＋ｆ) /ｆ
Ｌ/２×(１/ｎ −１/ｆ)＝１
の関係があるので、θnear＝θfar 、 Ｄn ＝Ｄf のとき、
ｃn(ｃf−Ｌvirtual)/[ ｃf (Ｌvirtual −ｃn)] ＝１
Ｌvirtual ＝２ｃnｃf/ (ｃn＋ｃf)
となり、この時
sinθnear ＝sinθfar ＝Ｅ×ｆ×（ｃf＋ｃn） / [２Ｆ (Ｌreal ＋f )（ｃf−ｃn）]
となる。
【００９５】
ちなみに、Ｌvirtual ＝Ｌreal、ｃn＝Ｌ−ｎ、ｃf＝Ｌ＋ｆとすると
sinθnear = sinθfar ＝Ｅ/ (２Ｆ)
となる。
【００９６】
以上のように、視差パラメータθを求めることができる。また、Ｌvirtual は注視する箇所（視差カメラ視線の交点）と基準カメラとの距離により求められる。なお、上記説明では専らハードウエアにより基準カメラ座標データから視差カメラ座標データを得ることを説明したが、本発明では、立体視画像と平面視画像とを混在して表示する点の特徴に注視する場合、基準カメラ座標データに基づかずに、ソフトウェアにより直接に左眼用及び右眼用視差カメラ座標データを得るようにしてもよい。
【００９７】
ここで、立体視を認識する生理的要因は、観察者５毎に個人差がある。更に、ゲーム実行中の画像によっても立体視を認識できる程度が変化する。したがって、これに対応するべく図６に示したゲーム装置では、視差調節部１０３を設けている。
【００９８】
即ち、図８における視差変換処理（処理工程Ｐ３）において、視差調節部１０３を遊戯者が操作してゲーム進行中であってもリアルタイムに、適正に視差角データを変更することができる。
【００９９】
この場合、観察者は自身に適した立体感を得ることが可能である。特に、ゲームセンター等の不特定多数が遊戯者となる環境にゲーム装置が配置される場合は、一律に自動的に視差角を設定することではなく、遊戯者毎に生理的要因に適した視差角となるように視差調整部１０３が設けられていることが好ましい。
さらに、好ましくは、弱い立体感から強い立体感に徐々に、あるいは連続的に変化するように視差角調整を行なうことが望ましい。
【０１００】
図１５は、かかる視差調節部１０３に適用視差データの変更を説明する図であり、図１６は、図１５に対応する図７における処理の動作例である。
図１５Ａは、基準カメラＲＣと、視差カメラＲ’Ｃの間隔が狭い場合であり、反対に図１５Ｂは、基準カメラＲＣと、視差カメラＲ’Ｃの間隔が広い場合である。
【０１０１】
視差調節部１０３からの視差変更の入力をＣＰＵ１２により検知すると（図１６：処理工程Ｐ３−１，Ｙｅｓ）、適用する視差データ、例えば視差カメラ間距離を変更する（処理工程Ｐ３−２）。現在の視差カメラ位置と適用視差データに基づく視差カメラ位置が一致するまで、視差カメラ位置を適用視差データに対応するカメラ位置に連続的に徐々に近づける（処理工程Ｐ３−３、Ｐ３−４）。
【０１０２】
特に、視差カメラ位置を適用視差データに対応するカメラ位置に徐々に近づけることは、視差カメラの間隔を狭い状態から広い状態に変更する場合、両眼融合状態（観察者が立体視できている状態）を維持するために重要である。即ち、視差の弱い状態から視差のきつい状態へ瞬時に移行すると、両眼融合状態が崩れてしまう可能性があり、徐々に視差カメラの間隔を広げることによりかかる不都合が回避できる。
【０１０３】
図１５において、図１５Ａと図１５Ｂの間で、視差カメラＲ’Ｃの位置が調整される。図１５Ａの位置では、オブジェクト２,３の位置が立体視表示面ＳＣに近づき（図１５Ａ，ｂ）立体視し易くなるが、立体感は乏しくなる。一方、図１５Ｂの位置では、オブジェクト２,３の位置が立体視表示面ＳＣから離れに近づき（図１５Ａ，ｂ）立体視し難くなるが、立体感に富む画像が得られる。
【０１０４】
このように、視差調節部１０３により、遊戯者が立体視し易い状態から、両眼融合状態を維持しつつ徐々に立体感に富んだ観察状態に移行することが可能である。
【０１０５】
つぎに実施例として、図１７に上空においたカメラＲＣから見たシーンで、空中物１１０と地上物１１１があり、空中物１１０だけに立体視を行い、地上物１１１は平面視を行なう場合を示す。
【０１０６】
図１７の例では、図１８に対応する平面図を示すように、空中物１１０だけ立体視可能の範囲４内にあり、地上物１１１はその外側にある状態が示される。
【０１０７】
図１９、図２０は、図１７の例に対応する処理手順を示すフロー図である。空中物１１０と地上物１１１はプログラマがあらかじめ区別できるものとし、空中物１１０に対して、視差パラメータを基準カメラの視線方向を基準に右眼用視差カメラには(Lvirtual, θ)、左眼用視差カメラには(Lvirtual, −θ)と設定する。地上物１１１に対して、視差パラメータを右眼用、左眼用ともに(Lvirtual, ０)と設定即ち、基準カメラに一致させてから描画命令を出す。
【０１０８】
この描画命令に対し、図１９に示す立体視・平面視混合画像描画ルーチンフローに従い、右眼用画像描画ルーチン（Ｒ１）、左眼用画像描画ルーチン（Ｒ２）を実行する。それぞれの描画ルーチンＲ１，Ｒ２は、図２０に示すフローに従い実行され、その順序は入れ替えが可能である。
【０１０９】
図２０に示す右（左）眼用描画ルーチンフローにおいて、空中物１１０に対して位置・方向パラメータ即ち、視差パラメータ (Lvirtual, θ)、(Lvirtual, −θ)を設定し（処理工程Ｐ２０−１）、図８で説明したジオメトリ部１４及びレンダリング部１５の処理により空中物１１０の描画をビデオメモリ１６上に行なう（処理工程Ｐ２０−２）。
【０１１０】
更に、図２０に示す描画ルーチンフローにおいて、同じシーンにおける地上物１１１に対して基準カメラの位置・方向パラメータ即ち、右眼用（左眼用）として、視差パラメータ (Lvirtual, ０)を設定し（処理工程Ｐ２０−３）、図８で説明したジオメトリ部１４及びレンダリング部１５の処理により地上物１１１の描画を前記ビデオメモリ１６上に行なう（処理工程Ｐ２０−３）。
【０１１１】
なお、図２０において、空中物１１０及び地上物１１１に対するパラメータ設定及び描画処理の順序は入れ替え可能である。
【０１１２】
図２１Ａ、図２１Ｂは上記のそれぞれ描画ルーチンフローＲ１，Ｒ２により得られた、ビデオメモリ１６上に描画された右眼用描画画像と左眼用描画画像である。
【０１１３】
ついで、図１９の描画ルーチン（Ｒ１、Ｒ２）により、ビデオメモリ１６上に描画された空中物１１０及び地上物１１１の右眼用描画画像（図２１Ａ）と左眼用描画画像（図２１Ｂ）を合成して立体視表示装置１８に出力し、表示する。これにより、図２１Ｃに示すように、空中物１１０を立体視表示し、地上物１１１を平面視表示することができる。
【０１１４】
なお、図２１Ｃにおいて、視差のない地上物１１１は画像表示面上に結像するので、空中物１１０を手前側に表示させるには、カメラの視点より手前側に配置する必要があるが、反対に視点より奥側に配置すると、手前にあるはずの物体が奥にあるように見えるといった騙し絵的な効果が得られる。
【０１１５】
図２２は、図１７乃至図２１により説明した左眼用描画画像及び右眼用描画画像を立体視表示装置１８に表させる過程を説明する図である。
【０１１６】
図２２において、図２２Ａ，図２２Ｂは、例としてそれぞれ図２１Ａ，図２１Ｂに示した立体視するオブジェクトである空中物１１０及び平面視するオブジェクトである地上物１１１に対する描画データに基づきビデオメモリに描画された左眼用描画画像及び右眼用描画画像である。即ち、基準カメラＲＣにより得られる地上物１１１の描画データと基準カメラＲＣに対し視差角を有する左眼用視差カメラにより得られる空中物１１０の描画データをビデオメモリ１６に描画した左眼用描画画像（図２２Ａ）と、同様に基準カメラＲＣにより得られる地上物１１１の描画データと基準カメラＲＣに対し視差角を有する右眼用視差カメラにより得られる空中物１１０の描画データをビデオメモリ１６に描画した右眼用描画画像（図２２Ｂ）である。
【０１１７】
この左眼用描画画像及び右眼用描画画像に対し、用いる立体視表示装置に対応する加工を行なう。図２２Ｃ，図２２Ｄはそれぞれ左眼用描画画像（図２２Ａ）及び右眼用描画画像（図２２Ｂ）に対し、バリア方式を用いる場合の例であり、それぞれ、スリット状にバリアを形成し、図２２Ｃではスリットバリアの領域は、右目では観察できず、図２２Ｄではスリットバリアの領域は、左目では観察できないように加工される。
【０１１８】
ついで、図２２Ｃ、図２２Ｄの像を重ねて合成し、図２２Ｅに示す立体視用合成画像を生成し、これを立体視表示装置に表示して両眼で観察することにより一つの画面上に同時に空中物１１０を立体視表示及び地上物１１１を平面視表示することが可能である。ここでの合成は、右眼が右眼用画像のみ、左眼が左眼用画像のみを観察できるように加工するという意味であり、右眼用、左眼用画像をそれぞれ対応眼に独立に表示できるヘッドマウントディスプレイ方式や、シャッター式メガネ等を用いて右眼用・左眼用画像を交互に表示する方式、さらには多眼式の立体視表示装置にも、本手法は適応可能である。
【０１１９】
【発明の効果】
上記に図面に従い説明したように、本発明により、観測者に負担のない立体視映像を効率よく生成する立体視画像生成方法および立体視画像生成装置を提供することが可能である。
【図面の簡単な説明】
【図１】従来例を示す図である。
【図２】図１における立体視可能範囲４を説明する図である。
【図３】本発明の第１の解決原理を説明する図である。
【図４】本発明による別の解決原理を示す図である。
【図５】本発明による第３の解決原理による方法を示す図である。
【図６】本発明の解決原理に従う立体視画像生成方法が適用される立体視画像生成装置としてのゲーム装置の概観構成例を示す図である。
【図７】本発明の解決原理に従う立体視画像生成方法が適用される立体視画像生成装置の構成を示すブロック図である。
【図８】本発明の立体視画像生成方法の特徴を実現するジオメトリ部１５の処理を示すフロー図である。
【図９】図８に対応する処理過程を説明する図である。
【図１０】視差画像を生成するための基準カメラ座標系データを視差カメラ座標系データに変換する方法を示す図である。
【図１１】視差変換部の構成例を示す図である。
【図１２】図１１の視差変換部を演算器で構成する実施例を示す図である。
【図１３】視差変換部の処理を高速化する実施例を示す図である。
【図１４】視差による変位差Dを説明する図である。
【図１５】視差調節部１０３に適用視差データの変更を節税する図である。
【図１６】図１５に対応する図７における処理の動作例である。
【図１７】空中物体だけに立体視を行い、地上物は平面視を行なう場合の実施例を示す図である。
【図１８】図１７に対応する平面図を示す図で去る。
【図１９】立体視・平面視混合画像描画ルーチンフローを示す図である。
【図２０】右（左）眼用描画ルーチンフローを示す図である。
【図２１】図１７の実施例における立体視用合成画像を説明する図である。
【図２２】図２２は、図１７乃至図２１により説明した左眼用描画画像及び右眼用描画画像を立体視表示装置に表させる過程を説明する図である。
【符号の説明】
１４，４ オブジェクト
ＣＬ 左眼用視差カメラ
ＣＲ 右眼用視差カメラ
ＲＣ 基準カメラ
５ 立体視可能範囲
６ 観察者
Claims (12)
- 平面視されるオブジェクトとして設定された，三次元座標を有するポリゴンで構成される第１のオブジェクトのオブジェクトデータを、基準カメラ位置を原点とする基準カメラ座標系データに変換し，
立体視されるオブジェクトとして設定された，三次元座標のポリゴンで構成される第２のオブジェクトのオブジェクトデータを所定の視差角を有する，それぞれ右眼用及び左眼用の視差カメラの位置に原点を有する右眼用及び左眼用視差カメラ座標系データに変換し，
前記基準カメラ座標系のオブジェクトのデータと、前記右眼用の視差カメラ座標系データを右眼用画像データとしてビデオメモリに描画し，
前記基準カメラ座標系のオブジェクトのデータと、前記左眼用の視差カメラ座標系データを左眼用画像データとしてビデオメモリに描画し，
前記ビデオメモリに描画された右眼用画像データと左眼用の画像データを統合し，前記第１及び第２のオブジェクトの混在する画像を立体視表示装置に表示する，
ことを特徴とする立体視画像生成方法。 - 請求項１において、
前記視差カメラの視差角が観察者の操作によりリアルタイムに調整可能であることを特徴とする立体視画像生成方法。 - 請求項２において、
前記観察者の操作による調整により視差角が連続的に徐々に変化されることを特徴とする立体視画像生成方法。 - 請求項１において、
前記右眼用及び左眼用視差カメラ座標系データの、前記立体視されるオブジェクトとして設定された第２のオブジェクトの座標を、立体視可能範囲内となるように、三次元空間のＺ軸方向に座標の圧縮スケーリング処理を実行することを特徴とする立体視画像生成方法。 - 平面視されるオブジェクトとして設定された，三次元座標を有するポリゴンで構成される第１のオブジェクトのオブジェクトデータを基準カメラ位置を原点とする基準カメラ座標系データに変換し，立体視されるオブジェクトとして設定された，三次元座標のポリゴンで構成される，第２のオブジェクトのオブジェクトデータを所定の視差角を有する，それぞれ右眼用及び左眼用の視差カメラの位置に原点を有する右眼用及び左眼用視差カメラ座標系データに変換するジオメトリ部と、
画像データが描画されるビデオメモリと、
前記ビデオメモリに、前記基準カメラ座標系のオブジェクトのデータと前記右眼用視差カメラ座標系データを右眼用画像データとして描画し、更に、前記基準カメラ座標系のオブジェクトのデータと前記左眼用の視差カメラ座標系データを左眼用画像データとして描画するレンダリング部と、
前記ビデオメモリに描画された右眼用画像データと左眼用の画像データを統合して、前記第１及び第２のオブジェクトの混在する画像を表示する立体視表示装置とを
有することを特徴とする立体視画像生成装置。 - 請求項５において、
更に、入力部を備え、
前記入力部から観察者の操作に対応して入力される視差調整信号に応じて、前記ジオメトリ部により前記視差カメラの視差角をリアルタイムに調整することを特徴とする立体視画像生成装置。 - 請求項５において、
更に、入力部を備え、
前記入力部に対する観察者の操作による調整に対応して前記視差カメラの視差角の変化を連続的に徐々に行なわせることを特徴とする立体視画像生成装置。 - 請求項５において、
前記ジオメトリ部により、前記右眼用及び左眼用視差カメラ座標系データの、前記立体視されるオブジェクトとして設定された第２のオブジェクトの座標を、立体視可能範囲内となるように、三次元空間のＺ軸方向に座標の圧縮スケーリング処理を実行することを特徴とする立体視画像生成装置。 - 三次元座標を有するポリゴンで構成されるオブジェクトのデータを座標変換するジオメトリ部と、前記座標変換されたモデルデータから画像データを生成するレンダリング部と、前記画像データを表示する立体視表示装置を有する立体視画像生成装置において実行されるプログラムであって、
前記ジオメトリ部に、三次元座標空間において立体視表示装置の立体可視範囲外に画像形成位置が存在するために平面視される，三次元座標を有するポリゴンで構成される第１のオブジェクトのオブジェクトデータを基準カメラ位置を原点とする基準カメラ座標系データに変換させ、三次元座標空間において立体視表示装置の立体可視範囲内に画像形成位置が存在するために立体視される，三次元座標のポリゴンで構成される，第２のオブジェクトのオブジェクトデータを所定の視差角を有する，それぞれ右眼用及び左眼用視差カメラの位置に原点を有する右眼用及び左眼用視差カメラ座標系データに変換させ、
前記レンダリング部に、前記基準カメラ座標系のオブジェクトのデータと、前記右眼用の視差カメラ座標系データを右眼用画像データとしてビデオメモリに描画させ、前記基準カメラ座標系のオブジェクトのデータと、前記左眼用の視差カメラ座標系データを左眼用画像データとしてビデオメモリに描画させ、
前記立体視表示装置に、前記ビデオメモリに描画された右眼用画像データと左眼用の画像データを統合した前記第１及び第２のオブジェクトの混在する画像を表示させる、
ことを特徴とするプログラム。 - 請求項９において、
前記視差カメラの視差角が観察者の操作によりリアルタイムに調整可能とすることを特徴とするプログラム。 - 請求項９において、
観察者の操作による調整に対応して前記視差カメラの視差角を連続的に徐々に変化させることを特徴とするプログラム。 - 請求項９において、
前記右眼用及び左眼用視差カメラ座標系データの、前記立体視されるオブジェクトとして設定された第２のオブジェクトの座標を、前記立体視可能範囲内となるように、三次元空間のＺ軸方向に座標の圧縮スケーリング処理を実行することを特徴とするプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002289559A JP4228646B2 (ja) | 2002-10-02 | 2002-10-02 | 立体視画像生成方法および立体視画像生成装置 |
| US10/674,438 US20040066555A1 (en) | 2002-10-02 | 2003-10-01 | Method and apparatus for generating stereoscopic images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002289559A JP4228646B2 (ja) | 2002-10-02 | 2002-10-02 | 立体視画像生成方法および立体視画像生成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004126902A JP2004126902A (ja) | 2004-04-22 |
| JP4228646B2 true JP4228646B2 (ja) | 2009-02-25 |
Family
ID=32040634
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002289559A Expired - Fee Related JP4228646B2 (ja) | 2002-10-02 | 2002-10-02 | 立体視画像生成方法および立体視画像生成装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20040066555A1 (ja) |
| JP (1) | JP4228646B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101779423B1 (ko) * | 2011-06-10 | 2017-10-10 | 엘지전자 주식회사 | 영상처리방법 및 영상처리장치 |
Families Citing this family (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005295004A (ja) * | 2004-03-31 | 2005-10-20 | Sanyo Electric Co Ltd | 立体画像処理方法および立体画像処理装置 |
| GB0410551D0 (en) * | 2004-05-12 | 2004-06-16 | Ller Christian M | 3d autostereoscopic display |
| JP2006113807A (ja) * | 2004-10-14 | 2006-04-27 | Canon Inc | 多視点画像の画像処理装置および画像処理プログラム |
| US20060285832A1 (en) * | 2005-06-16 | 2006-12-21 | River Past Corporation | Systems and methods for creating and recording digital three-dimensional video streams |
| KR100667810B1 (ko) | 2005-08-31 | 2007-01-11 | 삼성전자주식회사 | ３ｄ 영상의 깊이감 조정 장치 및 방법 |
| JP4982862B2 (ja) * | 2007-09-07 | 2012-07-25 | 株式会社バンダイナムコゲームス | プログラム、情報記憶媒体及び画像生成システム |
| US8254467B2 (en) * | 2008-10-30 | 2012-08-28 | Sensio Technologies Inc. | Method and system for scaling compressed image frames |
| JP5409107B2 (ja) * | 2009-05-13 | 2014-02-05 | 任天堂株式会社 | 表示制御プログラム、情報処理装置、表示制御方法、および情報処理システム |
| JP5438412B2 (ja) * | 2009-07-22 | 2014-03-12 | 株式会社コナミデジタルエンタテインメント | ビデオゲーム装置、ゲーム情報表示制御方法及びゲーム情報表示制御プログラム |
| JP5405264B2 (ja) | 2009-10-20 | 2014-02-05 | 任天堂株式会社 | 表示制御プログラム、ライブラリプログラム、情報処理システム、および、表示制御方法 |
| JP4754031B2 (ja) | 2009-11-04 | 2011-08-24 | 任天堂株式会社 | 表示制御プログラム、情報処理システム、および立体表示の制御に利用されるプログラム |
| EP2355526A3 (en) * | 2010-01-14 | 2012-10-31 | Nintendo Co., Ltd. | Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method |
| KR101700360B1 (ko) * | 2010-03-04 | 2017-01-26 | 삼성전자주식회사 | 공통화각 표시 기능을 갖는 디지털 촬영 장치, 이의 제어 방법 및 상기 방법을 기록한 기록 매체 |
| JP5148652B2 (ja) | 2010-03-31 | 2013-02-20 | 株式会社バンダイナムコゲームス | プログラム、情報記憶媒体及び画像生成システム |
| US9693039B2 (en) | 2010-05-27 | 2017-06-27 | Nintendo Co., Ltd. | Hand-held electronic device |
| JP5872185B2 (ja) * | 2010-05-27 | 2016-03-01 | 任天堂株式会社 | 携帯型電子機器 |
| JP5073013B2 (ja) * | 2010-06-11 | 2012-11-14 | 任天堂株式会社 | 表示制御プログラム、表示制御装置、表示制御方法および表示制御システム |
| US8446461B2 (en) * | 2010-07-23 | 2013-05-21 | Superd Co. Ltd. | Three-dimensional (3D) display method and system |
| JP4937390B2 (ja) * | 2010-08-24 | 2012-05-23 | 株式会社東芝 | 立体映像表示装置及び立体映像用眼鏡 |
| JP2012079291A (ja) | 2010-09-08 | 2012-04-19 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像生成システム |
| JP5620202B2 (ja) * | 2010-09-08 | 2014-11-05 | 株式会社バンダイナムコゲームス | プログラム、情報記憶媒体及び画像生成システム |
| JP5689637B2 (ja) * | 2010-09-28 | 2015-03-25 | 任天堂株式会社 | 立体視表示制御プログラム、立体視表示制御システム、立体視表示制御装置、および、立体視表示制御方法 |
| KR101732135B1 (ko) * | 2010-11-05 | 2017-05-11 | 삼성전자주식회사 | 3차원 영상통신장치 및 3차원 영상통신장치의 영상처리방법 |
| JP5594477B2 (ja) * | 2011-01-26 | 2014-09-24 | Ｎｌｔテクノロジー株式会社 | 画像表示装置、画像表示方法、及びプログラム |
| TW201245768A (en) | 2011-03-29 | 2012-11-16 | Sony Corp | Image pickup apparatus, image pickup device, image processing method, aperture control method, and program |
| JP5307177B2 (ja) * | 2011-03-30 | 2013-10-02 | 株式会社コナミデジタルエンタテインメント | 立体画像生成装置、立体画像生成方法、ならびに、プログラム |
| JP2012217591A (ja) * | 2011-04-07 | 2012-11-12 | Toshiba Corp | 画像処理システム、装置、方法及びプログラム |
| JP2012234411A (ja) * | 2011-05-02 | 2012-11-29 | Nintendo Co Ltd | 画像生成装置、画像生成システム、画像生成プログラムおよび画像生成方法 |
| WO2012161193A1 (ja) * | 2011-05-24 | 2012-11-29 | 株式会社東芝 | 医用画像診断装置、医用画像処理装置及び方法 |
| JP5818531B2 (ja) * | 2011-06-22 | 2015-11-18 | 株式会社東芝 | 画像処理システム、装置及び方法 |
| KR101829459B1 (ko) * | 2011-07-14 | 2018-02-14 | 엘지디스플레이 주식회사 | 영상처리방법과 이를 이용한 입체영상 표시장치 |
| JP6028318B2 (ja) * | 2011-09-15 | 2016-11-16 | ソニー株式会社 | 表示制御装置、および表示制御方法 |
| JP5586788B2 (ja) * | 2011-09-30 | 2014-09-10 | 富士フイルム株式会社 | 画像表示装置及び画像撮像装置 |
| JP2014007648A (ja) * | 2012-06-26 | 2014-01-16 | Sony Corp | 画像処理装置と画像処理方法およびプログラム |
| JP6177872B2 (ja) | 2013-02-19 | 2017-08-09 | ミラマ サービス インク | 入出力装置、入出力プログラム、および入出力方法 |
| JP6250024B2 (ja) | 2013-02-19 | 2017-12-20 | ミラマ サービス インク | キャリブレーション装置、キャリブレーションプログラム、およびキャリブレーション方法 |
| JP6250025B2 (ja) | 2013-02-19 | 2017-12-20 | ミラマ サービス インク | 入出力装置、入出力プログラム、および入出力方法 |
| WO2014128749A1 (ja) | 2013-02-19 | 2014-08-28 | 株式会社ブリリアントサービス | 形状認識装置、形状認識プログラム、および形状認識方法 |
| JP6333801B2 (ja) | 2013-02-19 | 2018-05-30 | ミラマ サービス インク | 表示制御装置、表示制御プログラム、および表示制御方法 |
| JP2018137505A (ja) * | 2017-02-20 | 2018-08-30 | セイコーエプソン株式会社 | 表示装置およびその制御方法 |
| US10666923B2 (en) * | 2017-02-24 | 2020-05-26 | Immervision, Inc. | Wide-angle stereoscopic vision with cameras having different parameters |
| CN108596825A (zh) * | 2018-04-17 | 2018-09-28 | 宁波视睿迪光电有限公司 | 3d效果显示方法及装置 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07181424A (ja) * | 1993-12-22 | 1995-07-21 | Canon Inc | 複眼式画像表示装置 |
| US5949477A (en) * | 1995-04-06 | 1999-09-07 | Hoglin; Irving M. | Three dimensional stereoscopic television system |
| US6005607A (en) * | 1995-06-29 | 1999-12-21 | Matsushita Electric Industrial Co., Ltd. | Stereoscopic computer graphics image generating apparatus and stereoscopic TV apparatus |
| US6088006A (en) * | 1995-12-20 | 2000-07-11 | Olympus Optical Co., Ltd. | Stereoscopic image generating system for substantially matching visual range with vergence distance |
| DE69730565T2 (de) * | 1996-06-26 | 2005-02-03 | Matsushita Electric Industrial Co., Ltd., Kadoma | Gerät zur Erzeugung eines stereoskopischen bewegenden Bildes mittels Computergraphik |
| DE69706611T2 (de) * | 1996-06-27 | 2002-07-04 | Toshiba Kawasaki Kk | Stereoskopisches Display-System und -Verfahren |
| JP3397602B2 (ja) * | 1996-11-11 | 2003-04-21 | 富士通株式会社 | 画像表示装置及び方法 |
| JP3931392B2 (ja) * | 1997-08-25 | 2007-06-13 | ソニー株式会社 | 立体画像用ビデオ信号生成装置、立体画像用ビデオ信号送出装置および立体画像用ビデオ信号受信装置 |
-
2002
- 2002-10-02 JP JP2002289559A patent/JP4228646B2/ja not_active Expired - Fee Related
-
2003
- 2003-10-01 US US10/674,438 patent/US20040066555A1/en not_active Abandoned
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101779423B1 (ko) * | 2011-06-10 | 2017-10-10 | 엘지전자 주식회사 | 영상처리방법 및 영상처리장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004126902A (ja) | 2004-04-22 |
| US20040066555A1 (en) | 2004-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4228646B2 (ja) | 立体視画像生成方法および立体視画像生成装置 | |
| EP2357836B1 (en) | Method and apparatus for processing three-dimensional images | |
| JP3619063B2 (ja) | 立体画像処理装置、その方法、立体視パラメータ設定装置、その方法そしてコンピュータプログラム記憶媒体 | |
| JP3802630B2 (ja) | 立体画像生成装置および立体画像生成方法 | |
| US9106906B2 (en) | Image generation system, image generation method, and information storage medium | |
| EP0969418A2 (en) | Image processing apparatus for displaying three-dimensional image | |
| US9460555B2 (en) | System and method for three-dimensional visualization of geographical data | |
| US20120306860A1 (en) | Image generation system, image generation method, and information storage medium | |
| JP2005353047A (ja) | 立体画像処理方法および立体画像処理装置 | |
| JP7030010B2 (ja) | 立体映像奥行き圧縮装置および立体映像奥行き圧縮プログラム | |
| AU2018249563B2 (en) | System, method and software for producing virtual three dimensional images that appear to project forward of or above an electronic display | |
| CN109598796A (zh) | 将真实场景与虚拟物体进行3d融合显示的方法和装置 | |
| CN109510975B (zh) | 一种视频图像的提取方法、设备及*** | |
| JP7377413B2 (ja) | ライトフィールド画像生成システム、画像表示システム、形状情報取得サーバ、ライトフィールド画像生成方法及び画像表示方法 | |
| JP4270347B2 (ja) | 距離演算装置 | |
| JPH1074269A (ja) | 立体ｃｇ動画像生成装置 | |
| JP6618260B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
| JP2003067784A (ja) | 情報処理装置 | |
| Baker | Generating images for a time-multiplexed stereoscopic computer graphics system | |
| CN106993179A (zh) | 一种3d模型转立体双视点视图的方法 | |
| JP3802629B2 (ja) | 立体画像生成装置 | |
| WO2017085803A1 (ja) | 映像表示装置及び映像表示方法 | |
| KR100893381B1 (ko) | 실시간 입체영상 생성방법 | |
| JPH10172004A (ja) | 立体画像表示方法 | |
| JP2003284094A (ja) | 立体画像処理方法および装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050927 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080522 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080527 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080723 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080826 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080901 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081111 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081124 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4228646 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111212 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111212 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121212 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131212 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131212 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |