JP4034964B2 - プログラム、情報記憶媒体、及び立体視画像生成装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、立体視画像を生成させるためのプログラム、情報記憶媒体、及び立体視画像生成装置に関する。
【０００２】
【従来の技術】
従来、ヘッドマウントディスプレイやレンチキュラ板（レンチキュラレンズ）等を用いて、観察者の右目、左目にそれぞれ異なる映像を投影し、両眼視差を与えることにより立体視映像を感得せしめる立体視映像表示装置が知られている。このような両眼視差を利用した立体視映像表示装置において、表示画面の画像は、各視点に対応した画像（以下、個別視点画像という。）の組、あるいはそれらをサンプリング及びインターリーブした画像である。（以下、個別視点画像の組、またはそれらをインタリーブ処理した画像を立体視画像という。）
【０００３】
この立体視画像を生成するために、従来の方式では、個別視点画像を視点数分描画し、その描画された複数の個別視点画像に基づいて、立体視画像を生成していた。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述した従来の方式では、複数の個別視点画像を生成しなければならないため、通常の平面視画像を生成する場合に比べると、画像描画に係る処理が視点数倍必要となる。即ち、視点数に比して画像の描画に係る処理負荷が増大する。従って、例えば、所与の時間内でリアルタイムに画像を生成、表示しなければならないゲーム画像を多数の視点に対応する立体視画像として生成し、立体視映像表示することは、困難であった。また、複数の個別視点画像を記憶しなければならないため、メモリ容量も視点数倍必要となるといった問題があった。
【０００５】
本発明の課題は、立体視画像生成に係る処理負荷及びメモリ容量の軽減を実現することである。
【０００６】
【課題を解決するための手段】
第１の発明は、プロセッサによる演算・制御により、複数の視点に対応した複数の画像を生成し、両眼視差を利用した立体視画像を生成する装置に対して、一の仮視点（例えば、図１に示す仮視点Ｖ）に対する画像情報を記憶する画像情報記憶手段（例えば、図８に示す仮視点画像用ラインバッファ６０２）と、前記一の仮視点に対する画像の、画素毎の奥行情報を記憶する奥行情報記憶手段（例えば、図８に示すＺバッファ６０４）と、前記一の仮視点と前記複数の視点それぞれとの位置関係と、前記奥行情報記憶手段に記憶された奥行情報とに基づいて、前記画像情報記憶手段に記憶された画像の画素情報から前記複数の視点に対応する複数の画像（画像全体であっても良いし、インターリーブの対象画素部分であってもよい。）を生成することにより、前記立体視画像を生成する立体視画像生成手段（例えば、図８に示す立体視画像生成部２３０）と、を機能させるための立体視画像生成情報である。
【０００７】
第８の発明は、プロセッサによる演算・制御により、複数の視点に対応した複数の画像を生成し、両眼視差を利用した立体視画像を生成する立体視画像生成装置であって、一の仮視点（例えば、図１に示す仮視点Ｖ）に対する画像情報を記憶する画像情報記憶手段（例えば、図８に示す仮視点画像用ラインバッファ６０２）と、前記一の仮視点に対する画像の、画素毎の奥行情報を記憶する奥行情報記憶手段（例えば、図８に示すＺバッファ６０４）と、前記一の仮視点と前記複数の視点それぞれとの位置関係と、前記奥行情報記憶手段に記憶された奥行情報とに基づいて、前記画像情報記憶手段に記憶された画像の画素情報から前記複数の視点に対応する複数の画像（画像全体であっても良いし、インターリーブの対象画素部分であってもよい。）を生成することにより、前記立体視画像を生成する立体視画像生成手段（例えば、図８に示す立体視画像生成部２３０）と、を備える立体視画像生成装置である。
【０００８】
ここで、一の仮視点は、複数の視点の内の一の視点であっても良く、また、複数の視点とは別の視点であっても良い。
【０００９】
また、画素とは、実施の形態におけるピクセルまたはサブピクセルを指す。
【００１０】
この第１または第８の発明によれば、ゲーム画像のように、リアルタイムに画像を描画、生成しなければならない場合等において、従来のように、視点数分の画像を描画する必要がなく、一の視点に対する画像のみを描画すれば良いため、視点数に関わらず、画像描画に係る処理負荷は、平面視画像を生成する場合と同等である。そのため、ゲーム画像の複数視点に対応する立体視映像表示が容易に実現できる。
【００１１】
また、第２の発明として、第１の発明の立体視画像生成情報において、前記立体視画像生成手段に対して、前記一の仮視点と前記複数の視点それぞれとの位置関係と、前記奥行情報記憶手段に記憶された奥行情報とに基づいて、前記画像情報記憶手段に記憶された画像の画素情報を設定する位置をずらすことにより、前記複数の視点それぞれに対する画像を画素毎に設定して、前記立体視画像を生成するように機能させるための情報を含むこととしてもよい。
【００１２】
この第２の発明によれば、記憶された一の仮視点に対する画像情報を奥行情報を参照し描画位置をずらしながら立体視画像に設定することにより、簡便に各視点に対応した画像を含む立体視画像を生成することができる。
【００１３】
また、第３の発明として、第１または第２の発明の立体視画像生成情報において、前記立体視画像生成手段に対して、前記立体視画像において、画素情報が設定されない部分が生じた場合には、その部分の周囲の画素情報に基づいて、その部分の画素情報を補完する、ように機能させるための情報を含むこととしても良い。
【００１４】
ここで、画素情報が設定されない部分の周囲の画素情報で補完する際に、周囲の画素情報の内、一の仮視点に対して、より奥側の画素情報で補完することとしても良い。また、逆に、一の仮視点寄りの画素情報で補完することとしても良い。
【００１５】
この第３の発明によれば、画素情報が設定されない部分を周囲の画素情報で補完することにより、画素情報が設定されない部分をより自然に繕うことができる。
【００１６】
また、第４の発明として、第１から第３のいずれかの発明の立体視画像生成情報において、前記立体視画像生成手段に対して、前記立体視画像において、画素情報が重複設定される部分が生じた場合には、重複設定された画素情報の内、奥行情報がより前記一の仮視点寄りの画素情報を優先的に設定する、ように機能させるための情報を含むこととしても良い。
【００１７】
この第４の発明によれば、より仮視点に近い画素情報が優先的に設定されるため、矛盾なく陰面消去された立体視画像を生成することができる。
【００１８】
また、第５の発明として、第１から第４のいずれかの発明の立体視画像生成情報において、前記装置に対して、基準となる奥行値を設定する基準奥行設定手段を機能させるための情報と、前記立体視画像生成手段に対して、前記一の仮視点及び前記複数の視点それぞれの位置関係と、前記基準奥行設定手段により設定された奥行値及び前記奥行情報記憶手段に記憶された奥行情報とに基づいて、前記画像情報記憶手段に記憶された画像の画素情報を設定する位置をずらすように機能させるための情報と、を含むこととしても良い。
【００１９】
この第５の発明によれば、例えば、基準となる奥行値と、記憶された奥行情報との差が大きくなる程、画素情報を大きくずらして設定することとしても良い。その場合には、基準となる奥行値の画素情報は、一の仮視点及び前記複数の視点それぞれの位置関係に関わらず、ずらさずに設定される。即ち、基準となる奥行値を注視点とし、この注視点を任意に変更することができる。
【００２０】
例えば、一の仮視点に対する画像の中心の画素に対して設定された奥行情報を基準となる奥行値とすることとしても良い。その場合には、立体視映像において常に中心に焦点が合っているようにすることができる。また、立体視画像としてゲーム画像を生成する場合には、例えば、メインキャラクタの位置を基準となる奥行値として設定するようにすれば、メインキャラクタは常にプレーヤの左右の目に同じように映るため、立体視映像において、よりはっきりと（焦点が合っているように）見せることができる。
【００２１】
さらに、この場合、第６の発明として、第１から第５のいずれかの発明の立体視画像生成情報において、前記立体視画像生成手段に対して、前記複数の視点に対応する複数の画像をインターリーブした立体視画像を生成するように機能させる情報を含むこととしてもよい。
【００２２】
この第６の発明によれば、一の仮視点に対する画像のみから、複数の視点に対応する立体視画像を生成することができるため、各視点に対する画像をそれぞれ記憶する必要がない。従って、視点数が増加しても、メモリ容量を増加させる必要がなく、メモリ容量の少ない（回路規模の小さい）装置においても多数視点に対する立体視画像の生成（立体視映像の表示）が実現できる。
【００２３】
また、第７の発明として、第１から第４のいずれかの発明の立体視画像生成情報を記憶する情報記憶媒体を実現することとしてもよい。
【００２４】
また、第９の発明として、第８の発明の立体視画像生成装置において、前記一の仮視点に対する画像情報と、前記奥行情報とを入力する入力手段を備えることとしてもよい。
【００２５】
この第９の発明によれば、例えば、立体視画像生成装置外部から、各画素毎の奥行情報を有する画像データを入力することにより、或いは画像データを各画素毎の奥行情報とともに入力することにより、立体視画像を生成することができる。この方法により、各視点に対応した画像を個別に入力する方法に比して少ない入力データ量で、立体視を実現する事ができる。また、描画装置を視点の数だけ用意する必要がなく、一つの描画装置で立体視を実現できる。
【００２６】
【発明の実施の形態】
以下、本発明の好適な実施形態について図面を参照して説明する。なお、以下では、ゲーム装置等においてゲーム画像に本発明を適用して立体視映像として表示する場合を例にとって説明するが、本発明の適用は、これに限るものではない。
【００２７】
まず図１〜図６を参照して本発明の原理を説明する。以下、本実施の形態においては、サブピクセル（ピクセルを構成するｒｇｂそれぞれ）毎にインターリーブを行なって５眼式立体視画像を生成する場合について説明する。
【００２８】
図１は、ゲーム空間に配置されるオブジェクト６−１〜３と視点（最左視点２−１、左視点２−２、中央視点２−３、右視点２−４、最左視点２−５）と投影面４との関係の一例を示す図である。従来は、５つの視点からそれぞれゲーム空間を見た個別視点画像を５つ生成（描画）していたが、本発明においては、ゲーム空間を仮視点Ｖ（ここでは、中央視点２−３を仮視点Ｖとしている。）から見た画像（以下、仮視点画像という。）のみを生成する。また、仮視点画像の各ピクセルに対する奥行値（Ｚ座標）を算出する。ここで、Ｚ軸は、図１に示すように仮視点Ｖの視線方向に伸びる軸であり、仮視点ＶをＺ＝０としている。
【００２９】
また、後述の各画素ごとの描画位置ずらし量ｄは奥行値Ｚの関数であり、概ねｄ＝ａ／ｚ１−ａ／Ｚ（ｚ１は投影面の奥行値、ａは視差の強弱を決める定数）として求められる。本実施の形態においては、このｄを四捨五入して整数化した値を「視差情報」と呼び奥行情報として記憶する。
【００３０】
図２は、１ラインの仮視点画像２２の一例を示す図である。図２に示すように、仮視点画像２２は、１ライン（表示画面に配列されているピクセルの横一列）分ずつ生成される。ここでは、更に、説明を簡明にするため、１ラインを１０ピクセルとし、各ピクセルは、ｒｇｂ縦ストライプ構成として説明する。また、図２は、ピクセルＰ１、Ｐ８、Ｐ９、Ｐ１０には、図１に示したオブジェクト６−１の色が設定され、ピクセルＰ２、Ｐ３、Ｐ６、Ｐ７には、オブジェクト６−２の色が設定され、ピクセルＰ４、Ｐ５には、オブジェクト６−３の色が設定されている場合を示している。
【００３１】
また、図３は、仮視点画像２２の各ピクセルに対応する視差情報（奥行情報２６）の一例を示す図である。ここで、視差情報は投影面４の位置を"０"とし、それよりも奥側（仮視点Ｖから離れる）程、大きい値とし、手前（仮視点Ｖに近づく）程、小さい値（マイナスの値）となっている。
【００３２】
そして、図２に示した仮視点画像２２のサブピクセル毎の輝度情報（仮視点画像情報）の値を図３に示した視差情報に基づいて、立体視画像の画像情報（立体視画像情報）に設定していく。
【００３３】
ここで、立体視画像と各視点映像との関係を図４を参照して説明する。図４（ａ）に示すように、立体視画像２４の各サブピクセルは、対応する視点が順番に割り振られており、レンチキュラ板１００の各レンチキュラレンズ１００−１〜１００−６によりそれぞれ対応する視点にのみ見えることとなる。例えば、サブピクセルＲＲ１〜６は、最右視点２−５に対応付けられたサブピクセルである。即ち、図４（ｂ）に示すように、サブピクセルＲＲ１〜６からなる映像が、最右視点２−５において見える映像（最右視点映像）２０−５となる。
【００３４】
同様に、立体視画像情報のサブピクセルＲ１〜６は、右視点２−４に対応するサブピクセルであり、右視点映像２０−４となる。サブピクセルＣ１〜６は、中央視点２−３に対応するサブピクセルであり、中央視点映像２０−３となる。サブピクセルＬ１〜６は、左視点２−２に対応するサブピクセルであり、左視点映像２０−２となる。サブピクセルＬＬ１〜６は、最左視点２−１に対応するサブピクセルであり、最左視点映像２０−１となる。
【００３５】
また、各視点の映像をプレーヤが両目で見た際に、立体感を感得するためには、各視点の映像は、両眼視差を考慮した、それぞれ異なる（視差情報に応じてずれた）映像でなければならない。即ち、各視点映像（最右視点映像２０−５、右視点映像２０−４、中央視点映像２０−３、左視点映像２０−２、最左視点映像２０−１）がそれぞれ異なる映像となるように、仮視点画像情報を視差情報に応じ位置をずらして立体視画像情報に設定しなければならない。
【００３６】
ここで、本実施の形態では各視点の画像を個別に生成することはしないが、例えば、図１に示した右視点２−４から見た画像（図５（ｃ））を考える。右視点２−４から見た場合、投影面４上のオブジェクト６−２は、仮視点Ｖから見た場合と同じ位置に見える。即ち、図５（ｃ）に示す右視点２−４から見た画像において、仮視点画像（図５（ａ））と同じ位置に描画されることとなる。しかし、仮視点Ｖに対して投影面４よりも奥側のオブジェクト６−１は、右視点２−４から見た場合には、仮視点Ｖから見た場合よりも右にずれて見える。即ち、図５（c）に示す右視点２−４から見た画像において、仮視点画像（図５（ａ））における位置よりも右にずれた位置に描画される。また、投影面４よりも手前側のオブジェクト６−３は、右視点２−４から見た場合には、仮視点Ｖから見た場合よりも左にずれて見える。即ち、図５（ｃ）に示す右視点２−４から見た画像において、仮視点画像における位置よりも左にずれた位置に描画されるはずである。
【００３７】
逆に、左視点２−２から見た画像（図５（ｂ））を考えると、仮視点Ｖに対して投影面４よりも奥側のオブジェクト６−１は、仮視点画像（図５（ａ））における位置よりも左にずれた位置に描画される。また、投影面４よりも手前側のオブジェクト６−３は、仮視点画像における位置よりも右にずれた位置に描画されることとなる。
【００３８】
また、最右視点２−５から見た画像では、右視点２−４から見た画像よりもずれる量が大きくなる。同様に、最左視点２−１から見た画像では、左視点２−２から見た画像よりもずれる量が大きくなる。
【００３９】
従って、仮視点画像情報中のあるサブピクセルの値を立体視画像情報に設定していく際に、仮視点Ｖよりも右側の視点に対応するサブピクセルに値を設定する場合には、当該サブピクセルに対応する視差情報が"０"より大きい値であれば（投影面４よりも奥側であれば）、立体視画像情報において当該サブピクセルの仮視点画像における位置から右にずらした位置に値を設定する。
【００４０】
逆に当該サブピクセルに対応する視差情報が"０"よりも小さい値であれば、立体視画像情報において左にずらした位置に値を設定する。また、視差情報が"０"であれば、位置をずらさずに、設定する。また、最右視点２−５に対応するサブピクセルの値を設定する際には、右視点２−４に対応するサブピクセルの値を設定する場合よりも、値を設定する位置をずらす量を大きくする。
【００４１】
同様に、仮視点Ｖよりも左側の視点に対応する立体視画像情報に値を設定する際には、当該サブピクセルに対応して記憶されている視差情報が"０"より大きい値であれば、立体視画像情報において当該サブピクセルの仮視点画像における位置から左にずらした位置に値を設定し、当該サブピクセルに対応する視差情報が"０"よりも小さい値であれば、右にずらした位置に値を設定する。また、最左視点２−１に対応するサブピクセルの値を設定する際には、左視点２−２に対応するサブピクセルの値を設定する場合よりも、値を設定する位置をずらす量を大きくする。つまり、描画位置ずらし量ｄは、例えば画面右方向を正として、該当する視点の仮視点からの距離と視差情報との積に比例する値として計算される。
【００４２】
更に図６、図７を参照して、具体的に仮視点画像２２及び視差情報（奥行情報２６）に基づいて、立体視画像２４を生成していく方法について説明する。この図６は、ダイレクトサンプリング（輝度のブレンド計算などをせず、原画像（仮視点画像２２）における特定画素に対して、生成画像（立体視画像２４）の対応する画素を選択し、原画像の当該特定画素の輝度情報の値を生成画像上の当該選択画素の輝度情報の値とする方法）によってサンプリング、インターリーブを行なう場合を例にとって説明する図である。本発明は、他のサンプリング方法によっても実現可能であり、サンプリング方法は限定されるものではない。本実施の形態においては、視差情報（奥行情報２６）は、仮視点画像２２の画素ごとに、その画素の右視点２−４に対応する設定位置の画面右方向への描画位置ずらし量ｄを画素の幅を単位に表わしたものであり、仮視点画像２２の画素の幅はレンチキュラレンズの幅（レンズピッチ）に等しいものとして説明する。仮視点画像２２の画素も、レンチキュラレンズの幅（レンズピッチ）に等しいものに限定されるものではない。
【００４３】
まず、仮視点画像２２の一つの画素に対して、５つの視点それぞれに対応する立体視画像の画像情報の設定位置を決定する。本実施の形態においては、仮視点Ｖと中央視点２−３が等しい視点であり、各視点が等間隔に配置されている。故に、仮視点画像の一つの画素についての各視点に対応した描画位置のずらし量は、最右視点２−５（ＲＲ）に対応する描画位置ずらし量が視差情報の値の２倍、右視点２−４（Ｒ）に対応する描画位置ずらし量が視差情報の値、左視点２−２（Ｌ）に対応する描画位置ずらし量が視差情報の値の−１倍、最左視点２−１（ＬＬ）に対応する描画位置ずらし量が視差情報の値の−２倍として計算される。中央視点２−３（Ｃ）に対応する描画位置ずらし量は常に０である。
【００４４】
立体視画像上には各視点に対応するサブピクセルがＲＲ，Ｒ，Ｃ，Ｌ，ＬＬの順で配置されており、仮視点画像２２の１画素に対応する領域に、各視点に対応した５つのサブピクセルを含んでいる。描画位置は視点に対応して決定するので、さらに描画位置に属するサブピクセルの中から視点と対応するサブピクセルが決定される。決定されたサブピクセルが赤（ｒ）、緑（ｇ）、青（ｂ）のいずれかの色のサブピクセルであるかに応じて、もとの仮視点画像の画素を構成する当該色要素の輝度情報を、決定されたサブピクセルに設定する。
【００４５】
図６においては、図中太線矢印方向に走査を行なう（仮視点画像２２の情報を左から右に順番に立体視画像２４に設定していく。）。即ち、まず、仮視点画像２２の最も左側のピクセルであるＰ１について考える。ピクセルＰ１の視差情報は、"＋２"である。この視差情報に基づいて各視点に対する描画位置のずらし量を計算すると、最右視点に対応する描画位置ずらし量は＋４、右視点に対応する描画位置ずらし量は＋２、中央視点に対応する描画位置ずらし量は０、左視点に対応する描画位置ずらし量は−２、最左視点に対応する描画位置ずらし量は−４となる。
【００４６】
最右視点について考えると、描画位置ずらし量は＋４であるのでＰ１からレンズピッチ４つ分右側のピクセル即ちＰ５に属する領域に画像情報を設定する。立体視画像２４のうちＰ５に属する領域はＲＲ５，Ｒ５，Ｃ５，Ｌ５，ＬＬ５の五つのサブピクセルで構成されており、それぞれのサブピクセルが最右、右、中央、左、最左の視点に対応している。最右視点に対応するサブピクセルＲＲ５は青色のサブピクセルであるため、仮視点画像２２のピクセルＰ１の画像情報の中から青色要素ｂ１が立体視画像２４のサブピクセルＲＲ５に設定される。同様に、右視点についてＰ１からレンズピッチ２つ分右側のピクセルの、右視点に対応するサブピクセルＲ３に描画する。Ｒ３は青色のサブピクセルであるのでＰ１の青色要素ｂ１がサブピクセルＲ３に設定される。中央視点については描画位置ずらし量は０であるので、Ｐ１の中央視点に対応するサブピクセルＣ１に描画する。Ｃ１は青色のサブピクセルであるのでＰ１の青色要素ｂ１がサブピクセルＣ１に設定される。
【００４７】
ピクセルＰ１に基づいて、五つの視点に対応した画像を描画したならば、次にピクセルＰ２に付いて同様に５つの視点分の映像を描画する、同様にＰ３、Ｐ４と順次画面右方向に処理を続ける。
【００４８】
このように、順番に、立体視画像２４に値を設定していくと、立体視画像２４の一つのサブピクセルに対して設定処理が重複してしまう場合がある。例えば、図６に示す立体視画像２４のサブピクセルＲＲ２は、仮視点画像２２のピクセルＰ２に由来するｂ２と、仮視点画像２２のピクセルＰ４に由来するｂ４との２つの値が設定されうる。そのような場合には、より仮視点Ｖに近い（奥行情報２６が小さい）ピクセルに由来する値を設定するようにしなければならない。
【００４９】
仮視点Ｖよりも右側の視点から見た画像について考えると、より手前の（仮視点Ｖに近い）画像情報は左側にずれた位置に、より奥側のものは右側にずれた位置に描画される。つまり、立体視画像において同一点に設定されうる画像については、仮視点画像においてより右側に由来する画像情報が、奥行情報２６が小さいピクセルに由来する画像情報であるといえる。仮視点画像を左から右に走査する場合には、より手前の画像情報がより後から設定されることとなる。従って、仮視点Ｖよりも右側の視点（右視点２−４（Ｒ）、最右視点２−５（ＲＲ））に対応する立体視サブピクセルにおいて重複が発生した場合には、より後から設定された値をそのサブピクセルの値として上書き設定すれば、より手前の画像情報を採用し陰面消去することができる。
【００５０】
反対に、仮視点Ｖよりも左側の視点（左視点２−２（Ｌ）、最左視点２−１（ＬＬ））に対応する立体視サブピクセルにおいて、重複設定が発生した場合には、仮視点画像においてより左のピクセルに由来する値を設定することとすれば良い。そのため仮視点画像を左から右に走査する場合には、一旦値が設定された左視点、最左視点のサブピクセルには上書き設定しない。
【００５１】
例えば、図６において、サブピクセルＲＲ２（最右視点２−５に対応するサブピクセル）においては、一旦ピクセルＰ２に由来するｂ２が設定された後、ピクセルＰ４に由来するｂ４の値が上書き設定される。また、例えば、立体視サブピクセルＬＬ３（最左視点２−１に対応するサブピクセル）においては、ピクセルＰ３に由来するｂ３が設定された後、ピクセルＰ５の最左視点２−１に対応する描画先がＬＬ３であることが判明するが、先にｂ３が設定されているのでピクセルＰ５に由来するｂ５が上書きされることはなくｂ３が採用される。
【００５２】
この方法で、走査が完了しても立体視画像２４上に値が設定されない（欠落した）サブピクセルが発生する。図７はこの欠落部の補完に付いて説明する図である。２０−１ないし２０−５は、立体視画像２４からレンチキュラ板１００を通して表示した場合の各視点映像であり、２０−１は最左視点にて観察される映像、２０−２は左視点にて観察される映像、２０−３は中央視点にて観察される映像、２０−４は右視点にて観察される映像、２０−５は最右視点にて観察される映像を示している。
【００５３】
欠落したサブピクセルは、そのサブピクセルが属する視点映像において、欠落部分の両側の値の設定されたサブピクセルの内、より奥行情報２６の大きいピクセルの情報に従って補完する。奥行情報２６の大きいピクセルの映像で欠落部分を補完することにより、奥行情報２６の小さい（手前側にある）映像の輪郭を損なうことなく映像が補完される。
【００５４】
具体的には、仮視点Ｖよりも右側の視点（右視点２−４、最右視点２−５）に属するサブピクセルを補完する場合には、当該視点映像においてそのサブピクセルの右側の値の設定されたサブピクセルの内、最も近いサブピクセルに設定されている画像情報が属する仮視点画像のピクセルの画像情報で補完する。何故ならば、上述したように、仮視点Ｖよりも右側の視点から見た画像では、より手前のオブジェクトは、奥側のオブジェクトに対して左にずれる（奥側のものは、手前のものに対して右にずれる）ため、仮視点Ｖよりも右側の視点映像における欠落部の左のデータよりも右のデータの方が常に奥側のものとなるからである。同様に、仮視点Ｖよりも左側の視点（左視点２−２、最左視点２−１）に属するサブピクセルを補完する場合には、当該視点映像においてそのサブピクセルの左側の値の設定されたサブピクセルの内、最も近いサブピクセルに設定されている画像情報が属する仮視点画像のピクセルの画像情報で補完する。
【００５５】
例えば、図７において、前述の走査が完了した段階で値が設定されていないサブピクセルＲ４（右視点２−４に対応）を補完する場合を考える。右視点画像２０−４においてＲ４の右側で最も近い値の設定されているサブピクセルはサブピクセルＲ６である。従って、サブピクセルＲ４は、サブピクセルＲ６に設定されている値ｂ６が属するピクセルＰ６の緑要素ｇ６（サブピクセルＲ４は、緑色のサブピクセルであるため）の値で補完する。
【００５６】
しかしながら、図７に示すように、各視点映像における左右両端部に欠落が生じた場合には、その部分（例えば、右視点映像２０−４におけるサブピクセルＲ８、Ｒ９や、左視点画像２０−２におけるサブピクセルＬ１）の補完は行なえない。何故ならば、例えば、サブピクセルＲ８、Ｒ９などは、それよりも右側のデータがないためである。また、サブピクセルＲ１、Ｌ８、Ｌ９のような画面端部の補完は、仮視点画像の範囲外の情報の無い部分を補完することとなるので立体視映像において違和感が生じるおそれがある。この問題は、仮視点画像２２として立体視画像２４よりも左右に広い画像を描画しておくことで、左右両端部に欠落が生じないようにすることで解決できる。
【００５７】
上述したように、立体視画像２４を生成するために、複数の視点に対する画像を描画する必要がなく、１つの仮視点画像２２のみを描画すれば良いため、画像描画に係る処理負荷の軽減を図ることができる。そのため、ゲーム画像のようにリアルタイムに画像の生成、表示を行なわなければならない画像の立体視表示の実現が容易となる。また、複数の視点に対する画像を描画する必要がないため、それらの画像を記憶するためのメモリも必要なく、メモリ容量の少ない装置等においても立体視画像の生成・表示が実現できる。
【００５８】
次に、本実施の形態に係る機能を説明する。図８は、本実施の形態の機能ブロックの一例を示す図である。本実施の形態の機能ブロックは、操作部１０と、処理部２００と、表示部３０と、記憶部５００と、一時記憶部６００と、から構成される。
【００５９】
操作部１０は、プレーヤがゲームにおける各種操作指示入力するためのものであり操作部１０にて得られた操作データは処理部２００に出力される。
【００６０】
処理部２００は、操作部１０から入力される操作データに基づいてゲーム空間の設定を行なう処理、そのゲーム空間の立体視画像を生成し、一時記憶部６００に記憶させる処理、一時記憶部６００に記憶された立体視画像を所与のタイミングで表示部３０に表示させる処理等の処理を行なう。より具体的に説明すると、処理部２００は、主にゲーム演算部２１０、仮視点画像生成部２２０、立体視画像生成部２３０とから構成される。
【００６１】
ゲーム演算部２１０は、操作部データ及びゲームプログラム５０２に従って、ゲームを実行し、ゲーム空間における各種オブジェクトや、仮視点Ｖの配置等に係る処理等の処理を行なう。
【００６２】
仮視点画像生成部２２０は、仮視点Ｖから見た仮視点画像２２を描画する処理を行なう。そして、描画した仮視点画像２２を一時記憶部６００内の仮視点画像用ラインバッファ６０２に格納する。また、仮視点画像生成部２２０は、仮視点画像２２における各ピクセル毎の奥行情報（Ｚ座標値）２６を生成し、Ｚバッファ６０４に格納する。
【００６３】
立体視画像生成部２３０は、立体視画像生成プログラム５０４に従って、立体視画像２４を生成し、生成した立体視画像２４を立体視画像用ラインバッファ６０６に格納する。具体的には、立体視画像生成部２３０は、立体視を行なう際の複数の視点と仮視点Ｖとの位置関係及びＺバッファ６０４に格納された各ピクセル毎の奥行値に基づいて、仮視点画像用ラインバッファ６０２に格納された画像の仮視点画像情報中のサブピクセルの値を左から順に立体視画像情報に設定していく。
【００６４】
その際に、複数の値が重複設定されるサブピクセルには、仮視点画像において奥行値がより小さいピクセルに属する値を設定する。具体的には、例えば、仮視点Ｖより右側の視点に対応するサブピクセルの場合には、後から設定される値を常に上書きするようにし、仮視点Ｖよりも左側の視点に対応するサブピクセルの場合には、最先に設定された値を採用することとする。仮視点Ｖと一致する視点に対応するサブピクセルに関しては重複は発生しない。
【００６５】
また、立体視画像生成部２３０は、設定ピクセルデータ６０８を生成する。図９は設定ピクセルデータ６０８の一例を示す図である。同図に示すように、設定ピクセルデータ６０８には、立体視画像の各サブピクセルに対して、設定された値が仮視点画像のどのピクセルに由来するものであるかを示すピクセル番号が記録される。
【００６６】
さらに、立体視画像生成部２３０は、立体視画像情報の欠落した部分（値が設定されていないサブピクセル）を補完する処理を行う。具体的には、仮視点Ｖよりも右側の視点に（右視点２−４、最右視点２−５）に対するサブピクセルに値が設定されていない場合には、設定ピクセルデータ６０８を参照して、そのサブピクセルの右側で同一視点に対するピクセル番号の設定されたサブピクセルのうち、最も近い位置にあるサブピクセルに対するピクセル番号の示す仮視点画像のピクセルの値で補完する。
【００６７】
例えば、右視点２−４に対応するサブピクセルＲ４の値を補完する場合には、設定ピクセルデータ６０８において、サブピクセルＲ４よりも右側の右視点２−４に対応するサブピクセルは、Ｒ５・Ｒ６・Ｒ７・・・となっている。サブピクセルＲ４に近いサブピクセルからみていくと、最もサブピクセルＲ４に近いサブピクセルはサブピクセルＲ５であるが、サブピクセルＲ５には値が設定されていない。次のサブピクセルＲ６には値が設定されているので、Ｒ４の右側で右視点に対するサブピクセルのうちピクセル番号の設定された最もＲ４に近い位置にあるサブピクセルはＲ６ということになる。設定ピクセルデータ６０８において、サブピクセルＲ６に対して記憶されているピクセル番号はＰ６であるため、サブピクセルＲ４は仮視点画像のピクセルＰ６に属するサブピクセルの値で補完する。
【００６８】
逆に、仮視点Ｖよりも左側の視点（左視点２−２、最左視点２−１）に対するサブピクセルに値が設定されていない場合には、設定ピクセルデータ６０８において、該当するサブピクセルの左側で同一視点に対するピクセル番号の設定されているサブピクセルのうち、最も近い位置にあるサブピクセルに対するピクセル番号の示す仮視点画像のピクセルの値で補完する。仮視点Ｖと一致する視点に対応するサブピクセルに関しては欠落は発生しないので補完処理も発生しない。
【００６９】
上述した処理部２００の処理は、例えば、ＣＰＵ（ＣＩＳＣ型、ＲＩＳＣ型）、ＤＳＰ、ＡＳＩＣ（ゲートアレイ等）、メモリなどのハードウェアにより実現できる。
【００７０】
表示部３０は、例えば、ＴＦＴカラー液晶パネルのようなｒｇｂ縦ストライプの画素配列の液晶パネルにレンチキュラ板（微細な半円筒形のレンズアレイ）を備えた立体視映像表示装置であり、立体視画像生成部２３０の生成した画像（立体視画像用ラインバッファ６０６に格納された画像）を表示することによりレンチキュラ板を通してプレーヤに両眼視差を与える映像を見せ、ゲーム画像を立体視させる。
【００７１】
記憶部５００は、ゲームプログラム５０２、立体視画像生成プログラム５０４を記憶する。この記憶部５００の機能は、ＣＤ−ＲＯＭ、ゲームカセット、ＩＣカード、ＭＯ、ＦＤ、ＤＶＤ、ＲＯＭ・フラッシュメモリ等のメモリＩＣ、ハードディスクなどのハードウェアにより実現できる。
【００７２】
一時記憶部６００は、上述した仮視点画像２２を格納する仮視点画像用ラインバッファ６０２、仮視点画像２２の奥行情報を格納するＺバッファ６０４、立体視画像２４を格納する立体視画像用ラインバッファ６０６を含む。この一時記憶部６００の機能は、ＲＡＭやハードディスク等の書き込み可能のメモリなどのハードウェアにより実現できる。
【００７３】
次に本実施の形態における立体視画像生成処理に係る動作について図１０に示すフローチャートに基づいて説明する。なお、図１０では、１ライン分の立体視画像生成・表示に係る処理について説明する。
【００７４】
まず、仮視点画像生成部２２０は、ゲーム演算部２１０により設定されたゲーム空間を仮視点Ｖから見た仮視点画像２２を生成し（ステップＳ１）、その仮視点画像２２の各ピクセル毎の奥行情報を設定する（ステップＳ２）。そして、立体視画像生成部２３０が、仮視点画像情報中のサブピクセルの値を、当該サブピクセルの対応する視点と奥行情報とに応じてずらした位置の立体視画像情報に設定していく。即ち、立体視画像２４を生成する（ステップＳ３）。
【００７５】
次いで、立体視画像生成部２３０は、立体視画像２４において、立体視画像情報の値の設定されていないサブピクセルを補完する（ステップＳ４）。そして、レンチキュラ板を備えた表示部３０に立体視画像２４を表示して（ステップＳ５）、処理を終了する。このステップＳ１〜Ｓ５の処理を繰り返し行なうことにより、表示画面の全てのラインの立体視画像の生成表示が行なわれる。
【００７６】
次に、本実施の形態を実現できるハードウェア構成の一例について図１１を参照して説明する。同図に示す装置では、ＣＰＵ１０００、ＲＯＭ１００２、ＲＡＭ１００４、情報記憶媒体１００６、音生成ＩＣ１００８、画像生成部１０１０、Ｉ／Ｏポート１０１２、１０１４が、システムバス１０１６により相互にデータ入出力可能に接続されている。そして画像生成部１０１０には立体視映像表示装置１０１８が接続され、音生成ＩＣ１００８にはスピーカ１０２０が接続され、Ｉ／Ｏポート１０１２にはコントロール装置１０２２が接続され、Ｉ／Ｏポート１０１４には通信装置１０２４が接続されている。
【００７７】
情報記憶媒体１００６は、プログラム、表示物を表現するための画像データ、音データ、プレイデータ等が主に格納されるものであり、図８における記憶部５００に相当する。例えば本実施の形態を実現するものがコンピュータである場合には、ゲームプログラム等を格納する情報記憶媒体としてＣＤ−ＲＯＭ、ＤＶＤ等が、家庭用ゲーム装置である場合には、これらの他にゲームカセット等が用いられる。また業務用ゲーム装置として実現する場合には、ＲＯＭ等のメモリやハードディスクが用いられ、この場合には情報記憶媒体１００６とＲＯＭ１００２とは同一一体のものとして実現される。
【００７８】
コントロール装置１０２２はゲームコントローラ、操作パネル等に相当するものであり、プレーヤがゲームの進行に応じて行なう判断の結果を装置本体に入力するための装置である。図８に示す操作部１０がこれに相当する。
【００７９】
情報記憶媒体１００６に格納されるプログラム、ＲＯＭ１００２に格納されるシステムプログラム（装置本体の初期化情報等）、コントロール装置１０２２から入力される信号等に従って、ＣＰＵ１０００は装置全体の制御や各種データ処理を行う。ＲＡＭ１００４はこのＣＰＵ１０００の作業領域等として用いられる記憶手段であり、情報記憶媒体１００６やＲＯＭ１００２の所与の内容、あるいはＣＰＵ１０００の演算結果等が格納される。図８に示す一時記憶部６００がこれに相当する。また、処理の高速化の為、ＲＯＭ１００２や情報記憶媒体１００６の内容をＲＡＭ１００４に複写し、ＲＡＭ１００４が実質的に図８に示す記憶部５００として機能することとしてもよい。
【００８０】
更に、この装置には音生成ＩＣ１００８と画像生成部１０１０とが設けられていてゲーム音やゲーム画像の好適な出力が行えるようになっている。音生成ＩＣ１００８は情報記憶媒体１００６やＲＯＭ１００２に記憶される情報に基づいて効果音やＢＧＭ音楽等のゲーム音を生成する集積回路であり、生成されたゲーム音はスピーカ１０２０によって出力される。また画像生成部１０１０は、ＲＡＭ１００４、ＲＯＭ１００２、情報記憶媒体１００６、ＣＰＵ１０００等から送られる画像情報に基づいて立体視映像表示装置１０１８に出力するための画像情報を生成する集積回路であり、必要に応じてＡＳＩＣやＰＬＤ、ＤＳＰ、ＣＰＵ、メモリなどを含む回路として実現される。また、立体視映像表示装置１０１８は、ＬＣＤ等のディスプレイ及びレンチキュラ板またはパララックスバリア等の画像分離装置により実現される。
【００８１】
図１〜図９を参照して説明した種々の処理は、図１０のフローチャートに示した処理等を行うプログラムに従って動作するＣＰＵ１０００、画像生成部１０１０等によって実現される。これらの処理は、ＣＰＵ１０００によりソフトウェア的に行われるものとしてもよいし、描画機能、インターリーブ機能等を有する専用の回路として実現される画像生成部１０１０によってハードウェア的に実現されるものであってもよい。またＣＰＵ１０００と画像生成部１０１０が協働して実現するものであってもよい。
【００８２】
また、通信装置１０２４は装置内部で利用される各種情報を外部とやりとりするものであり、他の装置と接続されてゲームプログラムなどに応じた所与の情報を送受したり、通信回線を介してゲームプログラム等の情報を送受すること等に利用される。
【００８３】
図１２に、ホスト装置１３００と、このホスト装置１３００と通信回線１３０２を介して接続される端末１３０４−１〜１３０４−ｎとを含むゲーム装置に本実施の形態を適用した場合の例を示す。
【００８４】
この場合、ゲームプログラム５０２、及び立体視画像生成プログラム５０４は、例えば、ホスト装置１３００が制御可能な磁気ディスク装置、磁気テープ装置、メモリ等の情報記憶媒体１３０６に格納されている。端末１３０４−１〜１３０４−ｎが、ＣＰＵ、画像生成ＩＣ、音生成ＩＣを有し、スタンドアロンでゲーム画像、ゲーム音を生成できるものである場合には、ホスト装置１３００からは、ゲームプログラム５０２、及び立体視画像生成プログラム５０４等が通信回線１３０２を介して端末１３０４−１〜１３０４−ｎに配信される。一方、スタンドアロンで生成できない場合には、ホスト装置１３００がゲーム画像（立体視画像）、ゲーム音を生成し、これを端末１３０４−１〜１３０４−ｎに伝送し、端末において出力することになる。
【００８５】
また、例えば、仮視点画像２２、奥行情報データ２６がホスト装置から端末に送信され、この仮視点画像２２及び奥行情報データ２６に基づいて、端末側で立体視画像２４を生成、出力することとしても良い。その場合には、ホスト装置１３００の処理部がゲーム演算部２１０及び仮視点画像生成部２２０の処理を行ない、端末の処理部は、立体視画像生成部２３０の処理のみを行なうこととなる。この方法により、各視点に対応した画像情報をホストから送信する方法に比して少ない通信データ量で、立体視を実現する事ができる。
【００８６】
以上のように、本発明によれば、立体視画像２４を生成するために、それぞれの視点に対する画像を視点数分描画する必要がなく、１つの仮視点Ｖから見た画像のみを描画すれば良いため、画像描画に係る処理負荷の軽減を図ることができる。そのため、画像描画処理にかかる時間の短縮が可能となり、ゲーム画像のようにリアルタイムに画像の生成、表示を行なわなければならない画像の立体視表示の実現がより容易となる。また、複数の視点に対する画像を描画する必要がないため、それらの画像を記憶するためのメモリも必要ない。従って、メモリ容量の少ない装置や回路規模の小さい装置等においても立体視画像の生成・表示が実現できる。
【００８７】
なお、本発明は、上記実施の形態で説明したものに限らず、種々の変形実施が可能である。例えば、上記実施の形態においては、１ライン毎に仮視点画像２２及び立体視画像２４を生成することとしたが、１フレーム毎に仮視点画像２２及び立体視画像２４を生成することとしても良い。その場合には、一時記憶部６００には、仮視点画像２２、奥行情報データ２６、立体視画像２４を格納するためのフレームバッファが含まれることとなる。
【００８８】
また、上記実施の形態においては、ｒｇｂ縦ストライプ構成のカラー液晶ディスプレイに立体視画像を表示する場合を説明したが、本発明の適用は、これに限るものではなく、例えば、モノクロ（白黒）の液晶ディスプレイに表示する場合にも適用可能である。
【００８９】
また、上記実施の形態においては、５眼式立体視映像を表示するための立体視画像生成について、説明したが、本発明は、これに限るものではなく、例えば、２眼式、３眼式、４眼式であっても良く、更に、６眼式、７眼式、…、ｎ眼式の立体視映像に適用可能である。
【００９０】
また、上記実施の形態においては、奥行情報として視差情報を記憶することとしたが、他の奥行きを表わす数値を記憶することとし、その数値から描画位置ずらし量を計算によって算出し決定することとしても良い。
【００９１】
また、例えば、立体視画像において仮視点Ｖより右側の視点に対するサブピクセルの値を設定する場合には、仮視点画像２２を左らか右に走査し、仮視点Ｖより左側の視点に対するサブピクセルの値を設定する場合には、仮視点画像２２を右から左に走査し、どちらの場合も、一のサブピクセルに複数の値が重複して設定される場合には後から設定される値を上書きすることとしても良い。その場合にも、常に奥行値の小さい（仮視点Ｖに対してより手前）のものが採用されることとなる。
【００９２】
また、例えば、投影面４の位置（奥行値）を任意に変更可能としても良い。投影面４と等しい奥行値の画像は、視点に関わらず、ずらすことなく、立体視画像に設定される。即ち、投影面４の位置にあるオブジェクトは、どの視点から見ても同じ位置に見える。従って、プレーヤが両目で見た場合、よりはっきりと見えるため、例えば、ゲーム画像において、メインキャラクタの位置と等しい位置となるように投影面４の位置を変更すれば、メインキャラクタがゲーム空間を移動しても（メインキャラクタの設定される奥行値が変更しても）、常にメインキャラクタがはっきりとプレーヤに見えることになる。
【００９３】
また、立体視画像生成装置を、例えば、当該立体視画像生成装置外部からの、各画素毎の奥行情報を有する画像データの入力、或いは画像データと当該画像データの各画素毎の奥行情報の入力を可能に構成することにより、入力された画像に対して上述した処理を行うことで立体視画像を生成することとしても良い。
【００９４】
【発明の効果】
本発明によれば、ゲーム画像のように、リアルタイムに画像を描画、生成しなければならない場合等において、従来のように、視点数分の画像を描画する必要がなく、一の視点に対する画像のみを描画すれば良いため、視点数に関わらず、画像描画に係る処理負荷は、平面視画像を生成する場合と同等である。そのため、ゲーム画像の複数視点に対応する立体視映像表示が容易に実現できる。
【図面の簡単な説明】
【図１】ゲーム空間に配置されるオブジェクトと視点と投影面との関係の一例を示す図である。
【図２】仮視点画像の一例を示す図である。
【図３】仮視点画像の各ピクセルに対応する奥行値データの一例を示す図である。
【図４】立体視画像と各視点映像との関係を説明する図である。
【図５】仮視点Ｖ、右視点、左視点からみた画像の一例をそれぞれ示す図である。
【図６】立体視画像情報の設定の一例を説明する図である。
【図７】各視点視映像の一例を示す図である。
【図８】本実施の形態の機能ブロックの一例を示す図である。
【図９】設定ピクセルデータの一例を示す図である。
【図１０】本実施の形態における立体視画像生成処理の動作の一例を示すフローチャートである。
【図１１】本実施の形態を実現できるハードウェア構成の一例を示すブロック図である。
【図１２】ホスト装置と通信回線を介して接続されるゲーム端末に本実施の形態を適用した場合の一例を示す図である。
【符号の説明】
１０ 操作部
２００ 処理部
２１０ ゲーム演算部
２２０ 仮視点画像生成部
２３０ 立体視画像生成部
３０ 表示部
５００ 記憶部
５０２ ゲームプログラム
５０４ 立体視画像生成プログラム
６００ 一時記憶部
６０２ 仮視点画像用ラインバッファ
６０４ Ｚバッファ
６０６ 立体視画像用ラインバッファ
６０８ 設定ピクセルデータ

Claims (5)

1. コンピュータに、仮想空間中に左右方向に配置された複数の視点それぞれに対応した画像を生成させて、両眼視差を利用した左右方向の立体視が可能な立体視画像を生成させるためのプログラムであって、
   前記仮想空間を一の仮視点から見た仮視点画像として、前記立体視画像よりも大きい画像を、前記仮視点画像における画素毎の前記仮視点からの奥行情報をＺバッファに記憶させつつ生成する仮視点画像生成手段、
   前記仮視点と前記複数の視点それぞれとの位置関係と、前記Ｚバッファに記憶された奥行情報とに基づいて、前記仮視点画像生成手段により生成された仮視点画像の画素情報から前記複数の視点それぞれに対応する画像を生成することにより、前記立体視画像を生成する立体視画像生成手段、
   として前記コンピュータを機能させるとともに、
   前記立体視画像生成手段が、前記立体視画像に画素情報が設定されない欠落部分が生じた場合には、その欠落部分の周囲の画素情報に基づいて、その欠落部分の画素情報を補完する、ように前記コンピュータを機能させるためのプログラム。
2. 請求項１に記載のプログラムであって、
   前記仮視点画像生成手段が、前記仮視点画像として、前記立体視画像より少なくとも横方向が長い画像を生成し、
   前記立体視画像生成手段が、前記欠落部分に対応する視点が前記複数の視点のうち前記仮視点より右側の視点であれば、当該欠落部分の右側に近接する画素情報から当該欠落部分の画素情報を補完し、左側の視点であれば、当該欠落部分の左側に近接する画素情報から当該欠落部分の画素情報を補完する、
   ように前記コンピュータを機能させるためのプログラム。
3. 請求項１又は２に記載のプログラムは、前記仮想空間をゲーム空間として、一のキャラクタが当該ゲーム空間を移動するゲームを前記コンピュータに実行させるためのゲームプログラムであって、
   前記仮視点からの奥行値の基準を、前記ゲーム空間中を移動する前記一のキャラクタの位置に設定する基準奥行設定手段として前記コンピュータを機能させ、
   前記立体視画像生成手段が、前記基準奥行設定手段により設定された基準の奥行値を前記立体視画像における奥行の規定位置として前記立体視画像を生成するように前記コンピュータを機能させる、
   ためのプログラム。
4. 請求項１〜３の何れか一項に記載のプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体。
5. 仮想空間中に左右方向に配置された複数の視点それぞれに対応した画像を生成して、両眼視差を利用した左右方向の立体視が可能な立体視画像を生成する立体視画像生成装置であって、
   前記仮想空間を一の仮視点から見た仮視点画像として、前記立体視画像よりも大きい画像を、前記仮視点画像における画素毎の前記仮視点からの奥行情報をＺバッファに記憶させつつ生成する仮視点画像生成手段と、
   前記仮視点と前記複数の視点それぞれとの位置関係と、前記Ｚバッファに記憶された奥行情報とに基づいて、前記仮視点画像生成手段により生成された仮視点画像の画素情報から前記複数の視点それぞれに対応する画像を生成することにより、前記立体視画像を生成する立体視画像生成手段と、
   を備えるとともに、
   前記立体視画像生成手段は、前記立体視画像に画素情報が設定されない欠落部分が生じた場合には、その欠落部分の周囲の画素情報に基づいて、その欠落部分の画素情報を補完する、
   立体視画像生成装置。

Images