JPH113437A

JPH113437A - 画像合成装置及び画像合成方法

Info

Publication number: JPH113437A
Application number: JP10117854A
Authority: JP
Inventors: Takashi Iwase; 隆岩瀬
Original assignee: Namco Ltd
Current assignee: Namco Ltd
Priority date: 1998-04-13
Filing date: 1998-04-13
Publication date: 1999-01-06

Abstract

(57)【要約】【課題】リアリティが高く多様性に富んだ画像を合成
できる画像合成装置及び画像合成方法を提供すること。【解決手段】テクスチャ記憶部３０８に映像カメラ２
６により撮像された画像をテクスチャとして書き込み、
テクスチャ記憶部３０８に記憶されるテクスチャを仮想
３次元空間内の物体（プレーヤキャラクタ、レーシング
カー等）にマッピングする。映像カメラによりリアルタ
イムに撮像された画像をリアルタイムにマッピングした
り、静止画カメラによりゲームプレイの開始前に撮像さ
れた画像をマッピングする。プレーヤの頭部画像を撮像
しマッピングする。複数の方向からプレーヤを撮像する
ことで得られる複数の画像をプレーヤの頭部を表す物体
にマッピングする。撮像された第１、第２のプレーヤの
画像を、各々、第１、第２の物体にマッピングし、第
１、第２のプレーヤが見る第１、第２の画面に、各々、
上記第２、第１の物体を表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像合成装置及び
画像合成方法に関する。

【０００２】

【背景技術及び発明が解決しようとする課題】近年、ド
ライブシミュレータ、フライトシミュレータ、ゲーム装
置、システムキッチンの疑似体験システム等の分野で、
いわゆる仮想現実を実現できる各種の画像合成装置が提
案されている。そして、この種の画像合成装置において
は、いかにして仮想世界を現実の世界に近づけるかが、
大きな技術的課題となっている。そして、このような技
術的課題を小規模なハードウェアで実現する手法とし
て、テクスチャマッピングと呼ばれる手法が考えられ
る。

【０００３】しかしながら、これまでのテクスチャマッ
ピングでは、仮想３次元空間内の物体にマッピングする
テクスチャを記憶するテクスチャ記憶部は、データの電
気的書き換えが不能なテクスチャＲＯＭにより構成され
ていた。このため、仮想３次元空間内の物体には、メー
カ側により予め設定されたテクスチャのみが常にマッピ
ングされることになり、得られる画像が単調なものとな
っていた。即ち、仮想３次元空間内の第１の物体には常
に第１のテクスチャがマッピングされ、プレーヤが見る
画面には、この第１のテクスチャが常にマッピングされ
た第１の物体が映し出されることになる。このため、合
成される画像の多様化を図ることができなかった。

【０００４】本発明は以上のような技術的課題を解決す
るためになされたものであり、その目的とするところ
は、リアリティが高く多様性に富んだ画像を合成できる
画像合成装置及び画像合成方法を提供することにある。

【０００５】

【課題を解決するための手段】上記課題を解決するため
に、本発明に係る画像合成装置は、仮想３次元空間内の
物体にマッピングするテクスチャを記憶するテクスチャ
記憶手段と、撮像手段により撮像された画像を前記テク
スチャとして前記テクスチャ記憶手段に書き込む手段
と、前記テクスチャ記憶手段に記憶されるテクスチャを
仮想３次元空間内の物体にマッピングし、仮想３次元空
間内の所与の視点から見える画像を合成する画像合成手
段とを含むことを特徴とする。

【０００６】これまでのテクスチャマッピングでは、テ
クスチャ記憶手段はテクスチャＲＯＭにより構成されて
おり、仮想３次元空間内の物体（プレーヤキャラクタ、
レーシングカー等）に対して、予め決められたテクスチ
ャしかマッピングできなかった。これに対して、本発明
によれば、撮像手段により撮像された画像をテクスチャ
としてテクスチャ記憶手段に自在に書き込むことがで
き、この撮像画像を、仮想３次元空間内の物体にマッピ
ングすることができる。この結果、マッピングされるテ
クスチャの多様化を図れ、リアリティが高く多様性に富
んだ画像を合成できるようになる。

【０００７】また本発明は、撮像手段によりリアルタイ
ムに撮像された画像を、仮想３次元空間内の物体にリア
ルタイムにマッピングすることを特徴とする。このよう
にすることで、仮想３次元空間内の物体にマッピングさ
れるテクスチャがリアルタイムに変化するようになり、
仮想現実感の更なる向上を図れるようになる。

【０００８】また本発明は、ゲームプレイの開始前に撮
像手段により撮像された画像を、仮想３次元空間内の物
体にマッピングすることを特徴とする。このようにする
ことで、仮想３次元空間内の物体にマッピングされるテ
クスチャを、ゲームプレイを行う毎に変えることが可能
になる。

【０００９】また本発明は、撮像手段によりプレーヤを
撮像することで得られる画像を仮想３次元空間内の物体
にマッピングすることを特徴とする。このようにするこ
とで、撮像手段により撮像された画像を、プレーヤの識
別画像として用いることが可能になる。

【００１０】また本発明は、複数の撮像手段により複数
の方向からプレーヤを撮像することで得られる複数の画
像を仮想３次元空間内の物体にマッピングすることを特
徴とする。このようにすることで、プレーヤの例えば前
方、右方、後方、左方から撮像した画像を、仮想３次元
空間内の物体（例えばプレーヤキャラクタの頭部）の例
えば前方、右方、後方、左方にマッピングすることが可
能になる。

【００１１】また本発明は、撮像手段によりプレーヤの
頭部を撮像することで得られるプレーヤの頭部の画像を
仮想３次元空間内のプレーヤの頭部を表す物体にマッピ
ングすることを特徴とする。このようにすることで、プ
レーヤの頭部を表す物体の画像を、よりリアリティ溢れ
るものにすることが可能になる。

【００１２】また本発明は、第１の撮像手段により撮像
された第１のプレーヤの画像を仮想３次元空間内の第１
の物体にマッピングし、第２の撮像手段により撮像され
た第２のプレーヤの画像を仮想３次元空間内の第２の物
体にマッピングし、第１のプレーヤが見る第１の画面に
前記第２の物体を表示し、第２のプレーヤが見る第２の
画面に前記第１の物体を表示することを特徴とする。こ
のようにすることで、第１のプレーヤは、第２のプレー
ヤの画像がマッピングされた第２の物体を見ることが可
能になり、第２のプレーヤは、第１のプレーヤの画像が
マッピングされた第１の物体を見ることが可能になる。
これにより、マルチプレーヤ型ゲームに最適な画像を提
供できるようになる。

【００１３】なお、仮想３次元空間内の前記物体は、例
えばポリゴン等により構成することができる。

【００１４】

【発明の実施の形態】次に、本発明の好適な実施形態に
ついて図面を用いて詳細に説明する。

【００１５】１．第１の実施形態図１には、本発明を用いた第１の実施形態についてのブ
ロック図が示される。また、図２には、これをドライビ
ングゲームに適用した仮想体験装置の一例が示される。

【００１６】図２（ａ）において、ゲーム用の本物のレ
ーシングカー３０は、内側が全てブルーの色に塗られた
ドーム１の中のフロア４の上に設置されている。ここ
で、このフロア４もドーム１の内側と同様に全てブルー
の色に塗られている。そして、このレーシングカー３０
には、操作者例えばゲームにおけるプレーヤ５０が搭乗
している。なお、操作者という場合には、ゲームにおけ
るプレーヤのみならず、例えばフライトシミュレータを
操作するパイロット、スポーツを行うプレーヤなど仮想
体験装置を利用する全ての者が含まれるとする。

【００１７】レーシングカー３０は、例えば、車両本体
３６、タイヤ３２、リアウイング３４、ハンドル４０、
サイドミラー４１、計器盤４４、シフトギア、アクセ
ル、ブレーキ（図示せず）等を含んで構成されている。
そして、例えばフロントタイヤ３２はプレーヤ５０のハ
ンドル４０の操作により自在に操舵されるように形成さ
れており、また、リアウイング３４も、プレーヤの操作
又はレーシングカー３０のスピードの変化等により上下
に動くように形成されている。そして、後述するよう
に、プレーヤ５０は映像カメラ１０によりこれらの動き
の変化を見ることができることとなる。

【００１８】計器盤４４は、例えばスピードメータ、タ
コメータ、燃料計、警告計（図示せず）を含んでおり、
プレーヤ５０の運転状態により変化するように構成され
ている。即ち、プレーヤ５０のアクセル操作、ブレーキ
操作、シフトギア操作に応じて、スピードメータ、タコ
メータが変化し、また、ゲーム終盤になり燃料が尽きて
くると燃料計がこれを示すように構成される。更に、レ
ーシングカー３０のエンジン等にトラブルが生じると警
告計が点滅し、プレーヤ５０は映像カメラ１０によりこ
れを知ることができる。

【００１９】また、レーシングカー３０の下部には、姿
勢制御部２４が設けられ、ゲーム状況（路面変化、道路
の変化等）、プレーヤ５０のハンドル操作、アクセル操
作、ブレーキ操作に応じて、レーシングカー３０の姿勢
変化、加速変化が制御される。プレーヤ５０は、これに
より、姿勢変化、加速Ｇの変化を体感することができ、
より現実世界に近づいた仮想世界を体験することができ
ることとなる。

【００２０】プレーヤ５０には、頭部装着体９がプレー
ヤ５０の視界を覆うように装着されている。この頭部装
着体９は、映像カメラ１０、プレーヤ用の空間センサ１
２、画像表示装置２０、スピーカー２２を含んで構成さ
れている。

【００２１】図４（ａ）、（ｂ）には、この頭部装着体
９の形状の一例が示される。図４（ａ）は、映像カメラ
１０、プレーヤ用の空間センサ１２、画像表示装置２
０、スピーカ２２を、ヘルメット１４に設けて構成され
る装着体９が示される。このタイプの装着体によれば、
ヘルメット１４をプレーヤ５０が装着することにより外
部と完全に隔離した世界を作ることができるため、より
臨場感溢れる仮想現実を楽しむことができる。これに対
して図４（ｂ）に示す装着体９は、映像カメラ１０、プ
レーヤ用の空間センサ１２、画像表示装置２０、スピー
カ２２が、装着バンド１６に一体的に取り付けて構成さ
れているため、より軽快感溢れる装着感を実現すること
ができる。なお、本実施形態に使用される装着体として
は、図４（ａ）、（ｂ）に示す形状のものに限らず種々
の形状のものを使用することが可能である。

【００２２】画像表示装置２０は、プレーヤ５０の視界
を覆うようにプレーヤ５０の目の前に取り付けられ、車
両本体３６に内蔵された画像合成装置から接続線１８を
通じて送られてくる画像信号を画像表示するものであ
る。この場合の画像表示方法としては、頭部装着体９を
小型化し装着感を向上させるべく、例えばカラー液晶デ
ィスプレー、小型ブラウン管等の小型のディスプレーを
用いることが望ましい。また、映像に目の焦点を合わせ
るべく、更に、視野角を広げて臨場感を向上させるべく
光学系により補正することが望ましい。

【００２３】ここで、小型ディスプレーの形状として
は、プレーヤ５０の顔の形状に沿ってプレーヤの視界を
覆うように形成し、パノラマ映像効果を得るような形状
としてもよいし、２つの小型ディスプレーをそれぞれプ
レーヤ５０の両眼の前に形成するような形状としてもよ
い。後者の場合は、両眼に与えられた平面的な２次元画
像に視差のある画像を与えること等により、３次元的な
立体感を与えるような形成することが望ましい。このよ
うに構成すれば、物体の大きさや、物体までの距離を把
握することができるようになるため、より現実世界に近
づいた仮想世界を作り出すことが可能となるからであ
る。

【００２４】映像カメラ１０は、プレーヤ５０が現実世
界を見るために使用するものであり、例えば図４に示す
ように、プレーヤ５０の視点位置（目の位置）に近い位
置に設定し、そのアングルもプレーヤ５０の視界方向と
一致するように設定することが望ましい。このように設
定すれば実際にプレーヤ５０から見える現実世界の映像
を、より違和感なく見ることができるからである。これ
により、例えば後ろから追いかけてくる他のプレーヤの
レーシングカーを、プレーヤ５０が実際に振り返るとい
う動作により確認することができ、より現実感があり、
緊張感のあるゲーム世界を作り出すことが可能となる。

【００２５】但し、この場合、頭部装着体９の例えば後
部にもう一台の映像カメラを取り付けて、プレーヤ５０
の操作によりこれを切り替えて見ることができるように
構成してもよい。更に、例えばレーシングカー５０にサ
イドミラー４１、バックミラー等を設けて、これに例え
ばテクスチャーマッピング等の手法を用いて、実際に後
ろに見えるべき映像を映し出すような構成としてもよ
い。

【００２６】映像カメラ１０として使用する撮像手段と
しては、例えば高解像でより小型なカメラ、例えば高解
像度ＣＣＤカメラ等を用いることが望ましく、自動焦点
合わせ等の機能を持つものを用いることが望ましい。

【００２７】プレーヤ用の空間センサ１２、１２は、プ
レーヤ５０の３次元情報を検出するセンサであり、例え
ば一方側はドーム１の天井部に、他方側はプレーヤ５０
の頭部装着体９に取り付けられる。

【００２８】なお、ここでいうプレーヤ５０の３次元情
報とは、例えばプレーヤ５０の位置情報、視界方向情報
をいい、空間センサ１２、１２の３次元空間における方
向をも含めた相対位置関係を求めることにより検出され
る。但し、プレーヤ５０の位置が、ゲームの設定上、動
かないか、もしくは動いたとしても許容範囲内である場
合、この３次元情報には、必ずしもプレーヤ５０の位置
情報を含める必要はない。また、逆にプレーヤ５０の視
界方向が、ゲームの設定上、変更されることがないよう
な場合は、この３次元情報には、必ずしもプレーヤ５０
の視界情報を含める必要はない。これらの場合は、ゲー
ム上で設定される位置もしくは視界情報によりその後の
画像演算処理を行えばよい。

【００２９】空間センサ１２、１２による３次元情報の
検出手法としては、例えば以下の手法が考えられる。即
ち、それぞれの空間センサ１２、１２を互いに直交した
３つのコイルで構成する。そして、どちらか一方の空間
センサ１２のコイルに電流を流し、この時に他方の空間
センサ１２のコイルに誘起される電流値から、これらの
空間センサ１２、１２の方向を含めた位置関係を検出す
る。これによりプレーヤ５０の空間情報が検出されるこ
ととなる。

【００３０】なお、空間センサ１２、１２による３次元
情報の検出方法としては、上記の動磁界を利用したもの
に限らず、例えば、静磁界を利用したもの、超音波を利
用したものを用いてもよい。

【００３１】次に、本実施形態による画像合成の手法に
ついて以下に説明する。

【００３２】本実施形態では、図２（ｂ）に示すよう
に、映像カメラ１０で撮影した実３次元空間における実
空間映像１００と、仮想３次元空間における仮想視界画
像１０２とを画像合成して、表示画像１０４を形成して
いる。そして、この表示画像１０４は、接続線１８を通
じて画像表示装置２０に出力され、実際にプレーヤ５０
が見る視界画像となる。

【００３３】この画像合成を、本実施形態ではブルーマ
ット合成により行っている。つまり、レーシングカー３
０及びその付属物、自分自身であるプレーヤ５０等、以
外のもの、即ちドーム１の内側及びフロア４を全てブル
ーの色にしておく。このようにすると、実空間映像１０
０において、レーシングカー３０、ハンドル４０、プレ
ーヤの手５４以外は全てブルーの背景となる。そして、
この実空間映像１００のうちブルーの色の部分の画素を
全て空きドットに設定し、これに仮想視界画像１０２に
重ね合わることにより表示画像１０４を得ることができ
ることとなる。この場合、例えばドーム１には主にプレ
ーヤ５０から見えるサーキットの背景が、フロア４に
は、レーシングカー３０が走っている道路の路面状況が
映し出される。

【００３４】この場合の画像合成装置の一例を示すブロ
ック図が、図１に示される。

【００３５】図１において仮想視界画像演算装置７０
は、仮想３次元空間においてプレーヤ５０が見ることが
できる仮想画像を演算するものであり、仮想３次元空間
演算部７２及び視界画像演算部７６とを含む。そして、
仮想３次元空間演算部７２は、実３次元空間と重ね合わ
せて設定されるゲーム空間を表す仮想３次元空間を演算
するものであり、視界画像演算部７６は、この演算され
た仮想３次元空間より、プレーヤ５０から見える方向に
おける仮想視界画像を演算するものである。

【００３６】プログラム部７４には、ゲーム用の演算プ
ログラムが格納されている。例えば、本実施形態のドラ
イビングゲームを例にとれば、ドライビングゲーム空間
を構成するサーキット上のあらゆる物体（レーシングカ
ー、道路、他のレーシングカー、道路から見える背景
等）が多面体の組み合わせで表現され、この多面体の各
頂点の３次元情報及び付随データが画像情報として格納
されている。なお、プログラム部７４には、これらのデ
ータ以外にもゲームの進行等を制御するプログラムも格
納され、また、複数のサーキット走行を楽しめるもので
あれば、これら全てのサーキット情報が格納されてい
る。

【００３７】プレーヤ５０が、ハンドル４０、アクセ
ル、ブレーキ、シフトギアにより入力した操作信号は、
操作部３８を介して仮想３次元空間演算部７２に入力さ
れる。そして、この操作信号と前記したプログラム部７
４からの情報により、仮想３次元空間でのレーシングカ
ー３０の位置、方向がリアルタイムに演算される。そし
て、この演算結果に基づき、仮想３次元空間におけるレ
ーシングカー３０及びその周りのサーキット上のあらゆ
る物体の画像情報が、視界画像演算部７６に出力され
る。

【００３８】視界画像演算部７６では、プレーヤ用の空
間センサ１２より検出された３次元情報に基づき、以下
のような座標変換がなされる。即ち、図１２に示すよう
に、仮想３次元空間演算部７２により演算された画像情
報（例えば背景画面を構成する看板、ビル等の物体１７
０、１７２を表す画像情報）が、仮想３次元空間におけ
るワールド座標系（ＸW 、ＹW 、ＺW ）から、プレーヤ
５０の視点座標系（Ｘｖ、ＹV 、ＺV ）に座標変換され
る。そして、プレーヤ５０の視野外、例えば視野から外
れて後ろに通り過ぎて行く看板等の物体１７２の画像情
報はクリッピングされて除去され、視野内にある物体１
７０の画像情報はスクリーン座標系（ＸS 、ＹS ）、即
ち実際にプレーヤ５０から見える座標系に透視変換され
る。この場合、この透視変換された画像情報は、前記物
体を構成する多面体に対応するポリゴン１７４、１７
５、１７６（裏側のポリゴンは省略）の組み合わせとし
て表現されている。次に、このポリゴン１７４、１７
５、１７６内の全てのドットの画像情報が、ポリゴン毎
にもしくはポリゴンの各頂点毎に与えられた色、輝度等
の付随情報を基に演算され、これが仮想視界画像情報と
して、表示画像合成装置８０に出力されることとなる。

【００３９】表示画像合成装置８０では、視界画像演算
部７６からの仮想視界画像１０２と映像カメラ１０から
の実空間映像１００との画像合成が行われる。この画像
合成の手法としては種々の手法が考えられるが、本実施
形態では前述したようにブルーマット合成による手法に
よって行っている。図１３には、この場合に表示画像合
成装置８０の詳細が示されている。

【００４０】即ち、図１３において、映像カメラ１０か
ら入力された実空間映像１００を表す画像信号は、表示
画像合成装置８０内においてまずフィルター２００に通
されＲＧＢの３原色の成分に分けられる。そして、これ
らの成分のそれぞれが例えば８ビットのデジタルデータ
に、Ａ／Ｄ変換回路２０２にてＡ／Ｄ変換され、これに
より各画素毎に２４ビットのＲＧＢデジタルデータが求
められる。そして、この実空間映像１００における各画
素の２４ビットのＲＧＢデジタルデータが、ドーム１の
裏側及びフロア４に塗られたブルーの色の２４ビットの
ＲＧＢデジタルデータと一致するか否かが、空きドット
判定回路２０４にて各画素毎に演算され、判断される。
そして、この判断結果は、空きドットメモリ２０６に書
き込まれる。空きドットメモリ２０６は、表示画像の全
ての画素に対応した１ビットメモリの構成となってお
り、各画素毎に空きドットか否かの空きドット判定デー
タが１ビットデータとして書き込まれる。

【００４１】表示画像合成装置８０には、表示画像の各
画素に対応したフィールドバッファ２１０が内蔵されて
いる。そして、データ制御部２０８により、空きドット
メモリ２０６に書き込まれている空きドット判定データ
が参照され、フィールドバッファ２１０の各画素位置に
実空間映像が書き込まれる。即ち、空きドット判定デー
タにより、その画素が空きドットであると判断された場
合は、フィールドバッファ２１０のその画素位置には、
実空間映像は書き込まれない。逆に、空きドット判定デ
ータにより、その画素が空きドットではないと判断され
た場合には、実空間映像の２４ビットのＲＧＢデジタル
データがそのまま書き込まれることとなる。

【００４２】次に、データ制御部２０８により、空きド
ットメモリ２０６に書き込まれている空きドット判定デ
ータが参照され、フィールドバッファ２１０の各画素位
置に、視界画像演算部７６により演算された仮想視界画
像情報が重ね書きされる。即ち、空きドット判定データ
により、その画素が空きドットであると判断された場合
は、仮想視界画像情報がそのまま書き込まれる。逆に、
空きドット判定データにより、その画素が空きドットで
はないと判断された場合には、なにも書き込まれず、こ
の画素位置には実空間映像が表示されることとなる。

【００４３】以上の書き込みを行った後、データ制御部
２０８によりフィールドバッファ２１０から各画素位置
の画像情報データが読み出される。そして、この画像情
報データは接続線１８を通して画像表示装置２０に画像
出力され、プレーヤ５０は、実空間映像１００に仮想視
界画像１０２が組み込まれた表示画像１０４をリアルタ
イムに見ることができることとなる。

【００４４】なお、以上の画像情報の書き込みと、読み
出しは、例えばフィールドバッファ２１０を２画面分の
構成とすることにより、同時に行うように構成すること
がより望ましい。

【００４５】また、仮想３次元空間演算部７２において
は、画像情報の演算のみならず、例えば、音声合成部７
８を通じてスピーカ２２より出力される音声信号、及
び、レーシングカー３０の姿勢を制御する姿勢制御信号
の生成も行っている。即ち、プログラム７４からのゲー
ムプログラム及び操作部３８からの操作信号により演算
された、ゲーム空間におけるゲーム進行状況に応じて、
より効果的な音声信号及び姿勢制御信号の生成を行い、
ゲームの臨場感をより一層高めている。

【００４６】また、本実施形態では、仮想視界画像演算
装置７０を、仮想３次元空間演算部７２と視界画像演算
部７６とに分けたが、これは便宜的なものであり、例え
ば３次元空間演算を行う機能と視界画像を演算する機能
とを一体となって行う手法によりこれを構成しても構わ
ない。即ち、結果として、仮想３次元空間において、プ
レーヤ５０から見える方向における仮想視界画像を得る
ことができれば、演算順序、演算手法等は、図１に示す
手法に限らずあらゆる手法を用いることができる。

【００４７】また、表示画像合成装置８０における画像
合成の方法としては、上記したものに限らず、例えばブ
ルーではなくレッドを用いて画像合成したり、複数の色
を用いて画像合成したり、種々の手法を用いることがで
きる。

【００４８】また、視界画像演算部７６において、演算
されたポリゴン内の全てのドットの画像情報を求める手
法としては、前記したものに限らず、例えばテクスチャ
マッピングと呼ばれる手法を用いてもよい。即ち、仮想
３次元空間における物体の各頂点に、あらかじめはり付
けたいテクスチャ情報を指定するテクスチャ座標を与え
ておく。そして、前記した視点座標系への演算等を行っ
た後に、このテクスチャ座標をアドレスとして、テクス
チャ情報メモリよりテクスチャ情報を読みだし、これを
ポリゴンにはり付けることにより、ポリゴン内の全ての
ドットの画像情報を演算する。

【００４９】このようなテクスチャマッピングと呼ばれ
る手法を用いて画像情報を演算することにより、まず、
演算処理部分の負担を大幅に減らすことができるという
メリットが生じる。また、この他にも、この手法を用い
れば種々の今までにない画像効果を得ることもできる。
その例として例えば以下に挙げるものがある。

【００５０】即ち、レーシングカー３０に設けられたサ
イドミラー４１に映像カメラ４３を取り付ける。そし
て、図１４に示すように、この映像カメラ４３により撮
影される後方の実空間映像１０５と、後方の仮想視界画
像１０６とを画像合成してサイドミラー表示画像１０８
を形成し、このサイドミラー表示画像１０８を、プレー
ヤ５０から見える表示画像１０４のサイドミラー４１の
部分にテクスチャマッピング手法を用いてはり付ける。
このような構成とすれば、サイドミラー４１には、図２
（ｂ）に示す表示画像１０４と同様に、後方の実空間映
像１０５と後方の仮想視界画像１０６とが合成された画
像が表示されることとなる。これにより、例えば後ろか
ら追いかけてくる相手のプレーヤのレーシングカー３１
及び後方における背景画像と自分のレーシングカー３０
の実映像との合成画像を、サイドミラー４１により見る
ことができ、より現実世界に近づいた仮想世界を作り出
すことが可能となる。

【００５１】図１５には、テクスチャマッピング手法を
用いた映像効果のもう一つの例が示される。この例で
は、図１５（ａ）に示すように、それぞれ独立のドーム
内に、プレーヤ５０のレーシングカー３０及び相手プレ
ーヤ５２のレーシングカー３１が設置される。ドーム内
には映像カメラ２６が設置されており、これによりプレ
ーヤ５０、５２の頭部２８が四方から撮影される。そし
て、このプレーヤの頭部２８の撮影データを図１５
（ｂ）に示すように、仮想視界画像１０２上の相手プレ
ーヤ５２の頭部の部分に、テクスチャマッピング手法を
用いてはり付ける。このようにすれば、プレーヤ５０が
後ろを振り返って見た場合に、相手プレーヤの頭部の実
写映像を見ることができ、ゲームの臨場感を非常に高め
ることができる。特に、相手プレーヤ５２のレーシング
カー３１が自分のレーシングカー３０に追いつき横に並
んだときに、相手プレーヤ５２の勝利に誇った顔なども
見ることができ、各プレーヤの競争意識を刺激し、より
現実感、緊張感のあるゲームを提供できることとなる。

【００５２】なお、図１５では、４方向から映像カメラ
２６で各プレーヤの頭部２８を撮影する構成としたが、
少なくともプレーヤの頭部２８の正面からの映像情報が
あればよく、他の方向からの映像情報は、仮想３次元空
間演算部７０において作り出したものを用いてもよい。
また、各プレーヤの頭部２８の撮影手段は、映像カメラ
２６に限られるものではなく、例えばゲームプレイを始
める前に、静止画カメラにより撮影し、これを登録して
用いる構成としてもよい。

【００５３】図１６には、以上に述べたテクスチャマッ
ピング手法により、画像を合成するための簡単なブロッ
ク図の一例が示される。

【００５４】即ち、テクスチャマッピング手法により画
像を合成する場合には、視界画像演算部７６を、例えば
図１６に示すような構成にする。

【００５５】仮想３次元空間演算部７２より出力された
各物体の画像情報は、各物体を構成するポリゴンの頂点
座標ＶX 、ＶY 、ＶZ と、そのポリゴンの各頂点に与え
られたテクスチャ頂点座標ＶＴX 、ＶＴY 等とで表現さ
れている。ここで、テクスチャ座標ＴX 、ＴY は、各ポ
リゴンにはり付けるべきテクスチャ情報を指定するもの
で、このテクスチャ情報は、テクスチャ座標ＴX 、ＴY
をアドレスとしてテクスチャ記憶部３０８に格納されて
いる。そして、テクスチャ頂点座標ＶＴX 、ＶＴY は、
このテクスチャ座標ＴX 、ＴY のうち、各ポリゴンの頂
点位置におけるテクスチャ座標を表すものである。

【００５６】この頂点座標ＶX 、ＶY 、ＶZ 、及びテク
スチャ頂点座標ＶＴX 、ＶＴY 等は、頂点座標変換部３
００に入力される。そして、頂点座標変換部３００にお
いて、透視変換等の座標変換が行われ、その結果はソー
ティング回路３０２に出力される。ソーティング回路３
０２では、各ポリゴンの処理の優先度が設定される。優
先度は、例えばプレーヤの視点に近いポリゴンが優先的
に処理されるように設定され、以降の処理はこの優先度
にしたがって処理されることとなる。

【００５７】プロセッサ部３０４では、各ポリゴンの座
標変換後の頂点座標及びテクスチャ頂点座標から、ポリ
ゴン内の全てのドットの表示座標及びテクスチャ座標Ｔ
X 、ＴY が求められる。そして、この求められたテクス
チャ座標ＴX 、ＴY は前記した表示座標をアドレスとし
てフィールドバッファ部３０６に書き込まれる。

【００５８】画像表示する際には、このフィールドバッ
ファ部３０６からテクスチャ座標ＴX 、ＴY が読み出さ
れ、これをアドレスとしてテクスチャ記憶部３０８から
テクスチャ情報が読み出され、仮想視界画像が形成され
る。その後、表示画像合成装置８０にて、実空間映像と
の画像合成が行われる。

【００５９】以上の構成により、例えば以下に示す演算
処理により、サイドミラー４１にサイドミラー表示画像
１０８が映し出される。ここで、サイドミラー４１は、
例えばブルーの色に塗られており、この位置には画像合
成装置により演算された画像が映し出されるように設定
されている。

【００６０】この場合、まず図１４に示すサイドミラー
表示画像１０８の画像合成が行われる。即ち、図１６に
おいて、後方の仮想視界画像１０６の演算が仮想３次元
空間演算部７２及び視界画像演算部７６により演算され
る。また、後方の実空間映像１０５は映像カメラ４３に
より撮影される。そして、この後方の仮想視界画像１０
６と、後方の実空間映像１０５の画像合成が表示画像合
成装置８０により行われ、サイドミラー表示画像１０８
が画像合成されることとなる。

【００６１】次に、このサイドミラー表示画像１０８
は、図１６に示すようにテクスチャ記憶部３０８に戻さ
れる。そして、テクスチャ記憶部３０８の記憶エリアの
内、サイドミラー４１に対応するテクスチャ座標の位置
に、このサイドミラー表示画像１０８の画像情報が書き
込まれる。その後、このようにしてサイドミラー表示画
像１０８が表示された仮想視界画像１０２と、映像カメ
ラ１０により撮影された実空間映像１００との画像合成
が、表示画像合成装置８０により行われる。これによ
り、表示画像１０４のサイドミラー４１に、サイドミラ
ー表示画像１０８が表示された画像を形成することがで
きることとなる。

【００６２】また、図１６に示す構成により、相手プレ
ーヤの頭部の実映像を映し出す場合には、図１６に示す
ように映像カメラ２６により撮影された映像が、直接テ
クスチャ記憶部３０８に書き込まれる。即ち、テクスチ
ャ記憶部３０８の記憶エリアの内、相手プレーヤの頭部
に対応するテクスチャ座標の位置に、映像カメラ２６に
より撮影された映像データがリアルタイムに書き込まれ
る。これにより、プレーヤ５０から見える仮想視界画像
１０２に、相手プレーヤ５２の頭部の実映像が映し出さ
れた表示画像を得ることができることとなる。

【００６３】なお、静止画カメラにより撮影する構成と
する場合は、ゲーム開始前に登録する際に、このテクス
チャ記憶部３０８に相手プレーヤの写真が画像データと
して記憶されることとなる。

【００６４】また、本実施形態におけるテクスチャマッ
ピング手法は図１６に示す構成のものに限られるもので
はなく、あらゆる手法のテクスチャマッピングを用いる
ことができる。

【００６５】以上の構成の本実施形態により、これまで
のドライビングゲームでは体験できなかった、臨場感溢
れるゲームを提供することができることとなった。

【００６６】即ち、まず、従来のドライビングゲームで
は、サーキット等を映し出すゲーム画面がプレーヤ５０
の前面にしか設定されていなかったため、いまひとつ臨
場感に欠けるところがあった。これに対して、本実施形
態では、プレーヤ５０は例えば３６０度全方向を見るこ
とができるため、ゲームの臨場感が大幅に向上する。特
に、例えば本実施形態を複数プレーヤによるドライビン
グゲームに適用した場合、プレーヤ５０は、実際に振り
返ることにより、もしくは、前記した構成のサイドミラ
ー４１、バックミラーを使用することにより、追いかけ
てくる相手のプレーヤを確認できることとなり臨場感を
より増すことができる。この場合、前記したようにテク
スチャーマッピングで相手のプレーヤの実空間映像をは
り付ければ、更にゲームの現実感、緊張感を増すことが
可能となる。

【００６７】また、本実施形態では、プレーヤ５０は、
実３次元空間における本物のレーシングカー３０に搭乗
することができ、しかも、その本物のレーシングカー３
０を、ゲーム用の仮想３次元空間で自由に走らせること
が可能となり、より現実世界に近づいた仮想世界を体験
できることになる。即ち、プレーヤ５０は、実３次元空
間におけるレーシングカー３０、タイヤ３２、リアウイ
ング３４の動き、サイドミラー４１に写る相手プレーヤ
などを、映像カメラ１０を通じて実際に自分の目で確認
しながらレーシングカー３０を操作することができる。
更に、このプレーヤ５０が操作する操作部、即ちハンド
ル４０、計器盤４４、アクセル、ブレーキ、シフトギア
なども、上記と同様に映像カメラ１０を通じて実際に自
分の目で確認しながら操作することができるため、操作
性が大幅に向上し、ゲームの現実感も大幅に向上するこ
ととなる。また、この場合に、ゲーム状況に応じて、姿
勢制御部２４の制御、スピーカ２２に出力する音声を変
化させれば、より、臨場感溢れるゲームを提供できるこ
ととなる。

【００６８】図３には、本第１の実施形態をフライトシ
ミュレータに適用した場合の仮想体験装置の一例が示さ
れる。

【００６９】図３（ａ）で、コックピット４５の中の右
側窓２、左側窓３には、ブルーの色をしたマット（以
下、ブルーマットと呼ぶ）が張り付けられ、このブルー
マットに前述した手法と同様の手法により、表示画像１
０４がはめ込まれる。この様子が図３（ｂ）に示され
る。ここで図３（ｂ）には、左側窓３方向の実空間映像
１００に仮想視界画像１０２をはめ込み、表示画像１０
４が合成される場合が示されている。

【００７０】この場合、表示画像１０４に映し出される
画像は、パイロット４６と教官４８とで異なったように
見えることになる。これは、仮想視界画像１０２は、プ
レーヤ用の空間センサ１２を用いて、パイロット４６、
教官４８のそれぞれの視界方向を検出して演算されてい
るからである。従って、教官４８には見えるがパイロッ
ト４６には見えないといった映像、即ち視界方向によっ
て異なるといった映像効果を作り出すことができ、より
現実感の増した仮想世界を実現できる。この点、従来の
方式、即ち、窓に単にＣＲＴディスプレーを設ける方
式、もしくは、ハーフミラーによりＣＲＴ画像を窓に映
し出す方式によっては、このような映像効果を作り出す
ことはできない。

【００７１】更に、本実施形態では、パイロット４６
は、映像カメラ１０によりコックピット４５の中にある
操作盤４７、操縦桿４２、教官４８の顔などを見ながら
飛行機の操縦をシミュレートすることができる。従っ
て、一般に、複雑で操作しにくいといわれる飛行機の操
作盤４７を、映像カメラ１０により実際に自分の目で見
ながら操作できるため、操作ミスを劇的に減少させるこ
とができる。

【００７２】即ち、例えば、これらの操作盤４７、操縦
桿４２等をも全て画像合成により作り出す方式による
と、パイロット４６にとっての操作感はいまいち現実感
に欠けるものとなる。しかも、この方式によると、パイ
ロット４６にデータグローブを装着させ、このデータグ
ローブからの操作信号に基づいて、操作盤４７、操縦桿
４２にパイロット４６がどのような操作を行ったかを検
出させる必要が生じ、システムの規模が膨大なものとな
ってしまう。そして、このようにシステムでは、その規
模が膨大であるにもかかわらず、パイロット４６の操作
感はいまいちであり、パイロット４６の操作ミスが多い
という欠点がある。

【００７３】この点、本実施形態では、コックピット４
５は本物の飛行機のコックピットと同様の構造になって
いるため、このような不都合は生じない。更に、本実施
形態では、隣にいる教官４８を見ることもできるため、
教官４８の指示なども的確に把握することができ、ま
た、操作ミスをした場合の教官４８の怒った顔なども見
ることができ、より現実感の溢れるフライトシミュレー
ターを実現できることとなる。

【００７４】２．第２の実施形態図５には、本第２の実施形態についてのブロック図が示
される。また、図６には、これをロールプレイングゲー
ムに適用した仮想体験装置の一例が示される。

【００７５】図５に示すように、本第２の実施形態は、
本第１の実施形態のうち操作部３８を、敵キャラクタと
の対戦用武器５８に変更し、また、この対戦用武器５８
に対戦武器用空間センサ６４を取り付け、更に、仮想３
次元空間演算部７２にゲーム成績演算部６８を内蔵させ
たものである。

【００７６】本第２の実施形態を適用したロールプレイ
ングゲームは、図６（ａ）に示すように示すような設
定、即ち、対戦用武器５８、例えば剣６０を所持した複
数のプレーヤ５０、５２等がチームを組んで敵キャラク
タ６６を倒すという設定となっている。そして、それぞ
れのプレーヤは、本第１の実施形態と同様の構成の頭部
装着体９を装着しており、画像表示部２０に映し出され
た表示画像１０４を見ながら、ゲームプレイを行ってい
る。

【００７７】アトラクションルーム１１０は、その内側
が全てブルーの色に塗られており、これにより前述した
ようなブルーマット合成が可能となる。また、アトラク
ションルーム１１０の天井部には、プレーヤ５０等の３
次元情報を検出する空間センサ１２及び対戦用武器であ
る剣６０の３次元情報を検出する空間センサ６４が取り
付けられている。このアトラクションルーム１１０は、
プレーヤが実際にゲームプレイをするゲーム空間とほぼ
同面積の空間となっており、プレーヤ５０、５２等をこ
のアトラクションルーム１１０を自分自身で歩きなが
ら、敵キャラクタ６６を倒してゆくこととなる。

【００７８】図６（ｂ）において、実空間映像１００
は、プレーヤ５０に取り付けられた映像カメラ１０から
の映像であり、同図に示すように、この実空間映像１０
０には、ブルーのアトラクションルーム１１０を背景と
して、自分自身の手５４、目の前にいる第２のプレーヤ
５２等が映し出される。この画像に、前記本第１の実施
形態と同様の手法により作り出された仮想視界画像１０
２を画像合成し、表示画像１０４を作り出している。こ
の場合、仮想視界画像１０２には、敵キャラクタ６６の
他に、ゲーム空間を構成する迷路、ドア、床等も共に表
示される。

【００７９】このような構成とすることにより、プレー
ヤ５０は、表示画像１０４を見ながら、第２のプレーヤ
５２と組みながら敵キャラクタ６６を倒すことが可能と
なる。この場合、第２のプレーヤ５２との連絡は、例え
ばスピーカ２２を通じて行う。また、敵キャラクタ６６
を倒したか否かの判定は、剣６０に取り付けられた対戦
武器用空間センサ６４により行う。

【００８０】即ち、対戦武器用空間センサ６４、６４に
より、３次元情報、例えば剣６０の位置及び方向を検出
する。そして、この剣６０の３次元情報を基に、図５に
示す仮想３次元空間演算部７２により、剣６０による敵
キャラクタ６６への攻撃が成功したか否かが正確に演算
される。そして、成功した場合には、ゲーム空間おける
敵キャラクタ６６を消滅させる等して、これをリアルタ
イムにプレーヤ５０、５２等の画像表示装置２０に表示
する。この結果、各プレーヤは、敵キャラクタ６６が倒
れたか否かを確認でき、倒れた場合には、新たな敵キャ
ラクタ６６を倒すべく次の迷路へと進むこととなる。こ
のように、本実施形態では、プレーヤ５０、５２等の腕
前によって、形成されるゲーム空間のゲーム進行を変え
ることが可能となり、繰り返しプレイしても飽きること
のない仮想体験装置を提供できることとなる。

【００８１】なお、本実施形態では、各プレーヤのゲー
ム成績、即ち敵キャラクタ６６を倒した数などが、前記
した対戦用空間センサ６４からの３次元情報を基に、ゲ
ーム成績演算部６８を用いて演算され、この成績も各プ
レーヤの画像表示装置２０等に出力される。これによ
り、ゲーム終了後、もしくはゲーム中にリアルタイム
で、各プレーヤのゲーム成績、チーム毎のゲーム成績な
どを確認することができることになる。この結果、各プ
レーヤは、それぞれのプレーヤの腕前をリアルタイムに
競い合うことができるため、ゲームとしての面白さを飛
躍的に増大させることができることとなる。

【００８２】また、本実施形態では、プレーヤ５０から
見える第２のプレーヤ５２の映像情報として、映像カメ
ラ１０により撮影される実空間映像を用いたが、本実施
形態はこれに限られるものではない。即ち、例えば第２
のプレーヤ５２については実空間映像を用いず、仮想３
次元空間演算部７２により合成したキャラクタを用いて
表示してもよい。このようにすれば、ゲームが進行して
敵キャラクター６６を倒すにつれて第２のプレーヤを進
化させてゆく等の映像効果を得ることができ、よりゲー
ムの面白さを増すことができる。

【００８３】このように、他のプレーヤの実空間映像を
画像合成したキャラクタ画像に変更させる手法としては
以下の手法を用いることができる。例えば、プレーヤ毎
に違う色の戦闘スーツ、つまりアトラクションルーム１
１０の内側と違う色の戦闘スーツを装着させ、本第１の
実施形態で説明したブルーマット方式と同様の手法によ
り画像合成を行う。即ち、第２のプレーヤにはレッドの
色の戦闘スーツを装着させ、映像カメラ１０から、この
レッドの色の部分のみを前述した手法と同様の手法によ
り抜き出し、これを空きドットとして設定する。次に、
これに他のプレーヤに重ねて表示させたいキャラクタ画
像を重ね書きすれば、実空間映像１００に、第２のプレ
ーヤ５２のキャラクタ画像が重ね書きされた画像を得る
ことができる。その後、この重ね書きした画像から、今
度は、ブルーの色の部分のみを抜き出し、これを空きド
ットに設定し、これに敵キャラクタ６６、迷路等が表示
された仮想視界画像１０２を重ね書きする。この結果、
第２のプレーヤ５２がキャラクタ画像に変更した表示画
像１０４を得ることが可能となる。なお、このように第
２のプレーヤ５２の画像を変更する手法としては、例え
ば前記したテクスチャマッピング手法を用いてもよい。

【００８４】また、本実施形態では、対戦用武器５８と
して剣６０を使用しているが、本実施形態はこれに限ら
れるものではなく、例えば光線銃等あらゆる対戦武器を
用いることができる。そして、例えば光線銃等を用いた
場合には、プレーヤが光線銃を撃った否かの情報が必要
となるため、この場合は、図５に示すように仮想３次元
空間演算部７２にこの情報が入力され、ゲーム空間の演
算に使用されることとなる。

【００８５】図７（ａ）には、本実施形態をライド方式
のアトラクション施設に適用した場合の仮想体験装置が
示される。

【００８６】このアトラクションでは、プレーヤ５０、
５２は搬器１１６に搭乗し、この搬器１１６は、アトラ
クションルーム１１０内に敷かれたレール１１８上を移
動してゆく。アトラクションルーム１１０内には、種々
のジオラマ１１４が設けられ、また、アトラクションル
ーム１１０の内側にはブルーの色に塗られた背景マット
１１２が設けられている。そして、プレーヤ５０、５２
は、光線銃６２により敵キャラクタ６６を撃ち落とし
て、ゲームを競い合う。図７（ｂ）には、この場合の画
像合成の様子が示されるが、この画像合成の方式は、本
第１の実施形態と同様である。

【００８７】本実施形態を、アトラクション施設に利用
した場合は、主に次のような利点がある。

【００８８】まず、これまでの通常のアトラクション施
設では、一度、アトラクション施設を建設してしまう
と、施設が大がかりで高価なため、そのアトラクション
の内容を変更することは大変困難であった。このため、
プレーヤが何度か同じゲームを繰り返しても飽きられる
ことがないような対策を講ずることが必要とされる。こ
の点、本実施形態では、ジオラマ１１４を共通としなが
らも、背景マット１１２に映し出されるゲーム空間の仮
想映像を変更させることで、容易にこれに対処すること
ができる。また、前述したように、仮想３次元空間演算
部７２にゲーム成績演算部６８を設けることにより、更
に、効果的にこれに対処できる。

【００８９】即ち、各プレーヤが撃ち落とした敵キャラ
クタ６６の数をリアルタイムにゲーム成績演算部６８で
演算し、この撃ち落とした敵キャラクタ６６の数に応じ
て、つまりプレーヤの腕前に応じて各プレーヤの画像表
示装置２０に表示させる仮想画像１０２を変化させる。
例えば、腕前の高いプレーヤに対しては、仮想視界画像
１０２に映し出される敵キャラクタ６６の数を増やし、
また、表示する敵キャラクタ６６を強力なものとする。
更に、仮想視界画像１０２上に表示させるゲーム空間の
コースを、あらかじめ幾種類か設けておき、ゲーム成績
に応じて、いずれかのコースが選択されるような構成と
してもよい。これにより、このアトラクション施設に乗
るプレーヤは、何度乗っても違うゲームの仮想体験をす
ることができ、繰り返しプレーしても飽きることのない
アトラクション施設を提供できることとなる。

【００９０】本実施形態の、もう一つの利点は、このよ
うに飽きのこないアトラクション施設を実現できるにも
関わらず、アトラクションルーム内のジオラマ１１４等
については実空間画像を用いることができるため、より
現実感溢れるアトラクションを実現できることにある。

【００９１】例えば、搬器１１６がいわゆるジェットコ
ースタータイプのものであった場合、プレーヤから見え
るジオラマ１１４が実空間映像である方のが、プレーヤ
にとってよりスリリングで、スピード感溢れるアトラク
ションを実現できる。即ち、ユーザーから見える視界映
像が全て画像合成により作り出したものであると、ジェ
ットコースターが本来もつスピード、緊張感、迫力を十
分に再現できないからである。この点、本実施形態で
は、隣にいる他のプレーヤの顔も実空間映像として見る
ことができ、よりジェットコースターが本来もつ機能を
発揮させることができる。

【００９２】また、ジオラマ１１４が、プレーヤの手に
触れるものである場合も、その映像は実空間映像である
場合の方が、より臨場感溢れるアトラクションを提供で
きる。この点については、例えば、図８に示すような本
実施形態を適用したアトラクションに示される。

【００９３】図８に示すアトラクションは、宇宙船１３
４による飛行及び戦闘を疑似的に体験できるアトラクシ
ョンである。

【００９４】このアトラクションでは、図８（ａ）に示
すように、複数のプレーヤが、宇宙船１３４の宇宙船キ
ャビン１２０内に乗り込む。宇宙船キャビン１２０内
は、本物の宇宙船内に極めて似せて作られており、例え
ば操縦席、戦闘席等が設けられている。この場合、特に
プレーヤが直接に触る操縦桿１３２、操作盤１３０は、
戦闘砲１４４は、極めて本物に似せて精巧に作られてい
る。

【００９５】宇宙船キャビン１２０内に乗り込んだプレ
ーヤは、それぞれの役割に従って、操縦士、副操縦士、
射撃手として操縦席、戦闘席等に配置される。そして、
操縦席に配置された操縦士１４６、副操縦士１４７は、
操縦席用窓１２２に前述したブルーマット方式により映
し出された隕石１４０等を避けながら操縦桿１３２、操
作盤１３０等により宇宙船１３４の操縦を行う。この場
合、本実施形態では、前述したように各プレーヤに空間
センサ１２を取り付け、各プレーヤ毎に視界方向を演算
し、この演算により得られた視界画像を画像表示装置２
０に表示している。この結果、宇宙船１３４に近づいて
くる隕石１４０の見え方が、操縦士１４６、副操縦士１
４７、射撃手１４８とで異なって見えるように設定でき
るため、より臨場感、現実感溢れるアトラクションを提
供できることとなる。更に、操縦士１４６、副操縦士１
４７は、本物に極めて似せて作られた操縦桿１３２、操
作盤１３０を操作しながら宇宙船を操縦できるため、本
物の宇宙船を操縦しているかのような感覚でプレイでき
ることとなる。

【００９６】戦闘席に配置された射撃手１４８、１４９
は、対戦用武器である戦闘砲１４４により、左側窓１２
４、右側窓１２５にブルーマット方式により映し出され
る宇宙船１４２を撃ち落とす。この場合のゲーム成績
は、ゲーム成績演算部６８により演算されて、ゲーム中
にリアルタイムに、もしくはゲーム終了後に全員の乗組
員のゲーム結果として表示されることになる。

【００９７】なお、図８（ｂ）に示すように、プレーヤ
が乗り込む宇宙船１３４は、油圧等を用いた姿勢制御部
１３８により、ゲーム進行及びプレーヤの操作信号に応
じて姿勢、加速Ｇが制御され、より現実感が増すような
構成となっている。

【００９８】このように、本実施形態では、それぞれの
プレーヤが異なる役割について、極めて本物に近い宇宙
船内で一体となってプレーできるため、飽きのこない臨
場感溢れるアトラクションを提供できることとなる。

【００９９】なお、以上に説明した実施形態では画像表
示部２０と画像合成部（図５における仮想視界画像演算
装置７０、表示画像合成装置８０等）が別々の場所に配
置され、接続線１８によりこれを接続する構成としてい
たが、本実施形態はこれに限らず、画像合成部も含めて
全て画像表示部２０に内蔵させる構成としても良いし、
図９に示すように、双方向無線機１６０を用いてこれを
接続する構成としてもよい。

【０１００】この歩行型アトラクションは、図９
（ａ）、（ｂ）に示すように頭部装着体９、双方向無線
機１６０、光線銃６２を装備したプレーヤ５０が、迷路
１５０内を自分で進みながら敵キャラクタ６６を倒すと
いう設定のアトラクションである。このように迷路１５
０内を自ら進んで行くようなアトラクションでは、プレ
ーヤの動きに、より自由度をもたせることが望ましい。
従って、本実施形態では、画像合成部との接続を、双方
向無線機１６０により行っている。なお、この場合の双
方向無線の方法としては、例えば赤外線等を用いても構
わない。

【０１０１】ここで、迷路１５０には、窓１５２、絵１
５４、エレベータ１５６、ドア１５８などが設けられて
いる。そして、窓１５２には全面にブルーマットが敷か
れ、絵１５４には、敵キャラクタ６６が現れる部分のみ
にブルーマットが敷かれている。

【０１０２】また、エレベータ１５６、ドア１５８は、
その内部がブルーに塗られている。これにより、プレー
ヤ５０がエレベータボタンを押してエレベータを開けた
際に、もしくは、ドアのノブを回してドアを開けた際
に、その中から敵キャラクタ６６が飛び出してくるよう
な構成とすることが可能となり、おばけ屋敷のようなゲ
ームのアトラクションに最適なものとなる。なお、この
場合も本実施形態では、エレベータのボタン、ドアのノ
ブ等は本物のものを用いており、プレーヤ５０もその実
映像を見ながら操作できるため、より現実感溢れる仮想
世界を楽しむことができることとなる。

【０１０３】３．第３の実施形態図１０には、本第３の実施形態についてのブロック図が
示される。また、図１１には、これをゴルフに適用した
仮想体験装置の一例が示される。なお、ここでは仮にゴ
ルフに適用した場合について示したが、本実施形態はこ
れに限定されず種々のスポーツに適用できる。

【０１０４】図１０に示すように、本第３の実施形態
は、本第１の実施形態のうち操作部３８を、ボール映像
カメラ８４、８６及び移動体検出装置８８、９０に変更
したものであり、主にボールを用いた球技に好適な実施
形態である。

【０１０５】図１１（ａ）には、本第２の実施形態を適
用したインドアゴルフの一例が示される。この実施形態
は、プレーヤ５０が、プレイルーム１６２内において、
本物のゴルフとほぼ同様の感覚で仮想世界を体験するこ
とができる仮想体験装置に関するものである。

【０１０６】図１１（ａ）において、プレイルーム１６
２内は全てブルーの色に塗られており、プレーヤ５０
は、第１の実施形態と同様の構成の頭部装着体９を装着
している。そして、プレーヤ５０は、本物のゴルフコー
スにいるような感覚で、本物のゴルフクラブ１６４を用
いて、本物のゴルフボール１６６のショットを行う。

【０１０７】この場合、プレイルーム１６２内には、仮
想３次元空間演算部７２により作り出されたゴルフコー
スの画像が画像表示装置２０を介して映し出され、プレ
ーヤ５０は、あたかも本物のゴルフコースにいるような
感覚を持つことができる。そして、プレーヤ５０が前を
向くと、その視線方向には、図１１（ｂ）に示すよう
に、ゴルフコースのグリーン１６２を示した仮想視界画
像１０２が映し出されている。

【０１０８】そして、プレーヤ５０がゴルフボール１６
６のショットを行うと、ショットされたゴルフボール１
６６は、ボール映像カメラ８４、８６により撮影され
る。そしてこの撮影映像に基づいて移動体検出装置８
８、９０によりゴルフボール１６６の重心座標が演算さ
れ、このデータに基づき、その後のゴルフボール１６６
の軌道を推定して演算する。次に、仮想３次元空間演算
部７２にて、この推定されたゴルフボール１６６の軌道
データに基づき、仮想世界に設定されたゴルフコース上
にゴルフボールの軌道を描き、これを実空間映像１００
と画像合成して画像表示装置２０に画像表示する。これ
によりプレーヤ５０は、自分のショットしたゴルフボー
ル１６６がグリーン１６２に向かって飛んでゆく様子
が、表示画像１０４により見ることができることとな
る。

【０１０９】次に、ゴルフボール１６６の移動体検出の
手法について説明する。

【０１１０】ボール映像カメラ８６、８９は、ゴルフボ
ール１６６を連続撮影するものであり、図１１（ａ）に
示すように、プレイルーム１６２内の、異なる位置、異
なる撮影アングルにて設定される。そしてこの撮影デー
タは、移動体座標検出部８８、９０内のデータ抽出部９
２、９４にコマ送りフレームデータとして入力される。
データ抽出部９２、９４では、背景処理によりボールの
撮影データのみが抽出される。即ち、ゴルフボール１６
６の映っていないフレームデータと映っているフレーム
データとの差分を求め、これをフレームバッファと呼ば
れる画像メモリに重ね書きしてゆく。これにより、結果
としてゴルフボール１６６の映像のみが映し出された画
像データを得ることができる。

【０１１１】次に、得られたこの画像データから、座標
検出部９６、９８において、ゴルフボール１６６の位
置、例えば重心位置の２次元座標を求められ、仮想３次
元空間演算部７２に出力される。

【０１１２】仮想３次元空間演算部７２では、移動体検
出装置８８、９０で検出された、ゴルフボール１６６の
２つの２次元座標から、仮想３次元空間内での３次元座
標を求める。即ち、仮想３次元空間演算部７２には、ボ
ール映像カメラ８４、８６の仮想３次元空間内での設定
位置、設定アングルがあらかじめ記憶されており、この
記憶データと、検出された２つの２次元座標から、仮想
３次元空間内での３次元座標を求めることが可能とな
る。そして、この求められた３次元座標から、仮想３次
元空間でのゴルフボール１６６の軌道を、例えばスプラ
イン補間等を用いて演算し、ゴルフコースの背景データ
と共に、視界画像演算部７６に出力する。なお、ゴルフ
ボール１６６の軌道の推定の手法としては、上記したも
のに限らず種々の手法を用いることができる。例えば、
打った方向と、インパクトの時の初速からこれを推定し
てもよいし、打った瞬間の音等のよりこれを推定しても
よい。

【０１１３】また、例えばプレーヤ５０の切り替え信号
により、プレーヤ５０から見た映像のみならず、例えば
グリーン１６２から見た映像を画像表示装置２０に表示
することも可能である。即ち、これを行うには、視界画
像演算部７６で視点変換を行う際に、視点位置をグリー
ン１６２上に設定すればよい。このようにすれば、プレ
ーヤ５０は、実際にゴルフボール１６６がグリーン１６
２に飛んで行く様子と、ゴルフボール１６６がグリーン
１６２に飛んで来る様子を同時に見ることができ、現実
のゴルフプレイでは得られないプレイ感覚を楽しむこと
ができることとなる。

【０１１４】以上の構成の本実施形態によれば、プレー
ヤ５０は、プレイルーム１６２内にて、実際にゴルフコ
ースにいるような感覚でゴルフを楽しむことができる。
特に、この種のボールを用いた競技、例えばゴルフにお
いては、クラブ１６４によりゴルフボール１６６をショ
ットした瞬間をプレーヤ５０が正確に認識する必要があ
る。即ち、このショットした瞬間のクラブ１６４、ゴル
フボール１６６を、例えば画像合成により作り出したの
では、プレイ感覚が著しく悪化し、現実感も減退してし
まい、更に、正確なスポーツプレーを再現することがで
きない。

【０１１５】これに対して、本実施形態では、ゴルフク
ラブ１６４、ゴルフボール１６６、自分のスイング等
を、映像カメラ１０を通じて得られた実空間映像により
見ることができるため、このような問題が生じず、より
正確で、現実感溢れるゴルフプレーを楽しむことができ
ることとなる。従って、例えば、球技練習用の仮想体験
装置として最適なものとなる。

【０１１６】なお、本発明は上記実施形態に限定される
ものではなく、本発明の要旨の範囲内において種々の変
形実施が可能である。

【０１１７】例えば、本実施形態においては、仮想視界
画像と実空間映像とを画像合成する手法としてブルーマ
ット方式を用いたが、本発明における画像合成はこれに
限られるものではない。例えばブルー以外の色を用いた
もの、多数の色を用いてこれを複合させて画像合成する
もの、テクスチャマッピングを用いたもの等、種々の手
法を使用することができる。

【０１１８】また、本発明が適用される仮想体験装置
も、本実施形態に示したものに限らず種々の体験装置に
適用することができる。例えば、ヘリコプターのフライ
トシミュレータ、仮想的な人体手術体験装置、仮想スタ
ジオ、仮想動物園、仮想設計システム、仮想電話、仮想
通信会議、仮想野球体験装置、仮想スキー、仮想サッカ
ー等、種々の体験装置に適用することが可能である。

【０１１９】

【図面の簡単な説明】

【図１】第１の実施形態の構成を示すブロック図であ
る。

【図２】第１の実施形態をドライビングゲームに適用し
た場合について示す概略説明図である。

【図３】第１の実施形態をフライトシミュレータに適用
した場合について示す概略説明図である。

【図４】頭部装着体の形状について示す概略説明図であ
る。

【図５】第２の実施形態の構成を示すブロック図であ
る。

【図６】第２の実施形態をロールプレイングゲームに適
用した場合について示す概略説明図である。

【図７】第２の実施形態をライド方式のアトラクション
に適用した場合について示す概略説明図である。

【図８】第２の実施形態を宇宙船体験のアトラクション
に適用した場合について示す概略説明図である。

【図９】第２の実施形態を歩行型アトラクションに適用
した場合について示す概略説明図である。

【図１０】第３の実施形態の構成を示すブロック図であ
る。

【図１１】第３の実施形態をゴルフ体験装置に適用した
場合について示す概略説明図である。

【図１２】本実施形態における座標変換について説明す
るための概略説明図である。

【図１３】表示画像合成装置の構成の一例を示す概略ブ
ロック図である。

【図１４】サイドミラーに画像を表示する手法について
説明するための概略説明図である。

【図１５】テクスチャマッピング手法により、相手プレ
ーヤの顔に実空間映像をはりつける手法について説明す
る概略説明図である。

【図１６】テクスチャマッピング手法を実現するための
構成の一例を示す概略ブロック図である。

【符号の説明】

９頭部装着体１０映像カメラ１２空間センサ２０画像表示装置３８操作部５０プレーヤ５８対戦用武器６４対戦武器用センサ６８ゲーム成績演算部７０仮想視界画像演算装置７２仮想３次元空間演算部７６視界画像演算部８０表示画像合成装置８４、８６ボール映像カメラ８８、９０移動体検出装置１００実空間映像１０２仮想視界画像１０４表示画像

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号ＦＩＧ０９Ｂ 9/30 Ｇ０６Ｆ 15/62 ３６０ 15/72 ３５０

Claims

【特許請求の範囲】

【請求項１】仮想３次元空間内の物体にマッピングす
るテクスチャを記憶するテクスチャ記憶手段と、撮像手段により撮像された画像を前記テクスチャとして
前記テクスチャ記憶手段に書き込む手段と、前記テクスチャ記憶手段に記憶されるテクスチャを仮想
３次元空間内の物体にマッピングし、仮想３次元空間内
の所与の視点から見える画像を合成する画像合成手段と
を含むことを特徴とする画像合成装置。
【請求項２】請求項１において、撮像手段によりリアルタイムに撮像された画像を、仮想
３次元空間内の物体にリアルタイムにマッピングするこ
とを特徴とする画像合成装置。
【請求項３】請求項１において、ゲームプレイの開始前に撮像手段により撮像された画像
を、仮想３次元空間内の物体にマッピングすることを特
徴とする画像合成装置。
【請求項４】請求項１乃至３のいずれかにおいて、撮像手段によりプレーヤを撮像することで得られる画像
を仮想３次元空間内の物体にマッピングすることを特徴
とする画像合成装置。
【請求項５】請求項４において、複数の撮像手段により複数の方向からプレーヤを撮像す
ることで得られる複数の画像を仮想３次元空間内の物体
にマッピングすることを特徴とする画像合成装置。
【請求項６】請求項１乃至５のいずれかにおいて、撮像手段によりプレーヤの頭部を撮像することで得られ
るプレーヤの頭部の画像を仮想３次元空間内のプレーヤ
の頭部を表す物体にマッピングすることを特徴とする画
像合成装置。
【請求項７】請求項１乃至６のいずれかにおいて、第１の撮像手段により撮像された第１のプレーヤの画像
を仮想３次元空間内の第１の物体にマッピングし、第２
の撮像手段により撮像された第２のプレーヤの画像を仮
想３次元空間内の第２の物体にマッピングし、第１のプレーヤが見る第１の画面に前記第２の物体を表
示し、第２のプレーヤが見る第２の画面に前記第１の物
体を表示することを特徴とする画像合成装置。
【請求項８】請求項１乃至７のいずれかにおいて、仮想３次元空間内の前記物体がポリゴンにより構成され
ていることを特徴とする画像合成装置。
【請求項９】仮想３次元空間内の物体にマッピングす
るテクスチャを記憶するテクスチャ記憶手段に、撮像手
段により撮像された画像を前記テクスチャとして書き込
み、前記テクスチャ記憶手段に記憶されるテクスチャを仮想
３次元空間内の物体にマッピングし、仮想３次元空間内
の所与の視点から見える画像を合成することを特徴とす
る画像合成方法。