JPH10334275A

JPH10334275A - 仮想現実方法及び装置並びに記憶媒体

Info

Publication number: JPH10334275A
Application number: JP9154306A
Authority: JP
Inventors: Hirokazu Akisada; 浩和秋定; Shunichi Tamai; 俊一玉井
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1997-05-29
Filing date: 1997-05-29
Publication date: 1998-12-18
Also published as: US6400364B1

Abstract

(57)【要約】【課題】アート的効果やエンターテイメント性の高い
ＶＲシミュレーションを実現することが可能な仮想現実
方法及び装置を提供する。【解決手段】視線入力スカウタ１１１内の視線検出部
１１１ａから取得した体験者（ユーザ）の視線位置デー
タに基づいて仮想空間に設定するスクリーンをダイナミ
ックに移動する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、視線検出手段によ
り仮想世界シュミレーションを実現する仮想現実方法及
び装置並びにこれら仮想現実方法及び装置に使用する記
憶媒体に関する。

【０００２】

【従来の技術】従来より、バーチャルリアリティー（仮
想現実：電子計算機によって作り出された情報を人間の
感覚器官に提示することによって、実在しない世界や遠
隔にある空間での行動を可能にして疑似体験を行う技
術）による仮想世界のシュミレーションを実現するに
は、次のような方法がとられる場合があった。

【０００３】例えば、仮想現実状態を体験する体験者の
頭部に取り付けた３次元位置方向検出装置（例えば、３
ＳＰＡＣＥ社のＦＡＳＴＲＡＫは磁気変換技術により実
空間での３次元位置とオイラー角を計測する）からのデ
ータを基に、予め入力したモデル（物体の３次元形状デ
ータ）の空間的・幾何学的位置を考慮した映像をコンピ
ュータに計算させ、この映像を体験者が被ったＨＭＤ
（ヘッドマウントディスプレイ、例えばｉ−ｇｌａｓｓ
ｅｓ「Ｖｉｒｔｕａｌ−ｉｏ社」）に表示することで、
体験者は仮想世界の疑似体験（仮想世界シュミレーショ
ン）を行うことができる。

【０００４】このようなバーチャルリアリティーを実現
するシステムにおいて体験者が見る映像は、一般的に、
次に説明する３次元コンピュータグラフイックス（Ｃ
Ｇ）によって形成される。

【０００５】３次元物体を表現した画像を形成する３次
元ＣＧにおいては、通常画像を得るためには、大きく分
けて「モデリング」と「レンダリング」という２つの作
業が必要となる。

【０００６】◇「モデリング」モデリングは、画像の中
で表現したい対象物の形、色、表面の性質等のデータを
コンピュータの中に作成する作業である。例えば、人間
の画像を作るのであれば、その表面の形がどうなってい
るのか、顔のどの部分がどのような色をしているのか、
光の反射率はどうか、といったデータを作成し、後のレ
ンダリングで使えるような形式でコンピュータ内に格納
する。この様なデータの集まりを物体のモデルという。

【０００７】例えば、図１７に示すような立方体の形状
モデリングを行う場合、まず、図１７のように立方体の
ある１つの頂点を原点としたモデリング座標系を考え
る。そして、この座標系における立方体の８個の頂点の
座標データ及び面ループデータを、例えば図１８
（ａ），（ｂ）に示すように決定する。この様にして得
られた１組の座標データと面ループデータが対象物のモ
デリングデータ（またはモデルデータ）となる。

【０００８】◇「レンダリング」レンダリングは、モデ
ルが出来上がった後で、その物体をある位置から見たと
きにどの様に見えるかを考え、その見え方に従った画像
を作成する作業である。従って、レンダリングを行うに
は、モデルの他に、見る位置（視点）や照明に関する条
件を考える必要がある。レンダリング作業を細分化する
と、「投影変換」、「隠面消去」、「シェーディング」
及び「リアルさを出すための工夫」の４つの作業とな
る。

【０００９】まず、「投影変換」は、モデルを表わして
いる種々の座標値に対して、視点の位置から見たとき
に、画面上のどの位置に見えるかを計算して、画面上の
座標に変換することである。図１９は、投影変換のため
の４つの座標系を示した図である。まず、モデリング座
標系において定義された物体の形状データは、ワールド
座標系（物体の形を表わすときにモデル内の座標に用い
る座標系）におけるデータに変換される。そして、対象
となる物体を見ることができるように、選定したカメラ
をいろいろな方向に向けることで、ビューイング変換
（視野変換）を行う。この際、ワールド座標系で表わさ
れた物体のデータが視点座標系のデータに変換されるこ
とになる。また、この変換のためにワールド座標系の中
にスクリーン（視野窓）を指定し、このスクリーンが物
体の最終的な投影面となる。そして、このスクリーンを
定義するための座標系がＵＶＮ座標系（スクリーン座標
系）と呼ばれる。但し、視点前方の全ての物を描くと、
不必要な計算時間をとる場合があるので、作画領域を決
めることも必要である（この作画領域はビューイングボ
リューム「視野空間」と呼ばれ、また、この作業はクリ
ッピングと呼ばれる。また、ビューイングボリュームの
境界の中でカメラから最も近い面をリニアクリッピング
面、最も遠い面をファークリッピング面という）。そし
て、このスクリーンをいろいろな方向に動かすことで視
野変換を行う。そして、視野変換が決定した後、空間に
存在する物体の３次元形状の各点に対して、視点と投影
面の交点を求める操作を行うことで、図２０に示すよう
にスクリーン上に投影図を得る（但し、この場合は視点
と投影面との間の距離が有限である透視投影を示してい
る）。従って、投影変換が行われると前述の視点座標系
で表わされたデータは、ＵＶＮ座標系におけるデータに
変換されることになる。

【００１０】次に、「隠面消去」によって、モデルの中
で現在の視点の位置から考えて、どの部分が見えて、ど
の部分が見えないかを判断する。隠面消去の代表的な手
法としては、Ｚバッファ法やスキャンライン法といった
アルゴリズムが挙げられる。そして、隠面消去が済ん
で、物体のどの部分が見えるかが確定したら、次に照明
を考えて各部分がどの様な色で、どの様な明るさに見え
るかを判断し、その色を画面、即ち、ピクセルに塗る
「シェーディング」の処理を行う。

【００１１】そして、通常レンダリングの最後に実行さ
れるのが、「リアルさを出すための工夫」である。これ
は、「投影変換」、「隠面消去」、「シェーディング」
を行って画像を形成しても、得られる絵は実在の物体と
はほど遠い面白みのないものとなってしまうためであ
る。その理由としては、このような手法が、物体の表面
は理想的な平面或いは数式で表わせる完全に滑らかな曲
面であったり、表面の色が面ごとに一定であるといった
仮定に基づいているためである。こうした状況を避け、
得られる画像をより現実に近いものとするために行われ
る代表的手法の１つにテクスチャーマッピングがある。
このテクスチャーマッピングは、予め用意した２次元パ
ターンを３次元空間内の物体モデルの表面に貼り付ける
（数学的にいえば、写像する）手法で、単調な表面で構
成された物体を複雑な表面を持つ物体に疑似的に見せか
けることを目的としている。これにより、例えば単純な
直方体のモデルを金属や石材のように見せることが可能
となる。

【００１２】上述した「投影変換」、「隠面消去」、
「シェーディング」及び「リアルさを出すための工夫」
が終了し、ＵＶＮ座標系によって示された図形は、最終
的なデバイス座標系に変換されて表示装置に表示される
と、１回のレンダリング処理が完了する。図２１に、図
２０のスクリーンに投影された物体がデバイス座標系に
変換されて表示装置に表示された画像を示す（但し、物
体の背景は塗りつぶされている）。ここで、デバイス座
標系とは、画像の中でピクセルやドットの位置を表わす
ときに用いる座標系のことで、表示画像における座標系
と同一であるものとする（図２１におけるａとｂは、表
示画像の横と縦の画素数を示す）。

【００１３】◇「ＣＧアニメーションの作成方法」上述
したような方法により得られる絵（ＣＧ画像）に動きを
付けてコンピュータグラフィックス（ＣＧ）アニメーシ
ョンを作成する場合、大別して２つの方法がある。

【００１４】まず、第１の手法としては、３次元空間に
置き、照明条件、視点条件（視点の位置・方向・画角）
及び物体のモデルの形状や色等を少しずつ変化させ、そ
の都度レンダリングを行うことで、一連のアニメーショ
ン用の画像群を得た後（または、１つの画像をレンダリ
ングするごとに）、それらをビデオレコーダ等の録画装
置を用いて１コマ１コマ録画（コマ録画）し、全ての録
画が終わった後で再生装置で再生する方法である。この
方法においては、画像のレンダリングの際にかかる時間
は許容される範囲で長くしてよいので（１つの画像のレ
ンダリングに要する時間と作成するアニメーションの全
体の時間に依存する）、画面上に複雑な形状の物体を多
数配置したり、レイトレーシング（光線追跡法）に代表
されるような長い計算時間を必要とするレンダリング手
法を用いて高品質な画像を作成することも可能である。
例えば、現在のテレビコマーシャルやＳＦ映画等で用い
られているＣＧ映像は、ほとんどこの方法によって作成
されたものである。

【００１５】次に、第２の手法としては、前述の照明条
件、視点条件及び物体モデルの形状や色を変更しながら
のレンダリング及びそのレンダリング処理によって得ら
れた画像の表示という２つの処理を高速に繰り返すこと
で、ＣＧアニメーションを実行する手法である。この手
法は、一般的にリアルタイムＣＧレンダリングと呼ばれ
るもので、ユーザからの指示を直接レンダリングに反映
させることで、ＣＧアニメーションの動きをリアルタイ
ムにコントロールするインタラクティブ（対話的）処理
が可能なことが最大の特徴である。その反面、実現に関
しては実行するコンピュータのパフォーマンスにかなり
依存し、画面上に表示できる物体のデータ量に制限があ
ったり、レンダリング手法として単純で高速なものに限
定されてしまうといった制約があるため、前者と比較し
て形成される画像は一般的に低品質なものとなる。な
お、この手法は、各種バーチャルリアリテイーシステム
をはじめ、科学技術シミュレーション、航空機操縦練習
用のフライトシミュレータやゲームセンター用のレーシ
ングゲーム・ファイティングゲーム等に用いられている
ものである。

【００１６】次に、視線検出装置について説明する。

【００１７】先に本出願人は、パソコン（パーソナルコ
ンピュータ）／テレビのディスプレイ画面、ビデオカメ
ラ／スチルカメラのファインダー画面等を使用者が観察
する際、画面のどこを見ているかを検出する、いわゆる
視線入力装置を提案している。その原理を以下に説明す
る。

【００１８】図２２は、視線検出方法の原理を示す平面
図、図２３は、視線検出方法の原理を示す側面図であ
る。両図において、９０６ａ，９０６ｂは観察者に対し
て不感の赤外光を放射する発光ダイオード（ＩＲＥＤ）
等の光源で、各光源９０６ａ，９０６ｂは、結像レンズ
９１１の光軸に対してｘ方向（水平方向）に略対称に、
また、ｙ方向（垂直方向）にはやや下側に（図２３参
照）配置され、観察者の眼球９０８を発散照明してい
る。観察者の眼球９０８で反射した照明光の一部は、結
像レンズ９１１によってイメージセンサー９１２に結像
する。

【００１９】図２４は、イメージセンサー９１２に投影
される眼球像の概略図、図２５は、イメージセンサー９
１２の出力強度図である。

【００２０】以下、図２２〜図２５を用いて視線の検出
方法について説明する。

【００２１】まず、水平面で考えると、図２２において
一方の光源９０６ｂより放射されたは、観察者の眼球９
０８の角膜９１０（図２２及び図２３参照）を照明す
る。このとき角膜９１０の表面で反射した赤外光により
形成される角膜反射像（虚像）ｄ（図２２及び図２４参
照）は、結像レンズ９１１によって集光され、イメージ
センサー９１２上の位置ｄ′（図２２参照）に結像す
る。同様に、他方の光源９０６ａより放射されたは、観
察者の眼球９０８の角膜９１０（図２２及び図２３参
照）を照明する。このとき角膜９１０の表面で反射した
赤外光により形成される角膜反射像（虚像）ｅ（図２２
及び図２４参照）は、結像レンズ９１１によって集光さ
れ、イメージセンサー９１２上の位置ｅ′（図２２参
照）に結像する。また、虹彩９０４の端部ａ，ｂ（図２
２〜図２４参照）からの光束は、結像レンズ９１１を介
してイメージセンサー９１２上の位置ａ′，ｂ′（図２
２及び図２４参照）に該端部ａ，ｂの像を結像する。結
像レンズ９１１の光軸に対する眼球９０８の光軸の回転
角θが小さい場合、虹彩９０４の端部ａ，ｂのｘ座標を
ｘａ，ｘｂとすると、ｘａ，ｘｂはイメージセンサー９
１２上で多数点求めることができる（図２４中、×
印）。そこで、まず、円の最小自乗法にて瞳孔中心ｘｃ
を算出する。一方、角膜９１０の曲率中心ｏのｘ座標を
ｘｏとすると、眼球９０８の光軸に対する回転角θｘ
は、ｏｃ×ｓｉｎθｘ＝ｘｃ−ｘｏ … （１）となる。

【００２２】また、角膜反射像ｄとｅの中点ｋに所定の
補正値δｘを考慮して求めると、ｘｋ＝（ｘｄ＋ｘｅ）／２ｘｏ＝（ｘｄ＋ｘｅ）／２＋δｘ … （２）となる。

【００２３】ここで、δｘは装置の設置方法／眼球距離
等から幾何学的に求められる数値であり、その算出方法
は省略する。

【００２４】よって、上記（１）式を（２）式に代入し
てθｘを求めると、 θｘ＝arcsin［［xc｛（xd＋xe／2＋δx｝］／oc］…（３）となる。

【００２５】更に、イメージセンサー９１２上に投影さ
れた各々の特徴点の座標を、′（ダッシュ）を付けて下
記（４）式に書き換えると、 θｘ＝arcsin［［xc′｛（xd′＋xe′／2＋δx′｝］／oc／β］…（４）となる。ここで、βは結像レンズ９１１に対する眼球９
０８の距離ｓｚｅにより決まる倍率で、実際は角膜反射
像ｄ，ｅの間隔｜ｘｄ′−ｘｅ′｜の関数として求めら
れる。

【００２６】垂直面で考えると、図２３に示すような構
成となる。ここで、２個の光源９０６ａ，９０６ｂによ
り生じる角膜反射像ｄ，ｅは同位置に発生し、これをｉ
とする。眼球９０８の垂直方向の回転角θｙの算出方法
は上述した水平面の場合とほぼ同一であるが、（２）式
のみ異なり、角膜曲率中心ｏのｙ座標をｙｏとすると、ｙｏ＝ｙｉ＋δｙ … （５）となる。ここで、δｙは装置の設置方法／眼球距離等か
ら幾何学的に求められる数値であり、その算出方法は省
略する。

【００２７】よって、眼球９０８の垂直方向の回転角θ
ｙは、 θｙ＝arcsin［［yc′−（yi′＋δy′）］／oc／β］…（６）となる。

【００２８】更に、ファインダー等の画面上の位置座標
（ｘｎ，ｙｎ）は、ファインダー光学系で決まる定数ｍ
を用いると、水平面上、垂直面上それぞれ、 xn＝ma×arcsin［［xc′−｛（xd′＋xe′）／２＋δx′｝］／oc／β］… （７） yn＝ma×arcsin［［yc′−（yi′＋δy′）］／oc／β］…（８）となる。

【００２９】図２４及び図２５で明らかなように、瞳孔
エッジの検出は、イメージセンサー９１２の出力波形の
立ち上がり部（xb′）、立ち下がり部（xa′）を利用す
る。また、角膜反射像ｄ，ｅの座標は鋭い立ち上がり部
（xe′）、立ち下がり（xd′）を利用する。

【００３０】次に、視線検出機能を持つパソコン（パー
ソナルコンピュータ）システムの一例を説明する。

【００３１】図２６は、視線検出機能を持つパソコンシ
ステムの一例を示す概略構成図である。同図に示すパソ
コンシステムは、パソコンの本体部であるパソコンユニ
ット１００８、操作者がパソコンの画面を観察するため
のヘッドマウントディスプレイ１００６、操作者または
操作者以外の人がパソコンの画面を観察するための外部
モニター１００９により構成されている。ここで、ヘッ
ドマウントディスプレイ１００６は、ゴーグル、メガネ
フレーム等の部材により操作者の目に近い位置に固定さ
れている。

【００３２】ヘッドマウントディスプレイ１００６は、
ＬＣＤ（液晶表示器）等を有する表示素子１００２と、
拡大観察系を実現するための特殊プリズム１００３、撮
影者の目１００５の視線を検出する視線検出回路１０６
４と、パソコン画面を表示素子１００２に表示する表示
回路１００７と、撮影者の目１００５に赤外光を照射す
る赤外発光ダイオード１０６０，１０６１と、赤外光を
結像する結像レンズ１０６２ａ，１０６２ｂと、これら
結像レンズ１０６２ａ，１０６２ｂにより結像された赤
外光を電気信号に変換する光電変換素子（イメージセン
サー）１０６３と、この光電変換素子１０６３上の撮影
者の目１００５の像を基に撮影者の表示素子１００２上
の注視点を求める注視点検出回路１０６４とを具備して
いる。

【００３３】次に、ヘッドマウントディスプレイ１００
６における観察系の光学作用について説明する。表示素
子１００２からの光は、第３の光学作用面ｃで屈折透過
し、第１の光学作用面ａで全反射し、第２の光学作用面
ｂの反射層で反射し、再び第１の光学作用面ａで屈折透
過し、観察者の視度に適合した拡がり角（収束角、平
行）の光束となり、観察者の目１００５側に射出する。
ここで、観察者の目１００５と表示素子１００２の中心
を結ぶ線を基本光軸として示している。観察者の視度に
対する調整は、表示素子１００２をプリズム１００３の
光軸に沿って平行移動することにより可能となる。ここ
で、プリズム１００３は、像性能と歪みを補正し、テレ
セントリックな系とするために、３つの光学作用面をそ
れぞれ回転対称軸を有しない３次元曲面で構成するのが
望ましく、ここでは、基本光軸を含み、紙面に平行な平
面にのみ対称な曲面構造をなしている。

【００３４】更に、ヘッドマウントディスプレイ１００
６における視線検出系の光学作用について説明する。裸
眼用赤外発光ダイオード１０６０（奥行き方向に２
個）、眼鏡用赤外発光ダイオード１０６１（奥行き方向
に２個）から発した光は、第２の光学作用面ｂに設けら
れた開口部１０１２，１０１３，１０１４，１０１５を
通して、視線検出系の光軸とは異なる方向から観察者の
目１００５を照明する。その照明光は、観察者の角膜９
１０、瞳孔で反射散乱され、角膜９１０で反射した光は
角膜反射像ｄ，ｅを形成し、瞳孔で散乱した光は瞳孔像
を形成する。これらの光は、第２の光学作用面ｂに設け
られた開口部１０１０を通して、結像レンズ１０６２
ａ，１０６２ｂによりイメージセンサー１０６３上に結
像される。イメージセンサー１０６３から得られる観察
者の目１００５の画像は、前述した視線検出原理によっ
て構成された注視点検出回路１０６４によって注視点デ
ータを出力することができる。

【００３５】ここで、結像レンズ系は２枚の結像レンズ
１０６２ａ，１０６２ｂにより構成されている。特に、
結像レンズ１０６２ｂは楔形状をしたレンズで、これに
より結像レンズ系を少ないレンズで構成することがで
き、小型化に適している。この結像レンズ１０６２ｂの
斜めの面に曲率をつけることで、第２の光学作用面ｂで
発生する偏心収差を有効に補正することができる。更
に、前記結像レンズ系には少なくとも非球面を１面設け
ると、軸外の結像性能を補正する上で有効である。前記
結像レンズ系の絞りは、第２の光学作用面ｂに設けた開
口部に近い方が、開口部１０１０を小さくすることがで
き、観察系に対する中抜けを防ぐのに有効であり、でき
れば開口部と絞りが一致しているのが望ましい。開口部
は、２ｍｍより小さく設定した方が、観察者の目１００
５の瞳孔より小さくなり、更に観察系に対する中抜けを
防ぐのに有効である。観察者の目１００５を照明する光
は、視感度の低い光が良いので赤外光を使用している。
このとき、前記結像レンズ系に可視光をカットする部材
のレンズを少なくとも１個設けると、視線の検出精度を
向上することができる。

【００３６】図２７は、プリズム１００３を側面から見
た図である。ここで、第２の光学作用面ｂは、反射用の
ミラーコーティングが施されているが、結像レンズ１０
６２ａ，１０６２ｂ及び赤外発光ダイオード１０６０，
１０６１用の開口部、即ち、ミラーコーティング未処理
部（１０１０は結像用、１０１２，１０１３は裸眼用赤
外発光ダイオード用、１０１４，１０１５は眼鏡用赤外
発光ダイオード用）が設けられている。なお、前述した
ように、これら開口部１０１０，１０１２〜１０１５は
ファインダー観察系に影響のない程度に小さなものであ
り、２ｍｍ以下ぐらいが望ましい。

【００３７】このようにミラーコーティング部に開口部
１０１０，１０１２〜１０１５を設け、照明光源である
赤外発光ダイオード１０６０，１０６１をプリズム１０
０３を挟んで観察者の目１００５と反対側に配置したた
め、プリズム１００３の屈折力を強くし高視野化した場
合でも、観察者の目１００５の高さに近い位置から適切
に照明することができる。

【００３８】ここで、赤外発光ダイオード１０６０，１
０６１は、異なる配置で裸眼用と眼鏡用とを使い分けて
いる。２個の裸眼用赤外発光ダイオード１０６０は、光
軸からやや離れた下部から同一高さで、光軸対称に狭い
幅で左右１個ずつ、眼鏡用赤外発光ダイオード１０６１
は、光軸からかなり離れた下部から同一高さで、光軸対
称に広い幅で左右１個ずつ配置されている。その理由は
３つであり、１つ目の理由は、眼球距離によってより良
い照明条件を得るためで、できるだけ目の検出エリアを
均等に照明するような位置になっている。２つ目の理由
は、角膜反射像ｄ，ｅが瞼でケラレないような高さにす
る必要があるため、裸眼用赤外発光ダイオード１０６０
は、眼鏡用赤外発光ダイオード１０６１に比べて高い位
置にある。３つ目の理由は、赤外光が眼鏡に反射してで
きるゴーストが、検出に影響の少ない周辺部に現れるよ
うにするため、眼鏡用赤外発光ダイオード１０６１は、
裸眼用赤外発光ダイオード１０６０より左右方向及び下
方向に離れた位置にある。なお、眼球と眼鏡の判別は、
角膜反射像ｄ，ｅの間隔｜ｘｄ′−ｘｅ′｜から、眼球
とプリズム１００３との間の距離算出することにより行
う。

【００３９】視線検出回路１０６４は、イメージセンサ
ー１０６３上の撮影者の目１００５の像を基に、前述し
た原理に従い撮影者の表示素子１００２の画面上の注視
点を求めるものである。

【００４０】次に、パソコンユニットについて説明す
る。

【００４１】図２６において、１００８はパソコンユニ
ットである。ここで、１８１４はＣＰＵ（中央演算処理
装置）で、プログラムやデータの演算を行う。１８１３
は各デバイスを結ぶシステムバス、１８１８はＲＯＭ
（リードオンリーメモリ）１８１６やＲＡＭ（ランタム
アクセスメモリ）１８１７の制御を行うメモリコントロ
ーラ、１８１２はビデオＲＡＭ１８１１に書き込まれた
内容がディスプレイに表示されるように制御するビデオ
グラフィックコントローラである。１８１５はポインテ
イングデバイス或いはキーボードを制御するアクセサリ
ーデバイスコントローラであり、本例においては、ヘッ
ドマウントディスプレイ１００６の視線検出回路１０６
４に接続される。１８１９は周辺装置制御用のＩ／Ｏチ
ャネルであり、本例においては、ヘッドマウントディス
プレイ１００６の表示回路１００７に接続される。

【００４２】以上のような構成において、ヘッドマウン
トディスプレイ１００６の視線検出回路１０６４により
検出された操作者の視線位置情報をパコンユニット１０
０８のポインティングデバイスとして適用することがで
き、画面のスクロールやメニュー選択に応用することが
できる。また、同時に外部モニター１００９にパソコン
画面を表示することができるため、操作者以外の人がパ
ソコン画面を見ることができる。また、片目用のヘッド
マウントディスプレイを用いれば、操作者自身も外部モ
ニター１００９を見ることができる。

【００４３】

【発明が解決しようとする課題】しかしながら、上述し
た従来例にあっては、仮想空間に設定するスクリーン
（投影面）は視点に対して固定の矩形平面であり、対象
となる物体のモデルデータからこのスクリーンへの１点
透視による写像を考えることによって画像の計算を行っ
ているため、形成画像に含まれる物体の見え方（空間的
・幾何学的）は現実世界を模倣したものになった。

【００４４】図８（ａ）は従来例における仮想空間での
視点、スクリーン、物体（３個の物体が横一列に並んで
いる）の関係を示したものであるが（説明の簡素化のた
め、図では視点を真上から眺めたように示している）、
この場合にレンダリングされる画像は図８（ｂ）に示す
ようになった。このため、体験者が観察する映像は、時
にはアート的表現が欠けたり、エンターテイメント性が
乏しくなってしまう場合があった。

【００４５】また、体験者が注目している物体を強調す
るような場合には、マウス等のポインティングデバイス
で指定された物体の色を変えたり、大きさを変えたりす
る方法がとられることがあるが、この場合、体験者は意
識的にマウスを動かす必要があるため、体験者の意思を
即座に反映しているとはいえなかった。

【００４６】本発明は上述した従来の技術の有するこの
ような問題点に鑑みてなされたものであり、その第１の
目的とするところは、アート的表現やエンターテイメン
ト性が高い仮想世界の疑似体験が可能な仮想現実方法及
び装置を提供しようとするものである。

【００４７】また、本発明の第２の目的とするところ
は、上述したような仮想現実装置を円滑に制御すること
ができる記憶媒体を提供しようとするものである。

【００４８】

【課題を解決するための手段】上記第１の目的を達成す
るために請求項１記載の仮想現実方法は、物体の３次元
形状データを構築するモデリング工程と、仮想現実状態
を体験する体験者の視線位置を検出する視線位置検出工
程と、３次元仮想空間に視点を設定する視点設定工程
と、前記視線位置検出工程により検出された視線位置デ
ータに基づいて仮想空間にスクリーンを設定するスクリ
ーン設定工程と、前記視点設定工程により設定した視点
から前記物体のモデルデータを空間的・幾何学的配置を
考慮して見たときの情景を前記スクリーン上に写像する
スクリーン写像工程と、前記スクリーン写像工程により
写像された前記スクリーン上の情景をデバイス座標系に
写像する画像生成工程と、前記画像生成工程により生成
した画像を映像信号に変換する映像変換工程と、前記映
像変換工程により変換後の映像を表示する映像表示工程
とを有することを特徴とする。

【００４９】また、上記第１の目的を達成するために請
求項２記載の仮想現実方法は、請求項１記載の仮想現実
方法において、前記映像表示工程は、前記体験者の目の
直前に置かれ且つ前記体験者の頭部に対して固定の状態
で設定された表示器に映像を表示することを特徴とす
る。

【００５０】また、上記第１の目的を達成するために請
求項３記載の仮想現実方法は、請求項１記載の仮想現実
方法において、前記スリーンが任意の形状であり、ま
た、体験者の指示によりこのスクリーンの形状を切り換
えられることを特徴とする。

【００５１】また、上記第１の目的を達成するために請
求項４記載の仮想現実装置は、物体の３次元形状データ
を構築するモデリング手段と、仮想現実状態を体験する
体験者の頭部の視線位置を検出する視線位置検出手段
と、３次元仮想空間に視点を設定する視点設定手段と、
前記視線検出手段により検出された視線位置データに基
づいて仮想空間にスクリーンを設定するスクリーン設定
手段と、前記視点設定手段により設定された視点から前
記物体のモデルデータを空間的・幾何学的配置を考慮し
て見たときの情景を前記スクリーン上に写像するスクリ
ーン写像手段と、前記スクリーン写像手段により写像さ
れた前記スクリーン上の情景をデバイス座標系に写像す
る画像生成手段と、画像を映像信号に変換する映像変換
手段と、前記映像変換手段により変換後の映像を表示す
る映像表示手段とを有することを特徴とする。

【００５２】また、上記第１の目的を達成するために請
求項５記載の仮想現実装置は、請求項４記載の仮想現実
装置において、前記映像表示手段は、前記体験者の目の
直前に置かれ且つ前記体験者の頭部に対して固定の状態
で設定されることを特徴とする。

【００５３】また、上記第１の目的を達成するために請
求項６記載の仮想現実装置は、請求項４記載の仮想現実
装置において、前記スリーンが任意の形状であり、ま
た、体験者の指示によりこのスクリーンの形状を切り換
えるスクリーン形状切換手段を有することを特徴とす
る。

【００５４】また、上記第１の目的を達成するために請
求項７記載の仮想現実方法は、物体の３次元形状データ
を構築するモデリング工程と、仮想現実状態を体験する
体験者の視線位置を検出する視線位置検出工程と、３次
元仮想空間に視点を設定する視点設定工程と、前記視線
位置検出工程により検出された視線位置データに基づい
て仮想空間にスクリーンを設定するスクリーン設定工程
と、前記視線位置検出工程により検出された視線位置デ
ータに基づいて前記モデルデータを変更するモデルデー
タ変更工程と、前記視点設定工程により設定した視点か
ら前記物体のモデルデータを空間的・幾何学的配置を考
慮して見たときの情景を前記スクリーン上に写像するス
クリーン写像工程と、前記スクリーン写像工程により写
像された前記スクリーン上の情景をデバイス座標系に写
像する画像生成工程と、前記画像生成工程により生成し
た画像を映像信号に変換する映像変換工程と、前記映像
変換工程により変換後の映像を表示する映像表示工程と
を有することを特徴とする。

【００５５】また、上記第１の目的を達成するために請
求項８記載の仮想現実方法は、請求項７記載の仮想現実
方法において、前記映像表示工程は、前記体験者の目の
直前に置かれ且つ前記体験者の頭部に対して固定の状態
で設定された表示器に映像を表示することを特徴とす
る。

【００５６】また、上記第１の目的を達成するために請
求項９記載の仮想現実方法は、請求項７記載の仮想現実
方法において、前記スリーンが任意の形状であり、ま
た、体験者の指示によりこのスクリーンの形状を切り換
えられることを特徴とする。

【００５７】また、上記第１の目的を達成するために請
求項１０記載の仮想現実方法は、前記モデルデータ変更
工程を実行するためのモデルデータ変更手段が複数存在
し、また、このモデルデータ変更手段は複数同時選択可
能であり、更に、体験者の指示により選択内容を変更で
きることを特徴とする。

【００５８】また、上記第１の目的を達成するために請
求項１１記載の仮想現実装置は、物体の３次元形状デー
タを構築するモデリング手段と、仮想現実状態を体験す
る体験者の視線位置を検出する視線位置検出手段と、３
次元仮想空間に視点を設定する視点設定手段と、前記視
線位置検出手段により検出された視線位置データに基づ
いて仮想空間にスクリーンを設定するスクリーン設定手
段と、前記視線位置検出手段により検出された視線位置
データに基づいて前記モデルデータを変更するモデルデ
ータ変更手段と、前記視点設定手段により設定した視点
から前記物体のモデルデータを空間的・幾何学的配置を
考慮して見たときの情景を前記スクリーン上に写像する
スクリーン写像手段と、前記スクリーン写像手段により
写像された前記スクリーン上の情景をデバイス座標系に
写像する画像生成手段と、前記画像生成手段により生成
した画像を映像信号に変換する映像変換手段と、前記映
像変換手段により変換後の映像を表示する映像表示手段
とを有することを特徴とする。

【００５９】また、上記第１の目的を達成するために請
求項１２記載の仮想現実方法は、請求項１１記載の仮想
現実装置において、前記映像表示手段は、前記体験者の
目の直前に置かれ且つ前記体験者の頭部に対して固定の
状態で設定された表示器に映像を表示することを特徴と
する。

【００６０】また、上記第１の目的を達成するために請
求項１３記載の仮想現実装置は、請求項７記載の仮想現
実装置において、前記スリーンが任意の形状であり、ま
た、体験者の指示によりこのスクリーンの形状を切り換
えるスクリーン形状切換手段を有することを特徴とす
る。

【００６１】また、上記第１の目的を達成するために請
求項１４記載の仮想現実装置は、前記モデルデータ変更
手段が複数存在し、また、このモデルデータ変更手段を
複数同時選択する選択手段を有し、更に、体験者の指示
により選択内容を変更できることを特徴とする。

【００６２】また、上記第２の目的を達成するために本
発明の請求項１５記載の記憶媒体は、仮想現実状態を実
現する仮想現実装置を制御するプログラムを格納する記
憶媒体であって、物体の３次元形状データを構築するモ
デリングモジュールと、仮想現実状態を体験する体験者
の視線位置を検出する視線位置検出モジュールと、３次
元仮想空間に視点を設定する視点設定モジュールと、前
記視線位置検出モジュールにより検出された視線位置デ
ータに基づいて仮想空間にスクリーンを設定するスクリ
ーン設定モジュールと、前記視点設定モジュールにより
設定された視点から前記物体のモデルデータを空間的・
幾何学的配置を考慮して見たときの情景を前記スクリー
ン上に写像するスクリーン写像モジュールと、前記スク
リーン写像モジュールにより写像された前記スクリーン
上の情景をデバイス座標系に写像する画像生成モジュー
ルと、前記画像生成モジュールにより生成された画像を
映像信号に変換する映像変換モジュールと、前記映像変
換モジュールにより変換後の映像を表示する映像表示モ
ジュールとを有するプログラムを格納したことを特徴と
する。

【００６３】また、上記第２の目的を達成するために本
発明の請求項１６記載の記憶媒体は、請求項１５記載の
記憶媒体において、前記映像表示モジュールは、前記体
験者の目の直前に置かれ且つ前記体験者の頭部に対して
固定の状態で設定された表示器に映像を表示することを
特徴とする。

【００６４】また、上記第２の目的を達成するために本
発明の請求項１７記載の記憶媒体は、仮想現実状態を実
現する仮想現実装置を制御するプログラムを格納する記
憶媒体であって、物体の３次元形状データを構築するモ
デリングモジュールと、仮想現実状態を体験する体験者
の視線位置を検出する視線位置検出モジュールと、３次
元仮想空間に視点を設定する視点設定モジュールと、前
記視線位置検出モジュールにより検出された視線位置デ
ータに基づいて仮想空間にスクリーンを設定するスクリ
ーン設定モジュールと、前記視点設定モジュールにより
設定された視点から前記物体のモデルデータを空間的・
幾何学的配置を考慮して見たときの情景を前記スクリー
ン上に写像するスクリーン写像モジュールと、前記スク
リーン写像モジュールにより写像された前記スクリーン
上の情景をデバイス座標系に写像する画像生成モジュー
ルと、前記画像生成モジュールにより生成された画像を
映像信号に変換する映像変換モジュールと、前記映像変
換モジュールにより変換後の映像を表示する映像表示モ
ジュールとを有するプログラムを格納したことを特徴と
する。

【００６５】また、上記第２の目的を達成するために本
発明の請求項１８記載の記憶媒体は、請求項１７記載の
記憶媒体において、前記映像表示モジュールは、前記体
験者の目の直前に置かれ且つ前記体験者の頭部に対して
固定の状態で設定された表示器に映像を表示することを
特徴とする。

【００６６】また、上記第２の目的を達成するために本
発明の請求項１９記載の記憶媒体は、請求項１７記載の
記憶媒体において、前記モデルデータ変更モジュールを
実行するモデルデータ変更手段は複数存在し、また、こ
れらモデルデータ変更手段は複数同時選択が可能であ
り、更に前記体験者の指示により選択内容を変更できる
ことを特徴とする。

【００６７】

【発明の実施の形態】以下、本発明の各実施の形態を図
１〜図１６に基づき説明する。

【００６８】（第１の実施の形態）まず、本発明の第１
の実施の形態を図１〜図１１に基づき説明する。図１
は、本発明の第１の実施の形態に係る仮想現実装置の概
念を示す図であり、同図において、３は視線入力スカウ
タ（ヘッドマウントディスプレイの一種）で、眼鏡のよ
うな形状をなしている。本装置による仮想現実状態の体
験者１が、この視線入力スカウタ３を眼鏡と同様に装着
することによって、該視線入力スカウタ３内のモニタ３
ａを見ることで映像を観察することができ、また、付属
のイヤホーンにより音声を聞くことができる。また、こ
の装置に組み込まれた視線検出装置３ｂは、体験者１の
視線位置を検出し、その検出データをコンピュータ５に
送信する。

【００６９】２は磁気による３Ｄセンサー（位置方向検
出装置）で、トランスミッタ２ａ（体験者１の近辺に固
定される）及びレシーバ２ｂ（体験者１の頭部に取り付
けられている）が接続されている。この３Ｄセンサー２
は、トランスミッタ２ａが発生した磁界中におけるレシ
ーバ２ｂの誘起電流の大きさを処理することで、体験者
（頭部）１の空間的位置（ｘ，ｙ，ｚ）と方向（ピッ
チ：Pitch、ヨー：Yaw、ロール：Roll）とを検出し、そ
の検出データをコンピュータ５に送信する。

【００７０】コンピュータ５は、まず、３Ｄセンサー２
から収集した体験者１の実空間における３次元位置デー
タと方向のデータを用いて、仮想空間での視点（カメ
ラ）の位置及び方向を決める。次に、視線入力スカウタ
３の視線検出装置３ｂから収集した体験者１の視線位置
データを用いて仮想空間におけるスクリーン（投影面）
の位置を設定し、このスクリーンに対して予め入力され
たモデル（物体）を写像することによって、３次元仮想
空間での情景を示す映像（２次元画像）６を計算する。
この映像６は、スキャンコンバータ４を介して視線入力
スカウタ３内のモニタ３ａへ送信され、体験者１は目の
前のこの映像６を観察することにより、仮想空間の疑似
体験をする。

【００７１】図２は、本実施の形態に係る仮想現実装置
のシステム構成を示すブロック図である。同図におい
て、１０１は制御装置で、本装置の構成要素全体の制御
を司るものである。１０２はデータ入力装置で、例えば
キーボード等からなり、物体のモデリングデータ、シミ
ュレーションデータ、視点条件等の初期値の入力を行う
ものである。１０３はコマンド入力装置で、例えばマウ
ス等からなり、シミュレーションの開始・終了等を指示
するものである。１０４はファイル装置で、不揮発性メ
モリ等からなり、モデルデータ等を格納する。１０５は
演算装置で、各種変数の更新及びモデルを用いた３次元
画像の生成等を行うものである。１０６はメモリ装置
で、本装置の起動中に物体のモデリングデータ及び視点
条件等の各種データを格納するものである。１０７はビ
デオメモリ装置で、レンダリング後の画像のピクセル値
を格納するものである。１０８はデータ表示装置で、Ｃ
ＲＴ（陰極線管）モニタ等からなり、制御装置１０１か
らの指示情報やビデオメモリ装置１０７内の画像を表示
したり、ユーザへの指示や入力したデータ等を表示する
ものであり、主にシステムのオペレータのデータ確認の
ために用いられる。１０９は映像変換装置で、例えばス
キャンコンバータ等からなり、ビデオメモリ装置１０７
内の画像データを映像信号として出力するものである。
１１０は位置方向検出装置で、例えば磁気センサー等か
らなり、仮想世界シミュレーションの体験者の実空間に
おける位置（ｘ，ｙ，ｚ）及び方向（ピッチ：Pitch、
ヨー：Yaw、ロール：Roll）を検出・出力するものであ
る。この位置方向検出装置１１０には、トランスミッタ
部１１０ａ（体験者の近辺に固定）及びレシーバ部１１
０ｂ（体験者の頭部に固定）が接続される。１１１は視
線入力スカウタで、仮想世界シミュレーションの体験者
が装着するものであり、視線検出部１１１ａ（体験者の
視線データの検出）と映像表示部１１１ｂ（映像変換装
置１０９からの映像信号を表示）とで構成されている。

【００７２】次に、本実施の形態に係る仮想現実装置の
ＶＲ（バーチャルリアリティー）シミュレーション処理
動作について、図３に基づき説明する。図３は、本実施
の形態に係る仮想現実装置のＶＲシミュレーション処理
動作を示すフローチャートである。

【００７３】仮想現実装置の体験者がコマンド入力装置
１０３であるマウスを用い、プログラム開始の指示を与
えると、ＶＲシミュレーション処理動作が開始する。

【００７４】まず、ステップＳ３０１でスクリーン（投
影面）の初期化を行う。即ち、制御装置１０１の命令に
よりデータ表示装置１０８は、図４に示すような表示を
行う。ここで、体験者はコマンド入力装置１０３である
マウスにより、データ表示装置１０８に表示されている
ものの中から希望のスクリーン形状を選択した後、図示
しないＯＫボタンを押すと、選択された形状のスクリー
ン形状のＩＤ（０〜３のどれか）が変数Ｗに代入され
る。但し、ここで０〜３のＩＤが示すスクリーン形状
は、それぞれ図５（ａ）、（ｂ）、（ｃ）、（ｄ）に示
すようなものとする。

【００７５】次に、ステップＳ３０２で位置方向検出装
置１１０の初期化を行う。即ち、仮想現実装置の体験者
は視線入力スカウタ１１１と位置方向検出装置１１０を
装着した体験者１を適当な位置で直立して真正面を見て
いる状態で静止させる。そして、この状態で体験者がコ
マンド入力装置１０３であるマウスにより指示を与える
と、位置方向検出装置１１０はこの状態の位置と方向と
を、原点（0.0,0.0,0.0）及び原回転角（0.0,0.0,0.0：
即ち、回転がない状態）として初期化する。次に、ステ
ップＳ３０３で制御装置１０１の命令により演算装置１
０５は、３次元仮想空間に設定する視点（カメラ）を、
例えば「位置：0.0,1.0,0.0、方向：0.0,0.0,-1.0「方
向ベクトル」、視角「横・縦」：0.8,0.6）で初期化す
る。

【００７６】次に、ステップＳ３０４でモデルデータの
ロードを行う。即ち、制御装置１０１は、予め作成され
たファイル装置１０４に格納されている４個のモデル
（モデル１〜モデル４）ファイルからデータをメモリ装
置１０６にロードする。なお、各モデルデータは、前述
した座標値と面ループデータとで記述されており（ま
た、ファイルの最後に仮想空間におけるモデルの初期位
置も追加されている）、以下のようなものであるとす
る。

【００７７】▽モデル１「座標値データ」 8 1:(-0.5,0.5,0.5)、2:(0.5,0.5,0.5)、3:(0.5,0.5,-0.
5)、4:(-0.5,0.5,-0.5)、5:(-0.5,-0.5,0.5)、6:(0.5,-0.
5,-0.5)、7:(0.5,-0.5,0.5)、8:(-0.5,-0.5,0.5) ※左端の“8”はモデル１の図形が、1( )〜8( )の８
個の３次元空間における座標によって定義されているこ
とを示しており、（）内が３次元（ｘ，ｙ，ｚ）座標
値である。「面ループデータ」 6 (41234)、(45876)、(41562)、(44378)、(41485)、(4267
3) (0.0 1.0 -2.0) → 初期値 ※左端の“6”はモデル１の図形が( )で示す６個の面
で構成されていることを示し、（）内の数字は上記の
３次元空間における座標の番号を示している。

【００７８】例えば、(41234)は、上記の座標 4:(-0.
5,0.5,-0.5)、1:(-0.5,0.5,0.5)、2:(0.5,0.5,0.5)、3:(0.
5,0.5,-0.5)、4:(-0.5,0.5,-0.5)を結んで形成される閉
曲面を意味している。

【００７９】ここで閉曲面には表、裏があるため、例え
ば座標 4,1,2,3,4を順次左回りに結んで閉曲面を形成
したとき、手前側を表面とする。 ▽モデル２「座標値データ」 8 1:(-0.5,0.5,0.5)、2:(0.5,0.5,0.5)、3:(0.5,0.5,0.
5)、4:(0.5,0.5,-0.5)、5:(-0.5,-0.5,0.5)、6:(0.5,-0.5,
-0.5)、7:(0.5,-0.5,0.5)、8:(-0.5,-0.5,0.5) 「面ループデータ」 6 (41234)、(45876)、(41562)、(44378)、(41485)、(4267
3)、 (0.0 1.0 -2.0) → 初期値 ▽モデル３「座標値データ」 8 1:(-0.5,0.5,0.5)、2:(0.5,0.5,0.5)、3:(0.5,0.5,-0.
5)、4:(-0.5,0.5,-0.5)、5:(-0.5,-0.5,0.5)、6:(0.5,-0.
5,-0.5)、7:(0.5,-0.5,0.5)、8:(-0.5,-0.5,0.5) 「面ループデータ」 6 (41234)、(45876)、(41562)、(44378)、(41485)、(4267
3)、 (0.0 1.0 -2.0) → 初期値 ▽モデル４ 4 (-5.0,0.0,0.0)、(5.0,0.0,0.0)、(5.0,0.0,-10.0)、(-
5.0,0.0,-10.0)、 1 (42341) (0.0 0.0 -5.0) → 初期値なお、本実施の形態では、説明の簡素化のためにモデル
の色や表面のテクスチャーは考慮にいれないものとす
る。

【００８０】次に、ステップＳ３０５で制御装置１０１
の命令によりコマンド入力装置１０３であるマウスは、
体験者からＶＲシミュレーション処理終了の指示がある
か否かを判断し、指示がある場合はＶＲシミュレーショ
ンを終了し、指示がない場合はステップＳ３０６へ進
む。

【００８１】このステップＳ３０６では、スクリーン
（投影面）形状の変更を行う。即ち、制御装置１０１の
命令によりコマンド入力装置１０３であるマウスは、体
験者からスクリーン（投影面）形状の切り換え指示の有
無を判断し、切り換え指示が有る場合は制御装置１０１
は、前記ステップＳ３０４と同様の方法を実行し、体験
者に新しいスクリーン形状を選択させる。

【００８２】次に、ステップＳ３０７で制御装置１０１
の命令により位置方向検出装置１１０は、体験者１の頭
部１００５の位置（ｘ、ｙ、ｚ）及び回転角（ピッチ：
Pitch、ヨー：Yaw、ロール：Roll）を検出し、その検出
データをメモリ装置１０６へ格納する。

【００８３】次に、ステップＳ３０８で制御装置１０１
の命令により視線入力スカウタ１１１内の視線検出部１
１１ａは、体験者１の視線位置データＳ（ｓ、ｔ）を検
出し、その検出データをメモリ装置１０６へ格納する。
なお、この視線位置データＳは、図４に示すように視線
入力スカウタ１１１内の映像表示部１１１ｂにおける視
野フレーム（横と縦の長さをそれぞれａ，ｂとする）の
左上頂点を基準とした位置を示すものとする。

【００８４】次にステップＳ３０９で体験者１の頭部の
方向に対する視線方向のずれ角度を計算する。即ち、制
御装置１０１の命令により演算装置１０５は、図６に示
す視線入力スカウタ１１１の視野フレームと、図７に示
す仮想空間における視点のニアクリッピング面を対応さ
せることで、縦横方向のずれ角度（α、β）を下記
（９）式及び（１０）式によりそれぞれ計算し、その算
出データをメモリ装置１０６に格納する。

【００８５】 α＝ａｒｃｔａｎ（ｌｘ／ｈ） … （９） β＝ａｒｃｔａｎ（ｌｙ／ｈ） … （１０）但し、ｌｘ、ｌｙは下記（１１）式及び（１２）式によ
りそれぞれ表わされ、また、ｈは視点から前記ニアクリ
ッピング面までの距離を示すものとする。

【００８６】ｌｘ＝（ｍ／ａ）・（ｓ−ａ／ｓ） … （１１）ｌｙ＝（ｎ／ｂ）・（ｔ−ｂ／ｔ） … （１２）次にステップＳ３１０で仮想空間内の視点（カメラ）の
移動処理を行う。なお、この処理の中で視点（カメラ）
方向の補正が実行される。

【００８７】即ち、制御装置１０１の命令により演算装
置１０５は、まず、メモリ装置１０６内に格納されてい
るデータである体験者１の頭部の回転角（ピッチ：Pitc
h、ヨー：Yaw、ロール：Roll）＝（β，α，γ）を用い
て、下記（１３）式により方向ベクトルｖ’＝（ｐ，
ｑ，ｒ）（ワールド座標）に変換する。

【００８８】ｖ’＝Ａｘ・Ａｙ・Ａｚ・ｖ … （１３）但し、ｖはｚ軸方向の単位ベクトル（0.0,-1）、また、
Ａｘ・Ａｙ・Ａｚは、それぞれｘ軸、ｙ軸、ｚ軸の周り
の回転を示す行列（３×３）で、１００ cosβ ０ sinβ cosγ -sinγ ００ cosα -sinα ０１０ sinγ cosγ ００ sinα cosα sinβ ０ cosβ ００１であるとする。

【００８９】次に、演算装置１０５は、仮想空間におい
て視点（カメラ）の位置を（ｘ、ｙ、ｚ）に、また、方
向を（ｐ’、ｑ’、ｒ’）にそれぞれ設定する。

【００９０】次にステップＳ３１１でスクリーン（投影
面）の回転処理を行う。即ち、制御装置１０１の命令に
より演算装置１０５は、まず、前記ステップＳ３１０で
の視点ベクトルを前記ステップＳ３０９でのずれ角度分
だけ回転させた新しいベクトルｖ“（スクリーン方向ベ
クトル）を計算する。次に、視点位置からこのスクリー
ン方向ベクトルの示す方向に変数Ｗで示されるスクリー
ン（現在選択されているスクリーン）を設定する。

【００９１】次にステップＳ３１２でスクリーンへの写
像処理を行う。即ち、制御装置１０１の命令により演算
装置１０５は、仮想空間に設定されているモデル１〜４
のデータをスクリーンに１点透視法により投影する。

【００９２】なお、図８〜図１１にモデルの各スクリー
ンへの投影の様子（視点を上方から見た様子）を示す
（但し、図８〜図１１ではモデル４のみ省略してあ
る）。

【００９３】次にステップＳ３１３で最終的な画像の計
算を行う。即ち、制御装置１０１の命令により演算装置
１０５は、スクリーンの有効範囲に投影された情景をビ
デオメモリ装置１０７（デバイス座標系）に写像する。
但し、ここでの写像は、スクリーン面の有効範囲におけ
る任意の距離がデバイス座標系において保存されるよう
なものであるとする（詳細は省略する）。また、スクリ
ーンの有効範囲とは、ビューイングボリュームによって
切り取られるスクリーン内の範囲を示すものとする（ス
クリーンはビューイングボリュームを切り取るのに十分
な大きさがあるものとする）。

【００９４】なお、図８（ｂ）、図９（ｂ）、図１０
（ｂ）、図１１（ｂ）に、それぞれ図８（ａ）、図９
（ａ）、図１０（ａ）、図１１（ａ）の場合のスクリー
ンから写像されたビデオメモリ装置１０７上の画像を示
す（但し、この図８〜図１１ではモデル４のみ省略して
ある）。

【００９５】次に、ステップＳ３１４で体験者１への映
像の表示を行う。即ち、制御装置１０１の命令によりビ
デオメモリ装置１０７内の画像を映像変換装置１０９を
介して、視線入力スカウタ１１１内の映像表示部１１１
ｂへ送信する。この結果、視線入力スカウタ１１１を装
着した体験者１は、選択されているスクリーンに応じて
図８（ｂ）、図９（ｂ）、図１０（ｂ）、図１１（ｂ）
に示すような情景を見ることになる。

【００９６】前記ステップＳ３１４の処理を終了後は、
前記ステップＳ３０５へ戻る。

【００９７】なお、本実施の形態においては、３Ｄセン
サー（位置方向検出装置）を用いた仮想現実装置につい
て説明したが、本発明はこれに限られるものではない。

【００９８】（第２の実施の形態）次に、本発明の第２
の実施の形態を図１２〜図１４に基づき説明する。な
お、本実施の形態に係る仮想現実装置のシステム構成
は、上述した第１の実施の形態における図１及び図２と
同一であるから、これに両図を流用して説明する。

【００９９】図１２は、本発明の第２の実施の形態に係
る仮想現実装置のＶＲシミュレーションの流れを示すフ
ローチャートである。なお、本実施の形態においては、
説明の簡素化のため、３次元仮想空間に設定するスクリ
ーン（投影面）は矩形平面であって、視点（カメラ）に
対して固定であるとするが、本発明はこれに限られるも
のではない。

【０１００】仮想現実装置の体験者がコマンド入力装置
１０３であるマウスを用い、プログラム開始の指示を与
えるとＶＲシミュレーションが開始する。

【０１０１】まず、ステップＳ１２０１で注目モデルの
強調方法の初期化を行う。即ち、制御装置１０１の命令
によりデータ表示装置１０８は、図１３に示すような表
示を行う。体験者はコマンド入力装置１０３であるマウ
スによりデータ表示装置１０８上の文字列から強調方法
を選択した後（強調方法は複数選択可能であるが、図１
３中の「１．色づけ（色変更）」と「２．テクスチャー
貼り付け（テクスチャー変更）」だけは同時に選択でき
ないものとする）、図示しないＯＫボタンを押すと、選
択された強調方法がメモリ装置１０６に格納される。な
お、本実施の形態においては、説明の簡素化のために各
強調方法の細かな内容の指定、例えば色変更におけるカ
ラー値、テクスチャー変更におけるテクスチャー画像や
マッピング手法、スケール変更における倍率や変倍の有
無、或いは運動指定の際の運動の内容（回転、振動等）
等は実行しないものとするが、本発明はこの限りではな
い。

【０１０２】次に、ステップＳ１２０２で位置方向検出
装置１１０の初期化を行う。即ち、仮想現実装置の体験
者は、視線入力スカウタ１１１と位置方向検出装置１１
０とを装着した体験者を適当な位置に直立して真正面を
見ている状態で静止させる。そして、この状態で体験者
がコマンド入力装置１０３であるマウスにより指示を与
えると、位置方向検出装置１１０はこの状態の位置と方
向とを、原点（0.0,0.0,0.0）及び原回転角（0.0,0.0,
0.0：即ち、回転がない状態）として初期化する。

【０１０３】次に、ステップＳ１２０３で制御装置１０
１の命令により演算装置１０５は、３次元仮想空間に設
定する視点（カメラ）を、例えば「位置：0.0,1.0,0.
0、方向：0.0,0.0,-1.0「方向ベクトル」、視角「横・
縦」：0.8,0.6）で初期化する。

【０１０４】次に、ステップＳ１２０４で制御装置１０
１は、予め作成されたファイル装置１０４に格納されて
いる４個のモデル（モデル１〜モデル４）ファイルから
データをメモリ装置１０６にロードする。なお、各モデ
ルデータは従来の技術で示した座標値と面ループデータ
とで記述されており（また、ファイルの最後に仮想空間
におけるモデルの初期位置も追加されている）、以下の
ようなものであるとする。

【０１０５】▽モデル１「座標値データ」 8 1:(-0.5,0.5,0.5)、2:(0.5,0.5,0.5)、3:(0.5,0.5,-0.
5)、4:(-0.5,0.5,0.5)、5:(-0.5,-0.5,0.5)、6:(0.5,-0.5,
-0.5)、7:(0.5,-0.5,0.5)、8:(-0.5,-0.5,0.5) 「面ループデータ」 6 (41234)、(45876)、(41562)、(44378)、(41485)、(4267
3)、 (0.0 1.0 -2.0) → 初期値 ▽モデル２ 8 1:(-0.5,0.5,0.5)、2:(0.5,0.5,-0.5)、3:(0.5,0.5,-0.
5)、4:(-0.5,0.5,0.5)、5:(-0.5,-0.5,0.5)、6:(0.5,-0.5,
-0.5)7:(0.5,-0.5,0.5)、8:(-0.5,-0.5,0.5) 6 (41234)、(45876)、(41562)、(44378)、(41485)、(42673) (0.0 1.0 -2.0) → 初期値 ▽モデル３「座標値データ」 8 1:(-0.5,0.5,0.5)、2:(0.5,0.5,0.5)、3:(0.5,0.5,-0.
5)、4:(-0.5,0.5,-0.5)、5:(-0.5,-0.5,0.5)、6:(0.5,-0.
5,-0.5)、7:(0.5,-0.5,0.5)、8:(-0.5,-0.5,0.5) 「面ループデータ」 6 (41234)、(45876)、(41562)、(44378)、(41485)、(42673) (0.0 1.0 -2.0) → 初期値 ▽モデル４ 4 (-5.0,0.0,0.0)、(5.0,0.0,0.0)、(5.0,0.0,-10.0)、(-
5.0,0.0,-10.0)、 1 (42341) (0.0 0.0 -5.0) → 初期値次に、ステップＳ１２０５で制御装置１０１の命令によ
りコマンド入力装置１０３であるマウスは、体験者から
ＶＲシミュレーション処理終了の指示があるか否かを判
断し、指示がある場合はＶＲシミュレーションを終了
し、指示がない場合はステップＳ１２０６へ進む。

【０１０６】このステップＳ１２０６では、注目モデル
の強調方法の変更を行う。即ち、制御装置１０１の命令
によりコマンド入力装置１０３であるマウスは、体験者
から強調方法の変更の指示があるか否かを判断する。そ
して、強調方法の変更の指示がある場合は、前記ステッ
プＳ１２０１に示した方法により強調方法を再度指定す
ることで変更を行い、強調方法の変更の指示がない場合
は、何も処理せずに次のステップＳ１２０７へ進む。

【０１０７】このステップＳ１２０７では、制御装置１
０１の命令により位置方向検出装置１１０は、体験者の
頭部の位置Ｐ（ｘ、ｙ、ｚ）及び回転角（ピッチ：Pitc
h、ヨー：Yaw、ロール：Roll）を検出し、その検出デー
タをメモリ装置１０６に格納する。

【０１０８】次に、ステップＳ１２０８で制御装置１０
１の命令により視線入力スカウタ１１１内の視線検出部
１１１ａは、体験者の視線位置データＳ（ｓ、ｔ）を検
出し、その検出データをメモリ装置１０６に格納する。
なお、この視線位置データは、図６に示すように視線入
力スカウタ１１１内の映像表示部１１１ｂにおける視野
フレーム（横と縦の長さをそれそれａ，ｂとする）の左
上頂点を基準とした位置を示すものとする。

【０１０９】次に、ステップＳ１２０９で仮想空間内の
視点（カメラ）の移動処理を行う。即ち、制御装置１０
１の命令により演算装置１０５は、まず、メモリ装置１
０６内に格納されているデータである体験者１の頭部の
回転角（ピッチ：Pitch、ヨー：Yaw、ロール：Roll）＝
（β，α，γ）を用いて、下記（１３）式により方向ベ
クトルｖ’＝（ｐ，ｑ，ｒ）（ワールド座標）に変換す
る。

【０１１０】ｖ’＝Ａｘ・Ａｙ・Ａｚ・ｖ … （１３）但し、ｖはｚ軸負方向の単位ベクトル（0.0,-1）、ま
た、Ａｘ・Ａｙ・Ａｚは、それぞれｘ軸、ｙ軸、ｚ軸の
周りの回転を示す行列（３×３）で、１００ cosβ ０ sinβ cosγ -sinγ ００ cosα -sinα ０１０ sinγ cosγ ００ sinα cosα sinβ ０ cosβ ００１であるとする。

【０１１１】次に、演算装置１０５は、仮想空間におい
て視点（カメラ）の位置を（ｘ、ｙ、ｚ）に、また、方
向をｖ‘（ｐ、ｑ、ｒ）にそれぞれ設定する。

【０１１２】次に、ステップＳ１２１０で体験者の視線
位置に対応する３次元仮想空間における注目モデルの判
断を行う。即ち、制御装置１０１の命令により演算装置
１０５は、３次元モデルからスリーンへの写像の逆変換
を考慮することにより、前記ステップＳ１２０８におい
て取得した体験者の視線位置Ｓ（ｓ、ｔ）に写像される
モデルがあるか否かを判断する。そして、写像されるモ
デルがある場合は、このモデルのＩＤ（１〜４）を、写
像されるモデルがない場合は、０を変数ｚ（注目モデル
のＩＤを示す変数）に代入する。なお、説明の簡素化の
ために３次元モデルからスリーンへの写像の逆変換は公
知であるから、その説明を省略する。

【０１１３】次に、ステップＳ１２１１でスリーンへの
写像処理を行う。即ち、制御装置１０１の命令により演
算装置１０５は、仮想空間に設定されているモデル１〜
モデル４のデータをスリーンに１点透視法により投影す
る。この際、ｚ＞０の場合は、現在選択されている強調
方法により変数ｚが示すモデルを強調した状態で且つそ
の他のモデルは無変化の状態でスクリーン（投影面）へ
の投影処理を実行する。また、ｚ＝０の場合は、全モデ
ルが無変化の状態でスクリーン（投影面）への投影処理
を実行する。

【０１１４】次に、ステップＳ１２１２で最終的な画像
の計算を行う。即ち、制御装置１０１の命令により演算
装置１０５は、スクリーンに投影された情景をビデオメ
モリ装置１０７（デバイス座標系）に写像する。

【０１１５】次に、ステップＳ１２１３で体験者への映
像の表示を行う。即ち、制御装置１０１の命令によりビ
デオメモリ装置１０７内の画像を映像変換装置１０９を
介して、視線入力スカウタ１１１内の映像表示部１１１
ｂへ送信する。この結果、視線入力スカウタ１１１を装
着した体験者１は、図１４（ｂ）に示すような情景を見
ることになる（図１４（ｂ）ではモデル３がスケール拡
大により強調されており、また、説明の簡素化のためモ
デル４は省略されている）。

【０１１６】前記ステップＳ１２１３を終了後は、前記
ステップＳ１２０５へ戻る。

【０１１７】（第３の実施の形態）次に、本発明の記憶
媒体について、図１５及び図１６に基づき説明する。

【０１１８】仮想現実状態を実現する仮想現実装置を制
御するプログラムを格納する記憶媒体には、少なくとも
図１５に示すように、「モデリングモジュール」、「視
線位置検出モジュール」、「視点設定モジュール」、
「スクリーン設定モジュール」、「スクリーン写像モジ
ュール」、「画像生成モジュール」、「映像変換モジュ
ール」、「映像表示モジュール」の各モジュールを有す
るプログラムを格納すればよい。

【０１１９】ここで、「モデリングモジュール」は物体
の３次元形状（モデル）データを構築するプログラムモ
ジュールである。また、「視線位置検出モジュール」は
前記体験者の視線位置を検出するプログラムモジュール
である。また、「視点設定モジュール」は３次元仮想空
間に視点（カメラ）を設定するプログラムモジュールで
ある。また、「スクリーン設定モジュール」は前記視線
位置検出モジュールにより検出された視線位置データに
基づいて仮想空間にスクリーン（投影面）を設定するプ
ログラムモジュールである。また、「スクリーン設定モ
ジュール」は前記視点設定モジュールにより設定された
視点から前記物体のモデルデータを空間的・幾何学的配
置を考慮して見たときの情景を前記スクリーン上に写像
するプログラムモジュールである。また、「画像生成モ
ジュール」は前記スクリーン写像モジュールにより写像
された前記スクリーン上の情景をデバイス座標系に写像
するプログラムモジュールである。また、「映像変換モ
ジュール」は前記画像生成モジュールにより生成した画
像を映像信号に変換するプログラムモジュールである。
また、「映像表示モジュール」は前記映像変換モジュー
ルにより変換後の映像を表示するプログラムモジュール
である。

【０１２０】また、前記視点設定モジュールは、前記位
置方向検出モジュールにより検出された位置データ及び
方向データに基づいて視点を設定する。また、前記映像
表示モジュールは、前記体験者の目の直前に置かれ且つ
前記体験者の頭部に対して固定の状態で設定された表示
器に映像を表示する。

【０１２１】また、仮想現実状態を実現する仮想現実装
置を制御するプログラムを格納する別の記憶媒体には、
少なくとも図１６に示すように、「モデリングモジュー
ル」、「視線位置検出モジュール」、「視点設定モジュ
ール」、「スクリーン設定モジュール」、「モデルデー
タ変更モジュール」、「スクリーン写像モジュール」、
「画像生成モジュール」、「映像変換モジュール」、
「映像表示モジュール」の各モジュールを有するプログ
ラムを格納すればよい。

【０１２２】ここで、「モデリングモジュール」は物体
の３次元形状（モデル）データを構築するプログラムモ
ジュールである。また、「視線位置検出モジュール」は
前記体験者の視線位置を検出するプログラムモジュール
である。また、「視点設定モジュール」は３次元仮想空
間に視点（カメラ）を設定するプログラムモジュールで
ある。また、「スクリーン設定モジュール」は前記視線
位置検出モジュールにより検出された視線位置データに
基づいて仮想空間にスクリーン（投影面）を設定するプ
ログラムモジュールである。また、「モデルデータ変更
モジュール」は、前記視線位置検出モジュールにより検
出された視線位置データに基づいてモデルデータを変更
するプログラムモジュールである。また、「スクリーン
設定モジュール」は前記視点設定モジュールにより設定
された視点から前記物体のモデルデータを空間的・幾何
学的配置を考慮して見たときの情景を前記スクリーン上
に写像するプログラムモジュールである。また、「画像
生成モジュール」は前記スクリーン写像モジュールによ
り写像された前記スクリーン上の情景をデバイス座標系
に写像するプログラムモジュールである。また、「映像
変換モジュール」は前記画像生成モジュールにより生成
した画像を映像信号に変換するプログラムモジュールで
ある。また、「映像表示モジュール」は前記映像変換モ
ジュールにより変換後の映像を表示するプログラムモジ
ュールである。

【０１２３】また、前記視点設定モジュールは、前記位
置方向検出モジュールにより検出された位置データ及び
方向データに基づいて視点を設定する。また、前記映像
表示モジュールは、前記体験者の目の直前に置かれ且つ
前記体験者の頭部に対して固定の状態で設定された表示
器に映像を表示する。

【０１２４】また、前記モデルデータ変更モジュールを
実行するモデルデータ変更手段は複数存在し、また、こ
れらモデルデータ変更手段は複数同時選択が可能であ
り、更に前記体験者の指示により選択内容を変更でき
る。

【０１２５】

【発明の効果】以上詳述したように本発明の仮想現実方
法及び装置によれば、視線検出手段から取得した体験者
（ユーザ）の視線位置データに基づいて仮想空間に設定
するスクリーンをダイナミックに移動することで、形成
画像に含まれる物体の空間的・幾何学的な見え方を現実
とは異なる面白みのあるものにできるため、アート的効
果やエンターテイメント性の高いＶＲシミュレーション
を実現することが可能となるという効果を奏する。

【０１２６】また、本発明の仮想現実方法及び装置によ
れば、体験者の視線位置に投影されているモデルの属性
（形状、大きさ、色、テクスチャー、動作等）をダイナ
ミックに変更することで、体験者の意思を即座に反映し
て体験者が注目しているモデルを強調することが可能に
なり、これにより、ＶＲシミュレーションのアート的表
現やエンターテイメント性（デモ効果）も向上させるこ
とが可能であるという効果を奏する。

【０１２７】また、本発明の仮想現実方法及び装置によ
れば、視線の被検出者は、その目の直前に固定されたデ
ィスプレイを見ることにより臨場感のある映像を観賞す
ることができるという効果を奏する。

【０１２８】また、本発明の仮想現実方法及び装置によ
れば、体験者の指示により仮想空間に設定するスクリー
ンの形状を自由に変化させ、仮想空間に設定した物体の
空間的・幾何学的な見え方を変化させることができると
いう効果を奏する。本発明の記憶媒体によれば、上述し
たような仮想現実装置を円滑に制御することができると
いう効果を奏する。

【０１２９】また、本発明の仮想現実方法及び装置によ
れば、体験者が注目しているモデルに与える強調方法を
切り換えることが可能であるという効果を奏する。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態に係る仮想現実装置
の概念を示す図である。

【図２】本発明の第１の実施の形態に係る仮想現実装置
のシステム構成を示すブロック図である。

【図３】本発明の第１の実施の形態に係る仮想現実装置
のＶＲシミュレーション処理動作を示すフローチャート
である。

【図４】本発明の第１の実施の形態に係る仮想現実装置
のスクリーン選択時の画面を示す図である。

【図５】本発明の第１の実施の形態に係る仮想現実装置
の４種類のスクリーンを説明するための図である。

【図６】本発明の第１の実施の形態に係る仮想現実装置
の視線入力スカウタ内の映像表示部における視野フレー
ムを示す図である。

【図７】本発明の第１の実施の形態に係る仮想現実装置
の視点とニアクリッピング面を説明する図である。

【図８】本発明の第１の実施の形態に係る仮想現実装置
のスクリーンへの投影の様子と形成画像を示す図であ
る。

【図９】本発明の第１の実施の形態に係る仮想現実装置
のスクリーンへの投影の様子と形成画像を示す図であ
る。

【図１０】本発明の第１の実施の形態に係る仮想現実装
置のスクリーンへの投影の様子と形成画像を示す図であ
る。

【図１１】本発明の第１の実施の形態に係る仮想現実装
置のスクリーンへの投影の様子と形成画像を示す図であ
る。

【図１２】本発明の第２の実施の形態に係る仮想現実装
置のＶＲシミュレーション処理動作を示すフローチャー
トである。

【図１３】本発明の第２の実施の形態に係る仮想現実装
置の注目モデル強調方法選択の際の画面を示す図であ
る。

【図１４】本発明の第２の実施の形態に係る仮想現実装
置のスクリーンへの投影の様子と形成画像を示す図であ
る。

【図１５】本発明の記憶媒体に格納されるプログラムの
各プログラムモジュールを示す図である。

【図１６】本発明の別の記憶媒体に格納されるプログラ
ムの各プログラムモジュールを示す図である。

【図１７】一般的なモデリング座標系における３次元物
体を示す図である。

【図１８】一般的なモデルデータの一例を示す図であ
る。

【図１９】一般的な投影変換のための４つの座標を示す
図である。

【図２０】一般的な投影変換を示す図である。

【図２１】一般的なスクリーンから投影された表示画像
の一例を示す図である。

【図２２】一般的な視線検出方法の原理を示す平面図で
ある。

【図２３】一般的な視線検出方法の原理を示す側面図で
ある。

【図２４】一般的な仮想現実装置のイメージセンサに投
影される眼球像の概略図である。

【図２５】一般的な仮想現実装置のイメージセンサの出
力強度図である。

【図２６】一般的な視線検出機能を持つパソコンシステ
ムの一例を示す概略構成図である。

【図２７】一般的な視線検出機能を持つパソコンシステ
ムのプリズムの構成図である。

【符号の説明】

１体験者２３Ｄセンサ２ａトランスミッタ２ｂレシーバ３視線入力スカウタ（ＨＭＤ）３ａモニタ３ｂ視線検出装置４スキャンコンバータ５コンピュータ６体験者が見る３次元仮想空間１０１制御装置１０２データ入力装置１０３コマンド入力装置１０４ファイル装置１０５演算装置１０６メモリ装置１０７ビデオメモリ装置１０８データ表示装置１０９映像変換装置１１０位置方向検出装置１１０ａトランスミッタ部１１０ｂレシーバ部１１１視線入力スカウタ１１１ａ視線検出部１１１ｂ映像表示部

Claims

【特許請求の範囲】

【請求項１】物体の３次元形状データを構築するモデ
リング工程と、仮想現実状態を体験する体験者の視線位
置を検出する視線位置検出工程と、３次元仮想空間に視
点を設定する視点設定工程と、前記視線位置検出工程に
より検出した視線位置データに基づいて仮想空間にスク
リーンを設定するスクリーン設定工程と、前記視点設定
工程により設定された視点から前記物体のモデルデータ
を空間的・幾何学的配置を考慮して見たときの情景を前
記スクリーン上に写像するスクリーン写像工程と、前記
スクリーン写像工程によりスクリーン上に写像された情
景をデバイス座標系に写像する画像生成工程と、前記画
像生成工程により生成した画像を映像信号に変換する映
像変換工程と、前記映像変換工程により変換後の映像を
表示する映像表示工程とを有することを特徴とする仮想
現実方法。
【請求項２】前記映像表示工程は、前記体験者の目の
直前に置かれ且つ前記体験者の頭部に対して固定の状態
で設定された表示器に映像を表示することを特徴とする
請求項１記載の仮想現実方法。
【請求項３】前記スクリーンが任意の形状であり、ま
た、前記体験者の指示により前記スクリーンの形状が切
り換えられることを特徴とする請求項１記載の仮想現実
方法。
【請求項４】物体の３次元形状データを構築するモデ
リング手段と、仮想現実状態を体験する体験者の視線位
置を検出する視線位置検出手段と、３次元仮想空間に視
点を設定する視点設定手段と、前記視線位置検出手段に
より検出した視線位置データに基づいて仮想空間にスク
リーンを設定するスクリーン設定手段と、前記視点設定
手段により設定された視点から前記物体のモデルデータ
を空間的・幾何学的配置を考慮して見たときの情景を前
記スクリーン上に写像するスクリーン写像手段と、前記
スクリーン写像手段によりスクリーン上に写像された情
景をデバイス座標系に写像する画像生成手段と、前記画
像生成手段により生成した画像を映像信号に変換する映
像変換手段と、前記映像変換手段により変換後の映像を
表示する映像表示手段とを有することを特徴とする仮想
現実装置。
【請求項５】前記映像表示手段は、前記体験者の目の
直前に置かれ且つ前記体験者の頭部に対して固定の状態
で設定された表示器に映像を表示することを特徴とする
請求項４記載の仮想現実装置。
【請求項６】前記スクリーンが任意の形状であり、ま
た、前記体験者の指示により前記スクリーンの形状を切
り換えるスクリーン形状切換手段を有することを特徴と
する請求項４記載の仮想現実装置。
【請求項７】物体の３次元形状データを構築するモデ
リング工程と、仮想現実状態を体験する体験者の視線位
置を検出する視線位置検出工程と、３次元仮想空間に視
点を設定する視点設定工程と、前記視線位置検出工程に
より検出した視線位置データに基づいて仮想空間にスク
リーンを設定するスクリーン設定工程と、前記視線位置
検出工程により検出した視線位置データに基づいてモデ
ルデータを変更するモデルデータ変更工程と、前記視点
設定工程により設定された視点から前記物体のモデルデ
ータを空間的・幾何学的配置を考慮して見たときの情景
を前記スクリーン上に写像するスクリーン写像工程と、
前記スクリーン写像工程によりスクリーン上に写像され
た情景をデバイス座標系に写像する画像生成工程と、前
記画像生成工程により生成した画像を映像信号に変換す
る映像変換工程と、前記映像変換工程により変換後の映
像を表示する映像表示工程とを有することを特徴とする
仮想現実方法。
【請求項８】前記映像表示工程は、前記体験者の目の
直前に置かれ且つ前記体験者の頭部に対して固定の状態
で設定された表示器に映像を表示することを特徴とする
請求項７記載の仮想現実方法。
【請求項９】前記スクリーンが任意の形状であり、ま
た、前記体験者の指示により前記スクリーンの形状が切
り換えられることを特徴とする請求項７記載の仮想現実
方法。
【請求項１０】前記モデルデータ変更工程を実行する
モデルデータ変更手段は複数存在し、また、これらモデ
ルデータ変更手段は複数同時選択が可能であり、更に前
記体験者の指示により選択内容を変更できることを特徴
とする請求項７記載の仮想現実方法。
【請求項１１】物体の３次元形状データを構築するモ
デリング手段と、仮想現実状態を体験する体験者の視線
位置を検出する視線位置検出手段と、３次元仮想空間に
視点を設定する視点設定手段と、前記視線位置検出手段
により検出した視線位置データに基づいて仮想空間にス
クリーンを設定するスクリーン設定手段と、前記視線位
置検出手段により検出した視線位置データに基づいてモ
デルデータを変更するモデルデータ変更手段と、前記視
点設定手段により設定された視点から前記物体のモデル
データを空間的・幾何学的配置を考慮して見たときの情
景を前記スクリーン上に写像するスクリーン写像手段
と、前記スクリーン写像手段によりスクリーン上に写像
された情景をデバイス座標系に写像する画像生成手段
と、前記画像生成手段により生成した画像を映像信号に
変換する映像変換手段と、前記映像変換手段により変換
後の映像を表示する映像表示手段とを有することを特徴
とする仮想現実装置。
【請求項１２】前記映像表示手段は、前記体験者の目
の直前に置かれ且つ前記体験者の頭部に対して固定の状
態で設定された表示器に映像を表示することを特徴とす
る請求項１１記載の仮想現実装置。
【請求項１３】前記スクリーンが任意の形状であり、
また、前記体験者の指示により前記スクリーンの形状を
切り換えるスクリーン形状切換手段を有することを特徴
とする請求項１１記載の仮想現実装置。
【請求項１４】前記モデルデータ変更手段は複数存在
し、また、これらモデルデータ変更手段を複数同時選択
する選択手段を有し、更に前記体験者の指示により選択
内容を変更できることを特徴とする請求項１１記載の仮
想現実装置。
【請求項１５】仮想現実状態を実現する仮想現実装置
を制御するプログラムを格納する記憶媒体であって、物
体の３次元形状データを構築するモデリングモジュール
と、仮想現実状態を体験する体験者の視線位置を検出す
る視線位置検出モジュールと、３次元仮想空間に視点を
設定する視点設定モジュールと、前記視線位置検出モジ
ュールにより検出した視線位置データに基づいて仮想空
間にスクリーンを設定するスクリーン設定モジュール
と、前記視点設定モジュールにより設定された視点から
前記物体のモデルデータを空間的・幾何学的配置を考慮
して見たときの情景を前記スクリーン上に写像するスク
リーン写像モジュールと、前記スクリーン写像モジュー
ルによりスクリーン上に写像された情景をデバイス座標
系に写像する画像生成モジュールと、前記画像生成モジ
ュールにより生成した画像を映像信号に変換する映像変
換モジュールと、前記映像変換モジュールにより変換後
の映像を表示する映像表示モジュールを有するプログラ
ムを格納したことを特徴とする記憶媒体。
【請求項１６】前記映像表示モジュールは、前記体験
者の目の直前に置かれ且つ前記体験者の頭部に対して固
定の状態で設定された表示器に映像を表示することを特
徴とする請求項１５記載の記憶媒体。
【請求項１７】仮想現実状態を実現する仮想現実装置
を制御するプログラムを格納する記憶媒体であって、物
体の３次元形状データを構築するモデリングモジュール
と、仮想現実状態を体験する体験者の視線位置を検出す
る視線位置検出モジュールと、３次元仮想空間に視点を
設定する視点設定モジュールと、前記視線位置検出モジ
ュールにより検出した視線位置データに基づいて仮想空
間にスクリーンを設定するスクリーン設定モジュール
と、前記視線位置検出モジュールにより検出した視線位
置データに基づいてモデルデータを変更するモデルデー
タ変更モジュールと、前記視点設定モジュールにより設
定された視点から前記物体のモデルデータを空間的・幾
何学的配置を考慮して見たときの情景を前記スクリーン
上に写像するスクリーン写像モジュールと、前記スクリ
ーン写像モジュールによりスクリーン上に写像された情
景をデバイス座標系に写像する画像生成モジュールと、
前記画像生成モジュールにより生成した画像を映像信号
に変換する映像変換モジュールと、前記映像変換モジュ
ールにより変換後の映像を表示する映像表示モジュール
とを有するプログラムを格納したことを特徴とする記憶
媒体。
【請求項１８】前記映像表示モジュールは、前記体験
者の目の直前に置かれ且つ前記体験者の頭部に対して固
定の状態で設定された表示器に映像を表示することを特
徴とする請求項１７記載の記憶媒体。
【請求項１９】前記モデルデータ変更モジュールを実
行するモデルデータ変更手段は複数存在し、また、これ
らモデルデータ変更手段は複数同時選択が可能であり、
更に前記体験者の指示により選択内容を変更できること
を特徴とする請求項１７記載の記憶媒体。