JP4708590B2 - 複合現実感システム、ヘッドマウントディスプレイ装置、複合現実感実現方法及びプログラム - Google Patents
複合現実感システム、ヘッドマウントディスプレイ装置、複合現実感実現方法及びプログラム Download PDFInfo
- Publication number
- JP4708590B2 JP4708590B2 JP2001071117A JP2001071117A JP4708590B2 JP 4708590 B2 JP4708590 B2 JP 4708590B2 JP 2001071117 A JP2001071117 A JP 2001071117A JP 2001071117 A JP2001071117 A JP 2001071117A JP 4708590 B2 JP4708590 B2 JP 4708590B2
- Authority
- JP
- Japan
- Prior art keywords
- transmitter
- receiver
- mixed reality
- head
- mounted display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Processing Or Creating Images (AREA)
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ビデオカメラ等から取り込まれた現実空間映像とＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）等による仮想空間映像を合成して複合現実空間映像を生成・表示する複合現実感システム、ヘッドマウントディスプレイ装置、複合現実感実現方法及びプログラムに関する。
【０００２】
【従来の技術】
複合現実感システムでは、現実空間と仮想空間を融合するために何らかの手段によって現実空間物体の三次元座標と方向を取得する必要がある。これら情報を取得する方法としては、米国Polhemus社製FASTRAK（製品名）に代表されるような位置方向測定装置を使う方法、カメラパラメータが既知である現実空間映像を画像処理することで得られる情報とジャイロとを組み合わせる方法、特別な多眼カメラを使うことによって現実空間物体の位置方向を測定する方法などが実現されている。
【０００３】
【発明が解決しようとする課題】
しかし、これらの方法で使用される装置は高価であるばかりでなく、ある程度の測定誤差を伴っている。そして、その測定誤差を低減するためには対費用効果以上の高価な測定装置が必要となり、複合現実感システムのコスト低減化を妨げる１つの要因になっている。
【０００４】
図２２は、米国Polhemus社製FASTRAKに代表されるような位置方向測定装置の従来の利用例を示す図である。
【０００５】
図２２において、３００ａ，３００ｂは観察者、３０１は観察者が複合現実空間を観察するためのＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）、３０２はＨＭＤ３０１に取付けられた位置方向測定用の受信機、３０４は壁で隠されるように配置された位置方向測定用の発信機である。観察者３００ａ，３００ｂ同士は、セット３１０内で向かい合って立ち、各々、移動可能領域３１１内で自由に視点位置及び視線方向を決定することが可能である。
【０００６】
３１２は複合現実空間映像観察可能領域であり、観察者がこの複合現実空間映像観察可能領域３１２を見ているときは、仮想空間映像であるＣＧと現実空間映像が融合された複合現実空間映像をＨＭＤ３０１により観察することができるが、観察者が複合現実空間映像観察可能領域３１２を見ていないときは、ＨＭＤ３０１には現実空間の映像しか表示されない。従って、観察者が複合現実空間映像観察可能領域３１２を見ているときに、視点位置及び視線方向の測定誤差を少なくすることが重要である。
【０００７】
しかし、図２２に示したように、観察者の視点位置及び視線方向を測定するための受信機３０２がＨＭＤ３０１の左側に固定されていると、受信機３０２と発信機３０４の距離が長くなり、測定誤差が増大する場合がある。
【０００８】
本発明は、このような従来技術の問題に鑑みてなされたもので、その課題は、現実空間映像と仮想空間映像との間の位置ずれを安価な構成で低減できるようにすることにある。
【０００９】
【課題を解決するための手段】
上記課題を解決するため、本発明の複合現実感システムは、ヘッドマウントディスプレイ装置を装着した観察者の視点位置および方向を測定するための着脱可能な受信機を、少なくとも前記観察者の視線方向の左右両側に取り付け可能な複数の取り付け部を備える当該ヘッドマウントディスプレイ装置と、前記ヘッドマウントディスプレイ装置に備わるカメラで現実空間を撮像した現実空間画像を入力する画像入力手段と、前記ヘッドマウントディスプレイ装置に取り付けられた受信機と、現実空間に配置され当該受信機との通信を行う発信機とを用いて、前記ヘッドマウントディスプレイ装置を装着した観察者の視点位置および方向を測定した結果を取得する測定結果取得手段と、前記測定した結果に基づいて、前記現実空間に対応する仮想空間に存在する仮想物体の仮想空間画像を生成する画像生成手段と、前記現実空間画像と前記仮想空間画像とを合成した複合現実空間画像を生成する画像合成手段と、前記ヘッドマウントディスプレイ装置に備わるディスプレイへ前記複合現実空間画像を出力する画像出力手段とを有し、当該発信機と通信する受信機が前記取り付け部の何れか１箇所に取り付けられることを特徴とする。
上記課題を解決するため、本発明の複合現実感実現方法は、ヘッドマウントディスプレイ装置を装着した観察者の視点位置および方向を測定するための着脱可能な受信機を、少なくとも前記観察者の視線方向の左右両側に取り付け可能な複数の取り付け部を備えるヘッドマウントディスプレイ装置を有する複合現実感システムが行う複合現実感実現方法であって、前記複合現実感システムが有する画像入力手段が、前記ヘッドマウントディスプレイ装置に備わるカメラで現実空間を撮像した現実空間画像を入力する画像入力工程と、前記複合現実感システムが有する測定結果取得手段が、前記ヘッドマウントディスプレイ装置に取り付けられた受信機と、現実空間に配置され当該受信機との通信を行う発信機とを用いて、前記ヘッドマウントディスプレイ装置を装着した観察者の視点位置および方向を測定した結果を取得する測定結果取得工程と、前記複合現実感システムが有する画像生成手段が、前記測定した結果に基づいて、前記現実空間に対応する仮想空間に存在する仮想物体の仮想空間画像を生成する画像生成工程と、前記複合現実感システムが有する画像合成手段が、前記現実空間画像と前記仮想空間画像とを合成した複合現実空間画像を生成する画像合成工程と、前記複合現実感システムが有する画像出力手段が、前記ヘッドマウントディスプレイ装置に備わるディスプレイへ前記複合現実空間画像を出力する画像出力工程とを有し、前記発信機の配置位置に基づいて、当該発信機と通信する受信機が前記取り付け部のうち何れか１箇所に取り付けられることを特徴とする。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
【００１７】
［第１の実施形態］
図１は、本発明の第１の実施形態を適用した複合現実感システムの概略構成を示すシステム構成図である。
【００１８】
観察者１００は、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）１１０を頭部に、グローブ１２０を手に装着している。
【００１９】
ＨＭＤ１１０は、図２に示したように、ビデオカメラ１１１、ＬＣＤ１１２、位置方向測定装置受信機（目用位置センサ）１１３、光学プリズム１１４，１１５で構成されている。ビデオカメラ１１１は、光学プリズム１１５によって導かれた観察者の視点位置および視線方向の現実空間映像を撮影する。目用位置センサ１１３は、観察者の視点位置および視線方向を測定するために利用される。ＬＣＤ１１３は、複合現実空間映像を表示し、その映像は光学プリズム１１４によって観察者の瞳に導かれる。
【００２０】
グローブ１２０には、手用位置センサ１２１、スピーカ１２２（図示省略）が内蔵されている。手用位置センサ１２１は、観察者の手の位置および方向を測定するためのセンサとして利用される。スピーカ１２２からは手の位置において発生したイベントに応じた音が発生される。この音としては、例えば、手で仮想空間物体に触ったり叩いたりした時の音や、手の位置に同期して表示される仮想空間物体の状態が変わったときに発生する音などが考えられる。
【００２１】
１３０は位置方向測定装置発信機（位置センサ発信機）、１３１は位置方向測定装置本体（位置センサ本体）である。目用位置センサ１１３、手用位置センサ１２１、及び位置センサ発信機１３０は、位置センサ本体１３１に接続されている。位置センサ発信機１３０からは磁気が発信されており、この磁気は、目用位置センサ１１３、手用位置センサ１２１で受信される。位置センサ本体１３１は、目用位置センサ１１３、手用位置センサ１２１からの受信強度信号に基づいて、夫々目、手の位置および方向を算出する。ここで、位置方向測定装置としては、米国Polhemus社製FASTRAKなどが利用可能である。
【００２２】
１４０は観察者１人分の複合現実空間映像を生成して、ＨＭＤ１１０に表示する処理装置である。この処理装置１４０は、例えば、パーソナルコンピュータとビデオキャプチャーカード、ＣＧ描画機能を有するビデオカード、サウンドカード等で構成される。処理装置１４０には、ＨＭＤ１１０、スピーカ１２２、位置センサ本体１３１が接続されている。
【００２３】
次に、処理装置１４０において複合現実空間映像を生成する手順を、図３のフローチャートに基づいて説明する。
【００２４】
処理装置１４０は、まず、位置センサ本体１３１から送信されてきた視点位置および視線方向、手の位置および方向を取り込む（ステップＳ３０１）。なお、ステップＳ３０１では、位置センサ本体１３１から送信されてきた視点位置および視線方向、手の位置および方向を定期的に取り込むスレッドＳ３１１を利用する。
【００２５】
次に、仮想空間の時間を更新し、仮想空間の状態（仮想空間物体の種類、位置、状態）を更新する（ステップＳ３０２）。このとき、現実空間物体の位置方向に同期して位置方向が変化する仮想空間物体がある場合は、それらも合わせて状態を更新する。例えば、手の上に常に仮想空間物体のグローブが装着されているように見せる場合は、このステップＳ３０２でグローブの位置方向が更新される。
【００２６】
次に、現実空間物体の位置方向（手の位置、視点位置）と仮想空間物体の位置方向の関係を調べ、予め定義されているイベントが発生したと判断される場合には、そのイベントに応じて仮想空間の状態を更新する（ステップＳ３０３）。例えば、手で仮想空間物体に触れた場合に仮想空間物体を爆発させること等が考えられる。
【００２７】
次に、ビデオカメラ１１１から得られた観察者の視点位置および視線方向での現実空間映像を取り込む（ステップＳ３０４）。このステップＳ３０４では、ビデオカメラ１１１から得られた現実空間映像をビデオキャプチャーカードから定期的に取得するスレッドＳ３１４を利用する。
【００２８】
そして、ステップＳ３０１で取得した観察者の視点位置および視線方向からの仮想空間映像を、ステップＳ３０２，Ｓ３０３で更新された仮想空間の状態に応じて生成する（ステップＳ３０５）。
【００２９】
最後に、ステップＳ３０５で生成された仮想空間映像と、ステップＳ３０４で取り込まれた現実空間映像を合成し、ＨＭＤ１１０のＬＣＤ１１２に出力する（ステップＳ３０６）。
以上の処理を、何らかの終了操作が行われるまで（ステップＳ３０７）、繰り返し実行する。
【００３０】
次に、各観察者が観察する複合現実空間映像中の仮想空間物体と現実空間物体との位置および方向のずれを低減させる、本実施形態に特有な方法について説明する。
【００３１】
位置方向測定装置が位置および方向を正しく測定可能であれば、仮想空間物体と現実空間物体との位置および方向のずれは発生しない。すなわち、図４（ａ）に示した現実空間映像、及び図４（ｂ）に示した仮想空間映像があった場合、理想的には、図5のような複合現実感映像が生成される。しかし、実際には、位置方向測定装置は磁気や超音波を利用しているため、外乱に極端に弱く、さらに測定可能範囲も狭い。現実の位置方向測定装置では、位置センサ発信機から80cm程度の範囲でしか有効な精度で測定できない。さらに、強磁性体が存在しない空間で測定を行ったとしても、位置センサ発信機と位置センサ（受信機）の距離に対して単調増加的に位置および方向の測定誤差が拡大することが知られている。これを改善するためには、可能な限り位置センサ発信機と受信機の距離を短くすることが重要となる。
【００３２】
位置方向測定装置の測定誤差は、特に視点位置および視線方向に関してはより深刻な問題となる。すなわち、手の位置方向について測定誤差が大きくなった場合は、図７に示したように、手と同期して動く仮想空間物体と手との位置ずれが発生するだけであるが、視点位置および視線方向について測定誤差が大きくなった場合は、図６に示したように、手の位置ずれだけでなく全ての仮想空間物体について位置ずれが発生してしまうからである。
【００３３】
そこで、第１の実施形態では、目用位置センサ１１３の測定精度を向上させることに主眼をおき、現実空間物体と仮想空間物体との間の位置ずれを低減するため、図８に示したように、各位置センサを高頻度で利用する位置および方向において、目用位置センサ１１３と位置センサ発信機１３０との距離を、同じ位置センサ本体１３１に接続されている他の位置センサより短くするように位置センサ発信機１３０を配置し、視点位置および視線方向の測定精度を他の位置センサに係る位置及び方向の測定精度より向上させて、仮想空間物体全体の位置ずれを目立たなくさせている。
【００３４】
位置センサ発信機１３０の具体的な位置は、複合現実感システムがどのような複合現実映像を、観察者から見てどの位置および方向に表示させるかによって柔軟に変更されるべきものであり、特定することはできない。
【００３５】
しかし、複数の観察者が存在し観察者同士がお互いを観察可能な状況を設定すると複合現実感をいっそう高める効果があるので、観察者が高頻度で観察する方向は、水平方向となるのが通常である。このような状況においては、図８に示したように、観察者の頭上に位置センサ発信機１３０を設置することで、本実施形態による利点を享受しつつ、さらに本来複合現実空間内に現実空間物体として複合させるべきでない発信機の映像が複合されてしまうことを回避でき、また、観察者が自由に前後左右に移動することも可能であるばかりでなく、移動した場合の測定誤差が全ての方向に対して等価になるため、管理も容易となる。以上、総合的に高品質で余計な現実物体の無い複合現実空間映像を、移動の自由を確保しつつ観察可能することが可能となる。
【００３６】
［第２の実施形態］
第２の実施形態は、図９に示したように、高頻度で手を観察する視点位置および視線方向、手の位置および方向において、手用位置センサ１２１についても、目用位置センサ１１３と同様に位置センサ発信機１３０との距離を短くするように考慮して、位置センサ発信機１３０を配置した例である。
【００３７】
第２の実施形態では、観察者が高頻度で手を観察するような状況において、目用位置センサ１１３と位置センサ発信機１３０の距離と、手用位置センサ１２１と位置センサ発信機１３０の距離が同程度に短くなるように、位置センサ発信機１３０を配置しているので、目用位置センサ１１３、手用位置センサ１２１の測定誤差を双方とも低減することができ、第１の実施形態と比較して、手と同期して動く仮想空間物体を手の上に少ない誤差で定位して観察できるようになる。
【００３８】
もちろん、手をどのような姿勢で高頻度に観察するかは、複合現実感システムがどのような内容の複合現実空間映像を観察者に提示するかに依存しているため、提示する複合現実空間映像の内容に合わせて、手を高頻度で観察する時の手用位置センサ１２１と目用位置センサ１１３の位置と位置センサ発信機１３０の距離が同程度になるように調整する必要がある。
【００３９】
なお、本実施形態では、仮想空間物体の位置を手と同期して変更する場合を示したが、これに限るものでなく、足や他の身体部位と同期して仮想空間物体の位置を変更する場合にも適用可能である。
【００４０】
［第３の実施形態］
図１１は、第３の実施形態を適用した複合現実感システムの概略構成を示すシステム構成図である。本システムは、２人の観察者が同時に同じ複合現実空間を観察する場合を想定したシステムであり、図１に示したシステムが２組設けられている。ただし、位置センサ発信機１３０と位置センサ本体１３１は、２人の観察者で共用することで、複合現実空間システムとしての全体のコスト低減化を図っている。また、位置センサ本体１３１は、一方の処理装置１４０にのみ接続され、他方の処理装置１４０には接続されていないので、各観察者用の処理装置１４０をネットワーク１５０で接続し、位置センサ本体１３１が接続されていない処理装置１４０でも複合現実空間映像を生成できるようにしている。
【００４１】
そして、第３の実施形態では、図１０に示したように、各観察者が高頻度で手を観察する位置において、各観察者の目用位置センサ１１３と位置センサ発信機１３０の距離（ａ又はａ’）と、手用位置センサ１２１と位置センサ発信機１３０の距離（ｂ又はｂ’）がほぼ等しくなるように位置センサ発信機１３０を配置している。また、上記の各距離（ａ、ａ’、ｂ、ｂ’）が極力短くなるように、位置センサ発信機１３０が配置されている。
【００４２】
このような構成により、各観察者は、手と同期して動く仮想空間物体を手の上に少ない誤差で定位して観察することが可能となる。
【００４３】
なお、或る観察者の目用位置センサ１１３と位置センサ発信機１３０の距離（ａ）と、
他の観察者の目用位置センサ１１３と位置センサ発信機１３０の距離（ａ’）とがほぼ等しくなり、かつ、或る観察者の手用位置センサ１２１と位置センサ発信機１３０の距離（ｂ）と、他の観察者の手用位置センサ１２１と位置センサ発信機１３０の距離（ｂ’）がほぼ等しくなるように位置センサ発信機１３０を配置することにより、全ての観察者において位置ずれが等価になるようにすることも可能である。
【００４４】
各処理装置１４０の処理手順は第１の実施形態とほぼ同様であるが、位置センサ本体１３１が接続されている処理装置１４０は、図３のスレッドＳ３１１では、位置方向取得スレッドにより位置センサ本体１３１を制御し、測定値を取得する。そして、ネットワーク１５０にアクセスを行い、他の処理装置に各位置センサの測定値を配信する。
【００４５】
位置センサ本体１３１が接続されていない処理装置１４０は、図３のスレッドＳ３１１では、位置方向取得スレッドはネットワークアクセスを行い、位置センサ本体１３１が接続されている処理装置１４０から送られてくる各位置センサの測定値を取得する。
【００４６】
［第４の実施形態］
第４の実施形態は、第１の実施形態を拡張して、位置センサ１つに対し位置センサ発信機と位置センサ本体を１つずつ設置している。この場合、位置センサ発信機と位置センサ本体は、各々２つになり、その分コスト高となるが、高精度で視点位置および視線方向、手の位置および方向を測定することが可能となる。
【００４７】
図１２は、第４の実施形態を適用した複合現実感システムの概略構成を示すシステム構成図である。本システムは、図１に示した第１の実施形態の構成に対して、手用の位置センサ発信機１６０と位置センサ本体１６１が追加されている。そして、手用の位置センサ本体１６１は処理装置１４０に接続され、手用の位置センサ発信機１６０は、手用位置センサ本体１６１に接続され、手用位置センサ１２１は、手用の位置センサ発信機１６０からの磁気を受信するように構成されている。また、本実施形態では、位置センサ発信機１３０と位置センサ本体１３１とは、目用の専用機として機能する。
【００４８】
そして、観察者が高頻度で手を観察する場合の手の位置および方向において、手用位置センサ発信機１６０は、手用位置センサ１２１と手用位置センサ発信機１６０の距離が短くするように配置され、目用位置センサ発信機１３０は、目用位置センサ１１３と目用位置センサ発信機１３０との距離が短くなるように配置されている。
【００４９】
処理装置１４０の処理手順は、第１の実施形態とほぼ同様であるが、図３のスレッドＳ３１１では、位置方向取得スレッドが複数の位置センサ本体１３１，１６１を制御し、それぞれから測定値を取得する。
【００５０】
このように、各位置センサ毎に専用の位置センサ発信機、位置センサ本体を設置することで、第２の実施形態と比べて、高頻度で手を観察する視点位置および視線方向、手の位置および方向において、一層、現実空間映像と仮想空間映像との間の位置ずれを低減させることが可能となり、観察者がより高品質な複合現実空間映像を観察することが可能となる。
【００５１】
第４の実施形態は、海水などの半透明の仮想空間物体または手（現実空間物体）とほぼ同じ大きさの仮想空間物体を、常時観察者の手に定位しているような表現を行いたい場合において、観察者に位置ずれを感じさせないようにするために、特に効果的である。
【００５２】
すなわち、仮想空間物体が半透明でない場合は、仮想空間物体の大きさを手の大きさより大きくしておけば、仮想空間物体で手が完全に隠れてしまうため、多少の位置ずれが発生してもその複合現実空間映像は観察者にとって不自然に見えないが、手と同じ大きさの半透明の仮想空間物体の場合は、位置ずれが僅かでも発生すると、仮想空間物体で手を覆い隠すことが出来なくなり、手と仮想空間物体の位置ずれが観察者に見えてしまい、また、半透明の仮想空間物体の場合は、その仮想空間物体の大きさの如何に拘らず、常に、現実空間物体との位置ずれが見得てしまうからである。
【００５３】
本実施形態では、これらの状況においても、仮想空間物体と現実空間物体との位置ずれを観察者に認識させないようにすることが可能となる。
【００５４】
なお、図１３に示したように、目用位置センサ本体１３０の配置については、第１の実施形態と同様に、頭上に配置することによって、複合現実映像の品質を高めることが可能である。また、可能であれば、観察者が高頻度で利用する手の位置および方向において、手の位置よりも下方に手用位置センサ発信機１６０を設置することで、観察者の水平方向の視界を手用位置センサ発信機１６０が遮ることがなくなり、より高品質の複合現実映像を提示することが可能となる。
【００５５】
［第５の実施形態］
図１４は、第５の実施形態を適用した複合現実感システムのシステム構成図である。本システムは、第４の実施形態と同様に、目用の位置センサ１１３、手用の位置センサ１２１毎に、各々、位置センサ発信機１３０，１６０、及び位置センサ本体１３１，１６１を設けて、高精度で視点位置および視線方向、手の位置および方向を測定できるようにすると共に、位置センサ発信機１３０，１６０、及び位置センサ本体１３１，１６１を２人の観察者で共用できるようにして、コスト低減を図ったものである。
【００５６】
２つの位置センサ本体１３１，１６１は、一方の処理装置１４０にのみ接続され、他方の処理装置１４０には接続されていないので、各観察者用の処理装置１４０をネットワーク１５０で接続し、位置センサ本体１３１，１６１が接続されていない処理装置１４０でも複合現実空間映像を生成できるようにしている。
【００５７】
本実施形態では、図１５に示したように、各観察者が高頻度で観察を行う位置において、各観察者の目用位置センサ１１３と目用位置センサ発信機１３０との距離、及び手用位置センサ１２１と手用位置センサ発信機１６０との距離が可能な限り短くなり、かつ、各観察者の目用位置センサ１１３と目用位置センサ発信機１３０との距離がほぼ等しくなり、さらに、各観察者の手用位置センサ１２１と手用位置センサ発信機１６０との距離もほぼ等しくなるように、目用位置センサ１３０、手用位置センサ１６０を配置している。
【００５８】
このような構成により、全ての観察者が仮想物体と現実物体との間の位置ずれをより一層低減させた高品質な複合現実映像を観察でき、また、全ての観察者において位置ずれが等価になる。
【００５９】
処理装置１４０の処理手順は、第１の実施形態と同様であるが、位置センサ本体１３１，１６１が接続されている処理装置１４０では、図３のスレッドＳ３１１では、位置方向取得スレッドにより位置センサ本体１３１，１６１を制御し、測定値を取得する。そして、ネットワーク１５０にアクセスを行い、他の処理装置に各位置センサの測定値を配信する。
【００６０】
位置センサ本体１３１，１６１が接続されていない処理装置１４０は、図３のスレッドＳ３１１では、位置方向取得スレッドはネットワークアクセスを行い、位置センサ本体１３１，１６１が接続されている処理装置１４０から送られてくる各位置センサの測定値を取得する。
【００６１】
なお、第４の実施形態と同様に、目用位置センサ発信機１３０を頭上に設置し、手用位置センサ発信機１６０を高頻度で手を観察する手の位置より下に設置すれば、観察者の水平方向の視界が各位置センサ発信機１３０，１６０で遮られることがなくなり、高頻度で複合現実空間を観察する向きにおいて、高品質な複合現実空間映像を観察することが可能となる。
【００６２】
［第６の実施形態］
図１６は、第６の実施形態を適用した複合現実感システムの概略構成を示すシステム構成図である。図１６において、３００ａ，３００ｂは、本システムで生成される複合現実空間映像を観察する観察者である。各観察者３００ａ，３００ｂは、受信機３０２が取付けられたＨＭＤ３０１を頭部に装着しており、このＨＭＤ３０１により、位置方向測定値に対応する複合現実空間の映像を観察することができる。
【００６３】
３０６は位置方向測定装置本体である。この位置方向測定装置本体３０６には、発信機３０４と受信機３０２が接続されている。発信機３０４から発せられる磁気を受信機３０２で受信し、位置方向測定装置本体３０６は、その強度から観察者の視点位置及び視線方向を測定する。
【００６４】
処理装置３０７には、位置方向測定装置本体３０６が接続され、観察者の視点位置及び視線方向が位置方向測定装置本体３０６から処理装置３０７に常時通知されている。処理装置３０７は、この情報に基づいて、各観察者の視点位置および視線方向に応じた複合現実空間映像を生成し、ＨＭＤ３０１に表示する。
【００６５】
各観察者用の処理装置３０７は、ネットワーク３３０を介して接続されている。各処理装置３０７は、ネットワーク３３０を利用して、各観察者の視点位置および視線方向、仮想空間物体の位置及び方向を共有している。これにより、自分以外の観察者の位置に仮想空間物対を表示すること等も可能となる。
【００６６】
図１７，１８は、第６の実施形態を適用したＨＭＤ３０１の外観図であり、図１７は撮影部の方向から見た外観図、図１８は表示部の方向から見た外観図である。
【００６７】
２０１はＨＭＤ表示部である。このHMD表示部２０１としては、右目用表示２０１Ｒと左目用表示部２０１Ｌの２つが有り、共にカラー液晶とプリズムを有し、観察者の視点位置および視線方向に対応する複合現実空間映像が表示される。
【００６８】
２０４〜２０８は、頭部装着用の構成部材である。ＨＭＤ３０１を頭部に装着するには、まず、アジャスタ２０５で長さ調整部２０６を緩めた状態で頭にかぶる。そして、額装着部２０８を額に密着させてから側頭装着部２０４と後頭装着部２０７を各々側頭部、後頭部に密着させるように、アジャスタ２０５で長さ調整部２０６を絞めればよい。
【００６９】
２０３は観察者の視点位置および視線方向の現実空間映像を撮影するためのHMD撮影部であり、このＨＭＤ撮影部２０３としては、右目用撮影部２０３Ｒと左目撮影用２０３Ｌの２つがあり、共にＮＴＳＣ方式の小型ビデオカメラにより構成されている。撮影された現実空間映像は、仮想空間映像と重畳されて複合現実空間映像となる。
【００７０】
受信機３０２は、観察者の視点位置および視線方向を測定するための情報として発信機３０４から発せられた磁気を受信するために利用される。この受信機３０２のＨＭＤ３０１への取付部としては、受信機接合部２００Ｒ，２００Ｌ，２００Ｃの３つが形成されており、これら受信機接合部２００Ｒ，２００Ｌ，２００Ｃの任意の接合部に受信機３０２を着脱自在に取付けることが可能となっている。すなわち、図１７，１８では、受信機３０２は、観察者の視線の進行方向の右側の受信機接合部２００Ｒに取付けられているが、観察者の視線の進行方向の左側の受信機接合部２００Ｌ、或いは観察者の正中線上の受信機接合部２００Ｃに取付けることも可能である。
【００７１】
受信機接合部２００Ｒ，２００Ｌ，２００Ｃは、本実施形態では、受信機３０２を嵌めこんで固定するための差込口を有する構成となつているが、他の着脱自在な接合（取付）方式を採用してもよい。
【００７２】
２１０は受信機信号線であり、受信機接合部２００Ｃの近傍からＨＭＤ３０１の外部に露出している。この受信機信号線２１０は、受信機接合部２００Ｒ，２００Ｌ，２００Ｃの何れにも受信機３０２を取付けられるように、十分な長さが確保されている。
【００７３】
２０９はＨＭＤ表示部２０１、ＨＭＤ撮影部２０３等への信号線や電源供給線、上記受信機信号線２１０等の各種の線を纏めた結束線材であり、後頭装着部２０７に取り付けられている。そして、結束線材２０９中の左右のＨＭＤ表示部２０１Ｒ，２０１Ｌ、ＨＭＤ撮影部２０３Ｒ，２０３Ｌ等への信号線や電源供給線は、各々、左右の側頭装着部２０４を通っている。
【００７４】
図１９は、図１６のシステムにおける観察者１人分のハードウェア構成を示すブロック図である。処理装置（コンピュータ）３０７には、右目用ビデオキャプチャーボード３５０、左目用ビデオキャプチャーボード３５１、右目用グラフィックボード３５２、左目用グラフィックボード３５３、Ｉ／Ｏインターフェース３５４、ネットワークインターフェース３５９が搭載されており、これら構成要素は、ＣＰＵ３５６、ＨＤＤ３５５、メモリ３５７と接続されている。
【００７５】
左右の目用のビデオキャプチャーボード３５１，３５０は、夫々、左右の目用のビデオカメラ２０３Ｌ，２０３Ｒに接続され、これらビデオカメラ２０３Ｌ，２０３Ｒにて撮影された実写映像を本処理装置３０７で仮想空間映像と構成可能な形式に変換する。また、左右の目用のグラフィックボード３５３，３５２は、夫々、左右の目用の表示部（装置）２０１Ｌ，２０１Ｒに接続され、これら左右の目用の表示部２０１Ｌ，２０１Ｒに対する表示制御を行う。
【００７６】
また、Ｉ／Ｏインターフェース３５４は、位置方向測定装置本体３０６と接続され、ネットワークインターフェース３５９は、ネットワーク３３０と接続されている。なお、第１〜第５の実施形態に係る処理装置１４０も、本実施形態に係る処理装置３０７と同様の構成要素により構成されている。
【００７７】
次に、本実施形態に係る複合現実感システムの処理概要を説明する。
本システムでは、
（１）観察者の現在の視点位置及び視点方向の現実空間映像を取得する、
（２）観察者の視点位置及び視線方向を取得する、
（３）取得した視点位置及び視線方向での仮想空間映像を生成する。この際、予め記憶されている現実空間に存在する物体の位置，形状等を考慮して、視点位置から見た仮想空間上の物体と現実空間上の物体との前後関係を決定する、
（４）現実空間映像と仮想空間映像を重畳して、複合現実空間映像を生成する、
（５）観察者に複合現実空間映像を提示する、
という、一連の処理を繰り返し行うことで、観察者に複合現実空間映像を体験させる。
【００７８】
このような一連の処理において、観察者の現在の視点位置、及び視線方向の現実空間映像の取得処理は、ビデオキャプチャーボード３５０，３５１により行われる。すなわち、ビデオキャプチャーボード３５０，３５１は、ビデオカメラ２０３Ｒ，２０３Ｌからの映像信号をデジタル変換し、メモリ３５７に連続的に取り込み続ける。観察者の視点位置、及び視線方向は、位置方向測定装置本体３０６からＩ／Ｏインターフェース３５４を介して、連続的に処理装置３０７に送信され続ける。
【００７９】
処理装置３０７は、メモリ３５７に格納されているプログラムに基づいて、仮想空間の時間を更新し、仮想空間物体の位置、方向を再度計算する。そして、I／Oインターフェース３５４を介して取得した観察者の視点位置及び方向に対応する仮想空間映像を生成する。
【００８０】
この際、現実空間に存在する物体を仮想空間上に存在するように予め定義しておくことにより、現実空間物体と仮想空間物体との前後関係を意識した仮想空間映像作成することもできる。例えば、現実の壁の後ろに仮想空間物体が廻りこむように見せること等が可能となる。
【００８１】
最後に、メモリ３５７上に生成した現実空間映像と仮想空間映像を重畳して、複合現実空間映像を生成する。生成された複合現実空間映像は、グラフィックボード３５２，３５３の制御の下にＨＭＤ表示部２０１Ｒ，２０１Ｌに表示される。
【００８２】
次に、本実施形態の特徴点である受信機３０２の取付け方法について説明する。図２０は、従来技術の問題点として示した図２２と同じ状況において、観察者３００ａのＨＭＤ３０１では、受信機３０２を右側の受信機接合部２１０Ｒに取付け、観察者３００ｂのＨＭＤ３０１では、受信機３０２を左側の受信機接合部２１０Ｌに取付けた状態を示している。
【００８３】
すなわち、観察者３００ａ，３００ｂの視点位置及び視線方向を測定するための発信機３０４が図２０に示した位置に配置されている場合は、上記のように受信機３０２を取付ける受信機接合部を選択することによって、観察者３００ａ，３００ｂが共に移動可能領域３１１に視点位置を設定し、複合現実空間映像観察可能領域３１２の方向に視線方向を設定した場合に、発信機３０４と観察者３００ａ，３００ｂが利用する受信機３０２の距離が共に短くなる。換言すれば、観察者３００ａ，３００ｂが高頻度で観察する状況において、位置方向測定誤差を低減することが可能となる。
【００８４】
また、図２０のように受信機３０２の取付位置を選択することにより、複合現実空間映像観察可能領域３１２の中央を通る線分３１３に対して、両方の観察者３００ａ，３００ｂ、発信機３０２、受信機３０４は、対称の位置に存在するので、両方の観察者３００ａ，３００ｂに係る位置方向の測定誤差を均衡させることも可能となる。
【００８５】
［第７の実施形態］
第７の実施形態は、図２１に示したように、発信機３０４を観察者３００ａ，３００ｂの正面に設置した場合に適用される。
【００８６】
このように、発信機３０４を観察者３００ａ，３００ｂの正面に設置した場合は、各観察者３００ａ，３００ｂが装着しているＨＭＤ３０１上の受信機３０２と発信機３０４との距離を最短にするために、受信機３０２はＨＭＤ３０１の中央の受信機接合部２００Ｃに取付けて使用する。
【００８７】
この場合も第６の実施形態と同様に、観察者３００ａ，３００ｂが高頻度で観察する状況において、位置方向測定誤差を低減することが可能となり、さらに、両方の観察者３００ａ，３００ｂに係る位置方向の測定誤差を均衡させることも可能となる。
【００８８】
以上説明したように、第１〜第７の実施形態では、位置方向測定用の発信機の配置位置、或いはＨＭＤへの受信機の取付位置を工夫するというコストのかからない方法で、現実空間映像と仮想空間映像との間の位置ずれを低減するようにしている。
【００８９】
なお、本発明は、上記各実施形態に限定されることなく、例えば、発信機及び受信機（位置方向測定装置）としては、例えば、磁気方式に係るものでなく、超音波方式に係るものを採用することも可能である。また、上記各実施形態を適宜組み合わせることも可能である。
【００９０】
【発明の効果】
以上説明したように、本発明によれば、現実空間映像と仮想空間映像との間の位置ずれを安価な構成で低減することが可能となる。
【図面の簡単な説明】
【図１】本発明の第３の実施形態を適用した複合現実感システムの概略構成を示すシステム構成図である。
【図２】ＨＭＤの構成を示す構成図である。
【図３】複合現実空間映像の生成処理を示すフローチャートである。
【図４】現実空間映像例、および仮想空間映像例を示す図である。
【図５】図４の現実空間映像例、および仮想空間映像例に対応する理想的な（位置センサ測定値に誤差がない）複合現実空間映像を示す図である。
【図６】図４の現実空間映像例、および仮想空間映像例に対応する目用の位置センサ測定値のみに誤差がある場合の複合現実空間映像を示す図である。
【図７】図４の現実空間映像例、および仮想空間映像例に対応する手用の位置センサ測定値のみに誤差がある場合の複合現実空間映像を示す図である。
【図８】本発明の第１の実施形態における位置センサ発信機と位置センサとの距離関係を説明するための説明図である。
【図９】本発明の第２の実施形態における位置センサ発信機と位置センサとの距離関係を説明するための説明図である。
【図１０】本発明の第３の実施形態における位置センサ発信機と位置センサとの距離関係を説明するための説明図である。
【図１１】本発明の第３の実施形態を適用した複合現実感システムの概略構成を示すシステム構成図である。
【図１２】本発明の第４の実施形態を適用した複合現実感システムの概略構成を示すシステム構成図である。
【図１３】本発明の第４の実施形態における位置センサ発信機と位置センサとの距離関係を説明するための説明図である。
【図１４】本発明の第５の実施形態を適用した複合現実感システムの概略構成を示すシステム構成図である。
【図１５】本発明の第５の実施形態における位置センサ発信機と位置センサとの距離関係を説明するための説明図である。
【図１６】本発明の第６の実施形態を適用した複合現実感システムの概略構成を示すシステム構成図である。
【図１７】本発明の第６，７の実施形態におけるＨＭＤを撮影部の方向から見た場合の外観図である。
【図１８】本発明の第６，７の実施形態におけるＨＭＤを表示部の方向から見た場合の外観図である。
【図１９】図１６のシステムにおける観察者１人分のハードウェア構成を示すブロック図である。
【図２０】本発明の第６の実施形態における位置センサ（受信機）の取付位置を説明するための説明図である。
【図２１】本発明の第７の実施形態における位置センサ（受信機）の取付位置を説明するための説明図である。
【図２２】従来技術の問題点の１例を説明するための説明図である。
【符号の説明】
１００，３００ａ，３００ｂ：観察者
１１０，３０１：ＨＭＤ
１１１：ビデオカメラ
１１２：ＬＣＤ
１１３：目用位置センサ（受信機）
１１４：光学プリズム
１２０：グローブ
１２１：手用位置センサ（受信機）
１３０：位置センサ発信機
１３１，３０６：位置センサ（位置方向測定装置）本体
１４０，３０７：処理装置（コンピュータ）
１５０，３３０：ネットワーク
１６０：位置センサ発信機（手用）
１６１：位置センサ本体（手用）
【発明の属する技術分野】
本発明は、ビデオカメラ等から取り込まれた現実空間映像とＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）等による仮想空間映像を合成して複合現実空間映像を生成・表示する複合現実感システム、ヘッドマウントディスプレイ装置、複合現実感実現方法及びプログラムに関する。
【０００２】
【従来の技術】
複合現実感システムでは、現実空間と仮想空間を融合するために何らかの手段によって現実空間物体の三次元座標と方向を取得する必要がある。これら情報を取得する方法としては、米国Polhemus社製FASTRAK（製品名）に代表されるような位置方向測定装置を使う方法、カメラパラメータが既知である現実空間映像を画像処理することで得られる情報とジャイロとを組み合わせる方法、特別な多眼カメラを使うことによって現実空間物体の位置方向を測定する方法などが実現されている。
【０００３】
【発明が解決しようとする課題】
しかし、これらの方法で使用される装置は高価であるばかりでなく、ある程度の測定誤差を伴っている。そして、その測定誤差を低減するためには対費用効果以上の高価な測定装置が必要となり、複合現実感システムのコスト低減化を妨げる１つの要因になっている。
【０００４】
図２２は、米国Polhemus社製FASTRAKに代表されるような位置方向測定装置の従来の利用例を示す図である。
【０００５】
図２２において、３００ａ，３００ｂは観察者、３０１は観察者が複合現実空間を観察するためのＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）、３０２はＨＭＤ３０１に取付けられた位置方向測定用の受信機、３０４は壁で隠されるように配置された位置方向測定用の発信機である。観察者３００ａ，３００ｂ同士は、セット３１０内で向かい合って立ち、各々、移動可能領域３１１内で自由に視点位置及び視線方向を決定することが可能である。
【０００６】
３１２は複合現実空間映像観察可能領域であり、観察者がこの複合現実空間映像観察可能領域３１２を見ているときは、仮想空間映像であるＣＧと現実空間映像が融合された複合現実空間映像をＨＭＤ３０１により観察することができるが、観察者が複合現実空間映像観察可能領域３１２を見ていないときは、ＨＭＤ３０１には現実空間の映像しか表示されない。従って、観察者が複合現実空間映像観察可能領域３１２を見ているときに、視点位置及び視線方向の測定誤差を少なくすることが重要である。
【０００７】
しかし、図２２に示したように、観察者の視点位置及び視線方向を測定するための受信機３０２がＨＭＤ３０１の左側に固定されていると、受信機３０２と発信機３０４の距離が長くなり、測定誤差が増大する場合がある。
【０００８】
本発明は、このような従来技術の問題に鑑みてなされたもので、その課題は、現実空間映像と仮想空間映像との間の位置ずれを安価な構成で低減できるようにすることにある。
【０００９】
【課題を解決するための手段】
上記課題を解決するため、本発明の複合現実感システムは、ヘッドマウントディスプレイ装置を装着した観察者の視点位置および方向を測定するための着脱可能な受信機を、少なくとも前記観察者の視線方向の左右両側に取り付け可能な複数の取り付け部を備える当該ヘッドマウントディスプレイ装置と、前記ヘッドマウントディスプレイ装置に備わるカメラで現実空間を撮像した現実空間画像を入力する画像入力手段と、前記ヘッドマウントディスプレイ装置に取り付けられた受信機と、現実空間に配置され当該受信機との通信を行う発信機とを用いて、前記ヘッドマウントディスプレイ装置を装着した観察者の視点位置および方向を測定した結果を取得する測定結果取得手段と、前記測定した結果に基づいて、前記現実空間に対応する仮想空間に存在する仮想物体の仮想空間画像を生成する画像生成手段と、前記現実空間画像と前記仮想空間画像とを合成した複合現実空間画像を生成する画像合成手段と、前記ヘッドマウントディスプレイ装置に備わるディスプレイへ前記複合現実空間画像を出力する画像出力手段とを有し、当該発信機と通信する受信機が前記取り付け部の何れか１箇所に取り付けられることを特徴とする。
上記課題を解決するため、本発明の複合現実感実現方法は、ヘッドマウントディスプレイ装置を装着した観察者の視点位置および方向を測定するための着脱可能な受信機を、少なくとも前記観察者の視線方向の左右両側に取り付け可能な複数の取り付け部を備えるヘッドマウントディスプレイ装置を有する複合現実感システムが行う複合現実感実現方法であって、前記複合現実感システムが有する画像入力手段が、前記ヘッドマウントディスプレイ装置に備わるカメラで現実空間を撮像した現実空間画像を入力する画像入力工程と、前記複合現実感システムが有する測定結果取得手段が、前記ヘッドマウントディスプレイ装置に取り付けられた受信機と、現実空間に配置され当該受信機との通信を行う発信機とを用いて、前記ヘッドマウントディスプレイ装置を装着した観察者の視点位置および方向を測定した結果を取得する測定結果取得工程と、前記複合現実感システムが有する画像生成手段が、前記測定した結果に基づいて、前記現実空間に対応する仮想空間に存在する仮想物体の仮想空間画像を生成する画像生成工程と、前記複合現実感システムが有する画像合成手段が、前記現実空間画像と前記仮想空間画像とを合成した複合現実空間画像を生成する画像合成工程と、前記複合現実感システムが有する画像出力手段が、前記ヘッドマウントディスプレイ装置に備わるディスプレイへ前記複合現実空間画像を出力する画像出力工程とを有し、前記発信機の配置位置に基づいて、当該発信機と通信する受信機が前記取り付け部のうち何れか１箇所に取り付けられることを特徴とする。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
【００１７】
［第１の実施形態］
図１は、本発明の第１の実施形態を適用した複合現実感システムの概略構成を示すシステム構成図である。
【００１８】
観察者１００は、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）１１０を頭部に、グローブ１２０を手に装着している。
【００１９】
ＨＭＤ１１０は、図２に示したように、ビデオカメラ１１１、ＬＣＤ１１２、位置方向測定装置受信機（目用位置センサ）１１３、光学プリズム１１４，１１５で構成されている。ビデオカメラ１１１は、光学プリズム１１５によって導かれた観察者の視点位置および視線方向の現実空間映像を撮影する。目用位置センサ１１３は、観察者の視点位置および視線方向を測定するために利用される。ＬＣＤ１１３は、複合現実空間映像を表示し、その映像は光学プリズム１１４によって観察者の瞳に導かれる。
【００２０】
グローブ１２０には、手用位置センサ１２１、スピーカ１２２（図示省略）が内蔵されている。手用位置センサ１２１は、観察者の手の位置および方向を測定するためのセンサとして利用される。スピーカ１２２からは手の位置において発生したイベントに応じた音が発生される。この音としては、例えば、手で仮想空間物体に触ったり叩いたりした時の音や、手の位置に同期して表示される仮想空間物体の状態が変わったときに発生する音などが考えられる。
【００２１】
１３０は位置方向測定装置発信機（位置センサ発信機）、１３１は位置方向測定装置本体（位置センサ本体）である。目用位置センサ１１３、手用位置センサ１２１、及び位置センサ発信機１３０は、位置センサ本体１３１に接続されている。位置センサ発信機１３０からは磁気が発信されており、この磁気は、目用位置センサ１１３、手用位置センサ１２１で受信される。位置センサ本体１３１は、目用位置センサ１１３、手用位置センサ１２１からの受信強度信号に基づいて、夫々目、手の位置および方向を算出する。ここで、位置方向測定装置としては、米国Polhemus社製FASTRAKなどが利用可能である。
【００２２】
１４０は観察者１人分の複合現実空間映像を生成して、ＨＭＤ１１０に表示する処理装置である。この処理装置１４０は、例えば、パーソナルコンピュータとビデオキャプチャーカード、ＣＧ描画機能を有するビデオカード、サウンドカード等で構成される。処理装置１４０には、ＨＭＤ１１０、スピーカ１２２、位置センサ本体１３１が接続されている。
【００２３】
次に、処理装置１４０において複合現実空間映像を生成する手順を、図３のフローチャートに基づいて説明する。
【００２４】
処理装置１４０は、まず、位置センサ本体１３１から送信されてきた視点位置および視線方向、手の位置および方向を取り込む（ステップＳ３０１）。なお、ステップＳ３０１では、位置センサ本体１３１から送信されてきた視点位置および視線方向、手の位置および方向を定期的に取り込むスレッドＳ３１１を利用する。
【００２５】
次に、仮想空間の時間を更新し、仮想空間の状態（仮想空間物体の種類、位置、状態）を更新する（ステップＳ３０２）。このとき、現実空間物体の位置方向に同期して位置方向が変化する仮想空間物体がある場合は、それらも合わせて状態を更新する。例えば、手の上に常に仮想空間物体のグローブが装着されているように見せる場合は、このステップＳ３０２でグローブの位置方向が更新される。
【００２６】
次に、現実空間物体の位置方向（手の位置、視点位置）と仮想空間物体の位置方向の関係を調べ、予め定義されているイベントが発生したと判断される場合には、そのイベントに応じて仮想空間の状態を更新する（ステップＳ３０３）。例えば、手で仮想空間物体に触れた場合に仮想空間物体を爆発させること等が考えられる。
【００２７】
次に、ビデオカメラ１１１から得られた観察者の視点位置および視線方向での現実空間映像を取り込む（ステップＳ３０４）。このステップＳ３０４では、ビデオカメラ１１１から得られた現実空間映像をビデオキャプチャーカードから定期的に取得するスレッドＳ３１４を利用する。
【００２８】
そして、ステップＳ３０１で取得した観察者の視点位置および視線方向からの仮想空間映像を、ステップＳ３０２，Ｓ３０３で更新された仮想空間の状態に応じて生成する（ステップＳ３０５）。
【００２９】
最後に、ステップＳ３０５で生成された仮想空間映像と、ステップＳ３０４で取り込まれた現実空間映像を合成し、ＨＭＤ１１０のＬＣＤ１１２に出力する（ステップＳ３０６）。
以上の処理を、何らかの終了操作が行われるまで（ステップＳ３０７）、繰り返し実行する。
【００３０】
次に、各観察者が観察する複合現実空間映像中の仮想空間物体と現実空間物体との位置および方向のずれを低減させる、本実施形態に特有な方法について説明する。
【００３１】
位置方向測定装置が位置および方向を正しく測定可能であれば、仮想空間物体と現実空間物体との位置および方向のずれは発生しない。すなわち、図４（ａ）に示した現実空間映像、及び図４（ｂ）に示した仮想空間映像があった場合、理想的には、図5のような複合現実感映像が生成される。しかし、実際には、位置方向測定装置は磁気や超音波を利用しているため、外乱に極端に弱く、さらに測定可能範囲も狭い。現実の位置方向測定装置では、位置センサ発信機から80cm程度の範囲でしか有効な精度で測定できない。さらに、強磁性体が存在しない空間で測定を行ったとしても、位置センサ発信機と位置センサ（受信機）の距離に対して単調増加的に位置および方向の測定誤差が拡大することが知られている。これを改善するためには、可能な限り位置センサ発信機と受信機の距離を短くすることが重要となる。
【００３２】
位置方向測定装置の測定誤差は、特に視点位置および視線方向に関してはより深刻な問題となる。すなわち、手の位置方向について測定誤差が大きくなった場合は、図７に示したように、手と同期して動く仮想空間物体と手との位置ずれが発生するだけであるが、視点位置および視線方向について測定誤差が大きくなった場合は、図６に示したように、手の位置ずれだけでなく全ての仮想空間物体について位置ずれが発生してしまうからである。
【００３３】
そこで、第１の実施形態では、目用位置センサ１１３の測定精度を向上させることに主眼をおき、現実空間物体と仮想空間物体との間の位置ずれを低減するため、図８に示したように、各位置センサを高頻度で利用する位置および方向において、目用位置センサ１１３と位置センサ発信機１３０との距離を、同じ位置センサ本体１３１に接続されている他の位置センサより短くするように位置センサ発信機１３０を配置し、視点位置および視線方向の測定精度を他の位置センサに係る位置及び方向の測定精度より向上させて、仮想空間物体全体の位置ずれを目立たなくさせている。
【００３４】
位置センサ発信機１３０の具体的な位置は、複合現実感システムがどのような複合現実映像を、観察者から見てどの位置および方向に表示させるかによって柔軟に変更されるべきものであり、特定することはできない。
【００３５】
しかし、複数の観察者が存在し観察者同士がお互いを観察可能な状況を設定すると複合現実感をいっそう高める効果があるので、観察者が高頻度で観察する方向は、水平方向となるのが通常である。このような状況においては、図８に示したように、観察者の頭上に位置センサ発信機１３０を設置することで、本実施形態による利点を享受しつつ、さらに本来複合現実空間内に現実空間物体として複合させるべきでない発信機の映像が複合されてしまうことを回避でき、また、観察者が自由に前後左右に移動することも可能であるばかりでなく、移動した場合の測定誤差が全ての方向に対して等価になるため、管理も容易となる。以上、総合的に高品質で余計な現実物体の無い複合現実空間映像を、移動の自由を確保しつつ観察可能することが可能となる。
【００３６】
［第２の実施形態］
第２の実施形態は、図９に示したように、高頻度で手を観察する視点位置および視線方向、手の位置および方向において、手用位置センサ１２１についても、目用位置センサ１１３と同様に位置センサ発信機１３０との距離を短くするように考慮して、位置センサ発信機１３０を配置した例である。
【００３７】
第２の実施形態では、観察者が高頻度で手を観察するような状況において、目用位置センサ１１３と位置センサ発信機１３０の距離と、手用位置センサ１２１と位置センサ発信機１３０の距離が同程度に短くなるように、位置センサ発信機１３０を配置しているので、目用位置センサ１１３、手用位置センサ１２１の測定誤差を双方とも低減することができ、第１の実施形態と比較して、手と同期して動く仮想空間物体を手の上に少ない誤差で定位して観察できるようになる。
【００３８】
もちろん、手をどのような姿勢で高頻度に観察するかは、複合現実感システムがどのような内容の複合現実空間映像を観察者に提示するかに依存しているため、提示する複合現実空間映像の内容に合わせて、手を高頻度で観察する時の手用位置センサ１２１と目用位置センサ１１３の位置と位置センサ発信機１３０の距離が同程度になるように調整する必要がある。
【００３９】
なお、本実施形態では、仮想空間物体の位置を手と同期して変更する場合を示したが、これに限るものでなく、足や他の身体部位と同期して仮想空間物体の位置を変更する場合にも適用可能である。
【００４０】
［第３の実施形態］
図１１は、第３の実施形態を適用した複合現実感システムの概略構成を示すシステム構成図である。本システムは、２人の観察者が同時に同じ複合現実空間を観察する場合を想定したシステムであり、図１に示したシステムが２組設けられている。ただし、位置センサ発信機１３０と位置センサ本体１３１は、２人の観察者で共用することで、複合現実空間システムとしての全体のコスト低減化を図っている。また、位置センサ本体１３１は、一方の処理装置１４０にのみ接続され、他方の処理装置１４０には接続されていないので、各観察者用の処理装置１４０をネットワーク１５０で接続し、位置センサ本体１３１が接続されていない処理装置１４０でも複合現実空間映像を生成できるようにしている。
【００４１】
そして、第３の実施形態では、図１０に示したように、各観察者が高頻度で手を観察する位置において、各観察者の目用位置センサ１１３と位置センサ発信機１３０の距離（ａ又はａ’）と、手用位置センサ１２１と位置センサ発信機１３０の距離（ｂ又はｂ’）がほぼ等しくなるように位置センサ発信機１３０を配置している。また、上記の各距離（ａ、ａ’、ｂ、ｂ’）が極力短くなるように、位置センサ発信機１３０が配置されている。
【００４２】
このような構成により、各観察者は、手と同期して動く仮想空間物体を手の上に少ない誤差で定位して観察することが可能となる。
【００４３】
なお、或る観察者の目用位置センサ１１３と位置センサ発信機１３０の距離（ａ）と、
他の観察者の目用位置センサ１１３と位置センサ発信機１３０の距離（ａ’）とがほぼ等しくなり、かつ、或る観察者の手用位置センサ１２１と位置センサ発信機１３０の距離（ｂ）と、他の観察者の手用位置センサ１２１と位置センサ発信機１３０の距離（ｂ’）がほぼ等しくなるように位置センサ発信機１３０を配置することにより、全ての観察者において位置ずれが等価になるようにすることも可能である。
【００４４】
各処理装置１４０の処理手順は第１の実施形態とほぼ同様であるが、位置センサ本体１３１が接続されている処理装置１４０は、図３のスレッドＳ３１１では、位置方向取得スレッドにより位置センサ本体１３１を制御し、測定値を取得する。そして、ネットワーク１５０にアクセスを行い、他の処理装置に各位置センサの測定値を配信する。
【００４５】
位置センサ本体１３１が接続されていない処理装置１４０は、図３のスレッドＳ３１１では、位置方向取得スレッドはネットワークアクセスを行い、位置センサ本体１３１が接続されている処理装置１４０から送られてくる各位置センサの測定値を取得する。
【００４６】
［第４の実施形態］
第４の実施形態は、第１の実施形態を拡張して、位置センサ１つに対し位置センサ発信機と位置センサ本体を１つずつ設置している。この場合、位置センサ発信機と位置センサ本体は、各々２つになり、その分コスト高となるが、高精度で視点位置および視線方向、手の位置および方向を測定することが可能となる。
【００４７】
図１２は、第４の実施形態を適用した複合現実感システムの概略構成を示すシステム構成図である。本システムは、図１に示した第１の実施形態の構成に対して、手用の位置センサ発信機１６０と位置センサ本体１６１が追加されている。そして、手用の位置センサ本体１６１は処理装置１４０に接続され、手用の位置センサ発信機１６０は、手用位置センサ本体１６１に接続され、手用位置センサ１２１は、手用の位置センサ発信機１６０からの磁気を受信するように構成されている。また、本実施形態では、位置センサ発信機１３０と位置センサ本体１３１とは、目用の専用機として機能する。
【００４８】
そして、観察者が高頻度で手を観察する場合の手の位置および方向において、手用位置センサ発信機１６０は、手用位置センサ１２１と手用位置センサ発信機１６０の距離が短くするように配置され、目用位置センサ発信機１３０は、目用位置センサ１１３と目用位置センサ発信機１３０との距離が短くなるように配置されている。
【００４９】
処理装置１４０の処理手順は、第１の実施形態とほぼ同様であるが、図３のスレッドＳ３１１では、位置方向取得スレッドが複数の位置センサ本体１３１，１６１を制御し、それぞれから測定値を取得する。
【００５０】
このように、各位置センサ毎に専用の位置センサ発信機、位置センサ本体を設置することで、第２の実施形態と比べて、高頻度で手を観察する視点位置および視線方向、手の位置および方向において、一層、現実空間映像と仮想空間映像との間の位置ずれを低減させることが可能となり、観察者がより高品質な複合現実空間映像を観察することが可能となる。
【００５１】
第４の実施形態は、海水などの半透明の仮想空間物体または手（現実空間物体）とほぼ同じ大きさの仮想空間物体を、常時観察者の手に定位しているような表現を行いたい場合において、観察者に位置ずれを感じさせないようにするために、特に効果的である。
【００５２】
すなわち、仮想空間物体が半透明でない場合は、仮想空間物体の大きさを手の大きさより大きくしておけば、仮想空間物体で手が完全に隠れてしまうため、多少の位置ずれが発生してもその複合現実空間映像は観察者にとって不自然に見えないが、手と同じ大きさの半透明の仮想空間物体の場合は、位置ずれが僅かでも発生すると、仮想空間物体で手を覆い隠すことが出来なくなり、手と仮想空間物体の位置ずれが観察者に見えてしまい、また、半透明の仮想空間物体の場合は、その仮想空間物体の大きさの如何に拘らず、常に、現実空間物体との位置ずれが見得てしまうからである。
【００５３】
本実施形態では、これらの状況においても、仮想空間物体と現実空間物体との位置ずれを観察者に認識させないようにすることが可能となる。
【００５４】
なお、図１３に示したように、目用位置センサ本体１３０の配置については、第１の実施形態と同様に、頭上に配置することによって、複合現実映像の品質を高めることが可能である。また、可能であれば、観察者が高頻度で利用する手の位置および方向において、手の位置よりも下方に手用位置センサ発信機１６０を設置することで、観察者の水平方向の視界を手用位置センサ発信機１６０が遮ることがなくなり、より高品質の複合現実映像を提示することが可能となる。
【００５５】
［第５の実施形態］
図１４は、第５の実施形態を適用した複合現実感システムのシステム構成図である。本システムは、第４の実施形態と同様に、目用の位置センサ１１３、手用の位置センサ１２１毎に、各々、位置センサ発信機１３０，１６０、及び位置センサ本体１３１，１６１を設けて、高精度で視点位置および視線方向、手の位置および方向を測定できるようにすると共に、位置センサ発信機１３０，１６０、及び位置センサ本体１３１，１６１を２人の観察者で共用できるようにして、コスト低減を図ったものである。
【００５６】
２つの位置センサ本体１３１，１６１は、一方の処理装置１４０にのみ接続され、他方の処理装置１４０には接続されていないので、各観察者用の処理装置１４０をネットワーク１５０で接続し、位置センサ本体１３１，１６１が接続されていない処理装置１４０でも複合現実空間映像を生成できるようにしている。
【００５７】
本実施形態では、図１５に示したように、各観察者が高頻度で観察を行う位置において、各観察者の目用位置センサ１１３と目用位置センサ発信機１３０との距離、及び手用位置センサ１２１と手用位置センサ発信機１６０との距離が可能な限り短くなり、かつ、各観察者の目用位置センサ１１３と目用位置センサ発信機１３０との距離がほぼ等しくなり、さらに、各観察者の手用位置センサ１２１と手用位置センサ発信機１６０との距離もほぼ等しくなるように、目用位置センサ１３０、手用位置センサ１６０を配置している。
【００５８】
このような構成により、全ての観察者が仮想物体と現実物体との間の位置ずれをより一層低減させた高品質な複合現実映像を観察でき、また、全ての観察者において位置ずれが等価になる。
【００５９】
処理装置１４０の処理手順は、第１の実施形態と同様であるが、位置センサ本体１３１，１６１が接続されている処理装置１４０では、図３のスレッドＳ３１１では、位置方向取得スレッドにより位置センサ本体１３１，１６１を制御し、測定値を取得する。そして、ネットワーク１５０にアクセスを行い、他の処理装置に各位置センサの測定値を配信する。
【００６０】
位置センサ本体１３１，１６１が接続されていない処理装置１４０は、図３のスレッドＳ３１１では、位置方向取得スレッドはネットワークアクセスを行い、位置センサ本体１３１，１６１が接続されている処理装置１４０から送られてくる各位置センサの測定値を取得する。
【００６１】
なお、第４の実施形態と同様に、目用位置センサ発信機１３０を頭上に設置し、手用位置センサ発信機１６０を高頻度で手を観察する手の位置より下に設置すれば、観察者の水平方向の視界が各位置センサ発信機１３０，１６０で遮られることがなくなり、高頻度で複合現実空間を観察する向きにおいて、高品質な複合現実空間映像を観察することが可能となる。
【００６２】
［第６の実施形態］
図１６は、第６の実施形態を適用した複合現実感システムの概略構成を示すシステム構成図である。図１６において、３００ａ，３００ｂは、本システムで生成される複合現実空間映像を観察する観察者である。各観察者３００ａ，３００ｂは、受信機３０２が取付けられたＨＭＤ３０１を頭部に装着しており、このＨＭＤ３０１により、位置方向測定値に対応する複合現実空間の映像を観察することができる。
【００６３】
３０６は位置方向測定装置本体である。この位置方向測定装置本体３０６には、発信機３０４と受信機３０２が接続されている。発信機３０４から発せられる磁気を受信機３０２で受信し、位置方向測定装置本体３０６は、その強度から観察者の視点位置及び視線方向を測定する。
【００６４】
処理装置３０７には、位置方向測定装置本体３０６が接続され、観察者の視点位置及び視線方向が位置方向測定装置本体３０６から処理装置３０７に常時通知されている。処理装置３０７は、この情報に基づいて、各観察者の視点位置および視線方向に応じた複合現実空間映像を生成し、ＨＭＤ３０１に表示する。
【００６５】
各観察者用の処理装置３０７は、ネットワーク３３０を介して接続されている。各処理装置３０７は、ネットワーク３３０を利用して、各観察者の視点位置および視線方向、仮想空間物体の位置及び方向を共有している。これにより、自分以外の観察者の位置に仮想空間物対を表示すること等も可能となる。
【００６６】
図１７，１８は、第６の実施形態を適用したＨＭＤ３０１の外観図であり、図１７は撮影部の方向から見た外観図、図１８は表示部の方向から見た外観図である。
【００６７】
２０１はＨＭＤ表示部である。このHMD表示部２０１としては、右目用表示２０１Ｒと左目用表示部２０１Ｌの２つが有り、共にカラー液晶とプリズムを有し、観察者の視点位置および視線方向に対応する複合現実空間映像が表示される。
【００６８】
２０４〜２０８は、頭部装着用の構成部材である。ＨＭＤ３０１を頭部に装着するには、まず、アジャスタ２０５で長さ調整部２０６を緩めた状態で頭にかぶる。そして、額装着部２０８を額に密着させてから側頭装着部２０４と後頭装着部２０７を各々側頭部、後頭部に密着させるように、アジャスタ２０５で長さ調整部２０６を絞めればよい。
【００６９】
２０３は観察者の視点位置および視線方向の現実空間映像を撮影するためのHMD撮影部であり、このＨＭＤ撮影部２０３としては、右目用撮影部２０３Ｒと左目撮影用２０３Ｌの２つがあり、共にＮＴＳＣ方式の小型ビデオカメラにより構成されている。撮影された現実空間映像は、仮想空間映像と重畳されて複合現実空間映像となる。
【００７０】
受信機３０２は、観察者の視点位置および視線方向を測定するための情報として発信機３０４から発せられた磁気を受信するために利用される。この受信機３０２のＨＭＤ３０１への取付部としては、受信機接合部２００Ｒ，２００Ｌ，２００Ｃの３つが形成されており、これら受信機接合部２００Ｒ，２００Ｌ，２００Ｃの任意の接合部に受信機３０２を着脱自在に取付けることが可能となっている。すなわち、図１７，１８では、受信機３０２は、観察者の視線の進行方向の右側の受信機接合部２００Ｒに取付けられているが、観察者の視線の進行方向の左側の受信機接合部２００Ｌ、或いは観察者の正中線上の受信機接合部２００Ｃに取付けることも可能である。
【００７１】
受信機接合部２００Ｒ，２００Ｌ，２００Ｃは、本実施形態では、受信機３０２を嵌めこんで固定するための差込口を有する構成となつているが、他の着脱自在な接合（取付）方式を採用してもよい。
【００７２】
２１０は受信機信号線であり、受信機接合部２００Ｃの近傍からＨＭＤ３０１の外部に露出している。この受信機信号線２１０は、受信機接合部２００Ｒ，２００Ｌ，２００Ｃの何れにも受信機３０２を取付けられるように、十分な長さが確保されている。
【００７３】
２０９はＨＭＤ表示部２０１、ＨＭＤ撮影部２０３等への信号線や電源供給線、上記受信機信号線２１０等の各種の線を纏めた結束線材であり、後頭装着部２０７に取り付けられている。そして、結束線材２０９中の左右のＨＭＤ表示部２０１Ｒ，２０１Ｌ、ＨＭＤ撮影部２０３Ｒ，２０３Ｌ等への信号線や電源供給線は、各々、左右の側頭装着部２０４を通っている。
【００７４】
図１９は、図１６のシステムにおける観察者１人分のハードウェア構成を示すブロック図である。処理装置（コンピュータ）３０７には、右目用ビデオキャプチャーボード３５０、左目用ビデオキャプチャーボード３５１、右目用グラフィックボード３５２、左目用グラフィックボード３５３、Ｉ／Ｏインターフェース３５４、ネットワークインターフェース３５９が搭載されており、これら構成要素は、ＣＰＵ３５６、ＨＤＤ３５５、メモリ３５７と接続されている。
【００７５】
左右の目用のビデオキャプチャーボード３５１，３５０は、夫々、左右の目用のビデオカメラ２０３Ｌ，２０３Ｒに接続され、これらビデオカメラ２０３Ｌ，２０３Ｒにて撮影された実写映像を本処理装置３０７で仮想空間映像と構成可能な形式に変換する。また、左右の目用のグラフィックボード３５３，３５２は、夫々、左右の目用の表示部（装置）２０１Ｌ，２０１Ｒに接続され、これら左右の目用の表示部２０１Ｌ，２０１Ｒに対する表示制御を行う。
【００７６】
また、Ｉ／Ｏインターフェース３５４は、位置方向測定装置本体３０６と接続され、ネットワークインターフェース３５９は、ネットワーク３３０と接続されている。なお、第１〜第５の実施形態に係る処理装置１４０も、本実施形態に係る処理装置３０７と同様の構成要素により構成されている。
【００７７】
次に、本実施形態に係る複合現実感システムの処理概要を説明する。
本システムでは、
（１）観察者の現在の視点位置及び視点方向の現実空間映像を取得する、
（２）観察者の視点位置及び視線方向を取得する、
（３）取得した視点位置及び視線方向での仮想空間映像を生成する。この際、予め記憶されている現実空間に存在する物体の位置，形状等を考慮して、視点位置から見た仮想空間上の物体と現実空間上の物体との前後関係を決定する、
（４）現実空間映像と仮想空間映像を重畳して、複合現実空間映像を生成する、
（５）観察者に複合現実空間映像を提示する、
という、一連の処理を繰り返し行うことで、観察者に複合現実空間映像を体験させる。
【００７８】
このような一連の処理において、観察者の現在の視点位置、及び視線方向の現実空間映像の取得処理は、ビデオキャプチャーボード３５０，３５１により行われる。すなわち、ビデオキャプチャーボード３５０，３５１は、ビデオカメラ２０３Ｒ，２０３Ｌからの映像信号をデジタル変換し、メモリ３５７に連続的に取り込み続ける。観察者の視点位置、及び視線方向は、位置方向測定装置本体３０６からＩ／Ｏインターフェース３５４を介して、連続的に処理装置３０７に送信され続ける。
【００７９】
処理装置３０７は、メモリ３５７に格納されているプログラムに基づいて、仮想空間の時間を更新し、仮想空間物体の位置、方向を再度計算する。そして、I／Oインターフェース３５４を介して取得した観察者の視点位置及び方向に対応する仮想空間映像を生成する。
【００８０】
この際、現実空間に存在する物体を仮想空間上に存在するように予め定義しておくことにより、現実空間物体と仮想空間物体との前後関係を意識した仮想空間映像作成することもできる。例えば、現実の壁の後ろに仮想空間物体が廻りこむように見せること等が可能となる。
【００８１】
最後に、メモリ３５７上に生成した現実空間映像と仮想空間映像を重畳して、複合現実空間映像を生成する。生成された複合現実空間映像は、グラフィックボード３５２，３５３の制御の下にＨＭＤ表示部２０１Ｒ，２０１Ｌに表示される。
【００８２】
次に、本実施形態の特徴点である受信機３０２の取付け方法について説明する。図２０は、従来技術の問題点として示した図２２と同じ状況において、観察者３００ａのＨＭＤ３０１では、受信機３０２を右側の受信機接合部２１０Ｒに取付け、観察者３００ｂのＨＭＤ３０１では、受信機３０２を左側の受信機接合部２１０Ｌに取付けた状態を示している。
【００８３】
すなわち、観察者３００ａ，３００ｂの視点位置及び視線方向を測定するための発信機３０４が図２０に示した位置に配置されている場合は、上記のように受信機３０２を取付ける受信機接合部を選択することによって、観察者３００ａ，３００ｂが共に移動可能領域３１１に視点位置を設定し、複合現実空間映像観察可能領域３１２の方向に視線方向を設定した場合に、発信機３０４と観察者３００ａ，３００ｂが利用する受信機３０２の距離が共に短くなる。換言すれば、観察者３００ａ，３００ｂが高頻度で観察する状況において、位置方向測定誤差を低減することが可能となる。
【００８４】
また、図２０のように受信機３０２の取付位置を選択することにより、複合現実空間映像観察可能領域３１２の中央を通る線分３１３に対して、両方の観察者３００ａ，３００ｂ、発信機３０２、受信機３０４は、対称の位置に存在するので、両方の観察者３００ａ，３００ｂに係る位置方向の測定誤差を均衡させることも可能となる。
【００８５】
［第７の実施形態］
第７の実施形態は、図２１に示したように、発信機３０４を観察者３００ａ，３００ｂの正面に設置した場合に適用される。
【００８６】
このように、発信機３０４を観察者３００ａ，３００ｂの正面に設置した場合は、各観察者３００ａ，３００ｂが装着しているＨＭＤ３０１上の受信機３０２と発信機３０４との距離を最短にするために、受信機３０２はＨＭＤ３０１の中央の受信機接合部２００Ｃに取付けて使用する。
【００８７】
この場合も第６の実施形態と同様に、観察者３００ａ，３００ｂが高頻度で観察する状況において、位置方向測定誤差を低減することが可能となり、さらに、両方の観察者３００ａ，３００ｂに係る位置方向の測定誤差を均衡させることも可能となる。
【００８８】
以上説明したように、第１〜第７の実施形態では、位置方向測定用の発信機の配置位置、或いはＨＭＤへの受信機の取付位置を工夫するというコストのかからない方法で、現実空間映像と仮想空間映像との間の位置ずれを低減するようにしている。
【００８９】
なお、本発明は、上記各実施形態に限定されることなく、例えば、発信機及び受信機（位置方向測定装置）としては、例えば、磁気方式に係るものでなく、超音波方式に係るものを採用することも可能である。また、上記各実施形態を適宜組み合わせることも可能である。
【００９０】
【発明の効果】
以上説明したように、本発明によれば、現実空間映像と仮想空間映像との間の位置ずれを安価な構成で低減することが可能となる。
【図面の簡単な説明】
【図１】本発明の第３の実施形態を適用した複合現実感システムの概略構成を示すシステム構成図である。
【図２】ＨＭＤの構成を示す構成図である。
【図３】複合現実空間映像の生成処理を示すフローチャートである。
【図４】現実空間映像例、および仮想空間映像例を示す図である。
【図５】図４の現実空間映像例、および仮想空間映像例に対応する理想的な（位置センサ測定値に誤差がない）複合現実空間映像を示す図である。
【図６】図４の現実空間映像例、および仮想空間映像例に対応する目用の位置センサ測定値のみに誤差がある場合の複合現実空間映像を示す図である。
【図７】図４の現実空間映像例、および仮想空間映像例に対応する手用の位置センサ測定値のみに誤差がある場合の複合現実空間映像を示す図である。
【図８】本発明の第１の実施形態における位置センサ発信機と位置センサとの距離関係を説明するための説明図である。
【図９】本発明の第２の実施形態における位置センサ発信機と位置センサとの距離関係を説明するための説明図である。
【図１０】本発明の第３の実施形態における位置センサ発信機と位置センサとの距離関係を説明するための説明図である。
【図１１】本発明の第３の実施形態を適用した複合現実感システムの概略構成を示すシステム構成図である。
【図１２】本発明の第４の実施形態を適用した複合現実感システムの概略構成を示すシステム構成図である。
【図１３】本発明の第４の実施形態における位置センサ発信機と位置センサとの距離関係を説明するための説明図である。
【図１４】本発明の第５の実施形態を適用した複合現実感システムの概略構成を示すシステム構成図である。
【図１５】本発明の第５の実施形態における位置センサ発信機と位置センサとの距離関係を説明するための説明図である。
【図１６】本発明の第６の実施形態を適用した複合現実感システムの概略構成を示すシステム構成図である。
【図１７】本発明の第６，７の実施形態におけるＨＭＤを撮影部の方向から見た場合の外観図である。
【図１８】本発明の第６，７の実施形態におけるＨＭＤを表示部の方向から見た場合の外観図である。
【図１９】図１６のシステムにおける観察者１人分のハードウェア構成を示すブロック図である。
【図２０】本発明の第６の実施形態における位置センサ（受信機）の取付位置を説明するための説明図である。
【図２１】本発明の第７の実施形態における位置センサ（受信機）の取付位置を説明するための説明図である。
【図２２】従来技術の問題点の１例を説明するための説明図である。
【符号の説明】
１００，３００ａ，３００ｂ：観察者
１１０，３０１：ＨＭＤ
１１１：ビデオカメラ
１１２：ＬＣＤ
１１３：目用位置センサ（受信機）
１１４：光学プリズム
１２０：グローブ
１２１：手用位置センサ（受信機）
１３０：位置センサ発信機
１３１，３０６：位置センサ（位置方向測定装置）本体
１４０，３０７：処理装置（コンピュータ）
１５０，３３０：ネットワーク
１６０：位置センサ発信機（手用）
１６１：位置センサ本体（手用）
Claims (15)
- ヘッドマウントディスプレイ装置を装着した観察者の視点位置および方向を測定するための着脱可能な受信機を、少なくとも前記観察者の視線方向の左右両側に取り付け可能な複数の取り付け部を備える当該ヘッドマウントディスプレイ装置と、
前記ヘッドマウントディスプレイ装置に備わるカメラで現実空間を撮像した現実空間画像を入力する画像入力手段と、
前記ヘッドマウントディスプレイ装置に取り付けられた受信機と、現実空間に配置され当該受信機との通信を行う発信機とを用いて、前記ヘッドマウントディスプレイ装置を装着した観察者の視点位置および方向を測定した結果を取得する測定結果取得手段と、
前記測定した結果に基づいて、前記現実空間に対応する仮想空間に存在する仮想物体の仮想空間画像を生成する画像生成手段と、
前記現実空間画像と前記仮想空間画像とを合成した複合現実空間画像を生成する画像合成手段と、
前記ヘッドマウントディスプレイ装置に備わるディスプレイへ前記複合現実空間画像を出力する画像出力手段とを有し、
当該発信機と通信する受信機が前記取り付け部の何れか１箇所に取り付けられることを特徴とする複合現実感システム。 - 前記取り付け部のうち、前記受信機と前記発信機との距離が最も近くなる取り付け部に、前記受信機が取り付けられていることを特徴とする請求項１に記載の複合現実感システム。
- 前記ヘッドマウントディスプレイ装置を２つ用いる複合現実感システムであって、
前記ヘッドマウントディスプレイ装置の一方に取り付けられる第１の受信機と、前記ヘッドマウントディスプレイ装置の他方に取り付けられる第２の受信機は、
該第１の受信機と第１受信機と通信する発信機との距離と、該第２の受信機と第２受信機と通信する発信機との距離とが、同等となる位置に取り付けられていることを特徴とする請求項１に記載の複合現実感システム。 - 前記ヘッドマウントディスプレイ装置を２つ用いる複合現実感システムであって、
前記ヘッドマウントディスプレイ装置の一方に取り付けられる第１の受信機は、前記視線方向の左側の取り付け部に取り付けられ、
前記ヘッドマウントディスプレイ装置の他方に取り付けられる第２の受信機は、前記視線方向の右側の取り付け部に取り付けられ、
前記第１の受信機と通信する発信機は、当該第１の受信機が取り付けられたヘッドマウントディスプレイ装置の視線方向の左側の現実空間に配置され、
前記第２の受信機と通信する発信機は、当該第２の受信機が取り付けられたヘッドマウントディスプレイ装置の視線方向の右側の現実空間に配置されていることを特徴とする請求項１に記載の複合現実感システム。 - 前記観察者が装着するヘッドマウントディスプレイ装置が備える受信機とは別に、前記観察者の身体部位に装着された身体部位用受信機と、前記発信機とを用いて、前記身体部位の位置を測定した身体部位測定結果取得手段を更に備え、
前記発信機は、前記受信機と該発信機との距離が、前記身体部位用受信機と該発信機との距離よりも短くなる位置に配置されていることを特徴とする請求項１又は２に記載の複合現実感システム。 - 前記観察者が装着するヘッドマウントディスプレイ装置が備える受信機とは別に、前記観察者の身体部位に装着された身体部位用受信機と、前記発信機とを用いて、前記身体部位の位置を測定した身体部位測定結果取得手段を更に備え、
前記発信機は、前記受信機と該発信機との距離が、前記身体部位用受信機と該発信機との距離とが同等となる位置に配置されていることを特徴とする請求項３に記載の複合現実感システム。 - 前記ヘッドマウントディスプレイ装置を２つ用いる複合現実感システムであって、
前記発信機は、前記ヘッドマウントディスプレイ装置の一方に取り付けられる受信機と該発信機との距離と、前記ヘッドマウントディスプレイ装置の他方に取り付けられる受信機と該発信機との距離とが、同等となる位置に配置されていることを特徴とする請求項１に記載の複合現実感システム。 - 前記発信機は、前記ヘッドマウントディスプレイ装置の一方に取り付けられる受信機と該発信機との距離と、前記ヘッドマウントディスプレイ装置の他方に取り付けられる受信機と該発信機との距離とが、同等となる位置のうち、最短となる位置に配置されていることを特徴とする請求項７に記載の複合現実感システム。
- 前記ヘッドマウントディスプレイ装置を２つ用いる複合現実感システムであって、
前記発信機は、前記ヘッドマウントディスプレイ装置の一方を装着する観察者の身体部位に装着された身体部位用受信機と該発信機との距離と、前記ヘッドマウントディスプレイ装置の他方を装着する観察者の身体部位に装着された身体部位用受信機と該発信機との距離とが、同等となる位置に配置されていることを特徴とする請求項１に記載の複合現実感システム。 - 前記ヘッドマウントディスプレイ装置を２つ用いる複合現実感システムであって、
前記発信機は、前記ヘッドマウントディスプレイ装置の一方を装着する観察者の身体部位に装着された身体部位用受信機と該発信機との距離と、前記ヘッドマウントディスプレイ装置の他方を装着する観察者の身体部位に装着された身体部位用受信機と該発信機との距離とが、同等となる位置のうち、最短となる位置に配置されていることを特徴とする請求項９に記載の複合現実感システム。 - 前記取り付け部は、少なくとも前記観察者の正中線上と視線方向の左右両側に何れかに前記受信機が取り付け可能であることを特徴とする請求項１乃至１０の何れか１項に記載の複合現実感システム。
- 前記受信機は、磁気、又は超音波を受信することを特徴とする請求項１乃至１１の何れか１項に記載の複合現実感システム。
- 請求項１乃至１２の何れか１項に記載の複合現実感システムで用いるためのヘッドマウントディスプレイ装置。
- ヘッドマウントディスプレイ装置を装着した観察者の視点位置および方向を測定するための着脱可能な受信機を、少なくとも前記観察者の視線方向の左右両側に取り付け可能な複数の取り付け部を備えるヘッドマウントディスプレイ装置を有する複合現実感システムが行う複合現実感実現方法であって、
前記複合現実感システムが有する画像入力手段が、前記ヘッドマウントディスプレイ装置に備わるカメラで現実空間を撮像した現実空間画像を入力する画像入力工程と、
前記複合現実感システムが有する測定結果取得手段が、前記ヘッドマウントディスプレイ装置に取り付けられた受信機と、現実空間に配置され当該受信機との通信を行う発信機とを用いて、前記ヘッドマウントディスプレイ装置を装着した観察者の視点位置および方向を測定した結果を取得する測定結果取得工程と、
前記複合現実感システムが有する画像生成手段が、前記測定した結果に基づいて、前記現実空間に対応する仮想空間に存在する仮想物体の仮想空間画像を生成する画像生成工程と、
前記複合現実感システムが有する画像合成手段が、前記現実空間画像と前記仮想空間画像とを合成した複合現実空間画像を生成する画像合成工程と、
前記複合現実感システムが有する画像出力手段が、前記ヘッドマウントディスプレイ装置に備わるディスプレイへ前記複合現実空間画像を出力する画像出力工程とを有し、
前記発信機の配置位置に基づいて、当該発信機と通信する受信機が前記取り付け部のうち何れか１箇所に取り付けられることを特徴とする複合現実感実現方法。 - 請求項１４に記載の複合現実感実現方法の各工程をコンピュータに実行させるためのプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001071117A JP4708590B2 (ja) | 2001-03-13 | 2001-03-13 | 複合現実感システム、ヘッドマウントディスプレイ装置、複合現実感実現方法及びプログラム |
| PCT/JP2002/002297 WO2002073287A2 (en) | 2001-03-13 | 2002-03-12 | Mixed reality system which reduces measurement errors of viewpoint position and direction of an observer |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001071117A JP4708590B2 (ja) | 2001-03-13 | 2001-03-13 | 複合現実感システム、ヘッドマウントディスプレイ装置、複合現実感実現方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002271817A JP2002271817A (ja) | 2002-09-20 |
| JP4708590B2 true JP4708590B2 (ja) | 2011-06-22 |
Family
ID=18928886
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001071117A Expired - Fee Related JP4708590B2 (ja) | 2001-03-13 | 2001-03-13 | 複合現実感システム、ヘッドマウントディスプレイ装置、複合現実感実現方法及びプログラム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP4708590B2 (ja) |
| WO (1) | WO2002073287A2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190121597A (ko) * | 2018-04-18 | 2019-10-28 | 삼성전자주식회사 | 가상현실, 증강현실 및 혼합현실을 위한 장치 및 방법 |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11033821B2 (en) * | 2003-09-02 | 2021-06-15 | Jeffrey D. Mullen | Systems and methods for location based games and employment of the same on location enabled devices |
| US8585476B2 (en) | 2004-11-16 | 2013-11-19 | Jeffrey D Mullen | Location-based games and augmented reality systems |
| US7843470B2 (en) | 2005-01-31 | 2010-11-30 | Canon Kabushiki Kaisha | System, image processing apparatus, and information processing method |
| JP4769942B2 (ja) * | 2006-03-14 | 2011-09-07 | 国立大学法人電気通信大学 | ３ｄデザイン支援システム及び３ｄデザイン支援方法 |
| US9958934B1 (en) | 2006-05-01 | 2018-05-01 | Jeffrey D. Mullen | Home and portable augmented reality and virtual reality video game consoles |
| CN102200881B (zh) * | 2010-03-24 | 2016-01-13 | 索尼公司 | 图像处理装置以及图像处理方法 |
| GB201310364D0 (en) | 2013-06-11 | 2013-07-24 | Sony Comp Entertainment Europe | Head-mountable apparatus and systems |
| US9677840B2 (en) | 2014-03-14 | 2017-06-13 | Lineweight Llc | Augmented reality simulator |
| US9906885B2 (en) * | 2016-07-15 | 2018-02-27 | Qualcomm Incorporated | Methods and systems for inserting virtual sounds into an environment |
| KR101838603B1 (ko) * | 2016-10-11 | 2018-03-14 | (주)세이프인 | 훈련용 증강현실 소화기 |
| US10139934B2 (en) | 2016-12-22 | 2018-11-27 | Microsoft Technology Licensing, Llc | Magnetic tracker dual mode |
| US10713485B2 (en) | 2017-06-30 | 2020-07-14 | International Business Machines Corporation | Object storage and retrieval based upon context |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09284675A (ja) * | 1996-04-12 | 1997-10-31 | Olympus Optical Co Ltd | 頭部装着型映像表示装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6061064A (en) * | 1993-08-31 | 2000-05-09 | Sun Microsystems, Inc. | System and method for providing and using a computer user interface with a view space having discrete portions |
| JPH08160879A (ja) * | 1994-12-09 | 1996-06-21 | Shimadzu Corp | 頭部装着表示装置 |
| JP2001504605A (ja) * | 1996-08-14 | 2001-04-03 | ラティポフ，ヌラフメド，ヌリスラモビチ | 空間内のユーザの位置及び方向性を追跡及び表示するための方法、ユーザに対し仮想環境を提示するための方法及びこれらの方法を実現するためのシステム |
| JPH10334275A (ja) * | 1997-05-29 | 1998-12-18 | Canon Inc | 仮想現実方法及び装置並びに記憶媒体 |
| EP1060772B1 (en) * | 1999-06-11 | 2012-02-01 | Canon Kabushiki Kaisha | Apparatus and method to represent mixed reality space shared by plural operators, game apparatus using mixed reality apparatus and interface method thereof |
-
2001
- 2001-03-13 JP JP2001071117A patent/JP4708590B2/ja not_active Expired - Fee Related
-
2002
- 2002-03-12 WO PCT/JP2002/002297 patent/WO2002073287A2/en active Application Filing
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09284675A (ja) * | 1996-04-12 | 1997-10-31 | Olympus Optical Co Ltd | 頭部装着型映像表示装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190121597A (ko) * | 2018-04-18 | 2019-10-28 | 삼성전자주식회사 | 가상현실, 증강현실 및 혼합현실을 위한 장치 및 방법 |
| KR102637117B1 (ko) | 2018-04-18 | 2024-02-15 | 삼성전자주식회사 | 가상현실, 증강현실 및 혼합현실을 위한 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2002073287A3 (en) | 2003-10-30 |
| JP2002271817A (ja) | 2002-09-20 |
| WO2002073287A2 (en) | 2002-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5113426B2 (ja) | 頭部装着型表示装置、及びその制御方法 | |
| JP4054585B2 (ja) | 情報処理装置および方法 | |
| US11854171B2 (en) | Compensation for deformation in head mounted display systems | |
| JP4708590B2 (ja) | 複合現実感システム、ヘッドマウントディスプレイ装置、複合現実感実現方法及びプログラム | |
| JPH10327433A (ja) | 合成画像の表示装置 | |
| KR20080024545A (ko) | 화상 표시 시스템, 화상 표시 방법 및 기록 매체 | |
| JP2011010126A (ja) | 画像処理装置、画像処理方法 | |
| WO2020185405A1 (en) | Registration of local content between first and second augmented reality viewers | |
| EP3136724B1 (en) | Wearable display apparatus, information processing apparatus, and control method therefor | |
| JP2004126869A (ja) | 位置姿勢設定器具及び変換パラメータ設定方法並びに複合現実感システム | |
| JP2012244466A (ja) | 立体画像処理装置 | |
| JP2006340017A (ja) | 立体映像表示装置及び立体映像表示方法 | |
| JP2024013947A (ja) | 撮像装置、撮像装置の撮像方法およびプログラム | |
| JP2001218231A (ja) | 立体画像を表示する装置および方法 | |
| JPH11341517A (ja) | 水平配置立体画像表示システム | |
| JP5096770B2 (ja) | 映像表示装置 | |
| JPH02291787A (ja) | 広視野表示装置 | |
| JP2005128877A (ja) | 複合現実感提示システム及び方法、情報処理装置及び方法、並びにコンピュータプログラム | |
| JP2595942B2 (ja) | 立体画像表示装置 | |
| JP4125085B2 (ja) | 画像処理装置、画像処理方法 | |
| JP2000249973A (ja) | 映像表示装置 | |
| JP2003244726A (ja) | 画像合成処理装置 | |
| JP4976108B2 (ja) | 画像表示装置、及び立体画像提示方法 | |
| JP6103743B2 (ja) | ディスプレイ装置 | |
| CN111183634B (zh) | 一种利用透镜还原光场的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20060414 |
|
| RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20070626 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080204 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101014 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101221 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110216 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110308 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110317 |
|
| LAPS | Cancellation because of no payment of annual fees |