JP2007042073A - 映像提示システム、映像提示方法、該映像提示方法をコンピュータに実行させるためのプログラム、および記憶媒体 - Google Patents

Abstract

【課題】第１の表示装置の映像を観測しているユーザが、当該映像を観測しながら、第２の表示装置の映像を見ているユーザから第１の表示装置の映像を観測しているユーザに対して送られた指示を、認識することができる映像提示システムおよび映像提示方法を提供する。
【解決手段】映像提示システムにおいては、入力装置１０５を介して表示装置１０４のＨＭＤ非装着者からＨＭＤ装着者（ＨＭＤ１０１の装着者）への指示が入力されると、三次元描画装置１０２は、ＨＭＤ１０１に表示する仮想空間映像を、入力装置１０４を介して入力されたＨＭＤ非装着者からＨＭＤ装着者への指示が反映されている映像となるように描画する。この描画されたＣＧ映像は、映像合成装置１０３において、ＨＭＤ１０１の撮像部が撮影した映像と合成された後に、ＨＭＤ１０１および表示装置１０４に送出される。
【選択図】図１

Description

本発明は、ユーザに映像を提示するための第１の表示装置および前記第１の表示装置の
ユーザとは異なるユーザ（指示者）に映像を提示するための第２の表示装置を用いる映像提示システム、映像提示方法、該映像提示方法をコンピュータに実行させるためのプログラム、および記憶媒体に関する。

ＶＲ（バーチャルリアリティ）システムは、コンピュータにより作り出された三次元Ｃ
Ｇ（Computer Graphic）映像をユーザに提示することにより、仮想空間をあたかも現実空
間であるかのように感じさせるシステムである。

また、近年、現実空間の映像に三次元ＣＧアニメーションを合成することにより、現実
空間にはない情報をユーザに提示する技術が開発されており、このような技術は、ＭＲ（
Mixed Reality：複合現実感）システムと呼ばれている。このＭＲシステムは、現実空間
と切り離された状況のみにおいて体験することが可能であった仮想空間と現実空間との共
存を目的とし、仮想空間を増強する技術として注目されている。

仮想空間と現実空間とを共存させるためのシステム（ＶＲ／ＭＲシステム）を実現する
代表的な装置として、ヘッドマウントディスプレイ（ＨＭＤ）がある。ＶＲ／ＭＲシステ
ムにおいては、ＨＭＤに仮想空間や現実空間を表示することにより、ＨＭＤを装着したユ
ーザに対して仮想空間および複合現実空間を提示することができる（例えば特許文献１参
照）。

このようなＶＲ／ＭＲシステムは、ＨＭＤを装着したユーザのみに対して仮想空間およ
び複合現実空間を提示する。そのため、ＨＭＤを装着するユーザに提示されている仮想空
間／複合現実空間を、ＨＭＤを装着していないユーザに対して提示するためには、ＨＭＤ
に表示されている映像（主観映像）を分配し、別画面に表示する必要がある。
特開２００２−１５９０１９号公報

ＨＭＤ装着者が見ている主観映像を、別画面に表示し、ＨＭＤ非装着者に提示する場面
、ＨＭＤ非装着者がＨＭＤ装着者に対して指示をしたい場面がある。これは、例えば、Ｈ
ＭＤ非装着者が別画面上の一部分を指し、この部分をさらに詳しく見たいので、ＨＭＤ装
着者に対して指した部分に近寄って見てほしい、などと指示する場面などである。しかし
、ＨＭＤ非装着者が別画面の一部を指示しても、ＨＭＤに表示される映像には変化が生じ
ないため、ＨＭＤ装着者は、それを感知することができない。また、ＨＭＤ装着者が視線
を別画面の方向へ向けてＨＭＤ非装着者の指示内容を確認しようとしても、その瞬間に別
画面に表示される画面は変化し、ＨＭＤ装着者が別画面を見てＨＭＤ非装着者の指示内容
を確認することはできない。

また、ＨＭＤ装着者が見ている主観映像を、別画面に表示し、ＨＭＤ非装着者に提示す
る場面において、ＨＭＤ装着者の頭部が揺れると、これに合わせて別画面に表示されてい
る画面が揺れ、ＨＭＤ非装着者にとっては見づらい画面になることがある。これを避ける
ためには、ＨＭＤ装着者が頭部を静止させるなどとして視点を固定する必要があり、ＨＭ
Ｄ装着者に負担を強いることになる。

本発明の目的は、第１の表示装置の映像を観測しているユーザが、当該映像を観測しな
がら、第２の表示装置の映像を見ているユーザから第１の表示装置の映像を観測している
ユーザに対して送られた指示を、認識することができる映像提示システム、映像提示方法、該映像提示方法をコンピュータに実行させるためのプログラム、および記憶媒体を提供することにある。

上記目的を達成するために、本発明の映像提示システムは、位置および姿勢を検出する検出手段を有し、ユーザに映像を提示するための第１の表示装置と、前記ユーザへ指示を出す指示者に映像を提示するための第２の表示装置と、前記第１の表示装置の位置姿勢に対応する視点での仮想空間映像を描画し、該仮想空間映像を前記第１の表示装置および前記第２の表示装置に表示する描画装置と、前記指示者から前記ユーザへの指示を入力するための入力装置とを備え、前記描画装置は、前記入力装置を介して前記指示者から前記ユーザへの指示が入力された場合、前記第１の表示装置に表示する仮想空間映像を、前記入力装置を介して入力された前記指示者から前記ユーザへの指示が反映されている映像となるように描画することを特徴とする。

上記目的を達成するために、本発明の映像提示システムは、位置および姿勢を検出する検出手段を有し、ユーザに映像を提示するための第１の表示装置と、前記第１の表示装置の位置姿勢に対応する視点での仮想空間映像を描画し、該仮想空間映像を前記第１の表示装置に表示する第１の描画装置と、第３者視点の映像を取得するための撮像装置と、前記撮像装置の位置姿勢に対応する視点での仮想空間映像を描画し、該仮想空間映像を生成する第２の描画装置と、前記ユーザへ指示を出す指示者に前記第２の描画装置で生成された仮想空間映像を提示するための第２の表示装置と、前記指示者から前記ユーザへの指示を入力するための入力装置とを備え、前記第１の描画装置は、前記入力装置を介して前記指示者から前記ユーザへの指示が入力された場合、前記第１の表示装置に表示する仮想空間映像を、前記入力装置を介して入力された前記指示者から前記ユーザへの指示が反映されている映像となるように描画することを特徴とする。

上記目的を達成するために、本発明の映像提示システムは、ユーザに映像を提示するための第１の表示装置と、前記第１の表示装置の位置および姿勢を検出する検出手段と、前記ユーザに指示を出す指示者に映像を提示するための第２の表示装置と、前記検出手段により検出した位置姿勢に基づいて仮想空間映像を描画し、該仮想空間映像を前記第１の表示装置および前記第２の表示装置に表示する描画装置と、前記第２の表示装置に表示されている前記仮想空間映像の位置を指示するための入力装置とを備え、前記描画装置は、前記入力装置を介して前記第２の表示装置に表示されている前記仮想空間映像の位置が指示された場合、前記第１の表示装置に表示する仮想空間映像を、前記入力装置を介して入力された前記指示が反映された映像となるように描画することを特徴とする。

上記目的を達成するために、本発明の映像提示システムは、ユーザに映像を提示するための第１の表示装置と、前記第１の表示装置の位置および姿勢を検出する検出手段と、
前記ユーザに指示を出す指示者に映像を提示するための第２の表示装置と、第３者視点の映像を取得するための撮像装置と、前記検出手段により検出した位置姿勢に基づいて仮想空間映像を描画し、該仮想空間映像を前記第１の表示装置に表示する第１の描画装置と、前記撮像装置の位置姿勢に基づいて仮想空間映像を描画し、該仮想空間映像を前記第２の表示装置に表示する第２の描画装置と、前記第２の表示装置に表示されている前記仮想空間映像の位置を指示するための入力装置とを備え、前記第１の描画装置は、前記入力装置を介して前記第２の表示装置に表示されている前記仮想空間映像の位置が指示された場合、前記第１の表示装置に表示する仮想空間映像を、前記入力装置を介して入力された指示が反映された映像となるように描画することを特徴とする。

上記目的を達成するために、本発明の映像提示方法は、位置および姿勢を検出する検出手段を有し、ユーザに映像を提示するための第１の表示装置および前記ユーザに指示を出す指示者に映像を提示するための第２の表示装置を用いる映像提示方法であって、前記第１の表示装置の位置姿勢に対応する視点での仮想空間映像を描画し、該仮想空間映像を前記第１の表示装置および前記第２の表示装置に表示する描画工程と、前記指示者から前記ユーザへの指示を入力するための入力工程とを有し、前記描画工程では、前記入力工程で前記指示者から前記ユーザへの指示が入力された場合、前記第１の表示装置に表示する仮想空間映像を、前記入力工程で入力された前記指示者から前記ユーザへの指示が反映されている映像となるように描画することを特徴とする。

上記目的を達成するために、本発明の映像提示方法は、位置および姿勢を検出する検出手段を有し、ユーザに映像を提示するための第１の表示装置と、前記ユーザへ指示を出す指示者に映像を提示するための第２の表示装置と、第３者視点の映像を取得するための撮像装置とを用いる映像提示方法であって、前記第１の表示装置の位置姿勢に対応する視点での仮想空間映像を描画し、該仮想空間映像を前記第１の表示装置に表示する第１の描画工程と、前記撮像装置の位置姿勢に対応する視点での仮想空間映像を描画し、該仮想空間映像を前記第２の表示装置に表示する第２の描画工程と、前記指示者から前記ユーザへの指示を入力するための入力工程とを有し、前記第１の描画工程では、前記入力工程で前記指示者から前記ユーザへの指示が入力された場合、前記第１の表示装置に表示する仮想空間映像を、前記入力工程で入力された前記指示者から前記ユーザへの指示が反映されている映像となるように描画することを特徴とする。

上記目的を達成するために、本発明の映像提示方法は、ユーザに映像を提示するための第１の表示装置の位置および姿勢を検出する検出ステップと、前記検出ステップにより検出した位置姿勢に基づいて仮想空間映像を描画する描画ステップと、前記仮想空間映像を前記第１の表示装置と、前記ユーザに指示を出す指示者に映像を提示するための第２の表示装置に表示する表示ステップと、前記第２の表示装置に表示されている前記仮想空間映像の位置を指示するための入力ステップとを備え、前記描画ステップは、前記入力ステップにより前記第２の表示装置に表示されている前記仮想空間映像の位置が指示された場合、前記第１の表示装置に表示する仮想空間映像を、前記入力ステップにより入力された前記指示が反映された映像となるように描画することを特徴とする。

上記目的を達成するために、本発明の映像提示方法をコンピュータに実行させるためのプログラムは、位置および姿勢を検出する検出手段を有し、ユーザに映像を提示するための第１の表示装置および前記ユーザに指示を出す指示者に映像を提示するための第２の表示装置を用いる映像提示システムを制御するためのプログラムであって、前記第１の表示装置の位置姿勢に対応する視点での仮想空間映像を描画し、該仮想空間映像を前記第１の表示装置および前記第２の表示装置に表示する描画モジュールと、前記指示者から前記ユーザへの指示を入力するための少なくとも１つの入力モジュールとを有し、前記描画モジュールは、前記入力モジュールにより前記指示者から前記ユーザへの指示が入力された場合、少なくとも、前記第１の表示装置に表示する仮想空間映像を、前記入力モジュールを介して入力された前記指示者から前記ユーザへの指示が反映されている映像となるように描画することを特徴とする。

上記目的を達成するために、本発明の映像提示方法をコンピュータに実行させるためのプログラムは、ユーザに映像を提示するための第１の表示装置の位置および姿勢を検出する検出モジュールと、前記検出モジュールにより検出した位置姿勢に基づいて仮想空間映像を描画する描画モジュールと、前記仮想空間映像を前記第１の表示装置と、前記ユーザに指示を出す指示者に映像を提示するための第２の表示装置に表示する表示モジュールと、前記第２の表示装置に表示されている前記仮想空間映像の位置を指示するための入力モジュールとを備え、前記描画モジュールは、前記入力モジュールにより前記第２の表示装置に表示されている前記仮想空間映像の位置が指示された場合、前記第１の表示装置に表示する仮想空間映像を、前記入力モジュールにより入力された前記指示が反映された映像となるように描画することを特徴とする。

上記目的を達成するために、本発明の記憶媒体は、上記プログラムをコンピュータ読み取り可能に格納したことを特徴とする。

本発明によれば、第１の表示装置の映像を観測しているユーザが、当該映像を観測しな
がら、第２の表示装置の映像を見ているユーザ（指示者）から第１の表示装置の映像を観測しているユーザに対して送られた指示を、認識することができる。

以下、本発明の実施の形態について図面を参照しながら説明する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る映像提示システムの構成を示すブロック図で
ある。

映像提示システムは、図１に示すように、ＨＭＤ１０１と、三次元ＣＧ描画装置１０２
と、映像合成装置１０３と、表示装置１０４と、入力装置１０５とを備える。

ＨＭＤ１０１は、撮像部、１対の表示部、およびセンサ部（図示せず）を有する。撮像
部は、ＨＭＤ装着者の視点から見た映像を撮影する。この撮影された映像は、映像合成装
置１０３に送出される。１対の表示部は、装着者の左右の目の前にそれぞれ配置され、映
像合成装置１０３から送出された映像を表示する。ここで、左右の表示部には、１つの撮
像部で撮影された同一の映像が表示されようにしてもよいし、また、２つの撮像部でそれ
ぞれ撮影された左右で視差の異なる映像が表示されるようにしてもよい。ここで、左右で
視差の異なる映像を表示する場合、左右の目のそれぞれ用として、２つの三次元ＣＧ描画
装置および２つの映像合成装置を設ける必要がある。

センサ部は、ＨＭＤ１０１の位置および姿勢を検出し、検出された位置および姿勢を示
す位置姿勢情報を三次元ＣＧ描画装置１０２に送出する。センサ部は、ＨＭＤ１０１の位
置および姿勢を検出可能なものであれば、その検出構成は、限定されることはない。例え
ば、センサ部として、磁気センサから構成されるものを用いることができる。また、ＨＭ
Ｄ１０１の外部に光学センサを設け、この光学センサの出力によりＨＭＤ１０１の位置お
よび姿勢を検出するようにしてもよい。また、映像合成装置１０３がＨＭＤ１０１から送
出された映像に基づいてＨＭＤ１０１の位置姿勢を計算することによって、ＨＭＤ１０１
の位置および姿勢を検出するようにしてもよい。

三次元ＣＧ描画装置１０２は、内部に仮想世界の情報を保持し、ＨＭＤ１０１から送出
される位置姿勢情報に基づいて、ＨＭＤ１０１の位置から見える仮想世界のＣＧ映像を描
画し、描画されたＣＧ映像を映像合成装置１０３に送出する。三次元ＣＧ描画装置１０２
は、例えばコンピュータから構成される。

映像合成装置１０３は、ＨＭＤ１０１から送出された映像と三次元ＣＧ描画装置１０２
から送出されたＣＧ映像を合成し、合成映像を生成する。生成された合成映像は、ＨＭＤ
１０１および表示装置１０４に送出される。なお、ＨＭＤ１０１に視差の異なる映像が送
出される場合、表示装置１０４には、右眼用或は左眼用の映像の何れか一方が表示される
ことになる。映像合成装置１０３は、例えば映像キャプチャカードを備えたコンピュータ
から構成される。また、この映像合成装置１０３を構成するコンピュータは、三次元ＣＧ
描画装置１０２を構成するコンピュータと兼ねるようにしてもよい。

表示装置１０４は、映像合成装置１０３から送出された合成映像をＨＭＤ非装着者に提
示するために、当該合成映像を表示する。表示装置１０４は、例えば液晶ディスプレイか
ら構成される。

入力装置１０５は、ＨＭＤ非装着者がＨＭＤ装着に指示するための入力操作を入力し、
この入力操作に応じた入力情報を三次元ＣＧ描画装置１０２に送出する。入力装置１０５
は、例えば表示装置１０４の画面上に貼り付けられたタッチパネルなどから構成される。

次に、本映像提示システムの処理について図２を参照しながら説明する。

図２は、図１の映像提示システムの処理手順を示すフローチャートである。図２に示す
フローチャートには、三次元ＣＧ描画装置１０２および映像合成装置１０３のそれぞれに
より、それぞれの内部に格納されているプログラムに従って実行される手順が含まれてい
る。

まず、本映像提示システムにおいては、まずステップＳ１において、三次元ＣＧ描画装
置１０２がＨＭＤ１０１の位置姿勢情報を取得する。続いて、ステップＳ２において、三
次元ＣＧ描画装置１０２は、入力装置1０５を介して入力されたＨＭＤ非装着者による入
力操作に対応する入力情報を受け取る。本実施の形態においては、入力装置１０５が表示
装置１０４の画面に付けられたタッチパネルから構成されるので、この入力操作は、ＨＭ
Ｄ非装着者の手によって表示装置１０４の画面上の所望の位置に触れることによって行わ
れる。この場合、三次元ＣＧ描画装置１０２は、画面上のＨＭＤ非装着者の手が触れた位
置の座標値を取得することになる。

次いで、ステップＳ３において、三次元ＣＧ描画装置１０２は、内部に保持する仮想世
界の情報およびＨＭＤ１０１から得られたＨＭＤ１０１の位置姿勢情報に基づいて、ＨＭ
Ｄ１０１の位置から見た仮想世界のＣＧ映像をＨＭＤ１０１の画面に描画する。また、三
次元ＣＧ描画装置１０２は、入力装置１０５から得られた座標値に基づいて、その座標値
が示す位置に対応する仮想世界における三次元的な位置を求める。このとき、与えられた
座標値が示す位置に対応する仮想世界における三次元的な位置を求めるための方法として
は、次の通りである。例えば、視点位置を始点とし、得られた座標値の方向に向けて伸び
る仮想の光線を設定し、その光線が仮想世界に存在する物と最初に交差する点を、得られ
た座標値に対応する三次元的な位置として求める方法がある。そして、このようにして求
められた位置にＣＧ映像が描画され、描画されたＣＧ映像は、映像合成装置１０３に送出
される。

次いで、ステップＳ４において、映像合成装置１０３は、ＨＭＤ１０１からその撮像部
が撮影した映像を取得し、この取得した映像と三次元ＣＧ描画装置１０２からのＣＧ映像
とを合成する。この合成映像は、ＨＭＤ１０１および表示装置１０４へ送出される。

続くステップＳ５において、ＨＭＤ１０１および表示装置１０４は、上記合成映像を表
示する。これにより、ＨＭＤ１０１の装着者は、ＨＭＤ１０１の非装着者が指示した位置
を確認することができる。ここで、ＨＭＤ１０１の表示部が左右で視差の異なる映像を表
示している場合、装着者はステレオ視によりポインタオブジェクト６０１（図６等参照、
詳細は後述する）の位置を三次元的に認識することができる。また、表示装置１０４を見
ているＨＭＤ非装着者は、自分の手で指した位置にオブジェクト例えばポインタオブジェ
クト６０１（図６等参照。詳細は後述する）が表示されているのを確認することができる
。

次に、本映像提示システムの表示例について図３〜図７を参照しながら説明する。図３
は、ＨＭＤ装着者３０１が仮想の自動車３０２を観察している状態を示す図である。図４
は、表示装置１０４の画面４０１に表示されているＨＭＤ装着者の主観映像の一例を示す
図である。図５は、ＨＭＤ非装着者による入力操作状態の一例を示す図である。図６は、
ＨＭＤ１０１に表示される映像の一例を示す図である。図７は、表示装置１０４に表示される映像の一例を示す図である。

ここでは、図３に示すように、ＨＭＤ１０１を装着したＨＭＤ装着者３０１が仮想の自
動車３０２の観察を行う場合を説明する。この場合、図４に示すように、ＨＭＤ装着者３
０１に提示される主観映像と同じ画像が表示装置１０４の画面４０１に表示される。そし
て、ＨＭＤ非装着者は、画面４０１を見てＨＭＤ装着者に対して指示を出すことができる
。

例えば、ＨＭＤ非装着者が表示装置１０４の画面４０１を見て、自動車３０２の所望の
部位を確認したいとき、図５に示すように、ＨＭＤ非装着者は、画面４０１に表示されて
いる自動車３０２の確認したい部位を自分の手５０１で直接触れる。このＨＭＤ非装着者
の手５０１が触れた位置は、入力装置１０５を介して、座標値として、三次元ＣＧ描画装
置１０２に入力される（図２のステップＳ２）。三次元ＣＧ描画装置１０２は、入力装置
１０５から得られた座標値に基づいて、前述のように、その座標値が示す位置に対応する
仮想世界上の位置を求める。そして、三次元ＣＧ描画装置１０２は、保持する仮想世界の
情報、ＨＭＤ１０１から得られたＨＭＤ１０１の位置姿勢情報に基づいて、例えば図６に
示すようなＨＭＤ１０１の位置から見た仮想世界のＣＧ映像を描画する（図２のステップ
Ｓ３）。この描画されたＣＧ映像は、仮想世界上の求められた位置にポイントオブジェク
ト６０１と、ポインタオブジェクト６０１の位置を始点とする引き出し線６０２と、引き
出し線６０２の末端にある注釈文字オブジェクト６０３とを含む。これらのオブジェクト
を含むＣＧ映像は、映像合成装置１０３に送出される。

映像合成装置１０３は、ＨＭＤ１０１の撮像部が撮影した映像と三次元ＣＧ描画装置１
０２からのＣＧ映像とを合成し（図２のステップＳ４）、この合成映像はＨＭＤ１０１お
よび表示装置１０４に送出される。

ＨＭＤ１０１の表示部には、図６に示す映像が表示される（図２のステップＳ５）。こ
れにより、ＨＭＤ装着者３０１は、上記映像を見て、ＨＭＤ非装着者が指示する位置を確
認することができる。ここで、ＨＭＤ１０１の表示部が左右で視差の異なる映像を表示す
る場合、ＨＭＤ装着者３０１は、ステレオ視によりポインタオブジェクト６０１の位置を
三次元的に認識することができる。また、表示装置１０４には、図７に示すような映像が
表示される（図２のステップＳ５）。これにより、ＨＭＤ非装着者は、自分の手５０１で
指した位置にポインタオブジェクト６０１が表示されていることを確認することができる
。

このように、本実施の形態によれば、ＨＭＤ装着者が観察する映像を、ＨＭＤ非装着者
が見ることができ、さらにその映像を観察するＨＭＤ装着者に対して指示を送ることがで
きる。さらに、ＨＭＤ装着者は、視点を動かすことなく、観察する映像から、ＨＭＤ非装
着者による指示内容を認識することができる。

なお、本実施の形態においては、表示装置１０４および入力装置１０５の設置数を１つ
としているが、複数の表示装置および入力装置を設置するようにしてもよい。この場合、
ＨＭＤ装着者は、それぞれの入力装置で指示された位置が合成されて映像を確認すること
になる。なお、それぞれの表示装置は、対応する入力装置から入力した位置のみを表示し
ても、他の入力装置から入力された位置を合成表示してもよい。更に、これらを切り替え
られるようにしてもよい。

（第２の実施の形態）
次に、本発明の第２の実施の形態について図８〜図１２を参照しながら説明する。図８
は、本発明の第２の実施の形態に係る映像提示システムの構成を示すブロック図である。
図９は、図８の映像提示システムの処理手順を示すフローチャートである。図１０は、Ｈ
ＭＤ装着者３０１が移動して仮想の自動車３０２に対する観察位置を変更した状態を示す
図である。図１１は、表示装置１０４に表示される映像の一例を示す図である。図１２は
、ＨＭＤ１０１に表示される映像の一例を示す図である。

本実施の形態は、上記第１の実施の形態に対し、ＨＭＤ装着者が観察している所望の時
点での映像を静止画としてキャプチャし、キャプチャされた静止画をＨＭＤ非装着者が見
ている画面に提示する機能を有する点で異なる。

本実施の形態には、図８に示すように、上記第１の実施の形態の構成に対して、キャプ
チャ決定ボタン８０１、キャプチャキャンセルボタン８０２および二次元ＣＧ描画装置８
０３が追加されている。キャプチャ決定ボタン８０１は、表示装置１０４の画面に表示さ
れるタッチキーから構成されており、キャプチャ決定ボタン８０１が押下されると、キャ
プチャ決定信号が入力装置１０５に送られる。また、キャプチャ決定ボタン８０１をハー
ドキーから構成するようにしてもよい。キャプチャキャンセルボタン８０２は、表示装置
１０４の画面に表示されるタッチキーから構成されており、キャプチャキャンセルボタン
８０２が押下されると、キャプチャキャンセル信号が入力装置１０５に送られる。キャプ
チャキャンセルボタン８０２は、上記タッチキーに代えて、ハードキーからなるものでも
よい。

キャプチャ決定信号およびキャプチャキャンセル信号は、入力装置１０５を介して三次
元ＣＧ描画装置１０２および二次元ＣＧ描画装置８０３へ送出される。

二次元ＣＧ描画装置８０３は、入力装置１０５からの入力に応じた二次元ＣＧ映像を描
画するための装置である。また、二次元ＣＧ描画装置８０３は、映像合成装置１０３から
合成映像を取得し、表示装置１０４へ送出する。この二次元ＣＧ描画装置８０３は、例え
ばコンピュータから構成される。

次に、本実施の形態の映像提示システムの処理について図９を参照しながら説明する。
本実施の形態においては、上記第１の実施の形態の図２に示す処理に対して、ステップＳ
１０〜Ｓ１４が加えられており、また、二次元ＣＧ描画装置８０３による処理が加えられ
ている。また、図９中、図２に示すステップと同一のステップには、同一の符号が付され
ている。

本実施の形態においては、図９に示すように、ステップＳ１０で、三次元ＣＧ描画装置
１０２がキャプチャ決定ボタン８０１、キャプチャキャンセルボタン８０２の押下の有無
を判定する。ここで、いずれのボタンも押下されていない場合、三次元ＣＧ描画装置１０
２は、ステップＳ１へ進む。また、キャプチャ決定ボタン８０１が押下されている場合、
三次元ＣＧ描画装置１０２は、ステップＳ１１へ進み、キャプチャキャンセルボタン８０
２が押下されている場合、ステップＳ１２へ進む。

また、二次元ＣＧ描画装置８０３は、キャプチャ決定ボタン８０１が押下されている場
合、ステップＳ３１へ進み、キャプチャキャンセルボタン８０２が押下されている場合、
ステップＳ３２へ進む。

キャプチャ決定ボタン８０１、キャプチャキャンセルボタン８０２のいずれのボタンも
押下されていない場合、動作モードがライブモードであるので、三次元ＣＧ描画装置１０
２がステップＳ１，Ｓ２，Ｓ３を実行する。続いて映像合成装置１０３がステップＳ４を
実行した後にステップＳ５へ進む。このステップＳ５においては、映像合成装置１０３は
、上記ステップＳ４において生成された合成映像をＨＭＤ１０１および二次元ＣＧ描画装
置８０３へ送出する。二次元ＣＧ描画装置８０３は、映像合成装置１０３から送出された
合成映像を受け取ると、ステップＳ３３において、動作モードの判別を行う。ここで、動
作モードがライブモードである場合、ステップＳ３７に進み、二次元ＣＧ描画装置８０３
は、映像合成装置１０３から送出された合成映像をそのまま表示装置１０４へ送出し、表
示装置１０４には、上記合成映像が表示される。このように動作モードがライブモードで
ある場合、上記第１の実施の形態と同様の動作が行われる。

キャプチャ決定ボタン８０１が押下された場合、ステップＳ１１及びステップＳ３１に
進む。三次元ＣＧ描画装置１０２は、ステップＳ１１において、キャプチャ決定ボタン８
０１が押下された時点でのＨＭＤ１０１からの位置姿勢情報に基づいてＨＭＤ１０１の位
置および姿勢を記録するとともに、動作モードをキャプチャモードへ移行させる。二次元
ＣＧ描画装置８０３は、ステップＳ３１において、キャプチャ決定ボタン８０１が押下さ
れた時点での、映像合成装置１０３からの合成映像を静止画として記録する。また、二次
元ＣＧ描画装置８０３は、その動作モードをキャプチャモードへ移行する。

次いで、三次元ＣＧ描画装置１０２は、ステップＳ１において、ＨＭＤ１０１の位置姿
勢情報を取得し、続くステップＳ２において、入力装置１０５を介して、表示装置１０４
の表示画面上のＨＭＤ非装着者の手が触れた位置の座標値を取得する。そして、三次元Ｃ
Ｇ描画装置１０２は、ステップＳ１３において、動作モードの判別を行う。ここでは、動
作モードがキャプチャモードであると判別されるので、三次元ＣＧ描画装置１０２は、ス
テップＳ１４において、三次元ＣＧ映像を描画する。この際、仮想世界のＣＧ映像が描画
されるとともに、上記ステップＳ１１において記録されたＨＭＤ１０１の位置および姿勢
を表すためのＣＧ映像が描画される。また、上記ステップＳ１１において記録されたＨＭ
Ｄ１０１の位置および姿勢と上記ステップＳ２で取得された座標値とに基づいて、ポイン
タオブジェクト、引き出し線、注釈文字オブジェクトなどが描画される。描画されたＣＧ
映像は、映像合成装置１０３に送出される。

次いで、映像合成装置１０３は、ステップＳ４において、ＨＭＤ１０１からその撮像部
が撮影した映像を取得し、この取得した映像と三次元ＣＧ描画装置１０２からのＣＧ映像
と合成する。この合成映像は、ステップＳ５において、ＨＭＤ１０１および二次元ＣＧ描
画装置８０３に送出される。これにより、ＨＭＤ１０１には、上記合成映像が表示される
。

また、二次元ＣＧ描画装置８０３は、上記合成画像を受け取ると、ステップＳ３３にお
いて、動作モードの判別を行う。ここでは、動作モードがキャプチャモードであると判別
されるので、二次元ＣＧ描画装置８０３は、ステップＳ３４において、入力装置１０５を
介してＨＭＤ非装着者の入力操作によって得られた座標値を取得する。

次いで、二次元ＣＧ描画装置８０３は、ステップＳ３５において、取得した座標値に基
づいて、ポインタオブジェクト、引き出し線、注釈文字オブジェクトを表す二次元ＣＧ映
像を描画する。そして、二次元ＣＧ描画装置８０３は、ステップＳ３６において、上記ス
テップＳ３１で記録された静止画と上記ステップＳ３５で描画された二次元ＣＧ映像とを
合成し、その合成映像を表示装置１０４に送出する。これにより、表示装置１０４には、
キャプチャされた静止画と二次元ＣＧ映像との合成画像が表示される。

キャプチャキャンセルボタン８０２が押下された場合、三次元ＣＧ描画装置１０２は、
ステップＳ１２において、記録されているＨＭＤ１０１の位置および姿勢をクリアし、動
作モードをライブモードへ移行する。二次元ＣＧ描画装置８０３は、ステップＳ３２にお
いて、その動作モードをライブモードへ移行する。

その後、上述したように、三次元ＣＧ描画装置１０２は、ステップＳ１，２，３を実行
し、映像合成装置１０３は、ステップＳ４，５を実行する。また、二次元ＣＧ描画装置８
０３は、ステップＳ３７を実行する。

次に、本映像提示システムの表示例について図１０〜図１２を参照しながら説明する。

ここでは、図１０に示すように、ＨＭＤ装着者３０１が仮想の自動車３０２を地点Ｐ１
で観察している時点で、表示装置１０４を見ているＨＭＤ非装着者がキャプチャ決定ボタ
ン８０１を押し、その後ＨＭＤ装着者が地点Ｐ２へ移動した場合を説明する。

具体的には、ＨＭＤ装着者３０１が仮想の自動車３０２を地点Ｐ１で観察しているとき
、キャプチャ決定ボタン８０１が押下されると、表示装置１０４の画面４０１には、図１
１に示すような静止画が表示される。この静止画は、地点Ｐ１でＨＭＤ装着者が見ていた
画面を静止画にしたものである。この画面上で、ＨＭＤ非装着者が自分の手５０１で表示
装置１０４の画面４０１上の位置を触れると、ＨＭＤ非装着者が手５０１で指している位
置には、ポインタオブジェクト１１０１が描画される。また、ポインタオブジェクト１１
０１を始点とする引き出し線１１０２が、その末端には注釈文字オブジェクト１１０３が
それぞれ描画される。

ＨＭＤ装着者３０１が地点Ｐ１から地点Ｐ２へ移動すると、ＨＭＤ１０１の表示部には
、図１２に示すような画面６０４が表示される。ここでは、仮想の自動車３０２に加えて
、ポインタオブジェクト１２０１、引き出し線１２０２、注釈文字オブジェクト１２０３
が描画されている。ここで、ポインタオブジェクト１２０１の位置は、ＨＭＤ非装着者が
指定した位置と、予め記録されているＨＭＤ１０１の位置および姿勢とに基づいて計算さ
れている。そのため、図１１のポインタオブジェクト１１０１と図１２のポインタオブジ
ェクト１２０１は、仮想の自動車３０２の同じ位置を指し示すことになる。

また、図１２に示す画面６０４には、キャプチャ決定時のＨＭＤ１０１の位置および姿
勢を表すためのＣＧ映像Ｐ１が描画されている。このＣＧ映像Ｐ１から、ＨＭＤ装着者は
、表示装置１０４を見ているＨＭＤ非装着者が仮想の自動車３０２をどのような視点から
見ているのかを知ることができる。

以上より、本実施の形態によれば、表示装置１０４を見ているＨＭＤ非装着者が静止画
を見ながら、ＨＭＤ装着者に対して指示を出すことができるため、ＨＭＤ装着者の動きに
伴うＨＭＤ１０１の揺れに起因する画面の揺れに悩まされることがなくなる。また、ＨＭ
Ｄ装着者は、ＨＭＤ１０１の揺れを気にせずに、自由に移動することができるとともに、
移動しながら、表示装置１０４を見ているＨＭＤ装着者の指示を受けることができる。

（第３の実施の形態）
次に、本発明の第３の実施の形態について図１３および図１４を参照しながら説明する
。図１３は、本発明の第３の実施の形態に係る映像提示システムにおいてＨＭＤ装着者が
移動して仮想の自動車に対する観察位置を変更した状態を示す図である。図１４は、図１３の映像提示システムの表示装置に表示される映像の一例を示す図である。

本実施の形態においては、上記第２の実施の形態に対して、三次元ＣＧ描画装置１０２
に対して異なる時間におけるＨＭＤ１０１の位置および姿勢をそれぞれ記録する機能、二
次元ＣＧ描画装置８０３に対して画面を分割表示する機能をそれぞれ設けるとともに、ま
たシステム全体に注釈文字オブジェクトを自由に指定する機能が設けられている。

ここでは、例えば図１３に示すように、ＨＭＤ装着者が地点Ｐ１１，Ｐ１２，Ｐ１３へ
順に移動した際に、地点Ｐ１１，Ｐ１２のそれぞれでキャプチャ決定ボタン８０１が押下
され、その後に、ＨＭＤ装着者がある地点Ｐ１３へ移動した場合を説明する。

この場合、表示装置１０４の画面４０１には、図１４に示すように、各地点Ｐ１１，Ｐ
１２での静止画像１４０１，１４０２と、ＨＭＤ装着者が現在見ている映像すなわち動画
像１４０３とが分割画面として表示される。ＨＭＤ非装着者は、分割表示されている画面
１４０１，１４０２，１４０３のそれぞれに対して指示を出すことができ、また、表示す
る注釈文字オブジェクトを注釈文字オブジェクト１４０４，１４０５のように目的に応じ
て自由に変更することができる。この注釈文字オブジェクトは、予め用意された文字オブ
ジェクトを入力装置１０５により選択し、またはその都度、入力装置１０５により入力す
る構成としてもよい。

（第４の実施の形態）
次に、本発明の第４の実施の形態について図１５〜図２３を参照しながら説明する。図１５は、本発明の第４の実施の形態に係る映像提示システムの構成を示すブロック図である。図１６は、図１５の映像提示システムの処理手順を示すフローチャートである。図１７は、図１５の映像提示システムにおいて、客観視点カメラ１５０１及びＨＭＤ装着者３０１が仮想の自動車３０２の観察を行っている状態を示す図である。図１８は、入力操作が行われる前における、表示装置１０４の画面４０１に表示される映像の一例である。図１９は、入力操作が行われる前における、表示装置１５０４の画面１８０１に表示される映像の一例である。図２０は、非ＨＭＤ装着者による入力操作状態を示した図である。図２１は、入力操作が行われた後における、表示装置１０４の画面４０１に表示される映像の一例である。図２２は、入力操作が行われた後における、ＨＭＤ装着者の主観映像の一例ある。図２３は、入力操作後が行われた後における、表示装置１５０４の画面１８０１に表示される映像の一例である。

本第４の実施の形態は、上記第１の実施の形態に対し、撮像部をＨＭＤ１０１から客観視点カメラ１５０１に変更した構成を追加し、非ＨＭＤ装着者がＨＭＤ装着者３０１の主観映像に対して指示できるのと同様に、客観視点カメラ１５０１の映像に対しても指示を出すことができる。また、表示する指示オブジェクトはポインタオブジェクト、引き出し線６０２、注釈文字オブジェクト６０３に加えて、ポインタオブジェクトまでの線分、指示領域を示す領域オブジェクト等の指示オブジェクトを表示する機能が設けられている。

本第４の実施の形態には、図１５に示すように、図１の構成に加えて、客観視点カメラ１５０１、三次元ＣＧ描画装置１５０２、映像合成装置１５０３、表示装置１５０４、入力装置１５０５、ポインティングデバイス１５０６が含まれる。なお、本実施形態は、映像合成装置１０３、１５０３ごとに表示装置１０４、１５０４を用意することに限定されるものではなく、複数の映像合成装置１０３、１５０３の入力を切り替えて表示する表示装置を用いても良い。また、画面の切り替えだけではなく、複数の映像合成装置１０３、１５０３の入力を画面分割により同時に表示しても良い。客観視点カメラ１５０１とは、撮像部とセンサ部（図示せず）が付属された装置であり、固定式であっても移動式であっても良い。なお、客観視点カメラについては、ＭＲシステムを実現するために必要なカメラであり、その技術については既に公知であるため、その詳細については省略する。

また、入力装置１０５への入力情報は、三次元ＣＧ描画装置１０２に送出されると同時に三次元ＣＧ描画装置１５０２へも送出される。同様に、入力装置１５０５への入力情報は三次元ＣＧ描画装置１５０２へ送出されると同時に三次元ＣＧ描画装置１０２へも送出される。ポインティングデバイス１５０６はセンサ部（図示せず）が付属された装置であり、センサ部によって検出されたポインティングデバイス１５０６の位置姿勢情報は、三次元ＣＧ描画装置１０２及び１５０２へ送出される。

次に、図１６のフローチャートを用いて、図１５の映像提示システムの処理手順を説明する。

図１６に示すフローチャートには、三次元ＣＧ描画装置１５０２および映像合成装置１５０３のそれぞれにより、それぞれの内部に格納されているプログラムに従って実行される手順が含まれている。

まず、本映像提示システムにおいては、まずステップＳ４１において、三次元ＣＧ描画装置１０２がＨＭＤ１０１及びポインティングデバイス１５０６の位置姿勢情報を取得する。同様にして、三次元ＣＧ描画装置１５０２が客観視点カメラ１５０１及びポインティングデバイス１５０６の位置姿勢情報を取得する。

続いて、ステップＳ４２において、三次元ＣＧ描画装置１０２、１５０２は、入力装置１０５を介して入力されたＨＭＤ非装着者による入力操作に対応する入力情報を受け取る。本第４の実施の形態においては、入力装置１０５が表示装置１０４の画面に付けられたタッチパネルから構成されるので、この入力操作は、ＨＭＤ非装着者の手によって表示装置１０４の画面上の所望の位置に触れることによって行われる（図２０）。

次いで、ステップＳ４３において、三次元ＣＧ描画装置１０２は、内部に保持する仮想世界の情報およびＨＭＤ１０１から得られたＨＭＤ１０１の位置姿勢情報に基づいて、ＨＭＤ１０１の位置から見た仮想世界のＣＧ映像を描画し、映像合成装置１０３に送出する。同様に、三次元ＣＧ描画装置１５０２は、内部に保持する仮想世界の情報および客観視点カメラ１５０１から得られた客観視点カメラ１５０１の位置姿勢情報に基づいて、客観視点カメラ１５０１の位置から見た仮想世界のＣＧ映像を描画し、映像合成装置１５０３に送出する。この描画されたＣＧ映像は、仮想世界上の求められた位置にポインタオブジェクトと、ポインタオブジェクトの位置を始点とする引き出し線６０２と、引き出し線６０２の末端にある注釈文字オブジェクト６０３とを含む。また、三次元ＣＧ描画装置１０２、１５０２は、入力装置１０５から得られたディスプレイ上の座標値から、その座標値が示す位置に対応する仮想世界における三次元的な位置及び形状をそれぞれ求める。このとき、与えられた座標値が示す位置及び形状を求めるための方法として、例えば以下の方法を用いる。まず、入力装置１０５で得た座標値から仮想世界における３次元位置を求める。このとき、例えば、視点位置を始点とし、得られた座標値の方向に向けて伸びる仮想の光線を設定し、その仮想光線が仮想世界に存在する物と最初に交差する点を３次元位置とする。この３次元位置を記録し、３次元位置を繋げた軌跡を３次元的な形状として記録する。求められた形状に対して自動車３０２の仮想モデルの該当領域にテクスチャマッピングが施される。なお、本発明は、自動車３０２にテクスチャマッピングすることで指示オブジェクトを表示することに限定されるものではなく、単に形状に応じて新たな３次元オブジェクトを生成し、表示してもよい。このとき用いるテクスチャは目的に応じて、パターンや色などを自由に変更することができる。テクスチャマッピングによって生成されたＣＧ映像も同様に、それぞれ映像合成装置１０３、１５０３に送出される。さらに、三次元ＣＧ描画装置１０２、１５０２は、Ｓ４１で取得したポインティングデバイス１５０６の位置を開始点として、入力装置１０５から得られた座標値の一部を終点する線分画像をそれぞれ描画し、この生成されたＣＧ映像を同様に、それぞれ映像合成装置１０３、１５０３に送出する。座標値の一部とは、例えば入力開始点または、入力終了点、入力した領域の重心点などが考えられ、目的に応じて変更できる。

次いで、ステップＳ４４において、映像合成装置１０３は、ＨＭＤ１０１からその撮像部が撮影した映像を取得し、この取得した映像と三次元ＣＧ描画装置１０２からのＣＧ映像とを合成する。この合成映像は、表示装置１０４へ送出される。同様に、映像合成装置１５０３は、客観視点カメラ１５０１からその撮像部が撮影した映像を取得し、この取得した映像と三次元ＣＧ描画装置１５０２からのＣＧ映像とを合成する。この合成映像は、表示装置１５０４へ送出される。

続くステップＳ４５において、表示装置１０４、１５０４は、上記合成映像を表示する。これにより、ＨＭＤ装着者はＨＭＤ非装着者が指示した位置を確認することができ、またＨＭＤ装着者、ＨＭＤ非装着者の両者が指示情報（引き出し線６０２、注釈文字オブジェクト６０３、軌跡オブジェクト１９０１、ポインタオブジェクトまでの線分オブジェクト２００１）を確認することができる。

上記では、入力装置１０５を介して入力操作が行われた場合を説明したが、入力装置１５０５に対して入力操作が行われても良い。この場合にも、入力情報は三次元ＣＧ描画装置１０２、１５０２の両方に送出される。その後の処理は、上記で説明した処理と同様である。

（第５の実施の形態）
前述の第４の実施の形態では、入力装置１０５を表示装置１０４の画面に付けられたタッチパネルとしたが、これに限定されるものではなく、入力装置１０５をマウス、レーザーポインタなどとしても構わない。例えば、入力装置１０５がレーザーポインタの場合は、表示装置１０４の表面に光を検知する装置が備えられ、レーザーが投影された表示装置１０４上の位置（座標）を入力してもよい。また、複数の発光色の違うレーザーポインタを用いて、複数人で同時にポインティングできるようにしても良い。例えば、表示装置１０４に備えられた光を検知する装置がレーザーの色の違いを認識し、類似した色でポインタオブジェクトまでの線分オブジェクト２００１を描画しても良い。

（第６の実施の形態）
前述の第４の実施の形態では、ステップ４３において、指示オブジェクトとして、ポイントオブジェクト、ポイントオブジェクトの位置を始点とする引き出し線６０２、引き出し線６０２の末端にある注釈文字オブジェクト６０３、テクスチャマッピングによって生成されたＣＧ画像及び線分オブジェクト２００１のこれら全てが（以下、（ポイントオブジェクト、引き出し線６０２、注釈文字オブジェクト６０３を含めて指示オブジェクトと呼ぶ）、表示装置１０４、１５０４に表示されるとしたが、これに限定されるものではなく、これらの指示オブジェクトから必要なものだけを選択的に表示させても良い。

（第７の実施の形態）
第７の実施の形態は、客観視点カメラ１５０１の焦点位置から線分オブジェクト２００１が出る場合を示す。

前述の第４の実施の形態では、線分オブジェクト２００１の開始点をポインティングデバイス１５０６としたが（図２１）、これに限定されるものではなく、線分オブジェクト２００１の開始点をＨＭＤ１０１の撮像部３０１の焦点位置（図２４、２５）、あるいは、客観視点カメラ１５０１（図２６、２７）の焦点位置としても良い。

（第８の実施の形態）
複数の客観ディスプレイを区別するために色を変えてもよく、第８の実施の形態は、一つの客観ディスプレイに複数の指示オブジェクトの色を変えて指定する場合を示す。

複数の指示者、または複数の入力装置、または複数の表示装置、または複数のＨＭＤあるいは客観カメラが存在する場合に、どこから指示が行われたか、あるいは誰に対して指示を行ったかを区別するために、ステップ４３において、生成される指示オブジェクトを、指示者ごとに、または表示装置ごとに、または入力装置ごとに、またはＨＭＤ・客観カメラごとに色を変えて生成し、ステップ４５において、ステップ４３にて生成された色分けされた指示オブジェクトを表示装置に表示してもよい。

上記各実施の形態においては、仮想の自動車の観察を行い、この自動車のデザインを評
価する場合を説明したが、本発明は、他の用途例えばゲームやアミューズメント設備など
のエンタテインメント装置、建築や医療などのシミュレーション装置、メンテナンス作業
のアシスタントなどの業務用アプリケーションにも用いることが可能である。

また、上記各実施の形態において、ＨＭＤ非装着者の指示により表示されたポインタオブジェクト６０１等を非表示にする処理は、例えば、次のいずれかを用いればよい。即ち、指示されてから所定の時間が経過した後に非表示にする。ＨＭＤ非装着者が再度同じ位置の近傍を指示したときに非表示にする。ＨＭＤ非装着者が、別の新たな位置を指示したときに非表示にする。ＨＭＤ非装着者が、画面に表示された取消キー等を指示すると非表示にする。ＨＭＤ装着者が、確認動作、例えば、頭を上下に移動する等を行うことにより非表示にする。

また、本発明の目的は、前述した各実施形態の機能を実現するソフトウエアのプログラ
ムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成される。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した各実施形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登
録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ等の光ディスク、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。または、プログラムコードを、ネットワークを介してダウンロードしてもよい。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機
能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた
後、そのプログラムコードの指示に基づき、その拡張機能を拡張ボードや拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

本発明の第１の実施の形態に係る映像提示システムの構成を示すブロック図である。 図１の映像提示システムの処理手順を示すフローチャートである。 ＨＭＤ装着者３０１が仮想の自動車３０２を観察している状態を示す図である。 表示装置１０４の画面４０１に表示されているＨＭＤ装着者の主観映像の一例を示す図である。 ＨＭＤ非装着者による入力操作状態の一例を示す図である。 ＨＭＤ１０１に表示される映像の一例を示す図である。 表示装置に表示される映像の一例を示す図である。 本発明の第２の実施の形態に係る映像提示システムの構成を示すブロック図である。 図８の映像提示システムの処理手順を示すフローチャートである。 ＨＭＤ装着者３０１が移動して仮想の自動車３０２に対する観察位置を変更した状態を示す図である。 表示装置１０４に表示される映像の一例を示す図である。 ＨＭＤ１０１に表示される映像の一例を示す図である。 本発明の第３の実施の形態に係る映像提示システムにおいてＨＭＤ装着者が移動して仮想の自動車に対する観察位置を変更した状態を示す図である。 図１３の映像提示システムの表示装置に表示される映像の一例を示す図である。 本発明の第４の実施の形態に係わる映像提示システムの構成を示すブロック図である。 図１５の映像提示システムの処理手順を示すフローチャートである。 図１５の映像提示システムにおいて、客観視点カメラ１５０１及びＨＭＤ装着者３０１が仮想の自動車３０２の観察を行っている状態を示す図である。 入力操作が行われる前における、表示装置１０４の画面４０１に表示される映像の一例である。 入力操作が行われる前における、表示装置１５０４の画面１８０１に表示される映像の一例である。 非ＨＭＤ装着者による入力操作状態を示した図である。 入力操作が行われた後における、表示装置１０４の画面４０１に表示される映像の一例である。 入力操作が行われた後における、ＨＭＤ装着者の主観映像の一例ある。 入力操作が行われた後における、表示装置１５０４の画面１８０１に表示される映像の一例である。 入力操作が行われた後における、表示装置１０４の画面４０１に表示される映像の一例である。 入力操作が行われた後における、表示装置１５０４の画面１８０１に表示される映像の一例である。 入力操作が行われた後における、表示装置１０４の画面４０１に表示される映像の一例である。 入力操作が行われた後における、表示装置１５０４の画面１８０１に表示される映像の一例である。

符号の説明

１０１ ＨＭＤ
１０２ 三次元ＣＧ描画装置
１０３ 映像合成装置
１０４ 表示装置
１０５ 入力装置
８０１ キャプチャ決定ボタン
８０２ キャプチャキャンセルボタン
８０３ 二次元ＣＧ描画装置

Claims (28)

1. 位置および姿勢を検出する検出手段を有し、ユーザに映像を提示するための第１の表示装置と、
   前記ユーザへ指示を出す指示者に映像を提示するための第２の表示装置と、
   前記第１の表示装置の位置姿勢に対応する視点での仮想空間映像を描画し、該仮想空間
   映像を前記第１の表示装置および前記第２の表示装置に表示する描画装置と、
   前記指示者から前記ユーザへの指示を入力するための入力装置とを備え、
   前記描画装置は、前記入力装置を介して前記指示者から前記ユーザへの指示が入力された場合、前記第１の表示装置に表示する仮想空間映像を、前記入力装置を介して入力された前記指示者から前記ユーザへの指示が反映されている映像となるように描画することを特徴とする映像提示システム。
2. 前記描画装置は、前記入力装置を介して前記指示者から前記ユーザへの指示が入力された場合、前記入力された指示に応じた映像を含む仮想空間映像を描画することを特徴とする請求項１記載の映像提示システム。
3. 前記描画装置は、前記第１の表示装置に表示されている映像を静止画として取り込むキャプチャ機能部を有し、前記キャプチャ機能部によって取り込まれた静止画を第２の表示装置に表示することを特徴とする請求項１又は２記載の映像提示システム。
4. 前記描画装置は、前記キャプチャ機能部で取り込まれた静止画を前記第２の表示装置に画面分割して表示することを特徴とする請求項３記載の映像提示システム。
5. 前記入力装置は、前記第２の表示装置の画面分割されている分割画面毎に指示を入力することを特徴とする請求項４記載の映像提示システム。
6. 位置および姿勢を検出する検出手段を有し、ユーザに映像を提示するための第１の表示装置と、
   前記第１の表示装置の位置姿勢に対応する視点での仮想空間映像を描画し、該仮想空間映像を前記第１の表示装置に表示する第１の描画装置と、
   第３者視点の映像を取得するための撮像装置と、
   前記撮像装置の位置姿勢に対応する視点での仮想空間映像を描画し、該仮想空間映像を生成する第２の描画装置と、
   前記ユーザへ指示を出す指示者に前記第２の描画装置で生成された仮想空間映像を提示するための第２の表示装置と、
   前記指示者から前記ユーザへの指示を入力するための入力装置とを備え、
   前記第１の描画装置は、前記入力装置を介して前記指示者から前記ユーザへの指示が入力された場合、前記第１の表示装置に表示する仮想空間映像を、前記入力装置を介して入力された前記指示者から前記ユーザへの指示が反映されている映像となるように描画することを特徴とする映像提示システム。
7. 前記撮像装置は、第３者視点の映像を取得するための固定視点カメラであることを特徴とする請求項６記載の映像提示システム。
8. 前記第１の表示装置は、前記ユーザの目前に配置されるヘッドマウントディスプレイであることを特徴とする請求項１乃至７のいずれか１項に記載の映像提示システム。
9. ユーザに映像を提示するための第１の表示装置と、
   前記第１の表示装置の位置および姿勢を検出する検出手段と、
   前記ユーザに指示を出す指示者に映像を提示するための第２の表示装置と、
   前記検出手段により検出した位置姿勢に基づいて仮想空間映像を描画し、該仮想空間映
   像を前記第１の表示装置および前記第２の表示装置に表示する描画装置と、
   前記第２の表示装置に表示されている前記仮想空間映像の位置を指示するための入力装
   置とを備え、
   前記描画装置は、前記入力装置を介して前記第２の表示装置に表示されている前記仮想
   空間映像の位置が指示された場合、前記第１の表示装置に表示する仮想空間映像を、前記
   入力装置を介して入力された前記指示が反映された映像となるように描画することを特徴
   とする映像提示システム。
10. ユーザに映像を提示するための第１の表示装置と、
    前記第１の表示装置の位置および姿勢を検出する検出手段と、
    前記ユーザに指示を出す指示者に映像を提示するための第２の表示装置と、
    第３者視点の映像を取得するための撮像装置と、
    前記検出手段により検出した位置姿勢に基づいて仮想空間映像を描画し、該仮想空間映像を前記第１の表示装置に表示する第１の描画装置と、
    前記撮像装置の位置姿勢に基づいて仮想空間映像を描画し、該仮想空間映像を前記第２の表示装置に表示する第２の描画装置と、
    前記第２の表示装置に表示されている前記仮想空間映像の位置を指示するための入力装置とを備え、
    前記第１の描画装置は、前記入力装置を介して前記第２の表示装置に表示されている前記仮想空間映像の位置が指示された場合、前記第１の表示装置に表示する仮想空間映像を、前記入力装置を介して入力された指示が反映された映像となるように描画することを特徴とする映像提示システム。
11. 前記入力装置を介して入力された指示が反映された映像は、前記第２の表示装置における座標に基づいて空間中における３次元位置を特定し、該特定された３次元位置に基づいて指示オブジェクトを表示することを特徴とする請求項１０記載の映像提示システム。
12. 前記３次元位置は、指示対象物体の表面位置であることを特徴とする請求項１１記載の映像提示システム。
13. 前記指示オブジェクトは、前記３次元位置を示すマークとテキストとが合成された映像であることを特徴とする請求項１１又は１２記載の映像提示システム。
14. 前記指示オブジェクトは、任意の点を始点とし、前記３次元位置を終点とする直線であることを特徴とする請求項１１乃至１３のいずれか１項に記載の映像提示システム。
15. 前記任意の点は、前記撮像装置の焦点位置であることを特徴とする請求項１４記載の映像提示システム。
16. 前記任意の点は、前記ユーザが把持する物体上の一点であることを特徴とする請求項１４記載の映像提示システム。
17. 前記指示オブジェクトは、複数の指示オブジェクトを表示する場合に、状況に応じて色分けすることを特徴とする請求項１１乃至１６のいずれか１項に記載の映像提示システム。
18. 前記指示オブジェクトは、前記３次元位置を記録した軌跡に基づいて作成した前記指示対象物体の表面上に描かれる形状であることを特徴とする請求項１１乃至１７のいずれか１項に記載の映像提示システム。
19. 位置および姿勢を検出する検出手段を有し、ユーザに映像を提示するための第１の表示
    装置および前記ユーザに指示を出す指示者に映像を提示するための第２の表示装置を用いる映像提示方法であって、
    前記第１の表示装置の位置姿勢に対応する視点での仮想空間映像を描画し、該仮想空間
    映像を前記第１の表示装置および前記第２の表示装置に表示する描画工程と、
    前記指示者から前記ユーザへの指示を入力するための入力工程とを有し、
    前記描画工程では、前記入力工程で前記指示者から前記ユーザへの指示が入力された場合、前記第１の表示装置に表示する仮想空間映像を、前記入力工程で入力された前記指示者から前記ユーザへの指示が反映されている映像となるように描画することを特徴とする映像提示方法。
20. 前記第１の表示装置に表示されている映像を静止画として取り込むキャプチャ工程と、
    前記キャプチャ工程で取り込まれた静止画を第２の表示装置に表示する静止画表示工程とを有することを特徴とする請求項１９記載の映像提示方法。
21. 前記静止画表示工程において、前記キャプチャ工程で取り込まれた静止画を前記第２の表示装置に画面分割して表示することを特徴とする請求項２０記載の映像提示方法。
22. 前記入力工程において、前記第２の表示装置の画面分割されている分割画面毎に指示を入力することを特徴とする請求項２１記載の映像提示方法。
23. 位置および姿勢を検出する検出手段を有し、ユーザに映像を提示するための第１の表示装置と、
    前記ユーザへ指示を出す指示者に映像を提示するための第２の表示装置と、
    第３者視点の映像を取得するための撮像装置とを用いる映像提示方法であって、
    前記第１の表示装置の位置姿勢に対応する視点での仮想空間映像を描画し、該仮想空間映像を前記第１の表示装置に表示する第１の描画工程と、
    前記撮像装置の位置姿勢に対応する視点での仮想空間映像を描画し、該仮想空間映像を前記第２の表示装置に表示する第２の描画工程と、
    前記指示者から前記ユーザへの指示を入力するための入力工程とを有し、
    前記第１の描画工程では、前記入力工程で前記指示者から前記ユーザへの指示が入力された場合、前記第１の表示装置に表示する仮想空間映像を、前記入力工程で入力された前記指示者から前記ユーザへの指示が反映されている映像となるように描画することを特徴とする映像提示方法。
24. 前記第１の描画工程では、前記入力工程で前記指示者から前記ユーザへの指示が入力された場合、前記入力された指示に応じた映像を含む仮想空間映像を描画することを特徴とする請求項２３記載の映像提示方法。
25. ユーザに映像を提示するための第１の表示装置の位置および姿勢を検出する検出
    ステップと、
    前記検出ステップにより検出した位置姿勢に基づいて仮想空間映像を描画する描画ステ
    ップと、
    前記仮想空間映像を前記第１の表示装置と、前記ユーザに指示を出す指示者に映像を提示するための第２の表示装置に表示する表示ステップと、
    前記第２の表示装置に表示されている前記仮想空間映像の位置を指示するための入力ス
    テップとを備え、
    前記描画ステップは、前記入力ステップにより前記第２の表示装置に表示されている前
    記仮想空間映像の位置が指示された場合、前記第１の表示装置に表示する仮想空間映像を
    、前記入力ステップにより入力された前記指示が反映された映像となるように描画するこ
    とを特徴とする映像提示方法。
26. 位置および姿勢を検出する検出手段を有し、ユーザに映像を提示するための第１の表示
    装置および前記ユーザに指示を出す指示者に映像を提示するための第２の表示装置を用いる映像提示システムを制御するためのプログラムであって、
    前記第１の表示装置の位置姿勢に対応する視点での仮想空間映像を描画し、該仮想空間
    映像を前記第１の表示装置および前記第２の表示装置に表示する描画モジュールと、
    前記指示者から前記ユーザへの指示を入力するための少なくとも１つの入力モジュールとを有し、
    前記描画モジュールは、前記入力モジュールにより前記指示者から前記ユーザへの指示が入力された場合、少なくとも、前記第１の表示装置に表示する仮想空間映像を、前記入力モジュールを介して入力された前記指示者から前記ユーザへの指示が反映されている映像となるように描画することを特徴とする映像提示方法をコンピュータに実行させるためのプログラム。
27. ユーザに映像を提示するための第１の表示装置の位置および姿勢を検出する検出モジュールと、
    前記検出モジュールにより検出した位置姿勢に基づいて仮想空間映像を描画する描画モ
    ジュールと、
    前記仮想空間映像を前記第１の表示装置と、前記ユーザに指示を出す指示者に映像を提示するための第２の表示装置に表示する表示モジュールと、
    前記第２の表示装置に表示されている前記仮想空間映像の位置を指示するための入力モ
    ジュールとを備え、
    前記描画モジュールは、前記入力モジュールにより前記第２の表示装置に表示されてい
    る前記仮想空間映像の位置が指示された場合、前記第１の表示装置に表示する仮想空間映
    像を、前記入力モジュールにより入力された前記指示が反映された映像となるように描画
    することを特徴とする映像提示方法をコンピュータに実行させるためのプログラム。
28. 請求項２６又は２７記載のプログラムをコンピュータ読み取り可能に格納したことを
    特徴とする記憶媒体。

Images