JPH08322064A - ヘッドマウントディスプレイ装置 - Google Patents
ヘッドマウントディスプレイ装置Info
- Publication number
- JPH08322064A JPH08322064A JP7128006A JP12800695A JPH08322064A JP H08322064 A JPH08322064 A JP H08322064A JP 7128006 A JP7128006 A JP 7128006A JP 12800695 A JP12800695 A JP 12800695A JP H08322064 A JPH08322064 A JP H08322064A
- Authority
- JP
- Japan
- Prior art keywords
- image
- observer
- photographing
- video
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Manipulator (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
(57)【要約】
【目的】 観察者の視点からみた映像と他の映像とを合
成して観察者の眼前に同時に表示すること。 【構成】 カメラ3a、3bから操作卓Qを介してスク
リーン6を撮影した観察者Hの周囲の映像と、カメラ4
a、4bで撮影された遠隔地の映像である作業機械Gの
映像を映像系制御装置5で合成するときに、カメラ3
a、3bの映像のうち、スクリーン6が映し出された部
分にカメラ4a、4bの映像を合成し、合成した映像を
液晶ディスプレイ2a、2bに表示する。 【効果】 観察者の周囲の映像と他の映像とを同一の映
像空間に混在させて観察者に提示することができ、観察
者に臨場感を与えることができる。
成して観察者の眼前に同時に表示すること。 【構成】 カメラ3a、3bから操作卓Qを介してスク
リーン6を撮影した観察者Hの周囲の映像と、カメラ4
a、4bで撮影された遠隔地の映像である作業機械Gの
映像を映像系制御装置5で合成するときに、カメラ3
a、3bの映像のうち、スクリーン6が映し出された部
分にカメラ4a、4bの映像を合成し、合成した映像を
液晶ディスプレイ2a、2bに表示する。 【効果】 観察者の周囲の映像と他の映像とを同一の映
像空間に混在させて観察者に提示することができ、観察
者に臨場感を与えることができる。
Description
【0001】
【産業上の利用分野】本発明は、ヘッドマウントディス
プレイ装置に係り、特に、ディスプレイを頭部に装着し
た観察者の周囲の映像と遠隔地の映像あるいは、仮想的
な映像を合成して表示するに好適なヘッドマウントディ
スプレイ装置に関する。
プレイ装置に係り、特に、ディスプレイを頭部に装着し
た観察者の周囲の映像と遠隔地の映像あるいは、仮想的
な映像を合成して表示するに好適なヘッドマウントディ
スプレイ装置に関する。
【0002】
【従来の技術】従来、ヘッドマウントディスプレイ装置
として、例えば特開平5−228855号公報に記載さ
れているように、ディスプレイを装着した観察者の両眼
前に液晶ディスプレイもしくはモニタを配置し、液晶デ
ィスプレイやモニタに、遠隔地て撮影した映像あるいは
コンピュータの生成による仮想的な映像を表示し、遠隔
地の映像空間あるいは仮想的な映像空間の中にあたかも
観察者自身が没入しているような感覚を観察者に与える
ことができるものが提案されている。しかし、上記従来
の装置では、ヘッドマウントディスプレイ装置を装着し
た観察者は液晶ディスプレイもしくはモニタの映像しか
見ることができず、観察者自身の実際の周囲の状況を見
ることができない。このため、遠隔地にある機械や観察
者の周囲にある操作スイッチなどを操作する必要がある
ときには、観察者はヘッドマウントディスプレイ装置を
操作するたびに外さなければならないという問題点があ
る。
として、例えば特開平5−228855号公報に記載さ
れているように、ディスプレイを装着した観察者の両眼
前に液晶ディスプレイもしくはモニタを配置し、液晶デ
ィスプレイやモニタに、遠隔地て撮影した映像あるいは
コンピュータの生成による仮想的な映像を表示し、遠隔
地の映像空間あるいは仮想的な映像空間の中にあたかも
観察者自身が没入しているような感覚を観察者に与える
ことができるものが提案されている。しかし、上記従来
の装置では、ヘッドマウントディスプレイ装置を装着し
た観察者は液晶ディスプレイもしくはモニタの映像しか
見ることができず、観察者自身の実際の周囲の状況を見
ることができない。このため、遠隔地にある機械や観察
者の周囲にある操作スイッチなどを操作する必要がある
ときには、観察者はヘッドマウントディスプレイ装置を
操作するたびに外さなければならないという問題点があ
る。
【0003】そこで、例えば、特開平6−62438号
公報に記載されているように、ヘッドマウントディスプ
レイ装置にカメラを搭載して観察者の視野領域を撮影
し、このカメラで撮影された映像と遠隔地で撮影された
カメラの映像とを切り換えてディスプレイに表示するも
のが提案されている。また観察者の眼前にハーフミラー
を配置し、遠隔地の映像を表示するモニタにハーフミラ
ーで反射した光を導き、ハーフミラーを通過してきた光
により、観察者が周囲の様子を視認できるようにしたも
のが提案されている。さらにハーフミラーを用いるに際
して、モニタの輝度を明るくしたり、部屋の照明を暗く
したりすることでモニタをよく見えるようにし、逆に、
モニタの輝度を暗くしたり、部屋の照明を明るくしたり
することで周囲の状況を視認しやすくした装置も提案さ
れている。
公報に記載されているように、ヘッドマウントディスプ
レイ装置にカメラを搭載して観察者の視野領域を撮影
し、このカメラで撮影された映像と遠隔地で撮影された
カメラの映像とを切り換えてディスプレイに表示するも
のが提案されている。また観察者の眼前にハーフミラー
を配置し、遠隔地の映像を表示するモニタにハーフミラ
ーで反射した光を導き、ハーフミラーを通過してきた光
により、観察者が周囲の様子を視認できるようにしたも
のが提案されている。さらにハーフミラーを用いるに際
して、モニタの輝度を明るくしたり、部屋の照明を暗く
したりすることでモニタをよく見えるようにし、逆に、
モニタの輝度を暗くしたり、部屋の照明を明るくしたり
することで周囲の状況を視認しやすくした装置も提案さ
れている。
【0004】
【発明が解決しようとする課題】しかし、従来技術で
は、観察者の視野領域の映像と遠隔地のカメラの映像と
を切り換えなければならず、観察者の周囲の映像と遠隔
地の映像とを同時に見ることはできない。このため、遠
隔地にある機械の操作など、遠隔地の映像を見ながら観
察者の周囲にある操作スイッチなどを視認しながら操作
することはできない。さらに、コンピュータグラフィッ
クスによる仮想的な映像空間をヘッドマウントディスプ
レイ装置のモニタ上に表示しても、例えば、観察者自身
の手を眼前にかざしても観察者には見えず、また観察者
の足元の方向を見ても自分の足を見ることはできない。
このため従来のものでは、観察者自身が仮想的な映像空
間の中に没入している感覚が十分に得られないという問
題点がある。さらに、複数の観察者によって同一の映像
情報を観察しながら共同で作業を行なう場合、従来のヘ
ッドマウントディスプレイ装置では、映像と同時には互
いの観察者を見ることはできないので、効率のよいコミ
ュニケーションが取れないという問題点がある。
は、観察者の視野領域の映像と遠隔地のカメラの映像と
を切り換えなければならず、観察者の周囲の映像と遠隔
地の映像とを同時に見ることはできない。このため、遠
隔地にある機械の操作など、遠隔地の映像を見ながら観
察者の周囲にある操作スイッチなどを視認しながら操作
することはできない。さらに、コンピュータグラフィッ
クスによる仮想的な映像空間をヘッドマウントディスプ
レイ装置のモニタ上に表示しても、例えば、観察者自身
の手を眼前にかざしても観察者には見えず、また観察者
の足元の方向を見ても自分の足を見ることはできない。
このため従来のものでは、観察者自身が仮想的な映像空
間の中に没入している感覚が十分に得られないという問
題点がある。さらに、複数の観察者によって同一の映像
情報を観察しながら共同で作業を行なう場合、従来のヘ
ッドマウントディスプレイ装置では、映像と同時には互
いの観察者を見ることはできないので、効率のよいコミ
ュニケーションが取れないという問題点がある。
【0005】一方、ハーフミラーを用いたものでは、モ
ニタの輝度を調整することによって周囲の状況を容易に
視認することはできるが、観察者の周囲の映像と遠隔地
の映像を同時に見ることはできない。また、モニタの輝
度を調整してモニタの映像と周囲から入射された光が同
等に見えるようにした場合でも、モニタの映像と直視し
ている周囲の様子が重なって見えてしまい、観察者に混
乱を生じさせるという問題点がある。
ニタの輝度を調整することによって周囲の状況を容易に
視認することはできるが、観察者の周囲の映像と遠隔地
の映像を同時に見ることはできない。また、モニタの輝
度を調整してモニタの映像と周囲から入射された光が同
等に見えるようにした場合でも、モニタの映像と直視し
ている周囲の様子が重なって見えてしまい、観察者に混
乱を生じさせるという問題点がある。
【0006】また、ヘッドマウントディスプレイ装置で
はなく、通常のモニタ、もしくは大画面のディスプレイ
により遠隔地の映像を表示するものがあるが、モニタや
大画面ディスプレイに遠隔地の映像を表示しても、モニ
タや大画面ディスプレイを見ているものは、テレビもし
くは映画を見ているような感覚となり、あたかも遠隔地
にいるような臨場感は感じられない。モニタや大画面デ
ィスプレイを用いて臨場感を出すためには、観察者の周
囲を複数のディスプレイで囲んだり、あるいは観察者の
周囲にスクリーンを設置し、スクリーン上に複数のプロ
ジェクタで映像を投射する必要がある。しかし、このよ
うな構成では装置が大型化することになる。
はなく、通常のモニタ、もしくは大画面のディスプレイ
により遠隔地の映像を表示するものがあるが、モニタや
大画面ディスプレイに遠隔地の映像を表示しても、モニ
タや大画面ディスプレイを見ているものは、テレビもし
くは映画を見ているような感覚となり、あたかも遠隔地
にいるような臨場感は感じられない。モニタや大画面デ
ィスプレイを用いて臨場感を出すためには、観察者の周
囲を複数のディスプレイで囲んだり、あるいは観察者の
周囲にスクリーンを設置し、スクリーン上に複数のプロ
ジェクタで映像を投射する必要がある。しかし、このよ
うな構成では装置が大型化することになる。
【0007】本発明の目的は、観察者の視点から見た映
像と他の映像とを合成して観察者の眼前に同時に表示す
ることができるヘッドマウントディスプレイ装置を提供
することにある。
像と他の映像とを合成して観察者の眼前に同時に表示す
ることができるヘッドマウントディスプレイ装置を提供
することにある。
【0008】
【課題を解決するための手段】前記目的を達成するため
に、本発明は、第1の装置として、観察者に装着されて
観察者の左右両眼の視野内に映像を表示する表示手段
と、観察者の周囲に配置された少なくとも1つのスクリ
ーンと、観察者の左右両眼の視点と略同一の視点から前
記スクリーンを見た視野領域を撮影する少なくとも1つ
の第1撮影手段と、第1撮影手段とは異なる映像を生成
する少なくとも1つの映像生成手段と、前記第1撮影手
段により撮影された映像のうち前記スクリーンが映し出
された部分に、前記映像生成手段により生成された映像
を合成して合成映像を前記表示手段に表示させる少なく
とも1つの映像合成手段とを備えているヘッドマウント
ディスプレイ装置を構成したものである。
に、本発明は、第1の装置として、観察者に装着されて
観察者の左右両眼の視野内に映像を表示する表示手段
と、観察者の周囲に配置された少なくとも1つのスクリ
ーンと、観察者の左右両眼の視点と略同一の視点から前
記スクリーンを見た視野領域を撮影する少なくとも1つ
の第1撮影手段と、第1撮影手段とは異なる映像を生成
する少なくとも1つの映像生成手段と、前記第1撮影手
段により撮影された映像のうち前記スクリーンが映し出
された部分に、前記映像生成手段により生成された映像
を合成して合成映像を前記表示手段に表示させる少なく
とも1つの映像合成手段とを備えているヘッドマウント
ディスプレイ装置を構成したものである。
【0009】第2の装置として、観察者に装着されて観
察者の左右両眼の前方近傍に独立に映像を表示する複数
の表示手段と、観察者の周囲に配置された少なくとも1
つのスクリーンと、観察者の左右両眼の視点と略同一の
視点から前記スクリーンを見た視野領域を撮影する少な
くとも1つの第1撮影手段と、第1撮影手段とは異なる
映像を生成する少なくとも1つの映像生成手段と、前記
第1撮影手段により撮影された映像のうち前記スクリー
ンが映し出された部分に、前記映像生成手段により生成
された映像を合成して合成映像を前記各表示手段に表示
させる少なくとも1つの映像合成手段とを備えているヘ
ッドマウントディスプレイ装置を構成したものである。
察者の左右両眼の前方近傍に独立に映像を表示する複数
の表示手段と、観察者の周囲に配置された少なくとも1
つのスクリーンと、観察者の左右両眼の視点と略同一の
視点から前記スクリーンを見た視野領域を撮影する少な
くとも1つの第1撮影手段と、第1撮影手段とは異なる
映像を生成する少なくとも1つの映像生成手段と、前記
第1撮影手段により撮影された映像のうち前記スクリー
ンが映し出された部分に、前記映像生成手段により生成
された映像を合成して合成映像を前記各表示手段に表示
させる少なくとも1つの映像合成手段とを備えているヘ
ッドマウントディスプレイ装置を構成したものである。
【0010】第3の装置として、観察者に装着されて観
察者の左右両眼の前方近傍に独立に映像を表示する複数
の表示手段と、観察者の周囲に配置された少なくとも1
つのスクリーンと、少なくとも前記一方の表示手段の位
置を視点としてこの視点から前記スクリーンを見た視野
領域を撮影する少なくとも1つの第1撮影手段と、第1
撮影手段とは異なる映像を生成する少なくとも1つの映
像生成手段と、前記第1撮影手段により撮影された映像
のうち前記スクリーンが映し出された部分に、前記映像
生成手段により生成された映像を合成して合成映像を前
記各表示手段に表示させる少なくとも1つの映像合成手
段とを備えているヘッドマウントディスプレイ装置を構
成したものである。
察者の左右両眼の前方近傍に独立に映像を表示する複数
の表示手段と、観察者の周囲に配置された少なくとも1
つのスクリーンと、少なくとも前記一方の表示手段の位
置を視点としてこの視点から前記スクリーンを見た視野
領域を撮影する少なくとも1つの第1撮影手段と、第1
撮影手段とは異なる映像を生成する少なくとも1つの映
像生成手段と、前記第1撮影手段により撮影された映像
のうち前記スクリーンが映し出された部分に、前記映像
生成手段により生成された映像を合成して合成映像を前
記各表示手段に表示させる少なくとも1つの映像合成手
段とを備えているヘッドマウントディスプレイ装置を構
成したものである。
【0011】第4の装置として、観察者に装着されて観
察者の左右両眼の前方近傍に独立に映像を表示する複数
の表示手段と、観察者の周囲に配置されたスクリーン
と、観察者の左右両眼の視点と略同一の視点から前記ス
クリーンを見た視野領域を撮影する第1撮影手段と、前
記第1撮影手段により撮影された映像のうち前記スクリ
ーンが映し出された部分に、他の映像を合成して合成映
像を前記各表示手段に表示させる映像合成手段とをそれ
ぞれ複数組備えていると共に、前記第1撮影手段とは異
なる映像を生成する映像生成手段と、映像生成手段の生
成により映像を複数系統に分けて各映像合成手段へ出力
する映像分配手段を備えているヘッドマウントディスプ
レイ装置を構成したものである。
察者の左右両眼の前方近傍に独立に映像を表示する複数
の表示手段と、観察者の周囲に配置されたスクリーン
と、観察者の左右両眼の視点と略同一の視点から前記ス
クリーンを見た視野領域を撮影する第1撮影手段と、前
記第1撮影手段により撮影された映像のうち前記スクリ
ーンが映し出された部分に、他の映像を合成して合成映
像を前記各表示手段に表示させる映像合成手段とをそれ
ぞれ複数組備えていると共に、前記第1撮影手段とは異
なる映像を生成する映像生成手段と、映像生成手段の生
成により映像を複数系統に分けて各映像合成手段へ出力
する映像分配手段を備えているヘッドマウントディスプ
レイ装置を構成したものである。
【0012】第5の装置として、観察者に装着されて観
察者の左右両眼の前方近傍に独立に映像を表示する複数
の表示手段と、観察者の周囲に配置されたスクリーン
と、観察者の左右両眼の視点と略同一の視点から前記ス
クリーンを見た視野領域を撮影する第1撮影手段と、入
力情報に従って第1撮影手段とは異なる映像を生成する
映像生成手段と、前記第1撮影手段により撮影された映
像のうち前記スクリーンが映し出された部分に、前記映
像生成手段により生成された映像を合成して合成映像を
前記各表示手段に表示させる映像合成手段とをそれぞれ
複数組備えていると共に、仮想の環境の映像を生成する
ための情報として各組共通の環境モデル情報を前記各映
像生成手段へ与える環境モデル管理手段を備えているヘ
ッドマウントディスプレイ装置を構成したものである。
察者の左右両眼の前方近傍に独立に映像を表示する複数
の表示手段と、観察者の周囲に配置されたスクリーン
と、観察者の左右両眼の視点と略同一の視点から前記ス
クリーンを見た視野領域を撮影する第1撮影手段と、入
力情報に従って第1撮影手段とは異なる映像を生成する
映像生成手段と、前記第1撮影手段により撮影された映
像のうち前記スクリーンが映し出された部分に、前記映
像生成手段により生成された映像を合成して合成映像を
前記各表示手段に表示させる映像合成手段とをそれぞれ
複数組備えていると共に、仮想の環境の映像を生成する
ための情報として各組共通の環境モデル情報を前記各映
像生成手段へ与える環境モデル管理手段を備えているヘ
ッドマウントディスプレイ装置を構成したものである。
【0013】第6の装置として、観察者に装着されて観
察者の左右両眼の前方近傍に独立に映像を表示する複数
の表示手段と、観察者の左右両眼の視点と略同一の視点
から見た視野領域を撮影する第1撮影手段と、第1撮影
手段とは異なる映像を生成する映像生成手段と、前記第
1撮影手段により撮影された映像から指定の被写体部分
を抽出する映像抽出手段と、前記第1撮影手段により撮
影された映像のうち前記映像抽出手段により抽出された
被写体映像の背景の部分に、前記映像生成手段により生
成された映像を合成して合成映像を前記各表示手段に表
示させる少なくとも1つの映像合成手段とを備えている
ヘッドマウントディスプレイ装置を構成したものであ
る。
察者の左右両眼の前方近傍に独立に映像を表示する複数
の表示手段と、観察者の左右両眼の視点と略同一の視点
から見た視野領域を撮影する第1撮影手段と、第1撮影
手段とは異なる映像を生成する映像生成手段と、前記第
1撮影手段により撮影された映像から指定の被写体部分
を抽出する映像抽出手段と、前記第1撮影手段により撮
影された映像のうち前記映像抽出手段により抽出された
被写体映像の背景の部分に、前記映像生成手段により生
成された映像を合成して合成映像を前記各表示手段に表
示させる少なくとも1つの映像合成手段とを備えている
ヘッドマウントディスプレイ装置を構成したものであ
る。
【0014】前記各ヘッドマウントディスプレイ装置を
構成するに際しては、以下の要素を付加することが望ま
しい。
構成するに際しては、以下の要素を付加することが望ま
しい。
【0015】(1)第1撮影手段は、撮影対象を相異な
る位置から撮影して立体映像を生成する複数の撮影装置
で構成されている。
る位置から撮影して立体映像を生成する複数の撮影装置
で構成されている。
【0016】(2)映像生成手段は、立体映像を生成す
る立体映像生成手段で構成されている。
る立体映像生成手段で構成されている。
【0017】(3)映像生成手段は、撮影対象を相異な
る位置から撮影して立体映像を生成する複数の第2撮影
手段で構成されている。
る位置から撮影して立体映像を生成する複数の第2撮影
手段で構成されている。
【0018】(4)映像生成手段は、仮想の映像を生成
する仮想映像生成手段で構成されている。
する仮想映像生成手段で構成されている。
【0019】(5)映像生成手段は、予め撮影された立
体映像を再生する立体映像再生手段で構成されている。
体映像を再生する立体映像再生手段で構成されている。
【0020】(6)観察者の頭部の位置と姿勢角を検出
する位置姿勢角検出手段と、位置姿勢角検出手段の検出
出力に応じて映像生成手段の生成による映像の視点を制
御する視点制御手段とを備えている。
する位置姿勢角検出手段と、位置姿勢角検出手段の検出
出力に応じて映像生成手段の生成による映像の視点を制
御する視点制御手段とを備えている。
【0021】(7)少なくとも1つのスクリーンは、第
1撮影手段の撮影対象の一部または全部に装着されてい
る。
1撮影手段の撮影対象の一部または全部に装着されてい
る。
【0022】また、本発明は、前記いずれか1つのヘッ
ドマウントディスプレイ装置を備えていると共に、第1
撮影手段の撮影領域内でかつ観察者の操作範囲内に配置
されて作業機械を遠隔操作する遠隔操作手段を備え、さ
らに、映像生成手段として、前記作業機械と前記作業機
械の作業環境のうち少なくとも一方を撮影対象とする第
2撮影手段を備えている遠隔操作装置を構成したもので
ある。
ドマウントディスプレイ装置を備えていると共に、第1
撮影手段の撮影領域内でかつ観察者の操作範囲内に配置
されて作業機械を遠隔操作する遠隔操作手段を備え、さ
らに、映像生成手段として、前記作業機械と前記作業機
械の作業環境のうち少なくとも一方を撮影対象とする第
2撮影手段を備えている遠隔操作装置を構成したもので
ある。
【0023】さらに、本発明は、前記いずれか1つのヘ
ッドマウントディスプレイ装置を備えていると共に、第
1撮影手段の撮影領域内でかつ観察者の操作範囲内に配
置されて機械を操作する操作手段を備え、さらに、映像
生成手段として、前記機械に関する仮想映像と前記機械
の作業環境の仮想映像のうち少なくとも一方を生成する
仮想映像生成手段を備えている機械の操作シミュレーシ
ョン装置を構成したものである。
ッドマウントディスプレイ装置を備えていると共に、第
1撮影手段の撮影領域内でかつ観察者の操作範囲内に配
置されて機械を操作する操作手段を備え、さらに、映像
生成手段として、前記機械に関する仮想映像と前記機械
の作業環境の仮想映像のうち少なくとも一方を生成する
仮想映像生成手段を備えている機械の操作シミュレーシ
ョン装置を構成したものである。
【0024】
【作用】前記した手段によれば、観察者に装着された表
示手段には、第1撮影手段により撮影された映像、すな
わち観察者の視点から見た映像と映像生成手段により生
成さ映像とが合成されて表示されるため、観察者には、
あたかも観察者自身の周囲の映像と他の映像で構成され
た映像空間にいるような臨場感を与えることができる。
この場合、第1撮影手段が複数の撮影装置で構成され、
映像生成手段によって立体映像が生成されたときには、
表示手段には立体映像を表示させることができ、臨場感
をより高めることができる。またスクリーンは、第1撮
影手段により撮影された映像に他の映像を合成するに際
して、映像生成手段により生成された映像、例えば遠隔
地の映像、コンピュータによる仮想的な映像を合成する
ための場所を指定する手段として構成されているので、
例えば、青色に塗られた布や紙を利用したり、壁面を青
色に塗るだけでも十分である。このためスクリーンの他
にプロジェクタなどは不必要なので、構成の簡素化に寄
与することができる。
示手段には、第1撮影手段により撮影された映像、すな
わち観察者の視点から見た映像と映像生成手段により生
成さ映像とが合成されて表示されるため、観察者には、
あたかも観察者自身の周囲の映像と他の映像で構成され
た映像空間にいるような臨場感を与えることができる。
この場合、第1撮影手段が複数の撮影装置で構成され、
映像生成手段によって立体映像が生成されたときには、
表示手段には立体映像を表示させることができ、臨場感
をより高めることができる。またスクリーンは、第1撮
影手段により撮影された映像に他の映像を合成するに際
して、映像生成手段により生成された映像、例えば遠隔
地の映像、コンピュータによる仮想的な映像を合成する
ための場所を指定する手段として構成されているので、
例えば、青色に塗られた布や紙を利用したり、壁面を青
色に塗るだけでも十分である。このためスクリーンの他
にプロジェクタなどは不必要なので、構成の簡素化に寄
与することができる。
【0025】また1姿勢角検出手段と視点制御手段とを
備えたときには、観察者の周囲の映像とスクリーンに合
成される映像が一体となって変化するので、周囲の映像
とスクリーンに合成される映像が違和感なく同一の空間
に存在するかのように観察者に知覚させることができ
る。
備えたときには、観察者の周囲の映像とスクリーンに合
成される映像が一体となって変化するので、周囲の映像
とスクリーンに合成される映像が違和感なく同一の空間
に存在するかのように観察者に知覚させることができ
る。
【0026】また第5の装置によれば、複数の観察者が
同一の環境モデルによる仮想の映像を観察し、且つ同時
に相手の様子を見ることが可能になるので、相手の表情
や身振りを見ながら共通の仮想環境の映像を知覚するこ
とができる。この場合環境モデル管理手段に、外界の情
報に基づいた環境モデルの情報を変更する環境モデル変
更手段を備えることによって、例えば、観察者が環境モ
デルを変更する操作を行なうと、同一の環境モデルによ
る仮想の映像を見ている他の観察者は、変更された環境
を同時に知覚することができる。また、仮想映像を生成
する手段に立体映像を撮影する装置を用い、且つ位置姿
勢角検出手段と視点制御装置を備えることで、複数の観
察者に共通の仮想映像を立体的に提示することができる
とともに、複数の観察者に各観察者自身と他の観察者が
存在する共通の3次元空間に仮想の映像が同時に存在し
ているかのように知覚させることが可能となる。
同一の環境モデルによる仮想の映像を観察し、且つ同時
に相手の様子を見ることが可能になるので、相手の表情
や身振りを見ながら共通の仮想環境の映像を知覚するこ
とができる。この場合環境モデル管理手段に、外界の情
報に基づいた環境モデルの情報を変更する環境モデル変
更手段を備えることによって、例えば、観察者が環境モ
デルを変更する操作を行なうと、同一の環境モデルによ
る仮想の映像を見ている他の観察者は、変更された環境
を同時に知覚することができる。また、仮想映像を生成
する手段に立体映像を撮影する装置を用い、且つ位置姿
勢角検出手段と視点制御装置を備えることで、複数の観
察者に共通の仮想映像を立体的に提示することができる
とともに、複数の観察者に各観察者自身と他の観察者が
存在する共通の3次元空間に仮想の映像が同時に存在し
ているかのように知覚させることが可能となる。
【0027】また第6の装置によれば、第1撮影手段に
より撮影された映像から指定の被写体部分を抽出し、抽
出された被写体映像の背景の部分に映像生成手段により
生成された映像を合成して表示するようにしているた
め、観察者の周囲の映像のうち、あらかじめ抽出するこ
とを指定した被写体以外の領域には映像生成手段により
生成された映像を合成して提示することができ、スクリ
ーンが不要となり、スクリーンの設置場所に制約される
ことなく使用することができる。
より撮影された映像から指定の被写体部分を抽出し、抽
出された被写体映像の背景の部分に映像生成手段により
生成された映像を合成して表示するようにしているた
め、観察者の周囲の映像のうち、あらかじめ抽出するこ
とを指定した被写体以外の領域には映像生成手段により
生成された映像を合成して提示することができ、スクリ
ーンが不要となり、スクリーンの設置場所に制約される
ことなく使用することができる。
【0028】遠隔操作装置によれば、観察者の周囲の映
像が作業機械あるいは作業機械の作業環境に関する映像
と合成されて表示されるため、遠隔地の作業環境があた
かも観察者と作業機械の操作手段の周囲にあるかのよう
に観察者に知覚させた状態で、観察者が遠隔作業を行な
うことができる。
像が作業機械あるいは作業機械の作業環境に関する映像
と合成されて表示されるため、遠隔地の作業環境があた
かも観察者と作業機械の操作手段の周囲にあるかのよう
に観察者に知覚させた状態で、観察者が遠隔作業を行な
うことができる。
【0029】機械の操作シュミレーション装置によれ
ば、観察者の周囲の映像が機械に関する仮想映像あるい
は機械の作業環境の仮想映像と合成されて表示されるた
め、仮想的な作業空間の中にあたかも観察者と作業機械
の操作手段が存在するかのように観察者に知覚させた状
態で、観察者が機械の操作シュミレーションを行なうこ
とができる。
ば、観察者の周囲の映像が機械に関する仮想映像あるい
は機械の作業環境の仮想映像と合成されて表示されるた
め、仮想的な作業空間の中にあたかも観察者と作業機械
の操作手段が存在するかのように観察者に知覚させた状
態で、観察者が機械の操作シュミレーションを行なうこ
とができる。
【0030】
【実施例】以下、本発明の一実施例を図面に基づいて説
明する。
明する。
【0031】図1は本発明の第1実施例を示すヘッドマ
ウントディスプレイ装置の全体構成図である。図1にお
いて、ヘッドマウントディスプレイ装置は、ヘッドマウ
ントディスプレイ1、液晶ディスプレイ2a、2b、カ
メラ3a、3b、4a、4b、映像系制御装置5、スク
リーン6を備えて構成されており、カメラ4a、4b
が、遠隔地に配置された作業機械Gの前面側に配置さ
れ、スクリーン6が操作卓Qの前方に配置されている。
ウントディスプレイ装置の全体構成図である。図1にお
いて、ヘッドマウントディスプレイ装置は、ヘッドマウ
ントディスプレイ1、液晶ディスプレイ2a、2b、カ
メラ3a、3b、4a、4b、映像系制御装置5、スク
リーン6を備えて構成されており、カメラ4a、4b
が、遠隔地に配置された作業機械Gの前面側に配置さ
れ、スクリーン6が操作卓Qの前方に配置されている。
【0032】ヘッドマウントディスプレイ1は、操作卓
Qを操作する観察者Hの頭部に装着可能に構成されてお
り、ヘッドマウントディスプレイ1の前面側には観察者
Hの左右両眼の前方近傍に独立に映像を表示する複数の
表示手段として液晶ディスプレイ2a、2bが装着され
ている。さらにヘッドマウントディスプレイ1の背面側
には観察者Hの周囲の映像を撮影するためのカメラ3
a、3bが固定されている。カメラ3a、3bは、観察
者Hの左右両眼の視点とほぼ同一の視点からスクリーン
6を見た視野領域を撮影する第1撮影手段(撮影装置)
として、観察者Hの視点とほぼ同一の位置に配置されて
いる。カメラ3a、3bにより撮影された映像は立体映
像として映像系制御装置5に入力されている。カメラ4
a、4bは、作業機械Gに関する映像を生成する映像生
成手段(第2撮影手段)として設けられており、カメラ
4a、4bにより撮影された映像は立体映像として映像
系制御装置5に入力されている。映像系制御装置5は、
カメラ3a、3bからの映像と、カメラ4a、4bから
の映像とを合成し、合成した映像を液晶ディスプレイ2
a、2bに表示させる映像合成手段として構成されてい
る。この場合、映像系制御装置5は、カメラ3a、3b
により撮影された映像のうちスクリーン6が映し出され
た部分に、カメラ4a、4bで撮影された映像を合成す
るようになっている。
Qを操作する観察者Hの頭部に装着可能に構成されてお
り、ヘッドマウントディスプレイ1の前面側には観察者
Hの左右両眼の前方近傍に独立に映像を表示する複数の
表示手段として液晶ディスプレイ2a、2bが装着され
ている。さらにヘッドマウントディスプレイ1の背面側
には観察者Hの周囲の映像を撮影するためのカメラ3
a、3bが固定されている。カメラ3a、3bは、観察
者Hの左右両眼の視点とほぼ同一の視点からスクリーン
6を見た視野領域を撮影する第1撮影手段(撮影装置)
として、観察者Hの視点とほぼ同一の位置に配置されて
いる。カメラ3a、3bにより撮影された映像は立体映
像として映像系制御装置5に入力されている。カメラ4
a、4bは、作業機械Gに関する映像を生成する映像生
成手段(第2撮影手段)として設けられており、カメラ
4a、4bにより撮影された映像は立体映像として映像
系制御装置5に入力されている。映像系制御装置5は、
カメラ3a、3bからの映像と、カメラ4a、4bから
の映像とを合成し、合成した映像を液晶ディスプレイ2
a、2bに表示させる映像合成手段として構成されてい
る。この場合、映像系制御装置5は、カメラ3a、3b
により撮影された映像のうちスクリーン6が映し出され
た部分に、カメラ4a、4bで撮影された映像を合成す
るようになっている。
【0033】スクリーン6は、操作卓Qの後方に配置さ
れて、作業機械Gの映像を映し出す範囲を指定するもの
として、例えば青色の幕で構成されている。スクリーン
6に青色の幕を用いると、カメラ3a、3bの映像をブ
ルーバックにさせ、映像系制御措置5において、このブ
ルーバックに遠隔地の映像、作業機械Gの映像を合成さ
せることができる。なお、スクリーン6の色としては、
映像系制御装置5において、映像を合成する範囲を指定
できる色であれば他の色を用いることもできる。また、
スクリーン6としては、観察者Hの四方のいずれか一部
または全部に配置することもでき、さらに観察者Hの周
囲の壁、天井および床などをスクリーンとして利用する
こともできる。
れて、作業機械Gの映像を映し出す範囲を指定するもの
として、例えば青色の幕で構成されている。スクリーン
6に青色の幕を用いると、カメラ3a、3bの映像をブ
ルーバックにさせ、映像系制御措置5において、このブ
ルーバックに遠隔地の映像、作業機械Gの映像を合成さ
せることができる。なお、スクリーン6の色としては、
映像系制御装置5において、映像を合成する範囲を指定
できる色であれば他の色を用いることもできる。また、
スクリーン6としては、観察者Hの四方のいずれか一部
または全部に配置することもでき、さらに観察者Hの周
囲の壁、天井および床などをスクリーンとして利用する
こともできる。
【0034】またカメラ3a、3bにより撮影され映像
のうちスクリーン6が映し出された部分に、カメラ4
a、4bにより撮影された映像を合成するに際しては、
文献「カラーテレビジョン」(日本放送協会編、昭和3
3年6月発行)の第539頁から544頁に記載されて
いるように、クロマキーによる技術を用いることができ
る。すなわち青色を検知してその部分に他の映像を合成
する手法を用いることができる。
のうちスクリーン6が映し出された部分に、カメラ4
a、4bにより撮影された映像を合成するに際しては、
文献「カラーテレビジョン」(日本放送協会編、昭和3
3年6月発行)の第539頁から544頁に記載されて
いるように、クロマキーによる技術を用いることができ
る。すなわち青色を検知してその部分に他の映像を合成
する手法を用いることができる。
【0035】次に、映像系制御装置5の具体的構成を図
2に従って説明する。
2に従って説明する。
【0036】映像系制御装置5は、コントローラ7a、
7b、8a、8b、映像合成部9a、9b、表示用映像
信号出力部10a、10b、同期信号発生部11を備え
て構成されており、コントローラ7a、7bがカメラ3
a、3bに、コントローラ8a、8bがカメラ4a、4
bに表示用映像信号出力部10a、10bが液晶ディス
プレイ2a、2bにそれぞれ接続されている。そしてカ
メラ3a、3bで撮影された映像がコントローラ7a、
7bを介して映像合成部9a、9bに入力されるととも
に、カメラ4a、4bで撮影された映像がコントローラ
8a、8bを介して映像合成部9a、9bに入力される
ようになっている。さらに、各カメラ3a、3b、4
a、4bからの映像が映像合成部9a、9bで合成さ
れ、合成された映像が表示用映像信号出力部10a、1
0bを介して液晶ディスプレイ2a、2bに出力される
ようになっている。このとき、コントローラ7a、7b
8a、8b、映像合成部9a、9bは同期信号発生部1
1から出力される同期信号に従って動作するようになっ
ている。
7b、8a、8b、映像合成部9a、9b、表示用映像
信号出力部10a、10b、同期信号発生部11を備え
て構成されており、コントローラ7a、7bがカメラ3
a、3bに、コントローラ8a、8bがカメラ4a、4
bに表示用映像信号出力部10a、10bが液晶ディス
プレイ2a、2bにそれぞれ接続されている。そしてカ
メラ3a、3bで撮影された映像がコントローラ7a、
7bを介して映像合成部9a、9bに入力されるととも
に、カメラ4a、4bで撮影された映像がコントローラ
8a、8bを介して映像合成部9a、9bに入力される
ようになっている。さらに、各カメラ3a、3b、4
a、4bからの映像が映像合成部9a、9bで合成さ
れ、合成された映像が表示用映像信号出力部10a、1
0bを介して液晶ディスプレイ2a、2bに出力される
ようになっている。このとき、コントローラ7a、7b
8a、8b、映像合成部9a、9bは同期信号発生部1
1から出力される同期信号に従って動作するようになっ
ている。
【0037】なお、図2では、説明の便宜上、ヘッドマ
ウントディスプレイ1は図示せず、カメラ3a、3bは
観察者Hから離した位置に図示してある。また、映像系
制御装置5内の各構成要素はそれぞれ独立の要素として
構成するとこもできる。
ウントディスプレイ1は図示せず、カメラ3a、3bは
観察者Hから離した位置に図示してある。また、映像系
制御装置5内の各構成要素はそれぞれ独立の要素として
構成するとこもできる。
【0038】上記構成において、観察者Hの頭部にヘッ
ドマウントディスプレイ1が装着されると、カメラ3
a、3bにより観察者Hの周囲の映像が立体映像として
撮影される。すなわち観察者Hの左右両眼の視点とほぼ
同一の視点から操作卓Qを介してスクリーン6を見た視
野領域内の映像がカメラ3a、3bによって撮影され、
撮影された映像が映像系制御装置5に入力される。
ドマウントディスプレイ1が装着されると、カメラ3
a、3bにより観察者Hの周囲の映像が立体映像として
撮影される。すなわち観察者Hの左右両眼の視点とほぼ
同一の視点から操作卓Qを介してスクリーン6を見た視
野領域内の映像がカメラ3a、3bによって撮影され、
撮影された映像が映像系制御装置5に入力される。
【0039】一方、遠隔地に配置されている作業機械G
の状態がカメラ4a、4bにより撮影され、撮影された
映像が映像系制御装置5に入力される。映像系制御装置
5にカメラ3a、3b、4a、4bからの映像が入力さ
れると、カメラ3a、3bで撮影された映像のうちスク
リーン6が映し出された部分に、カメラ4a、4bによ
り撮影された映像が合成され、合成された映像が液晶デ
ィスプレイ2a、2bに表示される。すなわち液晶ディ
スプレイ2a、2bには観察者Hの周囲の映像と遠隔地
の映像、すなわち作業機械Gの映像が合成された状態で
同時に表示される。このため観察者Hは観察者Hの周囲
の映像とともに遠隔地の映像、作業機械Gの映像を同時
に見ることができ、観察者Hは、液晶ディスプレイ2
a、2bの映像を見ながら、操作卓Qにより作業機械G
を操作することができる。
の状態がカメラ4a、4bにより撮影され、撮影された
映像が映像系制御装置5に入力される。映像系制御装置
5にカメラ3a、3b、4a、4bからの映像が入力さ
れると、カメラ3a、3bで撮影された映像のうちスク
リーン6が映し出された部分に、カメラ4a、4bによ
り撮影された映像が合成され、合成された映像が液晶デ
ィスプレイ2a、2bに表示される。すなわち液晶ディ
スプレイ2a、2bには観察者Hの周囲の映像と遠隔地
の映像、すなわち作業機械Gの映像が合成された状態で
同時に表示される。このため観察者Hは観察者Hの周囲
の映像とともに遠隔地の映像、作業機械Gの映像を同時
に見ることができ、観察者Hは、液晶ディスプレイ2
a、2bの映像を見ながら、操作卓Qにより作業機械G
を操作することができる。
【0040】このように、本実施例によれば、観察者H
は、観察者Hの周囲にある操作卓Qや観察者の手などの
映像と遠隔地の映像とを同時に見ることができ、観察者
Hに、観察者自身を含めた周囲の空間に遠隔地の環境が
存在しているような感覚を与えることができる。
は、観察者Hの周囲にある操作卓Qや観察者の手などの
映像と遠隔地の映像とを同時に見ることができ、観察者
Hに、観察者自身を含めた周囲の空間に遠隔地の環境が
存在しているような感覚を与えることができる。
【0041】次に、本発明の第2実施例を図3に従って
説明する。
説明する。
【0042】本実施例は、ヘッドマウントディスプレイ
1の代わりに、ヘッドマウントディスプレイ1bを構成
したものであり、ヘッドマウントディスプレイ1b内に
収納するものがヘッドマウントディスプレイ1と異なる
他は図1と同様であるので、ヘッドマウントディスプレ
イ1bについてのみ説明する。
1の代わりに、ヘッドマウントディスプレイ1bを構成
したものであり、ヘッドマウントディスプレイ1b内に
収納するものがヘッドマウントディスプレイ1と異なる
他は図1と同様であるので、ヘッドマウントディスプレ
イ1bについてのみ説明する。
【0043】ヘッドマウントディスプレイ1bはほぼ箱
型に構成されており、観察者Hの頭部の側面側にカメラ
3a、3bが収納されているとともに、表示手段として
のCRTモニタ12a、12bが収納されている。さら
にヘッドマウントディスプレイ1bのうち観察者Hの眼
前には、複数の表示用ミラー13a、13bミラー14
a、14bがそれぞれ相対向して収納されている。各表
示モニタ用ミラー13a、13bはCRTモニタ12
a、12bからの映像を観察者Hの左右両眼にそれぞれ
導く位置に配置されている。各ミラー14a、14b
は、観察者Hの左右両眼の視点とほぼ同一の視点から見
た映像をカメラ3a、3bにそれぞれ導く位置に配置さ
れている。
型に構成されており、観察者Hの頭部の側面側にカメラ
3a、3bが収納されているとともに、表示手段として
のCRTモニタ12a、12bが収納されている。さら
にヘッドマウントディスプレイ1bのうち観察者Hの眼
前には、複数の表示用ミラー13a、13bミラー14
a、14bがそれぞれ相対向して収納されている。各表
示モニタ用ミラー13a、13bはCRTモニタ12
a、12bからの映像を観察者Hの左右両眼にそれぞれ
導く位置に配置されている。各ミラー14a、14b
は、観察者Hの左右両眼の視点とほぼ同一の視点から見
た映像をカメラ3a、3bにそれぞれ導く位置に配置さ
れている。
【0044】本実施例においては、ミラー14a、14
bを介してカメラ3a、3bで撮影された映像とカメラ
4a、4bで撮影された遠隔地の映像とを合成し、合成
した映像をCRTモニタ12a、12b上に表示し、各
CRTモニタ12a、12b上の映像を表示モニタ用ミ
ラー13a、13bを介して観察者Hに提示することが
できる。
bを介してカメラ3a、3bで撮影された映像とカメラ
4a、4bで撮影された遠隔地の映像とを合成し、合成
した映像をCRTモニタ12a、12b上に表示し、各
CRTモニタ12a、12b上の映像を表示モニタ用ミ
ラー13a、13bを介して観察者Hに提示することが
できる。
【0045】また本実施例によれば、カメラ3a、3
b、CRTモニタ12a、12bを観察者Hの側面側に
配置することができるので、ヘッドマウントディスプレ
イ1bを小さくすることができるとともに、観察者Hが
ヘッドマウントディスプレイ1を装着しているときより
も不快感を低減することができる。
b、CRTモニタ12a、12bを観察者Hの側面側に
配置することができるので、ヘッドマウントディスプレ
イ1bを小さくすることができるとともに、観察者Hが
ヘッドマウントディスプレイ1を装着しているときより
も不快感を低減することができる。
【0046】なお、カメラ3a、3b、CRTモニタ1
2a、12bを配置する場所は、観察者Hの側面側に限
らず、観察者Hの両眼上部側とすることもできる。
2a、12bを配置する場所は、観察者Hの側面側に限
らず、観察者Hの両眼上部側とすることもできる。
【0047】次に、本発明の第3実施例を図4と図5に
従って説明する。
従って説明する。
【0048】本実施例は、図1に示すカメラ4a、4b
の代わりに、仮想映像生成装置15を設け、仮想映像生
成装置15で生成された映像とカメラ3a、3bで撮影
された映像とを映像系制御装置5bで合成するようにし
てものであり、他の構成は図1のものと同様であるの
で、図1のものと同一のものには同一符号を付してそれ
らの説明は省略する。
の代わりに、仮想映像生成装置15を設け、仮想映像生
成装置15で生成された映像とカメラ3a、3bで撮影
された映像とを映像系制御装置5bで合成するようにし
てものであり、他の構成は図1のものと同様であるの
で、図1のものと同一のものには同一符号を付してそれ
らの説明は省略する。
【0049】仮想映像生成装置15は、例えば、建築物
のコンピュータグラフィックスや、遠隔地の作業状況を
模擬するコンピュータグラフィックスを生成する映像生
成手段として、左眼用仮想映像生成部16、右眼用仮想
映像生成部17、映像信号出力部18a、18bを備え
て構成されている。左眼用仮想映像生成部16、右眼用
仮想映像生成部17は、両眼の視差に相当する分の映像
のずれを持った仮想映像を生成し、生成した映像を映像
信号に変換し、この映像信号を、映像信号出力部18
a、18bを介して映像系制御装置5bへ出力するよう
になっている。
のコンピュータグラフィックスや、遠隔地の作業状況を
模擬するコンピュータグラフィックスを生成する映像生
成手段として、左眼用仮想映像生成部16、右眼用仮想
映像生成部17、映像信号出力部18a、18bを備え
て構成されている。左眼用仮想映像生成部16、右眼用
仮想映像生成部17は、両眼の視差に相当する分の映像
のずれを持った仮想映像を生成し、生成した映像を映像
信号に変換し、この映像信号を、映像信号出力部18
a、18bを介して映像系制御装置5bへ出力するよう
になっている。
【0050】映像系制御装置5bは、コントローラ7
a、7b、映像信号入力部19a、19b、映像合成部
9a、9b、表示用映像信号出力部10a、10b、同
期信号発生部11を備えて構成されている。映像合成部
9a、9bは、カメラ3a、3bで撮影された映像を同
期信号に従ってコントローラ7a、7bから入力すると
ともに、仮想映像生成装置15で生成された映像を同期
信号に従って映像信号入力部19a、19bから入力
し、カメラ3a、3bで撮影された映像のうちスクリー
ン6が映し出される範囲に仮想映像を合成し、合成した
映像に関する映像信号を表示用映像信号出力部10a、
10bから液晶ディスプレイ2a、2bに出力させるよ
うになっている。
a、7b、映像信号入力部19a、19b、映像合成部
9a、9b、表示用映像信号出力部10a、10b、同
期信号発生部11を備えて構成されている。映像合成部
9a、9bは、カメラ3a、3bで撮影された映像を同
期信号に従ってコントローラ7a、7bから入力すると
ともに、仮想映像生成装置15で生成された映像を同期
信号に従って映像信号入力部19a、19bから入力
し、カメラ3a、3bで撮影された映像のうちスクリー
ン6が映し出される範囲に仮想映像を合成し、合成した
映像に関する映像信号を表示用映像信号出力部10a、
10bから液晶ディスプレイ2a、2bに出力させるよ
うになっている。
【0051】本実施例によれば、観察者Hは、仮想映像
生成装置15により生成された仮想的な立体映像を知覚
しながら、例えば、観察者Hの前にある操作卓Qや観察
者Hの目の前へ差し出した手などの映像を仮想的な立体
映像と同一の映像の中に見ることができる。従って、観
察者Hに、観察者H自身を含めた周囲の現実のものが仮
想的な映像空間の中に没入しているような感覚を与える
ことができる。
生成装置15により生成された仮想的な立体映像を知覚
しながら、例えば、観察者Hの前にある操作卓Qや観察
者Hの目の前へ差し出した手などの映像を仮想的な立体
映像と同一の映像の中に見ることができる。従って、観
察者Hに、観察者H自身を含めた周囲の現実のものが仮
想的な映像空間の中に没入しているような感覚を与える
ことができる。
【0052】次に、本発明の第4実施例を図6に従って
説明する。
説明する。
【0053】本実施例は、ヘッドマウントディスプレイ
1に位置姿勢角検出手段として位置および姿勢角検出装
置20を設けるとともに、視点制御手段として、位置お
よび姿勢角検出装置20の検出信号に従って制御信号を
生成するコントローラ21と、コントローラ21からの
制御信号に従ってカメラ4a、4bの位置を制御する駆
動装置22を設け、観察者Hの姿勢に合わせてカメラ4
a、4bの撮影位置を制御するようにしたものであり、
他の構成は図1のものと同様であるので、図1のものと
同一のものには同一符号を付してそれらの説明は省略す
る。
1に位置姿勢角検出手段として位置および姿勢角検出装
置20を設けるとともに、視点制御手段として、位置お
よび姿勢角検出装置20の検出信号に従って制御信号を
生成するコントローラ21と、コントローラ21からの
制御信号に従ってカメラ4a、4bの位置を制御する駆
動装置22を設け、観察者Hの姿勢に合わせてカメラ4
a、4bの撮影位置を制御するようにしたものであり、
他の構成は図1のものと同様であるので、図1のものと
同一のものには同一符号を付してそれらの説明は省略す
る。
【0054】位置および姿勢角検出装置20は、例え
ば、磁気センサ、超音波センサ、ジャイロセンサ、ある
いはレーザーセンサで構成されており、観察者Hの頭部
の位置および姿勢角を検出し、検出信号をコントローラ
21へ出力するようになっている。コントローラ21は
センサ信号処理部23、カメラ駆動指令出力部24から
構成されている。センサ信号処理部23は、位置および
姿勢角検出装置20からの信号を処理するようになって
いる。カメラ駆動指令出力部24は、センサ信号処理部
24で処理された信号に従って観察者Hの頭部の位置お
よび姿勢角に応じたカメラ駆動指令を生成するようにな
っている。駆動装置22は、カメラ駆動指令出力部24
から出力されたカメラ駆動指令に従ってカメラ4a、4
bの位置および姿勢角を制御するように構成されてい
る。
ば、磁気センサ、超音波センサ、ジャイロセンサ、ある
いはレーザーセンサで構成されており、観察者Hの頭部
の位置および姿勢角を検出し、検出信号をコントローラ
21へ出力するようになっている。コントローラ21は
センサ信号処理部23、カメラ駆動指令出力部24から
構成されている。センサ信号処理部23は、位置および
姿勢角検出装置20からの信号を処理するようになって
いる。カメラ駆動指令出力部24は、センサ信号処理部
24で処理された信号に従って観察者Hの頭部の位置お
よび姿勢角に応じたカメラ駆動指令を生成するようにな
っている。駆動装置22は、カメラ駆動指令出力部24
から出力されたカメラ駆動指令に従ってカメラ4a、4
bの位置および姿勢角を制御するように構成されてい
る。
【0055】本実施例においては、観察者Hの頭部の位
置および姿勢角が変化すると、観察者Hの頭部の位置お
よび姿勢角に応じたカメラ駆動指令がコントローラ21
で生成され、カメラ駆動指令に従って駆動装置22が駆
動され、カメラ4a、4bの位置および姿勢角が制御さ
れる。このため、例えば、観察者Hが右側を向けば、遠
隔地の映像として右側の映像が液晶ディスプレイ2a、
2bに表示される。さらに、観察者Hがいる部屋の壁、
天井および床全体をスクリーン6として用いれば、観察
者Hが、足元を向いたときには、遠隔地を撮影した映像
空間の中に観察者H自身の足が存在するように観察者H
には知覚される。
置および姿勢角が変化すると、観察者Hの頭部の位置お
よび姿勢角に応じたカメラ駆動指令がコントローラ21
で生成され、カメラ駆動指令に従って駆動装置22が駆
動され、カメラ4a、4bの位置および姿勢角が制御さ
れる。このため、例えば、観察者Hが右側を向けば、遠
隔地の映像として右側の映像が液晶ディスプレイ2a、
2bに表示される。さらに、観察者Hがいる部屋の壁、
天井および床全体をスクリーン6として用いれば、観察
者Hが、足元を向いたときには、遠隔地を撮影した映像
空間の中に観察者H自身の足が存在するように観察者H
には知覚される。
【0056】本実施例によれば、観察者Hの周囲の映像
と遠隔地の映像を同時にディスプレイ2a、2bに表示
することができるとともに、観察者Hの位置および姿勢
角に合わせて遠隔地の映像の位置および姿勢角を変化さ
せることができ、観察者Hに、遠隔地を撮影した映像空
間の中に自分自身の体ごと没入しているような感覚を与
えることができる。
と遠隔地の映像を同時にディスプレイ2a、2bに表示
することができるとともに、観察者Hの位置および姿勢
角に合わせて遠隔地の映像の位置および姿勢角を変化さ
せることができ、観察者Hに、遠隔地を撮影した映像空
間の中に自分自身の体ごと没入しているような感覚を与
えることができる。
【0057】本実施例においては、遠隔地撮影用のカメ
ラ4a、4bの代わりに、仮想映像生成装置15を用い
ることもできる。この場合、位置および姿勢角検出装置
の検出信号により仮想映像の視点を変化させることもで
きる。
ラ4a、4bの代わりに、仮想映像生成装置15を用い
ることもできる。この場合、位置および姿勢角検出装置
の検出信号により仮想映像の視点を変化させることもで
きる。
【0058】次に、本発明の第5実施例を図7に従って
説明する。
説明する。
【0059】本実施例は、図6に示す位置および姿勢角
検出装置20の代わりに、操作卓Qに、例えば、ジョイ
スティックのような遠隔地撮影用カメラ駆動指令入力装
置25を設け、操作卓Qの操作に応じてカメラ4a、4
bの位置および姿勢角を制御するようにしたものであ
り、他の構成は図6のものと同様であり、図6と同一の
ものには同一符号具してそれらの説明は省略する。
検出装置20の代わりに、操作卓Qに、例えば、ジョイ
スティックのような遠隔地撮影用カメラ駆動指令入力装
置25を設け、操作卓Qの操作に応じてカメラ4a、4
bの位置および姿勢角を制御するようにしたものであ
り、他の構成は図6のものと同様であり、図6と同一の
ものには同一符号具してそれらの説明は省略する。
【0060】本実施例においては、観察者Hが操作卓Q
を操作すると、その操作量に応じた信号がカメラ4a、
4bの位置および姿勢角を制御するための信号として入
力装置25に入力され、この信号に従ってカメラ駆動指
令がコントローラ21で生成され、このカメラ駆動指令
に従って駆動装置22が駆動される。
を操作すると、その操作量に応じた信号がカメラ4a、
4bの位置および姿勢角を制御するための信号として入
力装置25に入力され、この信号に従ってカメラ駆動指
令がコントローラ21で生成され、このカメラ駆動指令
に従って駆動装置22が駆動される。
【0061】本実施例によれば、操作卓Qの操作によ
り、観察者Hが見たい方向にカメラ4a、4bを向ける
ことができ、観察者Hの正面に、常に見たい映像を表示
することができる。
り、観察者Hが見たい方向にカメラ4a、4bを向ける
ことができ、観察者Hの正面に、常に見たい映像を表示
することができる。
【0062】次に、本発明の第6実施例を図8と図9従
って説明する。
って説明する。
【0063】本実施例は、情報映像生成装置26を設け
るとともに、情報映像生成装置26で生成された映像と
カメラ3a、3b、4a、4bで撮影された映像とを合
成する装置として映像系制御装置5cを設けたものであ
り、他の構成は図1ものと同様であるので、図1のもの
と同一のものには同一符号を付してそれらの説明は省略
する。
るとともに、情報映像生成装置26で生成された映像と
カメラ3a、3b、4a、4bで撮影された映像とを合
成する装置として映像系制御装置5cを設けたものであ
り、他の構成は図1ものと同様であるので、図1のもの
と同一のものには同一符号を付してそれらの説明は省略
する。
【0064】本実施例においては、3種類の映像を多重
合成するために、情報映像生成装置26で生成された情
報映像が映像系制御装置5cの情報入力部27に入力さ
れている。情報入力部27に入力された情報映像は、同
期信号発生部11からの同期信号に従って第2の映像合
成部28に入力される。第2の映像合成部28では、同
期信号発生部11からの同期信号に従って、情報入力部
27から入力された情報映像とカメラ4bで撮影された
作業機械Gの映像が合成され、合成された映像が映像合
成部9bに入力されている。映像合成部9bでは、第2
の映像合成部28からの映像とカメラ3bからの映像と
が合成され、合成された映像に関する映像信号が映像信
号出力部10bから液晶ディスプレイ2bに出力され
る。また映像合成部9aでは、カメラ3a、4aで撮影
された映像が合成され、合成された映像に関する映像信
号が映像信号出力部10aから液晶ディスプレイ2aに
出力されている。
合成するために、情報映像生成装置26で生成された情
報映像が映像系制御装置5cの情報入力部27に入力さ
れている。情報入力部27に入力された情報映像は、同
期信号発生部11からの同期信号に従って第2の映像合
成部28に入力される。第2の映像合成部28では、同
期信号発生部11からの同期信号に従って、情報入力部
27から入力された情報映像とカメラ4bで撮影された
作業機械Gの映像が合成され、合成された映像が映像合
成部9bに入力されている。映像合成部9bでは、第2
の映像合成部28からの映像とカメラ3bからの映像と
が合成され、合成された映像に関する映像信号が映像信
号出力部10bから液晶ディスプレイ2bに出力され
る。また映像合成部9aでは、カメラ3a、4aで撮影
された映像が合成され、合成された映像に関する映像信
号が映像信号出力部10aから液晶ディスプレイ2aに
出力されている。
【0065】本実施例によれば、観察者Hが必要な映像
を情報映像生成装置26から入力することで、必要な情
報に関する映像と、観察者Hの周囲の映像および遠隔地
の映像を合成して同時にディスプレイ2a、2bに表示
することができる。
を情報映像生成装置26から入力することで、必要な情
報に関する映像と、観察者Hの周囲の映像および遠隔地
の映像を合成して同時にディスプレイ2a、2bに表示
することができる。
【0066】なお、情報映像生成装置26から出力され
る映像をカメラ3a、3bで撮影された映像のうち少な
くとも一方の映像と合成することもできる。
る映像をカメラ3a、3bで撮影された映像のうち少な
くとも一方の映像と合成することもできる。
【0067】次に、本発明の第7実施例を図10に従っ
て説明する。
て説明する。
【0068】本実施例は、観察者H、H’に合わせて、
カメラ4a、4bを除いた構成要素を2系統設けるとと
もに、カメラ4a、4bで撮影された映像を2系統に分
配するために、映像分配手段として映像信号分配器29
を設け、さらに映像系制御装置5’で合成された映像を
監視用モニタ31a、31bと液晶ディスプレイ2
a’、2b’に分配するために映像信号分配器30を設
けて構成されている。
カメラ4a、4bを除いた構成要素を2系統設けるとと
もに、カメラ4a、4bで撮影された映像を2系統に分
配するために、映像分配手段として映像信号分配器29
を設け、さらに映像系制御装置5’で合成された映像を
監視用モニタ31a、31bと液晶ディスプレイ2
a’、2b’に分配するために映像信号分配器30を設
けて構成されている。
【0069】本実施例においては、観察者Hは、ディス
プレイ2a、2bを見ることで、カメラ3a、3bで撮
影された周囲の映像と、カメラ4a、4bで撮影された
遠隔地の作業機械G、G’に関する映像とを同時に知覚
することができる。また観察者H’は、ディスプレイ2
a’、2b’を見ることでで、カメラ3a’、3b’で
撮影された周囲の映像とカメラ4a、4bで撮影された
遠隔地の映像、作業機械G、G’の映像を同時に知覚す
ることができる。
プレイ2a、2bを見ることで、カメラ3a、3bで撮
影された周囲の映像と、カメラ4a、4bで撮影された
遠隔地の作業機械G、G’に関する映像とを同時に知覚
することができる。また観察者H’は、ディスプレイ2
a’、2b’を見ることでで、カメラ3a’、3b’で
撮影された周囲の映像とカメラ4a、4bで撮影された
遠隔地の映像、作業機械G、G’の映像を同時に知覚す
ることができる。
【0070】本実施例によれば、複数の観察者H、H’
が、それぞれの周囲のものとともに、同一の遠隔地を撮
影した映像空間に没入できる。従って、観察者Hが操作
卓Qを用いて遠隔地の作業機械Gを操作したり、また観
察者H’が操作卓Q’を用いて遠隔地の作業機械Gを操
作したりすることができ、観察者H、H’が同一の遠隔
地に関する作業を共同で行なうことが可能となる。
が、それぞれの周囲のものとともに、同一の遠隔地を撮
影した映像空間に没入できる。従って、観察者Hが操作
卓Qを用いて遠隔地の作業機械Gを操作したり、また観
察者H’が操作卓Q’を用いて遠隔地の作業機械Gを操
作したりすることができ、観察者H、H’が同一の遠隔
地に関する作業を共同で行なうことが可能となる。
【0071】また、本実施例においては、観察者H、
H’が知覚する映像と同一の映像を監視用モニタ31
a、31bに表示することで、ヘッドマウントディスプ
レイ1、1’を装着しないものも、合成された映像をみ
ることができる。
H’が知覚する映像と同一の映像を監視用モニタ31
a、31bに表示することで、ヘッドマウントディスプ
レイ1、1’を装着しないものも、合成された映像をみ
ることができる。
【0072】なお、前記実施例においては、カメラ4
a、4bの代わりに、仮想映像生成装置15を用いるこ
ともできる。
a、4bの代わりに、仮想映像生成装置15を用いるこ
ともできる。
【0073】次に、本発明の第8実施例を図11に従っ
て説明する。
て説明する。
【0074】本実施例は、図6に示す操作卓Qとスクリ
ーン6を具体的に示したものである。
ーン6を具体的に示したものである。
【0075】本実施例においては、観察者Hが操作卓Q
を操作する際に、カメラ4a、4bで撮影された遠隔地
の作業機械Gおよび作業環境の映像が映像系制御装置5
に入力され、ヘッドマウントディスプレイ1に搭載され
たカメラ3a、3bで撮影された映像と合成される。こ
のときカメラ3a、3bで撮影された映像のうちスクリ
ーン6が表示されている部分に、遠隔地の映像である作
業機械Gの映像が合成され、合成された映像が液晶ディ
スプレイ2a、2bに表示される。さらに、位置および
姿勢角検出装置20により観察者Hの頭部の向きが検出
され、この検出出力に従って駆動装置22が駆動される
と、観察者Hの向いた方向と同じ方向にカメラ4a、4
bを向けることができる。従って観察者Hは頭の向きと
同じ方向の遠隔地の映像を知覚することができる。
を操作する際に、カメラ4a、4bで撮影された遠隔地
の作業機械Gおよび作業環境の映像が映像系制御装置5
に入力され、ヘッドマウントディスプレイ1に搭載され
たカメラ3a、3bで撮影された映像と合成される。こ
のときカメラ3a、3bで撮影された映像のうちスクリ
ーン6が表示されている部分に、遠隔地の映像である作
業機械Gの映像が合成され、合成された映像が液晶ディ
スプレイ2a、2bに表示される。さらに、位置および
姿勢角検出装置20により観察者Hの頭部の向きが検出
され、この検出出力に従って駆動装置22が駆動される
と、観察者Hの向いた方向と同じ方向にカメラ4a、4
bを向けることができる。従って観察者Hは頭の向きと
同じ方向の遠隔地の映像を知覚することができる。
【0076】このように、本実施例によれば、遠隔地の
立体映像と、観察者Hの周囲の立体映像とが同一の映像
として提示できるので、観察者Hには、作業機械Gの操
作卓と、遠隔地の作業機械Gが同一空間に存在するよう
に知覚される。すなわち、観察者Hは、遠隔地の作業機
械Gがあたかも操作卓Qの近くに存在するような臨場感
を持って作業機械Gを操作することができる。
立体映像と、観察者Hの周囲の立体映像とが同一の映像
として提示できるので、観察者Hには、作業機械Gの操
作卓と、遠隔地の作業機械Gが同一空間に存在するよう
に知覚される。すなわち、観察者Hは、遠隔地の作業機
械Gがあたかも操作卓Qの近くに存在するような臨場感
を持って作業機械Gを操作することができる。
【0077】なお、遠隔地の撮影対象物および観察者の
周囲にある撮影対象物としては、作業機械Gおよび操作
卓Qに限らずその他のものを用いることもできる。
周囲にある撮影対象物としては、作業機械Gおよび操作
卓Qに限らずその他のものを用いることもできる。
【0078】次に、本発明の第9実施例を図12に従っ
て説明する。
て説明する。
【0079】本実施例は、ヘッドマウントディスプレイ
装置を自動車の操縦シミュレーション装置に適用したも
のであり、観察者Hがヘッドマウントディスプレイ1を
装着して、操作卓Qに設けられたハンドル32操作した
ときに、このハンドル32の操作に合わせて自動車の周
囲の仮想映像を変化させるようにしたものである。
装置を自動車の操縦シミュレーション装置に適用したも
のであり、観察者Hがヘッドマウントディスプレイ1を
装着して、操作卓Qに設けられたハンドル32操作した
ときに、このハンドル32の操作に合わせて自動車の周
囲の仮想映像を変化させるようにしたものである。
【0080】すなわち、自動車の周囲の仮想映像を表示
するために、運転席の周囲には第1のスクリーン6aが
設けられているとともに、操作卓Q上でスピードメータ
などの計器類を配置する部分には第2のスクリーン6b
が設けられている。そして観察者Hがヘッドマウントデ
ィスプレイ1を装着すると、ヘッドマウントディスプレ
イ1に搭載された周囲撮影用のカメラ(図示省略)によ
り撮影された映像のうち、第1のスクリーン6aが写し
だされている部分に自動車の周囲の仮想的な立体映像が
合成され、第2のスクリーン6bが映し出されている部
分にはスピードメータなどの計器類の仮想映像が合成さ
れ、各合成された映像がヘッドマウントディスプレイ1
の液晶ディスプレイ(図示省略)に表示される。
するために、運転席の周囲には第1のスクリーン6aが
設けられているとともに、操作卓Q上でスピードメータ
などの計器類を配置する部分には第2のスクリーン6b
が設けられている。そして観察者Hがヘッドマウントデ
ィスプレイ1を装着すると、ヘッドマウントディスプレ
イ1に搭載された周囲撮影用のカメラ(図示省略)によ
り撮影された映像のうち、第1のスクリーン6aが写し
だされている部分に自動車の周囲の仮想的な立体映像が
合成され、第2のスクリーン6bが映し出されている部
分にはスピードメータなどの計器類の仮想映像が合成さ
れ、各合成された映像がヘッドマウントディスプレイ1
の液晶ディスプレイ(図示省略)に表示される。
【0081】また、ヘッドマウントディスプレイ1に設
けられた姿勢角検出装置20により検出された検出信号
を基に、観察者Hの視点と仮想映像の視点とが一致する
ようになっている。さらに、ハンドル32の操作によ
り、操縦される仮想的な自動車の運動に合わせて、自動
車の周囲の仮想映像も変化するようになっている。
けられた姿勢角検出装置20により検出された検出信号
を基に、観察者Hの視点と仮想映像の視点とが一致する
ようになっている。さらに、ハンドル32の操作によ
り、操縦される仮想的な自動車の運動に合わせて、自動
車の周囲の仮想映像も変化するようになっている。
【0082】本実施例によれば、観察者Hは、実際にハ
ンドル32などの操作装置などを視認し且つ操作しなが
ら、同時に仮想的な自動車の周囲の映像および仮想的な
スピードメータなどの映像を視認することが可能とな
り、同一映像の中に、現実に存在するハンドル32と仮
想的な映像がともに立体映像として混在し、臨場感のあ
る操縦シミュレーションが可能となる。
ンドル32などの操作装置などを視認し且つ操作しなが
ら、同時に仮想的な自動車の周囲の映像および仮想的な
スピードメータなどの映像を視認することが可能とな
り、同一映像の中に、現実に存在するハンドル32と仮
想的な映像がともに立体映像として混在し、臨場感のあ
る操縦シミュレーションが可能となる。
【0083】次に、本発明の第10実施例を図13に従
って説明する。
って説明する。
【0084】本実施例は、観察対象物Kにスクリーン6
を貼付たものであり、他の構成は図4に示す第3実施例
と同様であるので、図4と同一のものには同一符号を付
してそれらの説明は省略する。
を貼付たものであり、他の構成は図4に示す第3実施例
と同様であるので、図4と同一のものには同一符号を付
してそれらの説明は省略する。
【0085】本実施例においては、観察者Hが装着する
ヘッドマウントディスプレイ1に搭載されたカメラ3
a、3bの映像のうち、スクリーン6が映し出されてい
る範囲に、仮想映像生成装置15により生成された仮想
映像が合成され、合成映像が液晶ディスプレイ2a、2
bに表示される。
ヘッドマウントディスプレイ1に搭載されたカメラ3
a、3bの映像のうち、スクリーン6が映し出されてい
る範囲に、仮想映像生成装置15により生成された仮想
映像が合成され、合成映像が液晶ディスプレイ2a、2
bに表示される。
【0086】このため、本実施例によれば、例えばシス
テムキッチンや冷蔵庫などの製品の色や柄を評価する際
に、観察対象物Kに実際の製品を用い、そこにスクリー
ン6を貼付ることで、仮想映像生成装置15で生成され
た製品の色や柄を変更することができ、実際の製品を実
際に扱いながら色や柄が製品に適合するか否かを評価す
ることが可能となる。
テムキッチンや冷蔵庫などの製品の色や柄を評価する際
に、観察対象物Kに実際の製品を用い、そこにスクリー
ン6を貼付ることで、仮想映像生成装置15で生成され
た製品の色や柄を変更することができ、実際の製品を実
際に扱いながら色や柄が製品に適合するか否かを評価す
ることが可能となる。
【0087】次に、本発明の第11実施例を図14に従
って説明する。
って説明する。
【0088】本実施例は、スクリーン6を共通として、
観察者H、H’に合わせて、図4に示すヘッドマウント
ディスプレイ装置を2系統設けるとともに、各ヘッドマ
ウントディスプレイ1、1’に位置および姿勢角検出装
置20、20’を設け、さらに環境モデル管理手段33
を設けたものである。
観察者H、H’に合わせて、図4に示すヘッドマウント
ディスプレイ装置を2系統設けるとともに、各ヘッドマ
ウントディスプレイ1、1’に位置および姿勢角検出装
置20、20’を設け、さらに環境モデル管理手段33
を設けたものである。
【0089】環境モデル管理手段33は、観察者H、
H’に、映像として提示する環境内にある物体の大きさ
や物体の置かれた位置などの幾何情報を管理するように
構成されている。仮想映像生成装置15、15’は、環
境モデル管理手段33により得られた環境モデル情報を
基に、コンピュータグラフィックスによる仮想的な立体
映像を生成し、生成した映像を映像系制御装置5、5’
へ出力するようになっている。仮想映像生成装置15、
157は、ヘッドマウントディスプレイ1、1’に搭載
された位置および姿勢角検出装置20、20’の検出出
力を基に、観察者H、H’の視点とほぼ同一の視点から
見た環境モデルの仮想映像を生成するように構成されて
いる。
H’に、映像として提示する環境内にある物体の大きさ
や物体の置かれた位置などの幾何情報を管理するように
構成されている。仮想映像生成装置15、15’は、環
境モデル管理手段33により得られた環境モデル情報を
基に、コンピュータグラフィックスによる仮想的な立体
映像を生成し、生成した映像を映像系制御装置5、5’
へ出力するようになっている。仮想映像生成装置15、
157は、ヘッドマウントディスプレイ1、1’に搭載
された位置および姿勢角検出装置20、20’の検出出
力を基に、観察者H、H’の視点とほぼ同一の視点から
見た環境モデルの仮想映像を生成するように構成されて
いる。
【0090】映像系制御装置5は、カメラ3a、3bで
撮影された観察者Hの周囲の映像と仮想映像生成装置1
5から出力される仮想映像とを合成し、合成画像を液晶
ディスプレイ2a、2bに出力するようになっている。
映像系制御装置5’は、カメラ3a’、3b’で撮影さ
れた観察者H’の周囲の映像と仮想映像生成装置15’
から出力される仮想映像とを合成し、合成映像を液晶デ
ィスプレイ2a’、2b’に出力するようになってい
る。そして映像系制御装置5、5’で映像が合成される
際に、カメラ3a、3b、3a’、3b’で撮影された
映像のうちスクリーン6が映し出された部分に、仮想映
像生成装置15、15’で生成された映像が合成され
る。
撮影された観察者Hの周囲の映像と仮想映像生成装置1
5から出力される仮想映像とを合成し、合成画像を液晶
ディスプレイ2a、2bに出力するようになっている。
映像系制御装置5’は、カメラ3a’、3b’で撮影さ
れた観察者H’の周囲の映像と仮想映像生成装置15’
から出力される仮想映像とを合成し、合成映像を液晶デ
ィスプレイ2a’、2b’に出力するようになってい
る。そして映像系制御装置5、5’で映像が合成される
際に、カメラ3a、3b、3a’、3b’で撮影された
映像のうちスクリーン6が映し出された部分に、仮想映
像生成装置15、15’で生成された映像が合成され
る。
【0091】本実施例によれば、複数の観察者H、H’
が、同一の環境モデルをそれぞれの視点から見ることが
でき、同時に他の観察者を含めた周囲の環境も見ること
もできる。例えば、観察者Hは、仮想立体映像による仮
想物体Rと、仮想物体Rを見ている観察者H’を同時に
知覚することができる。また観察者H’は、仮想物体R
と、仮想物体Rを見ている観察者Hを知覚することがで
きる。従って、複数の観察者H、H’に、仮想立体映像
による仮想映像があたかも観察者自身の周囲に存在して
いるかのように知覚させることができる。
が、同一の環境モデルをそれぞれの視点から見ることが
でき、同時に他の観察者を含めた周囲の環境も見ること
もできる。例えば、観察者Hは、仮想立体映像による仮
想物体Rと、仮想物体Rを見ている観察者H’を同時に
知覚することができる。また観察者H’は、仮想物体R
と、仮想物体Rを見ている観察者Hを知覚することがで
きる。従って、複数の観察者H、H’に、仮想立体映像
による仮想映像があたかも観察者自身の周囲に存在して
いるかのように知覚させることができる。
【0092】次に、本発明の第12実施例を図15に従
って説明する。
って説明する。
【0093】本実施例は、図1に示すスクリーン6の代
わりに、映像抽出手段として、カメラ3a、3bと映像
系制御装置5との間に画像抽出装置34a、34bを設
けたものであり、他の構成は図1のものと同様であるの
で、図1と同一のものには同一符号付してそれらの説明
は省略する。
わりに、映像抽出手段として、カメラ3a、3bと映像
系制御装置5との間に画像抽出装置34a、34bを設
けたものであり、他の構成は図1のものと同様であるの
で、図1と同一のものには同一符号付してそれらの説明
は省略する。
【0094】画像抽出装置34a、34bは、カメラ3
a、3bで撮影された映像のうち指定の被写体、例え
ば、操作卓Qの映像のみを抽出し、それ以外の映像部分
は、例えば青色の映像信号を重ねて映像系制御装置5へ
出力するようになっている。そして画像抽出装置34
a、34bから出力された信号とカメラ4a、4bで撮
影された映像とが映像系制御装置5で合成されると、カ
メラ3a、3bで撮影された映像のうち画像抽出装置3
4a、34bで抽出された被写体、例えば操作卓Qの映
像の背景の部分に、カメラ4a、4bで撮影された映像
が合成され、合成された映像が液晶ディスプレイ2a、
2bに表示される。
a、3bで撮影された映像のうち指定の被写体、例え
ば、操作卓Qの映像のみを抽出し、それ以外の映像部分
は、例えば青色の映像信号を重ねて映像系制御装置5へ
出力するようになっている。そして画像抽出装置34
a、34bから出力された信号とカメラ4a、4bで撮
影された映像とが映像系制御装置5で合成されると、カ
メラ3a、3bで撮影された映像のうち画像抽出装置3
4a、34bで抽出された被写体、例えば操作卓Qの映
像の背景の部分に、カメラ4a、4bで撮影された映像
が合成され、合成された映像が液晶ディスプレイ2a、
2bに表示される。
【0095】本実施例によれば、観察者Hの周囲にスク
リーンを備える必要がないので、観察者H自身の周囲の
空間に遠隔地の環境が存在しているような感覚を観察者
Hに与えることができるとともに、スクリーンの配置場
所に制約を受けることなく観察者Hの周囲の映像と遠隔
地の映像を同時に観察者Hが知覚することができる。
リーンを備える必要がないので、観察者H自身の周囲の
空間に遠隔地の環境が存在しているような感覚を観察者
Hに与えることができるとともに、スクリーンの配置場
所に制約を受けることなく観察者Hの周囲の映像と遠隔
地の映像を同時に観察者Hが知覚することができる。
【0096】
【発明の効果】以上説明したように、本発明によれば、
観察者の視点から見た映像と他の映像とを合成して観察
者の眼前に同時に表示することができ、観察者の周囲の
映像と他の映像とを同一の映像空間に混在させて観察者
に提示することができ、観察者に臨場感を与えることが
できる。
観察者の視点から見た映像と他の映像とを合成して観察
者の眼前に同時に表示することができ、観察者の周囲の
映像と他の映像とを同一の映像空間に混在させて観察者
に提示することができ、観察者に臨場感を与えることが
できる。
【0097】また映像生成手段により生成された映像と
して遠隔地の映像あるいは仮想的な映像を用いたときに
は、遠隔地の映像もしくは仮想的な映像と、観察者の周
囲の映像とを同時に観察者に知覚させることができ、観
察者に、遠隔地また仮想的な映像空間内にいるような臨
場感を与えることができる。
して遠隔地の映像あるいは仮想的な映像を用いたときに
は、遠隔地の映像もしくは仮想的な映像と、観察者の周
囲の映像とを同時に観察者に知覚させることができ、観
察者に、遠隔地また仮想的な映像空間内にいるような臨
場感を与えることができる。
【0098】ヘッドマウントディスプレイ装置を作業機
械の遠隔操作に適応したときには、作業現場がまじかに
存在するように観察することができるので、遠隔作業を
効率よく行なうことができる。
械の遠隔操作に適応したときには、作業現場がまじかに
存在するように観察することができるので、遠隔作業を
効率よく行なうことができる。
【0099】またヘッドマウントディスプレイ装置を機
械の操作シュミレーション装置に適応したときには、仮
想の映像と、機械を操作する者の周囲の現実の物体に関
する映像とを一つの映像空間として操作者に知覚させる
ことができ、現実に近い操作シュミレーションが可能と
なる。
械の操作シュミレーション装置に適応したときには、仮
想の映像と、機械を操作する者の周囲の現実の物体に関
する映像とを一つの映像空間として操作者に知覚させる
ことができ、現実に近い操作シュミレーションが可能と
なる。
【0100】またスクリーンの代わりに映像抽出手段を
設けたときには、スクリーンを設置するための場所に制
約を受けることなく装置を使用することができる。
設けたときには、スクリーンを設置するための場所に制
約を受けることなく装置を使用することができる。
【0101】また観察者の数に合わせてヘッドマウント
ディスプレイ装置を複数系統設けたときには、複数の観
察者を同一の映像空間または同一の仮想空間に没入させ
ることができる。さらにこの場合、映像として仮想映像
を用いたときには、一方の観察者が仮想映像の任意の場
所を指定することで、他の観察者は一方の観察者の指と
指示している仮想映像とを同時に見ることができ、仮想
映像の物体について討議する際、観察者同士が互いを見
ながら効果的に討論することが可能となる。
ディスプレイ装置を複数系統設けたときには、複数の観
察者を同一の映像空間または同一の仮想空間に没入させ
ることができる。さらにこの場合、映像として仮想映像
を用いたときには、一方の観察者が仮想映像の任意の場
所を指定することで、他の観察者は一方の観察者の指と
指示している仮想映像とを同時に見ることができ、仮想
映像の物体について討議する際、観察者同士が互いを見
ながら効果的に討論することが可能となる。
【図1】本発明の第1実施例を示す全体構成図である。
【図2】図1に示す映像系制御装置の具体的構成図であ
る。
る。
【図3】本発明の第2実施例を示す要部構成図である。
【図4】本発明の第3実施例を示す全体構成図である。
【図5】図4に示す映像系制御装置の具体的構成図であ
る。
る。
【図6】本発明の第4実施例を示す全体構成図である。
【図7】本発明の第5実施例を示す全体構成図である。
【図8】本発明の第6実施例を示す全体構成図である。
【図9】図8に示す映像系制御装置の具体的構成図であ
る。
る。
【図10】本発明の第7実施例を示す全体構成図であ
る。
る。
【図11】本発明の第8実施例を示す全体構成図であ
る。
る。
【図12】本発明の第9実施例を示す全体構成図であ
る。
る。
【図13】本発明の第10実施例を示す全体構成図であ
る。
る。
【図14】本発明の第11実施例を示す全構成図であ
る。
る。
【図15】本発明の第12実施例を示す全体構成図であ
る。
る。
1 ヘッドマウントディスプレイ 2a、2b 液晶ディスプレイ 3a、3b、4a、4b カメラ 5、5’ 映像系制御装置 6 スクリーン
Claims (15)
- 【請求項1】 観察者に装着されて観察者の左右両眼の
視野内に映像を表示する表示手段と、観察者の周囲に配
置された少なくとも1つのスクリーンと、観察者の左右
両眼の視点と略同一の視点から前記スクリーンを見た視
野領域を撮影する少なくとも1つの第1撮影手段と、第
1撮影手段とは異なる映像を生成する少なくとも1つの
映像生成手段と、前記第1撮影手段により撮影された映
像のうち前記スクリーンが映し出された部分に、前記映
像生成手段により生成された映像を合成して合成映像を
前記表示手段に表示させる少なくとも1つの映像合成手
段とを備えているヘッドマウントディスプレイ装置。 - 【請求項2】 観察者に装着されて観察者の左右両眼の
前方近傍に独立に映像を表示する複数の表示手段と、観
察者の周囲に配置された少なくとも1つのスクリーン
と、観察者の左右両眼の視点と略同一の視点から前記ス
クリーンを見た視野領域を撮影する少なくとも1つの第
1撮影手段と、第1撮影手段とは異なる映像を生成する
少なくとも1つの映像生成手段と、前記第1撮影手段に
より撮影された映像のうち前記スクリーンが映し出され
た部分に、前記映像生成手段により生成された映像を合
成して合成映像を前記各表示手段に表示させる少なくと
も1つの映像合成手段とを備えているヘッドマウントデ
ィスプレイ装置。 - 【請求項3】 観察者に装着されて観察者の左右両眼の
前方近傍に独立に映像を表示する複数の表示手段と、観
察者の周囲に配置された少なくとも1つのスクリーン
と、少なくとも前記一方の表示手段の位置を視点として
この視点から前記スクリーンを見た視野領域を撮影する
少なくとも1つの第1撮影手段と、第1撮影手段とは異
なる映像を生成する少なくとも1つの映像生成手段と、
前記第1撮影手段により撮影された映像のうち前記スク
リーンが映し出された部分に、前記映像生成手段により
生成された映像を合成して合成映像を前記各表示手段に
表示させる少なくとも1つの映像合成手段とを備えてい
るヘッドマウントディスプレイ装置。 - 【請求項4】 観察者に装着されて観察者の左右両眼の
前方近傍に独立に映像を表示する複数の表示手段と、観
察者の周囲に配置されたスクリーンと、観察者の左右両
眼の視点と略同一の視点から前記スクリーンを見た視野
領域を撮影する第1撮影手段と、前記第1撮影手段によ
り撮影された映像のうち前記スクリーンが映し出された
部分に、他の映像を合成して合成映像を前記各表示手段
に表示させる映像合成手段とをそれぞれ複数組備えてい
ると共に、前記第1撮影手段とは異なる映像を生成する
映像生成手段と、映像生成手段の生成により映像を複数
系統に分けて各映像合成手段へ出力する映像分配手段を
備えているヘッドマウントディスプレイ装置。 - 【請求項5】 観察者に装着されて観察者の左右両眼の
前方近傍に独立に映像を表示する複数の表示手段と、観
察者の周囲に配置されたスクリーンと、観察者の左右両
眼の視点と略同一の視点から前記スクリーンを見た視野
領域を撮影する第1撮影手段と、入力情報に従って第1
撮影手段とは異なる映像を生成する映像生成手段と、前
記第1撮影手段により撮影された映像のうち前記スクリ
ーンが映し出された部分に、前記映像生成手段により生
成された映像を合成して合成映像を前記各表示手段に表
示させる映像合成手段とをそれぞれ複数組備えていると
共に、仮想の環境の映像を生成するための情報として各
組共通の環境モデル情報を前記各映像生成手段へ与える
環境モデル管理手段を備えているヘッドマウントディス
プレイ装置。 - 【請求項6】 観察者に装着されて観察者の左右両眼の
前方近傍に独立に映像を表示する複数の表示手段と、観
察者の左右両眼の視点と略同一の視点から見た視野領域
を撮影する第1撮影手段と、第1撮影手段とは異なる映
像を生成する映像生成手段と、前記第1撮影手段により
撮影された映像から指定の被写体部分を抽出する映像抽
出手段と、前記第1撮影手段により撮影された映像のう
ち前記映像抽出手段により抽出された被写体映像の背景
の部分に、前記映像生成手段により生成された映像を合
成して合成映像を前記各表示手段に表示させる少なくと
も1つの映像合成手段とを備えているヘッドマウントデ
ィスプレイ装置。 - 【請求項7】 第1撮影手段は、撮影対象を相異なる位
置から撮影して立体映像を生成する複数の撮影装置で構
成されている請求項1、2、3、4、5または6記載の
ヘッドマウントディスプレイ装置。 - 【請求項8】 映像生成手段は、立体映像を生成する立
体映像生成手段で構成されている請求項1、2、3、
4、5、6または7記載のヘッドマウントディスプレイ
装置。 - 【請求項9】 映像生成手段は、撮影対象を相異なる位
置から撮影して立体映像を生成する複数の第2撮影手段
で構成されている請求項1、2、3、4、5、6または
7記載のヘッドマウントディスプレイ装置。 - 【請求項10】 映像生成手段は、仮想の映像を生成す
る仮想映像生成手段で構成されている請求項1、2、
3、4、5、6または7記載のヘッドマウントディスプ
レイ装置。 - 【請求項11】 映像生成手段は、予め撮影された立体
映像を再生する立体映像再生手段で構成されている請求
項1、2、3、4、5、6または7記載のヘッドマウン
トディスプレイ装置。 - 【請求項12】 観察者の頭部の位置と姿勢角を検出す
る位置姿勢角検出手段と、位置姿勢角検出手段の検出出
力に応じて映像生成手段の生成による映像の視点を制御
する視点制御手段とを備えている請求項1乃至11のう
ちいずれか1項記載のヘッドマウントディスプレイ装
置。 - 【請求項13】 少なくとも1つのスクリーンは、第1
撮影手段の撮影対象の一部または全部に装着されている
請求項1、2、3、4、5、7、8、9、10、11ま
たは12記載のヘッドマウントディスプレイ装置。 - 【請求項14】 請求項1乃至13のうちいずれか1項
記載のヘッドマウントディスプレイ装置を備えていると
共に、第1撮影手段の撮影領域内でかつ観察者の操作範
囲内に配置されて作業機械を遠隔操作する遠隔操作手段
を備え、さらに、映像生成手段として、前記作業機械と
前記作業機械の作業環境のうち少なくとも一方を撮影対
象とする第2撮影手段を備えている遠隔操作装置。 - 【請求項15】 請求項1乃至13のうちいずれか1項
記載のヘッドマウントディスプレイ装置を備えていると
共に、第1撮影手段の撮影領域内でかつ観察者の操作範
囲内に配置されて機械を操作する操作手段を備え、さら
に、映像生成手段として、前記機械に関する仮想映像と
前記機械の作業環境の仮想映像のうち少なくとも一方を
生成する仮想映像生成手段を備えている機械の操作シミ
ュレーション装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7128006A JPH08322064A (ja) | 1995-05-26 | 1995-05-26 | ヘッドマウントディスプレイ装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7128006A JPH08322064A (ja) | 1995-05-26 | 1995-05-26 | ヘッドマウントディスプレイ装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH08322064A true JPH08322064A (ja) | 1996-12-03 |
Family
ID=14974147
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP7128006A Pending JPH08322064A (ja) | 1995-05-26 | 1995-05-26 | ヘッドマウントディスプレイ装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH08322064A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19906244A1 (de) * | 1999-02-15 | 2000-08-24 | Alf Holger Tschersich | Vorrichtung zur elektrischen realen Raumbildvermittlung ferngelenkter selbstbeweglicher Vorrichtungen |
WO2006086819A1 (en) * | 2005-02-15 | 2006-08-24 | Dac Thong Bui | 3d digital vision |
CN108259878A (zh) * | 2018-03-26 | 2018-07-06 | 江苏北方湖光光电有限公司 | 驾驶仪 |
JP2018121132A (ja) * | 2017-01-23 | 2018-08-02 | ティフォン インコーポレーテッドTyffon Inc. | 映像提供システム、映像提供方法及び映像提供プログラム |
WO2019187660A1 (ja) * | 2018-03-29 | 2019-10-03 | コベルコ建機株式会社 | 作業機械の遠隔操作システム |
JP2021046719A (ja) * | 2019-09-18 | 2021-03-25 | 住友重機械工業株式会社 | ショベルの遠隔操作システム |
-
1995
- 1995-05-26 JP JP7128006A patent/JPH08322064A/ja active Pending
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19906244A1 (de) * | 1999-02-15 | 2000-08-24 | Alf Holger Tschersich | Vorrichtung zur elektrischen realen Raumbildvermittlung ferngelenkter selbstbeweglicher Vorrichtungen |
WO2006086819A1 (en) * | 2005-02-15 | 2006-08-24 | Dac Thong Bui | 3d digital vision |
JP2018121132A (ja) * | 2017-01-23 | 2018-08-02 | ティフォン インコーポレーテッドTyffon Inc. | 映像提供システム、映像提供方法及び映像提供プログラム |
US10499030B2 (en) | 2017-01-23 | 2019-12-03 | Tyffon Inc. | Video providing system, video providing method, and video providing program |
CN108259878A (zh) * | 2018-03-26 | 2018-07-06 | 江苏北方湖光光电有限公司 | 驾驶仪 |
WO2019187660A1 (ja) * | 2018-03-29 | 2019-10-03 | コベルコ建機株式会社 | 作業機械の遠隔操作システム |
JP2019176401A (ja) * | 2018-03-29 | 2019-10-10 | コベルコ建機株式会社 | 作業機械の遠隔操作システム |
EP3745716A4 (en) * | 2018-03-29 | 2020-12-02 | Kobelco Construction Machinery Co., Ltd. | REMOTE CONTROL SYSTEM FOR A WORK MACHINE |
US11821170B2 (en) | 2018-03-29 | 2023-11-21 | Kobelco Construction Machinery Co., Ltd. | Remote operation system for working machine |
JP2021046719A (ja) * | 2019-09-18 | 2021-03-25 | 住友重機械工業株式会社 | ショベルの遠隔操作システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7804507B2 (en) | Face-mounted display apparatus for mixed reality environment | |
US4870600A (en) | Three-dimensional image display system using binocular parallax | |
US8199186B2 (en) | Three-dimensional (3D) imaging based on motionparallax | |
JP2008546079A (ja) | 複数の視点を有する没入環境 | |
US20120146894A1 (en) | Mixed reality display platform for presenting augmented 3d stereo image and operation method thereof | |
JP2006108868A (ja) | 画像表示装置および画像表示システム | |
US6836286B1 (en) | Method and apparatus for producing images in a virtual space, and image pickup system for use therein | |
JP2008522270A (ja) | 単体三次元レンダリングの複合ビュー表示のためのシステムと方法 | |
CN107948631A (zh) | 一种基于集群和渲染的裸眼3d*** | |
US10567744B1 (en) | Camera-based display method and system for simulators | |
JPH08322064A (ja) | ヘッドマウントディスプレイ装置 | |
JP2830291B2 (ja) | 立体表示装置 | |
JPH11155154A (ja) | 立体映像処理装置 | |
Ferre et al. | Stereoscopic video images for telerobotic applications | |
JP2013090180A (ja) | 立体映像撮影表示装置 | |
JP2005175538A (ja) | 立体映像表示装置及び映像表示方法 | |
JP3047820B2 (ja) | 映像表示システム | |
JP2005175539A (ja) | 立体映像表示装置及び映像表示方法 | |
JP3472068B2 (ja) | 立体映像表示装置 | |
JP2000218575A (ja) | 画像提示装置 | |
JP3114119B2 (ja) | 立体映像表示装置 | |
JPH09289656A (ja) | 映像表示システム | |
JP3088326B2 (ja) | 立体映像表示装置 | |
WO1998011737A1 (en) | Method and apparatus for presenting a visual display to an audience | |
US10567743B1 (en) | See-through based display method and system for simulators |