JPH11237867A - 仮想空間表示装置 - Google Patents

仮想空間表示装置

Info

Publication number
JPH11237867A
JPH11237867A JP5596798A JP5596798A JPH11237867A JP H11237867 A JPH11237867 A JP H11237867A JP 5596798 A JP5596798 A JP 5596798A JP 5596798 A JP5596798 A JP 5596798A JP H11237867 A JPH11237867 A JP H11237867A
Authority
JP
Japan
Prior art keywords
observers
virtual space
image
real space
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP5596798A
Other languages
English (en)
Inventor
Yoji Takahashi
洋史 高橋
Hiroshi Koyama
博史 小山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Priority to JP5596798A priority Critical patent/JPH11237867A/ja
Publication of JPH11237867A publication Critical patent/JPH11237867A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

(57)【要約】 【課題】 複数の観察者の各人に対して表示される仮想
空間と各人が実際に存在している現実空間とを同時に各
観察者に共有させる。 【解決手段】 観察者91、92の頭部の位置・方向が
ヘッドモーションセンサ21、22により検出されて相
互にリンクされたコンピュータ31、32に送られ、こ
れらコンピュータ31、32は、一つの観察対象物93
について、それら頭部の位置・方向から見た3D画像デ
ータをそれぞれ作り、これらを観察者91、92の各々
に装着されたシースルー型のHMD11、12に送る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、HMD(ヘッド
マウントディスプレイ)を用いて仮想の3次元空間上に
対象物体を表示する装置に関する。
【0002】
【従来の技術】MRイメージング装置(核磁気共鳴映像
装置)やPET装置(ポジトロン・エミッション・コン
ピュータ・トモグラフィ装置)などによれば、人体内部
の3次元的な画像情報を得ることができ、これに3Dモ
デリング処理等を施すことにより3次元的な表示が可能
である。こうして仮想の3次元空間上に対象物体を表示
し、その視方向を変化させるなどの操作を行ないなが
ら、患部の病状を二人以上の医師によって検討すること
などが行なわれている。また、3次元CAD(コンピュ
ータ・エイデッド・デザイン)により設計した建物をコ
ンピュータ上で3Dモデリングし、それを仮想空間上で
3次元表示し、ジョイスティックなどの入力装置を用い
て二人以上でその中を歩き回りながら設計について検討
することなども行なわれている。
【0003】
【発明が解決しようとする課題】しかしながら、従来で
は、単に対象物体を仮想空間上で3次元表示するだけで
あり、二人以上で観察する場合に、対象がどんなにわか
りにくい複雑な構造のものでも指摘したい箇所を支持す
るのに言葉をもってしなければならず、意志の疎通がと
りづらく、お互いに勘違いしたまま議論を交わすことも
しばしばある、という問題があった。
【0004】また、仮想空間の中を歩き回る場合、従来
ではジョイスティックなどの操作によっているため、実
際に体を動かすわけではなく、仮想空間に対する視角と
実際の視感覚・平衡感覚との間にずれが生じて違和感を
与える問題もある。
【0005】この発明は、上記に鑑み、複数の観察者の
各々がHMDを装着してそれぞれ3次元仮想空間上で対
象物体を観察する場合に、各人に対して表示される仮想
空間と各人が実際に存在している現実空間とを同時に共
有することができるようにして、注目箇所の指摘につい
て誤解が生じないようにできる、仮想空間表示装置を提
供することを目的とする。
【0006】
【課題を解決するための手段】上記の目的を達成するた
め、この発明による仮想空間表示装置においては、複数
のシースルー型のHMDと、該HMDの方向・位置を検
出するモーションセンサと、検出された各々のHMDに
関する方向・位置に応じて視方向および表示位置が定め
られた各3D画像データを生成して各々のHMDに送る
画像生成手段とが備えられることが特徴となっている。
【0007】HMDはシースルー型となっているため、
表示画像とともに外界の景色も観察可能であり、外界の
景色に重なって表示画像を見ることができる。そしてこ
のHMDの各々の方向・位置が検出され、その各位置・
方向からの3D画像データがそれぞれ生成されて、各々
のHMDに送られる。そのため、各HMDでは、現実空
間においてHMDが位置している位置からそれが向いて
いる方向に見たような3D画像の表示がなされる。その
ため、これらHMDの各々を通して観察している複数の
観察者は、現実空間上で一つの仮想空間上の対象物が現
れ、それを各方向から見ているようにして、仮想空間上
の対象物を認識することができる。現実空間上で指など
を動かせばそれを観察することができるので、仮想空間
上の対象物を現実空間上の指などで差し示すことがで
き、注目箇所の指摘について誤解が生じることを防止で
きる。
【0008】
【発明の実施の形態】つぎに、この発明の実施の形態に
ついて図面を参照しながら詳細に説明する。図1に示す
例では、二人の観察者(医師)91、92が互いに向か
い合って一つの観察対象物93を観察する場合を示して
いる。観察者91、92はそれぞれシースルー型のHM
D11、12を装着しており、これらのHMD11、1
2にはそれぞれコンピュータ31、32から画像信号が
送られてきている。HMD11、12にはヘッドモーシ
ョンセンサ21、22が取り付けられていて、トランス
ミッタ41から発生させられる現実空間上の基準座標信
号に感応することで、HMD11、12の3次元位置・
方向が検出される。これにより、観察者91、92の頭
部の3次元位置・方向が検出されるようになっている。
この検出信号はそれぞれコンピュータ31、32に送ら
れる。
【0009】これらのコンピュータ31、32は相互に
接続されており、表示すべき原画像データが共有されて
いるとともに、ヘッドモーションセンサ21、22から
の3次元位置の検出データが相互にやり取りされてい
る。このようにコンピュータ31、32をリンクするこ
とにより、二つのコンピュータ31、32で統一された
現実空間の座標軸上でそれぞれの観察者91、92に対
する表示を行なうことができ、二人の観察者91、92
が現実空間の同一座標軸上に対象物93を認識すること
ができるような表示を行なうことができる。すなわち、
一つの観察対象物(ここでは頭蓋の3D像)93が、観
察者91、92のちょうど中間に現われ、かつそれぞれ
の観察者91、92の方向から見たような3D画像の表
示が行なわれる。この対象物93は向かい合っている観
察者91、92の間に表われるため、観察者91に対し
ては図2の(a)で示すような頭蓋の右側面方向からの
3D画像となり、観察者92に対しては図2の(b)で
示すような頭蓋の左側面方向からの3D画像となる。
【0010】この場合、HMD11、12はシースルー
型であるため、観察者91、92はこれらの3D画像と
ともに、現実空間をも見ることができる。そして、上記
のように現実空間の座標軸が二つのコンピュータ31、
32で統一されているため、二人の観察者91、92か
ら見たとき仮想の対象物93が現実空間において同一の
位置に現われ、あたかも現実空間の中で、向かい合った
二人の間に浮かび上がっているかのように観察できる。
シースルー型となっていることから現実空間も見ること
ができ、たとえば一方の観察者91が仮想の対象物93
について指摘したい箇所を指で差し示せば、この指を他
方の観察者92も見ることができるとともにこの観察者
92は同じ仮想対象物93を見ているため、他方の観察
者92はその指摘箇所が仮想対象物93のどこであるか
が容易に分かることになる。
【0011】さらに詳しく説明すると、HMD11、1
2は図3に示すように同一構成となっていて画像インタ
ーフェイス13、CRT(陰極線管)14、光学系15
をそれぞれ備える。また、コンピュータ31、32は、
それぞれ演算制御部33および画像出力部34を備え
る。これらコンピュータ31、32の各々の演算制御部
33にヘッドモーションセンサ21、22がそれぞれ接
続される。
【0012】トランスミッタ41はコンピュータ31、
32のいずれかの演算制御部33に接続されるが、これ
らの演算制御部33同士は相互に接続されているため、
トランスミッタ41で発せられた3次元の現実空間上の
基準座標信号にヘッドモーションセンサ21、22の各
々が感応することによって得られるヘッドモーションセ
ンサ21、22からの3次元の位置データは、二つのコ
ンピュータ31、32で統一的に、一つの同じ現実空間
に関するものとして扱われる。これらの3次元の位置デ
ータは、二つのコンピュータ31、32の各々の演算制
御部33で演算・制御され、二人の観察者91、92の
頭部の位置や両者の間の間隔などの変化に応じて対象物
93の3D画像の視方向や表示位置などを変えることが
できる。
【0013】こうして頭部の3次元的な動きを反映した
対象物93の3D画像データが得られ、これが画像出力
部34を経てHMD11、12の各々の画像インターフ
ェイス13に送られる。この画像データは画像インター
フェイス13において適切な表示信号に変換され、CR
T14に送られて、3D画像の表示がなされる。この画
像は光学系15を経ることによって、外界(現実空間)
の景色からの光と重ね合わせて観察者91、92の目に
到達するようにされる。
【0014】図4は他の実施形態を示すものである。こ
の図で、HMD11、12ではCRTの代わりにLCD
(液晶表示装置)16が用いられて画像が出力されるよ
うになっている。さらに、ここでは、仮想空間上の対象
物93を動かしたり操作することができるように、観察
者91側のコンピュータ31の演算制御部33に3次元
グローブ51や3次元マウス61が、観察者92側のコ
ンピュータ32の演算制御部33に3次元グローブ52
や3次元マウス62が、それぞれ接続される。
【0015】これら3次元グローブ51、52や3次元
マウス61、62はトランスミッタ41から発せられる
現実空間の基準座標信号に感応するもので、これらから
の3次元の位置データが演算制御部33で演算・制御さ
れ、対象物93を3次元的に移動・回転させたり、削っ
たりするというような操作がなされたときに、それに応
じた3D画像の処理がなされる。たとえば、観察者91
がその観察している仮想対象物93に対して操作すると
その内容が反映された3D画像データが得られ、これが
自らの画像出力部34を経てHMD11で表示され、そ
の操作結果の反映された画像を見ることができる。それ
のみでなく、観察者91による操作に関して3次元グロ
ーブ51や3次元マウス61から入力されたデータは、
他方のコンピュータ32の演算制御部33にも送られて
演算・制御され、その操作結果の反映された3D画像デ
ータが画像出力部34を経てHMD12に送られ、観察
者92の観察画像上でもその操作結果が表われることに
なる。そのため、たとえば対象物93が一方の観察者9
1によって回転させられれば、他方の観察者92が観察
している対象物93も回転させられる。
【0016】さらに力覚制御器71、72を用いること
もできる。この力覚制御器71、72を用いるなら、観
察者91、92の双方において、仮想空間上の対象物9
3の表面の触り具合を感じさせることが可能となる。
【0017】図5はさらに別の実施形態を示すものであ
る。ここでは、観察者91、92の身体の適当な場所に
取り付けられた位置センサ81、82が用いられてい
る。この位置センサ81、82も、トランスミッタ41
から発せられる現実空間の基準座標信号に感応して3次
元の位置を表すデータを出力する。位置センサ81、8
2が観察者91、92の身体に取り付けられているた
め、観察者91、92が現実空間内で実際に歩き回り、
任意の場所に移動したとき、その位置がそれぞれのコン
ピュータ31、32に取り込まれる。
【0018】位置センサ81、82からのデータを演算
制御部33で演算・制御することにより、観察者91、
92の現実空間上での位置変化に対応した3D画像デー
タを生成することができる。そのため、観察者91、9
2の各々が歩き回って現実空間上で位置を変えたとき、
それらを反映した仮想空間上の対象物93を同一現実空
間上で観察者91、92のそれぞれが認識することがで
きる。このように実際に歩き回ったときの現実空間の動
きが仮想空間に反映されるので、視覚を通じて認識され
る仮想空間と平衡感覚等の視覚以外の感覚を通じて認識
される現実空間との間のずれがなくなり、自然な感覚で
現実空間と仮想空間との共存を受け入れることができ
る。
【0019】なお、上の説明はこの発明の一つの実施形
態に関するものであり、この発明が上の説明に限定され
るものでないことはもちろんである。観察者は二人とし
たが3人以上でもよく、各人がHMDを装着する。コン
ピュータは各人ごとに1台ずつとしているが、1台のコ
ンピュータで各人に提示すべき画像のデータを生成し
て、各々の画像データを各HMDに分配するように構成
することもできる。その他、具体的な構成などは種々に
変更可能である。
【0020】
【発明の効果】以上説明したように、この発明の仮想空
間表示装置によれば、複数の観察者の各人に対して表示
される仮想空間と各人が実際に存在している現実空間と
を同時に共有することができるようにして、各観察者が
装着したHMDを通じて仮想空間上の対象物の表示を行
なうことができ、対象物についての位置などの誤解が生
じないようにできる。観察者の頭部あるいは身体の動き
という現実空間での動きが仮想空間に反映されるので、
視覚を通じて認識される仮想空間と平衡感覚等の他の感
覚を通じて認識される現実空間との間のずれがなくな
り、自然な感覚で現実空間と仮想空間との共存を受け入
れることができる。
【図面の簡単な説明】
【図1】この発明の実施の形態を模式的に示す概略斜視
図。
【図2】各観察者が観察する3D画像の一例を示す図。
【図3】同実施形態の信号処理系統を示すブロック図。
【図4】他の実施形態にかかる信号処理系統を示すブロ
ック図。
【図5】さらに別の実施形態にかかる信号処理系統を示
すブロック図。
【符号の説明】
11、12 HMD(ヘッドマウント
ディスプレイ) 13 画像イン
ターフェイス 14 CRT 15 光学系 16 LCD 21、22 ヘッドモーションセンサ 31、32 コンピュータ 33 演算制御
部 34 画像出力
部 41 トランス
ミッタ 51、52 3次元グローブ 61、62 3次元マウス 71、72 力覚制御器 81、82 位置センサ 91、92 観察者 93 観察対象
たる仮想空間上の対象物
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 FI G09G 5/36 510 G06F 15/62 360

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 複数のシースルー型のHMDと、該HM
    Dの方向・位置を検出するモーションセンサと、検出さ
    れた各々のHMDに関する方向・位置に応じて視方向お
    よび表示位置が定められた各3D画像データを生成して
    各々のHMDに送る画像生成手段とを備えることを特徴
    とする仮想空間表示装置。
JP5596798A 1998-02-20 1998-02-20 仮想空間表示装置 Pending JPH11237867A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP5596798A JPH11237867A (ja) 1998-02-20 1998-02-20 仮想空間表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5596798A JPH11237867A (ja) 1998-02-20 1998-02-20 仮想空間表示装置

Publications (1)

Publication Number Publication Date
JPH11237867A true JPH11237867A (ja) 1999-08-31

Family

ID=13013853

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5596798A Pending JPH11237867A (ja) 1998-02-20 1998-02-20 仮想空間表示装置

Country Status (1)

Country Link
JP (1) JPH11237867A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011114659A1 (en) * 2010-03-17 2011-09-22 Sony Corporation Information processing device, information processing method, and program
JP2012521039A (ja) * 2009-03-20 2012-09-10 マイクロソフト コーポレーション 仮想オブジェクトの操作
JP2014071520A (ja) * 2012-09-27 2014-04-21 Kyocera Corp 表示装置、制御方法および制御プログラム
US10341642B2 (en) 2012-09-27 2019-07-02 Kyocera Corporation Display device, control method, and control program for stereoscopically displaying objects
JP2019522856A (ja) * 2016-06-30 2019-08-15 株式会社ソニー・インタラクティブエンタテインメント バーチャルリアリティシーンに参加するための操作方法及びシステム
JPWO2019102676A1 (ja) * 2017-11-21 2020-12-24 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012521039A (ja) * 2009-03-20 2012-09-10 マイクロソフト コーポレーション 仮想オブジェクトの操作
US9256282B2 (en) 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
WO2011114659A1 (en) * 2010-03-17 2011-09-22 Sony Corporation Information processing device, information processing method, and program
CN102792339A (zh) * 2010-03-17 2012-11-21 索尼公司 信息处理装置、信息处理方法以及程序
RU2533628C2 (ru) * 2010-03-17 2014-11-20 Сони Корпорейшн Устройство обработки информации, способ обработки информации и программа
US9076256B2 (en) 2010-03-17 2015-07-07 Sony Corporation Information processing device, information processing method, and program
JP2014071520A (ja) * 2012-09-27 2014-04-21 Kyocera Corp 表示装置、制御方法および制御プログラム
US10341642B2 (en) 2012-09-27 2019-07-02 Kyocera Corporation Display device, control method, and control program for stereoscopically displaying objects
JP2019522856A (ja) * 2016-06-30 2019-08-15 株式会社ソニー・インタラクティブエンタテインメント バーチャルリアリティシーンに参加するための操作方法及びシステム
JPWO2019102676A1 (ja) * 2017-11-21 2020-12-24 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Similar Documents

Publication Publication Date Title
Burdea et al. Virtual reality technology
CN103180893B (zh) 用于提供三维用户界面的方法和***
JP7213899B2 (ja) 視線に基づく拡張現実環境のためのインターフェース
Zheng et al. Virtual reality
Boman International survey: Virtual-environment research
JP6101793B2 (ja) 時空間的不確実性を管理するためのシステム及び方法
Poston et al. Dextrous virtual work
Lu et al. Immersive manipulation of virtual objects through glove-based hand gesture interaction
Gallo et al. A user interface for VR-ready 3D medical imaging by off-the-shelf input devices
EP3803540B1 (en) Gesture control of medical displays
CN105074617A (zh) 三维用户界面装置和三维操作处理方法
JPWO2012081194A1 (ja) 医療支援装置、医療支援方法および医療支援システム
US20190066386A1 (en) Method and apparatus for multiple mode interface
JP2008009646A (ja) 画像処理装置、画像処理方法
Poston et al. The virtual workbench: Dextrous VR
US20230162456A1 (en) Method and apparatus for multiple mode interface
Krapichler et al. VR interaction techniques for medical imaging applications
CN104679222A (zh) 基于人机交互的医疗办公***、医疗信息共享***及方法
Giraldi et al. Introduction to virtual reality
JP2005339266A (ja) 情報処理方法、情報処理装置、撮像装置
US20230065505A1 (en) System and method for augmented reality data interaction for ultrasound imaging
JPH11237867A (ja) 仮想空間表示装置
KR20040084243A (ko) 인공고관절 가상 시술 시뮬레이션 시스템
Aspin et al. Augmenting the CAVE: An initial study into close focused, inward looking, exploration in IPT systems
JP2005339267A (ja) 情報処理方法、情報処理装置、撮像装置