JP2004038470A - 複合現実感装置および情報処理方法 - Google Patents
複合現実感装置および情報処理方法 Download PDFInfo
- Publication number
- JP2004038470A JP2004038470A JP2002193564A JP2002193564A JP2004038470A JP 2004038470 A JP2004038470 A JP 2004038470A JP 2002193564 A JP2002193564 A JP 2002193564A JP 2002193564 A JP2002193564 A JP 2002193564A JP 2004038470 A JP2004038470 A JP 2004038470A
- Authority
- JP
- Japan
- Prior art keywords
- virtual space
- mixed reality
- observer
- space
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】複合現実空間への没入感を阻害せず観察者の簡単な動作で仮想物体を操作可能な複合現実空間とのインターフェースを提供
【解決手段】現実空間における任意座標、任意方向の現実空間映像を撮影する現実空間映像撮影手段と前記任意座標を視点位置、前記任意方向を視線方向とする仮想空間映像を生成する仮想空間映像生成手段と前記視点位置、前記視線方向を検出する位置方向検出手段と前記現実空間映像と前記仮想空間映像とを重畳して複合現実空間映像を生成する複合現実空間映像生成手段と前記複合現実空間映像を表示する複合現実空間映像表示手段と仮想空間に存在する仮想空間物体および仮想空間の時間を予め定められている手順に従って管理、更新する仮想空間管理手段とを有する複合現実感装置であって複合現実空間映像の観察者の視線と仮想空間物体の位置との関係を求める計算手段と前記計算手段の結果に応じて仮想空間物体を選択する選択手段とを有する
【選択図】 図9
【解決手段】現実空間における任意座標、任意方向の現実空間映像を撮影する現実空間映像撮影手段と前記任意座標を視点位置、前記任意方向を視線方向とする仮想空間映像を生成する仮想空間映像生成手段と前記視点位置、前記視線方向を検出する位置方向検出手段と前記現実空間映像と前記仮想空間映像とを重畳して複合現実空間映像を生成する複合現実空間映像生成手段と前記複合現実空間映像を表示する複合現実空間映像表示手段と仮想空間に存在する仮想空間物体および仮想空間の時間を予め定められている手順に従って管理、更新する仮想空間管理手段とを有する複合現実感装置であって複合現実空間映像の観察者の視線と仮想空間物体の位置との関係を求める計算手段と前記計算手段の結果に応じて仮想空間物体を選択する選択手段とを有する
【選択図】 図9
Description
【0001】
【発明の属する技術分野】
本発明は、現実空間映像と仮想空間映像を重畳し複合現実空間画像を生成するものに関する。
【0002】
【従来の技術】
複合現実感装置とは、現実空間映像と、ユーザの視点位置、視線方向に応じて生成される仮想空間映像とを合成することにより得られる複合現実空間映像をユーザに提供するものである。複合現実感装置は、現実空間中に仮想物体が実在しているかのように観察者に提示することが可能であり、テーマパーク、アミューズメント施設、各種展示会、博覧会、博物館、水族館、植物園、動物園等への利用が期待されている。
【0003】
テレビゲームやバーチャルリアリティ装置などの仮想空間映像装置において観察者が仮想空間とのインターフェースとして、従来ジョイスティックなどの専用コントローラーやマウス、キーボードなどが用いられてきた。複合現実感装置においてもこれらのデバイスを利用することはもちろん可能である。しかし日頃テレビゲームなどで利用しているインターフェースを利用することで、複合現実空間の観察者にテレビゲームへの類似性を感じさせる危惧がある。観察者がこの類似性を感じることで、現実空間と仮想空間が融合した状態への没入感を大きく損ねてしまう。
【0004】
また、頭部装着型表示装置を頭に装着することが前提となる複合現実感装置において、観察者にこれ以上のデバイスの装着または保持を要求することは、観察者の複合現実空間における自由度を阻害するだけでなく不快感を増大させてしまう。
【0005】
特開2000−353248では観察者の腕に装着した位置方向センサによって腕の位置方向を検出しその変化をインターフェース手段としている。腕に装着する位置方向センサはジョイスティックなどに比べ小型軽量であり、身体を使った直感的なインターフェースは没入感を深める好例と考えられる。
【0006】
【発明が解決しようとする課題】
以上説明したように、観察者が可能な限り装着物を身体につけること無く、自由に動作することが可能で、複合現実空間への没入感を阻害しないような複合現実空間とのインターフェースが必要とされている。
【0007】
本発明は上述の課題に鑑みてなされたものであり、複合現実空間への没入感を阻害せず、観察者の簡単な動作で仮想物体を操作可能な複合現実空間とのインターフェースを提供することを目的とする。
【0008】
【課題を解決するための手段】
上記目的を達成するために本発明は以下の構成を有することを特徴とする。
【0009】
請求項1記載の複合現実感装置は、現実空間における任意座標、任意方向の現実空間映像を撮影する現実空間映像撮影手段と、前記任意座標を視点位置、前記任意方向を視線方向とする仮想空間映像を生成する仮想空間映像生成手段と、前記視点位置および、または前記視線方向を検出する位置方向検出手段と、前記現実空間映像と前記仮想空間映像とを重畳して複合現実空間映像を生成する複合現実空間映像生成手段と、前記複合現実空間映像を表示する複合現実空間映像表示手段と、仮想空間に存在する仮想空間物体および仮想空間の時間を、予め定められている手順に従って管理、更新する仮想空間管理手段とを有する複合現実感装置であって、複合現実空間映像の観察者の視線と、仮想空間物体の位置との関係を求める計算手段と、前記計算手段の結果に応じて仮想空間物体を選択する選択手段とを有することを特徴とする。
【0010】
本願請求項9に記載の情報処理方法は、現実空間映像と仮想空間映像を重畳し複合現実空間画像を生成する情報処理方法であって、観察者の視点位置、視線方向を入力し、前記観察者の視点位置、前記視線方向および各仮想空間物体の動作モードに応じて、仮想空間映像を生成し、前記現実空間映像と前記仮想空間映像とを重畳して複合現実空間映像を生成する情報処理方法であり、前記観察者の視線方向と前記仮想空間物体との位置の関係から前記仮想空間内の複数の仮想空間物体から任意の仮想空間物体を選択し、該選択された仮想空間物体の動作モードを変更することを特徴とする。
【0011】
【発明の実施の形態】
(実施形態1)
本実施形態は水族館における海底散歩の疑似体験を行なうことのできる展示装置としての応用例を説明するものである。
【0012】
図1は本発明における展示装置の構成図である。
【0013】
各観察者100は疑似体験を行なうために、複合現実空間映像を表示するHMD110(ヘッドマウンテッドディスプレイ)を頭部に装着して舞台装置内に立っている。なお、本装置では同時に体験可能な観察者を4人に制限しているが、これに限定されるものではない。
【0014】
HMD110は図2(a)(b)の外観図に示されるように、左右両眼用の2つのビデオカメラ111、2つの小型表示装置112、位置姿勢センサ受信機113で構成されている。小型表示装置112は液晶ディスプレイと光学プリズムによって構成されている。ビデオカメラ111は観察者の視点位置および視線方向の現実空間映像を撮影する。位置姿勢センサ受信機113は後述する位置姿勢センサ発信機と本体との組み合わせで観察者の視点位置および視線方向を計測する。小型表示装置112にはビデオカメラ111によって取得された現実空間映像と、位置姿勢計測値から観察することのできる仮想空間映像とを合成した複合現実空間映像が表示される。なお、複合現実空間映像は観察者が高い品質の疑似体験を行なうことができるようにするため立体映像として提供されるのが望ましい。
【0015】
再び図1の説明に戻る。130は位置姿勢センサ発信機、131は位置姿勢センサ本体である。位置姿勢センサ受信機113、位置姿勢センサ発信機130は位置姿勢センサ本体131に接続されている。位置姿勢センサ発信機130からは磁気が発信されており、位置姿勢センサ受信機113がこの磁気を受信する。位置姿勢センサ本体131は位置姿勢センサ受信機113の磁気受信強度から各位置センサの位置および方向を算出する。本実施形態では米国Polhemus社製FASTRAKや米国Ascension Technology社製Flock of Birdsなどを利用することが可能であるが、これに限定されるものではなく他の市販されている超音波式、光学式位置姿勢センサも利用可能である。さらに観察者の観察位置を固定して運用すれば姿勢センサ(ジャイロ)も利用可能である。図1に向かって2台あるうちの左側は左側2人の観察者の視点位置および視線方向を、右側は右側の2人のそれらを計測している。もし配線上問題が生じなければ1セットで構成してもよい。
【0016】
図5は映像装置140の構成図である。140は観察者の複合現実空間映像を生成し観察者に表示する映像装置で、観察者ごとに1組必要となる。観察者数を増やす場合、観察者数に応じてこの構成を展示装置に追加してゆけばよい。
【0017】
140は観察者の装着しているHMD110とコンピュータ141で構成される。
【0018】
コンピュータ141にはビデオキャプチャボード142、CG描画支援機能を有するグラフィックボード144、ネットワークインターフェース149が搭載されている。なおビデオキャプチャボード142、グラフィックボード144は立体視映像を提供するために右目用と左目用の2つずつが搭載されている。
【0019】
各装置はコンピュータ141内部において、CPU145、HDD(ハードディスク)146およびメモリ147と接続されている。
【0020】
コンピュータ141外部においては、ビデオキャプチャボード142にはHMD110のビデオカメラ111が、グラフィックボード112にはHMD110の表示装置112が、ネットワークインターフェース149には、イーサネット(R)などで構成されるネットワーク160が接続されている。
【0021】
映像装置140はネットワーク160を介して他の映像装置と通信可能な状態になっている。
【0022】
コンピュータ141では上述した構成によって観察者の複合現実空間映像を生成し提供するために、複合現実映像生成プログラムが動作している。複合現実映像生成プログラムは、後述する映像装置150が送信する複合現実空間情報に基づいて各観察者の視点での仮想空間映像を生成し、ビデオカメラ111からの現実空間映像をビデオキャプチャボード142によって取得し、これら両者を合成し複合現実映像を生成して、グラフィックボード112を経由してHMD110の小型表示装置112に表示する。この処理の結果、観察者には現実物体である海底を模した舞台装置内に、仮想物体である水生生物があたかも現実物体として舞台装置内を浮遊しているように見えるようになる。
【0023】
図6は映像装置150の構成図である。映像装置150は観察者の視点位置視線方向取得、複合現実空間管理、複合現実空間情報の通知、固定された視点における複合現実空間映像の生成、環境音楽再生、効果音再生を行なう映像装置であり、複合現実感装置に1つ設置される。
【0024】
映像装置150は観察者の視点位置視線方向計測を行なう位置方位センサ本体131、ビデオカメラ184、ディスプレイ180、スピーカー182とコンピュータ151で構成される。
【0025】
コンピュータ151はコンピュータ141と同様に、ビデオキャプチャボード142、CG描画支援機能を有するグラフィックボード144、ネットワークインターフェース149が搭載される。さらにこれらに加えてシリアルインターフェース154とサウンドボード155が搭載される。
【0026】
各装置はコンピュータ141内部において、CPU145、HDD(ハードディスク)146およびメモリ147と接続されている。
【0027】
コンピュータ151外部においては、コンピュータ141同様の接続に加え、シリアルインターフェース154が位置方向センサ本体131と、サウンドボード155がスピーカー182に接続されている。
【0028】
映像装置150がネットワーク160を介して他の映像装置と通信可能な状態になっていることも同様である。
【0029】
コンピュータ151では上述した構成によって、固定された視点における複合現実空間映像の生成のために複合現実映像生成プログラムが、観察者の視点位置視線方向取得、複合現実空間管理、複合現実空間情報の通知を行なうための複合現実空間管理プログラムが、環境音楽再生、効果音再生のためのサウンドプログラムが並行動作している。
【0030】
複合現実映像生成プログラムは、後述する映像装置150が送信する複合現実空間情報に基づいて、ビデオカメラ184の視点位置視線方向の仮想空間映像を生成し、ビデオカメラ184からの現実空間映像をビデオキャプチャボード142によって取得し、これら両者を合成し複合現実映像を生成して、グラフィックボード112を経由してディスプレイ180に表示する。
【0031】
この処理の結果、ディスプレイにはビデオカメラ184の視点位置視線方向から見た舞台装置内に、仮想物体である水生生物があたかも現実物体として舞台装置内を浮遊しているように見えるようになる。ディスプレイ180は観察者以外の来客者に複合現実空間映像を見てもらうために展示装置正面に設置される。またビデオカメラ184は舞台装置全体を俯瞰撮影するよう固定設置されており、一風変わった視点位置からの複合現実映像を来客者は楽しむことができる。
【0032】
複合現実空間管理プログラムは、(1)予め設定されたシナリオに沿って仮想空間時間を進め仮想空間物体の位置姿勢および状態を更新し、(2)位置方位センサ本体131と通信し、位置方位センサ受信機113の位置方向を取得して、観察者の視点位置視線方向(現実空間物体の位置姿勢)を取得し、(3)それらの関係から観察者の視線関係の処理と新しい複合現実空間状態の計算を実行する。(4)そして、上記処理によって得られた情報−複合現実空間情報−を、ネットワーク160を介して各映像装置で動作している複合現実映像生成プログラムやサウンドプログラムに送信することを繰り返す。
【0033】
サウンドプログラムは複合現実空間管理プログラムから送信されてくる複合現実空間情報に基づいてコンピュータ151に予め保持されている所定の音楽データを再生する。再生された音楽や効果音は舞台装置内の観察者全員が認識できる適当な大きさスピーカー182より出力される。
【0034】
出力される環境音楽は、観察者が複合現実空間映像による疑似体験をより没入感を感じさせるための補助要素として利用されるものであり、相応しいものを予め用意しておく必要がある。効果音は複合現実空間中でのイベント(例えば仮想物体同士、あるいは現実物体と仮想物体の衝突)において没入感を高めるため、そして後述する視線によるユーザーインターフェースのために複合現実空間状態変化を観察者に知らせるために用いられる。
【0035】
以上説明してきた構成要素は舞台上の大道具とディスプレイ180を除いて、複合現実空間映像の観察者や展示装置付近に居る施設の来客者からは見えない位置、例えば舞台装置の裏などに設置されて、没入感を軽減させ疑似体験の低質化を避けるように設計されるほうが望ましい。
【0036】
以上展示装置の構成および簡単な動作について説明した。
【0037】
図3、図4は展示施設の舞台装置外観図で、施設への来客が実際に目にすることのできる状態を表している。図3は観察者の居ない状態、図4は観察者が疑似体験を行っている状態の展示装置である。
【0038】
舞台装置では大道具と照明、床によって海底の状況が表現されている。大道具102、103は岩礁を模した造形物である。大道具104は海底に沈んだ遺跡を想像させる石柱の造形物である。大道具106は海底における遠景を描いた壁もしくは衝立状の大道具で、舞台装置の大きさを超えて海底がどこまでも続いているかのごとく感じさせるために海中の環境色で塗装されている。大道具108は海底を模した床である。101は観察者がHMD110を着脱するときに立つ観察者初期位置、105は観察者初期方向を示す矢印である。図3では説明のため図示してあるが、実際の舞台装置にはこの領域を示す線や色分けがあるわけではない。
【0039】
観察者は疑似体験を行なうとき、まず舞台装置内に進入し、観察者初期位置101に立ちHMD110を頭部に装着する。ここでHMD110はそれぞれの観察者初期位置101の側にある大道具103の上部の窪みに置かれている。大道具103はHMD置き台を兼用した造型物となっている。HMD置き台103からHMD110を取り出し装着完了後、観察者は観察者初期位置101の近傍を含む領域内を動き回り、任意の方向を向いたり任意の姿勢をとったりすることが可能である。この領域の範囲はHMD110の配線の長さと位置姿勢センサ131の測定可能範囲に依存する。疑似体験を終了したくなったら観察者は観察者初期位置101に戻り、HMD110を外してHMD置き台103の上部において舞台装置から退出する。舞台装置からの入退出は図3の手前側から行なう。手前側は本展示装置の設置場所に依存するが、大抵の場合は通路もしくはある程度人の溜まることの可能な空間とつながっている。後者の場合は疑似体験の順番待ちをする列を作ったり、ディスプレイ180で表示されるビデオカメラ184の視点での複合現実映像を楽しむ人のとどまる場所を作ったりすることが可能である。これは多くの来客に展示施設を楽しんでもらう観点から望ましい形態である。
【0040】
観察者初期位置101は観察者100がHMD110を着脱する領域であり、観察者初期方向105は観察者100が疑似体験開始の推奨視線方向である。舞台装置内には様々な造型物が設置されているため、馴染みの無いHMDという有線装置を付けて、大胆に動き回る人は少ない。従って大抵は疑似体験中に観察者初期位置101で観察者初期方向105を向いて複合現実映像を観察することが最も頻度が高くなると期待できる。従って、この位置および方向において生成される複合現実映像の質が高くなるように配慮して舞台装置を組むようにしている。例えば、現実空間映像には待ち行列や展示施設を傍観している来客者が見えないように観察者初期位置101、背景用壁106の位置を調整したり、複数の岩礁103が観察者100から異なる距離をもって視界に入るようにして奥行きや立体感を強く感じるようにしたり、他の観察者110が視界に入るようにして、自分の疑似体験を他者と共有していることを意識させたり、他の観察者と自分との間を広く空間を作ってその空間に仮想空間物体である水生生物を表示させることで奥行きを感じさせたり、背景用壁はHMD110で表示されたときに空間が広がっているかのように感じさせる色を選択したり、などである。
【0041】
観察者は以上説明してきた舞台装置内で複合現実映像を鑑賞することで質の高い疑似体験を行なうことができる。
【0042】
なお本実施形態の舞台装置の構成では場合によっては背景用壁が視界に入らないため没入感を軽減させる時がある。これは、舞台装置が観察者以外から目に付くようにすることによる集客効果を狙ったのと、できるだけ多くの人に体験してもらうために舞台装置への出入りを容易にしたためである。こういった利点と引き換えに好みに応じて全周囲を壁で囲うようにして没入感を高めるようにしてもよい。
【0043】
以上展示装置の舞台装置について構成、運用の概要、疑似体験への効果について説明した。
【0044】
次に本発明の目的である複合現実空間への没入感を阻害しないような視線による複合現実空間とのインターフェースインターフェースについて、映像装置140,150で動作するプログラムの処理とともに詳細に説明する。
【0045】
図7は各観察者用の複合現実映像の生成を行なう複合現実映像生成プログラムのフローチャートである。このプログラムは映像装置140,150で実行される。プログラムは並列プログラミングで一般的なスレッド技術を用いて作成されており、メインプログラムと並行して複合現実空間状態受信スレッド(S710)と映像キャプチャスレッド(S720)が動作している。複合現実空間状態受信スレッドは後述する複合現実空間管理プログラムからネットワークを介して送信される複合現実空間状態(観察者視点位置視線方向、仮想空間物***置方向および状態)を受信してメインプログラムに通知する。映像キャプチャスレッドはビデオキャプチャボード142でキャプチャされた現実空間映像をデジタル化してメインプログラムに通知する。メインプログラムは複合現実空間状態受信スレッドが受信した複合現実空間情報によって仮想空間状態を更新し(S701)、これに基づいて仮想空間物体である水生生物や、状態表示のためのアイコンなどの仮想空間映像を生成する(S702)。
【0046】
このとき複合現実空間情報の内容をすべて描画に利用せず、当該観察者に必要な情報のみを描画に利用する。例えば仮想空間物体が選択状態であることを示すアイコン210については他の観察者の分は表示すると難解になるため、本実施形態では自分のアイコン220以外は描画しない。
【0047】
続いて映像キャプチャスレッドから得られた現実空間映像と仮想空間映像を合成し出力する(S704)。以上の処理を繰り返し行なう(S705)。なお水生生物やアイコンのCGモデルは予め映像装置140に記憶されている。
【0048】
図8は複合現実空間管理プログラムのフローチャートである。このプログラムは映像装置150で実行される。複合現実映像生成プログラム同様スレッド技術を用いて作成されており、メインプログラムと並行して位置方向取得スレッド(S840)が動作している。位置方向取得スレッドは位置姿勢センサ本体131と通信して観察者の視点位置姿勢を常時取得している。
【0049】
メインプログラムは位置方向取得スレッドから観察者の視点位置姿勢を受信する(S800)。そして、仮想空間内の時間を単位時間だけ進め(S802)、仮想空間中のイベントの有無を判定し対応する処理行なうと同時に仮想空間物体である水生生物やアイコンの位置姿勢を再計算し仮想空間状態を更新する(S803)。続いて位置方向取得スレッドから得られた観察者の視線方向と仮想空間物体の位置との関係を計算し、関係履歴に応じて処理する一連の視線関係処理を行なう(S804)。これについては後述する。最後に前の視線関連処理による状況変化を反映するために新たな状況において再度仮想空間状態を更新し(S806)、仮想空間状態と観察者の視点位置姿勢を動作しているすべての複合現実映像生成プログラムおよびサウンドプログラムに送信する(S808)。以上の処理を繰り返し行なう(S810)。
【0050】
図9はS804の視線関係処理の内容を詳しく示したフローチャートである。フローチャートのスタートはS803に、エンドはS806に接続されている。視線関係処理は観察者と仮想空間物体間の視線によるインターフェースに関する処理を司っている。
【0051】
本プログラムではすべての観察者(視線)はモードを有している。モードには「一覧モード」と「注目モード」の二種類が存在する。
【0052】
一覧モードとは観察者が複合現実空間中に存在するすべての仮想空間物体を眺めている状態で、観察者が任意の仮想空間物体を選択可能な状態でもある。本プログラムでは初期値に設定される。一覧モード時の表示装置112に表示される片目分の画面を図10に示す。200は水生生物をあらわす仮想空間物体である。
【0053】
注目モードとは一覧モード時に視線によって選択された仮想空間物体が観察者の目前まで移動し停止している状態で、選択された仮想空間物体を間近で良く観察することが可能な状態である。注目モード時の表示装置112の画面を図12に示す。202は一覧モードで選択され観察者の目前で停止している仮想空間物体である。
【0054】
それでは観察者が一覧モードにおいて視線によって仮想空間物体を選択し、注目モードに移行して目前で観察するまでの手順について図9を使って説明する。
【0055】
前提としてすべての仮想空間物体は観察者(視線)の数だけ“カウンタ”と“ステータス”を有しているものとする。“ステータス”は通常状態、選択状態、注目状態があり、初期値は通常状態である。
【0056】
本プログラムは、まずすべての視線から1つを選び出し、モードを判定する(S902)。
モードが一覧モードであった場合、すべての仮想空間物体と視点位置とを結ぶ線分と、視線との成す角度を計算し(S904)、その中から角度が最小かつ他の観察者の視線によって選択状態になっていない仮想空間物体を特定する。もし該当する仮想物体が複数存在する場合はランダムに選んでも良いし、観察者の視点位置からの距離が近いものを選んでも良い(S906)。次に特定された仮想空間物体の当該視線に対応する“カウンタ”を1増やし、それ以外の仮想空間物体の当該視線に対応する“カウンタ”を0にする(S908)。続いて特定された仮想空間物体の当該視線に対応する“カウンタ”を、予め本プログラムに初期値として設定されている回数に達しているか調べ(S910)、もし達していなければこの視線についての処理を終了する。もし達していれば、特定された仮想空間物体が既に当該視線によって選択状態にされているかどうかを仮想空間物体の“ステータス”によって調べる(S912)。もし“ステータス”が選択状態であれば注目状態に更新して(S914)当該視線のモードを注目モードに変更して処理を終了する(S916)。“ステータス”が通常状態であれば選択状態に更新して処理を終了する。いずれの場合も特定された仮想空間物体の当該視線に対応するカウンタを0に戻す(S919)。
【0057】
これに続くS806では、“ステータス”が選択状態である仮想空間物体の有無が判別される。もし選択状態である仮想空間物体が存在した場合は、図11のように選択状態である仮想空間物体202の近傍に選択状態であることを示すアイコン210が表示されるように複合現実空間状態が変更される。ここでアイコン210は仮想空間物体である。アイコン210はもし存在自体が没入感を妨げるようなものであれば使わない、すなわち表示されるように複合現実空間状態を変更しなくてももちろん構わない。
【0058】
またS806ではすべての仮想空間物体の“ステータス”が調べられ、選択状態であったものが注目状態に遷移した場合、当該仮想空間物体について図11の状態からアイコン210が消去されるように複合現実空間状態が変更される。さらに当該仮想空間物体を観察者の目前に移動するように複合現実空間状態が変更される。具体的には先のS803で“ステータス”が注目状態にある仮想空間物体については位置方向を更新せず、S806で一定時間内に観察者の位置観察者の目前で静止するような別処理によって位置方向の更新を行なうようにする。つまり注目状態にある仮想空間物体はS800〜S810の一連の処理を繰り返し行なう間に観察者の目前に位置を移動させ静止するよう処理される。
【0059】
以上観察者が一覧モードにおいて視線によって仮想空間物体を選択し、注目モードに移行して目前で観察するまでの手順について説明した。
【0060】
なお実際には、S900〜S901の処理は処理装置150で計測されるすべての視線について行なわれ、ある視線についてはS902で上記の処理手順が行なわれない可能性があることは言うまでも無い。
【0061】
次に、注目モードにおいて観察者が仮想空間物体を間近で観察している状態から一覧モードに戻す手順について説明する。
【0062】
当該視線のモードが注目モードになった場合(S902)、“ステータス”が注目状態となった仮想空間物体と当該視線との成す角度を計算し(S920)、角度が一定値以上となった場合、注目状態となった仮想空間物体の当該視線に対応する“カウンタ”を1増やし、(S924)そうでなければ“カウンタ”を0にする。(S932)もし“カウンタ”が予め設定されている規定回数に達すれば、当該仮想空間物体の“ステータス”を通常状態に戻し、(S928)当該視線の視線モードを一覧モードに変更し、(S930)“カウンタ”を0に戻し処理を終了する。(S931)
これに続くS806では、またS806ではすべての仮想空間物体の“ステータス”が調べられ、注目状態であったものが通常状態に遷移した場合、当該仮想空間物体を観察者の目前から移動するように仮想空間状態が変更される。具体的には通常状態に戻ったことによりS803によって、他の仮想空間物体と同様に処理されるようにしている。これにより当該仮想空間物体をS800〜S810の一連の処理を繰り返し行なううちに観察者の目前に静止している状態から抜けることができる。
【0063】
以上観察者が注目モードにおいて仮想空間物体を間近で観察している状態から一覧モードに戻す手順について説明した。
【0064】
なお実際には、S900〜S901の処理は処理装置150で計測されるすべての視線について行なわれ、ある視線についてはS902で上記の処理手順が行なわれない可能性があることは言うまでも無い。
【0065】
図16はサウンドプログラムのフローチャートである。このプログラムは映像装置150で実行される。複合現実映像生成プログラム同様スレッド技術を用いて作成されており、メインプログラムと並行して複合現実空間状態受信取得スレッド(S1610)が動作している。複合現実空間状態受信取得スレッドで受信される複合現実空間情報に応じて音楽の演奏を行なう。(S1601)本実施形態では環境音楽の演奏や、ある仮想空間物体の“ステータス”が変化した場合、例えば選択状態になった場合などに所定の効果音を発生する。効果音は好みの物を選択可能であり、もちろん使わなくても構わない。
【0066】
以上複合現実空間への没入感を阻害しないような視線による複合現実空間とのインターフェースインターフェースについて説明した。これによれば観察者の視線方向を利用した仮想空間物体の「選択」、選択された仮想空間物体に対し処理を適用する「確定」の二段階の処理によって、観察者は興味ある仮想物体を興味の赴くままに見続ける、つまり無意識のうちに視線を向けることによって、自然に目前まで引き寄せ良く観察することが可能となる。また興味がなくなった場合や別の仮想物体に興味を持った場合は、視線方向を目前の仮想物体から逸らすことで自然に仮想物体を目前に停止している状態から開放することが可能である。これは興味があるものは見続け、興味の無いものは見ないという人間の行動にとって極めて自然なユーザーインターフェースと言える。
【0067】
さらには、観察者はHMD以外の特定のデバイスを手の保持したり身につけたり操作したりする必要なく、複合現実感への没入感を損ねることが無い。
【0068】
(実施形態2)
実施形態2は実施形態1の変形例であり、構成等は実施形態1と同様である。実施形態1が複合現実空間管理プログラムにおける選択および確定判定のために、観察者の視点位置と仮想空間物体を結ぶ線分と、視線との角度を利用していたのを仮想空間物体の位置と視線との距離を利用するようにした例である。図13に視線関係処理のフローチャートを示す。選択および確定判定のためのパラメータが角度から距離に変更になった以外変更点は無いので詳しい説明は省略する。
【0069】
(実施形態3)
実施形態3は実施形態1、2の変形例であり、構成等は実施形態1と同様である。実施形態1が複合現実空間管理プログラムにおける選択および確定判定のために、観察者の視点位置と仮想空間物体を結ぶ線分と視線との角度を、実施形態2が仮想空間物体の位置と観察者の視線との距離を、それぞれパラメータとして利用して、それぞれ最小値となった回数が予め定められた規定回数を超えた場合を判定基準にしていたが、本実施形態では所定時間連続してそれぞれ最小値のなった場合を判定基準とした例である。図14に角度について適応した視線関係処理のフローチャートを、図15に距離について適応した視線関係処理のフローチャートをそれぞれ示す。タイマーによって規定時間が経過したかどうかを調べる以外、変更点は無いので詳しい説明は省略する。
【0070】
(実施形態4)
実施形態4は実施形態1に準ずる例であり、構成等は実施形態1と同様である。実施形態1が複合現実空間管理プログラムにおける確定判定のために、観察者の視点位置と仮想空間物体を結ぶ線分と、視線との角度を利用していたのを、予め設定されている初手時間が経過したことを契機にして確定を行なうようにした例である。図17に視線関係処理のフローチャートを示す。タイマーによって規定時間が経過したかどうかを調べる以外、変更点は無いので詳しい説明は省略する。
【0071】
上記各実施形態によれば、観察者の視線方向を利用した仮想空間物体の「選択」、選択された仮想空間物体に対し処理を適用する「確定」の二段階の処理によって、観察者は興味ある仮想物体を興味の赴くままに見続けることができる。無意識のうちに視線を向けることによって、自然に目前まで引き寄せ良く観察することが可能となる。また興味がなくなった場合や別の仮想物体に興味を持った場合は、視線方向を目前の仮想物体から逸らすことで自然に仮想物体を目前に停止している状態から開放することが可能である。これは興味があるものは見続け、興味の無いものは見ないという人間の行動にとって極めて自然なユーザーインターフェースと言える。
【0072】
さらに“カウンタ”の規定回数を変更することで「選択」される仮想物体が頻繁に変更されることを防止すること、選択した仮想物体を目前まで引き寄せるのかどうかを考える猶予を与えるといった実際に試して見なければどの程度が使いやすいか判明しない部分について微調整を行なうことが可能となる。
【0073】
そして仮想空間物体の“ステータス”変化に伴ってカーソルを表示したり、効果音を鳴らすようにしたことで、より状態の変化がわかりやすいユーザーインターフェースを提供することができる。
【0074】
さらには、観察者はHMD以外の特定のデバイスを手の保持したり身につけたり操作したりする必要なく、複合現実感への没入感を損ねることを防ぐことができる。
【0075】
さらには、観察者が複数であっても同じ複合現実空間を共有することができ、また個々の観察者が独立して任意の仮想物体を選択して、間近で観察することが可能であるため、一層没入感を高めることができる。
【0076】
また、実施形態4によれば、一定時間内に観察者に選択と確定を要求するようなシナリオに従った複合現実空間管理を行なう際に、それを自然に行なわせることが可能となる。これはテーマパークや展示会などにおいて複合現実感装置を運用する場合に要求される「一定時間あたりの体験者数を向上させつつ、体験者にシナリオを十分楽しんでもらう。」ということを実現するために効果的である。
【0077】
【発明の効果】
本発明によれば、複合現実空間への没入感を阻害せず、観察者の簡単な動作で仮想物体を操作可能な複合現実空間とのインターフェースを提供することができる。
【図面の簡単な説明】
【図1】舞台装置外観図
【図2】HMD外観図
【図3】観察者がいる状態の舞台装置外観図
【図4】展示装置構成図
【図5】処理装置140構成図
【図6】処理装置150構成図
【図7】複合現実映像生成プログラムのフローチャート
【図8】仮想空間管理プログラムのフローチャート
【図9】視線関係処理サブプログラムのフローチャート
【図10】一覧モード時の画面例
【図11】選択モード時の画面例
【図12】注目モード時の画面例
【図13】実施形態2における視線関係処理サブプログラムのフローチャート
【図14】実施形態3における視線関係処理サブプログラムのフローチャート1
【図15】実施形態3における視線関係処理サブプログラムのフローチャート2
【図16】サウンドプログラムのフローチャート
【図17】実施形態4における視線関係処理サブプログラムのフローチャート
【発明の属する技術分野】
本発明は、現実空間映像と仮想空間映像を重畳し複合現実空間画像を生成するものに関する。
【0002】
【従来の技術】
複合現実感装置とは、現実空間映像と、ユーザの視点位置、視線方向に応じて生成される仮想空間映像とを合成することにより得られる複合現実空間映像をユーザに提供するものである。複合現実感装置は、現実空間中に仮想物体が実在しているかのように観察者に提示することが可能であり、テーマパーク、アミューズメント施設、各種展示会、博覧会、博物館、水族館、植物園、動物園等への利用が期待されている。
【0003】
テレビゲームやバーチャルリアリティ装置などの仮想空間映像装置において観察者が仮想空間とのインターフェースとして、従来ジョイスティックなどの専用コントローラーやマウス、キーボードなどが用いられてきた。複合現実感装置においてもこれらのデバイスを利用することはもちろん可能である。しかし日頃テレビゲームなどで利用しているインターフェースを利用することで、複合現実空間の観察者にテレビゲームへの類似性を感じさせる危惧がある。観察者がこの類似性を感じることで、現実空間と仮想空間が融合した状態への没入感を大きく損ねてしまう。
【0004】
また、頭部装着型表示装置を頭に装着することが前提となる複合現実感装置において、観察者にこれ以上のデバイスの装着または保持を要求することは、観察者の複合現実空間における自由度を阻害するだけでなく不快感を増大させてしまう。
【0005】
特開2000−353248では観察者の腕に装着した位置方向センサによって腕の位置方向を検出しその変化をインターフェース手段としている。腕に装着する位置方向センサはジョイスティックなどに比べ小型軽量であり、身体を使った直感的なインターフェースは没入感を深める好例と考えられる。
【0006】
【発明が解決しようとする課題】
以上説明したように、観察者が可能な限り装着物を身体につけること無く、自由に動作することが可能で、複合現実空間への没入感を阻害しないような複合現実空間とのインターフェースが必要とされている。
【0007】
本発明は上述の課題に鑑みてなされたものであり、複合現実空間への没入感を阻害せず、観察者の簡単な動作で仮想物体を操作可能な複合現実空間とのインターフェースを提供することを目的とする。
【0008】
【課題を解決するための手段】
上記目的を達成するために本発明は以下の構成を有することを特徴とする。
【0009】
請求項1記載の複合現実感装置は、現実空間における任意座標、任意方向の現実空間映像を撮影する現実空間映像撮影手段と、前記任意座標を視点位置、前記任意方向を視線方向とする仮想空間映像を生成する仮想空間映像生成手段と、前記視点位置および、または前記視線方向を検出する位置方向検出手段と、前記現実空間映像と前記仮想空間映像とを重畳して複合現実空間映像を生成する複合現実空間映像生成手段と、前記複合現実空間映像を表示する複合現実空間映像表示手段と、仮想空間に存在する仮想空間物体および仮想空間の時間を、予め定められている手順に従って管理、更新する仮想空間管理手段とを有する複合現実感装置であって、複合現実空間映像の観察者の視線と、仮想空間物体の位置との関係を求める計算手段と、前記計算手段の結果に応じて仮想空間物体を選択する選択手段とを有することを特徴とする。
【0010】
本願請求項9に記載の情報処理方法は、現実空間映像と仮想空間映像を重畳し複合現実空間画像を生成する情報処理方法であって、観察者の視点位置、視線方向を入力し、前記観察者の視点位置、前記視線方向および各仮想空間物体の動作モードに応じて、仮想空間映像を生成し、前記現実空間映像と前記仮想空間映像とを重畳して複合現実空間映像を生成する情報処理方法であり、前記観察者の視線方向と前記仮想空間物体との位置の関係から前記仮想空間内の複数の仮想空間物体から任意の仮想空間物体を選択し、該選択された仮想空間物体の動作モードを変更することを特徴とする。
【0011】
【発明の実施の形態】
(実施形態1)
本実施形態は水族館における海底散歩の疑似体験を行なうことのできる展示装置としての応用例を説明するものである。
【0012】
図1は本発明における展示装置の構成図である。
【0013】
各観察者100は疑似体験を行なうために、複合現実空間映像を表示するHMD110(ヘッドマウンテッドディスプレイ)を頭部に装着して舞台装置内に立っている。なお、本装置では同時に体験可能な観察者を4人に制限しているが、これに限定されるものではない。
【0014】
HMD110は図2(a)(b)の外観図に示されるように、左右両眼用の2つのビデオカメラ111、2つの小型表示装置112、位置姿勢センサ受信機113で構成されている。小型表示装置112は液晶ディスプレイと光学プリズムによって構成されている。ビデオカメラ111は観察者の視点位置および視線方向の現実空間映像を撮影する。位置姿勢センサ受信機113は後述する位置姿勢センサ発信機と本体との組み合わせで観察者の視点位置および視線方向を計測する。小型表示装置112にはビデオカメラ111によって取得された現実空間映像と、位置姿勢計測値から観察することのできる仮想空間映像とを合成した複合現実空間映像が表示される。なお、複合現実空間映像は観察者が高い品質の疑似体験を行なうことができるようにするため立体映像として提供されるのが望ましい。
【0015】
再び図1の説明に戻る。130は位置姿勢センサ発信機、131は位置姿勢センサ本体である。位置姿勢センサ受信機113、位置姿勢センサ発信機130は位置姿勢センサ本体131に接続されている。位置姿勢センサ発信機130からは磁気が発信されており、位置姿勢センサ受信機113がこの磁気を受信する。位置姿勢センサ本体131は位置姿勢センサ受信機113の磁気受信強度から各位置センサの位置および方向を算出する。本実施形態では米国Polhemus社製FASTRAKや米国Ascension Technology社製Flock of Birdsなどを利用することが可能であるが、これに限定されるものではなく他の市販されている超音波式、光学式位置姿勢センサも利用可能である。さらに観察者の観察位置を固定して運用すれば姿勢センサ(ジャイロ)も利用可能である。図1に向かって2台あるうちの左側は左側2人の観察者の視点位置および視線方向を、右側は右側の2人のそれらを計測している。もし配線上問題が生じなければ1セットで構成してもよい。
【0016】
図5は映像装置140の構成図である。140は観察者の複合現実空間映像を生成し観察者に表示する映像装置で、観察者ごとに1組必要となる。観察者数を増やす場合、観察者数に応じてこの構成を展示装置に追加してゆけばよい。
【0017】
140は観察者の装着しているHMD110とコンピュータ141で構成される。
【0018】
コンピュータ141にはビデオキャプチャボード142、CG描画支援機能を有するグラフィックボード144、ネットワークインターフェース149が搭載されている。なおビデオキャプチャボード142、グラフィックボード144は立体視映像を提供するために右目用と左目用の2つずつが搭載されている。
【0019】
各装置はコンピュータ141内部において、CPU145、HDD(ハードディスク)146およびメモリ147と接続されている。
【0020】
コンピュータ141外部においては、ビデオキャプチャボード142にはHMD110のビデオカメラ111が、グラフィックボード112にはHMD110の表示装置112が、ネットワークインターフェース149には、イーサネット(R)などで構成されるネットワーク160が接続されている。
【0021】
映像装置140はネットワーク160を介して他の映像装置と通信可能な状態になっている。
【0022】
コンピュータ141では上述した構成によって観察者の複合現実空間映像を生成し提供するために、複合現実映像生成プログラムが動作している。複合現実映像生成プログラムは、後述する映像装置150が送信する複合現実空間情報に基づいて各観察者の視点での仮想空間映像を生成し、ビデオカメラ111からの現実空間映像をビデオキャプチャボード142によって取得し、これら両者を合成し複合現実映像を生成して、グラフィックボード112を経由してHMD110の小型表示装置112に表示する。この処理の結果、観察者には現実物体である海底を模した舞台装置内に、仮想物体である水生生物があたかも現実物体として舞台装置内を浮遊しているように見えるようになる。
【0023】
図6は映像装置150の構成図である。映像装置150は観察者の視点位置視線方向取得、複合現実空間管理、複合現実空間情報の通知、固定された視点における複合現実空間映像の生成、環境音楽再生、効果音再生を行なう映像装置であり、複合現実感装置に1つ設置される。
【0024】
映像装置150は観察者の視点位置視線方向計測を行なう位置方位センサ本体131、ビデオカメラ184、ディスプレイ180、スピーカー182とコンピュータ151で構成される。
【0025】
コンピュータ151はコンピュータ141と同様に、ビデオキャプチャボード142、CG描画支援機能を有するグラフィックボード144、ネットワークインターフェース149が搭載される。さらにこれらに加えてシリアルインターフェース154とサウンドボード155が搭載される。
【0026】
各装置はコンピュータ141内部において、CPU145、HDD(ハードディスク)146およびメモリ147と接続されている。
【0027】
コンピュータ151外部においては、コンピュータ141同様の接続に加え、シリアルインターフェース154が位置方向センサ本体131と、サウンドボード155がスピーカー182に接続されている。
【0028】
映像装置150がネットワーク160を介して他の映像装置と通信可能な状態になっていることも同様である。
【0029】
コンピュータ151では上述した構成によって、固定された視点における複合現実空間映像の生成のために複合現実映像生成プログラムが、観察者の視点位置視線方向取得、複合現実空間管理、複合現実空間情報の通知を行なうための複合現実空間管理プログラムが、環境音楽再生、効果音再生のためのサウンドプログラムが並行動作している。
【0030】
複合現実映像生成プログラムは、後述する映像装置150が送信する複合現実空間情報に基づいて、ビデオカメラ184の視点位置視線方向の仮想空間映像を生成し、ビデオカメラ184からの現実空間映像をビデオキャプチャボード142によって取得し、これら両者を合成し複合現実映像を生成して、グラフィックボード112を経由してディスプレイ180に表示する。
【0031】
この処理の結果、ディスプレイにはビデオカメラ184の視点位置視線方向から見た舞台装置内に、仮想物体である水生生物があたかも現実物体として舞台装置内を浮遊しているように見えるようになる。ディスプレイ180は観察者以外の来客者に複合現実空間映像を見てもらうために展示装置正面に設置される。またビデオカメラ184は舞台装置全体を俯瞰撮影するよう固定設置されており、一風変わった視点位置からの複合現実映像を来客者は楽しむことができる。
【0032】
複合現実空間管理プログラムは、(1)予め設定されたシナリオに沿って仮想空間時間を進め仮想空間物体の位置姿勢および状態を更新し、(2)位置方位センサ本体131と通信し、位置方位センサ受信機113の位置方向を取得して、観察者の視点位置視線方向(現実空間物体の位置姿勢)を取得し、(3)それらの関係から観察者の視線関係の処理と新しい複合現実空間状態の計算を実行する。(4)そして、上記処理によって得られた情報−複合現実空間情報−を、ネットワーク160を介して各映像装置で動作している複合現実映像生成プログラムやサウンドプログラムに送信することを繰り返す。
【0033】
サウンドプログラムは複合現実空間管理プログラムから送信されてくる複合現実空間情報に基づいてコンピュータ151に予め保持されている所定の音楽データを再生する。再生された音楽や効果音は舞台装置内の観察者全員が認識できる適当な大きさスピーカー182より出力される。
【0034】
出力される環境音楽は、観察者が複合現実空間映像による疑似体験をより没入感を感じさせるための補助要素として利用されるものであり、相応しいものを予め用意しておく必要がある。効果音は複合現実空間中でのイベント(例えば仮想物体同士、あるいは現実物体と仮想物体の衝突)において没入感を高めるため、そして後述する視線によるユーザーインターフェースのために複合現実空間状態変化を観察者に知らせるために用いられる。
【0035】
以上説明してきた構成要素は舞台上の大道具とディスプレイ180を除いて、複合現実空間映像の観察者や展示装置付近に居る施設の来客者からは見えない位置、例えば舞台装置の裏などに設置されて、没入感を軽減させ疑似体験の低質化を避けるように設計されるほうが望ましい。
【0036】
以上展示装置の構成および簡単な動作について説明した。
【0037】
図3、図4は展示施設の舞台装置外観図で、施設への来客が実際に目にすることのできる状態を表している。図3は観察者の居ない状態、図4は観察者が疑似体験を行っている状態の展示装置である。
【0038】
舞台装置では大道具と照明、床によって海底の状況が表現されている。大道具102、103は岩礁を模した造形物である。大道具104は海底に沈んだ遺跡を想像させる石柱の造形物である。大道具106は海底における遠景を描いた壁もしくは衝立状の大道具で、舞台装置の大きさを超えて海底がどこまでも続いているかのごとく感じさせるために海中の環境色で塗装されている。大道具108は海底を模した床である。101は観察者がHMD110を着脱するときに立つ観察者初期位置、105は観察者初期方向を示す矢印である。図3では説明のため図示してあるが、実際の舞台装置にはこの領域を示す線や色分けがあるわけではない。
【0039】
観察者は疑似体験を行なうとき、まず舞台装置内に進入し、観察者初期位置101に立ちHMD110を頭部に装着する。ここでHMD110はそれぞれの観察者初期位置101の側にある大道具103の上部の窪みに置かれている。大道具103はHMD置き台を兼用した造型物となっている。HMD置き台103からHMD110を取り出し装着完了後、観察者は観察者初期位置101の近傍を含む領域内を動き回り、任意の方向を向いたり任意の姿勢をとったりすることが可能である。この領域の範囲はHMD110の配線の長さと位置姿勢センサ131の測定可能範囲に依存する。疑似体験を終了したくなったら観察者は観察者初期位置101に戻り、HMD110を外してHMD置き台103の上部において舞台装置から退出する。舞台装置からの入退出は図3の手前側から行なう。手前側は本展示装置の設置場所に依存するが、大抵の場合は通路もしくはある程度人の溜まることの可能な空間とつながっている。後者の場合は疑似体験の順番待ちをする列を作ったり、ディスプレイ180で表示されるビデオカメラ184の視点での複合現実映像を楽しむ人のとどまる場所を作ったりすることが可能である。これは多くの来客に展示施設を楽しんでもらう観点から望ましい形態である。
【0040】
観察者初期位置101は観察者100がHMD110を着脱する領域であり、観察者初期方向105は観察者100が疑似体験開始の推奨視線方向である。舞台装置内には様々な造型物が設置されているため、馴染みの無いHMDという有線装置を付けて、大胆に動き回る人は少ない。従って大抵は疑似体験中に観察者初期位置101で観察者初期方向105を向いて複合現実映像を観察することが最も頻度が高くなると期待できる。従って、この位置および方向において生成される複合現実映像の質が高くなるように配慮して舞台装置を組むようにしている。例えば、現実空間映像には待ち行列や展示施設を傍観している来客者が見えないように観察者初期位置101、背景用壁106の位置を調整したり、複数の岩礁103が観察者100から異なる距離をもって視界に入るようにして奥行きや立体感を強く感じるようにしたり、他の観察者110が視界に入るようにして、自分の疑似体験を他者と共有していることを意識させたり、他の観察者と自分との間を広く空間を作ってその空間に仮想空間物体である水生生物を表示させることで奥行きを感じさせたり、背景用壁はHMD110で表示されたときに空間が広がっているかのように感じさせる色を選択したり、などである。
【0041】
観察者は以上説明してきた舞台装置内で複合現実映像を鑑賞することで質の高い疑似体験を行なうことができる。
【0042】
なお本実施形態の舞台装置の構成では場合によっては背景用壁が視界に入らないため没入感を軽減させる時がある。これは、舞台装置が観察者以外から目に付くようにすることによる集客効果を狙ったのと、できるだけ多くの人に体験してもらうために舞台装置への出入りを容易にしたためである。こういった利点と引き換えに好みに応じて全周囲を壁で囲うようにして没入感を高めるようにしてもよい。
【0043】
以上展示装置の舞台装置について構成、運用の概要、疑似体験への効果について説明した。
【0044】
次に本発明の目的である複合現実空間への没入感を阻害しないような視線による複合現実空間とのインターフェースインターフェースについて、映像装置140,150で動作するプログラムの処理とともに詳細に説明する。
【0045】
図7は各観察者用の複合現実映像の生成を行なう複合現実映像生成プログラムのフローチャートである。このプログラムは映像装置140,150で実行される。プログラムは並列プログラミングで一般的なスレッド技術を用いて作成されており、メインプログラムと並行して複合現実空間状態受信スレッド(S710)と映像キャプチャスレッド(S720)が動作している。複合現実空間状態受信スレッドは後述する複合現実空間管理プログラムからネットワークを介して送信される複合現実空間状態(観察者視点位置視線方向、仮想空間物***置方向および状態)を受信してメインプログラムに通知する。映像キャプチャスレッドはビデオキャプチャボード142でキャプチャされた現実空間映像をデジタル化してメインプログラムに通知する。メインプログラムは複合現実空間状態受信スレッドが受信した複合現実空間情報によって仮想空間状態を更新し(S701)、これに基づいて仮想空間物体である水生生物や、状態表示のためのアイコンなどの仮想空間映像を生成する(S702)。
【0046】
このとき複合現実空間情報の内容をすべて描画に利用せず、当該観察者に必要な情報のみを描画に利用する。例えば仮想空間物体が選択状態であることを示すアイコン210については他の観察者の分は表示すると難解になるため、本実施形態では自分のアイコン220以外は描画しない。
【0047】
続いて映像キャプチャスレッドから得られた現実空間映像と仮想空間映像を合成し出力する(S704)。以上の処理を繰り返し行なう(S705)。なお水生生物やアイコンのCGモデルは予め映像装置140に記憶されている。
【0048】
図8は複合現実空間管理プログラムのフローチャートである。このプログラムは映像装置150で実行される。複合現実映像生成プログラム同様スレッド技術を用いて作成されており、メインプログラムと並行して位置方向取得スレッド(S840)が動作している。位置方向取得スレッドは位置姿勢センサ本体131と通信して観察者の視点位置姿勢を常時取得している。
【0049】
メインプログラムは位置方向取得スレッドから観察者の視点位置姿勢を受信する(S800)。そして、仮想空間内の時間を単位時間だけ進め(S802)、仮想空間中のイベントの有無を判定し対応する処理行なうと同時に仮想空間物体である水生生物やアイコンの位置姿勢を再計算し仮想空間状態を更新する(S803)。続いて位置方向取得スレッドから得られた観察者の視線方向と仮想空間物体の位置との関係を計算し、関係履歴に応じて処理する一連の視線関係処理を行なう(S804)。これについては後述する。最後に前の視線関連処理による状況変化を反映するために新たな状況において再度仮想空間状態を更新し(S806)、仮想空間状態と観察者の視点位置姿勢を動作しているすべての複合現実映像生成プログラムおよびサウンドプログラムに送信する(S808)。以上の処理を繰り返し行なう(S810)。
【0050】
図9はS804の視線関係処理の内容を詳しく示したフローチャートである。フローチャートのスタートはS803に、エンドはS806に接続されている。視線関係処理は観察者と仮想空間物体間の視線によるインターフェースに関する処理を司っている。
【0051】
本プログラムではすべての観察者(視線)はモードを有している。モードには「一覧モード」と「注目モード」の二種類が存在する。
【0052】
一覧モードとは観察者が複合現実空間中に存在するすべての仮想空間物体を眺めている状態で、観察者が任意の仮想空間物体を選択可能な状態でもある。本プログラムでは初期値に設定される。一覧モード時の表示装置112に表示される片目分の画面を図10に示す。200は水生生物をあらわす仮想空間物体である。
【0053】
注目モードとは一覧モード時に視線によって選択された仮想空間物体が観察者の目前まで移動し停止している状態で、選択された仮想空間物体を間近で良く観察することが可能な状態である。注目モード時の表示装置112の画面を図12に示す。202は一覧モードで選択され観察者の目前で停止している仮想空間物体である。
【0054】
それでは観察者が一覧モードにおいて視線によって仮想空間物体を選択し、注目モードに移行して目前で観察するまでの手順について図9を使って説明する。
【0055】
前提としてすべての仮想空間物体は観察者(視線)の数だけ“カウンタ”と“ステータス”を有しているものとする。“ステータス”は通常状態、選択状態、注目状態があり、初期値は通常状態である。
【0056】
本プログラムは、まずすべての視線から1つを選び出し、モードを判定する(S902)。
モードが一覧モードであった場合、すべての仮想空間物体と視点位置とを結ぶ線分と、視線との成す角度を計算し(S904)、その中から角度が最小かつ他の観察者の視線によって選択状態になっていない仮想空間物体を特定する。もし該当する仮想物体が複数存在する場合はランダムに選んでも良いし、観察者の視点位置からの距離が近いものを選んでも良い(S906)。次に特定された仮想空間物体の当該視線に対応する“カウンタ”を1増やし、それ以外の仮想空間物体の当該視線に対応する“カウンタ”を0にする(S908)。続いて特定された仮想空間物体の当該視線に対応する“カウンタ”を、予め本プログラムに初期値として設定されている回数に達しているか調べ(S910)、もし達していなければこの視線についての処理を終了する。もし達していれば、特定された仮想空間物体が既に当該視線によって選択状態にされているかどうかを仮想空間物体の“ステータス”によって調べる(S912)。もし“ステータス”が選択状態であれば注目状態に更新して(S914)当該視線のモードを注目モードに変更して処理を終了する(S916)。“ステータス”が通常状態であれば選択状態に更新して処理を終了する。いずれの場合も特定された仮想空間物体の当該視線に対応するカウンタを0に戻す(S919)。
【0057】
これに続くS806では、“ステータス”が選択状態である仮想空間物体の有無が判別される。もし選択状態である仮想空間物体が存在した場合は、図11のように選択状態である仮想空間物体202の近傍に選択状態であることを示すアイコン210が表示されるように複合現実空間状態が変更される。ここでアイコン210は仮想空間物体である。アイコン210はもし存在自体が没入感を妨げるようなものであれば使わない、すなわち表示されるように複合現実空間状態を変更しなくてももちろん構わない。
【0058】
またS806ではすべての仮想空間物体の“ステータス”が調べられ、選択状態であったものが注目状態に遷移した場合、当該仮想空間物体について図11の状態からアイコン210が消去されるように複合現実空間状態が変更される。さらに当該仮想空間物体を観察者の目前に移動するように複合現実空間状態が変更される。具体的には先のS803で“ステータス”が注目状態にある仮想空間物体については位置方向を更新せず、S806で一定時間内に観察者の位置観察者の目前で静止するような別処理によって位置方向の更新を行なうようにする。つまり注目状態にある仮想空間物体はS800〜S810の一連の処理を繰り返し行なう間に観察者の目前に位置を移動させ静止するよう処理される。
【0059】
以上観察者が一覧モードにおいて視線によって仮想空間物体を選択し、注目モードに移行して目前で観察するまでの手順について説明した。
【0060】
なお実際には、S900〜S901の処理は処理装置150で計測されるすべての視線について行なわれ、ある視線についてはS902で上記の処理手順が行なわれない可能性があることは言うまでも無い。
【0061】
次に、注目モードにおいて観察者が仮想空間物体を間近で観察している状態から一覧モードに戻す手順について説明する。
【0062】
当該視線のモードが注目モードになった場合(S902)、“ステータス”が注目状態となった仮想空間物体と当該視線との成す角度を計算し(S920)、角度が一定値以上となった場合、注目状態となった仮想空間物体の当該視線に対応する“カウンタ”を1増やし、(S924)そうでなければ“カウンタ”を0にする。(S932)もし“カウンタ”が予め設定されている規定回数に達すれば、当該仮想空間物体の“ステータス”を通常状態に戻し、(S928)当該視線の視線モードを一覧モードに変更し、(S930)“カウンタ”を0に戻し処理を終了する。(S931)
これに続くS806では、またS806ではすべての仮想空間物体の“ステータス”が調べられ、注目状態であったものが通常状態に遷移した場合、当該仮想空間物体を観察者の目前から移動するように仮想空間状態が変更される。具体的には通常状態に戻ったことによりS803によって、他の仮想空間物体と同様に処理されるようにしている。これにより当該仮想空間物体をS800〜S810の一連の処理を繰り返し行なううちに観察者の目前に静止している状態から抜けることができる。
【0063】
以上観察者が注目モードにおいて仮想空間物体を間近で観察している状態から一覧モードに戻す手順について説明した。
【0064】
なお実際には、S900〜S901の処理は処理装置150で計測されるすべての視線について行なわれ、ある視線についてはS902で上記の処理手順が行なわれない可能性があることは言うまでも無い。
【0065】
図16はサウンドプログラムのフローチャートである。このプログラムは映像装置150で実行される。複合現実映像生成プログラム同様スレッド技術を用いて作成されており、メインプログラムと並行して複合現実空間状態受信取得スレッド(S1610)が動作している。複合現実空間状態受信取得スレッドで受信される複合現実空間情報に応じて音楽の演奏を行なう。(S1601)本実施形態では環境音楽の演奏や、ある仮想空間物体の“ステータス”が変化した場合、例えば選択状態になった場合などに所定の効果音を発生する。効果音は好みの物を選択可能であり、もちろん使わなくても構わない。
【0066】
以上複合現実空間への没入感を阻害しないような視線による複合現実空間とのインターフェースインターフェースについて説明した。これによれば観察者の視線方向を利用した仮想空間物体の「選択」、選択された仮想空間物体に対し処理を適用する「確定」の二段階の処理によって、観察者は興味ある仮想物体を興味の赴くままに見続ける、つまり無意識のうちに視線を向けることによって、自然に目前まで引き寄せ良く観察することが可能となる。また興味がなくなった場合や別の仮想物体に興味を持った場合は、視線方向を目前の仮想物体から逸らすことで自然に仮想物体を目前に停止している状態から開放することが可能である。これは興味があるものは見続け、興味の無いものは見ないという人間の行動にとって極めて自然なユーザーインターフェースと言える。
【0067】
さらには、観察者はHMD以外の特定のデバイスを手の保持したり身につけたり操作したりする必要なく、複合現実感への没入感を損ねることが無い。
【0068】
(実施形態2)
実施形態2は実施形態1の変形例であり、構成等は実施形態1と同様である。実施形態1が複合現実空間管理プログラムにおける選択および確定判定のために、観察者の視点位置と仮想空間物体を結ぶ線分と、視線との角度を利用していたのを仮想空間物体の位置と視線との距離を利用するようにした例である。図13に視線関係処理のフローチャートを示す。選択および確定判定のためのパラメータが角度から距離に変更になった以外変更点は無いので詳しい説明は省略する。
【0069】
(実施形態3)
実施形態3は実施形態1、2の変形例であり、構成等は実施形態1と同様である。実施形態1が複合現実空間管理プログラムにおける選択および確定判定のために、観察者の視点位置と仮想空間物体を結ぶ線分と視線との角度を、実施形態2が仮想空間物体の位置と観察者の視線との距離を、それぞれパラメータとして利用して、それぞれ最小値となった回数が予め定められた規定回数を超えた場合を判定基準にしていたが、本実施形態では所定時間連続してそれぞれ最小値のなった場合を判定基準とした例である。図14に角度について適応した視線関係処理のフローチャートを、図15に距離について適応した視線関係処理のフローチャートをそれぞれ示す。タイマーによって規定時間が経過したかどうかを調べる以外、変更点は無いので詳しい説明は省略する。
【0070】
(実施形態4)
実施形態4は実施形態1に準ずる例であり、構成等は実施形態1と同様である。実施形態1が複合現実空間管理プログラムにおける確定判定のために、観察者の視点位置と仮想空間物体を結ぶ線分と、視線との角度を利用していたのを、予め設定されている初手時間が経過したことを契機にして確定を行なうようにした例である。図17に視線関係処理のフローチャートを示す。タイマーによって規定時間が経過したかどうかを調べる以外、変更点は無いので詳しい説明は省略する。
【0071】
上記各実施形態によれば、観察者の視線方向を利用した仮想空間物体の「選択」、選択された仮想空間物体に対し処理を適用する「確定」の二段階の処理によって、観察者は興味ある仮想物体を興味の赴くままに見続けることができる。無意識のうちに視線を向けることによって、自然に目前まで引き寄せ良く観察することが可能となる。また興味がなくなった場合や別の仮想物体に興味を持った場合は、視線方向を目前の仮想物体から逸らすことで自然に仮想物体を目前に停止している状態から開放することが可能である。これは興味があるものは見続け、興味の無いものは見ないという人間の行動にとって極めて自然なユーザーインターフェースと言える。
【0072】
さらに“カウンタ”の規定回数を変更することで「選択」される仮想物体が頻繁に変更されることを防止すること、選択した仮想物体を目前まで引き寄せるのかどうかを考える猶予を与えるといった実際に試して見なければどの程度が使いやすいか判明しない部分について微調整を行なうことが可能となる。
【0073】
そして仮想空間物体の“ステータス”変化に伴ってカーソルを表示したり、効果音を鳴らすようにしたことで、より状態の変化がわかりやすいユーザーインターフェースを提供することができる。
【0074】
さらには、観察者はHMD以外の特定のデバイスを手の保持したり身につけたり操作したりする必要なく、複合現実感への没入感を損ねることを防ぐことができる。
【0075】
さらには、観察者が複数であっても同じ複合現実空間を共有することができ、また個々の観察者が独立して任意の仮想物体を選択して、間近で観察することが可能であるため、一層没入感を高めることができる。
【0076】
また、実施形態4によれば、一定時間内に観察者に選択と確定を要求するようなシナリオに従った複合現実空間管理を行なう際に、それを自然に行なわせることが可能となる。これはテーマパークや展示会などにおいて複合現実感装置を運用する場合に要求される「一定時間あたりの体験者数を向上させつつ、体験者にシナリオを十分楽しんでもらう。」ということを実現するために効果的である。
【0077】
【発明の効果】
本発明によれば、複合現実空間への没入感を阻害せず、観察者の簡単な動作で仮想物体を操作可能な複合現実空間とのインターフェースを提供することができる。
【図面の簡単な説明】
【図1】舞台装置外観図
【図2】HMD外観図
【図3】観察者がいる状態の舞台装置外観図
【図4】展示装置構成図
【図5】処理装置140構成図
【図6】処理装置150構成図
【図7】複合現実映像生成プログラムのフローチャート
【図8】仮想空間管理プログラムのフローチャート
【図9】視線関係処理サブプログラムのフローチャート
【図10】一覧モード時の画面例
【図11】選択モード時の画面例
【図12】注目モード時の画面例
【図13】実施形態2における視線関係処理サブプログラムのフローチャート
【図14】実施形態3における視線関係処理サブプログラムのフローチャート1
【図15】実施形態3における視線関係処理サブプログラムのフローチャート2
【図16】サウンドプログラムのフローチャート
【図17】実施形態4における視線関係処理サブプログラムのフローチャート
Claims (11)
- 現実空間における任意座標、任意方向の現実空間映像を撮影する現実空間映像撮影手段と、
前記任意座標を視点位置、前記任意方向を視線方向とする仮想空間映像を生成する仮想空間映像生成手段と、
前記視点位置および、または前記視線方向を検出する位置方向検出手段と、
前記現実空間映像と前記仮想空間映像とを重畳して複合現実空間映像を生成する複合現実空間映像生成手段と、
前記複合現実空間映像を表示する複合現実空間映像表示手段と、
仮想空間に存在する仮想空間物体および仮想空間の時間を、予め定められている手順に従って管理、更新する仮想空間管理手段とを有する複合現実感装置であって、
複合現実空間映像の観察者の視線と、仮想空間物体の位置との関係を求める計算手段と、
前記計算手段の結果に応じて仮想空間物体を選択する選択手段とを有することを特徴とする複合現実感装置。 - 前記計算手段は、複合現実空間映像の観察者の視線と、視点位置と仮想空間物体の位置を結ぶ線分との成す角度を算出することを特徴とする請求項1記載の複合現実感装置。
- 前記選択手段は、前記計算手段によって算出された角度が、一定時間連続で所定値以下となった仮想空間物体を選択することを特徴とする請求項2記載の複合現実感装置。
- 前記選択手段は、一定回数、前記計算手段によって算出された角度が最小となった仮想空間物体を選択することを特徴とする請求項2記載の複合現実感装置。
- 前記計算手段は、複合現実空間映像の観察者の視線と、仮想空間物体の位置との距離を算出する計算手段であることを特徴とする請求項1記載の複合現実感装置。
- 前記選択手段によって選択された仮想空間物体を観察者に通知する通知手段を有することを特徴とする請求項1〜4のいずれかに記載の複合現実感装置。
- 前記通知手段は選択された前記仮想空間物体の近傍に記号を表示する請求項6の複合現実感装置。
- 前記通知手段は効果音である請求項6記載の複合現実感装置。
- 現実空間映像と仮想空間映像を重畳し複合現実空間画像を生成する情報処理方法であって、
観察者の視点位置、視線方向を入力し、
前記観察者の視点位置、前記視線方向および各仮想空間物体の動作モードに応じて、仮想空間映像を生成し、
前記現実空間映像と前記仮想空間映像とを重畳して複合現実空間映像を生成する情報処理方法であり、
前記観察者の視線方向と前記仮想空間物体との位置の関係から前記仮想空間内の複数の仮想空間物体から任意の仮想空間物体を選択し、該選択された仮想空間物体の動作モードを変更することを特徴とする情報処理方法。 - 前記選択された任意の仮想空間物体を前記観察者に報知することを特徴とする請求項9記載の情報処理方法。
- 請求項9記載の情報処理方法を実現するためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002193564A JP2004038470A (ja) | 2002-07-02 | 2002-07-02 | 複合現実感装置および情報処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002193564A JP2004038470A (ja) | 2002-07-02 | 2002-07-02 | 複合現実感装置および情報処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004038470A true JP2004038470A (ja) | 2004-02-05 |
Family
ID=31702498
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002193564A Pending JP2004038470A (ja) | 2002-07-02 | 2002-07-02 | 複合現実感装置および情報処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004038470A (ja) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006107437A (ja) * | 2004-09-07 | 2006-04-20 | Canon Inc | 情報処理方法及び装置 |
JP2006277368A (ja) * | 2005-03-29 | 2006-10-12 | Mazda Motor Corp | 車両企画支援システム |
JP2006277367A (ja) * | 2005-03-29 | 2006-10-12 | Mazda Motor Corp | 車両企画支援システム |
WO2009102138A3 (ko) * | 2008-02-12 | 2009-11-12 | 광주과학기술원 | 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과 증강현실을 이용한 상호작용방법 |
KR100945555B1 (ko) | 2007-03-20 | 2010-03-08 | 인천대학교 산학협력단 | 증강현실 공간을 제공하는 장치 및 방법 |
KR100953931B1 (ko) | 2008-05-09 | 2010-04-22 | 고려대학교 산학협력단 | 혼합현실 구현 시스템 및 그 방법 |
US7817104B2 (en) | 2006-01-18 | 2010-10-19 | Samsung Electronics Co., Ltd. | Augmented reality apparatus and method |
JP2011186536A (ja) * | 2010-03-04 | 2011-09-22 | Sony Corp | 情報処理装置、情報処理法方法およびプログラム |
KR101082487B1 (ko) | 2010-01-29 | 2011-11-11 | 키위플 주식회사 | 객체 인식시스템 및 이를 이용하는 객체 인식 방법 |
JPWO2012124250A1 (ja) * | 2011-03-15 | 2014-07-17 | パナソニック株式会社 | オブジェクト制御装置、オブジェクト制御方法、オブジェクト制御プログラム、及び集積回路 |
JP2017027206A (ja) * | 2015-07-17 | 2017-02-02 | キヤノン株式会社 | 情報処理装置、仮想オブジェクトの操作方法、コンピュータプログラム、及び記憶媒体 |
JP2017126302A (ja) * | 2016-01-15 | 2017-07-20 | 株式会社meleap | 画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ |
WO2017191703A1 (ja) * | 2016-05-02 | 2017-11-09 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置 |
JP2018195319A (ja) * | 2015-09-30 | 2018-12-06 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理システム、その制御方法及びプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0749744A (ja) * | 1993-08-04 | 1995-02-21 | Pioneer Electron Corp | 頭部搭載型表示入力装置 |
JP2000353248A (ja) * | 1999-06-11 | 2000-12-19 | Mr System Kenkyusho:Kk | 複合現実感装置及び複合現実感提示方法 |
JP2002042172A (ja) * | 2000-07-25 | 2002-02-08 | Matsushita Electric Works Ltd | 仮想物体の選択方法、この方法が適用される記録媒体およびサービス |
-
2002
- 2002-07-02 JP JP2002193564A patent/JP2004038470A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0749744A (ja) * | 1993-08-04 | 1995-02-21 | Pioneer Electron Corp | 頭部搭載型表示入力装置 |
JP2000353248A (ja) * | 1999-06-11 | 2000-12-19 | Mr System Kenkyusho:Kk | 複合現実感装置及び複合現実感提示方法 |
JP2002042172A (ja) * | 2000-07-25 | 2002-02-08 | Matsushita Electric Works Ltd | 仮想物体の選択方法、この方法が適用される記録媒体およびサービス |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006107437A (ja) * | 2004-09-07 | 2006-04-20 | Canon Inc | 情報処理方法及び装置 |
JP4724476B2 (ja) * | 2004-09-07 | 2011-07-13 | キヤノン株式会社 | 情報処理方法及び装置 |
JP2006277368A (ja) * | 2005-03-29 | 2006-10-12 | Mazda Motor Corp | 車両企画支援システム |
JP2006277367A (ja) * | 2005-03-29 | 2006-10-12 | Mazda Motor Corp | 車両企画支援システム |
JP4636318B2 (ja) * | 2005-03-29 | 2011-02-23 | マツダ株式会社 | 車両企画支援システム |
JP4687957B2 (ja) * | 2005-03-29 | 2011-05-25 | マツダ株式会社 | 車両企画支援システム |
US7817104B2 (en) | 2006-01-18 | 2010-10-19 | Samsung Electronics Co., Ltd. | Augmented reality apparatus and method |
KR100945555B1 (ko) | 2007-03-20 | 2010-03-08 | 인천대학교 산학협력단 | 증강현실 공간을 제공하는 장치 및 방법 |
WO2009102138A3 (ko) * | 2008-02-12 | 2009-11-12 | 광주과학기술원 | 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과 증강현실을 이용한 상호작용방법 |
KR100963238B1 (ko) | 2008-02-12 | 2010-06-10 | 광주과학기술원 | 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과증강현실을 이용한 상호작용방법 |
US8823697B2 (en) | 2008-02-12 | 2014-09-02 | Gwangju Institute Of Science And Technology | Tabletop, mobile augmented reality system for personalization and cooperation, and interaction method using augmented reality |
KR100953931B1 (ko) | 2008-05-09 | 2010-04-22 | 고려대학교 산학협력단 | 혼합현실 구현 시스템 및 그 방법 |
KR101082487B1 (ko) | 2010-01-29 | 2011-11-11 | 키위플 주식회사 | 객체 인식시스템 및 이를 이용하는 객체 인식 방법 |
JP2011186536A (ja) * | 2010-03-04 | 2011-09-22 | Sony Corp | 情報処理装置、情報処理法方法およびプログラム |
JPWO2012124250A1 (ja) * | 2011-03-15 | 2014-07-17 | パナソニック株式会社 | オブジェクト制御装置、オブジェクト制御方法、オブジェクト制御プログラム、及び集積回路 |
JP2017027206A (ja) * | 2015-07-17 | 2017-02-02 | キヤノン株式会社 | 情報処理装置、仮想オブジェクトの操作方法、コンピュータプログラム、及び記憶媒体 |
JP2018195319A (ja) * | 2015-09-30 | 2018-12-06 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理システム、その制御方法及びプログラム |
JP2017126302A (ja) * | 2016-01-15 | 2017-07-20 | 株式会社meleap | 画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ |
WO2017122367A1 (ja) * | 2016-01-15 | 2017-07-20 | 株式会社meleap | 画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ |
CN107209959A (zh) * | 2016-01-15 | 2017-09-26 | 株式会社meleap | 图像显示***、图像显示***的控制方法、图像分发***以及头戴式显示器 |
RU2693684C1 (ru) * | 2016-01-15 | 2019-07-03 | Мелип Инк. | Система отображения изображения, способ управления системой отображения изображения, система трансляции изображения и закрепляемое на голове устройство отображения |
KR102060453B1 (ko) | 2016-01-15 | 2019-12-30 | 가부시키가이샤 메리프 | 화상 표시 시스템, 화상 표시 시스템의 제어방법, 화상 전송 시스템 및 헤드 마운트 디스플레이 |
US10558048B2 (en) | 2016-01-15 | 2020-02-11 | Meleap Inc. | Image display system, method for controlling image display system, image distribution system and head-mounted display |
WO2017191703A1 (ja) * | 2016-05-02 | 2017-11-09 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置 |
JPWO2017191703A1 (ja) * | 2016-05-02 | 2018-10-04 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12026806B2 (en) | Systems and methods for utilizing a living entity as a marker for augmented reality content | |
CN110382066B (zh) | 混合现实观察器***和方法 | |
JP6316387B2 (ja) | 広範囲同時遠隔ディジタル提示世界 | |
Suma et al. | Leveraging change blindness for redirection in virtual environments | |
WO2018043135A1 (ja) | 情報処理装置、情報処理方法、並びにプログラム | |
JP2005165776A (ja) | 画像処理方法、画像処理装置 | |
US20180321798A1 (en) | Information processing apparatus and operation reception method | |
CN109643161A (zh) | 动态进入和离开由不同hmd用户浏览的虚拟现实环境 | |
JP2004038470A (ja) | 複合現実感装置および情報処理方法 | |
KR20230048554A (ko) | 3차원 환경들과의 상호작용을 위한 디바이스들, 방법들 및 그래픽 사용자 인터페이스들 | |
CN109479010A (zh) | 通过注视化身的私有通信 | |
JP2005038008A (ja) | 画像処理方法、画像処理装置 | |
JP2006079174A (ja) | 仮想現実感提示装置および情報処理方法 | |
KR20180059765A (ko) | 정보 처리 장치, 정보 처리 방법 및 프로그램 | |
WO2020218131A1 (ja) | 画像生成装置および情報提示方法 | |
JP6830829B2 (ja) | プログラム、表示装置、表示方法、放送システム及び放送方法 | |
JP2023027126A (ja) | データ処理プログラム、データ処理方法、および、データ処理装置 | |
JP2014217566A (ja) | 宝探しゲーム配信システム | |
JP6661756B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
JP2003303356A (ja) | 展示装置 | |
JP2018007180A (ja) | 映像表示装置、映像表示方法及び映像表示プログラム | |
JP2001129245A (ja) | ゲーム装置 | |
JP2009008821A (ja) | 画像表示装置 | |
US20200302761A1 (en) | Indicator modes | |
JP2024033849A (ja) | 情報処理装置および情報処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060822 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061019 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20061219 |