JP2005049996A - 画像表示方法及び装置 - Google Patents
画像表示方法及び装置 Download PDFInfo
- Publication number
- JP2005049996A JP2005049996A JP2003203939A JP2003203939A JP2005049996A JP 2005049996 A JP2005049996 A JP 2005049996A JP 2003203939 A JP2003203939 A JP 2003203939A JP 2003203939 A JP2003203939 A JP 2003203939A JP 2005049996 A JP2005049996 A JP 2005049996A
- Authority
- JP
- Japan
- Prior art keywords
- visual field
- image
- virtual
- mixed reality
- observer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/024—Multi-user, collaborative environment
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
【解決手段】観察者103B及び提示者103Aに複合現実空間画像を提示する画像提示方法において、HMD102Bの位置姿勢に基づいて、観察者103Bが観察している複合現実空間に対応した3次元的な視野領域が算出され、この視野領域を表す視野領域オブジェクト101が生成される。そして、生成された視野領域オブジェクト101は、提示者103Aが観察する仮想現実空間画像中に重畳される。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は、例えばコンピュータグラフィクスによる仮想画像を現実の空間に融合させて観察者に提示する複合現実感提示技術に関する。
【0002】
【従来の技術】
複合現実空間を観察する方法としては、ビデオシースルー方式と光学シースルー方式があることが一般に知られている。前者は、現実の空間をビデオカメラなどで撮像した画像データにコンピュータグラフィックス(CG)等の画像を合成して観察者に提示する方式である。また、後者は、半透過型(シースルー型)の表示装置にCG等の画像を合成する方式である。
【0003】
さらに、複合現実空間を観察者に提示する方法として、観察者の頭部にHMD(Head Mount Display)を装着させて提示する方法と、観察者の近くにディスプレイを設置して提示する方法と、観察者に手持ちのディスプレイを操作させるなどの、観察者の体の動きに基づいて表示映像を変化させて提示する方法の3つがある。複合現実空間を表現する装置としては、これら3つの提示方法と、前述のビデオシースルー方式及び光学シースルー方式との組み合わせが考えられる。
【0004】
さて、これらのうちのいずれかの組み合わせで実現された複合現実空間を複数人で共有し、協調作業を行う場合がある。このような場合において、互いが複合現実空間内のどこを見ているのかを把握できると作業をスムーズに行えるという効果がある。例えば、ある作業者が他の作業者に物体を提示する場合に、相手(観察者)の視野を把握できていれば提示物を確実に観察者に見せることができる。また、強調したい部分を観察者側に向けて注目させるなどの効率的な提示方法を容易に実現することができる。また、観察者が高齢者である場合など、観察者自身で視野を変更させることが大きな負担になる状況では、提示する作業者(提示者)がその観察者の視野内に提示物を運び、観察者に提示物を見せるようにできるという効果も考えられる。しかしながら、観察者の視野を把握するためには、提示者が観察者の外部状態や、観察に利用される装置の位置姿勢などを視認して観察者の視野を予測することが必要であった。
【0005】
特許文献1では、複合現実空間を表示するためのHMDを装着する場合に、観察者の視線方向を検出してこれを提示者の複合現実空間画像中に示すことが記載されている。具体的には、提示者の視点から観察者が存在する方向を撮像した画像上で、HMDを装着している観察者の頭部位置に視線方向を示す仮想物体を重畳表示する。
【0006】
しかしながら、特許文献1の方法で得られる情報は視線方向に関する情報のみであり、観察者の視野領域を提示者に明確に示すものではない。
【0007】
さらに、仮想物体の描画にクリッピング処理を施すシステムにおいては、別の課題を生じる。クリッピング処理とは、例えば図3に示すような視体積101(ビューボリューム)の前方クリッピング面302と後方クリッピング面303の間から外れて提示物が配置された場合には、たとえ提示物が視野領域内であっても当該提示物の仮想情報を表示(レンダリング)しないようにするものである。このようなシステムにおいては、たとえ観察者の視野内に提示物が存在していても、例えば後方クリッピング面よりも後方に提示物が配置されると、当該提示物の仮想情報が表示されなくなってしまう。しかしながら、提示者は、上記のような視線方向を示す仮想物体の表示のみからはこれを判断することができない。
【0008】
【特許文献1】
特開2000−353248
【非特許文献1】
H. Tamura, H. Yamamoto and A. Katayama: “Mixed reality: Future dreams seen at the border between real and virtual worlds,” Computer Graphics and Applications, vol.21, no.6, pp.64−70, 2001.
【非特許文献2】
A. Takagi, S. Yamazaki, Y. Saito, and N. Taniguchi: “Development of a stereo video see−through HMD for AR systems”, ISAR2000, pp.68−77, 2000.
【0009】
【発明が解決しようとする課題】
本発明は、上記の課題に鑑みてなされたものであり、複合現実感提示システムにおいて、複合現実空間を観察する観察者の視野を、別の観察者が当該複合現実空間上で的確に把握可能とすることを目的とする。
より詳しくは、観察者の3次元的な視野空間である視体積の領域をCG等を用いて提示者が観察する画像上に表示することにより、提示者が観察者の視体積領域を確実に認識できるようにすることを目的とする。
【0010】
【課題を解決するための手段】
上記の目的を達成するための本発明による画像提示方法は、
複合現実空間の画像を提示する画像提示方法であって、
前記複合現実空間における、他ユーザの3次元的な視野領域を算出する算出工程と、
前記視野領域を表す仮想視野オブジェクトを生成する生成工程と、
提示する複合現実空間画像中に前記仮想視野オブジェクトを重畳する重畳工程とを備える。
【0011】
また、上記の目的を達成するための本発明による画像提示装置は以下の構成を備える。すなわち、
複合現実空間の画像を提示する画像提示装置であって、
前記複合現実空間における、他ユーザの3次元的な視野領域を算出する算出手段と、
前記視野領域を表す仮想視野オブジェクトを生成する生成手段と、
提示する複合現実空間画像中に前記仮想視野オブジェクトを重畳する重畳手段とを備える。
【0012】
【発明の実施の形態】
以下、添付図面に従って、本発明の好適な実施形態を詳細に説明する。
なお、以下の実施形態の説明では、ビデオシースルー型のHMDを用いた複合現実感システムに本発明を適用した視野領域提示装置及び視野領域提示方法について述べる。なお、本発明は、ビデオシースルー型HMDを用いた複合現実感システムのみに適用されるものではなく、光学シースルー型HMDをはじめとして、前述した「観察者の近くにディスプレイを設置して提示する方法」、「観察者の体の動きに基づいて表示映像を変化させて提示する方法」の3つの提示方法と光学シースルー方式とビデオシースルー方式の2つの方式を組み合わせた全ての方法に適用可能である。
【0013】
本実施形態において、複合現実感システムとは、現実空間の画像とCG等の非現実空間(仮想空間)画像を合成した複合現実空間を、体験者に提示するシステムである。なお、複合現実感技術に関する情報は、例えば、非特許文献1から得ることができる。
【0014】
[第1実施形態]
第1実施形態では、2人の作業者がそれぞれビデオシースルー型HMDを装着しながら共同で作業を行い、複合現実空間を共有している場合に、一人の作業者が、もう一人の作業者に仮想情報を重畳した現実物体を提示する場合の視野領域提示装置及び方法を説明する。
【0015】
図1は本発明を適用した第1実施形態の動作時の外観を説明する模式図である。103Aが物体(以下、提示物体)を提示する側の作業者(以下、提示者とする)であり、103Bが提示物体を観察する作業者(以下、観察者とする)である。提示者103A及び観察者103BはそれぞれビデオシースルーHMD102A及び102Bを通して複合現実空間を共有している。なお、第1実施形態におけるビデオシースルーHMD102Aと102Bは撮像部(図1では不図示)を1つ備える単眼のビデオシースルーHMDとする。また、本発明は観察者103Aと提示者103Bに複合現実感を提示するHMDなどの表示装置が同じ方式である必要はなく、両者が互いに別の方式の表示装置で複合現実空間を共有する場合にも適用可能である。
【0016】
104は提示者103Aが観察者103Bに提示する提示物体である。本実施形態ではこの提示物体を直方体の模型(現実物体)とし、この直方体の画像の上に仮想情報を重畳し、提示者103A、観察者103Bの両者のHMD102A、102Bに表示するものとする。105は指示棒であり、本例では提示者102Aが手に持って提示物体104の注目点を観察者103Bに示すのに用いられる。なお、本実施形態においては、指示棒105の位置姿勢計測を行わずに注目点を指示するためだけに用いる。しかし、指示棒105の位置姿勢を計測して装置に入力し、提示物体104に重畳する仮想物体の位置を変更するなど、指示棒105を仮想物体とのインタラクションに利用してもよいことは言うまでもない。
【0017】
101は観察者103Bの視野と視体積を示す仮想物体(以降、視野領域オブジェクトと呼ぶ)である。この視野領域オブジェクトの形状は、観察者103Bの装着するHMD102Bの視野角等のパラメータや、仮想空間画像を生成する装置のクリッピング平面のパラメータ等によって決定される。第1実施形態においては、HMD102Bに固定されている撮像部の内部パラメータ、図3により後述する視点301から前方クリッピング面302までの距離、視点301から後方クリッピング面303までの距離によって視野領域オブジェクト101の形状を決定する。また、本実施形態では、視野領域オブジェクト101は、提示者103Aの装着するHMD102Aにのみ表示され、観察者103BのHMD102Bには表示されない。視野領域オブジェクト101を観察者103Bに表示しない理由は、観察者103Bによる提示物体104の観察に影響を与えないようにするためである。さらに、視野領域オブジェクト101は、提示物体104と重ねて表示する場合もあるため、半透明で表示される。なお、この視野領域オブジェクト101を半透明で表示することに限定されるものではなく、ワイヤフレーム等の他の表現形態で表示するようにしてもよいことは明らかであろう。
【0018】
図2は提示者103AのHMD102Aに表示される提示画像を説明する図である。202は提示者103Aの腕が撮像され、表示されている様子を示し、左手で提示物体104を、右手で指示棒105を持っている状況を示している。203は、提示者103Aが観察者103Bに特に注目させたい注目部位を示す。また、201は、提示物体104と視野領域オブジェクト101との境界を示す仮想物体(以下、境界オブジェクト)である。境界オブジェクト201により、提示者103Aは、観察者103BのHMD102Bに表示される複合現実空間の画像上で提示物体104のどの部位が表示されておりどの部位が表示されていないかを視覚的に確認することができる。例えば、この境界オブジェクト201を提示物体104に重畳して表示することにより、提示者103Aは注目部位203が観察者103Bの視野内に入っているかどうかなどを視覚的に確認することができる。なお、第1実施形態では、境界オブジェクト201は、提示物体104と視野領域オブジェクト101との境界面を表す線分から構成される。
【0019】
図3は、視野領域オブジェクトの形状を説明するための模式図である。301は、HMD102Bに固定されている撮像部の視点を表す。視野を示す四角錐の形状は、視点301とカメラ内部パラメータによって決定される。ここで、カメラ内部パラメータとは、撮像部の焦点距離Lc、投影面水平解像度R、主点位置P(Px,Py)、投影面の縦横比Aを示す。このカメラ内部パラメータを用いて視野を表す領域を求める。この視野を表す領域(視野領域という)は、視点301と投影面(不図示)の各辺を通る4つの平面(図3の四角錐における4つの斜面にそれぞれ平行な4面)で視軸を囲む領域である。また、302と303はそれぞれ前方クリッピング面、後方クリッピング面を表す。仮想空間の画像を生成する装置では、前述の視野を表す領域と前方クリッピング面、後方クリッピング面とが囲む領域(視体積という)内にある仮想物体のみを描画する。この領域に基づいて視野領域オブジェクト101の形状を以下のように決定する。
【0020】
【数1】
【0021】
上記(式1)〜(式4)によるl、r、t、bはそれぞれ前方クリッピング面の左辺、右辺、上辺、下辺の位置、LNは視点301から前方クリッピング面302までの距離を表すパラメータである。なお、後方クリッピング面の左辺、右辺、上辺、下辺の位置は、l、r、t、bと視点301によって決まる4つの平面と、後方クリッピング面(後方クリッピング面までの距離によって自動的に決定される)との交線の位置によって決まる。
【0022】
図4は第1実施形態に係る視野領域提示装置の構成を示すブロック図である。提示者用HMD102A、観察者用HMD102Bは同じ構成であり、それぞれ頭部位置姿勢計測部401A(401B)、撮像部402A(402B)、表示部403A(403B)から構成される。
【0023】
頭部位置姿勢計測部401A(401B)は、第1実施形態においては、Polhemus社の3SPCACE FASTRAK(登録商標)の磁気センサを用いる。このFASTRAKセンサは、トランスミッタから発生する磁界をレシーバ(不図示)が受け、レシーバが接続されているFASTRAKセンサのコントローラ(不図示)によってレシーバの位置と姿勢を出力する。レシーバはHMD102A(103B)に固定され、頭部の位置姿勢を計測する。また、撮像部402A(402B)と表示部403A(403B)は、第1実施形態においては、HMD102A(102B)に内蔵され、表示部の光学系と撮像部の撮像系が一致するように設置されている。
なお、上述のような形態のHMDについては、例えば非特許文献2から情報を得ることができる。
【0024】
MR画像生成部404A、404Bは、それぞれ提示者103Aと観察者103Bに提示する複合現実空間の画像(以降、MR画像という)を生成する。これらMR画像生成部404A、404Bも同じ構成であり、それぞれ頭部位置姿勢計測部401A、401Bと撮像部402A、402Bからの入力を受け、それぞれの頭部位置姿勢に合わせた複合現実感画像を生成し、表示部403A、403Bに表示する。
【0025】
提示物位置姿勢計測部406は、提示者103Aが持つ提示物体104の位置姿勢を計測する。本実施形態では、頭部位置姿勢計測部401A、401Bと同様にPolhemus社の3SPCACE FASTRAK(登録商標)の磁気センサを用いる。提示物体104にはFASTRAKセンサのレシーバ(不図示)が固定されているものとする。
【0026】
仮想空間管理部405は、提示者103Aと観察者103Bが共有し、MR画像に使用するための仮想物体の情報を管理する。仮想物体の情報は、例えば、仮想物体の頂点属性、テクスチャ画像から構成される。頂点属性には、頂点の3次元座標値、頂点の属する仮想物体ID、テクスチャ座標等が記述されている。仮想空間管理部405では、共有される仮想物体の情報を記憶する機能の他に、頭部位置姿勢計測部401Bの出力から現実空間中における視野領域オブジェクト101を生成する機能と、提示物位置姿勢計測部406の出力から視野領域オブジェクト101と提示物体104の境界を表す境界オブジェクト201を生成する機能と、MR画像生成部404A、404Bに適切な仮想物体情報を配信する機能とを持つ。初期状態では提示物体104の形状情報、提示物体104に重畳する仮想物体の情報等が格納されている。
【0027】
なお、上記システムでは、複数人で複合現実空間を共有する方法として、仮想空間管理部405のように仮想物体の情報を一元管理する方式を説明したが、これに限定されるものではない。例えば、各観察者や提示者の装置が必要な仮想情報を保持し、差分情報のみを配信するような共有方式など、複合現実空間を適切に共有できる方式であればいずれも本発明に適用可能である。
【0028】
図5は、MR画像生成部404Bの構成を示すブロック図である。仮想空間画像生成部501は、まず観察者103Bの頭部位置姿勢を計測する頭部位置姿勢計測部401Bから基準座標系上のカメラ位置姿勢を表すビューイング変換行列Mcを取得する。次に仮想空間管理部405から配信される仮想物体の情報のうち、仮想物体を構成する頂点群Vとビューイング変換行列Mcとを積算することにより、カメラ座標系における仮想物体の頂点群V’を算出する。
V’=Mc・V (式5)。
【0029】
さらに、V’が視体積の領域内にあるかが判定され、クリッピング処理が行われる。このクリッピング処理により、視体積内に存在する仮想物体のみをレンダリングするように設定する。第1実施形態では、クリッピング処理を始めとする仮想空間の描画処理については、3次元CG描画用ライブラリであるOpenGLの機能を用いるものとする。ただし、本発明は仮想空間の描画処理をOpenGLの機能を用いることに限定されるものではなく、所望の仮想物体が描画可能な手段であればいずれも適用可能である。最終的に、利用する仮想物体の頂点情報と、テクスチャ座標情報、テクスチャ画像情報を用いて仮想空間画像が生成される。生成された仮想空間画像は融合描画部503に出力される。
【0030】
画像取得部502は、観察者用HMD102Bに内蔵される撮像部402Bが撮像する現実空間の画像を取得し保存する。融合描画部503は、画像取得部502が保存した現実空間の撮像画像の上に、仮想空間画像生成部501が生成した画像を重畳し、MR画像を生成する。さらに、このMR画像を観察者用HMD102B内の表示部403Bに表示することにより観察者103Bに適切なMR空間を提示することができる。なお、提示者103Aに提示するMR画像を生成するMR画像生成部404Aについては、MR画像生成部404Bと同一の構成、同一の機能を持つものであるので説明を省略する。
【0031】
図6は、仮想空間管理部405の構成を示すブロック図である。HMD情報記憶部601は、仮想空間管理部405に接続する観察者用HMD102Bのカメラ内部パラメータ情報、視点301から前方クリッピング面302までの距離、視点301から後方クリッピング面303までの距離を記憶する。提示情報生成部602は、HMD情報記憶部601に格納されている情報と頭部位置姿勢計測部401Bから出力される観察者103Bの頭部位置姿勢情報から、基準座標系上に図3に示すような四角錐台の視野領域オブジェクト101を生成する。さらに、提示情報生成部602は、この視野領域オブジェクト101と提示物体104の形状情報及び位置姿勢情報から境界オブジェクト201を生成する。
【0032】
なお、提示物体104の位置姿勢情報と提示物体104の形状情報(ポリゴン平面の構成情報などを含む)は仮想空間記憶部603から入力される。この境界オブジェクト201は視野領域オブジェクトを構成する6面(図3参照、前方クリッピング面302、後方クリッピング面303、四角錐の4側面)と提示物体104を構成するポリゴン平面との交線によって決定される複数の線分によって構成される。ここで、視野領域オブジェクト101は領域を形成する四角錐台の頂点である8つの頂点の3次元座標値として、境界オブジェクト201は線分ごとに2頂点の3次元座標値に分割されて、仮想物体記憶部603に記憶する。
【0033】
仮想空間記憶部603は、仮想物体の頂点情報や、テクスチャ画像等の仮想物体の情報を記憶する。さらに、仮想空間記憶部603はMR画像生成部(例えば404A)に仮想物体の情報を配信する機能を持つ。例えば、提示情報生成部602で生成された視野領域オブジェクトや境界オブジェクトをMR画像生成部404Aに配信する。また、仮想空間情報の中の頂点情報を外部から入力することにより、位置姿勢を変更するなどの機能を持つ。例えば、提示物位置姿勢計測部406からの入力を受け、提示物体104の形状情報の位置姿勢を更新する場合などに利用される。
【0034】
不要物体除去部604は、観察者103B用の仮想物体として不必要な視野領域オブジェクト101、境界オブジェクト201を仮想空間記憶部603からMR画像生成部404Bに配信する仮想物体データから除去する。このように不要な仮想物体データを配信情報から除去することによって、複合現実空間において提示物体104などの提示される物体に集中することができる。さらに、除去によって、MR画像生成部404Bの描画にかかる負担も軽減する。
【0035】
図7は本実施形態に係る視野領域提示装置の処理を説明するためのフローチャートである。まず、ステップS701では、提示者用HMD102A、観察者用HMD102Bに内蔵される撮像部402A、402Bが画像を取得する。次に、ステップS702では、頭部位置姿勢計測部401A、401B、提示物位置姿勢計測部406を用いて各計測対象の位置姿勢を取得する。次に、ステップS703では、仮想空間管理部405が、ステップS702の計測結果を受けて仮想空間情報を更新する。仮想空間管理部405の処理の詳細は図8により後述する。次に、ステップS704では、仮想空間管理部405によって配信された仮想空間情報を用いてMR画像生成部404A、404B内の仮想空間画像生成部501が、HMD102A、102Bの位置姿勢に合わせた仮想空間画像をそれぞれ生成する。最後に、ステップS705では、融合描画部503により、画像取得部502による現実空間の撮像画像と仮想空間画像生成部501による仮想空間画像とを合成してMR画像を生成し、各HMDの表示部403A、403Bに表示する。
【0036】
図8は、仮想空間管理部405の処理を説明するためのフローチャートである。まず、ステップS801で、HMD情報記憶部601から観察者用HMD102Bの情報を読み込み、提示情報生成部602に入力する。次に、ステップS802で、提示情報生成部602は頭部位置姿勢計測部401Bから観察者の頭部位置姿勢を取得し、仮想空間記憶部603は提示物位置姿勢計測部406から提示物体104の位置姿勢を取得する。ここで、仮想空間記憶部603は提示物体104の位置姿勢を更新させる。次に、ステップS803では、提示情生成部602において、観察者の頭部位置姿勢とHMD情報記憶部601に記憶されているHMD情報から視野領域オブジェクト101の形状と位置姿勢を決定する。そして、ステップS804において、ステップS803で生成した視野領域オブジェクト101を仮想空間記憶部603に追加する。
【0037】
次に、ステップS805では、提示物体104が視野領域オブジェクト101を構成する6平面と接触するかが判定され、接触しない場合はステップS808へ、接触する場合はステップS806へ処理を移す。ステップS806では、提示情報生成部602において、視野領域オブジェクト101の形状情報と提示物体104の形状情報から接触する平面の交線を求め、境界オブジェクト201とする。そして、ステップS807で、ステップS806で生成した境界オブジェクト201を仮想空間記憶部603に追加する。
【0038】
ステップS808では、仮想空間情報の配信先が観察者103BのMR画像生成部か、もしくは提示者103AのMR画像生成部であるかどうかを判定する。仮想空間情報の配信先が提示者103AのMR画像生成部である場合はそのままステップS810へ進み、仮想空間情報を提示者103AのMR画像生成部に配信し、処理を終了する。一方、配信先が観察者103BのMR画像生成部404Bである場合はステップS809へ進む。ステップS809では、不要物体除去部604において、観察者103Bに提示する仮想空間情報として不要な視野領域オブジェクト101と境界オブジェクト201を仮想空間情報から除去する。そして、ステップS810へ進み、不要物体が除去された仮想空間情報を観察者103BのMR画像生成部に配信し、処理を終了する。
【0039】
以上のように、第1実施形態に係る視野領域提示装置に前述のような処理を行わせることによって、観察者103Bと提示者103AのHMDには、夫々の頭部位置姿勢に応じたMR画像が提示され、観察者103Bと提示者103Aは複合現実空間を認識することができる。さらに、提示者103Aは複合現実感を認識すると同時に、観察者103Bの観察する領域を表す視野領域オブジェクト101、即ち視体積を視覚的に確認することが可能となる。
【0040】
[第2実施形態]
上述した第1実施形態においては、提示者用HMD102A、観察者用HMD102Bは双方とも1つの撮像部を有した単眼HMDとした。第2実施形態では、少なくとも観察者用HMD102Bが2つの撮像部を有する、2眼のHMD(ステレオHMD)である場合の視野領域提示装置を説明する。なお、第2実施形態で用いるステレオ型のビデオシースルーHMD103Bの詳細は、上記の非特許文献2に記載されている。
【0041】
図9は、第2実施形態における視野領域オブジェクト101の形状を説明するための模式図である。第1実施形態で説明したように、単眼のHMDの場合は視体積領域が1つの四角錐台で形成されていたが、ステレオHMDの場合は、ステレオで画像を撮像するため、視体積領域は、それぞれの視点位置301L、Rを頂点とする2つの四角錐台101L、101Rで形成される。また、前方クリッピング面302L、R、及び後方クリッピング面303L、Rはそれぞれの視体積領域中に設定される。第2実施形態で用いるステレオ型のビデオシースルーHMD103Bは、2つの視体積領域が一部重複する領域を持つ。この重複する領域が観察者の左右眼で同時に観察することができる融像可能領域となる。提示者103Aが提示物体104を提示する場合は、融像可能領域以外の視体積領域101L、101Rに提示物体104を配置するよりも、融像可能領域に提示した方が好ましい。よって、第2実施形態の視野領域オブジェクト101の形状は融像可能領域(図9太線で囲まれた領域)を用いる。
【0042】
なお、第2実施形態における観察者用HMD102Bは、ステレオで画像を撮像するため、図5の撮像部402Bは2つの撮像部を有するものとする。さらに、これら2つの撮像部は、上記の非特許文献2にあるように、観察者の視軸とカメラの視軸が一致するように設置されている。さらに、MR画像生成部404Bの仮想空間画像生成部501においては、頭部位置姿勢計測部401Bで求められる観察者の頭部位置姿勢から各撮像装置の位置姿勢を求めて、それぞれの撮像装置に対応する仮想空間画像を生成する。さらに、融合描画部503では、画像取得部502で取得した2つの撮像装置の現実空間画像と、仮想空間画像生成部501で生成した2つの仮想空間画像をそれぞれ合成し、表示部403Bに表示する。
【0043】
また、図6における提示情報生成部602では、前述のように、融合可能領域から視野領域オブジェクト101の形状を決定し、そのパラメータを生成する。第2実施形態においては、視野領域オブジェクトは図9内の101に示すような形状となり、6点の頂点情報を仮想物体記憶部に記憶する。
【0044】
以上のように、第2実施形態によれば、視野領域提示装置をステレオ型のビデオシースルーHMDに対応させることにより、提示者103Aは、観察者103Bが融像可能な領域を視覚的に確認することができ、観察者103Bの見やすい位置に提示物体104などの提示物体を確実に配置することができる。
【0045】
[第3実施形態]
第1実施形態においては、観察者と提示者がそれぞれ1人ずつの場合において、本発明を適用した視野領域提示装置の例を示した。しかしながら、本発明は、観察者及び提示者とも人数を限定するものではなく、複数人の観察者、複数人の提示者が同時に存在する場合についても適用可能である。第3実施形態では、第1実施形態と同様の視野領域提示装置において、1人の提示者と2人の観察者が存在する場合を説明する。
【0046】
第3実施形態では、観察者が2人であるため、図10に示すように2つの視野領域が形成される。なお、図10では図示の複雑化を避けるために平面図を用いた。ここで、2人の観察者をそれぞれ103B、103Cとする。第3実施形態に係る視野領域提示装置では、第1実施形態における図4の構成に観察者用HMD102C、MR画像生成部404Cが追加されることになる。なお、それらの接続形態は、観察者用HMD102B、MR画像生成部404Bと同様である。また、観察者用HMD102C、MR画像生成部404Cの内部構成についても、観察者用HMD102B、MR画像生成部404Bと同様である。
【0047】
図10により、第3実施形態における視野領域オブジェクト101の形状を説明する。提示者103Aが2人の観察者103B、103Cに同時に提示物体104を提示する場合には、2人の観察者の視体積が重複する領域に提示物体104を移動させて示すことが望ましい。ゆえに、第3実施形態では、仮想空間管理部405内の提示情報生成部602において、各観察者103B、103Cの視体積が重複する領域(以降、視体積重複領域とする)を表すオブジェクトを視野領域オブジェクト101として生成する。この視野領域オブジェクトの頂点情報を仮想空間記憶部603に追加し、提示者103Aに配信することにより、提示者103Aは、2人の観察者103B、103Cに同時に提示物体104を示すことが可能な領域を視覚的に確認できる。なお、302B、303Bは視体積101Bに設定された前方クリッピング面及び後方クリッピング面であり、302C、303Cは視体積101Cに設定された前方クリッピング面及び後方クリッピング面である。
【0048】
第3実施形態においては、提示情報生成部602において視体積重複領域を表す視野領域オブジェクト101のみを生成するが、設定によって、各観察者103B、103Cの視野領域101B、101Cを個別に生成しておき、提示者103Aにそれぞれを同時に提示したり、切り替えて提示することを可能にしてもよい。各観察者103B、103Cの視野領域101B、101Cを提示者103Aに提示することにより、2人の観察者が別の方向を観察して視体積重複領域101が存在しない場合に、提示者103Aはそのような状況を把握することができる。なお、第3実施形態において視野領域101B及び101C及び視体積重複領域101は半透明属性で描画され、各々の区別ができるように表示色を色分けするものとするが、前述のように表示属性を限定するものではなく、観察者103Aが視野領域を個別に認識可能な表示であれば適用可能である。
【0049】
また、第3実施形態においては、仮想物体管理部405内の不要物体除去部604が観察者103Bの視野領域101BをMR画像生成部404Bに配信する直前に除去することにより、観察者103Cが観察者103Bの視野領域101Bを確認することはできない。しかし、設定によって仮想物体管理部405内の不要物体除去部604が他の観察者の視野領域を除去せずに配信し、観察者自身が他の観察者の視野領域を確認できるように切り替え可能としてもよい。
【0050】
また、観察者として視野領域提示装置を利用していた作業者が、設定を変更することで動的に提示者として視野領域提示装置を利用できるようにしてもよいことは明らかであろう。また、提示者として視野領域提示装置を利用していた作業者が、設定を変更することで動的に観察者として視野領域提示装置を利用できるようにしてもよいことも明らかである。更に、上記各実施形態において、視野領域オブジェクトとして視体積、視体積の重複領域を表示したが、「視野領域」を同時に(視体積と区別可能に)提示してもよい。
【0051】
以上説明したように、上記各実施形態によれば、複数人で複合現実空間を共有する場合に、他者の視野領域を提示することにより、共同作業を効率的に行える効果がある。例えば、ある一人の作業者が他の作業者に物体を提示する場合などにおいて、確実に相手の視野内に提示物体を提示することが可能となり、強調したい部分を観察者側に向けて注目させるなどの効率的な提示方法を実行することが可能となる。
【0052】
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【0053】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【0054】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク,ハードディスク,光ディスク,光磁気ディスク,CD−ROM,CD−R,磁気テープ,不揮発性のメモリカード,ROMなどを用いることができる。
【0055】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0056】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0057】
【発明の効果】
以上のように、本発明によれば、複合現実空間を観察する観察者の視野を、別の観察者が当該複合現実空間上で的確に把握することができる。
例えば、観察者の3次元的な視野空間である視体積の領域をCG等を用いて提示者が観察する画像上に表示されるので、提示者は観察者の視体積領域を確実に認識できるようになる。また、この結果、提示者は強調したい部分を観察者側に向けて注目させるといった効果的な提示を容易に実行することが可能となる。
【図面の簡単な説明】
【図1】第1実施形態における動作時の外観を説明するための模式図である。
【図2】提示者103AのHMDに表示される提示画像を説明する図である。
【図3】視野領域オブジェクトの形状を説明するための模式図である。
【図4】第1実施形態に係る視野領域提示装置の構成を示すブロック図である。
【図5】MR画像生成部の構成を示すブロック図である。
【図6】仮想空間管理部の構成を示すブロック図である。
【図7】第1実施形態に係る視野領域提示装置の処理を説明するフローチャートである。
【図8】仮想空間管理部の処理を説明するためのフローチャートである。
【図9】第2実施形態における視野領域オブジェクトの形状を説明するための模式図である。
【図10】第3実施形態における視野領域オブジェクトの形状を説明するための模式図である。
Claims (13)
- 複合現実空間の画像を提示する画像提示方法であって、
前記複合現実空間における、他ユーザの3次元的な視野領域を算出する算出工程と、
前記視野領域を表す仮想視野オブジェクトを生成する生成工程と、
提示する複合現実空間画像中に前記仮想視野オブジェクトを重畳する重畳工程とを備えることを特徴とする画像提示方法。 - 前記生成工程は、更に、現実空間に配置された物体の面と前記視野領域を構成する面との交線を示す仮想境界オブジェクトを生成し、
前記重畳工程は前記仮想視野オブジェクトと前記仮想境界オブジェクトを提示する複合現実空間画像中に重畳することを特徴とする請求項1に記載の画像提示方法。 - 前記仮想視野オブジェクト及び前記仮想境界オブジェクトは、前記他のユーザが観察する画像には重畳されないことを特徴とする請求項2に記載の画像提示方法。
- 前記他のユーザには、撮像部によって撮像された現実空間画像に仮想画像を重畳することで得られる複合現実空間画像が提示され、
前記算出工程は、前記撮像部の位置姿勢と該撮像部のカメラ内部パラメータに基づいて前記視野領域を算出することを特徴とする請求項1に記載の画像提示方法。 - 前記視野領域は、前方クリッピング面及び後方クリッピング面で制限された領域であることを特徴とする請求項1乃至4のいずれかに記載の画像提示方法。
- 前記他のユーザには、2つの撮像部によってステレオ撮像された現実空間画像に仮想画像を重畳した複合現実空間画像が提示され、
前記算出工程は前記2つの撮像部の夫々の視野領域を算出し、
前記生成工程は算出された2つの視野領域の重複部分を前記仮想視野オブジェクトとすることを特徴とする請求項1に記載の画像提示方法。 - 前記他のユーザが複数存在する場合に、
前記算出工程は複数の他のユーザのそれぞれに対応した複数の視野領域を算出し、
前記生成工程は、前記複数の視野領域に基づいて前記仮想視野オブジェクトを生成することを特徴とする請求項1に記載の画像提示方法。 - 前記生成工程は、前記複数の視野領域の重複部分を前記仮想視野オブジェクトとすることを特徴とする請求項7に記載の画像提示方法。
- 前記生成工程は、前記複数の視野領域のそれぞれに対応した複数の仮想視野オブジェクトを生成し、
前記複数の仮想視野オブジェクトを選択的に表示することを特徴とする請求項7に記載の画像提示方法。 - 前記生成工程は、前記複数の視野領域のそれぞれに対応した複数の仮想視野オブジェクトを生成し、
前記複数の仮想視野オブジェクトを異なる色で表示することを特徴とする請求項7に記載の画像提示方法。 - 複合現実空間の画像を提示する画像提示装置であって、
前記複合現実空間における、他ユーザの3次元的な視野領域を算出する算出手段と、
前記視野領域を表す仮想視野オブジェクトを生成する生成手段と、
提示する複合現実空間画像中に前記仮想視野オブジェクトを重畳する重畳手段とを備えることを特徴とする画像提示装置。 - 請求項1乃至請求項10のいずれか1項に記載の画像提示方法をコンピュータ装置に実行させるためのコンピュータプログラム。
- 請求項12に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ装置読み取り可能な記憶媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003203939A JP4262011B2 (ja) | 2003-07-30 | 2003-07-30 | 画像提示方法及び装置 |
US10/898,248 US7830334B2 (en) | 2003-07-30 | 2004-07-26 | Image displaying method and apparatus |
EP04254495.7A EP1503348B1 (en) | 2003-07-30 | 2004-07-28 | Image displaying method and apparatus for mixed reality space |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003203939A JP4262011B2 (ja) | 2003-07-30 | 2003-07-30 | 画像提示方法及び装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2005049996A true JP2005049996A (ja) | 2005-02-24 |
JP2005049996A5 JP2005049996A5 (ja) | 2006-08-31 |
JP4262011B2 JP4262011B2 (ja) | 2009-05-13 |
Family
ID=33535611
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003203939A Expired - Fee Related JP4262011B2 (ja) | 2003-07-30 | 2003-07-30 | 画像提示方法及び装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US7830334B2 (ja) |
EP (1) | EP1503348B1 (ja) |
JP (1) | JP4262011B2 (ja) |
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006293605A (ja) * | 2005-04-08 | 2006-10-26 | Canon Inc | 情報処理方法およびシステム |
JP2007042073A (ja) * | 2005-07-01 | 2007-02-15 | Canon Inc | 映像提示システム、映像提示方法、該映像提示方法をコンピュータに実行させるためのプログラム、および記憶媒体 |
JP2007128494A (ja) * | 2005-10-03 | 2007-05-24 | Canon Inc | 情報処理装置、情報処理方法 |
JP2007233971A (ja) * | 2006-03-03 | 2007-09-13 | Canon Inc | 画像合成方法及び装置 |
JP2009037487A (ja) * | 2007-08-02 | 2009-02-19 | Canon Inc | システム、頭部装着型表示装置、その制御方法 |
JP2010217719A (ja) * | 2009-03-18 | 2010-09-30 | Ricoh Co Ltd | 装着型表示装置、その制御方法及びプログラム |
US7843470B2 (en) | 2005-01-31 | 2010-11-30 | Canon Kabushiki Kaisha | System, image processing apparatus, and information processing method |
JP2011008350A (ja) * | 2009-06-23 | 2011-01-13 | Canon Inc | 画像処理方法及び画像処理装置 |
WO2011058910A1 (ja) * | 2009-11-16 | 2011-05-19 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラムおよび情報処理システム |
WO2012042974A1 (ja) * | 2010-09-30 | 2012-04-05 | 富士フイルム株式会社 | 情報提示装置、デジタルカメラ、ヘッドマウントディスプレイ、プロジェクタ、情報提示方法、情報提示プログラム |
US20120218188A1 (en) * | 2011-02-24 | 2012-08-30 | Tatsuki Kashitani | Information processing apparatus, information processing method, and terminal apparatus |
WO2012157516A1 (ja) * | 2011-05-17 | 2012-11-22 | シャープ株式会社 | 映像提示システム、映像提示方法、プログラム及び記録媒体 |
WO2013035758A1 (ja) * | 2011-09-06 | 2013-03-14 | Necビッグローブ株式会社 | 情報表示システム、情報表示方法、及び記憶媒体 |
WO2014016986A1 (ja) * | 2012-07-27 | 2014-01-30 | Necソフト株式会社 | 3次元環境共有システム及び3次元環境共有方法 |
JP2014044655A (ja) * | 2012-08-28 | 2014-03-13 | Premium Agency Inc | 拡張現実システム、映像合成装置、映像合成方法及びプログラム |
JP2014186588A (ja) * | 2013-03-25 | 2014-10-02 | Seiko Epson Corp | シミュレーション装置、プログラム及び画像生成方法 |
JP2015200951A (ja) * | 2014-04-04 | 2015-11-12 | 株式会社日本総合研究所 | 表示システム及びプログラム |
US9651785B2 (en) | 2015-01-26 | 2017-05-16 | Seiko Epson Corporation | Display system, portable display device, display control device, and display method |
WO2017169081A1 (ja) * | 2016-03-29 | 2017-10-05 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
WO2018079557A1 (ja) * | 2016-10-31 | 2018-05-03 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および画像生成方法 |
JPWO2017013986A1 (ja) * | 2015-07-17 | 2018-06-14 | シャープ株式会社 | 情報処理装置、端末、遠隔通信システム、および、情報処理プログラム |
JP6400879B2 (ja) * | 2016-07-15 | 2018-10-03 | ナーブ株式会社 | 画像表示装置及び画像表示システム |
US10120633B2 (en) | 2015-01-26 | 2018-11-06 | Seiko Epson Corporation | Display system, portable display device, display control device, and display method |
JP2020035455A (ja) * | 2015-08-04 | 2020-03-05 | ノキア テクノロジーズ オーユー | 媒介現実コンテンツの共有 |
WO2021059361A1 (ja) * | 2019-09-24 | 2021-04-01 | 株式会社エクシヴィ | アニメーション制作方法 |
JP2021144325A (ja) * | 2020-03-10 | 2021-09-24 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及びプログラム |
US11524235B2 (en) * | 2020-07-29 | 2022-12-13 | AniCast RM Inc. | Animation production system |
Families Citing this family (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4434890B2 (ja) * | 2004-09-06 | 2010-03-17 | キヤノン株式会社 | 画像合成方法及び装置 |
JP4738870B2 (ja) * | 2005-04-08 | 2011-08-03 | キヤノン株式会社 | 情報処理方法、情報処理装置および遠隔複合現実感共有装置 |
US20120306907A1 (en) * | 2011-06-03 | 2012-12-06 | Huston Charles D | System and Method for Inserting and Enhancing Messages Displayed to a User When Viewing a Venue |
JP4717728B2 (ja) * | 2005-08-29 | 2011-07-06 | キヤノン株式会社 | ステレオ表示装置及びその制御方法 |
US9703369B1 (en) * | 2007-10-11 | 2017-07-11 | Jeffrey David Mullen | Augmented reality video game systems |
EP2168028A1 (de) * | 2008-07-21 | 2010-03-31 | Siemens Aktiengesellschaft | Verfahren und vorrichtung zum steuern eines systems |
KR100975128B1 (ko) * | 2010-01-11 | 2010-08-11 | (주)올라웍스 | 뷰잉 프러스텀을 이용하여 객체에 대한 정보를 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체 |
JP5499762B2 (ja) * | 2010-02-24 | 2014-05-21 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム及び画像処理システム |
BR112012022681A2 (pt) * | 2010-03-17 | 2018-05-22 | Sony Corp | aparelho e método de processamento de informação, e, meio legível de computador não transitório |
US9122053B2 (en) | 2010-10-15 | 2015-09-01 | Microsoft Technology Licensing, Llc | Realistic occlusion for a head mounted augmented reality display |
US9348141B2 (en) * | 2010-10-27 | 2016-05-24 | Microsoft Technology Licensing, Llc | Low-latency fusing of virtual and real content |
JPWO2012081194A1 (ja) * | 2010-12-17 | 2014-05-22 | パナソニック株式会社 | 医療支援装置、医療支援方法および医療支援システム |
JP5718197B2 (ja) * | 2011-09-14 | 2015-05-13 | 株式会社バンダイナムコゲームス | プログラム及びゲーム装置 |
US9606992B2 (en) * | 2011-09-30 | 2017-03-28 | Microsoft Technology Licensing, Llc | Personal audio/visual apparatus providing resource management |
KR101601805B1 (ko) * | 2011-11-14 | 2016-03-11 | 한국전자통신연구원 | 스토리 기반 가상 체험 학습을 위한 혼합 현실 콘텐츠 제공 장치 및 방법 |
JP5863984B2 (ja) * | 2012-10-05 | 2016-02-17 | Necソリューションイノベータ株式会社 | ユーザインタフェース装置及びユーザインタフェース方法 |
US10955665B2 (en) * | 2013-06-18 | 2021-03-23 | Microsoft Technology Licensing, Llc | Concurrent optimal viewing of virtual objects |
FR3008210B1 (fr) * | 2013-07-03 | 2016-12-09 | Snecma | Procede et systeme de realite augmentee pour la supervision |
KR102077108B1 (ko) * | 2013-09-13 | 2020-02-14 | 한국전자통신연구원 | 콘텐츠 체험 서비스 제공 장치 및 그 방법 |
US10451875B2 (en) | 2014-07-25 | 2019-10-22 | Microsoft Technology Licensing, Llc | Smart transparency for virtual objects |
US10311638B2 (en) | 2014-07-25 | 2019-06-04 | Microsoft Technology Licensing, Llc | Anti-trip when immersed in a virtual reality environment |
US10416760B2 (en) | 2014-07-25 | 2019-09-17 | Microsoft Technology Licensing, Llc | Gaze-based object placement within a virtual reality environment |
US9904055B2 (en) | 2014-07-25 | 2018-02-27 | Microsoft Technology Licensing, Llc | Smart placement of virtual objects to stay in the field of view of a head mounted display |
US9766460B2 (en) | 2014-07-25 | 2017-09-19 | Microsoft Technology Licensing, Llc | Ground plane adjustment in a virtual reality environment |
US9858720B2 (en) * | 2014-07-25 | 2018-01-02 | Microsoft Technology Licensing, Llc | Three-dimensional mixed-reality viewport |
US9865089B2 (en) | 2014-07-25 | 2018-01-09 | Microsoft Technology Licensing, Llc | Virtual reality environment with real world objects |
JP6474278B2 (ja) * | 2015-02-27 | 2019-02-27 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成システム、画像生成方法、プログラム及び情報記憶媒体 |
US9690374B2 (en) * | 2015-04-27 | 2017-06-27 | Google Inc. | Virtual/augmented reality transition system and method |
RU2597462C1 (ru) * | 2015-07-17 | 2016-09-10 | Виталий Витальевич Аверьянов | Способ отображения объекта на пространственной модели |
US10276210B2 (en) | 2015-11-18 | 2019-04-30 | International Business Machines Corporation | Video enhancement |
JP6532393B2 (ja) * | 2015-12-02 | 2019-06-19 | 株式会社ソニー・インタラクティブエンタテインメント | 表示制御装置及び表示制御方法 |
DE102015226585A1 (de) * | 2015-12-22 | 2017-06-22 | Audi Ag | Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System |
US10078218B2 (en) * | 2016-01-01 | 2018-09-18 | Oculus Vr, Llc | Non-overlapped stereo imaging for virtual reality headset tracking |
US9836888B2 (en) * | 2016-02-18 | 2017-12-05 | Edx Technologies, Inc. | Systems and methods for augmented reality representations of networks |
JP2017162102A (ja) * | 2016-03-08 | 2017-09-14 | 株式会社東芝 | 保守支援方法、保守支援システム、及び保守支援プログラム |
US10643374B2 (en) * | 2017-04-24 | 2020-05-05 | Intel Corporation | Positional only shading pipeline (POSH) geometry data processing with coarse Z buffer |
EP3727128A1 (en) * | 2017-12-21 | 2020-10-28 | Sorbonne Université | A method of analyzing a visual field of an individual and a corresponding ophthalmic lens |
EP3542877A1 (en) * | 2018-03-20 | 2019-09-25 | InterDigital CE Patent Holdings | Optimized content sharing interaction using a mixed reality environment |
CN117572954A (zh) * | 2018-09-25 | 2024-02-20 | 奇跃公司 | 用于增强现实的***和方法 |
CN111103967A (zh) * | 2018-10-25 | 2020-05-05 | 北京微播视界科技有限公司 | 虚拟对象的控制方法和装置 |
CN109766801A (zh) * | 2018-12-28 | 2019-05-17 | 深圳市掌网科技股份有限公司 | 辅助阅读方法、装置、可读存储介质及混合现实设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01166265A (ja) * | 1987-12-23 | 1989-06-30 | Hitachi Ltd | 三次元図形表示装置 |
JPH07200878A (ja) * | 1993-12-28 | 1995-08-04 | Matsushita Electric Ind Co Ltd | 多次元画像操作装置 |
JPH07306379A (ja) * | 1994-05-12 | 1995-11-21 | Olympus Optical Co Ltd | 映像表示装置 |
JPH1051711A (ja) * | 1996-08-05 | 1998-02-20 | Sony Corp | 3次元仮想物体表示装置および方法 |
JP2000353248A (ja) * | 1999-06-11 | 2000-12-19 | Mr System Kenkyusho:Kk | 複合現実感装置及び複合現実感提示方法 |
JP2001195601A (ja) * | 2000-01-13 | 2001-07-19 | Mixed Reality Systems Laboratory Inc | 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体 |
JP2001204958A (ja) * | 2000-01-28 | 2001-07-31 | Square Co Ltd | カメラ制御方法、ゲーム装置及び記録媒体 |
JP2002113261A (ja) * | 2000-07-06 | 2002-04-16 | Sony Computer Entertainment Inc | ゲームシステム、記憶媒体、エンタテインメント装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5777614A (en) * | 1994-10-14 | 1998-07-07 | Hitachi, Ltd. | Editing support system including an interactive interface |
JPH09166759A (ja) * | 1995-12-18 | 1997-06-24 | Olympus Optical Co Ltd | 画像表示装置 |
ATE543546T1 (de) | 1999-06-11 | 2012-02-15 | Canon Kk | Vorrichtung und verfahren zur darstellung eines von mehreren benutzern geteilten raumes, wo wirklichkeit zum teil einbezogen wird, entsprechende spielvorrichtung und entsprechendes schnittstellenverfahren |
JP3363837B2 (ja) * | 1999-06-11 | 2003-01-08 | キヤノン株式会社 | ユーザインタフェース装置および情報処理方法 |
JP3619063B2 (ja) * | 1999-07-08 | 2005-02-09 | キヤノン株式会社 | 立体画像処理装置、その方法、立体視パラメータ設定装置、その方法そしてコンピュータプログラム記憶媒体 |
JP4371283B2 (ja) * | 1999-09-09 | 2009-11-25 | 株式会社バンダイナムコゲームス | 画像生成システム及び情報記憶媒体 |
JP2001269481A (ja) * | 2000-03-24 | 2001-10-02 | Konami Computer Entertainment Japan Inc | ゲームシステム、ゲームシステムにおける画像描画方法およびゲーム用プログラムが記憶されたコンピュータ読み取り可能な記録媒体 |
TWI222039B (en) * | 2000-06-26 | 2004-10-11 | Iwane Lab Ltd | Information conversion system |
AU2002303082A1 (en) * | 2001-01-26 | 2002-09-12 | Zaxel Systems, Inc. | Real-time virtual viewpoint in simulated reality environment |
US20020156144A1 (en) * | 2001-02-09 | 2002-10-24 | Williams Kevin Alan | UV-curable, non-chlorinated adhesion promoters |
JP4079410B2 (ja) * | 2002-02-15 | 2008-04-23 | 株式会社バンダイナムコゲームス | 画像生成システム、プログラム及び情報記憶媒体 |
JP4054585B2 (ja) * | 2002-02-18 | 2008-02-27 | キヤノン株式会社 | 情報処理装置および方法 |
JP3904562B2 (ja) * | 2004-02-18 | 2007-04-11 | 株式会社ソニー・コンピュータエンタテインメント | 画像表示システム、記録媒体及びプログラム |
-
2003
- 2003-07-30 JP JP2003203939A patent/JP4262011B2/ja not_active Expired - Fee Related
-
2004
- 2004-07-26 US US10/898,248 patent/US7830334B2/en active Active
- 2004-07-28 EP EP04254495.7A patent/EP1503348B1/en not_active Expired - Lifetime
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01166265A (ja) * | 1987-12-23 | 1989-06-30 | Hitachi Ltd | 三次元図形表示装置 |
JPH07200878A (ja) * | 1993-12-28 | 1995-08-04 | Matsushita Electric Ind Co Ltd | 多次元画像操作装置 |
JPH07306379A (ja) * | 1994-05-12 | 1995-11-21 | Olympus Optical Co Ltd | 映像表示装置 |
JPH1051711A (ja) * | 1996-08-05 | 1998-02-20 | Sony Corp | 3次元仮想物体表示装置および方法 |
JP2000353248A (ja) * | 1999-06-11 | 2000-12-19 | Mr System Kenkyusho:Kk | 複合現実感装置及び複合現実感提示方法 |
JP2001195601A (ja) * | 2000-01-13 | 2001-07-19 | Mixed Reality Systems Laboratory Inc | 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体 |
JP2001204958A (ja) * | 2000-01-28 | 2001-07-31 | Square Co Ltd | カメラ制御方法、ゲーム装置及び記録媒体 |
JP2002113261A (ja) * | 2000-07-06 | 2002-04-16 | Sony Computer Entertainment Inc | ゲームシステム、記憶媒体、エンタテインメント装置 |
Non-Patent Citations (1)
Title |
---|
山下淳, 外6名: ""相互モニタリングが可能な遠隔共同作業支援システムの開発"", 日本バーチャルリアリティ学会論文誌, vol. 第4巻, 第3号, JPN6008056596, 30 September 1999 (1999-09-30), JP, pages 495 - 504, ISSN: 0001175267 * |
Cited By (54)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7843470B2 (en) | 2005-01-31 | 2010-11-30 | Canon Kabushiki Kaisha | System, image processing apparatus, and information processing method |
JP4677269B2 (ja) * | 2005-04-08 | 2011-04-27 | キヤノン株式会社 | 情報処理方法およびシステム |
JP2006293605A (ja) * | 2005-04-08 | 2006-10-26 | Canon Inc | 情報処理方法およびシステム |
US8139087B2 (en) | 2005-07-01 | 2012-03-20 | Canon Kabushiki Kaisha | Image presentation system, image presentation method, program for causing computer to execute the method, and storage medium storing the program |
JP2007042073A (ja) * | 2005-07-01 | 2007-02-15 | Canon Inc | 映像提示システム、映像提示方法、該映像提示方法をコンピュータに実行させるためのプログラム、および記憶媒体 |
JP2007128494A (ja) * | 2005-10-03 | 2007-05-24 | Canon Inc | 情報処理装置、情報処理方法 |
US8154548B2 (en) | 2005-10-03 | 2012-04-10 | Canon Kabushiki Kaisha | Information processing apparatus and information processing method |
JP2007233971A (ja) * | 2006-03-03 | 2007-09-13 | Canon Inc | 画像合成方法及び装置 |
JP2009037487A (ja) * | 2007-08-02 | 2009-02-19 | Canon Inc | システム、頭部装着型表示装置、その制御方法 |
JP2010217719A (ja) * | 2009-03-18 | 2010-09-30 | Ricoh Co Ltd | 装着型表示装置、その制御方法及びプログラム |
JP2011008350A (ja) * | 2009-06-23 | 2011-01-13 | Canon Inc | 画像処理方法及び画像処理装置 |
US8994729B2 (en) | 2009-06-23 | 2015-03-31 | Canon Kabushiki Kaisha | Method for simulating operation of object and apparatus for the same |
JP2011107893A (ja) * | 2009-11-16 | 2011-06-02 | Sony Corp | 情報処理装置、情報処理方法、プログラムおよび情報処理システム |
US8089513B2 (en) | 2009-11-16 | 2012-01-03 | Sony Corporation | Information processing apparatus, information processing method, program, and information processing system |
WO2011058910A1 (ja) * | 2009-11-16 | 2011-05-19 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラムおよび情報処理システム |
US8953036B2 (en) | 2009-11-16 | 2015-02-10 | Sony Corporation | Information processing apparatus, information processing method, program, and information processing system |
US8514326B2 (en) | 2009-11-16 | 2013-08-20 | Sony Corporation | Information processing apparatus, information processing method, program, and information processing system |
WO2012042974A1 (ja) * | 2010-09-30 | 2012-04-05 | 富士フイルム株式会社 | 情報提示装置、デジタルカメラ、ヘッドマウントディスプレイ、プロジェクタ、情報提示方法、情報提示プログラム |
US9196093B2 (en) | 2010-09-30 | 2015-11-24 | Fujifilm Corporation | Information presentation device, digital camera, head mount display, projector, information presentation method and non-transitory computer readable medium |
JP5337915B2 (ja) * | 2010-09-30 | 2013-11-06 | 富士フイルム株式会社 | 情報提示装置、デジタルカメラ、ヘッドマウントディスプレイ、プロジェクタ、情報提示方法、情報提示プログラム |
JPWO2012042974A1 (ja) * | 2010-09-30 | 2014-02-06 | 富士フイルム株式会社 | 情報提示装置、デジタルカメラ、ヘッドマウントディスプレイ、プロジェクタ、情報提示方法、情報提示プログラム |
US8957861B2 (en) * | 2011-02-24 | 2015-02-17 | Sony Corporation | Information processing apparatus, information processing method, and terminal apparatus for superimposing a display of virtual keys upon an input unit |
US20120218188A1 (en) * | 2011-02-24 | 2012-08-30 | Tatsuki Kashitani | Information processing apparatus, information processing method, and terminal apparatus |
JP2012242930A (ja) * | 2011-05-17 | 2012-12-10 | Sharp Corp | 映像提示システム、映像提示方法、プログラム及び記録媒体 |
WO2012157516A1 (ja) * | 2011-05-17 | 2012-11-22 | シャープ株式会社 | 映像提示システム、映像提示方法、プログラム及び記録媒体 |
WO2013035758A1 (ja) * | 2011-09-06 | 2013-03-14 | Necビッグローブ株式会社 | 情報表示システム、情報表示方法、及び記憶媒体 |
US9459706B2 (en) | 2011-09-06 | 2016-10-04 | Biglobe, Inc. | Information display system, information display method, and recording medium |
JP2013054661A (ja) * | 2011-09-06 | 2013-03-21 | Nec Biglobe Ltd | 情報表示システム、情報表示方法、及び情報表示用プログラム |
WO2014016986A1 (ja) * | 2012-07-27 | 2014-01-30 | Necソフト株式会社 | 3次元環境共有システム及び3次元環境共有方法 |
JP5843340B2 (ja) * | 2012-07-27 | 2016-01-13 | Necソリューションイノベータ株式会社 | 3次元環境共有システム及び3次元環境共有方法 |
JPWO2014016986A1 (ja) * | 2012-07-27 | 2016-07-07 | Necソリューションイノベータ株式会社 | 3次元環境共有システム及び3次元環境共有方法 |
JP2014044655A (ja) * | 2012-08-28 | 2014-03-13 | Premium Agency Inc | 拡張現実システム、映像合成装置、映像合成方法及びプログラム |
JP2014186588A (ja) * | 2013-03-25 | 2014-10-02 | Seiko Epson Corp | シミュレーション装置、プログラム及び画像生成方法 |
JP2015200951A (ja) * | 2014-04-04 | 2015-11-12 | 株式会社日本総合研究所 | 表示システム及びプログラム |
US9651785B2 (en) | 2015-01-26 | 2017-05-16 | Seiko Epson Corporation | Display system, portable display device, display control device, and display method |
US10120633B2 (en) | 2015-01-26 | 2018-11-06 | Seiko Epson Corporation | Display system, portable display device, display control device, and display method |
US10223058B2 (en) | 2015-01-26 | 2019-03-05 | Seiko Epson Corporation | Display system, display control device, and display method |
JPWO2017013986A1 (ja) * | 2015-07-17 | 2018-06-14 | シャープ株式会社 | 情報処理装置、端末、遠隔通信システム、および、情報処理プログラム |
US10999412B2 (en) | 2015-08-04 | 2021-05-04 | Nokia Technologies Oy | Sharing mediated reality content |
JP2020035455A (ja) * | 2015-08-04 | 2020-03-05 | ノキア テクノロジーズ オーユー | 媒介現実コンテンツの共有 |
US10755482B2 (en) | 2016-03-29 | 2020-08-25 | Sony Corporation | Information processing device and information processing method |
WO2017169081A1 (ja) * | 2016-03-29 | 2017-10-05 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP2017181666A (ja) * | 2016-03-29 | 2017-10-05 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
JPWO2018012628A1 (ja) * | 2016-07-15 | 2018-12-06 | ナーブ株式会社 | 画像表示装置及び画像表示システム |
US10493360B2 (en) | 2016-07-15 | 2019-12-03 | Nurve, Inc. | Image display device and image display system |
JP6400879B2 (ja) * | 2016-07-15 | 2018-10-03 | ナーブ株式会社 | 画像表示装置及び画像表示システム |
JP2018073172A (ja) * | 2016-10-31 | 2018-05-10 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および画像生成方法 |
WO2018079557A1 (ja) * | 2016-10-31 | 2018-05-03 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および画像生成方法 |
WO2021059361A1 (ja) * | 2019-09-24 | 2021-04-01 | 株式会社エクシヴィ | アニメーション制作方法 |
JPWO2021059361A1 (ja) * | 2019-09-24 | 2021-10-07 | 株式会社エクシヴィ | アニメーション制作方法 |
JP7454818B2 (ja) | 2019-09-24 | 2024-03-25 | 株式会社RiBLA | アニメーション制作方法 |
JP2021144325A (ja) * | 2020-03-10 | 2021-09-24 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及びプログラム |
JP7424121B2 (ja) | 2020-03-10 | 2024-01-30 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及びプログラム |
US11524235B2 (en) * | 2020-07-29 | 2022-12-13 | AniCast RM Inc. | Animation production system |
Also Published As
Publication number | Publication date |
---|---|
US7830334B2 (en) | 2010-11-09 |
EP1503348A2 (en) | 2005-02-02 |
EP1503348A3 (en) | 2006-04-19 |
US20050024388A1 (en) | 2005-02-03 |
EP1503348B1 (en) | 2017-06-07 |
JP4262011B2 (ja) | 2009-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4262011B2 (ja) | 画像提示方法及び装置 | |
KR102517876B1 (ko) | 증강 현실 데이터를 레코딩하기 위한 기술 | |
JP4933406B2 (ja) | 画像処理装置、画像処理方法 | |
JP4757115B2 (ja) | 画像処理装置、画像処理方法 | |
JP5845211B2 (ja) | 画像処理装置、画像処理方法 | |
US7843470B2 (en) | System, image processing apparatus, and information processing method | |
JP5430565B2 (ja) | 電子ミラー装置 | |
JP5996814B1 (ja) | 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム | |
US20160343166A1 (en) | Image-capturing system for combining subject and three-dimensional virtual space in real time | |
US20040109009A1 (en) | Image processing apparatus and image processing method | |
JP2009025918A (ja) | 画像処理装置、画像処理方法 | |
KR20150085797A (ko) | 정보처리장치 및 정보처리방법 | |
KR20020025301A (ko) | 다중 사용자를 지원하는 파노라믹 이미지를 이용한증강현실 영상의 제공 장치 및 그 방법 | |
JP2008210276A (ja) | 三次元モデル情報の生成方法及び装置 | |
CN110956695A (zh) | 信息处理装置、信息处理方法和存储介质 | |
JP2006285609A (ja) | 画像処理方法、画像処理装置 | |
JP2009169622A (ja) | 画像処理装置、画像処理方法 | |
JP2006252468A (ja) | 画像処理方法、画像処理装置 | |
JP2005339377A (ja) | 画像処理方法、画像処理装置 | |
JP2005107972A (ja) | 複合現実感提示方法、複合現実感提示装置 | |
JP4689344B2 (ja) | 情報処理方法、情報処理装置 | |
JP2016152023A (ja) | 情報処理装置、情報処理方法、プログラム | |
JP4747296B2 (ja) | 遮蔽空間の可視化方法 | |
JP2005251118A (ja) | 画像処理方法、画像処理装置 | |
JP7465133B2 (ja) | 情報処理装置、情報処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060719 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060719 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090123 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090206 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4262011 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140220 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |