JP2016525741A - 共有ホログラフィックオブジェクトおよびプライベートホログラフィックオブジェクト - Google Patents
共有ホログラフィックオブジェクトおよびプライベートホログラフィックオブジェクト Download PDFInfo
- Publication number
- JP2016525741A JP2016525741A JP2016521462A JP2016521462A JP2016525741A JP 2016525741 A JP2016525741 A JP 2016525741A JP 2016521462 A JP2016521462 A JP 2016521462A JP 2016521462 A JP2016521462 A JP 2016521462A JP 2016525741 A JP2016525741 A JP 2016525741A
- Authority
- JP
- Japan
- Prior art keywords
- virtual object
- display device
- user
- shared
- private
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- User Interface Of Digital Computer (AREA)
- Holo Graphy (AREA)
- Optics & Photonics (AREA)
- Processing Or Creating Images (AREA)
Abstract
複合現実環境において共有仮想オブジェクトおよびプライベート仮想オブジェクトを含む仮想オブジェクトを表示するためのシステムおよび方法が開示される。複数の使用者が共に協力して共有仮想オブジェクトとインタラクトすることができる。プライベート仮想オブジェクトは単一の使用者に対し可視であり得る。例において、それぞれの使用者のプライベート仮想オブジェクトは、1つまたは複数の共有仮想オブジェクトとの使用者の協力的なインタラクションを容易にすることができる。
Description
複合現実は、ホログラフィック画像すなわち仮想画像が現実世界の物理環境と混合されることを可能にする技術である。シースルーのヘッドマウント型複合現実ディスプレイデバイスを使用者が装着して、使用者の視野内に表示される現実オブジェクトおよび仮想オブジェクトの混合画像を見ることができる。使用者はさらに、例えば、手、頭部または声のジェスチャを行うことによって仮想オブジェクトとインタラクトし、仮想オブジェクトを動かすか、仮想オブジェクトの外見を変えるか、または単に仮想オブジェクトを見ることができる。複数の使用者がいる場合、それぞれが独自の観点からシーン内の仮想オブジェクトを見ることができる。しかしながら、仮想オブジェクトが何らかの形でインタラクティブであるとき、同時に複数の使用者がインタラクトすることによってシステムの使用が厄介になり得る。
本技術の実施形態は、本明細書においてホログラムとも呼ばれる仮想オブジェクトとの複数の使用者のインタラクションのためのシステムおよび方法に関する。複合現実環境を作成するためのシステムは、概して、各使用者によって装着され、1つまたは複数の処理装置に結合されるシースルーのヘッドマウント型ディスプレイデバイスを備える。処理装置は、ヘッドマウント型ディスプレイ装置と協働して、各使用者によって独自の観点から見ることができる仮想オブジェクトを表示することができる。また、処理装置は、ヘッドマウント型ディスプレイ装置と協働して、1人または複数人の使用者によって行われるジェスチャを介して仮想オブジェクトとの使用者のインタラクションを検出することもできる。
本技術の態様によれば、ある仮想オブジェクトは共有されるように設計され、複数の使用者がこれらの共有仮想オブジェクトを見て、複数の使用者が共に協力して共有仮想オブジェクトとインタラクトすることができるようにされてもよい。他の仮想オブジェクトは、特定の使用者に対しプライベートであるように設計されてもよい。プライベート仮想オブジェクトは単一の使用者に対し可視であってもよい。実施形態では、プライベート仮想オブジェクトは様々な目的で提供され得るが、それぞれの使用者のプライベート仮想オブジェクトは、1つまたは複数の共有仮想オブジェクトとの使用者の協力的インタラクションを容易にすることもできる。
例において、本技術は、複合現実体験を提示するためのシステムに関する。このシステムは、共有仮想オブジェクトおよびプライベート仮想オブジェクトを含む仮想オブジェクトを表示するためのディスプレイ装置を備える第1のディスプレイデバイスと、第1のディスプレイデバイスおよび第2のディスプレイデバイスに動作可能に結合されるコンピューティングシステムとを備える。このコンピューティングシステムは、第1のディスプレイデバイス上に表示するための共有仮想オブジェクトおよびプライベート仮想オブジェクトを生成し、このコンピューティングシステムは、第2のディスプレイデバイス上に表示するための共有仮想オブジェクトを生成するが、プライベート仮想オブジェクトを生成しない。
さらなる例では、本技術は、複合現実体験を提示するためのシステムに関する。このシステムは、仮想オブジェクトを表示するためのディスプレイ装置を備える第1のディスプレイデバイスと、仮想オブジェクトを表示するためのディスプレイ装置を備える第2のディスプレイデバイスと、第1のディスプレイデバイスおよび第2のディスプレイデバイスに動作可能に結合されるコンピューティングシステムとを備える。このコンピューティングシステムは、第1のディスプレイデバイスおよび第2のディスプレイデバイス上に表示するための共有仮想オブジェクトを、この共有仮想オブジェクトを定義する状態データから生成し、このコンピューティングシステムは、第1のディスプレイデバイス上に表示するが第2のディスプレイデバイス上に表示しない第1のプライベート仮想オブジェクトと、第2のディスプレイデバイス上に表示するが第1のディスプレイデバイス上に表示しない第2のプライベート仮想オブジェクトと、をさらに生成し、このコンピューティングシステムは、第1のディスプレイデバイスおよび第2のディスプレイデバイスの双方における共有仮想オブジェクトの状態データおよび表示を変更するインタラクションを受信する。
別の例では、本技術は、複合現実体験を提示するための方法に関する。この方法は、(a)共有仮想オブジェクトを第1のディスプレイデバイスおよび第2のディスプレイデバイスに表示することであって、共有仮想オブジェクトは第1のディスプレイデバイスおよび第2のディスプレイデバイスについて同じである状態データによって定義されることと、(b)第1のプライベート仮想オブジェクトを第1のディスプレイデバイスに表示することと、(c)第2のプライベート仮想オブジェクトを第2のディスプレイデバイスに表示することと、(d)第1のプライベート仮想オブジェクトおよび第2のプライベート仮想オブジェクトのうちの一方とのインタラクションを受信することと、(e)ステップ(d)において受信した第1のプライベート仮想オブジェクトおよび第2のプライベート仮想オブジェクトのうちの一方とのインタラクションに基づいて共有仮想オブジェクトにおける変更に影響を及ぼすことと、を含む。
この概要は、以下の詳細な説明においてさらに説明する単純な形態の概念の抜粋を紹介するために提供されている。本概要は、特許請求される主題の主要な特徴または本質的な特徴を特定することを意図するものでなく、また、特許請求される主題の範囲を画定する助けとして用いられることを意図するものでもない。
次に、本技術の実施形態を、図1〜図17を参照して説明する。図1〜図17は、概して、協力する共有仮想オブジェクトと、共有仮想オブジェクトにおける協力を容易にするようにインタラクトすることができるプライベート仮想オブジェクトとを含む複合現実環境に関する。複合現実環境を実施するためのシステムは、ハブコンピューティングシステムと通信するモバイルディスプレイデバイスを備えることができる。モバイルディスプレイデバイスは、ヘッドマウント型ディスプレイデバイス(または他の適切な装置)に結合されたモバイル処理装置を含むことができる。
ヘッドマウント型ディスプレイデバイスは、表示素子を備えることができる。表示素子は、ある程度透明であり、使用者が表示素子を通してこの使用者の視野(FOV)内の現実世界オブジェクトを見ることができるようになっている。表示素子は、使用者のFOV内に仮想画像を投影する機能も提供し、現実世界オブジェクトと一緒に仮想画像も見えるようにする。システムは、使用者が見ている場所を自動的に追跡し、システムが使用者のFOV内のどこに仮想画像を挿入するかを判断できるようにする。システムが仮想画像を投影するべき場所を認識すると、表示素子を用いて画像が投影される。
実施形態において、ハブコンピューティングシステムと、処理装置のうちの1つまたは複数とが協働して、部屋内または他の環境内の全ての使用者、現実世界オブジェクトおよび仮想3次元オブジェクトのx、y、zデカルト位置を含む環境のモデルを構築することができる。環境内の使用者によって装着される各ヘッドマウント型ディスプレイデバイスの位置は、環境のモデルに対し、かつ互いに対し較正され得る。これによって、システムが、各使用者の視線および環境のFOVを求めることが可能になる。このため、仮想画像は、各使用者に表示することができるが、システムは、各使用者の観点からの仮想画像の表示を画定し、環境内の他のオブジェクトからの視差および他のオブジェクトによる任意の遮蔽について仮想画像を調整する。本明細書においてシーンマップと呼ばれる環境のモデル、および使用者のFOVおよび環境内のオブジェクトの全ての追跡は、連動してまたは個々に機能するハブおよびモバイル処理装置によって生成され得る。
以下で説明するように、1人または複数人の使用者は、使用者のFOV内に現れる共有仮想オブジェクトまたはプライベート仮想オブジェクトとインタラクトすることを選択することができる。本明細書において用いられるとき、「インタラクト」という用語は、使用者と仮想オブジェクトとの物理的インタラクションおよび口頭のインタラクションの双方を包含する。物理的インタラクションは、使用者が、自身の指、手、頭部および/または他の身体部分を用いて所定のジェスチャを実行することを含む。これらのジェスチャは、複合現実システムによって、システムが所定のアクションを実行することの使用者要求として認識される。そのような所定のジェスチャは、限定ではないが、仮想オブジェクトを指し示す、掴むおよび押すことを含むことができる。そのような所定のジェスチャは、仮想遠隔制御またはキーボード等の仮想制御オブジェクトとのインタラクションをさらに含むことができる。
使用者は、自身の眼を用いて仮想オブジェクトと物理的にインタラクトすることもできる。いくつかの例では、注視データは、使用者がFOV内のどこに注意を集中しているかを特定し、このため、使用者が特定の仮想オブジェクトを見ていることを特定することができる。このため、持続的注視または瞬きまたは瞬きの連続を物理的インタラクションとすることができ、これによって使用者は1つまたは複数の仮想オブジェクトを選択する。
本明細書において用いられるとき、使用者が、共有仮想オブジェクト内のコンテンツを見る等、仮想オブジェクトに単に注目することは、使用者と仮想オブジェクトとの物理インタラクションのさらなる例である。
使用者は、この代わりにまたはこれに加えて、例えば発話語または発話語句等の口頭のジェスチャを用いて仮想オブジェクトとインタラクトすることができる。これらのジェスチャは、複合現実システムによって、システムが所定のアクションを実行することの使用者要求として認識される。口頭のジェスチャを、物理的ジェスチャと組み合わせて用いて、複合現実環境内の1つまたは複数の仮想オブジェクトとインタラクトすることができる。
使用者が複合現実環境内を動き回るとき、仮想オブジェクトはワールドまたは本体をロックされたままとすることができる。ワールドロックされた仮想オブジェクトは、デカルト空間内の固定位置に留まる仮想オブジェクトである。使用者は、そのようなワールドロックされた仮想オブジェクトの近くに、またはこれらの仮想オブジェクトから離れて、またはこれらの仮想オブジェクトの回りを移動し、これらの仮想オブジェクトを異なる視点から見ることができる。実施形態において、共有仮想オブジェクトはワールドロックされ得る。
他方で、本体ロックされた仮想オブジェクトは、特定の使用者とともに移動する仮想オブジェクトである。1つの例として、本体ロックされた仮想オブジェクトは、使用者の手に対して固定位置に留まることができる。実施形態では、プライベート仮想オブジェクトは本体をロックすることができる。さらなる例では、プライベート仮想オブジェクト等の仮想オブジェクトは、ワールドロック/本体ロックされたハイブリッド仮想オブジェクトとすることができる。そのようなハイブリッド仮想オブジェクトは、例えば、2013年6月18日付で出願された、「Hybrid World/Body Locked HUD on an HMD」と題する米国特許出願第13/921,116号において記載されている。
図1は、仮想オブジェクト21を使用者のFOV内の現実のコンテンツと融合することによって複合現実体験を提供するためのシステム10を示している。図1は、独自の観点から仮想オブジェクト21等の仮想オブジェクトを見るためのヘッドマウント型ディスプレイデバイス2をそれぞれ装着している複数の使用者18a、18b、18cを示す。さらなる例では、3人よりも多いかまたは少ない使用者が存在してもよい。図2および図3に示すように、ヘッドマウント型ディスプレイデバイス2は、統合処理装置4を備えることができる。他の実施形態では、処理装置4は、ヘッドマウント型ディスプレイデバイス2と別個であってもよく、有線通信または無線通信を介してヘッドマウント型ディスプレイデバイス2と通信してもよい。
1つの実施形態では眼鏡の形状であるヘッドマウント型ディスプレイデバイス2は、使用者の頭部に装着され、使用者がディスプレイを透かして見ることができ、それによって使用者の正面の空間の実際の直接的なビューを得るようにする。「実際の直接的なビュー」という用語は、現実世界オブジェクトを、オブジェクトの作成された画像表現を見るのではなく、人間の眼で直接見る能力を指す。例えば、眼鏡を通して部屋を見ることによって、使用者は、部屋の実際の直接ビューを有することができる一方で、テレビで部屋のビデオを見ることは、部屋の実際の直接ビューではない。ヘッドマウント型ディスプレイデバイス2のさらなる詳細を以下に提供する。
処理装置4は、ヘッドマウント型ディスプレイデバイス2を動作させるのに用いられる計算能力の多くを含むことができる。実施形態において、処理装置4は、1つまたは複数のハブコンピューティングシステム12と無線(例えば、WiFi、Bluetooth、赤外線または他の無線通信手段)で通信する。以下で説明するように、ハブコンピューティングシステム12は、処理装置4から遠隔に設けられ、ハブコンピューティングシステム12および処理装置4がLANまたはWAN等の無線ネットワークを介して通信するようにされてもよい。さらなる実施形態では、ヘッドマウント型ディスプレイデバイス2および処理装置4を用いてモバイル複合現実体験を提供するために、ハブコンピューティングシステム12を省くことができる。
ハブコンピューティングシステム12は、コンピュータ、ゲームシステムまたはコンソール等であり得る。例示的な実施形態によれば、ハブコンピューティングシステム12は、ハードウェアコンポーネントおよび/またはソフトウェアコンポーネントを含むことができ、これにより、ハブコンピューティングシステム12を用いて、ゲームアプリケーション、非ゲームアプリケーション等のようなアプリケーションを実行することができる。1つの実施形態では、ハブコンピューティングシステム12は、本明細書に記載されているプロセスを実行するために、プロセッサ可読ストレージデバイス上に記憶された命令を実行することができる標準化されたプロセッサ、専用プロセッサ、マイクロプロセッサ等を含むことができる。
ハブコンピューティングシステム12は、そのFOV内のシーンの部分から画像データを捕捉するための捕捉デバイス20をさらに備える。本明細書において用いられるとき、シーンは使用者が動き回る環境であり、この環境は、捕捉デバイス20のFOVおよび/または各ヘッドマウント型ディスプレイデバイス2のFOV内に捕捉される。図1は単一の捕捉デバイス20を示しているが、さらなる実施形態では、複数の捕捉デバイス20の複合FOV内のシーンから画像データを集合的に捕捉するように協働する複数の捕捉デバイスが存在し得る。捕捉デバイス20は、使用者18および周囲空間を視覚的に監視する1つまたは複数のカメラを備えることができ、それによって、使用者によって行われるジェスチャおよび/または動き、ならびに周囲空間の構造を捕捉、解析および追跡して、アプリケーション内の1つもしくは複数の制御もしくはアクションを実行し、かつ/またはアバターもしくはスクリーン上のキャラクターをアニメーション化することができる。
ハブコンピューティングシステム12は、ゲームまたはアプリケーションの視覚要素を提供することができる、テレビ、モニタ、高精細テレビ(HDTV)等のような視聴覚デバイス16に接続され得る。1つの例では、視聴覚デバイス16は内部スピーカを備える。他の実施形態では、視聴覚デバイス16およびハブコンピューティングシステム12は、外部スピーカ22に接続することができる。
ハブコンピューティングシステム12は、ヘッドマウント型ディスプレイデバイス2および処理装置4と共に複合現実体験を提供することができる。複合現実体験では、図1における仮想オブジェクト21等の1つまたは複数の仮想画像をシーン内の現実世界オブジェクトと共に混合することができる。図1は、使用者のFOV内に見える現実世界オブジェクトとしての植物23または使用者の手23の例を示す。
図2および図3は、ヘッドマウント型ディスプレイデバイス2の斜視図および側面図を示す。図3は、テンプル102およびノーズブリッジ104を有するデバイスの一部分を含む、ヘッドマウント型ディスプレイデバイス2の右側面を示す。ノーズブリッジ104には、以下で記載するように、音を記録し、そのオーディオデータを処理装置4に送信するためのマイクロフォン110が組み込まれる。ヘッドマウント型ディスプレイデバイス2の正面には、ビデオおよび静止画像を捕捉することができる部屋に向いたビデオカメラ112がある。これらの画像は、以下で記載するように、処理装置4に送信される。
ヘッドマウント型ディスプレイデバイス2のフレームの一部分がディスプレイ(1つまたは複数のレンズを備える)を取り囲む。ヘッドマウント型ディスプレイデバイス2のコンポーネントを示すために、ディスプレイを取り囲むフレームの一部分は描かれていない。ディスプレイは、導光光学素子115、不透過フィルタ114、シースルーレンズ116およびシースルーレンズ118を備える。1つの実施形態では、不透過フィルタ114はシースルーレンズ116の後ろにあり、シースルーレンズ116と位置合わせされており、導光光学素子115は不透過フィルタ114の後ろにあり、不透過フィルタ114と位置合わせされており、シースルーレンズ118は導光光学素子115の後ろにあり、導光光学素子115と位置合わせされている。シースルーレンズ116および118は、眼鏡に用いられる標準的なレンズであり、任意の処方に沿って(処方なしを含む)作成され得る。導光光学素子115は、人工光を眼に向ける。不透過フィルタ114および導光光学素子115のさらなる詳細は、2012年5月24日に公開された、「Head−Mounted Display Device Which Provides Surround Video」と題する米国特許出願公開第2012/0127284号において提供される。
制御回路136は、ヘッドマウント型ディスプレイデバイス2の他のコンポーネントをサポートする様々な電子機器を提供する。制御回路136のさらなる詳細は、以下で図4を参照して提供される。イヤフォン130、慣性測定装置132および温度センサ138がテンプル102の内部にあるかまたはテンプル102に搭載される。図4に示す1つの実施形態では、慣性測定装置132(すなわちIMU132)は、3軸磁力計132A、3軸ジャイロ132Bおよび3軸加速度計132C等の慣性センサを備える。慣性測定装置132は、ヘッドマウント型ディスプレイデバイス2の位置、向きおよび急な加速(ピッチ、ロールおよびヨー)を感知する。IMU132は、磁力計132A、ジャイロ132Bおよび軸加速度計132Cに加えて、またはこれらの代わりに他の慣性センサを備えることができる。
マイクロディスプレイ120は、レンズ122を通じて画像を投影する。マイクロディスプレイ120を実施するのに用いることができる様々な画像生成技術が存在する。例えば、マイクロディスプレイ120は、白色光で背後から照明された光学活性材料によって光源が変調される透過投影技術を用いる際に実装することができる。これらの技術は通常、強力なバックライトおよび高い光エネルギー密度を有するLCD型のディスプレイを用いて実施される。マイクロディスプレイ120は、外部光が光学活性材料によって反射および変調される反射技術を用いて実装することもできる。照明は、技術に依拠して白色光源またはRGB光源のいずれかによって前方に照射される。Qualcomm,Inc.からのデジタル光処理(DLP)、反射型液晶素子(LCOS)およびMirasol(登録商標)ディスプレイ技術は全て、反射技術の例である。これらは、ほとんどのエネルギーが変調構造から離れるように反射され、本システムにおいて用いることができるため効率的である。さらに、マイクロディスプレイ120は、光がディスプレイによって生成される発光技術を用いて実装することができる。例えば、Microvision,Inc.からのPicoP(商標)ディスプレイエンジンは、マイクロミラーステアリングにより、透過型素子として動作する小さなスクリーン上にレーザ信号を放出するか、または眼の中に直接ビームを放出する(例えば、レーザ)。
導光光学素子115は、マイクロディスプレイ120からの光を、ヘッドマウント型ディスプレイデバイス2を装着している使用者の眼140に伝達する。導光光学素子115は、矢印142によって示されるように、光がヘッドマウント型ディスプレイデバイス2の正面から導光光学素子115を通じて眼140まで伝達されることも可能にし、それによって、使用者が、マイクロディスプレイ120から仮想画像を受信するのに加えて、ヘッドマウント型ディスプレイ2の正面において空間の実際の直接ビューを有することを可能にする。このため、導光光学素子115の壁はシースルーである。導光光学素子115は、第1の反射面124(例えば、ミラーまたは他の表面)を含む。マイクロディスプレイ120からの光はレンズ122を通過し、反射面124に入射する。反射面124は、マイクロディスプレイ120からの入射光を反射し、それによって、光が内部反射によって導光光学素子115を含む平坦な基板の内部にトラップされる。基板の表面からの数回の反射の後に、トラップされた光波が選択的反射面126のアレイに到達する。過密な描画を阻止するために、5つの表面のうちの1つが126をラベル付けされることに留意されたい。反射面126は、これらの反射面に入射した光波を基板から出して使用者の眼140へと結合する。導光光学素子のさらなる詳細は、2008年11月20日付で公開された、「Substrate−Guided Optical Devices」と題する米国特許出願公開第2008/0285140号に見出すことができる。
ヘッドマウント型ディスプレイデバイス2は、使用者の眼の位置を追跡するためのシステムも備える。以下で説明するように、システムは使用者の位置および向きを追跡し、システムが使用者のFOVを画定することができるようにする。しかしながら、人間は、目の前にある全てのものを知覚するわけではない。代わりに、使用者の眼は環境のサブセットに向けられることになる。したがって、1つの実施形態では、システムは、使用者のFOVの測定を精緻化するために、使用者の眼の位置を追跡するための技術を含む。例えば、ヘッドマウント型ディスプレイデバイス2は視標追跡アセンブリ134(図3)を備え、視標追跡アセンブリ134は視標追跡照明デバイス134Aおよび視標追跡カメラ134B(図4)を有する。1つの実施形態では、視標追跡照明デバイス134Aは、眼に向けてIR光を放出する1つまたは複数の赤外線(IR)エミッタを備える。視標追跡カメラ134Bは、反射したIR光を感知する1つまたは複数のカメラを備える。瞳孔の位置は、角膜の反射を検出する既知のイメージング技法によって特定することができる。例えば、2008年7月22日に発行された、「Head Mounted Eye Tracking and Display System」と題する米国特許出願第7,401,920号を参照されたい。そのような技法は、追跡カメラに対する眼の中心の位置を突き止めることができる。通常、視標追跡は、眼の画像を取得することと、コンピュータビジョン技法を用いて眼窩内の瞳孔の位置を求めることとを伴う。1つの実施形態では、眼は通常一体となって動くので、一方の眼の位置を追跡すれば十分である。しかしながら、各眼を別個に追跡することが可能である。
1つの実施形態では、システムは、碁盤目配列で4つのIR LEDおよび4つのIR光検出器を用い、ヘッドマウント型ディスプレイデバイス2のレンズの各角に1つのIR LEDおよびIR光検出器が存在するようにする。LEDからの光は眼から反射する。4つのIR光検出器のそれぞれにおいて検出される赤外光の量によって瞳孔の方向が求められる。すなわち、眼における白対黒の量によって、その特定の光検出器について眼から反射される光量が求められる。このため、光検出器は、眼における白または黒の量の測定値を有することになる。4つのサンプルから、システムは眼の方向を求めることができる。
別の代替形態は、上記で検討したような4つの赤外線LEDであるが、1つの赤外線CCDがヘッドマウント型ディスプレイデバイス2のレンズの側面にあるものを用いることである。CCDは、眼鏡フレームから可視の眼の最大で75%をイメージングすることができるように小さなミラーおよび/またはレンズ(魚眼)を用いる。次に、CCDは、上記で検討したのとほとんど同じように、画像を感知し、コンピュータビジョンを用いて画像を見つける。このため、図3は1つのIR送信機を有する1つのアセンブリを示しているが、図3の構造は、4つのIR送信機および/または4つのIRセンサを有するように調整することができる。4つより多くのもしくは4つ未満の送信機、および/または4つより多くのもしくは4つ未満のIRセンサも用いることができる。
視線の方向を追跡するための別の実施形態は、電荷追跡に基づく。この概念は、網膜が測定可能な正電荷を保持し、角膜が負電荷を有するという観測に基づく。センサは、眼が動き回っている間に電位を検出し、眼が行っていることをリアルタイムで効果的に読み出すために使用者の耳(イヤフォン130の近く)に取り付けられる。眼を追跡するための他の実施形態も用いることができる。
図3は、ヘッドマウント型ディスプレイデバイス2の半分を示している。フルヘッドマウント型ディスプレイデバイスは、別のシースルーレンズのセット、別の不透過フィルタ、別の導光光学素子、別のマイクロディスプレイ120、別のレンズ122、部屋に向けられたカメラ、視標追跡アセンブリ、マイクロディスプレイ、イヤフォンおよび温度センサを備える。
図4は、ヘッドマウント型ディスプレイデバイス2の様々なコンポーネントを示すブロック図である。図5は、処理装置4の様々なコンポーネントを示すブロック図である。図4にコンポーネントが示されるヘッドマウント型ディスプレイデバイス2を用いて、1つまたは複数の仮想画像を現実世界の使用者のビューとシームレスに融合することによって、複合現実体験を使用者に提供する。さらに、図4のヘッドマウント型ディスプレイデバイスコンポーネントは、様々な状態を追跡する多くのセンサを備える。ヘッドマウント型ディスプレイデバイス2は、処理装置4から仮想画像に関する命令を受信し、処理装置4にセンサ情報を提供する。図4にコンポーネントが示される処理装置4は、ヘッドマウント型ディスプレイデバイス2からセンサ情報を受信し、情報およびデータをハブコンピューティングシステム12(図1)と交換する。情報およびデータのその交換に基づいて、処理装置4は仮想画像を使用者にいつどこで提供するかを決定し、それに応じて図4のヘッドマウント型ディスプレイデバイスに命令を送信する。
図4のコンポーネントのうちのいくつか(例えば、部屋に向けられたカメラ112、視標追跡カメラ134B、マイクロディスプレイ120、不透過フィルタ114、視標追跡照明134A、イヤフォン130および温度センサ138)が陰に示され(shown in shadow)、これらのデバイスのそれぞれが、ヘッドマウント型ディスプレイデバイスの左側用に1つと、右側用に1つとの2つ存在することを示している。図4は、電力管理回路202と通信する制御回路200を示す。制御回路200は、プロセッサ210と、メモリ214(例えば、D−RAM)と通信するメモリコントローラ212と、カメラインターフェース216と、カメラバッファ218と、ディスプレイドライバ220と、ディスプレイフォーマッタ222と、タイミング発生器226と、ディスプレイ出力インターフェース228と、ディスプレイ入力インターフェース230とを備える。
1つの実施形態では、制御回路200のコンポーネントの全てが専用線または1もしくは複数のバスを介して互いに通信している。別の実施形態では、制御回路200のコンポーネントのそれぞれがプロセッサ210と通信している。カメラインターフェース216は、部屋に向けられた2つのカメラ112へのインターフェースを提供し、これらの部屋に向けられたカメラから受信した画像をカメラバッファ218内に記憶する。ディスプレイドライバ220はマイクロディスプレイ120を駆動する。ディスプレイフォーマッタ222は、マイクロディスプレイ120上に表示されている仮想画像に関する情報を不透過制御回路224に提供する。不透過制御回路224は不透過フィルタ114を制御する。タイミング発生器226を用いてシステムにタイミングデータを提供する。ディスプレイ出力インターフェース228は、部屋に向けられたカメラ112から処理装置4に画像を提供するためのバッファである。ディスプレイ入力インターフェース230は、マイクロディスプレイ120に表示される仮想画像等の画像を受信するためのバッファである。ディスプレイ出力インターフェース228およびディスプレイ入力インターフェース230は、処理装置4へのインターフェースであるバンドインターフェース232と通信する。
電力管理回路202は、電圧レギュレータ234と、視標追跡照明ドライバ236と、オーディオDACおよび増幅器238と、マイクロフォン前置増幅器およびオーディオADC240と、温度センサインターフェース242と、クロック発生器244とを備える。電圧レギュレータ234は、バンドインターフェース232を介して処理装置4から電力を受信し、この電力をヘッドマウント型ディスプレイデバイス2の他のコンポーネントに提供する。視標追跡照明ドライバ236は、上記で記載したように、視標追跡照明134AのためのIR光源を提供する。オーディオDACおよび増幅器238はオーディオ情報をイヤフォン130に出力する。マイクロフォン前置増幅器およびオーディオADC240は、マイクロフォン110のためのインターフェースを提供する。温度センサインターフェース242は、温度センサ138のためのインターフェースである。電力管理回路202はまた、3軸磁力計132A、3軸ジャイロ132Bおよび3軸加速度計132Cに電力を提供し、これらから返されるデータを受信する。
図5は、処理装置4の様々なコンポーネントを示すブロック図である。図5は、電力管理回306と通信する制御回路304を示す。制御回路304は、中央処理装置(CPU)320と、グラフィック処理装置(GPU)322と、キャッシュ324と、RAM326と、メモリ330(例えば、D−RAM)と通信するメモリコントローラ328と、フラッシュメモリ334(または他のタイプの不揮発性ストレージ)と通信するフラッシュメモリコントローラ332と、バンドインターフェース302およびバンドインターフェース232を介してヘッドマウント型ディスプレイデバイス2と通信するディスプレイ出力バッファ336と、バンドインターフェース302およびバンドインターフェース232を介してヘッドマウント型ディスプレイデバイス2と通信するディスプレイ入力バッファ338と、マイクロフォンと接続するために外部マイクロフォンコネクタ342と通信するマイクロフォンインターフェース340と、無線通信デバイス346と接続するためのPCIエクスプレスインターフェースと、USBポート(複数の場合もある)348とを備える。1つの実施形態では、無線通信デバイス346は、Wi−Fi対応通信デバイス、BlueTooth通信デバイス、赤外線通信デバイス等を備えることができる。USBポートは、データまたはソフトウェアを処理装置4にロードし、また処理装置4を充電するために、処理装置4をハブコンピューティングシステム12にドッキングするのに用いることができる。1つの実施形態では、CPU320およびGPU322は、どこで、いつ、どのように使用者のビュー内に仮想3次元オブジェクトを挿入するかを決定するための主力要素である。さらなる詳細を以下で提供する。
電力管理回路306は、クロック発生器360と、アナログ/デジタル変換器362と、バッテリ充電器364と、電圧レギュレータ366と、ヘッドマウント型ディスプレイ電源376と、温度センサ374(場合によっては処理装置4のリストバンドに位置する)と通信する温度センサインターフェース372とを備える。アナログ/デジタル変換器362は、バッテリ電圧、温度センサを監視し、バッテリ充電機能を制御するのに用いられる。電圧レギュレータ366は、システムに電力を供給するためにバッテリ368と通信する。バッテリ充電器364は、充電ジャック370から電力を受け取ると、(電圧レギュレータ366を介して)バッテリ368を充電するのに用いられる。HMD電源376は、ヘッドマウント型ディスプレイデバイス2に電力を提供する。
図6は、捕捉デバイス20を有するハブコンピューティングシステム12の例示的な実施形態を示す。例示的な実施形態によれば、捕捉デバイス20は、例えば、飛行時間、構造化光、ステレオ画像等を含む任意の適切な技法により奥行き値を含むことができる奥行き画像を含む奥行き情報と共にビデオを捕捉するように構成することができる。1つの実施形態によれば、捕捉デバイス20は奥行き情報を「Zレイヤ」、すなわち、奥行きカメラからその見通し線に沿って延在するZ軸に対し直交することができるレイヤに編成することができる。
図6に示すように、捕捉デバイス20は、カメラコンポーネント423を備えることができる。例示的な実施形態によれば、カメラコンポーネント423は、シーンの奥行き画像を捕捉することができる奥行きカメラとすることができるか、この奥行きカメラを備えることができる。奥行き画像は、捕捉されたシーンの2次元(2D)ピクセル領域を含むことができ、2Dピクセル領域内の各ピクセルが、カメラから捕捉されたシーン内のオブジェクトの、例えばセンチメートル、ミリメートル等の単位の距離等の奥行き値を表すことができる。
カメラコンポーネント423は、赤外(IR)光コンポーネント425と、3次元(3D)カメラ426と、シーンの奥行き画像を捕捉するのに用いることができるRGB(視覚画像)カメラ428とを備えることができる。例えば、飛行時間解析において、捕捉デバイス20のIR光コンポーネント425は、赤外光をシーン上に放出することができ、次に、センサ(いくつかの実施形態では、図示しないセンサを含む)を用いて、シーン内の1つまたは複数のターゲットおよびオブジェクトの表面からの後方散乱光を、例えば3Dカメラ426および/またはRGBカメラ428を用いて検出することができる。
例示的な実施形態では、捕捉デバイス20は、画像カメラコンポーネント423と通信することができるプロセッサ432をさらに備えることができる。プロセッサ432は、標準化されたプロセッサ、専門プロセッサ、マイクロプロセッサ等を含むことができ、これらは、例えば、奥行き画像を受信し、適したデータフォーマット(例えば、フレーム)を生成し、データをハブコンピューティングシステム12に送信するための命令を含む命令を実行することができる。
捕捉デバイス20は、プロセッサ432によって実行される命令、3Dカメラおよび/もしくはRGBカメラによって捕捉される画像もしくは画像フレーム、または任意の他の適切な情報、画像等を記憶することができるメモリ434をさらに備えることができる。例示的な実施形態によれば、メモリ434は、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、キャッシュ、フラッシュメモリ、ハードディスク、または任意の他の適切なストレージコンポーネントを含むことができる。図6に示すように、1つの実施形態において、メモリ434は、画像カメラコンポーネント423およびプロセッサ432と通信する別個のコンポーネントとすることができる。別の実施形態によれば、メモリ434はプロセッサ432および/または画像カメラコンポーネント423に統合することができる。
捕捉デバイス20は、通信リンク436を介してハブコンピューティングシステム12と通信する。通信リンク436は、例えば、USB接続、Firewire接続、イーサネットケーブル接続等を含む有線接続、および/または無線802.11b、g、aもしくはn接続等の無線接続とすることができる。1つの実施形態によれば、ハブコンピューティングシステム12は、例えばシーンを、通信リンク436を介していつ捕捉するかを判断するのに用いることができるクロックを捕捉デバイス20に提供することができる。さらに、捕捉デバイス20は、例えば3Dカメラ426および/またはRGBカメラ428によって捕捉される奥行き情報および視覚(例えば、RGB)画像を、通信リンク436を介してハブコンピューティングシステム12に提供する。1つの実施形態では、奥行き画像および視覚画像は、毎秒30フレームで送信されるが、他のフレームレートを用いてもよい。次に、ハブコンピューティングシステム12は、モデル、奥行き情報および捕捉された画像を作成し、これらを用いて、例えば、ゲームまたはワードプロセッサ等のアプリケーションを制御し、かつ/またはアバターもしくはスクリーン上のキャラクターをアニメーション化することができる。
上記で説明したハブコンピューティングシステム12は、ヘッドマウント型ディスプレイデバイス2および処理装置4と合わせて、仮想3次元オブジェクトを1人または複数人の使用者のFOVに挿入し、仮想3次元オブジェクトが現実世界のビューを拡張および/または置換するようにすることができる。1つの実施形態では、ヘッドマウント型ディスプレイデバイス2、処理装置4およびハブコンピューティングシステム12は、これらのデバイスのそれぞれが、どこで、いつ、どのように仮想3次元オブジェクトを挿入するかを決定するためのデータを取得するのに用いられるセンサのサブセットを備えているので、一緒に機能する。1つの実施形態では、どこで、いつ、どのように仮想3次元オブジェクトを挿入するかを決定する計算は、互いに連動して機能するハブコンピューティングシステム12および処理装置4によって行われる。しかしながら、さらなる実施形態では、全ての計算は、単独で機能するハブコンピューティングシステム12または単独で機能する処理装置4によって行われてもよい。他の実施形態では、計算のうちの少なくともいくらかは、ヘッドマウント型ディスプレイ2によって実行することができる。
ハブ12は、別の使用者のFOV内の使用者を認識および追跡するための骨格追跡モジュール450をさらに備えることができる。広範にわたる骨格追跡技法が存在するが、いくつかのそのような技法が、2013年5月7日付で発行された、「System For Fast, Probabilistic Skeletal Tracking」と題する米国特許第8,437,506号に開示されている。ハブ12は、使用者によって実行されるジェスチャを認識するためのジェスチャ認識エンジン454をさらに備えることができる。ジェスチャ認識エンジン454に関するさらなる情報は、2009年4月13日付で出願された米国特許出願第2010/0199230号、「Gesture Recognizer System Architecture」に見ることができる。
1つの例示的な実施形態では、ハブコンピューティングシステム12および処理装置4は一緒に機能して、1人または複数人の使用者が中にいる環境のシーンマップまたはモデルを作成し、その環境内の様々な動いているオブジェクトを追跡する。さらに、ハブコンピューティングシステム12および/または処理装置4は、使用者18が装着しているヘッドマウント型ディスプレイデバイス2のFOVを、ヘッドマウント型ディスプレイデバイス2の位置および向きを追跡することによって追跡する。ヘッドマウント型ディスプレイデバイス2によって取得されるセンサ情報は処理装置4に送信される。1つの例では、その情報はハブコンピューティングシステム12に送信され、ハブコンピューティングシステム12はシーンモデルを更新し、このシーンモデルを処理装置に返送する。次に、処理装置4は、ヘッドマウント型ディスプレイデバイス2から受信する追加のセンサ情報を用いて使用者のFOVを精緻化し、どこで、いつ、どのように仮想オブジェクトを挿入するかに関する命令をヘッドマウント型ディスプレイデバイス2に提供する。捕捉デバイス20およびヘッドマウント型ディスプレイデバイス2内のカメラからのセンサ情報に基づいて、シーンモデルおよび追跡情報は、以下で説明するような閉ループフィードバックシステムにおいてハブコンピューティングシステム12と処理装置4との間で周期的に更新され得る。
図7は、ハブコンピューティングシステム12を実施するのに用いることができるコンピューティングシステムの例示的な実施形態を示す。図7に示すように、マルチメディアコンソール500は、レベル1キャッシュ502と、レベル2キャッシュ504と、フラッシュROM(リードオンリメモリ)506とを有する中央処理装置(CPU)501を有する。レベル1キャッシュ502およびレベル2キャッシュ504はデータを一時的に記憶し、このためメモリアクセスサイクル数を低減し、これによって処理速度およびスループットを改善する。2つ以上のコアを有し、このため追加のレベル1キャッシュ502およびレベル2キャッシュ504を有するCPU501を提供することができる。フラッシュROM506は、マルチメディアコンソール500が電源オンにされたときに、ブートプロセスの初期フェーズ中にロードされる実行可能なコードを記憶することができる。
グラフィック処理装置(GPU)508およびビデオエンコーダ/ビデオコーデック(コーダ/デコーダ)514が、高速かつ高解像度のグラフィック処理のためのビデオ処理パイプラインを形成する。データはグラフィック処理装置508からバスを介してビデオエンコーダ/ビデオコーデック514に搬送される。ビデオ処理パイプラインは、データをテレビまたは他のディスプレイに送信するためのA/V(オーディオ/ビデオ)ポート540に出力する。メモリコントローラ510は、限定ではないが、RAM(ランダムアクセスメモリ)等の様々なタイプのメモリ512へのプロセッサアクセスを容易にするためにGPU508に接続される。
マルチメディアコンソール500は、モジュール518上に実装されることが好ましい、I/Oコントローラ520、システム管理コントローラ522、オーディオ処理装置523、ネットワークインターフェース524、第1のUSBホストコントローラ526、第2のUSBコントローラ528およびフロントパネルI/Oサブアセンブリ530を備える。USBコントローラ526および528は、周辺機器コントローラ542(l)−542(2)、無線アダプタ548および外部メモリデバイス546(例えば、フラッシュメモリ、外部CD/DVD ROMドライブ、リムーバブルメディア等)のためのホストとしての役割を果たす。ネットワークインターフェース524および/または無線アダプタ548は、ネットワーク(例えば、インターネット、ホームネットワーク等)へのアクセスを提供し、イーサネットカード、モデム、Bluetoothモジュール、ケーブルモデム等を含む広範にわたる様々な有線または無線アダプタコンポーネントのうちの任意のものとすることができる。
システムメモリ543は、ブートプロセス中にロードされるアプリケーションデータを記憶するように提供される。メディアドライブ544が設けられ、DVD/CDドライブ、ブルーレイドライブ、ハードディスクドライブまたは他の取外し可能メディアドライブ等を含むことができる。メディアドライブ544は、マルチメディアコンソール500の内部にあっても外部にあってもよい。アプリケーションデータは、マルチメディアコンソール500による実行、再生等のためにメディアドライブ544を介してアクセスすることができる。メディアドライブ544は、シリアルATAバスまたは他の高速接続(例えば、IEEE1394)等のバスを介してI/Oコントローラ520に接続される。
システム管理コントローラ522は、マルチメディアコンソール500の利用可能性を確保することに関する多岐にわたるサービス機能を提供する。オーディオ処理装置523およびオーディオコーデック532は、高い忠実性およびステレオ処理を有する対応するオーディオ処理パイプラインを形成する。オーディオ処理装置523とオーディオコーデック532との間で通信リンクを介してオーディオデータが搬送される。オーディオ処理パイプラインは、オーディオ機能を有する外部オーディオ使用者またはデバイスによる再生のために、データをA/Vポート540に出力する。
フロントパネルI/Oサブアセンブリ503は、電力ボタン550およびイジェクトボタン552、ならびにマルチメディアコンソール500の外面上に露出する任意のLED(発光ダイオード)または他のインジケータをサポートする。システム電力供給モジュール536は、マルチメディアコンソール500のコンポーネントに電力を提供する。ファン538は、マルチメディアコンソール500内の回路を冷却する。
マルチメディアコンソール500内のCPU501、GPU508、メモリコントローラ510、および様々な他のコンポーネントは、シリアルバスおよびパラレルバス、メモリバス、周辺バス、およびプロセッサまたはローカルバスを含む1つまたは複数のバスを介して、多岐にわたるバスアーキテクチャのうちの任意のものを用いて相互接続される。例として、そのようなアーキテクチャは、周辺コンポーネント相互接続(PCI)バス、PCI−Expressバス等を含むことができる。
マルチメディアコンソール500が電源オンにされると、アプリケーションデータをシステムメモリ543からメモリ512および/またはキャッシュ502、504内にロードし、CPU501において実行することができる。アプリケーションは、マルチメディアコンソール500上で利用可能な様々なメディアタイプにナビゲートするときに一貫したユーザ体験を提供するグラフィカルユーザインターフェースを表すことができる。動作時に、メディアドライブ544内に含まれるアプリケーションおよび/または他のメディアは、マルチメディアコンソール500にさらなる機能を提供するためにメディアドライブ544から起動または再生することができる。
マルチメディアコンソール500は、システムをテレビまたは他のディスプレイに単に接続することによってスタンドアロンシステムとして動作することができる。このスタンドアロンモードでは、マルチメディアコンソール500は、1人または複数人の使用者がシステムとインタラクトするか、映画を見るか、または音楽を聴くことを可能にする。しかしながら、ネットワークインターフェース524または無線アダプタ548を通じてブロードバンド接続性の統合が利用可能になると、マルチメディアコンソール500はさらに、より大型のネットワークコミュニティの参加者として動作することができる。さらに、マルチメディアコンソール500は無線アダプタ548を介して処理装置4と通信することができる。
オプションの入力デバイス(例えば、コントローラ542(1)および542(2))が、ゲームアプリケーションおよびシステムアプリケーションによって共有される。入力デバイスは予約済みリソースではないが、システムアプリケーションとゲームアプリケーションとの間で、それぞれがデバイスのフォーカスを有するように切り替えられる。アプリケーションマネージャーは、ゲームアプリケーションの知識を知ることなく入力ストリームの切替えを制御することが好ましく、ドライバはフォーカスの切替えに関する状態情報を保持する。捕捉デバイス20は、USBコントローラ526または他のインターフェースを介してコンソール500のための追加の入力デバイスを定義することができる。他の実施形態では、ハブコンピューティングシステム12は、他のハードウェアアーキテクチャを用いて実施することができる。ハードウェアアーキテクチャは1つも必要とされない。
図1に示すヘッドマウント型ディスプレイデバイス2および処理装置4(合わせてモバイルディスプレイデバイスと呼ばれることもある)は、1つのハブコンピューティングシステム12(ハブ12とも呼ばれる)と通信する。モバイルディスプレイデバイスのそれぞれは、上記で説明したように、無線通信を用いてハブと通信することができる。そのような一実施形態では、モバイルディスプレイデバイスに有用な情報のうちの多くがハブにおいて計算および記憶され、モバイルディスプレイデバイスのそれぞれに送信されると考えられる。例えば、ハブは環境のモデルを生成し、このモデルを、ハブと通信するモバイルディスプレイデバイスの全てに提供する。さらに、ハブは部屋内のモバイルディスプレイデバイスおよび移動オブジェクトの位置および向きを追跡し、その情報をモバイルディスプレイデバイスのそれぞれに転送することができる。
別の実施形態では、システムは複数のハブ12を備えることができ、それぞれのハブが1つまたは複数のモバイルディスプレイデバイスを備える。ハブは、互いに直接またはインターネット(または他のネットワーク)を介して通信することができる。そのような実施形態は、2010年10月15日付で出願された、「Fusing Virtual Content Into Real Content」と題するFlaks他の米国特許出願第12/905,952号に開示されている。
また、さらなる実施形態では、ハブ12は完全に省くことができる。そのような実施形態の1つの利点は、本システムの複合現実体験が完全に移動性となり、屋内または屋外双方の設定で用いることができることである。そのような実施形態では、以下に続く説明においてハブ12によって実行される全ての機能を、代替的に、処理装置4のうちの1つによって実行することができる。これらの処理装置4のうちのいくつかが連動して動作するか、または処理装置4の全てが連動して動作する。そのような実施形態では、それぞれのモバイルディスプレイデバイス2がシステム10の全ての機能を実行する。これらの機能は、状態データ、シーンマップ、各使用者のシーンマップのビュー、全てのテクスチャおよびレンダリング情報、ビデオおよびオーディオデータ、ならびに本明細書において説明される動作を実行するための他の情報の生成および更新を含む。以下で図9のフローチャートに関して説明する実施形態は、ハブ12を含む。しかしながら、そのような各実施形態において、1つまたは複数の処理装置4は代替的にハブ12の全ての説明される機能を実行することができる。
図8は、共有仮想オブジェクト460およびプライベート仮想オブジェクト462a、462b(合わせて、プライベート仮想オブジェクト462)を含む本技術の例を示す。図8および他の図に示す仮想オブジェクト460、462は、ヘッドマウント型ディスプレイデバイス2を通じて可視である。
共有仮想オブジェクト460は可視であり、様々な使用者、図8の例では2人の使用者18a、18b間で共有される。各使用者は、自身の観点から同じ共有オブジェクト460を見ることができ、使用者は、以下で説明するように、共有オブジェクト460と協力してインタラクトすることができる。図8は単一の共有仮想オブジェクト460を示しているが、さらなる実施形態では2つ以上の共有仮想オブジェクトが存在することができることが理解される。複数の共有仮想オブジェクトが存在する場合、これらは互いに関係付けることができるか、または互いに独立することができる。
共有仮想オブジェクトは、例えば、3次元空間における外観、コンテンツ、位置、オブジェクトがインタラクティブである度合い、またはこれらの属性のうちのいくつかを含む状態データによって定義することができる。状態データは、時折、例えば、共有仮想オブジェクトが動かされたとき、コンテンツが変更されたとき、または何らかの形でインタラクトされたときに変化することができる。使用者18a、18b(および存在する場合、他の使用者)はそれぞれ、共有仮想オブジェクト460について同じ状態データを受信することができ、それぞれが状態データに対する同じ更新を受信することができる。したがって、使用者は、独自の観点からであるが同じ共有仮想オブジェクトを見ることができ、使用者は、使用者および/または共有仮想オブジェクト460を制御するソフトウェアアプリケーションのうちの1つまたは複数によって共有仮想オブジェクト460に対し変更が行われる度に、それぞれがその同じ変更を見ることができる。
多くの例のうちの1つとして、図8に示す共有仮想オブジェクト460は仮想カルーセルであり、この仮想カルーセルの外縁の回りに複数の仮想表示スレート464を備える。各表示スレート464は、異なるコンテンツ466を表示することができる。(上記で説明した)不透過フィルタ114を用いて、現実世界オブジェクトおよび各仮想表示スレート464の(使用者の視点から)後ろの光をマスキングし、各仮想表示スレート464がコンテンツを表示するための仮想スクリーンとして見えるようにする。図8に示す表示スレート464の数は例であり、さらなる実施形態では変動する場合がある。各使用者のヘッドマウント型ディスプレイデバイス2は、各使用者の観点から仮想表示スレート464を表示し、仮想表示スレート上にコンテンツ466を表示することが可能である。上記に示したように、3次元空間における仮想カルーセルのコンテンツおよび位置は、各使用者18a、18bについて同じとすることができる。
各仮想表示スレート464に表示されるコンテンツは、写真、イラスト、テキストおよびグラフィック、またはビデオ等の動的コンテンツを含む、広範にわたるコンテンツとすることができる。仮想表示スレート464は、コンピュータモニタとしてさらに動作することができ、それによって、コンテンツ466は、電子メール、ウェブページ、ゲーム、またはモニタ上に提示される任意の他のコンテンツとすることができる。ハブ12上で実行されるソフトウェアアプリケーションは、仮想表示スレート464上に表示されるコンテンツを決定することができる。代替的にまたはさらに、使用者は、仮想表示スレート464に対し、コンテンツ466の追加、変更または除去を行うことができる。
各使用者18a、18bは、仮想カルーセルを歩き回って様々な表示スレート464上の様々なコンテンツ466を見ることができる。以下でさらに詳細に説明するように、各それぞれの表示スレート464の位置がシーンの3次元空間内で既知であり、各ヘッドマウント型ディスプレイデバイス2のFOVが既知である。このため、各ヘッドマウント型ディスプレイは、使用者がどこを見ているか、いずれの表示スレート464が使用者のFOV内にあるか、およびコンテンツ466がこれらの表示スレート464上でどのように見えるかを判断することができる。
本技術の特徴は、使用者が、例えば独自のプライベート仮想オブジェクト(以下で説明する)を用いて、共有仮想オブジェクトに対し共に協力することができることである。図8の例では、使用者18a、18bは仮想カルーセルとインタラクトしてこの仮想カルーセルを回転し、様々な表示スレート464上の様々なコンテンツ466を見ることができる。使用者18a、18bのうちの1人が仮想カルーセルとインタラクトしてこの仮想カルーセルを回転させると、共有仮想オブジェクト460の状態データが使用者ごとに更新される。正味の影響は、1人の使用者が仮想カルーセルを回転させると、仮想カルーセルが、この仮想カルーセルを見ている全ての使用者について同じように回転することである。
いくつかの実施形態では、使用者は、共有仮想オブジェクト460内のコンテンツ466とインタラクトして、表示されたコンテンツを除去、追加および/または変更することが可能であり得る。コンテンツが使用者または共有仮想オブジェクト460を制御するソフトウェアアプリケーションによって変更されると、これらの変更は各使用者18a、18bに可視になる。
実施形態において、各使用者は、共有仮想オブジェクトを見てこの共有仮想オブジェクトとインタラクトする同じ能力を有することができる。さらなる実施形態では、異なる使用者は、これらの異なる使用者が共有仮想オブジェクト460とインタラクトすることができる度合いを定義する異なる許可ポリシを有してもよい。許可ポリシは、共有仮想オブジェクト460を提示するソフトウェアアプリケーションおよび/または1人または複数人の使用者によって定義することができる。例として、使用者18a、18bのうちの1人は、スライドショーまたは他のプレゼンテーションを他の使用者に提示している場合がある。そのような例では、スライドショーを提示している使用者は、仮想カルーセルを回転させる能力を有することができる一方、他の使用者は回転させることができない。
使用者の許可ポリシにおける定義に応じて、共有仮想コンテンツのいくつかの部分が何人かの使用者に可視であるが、他の使用者には可視でないことも考えられる。ここでもまた、これらの許可ポリシは、共有仮想オブジェクト460を提示するソフトウェアアプリケーションおよび/または1人または複数人の使用者によって定義することができる。スライドショーの例を続けると、スライドショーを提示する使用者は、提示者には可視であるが他者には可視でないノートをスライドショー上に表示することができる。スライドショーの説明は単なる例であり、異なる使用者が、共有仮想オブジェクト460を見てこの共有仮想オブジェクト460とインタラクトするための異なる許可を有する広範にわたる他のシナリオが存在し得る。
共有仮想オブジェクトに加えて、本技術は、プライベート仮想オブジェクト462を含むことができる。使用者18aはプライベート仮想オブジェクト462aを有し、使用者18bはプライベート仮想オブジェクト462bを有する。さらなる使用者を含む例では、そのような各使用者は独自のプライベート仮想オブジェクト462を有することができる。さらなる実施形態において、使用者は、2つ以上のプライベート仮想オブジェクト462を有することができる。
共有仮想オブジェクトと異なり、プライベート仮想オブジェクト462は、このプライベート仮想オブジェクト462が関連付けられた使用者にのみ可視とすることができる。このため、プライベート仮想オブジェクト462aは、使用者18aに可視であるが使用者18bには可視でないものとすることができる。プライベート仮想オブジェクト462bは、使用者18bに可視であるが使用者18aには可視でないものとすることができる。さらに、実施形態では、使用者のプライベート仮想オブジェクト462のために、使用者のプライベート仮想オブジェクト462によって、または使用者のプライベート仮想オブジェクト462に関係して生成された状態データは、複数の使用者間で共有されない。
さらなる実施形態では、プライベート仮想オブジェクトのための状態データが2人以上の使用者間で共有され、プライベート仮想オブジェクトが2人以上の使用者に可視であることも考えられる。状態データの共有および使用者18が別のプライベート仮想オブジェクト462を見る能力は、その使用者の許可ポリシにおいて定義することができる。上記のように、許可ポリシは、プライベート仮想オブジェクト462を提示するアプリケーションおよび/または1人または複数人の使用者18によって設定することができる。
プライベート仮想オブジェクト462は、広範にわたる目的で提供することができ、広範にわたる形態をとるかまたは広範にわたるコンテンツを含むことができる。1つの例では、プライベート仮想オブジェクト462を用いて共有仮想オブジェクト460とインタラクトすることができる。図8の例では、プライベート仮想オブジェクト462aは、使用者18aが共有仮想オブジェクト460とインタラクトすることを可能にする制御部またはコンテンツ等の仮想オブジェクト468aを含むことができる。例えば、プライベート仮想オブジェクト462aは、使用者18aが共有仮想オブジェクト460上のコンテンツを追加、削除または変更することを可能にするか、または共有仮想オブジェクト460のカルーセルを回転させることを可能にする仮想制御部を有することができる。同様に、プライベート仮想オブジェクト462bは、使用者18bが共有仮想オブジェクト460上のコンテンツを追加、削除または変更することを可能にするか、または共有仮想オブジェクト460のカルーセルを回転させることを可能にする仮想制御部を有することができる。
プライベート仮想オブジェクト468は、広範にわたる方式で共有仮想オブジェクト460とのインタラクションを可能にすることができる。一般的に、使用者のプライベート仮想オブジェクト468とのインタラクションは、そのプライベート仮想オブジェクト468を制御するソフトウェアアプリケーションによって定義することができる。使用者が定義された方式で自身のプライベート仮想オブジェクト468とインタラクトするとき、ソフトウェアアプリケーションは、共有仮想オブジェクト460における関連付けられた変化またはインタラクションに影響を及ぼす場合がある。図8の例では、各使用者のプライベート仮想オブジェクト468は、使用者が自身の指をバー上でスワイプすると、仮想カルーセルが指のスワイプ方向に回転するようなスワイプバーを備えることができる。使用者が自身のプライベート仮想オブジェクト468とインタラクトして共有仮想オブジェクト460における何らかの変更またはインタラクションに影響を与えるための広範にわたる他の制御部および定義されたインタラクションを提供することができる。
プライベート仮想オブジェクト468を用いると、共有オブジェクト460との様々な使用者のインタラクションが互いに対立する場合があることが生じ得る。例えば、図8の例では、ある使用者は仮想カルーセルを1つの方向に回転させることを試みる場合がある一方、他の使用者は、仮想カルーセルを反対方向に回転させることを試みる場合がある。共有仮想オブジェクト460および/またはプライベート仮想オブジェクト462を制御するソフトウェアアプリケーションは、そのような対立を扱うための対立解決方式を有することができる。例えば、使用者のうちの1人は、使用者のそれぞれの許可ポリシにおいて規定されているように、共有オブジェクト460とのインタラクトに関して他者よりも高い優先度を有してもよい。代替的に、対立に関して双方の使用者に警告し、これを解消する機会をこれらの使用者に与える新たな共有仮想オブジェクト460が双方の使用者に対し現れてもよい。
プライベート仮想オブジェクト468は、共有仮想オブジェクト460とのインタラクション以外の使用法を有することができる。プライベート仮想オブジェクト468を用いて、多岐にわたる情報およびコンテンツを使用者に表示することができる。この情報およびコンテンツはその使用者に対しプライベートなままにされる。
共有仮想オブジェクトは、多岐にわたる形態のうちの任意のものとすることができ、および/または多岐にわたる異なるコンテンツのうちの任意のものを提示することができる。図9は図8に類似した例であるが、図9では、仮想表示スレート464は、仮想カルーセルに組み立てられる代わりに使用者のそばを漂流していくことができる。図8の例のように、各使用者は共有仮想オブジェクト460とインタラクトするためのプライベート仮想オブジェクト462を有することができる。例えば、各プライベート仮想オブジェクト462a、462bは、いずれかの方向に仮想表示スレート464をスクロールする制御部を備えることができる。プライベート仮想オブジェクト462a、462bは、仮想表示スレート464または共有仮想オブジェクト460と他の形でインタラクトする、例えば共有仮想オブジェクトに対し、コンテンツを変更、追加または除去するための制御部をさらに備えることができる。
実施形態では、共有仮想オブジェクト460およびプライベート仮想オブジェクト462は、共有仮想オブジェクト460における使用者間の協力を容易にするように提供することができる。図8および図9に示す例において、使用者は、様々な仮想表示スレート464におけるコンテンツ466を見ることおよび目を通すことにおいて協力することができる。使用者のうちの1人がスライドショーまたはプレゼンテーションを提示していてもよく、または複数の使用者18が単にコンテンツを一緒に見ていてもよい。図10は、使用者18が仮想表示スレート464におけるコンテンツ466を作成する際に共に協力することができる一実施形態である。
例えば、使用者18は、ペイント、写真または他の画像の作成に一緒に取り組むことができる。各使用者は、自身がインタラクトすることができ、共有仮想オブジェクト460にコンテンツを加えることができるプライベート仮想オブジェクト462a、462bを有することができる。さらなる実施形態では、共有仮想オブジェクト460は異なる領域に分断することができ、各使用者が割り当てられた領域に自身のプライベート仮想オブジェクト462を介してコンテンツを追加する。
図8および図9の例では、共有仮想オブジェクト460は複数の仮想表示スレート464の形態をとり、図10の例において、共有仮想オブジェクト460は単一の仮想表示スレート464の形態をとる。しかしながら、共有仮想オブジェクトは、さらなる実施形態において仮想表示スレートである必要がない。1つのそのような例が図11に示されている。この実施形態では、使用者18は、共に協力して、仮想自動車の形態の共有仮想オブジェクト460を作成および/または変更する。上記で説明したように、使用者は、それぞれ自身のプライベート仮想オブジェクト462a、462bとインタラクトすることによって協力して仮想自動車を作成および/または変更することができる。
上記で説明した実施形態において、共有仮想オブジェクト460およびプライベート仮想オブジェクト462は空間において分離している。これらはさらなる実施形態では分離している必要がない。図12は、プライベート仮想オブジェクト462である部分と、共有仮想オブジェクト460である部分とを含むハイブリッド仮想オブジェクト468を含む実施形態を示す。プライベート仮想オブジェクト462および共有仮想オブジェクト460の双方の位置がハイブリッド仮想オブジェクト468において変動する場合があることが理解されよう。この例において、使用者18は、共有仮想オブジェクト460においてゲームをプレイしている場合があり、各使用者のプライベート仮想オブジェクト462は、共有仮想オブジェクト460上で生じるものを制御する。上記のように、各使用者は独自のプライベート仮想オブジェクト462を見ることができるが、他の使用者のプライベート仮想オブジェクト462を見ることが可能であってはならない。
上記に示したように、実施形態において、全ての使用者18は単一の共通の共有仮想オブジェクト460を見て、この共有仮想オブジェクト460において協力することができる。共有仮想オブジェクト460は、3次元空間内のデフォルト位置に位置決めすることができ、このため、共有仮想オブジェクト460を提供するソフトウェアアプリケーションまたは1人もしくは複数人の使用者によって初期設定され得る。したがって、共有仮想オブジェクト460は3次元空間において固定のままであってもよく、1人もしくは複数人の使用者18および/または共有仮想オブジェクト460を提供するソフトウェアアプリケーションによって移動可能であってもよい。
使用者18のうちの1人が、例えばそれぞれの使用者の許可ポリシにおいて定義されているように共有仮想オブジェクト460の制御を有する場合、共有仮想オブジェクト460がこの共有仮想オブジェクト460の制御を有する使用者に本体をロックされていることが想定される。そのような実施形態では、共有仮想オブジェクト460は、制御している使用者18と共に動く場合があり、残りの使用者18は、自身の共有仮想オブジェクト460のビューを維持するために、制御している使用者18と共に動く場合がある。
図14に示すさらなる実施形態では、各使用者は単一の共有仮想オブジェクト460の独自のコピーを有することができる。すなわち、共有仮想オブジェクト460のコピーごとの状態データは、使用者18のそれぞれについて同じままである場合がある。このため、例えば、使用者18のうちの1人が仮想表示スレート464のコンテンツを変更する場合、この変更は共有仮想オブジェクト460の全てのコピー上に現れ得る。一方、各使用者18は共有仮想オブジェクト460の自身のコピーと自由にインタラクトする。図12の例では、1人の使用者18は、仮想カルーセルの自身のコピーを他の使用者と異なる向きに回転した場合がある。図12の例では、使用者18a、18bは同じ画像を見ており、例えば、画像を変更するように協力している。一方、上記の例におけるように、各使用者は、異なる画像を見て、かつ/または異なる距離および観点から共有オブジェクト460を見るために、共有仮想オブジェクト460の自身のコピーをあちこちに動かす場合がある。各使用者が共有仮想オブジェクト460の独自のコピーを有する場合、ある使用者の共有仮想オブジェクト460のコピーは、他の使用者に可視であっても可視でなくてもよい。
図8〜図13は、1つまたは複数の共有仮想オブジェクト460およびプライベート仮想オブジェクト462をどのように使用者18に提示することができるか、ならびに、使用者が1つまたは複数の共有仮想オブジェクト460およびプライベート仮想オブジェクト462とどのようにインタラクトすることができるかのいくつかの例を示す。1つまたは複数の共有仮想オブジェクト460およびプライベート仮想オブジェクト462が広範にわたる他の外観、インタラクティブな特徴および機能を有し得ることが理解されよう。
図14は、各使用者に対し画像データの単一フレームを生成し、レンダリングし、表示するのにかかる時間等の離散時間期間中のハブコンピューティングシステム12、処理装置4およびヘッドマウント型ディスプレイデバイス2の動作およびインタラクティブ性の高レベルフローチャートである。実施形態では、データは60Hzのレートでリフレッシュすることができるが、さらなる実施形態ではより高い頻度またはより低い頻度でリフレッシュしてもよい。
通常、システムは、環境、ならびに使用者、現実世界オブジェクトおよび仮想オブジェクト等の環境内のオブジェクトのx、y、z座標を有するシーンマップを生成する。上記で示したように、共有仮想オブジェクト460およびプライベート仮想オブジェクト462は、ハブコンピューティングシステム12上で実行されているアプリケーションまたは1人または複数人の使用者18によって環境内に仮想的に配置することができる。システムは各使用者のFOVも追跡する。全ての使用者がシーンの同じ面を見ている可能性があり得る一方で、使用者はこれらを異なる観点から見ている。このため、システムはシーンの各人物のFOVを生成して、ここでも使用者ごとに異なる場合がある、仮想世界オブジェクトまたは現実世界オブジェクトの視差および遮蔽を調整する。
画像データの所与のフレームについて、使用者のビューは、1つまたは複数の現実オブジェクトおよび/または仮想オブジェクトを含むことができる。使用者が頭部を、例えば左から右にまたは上下に回すと、使用者のFOV内の現実世界オブジェクトの相対位置がその使用者のFOV内で固有に動く。例えば、図1の植物23は、最初に使用者のFOVの右側に現れる場合がある。しかし、次に使用者が頭部を右に向けて回すと、植物23は結果的にこの使用者のFOVの左側にあることになる場合がある。
しかしながら、使用者が頭部を動かすときの、この使用者に対する仮想オブジェクトの表示はより困難な問題である。使用者が自身のFOV内にワールドロックされた仮想オブジェクトを見ている例では、使用者がFOVを左に動かすように頭部を左に動かした場合、仮想オブジェクトの表示も使用者のFOVシフト分だけ右側にシフトされ、それによって、仮想オブジェクトがFOV内で安定したままであることが正味の影響となるようにする必要がある。ワールドおよび本体をロックされた仮想オブジェクトを適切に表示するためのシステムを、以下で図14〜図17のフローチャートに関して説明する。
1人または複数人の使用者18に複合現実を提示するためのシステムをステップ600において構成することができる。例えば、使用者18またはシステムのオペレータは、例えば共有仮想オブジェクト460を含む、提示される仮想オブジェクトを指定することができる。使用者は、共有仮想オブジェクト460および/または独自のプライベート仮想オブジェクト462のコンテンツ、ならびに、これらがどのように、いつおよびどこで提示されるかも構成することができる。
ステップ604および630において、ハブ12および処理装置4はシーンからデータを収集する。ハブ12の場合、これは、捕捉デバイス20の奥行きカメラ426およびRGBカメラ428によって感知される画像およびオーディオデータとすることができる。処理装置4の場合、これは、ヘッドマウント型ディスプレイデバイス2、特にカメラ112、指標追跡アセンブリ14およびIMU132によってステップ656において感知される画像データとすることができる。ヘッドマウント型ディスプレイデバイス2によって収集されるデータは、ステップ656において処理装置4に送信される。処理装置4がこのデータを処理し、そしてステップ630においてこのデータをハブ12に送信する。
ステップ608において、ハブ12は、ハブ12が自身の捕捉デバイス20および1つまたは複数の処理装置4の画像データを連係させることを可能にする様々なセットアップ動作を実行する。特に、シーンに関して捕捉デバイス20の位置が知られている場合であっても(そうでない場合もある)、ヘッドマウント型ディスプレイデバイス2上のカメラはシーン内を動き回っている。したがって、実施形態では、撮像カメラのそれぞれの位置および時間のキャプチャが、シーンに対し、互いに対し、およびハブ12に対し較正される必要がある。次に、図15のフローチャートを参照してステップ608のさらなる詳細を説明する。
ステップ608の1つの動作は、ステップ670においてシステム10内の様々な撮像デバイスのクロックオフセットを求めることを含む。特に、システム内のカメラのそれぞれからの画像データを連係させるために、連係されている画像データが同じ時点のものであることが確認され得る。画像データのクロックオフセットおよび同期を求めることに関する詳細は、2010年5月3日付で出願された、「Heterogeneous Image Sensor Synchronization」と題する米国特許出願第12/772,802号、および2010年6月3日付で出願された、「Synthesis Of Information From Multiple Audiovisual Sources」と題する米国特許出願第12/792,961号に開示されている。通常、捕捉デバイス20からの画像データ、および1つまたは複数の処理装置4から到来する画像データは、ハブ12における単一のマスタークロックからタイムスタンプ処理される。所与のフレームの全てのそのようなデータに対しタイムスタンプを用い、また、カメラのそれぞれについて既知の解像度を用いて、ハブ12は、システム内の撮像カメラのそれぞれについて時間オフセットを求める。これにより、ハブ12は、各カメラから受信した画像間の差を求め、これらの画像に対する調整を求めることができる。
ハブ12は、カメラの受信フレームのうちの1つから基準タイムスタンプを選択することができる。次に、ハブ12は、全ての他のカメラから受信した画像データに対し時間を加算または減算し、基準タイムスタンプと同期させることができる。時間オフセットを求めるために、かつ/または較正プロセスのために異なるカメラを共に同期させるために、多岐にわたる他の動作を用いることができることが理解されよう。時間オフセットの決定は、全てのカメラからの画像データの最初の受信時に1回行うことができる。代替的に、この決定は、例えば各フレームまたはある数のフレーム等、周期的に行ってもよい。
ステップ608は、シーンのx、y、zデカルト空間において互いに対し全てのカメラの位置を較正する動作をさらに含む。この情報がわかると、ハブ12および/または1つもしくは複数の処理装置4は、シーンのジオメトリ、およびシーン内のオブジェクト(使用者を含む)のジオメトリおよび位置を特定するシーンマップまたはモデルを形成することができる。全てのカメラの画像データを互いに対し較正する際、奥行きおよび/またはRGBデータを用いることができる。RGB情報のみを用いてカメラビューを較正するための技術は、2007年5月17日付で公開された「Navigating Images Using Image Based Geometric Alignment and Object Based Controls」と題する米国特許出願公開第2007/0110338号に記載されている。
システム10における撮像カメラはそれぞれ、異なるカメラからの画像を較正するために補正される必要があるいくらかのレンズ歪みを有する場合がある。ステップ604および630においてシステム内の様々なカメラからの全ての画像データが受信されると、画像データは、ステップ674において、様々なカメラのレンズ歪みを計上するように調整することができる。所与のカメラの歪み(奥行きまたはRGB)は、カメラ製造者によって提供される既知の特性とすることができる。そうでない場合、例えば、カメラのFOV内の異なるロケーションにおけるチェッカー盤パターン等の既知の寸法のオブジェクトを撮像することを含む、カメラの歪みを計算するためのアルゴリズムが知られている。その画像内の点のカメラビュー座標内のずれは、カメラレンズ歪みの結果として生じるものである。レンズ歪みの度合いがわかると、既知の逆行列変換によって歪みを補正することができ、この結果、所与のカメラのためのポイントクラウド内の点の一様カメラビューマップが得られる。
次に、ハブ12は、カメラビューから各カメラによって捕捉された、歪み補正された画像データポイントを、ステップ678において直交3Dワールドビューに変換することができる。この直交3Dワールドビューは、直交x、y、zデカルト座標系において捕捉デバイス20およびヘッドマウント型ディスプレイデバイスカメラによって捕捉される全ての画像データのポイントクラウドマップである。カメラビューを直交3Dワールドビューに変換するための行列変換式が知られている。例えば、David H.Eberly「3d Game Engine Design:A Practical Approach To Real−Time Computer Graphics」Morgan Kaufman Publishers(2000)を参照されたい。また、上述した米国特許出願第12/792,961号も参照されたい。
システム10内の各カメラは、ステップ678において直交3Dワールドビューを構成することができる。所与のカメラからのデータポイントのx、y、zワールド座標は、依然としてステップ678の結果におけるカメラの観点からのものであり、システム10内の他のカメラからのデータポイントのx、y、zワールド座標にまだ相関していない。次のステップは、異なるカメラの様々な直交3Dワールドビューを、システム10内の全てのカメラによって共有される単一の全体3Dワールドビューに変換することである。
これを達成するために、ハブ12の実施形態は次に、ステップ682においてそれぞれのカメラのワールドビューのポイントクラウドにおいて、キーポイント不連続性またはキューを探すことができ、次に、ステップ684において、様々なカメラの様々なポイントクラウド間で同じであるキューを特定する。ハブ12は、2つの異なるカメラの2つのワールドビューが同じキューを含むと判断することができた時点で、ステップ688において、2つのカメラの位置、向きおよび焦点距離を、互いに対しおよびキューに対し求めることができる。実施形態において、システム10内の全てのカメラが同じ共通キューを共有するわけではない。しかしながら、第1のカメラおよび第2のカメラが共有キューを有し、これらのカメラのうちの少なくとも1つが第3のカメラとの共有ビューを有する限り、ハブ12は、第1のカメラ、第2のカメラおよび第3のカメラの位置、向きおよび焦点距離を、互いに対しおよび単一の全体3Dワールドビューに対し求めることができる。システム内のさらなるカメラについて同じことが当てはまる。
画像ポイントクラウドからキューを特定するための様々な既知のアルゴリズムが存在する。そのようなアルゴリズムは、例えば、Mikolajczyk,K.およびSchmid,C.「A Performance Evaluation of Local Descriptors」IEEE Transactions on Pattern Analysis & Machine Intelligence,27,10,1615−1630.(2005)に示されている。画像データを用いてキューを検出するさらなる方法は、スケール不変特徴変換(SIFT)アルゴリズムである。SIFTアルゴリズムは、例えば、2004年3月23日付で発行された、「Method and Apparatus for Identifying Scale Invariant Features in an Image and Use of Same for Locating an Object in an Image」と題する米国特許第6,711,293号に記載されている。別のキュー検出器方法は、最大安定極値領域(MSER)アルゴリズムである。MSERアルゴリズムについては、例えば、J.Matas、O.Chum、M.UrbaおよびT.Pajdlaによる論文「Robust Wide Baseline Stereo From Maximally Stable Extremal Regions」Proc.of British Machine Vision Conference,pages 384−396(2002)に記載されている。
ステップ684において、2つ以上のカメラからのポイントクラウド間で共有されるキューが特定される。概念上、第1のカメラと第1のカメラのデカルト座標系内の1組のキューとの間に第1のベクトル組が存在し、第2のカメラと、第2のカメラのデカルト座標系内の同じ1組のキューとの間に第2のベクトル組が存在する場合、2つの系を互いに対し変形して(resolve)、双方のカメラを含む単一のデカルト座標系にすることができる。2つ以上のカメラからポイントクラウド間の共有キューを発見するための複数の既知の技法が存在する。そのような技法は、例えばArya, S.、Mount,D.M.、Netanyahu,N.S.、Silverman,R.およびWu,A.Y.「An Optimal Algorithm For Approximate Nearest Neighbor Searching Fixed Dimensions」Journal of the ACM45,6,891−923(1998)に示されている。上述したArya他の概算最近傍解決法の代わりに、またはこれに加えて、限定ではないがハッシングまたは文脈依存ハッシングを含む他の技法を用いてもよい。
2つの異なるカメラからのポイントクラウドが十分多くのマッチしたキューを共有する場合、2つのポイントクラウドを共に相関付ける行列を、例えばランダムサンプリングコンセンサス(RANSAC)または多岐にわたる他の推定技法によって推定することができる。次に、復元した基本行列に対する外れ値であるマッチを除去することができる。1対のポイントクラウド間で想定される幾何学的に一貫したマッチを見つけた後、これらのマッチはそれぞれのポイントクラウドのための1組のトラックに編成することができ、トラックは、ポイントクラウド間の1組の相互にマッチするキューである。組内の第1のトラックは、第1のポイントクラウド内の各共通キューの投影を含むことができる。組内の第2のトラックは、第2のポイントクラウド内の各共通キューの投影を含むことができる。次に、異なるカメラからのポイントクラウドを変形して、単一の直交3D現実世界ビューにおける単一のポイントクラウドにすることができる。
全てのカメラの位置および向きは、この単一のポイントクラウドおよび単一の直交3D現実世界ビューに対して較正される。様々なポイントクラウドを共に変形するために、2つのポイントクラウドのトラック組内のキューの投影が解析される。これらの投影から、ハブ12は、キューに対する第1のカメラの観点を決定することができ、キューに対する第2のカメラの観点も決定することができる。そこから、ハブ12はポイントクラウドを変形して、双方のポイントクラウドからのキューおよび他のデータポイントを含む単一のポイントクラウドおよび単一の直交3D現実世界ビューの推定値にすることができる。
このプロセスは、単一の直交3D現実世界ビューが全てのカメラを含むまで、任意の他のカメラについて繰り返される。これが行われると、ハブ12は、単一の直交3D現実世界ビューおよび互いに対するカメラの相対位置および向きを求めることができる。ハブ12は、単一の直交3D現実世界ビューに対する各カメラの焦点距離をさらに求めることができる。
ステップ608においてシステムが較正されると、ステップ610において、シーンのジオメトリ、ならびにシーン内のオブジェクトのジオメトリおよび位置を特定するシーンマップを展開することができる。実施形態では、所与のフレーム内に生成されるシーンマップは、シーン内の全ての使用者、現実世界オブジェクトおよび仮想オブジェクトのx、yおよびz位置を含むことができる。この情報は、画像データ収集ステップ604、630および656の間に取得することができ、ステップ608において共に較正される。
少なくとも、捕捉デバイス20は、シーンの奥行き(壁によって境界される場合があるところまで等)およびシーン内のオブジェクトの奥行き位置を求めるための奥行きカメラを備える。以下で説明するように、シーンマップは、シーン内の仮想オブジェクトを位置決めし、適切な遮蔽(仮想3次元オブジェクトは遮蔽される場合があるか、または仮想3次元オブジェクトは現実世界オブジェクトまたは別の仮想3次元オブジェクトを遮蔽する場合がある)を用いて仮想3次元オブジェクトを表示する際に用いられる。
システム10は、シーンから全ての奥行き画像を取得するために複数の奥行き画像カメラを備えることができるか、またはシーンから全ての奥行き画像を取得するために捕捉デバイス20の奥行き画像カメラ426等の単一の奥行き画像カメラで十分である場合がある。未知の環境内のシーンマップを求めるための類似の方法は、同時位置特定およびマッピング(SLAM)として知られる。SLAMの1つの例が、2010年8月10日付で発行された、「Systems and Methods for Landmark Generation for Visual Simultaneous Localization and Mapping」と題する米国特許第7,774,158号に開示されている。
ステップ612において、システムは、部屋内で動く人間等の、動いているオブジェクトを検出および追跡し、動いているオブジェクトの位置に基づいてシーンマップを更新することができる。これは、上記のように、シーン内の使用者の骨格モデルの使用を含む。
ステップS614において、ハブは様々な使用者18のヘッドマウント型ディスプレイデバイス2のx、yおよびz位置、向きおよびFOVを求める。次に、ステップ614のさらなる詳細が図16のフローチャートに関して説明される。図16のステップは、単一の使用者に関して以下に説明される。しかしながら、図16のステップはシーン内の使用者ごとに実行されてもよい。
ステップ700において、シーンのための較正された画像データがハブにおいて解析され、使用者の頭部位置と、使用者の顔の正面から見た顔ユニットベクトル(face unit vector)との双方が求められる。頭部位置は骨格モデルにおいて特定される。顔ユニットベクトルは、骨格モデルから使用者の顔の平面を画定し、この平面に直交するベクトルをとることによって求めることができる。この平面は、使用者の眼、鼻、口、耳または他の顔の特徴の位置を求めることによって特定することができる。顔ユニットベクトルは、使用者の頭部の向きを定義するのに用いることができ、例では、使用者のFOVの中心とみなすことができる。さらにまたは代替的に、顔ユニットベクトルは、ヘッドマウント型ディスプレイデバイス2上のカメラ112から返されたカメラ画像データから特定されてもよい。特に、ヘッドマウント型ディスプレイ2上のカメラ112から何が見えるかに基づいて、関連付けられた処理装置4および/またはハブ12は、使用者の頭部の向きを表す顔ユニットベクトルを求めることができる。
ステップ704において、さらにまたは代替的に、使用者の頭部の位置および向きは、より早期の時点から(フレーム内においてより早期または以前のフレームから)の使用者の頭部の位置および向きの解析から求め、次にIMU132からの慣性情報を用いて使用者の頭部の位置および向きを更新してもよい。IMU132からの情報は、使用者の頭部の正確な運動学的データを提供することができるが、IMUは通常、使用者の頭部に関する絶対的な位置情報を提供しない。「グランドトゥルース」とも呼ばれるこの絶対的な位置情報は、捕捉デバイス20、対象の使用者のヘッドマウント型ディスプレイデバイス2上のカメラおよび/または他の使用者のヘッドマウント型ディスプレイデバイス2から得られた画像データから提供され得る。
実施形態では、使用者の頭部の位置および向きは、連動して機能するステップ700および704によって求めることができる。さらなる実施形態では、ステップ700および704のうちの一方または他方を用いて、使用者の頭部の頭部位置および向きを求めることができる。
使用者が真っ直ぐ前を見ていない場合が起こり得る。したがって、使用者の頭部の位置および向きを特定することに加えて、ハブは使用者の頭部における使用者の眼の位置をさらに考慮することができる。この情報は、上記の視標追跡アセンブリ134によって提供され得る。視標追跡アセンブリは、使用者の眼の位置を特定することができる。この位置は、使用者の眼が中心にあり真っ直ぐ前を見ている位置(すなわち、顔ユニットベクトル)からの、左、右、上および/または下方向のずれを示す眼ユニットベクトルとして表すことができる。顔ユニットベクトルは、使用者が見ている場所を定義するように眼ユニットベクトルに対し調整され得る。
ステップ710において、次に使用者のFOVを求めることができる。ヘッドマウント型ディスプレイデバイス2の使用者のビューの範囲は、仮説的な使用者の上、下、左および右の周辺視野に基づいて予め画定され得る。所与の使用者について計算されたFOVが、特定の使用者がFOVの範囲に見ることが可能であり得るオブジェクトを含むことを確実にするために、この仮想的な使用者は、可能な限り最大の周辺視野を有するとみなされ得る。いくらかの所定の余分なFOVをこれに追加して、実施形態において所与の使用者のための十分なデータが捕捉されることを確実にすることができる。
次に、ビューの範囲を取得し、これを、眼ユニットベクトルの任意のずれによって調整された顔ユニットベクトルを中心に配置することによって、所与の時点における使用者のFOVを計算することができる。所与の時点において使用者が見ているものを定義することに加えて、この使用者のFOVの決定は、使用者が何を見ることができないかを決定するのにも有用である。以下で説明するように、仮想オブジェクトの処理を、特定の使用者が見ることができるエリアに限定することによって、処理速度が改善し、レイテンシが低減する。
上記で説明した実施形態において、ハブ12は、シーン内の1人または複数人の使用者のFOVを計算する。さらなる実施形態において、使用者のための処理装置4は、このタスクにおいて共有することができる。例えば、使用者の頭部位置および眼の向きが推定されると、この情報を処理装置に送信することができ、処理装置は、より近時のデータに基づいて、(IMU132からの)頭部位置および(視標追跡アセンブリ134からの)眼の位置に基づいて、位置、向き等を更新することができる。
次に図14に戻ると、ステップ618において、ハブ12は、仮想オブジェクトとの使用者のインタラクションおよび/または仮想オブジェクトの位置を求めることができる。これらの仮想オブジェクトは、共有仮想オブジェクト460および/または各使用者のプライベート仮想オブジェクト462を含むことができる。例えば、単一の使用者または複数の使用者によって見られる共有仮想オブジェクト460が動かされた場合がある。ステップ618のさらなる詳細が図17のフローチャートに示される。
ステップ714において、ハブは、1つまたは複数の仮想オブジェクトがインタラクトされたかまたは動かされたか否かを判断することができる。そうである場合、ハブは、3次元空間内の影響を受けた仮想オブジェクトの新たな外観および/または位置を求める。上記で示したように、様々なジェスチャは、シーン内の仮想オブジェクトに対し、定義された影響を有することができる。1つの例として、使用者は、自身のプライベート仮想オブジェクト462とインタラクトすることができ、そして仮想オブジェクト462は共有仮想オブジェクト460との何らかのインタラクションに影響を及ぼす。これらのインタラクションはステップ714において感知され、プライベート仮想オブジェクト462および共有仮想オブジェクト460の双方に対するこれらのインタラクションの効果がステップ718において実施される。
ステップ722において、ハブ12は、動かされたかまたはインタラクトされたのが複数の使用者によって共有されている仮想オブジェクト460であるか否かをチェックする。そうである場合、ハブは、ステップ726において、仮想オブジェクト460を共有している使用者ごとに、共有状態データにおける仮想オブジェクト460の外観および/または位置を更新する。特に、上記で検討したように、複数の使用者は共有仮想オブジェクト460について同じ状態データを共有して、複数の使用者間の仮想オブジェクトに対する協力を容易にすることができる。複数の使用者間で共有されている単一のコピーが存在する場合、この単一のコピーの外観または位置の変更が共有仮想オブジェクトのための状態データに記憶され、これが複数の使用者のそれぞれに提供される。代替的に、複数の使用者は、共有仮想オブジェクト460の複数のコピーを有する場合がある。この場合、共有仮想オブジェクトの外観の変更を共有仮想オブジェクトのための状態データに記憶することができ、これが複数の使用者のそれぞれに提供される。
しかしながら、位置の変更は、動かされた共有仮想オブジェクトのコピーにのみ反映され、共有仮想オブジェクトの他のコピーには反映されない場合がある。換言すれば、共有仮想オブジェクトの1つのコピーの位置の変更は、共有仮想オブジェクト460の他のコピーに反映されない場合がある。代替的な実施形態では、共有仮想オブジェクトの複数のコピーが存在する場合、1つのコピーの変更を、共有仮想オブジェクト460の全てのコピーにわたって実施し、それぞれが外観および位置に関して同じ状態データを維持するようにすることができる。
図17において説明したように仮想オブジェクトの位置および外観が設定されると、ハブ12は、ステップ626(図14)において、決定された情報を1つまたは複数の処理装置4に送信することができる。ステップ626において送信される情報は、全ての使用者の処理装置4へのシーンマップの送信を含む。送信される情報は、それぞれのヘッドマウント型ディスプレイデバイス2の処理装置4への、各ヘッドマウント型ディスプレイデバイス2の決定されたFOVの送信をさらに含むことができる。送信される情報は、決定された位置、向き、形状および外観を含む、仮想オブジェクトの特性の送信をさらに含むことができる。
処理ステップ600〜626は上記で例として説明された。さらなる実施形態では、これらのステップのうちの1つまたは複数を省いてもよく、ステップは異なる順序で実行されてもよく、さらなるステップが追加されてもよいことが理解されよう。処理ステップ604〜618は計算コストが高いが、強力なハブ12は、これらのステップを60ヘルツフレームで数回実行することができる。代替的にまたはさらに、さらなる実施形態では、ステップ604〜618のうちの1つまたは複数は、処理装置4のうちの1つまたは複数によって実行されてもよい。さらに、図14は様々なパラメータの決定、次いでステップ626におけるこれらのパラメータの一度に全ての送信を示しているが、決定されたパラメータは、決定されるやいなや非同期に処理装置4に送信されてもよいことが理解されよう。
ここで、処理装置4およびヘッドマウント型ディスプレイデバイス2の動作をステップ630〜658を参照して説明する。以下の説明は、単一の処理装置4およびヘッドマウント型ディスプレイデバイス2のものである。しかしながら、以下の説明は、システム内の各処理装置4およびディスプレイデバイス2に適用されてもよい。
上記で示したように、初期ステップ656において、ヘッドマウント型ディスプレイデバイス2は画像およびIMUデータを生成し、これがステップ630において処理装置4を介してハブ12に送信される。ハブ12が画像データを処理している間、処理装置4も画像データを処理し、画像のレンダリングを準備するステップを実行している。
ステップ634において、処理装置4はレンダリング動作を抜粋し、ヘッドマウント型ディスプレイデバイス2の最終的なFOV内に現れる可能性があり得る仮想オブジェクトのみがレンダリングされるようにすることができる。他の仮想オブジェクトの位置も依然として追跡される場合があるが、これらはレンダリングされない。また、さらなる実施形態において、ステップ634が完全にスキップされる場合があり、画像全体がレンダリングされることも考えられる。
次に、処理装置4はレンダリングセットアップステップ638を実行することができる。このステップにおいて、セットアップレンダリング動作は、ステップ626において受信したシーンマップおよびFOVを用いて行われる。仮想オブジェクトデータが受信されると、処理装置は、ステップ638において、FOV内にレンダリングされることになる仮想オブジェクトについてレンダリングセットアップ動作を実行することができる。ステップ638におけるセットアップレンダリング動作は、最終的なFOV内に表示されることになる仮想オブジェクトに関連付けられた共通レンダリングタスクを含むことができる。これらのレンダリングタスクは、例えば、シャドウマップ生成、照明およびアニメーションを含むことができる。実施形態では、レンダリングセットアップステップ638は、予測される最終的なFOV内に表示されることになる仮想オブジェクトの頂点バッファ、テクスチャおよび状態等の描かれる可能性が高い情報の編集をさらに含むことができる。
ステップ626においてハブ12から受信した情報を用いて、処理装置4は次に、ステップ644において、使用者のFOV内の遮蔽およびシャドウイングを求めることができる。特に、スクリーンマップは、動いているオブジェクトおよび動いていないオブジェクトならびに仮想オブジェクトを含む、シーン内の全てのオブジェクトのx、yおよびz位置を有する。使用者のロケーションおよびFOV内のオブジェクトに対する使用者の見通し線がわかると、処理装置4は次に、仮想オブジェクトが現実世界オブジェクトの使用者のビューを部分的にまたは完全に遮蔽するか否かを判断することができる。さらに、処理装置4は、現実世界オブジェクトが仮想オブジェクトの使用者のビューを部分的にまたは完全に遮蔽するか否かを判断することができる。遮蔽は使用者に固有である。仮想オブジェクトは、第1の使用者のビューにおいてブロックするかまたはブロックされる場合があるが、第2の使用者のビューにおいてはそうでない場合がある。したがって、遮蔽の判断は、各使用者の処理装置4において行うことができる。しかしながら、さらにまたは代替的に、遮蔽の判断はハブ12によって行われてもよいことが理解されよう。
ステップ646において、次に、処理装置4のGPU322は使用者に表示されることになる画像をレンダリングすることができる。レンダリング動作の一部分は、既にレンダリングセットアップステップ648において実行されており、周期的に更新されている場合がある。ステップ646のさらなる詳細は、「Low−Latency Fusing of Virtual And Real Content」と題する米国特許出願公開第2012/0105473号に記載されている。
ステップ650において、処理装置4は、レンダリングされた画像をヘッドマウント型ディスプレイデバイス2に送信する時点であるか否か、または依然として、ハブ12および/もしくはヘッドマウント型ディスプレイデバイス2からのより近時の位置フィードバックデータを用いて画像のさらなる精緻化を行う時間があるか否かをチェックする。60ヘルツフレームのリフレッシュレートを用いるシステムにおいて、単一のフレームは約16msであり得る。
ステップ650において、フレームを表示する時点である場合、合成画像がマイクロディスプレイ120に送信される。この時点において、不透過フィルタ114を制御するための、不透過フィルタ制御データも処理装置4からヘッドマウント型ディスプレイデバイス2に送信される。次に、ステップ658において、ヘッドマウント型ディスプレイは画像を使用者に表示することができる。
他方で、ステップ650において、まだ表示されることになる画像データのフレームを送信する時点でない場合、処理装置は、最終的なFOVおよびこのFOV内のオブジェクトの最終的な位置の予測をさらに精緻化するために、さらなる更新データを求めてループバックすることができる。特に、ステップ650において依然として時間があるとき、処理装置4はステップ608に戻り、ハブ12からより近時のセンサデータを得ることができ、ステップ656に戻り、ヘッドマウント型ディスプレイデバイス2からより近時のセンサデータを得ることができる。
処理ステップ630〜652は上記で例として説明された。さらなる実施形態では、これらのステップのうちの1つまたは複数を省いてもよく、ステップは異なる順序で実行されてもよく、さらなるステップが追加されてもよいことが理解されよう。
さらに、図14における処理装置ステップのフローチャートは、ハブ12およびヘッドマウント型ディスプレイデバイス2からの全てのデータが単一のステップ634において周期的に処理装置4に提供されることを示している。しかしながら、処理装置4は、ハブ12およびヘッドマウント型ディスプレイデバイス2の異なるセンサから、異なる時点に非同期でデータ更新を受信してもよいことが理解されよう。ヘッドマウント型ディスプレイデバイス2は、カメラ112から画像データを提供し、IMU132から慣性データを提供する。これらのセンサからのデータのサンプリングは、異なるレートで行ってもよく、異なる時点に処理装置4に送信されてもよい。同様に、ハブ12からの処理済みデータは、カメラ112およびIMU132双方からのデータと異なる時点にかつ異なる周期で処理装置4に送信されてもよい。一般に、処理装置4はフレーム中にハブ12およびヘッドマウント型ディスプレイデバイス2から更新データを複数回非同期で受信することができる。処理装置はステップを循環する際、FOVおよびオブジェクト位置の最終的な予測を推定するとき、受信した最も近時のデータを用いる。
主題が構造的特徴および/または方法動作に固有の言語で説明されたが、添付の特許請求の範囲において規定される主題は、上記で記載した特定の特徴および動作に必ずしも限定されないことが理解されよう。そうではなく、上記で記載した特定の特徴および動作は、特許請求の範囲を実施する例示的な形態として開示されている。本発明の範囲は、本明細書に添付された特許請求の範囲によって画定されることが意図される。
Claims (10)
- 複合現実体験を提示するためのシステムであって、
共有仮想オブジェクトおよびプライベート仮想オブジェクトを含む仮想オブジェクトを表示するためのディスプレイ装置を備える第1のディスプレイデバイスと、
前記第1のディスプレイデバイスおよび第2のディスプレイデバイスに動作可能に結合されるコンピューティングシステムであって、前記コンピューティングシステムは、前記第1のディスプレイデバイス上に表示するための前記共有仮想オブジェクトおよび前記プライベート仮想オブジェクトを生成し、前記コンピューティングシステムは、第2のディスプレイデバイス上に表示するための前記共有仮想オブジェクトを生成するが、前記プライベート仮想オブジェクトを生成しない、コンピューティングシステムと、
を備える、システム。 - 前記共有仮想オブジェクトおよび前記プライベート仮想オブジェクトは単一のハイブリッド仮想オブジェクトの一部である、請求項1に記載のシステム。
- 前記共有仮想オブジェクトおよび前記プライベート仮想オブジェクトは別個の仮想オブジェクトである、請求項1に記載のシステム。
- 前記プライベート仮想オブジェクトとのインタラクションは前記共有仮想オブジェクトにおける変更に影響を及ぼす、請求項1に記載のシステム。
- 前記共有仮想オブジェクトは、前記第1のディスプレイデバイス上に表示されるコンテンツを有する仮想表示スレートを含む、請求項1に記載のシステム。
- 複合現実体験を提示するためのシステムであって、
仮想オブジェクトを表示するためのディスプレイ装置を備える第1のディスプレイデバイスと、
仮想オブジェクトを表示するためのディスプレイ装置を備える第2のディスプレイデバイスと、
前記第1のディスプレイデバイスおよび前記第2のディスプレイデバイスに動作可能に結合されるコンピューティングシステムであって、前記コンピューティングシステムは、前記第1のディスプレイデバイスおよび前記第2のディスプレイデバイス上に表示するための共有仮想オブジェクトを、前記共有仮想オブジェクトを定義する状態データから生成し、前記コンピューティングシステムは、前記第1のディスプレイデバイス上に表示するが、前記第2のディスプレイデバイス上に表示しない第1のプライベート仮想オブジェクトと、前記第2のディスプレイデバイス上に表示するが前記第1のディスプレイデバイス上に表示しない第2のプライベート仮想オブジェクトと、をさらに生成し、前記コンピューティングシステムは、前記第1のディスプレイデバイスおよび前記第2のディスプレイデバイスの双方における前記共有仮想オブジェクトの前記状態データおよび前記表示を変更するインタラクションを受信する、コンピューティングシステムと、
を備える、システム。 - 前記第1のプライベート仮想オブジェクトは、前記共有仮想オブジェクトとのインタラクションを制御するための仮想オブジェクトの第1の組を含む、請求項6に記載のシステム。
- 前記第2のプライベート仮想オブジェクトは、前記共有仮想オブジェクトとのインタラクションを制御するための仮想オブジェクトの第2の組を含む、請求項7に記載のシステム。
- 複合現実体験を提示するための方法であって、
(a)共有仮想オブジェクトを第1のディスプレイデバイスおよび第2のディスプレイデバイスに表示することであって、前記共有仮想オブジェクトは前記第1のディスプレイデバイスおよび前記第2のディスプレイデバイスについて同じである状態データによって定義されることと、
(b)第1のプライベート仮想オブジェクトを前記第1のディスプレイデバイスに表示することと、
(c)第2のプライベート仮想オブジェクトを前記第2のディスプレイデバイスに表示することと、
(d)前記第1のプライベート仮想オブジェクトおよび前記第2のプライベート仮想オブジェクトのうちの一方とのインタラクションを受信することと、
(e)前記ステップ(d)において受信した前記第1のプライベート仮想オブジェクトおよび前記第2のプライベート仮想オブジェクトのうちの一方との前記インタラクションに基づいて前記共有仮想オブジェクトにおける変更に影響を及ぼすことと、
を含む、方法。 - 前記第1のプライベート仮想オブジェクトおよび前記第2のプライベート仮想オブジェクトとの複数のインタラクションを受信する前記ステップ(f)は、複数のインタラクションを受信して画像を協力して構築、表示または変更することを含む、請求項9に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/921,122 US20140368537A1 (en) | 2013-06-18 | 2013-06-18 | Shared and private holographic objects |
US13/921,122 | 2013-06-18 | ||
PCT/US2014/041970 WO2014204756A1 (en) | 2013-06-18 | 2014-06-11 | Shared and private holographic objects |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016525741A true JP2016525741A (ja) | 2016-08-25 |
Family
ID=51168387
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016521462A Withdrawn JP2016525741A (ja) | 2013-06-18 | 2014-06-11 | 共有ホログラフィックオブジェクトおよびプライベートホログラフィックオブジェクト |
Country Status (11)
Country | Link |
---|---|
US (1) | US20140368537A1 (ja) |
EP (1) | EP3011382A1 (ja) |
JP (1) | JP2016525741A (ja) |
KR (1) | KR20160021126A (ja) |
CN (1) | CN105393158A (ja) |
AU (1) | AU2014281863A1 (ja) |
BR (1) | BR112015031216A2 (ja) |
CA (1) | CA2914012A1 (ja) |
MX (1) | MX2015017634A (ja) |
RU (1) | RU2015154101A (ja) |
WO (1) | WO2014204756A1 (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018225149A1 (ja) * | 2017-06-06 | 2018-12-13 | マクセル株式会社 | 複合現実表示システム及び複合現実表示端末 |
WO2019167213A1 (ja) * | 2018-03-01 | 2019-09-06 | 株式会社ソニー・インタラクティブエンタテインメント | 位置推定装置、トラッカー、位置推定方法及びプログラム |
JP2020501265A (ja) * | 2016-12-05 | 2020-01-16 | ケース ウェスタン リザーブ ユニバーシティCase Western Reserve University | 対話型拡張現実表示を表示するためのシステム、方法、及び媒体 |
JP2020038468A (ja) * | 2018-09-04 | 2020-03-12 | 株式会社コロプラ | プログラム、情報処理装置、および方法 |
JP2021002301A (ja) * | 2019-06-24 | 2021-01-07 | 株式会社リコー | 画像表示システム、画像表示装置、画像表示方法、プログラム、及び頭部装着型画像表示装置 |
JP2021057017A (ja) * | 2020-07-16 | 2021-04-08 | 株式会社バーチャルキャスト | コンテンツ配信システム、コンテンツ配信方法、及びコンテンツ配信プログラム |
JP2021534473A (ja) * | 2018-08-24 | 2021-12-09 | フェイスブック,インク. | 拡張現実環境におけるマルチデバイスマッピングおよび共同 |
JP2021534478A (ja) * | 2018-06-26 | 2021-12-09 | 朱光 | 分離式ヘッドマウントディスプレイシステム及びインタラクション方法 |
WO2022064996A1 (ja) * | 2020-09-25 | 2022-03-31 | テイ・エス テック株式会社 | シート体験システム |
US11455042B2 (en) | 2017-08-24 | 2022-09-27 | Maxell, Ltd. | Head-mounted display |
WO2022230267A1 (ja) * | 2021-04-26 | 2022-11-03 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 作業支援方法、作業支援装置、および、プログラム |
WO2024047720A1 (ja) * | 2022-08-30 | 2024-03-07 | 京セラ株式会社 | 仮想画像共有方法および仮想画像共有システム |
Families Citing this family (78)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10740979B2 (en) | 2013-10-02 | 2020-08-11 | Atheer, Inc. | Method and apparatus for multiple mode interface |
US10163264B2 (en) * | 2013-10-02 | 2018-12-25 | Atheer, Inc. | Method and apparatus for multiple mode interface |
US9407865B1 (en) * | 2015-01-21 | 2016-08-02 | Microsoft Technology Licensing, Llc | Shared scene mesh data synchronization |
GB201503113D0 (en) * | 2015-02-25 | 2015-04-08 | Bae Systems Plc | A mixed reality system adn method for displaying data therein |
WO2016135450A1 (en) * | 2015-02-25 | 2016-09-01 | Bae Systems Plc | A mixed reality system and method for displaying data therein |
EP3062219A1 (en) * | 2015-02-25 | 2016-08-31 | BAE Systems PLC | A mixed reality system and method for displaying data therein |
US9911232B2 (en) | 2015-02-27 | 2018-03-06 | Microsoft Technology Licensing, Llc | Molding and anchoring physically constrained virtual environments to real-world environments |
US9898864B2 (en) | 2015-05-28 | 2018-02-20 | Microsoft Technology Licensing, Llc | Shared tactile interaction and user safety in shared space multi-person immersive virtual reality |
US9836117B2 (en) | 2015-05-28 | 2017-12-05 | Microsoft Technology Licensing, Llc | Autonomous drones for tactile feedback in immersive virtual reality |
US10799792B2 (en) * | 2015-07-23 | 2020-10-13 | At&T Intellectual Property I, L.P. | Coordinating multiple virtual environments |
US9818228B2 (en) | 2015-08-07 | 2017-11-14 | Microsoft Technology Licensing, Llc | Mixed reality social interaction |
US9922463B2 (en) | 2015-08-07 | 2018-03-20 | Microsoft Technology Licensing, Llc | Virtually visualizing energy |
US9836845B2 (en) | 2015-08-25 | 2017-12-05 | Nextvr Inc. | Methods and apparatus for detecting objects in proximity to a viewer and presenting visual representations of objects in a simulated environment |
US10101803B2 (en) * | 2015-08-26 | 2018-10-16 | Google Llc | Dynamic switching and merging of head, gesture and touch input in virtual reality |
CN106340063B (zh) * | 2015-10-21 | 2019-04-12 | 北京智谷睿拓技术服务有限公司 | 共享方法及共享装置 |
US10976808B2 (en) * | 2015-11-17 | 2021-04-13 | Samsung Electronics Co., Ltd. | Body position sensitive virtual reality |
CN106954089A (zh) * | 2015-11-30 | 2017-07-14 | 上海联彤网络通讯技术有限公司 | 能够与外部设备实现多媒体交互的手机 |
US10795449B2 (en) * | 2015-12-11 | 2020-10-06 | Google Llc | Methods and apparatus using gestures to share private windows in shared virtual environments |
US10210661B2 (en) * | 2016-04-25 | 2019-02-19 | Microsoft Technology Licensing, Llc | Location-based holographic experience |
GB2551473A (en) * | 2016-04-29 | 2017-12-27 | String Labs Ltd | Augmented media |
US10250720B2 (en) * | 2016-05-05 | 2019-04-02 | Google Llc | Sharing in an augmented and/or virtual reality environment |
US10169918B2 (en) * | 2016-06-24 | 2019-01-01 | Microsoft Technology Licensing, Llc | Relational rendering of holographic objects |
US9928630B2 (en) * | 2016-07-26 | 2018-03-27 | International Business Machines Corporation | Hiding sensitive content visible through a transparent display |
US10115236B2 (en) * | 2016-09-21 | 2018-10-30 | Verizon Patent And Licensing Inc. | Placing and presenting virtual objects in an augmented reality environment |
CN107885316A (zh) * | 2016-09-29 | 2018-04-06 | 阿里巴巴集团控股有限公司 | 一种基于手势的交互方法及装置 |
US10642991B2 (en) * | 2016-10-14 | 2020-05-05 | Google Inc. | System level virtual reality privacy settings |
US20180121152A1 (en) * | 2016-11-01 | 2018-05-03 | International Business Machines Corporation | Method and system for generating multiple virtual image displays |
GB2555838A (en) * | 2016-11-11 | 2018-05-16 | Sony Corp | An apparatus, computer program and method |
US12020667B2 (en) | 2016-12-05 | 2024-06-25 | Case Western Reserve University | Systems, methods, and media for displaying interactive augmented reality presentations |
US10452133B2 (en) | 2016-12-12 | 2019-10-22 | Microsoft Technology Licensing, Llc | Interacting with an environment using a parent device and at least one companion device |
US10482665B2 (en) | 2016-12-16 | 2019-11-19 | Microsoft Technology Licensing, Llc | Synching and desyncing a shared view in a multiuser scenario |
US10499997B2 (en) | 2017-01-03 | 2019-12-10 | Mako Surgical Corp. | Systems and methods for surgical navigation |
US11347054B2 (en) * | 2017-02-16 | 2022-05-31 | Magic Leap, Inc. | Systems and methods for augmented reality |
US10430147B2 (en) * | 2017-04-17 | 2019-10-01 | Intel Corporation | Collaborative multi-user virtual reality |
US11782669B2 (en) | 2017-04-28 | 2023-10-10 | Microsoft Technology Licensing, Llc | Intuitive augmented reality collaboration on visual data |
CN110914789A (zh) * | 2017-05-16 | 2020-03-24 | 皇家飞利浦有限公司 | 用于协同介入的增强现实 |
US11861255B1 (en) | 2017-06-16 | 2024-01-02 | Apple Inc. | Wearable device for facilitating enhanced interaction |
CN107368193B (zh) * | 2017-07-19 | 2021-06-11 | 讯飞幻境(北京)科技有限公司 | 人机操作交互方法和*** |
US10304239B2 (en) * | 2017-07-20 | 2019-05-28 | Qualcomm Incorporated | Extended reality virtual assistant |
CN109298776B (zh) * | 2017-07-25 | 2021-02-19 | 阿里巴巴(中国)有限公司 | 增强现实互动***、方法和装置 |
US20190065028A1 (en) * | 2017-08-31 | 2019-02-28 | Jedium Inc. | Agent-based platform for the development of multi-user virtual reality environments |
US10102659B1 (en) * | 2017-09-18 | 2018-10-16 | Nicholas T. Hariton | Systems and methods for utilizing a device as a marker for augmented reality content |
GB2566946A (en) * | 2017-09-27 | 2019-04-03 | Nokia Technologies Oy | Provision of virtual reality objects |
US10685456B2 (en) * | 2017-10-12 | 2020-06-16 | Microsoft Technology Licensing, Llc | Peer to peer remote localization for devices |
US10105601B1 (en) | 2017-10-27 | 2018-10-23 | Nicholas T. Hariton | Systems and methods for rendering a virtual content object in an augmented reality environment |
CN107831903B (zh) * | 2017-11-24 | 2021-02-02 | 科大讯飞股份有限公司 | 多人参与的人机交互方法及装置 |
RU2664781C1 (ru) * | 2017-12-06 | 2018-08-22 | Акционерное общество "Творческо-производственное объединение "Центральная киностудия детских и юношеских фильмов им. М. Горького" (АО "ТПО "Киностудия им. М. Горького") | Устройство для формирования объёмного изображения в трёхмерном пространстве с реальными объектами |
US10571863B2 (en) | 2017-12-21 | 2020-02-25 | International Business Machines Corporation | Determine and project holographic object path and object movement with mult-device collaboration |
US10636188B2 (en) | 2018-02-09 | 2020-04-28 | Nicholas T. Hariton | Systems and methods for utilizing a living entity as a marker for augmented reality content |
US10198871B1 (en) | 2018-04-27 | 2019-02-05 | Nicholas T. Hariton | Systems and methods for generating and facilitating access to a personalized augmented rendering of a user |
US10650118B2 (en) * | 2018-05-04 | 2020-05-12 | Microsoft Technology Licensing, Llc | Authentication-based presentation of virtual content |
US10380804B1 (en) | 2018-06-01 | 2019-08-13 | Imajion Corporation | Seamless injection of augmented three-dimensional imagery using a positionally encoded video stream |
EP3617846A1 (en) * | 2018-08-28 | 2020-03-04 | Nokia Technologies Oy | Control method and control apparatus for an altered reality application |
US11982809B2 (en) | 2018-09-17 | 2024-05-14 | Apple Inc. | Electronic device with inner display and externally accessible input-output device |
CN111381670B (zh) * | 2018-12-29 | 2022-04-01 | 广东虚拟现实科技有限公司 | 虚拟内容的交互方法、装置、***、终端设备及存储介质 |
US11490744B2 (en) * | 2019-02-03 | 2022-11-08 | Fresnel Technologies Inc. | Display case equipped with informational display and synchronized illumination system for highlighting objects within the display case |
WO2020161816A1 (ja) * | 2019-02-06 | 2020-08-13 | マクセル株式会社 | 複合現実表示装置および複合現実表示方法 |
US11055918B2 (en) * | 2019-03-15 | 2021-07-06 | Sony Interactive Entertainment Inc. | Virtual character inter-reality crossover |
US10586396B1 (en) | 2019-04-30 | 2020-03-10 | Nicholas T. Hariton | Systems, methods, and storage media for conveying virtual content in an augmented reality environment |
US11372474B2 (en) * | 2019-07-03 | 2022-06-28 | Saec/Kinetic Vision, Inc. | Systems and methods for virtual artificial intelligence development and testing |
US11481980B2 (en) * | 2019-08-20 | 2022-10-25 | The Calany Holding S.Á´ R.L. | Transitioning from public to personal digital reality experience |
US11159766B2 (en) * | 2019-09-16 | 2021-10-26 | Qualcomm Incorporated | Placement of virtual content in environments with a plurality of physical participants |
US11743064B2 (en) * | 2019-11-04 | 2023-08-29 | Meta Platforms Technologies, Llc | Private collaboration spaces for computing systems |
KR102458109B1 (ko) * | 2020-04-26 | 2022-10-25 | 계명대학교 산학협력단 | 강의를 위한 가상현실 모델의 효과적인 공유 시스템 및 방법 |
US11138803B1 (en) * | 2020-04-30 | 2021-10-05 | At&T Intellectual Property I, L.P. | System for multi-presence interaction with extended reality objects |
EP3936978B1 (en) * | 2020-07-08 | 2023-03-29 | Nokia Technologies Oy | Object display |
CN112201237B (zh) * | 2020-09-23 | 2024-04-19 | 安徽中科新辰技术有限公司 | 一种基于com口实现语音集中控制指挥大厅多媒体设备的方法 |
US11816759B1 (en) * | 2020-09-24 | 2023-11-14 | Apple Inc. | Split applications in a multi-user communication session |
US11461067B2 (en) * | 2020-12-17 | 2022-10-04 | International Business Machines Corporation | Shared information fields with head mounted displays |
US20220222900A1 (en) * | 2021-01-14 | 2022-07-14 | Taqtile, Inc. | Coordinating operations within an xr environment from remote locations |
US20240096033A1 (en) * | 2021-10-11 | 2024-03-21 | Meta Platforms Technologies, Llc | Technology for creating, replicating and/or controlling avatars in extended reality |
JP7500638B2 (ja) * | 2022-03-07 | 2024-06-17 | キヤノン株式会社 | システム、方法、及びプログラム |
US11647161B1 (en) * | 2022-05-11 | 2023-05-09 | Iniernational Business Machines Corporation | Resolving visibility discrepencies of virtual objects in extended reality devices |
US20240062457A1 (en) * | 2022-08-18 | 2024-02-22 | Microsoft Technology Licensing, Llc | Adaptive adjustments of perspective views for improving detail awareness for users associated with target entities of a virtual environment |
KR102635346B1 (ko) * | 2022-11-04 | 2024-02-08 | 주식회사 브이알크루 | 가상 객체의 폐색을 구현하기 위한 방법 |
WO2024101950A1 (ko) * | 2022-11-11 | 2024-05-16 | 삼성전자 주식회사 | 가상 오브젝트를 표시하는 전자 장치 및 이의 제어 방법 |
KR102613133B1 (ko) * | 2022-11-15 | 2023-12-13 | 주식회사 브이알크루 | 비주얼 로컬라이제이션을 이용하여 카메라 포즈의 유효성을 결정하기 위한 방법 및 장치 |
KR102616082B1 (ko) * | 2022-11-15 | 2023-12-20 | 주식회사 브이알크루 | 비주얼 로컬라이제이션을 이용하여 카메라 포즈의 유효성을 결정하기 위한 방법 및 장치 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6711293B1 (en) | 1999-03-08 | 2004-03-23 | The University Of British Columbia | Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image |
US8002623B2 (en) * | 2001-08-09 | 2011-08-23 | Igt | Methods and devices for displaying multiple game elements |
US7145478B2 (en) | 2002-12-17 | 2006-12-05 | Evolution Robotics, Inc. | Systems and methods for controlling a density of visual landmarks in a visual simultaneous localization and mapping system |
US7401920B1 (en) | 2003-05-20 | 2008-07-22 | Elbit Systems Ltd. | Head mounted eye tracking and display system |
US7376901B2 (en) * | 2003-06-30 | 2008-05-20 | Mitsubishi Electric Research Laboratories, Inc. | Controlled interactive display of content using networked computer devices |
IL157837A (en) | 2003-09-10 | 2012-12-31 | Yaakov Amitai | Substrate-guided optical device particularly for three-dimensional displays |
US8160400B2 (en) | 2005-11-17 | 2012-04-17 | Microsoft Corporation | Navigating images using image based geometric alignment and object based controls |
US20090119604A1 (en) * | 2007-11-06 | 2009-05-07 | Microsoft Corporation | Virtual office devices |
US7996793B2 (en) | 2009-01-30 | 2011-08-09 | Microsoft Corporation | Gesture recognizer system architecture |
WO2011109126A1 (en) * | 2010-03-05 | 2011-09-09 | Sony Computer Entertainment America Llc | Maintaining multiple views on a shared stable virtual space |
US8437506B2 (en) | 2010-09-07 | 2013-05-07 | Microsoft Corporation | System for fast, probabilistic skeletal tracking |
US9348141B2 (en) | 2010-10-27 | 2016-05-24 | Microsoft Technology Licensing, Llc | Low-latency fusing of virtual and real content |
US8576276B2 (en) | 2010-11-18 | 2013-11-05 | Microsoft Corporation | Head-mounted display device which provides surround video |
KR20120064557A (ko) * | 2010-12-09 | 2012-06-19 | 한국전자통신연구원 | 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼 및 운영 방법 |
US9063566B2 (en) * | 2011-11-30 | 2015-06-23 | Microsoft Technology Licensing, Llc | Shared collaboration using display device |
US20130141419A1 (en) * | 2011-12-01 | 2013-06-06 | Brian Mount | Augmented reality with realistic occlusion |
-
2013
- 2013-06-18 US US13/921,122 patent/US20140368537A1/en not_active Abandoned
-
2014
- 2014-06-11 JP JP2016521462A patent/JP2016525741A/ja not_active Withdrawn
- 2014-06-11 BR BR112015031216A patent/BR112015031216A2/pt not_active IP Right Cessation
- 2014-06-11 RU RU2015154101A patent/RU2015154101A/ru not_active Application Discontinuation
- 2014-06-11 MX MX2015017634A patent/MX2015017634A/es unknown
- 2014-06-11 EP EP14737404.5A patent/EP3011382A1/en not_active Withdrawn
- 2014-06-11 AU AU2014281863A patent/AU2014281863A1/en not_active Abandoned
- 2014-06-11 KR KR1020157035827A patent/KR20160021126A/ko not_active Application Discontinuation
- 2014-06-11 CA CA2914012A patent/CA2914012A1/en not_active Abandoned
- 2014-06-11 CN CN201480034627.7A patent/CN105393158A/zh active Pending
- 2014-06-11 WO PCT/US2014/041970 patent/WO2014204756A1/en active Application Filing
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020501265A (ja) * | 2016-12-05 | 2020-01-16 | ケース ウェスタン リザーブ ユニバーシティCase Western Reserve University | 対話型拡張現実表示を表示するためのシステム、方法、及び媒体 |
US10775897B2 (en) | 2017-06-06 | 2020-09-15 | Maxell, Ltd. | Mixed reality display system and mixed reality display terminal |
CN110520820A (zh) * | 2017-06-06 | 2019-11-29 | 麦克赛尔株式会社 | 混合现实显示***和混合现实显示终端 |
JP7384971B2 (ja) | 2017-06-06 | 2023-11-21 | マクセル株式会社 | 複合現実表示システム |
JPWO2018225149A1 (ja) * | 2017-06-06 | 2020-05-28 | マクセル株式会社 | 複合現実表示システム及び複合現実表示端末 |
CN110520820B (zh) * | 2017-06-06 | 2023-07-21 | 麦克赛尔株式会社 | 混合现实显示***和混合现实显示终端 |
JP2022153551A (ja) * | 2017-06-06 | 2022-10-12 | マクセル株式会社 | 複合現実表示システム |
JP2021101345A (ja) * | 2017-06-06 | 2021-07-08 | マクセル株式会社 | 複合現実表示システム |
US11068072B2 (en) | 2017-06-06 | 2021-07-20 | Maxell, Ltd. | Mixed reality display system and mixed reality display terminal |
WO2018225149A1 (ja) * | 2017-06-06 | 2018-12-13 | マクセル株式会社 | 複合現実表示システム及び複合現実表示端末 |
JP7116206B2 (ja) | 2017-06-06 | 2022-08-09 | マクセル株式会社 | 複合現実表示システム |
US11455042B2 (en) | 2017-08-24 | 2022-09-27 | Maxell, Ltd. | Head-mounted display |
WO2019167213A1 (ja) * | 2018-03-01 | 2019-09-06 | 株式会社ソニー・インタラクティブエンタテインメント | 位置推定装置、トラッカー、位置推定方法及びプログラム |
US11341677B2 (en) | 2018-03-01 | 2022-05-24 | Sony Interactive Entertainment Inc. | Position estimation apparatus, tracker, position estimation method, and program |
JP2021534478A (ja) * | 2018-06-26 | 2021-12-09 | 朱光 | 分離式ヘッドマウントディスプレイシステム及びインタラクション方法 |
JP7267314B2 (ja) | 2018-06-26 | 2023-05-01 | 朱光 | 分離式ヘッドマウントディスプレイシステム及びインタラクション方法 |
JP2021534473A (ja) * | 2018-08-24 | 2021-12-09 | フェイスブック,インク. | 拡張現実環境におけるマルチデバイスマッピングおよび共同 |
JP2020038468A (ja) * | 2018-09-04 | 2020-03-12 | 株式会社コロプラ | プログラム、情報処理装置、および方法 |
JP2021002301A (ja) * | 2019-06-24 | 2021-01-07 | 株式会社リコー | 画像表示システム、画像表示装置、画像表示方法、プログラム、及び頭部装着型画像表示装置 |
JP2021057017A (ja) * | 2020-07-16 | 2021-04-08 | 株式会社バーチャルキャスト | コンテンツ配信システム、コンテンツ配信方法、及びコンテンツ配信プログラム |
JP7291106B2 (ja) | 2020-07-16 | 2023-06-14 | 株式会社バーチャルキャスト | コンテンツ配信システム、コンテンツ配信方法、及びコンテンツ配信プログラム |
WO2022064996A1 (ja) * | 2020-09-25 | 2022-03-31 | テイ・エス テック株式会社 | シート体験システム |
WO2022230267A1 (ja) * | 2021-04-26 | 2022-11-03 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 作業支援方法、作業支援装置、および、プログラム |
WO2024047720A1 (ja) * | 2022-08-30 | 2024-03-07 | 京セラ株式会社 | 仮想画像共有方法および仮想画像共有システム |
Also Published As
Publication number | Publication date |
---|---|
BR112015031216A2 (pt) | 2017-07-25 |
WO2014204756A1 (en) | 2014-12-24 |
KR20160021126A (ko) | 2016-02-24 |
US20140368537A1 (en) | 2014-12-18 |
CN105393158A (zh) | 2016-03-09 |
MX2015017634A (es) | 2016-04-07 |
EP3011382A1 (en) | 2016-04-27 |
RU2015154101A (ru) | 2017-06-22 |
RU2015154101A3 (ja) | 2018-05-14 |
AU2014281863A1 (en) | 2015-12-17 |
CA2914012A1 (en) | 2014-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2016525741A (ja) | 共有ホログラフィックオブジェクトおよびプライベートホログラフィックオブジェクト | |
US9710973B2 (en) | Low-latency fusing of virtual and real content | |
US10955665B2 (en) | Concurrent optimal viewing of virtual objects | |
US10175483B2 (en) | Hybrid world/body locked HUD on an HMD | |
US9230368B2 (en) | Hologram anchoring and dynamic positioning | |
US9165381B2 (en) | Augmented books in a mixed reality environment | |
US20130326364A1 (en) | Position relative hologram interactions | |
JP5965410B2 (ja) | 拡張現実ディスプレイ用最適焦点エリア | |
EP3011419B1 (en) | Multi-step virtual object selection | |
US20130328925A1 (en) | Object focus in a mixed reality environment | |
US10120442B2 (en) | Eye tracking using a light field camera on a head-mounted display | |
US20130335405A1 (en) | Virtual object generation within a virtual environment | |
US20140176591A1 (en) | Low-latency fusing of color image data | |
JP2016507805A (ja) | 複合現実環境のための直接インタラクション・システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170502 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20171025 |