JP2022523852A - 第１および第２の拡張現実ビューア間でのローカルコンテンツの位置合わせ - Google Patents

Abstract

ローカルコンテンツの画像データを視認する方法が、開示される。拡張現実ビューが、第１のデバイス座標フレーム（ＤＣＦ）を記憶し、ユーザによってディスプレイを通して視認可能な、少なくとも１つの実世界物体上の第１の特徴点（ＦＰ１）および第２の特徴点（ＦＰ２）を選択するために、第１の位置合わせマーカを移動することによって、生成される。均一座標系（ＵＣＳ）整合モジュールが、ＦＰ１およびＦＰ２を選択するときの位置合わせマーカの場所を記憶し、ＦＰ１およびＦＰ２を選択するときの第１の位置合わせマーカの場所に基づいて、ユーザ座標フレーム（ＵＣＦ）を決定し、ＤＣＦを第１のＵＣＦに変換し、第１のＤＣＦから第１のＵＣＦへの変換に基づいて、プロジェクタを用いて、ディスプレイを通して、ユーザに、第１のデータソース上の受信されたローカルコンテンツの画像データを表示する。

Description

（関連出願の相互参照）
本願は、そのそれぞれが、参照することによってそれらの全体として本明細書に組み込まれる、２０１９年３月１２日に出願された米国仮特許出願第６２／８１７，３１８号および２０１９年４月１９日に出願された米国仮特許出願第６２／８３６，４１７号の優先権を主張する。

本発明は、第１および第２の拡張現実ビューアを有する視認システム、およびビューアによる視認のためのローカルコンテンツの位置合わせに関する。

現代のコンピューティングおよびディスプレイ技術は、「拡張現実」ビューアを含む、ユーザ相互作用システムの開発を促進している。そのようなビューアは、通常、ユーザがその頭部に固着させ得、ユーザの各眼の正面に１つずつ、２つの導波管を含む場合が多い、頭部搭載可能フレームを伴う、頭部ユニットを有する。導波管は、実世界の物体からの周囲光が導波管を通して透過し得、ユーザに実世界の物体が見え得るように、透明である。各導波管はまた、プロジェクタから投影された光をユーザの個別の眼に透過する役割を果たす。投影された光は、画像を眼の網膜上に形成する。眼の網膜は、したがって、周囲光および投影された光を受け取る。ユーザには、同時に、実世界の物体と、投影された光によって生成される、１つ以上の仮想オブジェクトとが見える。

このように、ユーザには、実世界内にローカルコンテンツのレンダリングが見え得る。部屋の中の２人のユーザが、それぞれ、その人に表示される自身のローカルコンテンツを有するであろう。時として、２人のユーザには、同一の場所において同一のローカルコンテンツが見えることが要求される場合がある。２人のユーザは、例えば、あるプロジェクトに関して協働する、ゲームで遊ぶ、スポーツイベントの視聴に加わる等のとき、同一の場所において同一のローカルコンテンツが見えることを所望する場合がある。

本発明は、視認システムであって、第１のユーザに実世界の物体が見えることを可能にする、第１のディスプレイと、ローカルコンテンツの画像データを保持するための、第１のデータソースと、第１のユーザが、実世界の物体を視認する間、第１のユーザに第１のディスプレイを通してローカルコンテンツの画像データを表示するための、第１のプロジェクタと、第１のプロセッサと、第１のプロセッサに接続される、第１のコンピュータ可読媒体と、第１のデバイス座標フレーム（ＤＣＦ）と、実世界の物体のうちの少なくとも１つの上の第１の特徴点（ＦＰ１）および第２の特徴点（ＦＰ２）を選択するために、第１のユーザによって動作可能な、第１の位置合わせマーカと、ＦＰ１およびＦＰ２を選択するときの第１の位置合わせマーカの場所を記憶する、第１の特徴点記憶モジュールと、ＦＰ１およびＦＰ２を選択するときの第１の位置合わせマーカの場所に基づいて、第１のユーザ座標フレーム（ＵＣＦ）を決定する、第１のユーザ座標フレーム計算機と、第１のＤＣＦを第１のＵＣＦに変換するための、第１の変換器とを有する、第１の均一座標系（ＵＣＳ）整合モジュールと、第１のＤＣＦから第１のＵＣＦへの変換に基づいて、第１のデータソース上のローカルコンテンツの画像データを表示する、第１のレンダリングエンジンとを含む、第１のコンピュータ可読媒体上にあり、プロセッサによって実行可能である、視覚データおよびアルゴリズムの第１のセットとを含む、第１の拡張現実ビューアを含む、視認システムを提供する。

本発明はまた、ローカルコンテンツの画像データを視認する方法であって、第１のコンピュータ可読媒体上に第１のデバイス座標フレーム（ＤＣＦ）を記憶するステップと、ユーザによって第１のディスプレイを通して視認可能な、少なくとも１つの実世界の物体上の第１の特徴点（ＦＰ１）および第２の特徴点（ＦＰ２）を選択するために、第１のユーザによって、第１の位置合わせマーカを移動させるステップと、ＦＰ１およびＦＰ２を選択するときの第１の位置合わせマーカの場所を記憶するステップと、ＦＰ１およびＦＰ２を選択するときの第１の位置合わせマーカの場所に基づいて、第１のユーザ座標フレーム（ＵＣＦ）を決定するステップとによって、第１の均一座標系（ＵＣＳ）整合モジュールを実行するステップと、第１のＤＣＦから第１のＵＣＦへの変換に基づいて、第１のユーザが、実世界の物体を視認する間、第１のプロジェクタを用いて、第１のディスプレイを通して、第１のユーザに、第１のデータソース上の受信されたローカルコンテンツの画像データを表示するステップとを含む、第１の拡張現実ビューを生成するステップを含む、方法も提供する。

本発明はさらに、付随の図面を参照して、実施例として説明される。

図１は、テーブルと、ユーザにのみ可視である、レンダリングとともに、第１および第２のユーザによって使用されている、本発明のある実施形態による視認システムの斜視図である。

図２は、断面平面図において拡張現実ビューアのコンポーネントおよび１人のユーザの眼を、ブロック図の形態において拡張現実ビューアのさらなるコンポーネントを、およびビューの内側のテーブルを示す、概略図である。

図３は、運動ベースの調節システムに重点が置かれている、図２に類似する図である。

図４は、ユーザ間でローカルコンテンツを位置合わせするために使用されるシステムに重点が置かれている、図３に類似する図である。

図５は、テーブルと、個別の拡張現実ビューアの視覚データおよびアルゴリズム内に常駐し、さらに、重力の方向を図示する、種々の座標フレームとを図示する、斜視図である。

図６は、ユーザが第１および第２の特徴点を選択する方法を図示する、図５に類似する図である。

図７は、座標フレームが変換される方法を図示する、図６に類似する図である。

図８は、本発明の一実施形態による、本発明のシステム内で用途を見出し得る、コンピュータの形態における機械のブロック図である。

付随の図面の図１は、本発明の１つ以上の実施形態による、視認システム１４と相互作用する、第１および第２のユーザ１０および１２を図示する。視認システム１４は、ユーザ１０および１２毎の個別の拡張現実ビューア１６と、ネットワーク１８と、サーバ２０とを含む。第１および第２のユーザは、テーブル２２の形態における実物体を伴う環境内に位置する。ローカルコンテンツ２４のレンダリングと、位置合わせマーカ２６のレンダリングとを含む、種々のレンダリングが、ユーザ１０および１２によって、拡張現実ビューア１６を使用して視認可能である。

各拡張現実ビューア１６は、頭部ユニット３０と、ベルトパック３２と、ケーブル接続３４と、６自由度の（６ｄｏｆ）コントローラ３６とを含む。個別のユーザ１０または１２は、その頭部に頭部ユニット３０を、およびその腰部（または、例えば、リュック等の他の好適な場所）上に、頭部ユニット３０から遠隔でベルトパック３２を固着する。ケーブル接続３４は、頭部ユニット３０をベルトパック３２に接続する。頭部ユニット３０は、ユーザにテーブル２２等の実物体が見えることを可能にする間、ユーザに仮想オブジェクトまたは複数のオブジェクトを表示するために使用される、技術を含む。ベルトパック３２は、主に、拡張現実ビューア１６の処理および通信能力を含む。別の実施形態では、処理および通信能力は、完全に頭部ユニット３０の中に常駐し、したがって、ベルトパック３２の必要性を省き得る。

ベルトパック３２は、無線接続を介してネットワーク１８に接続される。サーバ２０は、ネットワーク１８に接続され、ローカルコンテンツを表すデータを保持する。ベルトパック３２は、ネットワーク１８を介してサーバ２０からローカルコンテンツをダウンロードする。ベルトパック３２は、ケーブル接続３４を介してデータを頭部ユニット３０に提供する。頭部ユニット３０は、典型的には、レーザ光またはＬＥＤ光、または任意の他の好適な光であり得る、光源と、光が個別のユーザ１０または１２の各眼の網膜によって受け取られるように光を誘導する、導波管とを含む、ディスプレイを含む。頭部ユニット３０のディスプレイは、ユーザ１０または１２の脳が、光をローカルコンテンツ２４の３次元画像として知覚するように、ユーザ１０または１２の左および右眼のためにわずかに異なる画像を生成する。ローカルコンテンツ２４とユーザ１０または１２からのその場所および距離との比率が、ローカルコンテンツ２４を表すデータと、個別のユーザ１０または１２にローカルコンテンツ２４を表示するために使用される、種々の座標フレームとによって決定される。

ローカルコンテンツ２４は、ユーザ１０および１２の両方に、テーブル２２に対して同一の場所に表示される。所与の実施例では、ローカルコンテンツ２４は、第１のユーザ１０の視点から、かつ第２のユーザ１２の視点から、第１のユーザ１０に向かって面する、キャラクタの頭部である。

６ｄｏｆコントローラ３６は、場所伝送機を含み、頭部ユニット３０は、場所受信機を含む。場所伝送機は、場所信号を伝送し、場所受信機は、場所信号を受信する。場所信号は、場所受信機、したがって、頭部ユニット３０に対する、場所伝送機、したがって、６ｄｏｆコントローラ３６の場所を表す、データを含む。

使用時、ユーザ１０または１２は、その頭部に頭部ユニット３０を、その腰部にベルトパック３２を搭載する。ベルトパック３２は、サーバ２０からネットワーク１８を経由して画像データをダウンロードする。ユーザ１０または１２には、頭部ユニット３０のディスプレイを通してテーブル２２が見えることができる。頭部ユニット３０の一部を形成する、プロジェクタが、ベルトパック３２から画像データを受信し、画像データに基づいて光を発生させる。光は、頭部ユニット３０のディスプレイの一部を形成する、１つ以上の導波管を通して進行する。光は、次いで、導波管から退出し、ユーザ１０または１２の眼の網膜上に伝搬する。プロジェクタは、ユーザ１０または１２の眼の網膜上に複製されるパターンで光を発生させる。ユーザ１０または１２の眼の網膜に当たる光は、ユーザ１０または１２が、導波管の背後の事前選択される深度において画像を知覚するように、選択された奥行視野を有する。加えて、両方の眼が、ユーザ１０または１２の脳が、頭部ユニット３０から選択された距離において３次元画像または複数の画像を知覚するように、わずかに異なる画像を受け取る。本実施例では、ユーザ１０および１２は両方とも、ローカルコンテンツ２４を、見えているテーブル２２の拡張として知覚する。

各ユーザ１０または１２はまた、位置合わせマーカ２６のうちの一方を３次元において知覚することもできる。位置合わせマーカ２６の場所は、常時、個別のユーザ１０または１２によって保持される、６ｄｏｆコントローラ３６に対して設定された方向にある。位置合わせマーカ２６は、したがって、個別の６ｄｏｆコントローラ３６が左右および前後に移動されるにつれて、左から右および前方および後方に移動する。位置合わせマーカ２６は、それ自体を実物体の表面に付着させる。ユーザが、したがって、６ｄｏｆコントローラ３６を移動させると、位置合わせマーカ２６は、例えば、テーブル２２の表面を横断して移動し得る。ユーザ１０または１２は、次いで、テーブル２２上の特定の点、例えば、テーブル２２の１つ以上の角を選択することができる。

ローカルコンテンツ２４および位置合わせマーカ２６は、図面の視点から可視ではなく、拡張現実ビューア１６のその使用に起因して、ユーザ１０および１２のみに可視である。ローカルコンテンツ２４および位置合わせマーカ２６は、最初は、ベルトパック３２の中の視覚データおよびアルゴリズム内に常駐する、データ構造である。データ構造は、次いで、頭部ユニット３０の中のプロジェクタが、データ構造に基づいて光を発生させると、光として現れる。ローカルコンテンツ２４および位置合わせマーカ２６は、ユーザ１０および１２の正面の３次元空間内に存在していない（例えば、仮想オブジェクトである）が、図１では、３次元空間内に表されている。コンピュータデータの３次元空間内における可視化が、ユーザ１０および１２によって知覚されるレンダリングを促進するデータ構造が、ベルトパック３２の中の視覚アルゴリズムのデータ構造内で相互と関連する方法を図示するために、本説明の全体を通して使用される。

図２は、頭部ユニット３０と、６ｄｏｆコントローラ３６と、視覚データおよびアルゴリズム３８とを含む、拡張現実ビューア１６のうちの１つをより詳細に図示する。いくつかの実施形態では、視覚データおよびアルゴリズム３８は、主として、図１のベルトパック３２内に常駐する。他の実施形態では、視覚データおよびアルゴリズム３８は、完全に頭部ユニット内に常駐してもよい、または頭部ユニットとベルトパックとの間で分割されてもよい。

図２はさらに、データソース４０を含む。本実施例では、データソース４０は、図１のサーバ２０から受信され、次いで、ベルトパック３２の記憶デバイス上に記憶される、画像データを含む。画像データは、例えば、ローカルコンテンツ２４をレンダリングするために使用され得る、３次元画像データであってもよい。画像データは、所定または非所定のシーケンスにおいて２または３次元内で移動する、ビデオの生成を可能にする、時系列データであってもよく、図１のテーブル２２等の実世界の物体上に位置してもよい。

視覚データおよびアルゴリズム３８は、レンダリングエンジン４２と、立体視分析器４４と、運動ベースの調節（Ｐｉｘｅｌｓｔｉｃｋ）システム４６と、均一座標系（ＵＣＳ）整合モジュール４８とを含む。

レンダリングエンジン４２は、データソース４０と、運動ベースの調節システム４６と、ＵＣＳ整合モジュール４８とに接続される。レンダリングエンジン４２は、種々のシステム、本実施例では、運動ベースの調節システム４６およびＵＣＳ整合モジュール４８から入力を受信することが可能である。

図３に示されるように、運動ベースの調節システム４６は、同時位置特定およびマッピング（ＳＬＡＭ）システム５２と、頭部ユニットから世界フレームへの変換器５４と、ディスプレイ調節アルゴリズム５６とを含む。レンダリングエンジン４２は、ディスプレイ調節アルゴリズム５６に接続される。ディスプレイ調節アルゴリズム５６は、頭部ユニットから世界フレームへの変換器５４から入力を受信する。頭部ユニットから世界フレームへの変換器５４は、ＳＬＡＭシステム５２に接続される。ＳＬＡＭシステム５２は、画像データを受信し、画像データの画像内のオブジェクトを決定する目的のために、画像データを分析し、画像データの場所を記録することが可能である。頭部ユニットから世界フレームへの変換器５４は、頭部ユニット座標フレームを世界座標フレームに変換することが可能である。

立体視分析器４４は、レンダリングエンジン４２に接続される。立体視分析器４４は、レンダリングエンジン４２によって提供されるデータストリームから、左および右画像データセットを決定することが可能である。

頭部ユニット３０は、頭部ユニット本体６０と、ディスプレイシステム６２とを含む。頭部ユニット本体６０は、ユーザの頭部にわたって適合する、形状を有する。ディスプレイシステム６２は、頭部ユニット本体６０に固着される。

ディスプレイシステム６２は、左および右プロジェクタ６６Ａおよび６６Ｂと、左および右導波管７０Ａおよび７０Ｂと、検出デバイス７２とを含む。左および右プロジェクタ６６Ａおよび６６Ｂは、電力供給源に接続される。各プロジェクタ６６Ａまたは６６Ｂは、個別のプロジェクタ６６Ａまたは６６Ｂに提供されることになる画像データのための個別の入力を有する。個別のプロジェクタ６６Ａまたは６６Ｂは、給電されると、光を２次元パターンで発生させ、光をそこから発出する。左および右導波管７０Ａおよび７０Ｂは、それぞれ、左および右プロジェクタ６６Ａおよび６６Ｂからの光を受け取るように位置付けられる。左および右導波管７０Ａおよび７０Ｂは、透明導波管である。

検出デバイス７２は、頭部ユニット慣性運動ユニット（ＩＭＵ）８０と、１つ以上の頭部ユニットカメラ８２とを含む。頭部ユニットＩＭＵ８０は、加速度計８４（または１つを上回る加速度計）と、ジャイロスコープ８６（または１つを上回るジャイロスコープ）と、重力センサ８８とを含む。ＩＭＵのコンポーネントは、典型的には、半導体チップの中に形成される。加速度計およびジャイロスコープは、３つの直交軸に沿った移動と、直交軸を中心とした回転とを含む、頭部ユニットＩＭＵ８０および頭部ユニット本体６０の移動を検出することが可能である。重力センサ８８は、重力の方向を検出することが可能である。

頭部ユニットカメラ８２は、画像を頭部ユニット本体６０の周囲の環境から継続的に捕捉する。画像は、相互に比較され、頭部ユニット本体６０と、頭部ユニット本体６０を装着するユーザの頭部の移動とを検出することができる。

ＳＬＡＭシステム５２は、頭部ユニットカメラ８２に接続される。頭部ユニットから世界フレームへの変換器５４は、頭部ユニット３０の座標フレームを世界座標フレーム、すなわち、図１のテーブル２２等の実物体を含む座標フレームに変換するために、ＳＬＡＭシステム５２および頭部ユニットＩＭＵ８０からのデータに依拠する。

使用時、ユーザは、頭部ユニット本体６０をその頭部に搭載する。頭部ユニット本体６０のコンポーネントは、例えば、ユーザの頭部の背面の周囲に巻着する、ストラップ（図示せず）を含んでもよい。左および右導波管７０Ａおよび７０Ｂは、次いで、ユーザの左および右眼１２０Ａおよび１２０Ｂの正面に位置する。

レンダリングエンジン４２は、データソース４０から画像データを受信する。レンダリングエンジン４２は、画像データを立体視分析器４４の中に入力する。画像データは、図１ではローカルコンテンツ２４の３次元画像データである。立体視分析器４４は、画像データを分析し、画像データに基づいて、左および右画像データセットを決定する。左および右画像データセットは、ユーザ１０に３次元レンダリングの知覚を与える目的のために、相互にわずかに異なる、２次元画像を表す、データセットである。

立体視分析器４４は、左および右画像データセットを左および右プロジェクタ６６Ａおよび６６Ｂの中に取り込む。左および右プロジェクタ６６Ａおよび６６Ｂは、次いで、左および右光パターンを生成する。ディスプレイシステム６２のコンポーネントは、平面図に示されるが、左および右パターンは、正面立面図に示されるとき、２次元パターンであることを理解されたい。各光パターンは、複数のピクセルを含む。例証の目的のために、ピクセルのうちの２つからの光線１２４Ａおよび１２６Ａが、左プロジェクタ６６Ａから退出し、左導波管７０Ａに入射するように示される。光線１２４Ａおよび１２６Ａは、左導波管７０Ａの側面から反射する。光線１２４Ａおよび１２６Ａが、左導波管７０Ａ内で左から右に内部反射を通して伝搬することが示されるが、光線１２４Ａおよび１２６Ａはまた、屈折性および反射性システムを使用して、紙面の向こう側への方向にも伝搬することを理解されたい。

光線１２４Ａおよび１２６Ａは、瞳孔１２８Ａを通して、左光導波管７０Ａから出射し、次いで、左眼１２０Ａの瞳孔１３０Ａを通して、左眼１２０Ａに入射する。光線１２４Ａおよび１２６Ａは、次いで、左眼１２０Ａの網膜１３２Ａに当たる。このように、左光パターンは、左眼１２０Ａの網膜１３２Ａに当たる。ユーザは、網膜１３２Ａ上に形成されるピクセルが、ユーザが左眼１２０Ａに対向する左導波管７０Ａの側においてある距離にあると知覚する、ピクセル１３４Ａおよび１３６Ａであるという知覚を与えられる。深度知覚が、光の焦点距離を操作することによって生成される。

類似する様式において、立体視分析器４４は、右画像データセットを右プロジェクタ６６Ｂの中に取り込む。右プロジェクタ６６Ｂは、光線１２４Ｂおよび１２６Ｂの形態におけるピクセルによって表される、右光パターンを透過させる。光線１２４Ｂおよび１２６Ｂは、右導波管７０Ｂ内で反射し、瞳孔１２８Ｂを通して出射する。光線１２４Ｂおよび１２６Ｂは、次いで、右眼１２０Ｂの瞳孔１３０Ｂを通して入射し、右眼１２０Ｂの網膜１３２Ｂに当たる。光線１２４Ｂおよび１２６Ｂのピクセルは、右導波管７０Ｂの背後のピクセル１３４Ｂおよび１３６Ｂとして知覚される。

網膜１３２Ａおよび１３２Ｂ上に生成されたパターンは、左および右画像として個々に知覚される。左および右画像は、立体視分析器４４の機能に起因して、相互にわずかに異なる。左および右画像は、ユーザの頭では、３次元レンダリングとして知覚される。

述べられるように、左および右導波管７０Ａおよび７０Ｂは、透明である。眼１２０Ａおよび１２０Ｂに対向する左および右導波管７０Ａおよび７０Ｂの側における現実の物体からの光が、左および右導波管７０Ａおよび７０Ｂを通して投影され、網膜１３２Ａおよび１３２Ｂに当たることができる。

頭部ユニットＩＭＵ８０は、ユーザの頭部のあらゆる移動を検出する。ユーザ１０が、例えば、その頭部を反時計回りに移動させ、同時に、その身体をその頭部とともに右に向かって移動させる場合、そのような移動は、頭部ユニットＩＭＵ８０内の加速度計８４およびジャイロスコープ８６によって検出されるであろう。頭部ユニットＩＭＵ８０は、加速度計８４およびジャイロスコープ８６からの測定値をディスプレイ調節アルゴリズム５６に提供する。ディスプレイ調節アルゴリズム５６は、設置値を計算し、設置値をレンダリングエンジン４２に提供する。レンダリングエンジン４２は、データソース４０から受信された画像データを修正し、ユーザの頭部の移動を補償する。レンダリングエンジン４２は、ユーザ１０への表示のために、修正された画像データを立体視分析器４４に提供する。

頭部ユニットカメラ８２は、ユーザがその頭部を移動させるにつれて、画像を継続的に捕捉する。ＳＬＡＭシステム５２は、画像を分析し、画像内のオブジェクトの画像を識別する。ＳＬＡＭシステム５２は、オブジェクトの移動を分析し、頭部ユニット本体６０の姿勢位置を決定する。ＳＬＡＭシステム５２は、姿勢位置をディスプレイ調節アルゴリズム５６に提供する。ディスプレイ調節アルゴリズム５６は、姿勢位置を使用し、ディスプレイ調節アルゴリズム５６がレンダリングエンジン４２に提供する、設置値をさらに精緻化する。レンダリングエンジン４２は、したがって、頭部ユニットＩＭＵ８０内の運動センサと頭部ユニットカメラ８２によって撮影された画像との組み合わせに基づいて、データソース４０から受信された画像データを修正する。実践的実施例として、ユーザが、その頭部を右に回転させる場合、ローカルコンテンツ２４の場所が、ユーザの視野内で左に回転し、したがって、ユーザに、ローカルコンテンツ２４の場所がテーブル２２および他の実世界の物体に対して定常のままであるという印象を与える。

図４を参照すると、ＵＣＳ整合モジュール４８は、デバイス座標フレーム（ＤＣＦ）１５０と、コントローラから頭部ユニットへの変換器１５２と、ユーザ座標フレーム（ＵＣＦ）確立システム１５４と、ＵＣＦ１５６と、ＤＣＦからＵＣＦへの変換器１５８とを含む。

ＤＣＦ１５０は、ハードウェアと、ソフトウェアと、ファームウェアとの組み合わせを通して重力センサ８８に接続される。重力センサ８８は、頭部ユニット本体６０に対する重力の方向を測定する。ＤＣＦ１５０は、３つの直交軸を伴う座標フレームであり、軸のうちの１つは、重力の方向と整合される。

ＵＣＦ確立システム１５４は、図１に示される位置合わせマーカ２６と、特徴点場所計算機１６２と、特徴点記憶モジュール１６４と、ユーザ座標フレーム計算機１６６と含む。特徴点場所計算機１６２は、ルーチンおよびコールを通してコントローラから頭部ユニットへの変換器１５２に接続され、位置合わせマーカ２６から入力を受信する。位置合わせマーカ２６は、第１の特徴点（ＦＰ１）および第２の特徴点（ＦＰ２）を選択するために使用される。特徴点記憶モジュール１６４は、特徴点場所計算機１６２に接続され、第１および第２の特徴点ＦＰ１およびＦＰ２の場所を記憶する。ユーザ座標フレーム計算機１６６は、メモリから特徴点ＦＰ１およびＦＰ２の場所を受信し、第１および第２の特徴点ＦＰ１およびＦＰ２の場所に基づいて、ＵＣＦ１５６を計算する。

６ｄｏｆコントローラ３６は、コントローラ本体１７０と、場所伝送機１７２と、コントローラＩＭＵ１７４とを含む。コントローラ本体１７０は、ユーザが持ち続けるために便宜的である、形状を有する。場所伝送機１７２およびコントローラＩＭＵ１７４は、コントローラ本体１７０内に搭載される。コントローラ本体１７０内のバッテリ（図示せず）が、場所伝送機１７２およびコントローラＩＭＵ１７４を給電するために使用される。

頭部ユニット３０は、場所受信機１７６を含む。場所受信機１７６は、定常位置において、頭部ユニット本体６０に搭載される。

使用時、ユーザは、その手の一方においてコントローラ本体１７０を保持する。ユーザは、コントローラ本体１７０を３つの直交方向に移動させ、コントローラ本体１７０を３つの直交軸を中心として回転させることができる。場所伝送機１７２は、場所波を継続的に伝送し、場所受信機１７６は、場所波を受信する。場所波は、場所受信機１７６に対する場所伝送機１７２の場所を示す、データを含む。場所伝送機１７２は、６ｄｏｆコントローラ３６内で定常状態であり、場所受信機１７６は、頭部ユニット３０内で定常状態であるため、場所波は、６ｄｏｆコントローラ３６と頭部ユニット３０との間の関係を表す、データを含む。コントローラから頭部ユニットへの変換器１５２は、場所受信機１７６からデータを受信し、頭部ユニット３０に対する６ｄｏｆコントローラ３６の場所を計算する。コントローラＩＭＵ１７４は、１つ以上の加速度計と、１つ以上のジャイロスコープとを含む。コントローラＩＭＵ１７４からのデータが、６ｄｏｆコントローラ３６から無線で伝送され、ハードウェアと、ファームウェアと、ソフトウェアとの組み合わせを介してコントローラによって頭部ユニットへの変換器１５２によって受信される。コントローラから頭部ユニットへの変換器１５２は、「融合」ルーチンにおいて場所受信機１７６およびコントローラＩＭＵ１７４からのデータを組み合わせる。場所伝送機１７２およびコントローラＩＭＵ１７４からのデータを融合することによって、場所伝送機１７２の単独での使用と比較して、ジッタが、低減される。

位置合わせマーカ２６は、レンダリングエンジン４２に提供され、データソース４０からの画像データに類似する様式において、ユーザに可視化される。上記に述べられるように、ユーザは、６ｄｏｆコントローラ３６を移動させることによって、位置合わせマーカ２６を移動させることができる。ユーザは、第１の特徴点ＦＰ１および第２の特徴点ＦＰ２を選択するために位置合わせマーカ２６を使用する。ユーザが、第１および第２の特徴点ＦＰ１およびＦＰ２を選択すると、特徴点場所計算機１６２は、世界フレーム内の個別の特徴点ＦＰ１またはＦＰ２の場所を計算する。特徴点記憶モジュール１６４は、第１および第２の特徴点ＦＰ１およびＦＰ２の場所を記憶する。ＵＣＦ計算機１６６は、次いで、第１および第２の特徴点ＦＰ１およびＦＰ２の場所に基づいて、ＵＣＦ１５６を計算する。ＵＣＦ計算機１６６は、次いで、メモリの中にＵＣＦ１５６を記憶する。

ＤＣＦからＵＣＦへの変換器１５８は、ＤＣＦ１５０をＵＣＦ１５６に変換し、ＵＣＦへ変換されたＤＣＦ１７８をもたらす。

図１のユーザ１０および１２はそれぞれ、異なるＤＣＦ１５０と、異なるＵＣＦ１５６とを有し、故に、ＵＣＦへ変換された異なるＤＣＦ１７８を有する。ユーザ１０および１２は、第１および第２の特徴点ＦＰ１およびＦＰ２を選択する、テーブル２２上の場所に関して同意する（例えば、口頭で同意する）。第１および第２の特徴点ＦＰ１およびＦＰ２の場所は、各ユーザ１０および１２の視点から異なって現れ、その数学的場所もまた、各拡張現実ビューア１６の特徴点場所計算機１６２内で異なるように計算される。しかしながら、ユーザ１０および１２は、実世界内、すなわち、テーブル２２上の同一の特徴点ＦＰ１およびＦＰ２を選択するため、ローカルコンテンツ２４は、ユーザ１０および１２の両方の視点からテーブル２２に対して同一の場所にレンダリングされることができる。

図５は、いずれかのユーザが均一座標フレームを確立する前の個別の座標フレームを図示する。各拡張現実ビューアは、個別のＤＣＦ（ＤＣＦ１およびＤＣＦ２）を有する。軸のうちの１つ（Ｙ軸）は、重力（ｇ）の方向と整合され、他の２つの軸（Ｘ軸およびＺ軸）は、頭部ユニット３０に対して固定される。いずれのユーザも、ＵＣＦを確立していない。例証目的のみのために、任意のＵＣＦ（ＵＣＦ１およびＵＣＦ２）が、図に示され、第１および第２のユーザ１０および１２によって使用される拡張現実ビューア１６（図１）間に座標フレームの画一性がないことのみを示すために、図に含まれる。

図６は、拡張現実ビューア（ＵＣＦ１およびＵＣＦ２）毎のＵＣＦの確立を図示する。各ユーザ１０および１２は、その視点から、テーブル２２上の第１および第２の特徴点ＦＰ１およびＦＰ２を選択する。個別のユーザの個別の拡張現実ビューアは、次いで、個別のＵＣＦ（ＵＣＦ１およびＵＣＦ２）を計算する。両方のＵＣＦ（ＵＣＦ１およびＵＣＦ２）は、テーブル２２上の同一の場所上に位置し、配向される。

図７は、個別の拡張現実ビューアの個別のＤＣＦからＵＣＦへの変換器１５８（図４）によって行われる、変換を図示する。各拡張現実ビューアは、それぞれ、その個別のＤＣＦ（ＤＣＦ１またはＤＣＦ２）をその個別のＵＣＦ（ＵＣＦ１またはＵＣＦ２）に変換する。ローカルコンテンツ２４（図１）は、個別のＤＣＦ（ＤＣＦ１またはＤＣＦ２）から個別のＵＣＦ（ＵＣＦ１またはＵＣＦ２）への個別の変換に基づいて、個別のユーザに表示される。

視認システム１４は、３人、４人、またはそれよりも多くユーザによって使用される、３つ、４つ、またはそれよりも多く視認拡張現実ビューアによる使用のために容易に拡張されることができる。各拡張現実ビューアは、それ自体のＤＣＦ（ＤＣＦ１、ＤＣＦ２、ＤＣＦ３．．．ＤＣＦｎ）を有し、個別の対の特徴点（ＦＰ１およびＦＰ２）を使用して、個別のＵＣＦ（ＵＣＦ１、ＵＣＦ２、ＵＣＦ３．．．ＵＣＦｎ）を計算する。各拡張現実ビューアは、次いで、上記に説明されるように、その個別のＤＣＦ（例えば、ＤＣＦ４）を個別のＵＣＦ（例えば、ＵＣＦ４）に変換する。

図８は、いくつかの実施形態による、機械に、本明細書において議論される方法論のうちのいずれか１つ以上のものを実施させるための命令のセットが実行され得る、コンピュータシステム９００の例示的形態にある、機械の図式表現を示す。代替実施形態では、機械は、独立デバイスとして動作する、または他の機械に接続（例えば、ネットワーク化）されてもよい。さらに、単一の機械のみが、図示されているが、用語「機械」はまた、個々に、または一緒に、命令のセット（または複数のセット）を実行し、本明細書において議論される方法論のうちのいずれか１つ以上のものを実施する、機械の任意の集合も含むように捉えられるものとする。

例示的コンピュータシステム９００は、バス９０８を介して相互と通信する、プロセッサ９０２（例えば、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、または両方）と、メインメモリ９０４（例えば、読取専用メモリ（ＲＯＭ）、フラッシュメモリ、同期ＤＲＡＭ（ＳＤＲＡＭ）またはＲａｍｂｕｓ ＤＲＡＭ（ＲＤＲＡＭ）等の動的ランダムアクセスメモリ（ＤＲＡＭ）等）と、静的メモリ９０６（例えば、フラッシュメモリ、静的ランダムアクセスメモリ（ＳＲＡＭ）等）とを含む。

コンピュータシステム９００はさらに、ディスクドライブユニット９１６と、ネットワークインターフェースデバイス９２０とを含んでもよい。

ディスクドライブユニット９１６は、その上に本明細書に説明される方法論または機能のうちのいずれか１つ以上のものを具現化する、命令９２４の１つ以上のセット（例えば、ソフトウェア）が記憶される、機械可読媒体９２２を含む。ソフトウェアはまた、完全に、または少なくとも部分的に、コンピュータシステム９００によるその実行の間に、メインメモリ９０４内および／またはプロセッサ９０２内に常駐してもよく、メインメモリ９０４およびプロセッサ９０２もまた、機械可読媒体を成してもよい。

ソフトウェアはさらに、ネットワークインターフェースデバイス９２０を介してネットワーク１８を経由して伝送または受信されてもよい。

コンピュータシステム９００は、プロジェクタを駆動させ、光を発生させるために使用される、ドライバチップ９５０を含む。ドライバチップ９５０は、それ自体のデータストア９６０と、それ自体のプロセッサ９６２とを含む。

機械可読媒体９２２は、例示的実施形態では、単一媒体であるように示されるが、用語「機械可読媒体」は、１つ以上の命令のセットを記憶する、単一媒体または複数の媒体（例えば、集中型または分散型データベースおよび／または関連付けられるキャッシュおよびサーバ）を含むものと捉えられるべきである。用語「機械可読媒体」はまた、機械による実行のための命令のセットを記憶、エンコーディング、または搬送することが可能であって、機械に本発明の方法論のうちの任意の１つ以上のものを実施させる、任意の媒体を含むものと捉えられるものとする。用語「機械可読媒体」は、故に、限定ではないが、ソリッドステートメモリ、光学および磁気媒体、および搬送波信号を含むものと捉えられるものとする。

ある例示的実施形態が、説明され、付随の図面に示されたが、そのような実施形態は、単に、本発明の例証であって、制限ではなく、本発明は、修正が当業者に想起され得るため、図示および説明される具体的構造および配列に制限されないことを理解されたい。

Claims (20)

1. 視認システムであって、前記視認システムは、
   第１の拡張現実ビューア
   を備え、前記第１の拡張現実ビューアは、
   第１のユーザに実世界の物体が見えることを可能にする第１のディスプレイと、
   ローカルコンテンツの画像データを保持するための第１のデータソースと、
   第１のプロジェクタであって、前記第１のプロジェクタは、前記第１のユーザが、前記実世界の物体を視認する間、前記第１のユーザに前記第１のディスプレイを通して前記ローカルコンテンツの画像データを表示する、第１のプロジェクタと、
   第１のプロセッサと、
   前記第１のプロセッサに接続される第１のコンピュータ可読媒体と、
   視覚データおよびアルゴリズムの第１のセットであって、前記視覚データおよびアルゴリズムの第１のセットは、前記第１のコンピュータ可読媒体上にあり、前記プロセッサによって実行可能であり、前記視覚データおよびアルゴリズムの第１のセットは、
   第１のデバイス座標フレーム（ＤＣＦ）と、
   第１の位置合わせマーカであって、前記第１の位置合わせマーカは、前記実世界の物体のうちの少なくとも１つの上の第１の特徴点（ＦＰ１）および第２の特徴点（ＦＰ２）を選択するために、前記第１のユーザによって動作可能である、第１の位置合わせマーカと、
   第１の均一座標系（ＵＣＳ）整合モジュールであって、前記第１の均一座標系（ＵＣＳ）整合モジュールは、
   前記ＦＰ１および前記ＦＰ２を選択するときの前記第１の位置合わせマーカの場所を記憶する第１の特徴点記憶モジュールと、
   第１のユーザ座標フレーム計算機であって、前記第１のユーザ座標フレーム計算機は、前記ＦＰ１および前記ＦＰ２を選択するときの前記第１の位置合わせマーカの場所に基づいて、第１のユーザ座標フレーム（ＵＣＦ）を決定する、第１のユーザ座標フレーム計算機と、
   前記第１のＤＣＦを前記第１のＵＣＦに変換するための第１の変換器と
   を含む、第１の均一座標系（ＵＣＳ）整合モジュールと、
   第１のレンダリングエンジンであって、前記第１のレンダリングエンジンは、前記第１のＤＣＦから前記第１のＵＣＦへの前記変換に基づいて、前記第１のデータソース上の前記ローカルコンテンツの画像データを表示する、第１のレンダリングエンジンと
   を備える、視覚データおよびアルゴリズムの第１のセットと
   を含む、視認システム。
2. 第２の拡張現実ビューア
   をさらに備え、前記第２の拡張現実ビューアは、
   第２のユーザに実世界の物体が見えることを可能にする第２のディスプレイと、
   ローカルコンテンツの画像データを保持するための第２のデータソースと、
   第２のプロジェクタであって、前記第２のプロジェクタは、前記第２のユーザが、前記実世界の物体を視認する間、前記第２のユーザに前記第２のディスプレイを通して前記ローカルコンテンツの画像データを表示する、第２のプロジェクタと、
   第２のプロセッサと、
   前記第２のプロセッサに接続される第２のコンピュータ可読媒体と、
   視覚データおよびアルゴリズムの第２のセットであって、前記視覚データおよびアルゴリズムの第２のセットは、前記第２のコンピュータ可読媒体上にあり、前記プロセッサによって実行可能であり、前記視覚データおよびアルゴリズムの第２のセットは、
   第２のデバイス座標フレーム（ＤＣＦ）と、
   第２の位置合わせマーカであって、前記第２の位置合わせマーカは、前記実世界の物体のうちの少なくとも１つの上の前記ＦＰ１および前記ＦＰ２を選択するために、前記第２のユーザによって動作可能である、第２の位置合わせマーカと、
   第２の均一座標系（ＵＣＳ）整合モジュールであって、前記第２の均一座標系（ＵＣＳ）整合モジュールは、
   前記ＦＰ１および前記ＦＰ２を選択するときの前記第２の位置合わせマーカの場所を記憶する第２の特徴点記憶モジュールと、
   前記ＦＰ１および前記ＦＰ２を選択するときの前記第２の位置合わせマーカの場所に基づいて、第２のユーザ座標フレーム（ＵＣＦ）を決定する第２のユーザ座標フレーム計算機と、
   前記第２のＤＣＦを前記第２のＵＣＦに変換するための第２の変換器と
   を有する、第２の均一座標系（ＵＣＳ）整合モジュールと、
   第２のレンダリングエンジンであって、前記第２のレンダリングエンジンは、前記第２のＤＣＦから前記第２のＵＣＦへの前記変換に基づいて、前記第２のデータソース上の前記ローカルコンテンツの画像データを表示する、第２のレンダリングエンジンと
   を含む、視覚データおよびアルゴリズムの第２のセットと
   を含む、請求項１に記載の視認システム。
3. 前記第１の拡張現実ビューアは、
   前記第１のユーザの頭部上に装着可能である第１の頭部搭載可能フレームと、
   前記ＦＰ１およびＦＰ２を選択するために、前記第１のユーザによって前記第１の頭部搭載可能フレームに対して移動可能である第１の６自由度（６ｄｏｆ）コントローラと
   を含み、
   前記視覚データおよびアルゴリズムの第１のセットは、
   第１の特徴点場所計算機であって、前記第１の特徴点場所計算機は、前記ＦＰ１およびＦＰ２を選択するときの前記第１の頭部搭載可能フレームに対する前記第１の６ｄｏｆコントローラの場所を決定することによって、前記ＦＰ１およびＦＰ２を選択するときの前記第１の位置合わせマーカの場所を決定する、第１の特徴点場所計算機と、
   前記第１のＤＣＦ内の前記６ｄｏｆコントローラの場所を記憶する第１の特徴記憶モジュールと
   を含む、請求項２に記載の視認システム。
4. 前記第２の拡張現実ビューアは、
   前記第２のユーザの頭部上に装着可能である第２の頭部搭載可能フレームと、
   前記ＦＰ１およびＦＰ２を選択するために、前記第２のユーザによって前記第２の頭部搭載可能フレームに対して移動可能である第２の６自由度（６ｄｏｆ）コントローラと
   を含み、
   前記視覚データおよびアルゴリズムの第２のセットは、
   第２の特徴点場所計算機であって、前記第２の特徴点場所計算機は、前記ＦＰ１およびＦＰ２を選択するときの前記第２の頭部搭載可能フレームに対する前記６ｄｏｆコントローラの場所を決定することによって、前記ＦＰ１およびＦＰ２を選択するときの前記第２の位置合わせマーカの場所を決定する、第２の特徴点場所計算機と、
   前記第２のＤＣＦ内の前記第２の６ｄｏｆコントローラの場所を記憶する第２の特徴記憶モジュールと
   を含む、請求項３に記載の視認システム。
5. 前記第１の視認デバイスはさらに、
   第１のＤＣＦ決定ルーチンであって、前記第１のＤＣＦ決定ルーチンは、前記第１の頭部搭載可能フレームの移動に応じて変化する前記第１のＤＣＦを計算するために、前記第１のプロセッサによって実行可能である、第１のＤＣＦ決定ルーチンと、
   第１のＤＣＦ記憶命令であって、前記第１のＤＣＦ記憶命令は、前記第１のコンピュータ可読媒体上に前記第１のＤＣＦを記憶するために、前記第１のプロセッサによって実行可能である、第１のＤＣＦ記憶命令と
   を含む、請求項１に記載の視認システム。
6. 前記第１の視認デバイスはさらに、
   少なくとも１つの実物体の位置付けを検出する第１の実物体検出デバイスと、
   第１の世界物体識別ルーチンであって、前記第１の世界物体識別ルーチンは、前記実物体の表面上の少なくとも１つの点の位置付けを識別するために、前記第１のプロセッサによって実行可能である、第１の世界物体識別ルーチンと、
   第１の世界フレーム決定ルーチンであって、前記第１の世界フレーム決定ルーチンは、前記少なくとも１つの点に基づいて第１の世界座標フレームを計算するために、前記第１のプロセッサによって実行可能である、第１の世界フレーム決定ルーチンと、
   第１の世界フレーム記憶命令であって、前記第１の世界フレーム記憶命令は、前記コンピュータ可読媒体上に前記世界座標フレームを記憶するために、前記第１のプロセッサによって実行可能であり、前記ＤＣＦ決定ルーチンは、前記世界フレームに対する前記ＤＣＦを決定する、第１の世界フレーム記憶命令と
   を含む、請求項５に記載の視認システム。
7. 前記第１の実物体検出デバイスは、カメラである、請求項６に記載の視認システム。
8. 前記第１の実物体検出デバイスは、複数の実物体の位置付けを検出する、請求項６に記載の視認システム。
9. 前記第１の世界物体識別ルーチンは、前記実物体の表面上の複数の点の位置付けを識別する、請求項６に記載の視認システム。
10. 前記第１の世界フレーム決定ルーチンは、前記複数の点に基づいて前記第１の世界座標フレームを計算する、請求項９に記載の視認システム。
11. 前記第１の視認デバイスはさらに、
    前記第１の頭部搭載可能フレームに固着される第１の慣性測定ユニット（ＩＭＵ）であって、前記第１のＩＭＵは、前記第１の頭部搭載可能フレームに対する重力の第１の方向を検出する第１の重力センサを含み、前記ＤＣＦ決定ルーチンは、前記重力の第１の方向に基づいて、前記ＤＣＦフレームを計算する、第１の慣性測定ユニット（ＩＭＵ）
    を含む、請求項５に記載の視認システム。
12. 前記第１のＩＭＵは、第１の加速度計および第１のジャイロスコープのうちの少なくとも一方を含む、請求項１１に記載の視認システム。
13. ローカルコンテンツの画像データを視認する方法であって、
    第１の拡張現実ビューを生成すること
    を含み、前記第１の拡張現実ビューを生成することは、
    第１のコンピュータ可読媒体上に第１のデバイス座標フレーム（ＤＣＦ）を記憶することと、
    第１のユーザによって第１のディスプレイを通して視認可能な少なくとも１つの実世界の物体上の第１の特徴点（ＦＰ１）および第２の特徴点（ＦＰ２）を選択するために、第１のユーザによって、第１の位置合わせマーカを移動させることと、
    第１の均一座標系（ＵＣＳ）整合モジュールを実行することであって、前記第１の均一座標系（ＵＣＳ）整合モジュールを実行することは、
    前記ＦＰ１および前記ＦＰ２を選択するときの前記第１の位置合わせマーカの場所を記憶することと、
    前記ＦＰ１および前記ＦＰ２を選択するときの前記第１の位置合わせマーカの場所に基づいて、第１のユーザ座標フレーム（ＵＣＦ）を決定することと、
    前記第１のＤＣＦを前記第１のＵＣＦに変換することと
    によって行われる、ことと、
    前記第１のＤＣＦから前記第１のＵＣＦへの前記変換に基づいて、前記第１のユーザが、実世界の物体を視認する間、第１のプロジェクタを用いて、前記第１のディスプレイを通して、前記第１のユーザに、第１のデータソース上の受信されたローカルコンテンツの画像データを表示することと
    を含む、方法。
14. 第２の拡張現実ビューを生成すること
    をさらに含み、前記第２の拡張現実ビューを生成することは、
    第２のコンピュータ可読媒体上に第２のデバイス座標フレーム（ＤＣＦ）を記憶することと、
    ユーザによって第２のディスプレイを通して視認可能な少なくとも１つの実世界の物体上の第１の特徴点（ＦＰ１）および第２の特徴点（ＦＰ２）を選択するために、第２のユーザによって、第２の位置合わせマーカを移動させることと、
    第２の均一座標系（ＵＣＳ）整合モジュールを実行することであって、前記第２の均一座標系（ＵＣＳ）整合モジュールを実行することは、
    前記ＦＰ１および前記ＦＰ２を選択するときの前記第２の位置合わせマーカの場所を記憶することと、
    前記ＦＰ１および前記ＦＰ２を選択するときの前記第２の位置合わせマーカの場所に基づいて、第２のユーザ座標フレーム（ＵＣＦ）を決定することと、
    前記第２のＤＣＦを前記第２のＵＣＦに変換することと
    によって行われる、ことと、
    前記第２のＤＣＦから前記第２のＵＣＦへの前記変換に基づいて、前記第２のユーザが、前記実世界の物体を視認する間、第２のプロジェクタを用いて、前記第２のディスプレイを通して、前記第２のユーザに、第２のデータソース上の受信されたローカルコンテンツの画像データを表示することと
    を含む、請求項１３に記載の方法。
15. 前記第１のユーザの頭部上に、第１の頭部搭載可能フレームを装着することと、
    前記ＦＰ１およびＦＰ２を選択するために、前記第１のユーザによって、前記第１の頭部搭載可能フレームに対して第１の６自由度（６ｄｏｆ）コントローラを移動させることと、
    前記ＦＰ１およびＦＰ２を選択するときの前記第１の頭部搭載可能フレームに対する前記第１の６ｄｏｆコントローラの場所を決定することによって、前記ＦＰ１およびＦＰ２を選択するときの前記第１の位置合わせマーカの場所を決定するために、第１の特徴点場所計算機を実行することと、
    前記第１のＤＣＦ内の前記６ｄｏｆコントローラの場所を記憶するために、第１の特徴記憶モジュールを実行することと
    をさらに含む、請求項１６に記載の方法。
16. 前記第２のユーザの頭部上に、第２の頭部搭載可能フレームを装着することと、
    前記ＦＰ１およびＦＰ２を選択するために、前記第２のユーザによって、前記第２の頭部搭載可能フレームに対して第２の６自由度（６ｄｏｆ）コントローラを移動させることと、
    前記ＦＰ１およびＦＰ２を選択するときの前記第２の頭部搭載可能フレームに対する前記第２の６ｄｏｆコントローラの場所を決定することによって、前記ＦＰ１およびＦＰ２を選択するときの前記第２の位置合わせマーカの場所を決定するために、第２の特徴点場所計算機を実行することと、
    前記第２のＤＣＦ内の前記６ｄｏｆコントローラの場所を記憶するために、第２の特徴記憶モジュールを実行することと
    をさらに含む、請求項１５に記載の方法。
17. 前記第１の頭部搭載可能フレームの移動に応じて変化する前記第１のＤＣＦを計算するために、前記第１のプロセッサを用いて第１のＤＣＦ決定ルーチンを実行することと、
    前記第１のコンピュータ可読媒体上に前記第１のＤＣＦを記憶するために、前記第１のプロセッサを用いて、前記第１のプロセッサによって実行可能な第１のＤＣＦ記憶命令を実行することと
    をさらに含む、請求項１３に記載の方法。
18. 第１の実物体検出デバイスを用いて、少なくとも１つの実物体の位置付けを検出することと、
    前記第１のプロセッサによって実行可能な第１の世界物体識別ルーチンを用いて、前記実物体の表面上の少なくとも１つの点の位置付けを識別することと、
    前記第１のプロセッサによって実行可能な第１の世界物体識別ルーチンを用いて、前記少なくとも１つの点に基づいて、第１の世界座標フレームを計算することと、
    前記第１のプロセッサによって実行可能な第１の世界フレーム記憶命令を用いて、前記コンピュータ可読媒体上に前記世界座標フレームを記憶することであって、前記ＤＣＦ決定ルーチンは、前記世界フレームに対する前記ＤＣＦを決定する、ことと
    をさらに含む、請求項１７に記載の方法。
19. 前記第１の実物体検出デバイスは、カメラである、請求項１８に記載の方法。
20. 前記第１の実物体検出デバイスは、複数の実物体の位置付けを検出する、請求項１８に記載の方法。

Images