JP5436574B2 - ポインティングによって現実世界のオブジェクトとオブジェクト表現とをリンクさせるシステム及び方法 - Google Patents

Description

関連する出願への相互参照
本願は、合衆国法典第３５巻第１１９条（ｅ）の下で、２００８年１２月２２日付けで出願された、名称が“Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｐｒｏｖｉｄｉｎｇ Ｆｅｅｄｂａｃｋ ｂｙ Ｐｏｉｎｔｉｎｇ ａｔ Ｏｂｊｅｃｔ ｏｆ Ｉｎｔｅｒｅｓｔ”であり、参照によって本明細書中に内容全体が組み込まれる米国仮出願第６１，１３９，９０７号の優先権を主張する。

本発明は、一般に、現実世界の中のオブジェクト（対象物）を識別し、これらのオブジェクトを仮想環境の中の対応する表現にリンクさせるコンピュータに基づくシステム及び方法に関する。より具体的には、本発明は、オブジェクト又は特徴物へのポインティングによって、現実世界においてシステムユーザに提示され、システムユーザによりポインティングされたオブジェクト又は特徴物を２次元仮想表現の中のこれらのオブジェクト又は特徴物の表現と、識別と、このような識別の信頼度及び精度の評価とにリンクさせる分散型のコンピュータに基づくシステム及び方法に関する。

近年、ポインティング機器（ポインティングデバイス）は、ロケーション・ベース・サービス（ＬＢＳ）、ゲーミング、娯楽、及び、拡張現実アプリケーションのような様々な分野における異なったアプリケーションのため人気が高まっている。例えば、ＬＢＳは、地理的オブジェクト及び特徴物を識別するためポインティングを使用し、これらのオブジェクト又は特徴物に関する情報をシステムユーザへ返送する。

ゲーミングでは、ポインティングは、任天堂のＷｉｉ（登録商標）コンソールのようなハンドヘルド型ジョイスティックのような機器で人気が高まっている。Ｗｉｉは、任天堂株式会社の登録商標である。これらのジョイスティックのような機器は、システムユーザがゲームと連動するため運動を行うことを可能にする。これらのゲーミングシステムでは、動きベクトル（運動ベクトル）は、ハンドヘルド機器に内蔵されたセンサによって獲得される。これらの動きベクトルは、ゲームエンジンに送られ、ゲームシナリオの内部でジェスチャをエミュレートするため使用され、現実世界から仮想ゲーミング環境へのアクションの地図化（マッピング）を可能にする。

従来型のレーザポインタは、観衆の注意を画面に、又は、プレゼンテーションが行われている環境内に表示された具体的なオブジェクトに向けさせるため長期に亘って使用されている。この実例は、「ポインティング」が多種多様の用法及び用途を有していることをさらに詳述する。これらの用法及び用途は、位置を推定し、ポインティングの方向と、ポインティングジェスチャの加速度ベクトルとを判定する能力を高めた新しいハンドヘルド機器が市場に出るときに限り増大することになる。

従来型の「ポインティング」システムに付随する問題のうちの１つは、これらのシステムが不正確であるという点である。これは、主として、「ポインティング」の行為が本質的に曖昧であることが原因である。この曖昧さは、オブジェクトが互いに接近しているか、又は、重なり合うとき、ポインティング機器がどのオブジェクト又は特徴物に実際に向けられているかが必ずしも明らかではないためである。このようにポインティングによってオブジェクト又は特徴物を正確に識別できないことには多数の理由があるが、この不正確さの主な理由は、「視野方向」と「ポインティング方向」とが必ずしも位置合わせされていないことである。よって、ポインティング機器の姿勢から導出される光線は、観測者（システムユーザ）が実際にポインティングしているオブジェクト又は特徴とは異なるオブジェクト又は特徴物を識別することがある。この誤り又は不確実さは、観測者（システムユーザ）が自分の視線をポインティング方向と位置合わせできないことに原因がある。

ポインティング不確実性の第２の主要な理由は、ポインティングのため使用される機器の不正確さに基づいている。このことは、ポインティング機器の位置を判定するセンサと、ポインティングの方向を提供する責任を担うセンサとに当てはまる。ポインティングの方向は、ポインティング機器の姿勢を指す。

２組のセンサの読み取り値は、関心のあるオブジェクト又は特徴物を識別するため使用される光線を導出するため結合する。これらの型のセンサの両方は、典型的に、現実世界環境の中でオブジェクト又は特徴物をポインティングすることによってこれらのオブジェクト又は特徴物を識別することを試みるときに考慮される誤差及び不確定性に関するある一定の特性を有している。

ポインティング不正確さ及び不確定性の別の理由は、多くの場合に人は、ポインティング機器の誤差を補償するために、関心のあるオブジェクト又は特徴物の口頭での説明のような認知過程に頼ることである。しかし、従来型の計算ポインティングシステムは、このような認知能力を有していない。したがって、システムユーザによる認知過程の使用は、何度も間違ったオブジェクト又は特徴物識別、又は、不正確なポインティング結果をもたらす。

本発明は、従来型システムの問題を解決し、このような従来型システムの欠陥を補い、ポインティングによって関心のあるオブジェクト又は特徴をより正確に識別するようにポインティングに基づくシステムを強化するシステム及び方法を提供する。

本発明は、システムユーザの３次元（３Ｄ）環境の中でシステムユーザによってポインティング機器を用いてポインティングされた一意のオブジェクト又は特徴物を同じオブジェクト又は特徴物を含む２次元（２Ｄ）表現の中で選択し識別するシステム及び方法である。本発明は、ポインティング機器の位置及びポインティング方向を判定するために位置・姿勢センサを含むモバイル機器、好ましくは、ハンドヘルド機器に組み込まれることがある。本発明を組み込むモバイル機器は、システムユーザの現実世界環境に存在するか、又は、出現する静的な及び動的なオブジェクト及び特徴物とを表現する能力をもつ仮想的なコンピュータに基づくシステムとの無線通信のため適合することがある。本発明を組み込むモバイル機器は、システムユーザの環境に関する情報を処理し、ポインティング精度及び信頼度の具体的な指標を計算する能力をさらに有することになる。

本発明を使用して、システムユーザは、十分な精度でオブジェクト又は特徴物をポインティングし、ポインティング機器がポインティングしている最も確からしいオブジェクト又は特徴物を識別するためにセンサ誤差を考慮することがある。さらに、本発明を使用して、システムユーザは、ハンドヘルド機器センサによる不正確な位置及び方向の読み取り値が原因となって生じる不確実さ又は誤差と比べてポインティングの際の不確実さが最小限になるように、自分の視野方向とハンドヘルド機器のポインティング方向とを位置合わせできることになる。

本発明を組み込むハンドヘルド機器は、関心のあるオブジェクト又は特徴物をポインティングするときシステムユーザの見え方を考慮することにより人の視覚の特性を補う。これらの考慮事項は、本発明のオブジェクト識別及び信頼度評価プロセスを著しく高める。

本発明は、所定の時間及び位置におけるシステムユーザの視野の生成のような知覚及び認知メカニズムのモデリングと、この視野内のオブジェクト及び特徴物のグルーピング（例えば、建物の集合が視覚的シーンの中で区別できるようになる）とを含む。この知覚及び認知メカニズムのモデリングは、本発明がオブジェクトの具体的な装飾又は特徴物、又は、識別の目的のためシステムユーザによって１つの実体として認識されたオブジェクトのグループをポインティングすることを可能にさせる。

本発明は、正確なオブジェクト又は特徴物識別のため、視野内のオブジェクトの識別に由来したポインティングの不確実さとポインティング装置のセンサの不正確さに由来した不確実さとを本発明のシステム及び方法に統合することを容易にする。このプロセスは、２Ｄ仮想表現において、３Ｄ環境に存在するオブジェクト又は特徴物を現実世界の中のこのようなオブジェクト又は特徴物をポインティングすることにより識別するため使用されることがある。このプロセスは、２Ｄ仮想表現の中に正確に表現された３Ｄ現実世界表現に主に基づいている。

本発明は、単一の空間基準系、例えば、世界測地系８４（ＷＧＳ８４）に限定されない。本発明は、オブジェクト又は特徴物の座標が複数の基準系の間で変換されるように構成されることができる。例えば、このような変換は、システムユーザが２Ｄテレビ画面又は他の表示機器上で３Ｄオブジェクト又は特徴物をポインティングすることを必要とし、依然として正確なオブジェクト識別を実施することがある。この場合、システムユーザ及び２Ｄテレビ画面は、絶対基準系に位置し、２Ｄテレビ画面上のオブジェクト又は特徴物は、画面の局所基準系に位置している。システムユーザと２Ｄテレビ画面との間の空間コンフィギュレーション（空間配置）と、２Ｄテレビ画面上に３Ｄオブジェクトを表示するため使用される局所座標系とが既知であると仮定すると、本発明は、ポインティング機器を使用して２Ｄテレビ画面上のオブジェクト又は特徴物を識別することができる。

本発明は、システムユーザの３Ｄ環境又は２Ｄ画面に出現する移動オブジェクト又は特徴物を識別する能力をさらに含む。この能力は、仮想的なコンピュータに基づく表現の中にも表現されている移動オブジェクト又は特徴物によって可能にさせられ、このような移動オブジェクト又は特徴物は、これらの位置及び移動方向がリアルタイムで更新される。本発明によれば、これらの移動オブジェクト又は特徴物は、システムユーザの可視的３Ｄ環境の２Ｄ仮想表現の中で統合されるので、オブジェクト又は特徴物識別の目的のため利用できるようにされる。

本発明のシステム及び方法は、図面を参照してより詳細に記述される。

本発明を実施する代表的なシステムのブロック図である。 本発明の例示的な方法を実施するワークフローを示す図である。 人の視覚系によるシーン生成の光学的原理の実施例を示す図である。 視角への距離の影響の概念を説明する図である。 ３Ｄ現実世界表現から２Ｄ仮想表現への変換を示す図である。 ２Ｄ仮想表現におけるオブジェクト又は特徴物識別の代表的な方法を示す図である。 オブジェクト又は特徴物の距離推定量を計算する例示的な方法を示す図である。 ポインティング精度の計算と関連付けられた３Ｄグラフ表現を示す図である。 凸形状及び凹形状のための選択的なポインティング位置を定義するオブジェクト又は特徴物の視覚的部分を示す図である。 本発明のプロセスによる統計的検定の実施例を示す図である。 本発明の方法の使用の実施例を示す図である。

本発明はシステムユーザの３次元（３Ｄ）現実世界の環境中の一意のオブジェクト又は特徴物を同じオブジェクト又は特徴物を含むこの環境の２次元（２Ｄ）仮想表現において選択し識別するシステム及び方法である。好ましくは、本発明は、ハンドヘルド機器の位置及びポインティング方向を判定するために位置・姿勢センサを含むハンドヘルド機器に組み込まれる。好ましくは、本発明を組み込むハンドヘルド機器は、システムユーザの現実世界環境に存在するか、又は、出現するオブジェクト及び特徴物の静的表現及び動的表現を含むコンピュータに基づくシステムとの無線通信のため適合している。本発明を組み込むハンドヘルド機器は、システムユーザの現実世界環境に関係する情報を処理し、ポインティング精度及び信頼度の具体的な指標を計算する能力をさらに有している。

図１を参照すると、一般的に１００で、本発明を実施する代表的なシステムが記述される。図１では、現実世界は、システムユーザ要素１０４及び環境要素１０６を含む１０２で示される。システムユーザ要素１０４におけるシステムユーザ１１４は、環境要素１０６を体験する。図１は、システムクライアント１１０及びシステムサーバ１１２を含むシステム１０８をさらに示す。これらの要素の相互作用及び相互接続が次に記述される。

概略的に、システムクライアント１１０は、システムクライアント１１０を現実世界における視覚的シーン１１６の中のこれらのオブジェクト又は特徴物１１８にポインティングさせることに基づいて、システムユーザ１１４が視覚的シーン１１６の中で認識した（要素１１８によって表現された）オブジェクト又は特徴物を２Ｄ仮想表現におけるこれらのオブジェクト又は特徴物の対応物にリンクさせる。仮想シーン１１６の中のオブジェクト又は特徴物は、環境１２２の中で現実世界現象１２０を形成する。本発明の方法を実施する際に、好ましくは、クライアントシステムのセンサ又は他のシステムのセンサの場合のように、システムコンポーネントの不正確さを補い、そして、ポインティングに基づいて関心のあるオブジェクト又は特徴物の信頼できる識別を確実にするために人の視覚の投影特性を補う。

システムユーザ要素１０４は、視覚的シーン１１６の中で識別されるべき関心のあるオブジェクト又は特徴物１１８を認識するシステムユーザ１１４を含む。システムユーザ１１４は、環境１２２に位置し、現実世界現象１２０を観測する。視覚的シーン１１６は、システムユーザ１１４が認識する環境１２２の少なくとも一部を形成する。視覚的シーン１１６は、システムクライアント１１０の位置及びポインティング方向に基づくことになる。

視覚的シーン１１６及び現実世界現象１２０に関係する情報は、シーン（場面）生成のためシステムサーバ１１２に入力される。これは、視覚的シーン情報が３Ｄ表現形式で１２６においてシステムサーバ１１２に地図化された環境１２２からの情報の一部であることによって行われる。３Ｄ表現は、１３４でシステムユーザの環境の２Ｄ仮想シーン表現を生成するためにシーンジェネレータ（場面発生器）１２８に入力される。システムサーバ１１２は、システムユーザがポインティングしている最も確からしいオブジェクト又は特徴物を識別するためにクライアントサーバ１１０のポインティング精度をさらに評価することになる。

好ましくは、システムクライアント１１０は、システム・ユーザ・インターフェイスと、絶対３Ｄ基準系（例えば、ＧＰＳ用のＷＧＳ８４、すなわち、屋内ポジショニングシステムのための局所座標系）の内部の現在位置を生成するセンサと、絶対基準系に関してピッチ及びヨーを表現する２値ベクトルとしてポインティング方向を生成するセンサとを含む。システムクライアント１１０のこれらの測定量は、ポジショニング及びポインティング機器１２４によって処理される。

測地学的用語において、ピッチ及びヨーは、仰角φ及び方位角θと呼ばれることが分かる。さらに、好ましくは、システムクライアント１１０は、時間判定用のモジュール、例えば、システムクロックと、システムサーバと通信するモジュールとを含む。システムサーバ１１２と通信するモジュールには、限定されることなく、ＷｉＦｉ、ＨＳＤＰＡ、ＧＳＭ、ＥＤＧＥ、ＵＭＴＳ、ＣＤＭＡ２０００、及び、ＷｉＭＡＸのような無線通信方法が含まれる。

システムサーバ１１２を参照すると、システムサーバは、環境及び現象の３Ｄ表現１２６でシステムユーザの周囲の時空間表現と、システムユーザ１１４によって認識されたままであり、システムクライアント１１０と通信するためのモジュールから入力された情報に基づいて、現在の視覚的シーン１１６の注釈付きの２Ｄシーン表現１３４を生成するシーンジェネレータ１２８とを含む。直前に記述された３Ｄ表現の時間的特性は、本発明が現在可視的であり、及び／又は、視覚的シーンの中を移動しているオブジェクト又は特徴物をポインティングし、識別することを可能にさせる。システムサーバ１１２は、（ｉ）現実ポインティングの確率値及び最適なポインティングの確率値を導出し、（ｉｉ）これらの確率に統計的検定を実行し、そして、（ｉｉｉ）システムクライアント１１０を介してシステムユーザ１１４にフィードバックを提供する１３０、１３２、１３６及び１３８でのプロセスをさらに含む。本発明の方法は、図１に示されたシステム要素の観点で、続いて詳細に記述される。

図２を参照すると、一般的に２００で、本発明による好ましいワークフローが示される。このワークフローは、システムクライアント１１０でポインティングされている最も確からしいオブジェクト又は特徴物の識別のため、図１に示されたシステム要素によって実施される。概略的に、図２によれば、（ｉ）２０２で、ポインティング機器、すなわち、クライアントサーバ１１０の位置及び姿勢を獲得し、獲得された情報をシステムサーバ１１２へ提出し、（ｉｉ）２０４で、システムサーバの中のシステムユーザの３Ｄ時空間表現からシステムユーザによって認識された視覚的シーンの２Ｄシーン表現を生成し、（ｉｉｉ）２０８で、２Ｄ仮想シーン表現から最適ポインティングの確率表面（probability surface）の組を生成し、（ｉｖ）２０６で、システムユーザの位置から３Ｄ表現の中のオブジェクト又は特徴物までの距離を推定し、オブジェクト又は特徴物の推定された距離で確率楕円の組を計算し、現実ポインティング精度（誤差伝搬）を評価し、（ｖ）２１０で、個別のオブジェクト又は特徴物毎に、最適ポインティング及び現実ポインティングに対する確率の対を比較し、（ｖｉ）２１２で、ポインティング機器でポインティングされている可能性が最も確からしいオブジェクト又は特徴物に関して、ランキングを行い、フィードバックをシステムユーザに提供する。システムコンフィギュレーション及びワークフローが次により詳細に記述される。

人は毎日現実世界の中のオブジェクトをポインティングする。人の視覚とポインティングとは関係しているが、ポインティングは、必ずしも視覚に形を変えない。システムユーザを取り囲む環境的シーンは、視覚を用いるかどうかとは無関係に、現実世界の３Ｄ表現又はモデルからシステムサーバ１１２によって生成され、記述される。シーン生成は、環境及び現象の３Ｄ表現１２６に入力された３Ｄ表現の投影２Ｄ仮想表現への地図化に対応する。投影２Ｄ仮想表現では、オブジェクト又は特徴物は、このようなオブジェクト又は特徴物の可視部分を示す面又は辺で構成される。この２Ｄ仮想表現は、システムユーザ１１４の現在の視覚的シーン１１６のコンフィギュレーションを表す。視覚的シーン１１６は、建物又は都市特徴物のような静的オブジェクトと、さらに、自動車又はボートのような動的（移動）オブジェクトとを含む。２Ｄ仮想表現は、システムユーザ１１４の視覚的シーンの中で、特に、オブジェクト又は特徴物の距離、可視性、及び、オブジェクト又は特徴物のオクルージョン(遮蔽物)の観点で制限をさらに獲得する。本発明によれば、２Ｄ仮想表現と、システムクライアント１１０のポインティング方向とに基づいて、計算ステップの組がシステムクライアント１１０でポインティングされているオブジェクト又は特徴物を実質的な精度で識別するために実行されることがある。

本発明の目的のため、シーン生成は、人の視覚系の計算上の近似である。人の視覚系は、人が環境からの情報を理解し、対応するオブジェクト又は特徴物をポインティングすることを可能にする。図３は、人の視覚系に基づくシーン生成の光学的原理を示す。

図３を参照すると、一般的に３００で、人の眼３０８が３次元座標系３０５と、観測された現象、すなわち、建物３１８、貯蔵庫３２０及び分子構造３２２とに関して示される。図３における現象としての分子構造の存在は、関心のあるオブジェクト又は特徴物が大規模のオブジェクト又は特徴物に限定されないことを実証するため設けられている。したがって、本発明は、例えば、顕微鏡を使用して、数ある小さいオブジェクト又は特徴物の中で関心のあるオブジェクト又は特徴物として、非常に小さいオブジェクト又は特徴物を識別するため使用されることがある。

３次元座標系３０５は、ｘ軸３０２と、ｙ軸３０４と、ｚ軸３０６とを含む。眼２０８は、角膜３１０と、レンズ３１２と、網膜３１４とを明らかにする。眼３０８に関して示されるように、レンズ３１２の焦点３０９は、３次元座標系３０５の内部に位置付けられる。眼要素は、建物３１８、貯蔵庫３２０及び分子構造３２２を含む３Ｄ現実世界シーンの網膜３１４上の２Ｄ検知像を与えるため使用される。

網膜３１４上の像は、システムユーザがポインティングする観測された現実世界現象の知覚表現である。３Ｄ現実世界オブジェクト又は特徴物から網膜上の２Ｄ像への投影変換は、「視覚的遠近法」である。この視覚的遠近法は、観測者が被観測オブジェクトからある一定の距離に位置しているという仮定のもとに作用する。オブジェクト又は特徴物がより遠ざかると、オブジェクト又は特徴物の角直径、視角が減少するので、オブジェクト又は特徴物は、より小さく見える。オブジェクト又は特徴物の視角は、オブジェクト又は特徴物の高さを底辺としてもつ三角形によって眼の場所に範囲を定められた三角形である。したがって、オブジェクト又は特徴物が眼から遠ざかるにつれて、視角はより小さくなる。

図４を参照すると、一般的に４００で、視角への距離の影響は、人の視覚系に関係するものとして記述される。太陽と月が並んで置かれる場合、太陽は月より何倍も大きいことになる。しかし、図４を参照すると、太陽と月は、太陽と月の視角が同じであるため、同じサイズで見える。

再び図４を参照すると、視点４０２から、観測者は、光線４０８及び４１０によって範囲を定められた太陽４０６を見ることになる。これらの光線は、視点４０２と太陽４０６との間の距離を仮定すると、視点４０２の周りの点線円４０４に視角４１２を形成することになる。視点４０２から、視点４０２に太陽より遙かに近い月４１４は、光線４１６及び４１８によって境界を定められる。光線４１６及び４１８は、点線円４０４に視角４１２と同じ視角である視角４２０を形成する。したがって、
∠月＝∠太陽
であるとき、月及び太陽は、太陽の方が月より遙かに大きいにもかかわらず、視点４０２から同じサイズに見えることになる。

オブジェクトの距離と見かけの高さとの間の関係は線形ではない。例えば、オブジェクト又は特徴物が眼に実際に非常に接近し、仮想的に眼に接触する場合、このオブジェクト又は特徴物は、眼の視力の範囲に基づいて無限大の高さに見えることになる。

再び図１を参照すると、関心のあるオブジェクト及び特徴物（要素１１８）を格納している視覚的シーン１１６を含む３Ｄ表現及び現象１２６における環境の３Ｄモデルは、シーンジェネレータ１２８で、３Ｄモデルの２Ｄ仮想表現に変換される。この３Ｄモデルの２Ｄ仮想表現は、本発明のプロセスの残りのステップを実行する入力を形成する。

２Ｄ仮想表現の計算上の生成は、現実世界シーンの３Ｄ表現とこの３Ｄ表現の中のオブジェクト又は特徴物とを２Ｄビュー平面（表示平面）に投影する投影変換を使用して実行されることになる。現実世界についての人の視覚のより正確な模倣のため、３Ｄ表現の変換は、球面２Ｄ表現への投影になる。球面２Ｄ表現は、本発明の範囲に含まれるとみなされることが分かる。

図５を参照すると、一般的に５００で、現実世界シーンの３Ｄ表現から２Ｄ仮想表現への変換が検討されることになる。図５では、３次元座標の座標系５０２がｘ軸５０４、ｙ軸５０６、及び、ｚ軸５０８を用いて示される。システムユーザ１１４（図１）は、３次元座標系５０２の内部の位置５１０に示される。５１０で、システムクライアント１１０のポインティング方向が光線５１２に沿って示される。したがって、５１０における視点から、ポインティング方向５１２を用いて、２Ｄ仮想表現５２０が作成されることになる。２Ｄ仮想表現は、現実世界の中でシステムユーザ１１４によって観測されたオブジェクト及び特徴物の平坦な縮小されたバージョンである。

生成された２Ｄ仮想表現５２０は、５３０においてより大きい図で示される。２Ｄ仮想シーン表現で観測されるようなオブジェクト又は特徴物は、現象、すなわち、建物５１４、貯蔵庫５１６、及び、分子構造５１８の可視部分になる。より具体的には、２Ｄ仮想表現５２０は、建物５１４、貯蔵庫５１６、及び、分子構造５１８の可視部分の投影された輪郭を示す。さらに、ポインティング方向（光線５１２のポインティング位置）が５２２に示される。

上述の通り、オブジェクト又は特徴物の全体ではなくオブジェクト又は特徴物の輪郭だけが視点５１０から見えることになる。したがって、スクリーンジェネレータ１２８によって生成された２Ｄ仮想表現は、最適ポインティングの確率及び現実ポインティングの確率が本発明のプロセスに応じて評価される基礎を形成する。さらに、最適ポインティング及び現実ポインティングと関連付けられた確率に基づいて、システムクライアント１１０によってポインティングされているオブジェクト又は特徴物が判定される。本発明のオブジェクト識別プロセスが次により詳細に記述される。

本発明によれば、本発明のプロセスのオブジェクト識別部は、スクリーンジェネレータ１２８で生成され、２Ｄシーン表現１３４で提供された２Ｄ仮想表現に適用される。本発明によるオブジェクト識別プロセスは、好ましくは、少なくとも以下の５つのステップ、すなわち、（１）１１６で仮想シーンにおいてシステムユーザから個別のオブジェクト又は特徴物までの距離を計算するステップと、（２）誤差伝搬（error propagation）を使用して個別のオブジェクト又は特徴物にポインティングする確率楕円を計算するステップと、（３）可視的なオブジェクト又は特徴の面に最適ポインティング位置を定義するステップと、（４）オブジェクト又は特徴物上の最適ポインティングのための確率表面を計算するステップと、（５）オブジェクト又は特徴物とシステム１１０のポインティング方向との間の対応付けを判定するため統計的検定を実施するステップと、を含む。これらのステップは、図６にフロー図形式で示され、これらのステップは、図７〜１１を参照して説明されることになる。

図６は、一般的に６００で、オブジェクト識別のプロセスのステップを示す。６０２におけるステップ１は、２Ｄ仮想表現の中の各オブジェクト又は特徴物に関して、システムユーザの位置からの距離を計算する。好ましくは、ステップ１は、シーンジェネレータ１２８及び２Ｄシーン表現１３４で実行される。６０２におけるステップ１の出力は、６０４におけるステップ２に入力される。６０４におけるステップ２は、２Ｄ仮想表現の中の各オブジェクト又は特徴物に関して、誤差伝搬を使用して現実ポインティングの精度を計算する。好ましくは、ステップ２は、シーンジェネレータ１２８、２Ｄシーン表現１３４、及び、ポインティングの位置及びポインティング精度のリスト１３０で実行される。

好ましくは、ステップ１及び２の実行と並行して、オブジェクト識別のためのプロセスは、６０６におけるステップ３と６０８におけるステップ４とを実行する。６０６におけるステップ３は、２Ｄ仮想表現の中の各オブジェクト又は特徴物に関して、最適ポインティング位置を判定する。好ましくは、６０６におけるステップ３は、シーンジェネレータ１２８及び２Ｄシーン表現１３４で実行される。

６０６におけるステップ３の出力は、６０８におけるステップ４に入力される。６０８におけるステップ４は、２Ｄ仮想表現の中の各オブジェクトに関して、最適ポインティングのための確率表面を計算する。好ましくは、６０８におけるステップ４は、シーンジェネレータ１２８及び２Ｄシーン表現１３４で実行される。

６０４におけるステップ２の出力と、６０８におけるステップ４の出力とは、６１０におけるステップ５に入力される。ステップ６１０におけるステップ５は、最適ポインティングと現実ポインティングとの各対に関して、１つずつの分布の間の対応付けの確からしさを計算する。６１０におけるステップ５は、精度評価器１３６及びターゲット候補のソート済みリスト１３８で実行される。

システムサーバ１１２に示された要素のそれぞれは、別個のモジュールでもよく、又は、１つ以上の要素に統合されてもよく、依然として本発明の範囲内にあることが分かる。

図７を参照すると、一般的に７００で、６０２におけるステップ１（図６）によるシステムユーザの位置からオブジェクト又は特徴物までの距離推定値の計算が記述される。ステップ１によれば、オブジェクト又は特徴物までの距離は、システムユーザの位置の座標とオブジェクト又は特徴物の可視エリアを表現する補助座標との関数として推定される。図７では、システムユーザの位置は７０２に示され、補助座標は、立方体７０４の可視表面と関連付けられることになる。７０２でのシステムユーザの視点（ＰＯＶ）からオブジェクト又は特徴物の可視頂点のそれぞれへの直線投影、すなわち、頂点１、２、３、４、５、６及び７への直線投影が示される。直線投影の１つずつは、オブジェクト又は特徴物毎に補助座標を計算するため使用される。オブジェクト又は特徴物の可視部分、本事例では、立方体７０４だけが距離の推定に寄与し、したがって、８における頂点は使用されない。

以下の式１は、視覚的シーン１１６のような視覚的シーンの中のオブジェクト又は特徴物の距離推定のための補助座標を計算するため使用される。式１は、

であり、式中、
ｘ_Ｐａｕｘ＝３次元座標系での補助座標のｘ座標
ｙ_Ｐａｕｘ＝３次元座標系での補助座標のｙ座標
ｚ_Ｐａｕｘ＝３次元座標系での補助座標のｚ座標
ｎ＝各オブジェクト又は特徴物の可視頂点の個数（図７では、ｎ＝７）
Ｐ_ａｕｘ＝補助座標
である。
システムユーザのＰＯＶ７０４からオブジェクト又は特徴物の補助座標Ｐ_ａｕｘまでの距離ｄ_０は、式２：

に記載されるような２つの座標間のユークリッド距離に従い、式中、
ｘ_Ｐａｕｘ＝式１から
ｙ_Ｐａｕｘ＝式１から
ｚ_Ｐａｕｘ＝式１から
ｘ_ＰＯＶ＝ＰＯＶにおけるシステムユーザのｘ座標
ｙ_ＰＯＶ＝ＰＯＶにおけるシステムユーザのｙ座標
ｚ_ＰＯＶ＝ＰＯＶにおけるシステムユーザのｚ座標
である。

再び図７を参照すると、距離ｄ_０は、７０２におけるＰＯＶから、頂点１、２、３、４、５、６及び７によって境界が定められた表面の重心に位置している７０８における補助座標Ｐ_ａｕｘまでの距離である。補助座標７０８は、頂点１、２、３、４、５、６及び７の重心におけるこの位置がシステムユーザ位置とオブジェクトの位置との間の知覚された距離を表すので、この位置に位置を合わされることになる。６０２でのステップ１によるこの距離ｄ_０の計算に続いて、この計算は、６０４におけるステップ２へ入力される。

上述の通り、本発明のプロセスである６０４におけるステップ２で、２Ｄ仮想表現の中の各オブジェクト又は特徴物に関する現実ポインティングの精度が好ましくは誤差伝搬を使用して計算される。

システムクライアント１１０のポインティング方向に基づくポインティングの精度は、システムクライアント１１０によるセンサ測定値と、ステップ１（６０２）で計算された距離ｄ_０との精度によって影響を受ける。ステップ２で組み込まれた誤差伝搬の考慮は、測地学的誤差伝搬を含む。さらに、センサに関するポインティングの不確実さの判定は、好ましくは、センサと関連付けられた個別の誤差の原因を明らかにする。

センサ測定値に関する誤差原因の候補は、限定されることなく、緯度、経度、高度、方位角、及び、仰角の測定量と関連付けられたセンサ誤差を含む。これらのセンサ測定値及び距離ｄ_０は、現実ポインティング精度を判定するためにこのようなオブジェクト又は特徴物毎に、代表的な座標を計算するため使用されることになる。代表的な座標は、システムユーザ１１４が視覚的シーン１１６の中の具体的なオブジェクト又は特徴物をポインティングしているという仮定に基づいて、全体的な標準偏差への１つずつの個別の誤差原因の影響の判定を可能にさせる。

典型的に、「標準偏差」は、統計的結論における信頼度を与えることが意図されている。しかし、本発明によれば、「標準偏差」は、オブジェクト又は特徴物識別のための確率論的方法の基礎にある分布を特徴付けるため使用されることになる。本発明による代表的な座標の標準偏差は、誤差伝搬の結果であり、代表的な座標を計算するため使用された関数の偏微分によって計算できる。本発明によれば、測地学的誤差伝搬は、ｎ個の変数をもつ関数ｆに関して式３：

によって判定され、式中、
σ_ｉ＝対応する変数の標準偏差

＝個別の変数の不確実さが関数の標準偏差に与える影響を記述する偏微分

である。

図８を参照すると、一般的に８００で、測地学的誤差伝搬の例示的な判定が記述される。図８では、３次元座標系８０２は、ｘ軸８０４、ｙ軸８０６及びｚ軸８０８を有している。原点での点ｐ８１０は、システムユーザのＰＯＶを表す。点ｏ８１４は、判定されるべき代表的な座標を表し、点ｏは、システムユーザの点ｐ８１０から距離ｄ_０８１２ｄだけ離されている。図示されるように、方位角θは、８１６に示され、仰角φは、８１８に示される。さらに、３次元の点ｏ８１４は、２次元ｘｙ平面内の点ｐ’８２２に写像する。

図８によれば、関心のあるオブジェクト又は対象物の代表的な座標を判定する変数は、座標ｘ_ｐ、ｙ_ｐ、ｚ_ｐを有している点ｐ８１０におけるシステムユーザ位置の座標と、８１６におけるヨー、方位角θと、８１８におけるピッチ、仰角φと、オブジェクト又は特徴物までの距離ｄ_０８１２とを含む。本発明の目的のための標準偏差は、位置座標及び距離のためのメトリック距離の観点でもよく、ピッチ及びヨーのためのラジアル距離の観点でもよい。例えば、メトリック距離は、σ_ｘ＝５ｍによって表現され、ラジアル距離は、σ_Ψ＝０．５ラジアンによって表現されることがある。

上述の事項に注意すると、好ましくは、ポインティング精度の誤差伝搬は、式４：

を使用して判定されることがある。

式３及び４を仮定すると、システムユーザが具体的なオブジェクト又は特徴物をポインティングしている確からしさを判定するため使用されることになる代表的な座標の標準偏差は、好ましくは、式５：

によって計算されることになる。

本発明の目的のため、式５によって標準偏差を判定する際に、特別な変数が利用できない場合、この変数は定数として見なされることになる。したがって、実際的な問題として、このような変数の偏微分は省略されることになる。例えば、距離ｄ_０のための標準偏差が未知である場合、距離ｄ_０の偏微分はこの判定中に含まれない。

本発明に従ってポインティング精度を判定する際に、主要な焦点は、オブジェクト又は特徴物と関連付けられたポインティングの標準誤差を推定する測地学的誤差伝搬の適用にある。したがって、上記式による距離推定関数及び座標計算関数は、他の関数又は推定方法によって置き換えられることがあり、依然として本発明の範囲内にある。例えば、代替的な関数は、限定されることなく、（ｉ）複数の空間基準系に亘る変換を使用してポインティング精度の標準偏差を判定すること、又は、（ｉｉ）ポインティング精度の標準偏差がさらなる処理のため局所座標系と位置合わせされなければならないことを含む。

６０４におけるステップ２でのポインティング精度の判定は、６１０におけるステップ５への入力のうちの１つである。６０６におけるステップ３及び６０８におけるステップ４を伴うステップ５への第２の入力の生成が次に記述される。

６０６におけるステップ３は、２Ｄ仮想シーン表現の中のオブジェクト毎に最適ポインティング位置を定義する。最適ポインティング位置に言及するとき、本発明は、システムユーザのある一定の好ましいアクション及び検討を考慮に入れる。これらの検討は、システムユーザがオブジェクト又は特徴物を無作為にポインティングすることなく、典型的に、オブジェクト又は特徴物の可視表面の中心、又は、関心のあるオブジェクト又は特徴物と関連付けられた目立つ特徴物をポインティングすることを含む。例えば、システムユーザが建物の矩形前壁面をポインティングしているとき、システムユーザは、前壁面の縁ではなく、前壁面の中心部分をポインティングする傾向がある。しかし、円弧又はアーチ形の場合、システムユーザにとっての最適ポインティング位置は、矩形前壁面の状況のように自明ではなく、最適ポインティング位置は、後述されるようにより慎重な定義を必要とすることがある。

本発明によれば、最適ポインティング位置は、オブジェクト又は特徴物の全体としての特徴ではなく、システムユーザの視点と、システムユーザに提示されたオブジェクト又は特徴物の可視部分とに依存する。したがって、好ましくは、本発明は、最適ポインティング位置を定義する前に、２Ｄ仮想シーン表現を生成する。

最適ポインティング位置を定義する際に、オブジェクト又は特徴物の幾何形状は唯一の考慮事項ではない。最適ポインティング位置は、例えば、テクスチャ、色、材料、又は、装飾といった注意の行き届いた特徴物及び注意の行き届いていない特徴物を含めて、目立つ特徴物、又は、オブジェクト又は特徴物の異常な特徴によって著しく影響を受けることがある。しかし、これらの特徴物は、現実世界の現象の特性に依存することがある。例えば、目立つ窓又は装飾を有する建物は、システムユーザの注意を引きつけ、この建物に関する最適ポインティング位置に重大な影響を与えることがある。別の実施例として、微視的検査に基づく分子又は分子構造の画面表示が存在する場合、ある特定の分子又は分子構造が他より目立ち、かつ、突出していると考えられ、この場合も最適ポインティング位置に影響を与えることがある。本発明によれば、これらの特徴又は特徴物は、環境の３Ｄ現実世界表現の一部として統合され、光学ポインティング位置の定義に使用されることがある。

単に実施例の目的のため、建物がこの建物に出入りするため、高さが低い中心質量のドアと、建物の前方の右側に向いた装飾馬の１２フィートの高さのブロンズ像とを有し、この馬がこの建物と関連して有名になった場合、この馬は、この建物のための最適ポインティング方向に重大な影響があると考えられることになる。

以上の点に注意して、最適ポインティング位置の定義は、システムユーザに提示されたままのオブジェクト又は特徴物の可視面の形状に依存することになる。ステップ３によれば、ステップ４に入力される定義は、以下の開示内容に基づくことになる。

最適ポインティング位置の定義は、システム管理者によって定義され、そして、前のポインティング位置の計算の結果による規則及び経験則に従う。規則及び経験則は、環境の３Ｄ表現１２６における専門知識と、シーンジェネレータ１２８及び２Ｄシーン表現１３４のランタイムでの２Ｄ仮想シーンの生成の影響とに基づいて先験的に定義される。規則及び経験則は、例えば、原型的幾何形状（Ｕ字形状、Ｌ字形状など）の組をこれらの最適ポインティング位置と共に定義し、複雑な幾何形状を細分し、各部分に対し最適ポインティング位置を定義すること、又は、所与の幾何形状に対する前のポインティング事象を分析し、これに応じて最適ポインティング位置を設定することがある。シーンジェネレータ１２８及び２Ｄシーン表現１３４によって利用される学習過程は、限定されることなく、以下の過程：１）ポインティング事象を記録し、２）ポインティング事象をオブジェクト及び特徴物上の位置と関連付け、３）各面のポインティング事象のクラスタリングに基づいて最適ポインティング位置を統計的に導出し、４）ステップ１、２及び３を繰り返すことによりオブジェクト及び特徴物のポインティング位置を精緻化することを含むことある。

ステップ４では、本発明は、システムユーザの位置と、例えば、図５の５２０における２Ｄ仮想表現において提示されたオブジェクト又は特徴物の視覚的外形とから、最適ポインティングの確率表面を判定する。

図９を参照して、規則的な形状及び不規則的な形状に関して、最適な光学的ポインティングの確率表面を判定する実施例が検討される。規則的な形状に関する最適ポインティングの確率表面の判定を検討する目的のため、規則的な形状は、正方形形状又は矩形形状を含む「凸面」をもつオブジェクト又は特徴物である。不規則的な形状に関する最適ポインティングの確率表面の判定を検討する目的のため、不規則的な形状は、円弧又はアーチを含む「凹面」をもつオブジェクト又は特徴物である。

再び図９を参照すると、一般的に９００で、規則的な形状９０４が示され、一般的に９０２で、不規則的な形状９１２が示される。好ましくは、本発明によれば、規則的な形状をしたオブジェクト又は特徴物の確率表面の判定は、最小外接矩形方法（minimum bounding rectangle method）を使用して実行されることになる。最小外接矩形方法を使用して最適ポインティング確率を計算することは、同心楕円９０９を格納する最適ポインティング領域９０８を有する最小外接矩形９０６を生じることになる。位置９１０での最適ポインティング領域９０８の中心は、最適ポインティング位置の最高確率を有することになる。この位置は、可視表面９０５ではなく、オブジェクト又は特徴物９０４の可視表面９０７に存在することになる。

好ましくは、図９では、９０２において、不規則的な形状のオブジェクト又は特徴物に関して、本発明は、不規則的な形状のオブジェクト又は特徴物を記述する等値線を使用して表面最適ポインティングの確率を判定することになる。９０２で、不規則的な形状のオブジェクト又は特徴物９１２は、同心多角形９１５を格納している最適ポインティング領域９１４を有している。領域９１４におけるこの最適ポインティング位置は、等値線９１６ということになる。

従来型の手段を使用して等値線９１６を計算すると、最適ポインティングの確率の判定は、好ましくは、人の認知特性の考慮を含むことになる。例えば、横方向ポインティングと垂直方向ポインティングとのための確率割当又は重み付けは、人には垂直次元より横次元を正確にポインティングする傾向があるため、別々に定義されることがある。したがって、この考慮を使用して、不規則的な形状９１２のための最適ポインティング位置は、等値線９１６上の９１８にあることになる。

しかし、認知的考慮は、最適ポインティングの確からしさを反映するため、システム管理者によって設定されるか、又は、デフォルト設定値として設定された確率値を有する可能性がある。しかし、その他の考慮が不規則的な形状のオブジェクト又は特徴物の最適ポインティングの確率を判定するため使用されてもよく、依然として本発明の範囲内にあることが分かる。

最適ポインティング位置が６０６でステップ３によって定義されると、この定義が６０８でステップ４に入力される。ステップ４は、２Ｄ仮想表現の中のオブジェクト毎に最適ポインティングのための確率表面を判定する。ステップ４の出力は、６１０におけるステップ５への２番目の入力である。

６１０におけるステップ５は、ポインティング方向が仮想シーン１１６の中の具体的なオブジェクト又は特徴物に向けられている信頼度のレベルを評価するために最適ポインティング判定と現実ポインティング判定との各対に関する１つずつの分布の間の対応付けの確からしさを判定する。後述されるように、ステップ５における評価は、好ましくは、評価を実施するため統計的過程を使用する。

本発明によれば、好ましくは、統計的ｔ検定が分布の対応付けを評価するため使用される。しかし、他の統計的方法が使用されてもよく、依然として本発明の範囲内にあることがわかる。

本発明によれば、統計的ｔ検定は、現実ポインティング位置と６０４におけるステップ２によるポインティングの標準偏差とによって定義される分布が６０８におけるステップ４によるオブジェクト又は特徴物の最適ポインティング表面によって定義される分布と同じである確からしさを判定することになる。

統計的ｔ検定に関して、概略的に、統計的ｔ検定は、データの変動と関連した２つの平均の間の差を比較することになる。統計的ｔ検定に関して、本発明の目的のため、好ましくは、オブジェクト又は特徴物毎に、２つの独立した比較用標本が存在することになる。１番目は、ステップ４による最適ポインティング標本であり、２番目は、ステップ２による現実ポインティング標本である。２つの標本における分散は等しくないという初期的な仮定がさらに存在する。標本は、現実ポインティング位置及び最適ポインティング位置のための代表的な座標と、これらの標準偏差とによってパラメータ化される。評価の結果として生じるｔ統計量は、母平均が異なるかどうかを検定する。このｔ統計量は、以下の式６及び７によって判定される。

但し、

であり、ここで、
μ＝各標本の正規分布の標本平均に対応する
σ＝分布の標準偏差
ｓ＝共通標準偏差の推定量
ｎ＝現実ポインティング及び最適ポインティングの代表的な標本サイズ
である。

本発明の目的のため、ｎは、システム１１０（ポインティング機器）の位置及び姿勢の標準偏差の推定をもたらすため実行された観測の回数に依存する。さらに、最適ポインティングに対するｎは、定義のため使用された方法による最適ポインティング位置のモデリングに依存する。規則及び経験則の場合、ｎは、経験則の特性に依存し、学習アルゴリズムの場合、ｎは、先行した観測の回数に依存する。

好ましくは、６１０でステップ５のプロセスを実行するとき、最適ポインティングのための各オブジェクト又は特徴物の分布は、現実ポインティングの分布と比較され、各対に関してｔ値のリストを結果として生じる。これらの結果として得られたｔ値は、有意な差が最適ポインティングと現実ポインティングの各対の２個の標本の間に存在している確率を判定するために分析され、具体的なオブジェクト又は特徴物がシステムユーザによってポインティングされている確からしさを判定することになる。

ｔ検定は、横方向、垂直方向、又は、両方の軸に関して実行されることがあり、依然として本発明の範囲内にある。統計的ｔ検定の結果は、例えば、以下の式８に従って、２つの指標に対するユークリッド距離を使用して、ポインティングの信頼性のために１つの指標の中に統合されることがある。

式中、以下の通りである。

ｔ_ｔｏｔ＝横方向と垂直方向の最適ポインティング及び現実ポインティングの標準偏差に対する全体のｔ検定結果である。

ｔ_ｌａｔ＝横方向の最適ポインティング及び現実ポインティングの標準偏差に対するｔ検定結果である。

ｔ_ｖｅｔ＝垂直方向の最適ポインティング及び現実ポインティングの標準偏差に対するｔ検定結果である。

好ましい方法は、横方向ポインティング及び垂直方向ポインティングが同等に重要ではない場合、重み付きユークリッド距離によって置き換えられることがあり、この方法は、依然として本発明の範囲内にある。

図１０を参照すると、一般的に１０００で、本発明のシステムによって使用される統計的検定の実施例が記述される。統計的ｔ検定は、ステップ５で比較を実施する好ましい方法であることがわかるが、他の統計的方法が使用されてもよく、依然として本発明の範囲内にあることが分かる。

再び図１０を参照すると、２Ｄシーン表現１００２は、ｘ軸１００６及びｙ軸１００８を有している２次元座標系１００４に基づいている。２Ｄシーン表現１００２は、可視的なオブジェクト１０１０と現実ポインティング位置１０２０とを含む。オブジェクト面が矩形形状を有する場合、最小外接矩形方法が最適ポインティングのための確率表面を判定するため使用されることがある。最小外接矩形方法を使用して、最適ポインティング領域１０１４が判定され、この領域の中心は１０１８にある。

再び図１０を参照すると、最適ポインティング位置１０１８及び現実ポインティング位置１０２０の標準偏差の対のためのｔ検定セットアップが示される。最適ポインティング１０１８及び現実ポインティング１０２０のための標準分布は、１０２２におけるｘ方向及び１０２４におけるｙ方向でステップ５に従って比較される。１０２２での分布曲線は、１０２３での現実ポインティングの横方向分布と１０２５での最適ポインティングの横方向分布との間の重なり合いの程度を示し、それによって、重なり合いのエリアは、２つの分布が対応する確率を定義する。さらに、１０２４での分布曲線は、２つの分布が垂直方向で対応する確率の程度を示す。図示されるように、現実ポインティングの垂直分布は、１０２６にあり、最適ポインティングの垂直分布は、１０２８にある。横分布と同様に、垂直分布の重なり合いは、２つの分布が対応する確率を示した。

横方向及び垂直方向の最適ポインティング分布と現実ポインティング分布とのすべての重なり合いは、オブジェクトがポインティング機器によってポインティングされる確からしさの評価のため、最適ポインティングと現実ポインティングとのすべての対応付けを提供する。

６１０におけるステップ５の比較プロセスの結果は、ポインティングが具体的なオブジェクト又は特徴物に向けられた程度を反映する信頼度指標のリストである。例えば、以下のリストは、このような結果の代表的なリストである。
対 現実ポインティングとのｔ検定 ｔ検定結果
１） オブジェクトＡに関する最適ポインティング ０．４５
２） オブジェクトＢに関する最適ポインティング ０．１８
３） オブジェクトＣに関する最適ポインティング ０．８２
４） オブジェクトＤに関する最適ポインティング ０．７５

上記リストから、番号３のオブジェクトＣは、ｔ検定の結果が最高の対応付けの確率を示すので、勝者であることになる。したがって、オブジェクトＣは、システムユーザがポインティングしている可能性が最も高いオブジェクト又は特徴物であると判定されることになる。ステップ５の結果は、ポインティングされている可能性が最も高いオブジェクト又は特徴物の識別である。このステップは、さらに、現実世界のオブジェクト又は特徴物を仮想オブジェクト又は特徴物にリンクさせる。リンク付け情報は、他の観測と、現実世界と２Ｄ仮想表現との間のリンク付けのため使用することができる。

最適ポインティング及び現実ポインティングのため本発明のシステム及び方法で用いるため適合したガウス関数及び統計的検定は、これらに関連付けられた分布異常を考慮する。例えば、建物の中央ではなく周辺をポインティングすることは、このオブジェクト又は特徴物がポインティング機器で実際にポインティングされている１つである可能性をより低くする。さらに、仮想システムの投影特性と、結果として得られる遠近図を仮定すると、システムユーザは、ポインティング光線が交差したオブジェクト又は特徴物より背景内のオブジェクト又は特徴物をポインティングしている可能性が高い。

図１１を参照すると、一般的に１１００で、２つのオブジェクトが同じポインティング方向にあるときに分布異常を考慮して、各オブジェクト又は特徴物と関連付けられた分布を評価することにより、ポインティングされている現実オブジェクトを選択する実施例が記述される。最適ポインティング位置１１０４にある１１０２におけるオブジェクトＡと、最適ポインティング位置１１０８にある１１０６におけるオブジェクトＢとは、２Ｄシーン表現の中で同じ幾何学的性質を有している。しかし、システムユーザの位置からオブジェクトＡまでの距離ｄｌは、システムユーザの位置からオブジェクトＢまでの距離ｄ２より短い。オブジェクトＡは、最適ポインティング分布１１１２及び標準分布１１１４を有している。オブジェクトＡのこれらの分布は、１１２２で重なり合う。オブジェクトＢは、最適ポインティング分布１１１６及び標準分布１１２０を有している。オブジェクトＢのこれらの分布は、１１２４で重なり合う。

再び図１１を参照すると、現実ポインティングのための分布は、オブジェクト毎に同一であるが、標準偏差は等しくない。両方のオブジェクトのための現実ポインティング方向は、厳密に同じであり、オブジェクトＢと関連付けられた分布の重なり合いは、１１２２及び１１２４でエリアを比較することにより示されるように、オブジェクトＡの場合より高程度であるので、本発明は、ポインティングされている可能性が最も高いオブジェクトとしてオブジェクトＢを識別することになる。なぜならば、このエリアは、対応する分布の確からしさに関する統計的検定の結果に対応するからである。

本発明のシステムの要素は、有線又は無線接続によって電子的に接続されることがあり、依然として本発明の範囲内にあることが分かる。

本発明のシステム及び方法の実施形態又は実施形態の一部分は、コンピュータハードウェア、ファームウェア、及び／又は、プロセッサとプロセッサによって読み取り可能な（揮発性メモリ及び不揮発性メモリ、及び／又は、記憶素子を含む）記憶媒体とをそれぞれに含むプログラマブルコンピュータ又はサーバ上で動くコンピュータプログラムで実施されることがある。コンピュータプログラムはどれでも、コンピュータに基づくシステムの内部又は外部で通信するため、高水準の手続型又はオブジェクト指向型プログラミング言語で実施されることがある。

コンピュータプログラムはどれでも、記憶媒体（例えば、ＣＤ−ＲＯＭ、ハードディスク、又は、磁気ディスケット）、又は、機器（例えば、コンピュータ周辺機器）のような製造品に記憶されることがあり、これらの記憶媒体又は機器は、実施形態の機能を実行するためコンピュータによって読まれるとき、コンピュータを構成し動作させるため汎用又は専用プログラマブルコンピュータによって読み取り可能である。実施形態又は実施形態の一部分は、コンピュータプログラムを用いて構成された機械読み取り可能な記憶媒体としてさらに実施されることがあり、実行中にコンピュータプログラム中の命令は、上述の実施形態の機能を実行するように機械を動作させる。

上述の本発明のシステム及び方法の実施形態又は実施形態の一部分は、多種多様のアプリケーションで使用されることがある。実施形態又は実施形態の一部分は、この点で限定されることはないが、実施形態又は実施形態の一部分は、数ある電子コンポーネントの中でも、マイクロコントローラ、汎用マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、縮小命令セットコンピューティング（ＲＩＳＣ）、及び、複雑命令セットコンピューティング（ＣＩＳＣ）においてメモリ機器と共に実施されることがある。さらに、上述の実施形態又は実施形態の一部分は、マイクロプロセッサによって実行されるべき電子命令を記憶するか、又は、算術演算で使用されることがあるデータを記憶するメインメモリ、キャッシュメモリ、又は、その他の型のメモリと称される集積回路ブロックを使用して実施されることもある。

説明は、いずれのコンピューティング環境又は処理環境においても適用できる。実施形態又は実施形態の一部分は、ハードウェア、ソフトウェア、又は、両者の組み合わせで実施されることがある。例えば、実施形態又は実施形態の一部分は、プログラマブルロジック（例えば、ＡＳＩＣ）、ロジックゲート、プロセッサ、及び、メモリのうちの１つ以上のような回路構成を使用して実施されることがある。

開示された実施形態への種々の変形が当業者に明白であり、後述される一般的な原理がその他の実施形態及びアプリケーションに適用される。このように、本発明は、本明細書中に示され、又は、記述された実施形態に限定されないことが意図されている。

Claims (21)

1. 現実世界シーンの中のオブジェクトがポインティング機器によってポインティングされているオブジェクトである確からしさを判定するコンピュータで実施される方法であって、
   電子ポインティング機器に前記現実世界シーンの中の関心のあるオブジェクトにポインティングさせるステップ（Ａ）と、
   前記ポインティング機器でポインティング機器の測地学的位置及びポインティング方向を生成し、前記ポインティング機器の測地学的位置及びポインティング方向と前記ポインティング機器の測地学的位置及びポインティング方向の生成に関係する標準偏差とをシステムサーバへ送信するステップ（Ｂ）と、
   前記関心のあるオブジェクトを含む前記現実世界シーンの前記オブジェクトを格納している現実世界シーンの３次元表現を地図化し、前記３次元表現を前記システムサーバへ送信するステップ（Ｃ）と、
   前記システムサーバが、
   ステップ（Ｃ）で地図化された前記３次元シーンの２次元デジタル表現であって、関心のあるオブジェクトを含む前記現実世界シーンの中の前記オブジェクトのデジタル表現を少なくとも含む２次元デジタル表現を生成するサブステップ（１）と、
   前記関心のあるオブジェクトを含む各オブジェクトに関して、前記２次元デジタル表現において、前記ポインティング機器の測地学的位置から前記関心のあるオブジェクトを含む各オブジェクトまでの距離推定値を判定するサブステップ（２）と、
   前記関心のあるオブジェクトを含む各オブジェクトに関して、前記２次元デジタル表現において、現実ポインティングの精度を判定し、サブステップ（Ｄ）（３）によってポインティングの精度を判定する際に、前記ポインティング機器の測地学的位置及びポインティング方向を生成する際に前記ポインティング機器によって引き起こされ、ステップ（Ｂ）で送信された標準偏差と、サブステップ（Ｄ）（２）で判定されたオブジェクト毎の前記距離推定値とを使用するサブステップ（３）と、
   前記関心のあるオブジェクトを含む各オブジェクトに関して、前記２次元デジタル表現において、前記関心のあるオブジェクトを含む各オブジェクトの可視部分に関係する最適ポインティング位置を定義するサブステップ（４）と、
   前記関心のあるオブジェクトを含む各オブジェクトに関して、前記２次元デジタル表現において、サブステップ（Ｄ）（４）で定義された各オブジェクトに関する定義を適用して、前記ポインティング機器の測地学的位置から最適ポインティングのための確率表面を判定するサブステップ（５）と、
   前記関心のあるオブジェクトを含む各オブジェクトに関して、前記２次元デジタル表現において、サブステップ（Ｄ）（３）で判定された現実ポインティング精度の標準偏差とサブステップ（Ｄ）（５）で判定された最適ポインティング位置の標準偏差とを比較することにより、現実ポインティング精度と最適ポインティング位置との間の数値的な対応付けを判定するサブステップ（６）と、
   前記関心のあるオブジェクトとして、サブステップ（Ｄ）（６）で判定された最高の数値的な対応付けをもつオブジェクトを選択するサブステップ（７）と、
   前記システムサーバが前記関心のあるオブジェクトの識別情報を前記ポインティング機器に通信するサブステップ（８）と、
   を実行するステップ（Ｄ）と、
   を含む方法。
2. 前記ポインティング機器と前記システムサーバとは、有線及び無線で通信する、請求項１に記載の方法。
3. 前記ポインティング機器の測地学的位置は、前記ポインティング機器の緯度、経度、高度、ピッチ及びヨーによる位置を含む、請求項１に記載の方法。
4. 前記ポインティング機器の測地学的位置及びポインティング方向を生成するステップに関係する前記標準偏差は、ポインティング機器のセンサによって引き起こされた誤差伝搬を含む、請求項１に記載の方法。
5. 前記誤差伝搬は、測地学的誤差伝搬を含む、請求項４に記載の方法。
6. 前記関心のあるオブジェクトを含む各オブジェクトに関する前記距離推定値は、前記ポインティング機器の測地学的位置から前記関心のあるオブジェクトを含む各オブジェクトの重心までの推定距離を含む、請求項１に記載の方法。
7. 前記関心のあるオブジェクトを含む各オブジェクトの可視部分は、前記ポインティング機器からの可視部分を含む、請求項１に記載の方法。
8. 前記関心のあるオブジェクトを含む各オブジェクトの確率表面を判定するサブステップは、前記ポインティング機器測地的位置から、前記関心のあるオブジェクトを含む各オブジェクトの外形に従って確率表面を判定するステップを含む、請求項１に記載の方法。
9. サブステップ（Ｄ）（６）は、前記２次元デジタル表現において、前記関心のあるオブジェクトを含む各オブジェクトに関して前記現実ポインティング精度の標準偏差を判定するステップをさらに含む、請求項１に記載の方法。
10. サブステップ（Ｄ）（６）は、前記２次元デジタル表現において、前記関心のあるオブジェクトを含む各オブジェクトに関して前記最適ポインティング位置の標準偏差を判定するステップをさらに含む、請求項９に記載の方法。
11. サブステップ（Ｄ）（６）で比較するステップは、ｔ検定を使用して、サブステップ（Ｄ）（３）で判定された前記現実ポインティング精度の前記標準偏差とサブステップ（Ｄ）（５）で判定された前記最適ポインティング位置の前記標準偏差とを比較するステップを含む、請求項１０に記載の方法。
12. 前記関心のあるオブジェクトを含む各オブジェクトに関する前記数値的な対応付けは、サブステップ（Ｄ）（３）で判定された前記現実ポインティング精度の前記標準偏差とサブステップ（Ｄ）（５）で判定された前記最適ポインティング位置の前記標準偏差との重なり合いの数値的な対応付けを含む、請求項１１に記載の方法。
13. 数値的な対応付けは、前記最適ポイント位置及び前記現実ポインティング位置を含む前記２次元デジタル表現におけるｘ軸に従って、サブステップ（Ｄ）（３）で判定された前記現実ポインティング精度の前記標準偏差とサブステップ（Ｄ）（５）で判定された前記最適ポインティング位置の前記標準偏差との間の少なくとも横方向の対応付けを含む、請求項１２に記載の方法。
14. 数値的な対応付けは、前記最適ポイント位置及び前記現実ポインティング位置を含む前記２次元デジタル表現におけるｙ軸に従って、サブステップ（Ｄ）（３）で判定された前記現実ポインティング精度の前記標準偏差とサブステップ（Ｄ）（５）で判定された前記最適ポインティング位置の前記標準偏差との間の少なくとも垂直方向の対応付けを含む、請求項１２に記載の方法。
15. 現実世界シーンの中のオブジェクトがポインティング機器によってポインティングされているオブジェクトである確からしさを判定するシステムであって、
    ポインティング機器の測地学的位置及びポインティング方向を生成し、前記ポインティング機器の測地学的位置及びポインティング方向と前記ポインティング機器の測地学的位置及びポインティング方向の生成に関係する標準偏差とをシステムサーバへ送信するポインティング機器と、
    システムサーバと、
    を備え、
    前記システムサーバは、
    前記関心のあるオブジェクトを含むオブジェクトをもつ現実世界シーンを格納する環境の３次元表現を受信し処理する地図化モジュールと、
    前記地図化モジュールに接続し、前記地図化モジュールからの出力を受信し、前記関心のあるオブジェクトを含むオブジェクトをもつ前記現実世界シーンの２次元デジタル表現を生成し、前記関心のあるオブジェクトを含む各オブジェクトに関して、前記２次元デジタル表現において、前記ポインティング機器の測地学的位置から前記関心のあるオブジェクトを含む各オブジェクトまでの距離推定値を判定するシーン・ジェネレータ・モジュールと、
    前記関心のあるオブジェクトを含む各オブジェクトに関して、前記２次元デジタル表現において、現実ポインティングの精度を判定し、ポインティングの精度を判定する際に、前記ポインティング機器の測地学的位置及びポインティング方向を生成する際に前記ポインティング機器によって引き起こされ、前記ポインティング機器から送信された標準偏差と、前記距離推定値とを含む、ポインティング精度モジュールと、
    前記関心のあるオブジェクトを含む各オブジェクトに関して、前記２次元デジタル表現において、前記関心のあるオブジェクトを含む各オブジェクトの可視部分に関係する最適ポインティング位置を定義し、前記関心のあるオブジェクトを含む各オブジェクトに関して、前記２次元デジタル表現において、前記ポインティング機器の測地学的位置から前記関心のあるオブジェクトを含むオブジェクトまで最適ポインティングの確率表面を定義する最適ポインティングモジュールと、
    前記２次元デジタル表現において、前記関心のあるオブジェクトを含む各オブジェクトに関して、現実ポインティング精度の標準偏差と最適ポインティング位置の標準偏差とを比較することにより、前記関心のあるオブジェクトを含む各オブジェクトに関して、現実ポインティング精度と最適ポインティング位置との間の数値的な対応付けを判定し、比較モジュールによる比較に従って、前記関心のあるオブジェクトとして、最高の数値的な対応付けをもつオブジェクトを選択する比較モジュールと、
    前記関心のあるオブジェクトの識別情報を前記ポインティング機器モジュールへ送信することを含み、前記ポインティング機器と通信する通信モジュールと、
    をさらに備える、システム。
16. 前記ポインティング機器は、モバイル機器を含む、請求項１５に記載のシステム。
17. 前記ポインティング機器と前記システムサーバとは、有線又は無線で通信する、請求項１５に記載のシステム。
18. 前記ポインティング機器は、ポインティング機器の測地学的位置及びポインティング方向を判定するセンサを含む、請求項１５に記載のシステム。
19. ポインティング機器センサは、ポインティング機器の測地学的位置誤差を引き起こす、請求項１８に記載のシステム。
20. ポインティング機器の測地学的位置は、前記ポインティング機器の緯度、経度、高度、ピッチ及びヨーによる位置を含む、請求項１９に記載のシステム。
21. 前記比較モジュールは、ｔ検定を使用して、比較を検定する検定モジュールを含む、請求項１５に記載のシステム。

Images