JP5436574B2 - ポインティングによって現実世界のオブジェクトとオブジェクト表現とをリンクさせるシステム及び方法 - Google Patents
ポインティングによって現実世界のオブジェクトとオブジェクト表現とをリンクさせるシステム及び方法 Download PDFInfo
- Publication number
- JP5436574B2 JP5436574B2 JP2011542587A JP2011542587A JP5436574B2 JP 5436574 B2 JP5436574 B2 JP 5436574B2 JP 2011542587 A JP2011542587 A JP 2011542587A JP 2011542587 A JP2011542587 A JP 2011542587A JP 5436574 B2 JP5436574 B2 JP 5436574B2
- Authority
- JP
- Japan
- Prior art keywords
- pointing
- interest
- pointing device
- standard deviation
- optimal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/18—Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals
- H04W4/185—Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals by embedding added-value information into content, e.g. geo-tagging
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Position Input By Displaying (AREA)
Description
関連する出願への相互参照
本願は、合衆国法典第35巻第119条(e)の下で、2008年12月22日付けで出願された、名称が“System and Method for Providing Feedback by Pointing at Object of Interest”であり、参照によって本明細書中に内容全体が組み込まれる米国仮出願第61,139,907号の優先権を主張する。
本願は、合衆国法典第35巻第119条(e)の下で、2008年12月22日付けで出願された、名称が“System and Method for Providing Feedback by Pointing at Object of Interest”であり、参照によって本明細書中に内容全体が組み込まれる米国仮出願第61,139,907号の優先権を主張する。
本発明は、一般に、現実世界の中のオブジェクト(対象物)を識別し、これらのオブジェクトを仮想環境の中の対応する表現にリンクさせるコンピュータに基づくシステム及び方法に関する。より具体的には、本発明は、オブジェクト又は特徴物へのポインティングによって、現実世界においてシステムユーザに提示され、システムユーザによりポインティングされたオブジェクト又は特徴物を2次元仮想表現の中のこれらのオブジェクト又は特徴物の表現と、識別と、このような識別の信頼度及び精度の評価とにリンクさせる分散型のコンピュータに基づくシステム及び方法に関する。
近年、ポインティング機器(ポインティングデバイス)は、ロケーション・ベース・サービス(LBS)、ゲーミング、娯楽、及び、拡張現実アプリケーションのような様々な分野における異なったアプリケーションのため人気が高まっている。例えば、LBSは、地理的オブジェクト及び特徴物を識別するためポインティングを使用し、これらのオブジェクト又は特徴物に関する情報をシステムユーザへ返送する。
ゲーミングでは、ポインティングは、任天堂のWii(登録商標)コンソールのようなハンドヘルド型ジョイスティックのような機器で人気が高まっている。Wiiは、任天堂株式会社の登録商標である。これらのジョイスティックのような機器は、システムユーザがゲームと連動するため運動を行うことを可能にする。これらのゲーミングシステムでは、動きベクトル(運動ベクトル)は、ハンドヘルド機器に内蔵されたセンサによって獲得される。これらの動きベクトルは、ゲームエンジンに送られ、ゲームシナリオの内部でジェスチャをエミュレートするため使用され、現実世界から仮想ゲーミング環境へのアクションの地図化(マッピング)を可能にする。
従来型のレーザポインタは、観衆の注意を画面に、又は、プレゼンテーションが行われている環境内に表示された具体的なオブジェクトに向けさせるため長期に亘って使用されている。この実例は、「ポインティング」が多種多様の用法及び用途を有していることをさらに詳述する。これらの用法及び用途は、位置を推定し、ポインティングの方向と、ポインティングジェスチャの加速度ベクトルとを判定する能力を高めた新しいハンドヘルド機器が市場に出るときに限り増大することになる。
従来型の「ポインティング」システムに付随する問題のうちの1つは、これらのシステムが不正確であるという点である。これは、主として、「ポインティング」の行為が本質的に曖昧であることが原因である。この曖昧さは、オブジェクトが互いに接近しているか、又は、重なり合うとき、ポインティング機器がどのオブジェクト又は特徴物に実際に向けられているかが必ずしも明らかではないためである。このようにポインティングによってオブジェクト又は特徴物を正確に識別できないことには多数の理由があるが、この不正確さの主な理由は、「視野方向」と「ポインティング方向」とが必ずしも位置合わせされていないことである。よって、ポインティング機器の姿勢から導出される光線は、観測者(システムユーザ)が実際にポインティングしているオブジェクト又は特徴とは異なるオブジェクト又は特徴物を識別することがある。この誤り又は不確実さは、観測者(システムユーザ)が自分の視線をポインティング方向と位置合わせできないことに原因がある。
ポインティング不確実性の第2の主要な理由は、ポインティングのため使用される機器の不正確さに基づいている。このことは、ポインティング機器の位置を判定するセンサと、ポインティングの方向を提供する責任を担うセンサとに当てはまる。ポインティングの方向は、ポインティング機器の姿勢を指す。
2組のセンサの読み取り値は、関心のあるオブジェクト又は特徴物を識別するため使用される光線を導出するため結合する。これらの型のセンサの両方は、典型的に、現実世界環境の中でオブジェクト又は特徴物をポインティングすることによってこれらのオブジェクト又は特徴物を識別することを試みるときに考慮される誤差及び不確定性に関するある一定の特性を有している。
ポインティング不正確さ及び不確定性の別の理由は、多くの場合に人は、ポインティング機器の誤差を補償するために、関心のあるオブジェクト又は特徴物の口頭での説明のような認知過程に頼ることである。しかし、従来型の計算ポインティングシステムは、このような認知能力を有していない。したがって、システムユーザによる認知過程の使用は、何度も間違ったオブジェクト又は特徴物識別、又は、不正確なポインティング結果をもたらす。
本発明は、従来型システムの問題を解決し、このような従来型システムの欠陥を補い、ポインティングによって関心のあるオブジェクト又は特徴をより正確に識別するようにポインティングに基づくシステムを強化するシステム及び方法を提供する。
本発明は、システムユーザの3次元(3D)環境の中でシステムユーザによってポインティング機器を用いてポインティングされた一意のオブジェクト又は特徴物を同じオブジェクト又は特徴物を含む2次元(2D)表現の中で選択し識別するシステム及び方法である。本発明は、ポインティング機器の位置及びポインティング方向を判定するために位置・姿勢センサを含むモバイル機器、好ましくは、ハンドヘルド機器に組み込まれることがある。本発明を組み込むモバイル機器は、システムユーザの現実世界環境に存在するか、又は、出現する静的な及び動的なオブジェクト及び特徴物とを表現する能力をもつ仮想的なコンピュータに基づくシステムとの無線通信のため適合することがある。本発明を組み込むモバイル機器は、システムユーザの環境に関する情報を処理し、ポインティング精度及び信頼度の具体的な指標を計算する能力をさらに有することになる。
本発明を使用して、システムユーザは、十分な精度でオブジェクト又は特徴物をポインティングし、ポインティング機器がポインティングしている最も確からしいオブジェクト又は特徴物を識別するためにセンサ誤差を考慮することがある。さらに、本発明を使用して、システムユーザは、ハンドヘルド機器センサによる不正確な位置及び方向の読み取り値が原因となって生じる不確実さ又は誤差と比べてポインティングの際の不確実さが最小限になるように、自分の視野方向とハンドヘルド機器のポインティング方向とを位置合わせできることになる。
本発明を組み込むハンドヘルド機器は、関心のあるオブジェクト又は特徴物をポインティングするときシステムユーザの見え方を考慮することにより人の視覚の特性を補う。これらの考慮事項は、本発明のオブジェクト識別及び信頼度評価プロセスを著しく高める。
本発明は、所定の時間及び位置におけるシステムユーザの視野の生成のような知覚及び認知メカニズムのモデリングと、この視野内のオブジェクト及び特徴物のグルーピング(例えば、建物の集合が視覚的シーンの中で区別できるようになる)とを含む。この知覚及び認知メカニズムのモデリングは、本発明がオブジェクトの具体的な装飾又は特徴物、又は、識別の目的のためシステムユーザによって1つの実体として認識されたオブジェクトのグループをポインティングすることを可能にさせる。
本発明は、正確なオブジェクト又は特徴物識別のため、視野内のオブジェクトの識別に由来したポインティングの不確実さとポインティング装置のセンサの不正確さに由来した不確実さとを本発明のシステム及び方法に統合することを容易にする。このプロセスは、2D仮想表現において、3D環境に存在するオブジェクト又は特徴物を現実世界の中のこのようなオブジェクト又は特徴物をポインティングすることにより識別するため使用されることがある。このプロセスは、2D仮想表現の中に正確に表現された3D現実世界表現に主に基づいている。
本発明は、単一の空間基準系、例えば、世界測地系84(WGS84)に限定されない。本発明は、オブジェクト又は特徴物の座標が複数の基準系の間で変換されるように構成されることができる。例えば、このような変換は、システムユーザが2Dテレビ画面又は他の表示機器上で3Dオブジェクト又は特徴物をポインティングすることを必要とし、依然として正確なオブジェクト識別を実施することがある。この場合、システムユーザ及び2Dテレビ画面は、絶対基準系に位置し、2Dテレビ画面上のオブジェクト又は特徴物は、画面の局所基準系に位置している。システムユーザと2Dテレビ画面との間の空間コンフィギュレーション(空間配置)と、2Dテレビ画面上に3Dオブジェクトを表示するため使用される局所座標系とが既知であると仮定すると、本発明は、ポインティング機器を使用して2Dテレビ画面上のオブジェクト又は特徴物を識別することができる。
本発明は、システムユーザの3D環境又は2D画面に出現する移動オブジェクト又は特徴物を識別する能力をさらに含む。この能力は、仮想的なコンピュータに基づく表現の中にも表現されている移動オブジェクト又は特徴物によって可能にさせられ、このような移動オブジェクト又は特徴物は、これらの位置及び移動方向がリアルタイムで更新される。本発明によれば、これらの移動オブジェクト又は特徴物は、システムユーザの可視的3D環境の2D仮想表現の中で統合されるので、オブジェクト又は特徴物識別の目的のため利用できるようにされる。
本発明のシステム及び方法は、図面を参照してより詳細に記述される。
本発明はシステムユーザの3次元(3D)現実世界の環境中の一意のオブジェクト又は特徴物を同じオブジェクト又は特徴物を含むこの環境の2次元(2D)仮想表現において選択し識別するシステム及び方法である。好ましくは、本発明は、ハンドヘルド機器の位置及びポインティング方向を判定するために位置・姿勢センサを含むハンドヘルド機器に組み込まれる。好ましくは、本発明を組み込むハンドヘルド機器は、システムユーザの現実世界環境に存在するか、又は、出現するオブジェクト及び特徴物の静的表現及び動的表現を含むコンピュータに基づくシステムとの無線通信のため適合している。本発明を組み込むハンドヘルド機器は、システムユーザの現実世界環境に関係する情報を処理し、ポインティング精度及び信頼度の具体的な指標を計算する能力をさらに有している。
図1を参照すると、一般的に100で、本発明を実施する代表的なシステムが記述される。図1では、現実世界は、システムユーザ要素104及び環境要素106を含む102で示される。システムユーザ要素104におけるシステムユーザ114は、環境要素106を体験する。図1は、システムクライアント110及びシステムサーバ112を含むシステム108をさらに示す。これらの要素の相互作用及び相互接続が次に記述される。
概略的に、システムクライアント110は、システムクライアント110を現実世界における視覚的シーン116の中のこれらのオブジェクト又は特徴物118にポインティングさせることに基づいて、システムユーザ114が視覚的シーン116の中で認識した(要素118によって表現された)オブジェクト又は特徴物を2D仮想表現におけるこれらのオブジェクト又は特徴物の対応物にリンクさせる。仮想シーン116の中のオブジェクト又は特徴物は、環境122の中で現実世界現象120を形成する。本発明の方法を実施する際に、好ましくは、クライアントシステムのセンサ又は他のシステムのセンサの場合のように、システムコンポーネントの不正確さを補い、そして、ポインティングに基づいて関心のあるオブジェクト又は特徴物の信頼できる識別を確実にするために人の視覚の投影特性を補う。
システムユーザ要素104は、視覚的シーン116の中で識別されるべき関心のあるオブジェクト又は特徴物118を認識するシステムユーザ114を含む。システムユーザ114は、環境122に位置し、現実世界現象120を観測する。視覚的シーン116は、システムユーザ114が認識する環境122の少なくとも一部を形成する。視覚的シーン116は、システムクライアント110の位置及びポインティング方向に基づくことになる。
視覚的シーン116及び現実世界現象120に関係する情報は、シーン(場面)生成のためシステムサーバ112に入力される。これは、視覚的シーン情報が3D表現形式で126においてシステムサーバ112に地図化された環境122からの情報の一部であることによって行われる。3D表現は、134でシステムユーザの環境の2D仮想シーン表現を生成するためにシーンジェネレータ(場面発生器)128に入力される。システムサーバ112は、システムユーザがポインティングしている最も確からしいオブジェクト又は特徴物を識別するためにクライアントサーバ110のポインティング精度をさらに評価することになる。
好ましくは、システムクライアント110は、システム・ユーザ・インターフェイスと、絶対3D基準系(例えば、GPS用のWGS84、すなわち、屋内ポジショニングシステムのための局所座標系)の内部の現在位置を生成するセンサと、絶対基準系に関してピッチ及びヨーを表現する2値ベクトルとしてポインティング方向を生成するセンサとを含む。システムクライアント110のこれらの測定量は、ポジショニング及びポインティング機器124によって処理される。
測地学的用語において、ピッチ及びヨーは、仰角φ及び方位角θと呼ばれることが分かる。さらに、好ましくは、システムクライアント110は、時間判定用のモジュール、例えば、システムクロックと、システムサーバと通信するモジュールとを含む。システムサーバ112と通信するモジュールには、限定されることなく、WiFi、HSDPA、GSM、EDGE、UMTS、CDMA2000、及び、WiMAXのような無線通信方法が含まれる。
システムサーバ112を参照すると、システムサーバは、環境及び現象の3D表現126でシステムユーザの周囲の時空間表現と、システムユーザ114によって認識されたままであり、システムクライアント110と通信するためのモジュールから入力された情報に基づいて、現在の視覚的シーン116の注釈付きの2Dシーン表現134を生成するシーンジェネレータ128とを含む。直前に記述された3D表現の時間的特性は、本発明が現在可視的であり、及び/又は、視覚的シーンの中を移動しているオブジェクト又は特徴物をポインティングし、識別することを可能にさせる。システムサーバ112は、(i)現実ポインティングの確率値及び最適なポインティングの確率値を導出し、(ii)これらの確率に統計的検定を実行し、そして、(iii)システムクライアント110を介してシステムユーザ114にフィードバックを提供する130、132、136及び138でのプロセスをさらに含む。本発明の方法は、図1に示されたシステム要素の観点で、続いて詳細に記述される。
図2を参照すると、一般的に200で、本発明による好ましいワークフローが示される。このワークフローは、システムクライアント110でポインティングされている最も確からしいオブジェクト又は特徴物の識別のため、図1に示されたシステム要素によって実施される。概略的に、図2によれば、(i)202で、ポインティング機器、すなわち、クライアントサーバ110の位置及び姿勢を獲得し、獲得された情報をシステムサーバ112へ提出し、(ii)204で、システムサーバの中のシステムユーザの3D時空間表現からシステムユーザによって認識された視覚的シーンの2Dシーン表現を生成し、(iii)208で、2D仮想シーン表現から最適ポインティングの確率表面(probability surface)の組を生成し、(iv)206で、システムユーザの位置から3D表現の中のオブジェクト又は特徴物までの距離を推定し、オブジェクト又は特徴物の推定された距離で確率楕円の組を計算し、現実ポインティング精度(誤差伝搬)を評価し、(v)210で、個別のオブジェクト又は特徴物毎に、最適ポインティング及び現実ポインティングに対する確率の対を比較し、(vi)212で、ポインティング機器でポインティングされている可能性が最も確からしいオブジェクト又は特徴物に関して、ランキングを行い、フィードバックをシステムユーザに提供する。システムコンフィギュレーション及びワークフローが次により詳細に記述される。
人は毎日現実世界の中のオブジェクトをポインティングする。人の視覚とポインティングとは関係しているが、ポインティングは、必ずしも視覚に形を変えない。システムユーザを取り囲む環境的シーンは、視覚を用いるかどうかとは無関係に、現実世界の3D表現又はモデルからシステムサーバ112によって生成され、記述される。シーン生成は、環境及び現象の3D表現126に入力された3D表現の投影2D仮想表現への地図化に対応する。投影2D仮想表現では、オブジェクト又は特徴物は、このようなオブジェクト又は特徴物の可視部分を示す面又は辺で構成される。この2D仮想表現は、システムユーザ114の現在の視覚的シーン116のコンフィギュレーションを表す。視覚的シーン116は、建物又は都市特徴物のような静的オブジェクトと、さらに、自動車又はボートのような動的(移動)オブジェクトとを含む。2D仮想表現は、システムユーザ114の視覚的シーンの中で、特に、オブジェクト又は特徴物の距離、可視性、及び、オブジェクト又は特徴物のオクルージョン(遮蔽物)の観点で制限をさらに獲得する。本発明によれば、2D仮想表現と、システムクライアント110のポインティング方向とに基づいて、計算ステップの組がシステムクライアント110でポインティングされているオブジェクト又は特徴物を実質的な精度で識別するために実行されることがある。
本発明の目的のため、シーン生成は、人の視覚系の計算上の近似である。人の視覚系は、人が環境からの情報を理解し、対応するオブジェクト又は特徴物をポインティングすることを可能にする。図3は、人の視覚系に基づくシーン生成の光学的原理を示す。
図3を参照すると、一般的に300で、人の眼308が3次元座標系305と、観測された現象、すなわち、建物318、貯蔵庫320及び分子構造322とに関して示される。図3における現象としての分子構造の存在は、関心のあるオブジェクト又は特徴物が大規模のオブジェクト又は特徴物に限定されないことを実証するため設けられている。したがって、本発明は、例えば、顕微鏡を使用して、数ある小さいオブジェクト又は特徴物の中で関心のあるオブジェクト又は特徴物として、非常に小さいオブジェクト又は特徴物を識別するため使用されることがある。
3次元座標系305は、x軸302と、y軸304と、z軸306とを含む。眼208は、角膜310と、レンズ312と、網膜314とを明らかにする。眼308に関して示されるように、レンズ312の焦点309は、3次元座標系305の内部に位置付けられる。眼要素は、建物318、貯蔵庫320及び分子構造322を含む3D現実世界シーンの網膜314上の2D検知像を与えるため使用される。
網膜314上の像は、システムユーザがポインティングする観測された現実世界現象の知覚表現である。3D現実世界オブジェクト又は特徴物から網膜上の2D像への投影変換は、「視覚的遠近法」である。この視覚的遠近法は、観測者が被観測オブジェクトからある一定の距離に位置しているという仮定のもとに作用する。オブジェクト又は特徴物がより遠ざかると、オブジェクト又は特徴物の角直径、視角が減少するので、オブジェクト又は特徴物は、より小さく見える。オブジェクト又は特徴物の視角は、オブジェクト又は特徴物の高さを底辺としてもつ三角形によって眼の場所に範囲を定められた三角形である。したがって、オブジェクト又は特徴物が眼から遠ざかるにつれて、視角はより小さくなる。
図4を参照すると、一般的に400で、視角への距離の影響は、人の視覚系に関係するものとして記述される。太陽と月が並んで置かれる場合、太陽は月より何倍も大きいことになる。しかし、図4を参照すると、太陽と月は、太陽と月の視角が同じであるため、同じサイズで見える。
再び図4を参照すると、視点402から、観測者は、光線408及び410によって範囲を定められた太陽406を見ることになる。これらの光線は、視点402と太陽406との間の距離を仮定すると、視点402の周りの点線円404に視角412を形成することになる。視点402から、視点402に太陽より遙かに近い月414は、光線416及び418によって境界を定められる。光線416及び418は、点線円404に視角412と同じ視角である視角420を形成する。したがって、
∠月=∠太陽
であるとき、月及び太陽は、太陽の方が月より遙かに大きいにもかかわらず、視点402から同じサイズに見えることになる。
∠月=∠太陽
であるとき、月及び太陽は、太陽の方が月より遙かに大きいにもかかわらず、視点402から同じサイズに見えることになる。
オブジェクトの距離と見かけの高さとの間の関係は線形ではない。例えば、オブジェクト又は特徴物が眼に実際に非常に接近し、仮想的に眼に接触する場合、このオブジェクト又は特徴物は、眼の視力の範囲に基づいて無限大の高さに見えることになる。
再び図1を参照すると、関心のあるオブジェクト及び特徴物(要素118)を格納している視覚的シーン116を含む3D表現及び現象126における環境の3Dモデルは、シーンジェネレータ128で、3Dモデルの2D仮想表現に変換される。この3Dモデルの2D仮想表現は、本発明のプロセスの残りのステップを実行する入力を形成する。
2D仮想表現の計算上の生成は、現実世界シーンの3D表現とこの3D表現の中のオブジェクト又は特徴物とを2Dビュー平面(表示平面)に投影する投影変換を使用して実行されることになる。現実世界についての人の視覚のより正確な模倣のため、3D表現の変換は、球面2D表現への投影になる。球面2D表現は、本発明の範囲に含まれるとみなされることが分かる。
図5を参照すると、一般的に500で、現実世界シーンの3D表現から2D仮想表現への変換が検討されることになる。図5では、3次元座標の座標系502がx軸504、y軸506、及び、z軸508を用いて示される。システムユーザ114(図1)は、3次元座標系502の内部の位置510に示される。510で、システムクライアント110のポインティング方向が光線512に沿って示される。したがって、510における視点から、ポインティング方向512を用いて、2D仮想表現520が作成されることになる。2D仮想表現は、現実世界の中でシステムユーザ114によって観測されたオブジェクト及び特徴物の平坦な縮小されたバージョンである。
生成された2D仮想表現520は、530においてより大きい図で示される。2D仮想シーン表現で観測されるようなオブジェクト又は特徴物は、現象、すなわち、建物514、貯蔵庫516、及び、分子構造518の可視部分になる。より具体的には、2D仮想表現520は、建物514、貯蔵庫516、及び、分子構造518の可視部分の投影された輪郭を示す。さらに、ポインティング方向(光線512のポインティング位置)が522に示される。
上述の通り、オブジェクト又は特徴物の全体ではなくオブジェクト又は特徴物の輪郭だけが視点510から見えることになる。したがって、スクリーンジェネレータ128によって生成された2D仮想表現は、最適ポインティングの確率及び現実ポインティングの確率が本発明のプロセスに応じて評価される基礎を形成する。さらに、最適ポインティング及び現実ポインティングと関連付けられた確率に基づいて、システムクライアント110によってポインティングされているオブジェクト又は特徴物が判定される。本発明のオブジェクト識別プロセスが次により詳細に記述される。
本発明によれば、本発明のプロセスのオブジェクト識別部は、スクリーンジェネレータ128で生成され、2Dシーン表現134で提供された2D仮想表現に適用される。本発明によるオブジェクト識別プロセスは、好ましくは、少なくとも以下の5つのステップ、すなわち、(1)116で仮想シーンにおいてシステムユーザから個別のオブジェクト又は特徴物までの距離を計算するステップと、(2)誤差伝搬(error propagation)を使用して個別のオブジェクト又は特徴物にポインティングする確率楕円を計算するステップと、(3)可視的なオブジェクト又は特徴の面に最適ポインティング位置を定義するステップと、(4)オブジェクト又は特徴物上の最適ポインティングのための確率表面を計算するステップと、(5)オブジェクト又は特徴物とシステム110のポインティング方向との間の対応付けを判定するため統計的検定を実施するステップと、を含む。これらのステップは、図6にフロー図形式で示され、これらのステップは、図7〜11を参照して説明されることになる。
図6は、一般的に600で、オブジェクト識別のプロセスのステップを示す。602におけるステップ1は、2D仮想表現の中の各オブジェクト又は特徴物に関して、システムユーザの位置からの距離を計算する。好ましくは、ステップ1は、シーンジェネレータ128及び2Dシーン表現134で実行される。602におけるステップ1の出力は、604におけるステップ2に入力される。604におけるステップ2は、2D仮想表現の中の各オブジェクト又は特徴物に関して、誤差伝搬を使用して現実ポインティングの精度を計算する。好ましくは、ステップ2は、シーンジェネレータ128、2Dシーン表現134、及び、ポインティングの位置及びポインティング精度のリスト130で実行される。
好ましくは、ステップ1及び2の実行と並行して、オブジェクト識別のためのプロセスは、606におけるステップ3と608におけるステップ4とを実行する。606におけるステップ3は、2D仮想表現の中の各オブジェクト又は特徴物に関して、最適ポインティング位置を判定する。好ましくは、606におけるステップ3は、シーンジェネレータ128及び2Dシーン表現134で実行される。
606におけるステップ3の出力は、608におけるステップ4に入力される。608におけるステップ4は、2D仮想表現の中の各オブジェクトに関して、最適ポインティングのための確率表面を計算する。好ましくは、608におけるステップ4は、シーンジェネレータ128及び2Dシーン表現134で実行される。
604におけるステップ2の出力と、608におけるステップ4の出力とは、610におけるステップ5に入力される。ステップ610におけるステップ5は、最適ポインティングと現実ポインティングとの各対に関して、1つずつの分布の間の対応付けの確からしさを計算する。610におけるステップ5は、精度評価器136及びターゲット候補のソート済みリスト138で実行される。
システムサーバ112に示された要素のそれぞれは、別個のモジュールでもよく、又は、1つ以上の要素に統合されてもよく、依然として本発明の範囲内にあることが分かる。
図7を参照すると、一般的に700で、602におけるステップ1(図6)によるシステムユーザの位置からオブジェクト又は特徴物までの距離推定値の計算が記述される。ステップ1によれば、オブジェクト又は特徴物までの距離は、システムユーザの位置の座標とオブジェクト又は特徴物の可視エリアを表現する補助座標との関数として推定される。図7では、システムユーザの位置は702に示され、補助座標は、立方体704の可視表面と関連付けられることになる。702でのシステムユーザの視点(POV)からオブジェクト又は特徴物の可視頂点のそれぞれへの直線投影、すなわち、頂点1、2、3、4、5、6及び7への直線投影が示される。直線投影の1つずつは、オブジェクト又は特徴物毎に補助座標を計算するため使用される。オブジェクト又は特徴物の可視部分、本事例では、立方体704だけが距離の推定に寄与し、したがって、8における頂点は使用されない。
以下の式1は、視覚的シーン116のような視覚的シーンの中のオブジェクト又は特徴物の距離推定のための補助座標を計算するため使用される。式1は、
であり、式中、
xPaux=3次元座標系での補助座標のx座標
yPaux=3次元座標系での補助座標のy座標
zPaux=3次元座標系での補助座標のz座標
n=各オブジェクト又は特徴物の可視頂点の個数(図7では、n=7)
Paux=補助座標
である。
システムユーザのPOV704からオブジェクト又は特徴物の補助座標Pauxまでの距離d0は、式2:
に記載されるような2つの座標間のユークリッド距離に従い、式中、
xPaux=式1から
yPaux=式1から
zPaux=式1から
xPOV=POVにおけるシステムユーザのx座標
yPOV=POVにおけるシステムユーザのy座標
zPOV=POVにおけるシステムユーザのz座標
である。
xPaux=3次元座標系での補助座標のx座標
yPaux=3次元座標系での補助座標のy座標
zPaux=3次元座標系での補助座標のz座標
n=各オブジェクト又は特徴物の可視頂点の個数(図7では、n=7)
Paux=補助座標
である。
システムユーザのPOV704からオブジェクト又は特徴物の補助座標Pauxまでの距離d0は、式2:
xPaux=式1から
yPaux=式1から
zPaux=式1から
xPOV=POVにおけるシステムユーザのx座標
yPOV=POVにおけるシステムユーザのy座標
zPOV=POVにおけるシステムユーザのz座標
である。
再び図7を参照すると、距離d0は、702におけるPOVから、頂点1、2、3、4、5、6及び7によって境界が定められた表面の重心に位置している708における補助座標Pauxまでの距離である。補助座標708は、頂点1、2、3、4、5、6及び7の重心におけるこの位置がシステムユーザ位置とオブジェクトの位置との間の知覚された距離を表すので、この位置に位置を合わされることになる。602でのステップ1によるこの距離d0の計算に続いて、この計算は、604におけるステップ2へ入力される。
上述の通り、本発明のプロセスである604におけるステップ2で、2D仮想表現の中の各オブジェクト又は特徴物に関する現実ポインティングの精度が好ましくは誤差伝搬を使用して計算される。
システムクライアント110のポインティング方向に基づくポインティングの精度は、システムクライアント110によるセンサ測定値と、ステップ1(602)で計算された距離d0との精度によって影響を受ける。ステップ2で組み込まれた誤差伝搬の考慮は、測地学的誤差伝搬を含む。さらに、センサに関するポインティングの不確実さの判定は、好ましくは、センサと関連付けられた個別の誤差の原因を明らかにする。
センサ測定値に関する誤差原因の候補は、限定されることなく、緯度、経度、高度、方位角、及び、仰角の測定量と関連付けられたセンサ誤差を含む。これらのセンサ測定値及び距離d0は、現実ポインティング精度を判定するためにこのようなオブジェクト又は特徴物毎に、代表的な座標を計算するため使用されることになる。代表的な座標は、システムユーザ114が視覚的シーン116の中の具体的なオブジェクト又は特徴物をポインティングしているという仮定に基づいて、全体的な標準偏差への1つずつの個別の誤差原因の影響の判定を可能にさせる。
典型的に、「標準偏差」は、統計的結論における信頼度を与えることが意図されている。しかし、本発明によれば、「標準偏差」は、オブジェクト又は特徴物識別のための確率論的方法の基礎にある分布を特徴付けるため使用されることになる。本発明による代表的な座標の標準偏差は、誤差伝搬の結果であり、代表的な座標を計算するため使用された関数の偏微分によって計算できる。本発明によれば、測地学的誤差伝搬は、n個の変数をもつ関数fに関して式3:
によって判定され、式中、
σi=対応する変数の標準偏差
=個別の変数の不確実さが関数の標準偏差に与える影響を記述する偏微分
である。
σi=対応する変数の標準偏差
=個別の変数の不確実さが関数の標準偏差に与える影響を記述する偏微分
である。
図8を参照すると、一般的に800で、測地学的誤差伝搬の例示的な判定が記述される。図8では、3次元座標系802は、x軸804、y軸806及びz軸808を有している。原点での点p810は、システムユーザのPOVを表す。点o814は、判定されるべき代表的な座標を表し、点oは、システムユーザの点p810から距離d0812dだけ離されている。図示されるように、方位角θは、816に示され、仰角φは、818に示される。さらに、3次元の点o814は、2次元xy平面内の点p’822に写像する。
図8によれば、関心のあるオブジェクト又は対象物の代表的な座標を判定する変数は、座標xp、yp、zpを有している点p810におけるシステムユーザ位置の座標と、816におけるヨー、方位角θと、818におけるピッチ、仰角φと、オブジェクト又は特徴物までの距離d0812とを含む。本発明の目的のための標準偏差は、位置座標及び距離のためのメトリック距離の観点でもよく、ピッチ及びヨーのためのラジアル距離の観点でもよい。例えば、メトリック距離は、σx=5mによって表現され、ラジアル距離は、σΨ=0.5ラジアンによって表現されることがある。
式3及び4を仮定すると、システムユーザが具体的なオブジェクト又は特徴物をポインティングしている確からしさを判定するため使用されることになる代表的な座標の標準偏差は、好ましくは、式5:
によって計算されることになる。
本発明の目的のため、式5によって標準偏差を判定する際に、特別な変数が利用できない場合、この変数は定数として見なされることになる。したがって、実際的な問題として、このような変数の偏微分は省略されることになる。例えば、距離d0のための標準偏差が未知である場合、距離d0の偏微分はこの判定中に含まれない。
本発明に従ってポインティング精度を判定する際に、主要な焦点は、オブジェクト又は特徴物と関連付けられたポインティングの標準誤差を推定する測地学的誤差伝搬の適用にある。したがって、上記式による距離推定関数及び座標計算関数は、他の関数又は推定方法によって置き換えられることがあり、依然として本発明の範囲内にある。例えば、代替的な関数は、限定されることなく、(i)複数の空間基準系に亘る変換を使用してポインティング精度の標準偏差を判定すること、又は、(ii)ポインティング精度の標準偏差がさらなる処理のため局所座標系と位置合わせされなければならないことを含む。
604におけるステップ2でのポインティング精度の判定は、610におけるステップ5への入力のうちの1つである。606におけるステップ3及び608におけるステップ4を伴うステップ5への第2の入力の生成が次に記述される。
606におけるステップ3は、2D仮想シーン表現の中のオブジェクト毎に最適ポインティング位置を定義する。最適ポインティング位置に言及するとき、本発明は、システムユーザのある一定の好ましいアクション及び検討を考慮に入れる。これらの検討は、システムユーザがオブジェクト又は特徴物を無作為にポインティングすることなく、典型的に、オブジェクト又は特徴物の可視表面の中心、又は、関心のあるオブジェクト又は特徴物と関連付けられた目立つ特徴物をポインティングすることを含む。例えば、システムユーザが建物の矩形前壁面をポインティングしているとき、システムユーザは、前壁面の縁ではなく、前壁面の中心部分をポインティングする傾向がある。しかし、円弧又はアーチ形の場合、システムユーザにとっての最適ポインティング位置は、矩形前壁面の状況のように自明ではなく、最適ポインティング位置は、後述されるようにより慎重な定義を必要とすることがある。
本発明によれば、最適ポインティング位置は、オブジェクト又は特徴物の全体としての特徴ではなく、システムユーザの視点と、システムユーザに提示されたオブジェクト又は特徴物の可視部分とに依存する。したがって、好ましくは、本発明は、最適ポインティング位置を定義する前に、2D仮想シーン表現を生成する。
最適ポインティング位置を定義する際に、オブジェクト又は特徴物の幾何形状は唯一の考慮事項ではない。最適ポインティング位置は、例えば、テクスチャ、色、材料、又は、装飾といった注意の行き届いた特徴物及び注意の行き届いていない特徴物を含めて、目立つ特徴物、又は、オブジェクト又は特徴物の異常な特徴によって著しく影響を受けることがある。しかし、これらの特徴物は、現実世界の現象の特性に依存することがある。例えば、目立つ窓又は装飾を有する建物は、システムユーザの注意を引きつけ、この建物に関する最適ポインティング位置に重大な影響を与えることがある。別の実施例として、微視的検査に基づく分子又は分子構造の画面表示が存在する場合、ある特定の分子又は分子構造が他より目立ち、かつ、突出していると考えられ、この場合も最適ポインティング位置に影響を与えることがある。本発明によれば、これらの特徴又は特徴物は、環境の3D現実世界表現の一部として統合され、光学ポインティング位置の定義に使用されることがある。
単に実施例の目的のため、建物がこの建物に出入りするため、高さが低い中心質量のドアと、建物の前方の右側に向いた装飾馬の12フィートの高さのブロンズ像とを有し、この馬がこの建物と関連して有名になった場合、この馬は、この建物のための最適ポインティング方向に重大な影響があると考えられることになる。
以上の点に注意して、最適ポインティング位置の定義は、システムユーザに提示されたままのオブジェクト又は特徴物の可視面の形状に依存することになる。ステップ3によれば、ステップ4に入力される定義は、以下の開示内容に基づくことになる。
最適ポインティング位置の定義は、システム管理者によって定義され、そして、前のポインティング位置の計算の結果による規則及び経験則に従う。規則及び経験則は、環境の3D表現126における専門知識と、シーンジェネレータ128及び2Dシーン表現134のランタイムでの2D仮想シーンの生成の影響とに基づいて先験的に定義される。規則及び経験則は、例えば、原型的幾何形状(U字形状、L字形状など)の組をこれらの最適ポインティング位置と共に定義し、複雑な幾何形状を細分し、各部分に対し最適ポインティング位置を定義すること、又は、所与の幾何形状に対する前のポインティング事象を分析し、これに応じて最適ポインティング位置を設定することがある。シーンジェネレータ128及び2Dシーン表現134によって利用される学習過程は、限定されることなく、以下の過程:1)ポインティング事象を記録し、2)ポインティング事象をオブジェクト及び特徴物上の位置と関連付け、3)各面のポインティング事象のクラスタリングに基づいて最適ポインティング位置を統計的に導出し、4)ステップ1、2及び3を繰り返すことによりオブジェクト及び特徴物のポインティング位置を精緻化することを含むことある。
ステップ4では、本発明は、システムユーザの位置と、例えば、図5の520における2D仮想表現において提示されたオブジェクト又は特徴物の視覚的外形とから、最適ポインティングの確率表面を判定する。
図9を参照して、規則的な形状及び不規則的な形状に関して、最適な光学的ポインティングの確率表面を判定する実施例が検討される。規則的な形状に関する最適ポインティングの確率表面の判定を検討する目的のため、規則的な形状は、正方形形状又は矩形形状を含む「凸面」をもつオブジェクト又は特徴物である。不規則的な形状に関する最適ポインティングの確率表面の判定を検討する目的のため、不規則的な形状は、円弧又はアーチを含む「凹面」をもつオブジェクト又は特徴物である。
再び図9を参照すると、一般的に900で、規則的な形状904が示され、一般的に902で、不規則的な形状912が示される。好ましくは、本発明によれば、規則的な形状をしたオブジェクト又は特徴物の確率表面の判定は、最小外接矩形方法(minimum bounding rectangle method)を使用して実行されることになる。最小外接矩形方法を使用して最適ポインティング確率を計算することは、同心楕円909を格納する最適ポインティング領域908を有する最小外接矩形906を生じることになる。位置910での最適ポインティング領域908の中心は、最適ポインティング位置の最高確率を有することになる。この位置は、可視表面905ではなく、オブジェクト又は特徴物904の可視表面907に存在することになる。
好ましくは、図9では、902において、不規則的な形状のオブジェクト又は特徴物に関して、本発明は、不規則的な形状のオブジェクト又は特徴物を記述する等値線を使用して表面最適ポインティングの確率を判定することになる。902で、不規則的な形状のオブジェクト又は特徴物912は、同心多角形915を格納している最適ポインティング領域914を有している。領域914におけるこの最適ポインティング位置は、等値線916ということになる。
従来型の手段を使用して等値線916を計算すると、最適ポインティングの確率の判定は、好ましくは、人の認知特性の考慮を含むことになる。例えば、横方向ポインティングと垂直方向ポインティングとのための確率割当又は重み付けは、人には垂直次元より横次元を正確にポインティングする傾向があるため、別々に定義されることがある。したがって、この考慮を使用して、不規則的な形状912のための最適ポインティング位置は、等値線916上の918にあることになる。
しかし、認知的考慮は、最適ポインティングの確からしさを反映するため、システム管理者によって設定されるか、又は、デフォルト設定値として設定された確率値を有する可能性がある。しかし、その他の考慮が不規則的な形状のオブジェクト又は特徴物の最適ポインティングの確率を判定するため使用されてもよく、依然として本発明の範囲内にあることが分かる。
最適ポインティング位置が606でステップ3によって定義されると、この定義が608でステップ4に入力される。ステップ4は、2D仮想表現の中のオブジェクト毎に最適ポインティングのための確率表面を判定する。ステップ4の出力は、610におけるステップ5への2番目の入力である。
610におけるステップ5は、ポインティング方向が仮想シーン116の中の具体的なオブジェクト又は特徴物に向けられている信頼度のレベルを評価するために最適ポインティング判定と現実ポインティング判定との各対に関する1つずつの分布の間の対応付けの確からしさを判定する。後述されるように、ステップ5における評価は、好ましくは、評価を実施するため統計的過程を使用する。
本発明によれば、好ましくは、統計的t検定が分布の対応付けを評価するため使用される。しかし、他の統計的方法が使用されてもよく、依然として本発明の範囲内にあることがわかる。
本発明によれば、統計的t検定は、現実ポインティング位置と604におけるステップ2によるポインティングの標準偏差とによって定義される分布が608におけるステップ4によるオブジェクト又は特徴物の最適ポインティング表面によって定義される分布と同じである確からしさを判定することになる。
統計的t検定に関して、概略的に、統計的t検定は、データの変動と関連した2つの平均の間の差を比較することになる。統計的t検定に関して、本発明の目的のため、好ましくは、オブジェクト又は特徴物毎に、2つの独立した比較用標本が存在することになる。1番目は、ステップ4による最適ポインティング標本であり、2番目は、ステップ2による現実ポインティング標本である。2つの標本における分散は等しくないという初期的な仮定がさらに存在する。標本は、現実ポインティング位置及び最適ポインティング位置のための代表的な座標と、これらの標準偏差とによってパラメータ化される。評価の結果として生じるt統計量は、母平均が異なるかどうかを検定する。このt統計量は、以下の式6及び7によって判定される。
但し、
であり、ここで、
μ=各標本の正規分布の標本平均に対応する
σ=分布の標準偏差
s=共通標準偏差の推定量
n=現実ポインティング及び最適ポインティングの代表的な標本サイズ
である。
μ=各標本の正規分布の標本平均に対応する
σ=分布の標準偏差
s=共通標準偏差の推定量
n=現実ポインティング及び最適ポインティングの代表的な標本サイズ
である。
本発明の目的のため、nは、システム110(ポインティング機器)の位置及び姿勢の標準偏差の推定をもたらすため実行された観測の回数に依存する。さらに、最適ポインティングに対するnは、定義のため使用された方法による最適ポインティング位置のモデリングに依存する。規則及び経験則の場合、nは、経験則の特性に依存し、学習アルゴリズムの場合、nは、先行した観測の回数に依存する。
好ましくは、610でステップ5のプロセスを実行するとき、最適ポインティングのための各オブジェクト又は特徴物の分布は、現実ポインティングの分布と比較され、各対に関してt値のリストを結果として生じる。これらの結果として得られたt値は、有意な差が最適ポインティングと現実ポインティングの各対の2個の標本の間に存在している確率を判定するために分析され、具体的なオブジェクト又は特徴物がシステムユーザによってポインティングされている確からしさを判定することになる。
t検定は、横方向、垂直方向、又は、両方の軸に関して実行されることがあり、依然として本発明の範囲内にある。統計的t検定の結果は、例えば、以下の式8に従って、2つの指標に対するユークリッド距離を使用して、ポインティングの信頼性のために1つの指標の中に統合されることがある。
式中、以下の通りである。
ttot=横方向と垂直方向の最適ポインティング及び現実ポインティングの標準偏差に対する全体のt検定結果である。
tlat=横方向の最適ポインティング及び現実ポインティングの標準偏差に対するt検定結果である。
tvet=垂直方向の最適ポインティング及び現実ポインティングの標準偏差に対するt検定結果である。
好ましい方法は、横方向ポインティング及び垂直方向ポインティングが同等に重要ではない場合、重み付きユークリッド距離によって置き換えられることがあり、この方法は、依然として本発明の範囲内にある。
図10を参照すると、一般的に1000で、本発明のシステムによって使用される統計的検定の実施例が記述される。統計的t検定は、ステップ5で比較を実施する好ましい方法であることがわかるが、他の統計的方法が使用されてもよく、依然として本発明の範囲内にあることが分かる。
再び図10を参照すると、2Dシーン表現1002は、x軸1006及びy軸1008を有している2次元座標系1004に基づいている。2Dシーン表現1002は、可視的なオブジェクト1010と現実ポインティング位置1020とを含む。オブジェクト面が矩形形状を有する場合、最小外接矩形方法が最適ポインティングのための確率表面を判定するため使用されることがある。最小外接矩形方法を使用して、最適ポインティング領域1014が判定され、この領域の中心は1018にある。
再び図10を参照すると、最適ポインティング位置1018及び現実ポインティング位置1020の標準偏差の対のためのt検定セットアップが示される。最適ポインティング1018及び現実ポインティング1020のための標準分布は、1022におけるx方向及び1024におけるy方向でステップ5に従って比較される。1022での分布曲線は、1023での現実ポインティングの横方向分布と1025での最適ポインティングの横方向分布との間の重なり合いの程度を示し、それによって、重なり合いのエリアは、2つの分布が対応する確率を定義する。さらに、1024での分布曲線は、2つの分布が垂直方向で対応する確率の程度を示す。図示されるように、現実ポインティングの垂直分布は、1026にあり、最適ポインティングの垂直分布は、1028にある。横分布と同様に、垂直分布の重なり合いは、2つの分布が対応する確率を示した。
横方向及び垂直方向の最適ポインティング分布と現実ポインティング分布とのすべての重なり合いは、オブジェクトがポインティング機器によってポインティングされる確からしさの評価のため、最適ポインティングと現実ポインティングとのすべての対応付けを提供する。
610におけるステップ5の比較プロセスの結果は、ポインティングが具体的なオブジェクト又は特徴物に向けられた程度を反映する信頼度指標のリストである。例えば、以下のリストは、このような結果の代表的なリストである。
対 現実ポインティングとのt検定 t検定結果
1) オブジェクトAに関する最適ポインティング 0.45
2) オブジェクトBに関する最適ポインティング 0.18
3) オブジェクトCに関する最適ポインティング 0.82
4) オブジェクトDに関する最適ポインティング 0.75
対 現実ポインティングとのt検定 t検定結果
1) オブジェクトAに関する最適ポインティング 0.45
2) オブジェクトBに関する最適ポインティング 0.18
3) オブジェクトCに関する最適ポインティング 0.82
4) オブジェクトDに関する最適ポインティング 0.75
上記リストから、番号3のオブジェクトCは、t検定の結果が最高の対応付けの確率を示すので、勝者であることになる。したがって、オブジェクトCは、システムユーザがポインティングしている可能性が最も高いオブジェクト又は特徴物であると判定されることになる。ステップ5の結果は、ポインティングされている可能性が最も高いオブジェクト又は特徴物の識別である。このステップは、さらに、現実世界のオブジェクト又は特徴物を仮想オブジェクト又は特徴物にリンクさせる。リンク付け情報は、他の観測と、現実世界と2D仮想表現との間のリンク付けのため使用することができる。
最適ポインティング及び現実ポインティングのため本発明のシステム及び方法で用いるため適合したガウス関数及び統計的検定は、これらに関連付けられた分布異常を考慮する。例えば、建物の中央ではなく周辺をポインティングすることは、このオブジェクト又は特徴物がポインティング機器で実際にポインティングされている1つである可能性をより低くする。さらに、仮想システムの投影特性と、結果として得られる遠近図を仮定すると、システムユーザは、ポインティング光線が交差したオブジェクト又は特徴物より背景内のオブジェクト又は特徴物をポインティングしている可能性が高い。
図11を参照すると、一般的に1100で、2つのオブジェクトが同じポインティング方向にあるときに分布異常を考慮して、各オブジェクト又は特徴物と関連付けられた分布を評価することにより、ポインティングされている現実オブジェクトを選択する実施例が記述される。最適ポインティング位置1104にある1102におけるオブジェクトAと、最適ポインティング位置1108にある1106におけるオブジェクトBとは、2Dシーン表現の中で同じ幾何学的性質を有している。しかし、システムユーザの位置からオブジェクトAまでの距離dlは、システムユーザの位置からオブジェクトBまでの距離d2より短い。オブジェクトAは、最適ポインティング分布1112及び標準分布1114を有している。オブジェクトAのこれらの分布は、1122で重なり合う。オブジェクトBは、最適ポインティング分布1116及び標準分布1120を有している。オブジェクトBのこれらの分布は、1124で重なり合う。
再び図11を参照すると、現実ポインティングのための分布は、オブジェクト毎に同一であるが、標準偏差は等しくない。両方のオブジェクトのための現実ポインティング方向は、厳密に同じであり、オブジェクトBと関連付けられた分布の重なり合いは、1122及び1124でエリアを比較することにより示されるように、オブジェクトAの場合より高程度であるので、本発明は、ポインティングされている可能性が最も高いオブジェクトとしてオブジェクトBを識別することになる。なぜならば、このエリアは、対応する分布の確からしさに関する統計的検定の結果に対応するからである。
本発明のシステムの要素は、有線又は無線接続によって電子的に接続されることがあり、依然として本発明の範囲内にあることが分かる。
本発明のシステム及び方法の実施形態又は実施形態の一部分は、コンピュータハードウェア、ファームウェア、及び/又は、プロセッサとプロセッサによって読み取り可能な(揮発性メモリ及び不揮発性メモリ、及び/又は、記憶素子を含む)記憶媒体とをそれぞれに含むプログラマブルコンピュータ又はサーバ上で動くコンピュータプログラムで実施されることがある。コンピュータプログラムはどれでも、コンピュータに基づくシステムの内部又は外部で通信するため、高水準の手続型又はオブジェクト指向型プログラミング言語で実施されることがある。
コンピュータプログラムはどれでも、記憶媒体(例えば、CD−ROM、ハードディスク、又は、磁気ディスケット)、又は、機器(例えば、コンピュータ周辺機器)のような製造品に記憶されることがあり、これらの記憶媒体又は機器は、実施形態の機能を実行するためコンピュータによって読まれるとき、コンピュータを構成し動作させるため汎用又は専用プログラマブルコンピュータによって読み取り可能である。実施形態又は実施形態の一部分は、コンピュータプログラムを用いて構成された機械読み取り可能な記憶媒体としてさらに実施されることがあり、実行中にコンピュータプログラム中の命令は、上述の実施形態の機能を実行するように機械を動作させる。
上述の本発明のシステム及び方法の実施形態又は実施形態の一部分は、多種多様のアプリケーションで使用されることがある。実施形態又は実施形態の一部分は、この点で限定されることはないが、実施形態又は実施形態の一部分は、数ある電子コンポーネントの中でも、マイクロコントローラ、汎用マイクロプロセッサ、デジタル信号プロセッサ(DSP)、縮小命令セットコンピューティング(RISC)、及び、複雑命令セットコンピューティング(CISC)においてメモリ機器と共に実施されることがある。さらに、上述の実施形態又は実施形態の一部分は、マイクロプロセッサによって実行されるべき電子命令を記憶するか、又は、算術演算で使用されることがあるデータを記憶するメインメモリ、キャッシュメモリ、又は、その他の型のメモリと称される集積回路ブロックを使用して実施されることもある。
説明は、いずれのコンピューティング環境又は処理環境においても適用できる。実施形態又は実施形態の一部分は、ハードウェア、ソフトウェア、又は、両者の組み合わせで実施されることがある。例えば、実施形態又は実施形態の一部分は、プログラマブルロジック(例えば、ASIC)、ロジックゲート、プロセッサ、及び、メモリのうちの1つ以上のような回路構成を使用して実施されることがある。
開示された実施形態への種々の変形が当業者に明白であり、後述される一般的な原理がその他の実施形態及びアプリケーションに適用される。このように、本発明は、本明細書中に示され、又は、記述された実施形態に限定されないことが意図されている。
Claims (21)
- 現実世界シーンの中のオブジェクトがポインティング機器によってポインティングされているオブジェクトである確からしさを判定するコンピュータで実施される方法であって、
電子ポインティング機器に前記現実世界シーンの中の関心のあるオブジェクトにポインティングさせるステップ(A)と、
前記ポインティング機器でポインティング機器の測地学的位置及びポインティング方向を生成し、前記ポインティング機器の測地学的位置及びポインティング方向と前記ポインティング機器の測地学的位置及びポインティング方向の生成に関係する標準偏差とをシステムサーバへ送信するステップ(B)と、
前記関心のあるオブジェクトを含む前記現実世界シーンの前記オブジェクトを格納している現実世界シーンの3次元表現を地図化し、前記3次元表現を前記システムサーバへ送信するステップ(C)と、
前記システムサーバが、
ステップ(C)で地図化された前記3次元シーンの2次元デジタル表現であって、関心のあるオブジェクトを含む前記現実世界シーンの中の前記オブジェクトのデジタル表現を少なくとも含む2次元デジタル表現を生成するサブステップ(1)と、
前記関心のあるオブジェクトを含む各オブジェクトに関して、前記2次元デジタル表現において、前記ポインティング機器の測地学的位置から前記関心のあるオブジェクトを含む各オブジェクトまでの距離推定値を判定するサブステップ(2)と、
前記関心のあるオブジェクトを含む各オブジェクトに関して、前記2次元デジタル表現において、現実ポインティングの精度を判定し、サブステップ(D)(3)によってポインティングの精度を判定する際に、前記ポインティング機器の測地学的位置及びポインティング方向を生成する際に前記ポインティング機器によって引き起こされ、ステップ(B)で送信された標準偏差と、サブステップ(D)(2)で判定されたオブジェクト毎の前記距離推定値とを使用するサブステップ(3)と、
前記関心のあるオブジェクトを含む各オブジェクトに関して、前記2次元デジタル表現において、前記関心のあるオブジェクトを含む各オブジェクトの可視部分に関係する最適ポインティング位置を定義するサブステップ(4)と、
前記関心のあるオブジェクトを含む各オブジェクトに関して、前記2次元デジタル表現において、サブステップ(D)(4)で定義された各オブジェクトに関する定義を適用して、前記ポインティング機器の測地学的位置から最適ポインティングのための確率表面を判定するサブステップ(5)と、
前記関心のあるオブジェクトを含む各オブジェクトに関して、前記2次元デジタル表現において、サブステップ(D)(3)で判定された現実ポインティング精度の標準偏差とサブステップ(D)(5)で判定された最適ポインティング位置の標準偏差とを比較することにより、現実ポインティング精度と最適ポインティング位置との間の数値的な対応付けを判定するサブステップ(6)と、
前記関心のあるオブジェクトとして、サブステップ(D)(6)で判定された最高の数値的な対応付けをもつオブジェクトを選択するサブステップ(7)と、
前記システムサーバが前記関心のあるオブジェクトの識別情報を前記ポインティング機器に通信するサブステップ(8)と、
を実行するステップ(D)と、
を含む方法。 - 前記ポインティング機器と前記システムサーバとは、有線及び無線で通信する、請求項1に記載の方法。
- 前記ポインティング機器の測地学的位置は、前記ポインティング機器の緯度、経度、高度、ピッチ及びヨーによる位置を含む、請求項1に記載の方法。
- 前記ポインティング機器の測地学的位置及びポインティング方向を生成するステップに関係する前記標準偏差は、ポインティング機器のセンサによって引き起こされた誤差伝搬を含む、請求項1に記載の方法。
- 前記誤差伝搬は、測地学的誤差伝搬を含む、請求項4に記載の方法。
- 前記関心のあるオブジェクトを含む各オブジェクトに関する前記距離推定値は、前記ポインティング機器の測地学的位置から前記関心のあるオブジェクトを含む各オブジェクトの重心までの推定距離を含む、請求項1に記載の方法。
- 前記関心のあるオブジェクトを含む各オブジェクトの可視部分は、前記ポインティング機器からの可視部分を含む、請求項1に記載の方法。
- 前記関心のあるオブジェクトを含む各オブジェクトの確率表面を判定するサブステップは、前記ポインティング機器測地的位置から、前記関心のあるオブジェクトを含む各オブジェクトの外形に従って確率表面を判定するステップを含む、請求項1に記載の方法。
- サブステップ(D)(6)は、前記2次元デジタル表現において、前記関心のあるオブジェクトを含む各オブジェクトに関して前記現実ポインティング精度の標準偏差を判定するステップをさらに含む、請求項1に記載の方法。
- サブステップ(D)(6)は、前記2次元デジタル表現において、前記関心のあるオブジェクトを含む各オブジェクトに関して前記最適ポインティング位置の標準偏差を判定するステップをさらに含む、請求項9に記載の方法。
- サブステップ(D)(6)で比較するステップは、t検定を使用して、サブステップ(D)(3)で判定された前記現実ポインティング精度の前記標準偏差とサブステップ(D)(5)で判定された前記最適ポインティング位置の前記標準偏差とを比較するステップを含む、請求項10に記載の方法。
- 前記関心のあるオブジェクトを含む各オブジェクトに関する前記数値的な対応付けは、サブステップ(D)(3)で判定された前記現実ポインティング精度の前記標準偏差とサブステップ(D)(5)で判定された前記最適ポインティング位置の前記標準偏差との重なり合いの数値的な対応付けを含む、請求項11に記載の方法。
- 数値的な対応付けは、前記最適ポイント位置及び前記現実ポインティング位置を含む前記2次元デジタル表現におけるx軸に従って、サブステップ(D)(3)で判定された前記現実ポインティング精度の前記標準偏差とサブステップ(D)(5)で判定された前記最適ポインティング位置の前記標準偏差との間の少なくとも横方向の対応付けを含む、請求項12に記載の方法。
- 数値的な対応付けは、前記最適ポイント位置及び前記現実ポインティング位置を含む前記2次元デジタル表現におけるy軸に従って、サブステップ(D)(3)で判定された前記現実ポインティング精度の前記標準偏差とサブステップ(D)(5)で判定された前記最適ポインティング位置の前記標準偏差との間の少なくとも垂直方向の対応付けを含む、請求項12に記載の方法。
- 現実世界シーンの中のオブジェクトがポインティング機器によってポインティングされているオブジェクトである確からしさを判定するシステムであって、
ポインティング機器の測地学的位置及びポインティング方向を生成し、前記ポインティング機器の測地学的位置及びポインティング方向と前記ポインティング機器の測地学的位置及びポインティング方向の生成に関係する標準偏差とをシステムサーバへ送信するポインティング機器と、
システムサーバと、
を備え、
前記システムサーバは、
前記関心のあるオブジェクトを含むオブジェクトをもつ現実世界シーンを格納する環境の3次元表現を受信し処理する地図化モジュールと、
前記地図化モジュールに接続し、前記地図化モジュールからの出力を受信し、前記関心のあるオブジェクトを含むオブジェクトをもつ前記現実世界シーンの2次元デジタル表現を生成し、前記関心のあるオブジェクトを含む各オブジェクトに関して、前記2次元デジタル表現において、前記ポインティング機器の測地学的位置から前記関心のあるオブジェクトを含む各オブジェクトまでの距離推定値を判定するシーン・ジェネレータ・モジュールと、
前記関心のあるオブジェクトを含む各オブジェクトに関して、前記2次元デジタル表現において、現実ポインティングの精度を判定し、ポインティングの精度を判定する際に、前記ポインティング機器の測地学的位置及びポインティング方向を生成する際に前記ポインティング機器によって引き起こされ、前記ポインティング機器から送信された標準偏差と、前記距離推定値とを含む、ポインティング精度モジュールと、
前記関心のあるオブジェクトを含む各オブジェクトに関して、前記2次元デジタル表現において、前記関心のあるオブジェクトを含む各オブジェクトの可視部分に関係する最適ポインティング位置を定義し、前記関心のあるオブジェクトを含む各オブジェクトに関して、前記2次元デジタル表現において、前記ポインティング機器の測地学的位置から前記関心のあるオブジェクトを含むオブジェクトまで最適ポインティングの確率表面を定義する最適ポインティングモジュールと、
前記2次元デジタル表現において、前記関心のあるオブジェクトを含む各オブジェクトに関して、現実ポインティング精度の標準偏差と最適ポインティング位置の標準偏差とを比較することにより、前記関心のあるオブジェクトを含む各オブジェクトに関して、現実ポインティング精度と最適ポインティング位置との間の数値的な対応付けを判定し、比較モジュールによる比較に従って、前記関心のあるオブジェクトとして、最高の数値的な対応付けをもつオブジェクトを選択する比較モジュールと、
前記関心のあるオブジェクトの識別情報を前記ポインティング機器モジュールへ送信することを含み、前記ポインティング機器と通信する通信モジュールと、
をさらに備える、システム。 - 前記ポインティング機器は、モバイル機器を含む、請求項15に記載のシステム。
- 前記ポインティング機器と前記システムサーバとは、有線又は無線で通信する、請求項15に記載のシステム。
- 前記ポインティング機器は、ポインティング機器の測地学的位置及びポインティング方向を判定するセンサを含む、請求項15に記載のシステム。
- ポインティング機器センサは、ポインティング機器の測地学的位置誤差を引き起こす、請求項18に記載のシステム。
- ポインティング機器の測地学的位置は、前記ポインティング機器の緯度、経度、高度、ピッチ及びヨーによる位置を含む、請求項19に記載のシステム。
- 前記比較モジュールは、t検定を使用して、比較を検定する検定モジュールを含む、請求項15に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13990708P | 2008-12-22 | 2008-12-22 | |
US61/139,907 | 2008-12-22 | ||
PCT/US2009/069327 WO2010075466A1 (en) | 2008-12-22 | 2009-12-22 | System and method for linking real-world objects and object representations by pointing |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012513643A JP2012513643A (ja) | 2012-06-14 |
JP5436574B2 true JP5436574B2 (ja) | 2014-03-05 |
Family
ID=42288138
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011542587A Expired - Fee Related JP5436574B2 (ja) | 2008-12-22 | 2009-12-22 | ポインティングによって現実世界のオブジェクトとオブジェクト表現とをリンクさせるシステム及び方法 |
Country Status (5)
Country | Link |
---|---|
US (3) | US8184858B2 (ja) |
EP (1) | EP2377001A4 (ja) |
JP (1) | JP5436574B2 (ja) |
CA (1) | CA2748031A1 (ja) |
WO (1) | WO2010075466A1 (ja) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8060112B2 (en) * | 2003-11-20 | 2011-11-15 | Intellient Spatial Technologies, Inc. | Mobile device and geographic information system background and summary of the related art |
US7245923B2 (en) * | 2003-11-20 | 2007-07-17 | Intelligent Spatial Technologies | Mobile device and geographic information system background and summary of the related art |
US7418341B2 (en) * | 2005-09-12 | 2008-08-26 | Intelligent Spatial Technologies | System and method for the selection of a unique geographic feature |
US8538676B2 (en) * | 2006-06-30 | 2013-09-17 | IPointer, Inc. | Mobile geographic information system and method |
JP5024668B2 (ja) * | 2007-07-10 | 2012-09-12 | 富士ゼロックス株式会社 | 画像形成装置および情報処理装置 |
US8483519B2 (en) * | 2008-12-22 | 2013-07-09 | Ipointer Inc. | Mobile image search and indexing system and method |
WO2010075455A1 (en) * | 2008-12-22 | 2010-07-01 | Intelligent Spatial Technologies, Inc. | System and method for exploring 3d scenes by pointing at a reference object |
WO2010075456A1 (en) * | 2008-12-22 | 2010-07-01 | Intelligent Spatial Technologies, Inc. | System and method for initiating actions and providing feedback by pointing at object of interest |
JP5436574B2 (ja) | 2008-12-22 | 2014-03-05 | インテリジェント スペイシャル テクノロジーズ,インク. | ポインティングによって現実世界のオブジェクトとオブジェクト表現とをリンクさせるシステム及び方法 |
FR2960986A1 (fr) * | 2010-06-04 | 2011-12-09 | Thomson Licensing | Procede de selection d’un objet dans un environnement virtuel |
US8681178B1 (en) * | 2010-11-02 | 2014-03-25 | Google Inc. | Showing uncertainty in an augmented reality application |
US8879828B2 (en) | 2011-06-29 | 2014-11-04 | Matterport, Inc. | Capturing and aligning multiple 3-dimensional scenes |
US9020783B2 (en) * | 2011-07-07 | 2015-04-28 | Autodesk, Inc. | Direct manipulation of composite terrain objects with intuitive user interaction |
US8676546B2 (en) | 2011-07-07 | 2014-03-18 | Autodesk, Inc. | Grading method utilizing flow grade solution |
US9196085B2 (en) | 2011-07-07 | 2015-11-24 | Autodesk, Inc. | Interactively shaping terrain through composable operations |
US8849041B2 (en) * | 2012-06-04 | 2014-09-30 | Comcast Cable Communications, Llc | Data recognition in content |
FR3000242A1 (fr) | 2012-12-21 | 2014-06-27 | France Telecom | Procede de gestion d’un systeme d’information geographique adapte pour etre utilise avec au moins un dispositif de pointage, avec creation d’associations entre objets numeriques. |
FR3000241A1 (fr) * | 2012-12-21 | 2014-06-27 | France Telecom | Procede de gestion d’un systeme d’information geographique adapte pour etre utilise avec au moins un dispositif de pointage, avec creation d’objets numeriques purement virtuels. |
FR3007860A1 (fr) * | 2013-06-27 | 2015-01-02 | France Telecom | Procede d'interaction entre un objet numerique, representatif d'au moins un objet reel ou virtuel localise dans un perimetre geographique distant, et un dispositif de pointage local |
KR102183397B1 (ko) * | 2014-01-06 | 2020-11-26 | 삼성전자주식회사 | 이미지 처리 방법 및 이를 구현하는 전자 장치 |
GB201500411D0 (en) * | 2014-09-15 | 2015-02-25 | Isis Innovation | Determining the position of a mobile device in a geographical area |
US11452940B2 (en) | 2020-06-09 | 2022-09-27 | International Business Machines Corporation | Real-world activity simulation augmentation with real-world data of the activity |
US11140519B1 (en) * | 2020-09-29 | 2021-10-05 | Isharingsoft, Inc. | Bandwidth efficient location tracking |
Family Cites Families (82)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5214757A (en) * | 1990-08-07 | 1993-05-25 | Georesearch, Inc. | Interactive automated mapping system |
US5470233A (en) * | 1994-03-17 | 1995-11-28 | Arkenstone, Inc. | System and method for tracking a pedestrian |
CA2190596C (en) * | 1994-05-19 | 2002-03-26 | Theodore M. Lachinski | Method for collecting and processing visual and spatial position information |
US5848373A (en) * | 1994-06-24 | 1998-12-08 | Delorme Publishing Company | Computer aided map location system |
US5628050A (en) * | 1994-12-09 | 1997-05-06 | Scientific And Commercial Systems Corporation | Disaster warning communications system |
US5592382A (en) * | 1995-03-10 | 1997-01-07 | Rockwell International Corporation | Directional steering and navigation indicator |
US6236907B1 (en) * | 1995-05-30 | 2001-05-22 | Ag-Chem Equipment Co., Inc. | System and method for creating agricultural decision and application maps for automated agricultural machines |
KR100256620B1 (ko) * | 1995-10-30 | 2000-05-15 | 모리 하루오 | 네비게이션장치 |
US6282362B1 (en) * | 1995-11-07 | 2001-08-28 | Trimble Navigation Limited | Geographical position/image digital recording and display system |
US5745113A (en) * | 1996-04-03 | 1998-04-28 | Institute For Research On Learning | Representing work practices |
US5771169A (en) * | 1996-08-29 | 1998-06-23 | Case Corporation | Site-specific harvest statistics analyzer |
US6456852B2 (en) * | 1997-01-08 | 2002-09-24 | Trafficmaster Usa, Inc. | Internet distributed real-time wireless location database |
JP3372021B2 (ja) * | 1997-05-01 | 2003-01-27 | 松下電器産業株式会社 | 地図情報提供システム |
US6070167A (en) * | 1997-09-29 | 2000-05-30 | Sharp Laboratories Of America, Inc. | Hierarchical method and system for object-based audiovisual descriptive tagging of images for information retrieval, editing, and manipulation |
US6262741B1 (en) * | 1998-03-17 | 2001-07-17 | Prc Public Sector, Inc. | Tiling of object-based geographic information system (GIS) |
US6247019B1 (en) * | 1998-03-17 | 2001-06-12 | Prc Public Sector, Inc. | Object-based geographic information system (GIS) |
US6732120B1 (en) * | 1998-09-03 | 2004-05-04 | Geojet Information Solutions Inc. | System and method for processing and display of geographical data |
US6173239B1 (en) * | 1998-09-30 | 2001-01-09 | Geo Vector Corporation | Apparatus and methods for presentation of information relating to objects being addressed |
US6504541B1 (en) * | 1998-10-21 | 2003-01-07 | Tele Atlas North America, Inc. | Warping geometric objects |
US6532304B1 (en) * | 1998-10-21 | 2003-03-11 | Tele Atlas North America, Inc. | Matching geometric objects |
US6222482B1 (en) * | 1999-01-29 | 2001-04-24 | International Business Machines Corporation | Hand-held device providing a closest feature location in a three-dimensional geometry database |
AUPQ363299A0 (en) * | 1999-10-25 | 1999-11-18 | Silverbrook Research Pty Ltd | Paper based information inter face |
JP3791249B2 (ja) * | 1999-07-12 | 2006-06-28 | 株式会社日立製作所 | 携帯端末 |
US6456938B1 (en) * | 1999-07-23 | 2002-09-24 | Kent Deon Barnard | Personal dGPS golf course cartographer, navigator and internet web site with map exchange and tutor |
US6529827B1 (en) * | 1999-11-01 | 2003-03-04 | Garmin Corporation | GPS device with compass and altimeter and method for displaying navigation information |
JP2001166804A (ja) * | 1999-12-10 | 2001-06-22 | Sony Corp | 学習式動作制御装置およびその方法、並びに提供媒体 |
US6385541B1 (en) * | 2000-02-29 | 2002-05-07 | Brad Wayne Blumberg | Global positioning-based real estate database access device and method |
US6496776B1 (en) * | 2000-02-29 | 2002-12-17 | Brad W. Blumberg | Position-based information access device and method |
US7072665B1 (en) * | 2000-02-29 | 2006-07-04 | Blumberg Brad W | Position-based information access device and method of searching |
FR2810761B1 (fr) * | 2000-06-26 | 2003-09-05 | Oreal | Procede et dispositif de traitement cosmetique,notamment de soin, de maquillage ou de coloration |
US6930715B1 (en) * | 2000-07-21 | 2005-08-16 | The Research Foundation Of The State University Of New York | Method, system and program product for augmenting an image of a scene with information about the scene |
US7174301B2 (en) * | 2000-10-23 | 2007-02-06 | Costar Group, Inc. | System and method for accessing geographic-based data |
US7031875B2 (en) * | 2001-01-24 | 2006-04-18 | Geo Vector Corporation | Pointing systems for addressing objects |
US6879838B2 (en) * | 2001-04-20 | 2005-04-12 | Koninklijke Philips Electronics N.V. | Distributed location based service system |
US6486831B1 (en) * | 2001-04-23 | 2002-11-26 | Itt Manufacturing Enterprises, Inc. | Methods and apparatus for estimating accuracy of measurement signals |
US6912545B1 (en) * | 2001-06-12 | 2005-06-28 | Sprint Spectrum L.P. | Location-code system for location-based services |
US7123876B2 (en) * | 2001-11-01 | 2006-10-17 | Motia | Easy set-up, vehicle mounted, in-motion tracking, satellite antenna |
GB2384354A (en) * | 2002-01-18 | 2003-07-23 | Yeoman Group Plc | Navigation System |
SE524109C2 (sv) * | 2002-01-21 | 2004-06-29 | Idevio Ab | Anordning och bärare för tillhandahållande av kartinformationsdata |
US7272377B2 (en) * | 2002-02-07 | 2007-09-18 | At&T Corp. | System and method of ubiquitous language translation for wireless devices |
US6982697B2 (en) * | 2002-02-07 | 2006-01-03 | Microsoft Corporation | System and process for selecting objects in a ubiquitous computing environment |
US6799115B1 (en) * | 2002-02-28 | 2004-09-28 | Garmin Ltd. | Systems, functional data, and methods to pack n-dimensional data in a PDA |
GB2386488B (en) * | 2002-03-13 | 2005-10-26 | Hewlett Packard Co | Image based computer interfaces |
US7136079B2 (en) * | 2002-04-04 | 2006-11-14 | Saudi Arabian Oil Company | Edge preserving smoothing method |
US7565155B2 (en) * | 2002-04-10 | 2009-07-21 | Networks In Motion | Method and system for dynamic estimation and predictive route generation |
US7003136B1 (en) * | 2002-04-26 | 2006-02-21 | Hewlett-Packard Development Company, L.P. | Plan-view projections of depth image data for object tracking |
JP2004037664A (ja) * | 2002-07-01 | 2004-02-05 | Nec Corp | 情報端末装置 |
US6708109B1 (en) * | 2002-07-18 | 2004-03-16 | Hewlett-Packard Development Company, L.P. | Accurate targeting from imprecise locations |
US20040021780A1 (en) * | 2002-07-31 | 2004-02-05 | Intel Corporation | Method and apparatus for automatic photograph annotation with contents of a camera's field of view |
US20040087294A1 (en) * | 2002-11-04 | 2004-05-06 | Tia Mobile, Inc. | Phases array communication system utilizing variable frequency oscillator and delay line network for phase shift compensation |
US6721652B1 (en) * | 2002-11-22 | 2004-04-13 | Electronic Data Systems Corporation (EDS) | Implementing geo-fencing on mobile devices |
US6795768B2 (en) * | 2003-02-20 | 2004-09-21 | Motorola, Inc. | Handheld object selector |
US6845338B1 (en) * | 2003-02-25 | 2005-01-18 | Symbol Technologies, Inc. | Telemetric contextually based spatial audio system integrated into a mobile terminal wireless system |
AU2004215108B2 (en) * | 2003-02-26 | 2009-07-30 | Tomtom Navigation B.V. | Navigation device with touch screen |
US7245923B2 (en) * | 2003-11-20 | 2007-07-17 | Intelligent Spatial Technologies | Mobile device and geographic information system background and summary of the related art |
US8060112B2 (en) * | 2003-11-20 | 2011-11-15 | Intellient Spatial Technologies, Inc. | Mobile device and geographic information system background and summary of the related art |
JP2005165045A (ja) * | 2003-12-03 | 2005-06-23 | Denso Corp | 地図表示機能を有する電子機器及びプログラム |
US20050288858A1 (en) * | 2004-06-29 | 2005-12-29 | Amer Osama A | Mecca finder |
US20060041375A1 (en) * | 2004-08-19 | 2006-02-23 | Geographic Data Technology, Inc. | Automated georeferencing of digitized map images |
US20060103590A1 (en) * | 2004-10-21 | 2006-05-18 | Avner Divon | Augmented display system and methods |
WO2006087854A1 (ja) | 2004-11-25 | 2006-08-24 | Sharp Kabushiki Kaisha | 情報分類装置、情報分類方法、情報分類プログラム、情報分類システム |
US7720436B2 (en) | 2006-01-09 | 2010-05-18 | Nokia Corporation | Displaying network objects in mobile devices based on geolocation |
EP2264622A3 (en) * | 2004-12-31 | 2011-12-21 | Nokia Corp. | Provision of target specific information |
US7495582B2 (en) * | 2005-03-08 | 2009-02-24 | Northrop Grumman Corporation | Geographic information storage, transmission and display system |
US7697961B2 (en) * | 2005-05-24 | 2010-04-13 | Nokia Corporation | Mobile communication terminal and mobile communication system, and method therefore |
US7536025B2 (en) * | 2005-06-23 | 2009-05-19 | Folchetti John E | Process, system, or method for the determination of the percentage of area of a parcel of land available for development or preservation and the production of a report and map therefor on a fixed tangible medium |
US20070055441A1 (en) * | 2005-08-12 | 2007-03-08 | Facet Technology Corp. | System for associating pre-recorded images with routing information in a navigation system |
US7634354B2 (en) * | 2005-08-31 | 2009-12-15 | Microsoft Corporation | Location signposting and orientation |
US7734313B2 (en) * | 2005-08-31 | 2010-06-08 | Motorola, Inc. | Wirelessly networked gaming system having true targeting capability |
US7418341B2 (en) * | 2005-09-12 | 2008-08-26 | Intelligent Spatial Technologies | System and method for the selection of a unique geographic feature |
US8538676B2 (en) | 2006-06-30 | 2013-09-17 | IPointer, Inc. | Mobile geographic information system and method |
US8243081B2 (en) * | 2006-08-22 | 2012-08-14 | International Business Machines Corporation | Methods and systems for partitioning a spatial index |
US8277316B2 (en) * | 2006-09-14 | 2012-10-02 | Nintendo Co., Ltd. | Method and apparatus for using a common pointing input to control 3D viewpoint and object targeting |
US20080109758A1 (en) | 2006-09-29 | 2008-05-08 | Stambaugh Thomas M | Spatial organization and display of event ticketing information |
US7930302B2 (en) * | 2006-11-22 | 2011-04-19 | Intuit Inc. | Method and system for analyzing user-generated content |
JP4673861B2 (ja) * | 2007-02-23 | 2011-04-20 | 三菱電機株式会社 | 情報表示システム及び情報表示方法 |
WO2009111578A2 (en) | 2008-03-07 | 2009-09-11 | Intelligent Spatial Technologies, Inc. | Mobile device and geographic information system background and summary of the related art |
JP5436574B2 (ja) | 2008-12-22 | 2014-03-05 | インテリジェント スペイシャル テクノロジーズ,インク. | ポインティングによって現実世界のオブジェクトとオブジェクト表現とをリンクさせるシステム及び方法 |
US8483519B2 (en) * | 2008-12-22 | 2013-07-09 | Ipointer Inc. | Mobile image search and indexing system and method |
WO2010075455A1 (en) | 2008-12-22 | 2010-07-01 | Intelligent Spatial Technologies, Inc. | System and method for exploring 3d scenes by pointing at a reference object |
WO2010075456A1 (en) | 2008-12-22 | 2010-07-01 | Intelligent Spatial Technologies, Inc. | System and method for initiating actions and providing feedback by pointing at object of interest |
EP2377055A4 (en) | 2008-12-30 | 2013-04-17 | Intelligent Spatial Technologies Inc | MOBILE IMAGE SEARCH AND INDEXING SYSTEM AND METHOD |
-
2009
- 2009-12-22 JP JP2011542587A patent/JP5436574B2/ja not_active Expired - Fee Related
- 2009-12-22 WO PCT/US2009/069327 patent/WO2010075466A1/en active Application Filing
- 2009-12-22 CA CA2748031A patent/CA2748031A1/en not_active Abandoned
- 2009-12-22 US US12/645,248 patent/US8184858B2/en not_active Expired - Fee Related
- 2009-12-22 EP EP09835810.4A patent/EP2377001A4/en not_active Withdrawn
-
2012
- 2012-03-06 US US13/413,008 patent/US8494255B2/en not_active Expired - Fee Related
-
2013
- 2013-07-22 US US13/947,719 patent/US8625852B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US8625852B2 (en) | 2014-01-07 |
EP2377001A4 (en) | 2015-04-15 |
US20130307846A1 (en) | 2013-11-21 |
JP2012513643A (ja) | 2012-06-14 |
EP2377001A1 (en) | 2011-10-19 |
WO2010075466A1 (en) | 2010-07-01 |
CA2748031A1 (en) | 2010-07-01 |
US8494255B2 (en) | 2013-07-23 |
US20100303293A1 (en) | 2010-12-02 |
US20120170810A1 (en) | 2012-07-05 |
US8184858B2 (en) | 2012-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5436574B2 (ja) | ポインティングによって現実世界のオブジェクトとオブジェクト表現とをリンクさせるシステム及び方法 | |
JP7209777B2 (ja) | 表面モデル化システムおよび方法 | |
Liu et al. | Technical evaluation of HoloLens for multimedia: A first look | |
KR102583437B1 (ko) | 동공 검출 | |
CN110926334B (zh) | 测量方法、装置、电子设备及存储介质 | |
KR20210154861A (ko) | 장치 위치 측정을 위한 다중 동기화 통합 모델 | |
CN105190703A (zh) | 使用光度立体来进行3d环境建模 | |
JP2020052790A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US20230169686A1 (en) | Joint Environmental Reconstruction and Camera Calibration | |
US11540747B2 (en) | Apparatus and a method for passive scanning of an object or a scene | |
Lin et al. | Three-dimensional visibility analysis and visual quality computation for urban open spaces aided by Google SketchUp and WebGIS | |
CN115516509A (zh) | 基于对象底部位置的深度估计 | |
Sorokin et al. | Restoration of lighting parameters in mixed reality systems using convolutional neural network technology based on RGBD images | |
CN109840943B (zh) | 三维可视化分析方法及*** | |
CN108665445B (zh) | 一种检验图像畸变的方法、装置和头戴显示设备 | |
JP2022128087A (ja) | 計測システム及び計測プログラム | |
JP4438767B2 (ja) | 設計支援装置、設計支援方法、およびプログラム | |
KR20200070531A (ko) | 직업체험을 위한 가상현실 생성 및 제공 시스템 | |
KR20190077161A (ko) | 실감형 가상 콘텐츠 생성 및 제공 시스템 | |
CN116091575A (zh) | 物理特征的确定方法、运动方式的确定方法及相关设备 | |
CN113379914A (zh) | 视觉走廊分析图的生成方法、装置及计算机设备 | |
CN115239920A (zh) | 虚拟操作展示方法、装置、设备及存储介质 | |
Radkowski et al. | Utilizing the Human Hand for Ergonomics Analyses in a Mobile Augmented Reality Testing Platform |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131112 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131210 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |