JP2013508795A

JP2013508795A - カメラ姿勢決定方法、及び実環境物体認識方法

Info

Publication number: JP2013508795A
Application number: JP2012533553A
Authority: JP
Inventors: マイヤーペーター
Original assignee: Metaio GmbH
Current assignee: Metaio GmbH
Priority date: 2009-10-19
Filing date: 2010-09-16
Publication date: 2013-03-07
Also published as: DE102009049849A1; US20120237085A1; EP3550516A1; JP2013508794A; EP2491530B1; JP2015084229A; US10229511B2; CN102612704A; JP5905540B2; DE102009049849B4; US20140321708A1; US8837779B2; US20120219188A1; US20150092987A1; EP2491529B1; US20180357786A1; CN102667855A; US10650546B2; US20160189384A1; JP5980295B2

Abstract

【解決手段】実環境視像における仮想情報の表示方法であって、サーバ（２）のデータベース（３）において、地理的グローバル座標系（２００）に関連したグローバルポジション及び方位を有する少なくとも１つの仮想オブジェクトを、前記仮想オブジェクトの前記グローバルポジション及び方位について与えられる決定を容認する第１ポーズデータ（ＰＷ１０）と共に提供する工程と、モバイル機器（３０）を用いて、少なくとも１つの実環境（４０）の画像（５０）を撮影し、前記画像が撮影された前記地理的グローバル座標系に関連したどの位置であり、どの方位であるかとの決定を容認する第２ポーズデータ（ＰＷ５０）を提供する工程と、前記モバイル機器のディスプレイ（３１）に前記画像（５０）を表示する工程と、前記サーバ（２）のデータベース（３）内の仮想オブジェクト（１０）にアクセスし、前記第１及び第２ポーズデータ（ＰＷ１０，ＰＷ５０）に基づいて、前記ディスプレイに示された前記画像（５０）に前記仮想オブジェクト（１０）を位置付ける工程と、前記仮想オブジェクト（１０）を操作する、若しくは前記ディスプレイに表示された前記画像（５０）内の対応する位置に位置付けることにより、別の仮想オブジェクト（１１）を追加する工程と、前記画像（５０）における位置付けに一致する修正第１ポーズデータ（ＰＷ１０）と共に操作された前記仮想オブジェクト（１０）、若しくは前記サーバ（２）のデータベース（３）内の前記画像（５０）の位置付けに一致する第３ポーズデータと共に更なる仮想オブジェクト（１１）を提供する工程と、を具備し、前記修正第１ポーズデータ及び前記第３ポーズデータが、前記操作された仮想オブジェクト若しくは前記更なる仮想オブジェクトの前記グローバルポジション及び方位について与えられる決定をそれぞれ容認している。
【選択図】図３

Description

本発明は、実環境に関連するカメラの姿勢を決定する方法、及び、カメラによって撮像された画像における実環境の物体を認識する方法に関する。また、本発明は、実環境の実物体に関連するカメラの姿勢を決定する方法、又は、実環境の物体を認識する方法を用いてカメラによって撮像された画像のデータと比較されることを目的とするデータモデルを提供する方法に関する。

拡張現実感（ＡＲ）は、仮想データを現実に重ね合わせる技術であり、従って、拡張現実感はデータと現実との関係を容易にする。従来、例えば、モバイルＡＲシステムの使用は既に知られている。ここ数年、高性能モバイル装置（例えば、いわゆる「スマートフォン」）は、ＡＲアプリケーションに適していることが判明された。一方、これらの装置は、比較的大きいカラー・ディスプレーと、設置されたカメラと、優れたプロセッサと、例えば方位センサやＧＰＳなどの付加的なセンサとを備える。それに加えて、装置の位置は、無線ネットワーク経由で見積もられる。これまでに、ＡＲを利用するモバイル装置に実施された様々なプロジェクトがあった。まず、装置の位置と方位を確かめるための特殊な光学式マークは、使用された。最近では、より多くの最新の装置のＧＰＳシステムと方位センサシステムを利用するための様々なアプローチもある（非特許文献１、非特許文献２、非特許文献３、非特許文献４、非特許文献５、及び非特許文献６を参照する）。

しかしながら、不確かなセンサデータが原因で、レジストレーション、即ち、重ね合わせの精度は改善に値することは、注目すべきことである。この目的を達成するためのアプローチは、例えば、ＧＰＳ、コンパス、及び、グラビテーション・センサの組み合わせから、光学的アプローチによって、カメラの初期姿勢を改善するハイブリッド・トラッキングの使用である。変動光条件に対する感受性を低減するために、画像データのいわゆる“ヒストグラム平坦化”は、よく用いられる。

カメラによって撮像された画像における実物体の物体認識、及び、実環境に関連するカメラ姿勢を決定するための光学トラッキングシステムの初期化は、従来知られている。しかしながら、時々、システムの信頼性は変動環境条件によって大きく変化する場合がある。これについて、カメラ姿勢はカメラの空間における位置と方位である。現実感は、例えば、データモデルのいかなる形で、その一例として、現実又は現実の一部の幾何学的性質を表現する３Ｄモデルの形で、存在することがある。

米国特許出願公開第２００３／００２５７１４号公報では、拡張現実感を用いて気象データを可視化するシステムを記述している。米国特許出願公開第２００５／０２３１４１９Ａ１号公報では、気象に依存しないセンサを用いて大気空間を監視するＡＲシステムを記述している。

AR Wikitude. http://www.mobilizing.com/wikitude.php S. Feiner, B. Maclntyre, T. Hollerer, and A. Webster, "A touring machine: Prototyping 3d mobile augmented reality systems for exploring the urban environment", In Proceedings of the 1st International Symposium on Wearable Computers, pages 74-81, 1997. Sekai Camera. http://www.tonchidot.com/product-info.html Marko Heinrich, Bruce H. Thomas, Stefan Mueller, "AR Weather", Mixed and Augmented Reality, IEEE/ACM International Symposium on, pp.187-]188, 2008 7th IEEE/ACM International Symposium on Mixed and Augmented Reality, 2008. layar.com Magazine Machine Vision and Applications Publisher Springer Berlin/Heidelberg ISSN 0932-8092(Print) 1432-1769(Online) Issue Volume 17, Number 1/April 2006, pages 8-20

本発明は、実環境に関連するカメラの姿勢を決定する方法、及び、カメラによって撮像された画像における実環境の物体を認識する方法において、変化する環境条件に対するロバスト性を改善することを目的としている。

第１の実施態様に従って、本発明は、実環境に関連するカメラの姿勢を決定する方法に関し、前記方法は、
ステップ：カメラを用いて実環境の少なくとも一枚の画像を撮像し、前記画像は実物体の少なくとも一部を含んでおり、
ステップ：環境状況、例えば、前記画像を撮像するとき、の少なくとも１つのパラメータを決定し、
ステップ：前記カメラの姿勢に関する結論を得るために、前記実物体に関連する特徴と、前記実環境の前記画像に含まれている場合の前記実物体の対応する特徴との間の対応に関する情報を評価するトラッキング方法を実行し、及び
ステップ：前記少なくとも１つのパラメータに従って前記トラッキング方法を実行する、
を備える。

更なる実施態様に従って、本発明は、カメラによって撮像された画像における実環境の物体を認識する方法に関し、前記方法は、
ステップ：カメラを用いて実環境の少なくとも一枚の画像を撮像し、前記画像は実物体の少なくとも一部を含んでおり、
ステップ：前記画像における前記少なくとも一つの実物体の認識に関する情報を提供する画像認識方法を実行し、
ステップ：環境状況、例えば、前記画像を撮像するとき、の少なくとも１つのパラメータを決定し、及び
ステップ：前記少なくとも１つのパラメータに従って前記画像認識方法を実行する、
を備える。

特に、このようにして、現在の環境状況を認識すること、及び、システムを動的に構成することが可能である。マッチした構成によって、変化する環境条件についてのロバスト性が強化される。

本発明の一実施例に従って、情報の下記の項目の少なくとも一項又は数項を用いることによって、前記環境状況の前記少なくとも１つのパラメータの決定が行われる。前記項目は、一日の時期；一年の時期；気象、特に、雨、雲、日光（日射）及び霧；月の位置；積雪情報；樹木の葉；海抜高度；公共イベント、特に、強力な運動；交通状況；位置；ワールド座標系における方位；画像のヒストグラム；温度；メンテナンス・ステップである。前記環境状況の前記少なくとも１つのパラメータは、特に、１つ以上のこれらの条件又は状況に対して、特徴のあるものであることがある。

以上、典型的な方法で指摘したように、様々な環境条件は、よく、前述の物体認識方法と姿勢決定方法に重大な影響を与える。これらの条件が認識されるときに、状況に応じて反応を示すことが可能である。例えば、反応は、太陽の多くの位置に対して環境のデータモデルを作成すること、及び、雨天と晴天に対してもそれぞれそのようなことをすることもあり得る。特定の場所での認識又は初期化を行うことが求められる場合に、例えば、一日／一年の時期、及び、オンライン気象情報の問い合わせを経由して、適切なデータモデルを読み込んで利用することができる。この適切なデータモデルでは、日射のベクトルと計算された日射のベクトルとの間の角度が、できるだけ小さくなるようにする。一般的に、このようにして、少なくとも環境条件の一部を表現する、測定された、シミュレートされた、又は、決定された１つ以上のパラメータが存在する。それぞれ、物体認識及び姿勢決定用の認識又は初期化システムを構成する、この１つ以上のパラメータを決定する、又は、この１つ以上のパラメータに由来することができる。

本発明の一実施例において、前記トラッキング方法は、少なくとも、前記少なくとも１つのパラメータに基づいて初期化された１つの光学トラッキング方法を使用する。

例えば、カメラの姿勢は、１、２、３、４、５又は６自由度を有する前記トラッキング方法によって決定される。

本発明の一実施例において、前記トラッキング方法は、センサタイプの異なる、いくつかのトラッキングセンサを使用することができる。例えば、前記トラッキング方法は、前記少なくとも１つのパラメータに基づいて、少なくとも１つの前記トラッキングセンサを比較検討することを含む。

本発明の一実施例において、前記トラッキング方法は、前記少なくとも１つのパラメータに基づいて、一部の方法ステップの優先順位付けを含むこともできる。しかしながら、前記カメラによって撮像された前記画像のデータと比較されるデータモデルを使用する方法において、代替法、又は、それと組み合わせた形として、前記現在環境状況の前記少なくとも１つのパラメータを考慮して前記データモデルを選択することも可能である。更なる実施例では、前記実環境の前記画像において、前記データモデルの作成及び／又は使用に影響を与える、前記少なくとも１つのパラメータと共に、前記実物体の前記画像のデータと比較される、少なくとも１つのデータモデルが使用される。

例えば、前記少なくとも１つのパラメータは、前記データモデルの作成の種類、特に、いわゆる特徴検出器と記述子の作成に、影響を与える。更なる実施例では、データモデルは、前記少なくとも１つのパラメータ（環境状況）で記録される、又は、シミュレーションによって作成される、多くの個別モデルから、抽出されるようになっており、前記データモデルは、いくつかの環境状況の中に含まれている情報の項目の共通部分を含む。

本発明は、実環境の実物体に関連するカメラの姿勢を決定する方法、又は、実環境の物体を認識する方法において、カメラによって撮像される一枚の画像のデータに比較されることを目的とするデータモデルを提供するための方法にも関する。このような方法に基づいて、環境状況は確認又はシミュレートされ、また、前記環境状況の少なくとも１つのパラメータは決定される。更に、前記実物体の基本的な描写を含むデータモデルは作成され、様々な環境状況は設定又はシミュレートされ、また、異なる環境状況に対して、それぞれの少なくとも１つのパラメータに基づいて、それぞれのマッチしたデータモデルが提供される（例えば、状況の多くは予めシミュレートされたときに、これは、例えば、現在のパラメータに対する直接の反応として、又は、リザーブとして起こる。）。

一実施例によれば、前記基本的な描写は、環境の仮想３Ｄモデルである。

更なる実施例によれば、いくつかの異なる環境状況の中に含まれている情報の項目の共通部分を含むデータモデルは、作成される。

例えば、仮想情報は実環境の表示に統合されるときに、前記実環境に対して、仮想情報における統合された現実感の度合いを増加させるために、例えば、インターネット（“オンライン”）経由で検索される気象データは考えられ、また、このようにして関連付けを改善する。ここで考えられる処理用の様々な複雑性の度合いがある。例えば、気象状況に基づいて、固定照明モデル又は材料（例えば、テクスチャ）は、気象状況に割り当てられてマッチさせられる。気象データ（例えば、雲や日射などのデータ）及び／又は他のデータ（例えば、一日／一年の時期などのデータ）に基づいて、（例えば、当業者に知られているレイトレーシング方法を用いて、）シャドウキャスト又は光条件を計算することができる。

本発明の追加した有利な展開と実施例は、従属請求項に示される。

図１は実環境に対する典型的なシステムセットアップの概略配置の平面図を示しており、本発明に係る方法を実行するために、該システムセットアップを使用することができる。図２は実環境に対する典型的なシステムセットアップの概略配置の側面図を示しており、本発明に係る方法を実行するために、該システムセットアップを使用することができる。図３はカメラ姿勢を決定するため、又は物体を認識するためのデータモデルの図解例を示す。図４は本発明の一実施例に係る方法の典型的なコースを示す。図５は本発明の更なる実施例に係る方法の典型的なコースを示す。図６は本発明の更なる実施例に係る方法の典型的なコースを示す。図７は本発明の更なる実施例に係る方法の典型的なコースを示す。図８は本発明の更なる実施例に係る方法の典型的なコースを示す。図９は本発明の一実施例に係るデータ構造の典型的なセットアップを示す。図１０は本発明の一実施例に係る典型的なパラメータを示す。図１１は、本発明の一実施例に基づいて撮像された画像の差の典型的な近似値と可能な計算を示す。

以下、図面に示された図を用いて、本発明をより詳細に説明する。

図１は実環境に対する典型的なシステムセットアップの概略配置の平面図を示しており、本発明に係る方法を実行するために、該システムセットアップを使用することができる。特に、図１はシステムセットアップの様々な可能性を示す。これに関連して、図２は実環境に対する典型的なシステムセットアップの概略配置の側面図を示しており、本発明に係る方法を実行するために、該システムセットアップを使用することができる。

図１Ａの図では、ユーザは、システムセットアップ２０の一部であるディスプレー２１を備えるヘッドマウント・ディスプレー・システム（“ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ”、ＨＭＤと略される）を、ディスプレー装置として身に付ける。例えば、ディスプレー２１は、一般的に知られている半透明データメガネ（“光学シースルー・ディスプレイー”）であってもよい。コンピュータ２３によって提供される仮想情報を、ディスプレー２１に溶け込ませることができる。そして、ユーザは、半透明データメガネ２１を介して実世界４０の視野で、溶け込まれた仮想情報（例えば、実世界に関連するＰＯＩオブジェクト）で拡張された実世界４０の物体を見る。このように、システムセットアップ２０は、一般的に知られている拡張現実感（ＡＲ）システムの第１の実施例を構成する。

ディスプレー２１は、追加センサ２４（例えば、回転センサ）と、光学トラッキング用カメラ２２を搭載するようにしても良い。ディスプレー２１は半透明になり得る、又は、カメラ画像によってディスプレー２１に現実感の画像が与えられるようにしても良い。半透明ディスプレー２１のために、目２５とディスプレー２１との間のキャリブレーションが必要である。このことについては、先行技術に記録され、且つ、当業者に知られている様々なプロセスがある。実世界４０におけるシステムセットアップ２０の地理的な位置決定（例えば、経度と緯度に基づいて）をできる限り、レンダーリングするために、有利に、ディスプレー２１の上に、又は、ユーザの身体のどこか、又は、同様にコンピュータ・ユニット２３において、設置された位置センサ（例えば、ＧＰＳセンサ；ＧＰＳ：全地球測位システム）もあるようにしても良い。半透明ＨＭＤでいわゆる光学シースルーモードにおいて表示が実行されるか、それとも、カメラとディスプレースクリーンでビデオ・シースルーモードにおいて表示が実行されるかは、何の関連性もない。基本的に、本発明は、ビデオ・シースルー・アプローチが、一台のカメラが、１つの眼につき、１つのビデオストリームを記録するための計二台のカメラを有利に使用するという立体表示に関連して使用されることができる。どんな状況でも、仮想３Ｄ情報の項目は、各眼について個別に計算されることができる。

基本的に、以下に説明する異なる一部のステップの処理は、ネットワーク経由で様々なコンピュータに配布されることができる。従って、クライアント／サーバー・アーキテクチャ、又は、単にクライアントベース・ソリューションは可能である（例えば、様々なデータモデル代替手段は、サーバーについて固定して提供される）。例えば、クライアントは、画像をサーバーに送信することが可能であり、そのサーバーは、受信した画像と環境状況のパラメータに基づいて、システムセットアップ（図１参照）の３Ｄ位置及び３Ｄ方位、又は、実世界に関連するそれの一部（以下、“姿勢”と称する）に関するクライアント・ステートメント、及び、ビジョン又は可視性の範囲に関するクライアント・ステートメントが利用できるようにする。環境状況に関するパラメータは、一部分においてクライアントによって決定され（例えば、位置）、また、一部分においてサーバーによって決定される（例えば、この位置に関する気象データ）ことができる。更に、クライアント又はサーバーは、いくつかの計算ユニットを備えるようにしても良く、そのいくつかの計算ユニットは、例えば、いくつかのＣＰＵ又は専用ハードウェア部品であり、また、例えば、一般的に知られている複数のＦＰＧＡ、ＡＳＩＣ、ＧＰＵ、又はＤＳＰである。例えば、この位置での環境状況について生成された情報を相互に交換するいくつかのクライアントが存在するようにしても良く、又は、念のため、１つのクライアントは環境データを生成する。この情報交換はサーバー経由で行われることができるが、例えば、ブルートゥース又はＷＬＡＮ経由での直接接続によって行われることもあり得る。

ＡＲが実現可能となるために、空間におけるカメラの姿勢（位置及び方位）が必要である。これは様々な異なる方法で実現されることができる。例えば、単にＧＰＳと電子コンパスを有する方位センサ（例えば、いくつかの最新携帯電話機に搭載されたように）を用いることにより、世界における姿勢を決定することができる。しかしながら、姿勢の不確実性は非常に高い。従って、例えば、光学的初期化とトラッキング、又は、光学的方法とＧＰＳ、方位センサとの組み合わせといった他の方法を使用することも可能である。ＷＬＡＮ位置決めは、同じに使用されることが可能であり、又は、ＲＦＩＤ若しくは光学マーカーは、位置決めプロセスをサポートすることができる。以上に述べたように、ここでは、クライアント／サーバーベースのアプローチは同じに可能である。しかしながら、基本的に、本発明はＡＲだけに使用されることに限定されない。例えば、物体認識を行い、そして、ウェブサイトをウェブブラウザー又はアプリケーションでスタートすることも可能である。しかしながら、画像を正確に写真サイト（例えば、画像を撮影した場所を示すこともできるフリッカー（Ｆｌｉｃｋｒ））に置くために、少なくとも１つのパラメータと写真を使用することもできる。

本発明は、クライアントに対して情報表示を改善することができる。しかしながら、本発明は、リモート・シナリオに使用されることもできる。こうした状況の下では、例えば、制御室に居るメンテナンス専門家は、データネットワーク経由で送信されたクライアントの画像、及び、それに応じて処理された情報を、彼のディスプレースクリーン上に見る。そして、この専門家は、クライアントに指示を与える、又は、単に観察するということもあり得る。似ているシナリオにおいて、人は、本発明に基づいて表示されたインタラクティブな追加情報とともに、撮像された画像又はビデオ資料を見ることができ、また、可能なら、インタネットベース・アプリケーション”ＧｏｏｇｌｅＳｔｒｅｅｔｖｉｅｗ”と似ている資料を介してナビゲートすることができる。

それに加えて、本発明は、モニター、ＨＭＤ、又は、ヘッド・アップ・ディスプレーを使用する、車両、航空機、又は船舶に、搭載される、又は、運ばれていくこともできる。

基本的に、本発明は、いわゆる注目点を溶け合わせることに使用されることができる。注目点（ＰＯＩ）は、様々な異なる形式の情報に対して、セットアップされることができる。以下、これらの例は与えられた。ＧＰＳ情報を使用する場所の画像を表示することができる。インターネットから情報を自動的に抽出することができる。例えば、これは、格付けを与える、アドレス又はページを有する、会社又はレストランのウェブサイトであっても良い。ユーザは、テキスト、画像、又は３Ｄオブジェクトを特定の場所に置くことができ、また、他の人たちが同様にこれらを使用できるようにすることができる。例えば、ウィキペディアのような情報ページは、地理情報に関して検索されることができ、また、これらのページをＰＯＩのようにアクセス可能にすることができる。ＰＯＩは、モバイル機器のユーザの検索及びブラウジングの行動から自動的に生成されることができる。例えば、地下輸送機関若しくはバス・ステーション、病院、警察署、医師、不動産広告若しくはフィットネスクラブのような、注目する他の場所を示すことができる。

システムによってナビゲーション情報が表示可能となる（例えば、矢印）。

図２に図解されたように、現実感は、データモデルとしてのいかなる形で存在することができ、例えば、そのデータモデルは、本件において、実物体４１の幾何学的特性を制限し、又は、３Ｄ点群における物体の点の特徴を保存する３Ｄモデル５１である。従って、一般的に、このようなデータモデルは、現実感又は現実感の一部の幾何学的特性を表現することができる。このようなデータモデルは、カメラの姿勢を決定するためのトラッキング方法、又は、物体認識方法に利用されることができる。

例えば、このようなデータモデルを利用することにより、光学物体トラッキング方法は行われることができる。その際に、当業者に知られているように、データモデル、例えば、データモデル５１は、カメラによって撮像され、実物体４１を含む画像のデータに比較される。

カメラによって撮像された画像における実物体の物体認識、及び、実環境に関連するカメラ姿勢を決定するための光学トラッキングシステムの初期化は、従来知られている。特に、この場合に使用される方法は、実物体に関連する特徴と、実環境の画像に含まれている場合の実物体の対応する特徴との間の対応に関する情報を評価することにより、カメラの姿勢に関する結論を得る。

しかしながら、時々、システムの信頼性は変動環境条件によって大きく変化する。本発明によれば、現在の環境状況を認識し、システムを動的に構成することができる。マッチした構成によって、変化する環境条件に対するロバスト性は、強化される。

本発明の一実施態様に従って、下記のステップが実行される：
ステップ：カメラを用いて実環境の少なくとも一枚の画像を撮像し、撮像した画像は実物体の少なくとも一部を含んでおり、
ステップ：環境状況の少なくとも１つのパラメータを決定し、
ステップ：カメラの姿勢に関する結論を得るために、実物体に関連する特徴と、実環境の画像に含まれている場合の実物体の対応する特徴との間の対応に関する情報を評価するトラッキング方法を実行し、及び
ステップ：少なくとも１つのパラメータに従って、そのトラッキング方法を実行し、特に、少なくとも１つのパラメータに従って、対応をすでに見つける。

このようにして、現在の環境状況を認識し、システムを動的に構成することができる。マッチした構成によって、ロバスト性は、強化される。

例えば、トラッキング方法は、少なくとも１つのパラメータに応じて初期化される、少なくとも１つの光学トラッキング方法を使用する。カメラの姿勢は、例えば、１、２、３、４、５又は６自由度を有するトラッキング方法によって決定される。使用目的は、例えば、物体の認識（例えば、”ｉｎｆｒｏｎｔｏｆｗｈｉｃｈｏｂｊｅｃｔａｍＩ”という情報を得るために）、又は、６自由度を有する拡張現実感用光学トラッキングシステムの初期化である。６自由度を決定するために、従来知られている可能性は、２Ｄ−３Ｄ対応を生成すること、及び、生成した２Ｄ−３Ｄ対応を最適化方法に入力することに存する。例えば、深度カメラ（ｄｅｐｔｈｃａｍｅｒａ）、又は、深度情報を生成するための第２のカメラに加えて、記録装置が搭載された場合に、２Ｄ−３Ｄ対応を使用することも可能である。この対応を提供するために、画像から特徴を認識し、また、データモデルにおける特徴を検索することができる。検索のために、いわゆる特徴記述子（例えば、ＳＵＲＦ又はＳＩＦＴ）を使用することができる。ちなみに、ＳＵＲＦは、高速化ロバスト特徴（ＳｐｅｅｄＵｐＲｏｂｕｓｔＦｅａｔｕｒｅｓ）の略であり、また、ＳＩＦＴは、ＳｃａｌｅＩｎｖａｒｉａｎｔＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍの略である。しかしながら、データモデルの特徴及びデータモデルの記述子が、現在の画像における認識された特徴に比べて他の光条件に対して生成された場合に、これは正常に機能しないことが多い。

例えば、トラッキング方法は、センサタイプの異なる、いくつかのトラッキングセンサを使用する。そして、トラッキング方法では、いわゆるセンサーフュージョンにおいて、少なくとも１つのパラメータに応じて（例えば、悪い条件の場合に、増加した光学トラッキングの不確実性）、他のトラッキングセンサに対して、１つ以上のセンサの重み付けを達成することができる。トラッキング方法では、少なくとも１つのパラメータに応じて、方法の一部のステップの優先順位付けを達成することも可能である。例えば、良好な条件では最初に高速アプローチ（例えば、ＳＵＲＦ）を使用し、また、悪い条件の場合に、よりロバストなアプローチ（例えば、ＳＩＦＴ）を最初に使用することができる。

異なる環境条件は、よく、方法と多くの特徴に重大な影響を与える。これらが認識されるときに、それ相応にこれらに反応を示すことが可能である。例えば、反応は、太陽の多くの位置に対して環境のモデルを作成すること、及び、雨天と晴天に対してもそれぞれそのようなことをすることもあり得る。特定の場所での認識又は初期化が行われた場合に、例えば、一日／一年の時期、及び、オンライン気象情報の問い合わせを経由して、適切なモデル（この適切なモデルでは、日射のベクトルと計算された日射のベクトルとの間の角度が、できるだけ小さくなるようにする。）を読み込んで利用することができる。このようにして、環境条件を表現するパラメータも、認識又は初期化システムを構成するパラメータもある。

環境状況の少なくとも１つのパラメータを決定するために、一実施例は、情報の下記の項目の少なくとも一項又は数項を使用する。これらの項目は、一日の時期；一年の時期；気象、特に、雨、雲、日光及び霧；月の位置；積雪情報；樹木の葉；海抜高度；公共イベント、特に、強力な運動；交通状況；位置；ワールド座標系における方位；画像のヒストグラム；温度；メンテナンス・ステップである。このようにして、環境状況の少なくとも１つのパラメータは、特に、１つ以上のこれらの条件又は状況に対して、特徴のあるものであっても良い。一実施例において、少なくとも１つのパラメータは、場所（だけ）ではなく、又は、場所（だけ）に対する特徴ではない。更なる実施例において、少なくとも１つのパラメータは、方位（だけ）ではなく、又は、方位（だけ）に対する特徴ではない。もう一つの実施例において、少なくとも１つのパラメータは、姿勢（だけ）ではなく、又は、姿勢（だけ）に対する特徴ではない。

本発明に係る更なる実施例及び可能性を以下のように説明する。

照明状況に関しては、月を考慮することも可能である。月夜に、特定の光学特徴を使用することができ、また、暗夜に、人工光源だけ（例えば、イルミネーションに照らされた広告）で正常に機能することができ、又は、全く、光学システムを使用しようとしないが、むしろ、例えば、ＧＰＳとコンパスだけを使用するようにする。雪が降った場合に（現在の気象、又はここ数日間の気象データベース、並びに、温度曲線、オンライン道路交通レポート、又はオンライン雪崩レポート）、環境は再び異なり、また、対応するモデルを読み込むこと、又は、光学トラッキングの動作を停止することは、有利である。

一年の時期に応じて、特定の領域では、樹木の葉に関しての結論を出すことができ、その上、異なるモデルを読み込むことができる。一年の時期に加えて、一年全体の気候条件は、計算に加えて考慮される。海抜高度は、この点について、同じに役割を果たすことができる。

基本的に、特定の環境状況に応じて異なるデータモデルを読み込むことだけでなく、複合モデル中に特定のモデル部分の優先順位付け（アルゴリズムにおける先、又は後での考慮）又は重み付け（結果への強い又は小さい影響）に影響を与えることもできる。複合モデルにおいて、個別のモデルデータ（例えば、点群の点）は、環境状況に関するデータで補完され、従って、モデルデータの部分をブレンドアウトする、変化させる、又は追加することができる。例えば、データモデルの特定の点は、環境状況“冬”の場合に、ブレンドアウトされる（即ち、考慮されない）のに対して、当該データモデルの特定の点は、環境状況“夏”の場合に、考慮される。この可能な実現用の可能なデータ構造は、図９に示される。データモデルは、特徴ごとに、環境状況を記述する１つのパラメータベクトルを含むことができ、記述子（例えば、ＳＵＲＦ記述子）、及び、姿勢計算用最適化情報（例えば、地球の座標系（the earth7’s coordinate system）における３Ｄ位置）は分別よく特徴に使用されることができる。

カメラに撮像された画像の位置及び方位は、環境条件（局地気象や局地一日の時期など）を決定することにとって、極めて関連の深いこともよくある。しかしながら、例外は、世界中で起こる可能性がある認識プロセスであり（例えば、コカコーラ（登録商標）の瓶の認識）、また、この認識プロセスでは、クライアントが、位置に関係なく特定の環境特性に反応することができる（例えば、モバイル装置に搭載された輝度センサ、又は、カメラ画像のヒストグラム）。ヒストグラム（画像に関する一種の統計資料）は、例えば、環境照明の一般的な特性を示唆することを可能にし、また、光学方法の使用をやめる、又は、光学方法を切り替えることができる。方法の切り替えは、例えば、コーナー特徴の代わりにエッジ特徴を使用するようにし、又は、ＳＵＦＲの代わりに既知のＳＩＦＴ方法を使用するようにする。又は、ユーザは、有効的に介入し、また、システムに認識用ヒントを提供することが求められる。

更に、メンテナンスを受ける物体の場合の環境に関する情報は、例えば、現在のメンテナンス・ステップ又はメンテナンス状態の知識から得られる。例えば、情報は、特定のステップに対して、モータは既に取り外されたかどうかである。

公共イベント又は交通状況の知識（経験から、又は、オンライン検索できる）は、特定の領域が常に動いている時に（例えば、大勢の人々、又は、移動する車両）、この特定の領域は信頼できる情報を提供することができないという旨のヒントを提供することができる。

更なる実施例は、環境状況の少なくとも１つのパラメータの距離測定の決定、及び、既知な環境状況についてのトラッキング方法の既知な理想パラメータから、カメラ姿勢を決定することにおける不確実性の計算を含む。一般的に、環境状況に関するいくつかのパラメータの一部を１つのベクトルの形で組み合わせることも可能であり、また、記録又は作成条件の対応するベクトルでデータモデルを生成することも可能である。現在の環境状況に提供されたデータモデルの質は、ベクトルの比較で結論付けられることができ、また、最小偏差を有するデータモデルはそれに応じて選択されることができ、及び／又は、認識の不確定性表現は差分から得られることができる。この点について、図１０に一例を示しており、即ち、ベクトルは、一日の時期、雲の状況、及び一年の時期にそれぞれ対応する３つのフィールドを含む。省略記号は、特定の時点で撮像されたビューに関する環境状況を示す。図１１は、近似の典型的な値、及び、ビューとビューの間の差分の可能な計算を示す。この点について、個別のパラメータは、データモデルに様々な程度まで影響を与えることがあるので、個別のパラメータの重み付けは可能である。

パラメータベクトルは、データモデルごとに、比較情報の項目ごと（例えば、ＳＵＲＦ特徴）に、又は、データモデル内の特徴ごとに、格納されることができる。この点については、固定値だけでなく、この比較情報が適しているパラメータ範囲も格納されることができる。図８は、この追加情報の可能な使用を示す。例えば、ステップ６．１及びステップ６．２に説明されたように、パラメータベクトル距離に応じて、ソーティングによって、比較を加速させることができ、すると、所望の数のペアはより速く見つけることができる。別の方法として、現在の環境パラメータベクトルは、画像で見つけた全ての特徴の前に置かれることができ、そして、最近傍探索（ＮＮＳ）で任意にサポートされるマッチング・アルゴリズムをスタートさせることができる。

本発明の一実施例では、少なくもと１つのパラメータは、モデルデータの上出来な検索に関する最低必要条件に影響を与え、特に、実物体に関連する多くの特徴、及び、整合性（少なくとも“マッチした”特徴の個数）に持ち込まれた実環境の画像における実物体の対応する特徴を決定する。認識及び初期化において、多くの場合に、表示された１つの量があり、その量は想定された全部の特徴の検索又は物体の検索を指摘する。例えば、少なくとも１０個の特徴を再び見つける、又は検索する必要がある。モデル・プレゼントが環境にうまく適合する場合に、その量は、例えば増加しても良い（例えば、２０個の特徴を再び見つける必要がある）。このようにして、良好な条件では、いわゆる“誤検知”（物体の誤認識、即ち、システムによって行われた物体の想定された認識は、しかしながら、間違っていることが判明する。）（例えば、結果的に、精度が強化される）であり、しかしながら、一方、悪い条件の場合に、可能な初期化チャンスは省かれない。

更なる実施例において、環境状況の少なくとも１つのパラメータは、データモデルの作成及び／又は使用に影響を与える。特に、少なくとも１つのパラメータは、データモデルの作成の種類、例えば、特徴の検出と特徴記述子の作成に、影響を与える。特に、異なる特徴エクストラクタと記述子が存在する。良好な環境条件では、例えば、高速方法（例えば、ＦＡＳＴエクストラクタ＋高速記述子）が選択され、しかし一方、より複雑な方法（例えば、ＳＩＦＴ）は、困難な条件の場合に使用される。

もう一つの実施例では、データモデルは多くの個別モデルから抽出される、データモデルはいくつかの環境状況の中に含まれている情報の共通部分を含む。図７のフローチャートはこのプロセスの典型的な具現化を示す。ステップ３０．０では、読み込まれた様々な既存データモデル、又は、先にシミュレーションによって生成されたデータモデルがある。その後（ステップ３１．０では）、モデル間のマッチングが行われる。そうすることで、いくつかの比較データが頻繁に検索されるのに対して、そのほかの比較データは、一回でも検索されない可能性がある。検索の頻度はバッファリングされることができる。任意のステップ３２．０では、例えば、特徴はデータモデルの共通座標系における特徴の位置によって大きく変化する場合に、外れ値は除去されることができる。データモデルは、基本的に、異なる方法（例えば、ＳＵＲＦ、ＳＩＦＴ、任意のエッジモデル、エリアモデル、又は、色を考慮するモデル）で生成される、異種比較情報で構成されることができることに留意する。その後、頻繁に検索される比較情報（ステップ３１．０）は、新しいマップを形成するように、組み合わせられる。そうすることで、比較情報の上限、例えば、空間におけるボリュームごとに、任意的に決定されることができる。そして、最も強い比較情報に応じて、ソーティングが行われる。この点については、重み付け演算により、非常にロバストだけで遅い方法が好ましいということが抑制される。その後、マップは、さらに使用するために、格納されることができる。

もう一つの実施例では、それぞれが方法を行う（特に、いくつかのクライアント、例えば、いくつかのモバイル装置）、いくつかの部分的なシステムがあり、また、部分的なシステムの各自は、それ自身でトラッキング状況を計算するわけではなく、むしろ、完成した状況情報は全ての部分的なシステムに利用され、有利に、完成した認識又は初期化モデルも、これらの部分的なシステムに利用される。

例えば、部分的なシステムは、連続的に、状況に関する情報をサーバー又はピアツーピアプロセスに提供する。ピアツーピアプロセスは、いくつかのモバイル装置間に行われる（例えば、サーバーは１０番の装置と通信し、１３番の装置と１７番の装置は１０番の装置に隣接しており、そして、１０番の装置はこれらの装置に直接に情報を求める。）。さもなければ、情報をサーバーに提供する個別の装置があり、また、ユーザは自分の特定の装置のため、サーバーから情報を得る。
もう一つの実施例では、カメラ姿勢を決定することは、画像に含まれている少なくとも１つの実物体に対して深度情報を計算するために使用され、そして、深度情報は溶け合わせるために使用され、また、ディスプレー装置において、実環境に重ね合わさった仮想情報が、オクルードされる実物体によって、ビューにオクルードされる場合に、実物体をオクルードするためのオクルージョン・モデルがある。

本発明のもう一つの実施態様は、実物体に関連するカメラの姿勢を決定する方法、又は、実環境の物体を認識する方法において、カメラによって撮像される一枚の画像に比較されることを目的とするデータモデル、及びそのデータモデルのデータをそれぞれ作成するための方法に関する。この実施態様では、環境状況は決定又はシミュレートされ、環境状況の少なくともパラメータは決定され、実物体の基本的な記述子を含むデータモデルは作成され、様々な環境状況はプリセット又はシミュレートされ、また、それぞれの少なくとも１つのパラメータに基づいて、それぞれのマッチしたデータモデルが異なる環境状況に利用される。例えば、状況の多くは予めシミュレートされたときに、これは現在のパラメータに対する直接の反応として、又は、リザーブとして起こる。このようにして、大きな支出で異なる状況のいくつかのモデルを提供する代わりに、ニュートラル・モデルを提供するというアイデアがあり、また、環境影響のシミュレーションによって、かなり少ない支出で、同じものを動的に（又は予め）マッチさせるようにする。

例えば、基本的な記述子は、環境の仮想３Ｄモデルである。例えば、都市の３Ｄモデルを有することは考えられる。既知のいわゆる３Ｄレンダリング技術によって、太陽の現在の経路、及び、これによって生じた環境のモデルを計算するという試みは、今すぐにできる。

例えば、３Ｄモデルは、環境状況に特有の性質から以前に解放され、また、それに加えられるテクスチャを有する。情報が収集されている間に、同じに、シャドウが記録されることができることが多い。当業者に知られている方法を用いて、シャドウを除去するという試みを行うことができる。

一実施例において、３Ｄモデルは、異なる光状況で画像面に投影される。

有利に、いくつか（できるだけ多く）の異なる環境状況の中に含まれている情報の共通部分を含むデータモデルは、作成される。（記録又はシミュレーションによって）、多種多様な異なる環境モデルを生成すること、及び、認識／初期化に利用される特徴をそこから抽出することも考えられる。できるだけ多くの異なるモデルにおける現れる、特定の特徴（例えば、特定のＳＵＲＦ特徴）に関する環境モデルを分析し、それから、特にロバストな特徴をできるだけ多くの状況に正常に機能するモデルに詰め込むことができる。図７に関連する以上のステートメントについても申し述べる。

１つの実施例は、ＳＬＡＭ方法と現在の環境状況の確認を組み合わせ、また、作成されたデータモデルは、環境状況に関する情報と一緒に格納される。いわゆる”自己位置と環境地図の同時推定（simultaneous localization and mapping；ＳＬＡＭ）”において、カメラが動いている間に、ステレオカメラを用いる場合に、又は、似ている３Ｄアプローチ（例えば、深度カメラ）を直接に使用する場合に、環境のマップ（データモデル）は生成され（例えば、ＳＵＲＦ特徴と世界におけるその３Ｄ位置のマップ）、また、カメラの姿勢は決定される。現在の環境条件に関するデータ又はパラメータは、さらに記録された場合に（上述したように）、これらのデータは、多種多様な異なる環境条件に対して、世界のこれまで以上に完成したモデルセットを生成するのに、使用されることができる。例えば、システムは、包括的なデータが既に利用できる特定の場所でのスタートに使用されることができ、そして、この基礎から進むことができる。それから、システムは特定の条件に対する新しい範囲を学習し、また、将来はこれらに基づいてスタートすることもできる。

以下、他の図に関連して、図４〜図８に示されたフローチャートによって、本発明の実施態様及び実施例をより詳細に説明する。

まず、図４は、モデルデータの使用に関する、本発明に係る方法の一実施例に関し、ステップ１．０では、基本的に、環境状況に関する１以上のパラメータを備えるパラメータベクトルは、記録される（例えば、中央サーバー経由で気象状況を問合せ、日／場所の時期／時間を介して太陽の位置を計算する）。ステップ２．０では、記録位置を含むパラメータベクトルは、サーバーに送信され、この位置のためのトラッキングモデルを検索する。この位置用の可能なモデルから、ステップ４．０で選択された、パラメータベクトルにおける明視距離を有するモデルがある。その後、ステップ５．０では、対応するモデルは読み込まれる。ステップ６．０では、特定のアプリケーションによって、カメラの画像における物体認識、又は、カメラの姿勢決定用のトラッキング初期化は行われる。

図５において、ユーザデータからデータモデルを作成するのに役立つ、典型的な方法は行われる。ステップ７．０では、使用中に新しいモデルデータを“学習”する（自己位置と環境地図の同時推定）。ステップ８．０では、パラメータベクトルと新しいマップ（データモデル）は、サーバーに送信される。ステップ９．０では、データの任意の絞り込み（いわゆる“バンドル調整”）があり、また、パラメータベクトル及び位置とともに、新しいデータは格納される。ステップ１０．０では、モデルにおけるギャップは補完される（例えば、未知領域の新範囲、又は、新しいパラメータベクトルを有する新範囲）。ステップ５．０では、もう一人のクライアントは、ステップ７．０〜ステップ１０．０によって説明されたように、以前に他のユーザによってサーバーに送信された、対応するデータモデルを読み込むことができる。他のクライアントの代わりに、データモデルを作成した同じユーザ又は同じ装置は、それぞれ、例えば後で時間内に、データモデルを読み込むことも可能である。

図３は、カメラ姿勢を決定する方法又は物体認識方法のために、どのようにしてデータモデルは作成されることを概略的に示す。実物体（図２の物体４１参照）の基本的な記述を含むニュートラル・モデル６０から、スタートすることがえきる。その後、様々な環境状況はセット又はシミュレートされる（例えば、上方からの日射）。異なる環境状況に対して、各自の少なくとも１つのパラメータに応じて、各自のマッチしたデータモデルは提供され、例えば、図３のマッチしたデータモデル６１と６２は、それぞれ、環境状況に応じてキャストシャドウを考慮する。有利に、更に、データモデル６１と６２から、作成した比較データのコレクション（例えば、特徴点群）で構成される、ややコンパクトな形を有するデータモデルを直接に作成することは可能である。データモデル６２は、生成されたデータモデルの現実感との近さは追加策によって更に強化されることができることを典型的な方法で示す。従って、シャドウキャストによる、環境の追加既知物体のオクルージョンによっても、モデル６２の機能は損なわれない。むしろ、例えば、現在の雨レーダー画像のクエリーによって、現在の雲状況を組み込むこともできる。

図６は本発明のもう一つの実施例に係る方法の典型的なコースを示す。ステップ２０．０では、実環境のデータは記録され（具体的に、又は、ステップ７．０のように）、また、そうすることで、環境状況のパラメータベクトルは有利に記録される。具体的な記録について、記録は有利にＨＤＲ（いわゆる“ハイダイナミックレンジ”）に行われる。ステップ２１．０では、特定のパラメータに対して、データモデルをできる限りニュートラライズする（例えば、シャドウの除去、輝度の正規化など）。ステップ２２．０では、環境条件のスペクトルのために、パラメータベクトルは生成される。それに加えて、ステップ２３．０では、シミュレーション（例えば、レイトレーシング方法）によって、対応するデータモデルを生成することができる。ステップ２４．０では、図４によって、提供はステップ４．０のためになされる。

現実感の程度を増加させて関連付けを改善するために、有利にオンラインで気象データを問い合わせることができる。この点については、処理のために考えられる程度の異なる複雑さがある。気象状況に基づいて（例えば、グーグル気象サービス“mostly cloudy”、“isolated storms”、“isolated rain”に応じて）、割り当てられた固定照明モデル又は材料（例えば、テクスチャ）は、気象状況にマッチさせられる。しかしながら、複雑さで最も高い程度では、雲量の近似モデルを動的に作成し、また、そこから、シャドウキャストを計算するとともに、詳細な光条件（図３参照）を任意的に計算するために、現在の雲又は雨、衛星又はレーダー画像を使用することもできる。上述したように、これは、所在地固有（location-specific）の方法でクライアントがデータを利用できるようにするサーバーによって実施されることができる。距離の認識は霧、雨、又は靄による可視性の決定である。これは、自動的に（文献“From video image e.g. Automatic Fog detection and Estimation of Visibility Distance through use of an Onboard Camera”, magazine machine Vision and Applications, publisher Springer Berlin/Heidelberg ISSN 0932-8092 (Print) 1432-1769 (Online), Volume 17, number 1/April 2006, pages 8-20を参照する）達成され、又は、現在の気象データを用いて問い合わせられることができる。

他の既知技術に加えて、最も簡単な技術的実現は、OpenGLにおいて霧調整をセットすることである。更に、位置、日付、及び一日の時期に基づいて、太陽及び月の位置をそれぞれ計算することができ、また、光源を調整するために、計算した太陽及び月の位置を使用することもできる。これは、特に、仮想物体（例えば、POI）の位置のより良い決定を提供することによりユーザを支援する、シャドウ（図３参照）に効く。シャドウは、事前に計算したテクスチャ（有利に、透明度値を有する）であっても良く、そのテクスチャは、太陽又は月の位置に応じて、太陽もしくは月とPOIとの間の直線がグランド・プレーンと交差する（もし、交差しない場合に、例外となる。）ようになっている、グランド・プレーンの上のPOIの下に置かれる。太陽又は月が現れた場合に、太陽は計算用に使用される。

従来知られているように、シャドウも動的に計算されることができる。これは、有利に、POIの相互の影付け（mutual shadowing）を備えるようにしても良い。環境の３Ｄモデル（例えば、実物体をオクルードするためのオクルージョン・モデル６３の形で；いわゆる“オクルージョン・ジオメトリ”）が存在する場合に、更に、これは、シャドウ状況の現実的計算（realistic calculation）に利用されることができ、例えば、POI（図３参照）の上でシャドウを付ける。溶け合わせたマター（matter）の現実度は、POIの環境の画像によってマテリアルを強化することにより、更に増加する。いわゆる環境マップの使用は、当業者に知られている。

カメラのパラメータ（位置及び方位）に応じてデータモデルの質を強化するために、もう１つ重要なステップを講じることができる。オクルージョン・モデル（いわゆる“オクルージョン・ジオメトリ”）を読み込むことにより、比較データがカメラにとって見えるか、又は、比較データがカメラにとって見えなくなるか（例えば、ほかの建物の後に）を決定することができる。深度モデルは、ＳＬＡＭアルゴリズム、ステレオカメラ、又は、ＴｏＦカメラ（time-of-flight camera）によって、動的に配置されることができ、又は、動的に生成されることができる。その場合には、１セットの比較データ当たり、深度情報の１つの項目は、（例えば、SIFT特徴）、十分である。更なるステップでは、カメラパラメータは、近い範囲での重ね合わせを修正するために（これは、連続的に行われる必要がない）、生成される。これらは、例えば、ＳＬＡＭメカニズムによって、動的に生成されることが可能であり、又は、装置名に応じてサーバーから検索されることが可能であり、又は、プログラムに置かれることができる。

システムのハードウェア能力に応じて、全てのものを表示し、計算することができる。システムのハードウェアが弱い場合に、正確なマテリアル・サーフェスの計算は、サーバーの一部で行われることもでき、又は、全体の画像は、サーバーの一部で計算されることができる。強いシステムの場合に、最新ＧＰＵ（グラフィックス・プロセッシング・ユニット）は、仕事の大部分を引き受けることができる。この目的を達成するために、当業者に知られている、多数の可能性がある。

実環境に関連するカメラの位置及び方位を決定することにより、画像に含まれている少なくとも１つの実物体に対する深度情報を計算することができ、また、深度情報は溶け合わせるために使用されることができ、更に、ディスプレー装置において、仮想情報の場合に、実物体をオクルードするためのオクルージョン・モデルは、オクルードされる実物体によって、ビューにオクルードされる。

Claims

実環境視像における仮想情報の表示方法であって、
サーバ（２）のデータベース（３）において、地理的グローバル座標系（２００）に関連したグローバルポジション及び方位を有する少なくとも１つの仮想オブジェクトを、前記仮想オブジェクトの前記グローバルポジション及び方位について与えられる決定を容認する第１ポーズデータ（ＰＷ１０）と共に提供する工程と、
モバイル機器（３０）を用いて、少なくとも１つの実環境（４０）の画像（５０）を撮影し、前記画像が撮影された前記地理的グローバル座標系に関連したどの位置であり、どの方位であるかとの決定を容認する第２ポーズデータ（ＰＷ５０）を提供する工程と、
前記モバイル機器のディスプレイ（３１）に前記画像（５０）を表示する工程と、
前記サーバ（２）のデータベース（３）内の仮想オブジェクト（１０）にアクセスし、前記第１及び第２ポーズデータ（ＰＷ１０，ＰＷ５０）に基づいて、前記ディスプレイに示された前記画像（５０）に前記仮想オブジェクト（１０）を位置付ける工程と、
前記仮想オブジェクト（１０）を操作する、若しくは前記ディスプレイに表示された前記画像（５０）内の対応する位置に位置付けることにより、別の仮想オブジェクト（１１）を追加する工程と、
前記画像（５０）における位置付けに一致する修正第１ポーズデータ（ＰＷ１０）と共に操作された前記仮想オブジェクト（１０）、若しくは前記サーバ（２）のデータベース（３）内の前記画像（５０）の位置付けに一致する第３ポーズデータと共に更なる仮想オブジェクト（１１）を提供する工程と、を具備し、
前記修正第１ポーズデータ及び前記第３ポーズデータが、前記操作された仮想オブジェクト若しくは前記更なる仮想オブジェクトの前記グローバルポジション及び方位について与えられる決定をそれぞれ容認していることを特徴とする実環境視像における仮想情報の表示方法。
前記画像（５０）は、前記第２ポーズデータ（ＰＷ５０）と共に前記サーバ上に提供される請求項１に記載の方法。
実環境視像における仮想情報の表示方法であって、
サーバ（２）のデータベース（３）において、地理的グローバル座標系（２００）に関連したグローバルポジション及び方位を有する少なくとも１つの仮想オブジェクトを、前記仮想オブジェクトのグローバルポジション及び方位について与えられる決定を容認する第１ポーズデータ（ＰＷ１０）と共に提供する工程と、
データグラス（２０）を用いて、そのデータグラスが位置付けされた前記地理的グローバル座標系（２００）に関連したどのポジションでありどの方位であるかという決定を容認する第２ポーズデータと共に、実環境（４０）の少なくとも１つの視像（７０）を提供する工程と、
前記サーバ（２）のデータベース（３）内の仮想オブジェクト（１０）にアクセスし、前記第１及び第２ポーズデータに基づいて、前記視像の中に前記仮想オブジェクト（１０）を位置付けする工程と、
前記仮想オブジェクト（１０）を操作する、若しくは前記視像内の対応する位置に位置付けることにより、更なる仮想オブジェクト（１１）を追加する工程と、
前記視像（７０）における位置付けに一致する修正第１ポーズデータ（ＰＷ１０）と共に操作された前記仮想オブジェクト（１０）、若しくは前記サーバ（２）のデータベース（３）における前記視像（７０）の位置付けに関連した第３ポーズデータと共に更なる仮想オブジェクト（１１）を提供する工程とを具備し、
前記修正第１ポーズデータ及び第３ポーズデータが、前記操作された仮想オブジェクト若しくは前記更なる仮想オブジェクトの前記グローバルポジション及び方位について与えられる決定をそれぞれ容認していることを特徴とする実環境視像における仮想情報の表示方法。
前記モバイル機器（３０）若しくは前記データグラス（２０）は、前記第２ポーズデータを発生させるための手段（２４，３４）を具備する、又は該手段に連結されている請求項１乃至３のいずれか１項に記載の方法。
前記ポーズデータ（ＰＷ１０，ＰＷ５０）は、位置及び方位について、それぞれ三次元的な値を含む請求項１乃至４のいずれか１項に記載の方法。
前記実環境の前記画像（５０）の方位は、地球表面（２０１）とは無関係に定義される請求項１乃至５のいずれか１項に記載の方法。
前記サーバ（２）の記録場所は、実環境のそれぞれの画像（５０）の中、若しくは実環境のそれぞれの視像（７０）の中に記録し、それぞれの仮想オブジェクトの仮想オブジェクト（１０）は、ポーズデータが設けられている請求項１乃至６のいずれか１項に記載の方法。
カメラによって撮影された、前記地理的グローバル座標系（２００）に関する位置及び方向について与えられる決定を容認するポーズデータと共に、実環境の参照視像を伴って、参照データベース（４）を提供する工程と、
少なくとも１つの前記参照視像に含まれる現実オブジェクトの少なくとも一部分と共に前記画像に示される、少なくとも１の現実オブジェクト（４１，４２）を比較し、前記少なくとも１つの参照視像のポーズデータと、前記画像の第２ポーズデータ（ＰＷ５０）とのマッチング工程と、
前記整合の結果として、前記少なくとも１つの参照視像のポーズデータの少なくとも一部分に基づいて、前記第２ポーズデータ（ＰＷ５０）の少なくとも一部分を修正する工程とを更に具備する請求項１乃至７のいずれか１項に記載の方法。
更に、前記画像に位置付けられる前記仮想オブジェクト（１０）の第１ポーズデータ（ＰＷ１０）の少なくとも一部分が、前記少なくとも１つの参照視像のポーズデータと、前記第２ポーズデータとのマッチングの結果として、修正される請求項８に記載の方法。
前記サーバ（２）のデータベース（３）において、前記第２ポーズデータ（ＰＷ５０）と共に、前記実環境の少なくとも１つの画像（５０）を提供する工程と、
前記サーバ（２）上の前記実環境の画像（５０）にアクセスし、前記画像を表示するためのクライアント装置（１）に伝送する工程と、
前記仮想オブジェクト（１０）を操作、若しくは前記クライアント装置上に表示される前記実環境の画像内の対応する位置に位置付けることにより、更なる仮想オブジェクト（１１）を追加する工程と、
前記クライアント装置に表示された前記画像における位置付けに一致する修正第１ポーズデータ（ＰＷ１０）と共に、操作された前記仮想オブジェクト（１０）、若しくは前記サーバ（２）のデータベース（３）において、前記クライアント装置に表示された前記画像の位置付けに関連した第３ポーズデータと共に、更なる前記仮想オブジェクト（１１）を提供する工程とを更に具備し、
前記修正第１ポーズデータ及び第３ポーズデータは、前記操作された若しくは更なる仮想オブジェクトの全地球位置及び方向について与えられる決定をそれぞれ容認している請求項１乃至９のいずれか１項に記載の方法。
前記サーバ（２）上の前記実環境の画像（５０）にアクセスし、前記画像を見るための第２クライアント装置に前記画像を伝送する工程と、
前記第２クライアント装置の前記画像の前記視像に示されている前記実環境の中にある前記グローバルポジションの仮想オブジェクトを表示している前記第２クライアント装置の前記画像の前記視像と共にサーバに備え付けられる仮想オブジェクト（１０）にアクセスする工程とを更に具備する請求項１０に記載の方法。
前記モバイル機器のディスプレイにマップビュー（８０）を提供する工程と、前記実環境の少なくとも１つの画像を撮影している視像方向を選択するために、ユーザに対して選択を提供する工程とを更に具備する請求項１乃至１１のいずれか１項に記載の方法。
前記実環境の画像の中及び前記モバイル機器のディスプレイに備え付けられるマップビュー（８０）の中に、少なくとも１つの仮想オブジェクト（１０）を認識する工程と、
前記画像の決定された位置及び備え付けられた前記マップビュー（８０）における前記少なくとも１つの仮想オブジェクト（１０）の位置から前記実環境の画像（５０）の方向を決定する工程とを具備する請求項１乃至１２のいずれか１項に記載の方法。
前記サーバ（２）に対するネットワーク接続の不具合が起こった場合、サーバ上に記憶されるためのデータは、前記モバイル機器上にバッファされ、前記ネットワーク接続が再び使用可能になるとすぐに、前記サーバに伝送される請求項１乃至１３のいずれか１項に記載の方法。
前記ユーザは、実環境の領域における、シーンの収束を検索でき、該シーンは、近接に若しくは地図上にソートされ、又は拡張現実を用いたリストの選考のために、ユーザに都合のいいように作り出される請求項１乃至１４のいずれか１項に記載の方法。
前記画像若しくは前記仮想情報は、一意的に同定特性を有し、且つ既にクライアント若しくは前記モバイル機器上に存在する画像若しくは仮想情報は、もはや前記サーバからダウンロードされなく、ローカルデータストレージから読み込まれる請求項１乃至１５のいずれか１項に記載の方法。