JP2023092003A - 情報処理装置、情報処理プログラム及び情報処理方法 - Google Patents

Abstract

【課題】ユーザにとってより直感的にマップ同期を行う。【解決手段】情報処理装置は、第１のマップを生成し前記第１のマップ上の時系列的な自己位置を推定することにより前記第１の３次元軌跡を生成するマップ生成部と、スレーブとして振る舞う他の情報処理装置であるスレーブ装置の前記マップ生成部において生成された第２のマップ上の前記時系列的な自己位置を推定することにより生成された前記第２の３次元軌跡を取得するスレーブ軌跡取得部と、カメラが前記スレーブ装置を撮影して得た撮影画像上の前記スレーブ装置の時系列的な位置を示す２次元軌跡である観測２次元軌跡を生成する観測軌跡生成部と、前記第１の３次元軌跡、前記第２の３次元軌跡及び前記観測２次元軌跡から、前記第１のマップと前記第２のマップとを同期させた同期マップを生成するための変換パラメータを算出する変換パラメータ算出部と、を具備する。【選択図】図４

Description

本開示は、複数の情報処理装置において共通のＡＲコンテンツのＡＲオブジェクトを生成及び表示することが可能な情報処理装置、情報処理プログラム及び情報処理方法に関する。

複数ユーザがそれぞれ端末（スマートフォン等）を保持し、複数の端末がそれぞれの位置を共有し、共通のＡＲコンテンツを複数の端末にそれぞれ表示することが可能な端末用のアプリケーションが知られている。

複数端末が同一のマップ上で互いの位置を共有するには、端末毎に自己位置推定の過程で作成されたマップ間の座標系変換を求める処理（マップ同期）が必要である。これによってＡＲアプリ内で、違和感なく端末間で共通のＡＲコンテンツを重畳することができるようになる。

一般的に、端末Ａと端末Ｂ間のマップ同期は、（１）端末Ａから画像データを端末Ｂ上に送信し、（２）端末Ｂ上のマップでその画像と共通視野を持つキーフレームを画像検索し、（３）特徴点対応関係からマップ上の位置を推定し座標系変換を求める、という処理で実現される。以上のアルゴリズムの特性により、マップ同期には端末間で「共通するシーン画像を撮影する」ことが一般的である。

国際公開第２０２１／１０６３８８号

しかしながら端末を使うユーザ観点では、マップにアクセスすることはできず、マップ内にどのような画像が保持され、マップ同期のための対応関係が求められる状態にあるか否かを知ることはできない。そのためＡＲアプリケーションにおいても、「同じような方向を向ける」という非直感的な指示しかできないため、ユーザにとってはある程度の訓練が必要なやや困難な操作であり、これによってＡＲコンテンツに対する没入感を妨げる可能性がある。言い換えれば、マップの初期化に失敗することが多く、かつユーザから見てなぜ失敗したのかが分かりにくい場合がある。

特許文献１は、マップデータに保存されたキーフレームとクエリ画像との対応関係から地図データを統合する枠組みを開示するが、複数人でのＸＲ（ＡＲ、ＶＲ、ＭＲ等）について、ユーザインタフェースの観点でマップの初期化の問題点には言及していない。

以上のような事情に鑑み、ユーザにとってより直感的にマップ同期を行うことが可能な情報処理装置、情報処理プログラム及び情報処理方法を提供することにある。

本開示の一形態に係る情報処理装置は、
第１のマップを生成し前記第１のマップ上の時系列的な自己位置を推定することにより前記第１の３次元軌跡を生成するマップ生成部と、
スレーブとして振る舞う他の情報処理装置であるスレーブ装置の前記マップ生成部において生成された第２のマップ上の前記時系列的な自己位置を推定することにより生成された前記第２の３次元軌跡を取得するスレーブ軌跡取得部と、
カメラが前記スレーブ装置を撮影して得た撮影画像上の前記スレーブ装置の時系列的な位置を示す２次元軌跡である観測２次元軌跡を生成する観測軌跡生成部と、
前記第１の３次元軌跡、前記第２の３次元軌跡及び前記観測２次元軌跡から、前記第１のマップと前記第２のマップとを同期させた同期マップを生成するための変換パラメータを算出する変換パラメータ算出部と、
を具備する。

本実施形態では、直感的な同期操作として、同期したいスレーブ装置を撮影する。同期したい装置同士を向け合うという操作は非常に直感的であり、これによってユーザは没入感を失うことなく自然にＡＲコンテンツ内を楽しむことができる。

前記変換パラメータ算出部は、
変換パラメータの候補値、前記第１の３次元軌跡及び前記第２の３次元軌跡に基づき、前記スレーブ装置の２次元軌跡を推定して推定２次元軌跡を生成し、
前記推定２次元軌跡が前記観測２次元軌跡に合致する様に前記変換パラメータの候補値を最適化することで前記変換パラメータを算出する。

本実施形態では、このマップ同期アルゴリズムにより、同期したいスレーブ装置を撮影することで複数装置のマップ同期を実現することができる。

前記変換パラメータ算出部は、
前記第１の３次元軌跡及び前記第２の３次元軌跡に基づき、前記第１のマップ上の前記スレーブ装置の前記時系列的な位置を算出し、
算出した前記第１のマップ上の前記スレーブ装置の前記時系列的な位置に基づき、前記変換パラメータの候補値を最適化する。

本実施形態では、このマップ同期アルゴリズムにより、同期したいスレーブ装置を撮影することで複数装置のマップ同期を実現することができる。

前記マップ生成部は、前記第１のマップを前記変換パラメータに基づき変換することで、前記同期マップを生成する。

前記変換パラメータを前記スレーブ装置に供給する変換パラメータ供給部をさらに有し、
前記スレーブ装置の前記マップ生成部は、前記第２のマップを前記変換パラメータに基づき変換することで、前記同期マップを生成する。

これにより、それぞれの装置は、同期座標系を基準とする同期マップに基づきＡＲオブジェクトを生成すことができる。

情報処理装置は、
前記同期マップに基づきＡＲオブジェクトを生成し、表示装置に表示するＡＲ実行部
をさらに具備する。

これにより、別々の装置に、ＡＲオブジェクトを違和感なく表示することができる。

マスタとして振る舞う前記情報処理装置の前記ＡＲ実行部と、前記スレーブ装置の前記ＡＲ実行部とは、共通のＡＲコンテンツのＡＲオブジェクトを生成及び表示してもよい。

これにより、別々の装置に、共通のＡＲコンテンツを別の位置から見たＡＲオブジェクトを、違和感なく表示することができる。言い換えれば、それぞれの装置がそれぞれの装置の位置から、特定のロケーションに存在する共通のＡＲコンテンツを見たときに見えるものとしてのＡＲオブジェクトを位置的な辻褄が合うように表示することができる。

情報処理装置は、
スレーブとして振る舞うとき、マスタとして振る舞う他の情報処理装置に、前記第２の３次元軌跡を供給するスレーブ軌跡供給部
をさらに具備してもよい。

情報処理装置は、
前記カメラをさらに具備し、
前記自己位置は、前記カメラの位置及び姿勢を含んでもよい。

本開示の一形態に係る情報処理方法は、
第１のマップを生成し前記第１のマップ上の時系列的な自己位置を推定することにより前記第１の３次元軌跡を生成し、
スレーブとして振る舞う他の情報処理装置であるスレーブ装置のマップ生成部において生成された第２のマップ上の前記時系列的な自己位置を推定することにより生成された前記第２の３次元軌跡を取得し、
カメラが前記スレーブ装置を撮影して得た撮影画像上の前記スレーブ装置の時系列的な位置を示す２次元軌跡である観測２次元軌跡を生成し、
前記第１の３次元軌跡、前記第２の３次元軌跡及び前記観測２次元軌跡から、前記第１のマップと前記第２のマップとを同期させた同期マップを生成するための変換パラメータを算出する。

本開示の一形態に係る情報処理プログラムは、
情報処理装置の制御回路を、
第１のマップを生成し前記第１のマップ上の時系列的な自己位置を推定することにより前記第１の３次元軌跡を生成するマップ生成部と、
スレーブとして振る舞う他の情報処理装置であるスレーブ装置の前記マップ生成部において生成された第２のマップ上の前記時系列的な自己位置を推定することにより生成された前記第２の３次元軌跡を取得するスレーブ軌跡取得部と、
カメラが前記スレーブ装置を撮影して得た撮影画像上の前記スレーブ装置の時系列的な位置を示す２次元軌跡である観測２次元軌跡を生成する観測軌跡生成部と、
前記第１の３次元軌跡、前記第２の３次元軌跡及び前記観測２次元軌跡から、前記第１のマップと前記第２のマップとを同期させた同期マップを生成するための変換パラメータを算出する変換パラメータ算出部
として動作させる。

本実施形態のコンセプトを示す。 マスタ装置及びスレーブ装置の機能的構成を示す。 マスタ装置及びスレーブ装置の動作フローを示す。 マップ同期のアルゴリズムを模式的に示す。 ＡＲオブジェクトの表示を模式的に示す。

以下、図面を参照しながら、本開示の実施形態を説明する。

１．本実施形態の背景及びコンセプト

ＡＲやＶＲなどのアプリケーションにおいて、ＣＧをデバイスの位置や姿勢（デバイスの向き）に応じて違和感なく重畳するために、ＳＬＡＭ（Simultaneous Localization and Mapping）と呼ばれる自己位置推定技術が用いられる。典型的には、各端末個別にＳＬＡＭが動作し、ＣＧをそれぞれのディスプレイに重畳する。一方で、５Ｇなどの通信性能の飛躍的な発展に伴い、複数の端末が互いの相対的な位置を共有し続けることが可能になってきている。それによって、例えばＡＲにおいては同じＡＲコンテンツ（例えば、ゲーム）を複数のユーザで一緒に体験できる。ＶＲでは、物理的に離れたユーザ同士でもデジタル空間上で互いの位置関係を把握しながらインタラクションすることができる。

第１の例として、複数人でのＡＲ体験においては、５Ｇ通信でリアルタイムに複数人が同じ場でＡＲによるインタラクションを体験する。このとき、参加者同士の相対的な位置関係の把握が必要である。第２の例として、ＶＲのコミュニティ化においては、ＶＲ内での仮想空間（メタバース）の参加者同士がアバタによる身体的なコミュニケーションを行う。このとき、物理的に離れたアバタ同士の相対的な位置関係の把握が必要である。第３の例として、ロボット－人／ロボット協調においては、人とロボットの自然なインタラクションやロボット同士の協調動作を実現する。このとき、異種デバイス間での位置及びマップの共有が必要である。

各端末が個別にＳＬＡＭを動作している場合、位置を記述するための座標系は端末ごとに定義されている。座標系が異なれば位置の記述の仕方も異なるため、複数端末が位置を共有するためには、各端末のマップ座標系の統一（マップ同期）が必要不可欠である。そのため、ＣｏＳＬＡＭ（複数端末での位置共有）ではアルゴリズム、ユーザインタフェース両方の観点でマップ同期をどのように実現するか、が非常に重要である。

ここで、第１に内部のアルゴリズムの観点から、第２にそれを実現するためのＡＲアプリケーション上のユーザインタフェースの観点から、複数端末間のマップ同期を典型的にはどのように実現するかの詳細を述べる。

第１に、アルゴリズムの観点からマップ同期について説明する。状況としては、端末Ａ及び端末Ｂそれぞれの内部で独立にＳＬＡＭが動作しており、別個のマップ（マップＡ、マップＢ）を作成している場合に、マップ同期、すなわち、それらのマップの座標系を合わせたい。マップとは複数の「過去のカメラ姿勢と、その際の画像上で抽出された特徴点群とその局所特徴量群、各特徴点の３次元位置の推定結果であるランドマーク群、画像検索用の画像特徴量」（これをキーフレームと呼ぶ）で構成される。端末同士は通信することが可能であり、データをやり取りすることが可能である。この操作は数式的には「マップＡとマップＢ間の座標変換パラメータ_ｍＡＴ_ｍＢを求める操作」と見なすことができ、一般的に以下のようなアルゴリズムで実現される。

（１）端末Ａは、画像データとその姿勢_ｍＡＴ_ｑを端末Ｂに送信する（これをクエリ画像と呼ぶ）。端末Ｂは、送られてきたクエリ画像に対して、局所特徴点と特徴量、画像検索用の画像特徴量を抽出する。

（２）端末Ｂは、送られてきたクエリ画像とマップＢ内で共通視野を持つキーフレームを画像検索する。その際には画像特徴量の距離の近さに応じて候補を選択する。

（３）端末Ｂは、クエリ画像と画像検索候補キーフレームとの間で、局所特徴量に基づく特徴点マッチングを行う。この特徴点マッチングによって画像上の２次元特徴点位置と、マップＢ内の３次元ランドマークとの間の対応関係を求めることができるため、これらの辻褄を合わせるように、マップＢ内でのクエリ画像の位置関係_ｍＢＴ_ｑを推定する。これはＰｎＰアルゴリズムと呼ばれる。

（４）クエリ画像に対してマップＡ，Ｂ座標系それぞれでの姿勢を表記することができたので、ここからマップＡ，Ｂ間の座標変換パラメータ_ｍＡＴ_ｍＢを以下の式（１）で求めることができる。_ｍＡＴ_ｑは、端末Ａから送られてきたマップＡ座標系内でのクエリ画像のカメラ姿勢である。_ｍＢＴ_ｑは、上の手順で求められたマップＢ座標系内でのカメラ姿勢である。

_ｍＡＴ_ｍＢ＝_ｍＡＴ_ｑ×（_ｍＢＴ_ｑ）^－１・・・（１）

以上のアルゴリズムの特性上、マップ同期には「端末間で共通視野を持つ画像」が必要不可欠である。複数端末間のインタラクションが重要なＡＲアプリケーションのような実応用シーンでは、このアルゴリズムがうまく機能するようにユーザを誘導するユーザインタフェースが非常に重要になる。その際に没入感を妨げないような工夫が求められる。

第２に、ユーザインタフェースの観点からマップ同期について説明する。ＡＲアプリケーションでは、端末間で共通視野を持つ画像を取得するようにユーザを誘導する工夫が重要である。しかしながら端末を使うユーザ観点では、マップにアクセスすることはできないため、マップ内にどのような画像が保持され、マップ同期のための対応関係が求められる状態にあるか否かを知ることはできない。そのためＡＲアプリケーションにおいても、「同じような方向を向ける」等という非直感的な指示しかできないため、ユーザにとってはある程度の訓練が必要なやや困難な操作であり、これによってＡＲコンテンツに対する没入感を妨げる可能性がある。例えば、任意の共通の物体を撮影するように指示することで、端末間で共通の画像を撮影しそれによってマップ間の同期を実現するアプリケーションが知られている。しかしながら、この操作はユーザ観点では非常に訓練が必要とし、直感的ではない。かつユーザは同期に向けたマップの内部状態を知ることもできないため、エラーをユーザに伝えるメッセージも説明が少なく非直感的なものとなる。

この様に、ユーザは、マップ同期のアルゴリズムを知らず、かつその内部状態を把握できない。マップ同期のためのユーザインタフェースが非直感的であった一番の理由として、ユーザにとって、「端末間で共通の物体にカメラを向ける」という指示と「マップ間同期を実現できる」という因果関係を認識することが困難であることが挙げられる。特にマップ間同期を成功させるためには、アルゴリズム由来の以下の注意事項を注意する必要がある。

（１）輝度変化が明瞭な画像を撮影しやすい明るい場所であること。（２）テクスチャのないシーン（白い壁など）を避けること。（３）テクスチャがあっても繰り返しパターン（床のタイル等）を避けること。（４）端末間で撮影された画像において、画面の大部分を占めるような形で共通範囲を持つこと。（５）マップにおける３次元ランドマーク推定を成功させるために、各端末は純回転以外の並進運動をすること。

主に（１）～（４）は２次元特徴点抽出の観点での注意事項であり、（５）は３次元ランドマーク推定の観点での注意事項である。このような暗黙的なルールを必要とするのはユーザインタフェース観点で非常に使い勝手が悪い。

本実施形態では、以上の非直感的なユーザインタフェースがマップ同期の従来アルゴリズムから由来していることに着目し、より直感的なユーザインタフェースとそれを実現するためのアルゴリズムを提案する。

図１は、本実施形態のコンセプトを示す。

典型的には、（Ａ）に示す様に、端末間で共通視野を持つ画像を取得する手法は、ＶＳＬＡＭのアルゴリズム観点ではシンプルな実装である。しかしながら、ユーザ観点では、同じ方向を向けることとマップ同期することとの因果関係が不明瞭であり、また、マップ同期成功のために暗黙的な注意事項があり困難である。

これに対して、（Ｂ）に示す様に、本実施形態では、より直感的なユーザインタフェースとして「マップ同期したいユーザ間でお互い端末を向け合い、一方の端末が他方の端末を撮影する」という操作を提案する。「同期したい端末同士を向け合う」という指示は、マップ同期に対する因果関係が明瞭でユーザ観点で非常に分かりやすい。

加えてこの手法ではマップを使って間接的に同期をする必要がないため、上の（１）～（５）のような暗黙的な注意事項をユーザに強いる必要もなくなる。これらによってユーザは没入感を失うことなく、より自然にＡＲコンテンツを楽しむことが期待できる。また、本マップ同期のユーザインタフェースは派生形がいくつも考えられる。例えば、お互いに端末を撮影する、相手端末の画面上に写ったＱＲ（登録商標）コードを撮影する等である。要求精度やＡＲアプリケーションの内容に応じて適宜変更することが可能である。

２．本実施形態の概要

図１の（Ｂ）に示す様に、本実施形態に係る情報処理装置１０は、カメラ及びディスプレイを有するエンドユーザ用の端末（例えば、スマートフォン）である。或るユーザが使用する１つの情報処理装置１０は、マスタとして振る舞い、マスタ装置１０Ａと称する。別のユーザが使用する同期対象である他の情報処理装置１０は、スレーブとして振る舞い、スレーブ装置１０Ｂと称する。情報処理装置１０は、マスタ装置１０Ａ及びスレーブ装置１０Ｂの何れとして振る舞うことも可能である。マスタ装置１０Ａとスレーブ装置１０Ｂとは、インターネット等のネットワークを介して通信可能である。マスタ装置１０Ａは、スレーブ装置１０Ｂを撮影し、その撮影画像上のスレーブ装置１０Ｂの位置から、マスタ装置１０Ａとスレーブ装置１０Ｂとのマップを同期する。

３．マスタ装置及びスレーブ装置の機能的構成

図２は、マスタ装置及びスレーブ装置の機能的構成を示す。

情報処理装置１０は、ハードウェア構成として、制御回路１００、カメラ１３１、ディスプレイ１３２、通信インタフェース１３３、フラッシュメモリ等の大容量の不揮発性の記憶媒体１３４を有する。制御回路１００は、ＣＰＵ、ＲＯＭ及びＲＡＭを有する。記憶媒体１３４はデータベース１２０Ａ、１２０Ｂを記憶する。

情報処理装置１０は、制御回路１００においてＲＯＭに記録された情報処理プログラム（ＡＲアプリケーション）をＣＰＵがＲＡＭにロードして実行することにより、ＳＬＡＭ部１０１Ａ、１０１Ｂ（マップ生成部）、通信確立部１０２、結果判断部１０９Ａ、１０９Ｂ及びＡＲ実行部１１０として動作する。情報処理装置１０は、マスタとして振る舞うとき、さらに、観測軌跡生成部１０３、スレーブ軌跡取得部１０４、変換パラメータ算出部１０６及び変換パラメータ供給部１０７として動作する。情報処理装置１０は、スレーブとして振る舞うとき、さらに、スレーブ軌跡供給部１０５及び変換パラメータ取得部１０８として動作する。

４．マスタ装置及びスレーブ装置の動作フロー

図３は、マスタ装置及びスレーブ装置の動作フローを示す。

複数の情報処理装置１０は、共通のＡＲアプリケーションを立ち上げる（ステップＳ１０１）。複数の情報処理装置１０の通信確立部１０２は、通信プロトコルを確立し、一方をマスタ装置１０Ａ、他方をスレーブ装置１０Ｂとして同期対象のペアリングを確立する（ステップＳ１０２）。

一方、ＡＲアプリケーションを立ち上げた（ステップＳ１０１）直後からバックグラウンドで、マスタ装置１０Ａ及びスレーブ装置１０ＢのＳＬＡＭ部１０１Ａ，１０１Ｂ（マップ生成部）は、それぞれ、ＳＬＡＭを初期化し（ステップＳ１０３）、独自の非同期マップを生成しながら非同期マップ上の時系列的な自己位置を推定することにより、３次元軌跡を生成し続ける（ステップＳ１０４）。具体的には、「自己位置」は、内蔵のカメラ１３１の位置及び姿勢を含む。

図４は、マップ同期のアルゴリズムを模式的に示す。

具体的には、マスタ装置１０ＡのＳＬＡＭ部１０１Ａは、第１の座標系ｍＡを基準とする第１のマップ１２１Ａを独自に生成し、第１のマップ１２１Ａ上の時系列的な自己位置を推定することにより、第１の３次元軌跡_ｍＡＴ_ｘを生成する。第１の３次元軌跡_ｍＡＴ_ｘは、時刻ｔの自己位置_ｍＡＴ_ｘ（ｔ）、時刻ｔ＋１の自己位置_ｍＡＴ_{ｘ（ｔ＋１）}、時刻ｔ＋２の自己位置_ｍＡＴ_{ｘ（ｔ＋２）}・・・を含む。マスタ装置１０ＡのＳＬＡＭ部１０１Ａは、独自に生成した第１のマップ１２１Ａと、第１のマップ１２１Ａ上の第１の３次元軌跡_ｍＡＴ_ｘとをデータベース１２０Ａに記憶し続ける（ステップＳ１０４）。

一方、スレーブ装置１０ＢのＳＬＡＭ部１０１Ｂは、第２の座標系ｍＢを基準とする第２のマップ１２１Ｂを独自に生成し、第２のマップ１２１Ｂ上の時系列的な自己位置を推定することにより、第２の３次元軌跡_ｍＢＴ_Ｙを生成する。第２の３次元軌跡_ｍＢＴ_Ｙは、時刻ｔの自己位置_ｍＢＴ_Ｙ（ｔ）、時刻ｔ＋１の自己位置_ｍＢＴ_{Ｙ（ｔ＋１）}、時刻ｔ＋２の自己位置_ｍＢＴ_{Ｙ（ｔ＋２）}・・・を含む。スレーブ装置１０ＢのＳＬＡＭ部１０１Ｂは、独自に生成した第２のマップ１２１Ｂと、第２のマップ１２１Ｂ上の第２の３次元軌跡_ｍＢＴ_Ｙとをデータベース１２０Ｂに記憶し続ける（ステップＳ１０４）。

マスタ装置１０Ａの観測軌跡生成部１０３は、ユーザに、所定時間の間、正確なマップ同期のために並進運動をしながらカメラ１３１でスレーブ装置１０Ｂを撮影するように、メッセージをディスプレイ１３２に表示する。

マスタ装置１０Ａのカメラ１３１は、所定時間の間、スレーブ装置１０Ｂを撮影して撮影画像を得る。マスタ装置１０Ａの観測軌跡生成部１０３は、撮影画像上のスレーブ装置１０Ｂの時系列的な位置を示す２次元軌跡である観測２次元軌跡ｐ_ｏｂｓを生成する（ステップＳ１０５）。観測２次元軌跡ｐ_ｏｂｓは、時刻ｔの撮影画像上のスレーブ装置１０Ｂの観測２次元位置ｐ_ｏｂｓ（ｔ）、時刻ｔ＋１の撮影画像上のスレーブ装置１０Ｂの観測２次元位置ｐ_ｏｂｓ（ｔ＋１）、時刻ｔ＋２の撮影画像上のスレーブ装置１０Ｂの観測２次元位置ｐ_ｏｂｓ（ｔ＋２）・・・を含む。その間、スレーブ装置１０Ｂは待機する（ステップＳ１０６）。

その後、マスタ装置１０Ａのスレーブ軌跡取得部１０４は、スレーブ装置１０Ｂに、第２の座標系ｍＢを基準とする第２のマップ１２１Ｂ上の第２の３次元軌跡_ｍＢＴ_Ｙを送信するよう要求する（ステップＳ１０７）。

スレーブ装置１０Ｂのスレーブ軌跡供給部１０５は、要求を受信すると（ステップＳ１０８）、第２の座標系ｍＢを基準とする第２のマップ１２１Ｂ上の第２の３次元軌跡_ｍＢＴ_Ｙを、データベース１２０Ｂから読み出し、マスタ装置１０Ａに送信する（ステップＳ１０９）。

マスタ装置１０Ａのスレーブ軌跡取得部１０４は、スレーブ装置１０Ｂから、第２の座標系ｍＢを基準とする第２のマップ１２１Ｂ上の第２の３次元軌跡_ｍＢＴ_Ｙを受信する（ステップＳ１１０）。

マスタ装置１０Ａの変換パラメータ算出部１０６は、第１の３次元軌跡_ｍＡＴ_ｘ、第２の３次元軌跡_ｍＢＴ_Ｙ及び観測２次元軌跡ｐ_ｏｂｓから、第１のマップ１２１Ａと第２のマップ１２１Ｂとを同期させた同期マップを生成するための変換パラメータ_ｍＡＴ_ｍＢを算出する（ステップＳ１１１）。詳細には、変換パラメータ算出部１０６は、同期した３点以上の時刻（ｔ、ｔ＋１、ｔ＋２）の、第１の３次元軌跡_ｍＡＴ_ｘ、第２の３次元軌跡_ｍＢＴ_Ｙ及び観測２次元軌跡ｐ_ｏｂｓの各点から、変換パラメータ_ｍＡＴ_ｍＢを算出する。

言い換えれば、変換パラメータ算出部１０６は、同期した時刻ｔのマスタ装置１０Ａの自己位置_ｍＡＴ_ｘ（ｔ）、スレーブ装置１０Ｂの自己位置_ｍＢＴ_Ｙ（ｔ）及びスレーブ装置１０Ｂの観測２次元位置ｐ_ｏｂｓ（ｔ）の組と、同期した時刻（ｔ＋１）のマスタ装置１０Ａの自己位置_ｍＡＴ_{ｘ（ｔ＋１）}、スレーブ装置１０Ｂの自己位置_ｍＢＴ_{Ｙ（ｔ＋１）}及びスレーブ装置１０Ｂの観測２次元位置ｐ_ｏｂｓ（ｔ＋１）の組と、同期した時刻（ｔ＋２）のマスタ装置１０Ａの自己位置_ｍＡＴ_{ｘ（ｔ＋２）}、スレーブ装置１０Ｂの自己位置_ｍＢＴ_{Ｙ（ｔ＋２）}及びスレーブ装置１０Ｂの観測２次元位置ｐ_ｏｂｓ（ｔ＋２）の組とに基づき、変換パラメータ_ｍＡＴ_ｍＢを算出する。

具体的には、変換パラメータ算出部１０６は、変換パラメータ_ｍＡＴ_ｍＢの候補値、第１の３次元軌跡_ｍＡＴ_ｘ及び第２の３次元軌跡_ｍＢＴ_Ｙに基づき、スレーブ装置１０Ｂの２次元軌跡を推定して推定２次元軌跡ｐ_ＡＢを生成する。推定２次元軌跡ｐ_ＡＢは、時刻ｔの撮影画像上のスレーブ装置１０Ｂの推定２次元位置ｐ_ＡＢ（ｔ）、時刻ｔ＋１の撮影画像上のスレーブ装置１０Ｂの推定２次元位置ｐ_ＡＢ（ｔ＋１）、時刻ｔ＋２の撮影画像上のスレーブ装置１０Ｂの推定２次元位置ｐ_ＡＢ（ｔ＋２）・・・を含む。そして、変換パラメータ算出部１０６は、推定２次元軌跡ｐ_ＡＢ（図４のドットを含む）が観測２次元軌跡ｐ_ｏｂｓ（図４のクロスマークを含む）に合致する（即ち、ずれを最小化する）様に変換パラメータ_ｍＡＴ_ｍＢの候補値を最適化することで、変換パラメータ_ｍＡＴ_ｍＢを算出する。

より具体的には、変換パラメータ算出部１０６は、第１の３次元軌跡_ｍＡＴ_ｘ及び第２の３次元軌跡_ｍＢＴ_Ｙに基づき、第１の座標系ｍＡを基準とする第１のマップ１２１Ａ上のスレーブ装置１０Ｂの時系列的な位置を算出する。そして、変換パラメータ算出部１０６は、第１の座標系ｍＡを基準とする第１のマップ１２１Ａ上のスレーブ装置１０Ｂの時系列的な位置に基づき、変換パラメータ_ｍＡＴ_ｍＢの候補値を最適化する。
ここで未知の値である_ｍＡＴ_ｍＢが正しい値であれば、ｐ_ｏｂｓ（ｔ）とｐ_ＡＢ（ｔ）は合致するはずなので、これを合致させるように_ｍＡＴ_ｍＢの候補値を逐次的に調整していき、ｐ_ｏｂｓ（ｔ）とｐ_ＡＢ（ｔ）の距離がある程度まで小さくなったところで、その時の_ｍＡＴ_ｍＢの値を最終的な解とする。この解を求めるアプローチはＰｎＰアルゴリズムとしてよく知られている方法に倣ったものである。ここでは簡単のため、「時刻ｔだけの位置を小さくする」ように述べるが、ＰｎＰアルゴリズムによると、実際にはこのペアが３点以上ないと_ｍＡＴ_ｍＢの調整はできないとされている。従って、時刻ｔ＝ｎ、ｎ＋１、ｎ＋２、…、Ｎのそれぞれでの「ｐ_ｏｂｓ（ｔ）とｐ_ＡＢ（ｔ）の距離」を全て小さくすることが必要である。

以下、変換パラメータ算出部１０６の処理（ステップＳ１１１）をより詳細に説明する。

各時刻ｔにおけるマスタ装置１０Ａが得た時刻ｔの撮影画像上のスレーブ装置１０Ｂの推定２次元位置ｐ_ＡＢ（ｔ）は、以下の式（２）で求めることができる。

p_AB(t)=Π(K(_x(t)P_y(t)))=Π(K(_mAT_x(t))^-1 _mAT_mB(_mBT_y(t))[:3、4])・・・（２）

式（２）において、Ｋはマスタ装置１０Ａのカメラの内部パラメータ（３ｘ３の行列）、Πは投影関数であり、以下の式（３）を表す。

Π([xyz]^T)=(x/z,y/z)^T・・・（３）

式（２）において、［：３、４］という演算は４ｘ４行列から「上から３行、４列目の要素を取りだす」という操作に相当し、これは並進と回転成分で構成されるＳＥ（３）行列から並進成分を取り出すことを意味する。観測した任意の時刻ｔにおいて、この推定結果ｐ_ＡＢ（ｔ）が観測結果であるｐ_ｏｂｓ（ｔ）と合致するように、第１の座標系ｍＡを基準とする第１のマップ１２１Ａと第２の座標系ｍＢを基準とする第２のマップ１２１Ｂとの間の変換パラメータ_ｍＡＴ_ｍＢを最適化したい。このため、目的関数Ｅは複数時刻（ｔ、ｔ＋１、ｔ＋２）での投影誤差の和となり、以下の式（４）となる。

E(_mAT_mB)=Σ(|p_AB(t)-p_obs(t)|)・・・（４）

式（４）は、以下の式（５）を意味する。

E(_mAT_mB)=Σ|p_obs(t)-Π(_mAT_mB, _mAT_x(t), _mBT_y(t))|・・・（５）

この最適化は３次元ランドマークと２次元画像位置の辻褄を合わせるように相対姿勢を求めるＰｎＰ問題と同様の定式化となる。ＰｎＰ問題では解を求めるために３点以上の対応関係が必要であるように、本アルゴリズムの場合にもマップ間の変換パラメータ_ｍＡＴ_ｍＢの推定結果を一意に定めるためには、３点以上の時刻（ｔ、ｔ＋１、ｔ＋２）での観測が必要となる。加えて、マスタ装置１０Ａ及び／又はスレーブ装置１０Ｂは並進運動をしているため（ステップＳ１０５）、局所解に陥ることがない。

マスタ装置１０ＡのＳＬＡＭ部１０１Ａは、独自に生成した第１の座標系ｍＡを基準とする第１のマップ１２１Ａを、変換パラメータ算出部１０６が算出（ステップＳ１１１）した変換パラメータ_ｍＡＴ_ｍＢに基づき変換することで、ｍＡ＆Ｂを基準とする同期マップ１２２を生成しながら同期マップ１２２上の時系列的な自己位置を推定することにより、３次元軌跡を生成し続ける（ステップＳ１１２）。

マスタ装置１０Ａの変換パラメータ供給部１０７は、変換パラメータ算出部１０６が算出（ステップＳ１１１）した変換パラメータ_ｍＡＴ_ｍＢを、スレーブ装置１０Ｂに供給する（ステップＳ１１３）。

スレーブ装置１０Ｂの変換パラメータ取得部１０８は、マスタ装置１０Ａから変換パラメータ_ｍＡＴ_ｍＢを取得する（ステップＳ１１４）。

スレーブ装置１０ＢのＳＬＡＭ部１０１Ｂは、独自に生成した第２の座標系ｍＢを基準とする第２のマップ１２１Ｂを、マスタ装置１０Ａから取得した変換パラメータ_ｍＡＴ_ｍＢに基づき変換することで、同期座標系ｍＡ＆Ｂを基準とする同期マップ１２２を生成しながら同期マップ１２２上の時系列的な自己位置を推定することにより、３次元軌跡を生成し続ける（ステップＳ１１２）。

スレーブ装置１０Ｂの結果判断部１０９Ｂは、ＳＬＡＭ部１０１Ｂが変換パラメータ_ｍＡＴ_ｍＢを用いて生成（ステップＳ１１２）した同期座標系ｍＡ＆Ｂを基準とする同期マップ１２２の成功又は失敗を判断し、成功又は失敗を示す同期結果をマスタ装置１０Ａに送信する（ステップＳ１１５）。

マスタ装置１０Ａの結果判断部１０９Ａは、同期結果をスレーブ装置１０Ｂから受信する。結果判断部１０９Ａは、ＳＬＡＭ部１０１Ａが変換パラメータ_ｍＡＴ_ｍＢを用いて生成（ステップＳ１１２）した同期座標系ｍＡ＆Ｂを基準とする同期マップ１２２の成功又は失敗を判断する（ステップＳ１１５）。

マスタ装置１０Ａの結果判断部１０９Ａは、マスタ装置１０Ａ又はスレーブ装置１０Ｂの少なくともいずれか一方が生成した同期座標系ｍＡ＆Ｂを基準とする同期マップ１２２が失敗したと判断すると（ステップＳ１１６、ＮＯ）、通信確立（ステップＳ１０２）後の同期処理（ステップＳ１０５）をやり直すと判断する。

一方、マスタ装置１０Ａの結果判断部１０９Ａは、マスタ装置１０Ａ又及びスレーブ装置１０Ｂの両方が生成した同期座標系ｍＡ＆Ｂが成功したと判断すると（ステップＳ１１６、ＹＥＳ）、同期処理を完了し、ＡＲオブジェクトの表示を開始すると判断する。

マスタ装置１０Ａ及びスレーブ装置１０ＢのＡＲ実行部１１０は、同期座標系ｍＡ＆Ｂを基準とする同期マップに基づきＡＲオブジェクトを生成する。ＡＲ実行部１１０は、ＡＲオブジェクトを、カメラ１３１が撮影した環境画像に対して重畳する様にディスプレイ１３２に表示する（ステップＳ１１７）。具体的には、マスタ装置１０Ａ及びスレーブ装置１０ＢのＡＲ実行部１１０は、共通のＡＲコンテンツのＡＲオブジェクトを生成及び表示する。例えば、マスタ装置１０Ａ及びスレーブ装置１０ＢのＡＲ実行部１１０は、共通のＡＲコンテンツ（共通のキャラクター）のＡＲオブジェクト（別の位置から見たときのオブジェクト）を生成及び表示する。

図５は、マスタ装置及びスレーブ装置が同期マップに基づきＡＲオブジェクトを生成及び表示する様子を模式的に示す。

図５に示す様に、変換パラメータ_ｍＡＴ_ｍＢが分かれば、マスタ装置１０Ａ及びスレーブ装置１０Ｂの相対位置が分かる。このため、別々の端末であるマスタ装置１０Ａ及びスレーブ装置１０Ｂに、共通のＡＲコンテンツを別の位置から見たＡＲオブジェクトを、違和感なく表示することができる。言い換えれば、マスタ装置１０Ａはマスタ装置１０Ａの位置からスレーブ装置１０Ｂはスレーブ装置１０Ｂの位置から、特定のロケーションに存在する共通のＡＲコンテンツを見たときに見えるものとしてのＡＲオブジェクトを位置的な辻褄が合うように表示することができる。

５．変形例

画像上での位置追跡を実現するための方法、即ち、観測２次元軌跡ｐ_ｏｂｓを生成する（ステップＳ１０５）方法としてはいくつかの設定とそれに対するアプローチが考えられる。このため、各アプローチに応じてユーザインタフェースを派生させることができる。以下にいくつかの方法を挙げる。

（１）ＲＡＮＳＡＣによる端末位置の仮説選択

同期対象のスレーブ装置１０Ｂを撮影した場合、スレーブ装置１０Ｂだけでなくスレーブ装置１０Ｂを持つユーザや背後の風景等が映り込むことが一般的である。そのような様々な要素が映り込んでいる中で端末の位置を認識し、追跡する必要がある。本アプローチでは画像から抽出した特徴点を追跡する中で、その中で端末位置の候補に最も近い仮説を選択する。具体的には選択した追跡結果候補それぞれに対して、後続のマップ間の座標変換を求め、各結果の評価値を比較し、最も妥当な候補を最終的な解として選択する（このような仮説選択手法はＲＡＮＳＡＣと呼ばれる）。この手法は設定として最も緩く計算量的に軽い反面、精度的に不安定になることが予測される。その場合には、マスタ装置１０Ａからスレーブ装置１０Ｂで仮説選択するだけでなく、スレーブ装置１０Ｂからマスタ装置１０Ａでの結果も考慮に入れて拘束条件とするというような方法が期待される。

（２）ＤＮＮによる端末位置追跡

１つ目のアプローチと同様に様々な要素が映り込んでいる中で端末の位置を認識するタスクにおいて、近年盛んに研究が行われている深層学習（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ； ＤＮＮ）による認識結果を活用することが期待できる。物体認識の文脈で深層学習が圧倒的な精度を発揮していることから、同様に端末を認識するように学習することで正確な端末位置認識が期待できる。

（３）端末の発光パターンによる端末位置認識

一般的なスマートフォン端末では背面にライトが取り付けられていることが一般的である。そのようなライトの発光パターンを制御することで、端末位置を認識することが期待できる。

以上の（１）～（３）の例では、ユーザにほとんど特別な指示を出すことなくマップ同期を実現できることが期待されるが、実際に製品として実装した場合にロバスト性という観点ではアルゴリズム的にやや難易度が高いと考えられる。そこで変形例として、この設定を緩和することを考える。そのような場合のアルゴリズム例を（４）に記す。

（４）端末画面に表示したＱＲ（登録商標）コード認識による位置認識

以上では主に同期対象の端末が背面を向けている状態で端末位置を認識することを考えていたが、その条件を緩和し同期対象の端末の画面上にＱＲ（登録商標）コードを表示することを考える。これによってユーザへの指示要求がやや増える一方で、同期対象の端末の位置をＱＲ（登録商標）コードによって正確に求めることができる。

６．結語

一般的に、端末Ａと端末Ｂ間のマップ同期は、（１）端末Ａから画像データを端末Ｂ上に送信し、（２）端末Ｂ上のマップでその画像と共通視野を持つキーフレームを画像検索し、（３）特徴点対応関係からマップ上の位置を推定し座標系変換を求める、という処理で実現される。以上のアルゴリズムの特性により、マップ同期には端末間で「共通するシーン画像を撮影する」ことが一般的である。このアルゴリズムの特性上、ユーザにとってやや非直感的な操作を必要とし、ＡＲ体験への没入感を妨げるという問題点があった。

これに対して、本実施形態では、複数端末でＳＬＡＭを行う際に、アルゴリズムの特性上、非直感的だった従来のマップ同期のための操作を改善し、より直感的なユーザインタフェースとそれを可能とするアルゴリズムを実現することが可能である。具体的には、本実施形態は、より直感的な同期操作として「同期したい装置を撮影する操作」を提案する。同期したい装置同士を向け合うという操作は非常に直感的であり、これによってユーザは没入感を失うことなく自然にＡＲコンテンツ内を楽しむことができる。加えて、上記の典型的なアルゴリズムではこのようなマップ同期には対応できないため、これを可能とする新しい端末間のマップ同期アルゴリズムを提案する。

マップ同期に端末間で「共通するシーン画像を撮影する」場合、特にマップ間同期を成功させるためには、アルゴリズム由来の以下の注意事項を注意する必要がある。このような暗黙的なルールを必要とするのはユーザインタフェース観点で非常に使い勝手が悪い。

（１）輝度変化が明瞭な画像を撮影しやすい明るい場所であること。（２）テクスチャのないシーン（白い壁など）を避けること。（３）テクスチャがあっても繰り返しパターン（床のタイル等）を避けること。（４）端末間で撮影された画像において、画面の大部分を占めるような形で共通範囲を持つこと。（５）マップにおける３次元ランドマーク推定を成功させるために、各端末は純回転以外の並進運動をすること。

これに対して、本実施形態では、上記の注意事項は不要となる又は減る。即ち、（１）ＱＲ（登録商標）コードを認識するような変形例の場合にはマップ同期時には必ずしも要求しない。（２）及び（３）端末を直接認識するため、背景シーンに依存しない。端末を直接認識するため、背景シーンに依存しない。（４）アルゴリズムが異なるので共通視野の概念は存在しない。（５）三角測量をする必要がないため、厳密な並進運動を必要としない、ただし、ある程度の動きがあると挙動は安定する。

この様に、本実施形態では、直接、端末位置を観測しその結果から最適化を行うため、上記マップ同期方法でユーザが暗黙的に求められていた注意事項を軽減することが可能である。特にマップ同期に必要な共通シーンのテクスチャに大きく依存していた部分が、端末を直接認識することによって不要になり、マップ同期の難易度を大きく下げることができる。その他にも特徴点抽出が必ずしもマップ同期に必要でないことである程度明るさの影響を軽減することもできたり、３次元ランドマークが不要なことから三角測量が可能なほどの並進運動をする必要もなくなったりと障壁を下げることが可能である。マップの状態を考えることなく、とにかくユーザは同期したい端末を写すことに集中すればよい、という利点が本実施形態の大きなポイントである。

本開示は、以下の各構成を有してもよい。

（１）
第１のマップを生成し前記第１のマップ上の時系列的な自己位置を推定することにより前記第１の３次元軌跡を生成するマップ生成部と、
スレーブとして振る舞う他の情報処理装置であるスレーブ装置の前記マップ生成部において生成された第２のマップ上の前記時系列的な自己位置を推定することにより生成された前記第２の３次元軌跡を取得するスレーブ軌跡取得部と、
カメラが前記スレーブ装置を撮影して得た撮影画像上の前記スレーブ装置の時系列的な位置を示す２次元軌跡である観測２次元軌跡を生成する観測軌跡生成部と、
前記第１の３次元軌跡、前記第２の３次元軌跡及び前記観測２次元軌跡から、前記第１のマップと前記第２のマップとを同期させた同期マップを生成するための変換パラメータを算出する変換パラメータ算出部と、
を具備する情報処理装置。
（２）
上記（１）に記載の情報処理装置であって、
前記変換パラメータ算出部は、
変換パラメータの候補値、前記第１の３次元軌跡及び前記第２の３次元軌跡に基づき、前記スレーブ装置の２次元軌跡を推定して推定２次元軌跡を生成し、
前記推定２次元軌跡が前記観測２次元軌跡に合致する様に前記変換パラメータの候補値を最適化することで前記変換パラメータを算出する
情報処理装置。
（３）
上記（２）に記載の情報処理装置であって、
前記変換パラメータ算出部は、
前記第１の３次元軌跡及び前記第２の３次元軌跡に基づき、前記第１のマップ上の前記スレーブ装置の前記時系列的な位置を算出し、
算出した前記第１のマップ上の前記スレーブ装置の前記時系列的な位置に基づき、前記変換パラメータの候補値を最適化する
情報処理装置。
（４）
上記（１）乃至（３）の何れか一項に記載の情報処理装置であって、
前記マップ生成部は、前記第１のマップを前記変換パラメータに基づき変換することで、前記同期マップを生成する
情報処理装置。
（５）
上記（１）乃至（４）の何れか一項に記載の情報処理装置であって、
前記変換パラメータを前記スレーブ装置に供給する変換パラメータ供給部をさらに有し、
前記スレーブ装置の前記マップ生成部は、前記第２のマップを前記変換パラメータに基づき変換することで、前記同期マップを生成する
情報処理装置。
（６）
上記（１）乃至（５）の何れか一項に記載の情報処理装置であって、
前記同期マップに基づきＡＲオブジェクトを生成し、表示装置に表示するＡＲ実行部
をさらに具備する情報処理装置。
（７）
上記（６）に記載の情報処理装置であって、
マスタとして振る舞う前記情報処理装置の前記ＡＲ実行部と、前記スレーブ装置の前記ＡＲ実行部とは、共通のＡＲコンテンツのＡＲオブジェクトを生成及び表示する
情報処理装置。
（８）
上記（１）乃至（７）の何れか一項に記載の情報処理装置であって、
スレーブとして振る舞うとき、マスタとして振る舞う他の情報処理装置に、前記第２の３次元軌跡を供給するスレーブ軌跡供給部
をさらに具備する情報処理装置。
（９）
上記（１）乃至（８）の何れか一項に記載の情報処理装置であって、
前記カメラをさらに具備し、
前記自己位置は、前記カメラの位置及び姿勢を含む
情報処理装置。
（１０）
第１のマップを生成し前記第１のマップ上の時系列的な自己位置を推定することにより前記第１の３次元軌跡を生成し、
スレーブとして振る舞う他の情報処理装置であるスレーブ装置のマップ生成部において生成された第２のマップ上の前記時系列的な自己位置を推定することにより生成された前記第２の３次元軌跡を取得し、
カメラが前記スレーブ装置を撮影して得た撮影画像上の前記スレーブ装置の時系列的な位置を示す２次元軌跡である観測２次元軌跡を生成し、
前記第１の３次元軌跡、前記第２の３次元軌跡及び前記観測２次元軌跡から、前記第１のマップと前記第２のマップとを同期させた同期マップを生成するための変換パラメータを算出する
情報処理方法。
（１１）
情報処理装置の制御回路を、
第１のマップを生成し前記第１のマップ上の時系列的な自己位置を推定することにより前記第１の３次元軌跡を生成するマップ生成部と、
スレーブとして振る舞う他の情報処理装置であるスレーブ装置の前記マップ生成部において生成された第２のマップ上の前記時系列的な自己位置を推定することにより生成された前記第２の３次元軌跡を取得するスレーブ軌跡取得部と、
カメラが前記スレーブ装置を撮影して得た撮影画像上の前記スレーブ装置の時系列的な位置を示す２次元軌跡である観測２次元軌跡を生成する観測軌跡生成部と、
前記第１の３次元軌跡、前記第２の３次元軌跡及び前記観測２次元軌跡から、前記第１のマップと前記第２のマップとを同期させた同期マップを生成するための変換パラメータを算出する変換パラメータ算出部
として動作させる
情報処理プログラム。
（１２）
情報処理装置の制御回路を、
第１のマップを生成し前記第１のマップ上の時系列的な自己位置を推定することにより前記第１の３次元軌跡を生成するマップ生成部と、
スレーブとして振る舞う他の情報処理装置であるスレーブ装置の前記マップ生成部において生成された第２のマップ上の前記時系列的な自己位置を推定することにより生成された前記第２の３次元軌跡を取得するスレーブ軌跡取得部と、
カメラが前記スレーブ装置を撮影して得た撮影画像上の前記スレーブ装置の時系列的な位置を示す２次元軌跡である観測２次元軌跡を生成する観測軌跡生成部と、
前記第１の３次元軌跡、前記第２の３次元軌跡及び前記観測２次元軌跡から、前記第１のマップと前記第２のマップとを同期させた同期マップを生成するための変換パラメータを算出する変換パラメータ算出部
として動作させる
情報処理プログラム
を記録した非一過性のコンピュータ読み取り可能な記録媒体。

本技術の各実施形態及び各変形例について上に説明したが、本技術は上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

１０ 情報処理装置
１００ 制御回路
１０１Ａ ＳＬＡＭ部
１０１Ｂ ＳＬＡＭ部
１０２ 通信確立部
１０３ 観測軌跡生成部
１０４ スレーブ軌跡取得部
１０５ スレーブ軌跡供給部
１０６ 変換パラメータ算出部
１０７ 変換パラメータ供給部
１０８ 変換パラメータ取得部
１０９Ａ 結果判断部
１０９Ｂ 結果判断部
１０Ａ マスタ装置
１０Ｂ スレーブ装置
１１０ ＡＲ実行部
１２０Ａ データベース
１２０Ｂ データベース
１２１Ａ 第１のマップ
１２１Ｂ 第２のマップ
１２２ 同期マップ
ｍＡ＆Ｂ 同期座標系
ｍＡ 第１の座標系
_ｍＡＴ_ｍＢ 変換パラメータ
ｍＢ 第２の座標系

Claims (11)

1. 第１のマップを生成し前記第１のマップ上の時系列的な自己位置を推定することにより前記第１の３次元軌跡を生成するマップ生成部と、
   スレーブとして振る舞う他の情報処理装置であるスレーブ装置の前記マップ生成部において生成された第２のマップ上の前記時系列的な自己位置を推定することにより生成された前記第２の３次元軌跡を取得するスレーブ軌跡取得部と、
   カメラが前記スレーブ装置を撮影して得た撮影画像上の前記スレーブ装置の時系列的な位置を示す２次元軌跡である観測２次元軌跡を生成する観測軌跡生成部と、
   前記第１の３次元軌跡、前記第２の３次元軌跡及び前記観測２次元軌跡から、前記第１のマップと前記第２のマップとを同期させた同期マップを生成するための変換パラメータを算出する変換パラメータ算出部と、
   を具備する情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記変換パラメータ算出部は、
   変換パラメータの候補値、前記第１の３次元軌跡及び前記第２の３次元軌跡に基づき、前記スレーブ装置の２次元軌跡を推定して推定２次元軌跡を生成し、
   前記推定２次元軌跡が前記観測２次元軌跡に合致する様に前記変換パラメータの候補値を最適化することで前記変換パラメータを算出する
   情報処理装置。
3. 請求項２に記載の情報処理装置であって、
   前記変換パラメータ算出部は、
   前記第１の３次元軌跡及び前記第２の３次元軌跡に基づき、前記第１のマップ上の前記スレーブ装置の前記時系列的な位置を算出し、
   算出した前記第１のマップ上の前記スレーブ装置の前記時系列的な位置に基づき、前記変換パラメータの候補値を最適化する
   情報処理装置。
4. 請求項１に記載の情報処理装置であって、
   前記マップ生成部は、前記第１のマップを前記変換パラメータに基づき変換することで、前記同期マップを生成する
   情報処理装置。
5. 請求項１に記載の情報処理装置であって、
   前記変換パラメータを前記スレーブ装置に供給する変換パラメータ供給部をさらに有し、
   前記スレーブ装置の前記マップ生成部は、前記第２のマップを前記変換パラメータに基づき変換することで、前記同期マップを生成する
   情報処理装置。
6. 請求項１に記載の情報処理装置であって、
   前記同期マップに基づきＡＲオブジェクトを生成し、表示装置に表示するＡＲ実行部
   をさらに具備する情報処理装置。
7. 請求項６に記載の情報処理装置であって、
   マスタとして振る舞う前記情報処理装置の前記ＡＲ実行部と、前記スレーブ装置の前記ＡＲ実行部とは、共通のＡＲコンテンツのＡＲオブジェクトを生成及び表示する
   情報処理装置。
8. 請求項１に記載の情報処理装置であって、
   スレーブとして振る舞うとき、マスタとして振る舞う他の情報処理装置に、前記第２の３次元軌跡を供給するスレーブ軌跡供給部
   をさらに具備する情報処理装置。
9. 請求項１に記載の情報処理装置であって、
   前記カメラをさらに具備し、
   前記自己位置は、前記カメラの位置及び姿勢を含む
   情報処理装置。
10. 第１のマップを生成し前記第１のマップ上の時系列的な自己位置を推定することにより前記第１の３次元軌跡を生成し、
    スレーブとして振る舞う他の情報処理装置であるスレーブ装置のマップ生成部において生成された第２のマップ上の前記時系列的な自己位置を推定することにより生成された前記第２の３次元軌跡を取得し、
    カメラが前記スレーブ装置を撮影して得た撮影画像上の前記スレーブ装置の時系列的な位置を示す２次元軌跡である観測２次元軌跡を生成し、
    前記第１の３次元軌跡、前記第２の３次元軌跡及び前記観測２次元軌跡から、前記第１のマップと前記第２のマップとを同期させた同期マップを生成するための変換パラメータを算出する
    情報処理方法。
11. 情報処理装置の制御回路を、
    第１のマップを生成し前記第１のマップ上の時系列的な自己位置を推定することにより前記第１の３次元軌跡を生成するマップ生成部と、
    スレーブとして振る舞う他の情報処理装置であるスレーブ装置の前記マップ生成部において生成された第２のマップ上の前記時系列的な自己位置を推定することにより生成された前記第２の３次元軌跡を取得するスレーブ軌跡取得部と、
    カメラが前記スレーブ装置を撮影して得た撮影画像上の前記スレーブ装置の時系列的な位置を示す２次元軌跡である観測２次元軌跡を生成する観測軌跡生成部と、
    前記第１の３次元軌跡、前記第２の３次元軌跡及び前記観測２次元軌跡から、前記第１のマップと前記第２のマップとを同期させた同期マップを生成するための変換パラメータを算出する変換パラメータ算出部
    として動作させる
    情報処理プログラム。

Images