JP2023045010A - 情報処理システム、及び、情報処理方法 - Google Patents

Abstract

【課題】端末が現実空間をスキャンして得たデータと現実空間を模したデータとのマッチングによって端末の位置を推定する処理にかかる時間を短縮する。【解決手段】情報処理システムにおいて、端末は、現実空間における端末の位置を測定し、現実空間を３Ｄスキャンし、端末の位置の測定結果を含む端末位置姿勢情報と現実空間の３Ｄスキャンの結果を含む３Ｄスキャンデータとをサーバへ送信し、サーバは、端末から端末位置姿勢情報及び前記３Ｄスキャンデータを受信し、端末位置姿勢情報に基づいて、現実空間を３Ｄモデル化したデータである空間モデルデータの一部を部分空間モデルデータとして抽出し、部分空間モデルデータから３Ｄスキャンデータとマッチングする部分を検出することにより、空間モデルデータ内における端末の位置を特定し、空間モデルデータ内における端末の位置を示すモデル内端末位置姿勢情報を端末に送信する。【選択図】図１

Description

本開示は、情報処理システム、及び、情報処理方法に関する。

現実空間に仮想オブジェクトがあたかも存在しているかのようにユーザに視認させるＡＲ（拡張現実：Augmented Reality）又はＭＲ（複合現実：Mixed Reality）の技術が知られている。仮想オブジェクトを現実空間にずれなく視認させるためには、ＡＲ又はＭＲの体験をユーザに提供する端末の現実空間での位置及び姿勢を高精度に推定することが求められる。

特許文献１には、次の端末が開示される。すなわち、端末は、周辺の実画像を撮影するカメラによって撮影された現在の実画像とサーバから取得した３Ｄ点群データとを基にし、それぞれの特徴点をマッチングすることにより当該端末の現実空間での位置を推定し、カメラによって撮影された設備の実画像上にサーバから取得した設備情報の３次元画像をＡＲ技術を用いて重畳表示する。

特開２０１６－１７００６０号公報

しかしながら、端末が現実空間を撮像又はスキャンして得たデータと、現実空間を模したデータとのマッチングによって現実空間での端末の位置を推定する処理は、マッチング対象のデータ量が大きくなると、処理時間が長くなる傾向にある。

本開示の目的は、端末が現実空間をスキャンして得たデータと現実空間を模したデータとのマッチングによって端末の位置を推定する処理にかかる時間を短縮することにある。

本開示の一態様は、端末及びサーバを備える情報処理システムであって、前記端末は、現実空間における前記端末の位置を測定し、前記現実空間を３Ｄスキャンし、前記端末の位置の測定結果を含む端末位置姿勢情報と前記現実空間の３Ｄスキャンの結果を含む３Ｄスキャンデータとを前記サーバへ送信し、前記サーバは、前記端末から前記端末位置姿勢情報及び前記３Ｄスキャンデータを受信し、前記端末位置姿勢情報に基づいて、前記現実空間を３Ｄモデル化したデータである空間モデルデータの一部を部分空間モデルデータとして抽出し、前記部分空間モデルデータから前記３Ｄスキャンデータとマッチングする部分を検出することにより、前記空間モデルデータ内における前記端末の位置を特定し、前記空間モデルデータ内における前記端末の位置を示すモデル内端末位置姿勢情報を前記端末に送信する、情報処理システムを提供する。

本開示の一態様は、端末及びサーバによる情報処理方法であって、前記端末は、現実空間における前記端末の位置を測定し、前記現実空間を３Ｄスキャンし、前記端末の位置の測定結果を含む端末位置姿勢情報と、前記現実空間の３Ｄスキャンの結果を含む３Ｄスキャンデータとを前記サーバへ送信し、前記サーバは、前記端末から前記端末位置姿勢情報及び前記３Ｄスキャンデータを受信し、前記端末位置姿勢情報に基づいて、前記現実空間を３Ｄモデル化したデータである空間モデルデータの一部を部分空間モデルデータとして抽出し、前記部分空間モデルデータから前記３Ｄスキャンデータとマッチングする部分を特定することにより、前記空間モデルデータ内における前記端末の位置を特定し、特定した前記空間モデルデータ内における前記端末の位置を示すモデル内端末位置姿勢情報を前記端末に送信する、情報処理方法を提供する。

なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又は記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

本開示によれば、端末が現実空間をスキャンして得たデータと現実空間を模したデータとのマッチングによって端末の位置を推定する処理にかかる時間を短縮することができる。

本実施の形態に係る情報処理システムの構成例を示すブロック図である。 本実施の形態に係る空間モデルデータの一例を示す模式図である。 本実施の形態に係る３Ｄ（three Dimensions）スキャンデータの一例を示す模式図である。 本実施の形態に係る端末のハードウェア構成例を示すブロック図である。 本実施の形態に係るサーバのハードウェア構成例を示すブロック図である。 本実施の形態に係る情報処理システムの動作例を示すフローチャートである。 部分空間モデル抽出処理の詳細例を示すフローチャートである。 移動体除去処理の詳細例を示すフローチャートである。 マッチング処理の詳細例を示すフローチャートである。 モデル内端末位置姿勢算出処理の詳細例を示すフローチャートである。

以下、図面を参照して、本開示の実施の形態について詳細に説明する。ただし、公知の事項又は重複する事項については説明を省略する場合がある。また、図面及び以下の記載は一例に過ぎず、特許請求の範囲の記載の主題を限定することは意図されていない。

（本実施の形態）
＜情報処理システムの構成＞
図１は、本実施の形態に係る情報処理システムの構成例を示すブロック図である。図２は、本実施の形態に係る空間モデルデータの一例を示す模式図である。図３は、本実施の形態に係る３Ｄスキャンデータの一例を示す模式図である。

本実施の形態に係る情報処理システム１は、端末１００及びサーバ２００を含んで構成される。サーバ２００は、情報処理装置と読み替えられてもよい。端末１００とサーバ２００は、所定の通信ネットワーク３を介して、データを送受信できる。通信ネットワーク３の例として、移動体通信網（例えばＬＴＥ（Long Term Evolution）、４Ｇ、５Ｇ、Ｗｉ－Ｆｉ（登録商標）等）、又は、インターネット網等が挙げられる。端末１００の例として、スマートフォン、タブレット端末、ＶＲ（仮想現実：Virtual Reality）装置、ＡＲ眼鏡等が挙げられる。

情報処理システム１は、端末１００が現実空間を３Ｄスキャンして３Ｄスキャンデータ１２０（図３参照）を生成し、サーバ２００がその３Ｄスキャンデータ１２０と空間モデルデータ２２０（図２参照）とのマッチング処理を行って空間モデルデータ２２０内での端末１００の位置、高度及び姿勢を算出することにより、現実空間における端末１００の位置、高度及び姿勢を高精度に特定する。以下、このように高精度に特定された端末１００の位置、高度及び姿勢を示す情報を、高精度端末位置姿勢情報１２２と称する。これにより、例えば、端末１００は、現実空間の所定の位置にあたかも所定の仮想オブジェクトが存在するようにユーザに視認させる場合、高精度端末位置姿勢情報１２２を用いて、現実空間に対する仮想オブジェクトの位置合わせを精度良く行うことができる。

３Ｄスキャンデータ１２０は、図３に示すように、ＬｉＤＡＲ（Light Detection And Ranging）又はステレオカメラ等によって現実空間を３Ｄスキャンして得られた３Ｄ点群データであってよい。

空間モデルデータ２２０は、図２に示すように、現実空間における物体を３Ｄモデル化したデータであってよい。現実空間は、屋外及び屋内の両方を含んでよい。屋外の現実空間において３Ｄモデル化される物体の例として、建造物、道路、地形、道路標識等が含まれる。屋内の現実空間において３Ｄモデル化される物体の例として、部屋の床、天井、壁、ドア、家具、調度品等が含まれる。空間モデルデータ２２０は、デジタルツインデータと読み替えられてもよい。空間モデルデータ２２０は、３Ｄ点群データであってもよいし、テクスチャマッピングされた３Ｄデータであってもよいし、他の３Ｄデータであってもよい。３Ｄ点群データは、物体表面の１点の３次元座標を示す３Ｄ点の集合体（つまり３Ｄ点群）として構成されるデータであってよい。

空間モデルデータ２２０は、国土全体、地域全体、街全体、道路全体、又は、建物全体等を３Ｄモデル化したデータであってよく、データ量が非常に大きい。そのため、３Ｄスキャンデータ１２０と空間モデルデータ２２０とのマッチング処理にかかる時間は長くなる傾向にある。マッチング処理にかかる時間が長くなると、端末１００において、現実空間に対して仮想オブジェクトをリアルタイムに重畳させることが難しくなる。そこで、本実施の形態では、３Ｄスキャンデータ１２０と空間モデルデータ２２０とのマッチング処理にかかる時間を短縮する方法について説明する。

＜端末の構成＞
図４は、本実施の形態に係る端末１００のハードウェア構成例を示すブロック図である。

端末１００は、位置計測部１０１、姿勢計測部１０２、３Ｄスキャン部１０３、撮像部１０４、入力部１０５、表示部１０６、メモリ１０７、ストレージ１０８、通信部１０９、及び、プロセッサ１１０を備える。

位置計測部１０１は、ＧＮＳＳ（Global Navigation Satellite System）信号及び／又はＲＴＫ（Real Time Kinematic）信号等を受信し、現実空間における端末１００の位置を計測する。端末１００の位置は、経度及び緯度によって表現されてよい。

姿勢計測部１０２は、電子コンパス、ジャイロセンサ、及び、加速センサ等の少なくとも１つによって、現実空間における端末１００の姿勢を計測する。端末１００の姿勢は、方位角及び仰俯角によって表現されてよい。本実施の形態では、現実空間において計測された端末１００の位置及び姿勢を含む情報を、端末位置姿勢情報１２１と称する。

３Ｄスキャン部１０３は、ＬｉＤＡＲ又はステレオカメラ等によって構成される。３Ｄスキャン部１０３は、現実空間を３Ｄスキャンし、現実空間の３Ｄスキャンデータ１２０（図３参照）を生成する。３Ｄスキャンデータ１２０は、３Ｄ点群データによって構成されてよい。

撮像部１０４は、レンズ及びイメージセンサを含んで構成される。撮像部１０４は、カメラと読み替えられてもよい。撮像部１０４は、現実空間における端末１００の姿勢の方向を撮像し、撮像画像を生成する。

入力部１０５は、例えば、タッチパネル、ボタン、及び／又は、マイク等によって構成される。入力部１０５は、ユーザからの入力操作を受け付ける。

表示部１０６は、例えば、ディスプレイ装置によって構成される。端末１００がＡＲ眼鏡の場合、ディスプレイ装置は、ＡＲ眼鏡をかけたユーザが現実空間を視認できる透明ディスプレイ装置であってよい、表示部１０６は、例えば、撮像画像及び仮想オブジェクト画像等を表示する。

メモリ１０７は、揮発性記憶媒体及び／又は不揮発性記憶媒体を含んで構成される。メモリ１０７は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を含んで構成されてよい。メモリ１０７は、端末１００が有する機能を実現するコンピュータプログラム及びデータが格納されてよい。

ストレージ１０８は、不揮発性記憶媒体を含んで構成される。ストレージ１０８は、例えば、フラッシュメモリ、ＳＳＤ（Solid State Drive）及びＨＤＤ（Hard Disk Drive）の少なくとも１つによって構成されてよい。ストレージ１０８は、端末１００が有する機能を実現するコンピュータプログラム及びデータが格納されてよい。

通信部１０９は、通信ネットワーク３を介するデータの送受信を制御する。通信部１０９は、通信インタフェース、通信回路、又は、通信モジュールといった他の用語に読み替えられてもよい。

プロセッサ１１０は、各構成要素１０１～１０９と協働して、端末１００が有する機能を実現する。例えば、プロセッサ１１０は、メモリ１０７又はストレージ１０８からコンピュータプログラムを読み出して実行することにより、端末１００が有する機能を実現する。したがって、本実施の形態において、端末１００を主体として説明される処理は、端末１００のプロセッサ１１０を主体とする処理に読み替えられてよい。なお、プロセッサ１１０は、ＣＰＵ（Central Processing Unit）、ＬＳＩ（Large Scale Integrated Circuit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、コントローラ、制御回路とった他の用語に読み替えられてもよい。

＜サーバの構成＞
図５は、本実施の形態に係るサーバ２００のハードウェア構成例を示すブロック図である。

サーバ２００は、入力部２０１、表示部２０２、メモリ２０３、ストレージ２０４、通信部２０５、及び、プロセッサ２０６を備える。

入力部２０１は、例えば、キーボード、マウス、及び、マイク等によって構成される。入力部２０１は、サーバ２００の管理者からの入力操作を受け付ける。

表示部２０２は、例えばディスプレイ装置によって構成される。表示部２０２は、管理者向けに各種情報を表示する。

メモリ２０３は、揮発性記憶媒体及び／又は不揮発性記憶媒体を含んで構成される。メモリは、ＲＯＭ及びＲＡＭを含んで構成されてよい。メモリ２０３は、サーバ２００が有する機能を実現するコンピュータプログラム及びデータが格納されてよい。

ストレージ２０４は、不揮発性記憶媒体を含んで構成される。ストレージ２０４は、例えば、フラッシュメモリ、ＳＳＤ及びＨＤＤの少なくとも１つによって構成されてよい。ストレージ２０４は、サーバ２００が有する機能を実現するコンピュータプログラム及びデータが格納されてよい。

通信部２０５は、通信ネットワーク３を介するデータの送受信を制御する。

プロセッサ２０６は、各構成要素２０１～２０５と協働して、サーバ２００が有する機能を実現する。例えば、プロセッサ２０６は、メモリ２０３又はストレージ２０４からコンピュータプログラムを読み出して実行することにより、サーバ２００が有する機能を実現する。したがって、本実施の形態において、サーバ２００を主体として説明される処理は、サーバ２００のプロセッサ２０６を主体とする処理に読み替えられてよい。

＜情報処理システムの動作＞
図６は、本実施の形態に係る情報処理システム１の動作例を示すフローチャートである。

端末１００は、位置計測部１０１によって現実空間における当該端末１００の位置（経度及び緯度）を計測し、姿勢計測部１０２によって現実空間における当該端末１００の姿勢（方位角及び仰俯角）を計測する（ステップＳ１０１）。

端末１００は、ステップＳ１０１で計測した端末１００の位置及び姿勢を含む端末位置姿勢情報１２１を生成し、サーバ２００へ送信する（ステップＳ１０２）。

サーバ２００は、端末１００から端末位置姿勢情報１２１を受信する（ステップＳ１０３）。

サーバ２００は、端末位置姿勢情報１２１に基づいて空間モデルデータ２２０に抽出領域２３０を設定し、その抽出領域２３０（図２参照）から部分空間モデルデータ２２１を抽出する（ステップＳ１０４）。このステップＳ１０４の処理を部分空間モデル抽出処理と称する。なお、部分空間モデル抽出処理の詳細については後述する。

また、端末１００は、撮像部１０４によって現実空間の当該端末１００の姿勢の方向を撮像し、撮像画像を生成する（ステップＳ１０５）。

端末１００は、３Ｄスキャン部１０３によって現実空間の当該端末１００の姿勢の方向を３Ｄスキャンし、３Ｄスキャンデータ１２０（３Ｄ点群データ）を生成する（ステップＳ１０６）。

端末１００は、３Ｄスキャンデータ１２０をサーバ２００へ送信する（ステップＳ１０７）。

サーバ２００は、端末１００から３Ｄスキャンデータ１２０を受信する（ステップＳ１０８）。

サーバ２００は、３Ｄスキャンデータ１２０から移動体２４０を除去し、移動体２４０を除去した３Ｄスキャンデータ１２０（以下、移動体除去後の３Ｄスキャンデータと称する）を生成する（ステップＳ１０９）。このステップＳ１０９の処理を移動体除去処理と称する。なお、移動体除去処理の詳細については後述する。

サーバ２００は、部分空間モデルデータ２２１から移動体除去後の３Ｄスキャンデータ１２０にマッチングする部分（以下、マッチング部分と称する）を検出する（ステップＳ１１０）。このステップＳ１１０の処理をマッチング処理と称する。なお、マッチング処理の詳細については後述する。

サーバ２００は、検出したマッチング部分に基づいて、空間モデルデータ２２０内での端末１００の位置、高度及び姿勢を特定する（ステップＳ１１１）。このステップＳ１１１の処理をモデル内端末位置姿勢算出処理と称する。なお、モデル内端末位置姿勢算出処理の詳細については後述する。

サーバ２００は、ステップＳ１１１で特定した空間モデルデータ２２０内での端末１００の位置、高度及び姿勢を含むモデル内端末位置姿勢情報２２２を生成し、端末１００へ送信する（ステップＳ１１２）。

端末１００は、サーバ２００からモデル内端末位置姿勢情報２２２を受信する（ステップＳ１１３）。

端末１００は、モデル内端末位置姿勢情報２２２に基づいて、現実空間における高精度な端末１００の位置、高度及び姿勢を特定する（ステップＳ１１４）。つまり、端末１００は、現実空間における高精度な端末１００の位置、高度及び姿勢を示す情報を含む高精度端末位置姿勢情報１２２を生成する。

端末１００は、高精度端末位置姿勢情報１２２に基づいて、撮像画像に対する仮想オブジェクト画像の重畳位置を特定し、その特定した重畳位置に仮想オブジェクト画像を重畳して表示部に表示する（ステップＳ１１５）。

これにより、端末１００は、現実空間を撮像した撮像画像の所定の位置にあたかも仮想オブジェクトが存在しているような画像を、表示部１０６に表示することができる。また、高精度端末位置姿勢情報１２２を用いて仮想オブジェクト画像の重畳位置を特定しているため、ステップＳ１０１での計測精度が不十分な場合であっても、端末１００は、現実空間に対する仮想オブジェクト画像の位置合わせを高精度に行うことができる。例えば、屋内のようにＧＮＳＳ信号を精度良く受信できない場所であっても、端末１００は、その屋内の空間モデルデータ２２０を用いて、仮想オブジェクト画像の位置合わせを高精度に行うことができる。

なお、端末１００がＡＲ眼鏡である場合、端末１００は、ステップＳ１１５として、次のステップＳ１１５ａの処理を行ってよい。

端末１００は、高精度端末位置姿勢情報１２２に基づいて、表示部１０６を透視して見える現実空間に対する仮想オブジェクト画像の表示位置を特定し、表示部１０６の当該特定した表示位置に仮想オブジェクト画像を表示する（ステップＳ１１５ａ）。

これにより、端末１００は、ＡＲ眼鏡を装着しているユーザに対して、表示部１０６を透視して見えている現実空間の所定の位置にあたかも仮想オブジェクトが存在しているように視認させることができる。

なお、図６では、説明をわかり易くするために、端末１００の処理及びサーバ２００の処理を直列処理として示したが、端末１００の処理及びサーバ２００の処理の少なくとも一部は、並列処理であってもよい。例えば、端末１００は、ステップＳ１０１及びステップＳ１０２の処理と、ステップＳ１０５の処理と、ステップＳ１０６の処理とを、並列に行ってもよい。この場合、サーバ２００は、ステップＳ１０３及びステップＳ１０４の処理と、ステップＳ１０８～ステップＳ１１２の処理とを、並列に行ってもよい。

＜部分空間モデル抽出処理の詳細＞
図７は、部分空間モデル抽出処理の詳細例を示すフローチャートである。次に、図７を参照して、図６に示すステップＳ１０４の部分空間モデル抽出処理について詳細に説明する。

（ステップＳ２０１）サーバ２００は、端末１００から受信した端末位置姿勢情報１２１に基づいて、空間モデルデータ２２０に抽出領域２３０（図２参照）を設定する。

例えば、サーバ２００は、空間モデルデータ２２０における端末位置姿勢情報１２１が示す端末１００の位置（以下、モデル内端末位置１３１と称する）を特定し、その特定したモデル内端末位置１３１を含む所定サイズの抽出領域２３０を空間モデルデータ２２０に対して設定する。

抽出領域２３０は水平に設定されてよい。その場合、抽出領域２３０の形状は、正方形、長方形、円形、又は、楕円形等であってよい。抽出領域２３０が正方形の場合において、抽出領域２３０の一辺の長さは１００ｍ程度であってよい。ただし、抽出領域２３０の一辺の長さは、どのような長さであってもよいし、抽出領域２３０が設定される空間モデルデータ２２０が屋外又は屋内の何れであるかによって変化してもよい。

また、図２に示すように、サーバ２００は、モデル内端末位置１３１から端末位置姿勢情報１２１が示す端末１００の方位角の方向（つまり端末１００の前方。以下、モデル内端末の方位角方向と称する）の境界までの距離ｄ１の方が、モデル内端末位置からモデル内端末の方位角方向と反対の方向（つまり端末１００の後方）の境界までの距離ｄ２よりも長くなるように、抽出領域２３０を設定してよい。端末１００の前方を３Ｄスキャンするマッチング処理では、端末１００の前方の空間モデルデータ２２０が主に使用され、端末１００の後方の空間モデルデータ２２０はほぼ使用されないためである。これにより、サーバ２００は、空間モデルデータ２２０における、主に端末１００の前方に延びる抽出領域２３０から部分空間モデルデータ２２１を抽出できるので、例えば端末１００を中心とする抽出領域２３０から部分空間モデルデータ２２１を抽出する場合と比較して、部分空間モデルデータ２２１のデータ量を抑制できる。

（ステップＳ２０２）サーバ２００は、ステップＳ２０１にて設定した抽出領域２３０に含まれる空間モデルデータ２２０を、部分空間モデルデータ２２１として抽出する。なお、サーバ２００は、抽出領域２３０の高さ方向の空間モデルデータ２２０についてはすべて部分空間モデルデータ２２１として抽出してよい。あるいは、サーバ２００は、抽出領域２３０の所定の高さまでの空間モデルデータ２２０を部分空間モデルデータ２２１として抽出してもよい。

このように、サーバ２００は、端末１００から送信された端末位置姿勢情報１２１に基づいて、空間モデルデータ２２０から部分空間モデルデータ２２１を抽出し、ステップＳ１１０のマッチング処理において、その部分空間モデルデータ２２１を３Ｄスキャンデータ１２０のマッチング対象とする。これにより、空間モデルデータ２００をそのまま３Ｄスキャンデータ１２０のマッチング対象とする場合と比較して、マッチング対象のデータ量が小さくなるので、サーバ２００は、マッチング処理にかかる時間を短縮できる。よって、サーバ２００は、端末１００の位置を推定する処理にかかる時間を短縮できる。

＜移動体除去処理の詳細＞
図８は、移動体除去処理の詳細例を示すフローチャートである。次に、図８を参照して、図６に示すステップＳ１０９の移動体除去処理について詳細に説明する。

（ステップＳ３０１）サーバ２００は、端末１００から受信した３Ｄスキャンデータ１２０から移動体２４０のオブジェクトデータを除去し、移動体除去後の３Ｄスキャンデータ１２０を生成する。移動体２４０の例として、自動車、バイク、自転車、電車、歩行者、動物等が挙げられる。

サーバ２００は、例えば、次の（Ａ１）、（Ａ２）、又は、（Ａ３）の何れかの方法によって、３Ｄスキャンデータ１２０から移動体２４０のオブジェクトデータを除去する。

（Ａ１）サーバ２００は、様々な移動体２４０の３Ｄデータを予め保持しておく。そして、サーバ２００は、移動体２４０の３Ｄデータとのパターンマッチングにより、３Ｄスキャンデータ１２０から移動体２４０と推定されるセグメントデータ（つまり、移動体２４０のオブジェクトデータ）を検出する。そして、サーバ２００は、その検出した移動体２４０のオブジェクトデータを３Ｄスキャンデータ１２０から除去する。

（Ａ２）サーバ２００は、３Ｄスキャンデータ１２０から移動体２４０のオブジェクトデータを検出する所定の移動体検出用ＡＩ（Artificial Intelligence）を予め保持しておく。そして、サーバ２００は、移動体検出用ＡＩを用いて、３Ｄスキャンデータ１２０から移動体のオブジェクトデータを検出する。そして、サーバ２００は、その検出した移動体２４０のオブジェクトデータを３Ｄスキャンデータ１２０から除去する。移動体検出用ＡＩは、機械学習、ニューラルネットワーク、又は、ディープラーニング等によって移動体２４０のオブジェクトデータの特徴等を予め学習させたものであってよい。

（Ａ３）サーバ２００は、時刻ｔ１に３Ｄスキャンされた第１の３Ｄスキャンデータ１２０と、時刻ｔ２（＞ｔ１）に３Ｄスキャンされた第２の３Ｄスキャンデータ１２０とを取得する。そして、サーバ２００は、第１の３Ｄスキャンデータ１２０から第２の３Ｄスキャンデータ１２０への変化に基づいて、移動体２４０のオブジェクトデータを検出する。典型的に、移動体２４０の時間変化量は大きく、建築物、道路、標識のような静止体の時間変化量は小さいため、上記の処理により、サーバ２００は、移動体２４０のオブジェクトデータを検出できる。そして、サーバ２００は、その検出した移動体２４０のオブジェクトデータを第１又は第２の３Ｄスキャンデータ１２０から除去する。

典型的には、空間モデルデータ２２０は、移動体２４０を含まない。そのため、このように、３Ｄスキャンデータ１２０から移動体２４０のオブジェクトデータを除去しておくことにより、マッチング処理において、移動体除去後の３Ｄスキャンデータ１２０と部分空間モデルデータ２２１とのマッチング精度が向上すると共に、マッチングのロバスト性が向上する。

なお、空間モデルデータ２２０が移動体２４０を含む場合、サーバ２００は、当該移動体除去処理において、ステップＳ１０４にて抽出した部分空間モデルデータ２２１から移動体２４０を除去し、その移動体を除去した部分空間モデルデータ２２１を、ステップＳ１１０のマッチング処理に用いてもよい。

＜マッチング処理の詳細＞
図９は、マッチング処理の詳細例を示すフローチャートである。次に、図９を参照して、図６に示すステップＳ１１０のマッチング処理について詳細に説明する。

（ステップＳ４０１）サーバ２００は、部分空間モデルデータ２２１の各特徴点の特徴量を算出する。なお、サーバ２００は、部分空間モデルデータ２２１の各特徴点の特徴量を予め算出し、メモリ２０３又はストレージ２０４に保持しておいてもよい。

（ステップＳ４０２）サーバ２００は、移動体除去後の３Ｄスキャンデータ１２０の各特徴点の特徴量を算出する。

（ステップＳ４０３）サーバ２００は、移動体除去後の３Ｄスキャンデータ１２０の特徴点とマッチングする部分空間モデルデータ２２１の特徴点をマッチング部分として検出する。例えば、サーバ２００は、移動体除去後の３Ｄスキャンデータ１２０の特徴点の特徴量と類似する特徴量を有する部分空間モデルデータ２２１の特徴点を検出することにより、マッチング部分の検出を行う。特徴量は、多元ベクトルにて表現されてよい。この場合、２つの特徴量が類似するとは、２つの多元ベクトルの内積が所定の閾値未満であること、あるいは、２つの多元ベクトルの各要素の差の絶対値が所定の閾値未満であることであってよい。

このように、空間モデルデータ２２０全体よりもデータ量の小さな部分空間モデルデータ２２１と移動体除去後の３Ｄスキャンデータ１２０とをマッチングすることにより、空間モデルデータ２２０全体と移動体除去後の３Ｄスキャンデータ１２０とをマッチングする場合と比較して、マッチング処理に要する時間を短縮することができる。

また、典型的には空間モデルデータ２２０は移動体を含まないので、移動体除去後の３Ｄスキャンデータ１２０と部分空間モデルデータ２２１とをマッチングすることにより、移動体除去を行わない３Ｄスキャンデータ１２０と部分空間モデルデータ２２１とをマッチングする場合と比較して、マッチングのミスが発生する確率が低下する。つまり、マッチングのロバスト性が向上する。

なお、上記の移動体除去処理において、部分空間モデルデータ２２１から移動体２４０を除去した場合、サーバ２００は、その移動体２４０を除去した部分空間モデルデータ２２１を用いてマッチング処理を行ってもよい。

＜モデル内端末位置姿勢算出処理の詳細＞
図１０は、モデル内端末位置姿勢算出処理の詳細例を示すフローチャートである。次に、図１０を参照して、図６に示すステップＳ１１１のモデル内端末位置姿勢算出処理について詳細に説明する。

（ステップＳ５０１）サーバ２００は、空間モデルデータ２２０内に仮想的な端末１３０を配置して仮想的な３Ｄスキャンを行った場合に、空間モデルデータ２２０からマッチング処理にて検出されたマッチング部分を得ることができる空間モデルデータ２２０内における当該仮想的な端末１３０の位置、高度及び姿勢を算出する。

これにより、サーバ２００は、高精度な端末１００の位置、高度及び姿勢を示す高精度端末位置姿勢情報１２２を生成することができる。

＜変形例＞
サーバ２００は、ステップＳ１０９において、３Ｄスキャンデータ１２０から移動体２４０を除去する処理に代えて、３Ｄスキャンデータ１２０から移動体２４０を検出し、その検出した移動体２４０に対して移動体情報を付与してもよい。この場合、サーバ２００は、ステップＳ１１０において、３Ｄスキャンデータ１２０の移動体情報が付与されている部分をマッチング処理の対象外として、マッチング処理を行う。これによっても、上述同様、マッチングのロバスト性が向上する。

また、上述においてサーバ２００が行っている処理の少なくとも一部を端末１００が行ってもよい。例えば、端末１００は、ステップＳ１０９の移動体除去処理を行い、移動体除去後の３Ｄスキャンデータ１２０をサーバ２００に送信してもよい。例えば、端末１００は、部分空間モデルデータ２２１をサーバ２００から受信し、その部分空間モデルデータ２２１を用いてステップＳ１１０のマッチング処理及びステップＳ１１１のモデル内端末位置姿勢算出処理を行ってもよい。

（本開示のまとめ）
本開示は以下のように表現できる。

＜項目１＞
本開示に係る情報処理システム１は、端末１００及びサーバ２００を備える。端末１００は、現実空間における端末１００の位置を測定し、現実空間を３Ｄスキャンし、端末１００の位置の測定結果を含む端末位置姿勢情報１２１と現実空間の３Ｄスキャンの結果を含む３Ｄスキャンデータ１２０とをサーバ２００へ送信する。サーバ２００は、端末１００から端末位置姿勢情報１２１及び３Ｄスキャンデータ１２０を受信し、端末位置姿勢情報１２１に基づいて、現実空間を３Ｄモデル化したデータである空間モデルデータ２２０の一部を部分空間モデルデータ２２１として抽出し、部分空間モデルデータ２２１から３Ｄスキャンデータとマッチングする部分を検出することにより、空間モデルデータ２２０内における端末１００の位置を特定し、空間モデルデータ２２０内における端末１００の位置を示すモデル内端末位置姿勢情報２２２を端末１００に送信する。
このように、サーバ２００は、端末１００から送信された端末位置姿勢情報１２１に基づいて、空間モデルデータ２００から部分空間モデルデータ２２１を抽出し、その部分空間モデルデータ２２１を３Ｄスキャンデータ１２０のマッチング対象とする。これにより、空間モデルデータ２００をそのまま３Ｄスキャンデータ１２０のマッチング対象とする場合と比較して、マッチング対象のデータ量が小さくなるので、サーバ２００は、マッチング処理にかかる時間を短縮できる。よって、サーバ２００は、端末１００の位置を推定する処理にかかる時間を短縮できる。

＜項目２＞
項目１に記載の情報処理システム１において、端末１００は、現実空間における端末１００の姿勢を測定し、端末１００の姿勢の測定結果を端末位置姿勢情報１２１に含めてよい。
これにより、サーバ２００は、端末１００から送信された端末位置姿勢情報１２１に基づいて、端末１００の姿勢を認識できるので、端末１００の姿勢に応じた部分空間モデルデータ２２１を抽出できる。

＜項目３＞
項目２に記載の情報処理システム１において、サーバ２００は、空間モデルデータ２２０における、端末位置姿勢情報１２１が示す端末１００の位置を含み、かつ、端末位置姿勢情報１２１が示す端末１００の姿勢の方向に延びる所定の領域から、部分空間モデルデータ２２１を抽出してよい。
これにより、サーバ２００は、空間モデルデータ２２０における、主に端末１００の前方に延びる領域から部分空間モデルデータ２２１を抽出できるので、端末１００を中心とする領域から部分空間モデルデータ２２１を抽出する場合と比較して、部分空間モデルデータ２２１のデータ量を抑制できる。

＜項目４＞
項目２又は３に記載の情報処理システム１において、端末位置姿勢情報１２１は、現実空間における端末１００の位置を示す緯度及び経度と、端末１００の姿勢を示す方位角及び仰俯角とを含み、モデル内端末位置姿勢情報２２２は、空間モデルデータ２２０内における端末１００の位置を示す経度、緯度及び高度と、端末１００の姿勢を示す方位角及び仰俯角とを含んでよい。
これにより、サーバ２００は、端末１００から送信された端末位置姿勢情報１２１に基づいて、現実空間における端末１００が位置する経度及び緯度と、端末１００が向いている方位角及び仰俯角とを認識できる。また、端末１００は、サーバ２００から送信されたモデル内端末位置姿勢情報２２２に基づいて、現実空間において端末１００が位置する経度、緯度及び高度と、端末が向いている方位角及び仰俯角とを精度良く認識できる。

＜項目５＞
項目１から４のいずれか１項に記載の情報処理システム１において、３Ｄスキャンデータ１２０、及び、空間モデルデータ２２０は、３Ｄ点群データによって構成されてよい。
これにより、サーバ２００は、３Ｄ点群データ同士のマッチング処理により、部分空間モデルデータ２２１と３Ｄスキャンデータ１２０とのマッチングを行うことができる。

＜項目６＞
項目５に記載の情報処理システム１において、サーバ２００は、部分空間モデルデータ２２１に含まれる３Ｄ点群データの特徴点と、３Ｄスキャンデータ１２０に含まれる３Ｄ点群データの特徴点とのマッチングを行うことにより、空間モデルデータ２２０における端末１００の位置を特定してよい。
これにより、サーバ２００は、３Ｄ点群データの特徴点のマッチング処理により、空間モデルデータ２２０における端末１００の位置を特定することができる。

＜項目７＞
項目１から６のいずれか１項に記載の情報処理システム１において、サーバ２００は、部分空間モデルデータ２２１における、３Ｄスキャンデータ１２０の移動体を除くデータにマッチングする部分を特定することにより、空間モデルデータ２２０における端末１００の位置を特定してよい。
これにより、マッチング処理おける、移動体除去後の３Ｄスキャンデータ１２０と部分空間モデルデータ２２１とのマッチング精度が向上すると共に、マッチングのロバスト性が向上する。

＜項目８＞
項目１から７のいずれか１項に記載の情報処理システム１において、端末１００は、３Ｄスキャンと共通の方向を撮像する撮像部１０４をさらに備え、モデル内端末位置姿勢情報２２２に基づいて、撮像部１０４によって撮像された撮像画像に対する所定の仮想オブジェクト画像の重畳位置を特定し、撮像画像の当該重畳位置に仮想オブジェクト画像を重畳した画像を所定の表示部１０６に表示してよい。
これにより、端末１００は、モデル内端末位置姿勢情報２２２に基づいて、仮想オブジェクト画像を精度良く撮像画像に重畳することができる。

＜項目９＞
項目１から７のいずれか１項に記載の情報処理システム１において、端末１００は、３Ｄスキャンと共通の方向を透視可能な表示部１０６を備え、モデル内端末位置姿勢情報２２２に基づいて、表示部１０６における所定の仮想オブジェクト画像の表示位置を特定し、表示部１０６の表示位置に仮想オブジェクト画像を表示してよい。
これにより、端末１００は、モデル内端末位置姿勢情報２２２に基づいて、表示部１０６から透視して視認される現実空間に、仮想オブジェクト画像を精度良く重畳表示することができる。

＜項目１０＞
端末１００及びサーバ２００による情報処理方法は次の通りである。端末１００は、現実空間における端末１００の位置を測定し、現実空間を３Ｄスキャンし、端末１００の位置の測定結果を含む端末位置姿勢情報１２１と、現実空間の３Ｄスキャンの結果を含む３Ｄスキャンデータ１２０とをサーバ２００へ送信する。、サーバ２００は、端末１００から端末位置姿勢情報１２１及び３Ｄスキャンデータ１２０を受信し、端末位置姿勢情報１２１に基づいて、現実空間を３Ｄモデル化したデータである空間モデルデータ２２０の一部を部分空間モデルデータ２２１として抽出し、部分空間モデルデータ２２１から前記３Ｄスキャンデータとマッチングする部分を特定することにより、空間モデルデータ２２０内における端末１００の位置を特定し、特定した空間モデルデータ２２０内における端末１００の位置を示すモデル内端末位置姿勢情報２２２を端末１００に送信する。
このように、サーバ２００は、端末１００から送信された端末位置姿勢情報１２１に基づいて、空間モデルデータ２００から部分空間モデルデータ２２１を抽出し、その部分空間モデルデータ２２１を３Ｄスキャンデータ１２０のマッチング対象とする。これにより、空間モデルデータ２００をそのまま３Ｄスキャンデータのマッチング対象とする場合と比較して、マッチング対象のデータ量が小さくなるので、サーバ２００は、マッチング処理にかかる時間を短縮できる。よって、サーバ２００は、端末１００の位置を推定する処理にかかる時間を短縮できる。

上述した実施の形態の各構成要素は、発明の趣旨を逸脱しない範囲において、変更、修正、置換、付加、削除、均等等が可能である。加えて、上述した実施の形態の各構成要素は、発明の趣旨を逸脱しない範囲において、任意に組み合わせが可能である。

本開示の技術は、現実空間をスキャンして得たデータと現実空間を模したデータとのマッチングに有用であり、例えば、現実空間における端末の位置及び姿勢の高精度な特定に利用可能である。

１ 情報処理システム
３ 通信ネットワーク
１００ 端末
１０１ 位置計測部
１０２ 姿勢計測部
１０３ ３Ｄスキャン部
１０４ 撮像部
１０５ 入力部
１０６ 表示部
１０７ メモリ
１０８ ストレージ
１０９ 通信部
１１０ プロセッサ
１２０ ３Ｄスキャンデータ
１２１ 端末位置姿勢情報
１２２ 高精度端末位置姿勢情報
１３１ モデル内端末位置
２００ サーバ
２０１ 入力部
２０２ 表示部
２０３ メモリ
２０４ ストレージ
２０５ 通信部
２０６ プロセッサ
２２０ 空間モデルデータ
２２１ 部分空間モデルデータ
２２２ モデル内端末位置姿勢情報
２３０ 抽出領域
２４０ 移動体

Claims (10)

1. 端末及びサーバを備える情報処理システムであって、
   前記端末は、
   現実空間における前記端末の位置を測定し、
   前記現実空間を３Ｄスキャンし、
   前記端末の位置の測定結果を含む端末位置姿勢情報と前記現実空間の３Ｄスキャンの結果を含む３Ｄスキャンデータとを前記サーバへ送信し、
   前記サーバは、
   前記端末から前記端末位置姿勢情報及び前記３Ｄスキャンデータを受信し、
   前記端末位置姿勢情報に基づいて、前記現実空間を３Ｄモデル化したデータである空間モデルデータの一部を部分空間モデルデータとして抽出し、
   前記部分空間モデルデータから前記３Ｄスキャンデータとマッチングする部分を検出することにより、前記空間モデルデータ内における前記端末の位置を特定し、
   前記空間モデルデータ内における前記端末の位置を示すモデル内端末位置姿勢情報を前記端末に送信する、
   情報処理システム。
2. 前記端末は、
   前記現実空間における前記端末の姿勢を測定し、
   前記端末の姿勢の測定結果を前記端末位置姿勢情報に含める、
   請求項１に記載の情報処理システム。
3. 前記サーバは、
   前記空間モデルデータにおける、前記端末位置姿勢情報が示す前記端末の位置を含み、かつ、前記端末位置姿勢情報が示す前記端末の姿勢の方向に延びる所定の領域から、前記部分空間モデルデータを抽出する、
   請求項２に記載の情報処理システム。
4. 前記端末位置姿勢情報は、前記現実空間における前記端末の位置を示す緯度及び経度と、前記端末の姿勢を示す方位角及び仰俯角とを含み、
   前記モデル内端末位置姿勢情報は、前記空間モデルデータ内における前記端末の位置を示す経度、緯度及び高度と、前記端末の姿勢を示す方位角及び仰俯角とを含む、
   請求項２又は３に記載の情報処理システム。
5. 前記３Ｄスキャンデータ、及び、前記空間モデルデータは、３Ｄ点群データによって構成される、
   請求項１から４のいずれか１項に記載の情報処理システム。
6. 前記サーバは、
   前記部分空間モデルデータに含まれる３Ｄ点群データの特徴点と、前記３Ｄスキャンデータに含まれる３Ｄ点群データの特徴点とのマッチングを行うことにより、前記空間モデルデータにおける前記端末の位置を特定する、
   請求項５に記載の情報処理システム。
7. 前記サーバは、
   前記部分空間モデルデータにおける、前記３Ｄスキャンデータの移動体を除くデータにマッチングする部分を特定することにより、前記空間モデルデータにおける前記端末の位置を特定する、
   請求項１から６のいずれか１項に記載の情報処理システム。
8. 前記端末は、
   前記３Ｄスキャンと共通の方向を撮像する撮像部をさらに備え、
   前記モデル内端末位置姿勢情報に基づいて、前記撮像部によって撮像された撮像画像に対する所定の仮想オブジェクト画像の重畳位置を特定し、
   前記撮像画像の前記重畳位置に前記仮想オブジェクト画像を重畳した画像を所定の表示部に表示する、
   請求項１から７のいずれか１項に記載の情報処理システム。
9. 前記端末は、
   前記３Ｄスキャンと共通の方向を透視可能な表示部を備え、
   前記モデル内端末位置姿勢情報に基づいて、前記表示部における所定の仮想オブジェクト画像の表示位置を特定し、
   前記表示部の前記表示位置に前記仮想オブジェクト画像を表示する、
   請求項１から７のいずれか１項に記載の情報処理システム。
10. 端末及びサーバによる情報処理方法であって、
    前記端末は、
    現実空間における前記端末の位置を測定し、
    前記現実空間を３Ｄスキャンし、
    前記端末の位置の測定結果を含む端末位置姿勢情報と、前記現実空間の３Ｄスキャンの結果を含む３Ｄスキャンデータとを前記サーバへ送信し、
    前記サーバは、
    前記端末から前記端末位置姿勢情報及び前記３Ｄスキャンデータを受信し、
    前記端末位置姿勢情報に基づいて、前記現実空間を３Ｄモデル化したデータである空間モデルデータの一部を部分空間モデルデータとして抽出し、
    前記部分空間モデルデータから前記３Ｄスキャンデータとマッチングする部分を特定することにより、前記空間モデルデータ内における前記端末の位置を特定し、
    特定した前記空間モデルデータ内における前記端末の位置を示すモデル内端末位置姿勢情報を前記端末に送信する、
    情報処理方法。

Images