JP7441579B1 - 情報処理システム及び情報処理方法 - Google Patents

Abstract

【課題】移動体により撮影された画像を撮影対象位置と関連付けて容易に管理することが可能な情報処理システム等を提供する。【解決手段】本発明の一実施形態によれば、取得した撮影画像データに紐づく実空間内の実撮影位置を示す実撮影位置情報を取得する実撮影位置情報取得部１１０と、仮想空間内において、実撮影位置に対応する仮想撮影位置から撮影対象位置までの仮想距離を示す仮想距離情報を生成する仮想距離生成部１２０と、撮影画像データを撮影した際の画角情報及び焦点距離情報と仮想距離情報に基づき、撮影対象位置における画像データのサイズを特定するサイズ特定部１３０と、を備える情報処理システムが提供される。【選択図】図５

Description

本発明は、情報処理システム及び情報処理方法に関する。

従来、（Ｄｒｏｎｅ）や無人航空機（ＵＡＶ：Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ）などの飛行体（以下、「飛行体」と総称する）や無人地上車両（ＵＧＶ：Ｕｎｍａｎｎｅｄ Ｇｒｏｕｎｄ Ｖｅｈｉｃｌｅ）などの走行体などの自律制御可能な移動体が産業に利用され始めており、とりわけ、そのような移動体により建物の屋内外を点検することが行われている。特許文献１には、移動体により屋内を点検してその画像を管理するシステムが開示されている。

特開２０１９－１７９４２２号公報

しかしながら、特許文献１の開示技術においては、移動体により撮影された画像が、建物のどの位置をどの方向から撮影した画像であるか不明であり、さらには、撮影対象の物体の実際の現場におけるサイズを画像から知ることも難しい。そのため、移動体により撮影された画像を撮影対象位置と関連付けて管理することが困難である。

また、撮影された画像を３次元モデルに貼り付けることで実際の現場を模した仮想空間を生成することが可能であるが、上記のように撮影対象の物体の実際の現場におけるサイズが不明であると、撮影された画像を３次元モデル上にどの程度のサイズで貼り付けるかが不明である。そのため、作業者が画像編集システム等を用いて撮影された画像のサイズや３次元モデル上の貼り付け位置を手作業で調節して貼り付け作業を行う必要があり、特に多数の画像を３次元モデルに貼り付ける場合に作業者の負担が大きくなる。

本発明はこのような背景を鑑みてなされたものであり、移動体により撮影された画像を撮影対象位置及びそのサイズと関連付けて容易に管理することが可能な情報処理システム等を提供することを目的とする。

上記課題を解決するための本発明の主たる発明は、取得した撮影画像データに紐づく実空間内の実撮影位置を示す実撮影位置情報を取得する実撮影位置情報取得部と、仮想空間内において、実撮影位置に対応する仮想撮影位置から撮影対象位置までの仮想距離を示す仮想距離情報を生成する仮想距離生成部と、撮影画像データを撮影した際の画角情報及び焦点距離情報と仮想距離情報に基づき、撮影対象位置における画像データのサイズを特定するサイズ特定部と、を備える情報処理システムである。

本発明によれば、特に、移動体により撮影された画像を撮影対象位置及びそのサイズと関連付けて容易に管理することが可能な情報処理システム等を提供することができる。

本発明の実施の形態にかかる情報処理システムの構成を示す図である。 図１の管理サーバのハードウェア構成を示すブロック図である。 図１のユーザ端末のハードウェア構成を示すブロック図である。 図１の移動体のハードウェア構成を示すブロック図である。 図１の管理サーバの機能を示すブロック図である。 サイズ特定部が撮影対象位置における画像データのサイズを特定する処理の一例を説明するための図である。 本実施形態にかかる情報処理方法を例示するフローチャートである。

本発明の実施形態の内容を列記して説明する。本発明の実施の形態による情報処理システム等は、以下のような構成を備える。
［項目１］
取得した撮影画像データに紐づく実空間内の実撮影位置を示す実撮影位置情報を取得する実撮影位置情報取得部と、
仮想空間内において、前記実撮影位置に対応する仮想撮影位置から撮影対象位置までの仮想距離を示す仮想距離情報を生成する仮想距離生成部と、
前記撮影画像データを撮影した際の画角情報及び焦点距離情報と前記仮想距離情報に基づき、前記撮影対象位置における前記画像データのサイズを特定するサイズ特定部と、
を備える情報処理システム。
［項目２］
前記仮想空間内の前記撮影対象位置に存在する撮影対象モデル上に、特定した前記サイズの前記画像データを投影する画像投影部をさらに備える、
項目１に記載の情報処理システム。
［項目３］
投影した前記画像データに映る撮影対象物と、前記撮影対象モデルとの形状の差分を検出する差分検出部をさらに備える、
項目２に記載の情報処理システム。
［項目４］
前記撮影画像データを撮影した際の前記画角の中心位置に基づき、前記仮想空間内の前記撮影対象位置に存在する撮影対象モデル、または、撮影対象空間の少なくともいずれかを特定する撮影対象特定部をさらに備える、
項目１に記載の情報処理システム。
［項目５］
前記撮影対象特定部により特定された前記撮影対象モデルまたは撮影対象空間の少なくともいずれかに紐付けて、前記画像データを記憶させる画像紐付部をさらに備える、
項目４に記載の情報処理システム。
［項目６］
取得した撮影画像データに紐づく実空間内の実撮影位置を示す実撮影位置情報を取得するステップと、
仮想空間内において、前記実撮影位置に対応する仮想撮影位置から撮影対象位置までの仮想距離を示す仮想距離情報を生成するステップと、
前記撮影画像データを撮影した際の画角情報及び焦点距離情報と前記仮想距離情報に基づき、前記撮影対象位置における前記画像データのサイズを特定するステップと、
を含む、コンピュータにより実行される情報処理方法。
［項目７］
取得した撮影画像データに紐づく実空間内の実撮影位置を示す実撮影位置情報を取得するステップと、
仮想空間内において、前記実撮影位置に対応する仮想撮影位置から撮影対象位置までの仮想距離を示す仮想距離情報を生成するステップと、
前記撮影画像データを撮影した際の画角情報及び焦点距離情報と前記仮想距離情報に基づき、前記撮影対象位置における前記画像データのサイズを特定するステップと、
をコンピュータにより実行させるプログラム。

＜実施の形態の詳細＞
以下、本発明の実施の形態による情報処理システム等について説明する。添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。

＜構成＞
図１に示されるように、本実施の形態における情報処理システムは、管理サーバ１と、一以上のユーザ端末２と、一以上の移動体４（例えば、飛行体や走行体など）と、一以上の移動体格納装置５とを有している。管理サーバ１と、ユーザ端末２と、移動体４と、移動体格納装置５は、ネットワークを介して互いに通信可能に接続されている。なお、図示された構成は一例であり、これに限らず、例えば、移動体格納装置５を有さずに、ユーザにより持ち運びされる構成などでもよい。

＜管理サーバ１＞
図２は、管理サーバ１のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。

図示されるように、管理サーバ１は、ユーザ端末２と、移動体４、移動体格納装置５と接続され本システムの一部を構成する。管理サーバ１は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。

管理サーバ１は、少なくとも、プロセッサ１０、メモリ１１、ストレージ１２、送受信部１３、入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。

プロセッサ１０は、管理サーバ１全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ１０はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および／またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、ストレージ１２に格納されメモリ１１に展開された本システムのためのプログラム等を実行して各情報処理を実施する。

メモリ１１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１１は、プロセッサ１０のワークエリア等として使用され、また、管理サーバ１の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。

ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ１２に構築されていてもよい。

送受信部１３は、管理サーバ１をネットワークに接続する。なお、送受信部１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）の近距離通信インターフェースを備えていてもよい。

入出力部１４は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。

バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。

＜ユーザ端末２＞
図３に示されるユーザ端末２もまた、プロセッサ２０、メモリ２１、ストレージ２２、送受信部２３、入出力部２４等を備え、これらはバス２５を通じて相互に電気的に接続される。各要素の機能は、上述した管理サーバ１と同様に構成することが可能であることから、各要素の詳細な説明は省略する。

＜移動体４＞
移動体４は、ドローンや無人航空機などの飛行体や無人地上車両などの走行体などを含む既知の移動体であって、特に自律制御可能な移動体である。このような移動体の具体的な例として、移動体４を例示して以下で説明する。図４は、移動体４のハードウェア構成を示すブロック図である。フライトコントローラ４１は、プログラマブルプロセッサ（例えば、中央演算処理装置（ＣＰＵ））などの１つ以上のプロセッサを有することができる。

また、フライトコントローラ４１は、メモリ４１１を有しており、当該メモリにアクセス可能である。メモリ４１１は、１つ以上のステップを行うためにフライトコントローラが実行可能であるロジック、コード、および／またはプログラム命令を記憶している。また、フライトコントローラ４１は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）等のセンサ４１２を含みうる。

メモリ４１１は、例えば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ／センサ類４２から取得したデータは、メモリ４１１に直接に伝達されかつ記憶されてもよい。例えば、カメラ等で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録されてもよいが、これに限らず、カメラ／センサ類４２または内蔵メモリからネットワークＮＷを介して、少なくとも管理サーバ１やユーザ端末２、移動体格納装置５のいずれかに１つに記録されてもよい。カメラ４２は移動体４にジンバル４３を介して設置される。

フライトコントローラ４１は、移動体の状態を制御するように構成された図示しない制御モジュールを含んでいる。例えば、制御モジュールは、６自由度（並進運動ｘ、ｙ及びｚ、並びに回転運動θ_ｘ、θ_ｙ及びθ_ｚ）を有する移動体の空間的配置、速度、および／または加速度を調整するために、ＥＳＣ４４（Ｅｌｅｃｔｒｉｃ Ｓｐｅｅｄ Ｃｏｎｔｒｏｌｌｅｒ）を経由して移動体の推進機構（モータ４５等）を制御する。バッテリー４８から給電されるモータ４５によりプロペラ４６が回転することで移動体の揚力を生じさせる。制御モジュールは、搭載部、センサ類の状態のうちの１つ以上を制御することができる。

フライトコントローラ４１は、１つ以上の外部のデバイス（例えば、送受信機（プロポ）４９、端末、表示装置、または他の遠隔の制御器）からのデータを送信および／または受け取るように構成された送受信部４７と通信可能である。送受信機４９は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。

例えば、送受信部４７は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信などのうちの１つ以上を利用することができる。

送受信部４７は、センサ類４２で取得したデータ、フライトコントローラ４１が生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの１つ以上を送信および／または受け取ることができる。

本実施の形態によるセンサ類４２は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）等）、またはビジョン／イメージセンサ（例えば、カメラ）を含み得る。以下、センサ類４２を「カメラ４２」と称することもある。本実施の形態によるセンサ類４２は、ビジョン／イメージセンサしてのカメラ４２で画像を撮影する際に、その画像を撮影した時点におけるカメラ４２の実空間における実撮影位置、カメラ４２の光学中心軸が向く実空間における方向である実撮影方向、カメラ４２の焦点距離及び画角等に関する撮影条件情報を当該画像に関連付けて取得するように構成されている。したがって、本実施の形態によるカメラ４２によって撮影された画像の画像データには、当該画像のデータのみならず、上記のような撮影条件情報が紐づけられて含まれる。

＜管理サーバの機能＞
図５は、管理サーバ１に実装される機能を例示したブロック図である。本発明の実施の形態においては、管理サーバ１は、移動体４のセンサ類４２に含まれるカメラで撮影された画像及びこれに関連付けられた撮影条件情報と、構造物（例えばビルなどの建物）内の構成物（例えば、壁、柱、階段、設備など）の配置を示す三次元モデルデータとに基づき、撮影された画像を対応する三次元モデルに配置する処理を実行するための各種機能部を有している。

本実施の形態においては、管理サーバ１は、プロセッサ１０、送受信部１３、記憶部２００を備えている。プロセッサ１０は、実撮影位置情報取得部１１０、仮想距離生成部１２０、サイズ特定部１３０、画像投影部１４０、差分検出部１５０、撮影対象特定部１６０、画像紐付部１７０及び移動実行部１８０を備えている。また、記憶部２００は、三次元データ記憶部２１０、撮影画像データ記憶部２２０、移動情報記憶部２３０の各種データベースを含む。

最初に記憶部２００の各種データベースについて説明すると、三次元データ記憶部２１０には、構造物内外の構成物及びその配置位置を示す三次元モデルデータが記憶されている。三次元モデルデータは、ＣＡＤ（Ｃｏｍｐｕｔｅｒ―Ａｉｄｅｄ Ｄｅｓｉｇｎ）設計ソフトウェアで作成されたデータを基にして作成された、構造物内の構成物の配置を示す三次元モデルデータ（より好ましくは寸法情報を有する三次元モデルデータ）であればどのようなデータであってもよく、例えば、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データ、ＣＩＭ（Ｃｏｎｓｔｒｕｃｔｉｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データ、ＣＡＤデータ、ＢＩＭデータ等から再構築された三次元モデルデータなどであってもよいし、二次元の設計図データに基づき所定の高さを有する構成物を生成することで得られた三次元モデルデータであってもよい。再構築等の三次元モデルデータの生成は管理サーバ１のプロセッサ１０により実行されてもよいし、あるいは、管理サーバ１とは異なる外部装置で実行されて生成された三次元モデルデータを管理サーバ１が取得してもよい。また、構成物を示す三次元モデルデータについては、構成物の種別やサイズ、縮尺などを示す情報を紐づけられていてもよい。その他、三次元モデルデータに関する情報として、例えば三次元モデルデータを基準とした所定の空間領域（例えば、柱Ａと柱Ｂの間の空間領域というような構成物を基準とした空間領域や、三次元モデルデータが配置される三次元座標系で規定される空間領域（特に、ユーザ操作により指定された座標を基準とした空間領域））を示す情報を三次元データ記憶部２１０に記憶してもよい。

管理サーバ１のプロセッサ１０は、三次元データ記憶部２１０に記憶された三次元モデルデータに基づいて、三次元モデルデータが三次元座標系で表現する仮想空間を生成する。このように生成された仮想空間内における各々の三次元モデルの配置位置及び配置向き等の配置情報は既知である。

撮影画像データ記憶部２２０は、移動体４のセンサ類４２によって撮影され、移動体４から管理サーバ１に送信された撮影画像データを記憶する。上述したように、移動体４のセンサ類４２によって撮影されて取得された画像データには、当該画像のデータだけでなく、画像を撮影した時点におけるカメラ４２の実空間における実撮影位置、カメラ４２の光学中心軸が向く実空間における方向である実撮影方向及びカメラ４２の焦点距離等に関する撮影条件情報が当該画像に関連付けて（紐づけられて）含まれている。したがって、撮影画像データ記憶部２２０に記憶される撮影画像データは、画像データとそれに紐づけられた撮影条件情報とを含む。撮影画像データにおいて、撮影条件情報は画像データに関連付けられたメタデータであってもよい。

撮影画像データ記憶部２２０に記憶される撮影画像データはさらに、後述するプロセッサ１０の撮影対象特定部１６０によって特定されて画像紐付部１７０に紐付けられた、仮想空間内の撮影対象位置に存在する撮影対象モデル、または、撮影対象空間の少なくともいずれかに関する情報を含んでいてもよい。撮影対象特定部１６０及び画像紐付部１７０による上記の特定処理及び紐付け処理の詳細については後述する。さらには、撮影画像データ記憶部２２０に記憶される撮影画像データは、後述するようにサイズ特定部１３０によって特定された、仮想空間内における撮影対象の位置である撮影対象位置における画像データのサイズに関する情報が関連付けられてもよい。

移動情報記憶部２３０は、例えば建造物の内外の各種撮影対象物の実画像の撮影等を目的とする移動において用いられる移動情報を記憶している。移動情報は、例えば、移動経路情報（ウェイポイント情報を含む）、移動速度、飛行高度、撮像条件（撮影方向、撮像画角、撮像焦点距離、撮像画像のオーバーラップ率など）、移動時取得情報（例えば、画像データ及びこれに関連付けられた撮影条件情報等）などを含む。

移動情報は、例えば、移動情報に含まれる各種情報のパラメータを管理サーバ１又はユーザ端末２上で設定することにより生成することができる。なお、移動経路としては、例えば、移動体格納装置５の位置を移動開始位置及び移動終了位置として、各ウェイポイントを通過する移動経路を生成するようにしてもよいし、逆に移動体格納装置５を有さずに、ユーザにより移動体４を持ち運びされた位置を移動開始位置（いわゆるホームポイント）としたり、移動終了位置（ホームポイントに戻ってもよい）においてユーザが移動体４を回収したりする構成などでもよいし、管理サーバ１により管理された移動体格納装置５の情報（例えば、位置情報や格納状態情報、格納機情報など）を基に、移動開始位置または移動終了位置として選択された移動体格納装置５の位置も含めた移動経路として生成される構成でもよい。

次にプロセッサ１０の各機能部について説明すると、実撮影位置情報取得部１１０は、移動体４のカメラ４２によって撮影され移動体４から管理サーバ１に送信された撮影画像データに紐づけられている撮影条件情報として、特に、画像を撮影した時点におけるカメラ４２の実空間における実撮影位置を示す実撮影位置情報を取得する。実撮影位置情報取得部１１０はさらに、取得した画像データに紐づけられている上記の撮影条件情報から、カメラ４２の光学中心軸が向く実空間における方向である実撮影方向とカメラ４２の焦点距離及び画角とに関する情報を取得してもよい。

カメラ（センサ類）４２の実空間における実撮影位置は、実空間の三次元座標系で表現される位置である。移動体４のカメラ４２がＧＮＳＳセンサ（ＧＰＳセンサ等）を含み、センサ類４２の位置情報としてＧＮＳＳセンサで緯度・経度情報を取得可能な場合は、カメラ（センサ類）４２の実空間における実撮影位置は緯度・経度で表現されてもよい。あるいは、センサ類４２の位置情報を慣性センサ（加速度センサ、ジャイロセンサ）等の非ＧＮＳＳセンサで取得する場合は、カメラ（センサ類）４２の実空間における実撮影位置は、実空間における基準位置（例えば、移動体４の飛行開始位置（ホームポイント））を原点とする三次元座標系における位置で表現されてもよい。

管理サーバ１のプロセッサ１０は、三次元データ記憶部２１０に記憶された三次元モデルデータに基づいて、三次元モデルデータが三次元座標系で表現する仮想空間を生成する際に、例えば実空間の三次元座標系と仮想空間の三次元座標系とを対応付けることにより、実空間の三次元座標系と仮想空間の三次元座標系との相関関係を構築する処理を行う。一例として、プロセッサ１０は、実空間の三次元座標系における基準位置（例えば、移動体４の飛行開始位置）と、その位置に対応する仮想空間の三次元座標系における基準位置とを位置合わせして対応付けることにより、実空間の三次元座標系と仮想空間の三次元座標系との相関関係を構築する。これにより、プロセッサ１０は、実空間内で飛行する移動体４の実空間の三次元座標系における位置を、仮想空間内の仮想移動体（実空間の移動体４に対応する仮想物体）の三次元座標系における位置に変換して表現することが可能である。なお、仮想空間における三次元モデルデータの縮尺が実空間における対応する構造物（構成物）の縮尺と異なる場合は、位置合わせに伴って三次元モデルデータの縮尺を調整してもよい。

このように、実空間の三次元座標系と仮想空間の三次元座標系との相関関係を構築することにより、例えばユーザ端末２上に表示される仮想空間の三次元座標系をベースにウェイポイントを設定した場合においても、実空間の移動体４の三次元座標系に基づく移動経路生成などの位置指定が可能となる。三次元モデルデータが寸法情報を備える場合には、仮想空間の三次元座標系を基準として、例えば１０ｍ真っすぐ飛んで右に曲がる、といったような現実の縮尺を用いた移動経路生成が可能となる。

仮想距離生成部１２０は、プロセッサ１０が生成した仮想空間内において、カメラ４２の実空間における実撮影位置に対応する仮想撮影位置から、仮想空間内における撮影対象の位置である撮影対象位置までの仮想距離を示す仮想距離情報を生成する処理を行う。仮想空間内における撮影対象位置は、例えば、仮想空間内の座標情報、仮想空間内の撮影対象の三次元モデル（仮想空間内の建物内の壁、柱、階段、設備などの仮想構成物）の位置や、仮想空間内の任意の空間領域位置であってもよい。

仮想距離生成部１２０は、仮想空間の三次元座標系における仮想空間内の仮想撮影位置と、撮影対象位置（撮影対象の構成物に対応する三次元モデルの位置）とに基づいて、仮想撮影位置から撮影対象位置までの距離である仮想距離を算出して、仮想距離情報を生成する処理を行う。仮想撮影位置から撮影対象位置までの距離である仮想距離は、一例として、仮想空間の三次元座標系における仮想撮影位置と撮影対象位置とを撮影方向（特に光軸方向）に沿って結ぶ線分の長さを求めることで取得することが可能である。

サイズ特定部１３０は、カメラ４２が画像を撮影したときに取得した撮影画像データに含まれる撮影条件情報であるカメラ４２の画角情報及び焦点距離情報と、仮想距離生成部１２０が生成した仮想距離情報とに基づき、仮想空間内における撮影対象の位置である撮影対象位置における画像データのサイズを特定する処理を行う。

ここで、図６を参照して、サイズ特定部１３０が撮影対象位置における画像データのサイズを特定する処理の一例について説明する。

サイズ特定部１３０はまず、撮影画像データに紐づけられたカメラ４２の画角情報及び焦点距離情報を用いて、カメラ４２の実撮影位置に対応する仮想空間における仮想撮影位置Ｃから焦点距離ｎだけ離れた第１の平面（図６に示す視錐台の「ｎｅａｒ ｐｌａｎｅ」）のサイズを算出する。第１の平面のサイズは、カメラ４２が取得した撮影対象の撮影画像データのサイズに対応する。

サイズ特定部１３０は次に、上記のように算出した第１の平面のサイズと、焦点距離情報及び仮想距離生成部１２０が生成した仮想距離情報とを用いて、仮想撮影位置Ｃから仮想距離ｆだけ離れた第２の平面（図６に示す視錐台の「ｆａｒ ｐｌａｎｅ」）における画像データのサイズを算出する。第２の平面のサイズは、第１の平面のサイズを焦点距離ｎと仮想距離ｆとの比に応じて拡大した大きさであり、撮影対象位置における画像データのサイズである。三次元モデルデータが寸法情報及び縮尺情報を備える場合には、サイズ特定部１３０によって上記のように撮影対象位置における画像データのサイズを算出することで、撮影対象位置における三次元モデルに対応する実空間の構成物の実寸サイズをその画像データのサイズから取得することが可能となる。

画像投影部１４０は、仮想空間内の撮影対象位置に存在する撮影対象の三次元モデルである撮影対象モデル上に、サイズ特定部１３０が特定したサイズの画像データを投影する処理を行う。この処理により、撮影対象位置に存在する撮影対象の三次元モデルである撮影対象モデル上の対応する位置に、その撮影対象モデルに対応する実空間の構成物の画像が撮影対象モデルの大きさに合致するサイズで貼り付けられ、撮影対象モデルの表面に実空間の構成物（撮影対象物）のテクスチャが付与される。

差分検出部１５０は、画像投影部１４０が仮想空間内において投影した画像データに映る撮影対象物と、その撮影対象物に対応する撮影対象モデルとの形状の差分を検出する処理を行う。

差分検出処理の一例として撮影対象物が略直方体形状の戸棚である例を挙げて説明すると、差分検出部１５０は、投影した画像データに映る撮影対象物における特徴部位（例えば、撮影対象物である戸棚の外形線や外形線同士が交差する隅の部分など）と、画像データが投影された撮影対象モデルにおける、撮影対象物の特徴部位に対応する特徴部位（例えば、戸棚の三次元モデルである撮影対象モデルの稜線や稜線同士が交差する隅の部分など）とを抽出し、それらの特徴部位同士の位置関係に基づいて、投影した画像データに映る撮影対象物と撮影対象モデルとの形状あるいは配置位置の差分を検出する。差分検出部１５０による検出処理の結果取得された差分情報は、例えば、画像投影部１４０が仮想空間内で投影する画像データの位置、形状、大きさ等を補正して、画像データを撮影対象モデル上に適切に重なるように配置することに用いることができる。

撮影対象特定部１６０は、カメラ４２が撮影画像データを撮影した際のカメラ４２の画角の中心位置に基づき、仮想空間内の撮影対象位置に存在する撮影対象モデル、または、撮影対象空間の少なくともいずれかを特定する処理を行う。

より具体的には、撮影対象特定部１６０はまず、カメラ４２が撮影画像データを撮影した際に取得され、その撮影画像データに紐づけられた撮影条件情報のうち、その撮影画像データを撮影した時点におけるカメラ４２の光学中心軸が向く実空間における方向である実撮影方向に関する情報に基づき、カメラ４２の実撮影方向に対応する仮想空間における仮想撮影方向を求める。仮想空間における仮想撮影方向は、カメラ４２の実撮影位置に対応する仮想空間における仮想撮影位置から、カメラ４２の実撮影方向に対応する仮想撮影方向に延びる仮想的な直線で表現され得る。カメラ４２の画角の中心位置は、仮想空間における仮想撮影位置に対応しうる。撮影対象特定部１６０は次に、カメラ４２の実撮影位置に対応する仮想空間における仮想撮影位置から仮想撮影方向に延びる仮想的な直線が交差する、仮想空間内の撮影対象位置に存在する撮影対象モデルまたは撮影対象空間を特定する。

撮影対象特定部１６０はこのような処理により、カメラ４２が撮影画像データを撮影した際のカメラ４２の画角の中心位置に基づき、仮想空間内の撮影対象位置に存在する撮影対象モデルまたは撮影対象空間の少なくともいずれかを特定する。

画像紐付部１７０は、撮影対象特定部１６０により特定された撮影対象モデルまたは撮影対象空間の少なくともいずれかに紐付けて、画像データを記憶部２００に記憶させる処理を行う。より具体的には、画像紐付部１７０は、撮影対象特定部１６０による特定処理の結果取得された特定情報に基づき、カメラ４２が撮影した撮影画像データに、その撮影画像データに映る実空間の撮影対象物に対応する仮想空間内の撮影対象モデルまたは撮影対象空間を関連付けて、対応する仮想空間内の撮影対象モデルまたは撮影対象空間が紐づけられた撮影画像データを記憶部２００の撮影画像データ記憶部２２０に記憶させる。

移動実行部１８０は、移動情報記憶部２３０に記憶された各種移動情報に基づき、建造物の内外の各種撮影対象物の実画像の撮影等を目的とする移動体４の移動を実行する。

＜本実施形態にかかる情報処理方法の一例＞
次に、図７を参照して、本実施形態にかかる情報処理方法（特に、三次元モデル上における画像データサイズの特定方法）について説明する。図７は、本実施形態にかかる情報処理方法を例示するフローチャートである。

最初に、本実施形態の情報処理システムにおける実撮影位置情報取得部１１０は、移動体４のカメラ４２によって撮影され移動体４から管理サーバ１に送信された撮影画像データから、その撮影画像データに紐づけられている撮影条件情報を取得する（ステップＳ１０１）。

撮影条件情報は、ビジョン／イメージセンサしてのカメラ（センサ類）４２が画像を撮影する際に併せて取得される、その画像を撮影した時点におけるカメラ４２の実空間における実撮影位置、カメラ４２の光学中心軸が向く実空間における方向である実撮影方向、カメラ４２の焦点距離及び画角等に関する情報を含み、撮影した画像のデータである撮影画像データに関連付けられている。ステップＳ１０１の処理において、実撮影位置情報取得部１１０は特に、画像を撮影した時点におけるカメラ４２の実空間における実撮影位置に関する情報をその撮影画像データから取得する。

次に、情報処理システムにおける仮想距離生成部１２０は、プロセッサ１０が生成した仮想空間内において、カメラ４２の実空間における実撮影位置に対応する仮想撮影位置から、仮想空間内における撮影対象の位置である撮影対象位置までの仮想距離を示す仮想距離情報を生成する（ステップＳ１０２）。一例として、仮想距離生成部１２０は、仮想空間の三次元座標系における仮想空間内の仮想撮影位置と撮影対象位置（撮影対象の構成物に対応する三次元モデルの位置）とを結ぶ線分の長さを求めることで、仮想空間内における撮影対象の位置である撮影対象位置までの仮想距離を取得することが可能である。

次に、情報処理システムにおけるサイズ特定部１３０は、カメラ４２が画像を撮影したときに取得した撮影画像データに含まれる撮影条件情報のうちのカメラ４２の画角情報及び焦点距離情報と、仮想距離生成部１２０が生成した仮想距離情報とに基づき、仮想空間内の撮影対象位置における画像データのサイズを特定する（ステップＳ１０３）。

サイズ特定部１３０は、一例として図６を参照して説明したように、カメラ４２の実撮影位置に対応する仮想空間における仮想撮影位置から焦点距離だけ離れた第１の平面（図６に示す視錐台の「ｎｅａｒ ｐｌａｎｅ」）のサイズを算出し、次に第１の平面のサイズと焦点距離及び仮想距離とを用いて仮想撮影位置から仮想距離だけ離れた第２の平面のサイズを算出することによって、仮想空間内における撮影対象位置における画像データのサイズを特定する。

このように、仮想空間の撮影対象位置における画像データのサイズを特定することにより、後の処理において撮影画像データを撮影対象位置（撮影対象の構成物に対応する三次元モデルの位置）に投影するときに、画像データを撮影対象位置に適応したサイズとすることが可能となる。さらには、三次元モデルデータが寸法情報及び縮尺情報を備える場合には、撮影対象位置における三次元モデルに対応する実空間の構成物の実寸サイズをその画像データのサイズから取得することが可能となる。

次に、情報処理システムにおける画像投影部１４０は、仮想空間内の撮影対象位置に存在する撮影対象の三次元モデルである撮影対象モデル上に、サイズ特定部１３０が特定したサイズの画像データを投影する（ステップＳ１０４）。これにより、撮影対象位置に存在する撮影対象の撮影対象モデル上に、その撮影対象モデルに対応する実空間の構成物の画像が撮影対象モデルの大きさに合致するサイズで貼り付けられ、撮影対象モデルの表面に実空間の構成物（撮影対象物）のテクスチャが付与される。

次に、情報処理システムにおける差分検出部１５０は、画像投影部１４０が仮想空間内において投影した画像データに映る撮影対象物と、その撮影対象物に対応する撮影対象モデルとの形状の差分を検出する（ステップＳ１０５）。
差分検出部１５０は、一例として、投影した画像データに映る撮影対象物における特徴部位と、画像データが投影された撮影対象モデルにおける対応する特徴部位とを抽出し、それらの特徴部位同士の位置関係に基づいて、投影した画像データに映る撮影対象物と撮影対象モデルとの形状あるいは配置位置の差分を検出する。このように取得された差分情報を用いることにより、例えば、画像投影部１４０が仮想空間内で投影する画像データの位置、形状、大きさ等を補正して、画像データを撮影対象モデル上に適切に重なるように配置することが可能となる。

次に、情報処理システムにおける撮影対象特定部１６０は、カメラ４２が撮影画像データを撮影した際のカメラ４２の画角の中心位置に基づき、仮想空間内の撮影対象位置に存在する撮影対象モデル、または、撮影対象空間の少なくともいずれかを特定する（ステップＳ１０６）。

ステップＳ１０６の処理において、撮影対象特定部１６０はまず、撮影画像データを撮影した時点におけるカメラ４２の光学中心軸が向く実空間における方向である実撮影方向に関する情報に基づき、カメラ４２の実撮影方向に対応する仮想空間における仮想撮影方向を求め、次に、カメラ４２の実撮影位置に対応する仮想空間における仮想撮影位置から仮想撮影方向に延びる仮想的な直線が交差する、仮想空間内の撮影対象位置に存在する撮影対象モデルまたは撮影対象空間を特定する。

最後に、情報処理システムにおける画像紐付部１７０は、撮影対象特定部１６０により特定された撮影対象モデルまたは撮影対象空間の少なくともいずれかに紐付けて、画像データを記憶部２００に記憶させる（ステップＳ１０７）。これにより、例えば、撮影画像データ記憶部２２０に記憶されている画像データに対応する撮影対象モデルまたは撮影対象空間を検索したり、あるいは、三次元データ記憶部２１０に記憶されている撮影対象モデルまたは撮影対象空間に対応する画像データを検索することが可能となり、ステップＳ１０４において画像投影部１４０が撮影対象位置に投影すべき画像データを自動的に特定することが可能となる。

このように、本実施形態によれば、移動体４により撮影された画像を撮影対象位置及びそのサイズと関連付けて容易に管理することが可能な情報処理システム等が提供される。特に、本実施形態にかかる情報処理方法は、仮想空間の撮影対象位置における画像データのサイズを特定することを含むことにより、撮影画像データを撮影対象位置（撮影対象の構成物に対応する三次元モデルの位置）に投影するときに、画像データを撮影対象位置に適応したサイズとすることが可能となり、さらには、三次元モデルデータが寸法情報及び縮尺情報を備える場合には、撮影対象位置における三次元モデルに対応する実空間の構成物の実寸サイズをその画像データのサイズから取得することが可能となる。

移動体４は、構造物の内壁および／または外壁の所定の事象の有無を点検するために利用される装置、機器等をさらに備えていてもよい。より具体的には、撮像装置（可視光カメラ、赤外線カメラ、金属探知機、超音波測定器等）や、打鍵装置等、探知装置（金属探知機）、集音装置、臭気測定器、ガス検知器、空気汚染測定器、検出装置（宇宙線、放射線、電磁波等を検出するための装置）等の点検対象構造物の状態を知るために必要な装置は全て採用され得る。

また、本実施形態にかかる情報処理方法は例えば構造物内の警備や監視の際に実行されてもよく、警備や監視のために利用される装置、機器等をさらに備えていてもよい。より具体的には、撮像装置（可視光カメラ、赤外線カメラ、暗視カメラ、金属探知機、超音波測定器等）や、センサ装置（モーションセンサ、赤外線センサ等）等、警備・監視対象構造物の異常や侵入者等を撮像・検知するために必要な装置は全て採用され得る。

さらに、移動体４は、カメラ等を搭載した撮影用の移動体としても好適に使用することができる他、セキュリティ分野、インフラ監視、測量、スポーツ会場・工場・倉庫等の建物や構造物内の点検、災害対応等の様々な産業にも利用することができる。

上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。

１ 管理サーバ
２ ユーザ端末
４ 移動体
５ 移動体格納装置

Claims (7)

1. カメラで実空間内を撮影することで取得された画像データを含む撮影画像データから、前記画像データに紐づく前記実空間内の実撮影位置を示す実撮影位置情報を取得する実撮影位置情報取得部と、
   前記実撮影位置に対応する仮想空間内の仮想撮影位置から、前記仮想空間内の撮影対象位置までの仮想距離を算出し、仮想距離情報を生成する仮想距離生成部と、
   前記撮影画像データを撮影した際の画角情報及び焦点距離情報を用いて、前記仮想撮影位置から焦点距離だけ離れた第１の平面における前記画像データのサイズを算出し、前記仮想距離情報を用いて前記第１の平面における前記画像データのサイズを前記焦点距離と前記仮想距離との比に応じて拡大し、前記仮想撮影位置から前記仮想距離だけ離れた前記仮想空間内の第２の平面における前記画像データの平面サイズを特定するサイズ特定部と、
   を備える情報処理システム。
2. 前記仮想空間内の前記撮影対象位置に存在する撮影対象モデル上に、特定した前記平面サイズの前記画像データを投影する画像投影部をさらに備える、
   請求項１に記載の情報処理システム。
3. 投影した前記画像データに映る撮影対象物と、前記撮影対象モデルとの形状の差分を検出する差分検出部をさらに備える、
   請求項２に記載の情報処理システム。
4. 前記撮影画像データを撮影した際の前記画角情報に含まれる画角の中心位置に基づき、前記仮想空間内の前記撮影対象位置に存在する撮影対象モデル、または、撮影対象空間の少なくともいずれかを特定する撮影対象特定部をさらに備える、
   請求項１に記載の情報処理システム。
5. 前記撮影対象特定部により特定された前記撮影対象モデルまたは撮影対象空間の少なくともいずれかに紐付けて、前記画像データを記憶させる画像紐付部をさらに備える、
   請求項４に記載の情報処理システム。
6. カメラで実空間内を撮影することで取得された画像データを含む撮影画像データから、前記画像データに紐づく前記実空間内の実撮影位置を示す実撮影位置情報を取得するステップと、
   前記実撮影位置に対応する仮想空間内の仮想撮影位置から、前記仮想空間内の撮影対象位置までの仮想距離を算出し、仮想距離情報を生成するステップと、
   前記撮影画像データを撮影した際の画角情報及び焦点距離情報を用いて、前記仮想撮影位置から焦点距離だけ離れた第１の平面における前記画像データのサイズを算出し、前記仮想距離情報を用いて前記第１の平面における前記画像データのサイズを前記焦点距離と前記仮想距離との比に応じて拡大し、前記仮想撮影位置から前記仮想距離だけ離れた前記仮想空間内の第２の平面における前記画像データの平面サイズを特定するステップと、
   を含む、コンピュータにより実行される情報処理方法。
7. カメラで実空間内を撮影することで取得された画像データを含む撮影画像データから、前記画像データに紐づく前記実空間内の実撮影位置を示す実撮影位置情報を取得するステップと、
   前記実撮影位置に対応する仮想空間内の仮想撮影位置から、前記仮想空間内の撮影対象位置までの仮想距離を算出し、仮想距離情報を生成するステップと、
   前記撮影画像データを撮影した際の画角情報及び焦点距離情報を用いて、前記仮想撮影位置から焦点距離だけ離れた第１の平面における前記画像データのサイズを算出し、前記仮想距離情報を用いて前記第１の平面における前記画像データのサイズを前記焦点距離と前記仮想距離との比に応じて拡大し、前記仮想撮影位置から前記仮想距離だけ離れた前記仮想空間内の第２の平面における前記画像データの平面サイズを特定するステップと、
   をコンピュータにより実行させるプログラム。
   

Images