JP7408971B2 - 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム - Google Patents

Description

本発明は、情報処理装置、情報処理システム、情報処理方法及び情報処理プログラムに関する。

従来では、住所情報の入力を受けて、住所情報が示す場所から最も近い道路上で撮像した風景の全天球画像を提供するサービスが知られている。

上述した従来の技術では、住所情報に基づく１つの地点から撮像された全天球画像のみが提供される。このため、従来では、例えば、その地点の近辺で撮像された他の全天球画像を参照する場合等には、新たに別の住所情報を入力する必要があり、煩雑である。

開示の技術は、住所情報に基づく複数の地点で撮像された画像を提供すること目的とする。

開示の技術は、入力された住所情報に基づく地点と、前記住所情報に基づく地点を含む所定の領域内における前記住所情報に基づく地点とは別の地点と、を特定する位置特定部と、前記住所情報に基づく地点と、前記別の地点とのそれぞれで撮像された画像データから、パラメータに基づき切り出された画像データを取得する画像取得部と、前記画像取得部が取得した画像データを出力する出力部と、を有し、前記住所情報に基づく地点は、前記住所情報が示す緯度・経度から最も近い道路上の地点であり、前記所定の領域は、前記住所情報に基づく地点を中心とした複数方位へ所定の距離移動した複数の地点によって特定される。

住所情報に基づく複数の地点で撮像された画像を提供できる。

第一の実施形態の情報処理システムのシステム構成の一例を示す図である。 第一の実施形態の情報処理装置のハードウェア構成の一例を示す図である。 パラメータ記憶部の一例を示す図である。 画像ファイル記憶部の一例を示す図である。 第一の実施形態の情報処理装置の機能を説明する図である。 第一の実施形態の情報処理装置の処理を説明する第一のフローチャートである。 第一の実施形態の情報処理装置の処理を説明する第二のフローチャートである。 第一の実施形態の情報処理装置の処理を説明する第三のフローチャートである。 位置特定部の処理を説明する図である。 画像の撮像地点を説明する図である。 出力される平面画像データの一例を示す図である。 第二の実施形態の情報処理システムのシステム構成の一例を示す図である。 第二の実施形態の情報処理装置の機能構成を説明する図である。 第二の実施形態の情報処理装置の処理を説明する第一のフローチャートである。 第二の実施形態の情報処理装置の処理を説明する第二のフローチャートである。 出力部による出力例を示す図である。

（第一の実施形態）
以下に図面を参照して、第一の実施形態について説明する。図１は、第一の実施形態の情報処理システムのシステム構成の一例を示す図である。

本実施形態の情報処理システム１００は、情報処理装置２００と、端末装置４００とを含む。情報処理システム１００において、情報処理装置２００と端末装置４００とは、ネットワークを介して接続される。

また、本実施形態の情報処理システム１００において、情報処理装置２００は、インターネット上に存在するサーバ装置５００と通信を行い、サーバ装置５００からサービスの提供を受ける。

サーバ装置５００が提供するサービスとは、例えば、入力された住所情報を緯度・経度に変換するサービスや、入力された緯度・経度と対応する地点から撮像した道路沿いの風景の全天球画像データを提供するサービス等である。

本実施形態の情報処理装置２００は、パラメータ記憶部２３０、画像ファイル記憶部２４０、画像処理部２５０、出力部２６０を有する。

パラメータ記憶部２３０は、全天球画像データから抽出する平面画像データの範囲を示すパラメータが格納されている。このパラメータは、予め設定される。

画像ファイル記憶部２４０は、入力された住所情報と、画像処理部２５０の処理によって取得された画像データとを含む画像ファイルが格納される。

画像処理部２５０は、入力された住所情報と、パラメータ記憶部２３０に格納されたパラメータとをサーバ装置５００に送信する。住所情報は、例えば、端末装置４００等から入力されても良い。

次に、画像処理部２５０は、サーバ装置５００から、住所情報が示す緯度・経度と対応する地点で撮像された全天球画像データから、パラメータに応じて切り出された複数の平面画像データを取得する。住所情報が示す緯度・経度と対応する地点とは、例えば、住所情報が示す緯度・経度から最も近い道路上の点である。

また、本実施形態の画像処理部２５０は、住所情報が示す緯度・経度と対応する地点の近傍であって、この地点とは異なる他の地点を特定する。次に、画像処理部２５０は、サーバ装置５００から、特定された他の地点と対応する全天球画像データからパラメータに応じて切り出された複数の平面画像データを取得する。そして、画像処理部２５０は、住所情報と、各地点毎に取得した複数の平面画像データと、を対応付けた画像ファイルを作成し、画像ファイル記憶部２４０へ格納する。

つまり、本実施形態の画像処理部２５０は、入力された住所情報から特定される複数の地点において撮像された全天球画像データから、パラメータに応じて切り出された複数の平面画像データを取得する。

出力部２６０は、画像ファイル記憶部２４０に格納された画像ファイルを、端末装置４００等に出力する。

このように、本実施形態では、住所情報と、住所情報が示す緯度・経度と対応する地点を含む複数の地点毎に取得した複数の平面画像データと、を対応付けた画像ファイルを出力することで、住所情報に基づく複数の地点で撮像された画像を提供できる。

尚、図１の例では、情報処理装置２００は、パラメータ記憶部２３０と画像ファイル記憶部２４０とを有するものとしたが、これに限定されない。パラメータ記憶部２３０、画像ファイル記憶部２４０は、一部又は全部が情報処理装置２００以外の装置に設けられていても良い。

以下に、本実施形態の情報処理装置２００について、さらに説明する。図２は、第一の実施形態の情報処理装置のハードウェア構成の一例を示す図である。

本実施形態の情報処理装置２００は、コンピュータによって構築されており、図２に示されているように、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、ＨＤ２０４、ＨＤＤ(Hard Disk Drive)コントローラ２０５、ディスプレイ２０６、外部機器接続Ｉ／Ｆ(Interface)２０８、ネットワークＩ／Ｆ２０９、データバス２１０、キーボード２１１、ポインティングデバイス２１２、ＤＶＤ－ＲＷ(Digital Versatile Disk Rewritable)ドライブ２１４、メディアＩ／Ｆ２１６を備えている。

これらのうち、ＣＰＵ２０１は、情報処理装置２００全体の動作を制御する。ＲＯＭ２０２は、ＩＰＬ等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＨＤ２０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ２０５は、ＣＰＵ２０１の制御にしたがってＨＤ２０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ２０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。

外部機器接続Ｉ／Ｆ２０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。ネットワークＩ／Ｆ２０９は、通信ネットワークを利用してデータ通信をするためのインターフェースである。データバス２１０は、図２に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

また、キーボード２１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス２１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ－ＲＷドライブ２１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ２１３に対する各種データの読み出し又は書き込みを制御する。尚、ＤＶＤ－ＲＷに限らず、ＤＶＤ－Ｒ等であってもよい。メディアＩ／Ｆ２１６は、フラッシュメモリ等の記録メディア２１５に対するデータの読み出し又は書き込み（記憶）を制御する。

次に、図３及び図４を参照して、本実施形態の情報処理装置２００の有するパラメータ記憶部２３０、画像ファイル記憶部２４０について説明する。尚、これらの各記憶部は、ＨＤ２０４やＲＯＭ５０３等の記憶装置によって実現される。

図３は、パラメータ記憶部の一例を示す図である。本実施形態のパラメータ記憶部２３０は、全天球画像データから、複数の平面画像データを取得する際に参照される。具体的には、本実施形態では、全天球画像データから、８つの方位毎に切り出された平面画像データを取得する。

本実施形態のパラメータ記憶部２３０に格納されたパラメータには、ｓｉｚｅ、ｌｏｃａｔｉｏｎ、ｈｅａｄｉｎｇ、ｐｉｔｃｈ、ｆｏｖ、ｓｏｕｒｃｅ、ｋｅｙを含む。

ｓｉｚｅは、全天球画像データから取得される平面画像データのサイズを示す。本実施形態では、平面画像データのｓｉｚｅは、６４０ピクセル×６４０ピクセルとする。

ｌｏｃａｔｉｏｎは、全天球画像データが撮像された地点の緯度・経度を示す。

ｈｅａｄｉｎｇは、方位を示す。ｈｅａｄｉｎｇの値が０の場合は北、９０の場合は東、１８０の場合は南、２７０の場合は西を示す。

ｐｉｔｃｈは、水平を基準とした上下方向の角度を示す。以下の説明では、上向きの角度を仰角、下向きの角度を俯角又は伏角と呼ぶ場合がある。本実施形態では、ｐｉｔｃｈの値は上向きの１５．０度である。

ｆｏｖ（field of view）は、画角を示す。本実施形態では、ｆｏｖは、４５．０である。

ｓｏｕｒｃｅは、撮像される対象を示す。本実施形態では、屋内の画像を除外するために、ｏｕｔｄｏｏｒ（屋外）とした。

ｋｅｙは、サーバ装置５００が提供するサービスを利用するためのＡＰＩ（Application Programming Interface）キーを示す。

本実施形態では、こられのパラメータを参照して、全天球画像データから８方位の平面画像データを取得する。

次に、図４を参照して、画像ファイル記憶部２４０について説明する。図４は、画像ファイル記憶部の一例を示す図である。

本実施形態の画像ファイル記憶部２４０に格納される画像ファイルリストは、情報の項目として、ｉｍａｇｅ＿ｎａｍｅ、ｊｐｎ＿ａｄｄｒｅｓｓ、ｆｏｒｍａｔｔｅｄ＿ａｄｄｒｅｓｓ、ｌａｔｉｔｕｄｅ、ｌｏｎｇｉｔｕｄｅを有し、各項目は対応付けられている。以下の説明では、上述した各項目の値を含む情報を画像ファイルと呼ぶ。

項目「ｉｍａｇｅ＿ｎａｍｅ」の値は、平面画像データの画像ファイル名を示す。項目「ｊｐｎ＿ａｄｄｒｅｓｓ」の値は、住所情報に含まれる住所を示す。項目「ｆｏｒｍａｔｔｅｄ＿ａｄｄｒｅｓｓ」の値は、英語のフォーマットに変換した住所を示す。項目「ｌａｔｉｔｕｄｅ」の値と、項目「ｌｏｎｇｉｔｕｄｅ」の値は、住所を緯度経度に変換した際の緯度と経度を示す。

画像ファイル記憶部２４０に格納される画像ファイルリストは、画像処理部２５０による処理によって作成される。

図４に示す画像ファイルリストでは、「愛知県Ａ市ＮＮ町１３－１」という住所に対して、異なる緯度・経度が対応付けられており、各緯度・経度毎に８つの平面画像データが対応付けられている。

次に、図５を参照して、本実施形態の情報処理装置２００の機能について説明する。図５は、第一の実施形態の情報処理装置の機能を説明する図である。

本実施形態の情報処理装置２００は、画像処理部２５０を有する。画像処理部２５０は、住所情報取得部２５１、緯度経度変換部２５２、画像取得部２５３、パラメータ設定部２５４、格納部２５５、位置特定部２５６を有する。

住所情報取得部２５１は、端末装置４００等から入力された住所情報を取得する。緯度経度変換部２５２は、住所情報を、住所情報と対応する緯度・経度に変換する。具体的には、緯度経度変換部２５２は、サーバ装置５００に対して住所情報を送信し、対応する緯度・経度を取得しても良い。

画像取得部２５３は、緯度経度変換部２５２によって変換された緯度・経度をサーバ装置５００へ送信し、サーバ装置５００から、この緯度・経度に基づく全天球画像データから、パラメータに基づいて切り出された画像データを取得する。具体的には、画像取得部２５３は、パラメータ設定部２５４によって設定されたパラメータを、サーバ装置５００へ送信し、緯度・経度に基づく全天球画像データから、パラメータに基づいて切り出された画像データを、サーバ装置５００から取得する。

尚、パラメータに基づいて全天球画像データから切り出された画像データは、全天球画像の歪みをなくした平面画像を示す平面画像データとなる。つまり、本実施形態のパラメータは、全天球画像データから切り出された画像データが、歪みのない平面画像データとなる範囲に設定されている。

また、画像取得部２５３は、サーバ装置５００から、位置特定部２５６によって特定された地点と対応する全天球画像データから、パラメータに基づいて切り出された画像データを取得する。

したがって、画像取得部２５３は、住所情報に基づき、住所情報が示す緯度・経度と対応する地点で撮像された歪みのない平面画像データと、住所情報が示す緯度・経度と対応する地点の近傍で撮像された歪みのない平面画像データとを取得できる。

パラメータ設定部２５４は、パラメータ記憶部２３０に格納されたパラメータを読み出して画像取得部２５３に設定する。

格納部２５５は、画像取得部２５３が取得した平面画像データと、住所情報が示す住所と、緯度・経度とを対応付けた画像ファイルを生成し、画像ファイル記憶部２４０へ格納する。

位置特定部２５６は、住所情報が示す緯度・経度と対応する地点を特定する。また、位置特定部２５６は、住所情報が示す緯度・経度と対応する地点の近傍の他の地点を特定する。

次に、図６乃至図８を参照して、本実施形態の画像処理部２５０の処理について説明する。図６は、第一の実施形態の情報処理装置の処理を説明する第一のフローチャートである。

本実施形態の情報処理装置２００において、画像処理部２５０は、平面画像データを格納するためのファイルを作成する（ステップＳ６０１）。

続いて、画像処理部２５０は、住所情報取得部２５１により、入力された住所情報を取得する（ステップＳ６０２）。

続いて、画像処理部２５０は、緯度経度変換部２５２により、取得した住所情報が示す場所を緯度・経度に変換する（ステップＳ６０３）。具体的には、緯度経度変換部２５２は、サーバ装置５００が提供するＡＰＩを起動させて住所情報を送信し、住所情報と対応する緯度・経度を取得する。

続いて、画像処理部２５０は、画像取得部２５３により、緯度・経度に基づき、複数の地点から撮像された全天球画像データから切り出された平面画像データを取得する（ステップＳ６０４）。ステップＳ６０４の処理の詳細は後述する。

続いて、出力部２６０は、取得した平面画像データを出力し（ステップＳ６０５）、処理を終了する。言い換えれば、出力部２６０は、取得した平面画像データを含む画像ファイルを出力する。

以下に、図７を参照して、図６のステップＳ６０４の処理について説明する。図７は、第一の実施形態の情報処理装置の処理を説明する第二のフローチャートである。

本実施形態の画像処理部２５０は、位置特定部２５６により、住所情報が示す緯度・経度の地点から、最も近い道路上の緯度・経度を取得する（ステップＳ７０１）。

言い換えれば、位置特定部２５６は、緯度経度変換部２５２によって住所情報から変換された緯度・経度が示す地点から、最も近い道路上の地点の緯度・経度を取得する。以下の説明では、住所情報から変換された緯度・経度を緯度・経度１と呼び、緯度・経度１が示す地点から、最も近い道路上の地点の緯度・経度を緯度・経度２と呼ぶ。

具体的には、位置特定部２５６は、サーバ装置５００が提供する地図情報提供サービス等によって、緯度・経度１と最も近い道路上の緯度・経度２を取得しても良い。

続いて、画像処理部２５０は、位置特定部２５６により、緯度・経度１が示す地点から、緯度・経度２が示す地点までの方位を求める（ステップＳ７０２）。ここで求められる方位を、方位Ａと呼ぶ。

続いて、位置特定部２５６は、方位Ａと垂直に交わる２つの方位を取得し、緯度・経度２が示す地点を含む道路の方向を推定する（ステップＳ７０３）。ここで取得される、方位Ａと垂直に交わる２つの方位を、方位Ｂ、方位Ｃと呼ぶ。

続いて、位置特定部２５６は、緯度・経度２が示す地点を含む近傍において、１Ｋｍ当たりの緯度・経度の変化を算出する（ステップＳ７０４）。続いて、位置特定部２５６は、緯度・経度２が示す地点から、８方向に各１０ｍ移動した８つの地点の緯度経度を算出する（ステップＳ７０５）。

続いて、位置特定部２５６は、８つの地点のうち、方位Ｂ、方位Ｃのそれぞれと最も近い２つの地点を特定し、この２つの地点について、各地点から最も近い道路上の地点の緯度・経度を取得する（ステップＳ７０６）。ステップＳ７０６で取得される２つの地点の緯度・経度を、緯度・経度３、緯度・経度４と呼ぶ。

具体的には、位置特定部２５６は、方位Ｂ、方位Ｃのそれぞれと最も近い２つの地点を示す緯度・経度をサーバ装置５００に通知し、サーバ装置５００が提供する地図情報提供サービス等によって、緯度・経度３と緯度・経度４を取得しても良い。

続いて、画像処理部２５０は、緯度・経度２、緯度・経度３、緯度・経度４のそれぞれについて、画像取得部２５３による平面画像データを取得する処理を実行し（ステップＳ７０７）、図６のステップＳ６０５へ進む。

以下に、図８を参照して、図７のステップＳ７０７の処理の詳細について説明する。図８は、第一の実施形態の情報処理装置の処理を説明する第三のフローチャートである。

本実施形態の画像処理部２５０は、パラメータ設定部２５４により、パラメータ記憶部２３０を参照し、パラメータを設定する（ステップＳ８０１）。

具体的には、パラメータ設定部２５４は、ｓｉｚｅを６４０ピクセル×６４０ピクセル、ｌｏｃａｔｉｏｎを緯度・経度２、ｈｅａｄｉｎｇを０、ｐｉｔｃｈを上向きの１５．０度、ｆｏｖを４５度、ｓｏｕｒｃｅをｏｕｔｄｏｏｒ、ｋｅｙを、サーバ装置５００が提供するサービスを利用するためのＡＰＩに設定する。

続いて、画像処理部２５０は、画像取得部２５３により、設定されたパラメータに基づき、全天球画像データから切り出された平面画像データを取得する（ステップＳ８０２）。

具体的には、画像取得部２５３は、全天球画像データから、北方向を中心とした、画角４５度、仰角１５度の範囲で切り出された平面画像データを取得する。

続いて、画像処理部２５０は、格納部２５５により、取得した平面画像データに、画像ファイル名と、住所と、英語のフォーマットに変換した住所と、パラメータに設定された緯度・経度とを対応付けた画像ファイルを生成して画像ファイル記憶部２４０に格納する（ステップ８０３）。

続いて、画像取得部２５３は、位置特定部２５６によって特定された全ての地点について、８方位の平面画像データを取得したか否かを判定する（ステップＳ８０４）。ステップＳ８０４において、全ての地点について、８方位の平面画像データを取得していない場合、パラメータ設定部２５４は、パラメータを変更し（ステップＳ８０５）、ステップＳ８０２へ戻る。

具体的には、パラメータ設定部２５４は、パラメータのうち、ｈｅａｄｉｎｇの値に４５度を追加し、ステップＳ８０２に戻る。また、１つの地点について８方位に平面画像データを取得した場合には、パラメータのうち、ｌｏｃａｔｉｏｎの値を緯度・経度３に変更する。

ステップＳ８０４において、各地点について、８方位の平面画像データが生成された場合、画像処理部２５０は、図６のステップＳ６０５へ進む。

本実施形態では、画像処理部２５０の処理により、住所情報が示す緯度・経度と対応する地点と、この地点の近傍の地点と、のそれぞれを中心とした８方位の平面画像データを取得することができる。

したがって、本実施形態では、緯度・経度２、緯度・経度３、緯度・経度４のそれぞれと対応する全天球画像データから、８つの平面画像を示す平面画像データ群が取得される。

以下に、図９を参照して、位置特定部２５６の処理について、具体的に説明する。

図９は、位置特定部の処理を説明する図である。

図９の例では、住所情報から変換される緯度・経度１を地点Ｐ１とし、緯度・経度１から最も近い道路上の地点を示す緯度・経度２を地点Ｐ２とする。

位置特定部２５６は、点Ｐ１と点Ｐ２を結ぶ方位Ａと垂直に交わる２つの方位Ｂ、Ｃを特定する。このとき、位置特定部２５６は、方位Ｂから方位Ｃに向かう道路が存在するものと推定する。

次に、位置特定部２５６は、まず、地点Ｐ２を４方向に１０ｍずつ移動させた地点を特定する。具体的には、地点Ｐ２を東方向に１０ｍ移動させた地点Ｐ１１、地点Ｐ２を北に１０ｍ移動させた地点Ｐ１２、地点Ｐ２を西に１０ｍ移動させた地点Ｐ１３、地点Ｐ２を南に１０ｍ移動させた地点Ｐ１４を特定する。

尚、本実施形態では、地点Ｐ２を１０ｍ移動させた地点を特定するものとしたが、移動させる距離は、１０ｍに限定されない。地点Ｐ２から移動させる距離は、例えば、サーバ装置５００によって提供される全天球画像データの撮像地点の間隔に応じて決定されて良い。本実施形態では、サーバ装置５００によって提供される全天球画像データの撮像地点が、約１０ｍ程度であるものとする。

続いて、位置特定部２５６は、地点Ｐ１１を北へ１０ｍ移動させた地点Ｐ１５と、地点Ｐ１１を南に１０ｍ移動させた地点Ｐ１６と、地点Ｐ１３を北へ１０ｍ移動させた地点Ｐ１７と、地点Ｐ１３を南に１０ｍ移動させた地点Ｐ１８と、を特定する。

このように、本実施形態では、地点Ｐ２を中心とした８方位において、地点Ｐ２から所定の距離を移動させた地点を特定する。言い換えれば、位置特定部２５６は、地点Ｐ２を中心とした所定の領域を特定している。

続いて、位置特定部２５６は、地点Ｐ１１から地点Ｐ１８において、方位Ｂと方位Ｃに最も近い地点を特定する。つまり、本実施形態では、地点Ｐ１１から地点Ｐ１８において、方位Ｂから方位Ｃへ向かう道路と最も近い地点を特定している。

図９の例では、地点Ｐ１５の方位が方位Ｂと最も近く、地点Ｐ１８の方位が方位Ｃと最も近い。したがって、地点Ｐ１５と地点Ｐ１８は、方位Ｂから方位Ｃへ向かう道路と最も近い地点と推定される。

次に、位置特定部２５６は、地点Ｐ１５、地点Ｐ１８のそれぞれから最も近い道路上の地点を特定する。具体的には、位置特定部２５６は、地点Ｐ１５と地点Ｐ１８の緯度・経度を、地点Ｐ２の緯度・経度に基づき算出する。そして、位置特定部２５６は、地点Ｐ１５の緯度・経度と、地点Ｐ１８の緯度・経度とを、サーバ装置５００へ通知する。

サーバ装置５００は、サーバ装置５００が提供する地図情報提供サービス等によって、地点Ｐ１５と最も近い道路上の地点Ｐ３の緯度・経度（緯度・経度３）と、地点Ｐ１６と最も近い道路上の地点Ｐ４の緯度・経度（緯度・経度４）とを取得し、位置特定部２５６へ返す。

そして、本実施形態の情報処理装置２００において、画像処理部２５０は、地点Ｐ２の緯度・経度と、地点Ｐ３の緯度・経度と、地点Ｐ４の緯度・経度と、それぞれについて、図８の処理を実行すれば良い。

その結果、画像処理部２５０は、住所情報と対応する地点Ｐ２を中心した８方位の平面画像データに加え、地点Ｐ３を中心とした８方位の平面画像データと、地点Ｐ４を中心とした８方位の平面画像データと、を取得することができる。

したがって、本実施形態では、住所情報が示す緯度・経度と対応する地点Ｐ２において撮像された画像データと共に、地点Ｐ２から、人が数歩程度で移動できる距離だけ離れた地点Ｐ３、地点Ｐ４から撮像された画像データを提供することができる。

尚、図９の例では、地点Ｐ２を中心とする所定の領域が正方形の中心となるように、８方位の地点Ｐ１１～Ｐ１８を特定したが、これに限定されない。本実施形態では、所定の領域を、地点Ｐ２を中心しと、８方位へ所定の距離移動した８つの地点によって特定できれば良い。したがって、地点Ｐ２から地点Ｐ１１～Ｐ１８までの距離が全て等しくても良い。この場合、所定の領域は、地点Ｐ２を中心とした円形となる。

図１０は、画像の撮像地点を説明する図である。図１０では、例えば、入力された住所情報から変換された緯度・経度１が示す地点が、地点Ｐ５１であったとする。

画像処理部２５０は、地点Ｐ５１から最も近い道路上の地点Ｐ５２を示す緯度・経度２を取得すると、位置特定部２５６により、地点Ｐ５１から地点Ｐ５２へ向かう方位Ａと垂直に交わる方位Ｂと方位Ｃを特定する。

図１０の例では、方位Ｂは南東であり、方位Ｃは北西である。したがって、位置特定部２５６は、地点Ｐ５２を中心とする８方位について、地点Ｐ５２を所定の距離移動させた８つの地点の中から、方位Ｂと最も近い方位の地点Ｐ５３と、方位Ｃと最も近い方位の地点Ｐ５４とが特定される。

そして、位置特定部２５６は、地点Ｐ５３と最も近い道路上の地点Ｐ５５の緯度・経度と、地点Ｐ５４と最も近い道路上の地点Ｐ５６の緯度・経度を取得し、画像取得部２５３に渡す。

画像取得部２５３は、地点Ｐ５５と地点Ｐ５６のそれぞれにおいて撮像された全天球画像データから、パラメータ設定部２５４によって設定されたパラメータが示す範囲に切り出された８方位の平面画像データを取得する。

そして、画像処理部２５０は、格納部２５５により、住所情報と、地点Ｐ５２、地点Ｐ５５と、地点Ｐ５６のそれぞれの緯度・経度と、各地点に基づき全天球画像データから取得された８方位の画像データと、を対応付けて画像ファイル記憶部２４０へ格納する。

図１１は、出力される平面画像データの一例を示す図である。

図１１では、３つの地点について、８方位の平面画像データが取得されていることがわかる。

例えば、平面画像データ群１５２は、住所情報と対応する緯度・経度が示す地点Ｐ５２で撮像された全天球画像データから取得された８方位の平面画像データである。

また、平面画像データ群１５５は、人が、地点Ｐ５２から、北西に向かって数歩歩いた程度の距離を移動した地点Ｐ５５で撮像された全天球画像データから取得された８方位の平面画像データである。また、平面画像データ群１５６は、人が、地点Ｐ５２から、南東に向かって数歩歩いた程度の距離を移動した地点Ｐ５６で撮像された全天球画像データから取得された８方位の平面画像データである。

本実施形態では、平面画像データ群１５２、１５５、１５６が、例えば、端末装置４００のディスプレイや情報処理装置２００のディスプレイ等において、同一画面に表示されても良い。

このように、本実施形態では、入力された住所情報に基づく複数の地点から撮像された画像データを同時に取得し、出力することができる。したがって、本実施形態では、例えば、住所情報が示す緯度・経度と対応する地点の近辺で撮像された他の全天球画像を参照する場合等に、新たに別の住所情報等を入力する必要がない。

（第二の実施形態）
以下に図面を参照して、第二の実施形態について説明する。第二の実施形態では、画像処理部によって取得された平面画像データ群から、検索対象物の画像を検索する点が、第一の実施形態と相違する。よって、以下の第二の実施形態の説明では、第一の実施形態との相違点について説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。

図１２は、第二の実施形態の情報処理システムのシステム構成の一例を示す図である。

本実施形態の情報処理システム１００Ａは、情報処理装置２００Ａと、学習装置３００とを含む。情報処理システム１００Ａにおいて、情報処理装置２００Ａと学習装置３００とは、ネットワークを介して接続される。

本実施形態の情報処理装置２００Ａは、住所情報記憶部２２０、パラメータ記憶部２３０、画像ファイル記憶部２４０、画像処理部２５０Ａ、検索要求部２７０を有する。

本実施形態の情報処理装置２００Ａにおいて、画像処理部２５０Ａは、住所情報記憶部２２０に格納された住所情報をサーバ装置５００に送信する。そして、画像処理部２５０Ａは、住所情報と対応する位置から撮像した全天球画像データから、パラメータ記憶部２３０に格納されたパラメータに基づく範囲を切り出した平面画像データを取得する。

尚、本実施形態の住所情報記憶部２２０は、検索対象物が設置されている可能性がある店舗や会社等の住所を示す住所情報が格納されている。具体的には、住所情報は、情報の項目として、店舗や会社等の名称、郵便番号、住所等を含む。

また、本実施形態のパラメータは、検索対象物に応じて予め設定される。本実施形態では、袖看板を検索対象物の一例とし、パラメータに含まれる仰角の値を１５度に設定した。

袖看板とは、建築物の壁面や支柱を利用して建物の側面に垂直に突き出る形で設置する看板である。本実施形態では、仰角を１５度に設定することで、水平地点から上方向を見上げた角度の画像データを取得することができる。このため、本実施形態によれば、建物の側面に垂直に突き出る形で設置された袖看板が映っている可能性が高い画像を取得することができる。

次に、画像処理部２５０Ａは、住所情報と、それぞれの平面画像を示す画像データとを対応付けた画像ファイルリストを作成し、画像ファイル記憶部２４０へ格納する。

次に、情報処理装置２００Ａは、検索要求部２７０によって、画像ファイル記憶部２４０に格納された画像ファイルリストを学習装置３００へ入力させ、検索対象物の検索要求を行う。

本実施形態の学習装置３００は、学習部３１０を有する。学習部３１０は、検索対象物の画像データを正解データとして学習（例えば、教師あり学習）を行ったモデルである。学習部３１０は、画像ファイルリストが入力され、検索要求を受け付けると、検索対象物の画像が含まれる画像を示す画像データを検索し、検索結果を検索要求部２７０へ出力する。

検索要求部２７０は、検索によって、検索対象物が含まれる平面画像データが特定された場合、平面画像データを特定する情報を出力する。尚、平面画像データを特定する情報とは、平面画像データそのものであっても良いし、平面画像データと対応付けられた住所情報であっても良いし、平面画像データと住所情報とが対応付けられた情報であっても良い。

このように、本実施形態によれば、検索対象物が設置されている可能性のある場所の住所情報の画像データを、検索対象物の画像データを正解データとして学習した学習部３１０に入力し、検索対象物が含まれる画像データを特定する。したがって、本実施形態によれば、学習部３１０によって特定された画像データと対応する住所情報に基づき、検索対象物が設置された場所を特定することができる。

このため、本実施形態によれば、例えば、検索対象物を、撤去の対象の袖看板とした場合には、袖看板が設置されている可能性のある店舗等の住所情報を住所情報記憶部２２０に格納しておけば、撤去対象の袖看板が設置された場所を特定することができる。

また、検索要求部２７０は、住所情報が示す緯度・経度と対応する地点の全天球画像データから切り出された平面画像データに、検索対象物が含まれる平面画像データが存在しない場合、その旨を画像処理部２５０Ａに通知する。

画像処理部２５０Ａは、この通知を受けて、住所情報が示す緯度・経度と対応する地点とは別の複数の地点を特定し、特定された複数の地点において撮像された全天球画像データから切り出された平面画像データ群を取得し、画像ファイル記憶部２４０へ格納する。

言い換えれば、画像処理部２５０Ａは、緯度・経度３、４を特定し、緯度・経度３、４が示す各地点で撮像された全天球画像データから切り出した８方位の平面画像データ群を取得する。

次に、検索要求部２７０は、緯度・経度３、４が示す各地点で撮像された全天球画像データから切り出した平面画像データ群を学習部３１０へ入力し、検索要求を行う。

このように、本実施形態では、複数の地点のそれぞれで撮像された全天球画像データから切り出した平面画像データ群に対して検索を行う。このため、本実施形態では、検索対象物の画像を含む画像データが特定される可能性を高めることができる。

図１３は、第二の実施形態の情報処理装置の機能構成を説明する図である。

本実施形態の情報処理装置２００Ａにおいて、画像処理部２５０Ａは、住所情報取得部２５１Ａ、緯度経度変換部２５２、画像取得部２５３、パラメータ設定部２５４、格納部２５５、位置特定部２５６Ａを有する。

住所情報取得部２５１Ａは、住所情報記憶部２２０に格納された住所情報を取得する。位置特定部２５６Ａは、住所情報が示す緯度・経度と対応する地点の全天球画像データから切り出された平面画像データに、検索対象物が含まれる平面画像データが存在しない場合に、住所情報が示す緯度・経度と対応する地点以外の地点を特定する。

検索要求部２７０は、リスト出力部２７１、結果取得部２７２、出力部２７３を有する。

リスト出力部２７１は、検索要求と共に、画像ファイル記憶部２４０に格納された画像ファイルリスト（画像ファイルの一覧）を学習装置３００へ出力する。言い換えれば、検索要求部２７０は、住所情報と対応する全天球画像データから切り出した画像データと、住所情報とを対応付けた情報を、学習部３１０へ入力し、学習部３１０に対して検索対象物の検索を要求する。

結果取得部２７２は、学習部３１０により出力された情報を取得する。出力部２７３は、結果取得部２７２が取得した情報を端末装置４００等に出力する。言い換えれば、結果取得部２７２は、学習部３１０による検索結果を取得し、出力部２７３は、検索結果を出力する。

図１４は、第二の実施形態の情報処理装置の処理を説明する第一のフローチャートである。

本実施形態の情報処理装置２００Ａにおいて、画像処理部２５０Ａは、平面画像データを格納するためのファイルを作成する（ステップＳ１４０１）。

続いて、画像処理部２５０Ａは、住所情報取得部２５１により、住所情報記憶部２２０を参照する（ステップＳ１４０２）。

続いて、画像処理部２５０Ａは、住所情報取得部２５１により、住所情報記憶部２２０に格納された住所情報を１レコードずつ読み込む（ステップＳ１４０３）。

続いて、画像処理部２５０Ａは、緯度経度変換部２５２により、読み込んだ住所情報が示す場所を緯度・経度に変換する（ステップＳ１４０４）。

続いて、画像処理部２５０Ａは、緯度・経度に基づき、複数の平面画像データを取得する（ステップＳ１４０５）。ステップＳ１４０５では、図８に示す処理を、ステップＳ１４０４で変換された緯度・経度に対して行えばよい。

続いて、画像処理部２５０Ａは、住所情報記憶部２２０に格納された全ての住所情報に対して、ステップＳ１４０３からステップＳ１４０５の処理を繰り返し（ステップＳ１４０６）、処理を終了する。

本実施形態では、図１４の処理によって、住所情報記憶部２２０に格納された全ての住所情報について、住所情報が示す緯度・経度と対応する地点から撮像された全天球画像データから切り出された平面画像データ群が画像ファイル記憶部２４０に格納される。

以下に、図１５を参照して、検索要求部２７０の処理について説明する。図１５は、第二の実施形態の情報処理装置の処理を説明する第二のフローチャートである。

本実施形態の検索要求部２７０は、リスト出力部２７１により、検索要求と共に、画像ファイル記憶部２４０に格納された画像ファイルリストを学習装置３００へ出力する（ステップＳ１５０１）。

続いて、検索要求部２７０は、結果取得部２７２により、学習装置３００から、学習部３１０が出力した情報を取得し（ステップＳ１５０２）、出力部２７３により、学習部３１０が出力した情報を端末装置４００へ出力する（ステップＳ１５０３）。

尚、出力部２７３が出力する先は、端末装置４００に限定されない。出力部２７３は、
情報処理装置２００のディスプレイ２０６に学習部３１０が出力した情報を表示させても良い。また、本実施形態では、学習部３１０が検索結果を出力する度に、検索結果が正解であったか否かを示す情報を学習装置３００に入力し、学習部３１０に機械学習によって学習させても良い。

図１６は、出力部２７３による出力例を示す図である。図１６（Ａ）の例では、学習部３１０によって、検索対象となる袖看板が映っている平面画像データとして抽出された画像データが表示されている。

この場合、出力部２７３は、検索対象の袖看板が映っていた平面画像データと対応付けられた住所情報を特定し、この住所情報と対応付けられた他の平面画像データを画像ファイル記憶部２４０から抽出して、出力しても良い。

この場合、特定された住所情報に基づく緯度・経度を中心とした８方位の画像データが出力されることになる。

また、本実施形態では、検索対象の袖看板が映っていた平面画像データを表示させる際に、検索対象の袖看板の画像を強調するマーク１０１等を表示させても良い。

また、本実施形態の出力部２７３は、図１６（Ｂ）に示すように、住所情報記憶部２２０に格納された住所情報のうち、平面画像データに検索対象となる袖看板が映っていた住所情報の一覧を表示させても良い。

図１６（Ｂ）に示す画面１１１は、検索対象となる袖看板が設置されていた住所を表示していることを示すメッセージ１１２と、平面画像データに検索対象となる袖看板が映っていた住所情報の一覧１１３とが表示されている。

このように、検索結果を住所情報の一覧として表示させることで、袖看板の撤去を行う作業員等に対し、撤去対象の袖看板の設置場所を容易に把握させることができる。

次に、住所情報が示す緯度・経度と対応する地点の全天球画像データから切り出された平面画像データに、検索対象物が含まれる平面画像データが存在しない場合の情報処理装置２００Ａの処理について説明する。

この場合、画像処理部２５０Ａは、位置特定部２５６Ａにより、住所情報が示す緯度・経度と対応する地点に基づき、この地点の近傍の複数の地点を特定し、画像取得部２５３によって、特定された複数の地点毎に平面画像データ群を取得する。

より具体的には、画像処理部２５０Ａは、検索要求部２７０の結果取得部２７２により、住所情報が示す緯度・経度と対応する地点の全天球画像データから切り出された平面画像データに、検索対象物が含まれる平面画像データが存在しないことを示す通知を受けて、図７の処理を実行する。

情報処理装置２００Ａは、画像処理部２５０Ａによって図７の処理が実行されると、検索要求部２７０により、画像ファイル記憶部２４０に格納された画像ファイルリストを学習部３１０へ入力し、検索要求を行う。

本実施形態では、この３つの平面画像データ群を学習装置３００の学習部３１０に入力とし、検索対象物となる袖看板の画像を含む画像データを検索させる。

したがって、本実施形態では、住所情報と対応する地点で撮像された全天球画像データに、検索対象物の画像が含まれなくても、他の地点で取得された全天球画像データを検索に活用することができる。

尚、本実施形態では、平面画像データは、住所情報に基づき特定された地点で撮像された全天球画像データから切り出されるものとしたが、これに限定されない。本実施形態では、例えば、住所情報に基づき特定された地点で撮像された平面画像データから、パラメータに応じた平面画像データを切り出して取得しても良い。

この場合、画像処理部２５０Ａは、検索対象物に基づき設定されたパラメータに基づき、元の平面画像データから一部の画像データを切り出して、画像ファイル記憶部２４０に格納しても良い。

具体的には、例えば、検索対象物が、特定の状態の自動販売機であっとする。この場合、検索対象物は、一般的に道路上に配置されるものであるため、空の画像等は不要となる。したがって、この場合には、パラメータ記憶部２３０に、元となる平面画像データが示す平面画像の上部分が切り取られるようなパラメータを設定しておけば良い。また、この場合には、学習部３１０では、特定の状態の自動販売機の画像が含まれる画像データを正解データとした学習が予め行われる。

また、例えば、検索対象物が、マンホール等である場合について考える。この場合、元となる画像データが全天球画像データであるならば、パラメータ記憶部２３０に格納されるパラメータのうち、ｆｏｖを下方向１５度等とすれば良い。また、この場合に、元となる画像データが平面画像データであるならば、例えば、平面画像の下部分が切り出されるように、パラメータが設定されていても良い。また、この場合には、学習部３１０では、マンホールの画像が含まれる画像データを正解データとした学習が予め行われる。

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

また、上述した実施形態に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものにすぎない。ある実施形態では、第１の装置は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。同様に、第２の装置は、互いに通信するように構成された複数のコンピューティングデバイスを含むことができる。

さらに、第１の装置および第２の装置は、開示された処理ステップ、例えば図７を様々な組み合わせで共有するように構成できる。例えば、画像処理部２５０によって実行されるプロセスは、第２の装置によって実行され得る。同様に、画像処理部２５０の機能は、第２の装置によって実行することができる。また、第１の装置と第２の装置の各要素は、１つのサーバ装置にまとめられていても良いし、複数の装置に分けられていても良い。

また、本実施形態において、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり、コンピュータが、データ識別等の判断に必要なアルゴリズムを、事前に取り込まれる学習データから自律的に生成し、新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、さらに、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。

以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。

１００ 情報処理システム
２００、２００Ａ 情報処理装置
２２０ 住所情報記憶部
２３０ パラメータ記憶部
２４０ 画像ファイル記憶部
２５０、２５０Ａ 画像処理部
２５１、２５１Ａ 住所情報取得部
２５２ 緯度経度変換部
２５３ 画像取得部
２５４ パラメータ設定部
２５５ 格納部
２５６ 位置特定部
２６０ 出力部
２７０ 検索要求部
３００ 学習装置
３１０ 学習部
４００ 端末装置
５００ サーバ装置

特表２０１８－５１８７４２号公報 特開２０１５－０４６１７１号公報

Claims (9)

1. 入力された住所情報に基づく地点と、前記住所情報に基づく地点を含む所定の領域内における前記住所情報に基づく地点とは別の地点と、を特定する位置特定部と、
   前記住所情報に基づく地点と、前記別の地点とのそれぞれで撮像された画像データから、パラメータに基づき切り出された画像データを取得する画像取得部と、
   前記画像取得部が取得した画像データを出力する出力部と、を有し、
   前記住所情報に基づく地点は、前記住所情報が示す緯度・経度から最も近い道路上の地点であり、
   前記所定の領域は、前記住所情報に基づく地点を中心とした複数方位へ所定の距離移動した複数の地点によって特定される、情報処理装置。
2. 入力された住所情報に基づく地点と、前記住所情報に基づく地点を含む所定の領域内における前記住所情報に基づく地点とは別の地点と、を特定する位置特定部と、
   前記住所情報に基づく地点と、前記別の地点とのそれぞれで撮像された画像データから、パラメータに基づき切り出された画像データを取得する画像取得部と、
   前記画像取得部が取得した画像データを出力する出力部と、を有し、
   前記パラメータは、
   前記住所情報に基づく地点を中心とした複数方位と、各方位を中心とした画角と、仰俯角と、を少なくとも含む、情報処理装置。
3. 入力された住所情報に基づく地点と、前記住所情報に基づく地点を含む所定の領域内における前記住所情報に基づく地点とは別の地点と、を特定する位置特定部と、
   前記住所情報に基づく地点と、前記別の地点とのそれぞれで撮像された画像データから、パラメータに基づき切り出された画像データを取得する画像取得部と、
   前記画像取得部が取得した画像データを出力する出力部と、
   前記画像取得部が取得した画像データと、前記住所情報とを対応付けた情報を、検索対象物の画像検索を行う学習部へ入力し、前記学習部に対して前記検索対象物の検索を要求する検索要求部と、を有する、情報処理装置。
4. 前記出力部は、
   前記住所情報に基づく地点で撮像された画像データから切り出された画像データと、前記別の地点で撮像された画像データから切り出された画像データと、を同一画面上に表示させる、請求項１乃至３の何れか一項に記載の情報処理装置。
5. 前記住所情報に基づく地点と前記別の地点とのそれぞれで撮像された画像データは、全天球画像データであり、
   前記画像取得部は、
   前記全天球画像データから、前記パラメータが示す範囲の画像データを切り出した平面画像データを取得する、請求項１乃至４の何れか一項に記載の情報処理装置。
6. 前記学習部は、
   前記画像取得部が取得した画像データのうち、前記検索対象物の画像が含まれる画像データと対応付けられた住所情報を出力する、請求項３記載の情報処理装置。
7. 入力された住所情報に基づく地点と、前記住所情報に基づく地点を含む所定の領域内における前記住所情報に基づく地点とは別の地点と、を特定する位置特定部と、
   前記住所情報に基づく地点と、前記別の地点とのそれぞれで撮像された画像データから、パラメータに基づき切り出された画像データを取得する画像取得部と、
   前記画像取得部が取得した画像データを出力する出力部と、を有し、
   前記住所情報に基づく地点は、前記住所情報が示す緯度・経度から最も近い道路上の地点であり、
   前記所定の領域は、前記住所情報に基づく地点を中心とした複数方位へ所定の距離移動した複数の地点によって特定される、情報処理システム。
8. 情報処理装置が、
   入力された住所情報に基づく地点と、前記住所情報に基づく地点を含む所定の領域内における前記住所情報に基づく地点とは別の地点と、を特定し、
   前記住所情報に基づく地点と、前記別の地点とのそれぞれで撮像された画像データから、パラメータに基づき切り出された画像データを取得し、
   取得された画像データを出力し、
   前記住所情報に基づく地点は、前記住所情報が示す緯度・経度から最も近い道路上の地点であり、
   前記所定の領域は、前記住所情報に基づく地点を中心とした複数方位へ所定の距離移動した複数の地点によって特定される、情報処理方法。
9. 入力された住所情報に基づく地点と、前記住所情報に基づく地点を含む所定の領域内における前記住所情報に基づく地点とは別の地点と、を特定し、
   前記住所情報に基づく地点と、前記別の地点とのそれぞれで撮像された画像データから、パラメータに基づき切り出された画像データを取得し、
   取得された画像データを出力する、処理をコンピュータに実行させ、
   前記住所情報に基づく地点は、前記住所情報が示す緯度・経度から最も近い道路上の地点であり、
   前記所定の領域は、前記住所情報に基づく地点を中心とした複数方位へ所定の距離移動した複数の地点によって特定される、情報処理プログラム。

Images