JP2015056152A - 表示制御装置及び表示制御装置の制御方法 - Google Patents

Abstract

【課題】画像検索者が認識した可能性の高い画像を容易に検索できるようにする。【解決手段】予め登録されている複数の画像データの中から特定の検索対象物が写った画像データを検索して表示する表示制御装置であって、前記検索対象物の位置情報および経路情報から画像を検索する位置範囲を算出する検索範囲算出手段と、前記検索対象物の位置情報および検索された画像の画像情報に基づいて検索結果に対して優先順位を付与する優先順位設定手段とを備え、位置や方位のみならず、経路の情報も取得することにより、画像検索者が認識した可能性の高い画像を検索する手間を省くことができるようにする。【選択図】図１

Description

本発明は表示制御装置及び表示制御装置の制御方法に関し、特に、複数の画像から特定の被写体が写った画像を検索するために用いて好適な技術に関するものである。

従来の画像検索装置は、複数のカメラで撮像された画像から史跡や建造物など特定の被写体が写った画像を検索するには、カメラの位置情報や方位情報を用いて被写体を特定し、撮像位置周辺、被写体周辺の画像を検索対象としていた。

例えば、特許文献１ではカメラの位置情報と方位情報を用いて画像データと地図データを対比して建造物を発見し、建造物付近で撮影した画像を検索する技術が開示されている。また、特許文献２では検索を所望する画像データの撮影場所及び撮影日時に近い画像データを検索する技術が開示されている。

特開２００９−２２５２７９号公報 特開２００９−１７６２６２号公報

しかしながら、前述の特許文献に開示された従来技術では、被写体あるいは撮影位置付近の画像は検索されるが、被写体及び撮影位置付近のどの場所で、どの向きに撮影された画像が検索されるかはわからなかった。

本発明は前述の問題点に鑑み、画像の検索において、ユーザにとってより適切な検索結果を得られるようにすることを目的とする。

本発明の表示制御装置は、予め登録されている複数の画像データの中から特定の検索対象物が写った画像データを検索して表示する表示制御装置であって、前記検索対象物の位置情報および経路情報から画像を検索する位置範囲を算出する検索範囲算出手段と、前記検索対象物の位置情報および検索された画像の画像情報に基づいて検索結果に対して優先順位を付与する優先順位設定手段とを備えることを特徴とする。

本発明によれば、画像の検索において、ユーザにとってより適切な検索結果を得られる表示制御装置を提供することができる。

本発明の実施形態による画像検索システムの概要を示す説明図である。 第１の実施形態による撮影装置の構成例を示すブロック図である。 第１の実施形態による撮影装置のデータ処理の手順を説明するフローチャートである。 第１の実施形態によるサーバーの構成例を示すブロック図である。 第１の実施形態のサーバーのデータ処理の手順を説明するフローチャートである。 第１の実施形態によるサーバーの画像検索の手順を説明するフローチャートである。 第１の実施形態による撮影条件検索範囲の例を示す図である。 第１の実施形態による撮影条件検索範囲の拡大例を示す図である。 第１の実施形態による検索撮像条件の優先順位付与例を示す図である。 第１の実施形態による画像ベースの表示方法の優先順位決定方法の説明図である。 第１の実施形態による距離ベースの表示方法の優先順位決定方法の説明図である。 第１の実施形態による利用者端末の構成例を示すブロック図である。 第１の実施形態による利用者端末のデータ処理の手順の一例を示すフローチャートである。 第１の実施形態による利用者端末のデータ処理の手順の一例を示すフローチャートである。 第１の実施形態による地図上の検索結果表示方法による検索経路データの算出例を示す図である。 第１の実施形態による経路順の検索結果表示方法による検索経路データの算出例を示す図である。 第１の実施形態による地図上の検索結果表示例を示す図である。 第１の実施形態による経路順の検索結果表示例を示す図である。 第２の実施形態による利用者端末の構成例を示すブロック図である。 第２の実施形態による利用者端末のデータ処理の手順を説明するフローチャートである。 第２の実施形態によるサーバーの画像検索処理を説明するフローチャートである。

以下に、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。
＜第１の実施形態＞
以下、図面を参照しつつ本発明の第１の実施形態による画像検索処理について説明する。
［システムの概要］
図１は、本発明の表示制御装置を用いた画像検索システムの概要を示す説明図である。画像検索システムは、撮影装置１００と、サーバー１０１と、利用者端末１０２で構成され、インターネット１０３などを介して撮影装置１００、サーバー１０１、利用者端末１０２の間で通信しデータ授受を行う。撮影装置１００と利用者端末１０２とを兼用することも可能である。前述のように構成された画像検索システムは、予め登録されている複数の画像データの中から特定の検索対象物が写った画像を検索する。

撮影装置１００は、被写体を撮影して画像を生成すると共に撮影位置と撮影方向を検知する手段を有し、サーバー１０１は、撮影装置１００で撮影された画像及び撮影条件を記録する手段を有している。また、利用者端末１０２は、サーバー１０１から出力された画像情報を地図上に表示する手段を有している。また、撮影装置１００、サーバー１０１および利用者端末１０２は、それぞれ通信手段を備えている。

サーバー１０１は、公知のパソコンで構成可能である。撮影装置１００、利用者端末１０２としては、スマートフォンなどのカメラ付き携帯電話や、無線ＬＡＮなどの通信装置付きデジタルカメラ、ノートパソコン、いわゆるタブレットデバイス等が利用できる。

上記システムにおいて、まず撮影装置１００は、撮影して得られたた元画像データ１０４を、サーバー１０１へ送信する。サーバー１０１は、受信した元画像データ１０４に撮影条件データが含まれる場合、画像データ１０５と撮影条件データ１０６とを分割してデータベースに記録する。この処理は、撮影装置１００からのみならず、他の装置からの画像データも同様にデータベースに記録される。結果として、サーバー１０１のデータベースには、多くの画像データと、撮影条件データとが蓄積される。
一方、利用者端末１０２は、サーバー１０１に蓄積された画像データから、所望の画像データを得るために、サーバー１０１に対して、検索キーとなる情報を送信する。本実施形態において、ここで送信される情報は、検索位置データ１０７、表示条件データ１０８、検索経路データ１０９の三つである。

検索位置データ１０７は、利用者端末１０２上にて指定した検索対象物の位置である。表示条件データ１０８は、利用者端末１０２上でどのように検索した画像を表示するかを指定したデータである。表示条件データとしてはユーザが指定した表示画像数（すなわちサーバー１０１から受信する画像の数）、表示する画像データの検索対象の最近傍点からの距離（指定距離）。および、地図上／経路順に画像を表示するかの選択フラグ、画像ベース表示／距離ベース表示の選択フラグなどが挙げられる。検索経路データ１０９は、利用者端末１０２に記録された経路データから抽出された画像検索対象となる経路である。これらのデータの生成方法および利用方法については後述することとし、説明を先に進める。

サーバー１０１は、利用者端末１０２から検索位置データ１０７と表示条件データ１０８、検索経路データ１０９を受信すると、これらのデータに基づく条件を満たす撮影条件データ１０６と、その撮影条件データ１０６に対応する画像データ１０５とを検索する。検索した結果である撮影条件データ１０６と画像データ１０５は、検索画像データ１１０としてまとめて利用者端末１０２へ送信される。
このサーバー１０１から送信された検索画像データ１１０を受信した利用者端末１０２は、得られた検索画像データ１１０を表示条件データ１０８に応じて画像出力する。
以上を、本システムの基本的な構成とするが、例えば、サーバー１０１で撮影条件データを含む元画像データ１０４を画像データ１０５と撮影条件データ１０６とに分割しないで記録してもよい。また、撮影装置１００側で、撮影条件データ１０６を分割してサーバー１０１へ送信してもよい。
このような全体構成を実現するためのシステムと、その実施方法について、以下に実施形態を挙げて説述する。

［撮影装置１００による画像送信処理］
図２は、本発明の実施形態の撮影装置１００の構成例を示すブロック図、図３は撮影装置１００で行なわれるデータ処理の手順を説明するフローチャートである。
本実施形態では、カメラ付きの小型通信端末を挙げる。撮影装置１００には、演算処理を司るＣＰＵ２００、それと協働するＲＯＭ・ＲＡＭ等のメモリ２０１、画像記憶部２０２、画面表示する表示部２０３、ユーザの入力をＣＰＵ２００に伝達する操作入力部２０４を有する。

さらに、インターネット１０３等のネットワークと接続して通信するための通信部２０５の他に、被写体を撮影して画像を生成する撮影部２０６と、撮影装置の存在する位置を検知するGPSセンサーなどの位置検知部２０７とを有している。また、撮影装置１００の正面方向（撮像部に含まれるレンズ光軸方向）の方角を検知するジャイロセンサーや磁気方位センサーから成る方位検知部２０８、撮影装置１００の内蔵時計から撮影した日時を検知する時刻検知部２０９を有している。

次に、図３のフローチャートを用いて、本実施形態の撮影装置１００の画像送信フローについて説明する。本フローチャートの処理は、例えば、操作入力部２０４によってユーザから撮影の指示を受け付けたことに応じて開始される。
まず、Ｓ３００において、ＣＰＵ２００は、撮影部２０６を用いて、撮影処理を行う。
次に、Ｓ３０１において、ＣＰＵ２００は、画像撮影時に撮影部２０６により取得された画像データ、位置検知部２０７による撮影位置情報、方位検知部２０８による撮影方位情報、時刻検知部２０９による撮影日時情報からなる撮影条件データを連結処理する。ここでは、画像データをＥｘｉｆ−Ｊｐｅｇの形式で扱うこととし、画像データのヘッダ領域内に用意される所定の領域に、撮影条件データを記録することにより、各データを連結する。

なお、前述した４つの撮影条件データの内、１つ以上が取得できなかった場合は、Ｓ３０１の連結処理を残りの撮影条件データにて行う。
Ｓ３０２にて、ＣＰＵ２００は、連結処理された画像データを画像記憶部２０２に記憶する。
Ｓ３０３にて、ＣＰＵ２００は、画像記憶部２０２に記憶された画像データをＣＰＵ２００によって読み出す。
Ｓ３０４にて、ＣＰＵ２００は、読み出された画像データを通信部２０５を介してサーバー１０１へ送信し、処理を終了する。

なお、本実施形態では、撮影装置１００からサーバー１０１へ画像データを送信（Ｓ３０４）する際に、インターネットを介してサーバー１０１へ送信する例を述べるが、これに限られるものではない。例えば、撮影装置１００としてカメラ付き携帯電話を採用する場合は、セルラー回線を利用してもよい。あるいは、撮影装置１００の画像データを一旦パソコンなどの通信端末に格納し、その通信端末からサーバー１０１にデータ送信を行ってもよい。すなわち、何らかの手段でサーバー１０１が、撮影条件データを含む画像データを蓄積できればよい。

［サーバー１０１による画像蓄積処理］
図４は、本実施形態によるサーバー１０１の構成例を示すブロック図、図５と図６は、サーバー１０１のデータ処理の手順を説明するフローチャートである。
サーバー１０１には、演算処理を司るＣＰＵ４００、それと協働するＲＯＭ・ＲＡＭ等のメモリ４０１、ハードディスク等から成る画像記憶部４０２、インターネット１０３等のネットワークと接続して通信するための通信部４０３が備わる。

図５のフローチャートを用いて、本実施形態のサーバー１０１の画像記憶の手順について説明する。このフローチャートの処理は、例えばサーバー１０１の電源がＯＮとなることに応じて開始される。
Ｓ５００において、ＣＰＵ４００は、通信部４０３によって撮影装置１００から元画像データ１０４を受信する。
Ｓ５０１において、ＣＰＵ４００は、撮影装置１００から受信した元画像データ１０４に分割処理を施す。具体的には、ＣＰＵ４００は、受信した元画像データ１０４を、画像データ１０５と撮影条件データ１０６に分割する。
Ｓ５０２において、ＣＰＵ４００は、Ｓ５０１にて得られた画像データ１０５と撮影条件データ１０６を、それぞれ画像記憶部４０２に記憶して蓄積する。

以上の図３と図５の処理によって、サーバー１０１には、複数の画像データが蓄積されることになる。
以下では、こうして蓄積された画像データを、利用者端末１０２から利用するシーンを想定して説明する。
［サーバー１０１による画像検索］
まず、利用者端末１０２の動作を説明する前に、サーバー１０１の動作について説明する。
図６は、本実施形態のサーバー１０１で行なわれる画像検索の手順を説明するフローチャートである。
Ｓ６００において、ＣＰＵ４００は、サーバー１０１の通信部４０３を介して、利用者端末１０２から検索位置データ１０７、検索経路データ１０９、表示条件データ１０８を受信する。これらのデータは利用者端末１０２で生成されるものである。その生成手順については後述する。
Ｓ６０１において、ＣＰＵ４００は、受信した検索経路データ１０９に基づき、データの検索対象を定めるための位置範囲を算出する。

図７に、Ｓ６０１の検索範囲算出処理で算出される検索範囲の一例を説明するための概念図を示す。図７では、利用者端末１０２によって指定された、所望の検索対象物の位置（検索位置）が位置７０１に示されている。また、検索経路が下側の太線である。ＣＰＵ４００は、検索経路に基づき、検索経路の視点と終点の間の経路の付近（例えば経路から１０ｍの範囲）を、検索範囲として定める。図７の例では、斜線部の領域が検索範囲として定められる。なお、この検索経路は、利用者端末１０２にて、検索位置に近い位置示す位置を含む経路が選択されて送信されたものである。この利用者端末１０２側の処理については後述する。
このように、検索対象物の位置付近かつ経路付近を検索範囲とする。

Ｓ６０２において、ＣＰＵ４００は、蓄積している撮影条件データの内、含まれる位置情報が前述した検索範囲内の位置を示す撮影条件データを検索する。
Ｓ６０３において、ＣＰＵ４００は、Ｓ６０２で検索された撮影条件データの有無を判定する。検索範囲内に撮影条件データが見つかれば、Ｓ６０４に遷移し、見つからなければ、Ｓ６０７に遷移する。

Ｓ６０７において、ＣＰＵ４００は、検索範囲を広げられるか否かを判定する。検索範囲を広げられない場合はＳ６０８に遷移し、利用者端末１０２に画像が無い旨を送信し、処理を終える。広げられる場合はＳ６０１に遷移し、範囲を広げて再検索を行う。ここで、検索範囲を広げるということについて説明する。
図８に、Ｓ６０１における画像の検索範囲の拡大例を示す。ここでは、検索経路データのみならず、検索位置の情報も利用している。すなわち、経路の始点および終点と検索位置とを結ぶ線と、経路とで囲まれる領域を検索範囲として再設定する。このように拡大することで、経路上ではないが、異なる位置から検索位置の被写体を撮影した画像を取得することが可能となる。

Ｓ６０４では、ＣＰＵ４００はＳ６０２にて見つかった撮影条件データに優先順位を付けて分類する優先順位設定処理を行う。
図９は、図７の検索範囲内に位置情報が示す位置を含む撮像条件データに対する優先順位付与の一例を説明するための図である。図９では、撮影条件データに含まれる撮影位置が示す位置を白丸、撮影方向を矢印で示す。これらの撮影条件データのうち、方位情報ありかつ検索対象方向に向いていることを示す撮影条件は優先度１に設定される。方位情報なしの撮影条件は優先度２に設定される。方位情報ありで、かつ検索対象方向を向いていない撮影条件は優先度３に設定される。なお、この優先度の付与の仕方は一例に過ぎない。例えばより多段階に分類してもよいし、より単純に少ない段階にしてもよい。

ここで、検索対象方向に向いているか否かは、図９の優先度１の例のように撮影位置から指定位置への方向を基準とした所定の角度内に、撮影方向の示す向きが含まれるか否かによって判定される。これに加えて、例えば撮影条件データに含まれる撮像日時及び経路情報に含まれる経路取得日時情報を参照して、似た時間帯（時刻情報）、あるいは似た月日に撮影された画像の優先順位を上げてもよい。

つまり、優先度１でかつ似た時刻に撮影された画像を優先度１ａ、優先度１でかつ似た時刻に撮影していない画像を優先度１ｂとして、１ａ、１ｂの順に優先順位づけを行ってもよい。なお、優先度の決め方は本例の通りでなくともよく、ユーザが自由に決定してもよい。ＣＰＵ４００はさらに、表示条件データ１０８に含まれる画像ベースか距離ベースかのフラグを見て、前述した手順で優先順位付けされた撮像条件データについてさらに優先順位の決定を行う。この優先順位決定方法の詳細については後述する。

Ｓ６０５において、ＣＰＵ４００は、優先度が高い順に検索画像データ（画像データ、撮像位置が含まれるデータ）を生成し、利用者端末１０２に送信する。なお、画像データは画像のリンク先やサムネイルでもよい。
Ｓ６０６において、ＣＰＵ４００は、送信された検索画像データが、利用者端末１０２から受信した表示条件データ１０８にて指定された画像数に到達したか否かを判定する。到達していないと判定した場合はＳ６０５に戻り、低い優先度の検索画像データを生成・送信する。Ｓ６０６とＳ６０５の処理を、指定された画像数に到達するまで繰り返す。一方、ＣＰＵ４００が、指定された画像数に到達したと判定した場合は、サーバー側での処理を終了する。

次に、図９で説明した優先順位の決定方法の別の例について説明する。
図１０は、画像ベースの表示方法の優先順位決定方法を説明するための図である。本例では、撮影日時は考慮しないものとする。図１０の白丸と矢印は撮影条件データがすべて検索位置を向いている優先度１の分類に相当する撮像条件データである。画像ベースの表示方法による画像０〜４の優先順位は、最近傍点に近い順に画像０、画像２、画像１、画像４、画像３の順である。

しかし、この方法では、最近傍点（０ｍ）付近に画像が集中しており、撮影方向の変化のない画像ばかりが表示される恐れがある。その場合、利用者が別の方向から指定位置を撮影した画像を検索するのが困難になる。これに対しては、次に示す距離ベースの表示方法が有効である。

図１１は、距離ベースの表示方法の優先順位決定方法を説明するための図である。図１１では、指定距離として０ｍ、１００ｍ、２００ｍを指定したとする。距離ベースの表示方法では、指定距離毎に撮像条件データを分け、指定距離に近い順に撮像条件データに優先順位を付ける。

図１１の場合は０〜５０ｍ(指定距離０ｍ)のグループ1に画像２、画像０、画像１、画像４、画像３の順に入り、５０〜１５０ｍ(指定距離１００ｍ)のグループ２に画像５、画像６の順に入る。また、１５０〜２５０ｍ(指定距離２００ｍ)のグループ３に画像７、画像８の順に優先順位付けされ、各グループの優先順位は、指定距離が小さい順に高くする。すなわち、検索対象物の位置近傍の経路上の位置から所望の距離毎に検索結果を分割し、各分割単位に優先順位を付与する。

図１１においても距離０〜５０ｍ近傍に画像が集中しているが、グループ１、２、３から優先順位の高い順に1枚ずつ画像を表示させると、別の方向から指定位置を撮影した画像を容易に表示させることができる。前述した例で画像５枚を選ぶ場合は、グループ1の画像２が最も優先順位が高く、グループ２の画像５、グループ３の画像７、グループ1の画像０、グループ２の画像６の順に続く。

なお、優先度の決め方は前述の例の通りでなくともよく、指定距離については、ユーザが利用者端末にて自由に決定できるものとする。また、距離毎のグループ分けについても、前述の例の通りでなくともよく、検索位置の前後の経路でさらにグループを分けてもよい。
以上、本実施形態におけるサーバー１０１の構成および動作について説明した。

続いて、本実施形態における利用者端末１０２の構成および動作について説明する。
図１２は、本実施形態による利用者端末１０２の構成例を示すブロック図であり、図１３及び図１４は、利用者端末１０２のデータ処理の一例を説明するフローチャートである。
利用者端末１０２は、演算処理を司るＣＰＵ１２００、それと協働するＲＯＭ・ＲＡＭ等のメモリ１２０１、利用者端末１０２が存在する地点を検知するＧＰＳ等の位置検知部１２０２を備えている。

さらに、位置検知部１２０２により得られた位置データ及び地図データを記憶する記憶部１２０３、画面表示する表示部１２０４、ユーザの入力をＣＰＵ１２００に伝達する操作入力部１２０５を備えている。また、インターネット１０３等のネットワークと接続して通信するための通信部１２０６を備えている。なお、記憶部１２０３は、例えば利用者端末１０２に内蔵されているハードディスクやＳＳＤに類する記憶媒体であってもよいし、例えばＳＤカードなどの着脱可能な記憶媒体であってもよい。

位置検知部１２０２により得られた位置データは一定時間、あるいは一定距離毎に通過位置データとして記憶される。通過位置データの記憶先は、利用者端末１０２の記憶部１２０３に記録してもよいし、必要に応じて逐次通信部１２０６を介して外部サーバーにアップロードして記憶してもよい。また、通過位置データには位置情報のみならず、位置情報を取得した日時を示す日時情報が含まれる。本実施形態では、この通過位置データは、その位置情報が取得された日付の単位毎にそれぞれ異なるファイルとして記憶部１２０３に記憶されることとする。なお、ここでは通過位置データは、ＮＭＥＡフォーマットに従った形式のテキストファイル（いわゆるログファイル）の形で扱われる。

図１３のフローチャートを用いて、本実施形態の利用者端末１０２の検索条件送信フローについて説明する。本フローチャートの処理は、操作入力部１２０５を介したユーザからのメニュー操作に基づく指示に応じて開始される。
Ｓ１３００で、ＣＰＵ１２００は、操作入力部１２０５により画像検索要求を受ける。
Ｓ１３０１で、ネットワークが利用可能な状況かどうかを判断する。ネットワークが利用可能であればＳ１３０２に遷移する。利用可能でない場合はＳ１３０８に遷移し、ネットワークへの接続を要求するメッセージを表示部１２０４に表示して処理を終了する。

Ｓ１３０２において、ＣＰＵ１２００は、利用者端末１０２が過去に通過した位置データ（通過位置データ）から利用者端末１０２の通過経路データを算出する。このデータはログデータから位置情報を時系列順に読み出したものである。この順序は、位置情報に対応する日時情報に従った順序である。なお、この通過経路データの算出の際に参照する通過位置データとしては、例えば記憶部１２０３に記憶されている最新のログファイル内の位置データを用いることができる。あるいは、予めユーザが指定していた一つまたは複数のログファイル内の位置データでもよい。
Ｓ１３０３において、ＣＰＵ１２００は、通過経路データとそれに対応する周辺の地図データを記憶部１２０３から読み出し、表示部１２０４に表示する。

Ｓ１３０４において、ＣＰＵ１２００は、タッチパネル、操作ボタン等の操作入力部１２０５から、所望の検索対象物の検索位置データ１０７と、検索結果の表示方法に関する表示条件データ１０８が入力されたか否かを判定する。検索位置データ１０７としては、例えば、ユーザがタッチパネルを介して地図上で指定した建物の位置などが挙げられる。

表示条件データ１０８としては、ユーザが指定した表示画像数、表示する画像データの検索対象の最近傍点からの距離（指定距離）、地図上／経路順に画像を表示するかの選択フラグ、画像ベース表示／距離ベース表示の選択フラグなどが挙げられる。それぞれのフラグの意味については後述する。なお、表示条件データ１０８は、あらかじめユーザが操作入力部１２０５により設定しておき、Ｓ１３０４においてはそれを読み出すだけとしてもよい。

Ｓ１３０４において、所望の検索対象物の検索位置データ１０７、表示条件データ１０８が入力された場合はＳ１３０５に進む。
Ｓ１３０５において、ＣＰＵ１２００によって、検索位置データ１０７と、表示条件データ１０８とに関連する通過経路データから、検索経路データ１０９を算出し、メモリ１２０１に記憶する。検索経路データの算出例は後述する。

Ｓ１３０６で、ＣＰＵ１２００は、Ｓ１３０５で算出した検索経路データ１０９をメモリ１２０１から読み出す。
Ｓ１３０７で、ＣＰＵ１２００は、検索位置データ１０７、表示条件データ１０８、検索経路データ１０９を通信部１２０６を介してサーバー１０１へ送信処理して処理を終了する。

図１４のフローチャートを用いて、本実施形態の利用者端末１０２の検索結果の出力手順の一例について説明する。本フローチャートの処理は、図１３の処理に続いて実行される。
Ｓ１４００では、ＣＰＵ１２００は、サーバー１０１で生成された検索画像データ１１０を、通信部１２０６を介して受信する。
Ｓ１４０１では、ＣＰＵ１２００は、受信したデータを表示条件データ１０８に応じた形式で表示可能なように表示処理される。

Ｓ１４０２で、表示処理されたデータを表示部１２０４に画像を描画する。この結果、表示される画面の態様は、表示条件データに従った態様となる。なお、検索の結果、見つかった画像をどのような態様で表示するかについては、前述したように、地図上に表示する方法と、経路順に表示する方法とが考えられる。また、表示する画像の対象をどのように選別するかについては、前述の通り、画像ベース／距離ベースでの優先順位を付与することで選別する方法がある。これらは、表示条件データ１０８によって指定されることになる。

図１５、１６に検索位置データ、表示条件データに関連する検索経路データの算出例を示す。
図１５は、表示条件データとして、地図上に画像を表示すると指定した場合の検索経路データの算出例を示す図である。黒丸のピンの位置が地図上でユーザが指定した検索位置である。利用者端末の通過した位置は、下側丸斑点の位置でサンプリングされており、その位置を繋ぐ太線は利用者端末が通過した経路である。地図上での通過した経路の端点を始点、終点とすると、地図に表示されている太線の通過位置データ＋始点、終点の位置データが検索経路データとして算出されることになる。

図１６は、表示条件データとして、経路順に画像を表示すると指定した場合の検索経路データの算出例を示す図である。画像検索位置として指定した位置（検索位置）は位置１６０１に示される。利用者端末の通過した位置は、下側丸斑点の位置でサンプリングされており、利用者端末の通過した経路が下側の線で右矢印方向に進行している。

図１６において、検索位置から最も近い位置にある利用者端末の通過位置は、最近傍点として中央の黒点で示されている。最近傍点から利用者端末が指定した距離(指定距離)離れた経路上の位置を始点、終点とすると、始点、終点間の通過位置データ＋始点、終点の位置データが、検索経路データとして算出されることになる。

図１７は、地図上に画像を表示する態様で検索結果を提示する場合の、画面の表示例を示す図である。黒丸のピンの位置が地図上でユーザが指定した検索位置であり、太線は利用者端末が通過した位置である。図１７では、表示条件データとして画像数５枚が入力された場合の例を示している。すなわち、指定位置を中心に、斜線領域で示す位置に画像５枚（画像０〜４）がサーバーから送られ、利用者端末１０２で表示される。なお、斜線領域には、例えば画像のサムネイルを地図上に重畳して表示する。

図１８は、画像を経路順に表示する態様で検索結果を提示する場合の、画面の表示例を示す図である。図１８では、表示条件データとして画像数５枚が入力された場合の例を示している。すなわち、最近傍点の１０ｍ前の画像０を中心に、進行方向順に前後に２枚表示する。
以上のような構成によると、利用者が通過した箇所から見えたと推定される建物等の被写体の候補画像が得られ、利用者が認識していない構図で被写体を撮影した画像候補が出力されるのを防ぐことができる。結果として、ユーザにより関連性の強い画像を候補として提示することができるので、ユーザが自分に関連性の強い画像を候補から探す際の手間を低減することができる。

前述した実施形態では、地図データを利用者端末で記憶しているが、その一部または全部をサーバーで記憶してもよい。すなわち、地図データを、予め記憶部１２０３に蓄積しておいてもよいし、必要に応じて逐次ネットワークを介して外部サーバーからダウンロードしてもよい。また、前述した実施形態では検索経路の算出を利用者端末側で行ったが、サーバー側で利用者端末から送られてきた通過位置データをもとに検索経路を算出してもよい。

本発明では、ビデオカメラで撮影される動画も画像データ１０５として扱うことができる。また、本実施形態の図２、図４、図１２の構成図にてメモリと記憶部を分けて記載してあるが、メモリ上に記憶部を構成してもよい。

＜第２の実施形態＞
以下、図１９から図２１を参照しつつ本発明の第２の実施形態による、画像検索処理について説明する。その他の構成は第１の実施形態と同じである。
第１の実施形態では、利用者端末で入力した検索位置データをサーバーに送信していたが、第２の実施形態では、代わりに利用者端末１０２で撮影して得られた撮影画像の撮影条件データを送信して画像検索を行う。

図１９は、本実施形態の利用者端末１０２の構成例を示すブロック図、図２０は、利用者端末のデータ処理の手順を説明するフローチャートである。本実施形態による利用者端末１０２の構成は、図２の第１の実施形態の撮影装置１００と同じであり、利用者端末１０２としてスマートフォンなどのＧＰＳ、電子コンパス、カメラ付き携帯電話を採用することができる。

図２０のフローチャートを用いて、本実施形態の利用者端末１０２の検索条件の送信手順の一例について説明する。本フローは、第１の実施形態の図１３の検索条件送信フローの代わりに行う処理である。
Ｓ２０００において、ＣＰＵ１９００は、操作入力部１９０４へのユーザ操作に応じて画像の指定を受け付ける。
Ｓ２００１〜Ｓ２００３、Ｓ２００８は、図１３のＳ１３０１〜Ｓ１３０３、Ｓ１３０８と同様の処理が行われる。
Ｓ２００４では、ＣＰＵ１９００は、表示条件の入力が受け付けられたか否かを判定する。ＣＰＵ１９００が、表示条件の入力が受け付けられていないと判定した場合、Ｓ２００４の処理を繰り返し、表示条件の入力を待つ。ＣＰＵ１９００が、表示条件の入力が受け付けられたと判定した場合、処理はＳ２００５に進む。Ｓ２００５〜Ｓ２００６は、図１３のＳ１３０５〜Ｓ１３０６と同様の処理が実行される。
Ｓ２００７では、ＣＰＵ１９００は、撮影条件データ、表示条件データ、検索経路データを通信部１２０６を介してサーバー１０１へ送信処理して処理を終了する。

図２１は、本発明の第２の実施形態による、サーバー１０１の撮影条件データの検索処理の詳細を説明するフローチャートである。本フローは第１の実施形態の図６の画像検索処理フローの代わりに行う処理である。
図６と異なる点は、サーバー１０１は検索位置の代わりに、検索を行う画像の撮影条件データを受信し（Ｓ２１００）、サーバー１０１は撮影条件データから検索対象物の位置情報を算出する。すなわち、撮影条件データに含まれる撮影位置情報と撮影方向情報、焦点距離等の情報から検索対象物の位置を推定する処理（Ｓ２１０１）である。

推定する検索対象物としては、例えば撮影方向に存在する有名な建造物などがあげられる。サーバー１０１は推定した検索対象物の位置を図６の検索位置データ１０７として以降の処理を行う。また、第１の実施形態の図６において、Ｓ６０４の優先順位付けにおいて検索経路データ１０９に含まれる経路取得日時情報に近い撮影条件データの優先順位を高くした。これに対し、図２１のＳ２１０５においてはさらに、検索を行う画像の撮影日時データに近い撮影条件データの優先順位を高くしてもよい。

本実施形態によれば、利用者端末による検索位置の指定が不要となり、ある画像の被写体を別画角で撮影した画像データを簡単な手順にて得ることが可能となる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００ 撮影装置
１０１ サーバー
１０２ 利用者端末
１０３ インターネット
１０４ 元画像データ
１０５ 画像データ
１０６ 撮影条件データ
１０７ 検索位置データ
１０８ 表示条件データ
１０９ 検索経路データ
１１０ 検索画像データ

Claims (21)

1. 予め登録されている複数の画像データの中から特定の検索対象物が写った画像データを検索して表示する表示制御装置であって、
   前記検索対象物の位置情報および経路情報から画像を検索する位置範囲を算出する検索範囲算出手段と、
   前記検索対象物の位置情報および検索された画像の画像情報に基づいて検索結果に対して優先順位を付与する優先順位設定手段とを備えることを特徴とする表示制御装置。
2. 前記検索範囲算出手段は、前記検索対象物の位置付近かつ経路付近を検索範囲とすることを特徴とする請求項１に記載の表示制御装置。
3. 前記検索範囲算出手段は、前記検索対象物の位置と前記経路とに囲まれた範囲を検索範囲とすることを特徴とする請求項１に記載の表示制御装置。
4. 前記優先順位設定手段は、前記画像情報として検索された画像の撮影位置情報を用いて、前記撮影位置情報が検索対象物の位置に近いほど優先順位を高くして優先順位を付与することを特徴とする請求項１〜３の何れか１項に記載の表示制御装置。
5. 前記優先順位設定手段は、前記画像情報として、検索された画像の撮影位置情報を用いて、前記撮影位置情報に基づいて検索対象物の位置近傍の経路上の位置から所定の距離毎に検索結果を分割し、各分割単位に優先順位を付与することを特徴とする請求項１〜３の何れか１項に記載の表示制御装置。
6. 前記優先順位設定手段は、前記画像情報として、検索された画像の撮影方位情報を用いて、前記検索対象物の存在する方位に近いほど優先順位を高くして優先順位を付与することを特徴とする請求項１〜３の何れか１項に記載の表示制御装置。
7. 前記優先順位設定手段は、前記画像情報として、検索された画像の撮影日時情報を用いて、前記検索を行う経路情報に含まれる月日または時刻情報に近いほど優先順位を高くして優先順位を付与することを特徴とする請求項１〜３の何れか１項に記載の表示制御装置。
8. 予め登録されている複数の画像データの中から特定の検索対象物が写った画像データを検索して表示する表示制御装置であって、
   特定の画像の画像情報から検索対象物の位置情報を算出し、前記検索対象物の位置情報および検索経路の情報から画像を検索する位置範囲を算出する検索範囲算出手段と、
   前記検索対象物の位置情報および検索された画像の画像情報に基づいて検索結果に対して優先順位を付与する優先順位設定手段とを備えることを特徴とする表示制御装置。
9. 前記特定の画像の画像情報は、画像撮影時の位置情報および方位情報を用いることを特徴とする請求項８に記載の表示制御装置。
10. 前記検索範囲算出手段は、前記検索対象物の位置付近かつ経路付近を検索範囲とすることを特徴とする請求項８に記載の表示制御装置。
11. 前記検索範囲算出手段は、前記検索対象物の位置と前記経路とに囲まれた範囲を検索範囲とすることを特徴とする請求項８に記載の表示制御装置。
12. 前記優先順位設定手段は、前記画像情報として、検索された画像の撮影位置情報を用いて、前記撮影位置情報が検索対象物の位置に近いほど優先順位を高くして優先順位を付与することを特徴とする請求項８〜１１の何れか１項に記載の表示制御装置。
13. 前記優先順位設定手段は、前記画像情報として、検索された画像の撮影位置情報を用いて、前記撮影位置情報に基づいて検索対象物の位置近傍の経路上の位置から所定の距離毎に検索結果を分割し、各分割単位に優先順位を付与することを特徴とする請求項８〜１１の何れか１項に記載の表示制御装置。
14. 前記優先順位設定手段は、前記画像情報として、検索された画像の撮影方位情報を用いて、前記検索対象物の存在する方位に近いほど優先順位を高くして優先順位を付与することを特徴とする請求項８〜１１の何れか１項に記載の表示制御装置。
15. 前記優先順位設定手段は、前記画像情報として、検索された画像の撮影日時情報を用いて、前記検索を行う経路情報に含まれる月日または時刻情報に近いほど優先順位を高くして優先順位を付与することを特徴とする請求項８〜１１の何れか１項に記載の表示制御装置。
16. 前記優先順位設定手段は、前記画像情報として、検索された画像の撮影日時情報を用いて、前記検索を行う画像の撮影日時に近いほど優先順位を高くして優先順位を付与することを特徴とする請求項８〜１１の何れか１項に記載の表示制御装置。
17. 予め登録されている複数の画像データの中から特定の検索対象物が写った画像データを検索して表示する表示制御装置の制御方法であって、
    前記検索対象物の位置情報および経路情報から画像を検索する位置範囲を算出する検索範囲算出工程と、
    前記検索対象物の位置情報および検索された画像の画像情報に基づいて検索結果に対して優先順位を付与する優先順位設定工程とを備えることを特徴とする表示制御装置の制御方法。
18. 予め登録されている複数の画像データの中から特定の検索対象物が写った画像データを検索して表示する表示制御装置の制御方法であって、
    特定の画像の画像情報から検索対象物の位置情報を算出し、前記検索対象物の位置情報および検索経路の情報から画像を検索する位置範囲を算出する検索範囲算出工程と、
    前記検索対象物の位置情報および検索された画像の画像情報に基づいて検索結果に対して優先順位を付与する優先順位設定工程とを備えることを特徴とする表示制御装置の制御方法。
19. 予め登録されている複数の画像データの中から特定の検索対象物が写った画像データを検索して表示する表示制御装置の制御方法をコンピュータに実行させるプログラムであって、
    前記検索対象物の位置情報および経路情報から画像を検索する位置範囲を算出する検索範囲算出工程と、
    前記検索対象物の位置情報および検索された画像の画像情報に基づいて検索結果に対して優先順位を付与する優先順位設定工程とをコンピュータに実行させることを特徴とするプログラム。
20. 予め登録されている複数の画像データの中から特定の検索対象物が写った画像データを検索して表示する表示制御装置の制御方法をコンピュータに実行させるプログラムであって、
    特定の画像の画像情報から検索対象物の位置情報を算出し、前記検索対象物の位置情報および検索経路の情報から画像を検索する位置範囲を算出する検索範囲算出工程と、
    前記検索対象物の位置情報および検索された画像の画像情報に基づいて検索結果に対して優先順位を付与する優先順位設定工程とをコンピュータに実行させることを特徴とするプログラム。
21. 請求項１９または２０に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。

Images