JP5325354B1 - サーバー、端末装置、画像検索方法、およびプログラム - Google Patents

サーバー、端末装置、画像検索方法、およびプログラム Download PDF

Info

Publication number
JP5325354B1
JP5325354B1 JP2013505250A JP2013505250A JP5325354B1 JP 5325354 B1 JP5325354 B1 JP 5325354B1 JP 2013505250 A JP2013505250 A JP 2013505250A JP 2013505250 A JP2013505250 A JP 2013505250A JP 5325354 B1 JP5325354 B1 JP 5325354B1
Authority
JP
Japan
Prior art keywords
image
search
information
unit
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013505250A
Other languages
English (en)
Other versions
JPWO2013114473A1 (ja
Inventor
浩市 堀田
克之 森田
英二 福宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2013505250A priority Critical patent/JP5325354B1/ja
Application granted granted Critical
Publication of JP5325354B1 publication Critical patent/JP5325354B1/ja
Publication of JPWO2013114473A1 publication Critical patent/JPWO2013114473A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/532Query formulation, e.g. graphical querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

撮影地点と画像データとを関連付けて格納するデータベースの中から所望の検索対象物が写り込んでいる画像を容易に検索できるサーバーを提供する。
サーバー(100)は、撮影地点の位置を示す撮影位置情報と撮影地点で撮影した画像とを関連付けて格納しているデータベース(140)から画像を検索するサーバーであって、検索対象物の位置を示す情報である対象物位置情報を取得する情報取得部(111)と、情報取得部(111)により取得された対象物位置情報とデータベース(140)に格納されている撮影位置情報とに基づいて、データベースに格納されている画像の中から検索対象物が含まれる一つまたは複数の画像の画像検索を行う検索部(112)とを備える。

Description

本発明は、撮影地点と画像とを関連付けて格納するデータベースの中から所望の画像を検索するサーバー、端末装置、画像検索方法、画像処理方法、およびプログラムに関する。
近年、地図とその地図上の位置から撮影された画像とが関連付けられた状態で利用可能なシステムが実現され、様々な技術が開発されている。
例えば、特許文献1には、地図上でのユーザーによる通路(道路)の指定を受け付けると、その通路に隣接した建物を通路側から撮影した写真を地図上に表示する地図表示システムが開示されている。
特開2006−72068号公報
しかしながら、従来、撮影地点の位置情報と関連付けられた画像データベースは、撮影地点を特定しその周辺の画像を検索することには適していたが、検索対象物を特定し当該検索対象物が写り込んでいる画像を検索することには適していない。
そこで、本発明は、撮影地点と画像データとを関連付けて格納するデータベースの中から所望の検索対象物が写り込んでいる画像を容易に検索できるサーバー等を提供することを目的とする。
上記目的を達成するため、本発明の一態様に係るサーバーは、撮影地点の位置を示す情報である撮影位置情報と前記撮影地点で撮影された画像とを関連付けて格納するデータベースから画像を検索するサーバーであって、検索対象物の位置を示す情報である対象物位置情報と、前記検索対象物の撮影に適した方向を示す方向情報とを取得する情報取得部と、前記情報取得部により取得された対象物位置情報に基づいて、前記検索対象物の位置が含まれる領域を特定し、前記情報取得部により取得された方向情報と前記データベースに格納されている撮影位置情報に基づいて、前記領域内に前記撮影地点を有し、かつ、前記撮影地点が前記検索対象物の撮影に適した方向に存在する画像を前記データベースから検索する検索部とを備える。
これによれば、検索部は、情報取得部により取得された対象物位置情報と撮影位置情報とに基づいて、検索対象物が含まれる一つまたは複数の画像をデータベースに格納されている画像の中から検索するため、ユーザーは、例えば、検索対象物を指定するだけで、検索対象物が含まれる画像を取得することができる。
なお、これらの全般的または具体的な態様は、方法、プログラムもしくは記録媒体、または集積回路で実現されてもよく、方法、プログラムもしくは記録媒体、または集積回路の任意な組み合わせで実現されてもよい。
本発明に係るサーバーによれば、画像のデータベースとして、撮影地点と関連付けたデータベースを利用する場合でも、所望の検索対象物が写り込んでいる画像を容易に検索できる。
図1は、実施の形態1に係るサーバーを備える画像検索システムの構成を示すブロック図である。 図2は、撮影地点と検索対象物との位置関係を示す地図の一例を示す模式図である。 図3は、データベースに格納されているデータの構成を示す模式図である。 図4は、画像ファイルに格納された画像データが示す全方位画像の一例を示す図である。 図5は、実施の形態1に係るサーバーが用いる対象情報の構成を示す模式図である。 図6は、全方位画像において切り出す画像の範囲を示す模式図である。 図7は、実施の形態1における画像検索処理の流れを示すフローチャートである。 図8は、実施の形態2に係るサーバーが用いる対象情報の構成を示す模式図である。 図9は、実施の形態3に係るサーバーを備える画像検索システムの構成を示すブロック図である。 図10は、実施の形態3における画像検索処理の流れを示すフローチャートである。 図11は、実施の形態4に係るサーバーを備える画像検索システムの構成を示すブロック図である。 図12は、実施の形態4に係るサーバーが用いる対象情報の構成を示す模式図である。 図13は、検索対象物Xを撮影した画像の一例である。 図14は、実施の形態4における画像検索処理の流れを示すフローチャートである。 図15は、実施の形態5に係る端末コンピュータを備える画像検索システムの構成を示すブロック図である。 図16は、実施の形態5における画像検索処理の流れを示すフローチャートである。 図17は、変形例1に係る端末コンピュータで起動するプログラムの構成を示すブロック図である。
(本発明の基礎となった知見)
本発明者は、「背景技術」の欄において記載した、サーバーに関し、以下の問題が生じることを見出した。
特許文献1に記載されている技術では、ユーザーは、検索対象物が撮影されている画像を見つけ出そうとする場合、ユーザーが自らどの地点で撮影された画像に検索対象物が写っているのかを予測した上で、撮影地点を特定して画像検索を行うようにする必要がある。このように、撮影地点の位置情報と関連付けられた画像データベースを使って、所望の検索対象物が写り込んでいる画像を得ようとすると、直接的には画像検索できず、一旦所望の検索対象物が撮影された撮影地点を特定するというステップを経てから画像検索を実行していた。このような手順は、ユーザーにとって煩雑である。
このような問題を解決するために、本発明の一態様に係るサーバーは、撮影地点の位置を示す情報である撮影位置情報と前記撮影地点で撮影された画像とを関連付けて格納するデータベースから画像を検索するサーバーであって、検索対象物の位置を示す情報である対象物位置情報と、前記検索対象物の撮影に適した方向を示す方向情報とを取得する情報取得部と、前記情報取得部により取得された対象物位置情報に基づいて、前記検索対象物の位置が含まれる領域を特定し、前記情報取得部により取得された方向情報と前記データベースに格納されている撮影位置情報に基づいて、前記領域内に前記撮影地点を有し、かつ、前記撮影地点が前記検索対象物の撮影に適した方向に存在する画像を前記データベースから検索する検索部とを備える。
これによれば、検索部は、情報取得部により取得された対象物位置情報と撮影位置情報とに基づいて、検索対象物が含まれる一つまたは複数の画像をデータベースに格納されている画像の中から検索するため、ユーザーは、例えば、検索対象物を指定するだけで、検索対象物が含まれる画像を取得することができる。
また、例えば、前記検索対象物を特定するための特定情報を受信する受信部と、前記特定情報と前記対象物位置情報とが関連付けられた対象情報を予め記憶している記憶部と、をさらに備え、前記情報取得部は、前記受信部により受信された特定情報に基づいて、前記記憶部に記憶されている対象情報の中から、前記特定情報で特定された検索対象物の位置を示す対象物位置情報を取得してもよい。
これによれば、検索対象物を特定するための特定情報と、対象物位置情報とが関連付けられた対象情報が予め記憶部に記憶されている。このように、サーバー側に検索対象物に関する詳細な情報が予め記憶されているので、ユーザーは、検索対象物を特定するための特定情報をサーバーに送るだけで、所望の検索対象物が含まれる画像を取得することができる。
また、例えば、前記検索部は、前記情報取得部により取得された対象物位置情報と前記データベースに格納されている撮影位置情報とに基づいて、前記データベースに格納されている画像の中から、前記検索対象物の位置からの距離が予め定められた距離以内の範囲にある位置を示す撮影位置情報に関連付けられた一つまたは複数の画像の検索を行ってもよい。
これによれば、検索部は、予め定められた距離以内の範囲にある位置を示す撮影位置情報に関連付けられた一つまたは複数の画像をデータベースに格納されている画像の中から検索する。したがって、サーバーは、画像を絞り込んだ上で検索することになるため、画像検索に係る処理負荷を軽減できる。
また、例えば、前記記憶部は、さらに、前記検索対象物の高さを前記対象情報として記憶しており、前記検索部は、前記検索対象物の高さが大きくなるほど前記予め定められた距離が長くなるように変化させた上で、前記検索を行ってもよい。
また、例えば、前記情報取得部は、さらに、前記検索対象物の予め定められた像を見ることができる位置が、当該検索対象物の位置に対して位置する方向である予め定められた方向、を示す方向情報を取得し、前記検索部は、前記情報取得部により取得された方向情報と前記データベースに格納されている撮影位置情報とに基づいて、前記データベースに格納されている画像の中から、前記検索対象物の位置から当該方向情報が示す予め定められた方向側にある位置を示す撮影位置情報に関連付けられた一つまたは複数の画像の検索を行ってもよい。
これによれば、検索部は、予め定められた方向を示す方向情報と撮影位置情報とに基づいて、検索対象物の位置から当該方向情報が示す予め定められた方向側にある位置を示す撮影位置情報に関連付けられた一つまたは複数の画像をデータベースに格納されている画像の中から検索する。したがって、サーバーは、方向情報に基づいて画像を絞り込んだ上で検索することになるため、画像検索に係る処理負荷を軽減できる。
また、例えば、前記情報取得部は、さらに、前記検索対象物の一部の画像を示す参照画像を取得し、前記情報取得部により取得された参照画像に基づいて、前記検索部により検索された画像に当該参照画像が含まれているか否かを判定する判定部をさらに備えてもよい。
これによれば、判定部が、情報取得部により取得された参照画像に基づいて、検索部により検索された結果としての画像に対して、参照画像が含まれているか否かを判定する。このため、検索対象物が良好に撮影された画像を用意に取得できる。
また、例えば、前記検索部により検索された前記画像に対して前記検索対象物が写り込んでいる対象物方向を特定する方向特定部と、前記方向特定部により特定された対象物方向に基づいて、前記画像のうちで当該対象物方向を含む一部の画像を切り出す画像切り出し部と、をさらに備えてもよい。
これによれば、画像切り出し部は、方向特定部により特定された対象物が写り込んでいる対象物方向に基づいて、検索部により検索された結果としての画像のうちで対象物方向を含む一部の画像を切り出す。このため、ユーザーは、検索対象物が写り込んでいる所定の範囲の画像を切り出した状態で取得することができる。つまり、検索された画像の中から検索対象物が写り込んでいる部分を、ユーザーが探しだす負担を軽減できる。
また、例えば、前記方向特定部は、情報取得部により取得された前記対象物位置情報および前記撮影位置情報に基づいて、前記撮影地点の位置に対する前記検索対象物が位置する方向を前記対象物方向として特定してもよい。
これによれば、方向特定部は、撮影地点の位置に対する検索対象物が位置する方向を対象物方向として特定するため、自動的に切り出す方向を特定することができる。
なお、これらの全般的または具体的な態様は、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
以下、本発明の一態様に係るサーバー、画像検索方法、画像処理方法およびプログラムについて、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態1)
図1は、本実施の形態1に係るサーバー100を備える画像検索システム1の構成を示すブロック図である。画像検索システム1は、サーバー100、ネットワーク200および端末装置としての端末コンピュータ300を備える。サーバー100と端末コンピュータ300とはネットワーク200を介して接続されている。
サーバー100は、コントローラ110、受信部120、送信部130、データベース140およびメモリ150を備える。また、コントローラ110は、内部に、情報取得部111および検索部112を備える。サーバー100は、データベース140から画像を検索する。データベース140は、撮影地点の位置を示す撮影位置情報と撮影地点で撮影した画像とを関連付けて格納している。
コントローラ110は、サーバー100全体を制御する。受信部120は、ネットワーク200を介して送られてくるデータを受信する。送信部130は、ネットワーク200を介して外部にデータを送信する。
図2は、撮影地点と検索対象物との位置関係を示す地図の一例を示す模式図である。図2に示すように、検索対象物Xに近い範囲(例えば、検索対象物Xの位置から予め定められた距離以内の範囲)に撮影地点A〜Dが存在する。撮影地点Aは、検索対象物Xの南側に位置する。また、検索対象物Xに対して、撮影地点Bは西側に、撮影地点Cは北側に、撮影地点Dは東側にそれぞれ位置する。また、検索対象物Xの東側の離れた位置に検索対象物Yが存在する。検索対象物Yに近い範囲(例えば、検索対象物Yの位置から予め定められた距離以内の範囲)には、撮影地点EおよびFが存在する。
情報取得部111は、検索対象物の位置を示す情報である対象物位置情報を取得する。検索部112は、情報取得部111で取得された対象物位置情報とデータベース140に格納されている撮影位置情報とに基づいて、データベース140に格納されている画像の中から、検索対象物が含まれる一つまたは複数の画像を検索する。
図3は、データベース140に格納されている撮影地点の位置と当該撮影地点において撮影された画像とが関連付けられたデータの構成を示す模式図である。データベース140には、図3に示すように、画像が撮影された地点を特定するための撮影地点名(例えば、「A地点」等)と、画像ファイル名と、当該地点の位置を示す撮影位置情報とが関連付けられて格納されている。なお、撮影地点名は、画像が撮影された地点を特定できればよいため、識別可能なID等であってもよい。また、データベース140にに格納されているデータは、撮影地点の位置と当該撮影地点において撮影された画像とが関連付けられていればよく、撮影地点名は必須の構成ではない。
なお、画像ファイル名が示す画像ファイルは、データベース140内に格納されていてもよいし、データベース140外に格納されていてもよい。画像ファイルがデータベース140の外に格納されている場合、コントローラ110は、画像ファイル名を指定することにより、その画像ファイル名が示す画像ファイルをデータベース140の外の画像ファイルが格納されている領域から読み出せるようになっている。
撮影位置情報は、撮影地点の位置を示す位置情報である。位置情報は、典型的には経度および緯度を示す情報である。
画像ファイル内に格納された画像データが示す画像の一例を図4に示す。図4は、撮影地点Aで撮影された画像である。それぞれの撮影地点で撮影された画像は、全方位画像である。全方位画像は、図4に示すように、ドーナツ形状の画像となっている。この画像の外周縁は地平線に相当し、ドーナツ状の画像の中心の中空部分は天の方向に相当する。
全方位画像は、全方位画像を撮影したときに方角と対応付けられた画像であり、撮影地点からの方角と、全方位画像内の一部とが対応付けられている。つまり、全方位画像は、方角との対応付けが行われているため、撮影地点からどの方角の画像が、当該地点において撮影された全方位画像内のどこに位置するのかを把握することができる。例えば、撮影地点Aの北方向に検索対象物Xが存在するので、図4に示す撮影地点Aおいて撮影された全方位画像の北方向に相当する位置に検索対象物Xの画像が存在している。また、撮影地点Aの東方向に検索対象物Yが存在するので、図4に示す撮影地点Aおいて撮影された全方位画像の東方向に相当する位置に検索対象物Yの画像が存在している。また、撮影地点Aは、検索対象物Yよりも検索対象物Xに近いので、図4に示すように、検索対象物Xの画像の方が検索対象物Yの画像に比べて大きく撮影される。
記憶部としてのメモリ150は、特定情報と対象物位置情報とが関連付けられた対象情報を予め記憶している。例えば、メモリ150には、図5に示すように、検索対象物を特定するための情報である特定情報(「対象X」など)と検索対象物の位置を示す対象物位置情報とが関連付けられた状態で記憶されている。このように、対象情報は、検索対象物を特定するための特定情報や検索対象物の位置を示す対象物位置情報などが該当する。なお、図5は、実施の形態1に係るサーバー100が用いる対象情報の構成を示す模式図である。
受信部120は、端末コンピュータ300からネットワーク200を介して、検索対象物を特定するための特定情報を受信する。情報取得部111は、受信部120により受信された特定情報に基づいて、メモリ150に記憶されている対象情報の中から、特定情報で特定された検索対象物の位置を示す対象物位置情報を取得する。例えば、受信部120が「対象X」という特定情報を受信した場合、メモリ150内に記憶されたリストである対象情報(図5参照)の中から「対象X」という特定情報を検索し、当該特定情報と関連付けられた対象物位置情報である「経度xθ、緯度xφ」という情報を読み出す。
検索部112は、情報取得部111により取得された対象物位置情報とデータベース140に格納されている撮影位置情報とに基づいて、検索対象物の位置からの距離が予め定められた距離以内の範囲にある位置を示す撮影位置情報に関連付けられた一つまたは複数の画像をデータベース140に格納されている画像の中から検索する。例えば、検索部112は、情報取得部111により取得された「経度xθ、緯度xφ」という対象物位置情報とデータベース140に格納されている撮影位置情報とに基づいて、「経度xθ、緯度xφ」から予め定められた距離以内の範囲(図2における破線で示す円)にある撮影地点A〜Dにおいて撮影された画像を検索する。
本実施の形態1では、検索部112は、情報取得部111により取得された検索対象物の対象物位置情報とデータベース140に格納されている撮影位置情報とに基づいて、検索対象物の存在する位置と撮影地点の位置との距離を特定する。そして、検索部112は、特定された距離に基づいて、データベースに格納された画像データの中からいずれか一つまたは複数の画像データを検索する。
より具体的に説明すると、検索部112は、検索対象物の対象物位置情報と各撮影地点の撮影位置情報とを把握できるので、検索対象物の位置から各撮影地点の位置までの距離を撮影地点毎に算出することができる。この撮影地点毎に算出した距離に基づいて、例えば、予め定められた距離以内の範囲にある撮影地点を抽出することができる。そして、検索部112は、抽出された撮影地点のそれぞれに関連付けられた画像ファイルを読み出す。
送信部130は、検索部112により検索された画像ファイルを端末コンピュータ300に送信する。
ネットワーク200は、LANやインターネットなどである。
端末コンピュータ300は、通常のパーソナル・コンピュータである。端末コンピュータ300は、CPU310、受信部320、送信部330、入力部340、モニタ350を備える。
入力部340は、キーボードやマウス、タッチパネルなどの操作手段である。入力部340は、ユーザーにより操作されることにより検索対象物を特定するための特定情報を受け付ける。入力部340で受け付けられた特定情報は、CPU310、送信部330およびネットワーク200を介して、受信部120に送信される。
サーバー100から送られてきた画像は、CPU310で画像処理され、モニタ350に表示される。CPU310での画像処理の内容は、伸張等が考えられる。CPU310は、方向特定部313と、画像切り出し部314とを有する。
方向特定部313は、検索部112により検索された画像に対して検索対象物が写り込んでいる対象物方向を特定する。方向特定部313は、サーバー100の情報取得部111により取得された対象物位置情報および撮影位置情報に基づいて、撮影地点の位置に対する検索対象物が位置する方向を対象物方向として特定する。
画像切り出し部314は、方向特定部313により特定された対象物方向に基づいて、検索部112により検索された画像のうちで当該対象物方向を含む一部の画像を切り出す。具体的には、画像切り出し部314は、CPU310での画像処理の一つとして、図6に示すように、ドーナツ状の画像から方向特定部313により特定された対象物方向を中心とする予め定められた角度(例えば、80度)の範囲である扇型状の一部(図6において破線で囲まれた部分)を切り出して、その切り出した画像を長方形状の画像に変換する画像処理(以下、「切り出し処理」という。)を行う。こうすることで、ユーザーは全方位画像を通常の画像として認識することができる。なお、図6は、全方位画像において切り出す画像の範囲を示す模式図である。
CPU310による切り出し処理およびモニタ350への表示処理は、端末コンピュータ300に予めインストールされているソフトウェア(プログラム)を起動することにより実行してもよいし、サーバー100から一時的に提供されるソフトウェア(プログラム)を起動することにより実行してもよい。
以上のように構成されたシステムによって所望の検索対象物の画像を検索し、端末コンピュータ300のモニタ350に表示させる手順を、図7のフローチャートを用いて説明する。なお、図7は、実施の形態1における画像検索処理の流れを示すフローチャートである。
ユーザーは、入力部340に対して、検索対象物を特定するための操作を行う。このとき、端末コンピュータ300は、図2に示すような地図をモニタ350に表示させて、表示させた地図上の点をユーザーに指定させることにより検索対象物を特定するようにしてもよい。入力部340は、ユーザーにより操作されることにより特定情報を受け付けて、受け付けた特定情報をCPU310に送信する(S110)。CPU310は、入力部340から受け取った特定情報を送信部330およびネットワーク200を介して、サーバー100に送信する(S120)。ここで、特定情報としては、検索対象物の名称、検索対象物を示す識別ID、検索対象物の住所などが考えられるが、これらに限るものではなく、検索対象物を特定できる情報であればよい。
受信部120が端末コンピュータ300から特定情報を受信した場合(S130)、情報取得部111は、メモリ150内に記憶されている対象情報の中から、受信部120により受信された特定情報に基づいて特定される検索対象物の位置を示す対象物位置情報を取得する(S140)。
次に、検索部112は、情報取得部111から対象物位置情報を受け取り、受け取った対象物位置情報に基づいて、画像検索のための検索条件を設定する(S150)。本実施の形態1では、図5に示す対象情報のうち対象物位置情報を用いて、その対象物位置情報から予め定められた距離以内という条件を検索条件として設定する。
そして、検索部112は、設定した検索条件を用いて、データベース140内に格納されている画像の中から検索条件を満たす画像を検索する(S160)。
つまり、ステップS150およびステップS160において、検索部112は、情報取得部111により取得された対象物位置情報とデータベース140に格納されている撮影位置情報とに基づいて、検索対象物の位置からの距離が予め定められた距離以内の範囲にある位置を示す撮影位置情報に関連付けられた一つまたは複数の画像をデータベース140に格納されている画像の中から検索する。
ステップS130からステップS160までの処理の一例を、図2を用いて説明する。検索条件として予め定められた距離が検索対象物X(経度xθ、緯度xφ)から100m以内という条件であった場合、データベース140は、(経度xθ、緯度xφ)という対象物位置情報とデータベース140に格納されている撮影位置情報とを比べて、(経度xθ、緯度xφ)の位置から100m以内の撮影地点を検索する。その結果、(経度aθ、緯度aφ)(経度bθ、緯度bφ)(経度cθ、緯度cφ)および(経度dθ、緯度dφ)の4地点が検索条件を満たしたとすれば、検索部112は、A地点、B地点、C地点およびD地点のそれぞれの画像ファイル名である「file0001」「file0002」「file0003」および「file0004」を読み出す。
読み出した画像ファイル名に基づいて、検索部112は、それぞれの画像ファイル名が示す画像ファイルを読み出し、送信部130を通じて、端末コンピュータ300に対して読み出した画像ファイルを送信する。このとき、検索部112は、当該画像ファイルに関連付けられている撮影位置情報および検索対象物の対象物位置情報を、画像ファイルとともに送信部130を通じて、端末コンピュータ300に対して送信する。なお、撮影位置情報は、検索された画像ファイルが複数である場合には、画像ファイル毎に関連付けられた撮影位置情報であり、複数が送信される。
CPU310は、受信部320を通じて、サーバー100から画像ファイル、画像ファイル毎に関連付けられた撮影位置情報、および検索対象物の対象物位置情報を受信し、それぞれの画像ファイル内に格納された画像を取得する(S170)。つまり、ステップS170では、画像取得ステップとして撮影地点の位置を示す撮影位置情報に関連付けられた画像を取得する。
CPU310では、方向特定部313が画像取得ステップであるステップS170により取得された画像に対して検索対象物が写り込んでいる方向である対象物方向を特定する(S180)。ここでは、方向特定部313は、サーバー100の情報取得部111により取得された対象物位置情報および撮影位置情報に基づいて、撮影地点の位置に対する検索対象物が位置する方向を対象物方向として特定する。例えば、検索対象物Xについて画像ファイル「file0001」が検索されてサーバー100から取得した場合、方向特定部313は、検索対象物Xの対象物位置情報(経度xθ、緯度xφ)と、画像ファイル「file0001」が撮影された撮影位置情報(経度aθ、緯度aφ)とに基づいて、撮影地点Aに対する検索対象物Xが位置する方向(対象物方向)が北方向であることを特定する。
そして、画像切り出し部314は、方向特定ステップであるステップS180により特定された対象物方向に基づいて、ステップS170において取得した画像のうちで当該対象物方向を含む一部の画像を切り出す(S190)。図6を用いて具体的に説明すると、画像切り出し部314は、当該画像の北方向に検索対象物Xが位置することが方向特定部313により特定されているので、当該画像のうちで北方向を中心とする予め定められた角度の範囲である扇形上の一部(破線で囲まれた部分)を切り出し領域と認識し、当該画像から切り出し領域の画像を切り出す。画像切り出し部114は、切り出した扇型の画像を長方形状の画像に変換し、送信用のフォーマットに変換した後、モニタ350に処理後の画像を表示させる(S200)。
なお、伸張処理や切り出し処理などの画像処理後の画像が複数個存在する場合には、それらの画像をモニタ350に表示させる際の態様は様々に考えられる。例えば、端末コンピュータ300における上記ステップS180〜ステップS200で行われた画像処理後の画像をダウンサイズして、一覧表示させることもできる。また、複数の画像のうちで、ベストショットを何らかの基準で決め、その基準で決められた画像のみを表示させることもできる。また、複数の画像をスライドショーにして順番に表示させることもできる。その場合、スライドショーの順番も様々に考えられる。例えば、地図上の特定の経路に沿った順番などが考えられる。
本実施の形態1に係るサーバー100によれば、検索部112は、情報取得部111により取得された対象物位置情報と撮影位置情報とに基づいて、検索対象物が含まれる一つまたは複数の画像をデータベース140に格納されている画像の中から検索するため、ユーザーは、例えば、検索対象物を指定するだけで、検索対象物が含まれる画像を取得することができる。
また、本実施の形態1に係るサーバー100によれば、検索対象物を特定するための特定情報と、対象物位置情報とが関連付けられた対象情報が予めメモリ150に記憶されている。このように、サーバー100側に検索対象物に関する詳細な情報が予め記憶されているので、ユーザーは、検索対象物を特定するための特定情報をサーバー100に送るだけで、所望の検索対象物が含まれる画像を取得することができる。
また、本実施の形態1に係るサーバー100によれば、検索部112は、予め定められた距離以内の範囲にある位置を示す撮影位置情報に関連付けられた一つまたは複数の画像をデータベース140に格納されている画像の中から検索する。したがって、サーバー100は、画像を絞り込んだ上で検索することになるため、画像検索に係る処理負荷を軽減できる。
また、本実施の形態1に係る画像検索システム1によれば、画像切り出し部314は、方向特定部313により特定された対象物が写り込んでいる対象物方向に基づいて、検索部112により検索された結果としての画像のうちで対象物方向を含む一部の画像を切り出す。このため、ユーザーは、検索対象物が写り込んでいる所定の範囲の画像を切り出した状態で取得することができる。つまり、検索された画像の中から検索対象物が写り込んでいる部分を、ユーザーが探しだす負担を軽減できる。
また、本実施の形態1に係る画像検索システム1によれば、方向特定部313は、撮影地点の位置に対する検索対象物が位置する方向を対象物方向として特定するため、自動的に切り出す方向を特定することができる。
(実施の形態2)
本実施の形態2では、対象情報は、実施の形態1に係る対象情報にさらに、検索対象物の予め定められた像を見ることができる位置が、当該検索対象物の位置に対して位置する方向である予め定められた方向を示す方向情報も関連付けられてメモリ150に記憶されている。これにより、実施の形態1では、様々な方向から撮影された画像が検索される一方、本実施の形態2では、所望の方向から撮影された画像が検索されることになる。
本実施の形態2に係るサーバー100の構成は、図1に示す構成と同様であるため説明を省略する。実施の形態1と異なる点は、メモリ150内に格納されている対象情報に方向情報が追加される点、情報取得部111が対象物位置情報に加えて方向情報も読み出す点、および、検索部112が位置情報だけでなく方向情報も用いて画像検索する点である。
図8は、本実施の形態2に係るサーバー100が用いる対象情報の構成を示す模式図である。対象情報は、検索対象物を特定するための特定情報および対象物位置情報に加えて、方向情報も関連付けられて記憶されている。方向情報は、検索対象物の位置に対する当該検索対象物の予め定められた像を見ることができる位置が位置する方向である予め定められた方向を示す情報である。つまり、方向情報とは、検索対象物をどの方向から撮影した画像が必要なのかを示す情報である。具体例を用いて説明すると、図8において、検索対象物Xには方向情報として「南」という方向情報が関連付けられている。これは、検索対象物Xを南側から撮影した画像が必要であることを意味している。言い換えると、方向情報は、関連付けられている検索対象物を撮影する際に適した方向を示す情報である。さらに言い換えると、方向情報は、ユーザーが検索対象物であることを認識しやすい所定の方向から検索対象物を視た場合の像を規定する情報であり、例えば建物等の特徴的な像である検索対象物の「正面」の像を規定するための情報である。したがって、ユーザーは、検索対象物Xを南側から撮影することにより、撮影された画像には検索対象物Xと認識しやすい像が含まれることになる。また、検索対象物Xの「正面」は南向きの面であることが分かる。
以下、本実施の形態2に係るサーバー100の画像検索処理を、図7に示すフローチャートを用いて説明する。
受信部120が端末コンピュータ300から特定情報を受信する(S130)時点までは、実施の形態1と同様であるためその次の処理(S140)から説明する。
受信部120が端末コンピュータ300から特定情報を受信したステップS130の後で、情報取得部111は、メモリ150内に記憶されている対象情報の中から、受信部120により受信された特定情報に基づいて特定される検索対象物の位置を示す対象物位置情報を取得する(S140)。このとき、情報取得部111は、さらに、検索対象物の予め定められた像を見ることができる位置が、当該検索対象物の位置に対して位置する方向である予め定められた方向を示す方向情報を取得する。
検索部112は、情報取得部111から対象物位置情報および方向情報を受け取り、受け取った対象物位置情報および方向情報に基づいて、画像検索のための検索条件を設定する(S150)。本実施の形態2では、図8に示す対象情報のうち対象物位置情報および方向情報を用いて、その対象物位置情報が示す位置から予め定められた距離以内であって、当該位置から方向情報が示す方向に位置することを検索条件として設定する。例えば、検索対象物Xについての検索条件は、検索対象物Xから予め定められた距離以内であって、検索対象物Xの位置から南方向に位置することが検索条件になる。
そして、検索部112は、設定した検索条件を用いて、データベース140内に格納されている画像の中から検索条件を満たす画像を検索する(S160)。
つまり、ステップS150およびステップS160において、検索部112は、情報取得部111により取得された方向情報とデータベース140に格納されている撮影位置情報とに基づいて、データベース140に格納されている画像の中から、検索対象物の位置から当該方向情報が示す予め定められた方向側にある位置を示す撮影位置情報に関連付けられた一つまたは複数の画像データを検索する。
ステップS130からステップS160までの処理の一例を、図2を用いて説明する。検索条件として予め定められた距離が検索対象物X(経度xθ、緯度xφ)から100m以内にある撮影地点A〜Dを抽出し、その後、検索対象物Xに対して南方向に位置する撮影地点Aを抽出する。そして、検索部112は、抽出された撮影地点Aに対応する画像ファイル名「file0001」を読み出す。最後に、読み出した画像ファイル名に基づいて、検索部112は、画像ファイルを読み出し、送信部130を通じて、端末コンピュータ300に対して読み出した画像ファイルを送信する。
ステップS160の後の端末コンピュータ300により行われるステップS170からステップS200の処理については、実施の形態1と同様であるため説明を省略する。
なお、ステップS180の方向特定部313により行われるステップS180は、実施の形態1と同様の方法で行なってもよいが、方向情報を用いて行なってもよい。つまり、方向特定部313は、方向情報が示す予め定められた方向を、対象物方向として特定してもよい。例えば、方向情報があれば、撮影地点Aが抽出された時点で、撮影地点Aが検索対象物Xから南方向に位置することが分かっており、撮影地点Aにいて撮影された画像のうち、北方向に相当する領域に検索対象物Xの画像が存在していることは自明である。このため、このことを利用して、撮影地点Aで撮影された全方位画像のうち北方向を対象物方向として方向特定部313が特定することにより、画像切り出し部314がその後のステップS190において当該方向の画像を切り出すことができる。これにより、方向特定部313は、切り出し領域を特定するための演算処理の負担を軽減できる。
上記実施の形態2に係るサーバー100によれば、検索部112は、予め定められた方向を示す方向情報と撮影位置情報とに基づいて、検索対象物の位置から当該方向情報が示す予め定められた方向側にある位置を示す撮影位置情報に関連付けられた一つまたは複数の画像をデータベース140に格納されている画像の中から検索する。したがって、サーバー100は、方向情報に基づいて画像を絞り込んだ上で検索することになるため、画像検索に係る処理負荷を軽減できる。
なお、上記実施の形態2では、位置情報に基づく画像検索処理も方向情報に基づく画像検索処理もサーバー100側で行うとしたが、これらをサーバー100側と端末コンピュータ300側とで分けて実行するようにしてもよい。例えば、サーバー100側で対象物位置情報および撮影位置情報に基づく画像検索処理を実行し、端末コンピュータ300側で方向情報に基づく画像検索処理を実行するようにしてもよい。この場合、端末コンピュータ300側での検索時点では、サーバー100は画像を端末コンピュータ300側に送信しておく必要はなく、少なくとも撮影位置情報等の画像検索処理に必要な情報のみを送信しておけばよい。そして、端末コンピュータ300による検索の結果を受けてから画像を送信するようにすればよい。こうすることで、サーバー100から端末コンピュータ300に送信するデータの容量を削減できる。また、端末コンピュータ300側で方向情報に基づく画像検索処理を実行するためのプログラムをサーバーから送信するようにしてもよい。
なお、上記実施の形態2では、方向情報は、検索対象物に関連付けられて予め設定されている方向であるが、これに限らずに、所定のアルゴリズムにより推測された結果であってもよい。例えば、検索対象物の周囲に配置される道路の幅の関係や東西南北の関係などに基づいて、検索対象物の例えば「正面」の方向を推測するアルゴリズムを用いた結果を方向情報として情報取得部が取得してもよい。
(実施の形態3)
本実施の形態3では、サーバー側が切り出し処理を行う。
図9は、本実施の形態3に係るサーバー100aを備える画像検索システムの構成を示すブロック図である。実施の形態3に係るサーバー100aが実施の形態1に係るサーバー100の構成と異なる点は、サーバー100aに方向特定部113および画像切り出し部114を追加した点である。
方向特定部113は、検索部112により検索された画像に対して検索対象物が写り込んでいる対象物方向を特定する。方向特定部113は、具体的には、情報取得部により取得された対象物位置情報および撮影位置情報に基づいて、撮影地点の位置に対する検索対象物が位置する方向を対象物方向として特定する。画像切り出し部114は、方向特定部113により特定された対象物方向に基づいて、画像のうちで当該対象物方向を含む一部の画像を切り出す。
また、図10は、本実施の形態3における画像検索処理の流れを示すフローチャートである。実施の形態1の画像検索処理を示す図7と異なる点は、対象物方向を特定する処理(S180)および切り出し処理(S190)が端末コンピュータ300ではなくサーバー100aにより行われる点である。また、端末コンピュータ300は、ステップS171において切り出し処理が行われた後の画像を取得することになる点が異なる。ステップS171以外の処理については、実施の形態1の画像検索処理と同じ処理が行われるためその説明を省略する。
本実施の形態3に係る画像検索システム1aでは、切り出し処理をサーバー100aが行うので、端末コンピュータ300側での処理負担を軽減できる。また、サーバー100a側での切り出し処理も自動的に行うことができるので、処理効率を高めることができる。
(実施の形態4)
実施の形態1では、実際にユーザーが所望する検索対象物の画像が含まれているか否かに関わらず、当該検索対象物と撮影地点との位置関係に基づいて、画像の検索を行うが、撮影時の天候や障害物などの影響で当該検索対象物の撮影が失敗しており、当該検索対象物が画像に検索される画像に含まれていない場合が考えられる。そこで、本実施の形態4では、ユーザーが所望する検索対象物と撮影地点との位置関係だけでなく、当該検索対象物の像が撮影に成功しているか否かをも検索条件に加えて、画像検索処理を行う。
図11は、本実施の形態4に係るサーバー100bを備える画像検索システム1bの構成を示すブロック図である。図12は、本実施の形態4に係るサーバー100が用いる対象情報の構成を示す模式図である。本実施の形態4に係るサーバー100bが実施の形態1に係るサーバー100の構成と異なる点は、サーバー100bに判定部115を追加した点である。また、本実施の形態4では、対象情報は、実施の形態1に係る対象情報にさらに、検索対象物の一部の画像を示す参照画像も関連付けられてメモリ150に記憶されている。
また、本実施の形態4に係るサーバー100bでは、情報取得部111は、対象物位置情報をメモリ150から取得するだけでなく、さらに、検索対象物の一部の画像を示す参照画像を取得する。
判定部115は、情報取得部111により取得された参照画像に基づいて、検索部112により検索された画像に当該参照画像が含まれているか否かを判定する。
以下、本実施の形態4に係るサーバー100bの画像検索処理を、図14に示すフローチャートを用いて説明する。図14は、本実施の形態4における画像検索処理の流れを示すフローチャートである。
受信部120が端末コンピュータ300から特定情報を受信する(S130)時点までは、実施の形態1と同様であるためその次の処理(S140)から説明する。
受信部120が端末コンピュータ300から特定情報を受信したステップS130の後で、情報取得部111は、メモリ150内に記憶されている対象情報の中から、受信部120により受信された特定情報に基づいて特定される検索対象物の位置を示す対象物位置情報を取得する(S140)。このとき、情報取得部111は、対象情報として、検索対象物の対象物位置情報と参照画像データ名とをメモリ150から読み出す。さらに、情報取得部111は、読み出した参照画像データ名に基づいて、メモリ150または他の記憶部から参照画像を読み出す。ここで、参照画像とは、参照画像データ名が関連付けられた検索対象物を撮影した検索対象物の一部の画像であり、例えば特徴的な画像である。例えば、参照画像データ名「Image_x」で表される参照画像は、検索対象物Xを撮影した画像を示す画像データである(図13参照)。なお、図13は、検索対象物Xを撮影した画像の一例である。
検索部112は、情報取得部111から対象物位置情報を受け取り、受け取った対象物位置情報に基づいて、画像検索のための検索条件を設定する(S150)。本実施の形態4では、実施の形態1と同様に、図12に示す対象情報のうち対象物位置情報を用いて、その対象物位置情報から予め定められた距離以内という条件を検索条件として設定する。
そして、検索部112は、設定した検索条件を用いて、データベース140内に格納されている画像の中から検索条件を満たす画像を検索する(S160)。判定部115は、情報取得部111により取得された参照画像に基づいて、検索部112により検索された画像に当該参照画像が含まれているか否かを判定する(S161)。ここで、判定部115は、参照画像が含まれていると判定した画像を、送信部130を通じて、端末コンピュータ300に対して送信する。なお、判定部115は、参照画像が含まれていないと判定した画像については、送信部130を通じて、端末コンピュータ300に対して送信しない。
以降の端末コンピュータ300における処理の内容は、実施の形態1と同様である。
本実施の形態4に係る画像検索システム1bによれば、検索部112が抽出した画像の中に検索対象物の画像が含まれるか否かを判定部115が自動的に判定するので、検索対象物が良好に撮影された画像を容易に取得できる。
(実施の形態5)
本実施の形態5では、端末コンピュータ側が画像検索処理を行う。
図15は、本実施の形態5に係る端末コンピュータ300cを備える画像検索システム1cの構成を示すブロック図である。本実施の形態5に係るサーバー100cが実施の形態1に係るサーバー100の構成と異なる点は、サーバー100cは、画像検索処理を行うための情報取得部111および検索部112が有していない点である。また、変形例4に係る端末コンピュータ300cが実施の形態1に係る端末コンピュータ300の構成と異なる点は、端末コンピュータ300cは、CPU310がさらに情報取得部311、検索部312、およびメモリ360を有する構成である点である。なお、端末装置としての端末コンピュータ300cは、撮影地点の位置を示す撮影位置情報と撮影地点で撮影した画像とを関連付けて格納しているデータベース140から画像を検索する端末装置であって、情報取得部311と、検索部312とを備えていればよく、メモリ360は必須の構成ではない。
情報取得部311は、検索対象物の位置を示す情報である対象物位置情報を取得する。なお、この場合、情報取得部311は、入力部340により受け付けられた検索対象物を特定するための特定情報に基づいて、メモリ360に記憶されている対象情報の中から、特定情報で特定された検索対象物の位置を示す対象物位置情報を取得する。
検索部312は、情報取得部311で取得された対象物位置情報とデータベース140に格納されている撮影位置情報とに基づいて、データベース140に格納されている画像の中から、検索対象物が含まれる一つまたは複数の画像を検索する。なお、この場合、検索部312は、サーバー100cのデータベース140に格納されている画像の中から上記画像の検索を行うが、例えば、サーバー100cが有するデータベース140に格納されている画像のうち、ある特定の範囲の複数の画像(例えば、特定の行政区画内で撮影された画像データなど)を取得するようにしてもよい。つまり、検索部312は、データベース140に格納されている画像を検索するときに、ある特定の範囲の複数の画像に予め絞り込んだ上で、予め絞り込んだ画像の中から上記画像の検索を行う。
図16は、本実施の形態5における画像検索処理の流れを示すフローチャートである。
実施の形態1と同様に、まず、入力部340が、ユーザーにより操作されることにより特定情報を受け付けて、受け付けた特定情報をCPU310に送信する(S110)。CPU310は、入力部340から受け取った特定情報を送信部330およびネットワーク200を介して、サーバー100cに送信する(S120)。
受信部120が端末コンピュータ300cから特定情報を受信した場合(S130)、サーバー100cのコントローラ110は、受信した特定情報から導出されるある特定の範囲に基づいて、データベース140に格納されている画像の中から特定の範囲に含まれる複数の画像を抽出して、抽出した複数の画像(抽出画像)を端末コンピュータ300cに送信する(S131)。
CPU310は、受信部320を通じて、サーバー100cから抽出画像を受信する(S132)。
ステップS120が行われる一方で、CPU310では、情報取得部311が、メモリ360内に記憶されている対象情報の中から、入力部340から受け取った特定情報に基づいて特定される検索対象物の位置を示す対象物位置情報を取得する(S140)。
次に、検索部312は、情報取得部311から対象物位置情報を受け取り、受け取った対象物位置情報に基づいて、画像検索のための検索条件を設定する(S150)。そして、検索部312は、設定した検索条件を用いて、サーバー100cから受信した抽出画像の中から検索条件を満たす画像を検索する(S160)。そして、CPU310では、方向特定部313がステップS160において検索されることにより取得された画像に対して検索対象物が写り込んでいる方向である対象物方向を特定する(S180)。ステップS180以降は、実施の形態1における画像検索処理のステップS190およびステップS200と同様の処理が行われて、本実施の形態5における画像検索処理は終了する。
このように、端末コンピュータ300cは、情報取得部311および検索部312を有しているため、端末コンピュータ300c自身が画像検索処理を行うことができる。要するに、対象情報に基づく画像検索処理は、サーバーおよび端末コンピュータを含むシステムによって実現されればよく、サーバー側で実現しても端末コンピュータ側で実現してもよい。
なお、端末コンピュータ300cでは、画像検索処理が行われた後には、方向特定部313および画像切り出し部314により上述したような画像処理を行なうこともできる構成であるが、端末コンピュータ300が方向特定部313および画像切り出し部314を有することは必須ではない。また、対象情報を予め記憶しているメモリ360は、端末コンピュータ300cに設けられていなくてもよく、サーバー100cに設けられていてもよいし、ネットワーク200に接続される外部の機器に設けられていてもよい。また、データベース140は、サーバー100cに設けられていなくてもよく、端末コンピュータ300cに設けられていてもよい。
(他の実施の形態)
以上のように、本発明の実施の形態を実施の形態1〜5として例示した。しかしながら、本発明は、これに限定されず、適宜、変更した実施の形態にも適用可能である。また、上記実施の形態1〜5で説明した各発明要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下、本発明の他の実施の形態をまとめて説明する。
本明細書においては、検索対象物の対象情報に基づく画像検索処理について説明した。また、その処理の例として、検索対象物の対象物位置情報に基づく画像検索処理および検索対象物の方向情報に基づく画像検索処理について説明した。また、画像の切り出し処理について説明し、特に、検索対象物の対象物位置情報に基づく切り出し処理と検索対象物の方向情報に基づく切り出し情報について詳述した。さらに、参照画像に基づく画像の良否判定についても説明した。実際の実施の形態においては、これらの処理を適宜選択して、組み合わせることになる。
また、組み合わせた各処理は、システム全体として実現されればよく、サーバー側で行っても、端末コンピュータ側で行ってもよい。
(変形例1)
また、上記実施の形態1または2に係る端末コンピュータ300は、端末コンピュータ300に予めインストールされているプログラムを起動することにより、ステップS110、ステップS120、ステップS170、ステップS180、ステップS190、およびステップS200の処理を行なっているが、予めインストールされているソフトウェアを起動することに限らずに、サーバー100から提供されるプログラムを起動することにより上記の処理を行うようにしてもよい。この場合、サーバー100から提供されるプログラム400は、例えば、図15に示すように、画像処理部410、送信部420、および入力受付部440を有している。なお、図15は、変形例1に係る端末コンピュータ300で起動するプログラム400の構成を示すブロック図である。
つまり、このプログラム400は、端末コンピュータ300に、撮影地点の位置を示す撮影位置情報に関連付けられた画像を取得する画像取得ステップと、前記画像取得ステップにより取得された画像に対して前記検索対象物が写り込んでいる方向である対象物方向を特定する方向特定ステップと、前記方向特定ステップにより特定された対象物方向に基づいて、前記画像のうちで当該対象物方向を含む一部の画像を切り出す画像切り出しステップとを含む画像処理方法を実行させる。
図15において、入力受付部440は、検索対象物を特定するための特定情報の入力を端末コンピュータ300に受け付けさせる。
送信部420は、入力受付部440により受け付けられた特定情報をサーバー100に向けて端末コンピュータ300に送信させる。
画像処理部410は、方向特定部413と、画像切り出し部414とを有する。つまり、プログラム400は、実施の形態1において説明した方向特定部313と画像切り出し部314とが行う処理を行う。サーバー100の検索部112により検索されて、検索結果としてサーバー100から受信した画像に対する画像処理(ステップS180およびステップS190)を端末コンピュータ300に行わせる。
なお、端末コンピュータ300に対してプログラム400を送信するサーバーは、実施の形態1に係るサーバー100であってもよいし、サーバー100とは異なるサーバーであってもよい。つまり、画像検索を行うサーバーと画像処理を行うプログラム400を端末コンピュータ300に送るサーバーとは、物理的には一つの同一サーバーで実現してもよいし、それぞれが異なるサーバーで実現してもよい。複数のサーバー群で実現するとしても、その処理内容が本発明の処理内容と同様のものである限り、本発明を適用したサーバーまたはシステムであると言える。複数のサーバーで実現する場合、例えば、端末コンピュータ300からサーバー100にアクセスし、そのアクセスを受けて、サーバー100が端末コンピュータに対してプログラム400を送信するよう他のサーバーに指示するようにしてもよい。また、例えば、端末コンピュータ300から他のサーバーにアクセスし、他のサーバーからプログラム400に類似するプログラムを送信するようにしてもよい。この場合、そのプログラムには端末コンピュータ300に対して、サーバー100に対してアクセスし、サーバー100に対して入力情報(ここでは特定情報)を送信させるよう構成されたものとすることができる。このようにすれば、複数のサーバーを用いる場合であっても、ユーザーに不便を感じさせることがない。
同様に、対象情報の取得処理または画像検索処理を行う実施の形態1に係るサーバー100についても、一つのサーバーで実現してもよいし、複数のサーバーで実現してもよい。
(変形例2)
また、上記実施の形態1〜5に係る画像検索システム1、1a、1b、1cおよび上記端末コンピュータ300にインストールされているプログラム400では、検索対象物をどの方向から撮影した画像が必要なのかを示す方向情報の入力をユーザーにさせていないが、予めユーザーに検索対象物の特定情報に加えて上記方向情報を端末コンピュータ300の入力部340または入力受付部440に受け付けさせるようにしてもよい。この場合に、端末コンピュータ300の画像切り出し部314、414は、入力部340または入力受付部440により受け付けられた方向情報に基づいて、検索部112で検索された画像のうち一部の画像を端末コンピュータ300の画像切り出し部314、414に切り出させる。
このように、予めメモリ150に記憶されている対象情報を使うのではなく、ユーザーが入力する情報に基づいて画像検索を行うので、ユーザーの好みに合った画像を検索しやすくなる。例えば、検索対象物Xの「正面」が一般的には南方向に向いた面であった場合でも、撮影する面はユーザーの好みによって異なる場合があり、そのような場合に好みの面の画像を検索する上でユーザーにとって使いやすいものになる。
また、対象情報の一部についてメモリ150内の情報の中から検索し、他の部分についてはユーザーからの都度の入力を採用するようにしてもよい。例えば、位置情報についてはメモリ150内の情報の中から検索する一方、方向情報についてはユーザーからの都度の入力を用いるようにしてもよい。
(変形例3)
また、上記実施の形態1〜5に係るサーバー100、100a、100bまたは端末コンピュータ300cでは、検索部112、312は、対象物位置情報に基づいて対象物位置情報が示す検索対象物の位置を基点として予め定められた距離以内の範囲に絞り込んでいるが、このような検索対象物の位置を起点とした絞り込みを行うことに限定されない。例えば、何らかの方法でデータベースの母集団を形成した後に、方向情報に基づく検索を行ってもよい。例えば、行政区画内の画像データベースを形成しておき、検索対象物が存在する行政区画内において撮影された画像の中で、方向情報に基づく画像検索処理を行うようにしてもよい。
(変形例4)
また、上記実施の形態1〜4に係るサーバー100、100a、100bでは、情報取得部111は、端末コンピュータ300から受信した特定情報に基づいて、メモリ150に記憶されている対象情報の中から、特定情報で特定された検索対象物の位置を示す対象物位置情報を取得するとした。しかしながら、本発明は対象情報がメモリ150に記憶されていることに限定されない。例えば、端末コンピュータ300に対象情報が記憶されており、情報取得部111は、端末コンピュータ300から対象情報を取得するようにしてもよいし、ユーザーにより入力された情報を対象情報として利用するようにしてもよい。この場合には、サーバー100の情報取得部111が対象情報をメモリ150内の情報の中から検索する必要がなくなるので、サーバー100の情報取得部111の処理負担を軽減できる。
なお、本発明における「検索対象物の位置を示す対象物位置情報を取得する情報取得部」は、ネットワークを介して対象物位置情報を取得する場合も、特定情報に基づいて検索対象物について検索することによって対象物位置情報を取得する場合も含む。また、ネットワークを介してではなく、ユーザーからの入力を受け付け、その入力情報を対象情報とする場合も含む。
(変形例5)
また、上記実施の形態1〜5に係るサーバー100、100a、100bまたは端末コンピュータ300cでは、検索部112、312は、検索対象物の位置からの距離が予め定められた距離以内の範囲にある位置を示す撮影位置情報に関連付けられた一つまたは複数の画像をデータベース140に格納されている画像の中から検索しており、予め定められた距離は検索対象物によらず一定の距離が設定されているが、これに限らずに、例えば検索対象物の高さを対象情報としてさらに記憶しておくことにより、検索対象物の高さが大きくなるほど予め定められた距離が長くなるように変化させてもよい。検索対象物の高さが高い場合には低い場合よりも、より遠くの位置から認識することができるため、検索対象物の高さが高くなるほど検索部112、312が検索するための検索条件である予め定められた距離を長く設定することにより、検索対象物が写り込んでいる画像を効果的に取得することができる。
(変形例6)
また、上記実施の形態1、3、5に係るサーバー100a、端末コンピュータ300、または端末コンピュータ300により実行されるプログラム400では、方向特定部113、313、411が検索対象物の対象物位置情報と、撮影地点の撮影位置情報とに基づいて、両者の位置関係から対象物方向を特定しているが、対象物位置情報および撮影位置情報から対象物方向を特定することにかぎらずに、画像処理により対象物方向を特定するようにしてもよい。方向特定部の画像処理の具体的な方法としては、例えば、検索対象物の一部の画像を予め保持しておき、検索部112により検索された画像(ドーナツ画像)と検索対象物の一部の画像とを比較して、検索された画像に検索対象物の一部の画像が含まれる部分を対象物方向として特定してもよい。
(変形例7)
また、本発明の実施の形態1〜5では、静止画像を前提に説明したが、本発明はこれに限定されず、動画像を対象としてもよい。動画像の場合、撮影地点の位置情報と動画像の記録時間帯とを関連付けておき、どの時間帯に記録された画像かも含めて検索結果として出力するようにしてもよい。
(変形例8)
また、本実施の形態1〜5では、ドーナツ形状の全方位画像を検索対象としたが、これには限らない。本発明は、帯形状の全方位画像でも適用できるし、長方形状のパノラマ画像でも適用できる。また、画像の向きまたは位置と方角とが関連付けられていれば全方位画像でなくても、方向特定部は、対象物位置情報および撮影位置情報に基づいて、撮影地点の位置に対する検索対象物が位置する方向を対象物方向として特定することができるため対象物方向に基づいた切り出し処理を行うことができる。また、パノラマ画像ではなく、通常の画像であっても適用できる。この場合、切り出し処理は行わない可能性が高い。要するに、撮影位置情報と画像データとが関連付けられたデータベースを用いて、検索対象物の情報である対象情報から画像検索を行う場合には、対象となる画像がどのような画像であっても本発明は適用可能である。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態のサーバーなどを実現するソフトウェアは、次のようなプログラムである。
また、このプログラムは、コンピュータに、撮影地点の位置を示す撮影位置情報と前記撮影地点で撮影した画像とを関連付けて格納しているデータベースから画像を検索する画像検索方法であって、検索対象物の位置を示す情報である対象物位置情報を取得する情報取得ステップと、前記情報取得ステップで取得された対象物位置情報と前記データベースに格納されている撮影位置情報とに基づいて、前記データベースに格納されている画像の中から、前記検索対象物が含まれる一つまたは複数の画像の画像検索を行う検索ステップとを含む画像検索方法を実行させてもよい。
以上、本発明の一つまたは複数の態様に係るサーバーについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
本発明は、撮影地点と画像データとを関連付けて格納するデータベースの中から所望の画像データを検索する画像検索装置に適用可能である。具体的には、画像データベースを有するサーバー、画像検索可能な端末コンピュータ、スマートフォンなどの携帯機器などに、本発明は適用可能である。
1、1a、1b、1c 画像検索システム
100、100a、100b、100c サーバー
110 コントローラ
111、311 情報取得部
112、312 検索部
113 方向特定部
114 画像切り出し部
115 判定部
120 受信部
130 送信部
140 データベース
150 メモリ
200 ネットワーク
300、300c 端末コンピュータ
310 CPU
313 方向特定部
314 画像切り出し部
320 受信部
330 送信部
340 入力部
350 モニタ
360 メモリ
400 プログラム
410 画像処理部
413 方向特定部
414 画像切り出し部
420 送信部
440 入力受付部

Claims (11)

  1. 撮影地点の位置を示す情報である撮影位置情報と前記撮影地点で撮影された画像とを関連付けて格納するデータベースから画像を検索するサーバーであって、
    検索対象物の位置を示す情報である対象物位置情報と、前記検索対象物の撮影に適した方向を示す方向情報とを取得する情報取得部と、
    前記情報取得部により取得された対象物位置情報に基づいて、前記検索対象物の位置が含まれる領域を特定し、前記情報取得部により取得された方向情報と前記データベースに格納されている撮影位置情報に基づいて、前記領域内に前記撮影地点を有し、かつ、前記撮影地点が前記検索対象物の撮影に適した方向に存在する画像を前記データベースから検索する検索部と
    を備えるサーバー。
  2. 前記検索対象物を特定するための特定情報を受信する受信部と、
    前記特定情報と前記対象物位置情報とが関連付けられた対象情報を予め記憶している記憶部と、をさらに備え、
    前記情報取得部は、前記受信部により受信された特定情報に基づいて、前記記憶部に記憶されている対象情報の中から、前記特定情報で特定された検索対象物の位置を示す対象物位置情報を取得する
    請求項1に記載のサーバー。
  3. 前記検索部は、前記情報取得部により取得された対象物位置情報と前記データベースに格納されている撮影位置情報とに基づいて、前記データベースに格納されている画像の中から、前記検索対象物の位置からの距離が予め定められた距離以内の範囲にある位置を示す撮影位置情報に関連付けられた一つまたは複数の画像の検索を行う
    請求項1または2に記載のサーバー。
  4. 前記記憶部は、さらに、前記検索対象物の高さを前記対象情報として記憶しており、
    前記検索部は、前記検索対象物の高さが大きくなるほど前記予め定められた距離が長くなるように変化させた上で、前記検索を行う
    請求項3に記載のサーバー。
  5. 前記情報取得部は、さらに、前記検索対象物の予め定められた像を見ることができる位置が、当該検索対象物の位置に対して位置する方向である予め定められた方向、を示す方向情報を取得し、
    前記検索部は、前記情報取得部により取得された方向情報と前記データベースに格納されている撮影位置情報とに基づいて、前記データベースに格納されている画像の中から、前記検索対象物の位置から当該方向情報が示す予め定められた方向側にある位置を示す撮影位置情報に関連付けられた一つまたは複数の画像の検索を行う
    請求項1から4のいずれか1項に記載のサーバー。
  6. 前記情報取得部は、さらに、前記検索対象物の一部の画像を示す参照画像を取得し、
    前記情報取得部により取得された参照画像に基づいて、前記検索部により検索された画像に当該参照画像が含まれているか否かを判定する判定部をさらに備える
    請求項1から5のいずれか1項に記載のサーバー。
  7. 前記検索部により検索された前記画像に対して前記検索対象物が写り込んでいる対象物方向を特定する方向特定部と、
    前記方向特定部により特定された対象物方向に基づいて、前記画像のうちで当該対象物方向を含む一部の画像を切り出す画像切り出し部と、
    をさらに備える
    請求項1から6のいずれか1項に記載のサーバー。
  8. 前記方向特定部は、情報取得部により取得された前記対象物位置情報および前記撮影位置情報に基づいて、前記撮影地点の位置に対する前記検索対象物が位置する方向を前記対象物方向として特定する
    請求項7に記載のサーバー。
  9. 撮影地点の位置を示す撮影位置情報と前記撮影地点で撮影した画像とを関連付けて格納しているデータベースから画像を検索する端末装置であって、
    検索対象物の位置を示す情報である対象物位置情報と、前記検索対象物の撮影に適した方向を示す方向情報とを取得する情報取得部と、
    前記情報取得部により取得された対象物位置情報に基づいて、前記検索対象物の位置が含まれる領域を特定し、前記情報取得部により取得された方向情報と前記データベースに格納されている撮影位置情報に基づいて、前記領域内に前記撮影地点を有し、かつ、前記撮影地点が前記検索対象物の撮影に適した方向に存在する画像を前記データベースから検索する検索部と
    を備える端末装置。
  10. 撮影地点の位置を示す撮影位置情報と前記撮影地点で撮影した画像とを関連付けて格納しているデータベースから画像を検索するサーバまたは端末装置による画像検索方法であって、
    検索対象物の位置を示す情報である対象物位置情報と、前記検索対象物の撮影に適した方向を示す方向情報とを取得する情報取得ステップと、
    前記情報取得ステップで取得された対象物位置情報に基づいて、前記検索対象物の位置が含まれる領域を特定し、前記情報取得ステップにおいて取得された方向情報と前記データベースに格納されている撮影位置情報に基づいて、前記領域内に前記撮影地点を有し、かつ、前記撮影地点が前記検索対象物の撮影に適した方向に存在する画像を前記データベースから検索する検索ステップと
    を含む画像検索方法。
  11. 請求項10に記載の画像検索方法に含まれるステップをコンピュータに実行させるプログラム。
JP2013505250A 2012-02-02 2012-06-14 サーバー、端末装置、画像検索方法、およびプログラム Expired - Fee Related JP5325354B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013505250A JP5325354B1 (ja) 2012-02-02 2012-06-14 サーバー、端末装置、画像検索方法、およびプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012020576 2012-02-02
JP2012020576 2012-02-02
JP2013505250A JP5325354B1 (ja) 2012-02-02 2012-06-14 サーバー、端末装置、画像検索方法、およびプログラム
PCT/JP2012/003902 WO2013114473A1 (ja) 2012-02-02 2012-06-14 サーバー、端末装置、画像検索方法、画像処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP5325354B1 true JP5325354B1 (ja) 2013-10-23
JPWO2013114473A1 JPWO2013114473A1 (ja) 2015-05-11

Family

ID=48904563

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013505250A Expired - Fee Related JP5325354B1 (ja) 2012-02-02 2012-06-14 サーバー、端末装置、画像検索方法、およびプログラム

Country Status (3)

Country Link
US (1) US20130297648A1 (ja)
JP (1) JP5325354B1 (ja)
WO (1) WO2013114473A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020013556A (ja) * 2019-06-12 2020-01-23 Zホールディングス株式会社 情報処理装置、情報処理方法、プログラム、およびアプリケーションプログラム
JP2020119515A (ja) * 2019-01-25 2020-08-06 株式会社ベーシック 設置物認識システム及びそのプログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6302421B2 (ja) * 2015-02-03 2018-03-28 日本電信電話株式会社 コンテンツ検索装置、コンテンツ検索方法、コンテンツ格納装置およびコンテンツ格納方法
KR20180031437A (ko) * 2016-09-20 2018-03-28 엘지전자 주식회사 디스플레이 장치
US10853643B2 (en) 2017-10-27 2020-12-01 Rakuten, Inc. Image extraction device, image extraction method, and image extraction program
JP6590329B1 (ja) * 2019-06-26 2019-10-16 株式会社ラディウス・ファイブ 画像表示システム及びプログラム
JP7408971B2 (ja) * 2019-09-13 2024-01-09 株式会社リコー 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007133825A (ja) * 2005-11-14 2007-05-31 Fujifilm Corp 撮影位置施設検索システム及び方法、並びに地図データ
JP2007299172A (ja) * 2006-04-28 2007-11-15 Fujifilm Corp 画像ビューア
JP2010122135A (ja) * 2008-11-21 2010-06-03 Alpine Electronics Inc 車載用表示システムおよび表示方法
JP2011188054A (ja) * 2010-03-05 2011-09-22 Panasonic Corp 位置情報利用可能な画像撮影装置、画像撮影方法およびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6988660B2 (en) * 1999-06-07 2006-01-24 Metrologic Instruments, Inc. Planar laser illumination and imaging (PLIIM) based camera system for producing high-resolution 3-D images of moving 3-D objects
US8453060B2 (en) * 2006-08-25 2013-05-28 Microsoft Corporation Panoramic ring user interface
WO2010052548A2 (en) * 2008-11-05 2010-05-14 Easywalk Capital S.A. System and method for creating interactive panoramic walk-through applications

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007133825A (ja) * 2005-11-14 2007-05-31 Fujifilm Corp 撮影位置施設検索システム及び方法、並びに地図データ
JP2007299172A (ja) * 2006-04-28 2007-11-15 Fujifilm Corp 画像ビューア
JP2010122135A (ja) * 2008-11-21 2010-06-03 Alpine Electronics Inc 車載用表示システムおよび表示方法
JP2011188054A (ja) * 2010-03-05 2011-09-22 Panasonic Corp 位置情報利用可能な画像撮影装置、画像撮影方法およびプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020119515A (ja) * 2019-01-25 2020-08-06 株式会社ベーシック 設置物認識システム及びそのプログラム
JP2020013556A (ja) * 2019-06-12 2020-01-23 Zホールディングス株式会社 情報処理装置、情報処理方法、プログラム、およびアプリケーションプログラム
JP7160763B2 (ja) 2019-06-12 2022-10-25 ヤフー株式会社 情報処理装置、情報処理システム、情報処理方法、プログラム、およびアプリケーションプログラム

Also Published As

Publication number Publication date
US20130297648A1 (en) 2013-11-07
WO2013114473A1 (ja) 2013-08-08
JPWO2013114473A1 (ja) 2015-05-11

Similar Documents

Publication Publication Date Title
JP5325354B1 (ja) サーバー、端末装置、画像検索方法、およびプログラム
US8254727B2 (en) Method and apparatus for providing picture file
JP4964287B2 (ja) 電子地図を用いてサービスを提供するための方法、システム及びコンピュータ読取可能な記録媒体
KR20140130499A (ko) 포지셔닝을 위한 시각적 ocr
JP4708203B2 (ja) 地理情報表示装置及び地理情報表示プログラム
US8570424B2 (en) Display control apparatus and display control method
US11386700B2 (en) Face detection system
JP5223034B2 (ja) 情報提供装置、情報提供方法、情報提供処理プログラム、及び情報提供処理プログラムを記録した記録媒体
JP2010129032A (ja) 画像検索装置および画像検索プログラム
US9977793B2 (en) Information processing system, information processing method, and information processing apparatus
JP6210807B2 (ja) 表示制御装置及び表示制御装置の制御方法
JP2009301416A (ja) コンテンツ分類装置、コンテンツ検索装置、コンテンツ検索システム及びコンピュータプログラム
US10057321B2 (en) Image management apparatus and control method capable of automatically creating comment data relevant to an image
JP5272107B2 (ja) 情報提供装置、情報提供処理プログラム、情報提供処理プログラムを記録した記録媒体、及び情報提供方法
JP2009009182A (ja) 地物画像データ表示装置及び地物画像データ表示プログラム
US20090094188A1 (en) Facilitating identification of an object recorded in digital content records
JP2010015013A (ja) 地図情報生成装置
JP6115673B2 (ja) 装置、及びプログラム
JP2007166007A (ja) カメラ
JP2016045582A (ja) プログラム、情報処理装置及び方法
JP2008028688A (ja) 画像配信システム
JP5440197B2 (ja) 撮影対象スポットデータベースの構築装置、構築システム、及び構築方法
JP5387043B2 (ja) 情報提供装置、情報提供システムおよび情報提供プログラム
JP5636983B2 (ja) 画像出力装置、画像出力方法及びプログラム
JP4469292B2 (ja) モジュール選択装置、タスク展開装置、データ加工装置、モジュール選択方法およびプログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130716

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130719

R150 Certificate of patent or registration of utility model

Ref document number: 5325354

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees