JP6031924B2 - 画像検索装置、画像検索方法、制御プログラムおよび記録媒体 - Google Patents

Description

本発明は、複数の画像の中から、入力された文字列に基づいて画像を検索する画像検索装置、画像検索方法、制御プログラムおよび記録媒体に関するものである。

従来、複数の画像の中からキーワードに基づいて画像を検索する技術がある。例えば、特許文献１には、所定の時刻を示す時刻キーワードおよび所定の位置を示す位置キーワードをそれぞれ予め設定しておき、入力キーワードから時刻キーワードまたは位置キーワードを抽出すると、時刻キーワードの示す時刻または位置キーワードの示す位置に基づいて画像検索を行う技術が記載されている。また、特許文献２には、予めユーザの生年月日を登録しておき、画像検索を行う際にユーザ名とイベント内容を入力し、イベント内容の時期を生年月日から換算し、換算された日付と一致するまたはその近日の画像を出力する技術が記載されている。

特開２００７−１４１０７０号公報（２００７年６月７日公開） 特開２００２−３５８３０６号公報（２００２年１２月１３日公開） 特開２００９−２７１７５２号公報（２００９年１１月１９日公開）

しかしながら、従来のキーワードに基づく検索では、ユーザが所望する画像を検索することができない。ユーザは、多くの場合、キーワードによる検索を行う際に、キーワードが直接的に示す画像に加えて、当該画像と関連する画像も検索されることを望んでいる。

例えば、図１３に示すように、ユーザが「水族館」というキーワードを入力した場合、理想の検索結果としては、水族館の画像に加えて、水族館の中で撮影された魚の画像、または、水族館の前後に訪れた、近隣のスポットの画像等も提示されることが望ましい。しかしながら、従来のキーワードに基づく機械的な検索では、水族館の画像のみが検索され、魚の画像および近隣のスポットの画像等は検索されない。

特許文献１に記載の技術では、「水族館」は、時刻キーワードでも位置キーワードでもないため、上述のユーザが所望する画像を検索できない。また、特許文献２に記載の技術では、「水族館」は、ユーザ名から換算できるイベント内容ではないため、同様にユーザが所望する画像を検索できない。

なお、各画像に対してタグ等を付加することにより、従来の技術でもユーザが所望する画像を検索することはできるが、タグ等を画像に付加する作業は煩雑であり、この手法は、ユーザにとって有用なものではない。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、ユーザが所望する画像を検索する画像検索装置、画像検索方法、制御プログラムおよび記録媒体を実現することにある。

本発明に係る画像検索装置は、上記課題を解決するために、画像を検索する画像検索装置であって、ユーザが入力した文字列を取得する文字列取得手段と、上記文字列取得手段が取得した文字列に基づいて、基準画像を検索する基準画像検索手段と、上記文字列と、上記基準画像を基準とする距離および／または時間の範囲を示す関連範囲とが対応付けられた関連範囲情報を参照して、上記文字列取得手段が取得した文字列に対応する関連範囲を特定する関連範囲特定手段と、上記関連範囲特定手段が特定した関連範囲に基づいて、上記基準画像検索手段が検索した基準画像に関連する関連画像を検索する関連画像検索手段と、上記基準画像検索手段が検索した基準画像および上記関連画像検索手段が検索した関連画像を検索結果として出力する出力手段と、を備えることを特徴としている。

また、本発明に係る画像検索方法は、上記課題を解決するために、画像を検索する画像検索方法であって、ユーザが入力した文字列を取得する文字列取得ステップと、上記文字列取得ステップにおいて取得された文字列に基づいて、基準画像を検索する基準画像検索ステップと、上記文字列と、上記基準画像を基準とする距離および／または時間の範囲を示す関連範囲とが対応付けられた関連範囲情報を参照して、上記文字列取得ステップにおいて取得された文字列に対応する関連範囲を特定する関連範囲特定ステップと、上記関連範囲特定ステップにおいて特定された関連範囲に基づいて、上記基準画像検索ステップにおいて検索された基準画像に関連する関連画像を検索する関連画像検索ステップと、上記基準画像検索ステップにおいて検索された基準画像および上記関連画像検索ステップにおいて検索された関連画像を検索結果として出力する出力ステップと、を含むことを特徴としている。

上記の構成によれば、上記基準画像検索手段が、ユーザが入力した文字列に基づいて基準画像を検索し、上記関連画像検索手段が、上記文字列に対応する関連範囲に含まれる画像を、上記基準画像の関連画像として検索し、上記出力手段が基準画像および関連画像を検索結果として出力する。そのため、ユーザが入力した文字列から直接的に検索される画像に加えて、当該画像と時間的に近い画像および／または当該画像と距離的に近い画像を検索することができる。よって、ユーザが所望する画像を検索することができるという効果を奏する。

また、本発明に係る画像検索装置は、上記基準画像に対応付けられた日時に基づいて、上記関連範囲特定手段が特定した関連範囲を変更する関連範囲変更手段をさらに備え、上記関連画像検索手段は、上記関連範囲変更手段が変更した関連範囲に基づいて、上記関連画像を検索することが好ましい。

ユーザが所望する画像が古いもの（例えば、昔に撮影した画像）である場合、記憶が曖昧になっており、適切なキーワードが入力されない場合がある。この場合、所望する画像が検索されず、それに付随した画像が検索されることもある。

そこで、例えば、上記関連範囲変更手段が、上記基準画像に対応付けられた日時が古いほど、上記関連範囲を広く変更することにより、検索結果の画像が多めに出力される。多くの画像が提示されることにより、ユーザの記憶を呼び起こし、所望する画像に辿り着きやすくすることができる。

また、本発明に係る画像検索装置は、上記基準画像検索手段は、１または複数の画像検索手法を用いて上記基準画像を検索し、上記基準画像検索手段が使用した画像検索手法の判定結果に基づいて、上記関連範囲特定手段が特定した関連範囲を変更する関連範囲変更手段をさらに備え、上記関連画像検索手段は、上記関連範囲変更手段が変更した関連範囲に基づいて、上記関連画像を検索することが好ましい。

文字列に基づく検索の信頼性が高い場合、検索された基準画像は、文字列が直接的に示すものである可能性が高い。つまり、検索された基準画像は、ユーザが第一義に求めている画像である可能性が高い。一方、文字列に基づく検索の信頼性が低い場合、検索された基準画像は、文字列と関係の無い画像である場合もある。

そのため、例えば、上記基準画像検索手段が使用した画像検索手法の判定結果が検索の信頼性が高いことを示す場合、上記関連範囲変更手段が関連範囲を広げることにより、ユーザが所望すると考えられる画像を数多く提示することができると共に、提示した画像の中にユーザが求めていない画像が含まれる可能性が低い。

一方、上記判定結果が検索の信頼性が低いことを示す場合、基準画像の関連範囲には、ユーザが求めていない画像が含まれることが考えられる。よって、この場合、上記関連範囲変更手段が関連範囲を縮小することにより、ユーザが求めていない画像を必要以上に提示することを抑制することができる。

よって、ユーザに負担を掛けることなく、所望の画像を提示することができる。

また、本発明に係る画像検索装置は、上記文字列取得手段が複数の文字列を取得した場合、上記関連範囲特定手段は、上記文字列取得手段が取得した何れかの文字列に対応する関連範囲を特定することが好ましい。

また、本発明に係る画像検索装置は、上記基準画像検索手段が複数の基準画像を検索し、各基準画像の関連範囲が重複しない場合、上記文字列取得手段は、新たにユーザが入力した追加文字列を取得し、上記基準画像検索手段は、上記複数の基準画像に対して、上記追加文字列に基づいて画像検索を実行し、検索できた画像を基準画像とすることが好ましい。

複数の基準画像の関連範囲が重複しない場合、いずれかの基準画像は、ユーザが所望する画像ではない可能性が高い。そのため、複数の基準画像の関連範囲が重複しない場合、上記文字列取得手段が追加キーワードを新たに取得し、上記基準画像検索手段が上記複数の基準画像を追加キーワードに基づいて絞り込むことにより、ユーザが所望する画像を精度良く検索することができる。

なお、上記画像検索装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像検索装置の各手段として動作させることにより、上記画像検索装置をコンピュータにて実現させる制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。

以上のように、本発明に係る画像検索装置は、ユーザが入力した文字列を取得する文字列取得手段と、上記文字列取得手段が取得した文字列に基づいて、基準画像を検索する基準画像検索手段と、上記文字列と、上記基準画像を基準とする距離および／または時間の範囲を示す関連範囲とが対応付けられた関連範囲情報を参照して、上記文字列取得手段が取得した文字列に対応する関連範囲を特定する関連範囲特定手段と、上記関連範囲特定手段が特定した関連範囲に基づいて、上記基準画像検索手段が検索した基準画像に関連する関連画像を検索する関連画像検索手段と、上記基準画像検索手段が検索した基準画像および上記関連画像検索手段が検索した関連画像を検索結果として出力する出力手段と、を備えている構成である。

また、本発明に係る画像検索方法は、ユーザが入力した文字列を取得する文字列取得ステップと、上記文字列取得ステップにおいて取得された文字列に基づいて、基準画像を検索する基準画像検索ステップと、上記文字列と、上記基準画像を基準とする距離および／または時間の範囲を示す関連範囲とが対応付けられた関連範囲情報を参照して、上記文字列取得ステップにおいて取得された文字列に対応する関連範囲を特定する関連範囲特定ステップと、上記関連範囲特定ステップにおいて特定された関連範囲に基づいて、上記基準画像検索ステップにおいて検索された基準画像に関連する関連画像を検索する関連画像検索ステップと、上記基準画像検索ステップにおいて検索された基準画像および上記関連画像検索ステップにおいて検索された関連画像を検索結果として出力する出力ステップと、を含む。

したがって、ユーザが所望する画像を検索することができるという効果を奏する。

本発明の実施形態を示すものであり、画像検索装置の要部構成の一例を示すブロック図である。 上記画像検索装置の記憶部に格納されている関連範囲情報の一例を示す図である。 上記画像検索装置の記憶部に格納されている関連範囲変更情報の一例を示す図である。 上記画像検索装置が実行するキーワードに基づく画像検索処理の一例を示すフローチャートである。 基準画像の検索処理を示す図である。 関連画像の検索処理を示す図である。 上記画像検索装置が実行するキーワードに基づく画像検索処理の他の一例を示すフローチャートである。 基準画像とその関連範囲を示す図である。 上記画像検索装置が実行するキーワードに基づく画像検索処理の他の一例を示すフローチャートである。 検索された基準画像を示す図である。 上記基準画像を検索する際に使用した検索手法の判定結果を示す図である。 上記画像検索装置が実行するキーワードに基づく画像検索処理の他の一例を示すフローチャートである。 画像検索結果を示すものであり、理想的な検索結果および従来技術による検索結果を示す図である。

本発明の一実施形態について図１から図１２に基づいて説明すると以下の通りである。

〔画像検索装置の構成〕
まず、画像検索装置について図１に基づいて説明する。画像検索装置は、複数の画像の中から所定の画像を検索するものである。なお、本発明において、画像には、少なくとも時間情報または位置情報のどちらかが対応付けられているものとする。ここで、画像に対応付けられた時間情報とは、当該画像の撮影日時、当該画像の作成日時、当該画像の更新日時等の時間を示す情報である。また、画像に対応付けられた位置情報とは、当該画像を撮影した位置を示す情報等であり、例えば、ＧＰＳ（Global Positioning System）で測位した情報である。

画像検索装置は、画像を検索するものであれば何でも良く、例えば、ＰＣ、デジタルカメラ、デジタルビデオ、携帯電話機、スマートフォン、プリンター、デジタルテレビ、ＰＤＡ（Personal Digital Assistant）、ゲーム機、写真を撮影して印刷する装置、画像を編集する装置などの電子機器に搭載されていてよい。

図１は、画像検索装置１の要部構成の一例を示すブロック図である。図１に示すように、画像検索装置１は、制御部１１、記憶部１２、画像入力部１３、表示部１４および操作部１５を備えている。なお、画像検索装置１は、通信部、音声入力部、音声出力部等の部材を備えていてもよいが、発明の特徴点とは関係がないため当該部材を図示していない。

画像入力部１３は、外部の画像提供装置（不図示）とのインターフェースであり、画像検索装置１が外部から画像を取得するためのものである。画像提供装置は、保持している画像または取得した画像を他の装置に提供する装置であれば何でもよい。例えば、画像提供装置は、デジタルカメラ、デジタルビデオ、デジタルテレビ、サーバ、ＰＣ、携帯電話機、スマートフォン、ＰＤＡ（Personal Digital Assistant）、ゲーム機、ＵＳＢ（Universal Serial Bus）メモリ等の記憶装置などである。

なお、画像入力部１３が無線通信機能または有線通信機能を有している場合、画像検索装置１は、ネットワーク上の画像提供装置から画像を取得してもよい。また、画像検索装置１は、画像入力部１３の代わりに、カメラを備えていてもよい。

表示部１４は、制御部１１の指示に従って画像を表示するものである。表示部１４は、制御部１１の指示に従って画像を表示するものであればよく、例えば、ＬＣＤ（液晶ディスプレイ）、有機ＥＬディスプレイ、プラズマディスプレイなどを適用することが可能である。

なお、画像検索装置１は、表示部１４を備えていなくてもよい。この場合、画像検索装置１は、外部の表示装置に画像を出力して、表示装置に画像を表示させる。

操作部１５は、ユーザが画像検索装置１に指示信号を入力し、画像検索装置１を操作するためのものである。操作部１５は、キーボード、マウス、キーパッド、操作ボタンなどの入力機器等で構成されているものであってもよい。また、操作部１５と表示部１４とが一体となっているタッチパネルであってもよい。また、操作部１５は、画像検索装置１と別体のリモートコントローラ等の遠隔制御装置であってもよい。

本発明では、操作部１５は、画像検索を実行するためのキーワードを入力するために用いられる。

制御部１１は、記憶部１２から一時記憶部（不図示）に読み出されたプログラムを実行することにより、各種の演算を行うと共に、画像検索装置１が備える各部を統括的に制御するものである。

本実施形態では、制御部１１は、機能ブロックとして、画像取得部２１、キーワード取得部（文字列取得手段）２２、基準画像検索部（基準画像検索手段）２３、関連範囲特定部（関連範囲特定手段）２４、関連画像検索部（関連画像検索手段）２５、関連範囲変更部（関連範囲変更手段）２６および画像出力部（出力手段）２７を備える構成である。これらの制御部１１の各機能ブロック（２１〜２７）は、ＣＰＵ（central processing unit）が、ＲＯＭ（read only memory）等で実現された記憶装置に記憶されているプログラムをＲＡＭ（random access memory）等で実現された一時記憶部に読み出して実行することで実現できる。

画像取得部２１は、画像入力部１３を介して、画像提供装置から画像を取得するものである。画像取得部２１は、取得した画像を基準画像検索部２３および関連画像検索部２５に出力する。なお、記憶部１２に画像が記憶されている場合、画像取得部２１は、記憶部１２から画像を読み出してもよい。以下では、画像取得部２１が取得した画像を入力画像と称する。

キーワード取得部２２は、操作部１５を介してユーザが入力したキーワードを取得するものである。キーワード取得部２２は、取得したキーワードを基準画像検索部２３および関連範囲特定部２４に出力する。

基準画像検索部２３は、画像取得部２１から入力画像を取得すると共に、キーワード取得部２２からキーワードを取得し、入力画像の中から、キーワードに基づいて画像を検索するものである。基準画像検索部２３がキーワードに基づいて検索した画像を基準画像と称する。

基準画像検索部２３は、検索した基準画像を関連画像検索部２５および画像出力部２７に出力する。なお、基準画像検索部２３は、キーワードに基づいて画像を検索できなかった場合、検索結果の対象が無い旨を画像出力部２７に通知する。

なお、基準画像検索部２３が実行する、キーワードに基づいて基準画像を検索する検索手法は任意でよい。例えば、シーン認識、文字列検出、ロゴ検出、位置判定（ＧＰＳ）、顔検出、人体検出等を用いてもよい。シーン認識とは、入力されたキーワードに対応するシーンと一致および／または類似する画像を検索するものである。また、文字列検出とは、入力されたキーワードが検出された画像を検索結果として出力するものである。また、ロゴ検出とは、入力されたキーワードに対応するロゴが検出された画像を検索結果として出力するものである。また、位置判定とは、入力されたキーワードに対応する位置を示す位置情報が対応付けられた画像を検索結果として出力するものである。また、顔検出とは、入力されたキーワードに対応する顔が検出された画像を検索結果として出力するものである。また、人体検出とは、入力されたキーワードに対応する人体が検出された画像を検索結果として出力するものである。

関連範囲特定部２４は、キーワード取得部２２からキーワードを取得すると共に、記憶部１２から関連範囲情報を読み出し、読み出した関連範囲情報を参照して、関連範囲情報において、キーワードに対応する関連範囲を特定するものである。関連範囲特定部２４は、特定した関連範囲を関連画像検索部２５に出力する。また、関連範囲特定部２４は、特定した関連範囲を関連範囲変更部にも出力してもよい。

ここで、関連範囲とは、基準画像を基準とする距離および／または時間の範囲を示すものである。なお、関連範囲情報に関して詳細は後述する。

関連画像検索部２５は、画像取得部２１から入力画像を取得すると共に、関連範囲特定部２４から関連範囲を取得し、入力画像の中から、基準画像を基準とした関連範囲に含まれる画像を特定するものである。関連画像検索部２５が関連範囲に基づいて特定した画像を関連画像と称する。関連画像検索部２５は、特定した関連画像を画像出力部２７に出力する。

なお、関連画像検索部２５は、関連範囲変更部２６から関連範囲を取得した場合、関連範囲変更部２６から取得した関連範囲に基づいて、関連画像を検索する。

関連範囲変更部２６は、関連範囲特定部２４から関連範囲を取得し、取得した関連範囲を変更するものである。関連範囲変更部２６は、変更後の関連範囲を関連画像検索部２５に出力する。

具体的には、関連範囲変更部２６は、基準画像に対応付けられている時間情報に基づいて、関連範囲を変更してもよい。例えば、関連範囲変更部２６は、基準画像の撮影時間が古い場合（基準画像が昔の画像の場合）、関連範囲（時間範囲および／または距離範囲）をより大きい範囲に変更してもよい。また、関連範囲変更部２６は、基準画像の撮影時間が新しい場合（基準画像が最近の画像の場合）、関連範囲（時間範囲および／または距離範囲）をより小さい範囲に変更してもよい。

また、関連範囲変更部２６は、基準画像を検索する際に使用した検索手法の判定結果に基づいて、関連範囲を変更してもよい。例えば、基準画像を検索する際に、シーン認識、文字列検出、ロゴ検出、位置判定、顔検出および人体検出の６つの検索手法を使用したとする。この場合、基準画像検索部２３は、各検索手法の判定結果として、基準画像を検索できたか否かを出力し、関連範囲変更部２６は、基準画像を検索できた検索手法の数に応じて、関連範囲を変更してもよい。より具体的には、関連範囲変更部２６は、基準画像を検索できた検索手法の数が多いほど、関連範囲をより大きい範囲に変更してもよい。

さらに、基準画像検索部２３は、各検索手法の判定結果として、各検索手法による基準画像の確からしさ（信頼度）を出力し、関連範囲変更部２６は、各検索手法の判定結果である基準画像の信頼度に基づいて、関連範囲を変更してもよい。より具体的には、関連範囲変更部２６は、距離関連範囲Ａｄを、Ａｄ＝Ａｄ＊（１＋Ｒｓ＊Ｋｓ＋Ｒｃ＊Ｋｃ＋Ｒｌ＊Ｋｌ＋Ｒｐ＊Ｋｐ＋Ｒｆ＊Ｋｆ＋Ｒｂ＊Ｋｂ）とし、時間関連範囲Ａｔを、Ａｔ＝Ａｔ＊（１＋Ｒｓ＊Ｋｓ＋Ｒｃ＊Ｋｃ＋Ｒｌ＊Ｋｌ＋Ｒｐ＊Ｋｐ＋Ｒｆ＊Ｋｆ＋Ｒｂ＊Ｋｂ）として算出して、関連範囲を変更してもよい。ここで、Ｒｓ、Ｒｃ、Ｒｌ、Ｒｐ、Ｒｆ、Ｒｂは、それぞれ、シーン認識、文字列検出、ロゴ検出、位置判定、顔検出、人体検出による信頼度である。また、Ｋｓ、Ｋｃ、Ｋｌ、Ｋｐ、Ｋｆ、Ｋｂは、それぞれ、シーン認識、文字列検出、ロゴ検出、位置判定、顔検出、人体検出による信頼度の重み付け係数である。なお、上記式の例では、信頼度は、０％〜１００％の値をとるものとし、０％が基準画像を検索できなかったことを示し、値が大きくなるほど、基準画像である可能性が高いことを示す。

画像出力部２７は、基準画像検索部２３から基準画像を取得すると共に、関連画像検索部２５から関連画像を取得し、取得した基準画像および関連画像を、入力されたキーワードによる画像検索の結果として、表示部１４に表示させるものである。また、画像出力部２７は、基準画像検索部２３から検索結果の対象が無いことを示す通知を受信した場合、入力されたキーワードに基づいて画像検索ができなかったことを示す情報を表示部１４に表示させる。

なお、画像出力部２７は、基準画像および関連画像を、通信部（不図示）を介して、他の装置（例えば、表示装置）に出力してもよいし、記憶部１２に格納してもよい。

記憶部１２は、制御部１１が参照するプログラムやデータ等を格納するものであり、例えば、基準画像、関連画像である画像データ４１、上記関連範囲情報４２等を格納している。

記憶部１２に格納されている関連範囲情報４２および関連範囲変更情報４３についてそれぞれ図２および図３に基づいて説明する。図２は、記憶部１２に格納されている関連範囲情報４２の一例を示す図である。また、図３は、記憶部１２に格納されている関連範囲変更情報４３の一例を示す図である。

図２に示すように、関連範囲情報４２は、各キーワードに、関連範囲（時間範囲および／または距離範囲）がそれぞれ対応付けられたものである。本実施形態では、時間範囲は、基準画像に対応付けられた時間情報の示す時間（例えば、撮影時間）を中心とした前後の時間範囲を示す。ただし、これに限るものではなく、時間範囲を、例えば、基準画像の撮影時間以後の５時間の範囲としてもよいし、当該撮影時間以前の５時間の範囲としてもよい。また、本実施形態では、距離範囲は、基準画像に対応付けられた位置情報の示す位置を中心とする半径を示す。ただし、これに限るものではなく、距離範囲は、基準画像に対応付けられた位置情報の示す位置を含む地理的な範囲であれば、どのような定義であってもよい。このように、キーワードに対応する関連範囲は、キーワードに基づく関連画像を適切に検索できるように、適宜設定すればよい。

図３に示すように、関連範囲変更情報４３は、基準画像に対応付けられている時間情報の示す時間（検索時点を基準とする日時）と、関連範囲の変更の程度とが対応付けられたものである。図３に示す例では、日時に対して関連範囲の変更率が対応付けられている。ただし、これに限るものではなく、例えば、加算値または減算値（＋２時間、−０．５ｋｍ等）であってもよい。また、日時の区分も任意であってよい。

〔実施例１〕
次に、画像検索装置１が実行するキーワードに基づく画像検索処理の一例（実施例１）について図４に基づいて説明する。図４は、画像検索装置１が実行するキーワードに基づく画像検索処理の一例を示すフローチャートである。

ここでは、ユーザが水族館で撮影した画像を検索したいと考え、キーワードとして「水族館」という文字列を入力するものとする。また、記憶部１２には、図２に示す関連範囲情報４２が格納されているものとする。また、画像には、撮影時間を示す時間情報およびＧＰＳによる距離情報が対応付けられているものとする。

図４に示すように、まず、画像取得部２１は、画像入力部１３を介して外部の画像提供装置から、複数の画像（入力画像）を取得する（Ｓ１）。そして、キーワード取得部２２は、操作部１５を介してユーザが入力したキーワード「水族館」を取得する（Ｓ２）。

次に、基準画像検索部２３は、複数の入力画像の中からキーワード「水族館」に基づいて画像を検索する（Ｓ３）。このとき、キーワードに基づいて画像が検索できなかった場合（Ｓ４でＮＯ）、基準画像検索部２３は、検索結果の対象が無い旨を画像出力部２７に通知する。そして、画像出力部２７は、入力されたキーワードに基づいて画像検索ができなかったことを示す情報を表示部１４に表示させる（Ｓ９）。一方、キーワードに基づいて画像が検索できた場合（Ｓ４でＹＥＳ）、基準画像検索部２３は、キーワードに基づいて検索した画像を基準画像とする（Ｓ５）。

ここでは、図５に示すように、複数の入力画像６１の中から、水族館の外観の画像６２が検索されたものとする。すなわち、画像６２が基準画像となる。

関連範囲特定部２４は、記憶部１２から関連範囲情報４２を読み出し、読み出した関連範囲情報４２を参照して、関連範囲情報４２において、キーワード「水族館」に対応する関連範囲を特定する（Ｓ６）。具体的には、関連範囲特定部２４は、関連範囲として、時間範囲を、基準画像６２の撮影時間を基準とする前後８時間の範囲とし、距離範囲が基準画像６２の位置を中心とする半径５ｋｍの範囲とする。

次に、関連画像検索部２５は、複数の入力画像６１の中から、基準画像６２を基準とした関連範囲に含まれる画像を検索する（Ｓ７）。具体的には、図６に示すように、関連画像検索部２５は、複数の入力画像６１の中から、基準画像６２の位置を中心とする半径５ｋｍの範囲に含まれる画像を距離関連画像として特定する。それと共に、関連画像検索部２５は、複数の入力画像６１の中から、基準画像６２の撮影時間を基準とする前後８時間の範囲に含まれる画像を時間関連画像として特定する。ここでは、図６に示すように、関連画像検索部２５は、距離関連画像として、画像６３〜６６を特定し、時間関連画像として、画像６３〜６７を特定したとする。そして、関連画像検索部２５は、距離関連画像、かつ、時間関連画像である画像６３〜６６を関連画像として特定する。

そして、画像出力部２７は、基準画像６２および関連画像６３〜６６を、入力されたキーワード「水族館」による画像検索の結果として、表示部１４に表示させる（Ｓ８）。

なお、本実施例では、関連画像検索部２５は、距離関連画像、かつ、時間関連画像である画像を関連画像として特定しているが、これに限るものではない。例えば、関連画像検索部２５は、距離関連画像、または、時間関連画像に該当する画像を関連画像として特定してもよい。また、関連画像検索部２５は、距離関連画像のみを関連画像として特定してもよいし、時間関連画像のみを関連画像として特定してもよい。

また、複数のキーワードが入力された場合（Ｓ１においてキーワード取得部２２が複数のキーワードを取得した場合）、Ｓ６において、関連範囲特定部２４は、先頭（最初）のキーワードに対応する範囲を関連範囲として特定してもよい。また、関連範囲特定部２４は、各キーワードに対応する範囲が重複する範囲を関連範囲としてもよい。また、関連範囲特定部２４は、各キーワードに対応する範囲を含む範囲を関連範囲としてもよい。また、関連範囲特定部２４は、入力された複数のキーワードのうちの何れかのキーワードに対応する範囲を関連範囲としてもよい。

〔実施例２〕
次に、画像検索装置１が実行するキーワードに基づく画像検索処理の他の一例（実施例２）について図７に基づいて説明する。図７は、画像検索装置１が実行するキーワードに基づく画像検索処理の他の一例を示すフローチャートである。

本実施例では、実施例１と異なり、基準画像に対応付けられている時間情報に基づいて、キーワードに対応する関連範囲を変更して、関連画像を特定する。以下では、実施例２の特有の処理について説明する。

ここでは、ユーザがペンギンが撮影された画像を検索したいと考え、キーワードとして「ペンギン」という文字列を入力するものとする。また、記憶部１２には、図２に示す関連範囲情報４２、および図３に示す関連範囲変更情報４３が格納されているものとする。また、画像には、撮影時間を示す時間情報およびＧＰＳによる距離情報が対応付けられているものとする。

図７に示すように、実施例１と同様に、Ｓ１〜Ｓ６を実行して、基準画像を検索し、関連範囲を特定する。図８に示すように、ここでは、基準画像として、ペンギンの画像７１が検索されたとし、この基準画像７１に対応付けられている時間情報は、１年前の撮影時間を示すものとする。また、関連範囲特定部２４は、図２に示す関連範囲情報４２を参照して、関連範囲として、時間範囲を、基準画像７１の撮影時間を基準とする前後５時間の範囲とし、距離範囲が基準画像７１の位置を中心とする半径２ｋｍの範囲とする。

次に、関連範囲変更部２６は、記憶部１２から関連範囲変更情報４３を読み出し、読み出した関連範囲変更情報４３を参照して、関連範囲特定部２４が特定した関連範囲を変更する（Ｓ１１）。具体的には、基準画像７１が１年前のものであるため、関連範囲変更部２６は、時間範囲を１．２倍して前後６時間の範囲に変更し、距離範囲を１．５倍して半径３ｋｍの範囲に変更する。

そして、関連画像検索部２５は、関連範囲変更部２６が変更した関連範囲に基づいて、複数の入力画像の中から、基準画像７１を基準とした変更後の関連範囲に含まれる画像を検索する（Ｓ１２）。画像出力部２７は、基準画像７１および関連画像を、入力されたキーワード「ペンギン」による画像検索の結果として、表示部１４に表示させる（Ｓ８）。

求めている画像が古いもの（例えば、昔に撮影した画像）である場合、記憶が曖昧になっており、適切なキーワードが入力されない場合がある。この場合、所望する画像が検索されず、それに付随した画像が検索されることもある。そのため、基準画像に対応付けられている時間情報の示す日時が古い場合、関連範囲を広げて検索結果の画像を多めに出力することにより、ユーザの記憶を呼び起こし、所望する画像に辿り着きやすくすることができる。

〔実施例３〕
次に、画像検索装置１が実行するキーワードに基づく画像検索処理の他の一例（実施例３）について図９に基づいて説明する。図９は、画像検索装置１が実行するキーワードに基づく画像検索処理の他の一例を示すフローチャートである。

本実施例では、実施例１と異なり、基準画像を検索する際に使用した検索手法の判定結果に基づいて、キーワードに対応する関連範囲を変更して、関連画像を特定する。以下では、実施例３の特有の処理について説明する。

ここでは、ユーザが運動会の画像を検索したいと考え、キーワードとして「運動会」という文字列を入力するものとする。また、記憶部１２には、図２に示す関連範囲情報４２が格納されているものとする。また、画像には、撮影時間を示す時間情報およびＧＰＳによる距離情報が対応付けられているものとする。

また、基準画像を検索する際の検索手法として、シーン認識、文字列検出、ロゴ検出、位置判定、顔検出、人体検出の６つの手法を用いるものとする。また、関連範囲変更部２６は、距離関連範囲Ａｄを、Ａｄ＝Ａｄ＊（１＋Ｒｓ＊Ｋｓ＋Ｒｃ＊Ｋｃ＋Ｒｌ＊Ｋｌ＋Ｒｐ＊Ｋｐ＋Ｒｆ＊Ｋｆ＋Ｒｂ＊Ｋｂ）とし、時間関連範囲Ａｔを、Ａｔ＝Ａｔ＊（１＋Ｒｓ＊Ｋｓ＋Ｒｃ＊Ｋｃ＋Ｒｌ＊Ｋｌ＋Ｒｐ＊Ｋｐ＋Ｒｆ＊Ｋｆ＋Ｒｂ＊Ｋｂ）として算出するものとする。また、Ｋｓ＝０．５、Ｋｃ＝０．１、Ｋｌ＝０．１、Ｋｐ＝０．２、Ｋｆ＝０．０５、Ｋｂ＝０．０５とする。

図９に示すように、実施例１と同様に、Ｓ１〜Ｓ６を実行して、基準画像を検索し、関連範囲を特定する。ここでは、基準画像として、図１０に示す運動会の画像８１が検索されたとし、この基準画像８１を検索する際に使用した検索手法の判定結果が図１１に示す結果であったとする。また、関連範囲特定部２４は、図２に示す関連範囲情報４２を参照して、関連範囲として、時間範囲を、基準画像８１の撮影時間を基準とする前後１時間の範囲とし、距離範囲が基準画像８１の位置を中心とする半径０．５ｋｍの範囲とする。

次に、関連範囲変更部２６は、基準画像検索部２３の判定結果に基づいて、関連範囲特定部２４が特定した関連範囲を変更する（Ｓ１３）。具体的には、関連範囲変更部２６は、上記の式に基づいて、時間範囲を前後１．６８２時間の範囲に変更し、距離範囲を半径０．８４１ｋｍの範囲に変更する。

そして、関連画像検索部２５は、関連範囲変更部２６が変更した関連範囲に基づいて、複数の入力画像の中から、基準画像８１を基準とした変更後の関連範囲に含まれる画像を検索する（Ｓ１２）。画像出力部２７は、基準画像８１および関連画像を、入力されたキーワード「運動会」による画像検索の結果として、表示部１４に表示させる（Ｓ８）。

キーワードに基づく検索の信頼性が高い場合、検索された基準画像は、キーワードが直接的に示すものである可能性が高い。つまり、検索された基準画像は、ユーザが第一義に求めている画像である可能性が高い。一方、キーワードに基づく検索の信頼性が低い場合、検索された基準画像は、キーワードと関係の無い画像である場合もある。そのため、検索の信頼性が高い場合、関連範囲を広げても、ユーザが求めていない画像が含まれる可能性が低い。一方、検索の信頼性が低い場合、基準画像の関連範囲には、ユーザが求めていない画像が含まれることが考えられる。よって、検索の信頼性に応じて、関連範囲を拡大したり、縮小したりすることにより、ユーザに負担を掛けることなく、所望の画像を提示することができる。

〔実施例４〕
次に、画像検索装置１が実行するキーワードに基づく画像検索処理の他の一例（実施例４）について図１２に基づいて説明する。図１２は、画像検索装置１が実行するキーワードに基づく画像検索処理の他の一例を示すフローチャートである。

本実施例では、複数の基準画像が検索され、各基準画像の関連範囲が重複しない場合に、ユーザに追加キーワードの入力を促し、基準画像を絞り込む処理について説明する。

図１２に示すように、まず、画像取得部２１は、画像入力部１３を介して外部の画像提供装置から、複数の画像（入力画像）を取得する（Ｓ２１）。そして、キーワード取得部２２は、操作部１５を介してユーザが入力したキーワードを取得する（Ｓ２２）。

次に、基準画像検索部２３は、複数の入力画像の中からキーワードに基づいて画像を検索する（Ｓ２３）。このとき、キーワードに基づいて画像が検索できなかった場合（Ｓ２４でＮＯ）、基準画像検索部２３は、検索結果の対象が無い旨を画像出力部２７に通知する。そして、画像出力部２７は、入力されたキーワードに基づいて画像検索ができなかったことを示す情報を表示部１４に表示させる（Ｓ３４）。一方、キーワードに基づいて画像が検索できた場合（Ｓ２４でＹＥＳ）、基準画像検索部２３は、キーワードに基づいて検索した画像を基準画像とする（Ｓ２５）。

ここでは、上述のように、複数の入力画像の中から、複数の基準画像が検索されたものとする。

関連範囲特定部２４は、記憶部１２から関連範囲情報４２を読み出し、読み出した関連範囲情報４２を参照して、関連範囲情報４２において、キーワードに対応する関連範囲を特定する（Ｓ２６）。

次に、関連画像検索部２５は、基準画像が複数あるか否かを判定する（Ｓ２７）。基準画像が複数あるため（Ｓ２７でＹＥＳ）、続いて、関連画像検索部２５は、各基準画像の関連範囲が重複しているか否かを判定する（Ｓ２８）。

ここで、各基準画像の関連範囲が重複していない場合（Ｓ２８でＮＯ）、例えば表示部１４に情報を表示して、ユーザに追加キーワードを入力するように通知する。そして、キーワード取得部２２は、操作部１５を介してユーザが入力した追加キーワードを取得する（Ｓ３２）。基準画像検索部２３は、複数の基準画像の中から追加キーワードに基づいて画像を検索し（Ｓ３３）、Ｓ２４に戻る。

Ｓ２８において、各基準画像の関連範囲が重複している場合（Ｓ２８でＹＥＳ）、関連画像検索部２５は、複数の入力画像の中から、重複する関連範囲に含まれる画像を関連画像として特定する。そして、画像出力部２７は、基準画像および関連画像を、入力されたキーワードによる画像検索の結果として、表示部１４に表示させる（Ｓ３１）。

また、Ｓ２７において、基準画像が１つの場合（Ｓ２７でＮＯ）、関連画像検索部２５は、複数の入力画像の中から、基準画像を基準とした関連範囲に含まれる画像を関連画像として特定する。そして、画像出力部２７は、基準画像および関連画像を、入力されたキーワードによる画像検索の結果として、表示部１４に表示させる（Ｓ３１）。

なお、追加キーワードが入力された場合、Ｓ２６において、関連範囲特定部２４は、最初に入力されたキーワードに基づいて関連範囲を特定してもよいし、最初に入力されたキーワードおよび追加キーワードに基づいて関連範囲を特定してもよい。

また、Ｓ３０において、関連画像検索部２５は、重複する関連範囲ではなく、いずれかの基準画像の関連範囲に含まれる画像を関連画像として特定してもよい。

複数の基準画像の関連範囲が重複しない場合、いずれかの基準画像は、ユーザが所望する画像ではない可能性が高い。そのため、複数の基準画像の関連範囲が重複しない場合、基準画像をさらに絞り込むための追加キーワードをユーザに入力させることにより、ユーザが所望する画像を精度良く検索することができる。

〔補足〕
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

〔ソフトウェアによる実現例〕
最後に、画像検索装置１の各ブロック、特に制御部１１は、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。

後者の場合、画像検索装置１は、各機能を実現するプログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像検索装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像検索装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、一時的でない有形の媒体（non-transitory tangible medium）、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ（登録商標）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。

また、画像検索装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は、画像を検索する画像検索装置に利用することができる。

１ 画像検索装置
２１ 画像取得部
２２ キーワード取得部（文字列取得手段）
２３ 基準画像検索部（基準画像検索手段）
２４ 関連範囲特定部（関連範囲特定手段）
２５ 関連画像検索部（関連画像検索手段）
２６ 関連範囲変更部（関連範囲変更手段）
２７ 画像出力部（出力手段）

Claims (8)

1. 画像を検索する画像検索装置であって、
   ユーザが入力した文字列を取得する文字列取得手段と、
   上記文字列取得手段が取得した文字列に基づいて、基準画像を検索する基準画像検索手段であって、１または複数の画像検索手法を用いて上記基準画像を検索する基準画像検索手段と、
   上記文字列と、上記基準画像を基準とする距離および／または時間の範囲を示す関連範囲とが対応付けられた関連範囲情報を参照して、上記文字列取得手段が取得した文字列に対応する関連範囲を特定する関連範囲特定手段と、
   上記基準画像検索手段が使用した画像検索手法の判定結果に基づいて、上記関連範囲特定手段が特定した関連範囲を変更する関連範囲変更手段と、
   上記関連範囲変更手段が変更した関連範囲に基づいて、上記基準画像検索手段が検索した基準画像に関連する関連画像を検索する関連画像検索手段と、
   上記基準画像検索手段が検索した基準画像および上記関連画像検索手段が検索した関連画像を検索結果として出力する出力手段と、を備えることを特徴とする画像検索装置。
2. 画像を検索する画像検索装置であって、
   ユーザが入力した文字列を取得する文字列取得手段と、
   上記文字列取得手段が取得した文字列に基づいて、基準画像を検索する基準画像検索手段と、
   上記文字列と、上記基準画像を基準とする距離および／または時間の範囲を示す関連範囲とが対応付けられた関連範囲情報を参照して、上記文字列取得手段が取得した文字列に対応する関連範囲を特定する関連範囲特定手段と、
   上記関連範囲特定手段が特定した関連範囲に基づいて、上記基準画像検索手段が検索した基準画像に関連する関連画像を検索する関連画像検索手段と、
   上記基準画像検索手段が検索した基準画像および上記関連画像検索手段が検索した関連画像を検索結果として出力する出力手段と、を備え、
   上記基準画像検索手段が複数の基準画像を検索し、各基準画像の関連範囲が重複しない場合、上記文字列取得手段は、新たにユーザが入力した追加文字列を取得し、
   上記基準画像検索手段は、上記複数の基準画像に対して、上記追加文字列に基づいて画像検索を実行し、検索できた画像を基準画像とすることを特徴とする画像検索装置。
3. 上記基準画像に対応付けられた日時に基づいて、上記関連範囲特定手段が特定した関連範囲を変更する関連範囲変更手段をさらに備え、
   上記関連画像検索手段は、上記関連範囲変更手段が変更した関連範囲に基づいて、上記関連画像を検索することを特徴とする請求項２に記載の画像検索装置。
4. 上記文字列取得手段が複数の文字列を取得した場合、上記関連範囲特定手段は、上記文字列取得手段が取得した何れかの文字列に対応する関連範囲を特定することを特徴とする請求項１〜３の何れか１項に記載の画像検索装置。
5. 画像を検索する画像検索方法であって、
   ユーザが入力した文字列を取得する文字列取得ステップと、
   上記文字列取得ステップにおいて取得された文字列に基づいて、基準画像を検索する基準画像検索ステップであって、１または複数の画像検索手法を用いて上記基準画像を検索する基準画像検索ステップと、
   上記文字列と、上記基準画像を基準とする距離および／または時間の範囲を示す関連範囲とが対応付けられた関連範囲情報を参照して、上記文字列取得ステップにおいて取得された文字列に対応する関連範囲を特定する関連範囲特定ステップと、
   上記基準画像検索ステップで使用した画像検索手法の判定結果に基づいて、上記関連範囲特定ステップで特定した関連範囲を変更する関連範囲変更ステップと、
   上記関連範囲変更ステップで変更した関連範囲に基づいて、上記基準画像検索ステップにおいて検索された基準画像に関連する関連画像を検索する関連画像検索ステップと、
   上記基準画像検索ステップにおいて検索された基準画像および上記関連画像検索ステップにおいて検索された関連画像を検索結果として出力する出力ステップと、を含むことを特徴とする画像検索方法。
6. 画像を検索する画像検索方法であって、
   ユーザが入力した文字列を取得する文字列取得ステップと、
   上記文字列取得ステップにおいて取得された文字列に基づいて、基準画像を検索する基準画像検索ステップと、
   上記文字列と、上記基準画像を基準とする距離および／または時間の範囲を示す関連範囲とが対応付けられた関連範囲情報を参照して、上記文字列取得ステップにおいて取得された文字列に対応する関連範囲を特定する関連範囲特定ステップと、
   上記関連範囲特定ステップにおいて特定された関連範囲に基づいて、上記基準画像検索ステップにおいて検索された基準画像に関連する関連画像を検索する関連画像検索ステップと、
   上記基準画像検索ステップにおいて検索された基準画像および上記関連画像検索ステップにおいて検索された関連画像を検索結果として出力する出力ステップと、を含み、
   上記基準画像検索ステップでは複数の基準画像を検索し、各基準画像の関連範囲が重複しない場合、新たにユーザが入力した追加文字列を取得するとともに、上記複数の基準画像に対して、上記追加文字列に基づいて画像検索を実行し、検索できた画像を基準画像とすることを特徴とする画像検索方法。
7. 請求項１〜４の何れか１項に記載の画像検索装置を動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
8. 請求項７に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images