JP6377917B2 - 画像検索装置及び画像検索プログラム - Google Patents

Description

本発明は、キーワードに対する画像を検索する画像検索装置及び画像検索プログラムに関する。

従来、インターネットの画像検索サービスでは、Ｗｅｂページ内に掲載されている画像と、画像の周辺に配置されている言語情報との共起データに基づいて、キーワードから画像が検索される。例えば、画像の周辺に現れるキャプション等の語がこの画像の内容を表していると仮定して、画像と語との関連付けが行われる。そして、この語による検索要求が発生した際に、関連付けられている画像が検索結果として提示される。
また、このような画像検索の結果を分類提示する方法が提案されている（例えば、特許文献１参照）。

特開２００６−３５０６５５号公報

しかしながら、前述の画像検索の方法は、画像と語との関連付けが行われていることが前提である。このため、言語情報がない映像アーカイブ又は画像データ群等を対象として、キーワードにより画像を検索することは難しかった。

本発明は、言語情報を含まない画像データをキーワードにより検索できる画像検索装置及び画像検索プログラムを提供することを目的とする。

本発明に係る画像検索装置は、キーワードに基づく検索結果として複数の画像を収集する収集部と、前記複数の画像それぞれの特徴量を計算する計算部と、前記特徴量に基づいて、前記複数の画像を複数のグループに分類する分類部と、前記複数のグループそれぞれに含まれる画像を計数する計数部と、前記計数の結果に基づき、画像の数が上位のグループを優先して選択する選択部と、前記選択部により選択されたグループの画像を学習データとして、前記キーワードに対する画像を識別するための識別器を生成する生成部と、前記識別器により、所定の画像データベースから類似画像を検索する検索部と、を備える。

この構成によれば、画像検索装置は、同じキーワードと関連付けられている特徴量が類似した画像をカウントすることにより、より多くの関連付けが存在しキーワードを表現している可能性が高い画像群を自動的に選択できる。さらに、画像検索装置１は、この選択された検索結果を、キーワードを表現した画像を識別するための識別器の学習データとして利用するので、精度の高い学習データを自動的に取得して、効率的に精度良く識別器を生成できる。
この結果、画像検索装置は、自動学習された識別器を用いて、詳細な言語情報を含まないデータベースから、キーワードにより画像を検索できる。

前記生成部は、前記グループ毎に複数の識別器を生成してもよい。

この構成によれば、画像検索装置は、同一のキーワードに対して複数の識別器を生成できるので、同一のキーワードから、異なる印象の画像を別々に検索できる。

本発明に係る画像検索装置は、キーワードに基づく検索結果として複数の画像を収集する収集部と、前記複数の画像それぞれの特徴量を計算する計算部と、前記特徴量に基づいて、前記複数の画像を複数のグループに分類する分類部と、前記複数のグループそれぞれに含まれる画像を計数する計数部と、前記計数の結果に基づき、画像の数が上位のグループを優先して選択する選択部と、前記選択部により選択されたグループ内の画像を代表する特徴量を算出し、所定の画像データベースから類似画像を検索する検索部と、を備える。

この構成によれば、画像検索装置は、キーワードに関連付けられた画像を特徴量の類似度によりグループ化し、画像数が上位のグループそれぞれの代表特徴量に基づいて、データベースから類似画像を検索できる。したがって、画像検索装置は、キーワードに対応する画像を、このキーワードが付与されていない画像データベースから類似画像検索技術を用いて検索できる。

前記複数のグループの数は、予め指定されてもよい。

この構成によれば、画像検索装置は、グループの数が予め指定されることにより、分類処理における負荷を低減できる。

前記選択部は、画像の数が所定未満のグループを除外してもよい。

この構成によれば、画像検索装置は、複数のグループのうち、画像数が所定未満のクラスタを除外することにより、容易に信頼度の高い画像群を選択できる。

前記選択部は、画像の数が上位のグループから所定数のグループのみを選択してもよい。

この構成によれば、画像検索装置は、複数のグループのうち、画像数の上位から所定数のグループを選択することにより、容易に信頼度の高い画像群を選択できる。

本発明に係る画像検索プログラムは、キーワードに基づく検索結果として複数の画像を収集する収集ステップと、前記複数の画像それぞれの特徴量を計算する計算ステップと、前記特徴量に基づいて、前記複数の画像を複数のグループに分類する分類ステップと、前記複数のグループそれぞれに含まれる画像を計数する計数ステップと、前記計数の結果に基づき、画像の数が上位のグループを優先して選択する選択ステップと、前記選択ステップにおいて選択されたグループの画像を学習データとして、前記キーワードに対する画像を識別するための識別器を生成する生成ステップと、前記識別器により、所定の画像データベースから類似画像を検索する検索ステップと、をコンピュータに実行させる。

本発明に係る画像検索プログラムは、キーワードに基づく検索結果として複数の画像を収集する収集ステップと、前記複数の画像それぞれの特徴量を計算する計算ステップと、前記特徴量に基づいて、前記複数の画像を複数のグループに分類する分類ステップと、前記複数のグループそれぞれに含まれる画像を計数する計数ステップと、前記計数の結果に基づき、画像の数が上位のグループを優先して選択する選択ステップと、前記選択ステップにおいて選択されたグループ内の画像を代表する特徴量を算出し、所定の画像データベースから類似画像を検索する検索ステップと、をコンピュータに実行させる。

本発明によれば、言語情報を含まない画像データをキーワードにより検索できる。

第１実施形態に係る画像検索装置の構成を示すブロック図である。 第１実施形態に係る特徴量の一例を示す図である。 第１実施形態に係る収集部により収集された画像群の一例を示す図である。 第１実施形態に係る画像群が複数のグループに分類された様子を示す図である。 第１実施形態に係る画像検索処理の概要を示す図である。 第１実施形態に係る画像検索処理の一例を示すフローチャートである。 第２実施形態に係る画像検索装置の構成を示すブロック図である。 第２実施形態に係る画像検索処理の概要を示す図である。 第２実施形態に係る画像検索処理の一例を示すフローチャートである。

［第１実施形態］
以下、本発明の第１実施形態について説明する。
本実施形態の画像検索装置１は、キーワードの入力に応じて、映像データベースから対応する画像を検索して提示する。

図１は、本実施形態に係る画像検索装置１の構成を示すブロック図である。
画像検索装置１は、制御部１０と、記憶部２０とを備える。また、画像検索装置１は、所定のネットワークを介して、静止画又は動画を含む画像ＤＢ（データベース）２、及びユーザの端末３Ａ及び３Ｂと接続される。

制御部１０は、画像検索装置１の全体を制御する部分であり、記憶部２０に記憶された各種プログラムを適宜読み出して実行することにより、本実施形態における各種機能を実現している。制御部１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってよい。

記憶部２０は、ハードウェア群を画像検索装置１として機能させるための各種プログラム、及び各種データ等の記憶領域であり、ＲＯＭ、ＲＡＭ、フラッシュメモリ又はハードディスク（ＨＤＤ）等であってよい。具体的には、記憶部２０は、本実施形態の各機能を制御部１０に実行させるための画像プログラムの他、後述の識別器の学習データ等を記憶する。

制御部１０は、収集部１１と、計算部１２と、分類部１３と、計数部１４と、選択部１５と、生成部１６と、検索部１７とを備え、後述の画像検索処理を実行する。

収集部１１は、端末３Ａから入力されたキーワードに基づく既存の検索エンジンを利用し、検索結果として複数の画像を収集する。この検索エンジンは、画像と言語情報とが関連付けられたデータベースに基づく公開されたＷｅｂサービスであってよい。
なお、収集部１１に入力されるキーワードは、所定のＷｅｂサイト内に登場する単語の出現頻度等に基づく重要度の指標により、新規の単語が自動的に選択されてもよい。
また、収集部１１は、収集する画像数を所定の数（例えば、数十枚〜数百枚）に限定してもよい。

計算部１２は、キーワードに対応して収集部１１により収集された複数の画像それぞれを解析し、色又は模様等を表す数値情報である特徴量を計算する。
図２は、本実施形態に係る特徴量の一例を示す図である。
計算部１２は、例えば、画像中に現れる色の頻度分布を表す特徴量ベクトルを算出する。

分類部１３は、計算部１２により算出された特徴量に基づく画像間の類似度を計算して、収集された画像を複数のグループ（クラスタ）に分類する。
このグループの数は、予め指定されてもよい。また、この数は、キーワードの種類又は画像数等に応じて適宜調整されてよい。

計数部１４は、複数のグループそれぞれに含まれる画像の枚数をカウントする。
選択部１５は、計数の結果に基づき、画像の数が上位のグループがよりキーワードとの関連度が高いと仮定し、優先して選択する。
このとき、選択部１５は、画像の数が所定未満のグループを、信頼度が低い画像群として除外してもよい。また、選択部１５は、画像の数が上位のグループから所定数のグループのみを選択してもよい。

図３は、本実施形態に係る収集部１１により収集された画像群の一例を示す図である。
例えば、キーワード「ダイオウイカ」が入力されると、Ｗｅｂサービスの検索エンジンによる画像検索の結果、複数の画像が取得される。

例えば、Ｗｅｂページでは、互いに無関係な画像と語とが偶然に、又は作成者が意図した演出により近くに配置されたために関連付けされた場合や、同音異義語に基づいて検索された場合等、必ずしも画像の名称又は説明として正しい語が対応付けられているとは限らない。このため、画像検索の結果として、適当でない画像が含まれる場合がある。
また、これらの画像の提示順は、一般にＷｅｂページの重要度（例えば、参照数等）で決定されるため、キーワードと合致する信頼度に関して順位付けはされていない。

図４は、本実施形態に係る画像群が分類部１３により複数のグループに分類された様子を示す図である。
特徴量が類似した画像がクラスタリングされ、複数のグループが生成されている。さらに、これらのグループは、画像数が多い順にグループ１から６に順位付けされる。順位が上位のグループに属する画像ほど、キーワードを表す画像として有効と推定される。したがって、これら上位のグループに属する画像集合を取得することにより、画像検索の精度及び信頼度が向上する。

生成部１６は、選択部１５により選択されたグループの画像を学習データとして、キーワードに対する画像を識別するための識別器２１を生成する。
生成部１６は、選択されたグループ毎に複数の識別器を生成してもよい。

検索部１７は、端末３Ｂからキーワードに基づく検索要求を受けると、生成された識別器により、所定の画像ＤＢ２から類似画像を検索する。
なお、検索部１７は、端末３Ａからのキーワードの入力に応じて画像ＤＢ２の検索を実行し、検索結果を返してもよい。
また、画像ＤＢ２は、静止画像のデータベースとは限らず、例えば、映像のアーカイブであってもよい。この場合、映像を時間分割し、抽出される代表画像の特徴量を算出しておくことにより、識別器２１により画像検索が可能となる。

図５は、本実施形態に係る画像検索処理の概要を示す図である。
画像検索装置１は、収集した画像群を、特徴量の類似度に基づいてクラスタリングする。この例では、４つのグループに分類されたが、画像数の少ない下位のグループは除外される。そして、画像検索装置１は、上位の２つのグループの画像を機械学習の正例として用い、それぞれ識別器２１ａ及び２１ｂを生成する。

生成された識別器２１ａ及び２１ｂは、それぞれ画像ＤＢ２からの画像検索に利用される。この結果、キーワードに基づいて、言語情報を持たないデータベースから画像検索が可能となる。
なお、識別器が複数生成されることにより、同一のキーワードから、異なる印象（例えば、色合い、アングル等）の画像が別々に検索される。

図６は、本実施形態に係る画像検索処理の一例を示すフローチャートである。
本例では、識別器２１が生成されると、続いて画像検索が実行されるが、これには限られない。識別器２１が生成された後、端末３Ｂから同一のキーワードが入力されたタイミングで画像検索が実行されてもよい。

ステップＳ１において、収集部１１は、入力されたキーワードに基づいて、言語情報が合致する画像を収集する。

ステップＳ２において、計算部１２は、ステップＳ１で収集された画像それぞれについて、特徴量を計算する。

ステップＳ３において、分類部１３は、ステップＳ２で計算された特徴量の類似度に基づいて、収集された画像を複数のクラスタにグループ化する。

ステップＳ４において、計数部１４は、ステップＳ３で分類されたクラスタ毎の画像数をカウントする。

ステップＳ５において、選択部１５は、ステップＳ４でカウントされた画像数に基づく優先順位に従って、上位のクラスタを選択する。

ステップＳ６において、生成部１６は、ステップＳ５で選択されたクラスタ毎に、このクラスタに含まれる画像を機械学習の教師データ（正例）として、識別器２１を生成する。

ステップＳ７において、検索部１７は、ステップＳ６で生成された識別器２１を用いて、検索対象の画像ＤＢ２に含まれる画像の特徴量それぞれがキーワードに対応するものであるか否かを識別し、対応する画像を検索結果として抽出する。

ステップＳ８において、検索部１７は、ステップＳ７の検索結果を、キーワードの入力に対する応答として出力する。

本実施形態によれば、画像検索装置１は、Ｗｅｂページにおいて同じキーワードと関連付けられている特徴量が類似した画像をカウントすることにより、より多くのＷｅｂページで関連付けられ、キーワードを表現している可能性が高い画像群が自動的に選択される。これにより、通常は検索結果を見てユーザが判断する作業が自動化され、高精度の検索結果が選択される。

ここで、特徴量の類似度により分類された複数のクラスタのうち、画像数が所定未満のクラスタを除外、又は画像数の上位から所定数のクラスタを選択することにより、画像検索装置１は、容易に信頼度の高い画像群を選択できる。
また、画像検索装置１は、クラスタの数が予め指定されることにより、クラスタリングにおける処理負荷が低減される。

さらに、画像検索装置１は、この選択された検索結果を、キーワードを表現した画像を識別するための識別器２１の教師データとして利用できる。機械学習のための教師データには、キーワードが正しく表現された学習用画像が正例として必要となるが、人手で正しい画像を選択する作業は負荷が大きい。画像検索装置１は、精度の高い教師データを自動的に取得できるため、効率的に精度良く識別器２１を生成できる。

例えば映像アーカイブのように、映像の細かい内容が詳細に記述されていないデータベースにおいて、特定の被写体名で映像内容を検索するためには、人手で区間を指定し、キーワードを登録する必要がある。しかしながら、データベースに蓄えられている映像を適当な区間に分割し、各区間から画像を抽出して特徴量を計算しておくことにより、画像検索装置１は、自動学習された識別器を用いて、詳細な言語情報を含まないデータベースから、キーワードにより画像を検索できる。

画像検索装置１は、外部の画像情報を教師データとした識別器の学習データのばらつきを抑え、精度の良い学習データを効率良く収集でき、画像ＤＢ２で検索可能な被写体を低コストで増加することができる。また、画像検索装置１は、これまでに検索できなかったキーワードを用いて画像を検索できる。

画像検索装置１は、同一のキーワードに対して複数の識別器を生成できるので、同一のキーワードから、異なる印象（例えば、色合い、アングル等）の画像を別々に検索できる。
また、画像検索装置１は、複数のキーワードの組み合わせ（ＡＮＤ条件）が入力されてもよく、例えば、「富士山 鯉のぼり」といった、複数の被写体が共存した画像を検索できる。

［第２実施形態］
以下、本発明の第２実施形態について説明する。
なお、第１実施形態と同様の構成については、同一の符号を付し、説明を省略又は簡略化する。

図７は、本実施形態に係る画像検索装置１ａの構成を示すブロック図である。
画像検索装置１ａの制御部１０ａは、収集部１１と、計算部１２と、分類部１３と、計数部１４と、選択部１５と、検索部１７ａとを備え、後述の画像検索処理を実行する。

検索部１７ａは、選択部１５により選択されたグループ内の画像を代表する特徴量を算出し、画像ＤＢ２から類似画像を検索する。グループ内の画像を代表する特徴量とは、例えば平均等の統計処理により算出された値、又はグループ内の中心に最も近い代表画像の特徴量等であってよい。

画像検索装置１ａは、端末３Ａからキーワードの入力を受け付けると、検索部１７ａにより算出された代表の特徴量と画像ＤＢ２内の画像の特徴量との類似度に基づいて、画像検索を行う。そして、画像検索装置１ａは、検索結果を、検索要求元である端末３Ａへ送信する。

図８は、本実施形態に係る画像検索処理の概要を示す図である。
画像検索装置１ａは、収集した画像群を、特徴量の類似度に基づいてクラスタリングする。この例では、４つのグループに分類されている。なお、第１実施形態と同様に、画像数が少ない、又は下位のグループは除外されてもよい。

画像検索装置１ａは、グループ毎に、画像ＤＢ２から特徴量が類似する画像を抽出し、検索結果として出力する。
なお、グループ毎に検索結果が出力されることにより、同一のキーワードから、異なる印象（例えば、色合い、アングル等）の画像が別々に提示される。

図９は、本実施形態に係る画像検索処理の一例を示すフローチャートである。
ステップＳ１１において、収集部１１は、入力されたキーワードに基づいて、言語情報が合致する画像を収集する。

ステップＳ１２において、計算部１２は、ステップＳ１１で収集された画像それぞれについて、特徴量を計算する。

ステップＳ１３において、分類部１３は、ステップＳ１２で計算された特徴量の類似度に基づいて、収集された画像を複数のクラスタにグループ化する。

ステップＳ１４において、計数部１４は、ステップＳ１３で分類されたクラスタ毎の画像数をカウントする。

ステップＳ１５において、選択部１５は、ステップＳ１４でカウントされた画像数に基づく優先順位に従って、上位のクラスタを選択する。

ステップＳ１６において、検索部１７ａは、ステップＳ１５で選択されたクラスタ毎に、このクラスタに含まれる画像を代表する特徴量を計算する。

ステップＳ１７において、検索部１７ａは、ステップＳ１６で計算された代表特徴量を用いて、検索対象の画像ＤＢ２に含まれる画像の特徴量それぞれとの類似度を判定し、類似画像を検索結果として抽出する。

ステップＳ１８において、検索部１７ａは、ステップＳ１７の検索結果を、キーワードの入力に対する応答として出力する。

本実施形態によれば、画像検索装置１ａは、キーワードに関連付けられた画像を特徴量の類似度によりグループ化し、画像数が上位のグループそれぞれの代表特徴量に基づいて、画像ＤＢ２から類似画像を検索できる。したがって、画像検索装置１ａは、キーワードに対応する画像を、このキーワードが付与されていない画像ＤＢ２から類似画像検索技術を用いて検索できる。

通常、キーワードの検索では予め人手で付与されたキーワードからしか検索できず、類似画像検索では元となる画像の提示が必要となる。画像検索装置１ａは、この元となる画像をインターネット上のキーワード検索エンジンによる画像検索結果から取り出すので、キーワード入力に応じて、また、複数のバリエーションを持った画像を元にした類似画像の検索結果を出力できる。

また、画像検索装置１ａは、類似画像検索の入力データ画像として、各グループから１枚ずつ取り出して複数の検索を実行することにより、検索結果のバリエーションを増やすことができる。
なお、画像ＤＢ２は、第１実施形態と同様に、静止画像のデータベースだけでなく、映像を適当な区間に区切り、抽出した静止画像を検索する映像データベースであってもよい。

以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。

本実施形態では、主に画像検索装置の構成と動作について説明したが、本発明はこれに限られず、各構成要素を備え、画像を検索するための方法、又はプログラムとして構成されてもよい。

さらに、画像検索装置の機能を実現するためのプログラムをコンピュータで読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。

ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータで読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータで読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

１、１ａ 画像検索装置
１０、１０ａ 制御部
１１ 収集部
１２ 計算部
１３ 分類部
１４ 計数部
１５ 選択部
１６ 生成部
１７、１７ａ 検索部
２０ 記憶部
２１、２１ａ、２１ｂ 識別器

Claims (6)

1. キーワードに基づく検索結果として複数の画像を収集する収集部と、
   前記複数の画像それぞれの特徴量を計算する計算部と、
   前記特徴量に基づいて、前記複数の画像を複数のグループに分類する分類部と、
   前記複数のグループそれぞれに含まれる画像を計数する計数部と、
   前記計数の結果に基づき、画像の数が上位のグループを優先して選択する選択部と、
   前記選択部により選択されたグループの画像を学習データとして、前記キーワードに対する画像を前記グループ毎に識別するための複数の識別器を生成する生成部と、
   前記複数の識別器により、所定の画像データベースから前記グループ毎に類似画像を検索する検索部と、を備える画像検索装置。
2. キーワードに基づく検索結果として複数の画像を収集する収集部と、
   前記複数の画像それぞれの特徴量を計算する計算部と、
   前記特徴量に基づいて、前記複数の画像を複数のグループに分類する分類部と、
   前記複数のグループそれぞれに含まれる画像を計数する計数部と、
   前記計数の結果に基づき、画像の数が上位のグループを優先して選択する選択部と、
   前記選択部により選択されたグループ毎に、当該グループ内の画像を代表する特徴量をそれぞれ算出し、所定の画像データベースから前記グループ毎に類似画像を検索する検索部と、を備える画像検索装置。
3. 前記複数のグループの数は、予め指定される請求項１又は請求項２に記載の画像検索装置。
4. 前記選択部は、画像の数が所定未満のグループを除外する請求項１から請求項３のいずれかに記載の画像検索装置。
5. 前記選択部は、画像の数が上位のグループから所定数のグループのみを選択する請求項１から請求項４のいずれかに記載の画像検索装置。
6. コンピュータを請求項１から請求項５のいずれかに記載の画像検索装置として機能させるための画像検索プログラム。

Images