JP6419560B2 - 検索装置、方法及びプログラム - Google Patents

Description

本発明の実施形態は、検索装置、方法及びプログラムに関する。

従来から、ユーザが入力した画像をクエリとして、検索対象の画像を検索する検索装置が知られている（例えば、特許文献１参照）。

特開２００８−２１１６９号公報

しかしながら、上述したような従来技術では、ユーザは、検索装置が入力された画像をどのように解釈して検索対象の画像を検索したのか把握できない。

本発明が解決しようとする課題は、入力された画像がどのように解釈されて検索対象の画像が検索されたかをユーザに把握させることができる検索装置、方法及びプログラムを提供することである。

実施形態の検索装置は、受付部と、検索部と、表示制御部と、を備える。受付部は、第１画像の入力を受け付ける。検索部は、前記第１画像を構成する１以上の第１構成要素のカテゴリ、位置、大きさ、形状、及び色の少なくともいずれかである第１要素情報に基づいて、第２画像を検索する。表示制御部は、前記第１要素情報に基づいて前記１以上の第１構成要素がシンボル化された第１シンボル画像とともに前記第２画像に基づく画像を表示部に表示する。

第１実施形態の検索装置の例を示す構成図。 第１実施形態の表示画面の例を示す図。 第１実施形態の検索装置の処理例を示すフローチャート。 変形例１の検索装置の例を示す構成図。 変形例１の表示画面の例を示す図。 変形例２の表示画面の例を示す図。 第２実施形態の検索装置の例を示す構成図。 第２実施形態のクエリ表示領域の例を示す図。 第２実施形態のシンボルの削除操作の例を示す図。 第２実施形態のシンボルの色変更操作の例を示す図。 各実施形態及び各変形例の検索装置のハードウェア構成例を示す図。

以下、添付図面を参照しながら、実施形態を詳細に説明する。

（第１実施形態）
図１は、第１実施形態の検索装置１０の一例を示す構成図である。図１に示すように、検索装置１０は、記憶部１１と、画像入力部１３と、受付部１５と、情報生成部１７と、検索部１９と、画像生成部２１と、表示制御部２３と、表示部２５と、操作入力部２７とを、備える。

検索装置１０は、例えば、タブレット端末、スマートフォン、又はＰＣ（Personal Computer）などにより実現できる。

記憶部１１は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、光ディスク、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）などの磁気的、光学的、又は電気的に記憶可能な記憶装置により実現できる。画像入力部１３は、例えば、カメラなどの撮像装置、ネットワークインタフェースなどの通信装置、及び上述の記憶装置等により実現できる。

受付部１５、情報生成部１７、検索部１９、画像生成部２１、及び表示制御部２３は、例えば、ＣＰＵ（Central Processing Unit）などの処理装置にプログラムを実行させること、即ち、ソフトウェアにより実現してもよいし、ＩＣ（Integrated Circuit）などのハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。

表示部２５は、例えば、タッチパネルディスプレイや液晶ディスプレイなどの表示装置により実現できる。操作入力部２７は、例えば、タッチパネルディスプレイ、マウス、又はキーボードなどにより実現できる。

記憶部１１は、複数の画像を記憶する。詳細には、記憶部１１は、画像と、当該画像を構成する１以上の構成要素のカテゴリ、位置、大きさ、形状、及び色の少なくともいずれかである要素情報と、当該要素情報に基づいて当該１以上の構成要素をシンボル化したシンボル画像と、を対応付けたレコードを、複数記憶する。第１実施形態では、要素情報が、１以上の構成要素のカテゴリ及び位置を示す情報である場合を例に取り説明するが、これに限定されるものではない。

シンボル画像は、１以上の構成要素それぞれ毎に、カテゴリを当該カテゴリの名称（キーワード）、アイコン、又はイラストなどでシンボル化し、要素情報が当該構成要素の位置を示す場合、当該シンボルの位置を当該構成要素の位置に対応する位置とし、要素情報が当該構成要素の大きさを示す場合、当該シンボルの大きさを当該構成要素の大きさに対応する大きさとし、要素情報が当該構成要素の形状を示す場合、当該シンボルの周囲を当該構成要素の形状に沿って線で囲み、要素情報が当該構成要素の色を示す場合、当該シンボルの色を当該構成要素の色に対応する色とした画像である。

なお、要素情報は、画像から生成され、当該画像に対応付けられたものであるが、生成手法については、情報生成部１７と同様の手法を用いればよいため、ここでは説明を省略し、情報生成部１７で説明する。また、シンボル画像は、要素情報から生成され、当該要素情報に対応付けられたものであるが、生成手法については、画像生成部２１と同様の手法を用いればよいため、ここでは説明を省略し、画像生成部２１で説明する。

また、以下では、検索対象の画像を検索するクエリを生成するための画像を第１画像、第１画像を構成する１以上の構成要素を１以上の第１構成要素、１以上の第１構成要素のカテゴリ、位置、大きさ、形状、及び色の少なくともいずれかである要素情報を第１要素情報、１以上の第１構成要素をシンボル化したシンボル画像を第１シンボル画像と称する。なお、検索対象の画像を検索するクエリは、第１要素情報が該当する。

同様に、検索対象の画像を第２画像、第２画像を構成する１以上の構成要素を１以上の第２構成要素、１以上の第２構成要素のカテゴリ、位置、大きさ、形状、及び色の少なくともいずれかである要素情報を第２要素情報、１以上の第２構成要素をシンボル化したシンボル画像を第２シンボル画像と称する。

画像入力部１３は、第１画像を入力する。なお、撮像装置により撮像された画像や通信装置により外部から受信された画像を第１画像とする場合、記憶部１１に記憶されている画像は、全て第２画像となる。撮像装置により撮像された画像が動画の場合には、当該動画を構成する複数のフレーム画像のいずれかを第１画像とすればよい。また、記憶部１１に記憶されている複数の画像のいずれかを第１画像とする場合、記憶部１１に記憶されている画像のうち、第１画像以外の全ての画像が第２画像となる。

受付部１５は、画像入力部１３から第１画像の入力を受け付ける。また受付部１５は、操作入力部２７から各種操作入力を受け付ける。

情報生成部１７は、受付部１５により受け付けられた第１画像から、１以上の第１構成要素の第１要素情報を生成する。１以上の第１構成要素は、第１画像を構成する複数の第１構成要素のうちカテゴリが既知の第１構成要素である。

第１画像から１以上の第１構成要素の第１要素情報を生成するには、例えば、J. Shotton, J. Winn, C. Rother, A. Criminisi., TextonBoost for Image Understanding: Multi-Class Object Recognition and Segmentation by Jointly Modeling Texture, Layout, and Context., In IJCV.に開示されている技術を用いればよい。

例えば、情報生成部１７は、予め定められた１以上のカテゴリのいずれかに属する構成要素の範囲を抽出（識別）するように学習された識別器を用いて、第１画像を構成する複数の構成要素の中から、１以上の第１構成要素それぞれのカテゴリ及び範囲を抽出する。

そして情報生成部１７は、抽出した第１構成要素の範囲から、第１構成要素の位置（例えば、中心位置）、大きさ、及び形状を求めることができる。

また情報生成部１７は、抽出した第１構成要素の範囲に対し、ＲＧＢ色空間、ＬＡＢ色空間、又はＨＳＶ色空間など任意の色空間において、均等に量子化した色ヒストグラムを生成し、最頻値の代表色を第１構成要素の色とすることができる。なお、第１構成要素の色は、１色で表現してもよいし、ヒストグラムのような分布で表現してもよいし、任意の数の代表色で表現してもよい。

なお、記憶部１１に記憶されている複数の画像のいずれかを第１画像とする場合、当該第１画像の第１要素情報も記憶部１１に記憶されているため、情報生成部１７が当該第１要素情報を生成する必要はない。

検索部１９は、受付部１５により受け付けられた第１画像の第１要素情報に基づいて、第２画像を検索する。なお、検索部１９は、情報生成部１７により第１要素情報が生成された場合、第２画像の検索に当該第１要素情報を用い、記憶部１１に第１要素情報が記憶されている場合、第２画像の検索に当該第１要素情報を用いる。

具体的には、検索部１９は、記憶部１１から、第１要素情報と類似する第２要素情報を含むレコードを検索する。

例えば、検索部１９は、第１要素情報が示す１以上の第１構成要素それぞれのカテゴリ、位置をそれぞれ量子化する。また検索部１９は、記憶部１１からレコードを取得し、当該レコードに含まれる第２要素情報が示す１以上の第２構成要素それぞれのカテゴリ、位置をそれぞれ量子化する。

次に検索部１９は、１以上の第１構成要素それぞれ毎に、当該第１構成要素のカテゴリ、位置の量子化値を、それぞれ、１以上の第２構成要素それぞれのカテゴリ、位置の量子化値と比較し、一致する量子化値の割合が所定割合以上であれば、当該第１構成要素に類似する第２構成要素と判定する。そして検索部１９は、１以上の第１構成要素と一致する第２構成要素の割合を類似度とし、類似度が閾値以上であれば、第１要素情報と類似する第２要素情報となる。

なお第１実施形態では、要素情報が１以上の構成要素のカテゴリ及び位置を示すため、カテゴリ、位置を量子化する例について説明したが、要素情報が１以上の構成要素の大きさ、形状、及び色も示せば、大きさ、形状、及び色も量子化する。

また例えば、検索部１９は、第１構成要素と第２構成要素との類似を、第１構成要素と第２構成要素との差が予め定義した差分特徴の範囲内に収まるか否かで判定してもよい。この場合、カテゴリの差分特徴は、カテゴリ間の意味的な近接関係を使用でき、位置の差分特徴は、座標間距離を画像サイズで正規化した距離を使用でき、大きさの差分特徴は、アスペクト比を使用でき、形状の差分特徴は、外接形状のエッジ情報の相関性を使用でき、色の差分特徴は、色ヒストグラムを使用できる。

また例えば、検索部１９は、第１構成要素と第２構成要素との類似を、識別器を用いて判定してもよい。この場合、識別器は、主観的に一致すると判定された構成要素対と主観的に一致しないと判定された構成要素対とを統計データとして差分特徴を用いた２クラス問題として、ＳＶＭ（Support Vector Machine）などの一般的な機械学習の手法で学習されたものを用いればよい。

画像生成部２１は、受付部１５により受け付けられた第１画像の第１要素情報に基づいて、１以上の第１構成要素をシンボル化した第１シンボル画像を生成する。なお、画像生成部２１は、情報生成部１７により第１要素情報が生成された場合、第１シンボル画像の生成に当該第１要素情報を用い、記憶部１１に第１要素情報が記憶されている場合、第１シンボル画像の生成に当該第１要素情報を用いる。

表示制御部２３は、第１シンボル画像とともに検索部１９により検索された第２画像に基づく画像を表示部２５に表示する。なお、表示制御部２３は、画像生成部２１により第１シンボル画像が生成された場合、当該第１シンボル画像を表示し、記憶部１１に第１シンボル画像が記憶されている場合、当該第１シンボル画像を表示する。また第１実施形態では、第２画像に基づく画像は、検索部１９により検索されたレコードに含まれる第２シンボル画像である場合を例に取り説明するが、これに限定されるものではない。

また第１実施形態では、表示制御部２３は、検索部１９によりレコードがｎ（ｎ≧２）個検索された場合、第２画像に基づく画像として、当該ｎ個のレコードに含まれるｎ個の第２シンボル画像を類似度の順に配置して表示部２５に表示する。

また第１実施形態では、表示制御部２３は、表示部２５に表示された第２シンボル画像が指示又は選択された場合、当該第２シンボル画像を含むレコードに含まれる第２画像のサムネイル画像を表示部２５に更に表示する。具体的には、操作入力部２７から、表示部２５に表示された第２シンボル画像を指示（例えば、タッチ操作やマウスを重ねる操作）又は選択（例えば、マウスを重ねてクリックする操作）する操作が入力され、受付部１５により受け付けられると、表示制御部２３は、当該第２シンボル画像を含むレコードに含まれる第２画像を取得し、当該第２画像をサムネイル画像に縮小し、表示部２５に更に表示する。

また第１実施形態では、表示制御部２３は、受付部１５により受け付けられた第１画像のサムネイル画像を表示部２５に更に表示する。具体的には、表示制御部２３は、受付部１５により受け付けられた第１画像をサムネイル画像に縮小し、表示部２５に更に表示する。

図２は、第１実施形態の表示画面の一例を示す図である。図２に示す例では、クエリ表示領域３１に、第１画像のサムネイル画像３２と、第１シンボル画像３３とが表示されている。

第１シンボル画像３３では、サムネイル画像３２の空に対応する第１シンボル画像３３上の位置にカテゴリ名「空」のシンボル３４が配置され、サムネイル画像３２の夕焼けに対応する第１シンボル画像３３上の位置にカテゴリ名「夕焼け」のシンボル３５が配置され、サムネイル画像３２の山に対応する第１シンボル画像３３上の位置にカテゴリ名「山」のシンボル３６が配置され、サムネイル画像３２の湖に対応する第１シンボル画像３３上の位置にカテゴリ名「湖」のシンボル３７が配置されている。

また検索結果表示領域４１には、検索された第２シンボル画像４２〜４５などが表示されている。また、図２に示す例では、第２シンボル画像４５が選択されているため（図示省略）、第２シンボル画像４５を含むレコードに含まれる第２画像５１が更に表示されている。

図３は、第１実施形態の検索装置１０で行われる処理の手順の流れの一例を示すフローチャートである。

まず、受付部１５は、画像入力部１３から第１画像の入力を受け付ける（ステップＳ１０１）。

続いて、情報生成部１７は、受付部１５により受け付けられた第１画像から、１以上の第１構成要素の第１要素情報を生成する（ステップＳ１０３）。

続いて、検索部１９は、情報生成部１７により生成された第１要素情報を用いて、当該第１要素情報と類似する第２要素情報、第２画像、及び第２シンボル画像を含むレコードを検索する（ステップＳ１０５）。

続いて、画像生成部２１は、情報生成部１７により生成された第１要素情報に基づいて、１以上の第１構成要素をシンボル化した第１シンボル画像を生成する（ステップＳ１０７）。

続いて、表示制御部２３は、受付部１５により受け付けられた第１画像、画像生成部２１により生成された第１シンボル画像、及び検索部１９により検索された第２シンボル画像を表示部２５に表示する（ステップＳ１０９）。

なお、上記フローチャートにおける各ステップを、その性質に反しない限り、実行順序を変更したり、複数同時に実施したりしてもよい。例えば、第１シンボル画像の生成（ステップＳ１０７の処理）は、ステップＳ１０３以降、ステップＳ１０９以前であればどのタイミングで行ってもよい。また例えば、第１画像の表示もステップＳ１０１以降であればどのタイミングで行ってもよく、第１シンボル画像の表示も第１シンボル画像の生成後であればどのタイミングで行ってもよく、第２シンボル画像の表示もステップＳ１０５以降であればどのタイミングで行ってもよい。

以上のように第１実施形態によれば、第１画像を構成する１以上の第１構成要素のカテゴリ、位置、大きさ、形状、及び色の少なくともいずれかである第１要素情報に基づいて検索された第２画像に基づく画像とともに、当該１以上の第１構成要素をシンボル化した第１シンボル画像が表示されるため、第１画像がどのように解釈されて第２画像が検索されたかをユーザに把握させることができる。この結果、第１画像から第２画像が検索された理由をユーザに直感的に理解させ易くすることができる。

（変形例１）
上記第１実施形態において、検索された全ての第２シンボル画像を表示するのではなく、検索された第２シンボル画像数未満の代表シンボル画像、及び各代表シンボル画像に分類された第２シンボル画像の個数を示す個数情報を表示するようにしてもよい。以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。

図４は、変形例１の検索装置１１０の一例を示す構成図である。図４に示すように、変形例１の検索装置１１０は、画像生成部１２１及び表示制御部１２３が、第１実施形態と相違する。

画像生成部１２１は、検索部１９によりレコードがｎ個検索された場合、生成した第１シンボル画像又は当該ｎ個のレコードに含まれるｎ個の第２シンボル画像に基づいて、ｍ（２≦ｍ≦ｎ）個の代表シンボル画像を更に生成してもよい。

画像生成部１２１は、第１シンボル画像から代表シンボル画像を生成する場合、第１シンボル画像のシンボルのカテゴリ、位置、大きさ、形状、及び色の少なくともいずれかを変更して、ｍ個の代表シンボル画像を生成すればよい。

また画像生成部１２１は、ｎ個の第２シンボル画像から代表シンボル画像を生成する場合、類似度などを基にｎ個の第２シンボル画像をｍ個のグループに分類し、グループ毎に分類された第２シンボル画像を合成して、ｍ個の代表シンボル画像を生成すればよい。

表示制御部１２３は、検索部１９により検索されたｎ個の第２シンボル画像をｍ個の代表シンボル画像に分類し、第２画像に基づく画像として、ｍ個の代表シンボル画像とともに、ｍ個の代表シンボル画像それぞれに分類された第２シンボル画像の個数を示す個数情報を表示部２５に表示すればよい。なお、画像生成部１２１によりｎ個の第２シンボル画像の分類が行われている場合、表示制御部１２３は、分類を省略すればよい。

図５は、変形例１の表示画面の一例を示す図である。図５に示す例では、検索結果表示領域４１には、生成された代表シンボル画像５２〜５４などが表示されるとともに、代表シンボル画像５２〜５４それぞれに個数情報６２〜６４が対応付けられて表示されている。

（変形例２）
上記第１実施形態において、第１画像及び第２画像を顔画像としてもよい。この場合、第１要素情報は、第１画像を構成する１以上の第１構成要素のカテゴリ、位置、大きさ、形状、及び色、並びに第１画像のカテゴリの少なくともいずれかとすることができる。

第１画像のカテゴリは、笑顔や怒りなど感情が挙げられ、情報生成部１７は、例えば、顔の表情から感情を認識すればよい。顔の表情から感情を認識するには、例えば、D. Parikh, K. Grauman, Relative Attributes, ICCV 2011.に開示されている技術を用いればよい。

図６は、変形例２の表示画面の一例を示す図である。図６に示す例では、クエリ表示領域３１に、第１画像のサムネイル画像８２と、第１シンボル画像８３とが表示されている。また検索結果表示領域４１には、検索された第２シンボル画像９１〜９３などが表示されている。また、図６に示す例では、第２シンボル画像９３が選択されているため（図示省略）、第２シンボル画像９３を含むレコードに含まれる第２画像９６が更に表示されている。

なお、図６に示す例では、要素情報が、１以上の構成要素のカテゴリ、位置、大きさ、形状、及び色、並びに第１画像のカテゴリを示す情報となっている。

（変形例３）
上記第１実施形態において、第２画像に基づく画像は、検索部１９により検索されたレコードに含まれる第２画像のサムネイル画像としてもよい。そして、表示制御部２３は、表示部２５に表示された第２画像のサムネイル画像が指示又は選択された場合、当該第２画像を含むレコードに含まれる第２シンボル画像を表示部２５に更に表示するようにしてもよい。

また上記第１実施形態において、第１画像のサムネイル画像と第１シンボル画像とを同時に表示するのではなく、いずれか一方の画像を表示し、当該一方の画像が指示又は選択された場合、他方の画像を表示するようにしてもよい。

（変形例４）
上記第１実施形態において、第１画像、第１要素情報、及び第１シンボル画像を対応付けたレコードを記憶部１１に登録するようにしてもよい。このようにすれば、次回以降、第１画像、第１要素情報、及び第１シンボル画像を対応付けたレコードを検索対象に加えることができる。

また例えば、検索モードと登録モードとを分け、登録モードの場合には、検索を行わずに、第１画像、第１要素情報、及び第１シンボル画像を対応付けたレコードを記憶部１１に登録できるようにしてもよい。

（変形例５）
上記第１実施形態では、記憶部１１に第２シンボル画像も記憶されている例について説明したが、記憶部１１に第２シンボル画像を記憶せず、検索された第２要素情報から第２シンボル画像を生成するようにしてもよい。

（変形例６）
上記第１実施形態では、検索装置１０が記憶部１１を備える例について説明したが、検索装置１０の外部（例えば、クラウド上）に記憶部１１を設けるようにしてもよい。また、検索装置１０が備える記憶部１１以外の構成をクラウド化してもよいし、複数の装置に分散して検索装置１０を実現してもよい。

（第２実施形態）
第２実施形態では、第１シンボル画像を編集することで、第１要素情報をユーザの意図した第１要素情報に変更し、変更後の第１要素情報に基づいて検索を行う例について説明する。以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。

図７は、第２実施形態の検索装置２１０の一例を示す構成図である。図７に示すように、第２実施形態の検索装置２１０は、受付部２１５、情報生成部２１７、検索部２１９、及び表示制御部２２３が、第１実施形態と相違する。

第１実施形態では、受付部１５により第１画像の入力が受け付けられると、検索部１９は、情報生成部１７により生成された第１要素情報を用いて検索を行ったが、第２実施形態では、受付部２１５により検索操作入力が受け付けられてから検索を行う。

このため、表示制御部２２３は、検索部２１９による検索が行われる前に第１シンボル画像を表示部２５に表示する。

図８は、第２実施形態の表示画面のクエリ表示領域３１の一例を示す図である。図８に示す例では、クエリ表示領域３１に、第１画像のサムネイル画像３２と、第１シンボル画像３３と、カーソル７１と、が表示されている。

そして受付部２１５は、第１シンボル画像を構成する前記１以上の第１構成要素を変更する変更入力を更に受け付ける。具体的には、受付部２１５は、操作入力部２７から第１シンボル画像上のシンボルを変更する操作入力を受け付ける。

シンボルを変更する操作入力としては、カーソル７１でシンボルを選択し、当該カテゴリを変更したり、当該シンボルの位置をずらしたり、当該シンボルの大きさを変更したり、当該シンボルの形状を変更したり、当該シンボルの色を変更したり、当該シンボルを削除したりする操作入力が挙げられる。

図９は、第２実施形態のシンボルの削除操作の一例を示す図である。図９に示す例では、消去アイコン７２が表示されるとともにカーソル７１でシンボル７３が選択されており、カーソル７１でシンボル７３を消去アイコン７２に移動させることでシンボル７３を削除する。

図１０は、第２実施形態のシンボルの色変更操作の一例を示す図である。図１０に示す例では、色変更アイコン７４が表示されるとともにカーソル７１でシンボル７３が選択されており、色変更アイコン７４上で色を変更することで、シンボル７３の色を変更する。

情報生成部２１７は、受付部２１５により受け付けられた変更入力に基づいて、先に生成した第１要素情報を変更する。具体的には、情報生成部２１７は、第１要素情報が変更後の第１シンボル画像の第１要素情報となるように変更する。

操作入力部２７から検索操作入力が入力され、受付部２１５により受け付けられると、検索部２１９は、第１要素情報の変更前であれば、情報生成部２１７により生成された第１要素情報に基づいて第２画像を検索し、第１要素情報の変更後であれば、情報生成部２１７により変更された第１要素情報に基づいて第２画像を検索する。

そして表示制御部２２３は、検索部２１９により検索された第２画像に基づく画像を表示部２５に更に表示する。

以上のように第２実施形態によれば、第１実施形態の効果に加え、ユーザの意図した第１要素情報を生成できるので、意図する第１画像がなくても当該意図する第１画像に基づく検索を可能とすることができる。

（変形例７）
上記第２実施形態において、変形例１〜変形例６と同様の変形をしてもよい。

（ハードウェア構成）
図１１は、上記各実施形態及び各変形例の検索装置のハードウェア構成の一例を示す図である。上記各実施形態及び各変形例の検索装置は、ＣＰＵなどの制御装置９０１と、ＲＯＭやＲＡＭなどの記憶装置９０２と、ＨＤＤなどの外部記憶装置９０３と、ディスプレイなどの表示装置９０４と、キーボードやマウスなどの入力装置９０５と、通信インタフェースなどの通信装置９０６と、を備えており、通常のコンピュータを利用したハードウェア構成となっている。

上記各実施形態及び各変形例の検索装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供される。

また、上記各実施形態及び各変形例の検索装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記各実施形態及び各変形例の検索装置で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上記各実施形態及び各変形例の検索装置で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するようにしてもよい。

上記各実施形態及び各変形例の検索装置で実行されるプログラムは、上述した各部をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、ＣＰＵがＨＤＤからプログラムをＲＡＭ上に読み出して実行することにより、上記各部がコンピュータ上で実現されるようになっている。

なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。

以上のように、上記各実施形態及び各変形例によれば、入力された画像がどのように解釈されて検索対象の画像が検索されたかをユーザに把握させることができる。

１０、１１０、２１０ 検索装置
１１ 記憶部
１３ 画像入力部
１５、２１５ 受付部
１７、２１７ 情報生成部
１９、２１９ 検索部
２１、１２１ 画像生成部
２３、２２３ 表示制御部
２５ 表示部
２７ 操作入力部
９０１ 制御装置
９０２ 記憶装置
９０３ 外部記憶装置
９０４ 表示装置
９０５ 入力装置
９０６ 通信装置

Claims (17)

1. 第１画像の入力を受け付ける受付部と、
   前記第１画像を構成する１以上の第１構成要素のカテゴリ、位置、大きさ、形状、及び色の少なくともいずれかである第１要素情報に基づいて、第２画像を検索する検索部と、
   前記第１要素情報に基づいて前記１以上の第１構成要素がシンボル化された第１シンボル画像とともに前記第２画像に基づく画像を表示部に表示する表示制御部と、
   を備え、
   前記検索部は、第２画像と、当該第２画像を構成する１以上の第２構成要素のカテゴリ、位置、大きさ、形状、及び色の少なくともいずれかである第２要素情報と、当該１以上の第２構成要素をシンボル化した第２シンボル画像と、を対応付けた複数のレコードのうち、前記第１要素情報と類似する第２要素情報を含むレコードを検索する、
   検索装置。
2. 前記第１画像から、前記第１要素情報を生成する情報生成部を更に備える請求項１に記載の検索装置。
3. 前記第１要素情報に基づいて、前記第１シンボル画像を生成する画像生成部を更に備える請求項１に記載の検索装置。
4. 前記第２画像に基づく画像は、検索された前記レコードに含まれる前記第２シンボル画像である請求項１に記載の検索装置。
5. 前記表示制御部は、前記表示部に表示された前記第２シンボル画像が指示又は選択された場合、検索された前記レコードに含まれる前記第２画像のサムネイル画像を前記表示部に更に表示する請求項４に記載の検索装置。
6. 前記第１要素情報に基づいて、前記第１シンボル画像を生成する画像生成部を更に備え、
   前記画像生成部は、前記レコードがｎ（ｎ≧２）個検索された場合、前記第１シンボル画像又は前記ｎ個のレコードに含まれる前記ｎ個の第２シンボル画像に基づいて、ｍ（２≦ｍ≦ｎ）個の代表シンボル画像を更に生成し、
   前記表示制御部は、前記ｎ個の第２シンボル画像を前記ｍ個の代表シンボル画像に分類し、前記第２画像に基づく画像として、前記ｍ個の代表シンボル画像とともに、前記ｍ個の代表シンボル画像それぞれに分類された前記第２シンボル画像の個数を示す個数情報を前記表示部に表示する請求項１に記載の検索装置。
7. 前記表示制御部は、前記レコードがｎ（ｎ≧２）個検索された場合、前記第２画像に基づく画像として、前記ｎ個のレコードに含まれる前記ｎ個の第２シンボル画像を類似度の順に配置して前記表示部に表示する請求項１に記載の検索装置。
8. 前記第１画像及び前記第２画像は、顔画像である請求項１に記載の検索装置。
9. 前記第１要素情報は、前記第１画像を構成する１以上の第１構成要素のカテゴリ、位置、大きさ、形状、及び色、並びに前記第１画像のカテゴリの少なくともいずれかである請求項８に記載の検索装置。
10. 前記１以上の第１構成要素は、前記第１画像を構成する複数の第１構成要素のうち前記カテゴリが既知の第１構成要素である請求項１に記載の検索装置。
11. 前記表示制御部は、前記第１画像のサムネイル画像を前記表示部に更に表示する請求項１に記載の検索装置。
12. 前記第２画像に基づく画像は、検索された前記レコードに含まれる前記第２画像のサムネイル画像である請求項１に記載の検索装置。
13. 第１画像の入力を受け付ける受付部と、
    前記第１画像を構成する１以上の第１構成要素のカテゴリ、位置、大きさ、形状、及び色の少なくともいずれかである第１要素情報に基づいて当該１以上の第１構成要素がシンボル化された第１シンボル画像を表示部に表示する表示制御部と、を備え、
    前記受付部は、前記第１シンボル画像を構成する前記１以上の第１構成要素を変更する変更入力を更に受け付け、
    前記変更入力に基づいて変更された前記第１要素情報に基づいて、第２画像を検索する検索部を更に備え、
    前記表示制御部は、前記第２画像に基づく画像を前記表示部に更に表示し、
    前記検索部は、第２画像と、当該第２画像を構成する１以上の第２構成要素のカテゴリ、位置、大きさ、形状、及び色の少なくともいずれかである第２要素情報と、当該１以上の第２構成要素をシンボル化した第２シンボル画像と、を対応付けた複数のレコードのうち、前記第１要素情報と類似する第２要素情報を含むレコードを検索する、
    検索装置。
14. 検索装置が、第１画像の入力を受け付ける受付ステップと、
    前記検索装置が、前記第１画像を構成する１以上の第１構成要素のカテゴリ、位置、大きさ、形状、及び色の少なくともいずれかである第１要素情報に基づいて、第２画像を検索する検索ステップと、
    前記検索装置が、前記第１要素情報に基づいて前記１以上の第１構成要素がシンボル化された第１シンボル画像とともに前記第２画像に基づく画像を表示部に表示する表示制御ステップと、
    を含み、
    前記検索ステップは、第２画像と、当該第２画像を構成する１以上の第２構成要素のカテゴリ、位置、大きさ、形状、及び色の少なくともいずれかである第２要素情報と、当該１以上の第２構成要素をシンボル化した第２シンボル画像と、を対応付けた複数のレコードのうち、前記第１要素情報と類似する第２要素情報を含むレコードを検索する、
    検索方法。
15. 検索装置が、第１画像の入力を受け付ける第１受付ステップと、
    前記検索装置が、前記第１画像を構成する１以上の第１構成要素のカテゴリ、位置、大きさ、形状、及び色の少なくともいずれかである第１要素情報に基づいて当該１以上の第１構成要素がシンボル化された第１シンボル画像を表示部に表示する第１表示制御ステップと、
    前記検索装置が、前記第１シンボル画像を構成する前記１以上の第１構成要素を変更する変更入力を受け付ける第２受付ステップと、
    前記検索装置が、前記変更入力に基づいて変更された前記第１要素情報に基づいて、第２画像を検索する検索ステップと、
    前記検索装置が、前記第２画像に基づく画像を前記表示部に表示する第２表示制御ステップと、
    を含み、
    前記検索ステップは、第２画像と、当該第２画像を構成する１以上の第２構成要素のカテゴリ、位置、大きさ、形状、及び色の少なくともいずれかである第２要素情報と、当該１以上の第２構成要素をシンボル化した第２シンボル画像と、を対応付けた複数のレコードのうち、前記第１要素情報と類似する第２要素情報を含むレコードを検索する、
    検索方法。
16. 第１画像の入力を受け付ける受付ステップと、
    前記第１画像を構成する１以上の第１構成要素のカテゴリ、位置、大きさ、形状、及び色の少なくともいずれかである第１要素情報に基づいて、第２画像を検索する検索ステップと、
    前記第１要素情報に基づいて前記１以上の第１構成要素がシンボル化された第１シンボル画像とともに前記第２画像に基づく画像を表示部に表示する表示制御ステップと、
    をコンピュータに実行させ、
    前記検索ステップは、第２画像と、当該第２画像を構成する１以上の第２構成要素のカテゴリ、位置、大きさ、形状、及び色の少なくともいずれかである第２要素情報と、当該１以上の第２構成要素をシンボル化した第２シンボル画像と、を対応付けた複数のレコードのうち、前記第１要素情報と類似する第２要素情報を含むレコードを検索する、
    プログラム。
17. 第１画像の入力を受け付ける第１受付ステップと、
    前記第１画像を構成する１以上の第１構成要素のカテゴリ、位置、大きさ、形状、及び色の少なくともいずれかである第１要素情報に基づいて当該１以上の第１構成要素がシンボル化された第１シンボル画像を表示部に表示する第１表示制御ステップと、
    前記第１シンボル画像を構成する前記１以上の第１構成要素を変更する変更入力を受け付ける第２受付ステップと、
    前記変更入力に基づいて変更された前記第１要素情報に基づいて、第２画像を検索する検索ステップと、
    前記第２画像に基づく画像を前記表示部に表示する第２表示制御ステップと、
    をコンピュータに実行させ、
    前記検索ステップは、第２画像と、当該第２画像を構成する１以上の第２構成要素のカテゴリ、位置、大きさ、形状、及び色の少なくともいずれかである第２要素情報と、当該１以上の第２構成要素をシンボル化した第２シンボル画像と、を対応付けた複数のレコードのうち、前記第１要素情報と類似する第２要素情報を含むレコードを検索する、
    プログラム。