JP2011053781A - 画像データベース作成装置、画像検索装置、画像データベース作成方法および画像検索方法 - Google Patents

Abstract

【課題】 検索精度の向上並びに検索速度の向上を図ること。
【解決手段】画像サーバー１０は、識別子と予め対応付けられている画像データを格納する画像データベースを備えている。画像サーバー１０は、プリンタ３０から検索キーワードを含む検索要求を受信し、受信したキーワードに対応付けられている識別子をキーワード−識別子データベースから検索する。画像サーバー１０は検索した識別子を用いて画像データベースから対応する画像データを検索する。画像サーバー１０は検索した画像データをプリンタ３０に対して送信する。
【選択図】図１

Description

本発明は、画像データベースの作成技術、作成された画像データベースを用いた画像検索技術に関する。

ネットワークを介して、所望の画像を検索するための技術が実用化されている。例えば、キーワード（文字列）を用いた画像検索を実現するために、画像に対してタイトル、コメントといった付帯情報（文字列情報）を対応付けて格納する画像データベースが提案されている。一方で、画像の表現、受け捉え方は様々であるため、キーワードを用いた画像検索では、表記揺れに上手く対応することが検索精度を向上させるために求められる。

この表記揺れの問題に対して、検索実行時に入力されたキーワードの類義語・同義語を含めて画像検索を実行する技術が知られている。この技術では、入力された検索語に対する同義語検索を実行し、検索語のみならず検索された類義語を含む検索クエリーを用いて画像検索が実行される（例えば、特許文献１）。

特開２００８−１９２１１０号公報

しかしながら、検索時に類義語を含めて検索を実行すると複数語に対してそれぞれ検索処理が実行されるため検索速度を向上させることができないという課題がある。また、従来はデータベース毎に独自のキーワードが画像に対して割り当てられていたため、同一のキーワードを用いて、異なるデータベースにおいて検索を実行した場合に、所望の検索精度を得ることができない場合があった。

なお、これらの問題は、画像の検索のみならず、映像、音楽、ゲーム、電子書籍といったコンテンツの検索においても同様に発生し得る課題である。

本発明は、上記課題の少なくとも一部を解決するためになされたものであり、検索精度の向上並びに検索速度の向上を目的とする。

上記課題の少なくとも一部を解決するために、本発明は以下の種々の態様を採る。

第１の態様は画像データベース作成装置を提供する。第１の態様に係る画像データベース作成装置は、画像を取得する画像取得部と、画像を特徴付ける複数の特徴量を前記取得した画像から抽出する特徴量抽出部と、前記抽出した複数の特徴量を用いて、画像を特徴付ける複数の特徴量からなる特徴量群と識別子とを予め対応付けて記憶する特徴量−識別子データベースから、対応する識別子を検索する識別子検索部と、前記検索された識別子と前記取得した画像とを対応付けて画像データベースに格納する画像データベース構築部とを備える。

この構成を備える第１の態様に係る画像データベース作成装置によれば、識別子を用いて画像を検索可能な画像データベースを作成することができるので、画像検索精度の向上並びに画像検索速度の向上を図ることができる。

第１の態様に係る画像データベース作成装置はさらに、前記取得された画像に関連するキーワードを取得するキーワード取得部を備え、前記特徴量−識別子データベースにおいて、前記識別子はさらに複数のキーワードと対応付けられており、前記識別子検索部は、前記画像に関連するキーワードが取得された場合には、前記取得されたキーワードを用いて前記識別子を検索しても良い。この場合には、画像に関連するキーワードを用いて識別子を決定することが可能になるので、キーワードを用いた画像検索が可能な画像データベースを作成することができる。

第１の態様に係る画像データベース作成装置において、前記取得された画像には予めキーワードが対応付けられており、前記キーワード取得部は、前記取得された画像から前記予め対応付けられているキーワードを取得しても良い。この場合には、画像に予め対応付けられているキーワードに基づいて画像データベースを作成することができるので、キーワードを用いた画像検索精度を向上させることができる。

第１の態様に係る画像データベース作成装置はさらに、キーワードを入力可能なキーワード入力部を備え、前記キーワード取得部は、前記キーワード入力部を介して入力されたキーワードを取得しても良い。この場合には、キーワード入力部を介して入力されたキーワードに基づいて画像データベースを作成することができるので、ユーザの感覚を反映した画像データベースを作成することができる。

第１の態様に係る画像データベース作成装置において、前記特徴量は特徴量の種類を表す種別と、各種別における特徴量の特性を示す数値を含み、前記識別子検索部は、同一の種別の特徴量の数値を用いて、前記抽出した複数の特徴量に対応する前記識別子を検索しても良い。複数種類の特徴量を用いることによって、画像の特徴を客観的に数値化することができる。

第１の態様に係る画像データベース作成装置において、前記特徴量−識別子データベースは、固有のキーワードに対応する専用の識別子を含んでいても良い。この場合には、固有のキーワードを用いた検索に対して、迅速で精度の高い検索結果を提供可能な画像データベースを作成することができる。

第１の態様に係る画像データベース作成装置において、前記特徴量−識別子データベースに格納されている前記複数のキーワードは、階層化されていても良い。この場合には、複数概念のキーワードを識別子に対応付けることが可能となり、キーワードの揺らぎ等により検索精度の低下を抑制可能な画像データベースを作成することができる。

第１の態様に係る画像データベース作成装置において、前記画像データベース構築部はさらに、前記検索された識別子に対する前記取得した画像の類似度を対応付けて前記画像データベースに格納しても良い。この場合には、検索結果として得られた画像に対する、用いられた識別子（キーワード）のキーワードらしさを示すことができる。

第２の態様は、画像データベース作成方法を提供する。第２の態様に係る画像データベース作成方法は、取得した画像から画像を特徴付ける複数の特徴量を抽出し、前記抽出した複数の特徴量を用いて、画像を特徴付ける複数の特徴量からなる特徴量群と識別子とを予め対応付けて記憶する特徴量−識別子データベースから、対応する識別子を検索し、前記検索した識別子と前記取得した画像とを対応付けて画像データベースに格納することを備える。

第２の態様に係る画像データベース作成方法によれば、第１の態様に係る画像データベース作成装置と同様の作用効果を得ることができると共に、第１の態様に係る画像データベース作成装置と同様にして種々の態様にて実現され得る。

第２の態様に係る画像データベース作成方法は、画像データベース作成プログラムとして実現され得ると共に、画像データベース作成プログラムが記録されたコンピューター読み取り可能な媒体として実現され得る。

第３の態様は、画像検索装置を提供する。第３の態様に係る画像検索装置は、検索キーワードを取得する検索キーワード取得部と、前記取得したキーワードを用いて、キーワードと識別子とを対応付けて記憶するキーワード−識別子データベースから対応する識別子を検索する識別子検索部と、前記検索された識別子を用いて、画像と識別子とを対応付けて格納する画像−識別子データベースから対応する画像を検索する画像検索部とを備える。

第３の態様に係る画像検索装置によれば、キーワードに基づき検索された識別子を用いて画像を検索することができるので、画像検索精度および画像検索速度を向上させることができる。

第４に態様は、画像検索方法を提供する。第４の態様に係る画像検索方法は、検索キーワードを取得し、前記取得したキーワードを用いて、キーワードと識別子とを対応付けて記憶するキーワード識別子データベースから対応する識別子を検索し、前記検索した識別子を用いて、画像と識別子とを対応付けて格納する画像−識別子データベースから対応する画像を検索することを備える。

第４の態様に係る画像検索方法によれば、第３の態様に係る画像検索装置と同様の作用効果を得ることができると共に、第３の態様に係る画像検索装置と同様にして種々の態様にて実現され得る。

第４の態様に係る画像検索方法は、画像検索プログラムとして実現され得ると共に、画像検索プログラムが記録されたコンピューター読み取り可能な媒体として実現され得る。

本実施例に係る画像検索システムの概略構成を示す説明図である。 本実施例に係る画像サーバーの内部構成を機能ブロック図にて模式的に示す説明図である。 本実施例に係る画像データベースの一例を示す説明図である。 本実施例に係るキーワード−識別子データベースの一例を示す説明図である。 本実施例に係る画像サーバーが備えるメモリに格納されている各種プログラム、モジュールを示す説明図である。 本実施例に係る画像データベース作成装置の内部構成を機能ブロック図にて模式的に示す説明図である。 本実施例に係る特徴量−識別子データベースの一例を示す説明図である。 本実施例に係る画像データベース作成装置が備えるメモリに格納されている各種プログラム、モジュールを示す説明図である。 本実施例に係るプリンタの内部構成を機能ブロック図にて模式的に示す説明図である。 本実施例に係るプリンタが備えるメモリに格納されている各種プログラム、モジュールを示す説明図である。 本実施例に係る画像データベース作成装置において実行される識別子付与処理の処理ルーチンを示すフローチャートである。 本実施例に係る画像データベース作成装置において実行される他の識別子付与処理の処理ルーチンを示すフローチャートである。 本実施例に係る画像サーバーにおいて実行される画像検索処理の処理ルーチンを示すフローチャートである。 本実施例に係るプリンタにおいて実行される画像検索要求処理の処理ルーチンを示すフローチャートである。 本実施例に係るプリンタにおいて表示される画像検索結果画面の一例を示す説明図である。

以下、本発明に係る画像検索システム、画像サーバー、画像データベース作成装置、画像検索方法、画像検索端末装置としてのプリンタ、パーソナルコンピューターについて、図面を参照しつつ、実施例に基づいて説明する。

第１の実施例：
図１は本実施例に係る画像検索システムの概略構成を示す説明図である。本実施例に係る画像検索システムＩＳＳは、画像サーバーとしてのサーバーコンピューター１０、画像データベース作成装置２０、プリンタ３０、パーソナルコンピューター４０を備えている。サーバーコンピューター１０と、画像データベース作成装置２０、プリンタ３０およびパーソナルコンピューター４０とはネットワークＮＥを介して双方向通信可能に接続されている。ネットワークは、インターネットであっても良く、イントラネットであっても良い。画像データベース作成装置２０はまた、サーバーコンピューター１０とローカルに（ネットワークを介することなく直接）接続されていても良い。

サーバーコンピューター１０は、識別子と対応付けられている複数の被検索画像データを格納し、クライアントコンピューターからの検索要求に応じて画像の検索を実行する。したがって、サーバーコンピューターは画像データベースを有する画像サーバー、画像データを検索する画像検索装置であると言うことができる。プリンタ３０およびパーソナルコンピューター４０は、画像サーバー１０に対するクライアントまたは画像検索端末装置と呼ぶことができる。パーソナルコンピューター４０は、表示ディスプレイ４１並びにキーボードおよびマウスといった入力装置４２を備えている。画像データベース作成装置２０は、サーバーコンピューター１０上に新たな画像データベースを作成、あるいは、サーバーコンピューター１０上の既存の画像データベースを更新する、画像データベースの構築装置である。画像データベース作成装置２０は、表示ディスプレイ２１並びにキーボードおよびマウスといったキーワード等を入力するための入力装置２２を備えている。

画像サーバーの構成：
図２は本実施例に係る画像サーバーの内部構成を機能ブロック図にて模式的に示す説明図である。画像サーバー１０は、互いに通信可能に接続されている中央処理装置（ＣＰＵ）１０１、メモリ１０２、画像データベースＤＢ１が構築されている第１の記憶装置１０３、キーワード−識別子データベースＤＢ２が構築されている第２の記憶装置１０４および入出力インターフェース１０５を備えている。ＣＰＵ１０１は、メモリ１０２に格納されている各種プログラム、モジュールを実行する。メモリ１０２は、ＣＰＵ１０１によって実行されるプログラム、モジュールを不揮発的に記憶すると共に、ＣＰＵ１０１による処理実行時にプログラム、モジュールが展開される揮発的な作業領域を有する。メモリ１０２としては、例えば、プログラム等を不揮発的に記憶するリードオンリメモリ、プログラム実行時における揮発的な作業領域を提供するランダムアクセスメモリといった半導体記憶装置、不揮発的にデータを記録可能な磁気式のハードディスクドライブ、大容量フラッシュメモリが用いられ得る。

第１および第２の記憶装置１０３、１０４は、例えば、ハードディスクドライブ、フラッシュメモリドライブといった１または複数の大容量記憶装置によって構成されている。すなわち、両記憶装置１０３、１０４は、１つの大容量記憶装置を論理的に２つの記憶装置とすることによって実現されても良く、あるいは、物理的に異なる２つの記憶装置であっても良い。第１の記憶装置１０３には、複数の画像データが唯一的な識別子と対応付けて格納されている画像データベースＤＢ１が構築されている。第２の記憶装置１０４には、唯一的な識別子と、対応するキーワード群とが対応付けて格納されているキーワード−識別子データベースＤＢ２が構築されている。ここで、唯一的な識別子とは、キーワード群または画像特徴量に対して唯一的であることを意味し、また、各データベース単位にて唯一的であっても良く、予め検索対象として予定されている複数のデータベースにおいて唯一的であっても良い。なお、画像データが機器上で出力（表示、印刷）された態様が画像であるが、請求項における画像は画像データを意味することは当業者にとって自明な事項である。

なお、本実施例では、単に画像データと識別子とを対応付けて第１の記憶装置１０３に構築されているデータベース、単にキーワードと識別子とを対応付けて第２の記憶装置１０４に構築されているデータベースである場合を例にとって説明しているが、両記憶装置１０３、１０４に検索機能を備える制御部を備え、外部からの検索要求に応じて検索結果を出力する独立型のデータベースシステム（ファイルサーバー）であっても良い。この場合には、画像サーバー１０の外部に画像データベースシステムが配置され、入出力インターフェース１０５を介して両者の間で検索要求および検索結果の送受信が実行される。また、データベース検索要求・検索結果受信用のプログラムがメモリ１０２に格納され、ＣＰＵ１０１によって実行される。なお、画像データと識別子との対応付け、あるいは、キーワードと識別子との対応付けは、各画像データと識別子との対応関係を示すテーブル、あるいは、各キーワードと識別子との対応関係を示すテーブルを用いることによって実現される。これらテーブルは、両記憶装置１０３、１０４に備えられていても良く、あるいは、メモリ１０２に格納されていても良い。前者の場合には、両記憶装置１０３、１０４がそれぞれ、受け取ったキーワードまたは識別子に応じた識別子または画像データを特定し、特定された識別子または画像データを読み出し、後者の場合には、両記憶装置１０３、１０４はそれぞれ、ＣＰＵ１０１から受け取った論理アドレスに従って、それぞれ識別子または画像データを読み出す。

入出力インターフェース１０５は、外部装置、例えば、プリンタ３０、パーソナルコンピューター４０といったクライアントとの間で、周知の通信プロトコルに従って検索要求および検索結果の送受信を実行する。

画像データベース：
図３は本実施例における画像データベースの一例を示す説明図である。本実施例では、各画像データと、唯一的な識別子と、関連度とが対応付けて記憶装置１０３に格納されることによって画像データベースＤＢ１が構築されている。ここで、関連度とは後述するように類似度に基づいて求められた、識別子またはキーワードと画像データとの関連性の強さを示すための指標値である。本実施例では、識別子を特定することによって対応する画像データを直ちに検索することが可能であり、キーワードまたは画像の特徴量を用いた類似度の判定を行わなくて良い。また、各識別子に対する画像データの類似度についても予め対応付けられているため、計算処理を実行することなく類似度を得ることができる。画像データベースＤＢ１は、例えば、前述のように、画像データと識別子と類似度とを対応付ける管理テーブルによって実現されている。なお、類似度は対応付けられていなくても良い。ここで、記憶装置１０３には、本実施例における画像データベース作成装置２０によってデータベース化されていない画像データが含まれていても良く、これら画像データは画像データベース作成装置２０によって順次、画像データベースＤＢ１に加えられていく。

キーワード−識別子データベース：
図４は本実施例におけるキーワード−識別子データベースの一例を示す説明図である。本実施例では、各キーワード群と唯一的な識別子とが対応付けて記憶装置１０４に格納されることによってキーワード−識別子データベースＤＢ２が構築されている。各識別子に対応付けるべきキーワードは、キーワードを一般化した上位概念、経験則に基づいて決定される。各キーワード群はキーワード群の代表的なキーワードＲＫ１〜ＲＫ４、あるいは、キーワード群の上位概念的なキーワードから具体的なキーワードにいたるよう階層化されている。たとえば、識別子００００１に対応付けられている顔に関するキーワード群では、キーワード群を代表するキーワードＲＫ１として「顔」、顔の具体的な表情である「笑顔」、「しかめ面」、顔に関する表現である「顔立ち」、「容貌」といったように、顔に関わる様々な表現態様、あるいは、表現レベルを網羅する複数のキーワードが含まれている。また、識別子００１２０に対応付けられている山に関するキーワード群では、キーワード群を代表するキーワードＲＫ２として「山」、具体的な山の名前として「富士山」、「阿蘇山」、山に関する表現として「夏山」、「雪山」、山に関連するキーワードとして「連峰」といったように、山に関わる様々な表現態様、表現レベルを網羅する複数のキーワードが含まれている。一方、顔に関するキーワードとして頻度が高いキーワードである「笑顔」に対しては、個別のキーワード群が用意されても良く、例えば、図４の例では、キーワード群「笑顔」には１つのキーワード「笑顔」のみが属しており、固有の識別子０２１４２が割り当てられている。この場合には、頻度の高いキーワードに対して、直ちに所望のキーワードに対応する画像を検索することができる。

図３は画像サーバーが備えるメモリに格納されている各種プログラム、モジュールを示す説明図である。メモリ１０２に格納されている各種プログラム、モジュールについて図５を用いて説明する。メモリ１０２は、本実施例に係る画像データベースから画像を検索するために実行される画像検索プログラムＳＰ１を格納している。

画像検索プログラムＳＰ１は、キーワード取得モジュールＳＭ１１、識別子取得モジュールＳＭ１２、画像データ検索モジュールＳＭ１３および画像データ送信モジュールＳＭ１４を備えている。キーワード取得モジュールＳＭ１１は、クライアントであるプリンタ３０およびパーソナルコンピューター４０によって送信された検索キーワードを取得するために実行されるモジュールである。キーワード取得モジュールＳＭ１１は単語単位の名詞をキーワードとして受け付ける機能を有していても良く、あるいは、名詞と形容詞といった複数の単語から構成されるキーワードを受け付ける機能を有していても良い。前者の場合には、受け取ったキーワードを直ちに以降の処理に用いることが可能となり、後者の場合には形態素解析を経て分かち書き処理を行った上で名詞を抽出して抽出した名詞をキーワードとして以降の処理に用いれば良い。ここで、形態素解析、分かち書き処理といった技術は周知の技術であるから詳細については説明を省略する。なお、キーワード取得モジュールＳＭ１１は、プリンタ３０等から送信された画像データに対応付けられているメタデータからキーワードを抽出、取得しても良い。識別子取得モジュールＳＭ１２は、キーワード取得モジュールＳＭ１１によって取得されたキーワードを用いて、キーワード−識別子データベースＤＢ２から対応する識別子を検索・取得するために実行されるモジュールである。ここで、キーワード−識別子データベースＤＢ２には、既述のように複数の相互に関連するキーワードを含むキーワード群が識別子と対応付けて格納されている。したがって、識別子取得モジュールＳＭ１２は、取得されたキーワードを含むキーワード群を検索することによって、対応する識別子を取得することができる。

画像データ検索モジュールＳＭ１３は、識別子取得モジュールＳＭ１２によって取得された識別子を用いて、画像データベースＤＢ１から対応する画像データを検索・取得するためのモジュールである。具体的には、画像データ検索モジュールＳＭ１３は、取得された識別子と一致する識別子を画像データベースＤＢ１から検索し、取得する。したがって、本実施例では、所望の画像データを検索するにあたって、類似度等の計算処理を経ることなく、直ちに所望の画像データが検索され得る。画像データ送信モジュールＳＭ１４は、検索キーワードを送信したクライアントであるプリンタ３０およびパーソナルコンピューター４０に対して、検索により得られた画像データを送信するためのモジュールである。なお、キーワード取得モジュールＳＭ１１、識別子取得モジュールＳＭ１２、画像データ検索モジュールＳＭ１３は、それぞれＣＰＵ１０１によって実行されることによって、検索キーワード取得部、識別子取得部、画像検索部として機能する。なお、キーワード取得モジュールＳＭ１１、識別子取得モジュールＳＭ１２、画像データ検索モジュールＳＭ１３は、それぞれハードウェアとして、すなわち、半導体回路として実現されても良い。

画像データベース作成装置の構成：
図６は本実施例に係る画像データベース作成装置の内部構成を機能ブロック図にて模式的に示す説明図である。画像データベース作成装置２０は、互いに通信可能に接続されている中央処理装置（ＣＰＵ）２０１、メモリ２０２、特徴量−識別子データベースＤＢ３が構築されている記憶装置２０３、および入出力インターフェース２０４を備えている。ＣＰＵ２０１は、メモリ２０２に格納されている各種プログラム、モジュールを実行する。メモリ２０２は、ＣＰＵ２０１によって実行されるプログラム、モジュールを不揮発的に記憶すると共に、ＣＰＵ２０１による処理実行時にプログラム、モジュールが展開される揮発的な作業領域を有する。メモリ２０２としては、例えば、プログラム等を不揮発的に記憶するリードオンリメモリ、プログラム実行時における揮発的な作業領域を提供するランダムアクセスメモリといった半導体記憶装置、不揮発的にデータを記録可能な磁気式のハードディスクドライブ、大容量フラッシュメモリが用いられ得る。

記憶装置２０３は、例えば、ハードディスクドライブ、大容量フラッシュメモリドライブといった１または複数の大容量記憶装置によって構成されている。記憶装置２０３には、識別子（ＩＤ）、複数の画像データの特徴量を含む画像特徴量群（画像特徴量グループ）、キーワードがそれぞれ対応付けられて構成されている特徴量−識別子データベースが構築されている。なお、画像データが機器上で出力（表示、印刷）された態様が画像であるが、請求項における画像は画像データを意味することは当業者にとって自明な事項である。

入出力インターフェース２０４は、外部装置、例えば、表示ディスプレイ２１、入力装置２２との間で、入力信号または出力信号を送受信する。

特徴量−識別子データベース：
図７は本実施例における特徴量−識別子データベースの一例を示す説明図である。本実施例では、既述の通り、一のキーワード群に対応する複数の画像特徴量と唯一的な識別子とが対応付けて記憶装置２０３に格納されることによって特徴量−識別子データベースＤＢ３が構築されている。各識別子に対応付けるべき特徴量の種別および値は、経験則に基づいて決定される。なお、図７では、説明を簡単にするために、キーワードの項目にはキーワード群の代表キーワードが例示されているが、実際には、図４に示すよう複数のキーワードを含むキーワード群が対応付けられている。図７の例では、例えば、顔に関するキーワード群に対しては、顔の形状（ａ１）、顔のテクスチャ（ａ２）、顔の大きさ（ａ３）、顔の向き（ａ４）、顔の表情（ａ５）といった画像の特徴量が対応付けられている。なお、理解を容易にするため、顔の形状、顔のテクスチャ、顔の大きさ、顔の向き、顔の表情といった表現を用いているが、実際には、主要被写体が顔であると判断される場合に用いられる、主要被写体の形状、主要被写体のテクスチャ、主要被写体の大きさ、主要被写体の向き、主要被写体の表情といった特徴量の平均値が対応付けられている。

主要被写体の領域は、画像を構成する画素のうち、画素値、例えば、Ｒ、Ｇ、Ｂ成分値が互いに近似する隣接画素あるいは所定の色相（一般的には肌色）範囲に属する隣接画素をグループ化することによって画定することができる。顔の大きさは、例えば、顔として適切な主要被写体領域の幅および高さを画像特徴量として用意すればよく、顔の向きは、例えば、主要被写体領域の左右の振り角度、上下の振り角度を画像特徴量として用意すればよい。顔のテクスチャについては、例えば、周知のテクスチャ抽出方法において用いられる空間周波数のうち、顔として適切な空間周波数の値を画像特徴量として用意すればよい。顔の形状並びに顔の表情については、主要被写体（顔）領域の輪郭、目、鼻、口、眉毛といった器官の座標値として、顔が取り得る値の平均値を画像特徴量として用意すれば良い。

一方、風景に関するキーワード群に対しては、画像の代表色の色相（ｂ１）、画像に占める画像の代表色の割合（ｂ４）、画像の彩度（ｂ２）・明度（ｂ３）・エッジ量（ｂ５）・エッジ方向（ｂ６）の平均値が対応付けられている。これらの特徴量は、画像データを構成する画素データに対して統計的な処理を施すことによって得られることは、当業者によって良く知られた事項であるから詳細な説明は省略する。

笑顔のキーワード群に対しては、顔の形状（ａ１）、顔のテクスチャ（ａ２）、顔の大きさ（ａ３）については顔のキーワード群と同様の画像特徴量が用意され、顔の向き（ａｓ４）および顔の表情（ａｓ５）については笑顔に固有の画像特徴量が用意される。

図８は本実施例に係る画像データベース作成装置が備えるメモリに格納されている各種プログラム、モジュールを示す説明図である。メモリ２０２は、本実施例における画像データベースを作成するために実行される画像データベース作成プログラムＳＰ２を格納している。画像データベース作成プログラムＳＰ２は、画像データ取得モジュールＳＭ２１、特徴量取得モジュールＳＭ２２、識別子検索モジュールＳＭ２３、画像データベース構築モジュールＳＭ２４および識別子検索用キーワード取得モジュールＳＭ２５を備えている。

画像データ取得モジュールＳＭ２１は、画像データベース作成装置２０に対して外部記憶装置から提供された画像データ、または画像サーバー１０の記憶装置１０３に記憶されており、未だ、画像データベースＤＢ１に属していない画像データを取得する。すなわち、本実施例に係る画像データベース作成装置２０は、本実施例における画像データベースＤＢ１とは異なる画像データベースが構築されている記憶装置に対して本実施例における画像データベースＤＢ１を構築するために用いられても良く、あるいは、何ら画像データベースが構築されていない記憶装置に格納されている画像データを用いて画像データベースＤＢ１を構築するために用いられても良く、または、画像データが格納されていない記憶装置に対して、外部から画像データを格納しつつ、画像データベースＤＢ１を構築するために用いられても良い。

特徴量取得モジュールＳＭ２２は、画像データ取得モジュールＳＭ２１によって取得された画像データから特徴量を取得するために実行されるモジュールである。ここで、特徴量は、例えば、画像データの平均輝度、最小輝度、最高輝度、代表色の色相、彩度および明度、画像に占める代表色の割合、画像データに含まれる顔の形状、顔の大きさ、顔のテクスチャ、顔の向き、顔の表情、エッジ量、エッジの方向位置といった種別と、各種別において特徴量の大小または高低を示す値の双方を含んでいる。これら特徴量の種別は当業者にとって良く知られた種別であり、また、各種別が示す値（特徴量の値）の算出方法は当業者にとって周知の方法で取得することが可能である。識別子検索モジュールＳＭ２３は、特徴量取得モジュールＳＭ２２によって取得された特徴量を用いて、特徴量−識別子データベースＤＢ３に格納されている識別子から一致または近似する識別子を検索するために実行されるモジュールである。具体的には、取得された特徴量と、各識別子に対応する特徴量との類似度をそれぞれ算出し、算出された類似度が所定の類似度以上の識別子、あるいは、算出された類似度が最も高い識別子を検索（特定）する。

画像データベース構築モジュールＳＭ２４は、識別子検索モジュールＳＭ２３によって検索された１または複数の識別子を、画像データ取得モジュールＳＭ２１によって取得された画像データに対応付けて、記憶装置１０３に格納して画像データベースＤＢ１を構築する。識別子検索用キーワード取得モジュールＳＭ２５は、入力装置２２によって入力されたキーワードまたは取得された画像データに予め対応付けられているキーワードを取得するために実行されるモジュールである。識別子検索用キーワード取得モジュールＳＭ２５によってキーワードが取得された場合には、画像データの特徴量に優先してキーワードに基づいた識別子の検索（決定）処理が行われても良い。ここで、優先して、とは画像データの特徴量に基づく識別子の検索処理を行わないこと、画像データの特徴量に基づく識別子の検索処理は実行するが最も類似度の高い識別子として、取得されたキーワードに対応する識別子を割り当てることを意味する。なお、画像データ取得モジュールＳＭ２１、特徴量取得モジュールＳＭ２２、識別子検索モジュールＳＭ２３、画像データベース構築モジュールＳＭ２４および識別子検索用キーワード取得モジュールＳＭ２５は、それぞれＣＰＵ２０１によって実行されることによって、検索画像取得部、特徴量取得部、識別子検索部、画像データベース構築部、識別子検索用キーワード取得部として機能する。なお、画像データベース作成プログラムＳＰ２、画像データ取得モジュールＳＭ２１、特徴量取得モジュールＳＭ２２、識別子検索モジュールＳＭ２３、画像データベース構築モジュールＳＭ２４および識別子検索用キーワード取得モジュールＳＭ２５は、半導体回路といったハードウェアによって実現されても良い。

プリンタの構成：
図９は本実施例に係るプリンタの内部構成を機能ブロック図にて模式的に示す説明図である。図１０は画像プリンタが備えるメモリに格納されている各種プログラム、モジュールを示す説明図である。本実施例では、画像検索端末装置としてプリンタ３０を例にとって説明するが、パーソナルコンピューター４０についても同様に画像検索端末装置として用いることが可能であることは言うまでもない。プリンタ３０は、信号線によって互いに接続されている制御回路３１、入力操作部３２、表示部３３、印刷部３４、外部入出力インターフェース３５を備えている。制御回路３１は、互いに通信可能に接続されている中央処理装置（ＣＰＵ）３１０、メモリ３１１、入出力（Ｉ／Ｏ）インターフェース３１２を備えている。ＣＰＵ３１０は、メモリ３１１に格納されている各種プログラム、モジュールを実行する。メモリ３１１は、ＣＰＵ３１０によって実行されるプログラム、モジュールを不揮発的に記憶すると共に、ＣＰＵ３１０による処理実行時にプログラム、モジュールが展開される揮発的な作業領域を有する。メモリ３１１としては、例えば、プログラム等を不揮発的に記憶するリードオンリメモリ、プログラム実行時における揮発的な作業領域を提供するランダムアクセスメモリといった半導体記憶装置、ハードディスクドライブ、大容量フラッシュメモリが用いられ得る。入出力インターフェース３１２は、制御回路３１と、入力操作部３２、表示部３３、印刷部３４および外部入出力インターフェース３５との間で、コマンド、データの送受信を実行する。入力操作部３２は、プリンタ３０に対してユーザが指示を入力するための操作部であり、例えば、ボタン、ホイールによって実現され得る。表示部３３は、ユーザに対して検索した画像データに基づく画像の表示、ユーザに対する各種情報の表示を行うカラー表示可能な表示画面である。印刷部３４は、ユーザ（制御回路３１）からの印刷指示に従って印刷媒体に対して画像を形成する印刷実行部である。外部入出力インターフェース３５は、外部装置、例えば、画像サーバー１０との間で、周知の通信プロトコルに従って検索要求および検索結果の送受信を実行する。

メモリ３１１に格納されている各種プログラム、モジュールについて図１０を用いて説明する。メモリ３１１は、画像サーバー１０に対して画像検索を要求するための画像検索要求プログラムＣＰ１を備え、画像検索要求プログラムＣＰ１は、キーワード取得モジュールＣＭ１１、検索要求送信モジュールＣＭ１２、検索結果受信モジュールＣＭ１３を備えている。キーワード取得モジュールＣＭ１１は、検索対象となる画像（画像データ）を特定するためにユーザによって入力されたキーワードを取得するために実行されるモジュールである。なお、キーワードの取得は、入力操作部３２によって入力されたキーワードを取得しても良く、あるいは、画像データに予め関連付けられているメタデータに記述されているキーワードを抽出、取得することによって実行されても良い。さらには、キーワードの取得は、入力操作部３２によって入力されたキーワードと画像データのメタデータに記述されているキーワードの双方を取得することによって実行されても良い。検索要求送信モジュールＣＭ１２は、取得されたキーワードと検索の要求を画像サーバー１０に対して送信するためのモジュールである。検索結果受信モジュールＣＭ１３は、画像サーバー１０から検索結果としての一または複数の画像データを取得するためのモジュールである。なお、画像検索要求プログラムＣＰ１、キーワード取得モジュールＣＭ１１、検索要求送信モジュールＣＭ１２、検索結果受信モジュールＣＭ１３、それぞれＣＰＵ３１０によって実行されることによって、画像検索要求部、検索要求キーワード取得部、検索要求送信部、検索結果受信部として機能する。

識別子付与処理
図１１は本実施例に係る画像データベース作成装置によって実行される識別子付与処理の処理ルーチンを示すフローチャートである。本処理ルーチンが開始されると、画像データ取得モジュールＳＭ２１は、記憶装置１０３から画像データを取得する（ステップＳ１００）。具体的には、未だ識別子が付与されていない画像データを任意の順序であるいは一定の条件（例えば、画像データの生成日時の古い順）に従って、画像サーバー１０の記憶装置１０３から画像データを読み出し、メモリ２０２に格納する。なお、既述の通り、画像データは既に構築済みの他の画像データベースに属していても良く、いずれの画像データベースにも属していなくても（単に記憶装置１０３に格納されているだけでも）良い。また、画像データ取得モジュールＳＭ２１は、記憶装置１０３に代えて、他の外部記憶装置から画像データを取得しても良い。

特徴量取得モジュールＳＭ２２は、画像データ取得モジュールＳＭ２１によって取得された画像データから特徴量を取得する（ステップＳ１０２）。具体的には、予め定められた複数種類の特徴量について、それぞれ特徴量の値が求められる。予め定められた複数種類とは、特徴量−識別子データベースＤＢ３において画像特徴量として格納されている特徴量の種類に対応する種類である。すなわち、特徴量−識別子データベースＤＢ３を有効に活用して識別子を特定するためには、当該データベースに含まれている特徴量の種類と同種類の特徴量を用いて識別子を検索することが望ましい。

本実施例では、特徴量として、例えば、画像データの平均輝度、最小輝度、最高輝度、代表色の色相、彩度および明度、画像に占める代表色の割合、画像データに含まれる顔の形状、顔の大きさ、顔のテクスチャ、顔の向き、顔の表情、エッジ量、エッジの方向位置といった種別について、それぞれ値が求められる。画像データがＲＧＢドットマトリクスデータである場合を例にとって説明すると、特徴量取得モジュールＳＭ２２は、先ず、画像データを構成する全ての画素データ、または所定量の画素データ間引き後に残存する画素データ（サンプリング画素データ）について、それぞれＲ、Ｇ、Ｂの成分値を求める。各成分の頻度分布（ヒストグラム）は、横軸にＲ、Ｇ、Ｂ成分値の値（階調値とも言う）と、縦軸に出現頻度を有するグラフ上に、求められたＲ、Ｇ、Ｂ成分値をプロットすることによって得られる。輝度のヒストグラムは、周知の変換式を用いて、求められたＲ、Ｇ、Ｂ成分値をＹ成分値（輝度成分値）に変換し、横軸にＹ成分値の値（階調値とも言う）と、縦軸に出現頻度を有するグラフ上に、求められたＹ成分値をプロットすることによって得られる。平均輝度は、各画素データについて得られたＹ成分値の合計値を画素データ数で除することによって得られ、最小輝度および最大輝度は、輝度ヒストグラムのおける最小輝度値およぎ最大輝度値を特定することによって得られる。

代表色の色相、彩度および明度は、画像データまたは間引き後の画像データをＲＧＢ値からＨＳＶ値に変換し、変換後に得られたＨ（色相）、Ｓ（彩度）およびＶ（明度）についてそれぞれ縦軸に出現頻度、横軸に各成分の値を有するヒストグラムを作成し、最も頻度の高い色相値、彩度値、および明度値をそれぞれ代表色の色相、彩度および明度として特定すれば良い。なお、ＲＧＢ色空間−ＨＳＶ色空間の変換処理については周知であるから詳細な説明を省略する。

エッジ量およびエッジの方向については、例えば、周知の３×３Prewittオペレータ、５×５Prewittオペレータを用いることによってエッジ量およびエッジ角度を算出することができる。

主要被写体の領域（顔領域）は、画像を構成する画素のうち、画素値、例えば、ＲＧＢ三成分値が互いに近似する隣接画素あるいは所定の色相（一般的には肌色）範囲に属する隣接画素をグループ化することによって画定することができる。また、画像の全領域に対してＸ−Ｙ座標軸を設定することによって、画像中における顔領域の位置、大きさ、顔領域における目口鼻等の器官位置を座標位置によって特定することができる。この前提の下、顔の大きさについては、画定された顔領域の幅および高さを座標間距離によって求め、顔の向きについては、正面を向いた顔領域における目と口との間の座標間距離および両目の間の座標間距離、口および目の大きさを基準値として予め用意しておき、例えば、画定された顔領域における目と口との間の座標間距離が基準値よりも短く、口の大きさが基準値よりも大きい場合には上向きの顔画像であると判断することが可能となり、画定された顔領域における目と口との間の座標間距離が基準値と同等であり、両目の座標間距離が基準値よりも小さく、右目の大きさが基準値よりも大きい場合には左向きの顔画像であると判断することが可能となる。したがって、各基準値に対する、画定顔領域の目と口との間の座標間距離および両目の間の座標間距離、口および目の大きさを基準値の差分と顔の角度とを予め対応付けておくことによって、顔の上下左右方向の振り角度を特定することができる。顔の形状および顔の表情については、顔の輪郭および器官の座標値に基づいて、特定することができる。すなわち、器官の座標値と顔の喜怒哀楽の表情とを予め対応付けておけばよい。顔領域のテクスチャについては、画定された顔領域に対して周波数解析を実行することによって得られる。画定された顔領域に対する周波数解析は、２次元フーリエ変換式を用いて、画定された顔領域を構成する各画素データの周波数を求めることによって実行される。一般的に、得られた周波数成分に低周波数成分が多く含まれる場合には、滑らかな画像であることを示し、高周波数成分が多く含まれる場合には、滑らかでない画像であることを示す。

特徴量取得モジュールＳＭ２２によって画像データから複数種類の特徴量が取得されると、識別子検索モジュールＭ２３は、特徴量−識別子データベースＤＢ３から取得された特徴量に一致する識別子を検索する（ステップＳ１０４）。具体的には、画像データから取得された各種特徴量の値と、特徴量−識別子データベースＤＢ３において各識別子に対応付けられている各特徴量の値とを用いて類似度を算出し、算出された類似度が所定の範囲内に有る場合には、画像データから取得された特徴量の値と、識別子に対応付けられている特徴量の値とが一致すると判断される。各特徴量間の類似度の判定には、例えば、ユークリッド距離、マハラノビス距離といった距離算出方法が適用される。具体的には、画像データの各特徴量の値と、識別子に対応付けられている各特徴量の値との間の距離、すなわち、画像データの特徴量の値と識別子に対応付けられている各特徴量に値によって表される多次元ベクトル間の距離を用いて判断され、得られた距離が短いほど類似していると判断される。あるいは、画像データの各特徴量の値を成分とする多次元ベクトルと、識別子に対応付けられている各特徴量の値を成分とする多次元ベクトルとの内積を求めて判断されても良い。この場合には、両多次元ベクトルのコサイン成分の差を求めるので、得られた内積の値が１に近いほど（両多次元ベクトル間の角度が０に近いほど）類似度が高いと判断することができる。

ユークリッド距離を用いる場合には、以下に示す式（１）および（２）によって類似度を算出することができる。

式（１）において（ｘi）は画像データの特徴量の値、（ｙi）は識別子に対応付けられている特徴量の値を示し、ｋiは重み付け係数（０ではない任意の値）を示す。式（２）においては理解を容易にするために、各特徴量種毎に求められた差分の合計値（距離）が類似度として用いられることを明示している。距離を用いた類似度判断では、算出結果が０に近いほど画像データと識別子とが類似していることを示すので、重要度の高い特徴量に対して大きな係数を付与することによって、当該特徴量に対する感度を高くして検索結果数を絞り込むことんでも良い。なお、類似度の算出にあたっては、各特徴量毎に式（１）に示す数式を用いて類似度を算出し、算出された類似度の単純和を用いても良い。

一方、内積を用いる場合には、以下の式（３）によって類似度を算出することができる。式（３）において係数は、各多次元ベクトルの成分に対して適用される。

類似度として内積を用いる場合にも、両多次元ベクトル間角度が０に近いほど画像データと識別子とが類似していることを示すので、複数の画像データにおいて共通または近似する値の特徴量に対して重み付けを大きくすることにより重要度の高い特徴量に関する感度を高くして検索結果を精選し、検索精度を向上させることができる。

識別子検索モジュールＭ２３は、取得された各識別子について類似度と共に一時的にメモリ２０２に格納する。画像データベース構築モジュールＭ２４は、メモリ２０２に格納されている識別子と類似度とを用いて、最も類似度が高い（すなわち、得られた類似度の値が最も小さい）識別子、あるいは、得られた類似度が所定値以下の識別子を画像データに対応付けて記憶装置１０３に格納して画像データベースＤＢ１を構築または更新する（ステップＳ１０６）。なお、図３に示す画像データベースＤＢ１の例では、画像データに対して識別子は１つしか付されていないが、画像特徴量が固有の（検索頻度の高い）キーワード、例えば「笑顔」に相当する場合には、画像データに対しては顔に関する識別子に加えて、笑顔に関する識別子も対応付けられる。また、上述のとおり、複数の識別子が類似度と共に付されていても良い。この場合であっても、同一の識別子が複数存在する訳ではなく、特徴量（キーワード群）との関係において識別子が唯一的であることに代わりはない。なお、上記手法によって得られる類似度は、一般的に類似度が高いほど小さな値を取り、直感的に類似度の程度を判断しがたい。そこで、図３に示す画像データベースＤＢ１では、説明を簡単にするために、類似度に代えて、百分率で示される関連度を関連付けた例を示しているが、類似度の値が関連付けられていても良いことは言うまでもない。ただし、類似度の値を対応付けておき、表示の際に関連度等の指標に変換しても良い。関連度は、例えば、類似度として一般的に高い類似度を示す値域に対して１００％〜５０％までの値を一次関数によって割当て（但し、類似度０の場合に１００％をとる）、一般的に類似していないと判断される類似度に対しては、５０％未満の値を所定の規則に従って離散的に割り当てることによって得られる。あるいは、得られた類似度の逆数に正規化処理を施す等して、類似度の値の小さい（類似度が高い）場合に大きな値を採るように演算処理して得られても良い。

画像データベース作成装置２０は、処理対象となる画像データがなくなるまで（ステップＳ１０８：Ｎｏ）、ステップＳ１００〜Ｓ１０６を繰り返して実行し、対象画像データが終了すると（ステップＳ１０８：Ｙｅｓ）、本処理ルーチンを終了する。

図１２は本実施例に係る画像データベース作成装置によって実行される他の識別子付与処理の処理ルーチンを示すフローチャートである。この例では、画像データに予めキーワードが付されている場合について説明する。なお、図１１に示す識別子付与処理と同一の処理ステップについては、同一の符号を付すことで詳細な説明を省略する。

本処理ルーチンが開始されると、画像データ取得モジュールＳＭ２１は、記憶装置１０３から画像データを取得する（ステップＳ１００）。画像データ取得モジュールＳＭ２１によって画像が取得されると、識別子検索用キーワード取得モジュールＭ２５は、画像データにキーワードが対応付けられているか否かを判定する（ステップＳ１０１）。キーワードは、取得された画像データに対してメタデータとして予め対応付けられていても良く、あるいは、取得された画像データに対するキーワードとしてユーザによって入力装置２２を介して入力されても良い。

識別子検索用キーワード取得モジュールＭ２５によって画像に対応付けられているキーワードが取得されなかった場合には（ステップＳ１０１：Ｎｏ）、画像データベース作成装置２０は、ステップＳ１０２〜ステップＳ１０８を実行する。

識別子検索用キーワード取得モジュールＭ２５によって画像に対応付けられているキーワードが取得された場合には（ステップＳ１０１：Ｙｅｓ）、識別子検索モジュールＭ２３は、取得されたキーワードを用いて、特徴量−識別子データベースＤＢ３から該当する識別子を検索する（ステップＳ１０３）。既述のように、特徴量−識別子データベースＤＢ３には、キーワード−識別子データベースＤＢ２と同様のキーワード群が各識別子に対して対応付けられているので、取得されたキーワードを用いて、対応する識別子を検索することができる。特徴量−識別子データベースＤＢ３において識別子に対応付けられているキーワード群には階層的に複数のキーワードが含まれているので、取得されたキーワードに一致するいずれかの識別子が検索されやすい。また、識別子検索用キーワード取得モジュールＭ２５が取得されたキーワードに対して形態素解析、分かち書き処理を実行可能である場合には、分かち書き処理により得られた名詞をキーワードとして用いることによって、識別子の検索精度が向上される。なお、キーワードを用いた場合に検索される識別子は一般的に単数であるが、頻度の高いキーワード、例えば、「笑顔」の場合には、「顔」に加えて、個別に「笑顔」の識別子が用意されていることもあるため、複数の識別子が検索されることもある。

識別子が検索されると、画像データベース構築モジュールＳＭ２４は、取得された識別子を画像データに対応付けて、画像データベースを構築または更新する（ステップＳ１０６）。画像データベース作成装置２０は、ステップＳ１０８の処理を実行して、本処理ルーチンを終了する。なお、本処理ルーチンでは、画像の特徴量を考慮する必要がないので、ステップＳ１０３において、特徴量−識別子データベースＤＢ３に代えて、画像サーバー１０が備えるキーワード−識別子データベースＤＢ２が用いられても良い。

上記処理ルーチンでは、キーワードが取得された場合には、画像特徴量が全く考慮されないが、キーワードが取得された場合であっても、画像特徴量を用いて識別子が決定されても良い。この場合には、キーワードに基づいて決定された識別子に対して、高い類似度を付与し、画像特徴量に基づいて決定された識別子に対して、キーワードに基づいて決定された識別子に付与された類似度よりも低い類似度を付与しても良い。すなわち、画像データに予め付与されていたキーワードは、より画像データの特徴を表していると考えられるからである。

画像検索処理：
図１３は本実施例に係る画像検索処理に際して実行される処理ルーチンを示すフローチャートである。画像検索処理は、プリンタ３０等の検索端末装置からの検索要求を受けて、画像サーバー１０において実行される。本処理ルーチンが開始されると、検索キーワード取得モジュールＳＭ１１は、検索キーワードを取得する（ステップＳ２００）。検索キーワードの取得は、ユーザによって、例えば、プリンタ３０の入力操作部３２を介して入力されたキーワード、あるいは、プリンタ３０から送信された画像データに対応付けられているメタデータに記述されているキーワードを取得することによって実現される。

検索キーワードが取得されると、識別子取得モジュールＳＭ１２は、キーワード−識別子データベースＤＢ２を用いて取得した検索キーワードに対応する識別子を検索する（ステップＳ２０２）。具体的には、キーワード−識別子データベースＤＢ２に含まれるキーワード群の中から検索キーワードに一致するキーワードを含むキーワード群を特定することによって、当該キーワード群に対応付けられている識別子が検索される。識別子取得モジュールＳＭ１２は、形態素解析、分かち書き処理を実行可能であってもよく、この場合には、検索キーワードとして単純名詞以外のキーワードが入力された場合であっても、分かち書き処理により得られた名詞をキーワードとして用いることによって、識別子の検索を実行することができる。なお、キーワード−識別子データベースＤＢ２と特徴量−識別子データベースＤＢ３とは定期的に同期処理されていることが望ましい。すなわち、キーワード−識別子データベースＤＢ２における識別子とキーワードの対応関係と、特徴量−識別子データベースＤＢ３における識別子とキーワードとの対応関係とが対応していない場合には、キーワードに基づいて適切な識別子を検索することができなくなり、結果として画像検索精度の低下をもたらすからである。

識別子が検索されると、画像データ検索モジュールＳＭ１３は、検索された識別子を用いて画像データベースＤＢ１から画像データを検索する（ステップＳ２０４）。すなわち、本実施例では、画像データベースＤＢ１から画像データを検索するに当たり、画像データの特徴量を用いた類似度判定を行うことなく、検索された識別子を用いて画像データの検索が実行される。また、検索された画像データには、識別子に対する類似度が対応付けられている。したがって、画像データベースＤＢ１から画像データを迅速に検索することができると共に、検出された画像データとキーワードとの間の類似度を取得することができる。

画像データ送信モジュールＳＭ１４は、検索された画像データを、画像データ検索要求の送信元であるプリンタ３０に対して送信して（ステップＳ２０６）、本処理ルーチンを終了する。なお、送信元であるプリンタ３０の特定は、例えば、プリンタ３０から送信された画像検索要求のヘッダに含まれる送信元アドレス（ＩＰアドレス、ＭＡＣアドレス）を用いることによって特定可能である。なお、本実施例において、ネットワークを介して実行される各装置間の通信は、周知のネットワークプロトコルに従って実行される。

画像検索要求処理：
図１４は本実施例に係る画像検索要求処理に際して実行される処理ルーチンを示すフローチャートである。図１５は本実施例に係るプリンタにおいて表示される画像検索結果画面の一例を示す説明図である。本処理ルーチンは、画像検索端末としてのプリンタ３０によって実行される。本処理ルーチンが開始されると、プリンタ３０のキーワード取得モジュールＣＭ１１は、キーワードを取得する（ステップＳ３００）。具体的には、入力操作部３２を介してユーザによって入力されたキーワード、あるいは、検索元となる画像データに予め対応付けられているメタデータに記述されているキーワードを抽出することによって実行される。

キーワードが取得されると、検索要求送信モジュールＣＭ１２は、画像サーバー１０に対して検索要求を送信する（ステップＳ３０２）。具体的には、外部入出力インターフェース３５、ネットワークＮＥを介してキーワードと検索要求コマンドとを含む検索要求データ列が画像サーバー１０に送信される。検索結果受信モジュールＣＭ１３は、画像サーバー１０から受信した検索結果としての１または複数の画像データを取得し（ステップＳ３０４）、取得した画像データを用いて複数の画像を表示部３３に表示させて（ステップＳ３０６）、本処理ルーチンを終了する。なお、複数の画像を表示部３３に表示させる際には、図１５に示すように、各画像と識別子（キーワード）との関連度を示す指標として関連度（または類似度）を表示部３３に表示しても良い。図１５の例ではキーワードとして「笑顔」が用いられており、「笑顔」に割り当てられている２つの識別子「００００１」、「０２１４２」と、キーワードである「笑顔」または識別子「００００１」、「０２１４２」と画像データとの類似度に基づく関連度がそれぞれ表示されている。なお、図１５に示す例のように、キーワードに対して複数の識別子が割り当てられている場合には、対応付けられている類似度のうち高い類似度、低い類似度または類似度の平均値に基づき算出された関連度が表示される。表示部３３に検索画像と共に関連度を表示することにより、ユーザは、先のキーワードが検索キーワードとして適切であったか否かを判定することが可能となり、検索結果に満足がいかない場合には、キーワードを変更して再度、検索を実行することができる。なお、検索結果受信モジュールＣＭ１３には、検索結果表示制御モジュールの機能が包含されていても良く、あるいは、別途、検索結果表示制御モジュールが備えられていても良い。

以上説明した本実施例に係る画像データベース作成装置、画像データベース作成方法、画像サーバー、画像検索方法、プリンタ（画像検索端末装置）、画像検索システムによれば、画像データベースＤＢ１は識別子と画像データとを対応付けて格納しており、識別子に基づいて画像データを検索することができる。すなわち、画像検索時において、従来用いられていた検索対象画像データおよび被検索画像データからの特徴量の抽出、両画像データの特徴量を用いた類似度の算出を実行する必要が無くなる。また、画像データベースＤＢ１作成の際に用いられる特徴量−識別子データベースＤＢ３では、１つの識別子に対して複数の特徴量が対応付けられている（数多くの画像データが対応付けられている）ので、従来の検索対象画像データと被検索画像データとの対比処理と比較して、より多くの画像データを迅速かつ精度良く検索することができる。

また、本実施例では、画像検索に際して、予めキーワードに基づいて識別子を検索し、検索された識別子を用いて画像データを検索することができるので、画像データの検索速度および検索精度を更に向上させることができる。すなわち、画像検索時において、従来用いられていた画像特徴量の抽出、類似度の算出を実行する必要が無くなり、また、一の識別子は、概念的に関連する複数の画像データに対応付けられ得るので、画像データの検索を迅速かつ精度良く実行することができる。

本実施例において画像データベース作成装置２０によって作成される画像データベースＤＢ１では、画像データに対して識別子に加えて、識別子（キーワード）に対する画像データの類似度が格納されているので、識別子を用いた画像検索時にあっても、検索結果に対して優先順位を付けることができる。また、ユーザに対して、検索に使用されたキーワードと検索により得られた画像との関連度を示すことが可能となり、ユーザは使用したキーワードが適切なキーワードであったか否かを数値に基づいて判断することができる。

本実施例において画像データベースＤＢ１を作成する際に、画像データベース作成装置２０によって用いられる特徴量−識別子データベースＤＢ３には、１つの識別子に対して複数種類の特徴量が対応付けられているので、各識別子に対して対応付けられているキーワード（キーワード群）を十分に考慮した（包含した）画像データベースＤＢ１を作成することができる。この結果、一の識別子に対して概念的に関連する複数の画像データが対応付けられた画像データベースＤＢ１を得ることが可能となり、当該画像データベースＤＢ１を用いた画像データの検索精度を向上させることができる。また、本実施例では、検索頻度が高い固有のキーワード、例えば、「笑顔」については、「顔」のキーワード群に対する識別子が対応付けられると共に、固有の識別子が対応付けられているので、検索頻度が高いキーワードに対応する画像データを迅速に検索することができる。

さらに、本実施例にでは、画像検索時に用いられるキーワード−識別子データベースＤＢ２として、１の識別子に階層的な複数のキーワードから構成されるキーワード群が対応付けられているデータベースを用いている。したがって、ユーザによって入力されるキーワードに表現の揺らぎ、キーワードに同義語が存在する場合であっても、画像サーバー１０は、表現の揺らぎ、同義語を考慮した同義語データベースの検索処理を行うことなく、キーワード−識別子データベースＤＢ２から一致するキーワードを精度良く検索することができる。すなわち、キーワード群として上位概念から下位概念に亘る階層的なキーワードを備えているので抽象的なキーワードに対しても対応できると共に、同義語、関連する複数のキーワードを備えているので、ユーザによって異なるキーワードの表現に対応することができる。

また、キーワードとして新たな候補語が生まれた場合にも、対応するキーワード群のリストを更新（すなわち、対応するキーワード群に加える）ことにより、対処可能であり、識別子を新たに付与したり、識別子を変更する必要が無く、キーワード−識別子データベースＤＢ２、特徴量−識別子データベースＤＢ３のメンテナンスを容易に行うことができる。さらに、異なるデータベースでは一般的に固有のキーワードが用いられているが、本実施例によれば、これら異なるデータベースを統合する際にも、従前の各データベースに固有のキーワードを維持しつつ、単一の識別子を対応付けることが可能となり、キーワードの変更、更新等の作業を要することなくデータベースを統合することができる。また、画像検索端末装置であるプリンタ３０においても、キーワードに対して同義語等の付加情報を加えることなく、キーワードのみを画像サーバー１０に送信すれば良い。したがって、キーワードの揺らぎに起因する検索精度の低下を防止、抑制すると共に、キーワードの揺らぎに起因する画像検索時間についても時間削減を図ることができる。

・変形例：
（１）上記実施例では、特徴量−識別子データベースＤＢ３とキーワード−識別子データベースＤＢ２とがそれぞれ別々に備えられていたが、共通のデータベースとして、画像サーバー１０に備えられていても良い。すなわち、図７に示すように、識別子−画像特徴量−キーワード（キーワード群）が対応付けられている１つのデータベースを用いても良い。この場合には、特徴量−識別子データベースＤＢ３とキーワード−識別子データベースＤＢ２との間における内容の同期作業が不要となり、また、画像データベース作成装置２０の構成を簡易にすることができる。

（２）上記実施例では、画像検索端末装置としてプリンタ３０を例にとって説明したが、パーソナルコンピューター４０も同様にして用いることができる。パーソナルコンピューター４０は、表示ディスプレイ４１と入力装置（キーボード、マウス）４２とを備えている。

（３）上記実施例では、画像検索端末装置としてのプリンタ３０から検索キーワードが画像サーバー１０に対して送信される例にとって説明したが、プリンタ３０からキーワードに代えて検索対象となる画像データが画像サーバー１０に対して送信されても良い。この場合には、例えば、画像サーバー１０は、受信した画像データの特徴量を複数種取得し、特徴量−識別子データベースを用いて、検索用の識別子を検索すればよい。特徴量−識別子データベースとしては、上述の特徴量−識別子データベースＤＢ３を用いれば良い。この場合であっても、画像データが識別子と対応付けられている画像データベースＤＢ１が用いられ得ることに変わりはなく、画像検索処理速度の向上、画像検索精度の向上を図ることができる。

（４）上記実施例では、画像サーバー１０として、クライアントからの要求に応じての画像データベースを検索するサーバーコンピューターを例にとって画像検索処理について説明したが、プリンタ３０、パーソナルコンピューター４０において実行されても良い。例えば、パーソナルコンピューター４０の記憶装置に格納されているローカルな画像データベースに対して上記した画像データ検索が実行されも良い。また、プリンタ３０に大容量記憶装置が備えられている場合には、上記した画像検索方法は、プリンタ３０におけるローカルな画像データ検索に適用されても良い。すなわち、画像サーバーはネットワークに接続されていない、スタンドアローンのパーソナルコンピューターまたはプリンタが有する機能の一部、さらにはコンピュータープログラム、コンピュータープログラムが格納されたコンピューター読み取り可能媒体として実現されても良い。この場合には、パーソナルユースにおける画像データ検索の利便性、すなわち、検索速度の向上、検索精度の向上、検索の容易化を実現することができる。なお、コンピューター読み取り可能媒体としては、ＣＤ、ＤＶＤ、ハードディスクドライブ、フラッシュメモリといった種々の記録媒体を用いることができる。

（５）上記実施例では、画像検索を例にとって説明したが、その他のコンテンツ、例えば、映像、音楽、ゲーム、電子書籍についても同様に適用し得る。映像の特徴量は画像と同様にして、また、キーワードはメタデータから抽出することにより取得可能であり、音楽の特徴量については曲調検出技術を適用することにより、またキーワードについてはメタデータから抽出することにより可能であり、ゲームについてはメタデータ等に基づいてキーワードを取得可能であり、電子書籍については頻出語彙を分析することにより特徴量を取得可能である。すなわち、本実施例では、図１２に示すように、コンテンツに対してキーワードが対応付けられていれば、識別子によって検索可能なデータベースを作成することができる。

（６）上記実施例では、画像サーバー１０から受け取った検索結果は、プリンタ４０において表示のための処理が施され、表示部３３に表示されているが、画像サーバー１０において表示用の検索結果データを作成し、プリンタ４０に対して送信しても良い。画像サーバー１０からの検索結果データをプリンタ４０にて表示するための手法としては、例えば、画像サーバー１０にＷｅｂサーバー機能を実装し、プリンタ４０にＷｅｂブラウザを実装する手法がある。この手法によれば、汎用的なＨＴＴＰプロトコルに従って、ＨＴＭＬデータベースの表示を行うことができる。

以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。

ＩＳＳ…画像検索システム
１０…サーバーコンピューター（画像サーバー）
１０１…ＣＰＵ
１０２…メモリ
１０３…第１の記憶装置
１０４…第２の記憶装置
１０５…入出力インターフェース
２０…画像データベース作成装置
２１…表示ディスプレイ
２２…入力操作部
２０１…ＣＰＵ
２０２…メモリ
２０３…記憶装置
２０４…入出力インターフェース
３０…プリンタ
３１…制御回路
３１０…ＣＰＵ
３１１…メモリ
３１２…入出力インターフェース
３２…入力操作部
３３…表示部
３４…印刷部
３５…外部入出力インターフェース
４０…パーソナルコンピューター
４１…表示ディスプレイ
４２…入力装置
ＣＰ１…画像検索要求プログラム
ＣＭ１１…キーワード取得モジュール
ＣＭ１２…検索要求送信モジュール
ＣＭ１３…検索結果受信モジュール
ＮＥ…ネットワーク
ＳＰ１…画像検索プログラム
ＳＭ１１…キーワード取得モジュール
ＳＭ１２…識別子取得モジュール
ＳＭ１３…画像データ検索モジュール
ＳＭ１４…画像データ送信モジュール
ＳＰ２…画像データベース作成プログラム
ＳＭ２１…画像データ取得モジュール
ＳＭ２２…特徴量取得モジュール
ＳＭ２３…識別子検索モジュール
ＳＭ２４…画像データベース構築モジュール
ＳＭ２５…識別子検索用キーワード取得モジュール
ＤＢ１…画像データベース
ＤＢ２…キーワード−識別子データベース
ＤＢ３…特徴量−識別子データベース

Claims (11)

1. 画像データベース作成装置であって、
   画像を取得する画像取得部と、
   画像を特徴付ける複数の特徴量を前記取得した画像から抽出する特徴量抽出部と、
   前記抽出した複数の特徴量を用いて、画像を特徴付ける複数の特徴量からなる特徴量群と識別子とを予め対応付けて記憶する特徴量−識別子データベースから、対応する識別子を検索する識別子検索部と、
   前記検索された識別子と前記取得した画像とを対応付けて画像データベースに格納する画像データベース構築部とを備える、画像データベース作成装置。
2. 請求項１に記載の画像データベース作成装置はさらに、
   前記取得された画像に関連するキーワードを取得するキーワード取得部を備え、
   前記特徴量−識別子データベースにおいて、前記識別子はさらに複数のキーワードと対応付けられており、
   前記識別子検索部は、前記画像に関連するキーワードが取得された場合には、前記取得されたキーワードを用いて前記識別子を検索する、
   画像データベース作成装置。
3. 請求項２に記載の画像データベース作成装置において、
   前記取得された画像には予めキーワードが対応付けられており、
   前記キーワード取得部は、前記取得された画像から前記予め対応付けられているキーワードを取得する、
   画像データベース作成装置。
4. 請求項２に記載の画像データベース作成装置はさらに、
   キーワードを入力可能なキーワード入力部を備え、
   前記キーワード取得部は、前記キーワード入力部を介して入力されたキーワードを取得する、
   画像データベース作成装置。
5. 請求項１から４のいずれかに記載の画像データベース作成装置において、
   前記特徴量は特徴量の種類を表す種別と、各種別における特徴量の特性を示す数値を含み、
   前記識別子検索部は、同一の種別の特徴量の数値を用いて、前記抽出した複数の特徴量に対応する前記識別子を検索する、
   画像データベース作成装置。
6. 請求項２から５のいずれかに記載の画像データベース作成装置において、
   前記特徴量−識別子データベースは、固有のキーワードに対応する専用の識別子を含んでいる、
   画像データベース作成装置。
7. 請求項２から６のいずれかに記載の画像データベース作成装置において、
   前記特徴量−識別子データベースに格納されている前記複数のキーワードは、階層化されている、
   画像データベース作成装置。
8. 請求項２から７のいずれかに記載の画像データベース作成装置において、
   前記画像データベース構築部はさらに、前記検索された識別子に対する前記取得した画像の類似度を対応付けて前記画像データベースに格納する、
   画像データベース作成装置。
9. 画像データベース作成方法であって、
   取得した画像から画像を特徴付ける複数の特徴量を抽出し、
   前記抽出した複数の特徴量を用いて、画像を特徴付ける複数の特徴量からなる特徴量群と識別子とを予め対応付けて記憶する特徴量−識別子データベースから、対応する識別子を検索し、
   前記検索した識別子と前記取得した画像とを対応付けて画像データベースに格納する、
   画像データベース作成方法。
10. 画像検索装置であって、
    検索キーワードを取得する検索キーワード取得部と、
    前記取得したキーワードを用いて、キーワードと識別子とを対応付けて記憶するキーワード−識別子データベースから対応する識別子を検索する識別子検索部と、
    前記検索された識別子を用いて、画像と識別子とを対応付けて格納する画像−識別子データベースから対応する画像を検索する画像検索部とを備える、画像検索装置。
11. 画像検索方法であって、
    検索キーワードを取得し、
    前記取得したキーワードを用いて、キーワードと識別子とを対応付けて記憶するキーワード識別子データベースから対応する識別子を検索し、
    前記検索した識別子を用いて、画像と識別子とを対応付けて格納する画像−識別子データベースから対応する画像を検索する、画像検索方法。

Images