JP3683481B2

JP3683481B2 - Image search method and apparatus and recording medium recording image search program

Info

Publication number: JP3683481B2
Application number: JP2000246941A
Authority: JP
Inventors: 壽宏永末; 智洋北角; 隆司星
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2000-08-16
Filing date: 2000-08-16
Publication date: 2005-08-17
Anticipated expiration: 2020-08-16
Also published as: JP2002063172A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像の持つ色彩、形状を含む特徴量を検索キーとして類似画像を検索する画像検索方法および装置に関し、更に詳しくは、画像の持つ色彩、形状を含む特徴量を検索キーとして類似画像を検索する画像検索エンジンにおいて多種多様な画像がカテゴリとともに管理されている環境において画像検索者が所望する画像を検索する際に、検索キーとして画像の特徴量およびカテゴリを示すテキストを用いて類似画像の検索を行なう画像検索方法および装置と画像検索プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
近年、パソコンの高機能化および低価格化に伴い、エンドユーザまで画像データを容易に閲覧して加工できる環境が整ってきた。これに伴い蓄積された画像データを効率良く管理するために、画像データを一元的に管理し、所望する画像データの検索を実現するための研究が活発になっている。
【０００３】
このような従来の画像検索における検索キーの指定の仕方には、画像にキーワードを付与し、キーワードによるテキスト検索の結果として画像を返却する第１の方法や、また画像に対して各画像固有のデータ（色相、彩度、輝度、形状、大きさ、位置）などを抽出しておき、この固有データを検索キーとした類似度の計算結果に基づき画像を返却する第２の方法などがある。
【０００４】
【発明が解決しようとする課題】
上述した従来の画像検索において、前記第１の方法では、画像とキーワードの対応付けが人間による主観に基づくため、同じ画像に対し、常に同じキーワードが付与されるとは限らず、真に画像検索者の所望する検索結果が得られるとは限らないという問題がある。
【０００５】
また、前記第２の方法では、画像検索者がイメージする画像を検索キーとして指定するため、検索キーとして登録されている画像から自らが求める画像を画像検索者が探す必要があるという問題がある。
【０００６】
すなわち、従来の方法では、画像検索者の所望する検索結果が得られない場合や、画像検索を実行する際に画像検索者がイメージする画像を指定するのが困難な場合があり、画像データベースの中から所望の画像を抽出するのに時間と労力が必要であるという問題がある。
【０００７】
本発明は、上記に鑑みてなされたもので、その目的とするところは、画像検索において画像検索者がイメージする画像の指定を容易に実現でき、画像データベースの中から所望の画像を効率的に検索することができる画像検索方法および装置と画像検索プログラムを記録した記録媒体を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を達成するため、第１の本発明は、画像の持つ色彩、形状を含む特徴量を検索キーとして類似画像を検索する画像検索方法であって、検索キーとなる画像に対してキーワードを指定しておき、各キーワードをカテゴリ別に分類木で管理し、画像検索者が指定した分類木のキーワードに対応する画像を取得し、この画像の持つ特徴量を検索キーとした類似画像の検索を行なうことを要旨とする。
【０００９】
本発明にあっては、検索キーとなる画像に対してキーワードを指定しておき、各キーワードをカテゴリ別に分類木で管理し、画像検索者が指定した分類木のキーワードに対応する画像を取得し、この画像の持つ特徴量を検索キーとした類似画像の検索を行なうため、分類木を辿ることにより画像検索者が所望する画像イメージを簡単に選択でき、キーワードと画像の付与方法が画像検索者のイメージと異なる場合でも実画像の確認により正しい検索画像を容易に検索することが可能になる。
【００１０】
また、第２の本発明は、第１の発明において、前記特徴量に加えてカテゴリを検索キーとして、前記カテゴリとともに管理されている画像の中から検索を行なうことを要旨とする。
【００１１】
本発明にあっては、特徴量に加えてカテゴリを検索キーとして、カテゴリとともに管理されている画像の中から検索を行なうため、画像が持つ特徴量と分類木で規定されているカテゴリを検索キーとした類似画像検索が可能となる。
【００１２】
更に、第３の本発明は、第１または第２の発明において、前記指定された検索キーに対応するノードの分類木において階層に応じて複数の検索要求文を生成して検索し、分類木の階層構造に基づいて検索結果をソートすることを要旨とする。
【００１３】
第４の本発明は、第１または第２の発明において、前記検索キーに対応する分類木ノードを含む部分分類木を用いて検索を行なうことを要旨とする。
【００１４】
また、第５の本発明は、画像の特徴量を検索キーとして類似画像を検索する画像検索装置であって、画像を各画像の特徴量とともに管理している画像データベースと、キーワード、キーワードの属するカテゴリ、キーワードに対応する画像、画像の特徴量を分類木として管理する分類木管理手段と、該分類木管理手段で管理されている分類木を画像検索者に表示し、この表示された分類木から画像検索者が選択したキーワードに対応する画像を画像検索者に表示して画像検索者により選択された画像の特徴量を前記分類木管理手段から取得する特徴量取得手段と、この取得した画像の特徴量を検索キーとして前記画像データベースを検索し、この検索結果を出力する検索手段とを有することを要旨とする。
【００１５】
本発明にあっては、分類木を画像検索者に表示し、この表示された分類木から画像検索者が選択したキーワードに対応する画像を表示して画像検索者により選択された画像の特徴量を分類木管理手段から取得し、この画像の特徴量を検索キーとして画像データベースを検索し、この検索結果を出力するため、分類木を辿ることにより画像検索者が所望する画像イメージを簡単に選択でき、キーワードと画像の付与方法が画像検索者のイメージと異なる場合でも実画像の確認により正しい検索画像を容易に検索することが可能になる。
【００１６】
更に、第６の本発明は、第５の発明において、前記検索手段が、前記特徴量に加えて、画像検索者が選択した前記キーワードに対応するカテゴリを検索キーとして、前記カテゴリとともに管理されている画像の中から検索を行なうことを要旨とする。
【００１７】
本発明にあっては、特徴量に加えてカテゴリを検索キーとして、カテゴリとともに管理されている画像の中から検索を行なうため、画像が持つ特徴量と分類木で規定されているカテゴリを検索キーとした類似画像検索が可能となる。
【００１８】
第７の本発明は、第５または第６の発明において、前記検索手段が、前記指定された検索キーに対応するノードの分類木において階層に応じて複数の検索要求文を生成して検索し、分類木の階層構造に基づいて検索結果をソートすることを要旨とする。
【００１９】
また、第８の本発明は、第５または第６の発明において、前記検索手段が、前記検索キーに対応する分類木ノードを含む部分分類木を用いて検索を行なうことを要旨とする。
【００２０】
更に、第９の本発明は、画像の持つ色彩、形状を含む特徴量を検索キーとして類似画像を検索する画像検索プログラムを記録した記録媒体であって、検索キーとなる画像に対してキーワードを指定しておき、各キーワードをカテゴリ別に分類木で管理し、画像検索者が指定した分類木のキーワードに対応する画像を取得し、この画像の持つ特徴量を検索キーとした類似画像の検索を行なう画像検索プログラムを記録媒体に記録することを要旨とする。
【００２１】
本発明にあっては、検索キーとなる画像に対してキーワードを指定しておき、各キーワードをカテゴリ別に分類木で管理し、画像検索者が指定した分類木のキーワードに対応する画像を取得し、この画像の持つ特徴量を検索キーとした類似画像の検索を行なう画像検索プログラムを記録媒体に記録しているため、該記録媒体を用いて、その流通性を高めることができる。
【００２２】
第１０の本発明は、第９の発明において、前記特徴量に加えてカテゴリを検索キーとして、前記カテゴリとともに管理されている画像の中から検索を行なう画像検索プログラムを記録媒体に記録することを要旨とする。
【００２３】
また、第１１の本発明は、第９または第１０の発明において、前記指定された検索キーに対応するノードの分類木において階層に応じて複数の検索要求文を生成して検索し、分類木の階層構造に基づいて検索結果をソートする画像検索プログラムを記録媒体に記録することを要旨とする。
【００２４】
更に、第１２の本発明は、第９または第１０の発明において、前記検索キーに対応する分類木ノードを含む部分分類木を用いて検索を行なう画像検索プログラムを記録媒体に記録することを要旨とする。
【００２５】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態を説明する。図１は、本発明の一実施形態に係る画像検索装置の構成を示すブロック図である。同図に示す画像検索装置１００は、画像のカテゴリ、キーワードを分類木で管理し、画像検索者へ検索キーとなる画像の入力インタフェースを提供し、指定された画像キーに応じて検索要求を生成し、検索結果として得られた画像を提供するものであって、画像検索者が操作するアプリケーションプログラム２００が通信網を介して接続されるユーザインタフェース部１１０、検索要求を生成する検索要求生成部１２０、実画像および各実画像の特徴量を保存管理している画像ＤＢ（データベース）３００に対して検索を実施するＤＢ検索部１３０、画像ＤＢ３００を管理する画像ＤＢ管理部１５０、キーワード、キーワードの属するカテゴリ、キーワードに対応する画像ファイル名、画像の特徴量を分類木として管理している分類木管理部１４０から構成されている。なお、画像ＤＢ３００は、後述するカテゴリ画像対応表３１０を有している。
【００２６】
ユーザインタフェース部１１０は、分類木管理部１４０にアクセスし、得られた分類木をアプリケーションプログラム２００へ送信し、画像検索者から操作されるアプリケーションプログラム２００からキー画像の特徴量からなる入力データを受け付け、入力データを検索要求生成部１２０に送信する。また、ＤＢ検索部１３０から検索結果である類似画像を受信し、アプリケーションプログラム２００に返却する。
【００２７】
検索要求生成部１２０は、ユーザインタフェース部１１０から受け付けたキー画像の特徴量を元に検索要求を生成し、ＤＢ検索部１３０に送信する。ＤＢ検索部１３０は、検索要求生成部１２０から検索要求を受信し、その検索要求を元に画像ＤＢ３００への問い合わせを行なう。また検索結果として、類似画像を取得し、ユーザインタフェース部１１０に返却する。
【００２８】
分類木管理部１４０は、キーワード、キーワードの属するカテゴリ、キーワードに対応する画像ファイル名、画像の特徴量を分類木として登録管理しており、この分類木情報をユーザインタフェース部１１０を介してアプリケーションプログラム２００に送信する。また、分類木管理部１４０はシステム管理者によって分類木を編集されるようになっている。画像ＤＢ管理部１５０は、画像ＤＢ３００に内包されるカテゴリ画像対応表３１０を編集する。この編集権限はシステム管理者が保有する。
【００２９】
アプリケーションプログラム２００は、画像検索者が操作するプログラムであり、カテゴリとキーワードからなる分類木の表示が可能である。またキー画像の特徴量送信機能、検索結果である類似画像表示機能を有する。
【００３０】
画像ＤＢ３００は、実画像ならびに各実画像の特徴量を管理し、検索要求に応じて類似画像を検索結果として送信する。また、各実画像とカテゴリとの対応表３１０を有する。このカテゴリ−画像対応表３１０は、画像ＤＢ３００にて管理されており、検索要求としてキー画像の特徴量のほかにカテゴリが指定されている場合、本対応表から画像のカテゴリの絞り込みを可能とする。
【００３１】
次に、上述したように構成される画像検索装置の作用について説明する。
【００３２】
最初に、図２に示すフローチャートを参照して、準備フェーズについて説明する。この準備フェーズでは、まずキー画像の設定として画像検索の条件となるキー画像の特徴量を抽出する（図２のステップＳ１１）。この特徴量の抽出は画像ＤＢ管理部１５０により画像ＤＢ３００に対して抽出要求を発行することにより行なわれる。
【００３３】
次に、カテゴリ、キーワードを策定し、上述したようにステップＳ１１で抽出した画像検索の条件となるキー画像の特徴量を属性値として持つ分類木を構築する（ステップＳ１３）。この分類木の構築は分類木管理部１４０に対してシステム管理者が行なう。カテゴリが２階層になっている分類木の構築例について図３に示す。
【００３４】
次に、実画像と特徴量を管理している画像ＤＢ３００に対して、各画像がそれぞれどのカテゴリに属するのかをカテゴリ画像対応表３１０で管理する（ステップＳ１５）。この画像ＤＢ３００とカテゴリの管理はシステム管理者が画像ＤＢ管理部１５０に対して行なう。このカテゴリ画像対応表３１０の設定例を図４に示す。
【００３５】
以上のようにして、分類木が構築され、画像ＤＢ３００の各画像とカテゴリの対応がカテゴリ画像対応表３１０で管理されると、次に画像検索者が本画像検索装置を用いて所望の画像を検索する実行フェーズについて説明する。
【００３６】
まず、分類木管理部１４０で管理されているカテゴリ、キーワードからなる分類木を分類木管理部１４０からユーザインタフェース部１１０を介してアプリケーションプログラム２００に送信し、アプリケーションプログラム２００に表示する。この場合の画面のイメージを図５に示す。
【００３７】
次に、画像検索者は、アプリケーションプログラム２００に表示された分類木を閲覧しながら、画像検索者がイメージする画像に最も近いカテゴリのものを分類木の上位より判断し、キーワードの選択を行なう。ここでは、一例として「クマノミ」を選択した場合について説明する。それから、このように選択したキーワード（クマノミ）の下位にあるキー画像候補の画像名（クマノミ１.jpg，クマノミ２.jpg）を分類木より取得し、アプリケーションプログラム２００にてキー画像候補として表示する。
【００３８】
次に、このように表示された画像（クマノミ１.jpg，クマノミ２.jpg）の中から画像検索者がイメージする画像に最も近い画像を選択する。ここでは、一例として「クマノミ２.jpg」が選択されたものとする。そして、このように選択されたキー画像の持つ特徴量（ａ３，ｂ３，ｃ３，ｄ３）を分類木管理部１４０から取得する。また同時に、キーワード「クマノミ」が属するカテゴリ（動物、魚類）も分類木管理部１４０から取得し、ユーザインタフェース部１１０を介して検索要求生成部１２０に前記データを転送する。
【００３９】
検索要求生成部１２０は、前記データを受け取ると、次に示すような検索要求を生成する。
【００４０】
【表１】

なお、図３に示した分類木では、カテゴリが２階層であるため、上述した３パターンの検索要求が生成されるが、Ｎ階層存在する場合には、直系である（Ｎ＋１）パターンおよび直系に付随する兄弟関係の個数分（トップ配下のエントリは除く）の検索要求が生成される。このように生成される複数の検索要求の生成の優先順位を図６に示す。
【００４１】
上述したように生成された検索要求は、検索要求生成部１２０からＤＢ検索部１３０に送られ、ＤＢ検索部１３０において当該検索要求を画像ＤＢ３００に対して検索可能なようにＳＱＬ文を生成する。
【００４２】
そして、ＤＢ検索部１３０は、まず検索要求１−１を元に生成されたＳＱＬ文（最下層のカテゴリ、ここでは魚類）を画像ＤＢ３００に送信して、画像ＤＢ３００を検索し、この検索結果としてヒットしたものが返却される。次に検索要求１−２を元に生成されたＳＱＬ文（ここでは鳥類、哺乳類）を画像ＤＢ３００に送信して画像ＤＢ３００を検索し、この検索結果としてヒットしたものが返却される。
【００４３】
それから、検索要求２を元に生成されたＳＱＬ文（最下層の次に下位に属するカテゴリ、ここでは動物）を画像ＤＢ３００に送信して画像ＤＢ３００を検索し、この検索結果としてヒットしたものが返却される。このようにカテゴリが下位の検索要求から順に、該当するエントリの兄弟関係を優先的に検索条件として生成しながら、より上位のカテゴリを検索要求として含む検索を順次行なう。ここで、カテゴリ画像対応表３１０に存在しないカテゴリを検索要求とする場合には、通常の特徴量検索を実行する。
【００４４】
今回は検索要求１の検索条件の一部である「カテゴリ２が一致するもの」として「カサゴ.jpg」「ハナクマノミ.jpg」「カレクマノミ.jpg」がヒットし、これらが特徴量の近い順にソートされ、検索結果として返却される。
【００４５】
この検索結果は、ＤＢ検索部１３０からユーザインタフェース部１１０を経てアプリケーションプログラム２００に返却され表示される。
【００４６】
上述したように、本実施形態の画像検索装置では、画像の持つ色彩、形状を含む特徴量を検索キーとして類似画像を検索可能な画像検索エンジンにおいて多種多様な画像がカテゴリとともに管理されている環境において類似画像を効率良く検索するために、分類木管理部１４０においてキーワード、キーワードの属するカテゴリ、キーワードに対応する画像ファイル名、画像の特徴量を分類木として管理し、画像検索者がカテゴリを元に分類木を辿って、該当するキーワードを選択し、この選択したキーワードに対応する画像ファイル名を確認し、この確認した画像ファイル名から実画像の持つ特徴量を取得し、この特徴量およびキーワードの所属するカテゴリを元に画像検索エンジンを用いて、類似画像を検索することにより、画像検索を実行する際に画像検索者がイメージする画像を容易に指定し、カテゴリに合致する画像を優先して検索結果として返却するものである。
【００４７】
この結果、画像検索者が検索キーとなる画像をカテゴリを辿ってキーワード別に指定することが可能となる。また、各キーワードに対して複数の画像が対応している場合、その複数の画像の中から画像検索者がイメージする画像を指定することにより、適切な画像キーを選択することが可能となる。更に、キーワードの属するカテゴリに合致する画像を優先して検索結果として返却することが可能となる。また、検索結果も単にキーワードによる検索結果として画像を返却する場合や、各画像固有の特徴量に基づく類似度計算結果による検索の双方の長所を持ち合わせ、検索効率の向上が見込める。
【００４８】
なお、上記実施形態の画像検索方法の処理手順をプログラムとして記録媒体に記録して、この記録媒体をコンピュータシステムに組み込むとともに、該記録媒体に記録されたプログラムをコンピュータシステムにダウンロードまたはインストールし、該プログラムでコンピュータシステムを作動させることにより、画像検索方法を実施する画像検索装置として機能させることができることは勿論であり、このような記録媒体を用いることにより、その流通性を高めることができるものである。
【００４９】
【発明の効果】
以上説明したように、本発明によれば、検索キーとなる画像に対してキーワードを指定しておき、各キーワードをカテゴリ別に分類木で管理し、画像検索者が指定した分類木のキーワードに対応する画像を取得し、この画像の持つ特徴量を検索キーとした類似画像の検索を行なうので、分類木を辿ることにより画像検索者が所望する画像イメージをキーワード別に簡単に選択でき、キーワードに複数の画像が対応していたり、キーワードと画像の付与方法が画像検索者のイメージと異なる場合でも実画像の確認により正しい検索画像を容易に検索することが可能になる。
【００５０】
また、本発明によれば、特徴量に加えてカテゴリを検索キーとして、カテゴリとともに管理されている画像の中から検索を行なうので、画像が持つ特徴量と分類木で規定されているカテゴリを検索キーとした類似画像検索が可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る画像検索装置の構成を示すブロック図である。
【図２】図１に示す実施形態の画像検索装置の準備フェーズの処理手順を示すフローチャートである。
【図３】図１に示す実施形態の画像検索装置における分類木の構築例を示す図である。
【図４】図１に示す実施形態の画像検索装置におけるカテゴリ画像対応表の一例を示す図である。
【図５】図１に示す実施形態の画像検索装置においてアプリケーションプログラムに表示される分類木の画面イメージの一例を示す図である。
【図６】図１に示す実施形態の画像検索装置における複数の検索要求の生成の優先順位を示す図である。
【符号の説明】
１００画像検索装置
１１０ユーザインタフェース部
１２０検索要求生成部
１３０ＤＢ検索部
１４０分類木管理部
１５０画像ＤＢ管理部
２００アプリケーションプログラム
３００画像ＤＢ
３１０カテゴリ画像対応表[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image search method and apparatus for searching for a similar image using a feature amount including color and shape of an image as a search key, and more particularly, to a similar image using a feature amount including color and shape of an image as a search key. When an image search engine searches for an image desired by an image searcher in an environment in which a wide variety of images are managed together with categories in an image search engine for searching for images, similar images are used by using text indicating the image feature amount and category as a search key. The present invention relates to an image search method and apparatus for performing a search, and a recording medium on which an image search program is recorded.
[0002]
[Prior art]
In recent years, with the increase in functionality and price of personal computers, an environment in which image data can be easily browsed and processed by end users has been established. Accordingly, in order to efficiently manage the stored image data, research for managing the image data in an integrated manner and realizing the search for the desired image data has become active.
[0003]
As a method for specifying a search key in such a conventional image search, there is a first method in which a keyword is assigned to an image and an image is returned as a result of a text search using the keyword. There is a second method in which data (hue, saturation, luminance, shape, size, position) and the like are extracted, and an image is returned based on a similarity calculation result using the unique data as a search key.
[0004]
[Problems to be solved by the invention]
In the conventional image search described above, in the first method, since the association between an image and a keyword is based on human subjectivity, the same keyword is not always assigned to the same image. There is a problem that a search result desired by a person is not always obtained.
[0005]
Further, in the second method, there is a problem that the image searcher needs to search for an image that the image searcher wants from an image registered as the search key in order to designate an image imaged by the image searcher as a search key. .
[0006]
That is, in the conventional method, the search result desired by the image searcher may not be obtained, or it may be difficult for the image searcher to specify an image to be imaged when executing the image search. There is a problem that it takes time and effort to extract a desired image from the inside.
[0007]
The present invention has been made in view of the above, and an object of the present invention is to easily specify an image imaged by an image searcher in an image search, and to efficiently obtain a desired image from an image database. An object of the present invention is to provide an image search method and apparatus capable of searching, and a recording medium recording an image search program.
[0008]
[Means for Solving the Problems]
In order to achieve the above object, the first aspect of the present invention is an image search method for searching for a similar image using a feature amount including a color and shape of an image as a search key, and a keyword is assigned to the image as the search key. Each keyword is managed by classification tree according to category, images corresponding to the keyword of the classification tree specified by the image searcher are obtained, and similar images are searched using the feature amount of this image as a search key. The gist is to do.
[0009]
In the present invention , keywords are specified for an image serving as a search key, each keyword is managed by a classification tree for each category, and an image corresponding to the keyword of the classification tree specified by the image searcher is acquired. In order to search for similar images using the feature quantity of the image as a search key, the image searcher can easily select the desired image by tracing the classification tree, and the keyword and image assignment method is the image searcher. Even if the image is different from the above image, it is possible to easily search for a correct search image by confirming the actual image.
[0010]
The gist of the second invention is that, in the first invention, a search is performed from images managed together with the category by using the category as a search key in addition to the feature amount.
[0011]
In the present invention , in order to perform a search from an image managed together with the category using the category as a search key in addition to the feature amount, the feature amount possessed by the image and the category defined by the classification tree are used as the search key. A similar image search can be performed.
[0012]
Further, the third invention is the first or second invention, wherein a plurality of search request statements are generated and searched according to the hierarchy in the classification tree of the node corresponding to the designated search key, and the classification tree The gist is to sort the search results based on the hierarchical structure.
[0013]
The gist of the fourth invention is that, in the first or second invention, a search is performed using a partial classification tree including a classification tree node corresponding to the search key.
[0014]
According to a fifth aspect of the present invention, there is provided an image search apparatus for searching for a similar image using an image feature amount as a search key, an image database managing images together with the feature amount of each image, a keyword, and a keyword Classification tree management means for managing images corresponding to categories and keywords, and image feature quantities as classification trees, and classification trees managed by the classification tree management means are displayed to an image searcher, and the displayed classification tree A feature amount acquisition unit that displays an image corresponding to the keyword selected by the image searcher from the image searcher and acquires the feature amount of the image selected by the image searcher from the classification tree management unit, and the acquired image And a search means for searching the image database using the feature quantity as a search key and outputting the search result.
[0015]
In the present invention , the classification tree is displayed to the image searcher, the image corresponding to the keyword selected by the image searcher from the displayed classification tree is displayed, and the feature amount of the image selected by the image searcher Is retrieved from the classification tree management means, the image database is searched using the feature quantity of the image as a search key, and the search result is output, so that the image searcher simply selects the desired image by tracing the classification tree. In addition, even when the keyword and image providing method is different from the image searcher's image, it is possible to easily search for a correct search image by checking the actual image.
[0016]
Further, in a sixth aspect of the present invention based on the fifth aspect, the search means is managed together with the category using the category corresponding to the keyword selected by the image searcher as a search key in addition to the feature amount. The main point is to search from existing images.
[0017]
In the present invention , in order to perform a search from an image managed together with the category using the category as a search key in addition to the feature amount, the feature amount possessed by the image and the category defined by the classification tree are used as the search key. A similar image search can be performed.
[0018]
In a seventh aspect of the present invention based on the fifth or sixth aspect , the search means generates and searches a plurality of search request sentences according to the hierarchy in the classification tree of the node corresponding to the specified search key. The gist is to sort the search results based on the hierarchical structure of the classification tree.
[0019]
The gist of the eighth invention is that, in the fifth or sixth invention, the search means performs a search using a partial classification tree including a classification tree node corresponding to the search key.
[0020]
Furthermore, a ninth aspect of the present invention is a recording medium storing an image search program for searching for a similar image using a feature amount including color and shape of an image as a search key, and a keyword is assigned to the image to be the search key. Each keyword is managed by classification tree according to category, images corresponding to the keyword of the classification tree specified by the image searcher are obtained, and similar images are searched using the feature amount of this image as a search key. The gist is to record an image search program to be performed on a recording medium.
[0021]
In the present invention , keywords are specified for an image serving as a search key, each keyword is managed by a classification tree for each category, and an image corresponding to the keyword of the classification tree specified by the image searcher is acquired. Since an image search program for searching for a similar image using the feature quantity of the image as a search key is recorded on the recording medium, it is possible to improve the distribution by using the recording medium.
[0022]
In a tenth aspect of the present invention based on the ninth aspect, an image search program for performing a search from an image managed together with the category is recorded on a recording medium using the category as a search key in addition to the feature amount. The gist.
[0023]
In addition, in an eleventh aspect of the present invention based on the ninth or tenth aspect, a plurality of search request statements are generated and searched according to the hierarchy in the classification tree of the node corresponding to the designated search key, and the classification tree The gist is to record an image search program for sorting search results on the basis of the hierarchical structure.
[0024]
Furthermore, a twelfth aspect of the present invention is that, in the ninth or tenth aspect, an image search program for performing a search using a partial classification tree including a classification tree node corresponding to the search key is recorded on a recording medium. And
[0025]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a configuration of an image search apparatus according to an embodiment of the present invention. The image search apparatus 100 shown in FIG. 1 manages image categories and keywords using a classification tree, provides an image searcher with an image input interface as a search key, and generates a search request according to a specified image key. The user interface unit 110 provides an image obtained as a search result, and is connected to the application program 200 operated by the image searcher via a communication network. The search request generation unit 120 generates a search request. , A DB search unit 130 that performs a search on an image DB (database) 300 that stores and manages real images and feature quantities of each real image, an image DB management unit 150 that manages the image DB 300, keywords, and keywords Classification tree management unit that manages image file names corresponding to categories and keywords, and image feature quantities as classification trees And a 40. Note that the image DB 300 has a category image correspondence table 310 to be described later.
[0026]
The user interface unit 110 accesses the classification tree management unit 140, transmits the obtained classification tree to the application program 200, and accepts input data including key image feature amounts from the application program 200 operated by the image searcher. The input data is transmitted to the search request generation unit 120. Also, a similar image as a search result is received from the DB search unit 130 and returned to the application program 200.
[0027]
The search request generation unit 120 generates a search request based on the feature amount of the key image received from the user interface unit 110 and transmits the search request to the DB search unit 130. The DB search unit 130 receives a search request from the search request generation unit 120 and makes an inquiry to the image DB 300 based on the search request. Further, a similar image is acquired as a search result and returned to the user interface unit 110.
[0028]
The classification tree management unit 140 registers and manages a keyword, a category to which the keyword belongs, an image file name corresponding to the keyword, and an image feature amount as a classification tree. The classification tree information is stored in the application program via the user interface unit 110. 200. In addition, the classification tree management unit 140 is adapted to edit the classification tree by the system administrator. The image DB management unit 150 edits the category image correspondence table 310 included in the image DB 300. This editing authority is held by the system administrator.
[0029]
The application program 200 is a program operated by an image searcher, and can display a classification tree composed of categories and keywords. It also has a function of transmitting key image feature values and a function of displaying similar images as search results.
[0030]
The image DB 300 manages the actual image and the feature amount of each actual image, and transmits a similar image as a search result in response to a search request. Also, a correspondence table 310 between each real image and category is provided. The category-image correspondence table 310 is managed in the image DB 300. When a category is specified in addition to the feature amount of the key image as a search request, it is possible to narrow down image categories from the correspondence table. .
[0031]
Next, the operation of the image search apparatus configured as described above will be described.
[0032]
First, the preparation phase will be described with reference to the flowchart shown in FIG. In this preparation phase, first, a key image feature amount serving as an image search condition is extracted as a key image setting (step S11 in FIG. 2). This feature amount extraction is performed by issuing an extraction request to the image DB 300 by the image DB management unit 150.
[0033]
Next, categories and keywords are formulated, and as described above, a classification tree having the feature values of key images as attribute values extracted in step S11 as attribute values is constructed (step S13). This classification tree is constructed by the system manager for the classification tree management unit 140. An example of the construction of a classification tree with two categories of categories is shown in FIG.
[0034]
Next, the category image correspondence table 310 manages to which category each image belongs to the image DB 300 managing real images and feature amounts (step S15). The system administrator manages the image DB 300 and the category with respect to the image DB management unit 150. A setting example of the category image correspondence table 310 is shown in FIG.
[0035]
As described above, when the classification tree is constructed and the correspondence between each image in the image DB 300 and the category is managed by the category image correspondence table 310, the image searcher next uses the image search device to select a desired image. The execution phase to be searched will be described.
[0036]
First, a classification tree including categories and keywords managed by the classification tree management unit 140 is transmitted from the classification tree management unit 140 to the application program 200 via the user interface unit 110 and displayed on the application program 200. An image of the screen in this case is shown in FIG.
[0037]
Next, while browsing the classification tree displayed in the application program 200, the image searcher determines the category closest to the image imaged by the image searcher from the top of the classification tree and selects a keyword. Here, a case where “anemone fish” is selected as an example will be described. Then, the image names (clownfish 1.jpg, clownfish 2.jpg) of the key image candidates subordinate to the keyword (clownfish) selected in this way are acquired from the classification tree and displayed as key image candidates in the application program 200. .
[0038]
Next, an image closest to the image imaged by the image searcher is selected from the images displayed in this way (Clownfish 1.jpg, Clownfish 2.jpg). Here, as an example, it is assumed that “Clownfish 2.jpg” is selected. Then, the feature amount (a3, b3, c3, d3) of the selected key image is acquired from the classification tree management unit 140. At the same time, the category (animal, fish) to which the keyword “Clownfish” belongs is also acquired from the classification tree management unit 140, and the data is transferred to the search request generation unit 120 via the user interface unit 110.
[0039]
When receiving the data, the search request generation unit 120 generates a search request as shown below.
[0040]
[Table 1]

In the classification tree shown in FIG. 3, since the category has two layers, the above-described three patterns of search requests are generated. However, when there are N layers, the (N + 1) pattern and the direct system are included. Search requests are generated for the number of siblings that accompany them (excluding entries under the top). FIG. 6 shows the priority order of generation of a plurality of search requests generated in this way.
[0041]
The search request generated as described above is sent from the search request generation unit 120 to the DB search unit 130, and the DB search unit 130 generates an SQL sentence so that the search request can be searched for the image DB 300.
[0042]
Then, the DB search unit 130 first transmits an SQL sentence (bottom category, here, fish) generated based on the search request 1-1 to the image DB 300, searches the image DB 300, and obtains this search result. The hit is returned. Next, the SQL sentence (here, birds, mammals) generated based on the search request 1-2 is transmitted to the image DB 300 to search the image DB 300, and the hit is returned as the search result.
[0043]
Then, the SQL statement generated based on the search request 2 (the category belonging to the next lower layer, in this case, an animal) is transmitted to the image DB 300 to search the image DB 300, and the hit as the search result is returned. Is done. In this way, the search including the higher category as the search request is sequentially performed while the sibling relationship of the corresponding entry is preferentially generated as the search condition in order from the search request having the lower category. Here, when a search request is made for a category that does not exist in the category image correspondence table 310, a normal feature amount search is executed.
[0044]
This time, “Kasago.jpg”, “Anemonefish.jpg” and “Calemamanomi.jpg” are hit as “matching category 2”, which is a part of the search condition of search request 1, and these are sorted in order of feature quantity. And returned as a search result.
[0045]
This search result is returned from the DB search unit 130 to the application program 200 via the user interface unit 110 and displayed.
[0046]
As described above, in the image search apparatus of the present embodiment, an environment in which a wide variety of images are managed together with categories in an image search engine that can search for similar images using the feature amount including the color and shape of the image as a search key. In order to efficiently search for similar images, the classification tree management unit 140 manages a keyword, a category to which the keyword belongs, an image file name corresponding to the keyword, and an image feature amount as a classification tree. Trace the classification tree to select the relevant keyword, confirm the image file name corresponding to the selected keyword, obtain the feature quantity of the actual image from the confirmed image file name, and obtain this feature quantity and keyword Search for similar images using an image search engine based on the category to which An image image searcher image when row easily specified, is intended to return as a search result with priority image that matches the category.
[0047]
As a result, it becomes possible for the image searcher to designate an image as a search key by keyword and by keyword. In addition, when a plurality of images correspond to each keyword, it is possible to select an appropriate image key by designating an image imaged by the image searcher from among the plurality of images. Furthermore, it is possible to preferentially return an image that matches the category to which the keyword belongs as a search result. In addition, the search results can be improved as a result of having both the advantages of simply returning an image as a search result based on a keyword or the search based on the similarity calculation result based on the characteristic amount unique to each image.
[0048]
The processing procedure of the image search method of the above embodiment is recorded as a program on a recording medium, the recording medium is incorporated into a computer system, and the program recorded on the recording medium is downloaded or installed in the computer system, Of course, by operating the computer system with a program, it can function as an image search apparatus that implements the image search method, and by using such a recording medium, its circulation can be improved. is there.
[0049]
【The invention's effect】
As described above, according to the present invention, keywords are specified for an image serving as a search key, each keyword is managed by a classification tree for each category, and the keywords corresponding to the classification tree specified by the image searcher are supported. Since a similar image is searched using the feature amount of this image as a search key, the image searcher can easily select an image image desired by the keyword by tracing the classification tree, and a plurality of keywords can be selected. Even if the images correspond to each other or the keyword and the image assignment method are different from the image searcher's image, it is possible to easily search for the correct search image by checking the actual image.
[0050]
In addition, according to the present invention, a search is performed from an image managed together with a category using a category as a search key in addition to the feature amount. Therefore, the category defined by the feature amount and classification tree of the image is searched. Similar image search using the key is possible.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of an image search apparatus according to an embodiment of the present invention.
FIG. 2 is a flowchart showing a processing procedure in a preparation phase of the image search apparatus according to the embodiment shown in FIG. 1;
3 is a diagram showing an example of construction of a classification tree in the image search device of the embodiment shown in FIG. 1. FIG.
4 is a diagram showing an example of a category image correspondence table in the image search device of the embodiment shown in FIG. 1. FIG.
FIG. 5 is a diagram illustrating an example of a screen image of a classification tree displayed in an application program in the image search apparatus according to the embodiment illustrated in FIG. 1;
6 is a diagram showing a priority order of generation of a plurality of search requests in the image search apparatus of the embodiment shown in FIG. 1. FIG.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 100 Image search apparatus 110 User interface part 120 Search request generation part 130 DB search part 140 Classification tree management part 150 Image DB management part 200 Application program 300 Image DB
310 Category image correspondence table

Claims

分類木管理手段が、複数の階層に分類されたカテゴリと、カテゴリに属するキーワードと、キーワードに対応する画像および当該画像の特徴量を有する分類木を管理し、
特徴量抽出手段が、前記分類木を画像検索者に表示し、指定されたキーワードに対応する画像を画像検索者に表示し、選択された画像の特徴量とカテゴリを前記分類木から取得し、
検索手段が、前記指定されたキーワードが属するカテゴリ、当該カテゴリの上位階層のカテゴリ、当該カテゴリと上位階層のカテゴリが一致する兄弟関係にあるカテゴリ、取得された画像の特徴量を用いて複数の検索要求文を生成し、この検索要求文に基づいて前記画像のカテゴリと同一階層のカテゴリから上位階層のカテゴリへと順に各カテゴリで前記画像の類似画像を検索すること
を特徴とする画像検索方法。The classification tree management means manages categories classified into a plurality of hierarchies, keywords belonging to the categories, images corresponding to the keywords, and classification trees having feature quantities of the images,
The feature amount extraction means displays the classification tree to the image searcher, displays an image corresponding to the specified keyword to the image searcher, acquires the feature amount and category of the selected image from the classification tree,
The search means performs a plurality of searches using a category to which the specified keyword belongs , a category in an upper hierarchy of the category , a category having a sibling relationship in which the category and the category in the upper hierarchy match, and a feature amount of the acquired image An image search method comprising: generating a request sentence, and searching for similar images of the image in each category in order from a category in the same hierarchy as the category of the image to a category in a higher hierarchy based on the search request sentence.

画像を各画像の特徴量とともに管理している画像データベースと、
複数の階層に分類されたカテゴリと、カテゴリに属するキーワードと、キーワードに対応する画像および当該画像の特徴量を有する分類木を管理する分類木管理手段と、
該分類木管理手段で管理されている分類木を画像検索者に表示し、この表示された分類木から画像検索者が指定したキーワードに対応する画像を画像検索者に表示して画像検索者により選択された画像の特徴量とカテゴリを前記分類木管理手段から取得する特徴量取得手段と、
前記指定されたキーワードが属するカテゴリ、当該カテゴリの上位階層のカテゴリ、当該カテゴリと上位階層のカテゴリが一致する兄弟関係にあるカテゴリ、取得された画像の特徴量とを用いて複数の検索要求文を生成し、この検索要求文に基づいて前記画像のカテゴリと同一階層のカテゴリから上位階層のカテゴリへと順に各カテゴリで前記画像の類似画像について前記画像データベースを検索し、この検索結果を出力する検索手段と
を有することを特徴とする画像検索装置。An image database that manages the images together with the features of each image;
Category tree management means for managing categories classified into a plurality of hierarchies, keywords belonging to the categories, an image corresponding to the keyword, and a classification tree having the feature amount of the image,
The classification tree managed by the classification tree management means is displayed to the image searcher, and the image corresponding to the keyword designated by the image searcher is displayed to the image searcher from the displayed classification tree. Feature quantity acquisition means for acquiring the feature quantity and category of the selected image from the classification tree management means;
A plurality of search request sentences using a category to which the specified keyword belongs , a category in a higher hierarchy of the category , a category having a sibling relationship in which the category and the category in the upper hierarchy match, and a feature amount of the acquired image are obtained. A search that generates and searches the image database for similar images of the image in each category in order from a category in the same hierarchy as the category of the image to a category in an upper hierarchy based on the search request statement, and outputs the search result And an image search device.

複数の階層に分類されたカテゴリと、カテゴリに属するキーワードと、キーワードに対応する画像および当該画像の特徴量を有する分類木を管理する処理と、
前記分類木を画像検索者に表示し、指定されたキーワードに対応する画像を画像検索者に表示し、選択された画像の特徴量とカテゴリを前記分類木から取得する処理と、
前記指定されたキーワードが属するカテゴリ、当該カテゴリの上位階層のカテゴリ、当該カテゴリと上位階層のカテゴリが一致する兄弟関係にあるカテゴリ、取得された画像の特徴量とを用いて複数の検索要求文を生成し、この検索要求文に基づいて前記画像のカテゴリと同一階層のカテゴリから上位階層のカテゴリへと順に各カテゴリで前記画像の類似画像を検索する処理と、
をコンピュータに実行させることを特徴とする画像検索プログラムを記録した記録媒体。Processing for managing categories classified into a plurality of hierarchies, keywords belonging to the categories, images corresponding to the keywords, and a classification tree having the feature amount of the images;
Processing for displaying the classification tree to the image searcher, displaying an image corresponding to the specified keyword to the image searcher, and obtaining the feature amount and category of the selected image from the classification tree;
A plurality of search request sentences using a category to which the specified keyword belongs , a category in a higher hierarchy of the category , a category having a sibling relationship in which the category and the category in the upper hierarchy match, and a feature amount of the acquired image are obtained. Generating and searching for similar images of the image in each category in order from a category of the same hierarchy as the category of the image to a category of an upper hierarchy based on the search request sentence;
A computer-readable recording medium on which an image search program is recorded.