JP3683481B2 - Image search method and apparatus and recording medium recording image search program - Google Patents
Image search method and apparatus and recording medium recording image search program Download PDFInfo
- Publication number
- JP3683481B2 JP3683481B2 JP2000246941A JP2000246941A JP3683481B2 JP 3683481 B2 JP3683481 B2 JP 3683481B2 JP 2000246941 A JP2000246941 A JP 2000246941A JP 2000246941 A JP2000246941 A JP 2000246941A JP 3683481 B2 JP3683481 B2 JP 3683481B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- category
- search
- classification tree
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、画像の持つ色彩、形状を含む特徴量を検索キーとして類似画像を検索する画像検索方法および装置に関し、更に詳しくは、画像の持つ色彩、形状を含む特徴量を検索キーとして類似画像を検索する画像検索エンジンにおいて多種多様な画像がカテゴリとともに管理されている環境において画像検索者が所望する画像を検索する際に、検索キーとして画像の特徴量およびカテゴリを示すテキストを用いて類似画像の検索を行なう画像検索方法および装置と画像検索プログラムを記録した記録媒体に関する。
【0002】
【従来の技術】
近年、パソコンの高機能化および低価格化に伴い、エンドユーザまで画像データを容易に閲覧して加工できる環境が整ってきた。これに伴い蓄積された画像データを効率良く管理するために、画像データを一元的に管理し、所望する画像データの検索を実現するための研究が活発になっている。
【0003】
このような従来の画像検索における検索キーの指定の仕方には、画像にキーワードを付与し、キーワードによるテキスト検索の結果として画像を返却する第1の方法や、また画像に対して各画像固有のデータ(色相、彩度、輝度、形状、大きさ、位置)などを抽出しておき、この固有データを検索キーとした類似度の計算結果に基づき画像を返却する第2の方法などがある。
【0004】
【発明が解決しようとする課題】
上述した従来の画像検索において、前記第1の方法では、画像とキーワードの対応付けが人間による主観に基づくため、同じ画像に対し、常に同じキーワードが付与されるとは限らず、真に画像検索者の所望する検索結果が得られるとは限らないという問題がある。
【0005】
また、前記第2の方法では、画像検索者がイメージする画像を検索キーとして指定するため、検索キーとして登録されている画像から自らが求める画像を画像検索者が探す必要があるという問題がある。
【0006】
すなわち、従来の方法では、画像検索者の所望する検索結果が得られない場合や、画像検索を実行する際に画像検索者がイメージする画像を指定するのが困難な場合があり、画像データベースの中から所望の画像を抽出するのに時間と労力が必要であるという問題がある。
【0007】
本発明は、上記に鑑みてなされたもので、その目的とするところは、画像検索において画像検索者がイメージする画像の指定を容易に実現でき、画像データベースの中から所望の画像を効率的に検索することができる画像検索方法および装置と画像検索プログラムを記録した記録媒体を提供することにある。
【0008】
【課題を解決するための手段】
上記目的を達成するため、第1の本発明は、画像の持つ色彩、形状を含む特徴量を検索キーとして類似画像を検索する画像検索方法であって、検索キーとなる画像に対してキーワードを指定しておき、各キーワードをカテゴリ別に分類木で管理し、画像検索者が指定した分類木のキーワードに対応する画像を取得し、この画像の持つ特徴量を検索キーとした類似画像の検索を行なうことを要旨とする。
【0009】
本発明にあっては、検索キーとなる画像に対してキーワードを指定しておき、各キーワードをカテゴリ別に分類木で管理し、画像検索者が指定した分類木のキーワードに対応する画像を取得し、この画像の持つ特徴量を検索キーとした類似画像の検索を行なうため、分類木を辿ることにより画像検索者が所望する画像イメージを簡単に選択でき、キーワードと画像の付与方法が画像検索者のイメージと異なる場合でも実画像の確認により正しい検索画像を容易に検索することが可能になる。
【0010】
また、第2の本発明は、第1の発明において、前記特徴量に加えてカテゴリを検索キーとして、前記カテゴリとともに管理されている画像の中から検索を行なうことを要旨とする。
【0011】
本発明にあっては、特徴量に加えてカテゴリを検索キーとして、カテゴリとともに管理されている画像の中から検索を行なうため、画像が持つ特徴量と分類木で規定されているカテゴリを検索キーとした類似画像検索が可能となる。
【0012】
更に、第3の本発明は、第1または第2の発明において、前記指定された検索キーに対応するノードの分類木において階層に応じて複数の検索要求文を生成して検索し、分類木の階層構造に基づいて検索結果をソートすることを要旨とする。
【0013】
第4の本発明は、第1または第2の発明において、前記検索キーに対応する分類木ノードを含む部分分類木を用いて検索を行なうことを要旨とする。
【0014】
また、第5の本発明は、画像の特徴量を検索キーとして類似画像を検索する画像検索装置であって、画像を各画像の特徴量とともに管理している画像データベースと、キーワード、キーワードの属するカテゴリ、キーワードに対応する画像、画像の特徴量を分類木として管理する分類木管理手段と、該分類木管理手段で管理されている分類木を画像検索者に表示し、この表示された分類木から画像検索者が選択したキーワードに対応する画像を画像検索者に表示して画像検索者により選択された画像の特徴量を前記分類木管理手段から取得する特徴量取得手段と、この取得した画像の特徴量を検索キーとして前記画像データベースを検索し、この検索結果を出力する検索手段とを有することを要旨とする。
【0015】
本発明にあっては、分類木を画像検索者に表示し、この表示された分類木から画像検索者が選択したキーワードに対応する画像を表示して画像検索者により選択された画像の特徴量を分類木管理手段から取得し、この画像の特徴量を検索キーとして画像データベースを検索し、この検索結果を出力するため、分類木を辿ることにより画像検索者が所望する画像イメージを簡単に選択でき、キーワードと画像の付与方法が画像検索者のイメージと異なる場合でも実画像の確認により正しい検索画像を容易に検索することが可能になる。
【0016】
更に、第6の本発明は、第5の発明において、前記検索手段が、前記特徴量に加えて、画像検索者が選択した前記キーワードに対応するカテゴリを検索キーとして、前記カテゴリとともに管理されている画像の中から検索を行なうことを要旨とする。
【0017】
本発明にあっては、特徴量に加えてカテゴリを検索キーとして、カテゴリとともに管理されている画像の中から検索を行なうため、画像が持つ特徴量と分類木で規定されているカテゴリを検索キーとした類似画像検索が可能となる。
【0018】
第7の本発明は、第5または第6の発明において、前記検索手段が、前記指定された検索キーに対応するノードの分類木において階層に応じて複数の検索要求文を生成して検索し、分類木の階層構造に基づいて検索結果をソートすることを要旨とする。
【0019】
また、第8の本発明は、第5または第6の発明において、前記検索手段が、前記検索キーに対応する分類木ノードを含む部分分類木を用いて検索を行なうことを要旨とする。
【0020】
更に、第9の本発明は、画像の持つ色彩、形状を含む特徴量を検索キーとして類似画像を検索する画像検索プログラムを記録した記録媒体であって、検索キーとなる画像に対してキーワードを指定しておき、各キーワードをカテゴリ別に分類木で管理し、画像検索者が指定した分類木のキーワードに対応する画像を取得し、この画像の持つ特徴量を検索キーとした類似画像の検索を行なう画像検索プログラムを記録媒体に記録することを要旨とする。
【0021】
本発明にあっては、検索キーとなる画像に対してキーワードを指定しておき、各キーワードをカテゴリ別に分類木で管理し、画像検索者が指定した分類木のキーワードに対応する画像を取得し、この画像の持つ特徴量を検索キーとした類似画像の検索を行なう画像検索プログラムを記録媒体に記録しているため、該記録媒体を用いて、その流通性を高めることができる。
【0022】
第10の本発明は、第9の発明において、前記特徴量に加えてカテゴリを検索キーとして、前記カテゴリとともに管理されている画像の中から検索を行なう画像検索プログラムを記録媒体に記録することを要旨とする。
【0023】
また、第11の本発明は、第9または第10の発明において、前記指定された検索キーに対応するノードの分類木において階層に応じて複数の検索要求文を生成して検索し、分類木の階層構造に基づいて検索結果をソートする画像検索プログラムを記録媒体に記録することを要旨とする。
【0024】
更に、第12の本発明は、第9または第10の発明において、前記検索キーに対応する分類木ノードを含む部分分類木を用いて検索を行なう画像検索プログラムを記録媒体に記録することを要旨とする。
【0025】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態を説明する。図1は、本発明の一実施形態に係る画像検索装置の構成を示すブロック図である。同図に示す画像検索装置100は、画像のカテゴリ、キーワードを分類木で管理し、画像検索者へ検索キーとなる画像の入力インタフェースを提供し、指定された画像キーに応じて検索要求を生成し、検索結果として得られた画像を提供するものであって、画像検索者が操作するアプリケーションプログラム200が通信網を介して接続されるユーザインタフェース部110、検索要求を生成する検索要求生成部120、実画像および各実画像の特徴量を保存管理している画像DB(データベース)300に対して検索を実施するDB検索部130、画像DB300を管理する画像DB管理部150、キーワード、キーワードの属するカテゴリ、キーワードに対応する画像ファイル名、画像の特徴量を分類木として管理している分類木管理部140から構成されている。なお、画像DB300は、後述するカテゴリ画像対応表310を有している。
【0026】
ユーザインタフェース部110は、分類木管理部140にアクセスし、得られた分類木をアプリケーションプログラム200へ送信し、画像検索者から操作されるアプリケーションプログラム200からキー画像の特徴量からなる入力データを受け付け、入力データを検索要求生成部120に送信する。また、DB検索部130から検索結果である類似画像を受信し、アプリケーションプログラム200に返却する。
【0027】
検索要求生成部120は、ユーザインタフェース部110から受け付けたキー画像の特徴量を元に検索要求を生成し、DB検索部130に送信する。DB検索部130は、検索要求生成部120から検索要求を受信し、その検索要求を元に画像DB300への問い合わせを行なう。また検索結果として、類似画像を取得し、ユーザインタフェース部110に返却する。
【0028】
分類木管理部140は、キーワード、キーワードの属するカテゴリ、キーワードに対応する画像ファイル名、画像の特徴量を分類木として登録管理しており、この分類木情報をユーザインタフェース部110を介してアプリケーションプログラム200に送信する。また、分類木管理部140はシステム管理者によって分類木を編集されるようになっている。画像DB管理部150は、画像DB300に内包されるカテゴリ画像対応表310を編集する。この編集権限はシステム管理者が保有する。
【0029】
アプリケーションプログラム200は、画像検索者が操作するプログラムであり、カテゴリとキーワードからなる分類木の表示が可能である。またキー画像の特徴量送信機能、検索結果である類似画像表示機能を有する。
【0030】
画像DB300は、実画像ならびに各実画像の特徴量を管理し、検索要求に応じて類似画像を検索結果として送信する。また、各実画像とカテゴリとの対応表310を有する。このカテゴリ−画像対応表310は、画像DB300にて管理されており、検索要求としてキー画像の特徴量のほかにカテゴリが指定されている場合、本対応表から画像のカテゴリの絞り込みを可能とする。
【0031】
次に、上述したように構成される画像検索装置の作用について説明する。
【0032】
最初に、図2に示すフローチャートを参照して、準備フェーズについて説明する。この準備フェーズでは、まずキー画像の設定として画像検索の条件となるキー画像の特徴量を抽出する(図2のステップS11)。この特徴量の抽出は画像DB管理部150により画像DB300に対して抽出要求を発行することにより行なわれる。
【0033】
次に、カテゴリ、キーワードを策定し、上述したようにステップS11で抽出した画像検索の条件となるキー画像の特徴量を属性値として持つ分類木を構築する(ステップS13)。この分類木の構築は分類木管理部140に対してシステム管理者が行なう。カテゴリが2階層になっている分類木の構築例について図3に示す。
【0034】
次に、実画像と特徴量を管理している画像DB300に対して、各画像がそれぞれどのカテゴリに属するのかをカテゴリ画像対応表310で管理する(ステップS15)。この画像DB300とカテゴリの管理はシステム管理者が画像DB管理部150に対して行なう。このカテゴリ画像対応表310の設定例を図4に示す。
【0035】
以上のようにして、分類木が構築され、画像DB300の各画像とカテゴリの対応がカテゴリ画像対応表310で管理されると、次に画像検索者が本画像検索装置を用いて所望の画像を検索する実行フェーズについて説明する。
【0036】
まず、分類木管理部140で管理されているカテゴリ、キーワードからなる分類木を分類木管理部140からユーザインタフェース部110を介してアプリケーションプログラム200に送信し、アプリケーションプログラム200に表示する。この場合の画面のイメージを図5に示す。
【0037】
次に、画像検索者は、アプリケーションプログラム200に表示された分類木を閲覧しながら、画像検索者がイメージする画像に最も近いカテゴリのものを分類木の上位より判断し、キーワードの選択を行なう。ここでは、一例として「クマノミ」を選択した場合について説明する。それから、このように選択したキーワード(クマノミ)の下位にあるキー画像候補の画像名(クマノミ1.jpg,クマノミ2.jpg)を分類木より取得し、アプリケーションプログラム200にてキー画像候補として表示する。
【0038】
次に、このように表示された画像(クマノミ1.jpg,クマノミ2.jpg)の中から画像検索者がイメージする画像に最も近い画像を選択する。ここでは、一例として「クマノミ2.jpg」が選択されたものとする。そして、このように選択されたキー画像の持つ特徴量(a3,b3,c3,d3)を分類木管理部140から取得する。また同時に、キーワード「クマノミ」が属するカテゴリ(動物、魚類)も分類木管理部140から取得し、ユーザインタフェース部110を介して検索要求生成部120に前記データを転送する。
【0039】
検索要求生成部120は、前記データを受け取ると、次に示すような検索要求を生成する。
【0040】
【表1】
なお、図3に示した分類木では、カテゴリが2階層であるため、上述した3パターンの検索要求が生成されるが、N階層存在する場合には、直系である(N+1)パターンおよび直系に付随する兄弟関係の個数分(トップ配下のエントリは除く)の検索要求が生成される。このように生成される複数の検索要求の生成の優先順位を図6に示す。
【0041】
上述したように生成された検索要求は、検索要求生成部120からDB検索部130に送られ、DB検索部130において当該検索要求を画像DB300に対して検索可能なようにSQL文を生成する。
【0042】
そして、DB検索部130は、まず検索要求1−1を元に生成されたSQL文(最下層のカテゴリ、ここでは魚類)を画像DB300に送信して、画像DB300を検索し、この検索結果としてヒットしたものが返却される。次に検索要求1−2を元に生成されたSQL文(ここでは鳥類、哺乳類)を画像DB300に送信して画像DB300を検索し、この検索結果としてヒットしたものが返却される。
【0043】
それから、検索要求2を元に生成されたSQL文(最下層の次に下位に属するカテゴリ、ここでは動物)を画像DB300に送信して画像DB300を検索し、この検索結果としてヒットしたものが返却される。このようにカテゴリが下位の検索要求から順に、該当するエントリの兄弟関係を優先的に検索条件として生成しながら、より上位のカテゴリを検索要求として含む検索を順次行なう。ここで、カテゴリ画像対応表310に存在しないカテゴリを検索要求とする場合には、通常の特徴量検索を実行する。
【0044】
今回は検索要求1の検索条件の一部である「カテゴリ2が一致するもの」として「カサゴ.jpg」「ハナクマノミ.jpg」「カレクマノミ.jpg」がヒットし、これらが特徴量の近い順にソートされ、検索結果として返却される。
【0045】
この検索結果は、DB検索部130からユーザインタフェース部110を経てアプリケーションプログラム200に返却され表示される。
【0046】
上述したように、本実施形態の画像検索装置では、画像の持つ色彩、形状を含む特徴量を検索キーとして類似画像を検索可能な画像検索エンジンにおいて多種多様な画像がカテゴリとともに管理されている環境において類似画像を効率良く検索するために、分類木管理部140においてキーワード、キーワードの属するカテゴリ、キーワードに対応する画像ファイル名、画像の特徴量を分類木として管理し、画像検索者がカテゴリを元に分類木を辿って、該当するキーワードを選択し、この選択したキーワードに対応する画像ファイル名を確認し、この確認した画像ファイル名から実画像の持つ特徴量を取得し、この特徴量およびキーワードの所属するカテゴリを元に画像検索エンジンを用いて、類似画像を検索することにより、画像検索を実行する際に画像検索者がイメージする画像を容易に指定し、カテゴリに合致する画像を優先して検索結果として返却するものである。
【0047】
この結果、画像検索者が検索キーとなる画像をカテゴリを辿ってキーワード別に指定することが可能となる。また、各キーワードに対して複数の画像が対応している場合、その複数の画像の中から画像検索者がイメージする画像を指定することにより、適切な画像キーを選択することが可能となる。更に、キーワードの属するカテゴリに合致する画像を優先して検索結果として返却することが可能となる。また、検索結果も単にキーワードによる検索結果として画像を返却する場合や、各画像固有の特徴量に基づく類似度計算結果による検索の双方の長所を持ち合わせ、検索効率の向上が見込める。
【0048】
なお、上記実施形態の画像検索方法の処理手順をプログラムとして記録媒体に記録して、この記録媒体をコンピュータシステムに組み込むとともに、該記録媒体に記録されたプログラムをコンピュータシステムにダウンロードまたはインストールし、該プログラムでコンピュータシステムを作動させることにより、画像検索方法を実施する画像検索装置として機能させることができることは勿論であり、このような記録媒体を用いることにより、その流通性を高めることができるものである。
【0049】
【発明の効果】
以上説明したように、本発明によれば、検索キーとなる画像に対してキーワードを指定しておき、各キーワードをカテゴリ別に分類木で管理し、画像検索者が指定した分類木のキーワードに対応する画像を取得し、この画像の持つ特徴量を検索キーとした類似画像の検索を行なうので、分類木を辿ることにより画像検索者が所望する画像イメージをキーワード別に簡単に選択でき、キーワードに複数の画像が対応していたり、キーワードと画像の付与方法が画像検索者のイメージと異なる場合でも実画像の確認により正しい検索画像を容易に検索することが可能になる。
【0050】
また、本発明によれば、特徴量に加えてカテゴリを検索キーとして、カテゴリとともに管理されている画像の中から検索を行なうので、画像が持つ特徴量と分類木で規定されているカテゴリを検索キーとした類似画像検索が可能となる。
【図面の簡単な説明】
【図1】本発明の一実施形態に係る画像検索装置の構成を示すブロック図である。
【図2】図1に示す実施形態の画像検索装置の準備フェーズの処理手順を示すフローチャートである。
【図3】図1に示す実施形態の画像検索装置における分類木の構築例を示す図である。
【図4】図1に示す実施形態の画像検索装置におけるカテゴリ画像対応表の一例を示す図である。
【図5】図1に示す実施形態の画像検索装置においてアプリケーションプログラムに表示される分類木の画面イメージの一例を示す図である。
【図6】図1に示す実施形態の画像検索装置における複数の検索要求の生成の優先順位を示す図である。
【符号の説明】
100 画像検索装置
110 ユーザインタフェース部
120 検索要求生成部
130 DB検索部
140 分類木管理部
150 画像DB管理部
200 アプリケーションプログラム
300 画像DB
310 カテゴリ画像対応表[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image search method and apparatus for searching for a similar image using a feature amount including color and shape of an image as a search key, and more particularly, to a similar image using a feature amount including color and shape of an image as a search key. When an image search engine searches for an image desired by an image searcher in an environment in which a wide variety of images are managed together with categories in an image search engine for searching for images, similar images are used by using text indicating the image feature amount and category as a search key. The present invention relates to an image search method and apparatus for performing a search, and a recording medium on which an image search program is recorded.
[0002]
[Prior art]
In recent years, with the increase in functionality and price of personal computers, an environment in which image data can be easily browsed and processed by end users has been established. Accordingly, in order to efficiently manage the stored image data, research for managing the image data in an integrated manner and realizing the search for the desired image data has become active.
[0003]
As a method for specifying a search key in such a conventional image search, there is a first method in which a keyword is assigned to an image and an image is returned as a result of a text search using the keyword. There is a second method in which data (hue, saturation, luminance, shape, size, position) and the like are extracted, and an image is returned based on a similarity calculation result using the unique data as a search key.
[0004]
[Problems to be solved by the invention]
In the conventional image search described above, in the first method, since the association between an image and a keyword is based on human subjectivity, the same keyword is not always assigned to the same image. There is a problem that a search result desired by a person is not always obtained.
[0005]
Further, in the second method, there is a problem that the image searcher needs to search for an image that the image searcher wants from an image registered as the search key in order to designate an image imaged by the image searcher as a search key. .
[0006]
That is, in the conventional method, the search result desired by the image searcher may not be obtained, or it may be difficult for the image searcher to specify an image to be imaged when executing the image search. There is a problem that it takes time and effort to extract a desired image from the inside.
[0007]
The present invention has been made in view of the above, and an object of the present invention is to easily specify an image imaged by an image searcher in an image search, and to efficiently obtain a desired image from an image database. An object of the present invention is to provide an image search method and apparatus capable of searching, and a recording medium recording an image search program.
[0008]
[Means for Solving the Problems]
In order to achieve the above object, the first aspect of the present invention is an image search method for searching for a similar image using a feature amount including a color and shape of an image as a search key, and a keyword is assigned to the image as the search key. Each keyword is managed by classification tree according to category, images corresponding to the keyword of the classification tree specified by the image searcher are obtained, and similar images are searched using the feature amount of this image as a search key. The gist is to do.
[0009]
In the present invention , keywords are specified for an image serving as a search key, each keyword is managed by a classification tree for each category, and an image corresponding to the keyword of the classification tree specified by the image searcher is acquired. In order to search for similar images using the feature quantity of the image as a search key, the image searcher can easily select the desired image by tracing the classification tree, and the keyword and image assignment method is the image searcher. Even if the image is different from the above image, it is possible to easily search for a correct search image by confirming the actual image.
[0010]
The gist of the second invention is that, in the first invention, a search is performed from images managed together with the category by using the category as a search key in addition to the feature amount.
[0011]
In the present invention , in order to perform a search from an image managed together with the category using the category as a search key in addition to the feature amount, the feature amount possessed by the image and the category defined by the classification tree are used as the search key. A similar image search can be performed.
[0012]
Further, the third invention is the first or second invention, wherein a plurality of search request statements are generated and searched according to the hierarchy in the classification tree of the node corresponding to the designated search key, and the classification tree The gist is to sort the search results based on the hierarchical structure.
[0013]
The gist of the fourth invention is that, in the first or second invention, a search is performed using a partial classification tree including a classification tree node corresponding to the search key.
[0014]
According to a fifth aspect of the present invention, there is provided an image search apparatus for searching for a similar image using an image feature amount as a search key, an image database managing images together with the feature amount of each image, a keyword, and a keyword Classification tree management means for managing images corresponding to categories and keywords, and image feature quantities as classification trees, and classification trees managed by the classification tree management means are displayed to an image searcher, and the displayed classification tree A feature amount acquisition unit that displays an image corresponding to the keyword selected by the image searcher from the image searcher and acquires the feature amount of the image selected by the image searcher from the classification tree management unit, and the acquired image And a search means for searching the image database using the feature quantity as a search key and outputting the search result.
[0015]
In the present invention , the classification tree is displayed to the image searcher, the image corresponding to the keyword selected by the image searcher from the displayed classification tree is displayed, and the feature amount of the image selected by the image searcher Is retrieved from the classification tree management means, the image database is searched using the feature quantity of the image as a search key, and the search result is output, so that the image searcher simply selects the desired image by tracing the classification tree. In addition, even when the keyword and image providing method is different from the image searcher's image, it is possible to easily search for a correct search image by checking the actual image.
[0016]
Further, in a sixth aspect of the present invention based on the fifth aspect, the search means is managed together with the category using the category corresponding to the keyword selected by the image searcher as a search key in addition to the feature amount. The main point is to search from existing images.
[0017]
In the present invention , in order to perform a search from an image managed together with the category using the category as a search key in addition to the feature amount, the feature amount possessed by the image and the category defined by the classification tree are used as the search key. A similar image search can be performed.
[0018]
In a seventh aspect of the present invention based on the fifth or sixth aspect , the search means generates and searches a plurality of search request sentences according to the hierarchy in the classification tree of the node corresponding to the specified search key. The gist is to sort the search results based on the hierarchical structure of the classification tree.
[0019]
The gist of the eighth invention is that, in the fifth or sixth invention, the search means performs a search using a partial classification tree including a classification tree node corresponding to the search key.
[0020]
Furthermore, a ninth aspect of the present invention is a recording medium storing an image search program for searching for a similar image using a feature amount including color and shape of an image as a search key, and a keyword is assigned to the image to be the search key. Each keyword is managed by classification tree according to category, images corresponding to the keyword of the classification tree specified by the image searcher are obtained, and similar images are searched using the feature amount of this image as a search key. The gist is to record an image search program to be performed on a recording medium.
[0021]
In the present invention , keywords are specified for an image serving as a search key, each keyword is managed by a classification tree for each category, and an image corresponding to the keyword of the classification tree specified by the image searcher is acquired. Since an image search program for searching for a similar image using the feature quantity of the image as a search key is recorded on the recording medium, it is possible to improve the distribution by using the recording medium.
[0022]
In a tenth aspect of the present invention based on the ninth aspect, an image search program for performing a search from an image managed together with the category is recorded on a recording medium using the category as a search key in addition to the feature amount. The gist.
[0023]
In addition, in an eleventh aspect of the present invention based on the ninth or tenth aspect, a plurality of search request statements are generated and searched according to the hierarchy in the classification tree of the node corresponding to the designated search key, and the classification tree The gist is to record an image search program for sorting search results on the basis of the hierarchical structure.
[0024]
Furthermore, a twelfth aspect of the present invention is that, in the ninth or tenth aspect, an image search program for performing a search using a partial classification tree including a classification tree node corresponding to the search key is recorded on a recording medium. And
[0025]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a configuration of an image search apparatus according to an embodiment of the present invention. The
[0026]
The
[0027]
The search
[0028]
The classification
[0029]
The
[0030]
The
[0031]
Next, the operation of the image search apparatus configured as described above will be described.
[0032]
First, the preparation phase will be described with reference to the flowchart shown in FIG. In this preparation phase, first, a key image feature amount serving as an image search condition is extracted as a key image setting (step S11 in FIG. 2). This feature amount extraction is performed by issuing an extraction request to the
[0033]
Next, categories and keywords are formulated, and as described above, a classification tree having the feature values of key images as attribute values extracted in step S11 as attribute values is constructed (step S13). This classification tree is constructed by the system manager for the classification
[0034]
Next, the category image correspondence table 310 manages to which category each image belongs to the
[0035]
As described above, when the classification tree is constructed and the correspondence between each image in the
[0036]
First, a classification tree including categories and keywords managed by the classification
[0037]
Next, while browsing the classification tree displayed in the
[0038]
Next, an image closest to the image imaged by the image searcher is selected from the images displayed in this way (Clownfish 1.jpg, Clownfish 2.jpg). Here, as an example, it is assumed that “Clownfish 2.jpg” is selected. Then, the feature amount (a3, b3, c3, d3) of the selected key image is acquired from the classification
[0039]
When receiving the data, the search
[0040]
[Table 1]
In the classification tree shown in FIG. 3, since the category has two layers, the above-described three patterns of search requests are generated. However, when there are N layers, the (N + 1) pattern and the direct system are included. Search requests are generated for the number of siblings that accompany them (excluding entries under the top). FIG. 6 shows the priority order of generation of a plurality of search requests generated in this way.
[0041]
The search request generated as described above is sent from the search
[0042]
Then, the
[0043]
Then, the SQL statement generated based on the search request 2 (the category belonging to the next lower layer, in this case, an animal) is transmitted to the
[0044]
This time, “Kasago.jpg”, “Anemonefish.jpg” and “Calemamanomi.jpg” are hit as “matching
[0045]
This search result is returned from the
[0046]
As described above, in the image search apparatus of the present embodiment, an environment in which a wide variety of images are managed together with categories in an image search engine that can search for similar images using the feature amount including the color and shape of the image as a search key. In order to efficiently search for similar images, the classification
[0047]
As a result, it becomes possible for the image searcher to designate an image as a search key by keyword and by keyword. In addition, when a plurality of images correspond to each keyword, it is possible to select an appropriate image key by designating an image imaged by the image searcher from among the plurality of images. Furthermore, it is possible to preferentially return an image that matches the category to which the keyword belongs as a search result. In addition, the search results can be improved as a result of having both the advantages of simply returning an image as a search result based on a keyword or the search based on the similarity calculation result based on the characteristic amount unique to each image.
[0048]
The processing procedure of the image search method of the above embodiment is recorded as a program on a recording medium, the recording medium is incorporated into a computer system, and the program recorded on the recording medium is downloaded or installed in the computer system, Of course, by operating the computer system with a program, it can function as an image search apparatus that implements the image search method, and by using such a recording medium, its circulation can be improved. is there.
[0049]
【The invention's effect】
As described above, according to the present invention, keywords are specified for an image serving as a search key, each keyword is managed by a classification tree for each category, and the keywords corresponding to the classification tree specified by the image searcher are supported. Since a similar image is searched using the feature amount of this image as a search key, the image searcher can easily select an image image desired by the keyword by tracing the classification tree, and a plurality of keywords can be selected. Even if the images correspond to each other or the keyword and the image assignment method are different from the image searcher's image, it is possible to easily search for the correct search image by checking the actual image.
[0050]
In addition, according to the present invention, a search is performed from an image managed together with a category using a category as a search key in addition to the feature amount. Therefore, the category defined by the feature amount and classification tree of the image is searched. Similar image search using the key is possible.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of an image search apparatus according to an embodiment of the present invention.
FIG. 2 is a flowchart showing a processing procedure in a preparation phase of the image search apparatus according to the embodiment shown in FIG. 1;
3 is a diagram showing an example of construction of a classification tree in the image search device of the embodiment shown in FIG. 1. FIG.
4 is a diagram showing an example of a category image correspondence table in the image search device of the embodiment shown in FIG. 1. FIG.
FIG. 5 is a diagram illustrating an example of a screen image of a classification tree displayed in an application program in the image search apparatus according to the embodiment illustrated in FIG. 1;
6 is a diagram showing a priority order of generation of a plurality of search requests in the image search apparatus of the embodiment shown in FIG. 1. FIG.
[Explanation of symbols]
DESCRIPTION OF
310 Category image correspondence table
Claims (3)
特徴量抽出手段が、前記分類木を画像検索者に表示し、指定されたキーワードに対応する画像を画像検索者に表示し、選択された画像の特徴量とカテゴリを前記分類木から取得し、
検索手段が、前記指定されたキーワードが属するカテゴリ、当該カテゴリの上位階層のカテゴリ、当該カテゴリと上位階層のカテゴリが一致する兄弟関係にあるカテゴリ、取得された画像の特徴量を用いて複数の検索要求文を生成し、この検索要求文に基づいて前記画像のカテゴリと同一階層のカテゴリから上位階層のカテゴリへと順に各カテゴリで前記画像の類似画像を検索すること
を特徴とする画像検索方法。The classification tree management means manages categories classified into a plurality of hierarchies, keywords belonging to the categories, images corresponding to the keywords, and classification trees having feature quantities of the images,
The feature amount extraction means displays the classification tree to the image searcher, displays an image corresponding to the specified keyword to the image searcher, acquires the feature amount and category of the selected image from the classification tree,
The search means performs a plurality of searches using a category to which the specified keyword belongs , a category in an upper hierarchy of the category , a category having a sibling relationship in which the category and the category in the upper hierarchy match, and a feature amount of the acquired image An image search method comprising: generating a request sentence, and searching for similar images of the image in each category in order from a category in the same hierarchy as the category of the image to a category in a higher hierarchy based on the search request sentence.
複数の階層に分類されたカテゴリと、カテゴリに属するキーワードと、キーワードに対応する画像および当該画像の特徴量を有する分類木を管理する分類木管理手段と、
該分類木管理手段で管理されている分類木を画像検索者に表示し、この表示された分類木から画像検索者が指定したキーワードに対応する画像を画像検索者に表示して画像検索者により選択された画像の特徴量とカテゴリを前記分類木管理手段から取得する特徴量取得手段と、
前記指定されたキーワードが属するカテゴリ、当該カテゴリの上位階層のカテゴリ、当該カテゴリと上位階層のカテゴリが一致する兄弟関係にあるカテゴリ、取得された画像の特徴量とを用いて複数の検索要求文を生成し、この検索要求文に基づいて前記画像のカテゴリと同一階層のカテゴリから上位階層のカテゴリへと順に各カテゴリで前記画像の類似画像について前記画像データベースを検索し、この検索結果を出力する検索手段と
を有することを特徴とする画像検索装置。An image database that manages the images together with the features of each image;
Category tree management means for managing categories classified into a plurality of hierarchies, keywords belonging to the categories, an image corresponding to the keyword, and a classification tree having the feature amount of the image,
The classification tree managed by the classification tree management means is displayed to the image searcher, and the image corresponding to the keyword designated by the image searcher is displayed to the image searcher from the displayed classification tree. Feature quantity acquisition means for acquiring the feature quantity and category of the selected image from the classification tree management means;
A plurality of search request sentences using a category to which the specified keyword belongs , a category in a higher hierarchy of the category , a category having a sibling relationship in which the category and the category in the upper hierarchy match, and a feature amount of the acquired image are obtained. A search that generates and searches the image database for similar images of the image in each category in order from a category in the same hierarchy as the category of the image to a category in an upper hierarchy based on the search request statement, and outputs the search result And an image search device.
前記分類木を画像検索者に表示し、指定されたキーワードに対応する画像を画像検索者に表示し、選択された画像の特徴量とカテゴリを前記分類木から取得する処理と、
前記指定されたキーワードが属するカテゴリ、当該カテゴリの上位階層のカテゴリ、当該カテゴリと上位階層のカテゴリが一致する兄弟関係にあるカテゴリ、取得された画像の特徴量とを用いて複数の検索要求文を生成し、この検索要求文に基づいて前記画像のカテゴリと同一階層のカテゴリから上位階層のカテゴリへと順に各カテゴリで前記画像の類似画像を検索する処理と、
をコンピュータに実行させることを特徴とする画像検索プログラムを記録した記録媒体。Processing for managing categories classified into a plurality of hierarchies, keywords belonging to the categories, images corresponding to the keywords, and a classification tree having the feature amount of the images;
Processing for displaying the classification tree to the image searcher, displaying an image corresponding to the specified keyword to the image searcher, and obtaining the feature amount and category of the selected image from the classification tree;
A plurality of search request sentences using a category to which the specified keyword belongs , a category in a higher hierarchy of the category , a category having a sibling relationship in which the category and the category in the upper hierarchy match, and a feature amount of the acquired image are obtained. Generating and searching for similar images of the image in each category in order from a category of the same hierarchy as the category of the image to a category of an upper hierarchy based on the search request sentence;
A computer-readable recording medium on which an image search program is recorded.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000246941A JP3683481B2 (en) | 2000-08-16 | 2000-08-16 | Image search method and apparatus and recording medium recording image search program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000246941A JP3683481B2 (en) | 2000-08-16 | 2000-08-16 | Image search method and apparatus and recording medium recording image search program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002063172A JP2002063172A (en) | 2002-02-28 |
JP3683481B2 true JP3683481B2 (en) | 2005-08-17 |
Family
ID=18737134
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000246941A Expired - Fee Related JP3683481B2 (en) | 2000-08-16 | 2000-08-16 | Image search method and apparatus and recording medium recording image search program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3683481B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200278975A1 (en) * | 2015-12-02 | 2020-09-03 | International Business Machines Corporation | Searching data on a synchronization data stream |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3336765A1 (en) * | 2006-05-10 | 2018-06-20 | Nikon Corporation | Object recognition device, object recognition program, and image search service providing method |
JP5063422B2 (en) | 2008-03-14 | 2012-10-31 | キヤノン株式会社 | Image processing apparatus, image processing method, and computer program |
JP5450715B2 (en) * | 2012-06-04 | 2014-03-26 | ヤフー株式会社 | Integrated distance calculation device and integrated distance calculation method using distance calculation between nodes |
JP5420032B2 (en) * | 2012-08-09 | 2014-02-19 | キヤノン株式会社 | Information processing apparatus, information processing method, information processing system, and computer program |
JP6557504B2 (en) * | 2015-04-22 | 2019-08-07 | 株式会社リクルート | Image suitability determination apparatus, image suitability determination method, and image suitability determination program |
-
2000
- 2000-08-16 JP JP2000246941A patent/JP3683481B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200278975A1 (en) * | 2015-12-02 | 2020-09-03 | International Business Machines Corporation | Searching data on a synchronization data stream |
Also Published As
Publication number | Publication date |
---|---|
JP2002063172A (en) | 2002-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7836085B2 (en) | Searching structured geographical data | |
EP0964341A2 (en) | Integrated retrieval scheme for retrieving semi-structured documents | |
US20090204588A1 (en) | Method and apparatus for determining key attribute items | |
JP2001056810A (en) | Database access system | |
JP2000076109A (en) | Data display device and data display method | |
JP2003271584A (en) | Document management device, client device, document management system, program and storage medium | |
JP2008226235A (en) | Information feedback system, information feedback method, information control server, information control method, and program | |
JP3683481B2 (en) | Image search method and apparatus and recording medium recording image search program | |
JP2000089991A (en) | Document management system | |
JP4333184B2 (en) | Electronic data management system | |
JP2002049637A (en) | Database management method, device and recording medium | |
JP2005202939A (en) | Method of creating xml file | |
JP5201592B2 (en) | Information processing system, information processing method, program, and computer-readable recording medium | |
JP5224839B2 (en) | Document management system, document management apparatus, document management method, and program | |
JP3565117B2 (en) | Access method for multiple different information sources, client device, and storage medium storing multiple different information source access program | |
JPH1069476A (en) | Document management system, document sharing method and recording medium | |
JP2002157270A (en) | System and method for distributing interesting article | |
JP2001134424A (en) | Method and device for preparing system parameter and computer readable storage medium recording system parameter preparation program and computer readable storage medium storing system parameter preparation data | |
JP2009193200A (en) | Document management system, terminal equipment, document management method, and program | |
JP2004234582A (en) | Dictionary construction method, system, and screen | |
JP2006059090A (en) | Database retrieving method and database retrieving apparatus | |
JP2006058971A (en) | Device, system, and method for retrieving business form, and program | |
JP4728174B2 (en) | Tag search method and search server for character data | |
JP2000322167A (en) | Data management system and method for displaying data attribute | |
JP2004342042A (en) | Method and system for communication in distributed environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040817 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041015 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041109 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050308 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050411 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050525 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090603 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090603 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100603 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100603 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110603 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120603 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130603 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |