JP4313738B2 - 画像検索装置および方法、そのプログラム及び記録媒体 - Google Patents

Description

本発明は、Ｗｅｂに存在する画像を検索するための画像検索装置および方法、そのプログラム及び記録媒体に関する。

従来において、画像検索装置とは、コンピュータ上で動作する画像（画像データ、画像情報）を検索するシステムのことで、他のコンピュータから入力された情報を元に画像を提示する技術を指している。こうした画像検索装置の一つの例として、図６に従来技術による画像検索装置のシステム構成例を示す。

この図６に示す、画像検索装置２０は、画像インデックス２１と、画像検索部２２と、クライアント出力部２３と、クライアント入力受付部２４と、を備えている。さらに画像検索装置２０は、インターネットなどのネットワーク４に接続しており、このネットワーク４を介してクライアント２も接続している。

こうした図６に示す従来技術による画像検索装置においては、文字列画像検索と類似画像検索の２種類の検索方法がある。

まず、文字列画像検索の場合は、画像インデックス２１には、Ｗｅｂ（ネットワーク４）上の画像をリンクしているページの文章から画像に関連付ける文字列情報を自動的に生成し、これを保存している。

クライアント入力受付部２４よりクライアント２からの画像検索要求に伴う検索文字列が転送され、その文字列について、画像インデックス２１に保存されている画像と関連付けられた文字列情報内に当該文字列が存在するか否かが、画像検索部２２によって判断される。

画像検索部２２は、検索文字列が文字列情報内に存在する画像の一覧を提示する画面を、クライアント出力部２３に転送する。この方法は一般のＷｅｂ画像検索サービスに用いられている。

次に、図７に従来技術によるＷｅｂページ収集ロボット（Ｗｅｂページ収集手段）が画像インデックスを作成するためのフローチャートを示す。

従来技術によるＷｅｂページ収集ロボットは、シード（seed）と呼ばれるＷｅｂページを収集するための種となるＵＲＩ（uniform resource identifier）を出発点としてＷｅｂページを取得する。

まず、ステップ２０：Ｓ２０でＷｅｂページの収集が開始され、ステップ２１：Ｓ２１において、そのシードのＷｅｂページをＨＴＴＰ（Hypertext Transfer Protocol）などのプロトコルを利用してネットワーク上から取得する。

次に、ステップ２２：Ｓ２２において、取得したＷｅｂページの内容がテキストなのか、あるいは画像なのかをデータ分類するために、そのＷｅｂページを判定する。画像であると判定された場合（ＹＥＳ）は、ステップ２７：Ｓ２７において、その画像を一時保存したあと、画像特徴量やテキスト情報を抽出して保存する。

一方、ステップ２２：Ｓ２２においてＮｏと判定されると、ステップ２３：Ｓ２３において、ＨＴＭＬ（Hypertext Mark-up language）等で記述される文字列を解析して、そのＷｅｂページがリンクするＵＲＩを取得してタグの要素を抽出する。リンクするＵＲＩは次の収集時に利用される。

次に、ステップ２４：Ｓ２４において、そのＷｅｂページからタグを取り除いたテキスト情報を抽出する。

次に、ステップ２５：Ｓ２５において、抽出したテキスト情報を保存する。

この後に、ステップ２６：Ｓ２６において、収集すべきすべてのＷｅｂページを取得し終わったことが判定されて、ＹＥＳの場合は終了となり、ＮＯの場合は再びステップ２１：Ｓ２１へ処理が戻る。

なお、更に異なる従来技術である類似画像検索では、画像からあらかじめ画像特徴量（テクスチャ、色等）を抽出し画像インデックスに保存している。画像検索部ではクライアント入力受付部より転送されてきた画像の特徴量を抽出して、その特徴量と画像インデックスに保存される特徴量を比較し、類似していると推測される画像を自動的に判断し、その画像の一覧を提示する画面をクライアント出力部に転送する。（特許文献１〜４を参照）
特開２０００−２５０９４３ 特開平１０−２４０７６５ 特開平１１−０２５２７１ 特開平１１−２２４２５６

上述した従来技術における画像検索装置では、文字列画像検索を行った検索結果の画像を入力として類似画像検索を行う場合、インターネット上のＷｅｂページにあるような様々な大きさや画質を対象とした検索をするには、類似画像検索に使用する画像特徴量の次元数が数百次元という大量のデータを必要とし、このため計算量が膨大になっていた。

また、類似画像を自動的に判断する処理の計算量増大に伴うコストが膨大となり、実用的な速度を保ったシステムの構築が難しいという課題があった。

本発明は、これらの課題に鑑みてなされたもので、その目的とするところは、画像を含むＷｅｂページのテキスト情報や画像特徴量をもって画像インデックスに保存される情報を事前に分類することができ、画像検索の検索対象を限定することができ、画像検索に係る計算量を軽減可能な画像検索装置および方法、そのプログラム及び記録媒体を提供することにある。

課題を解決するために、請求項１に記載の本発明は、画像検索要求に応じてＷｅｂページに含まれる画像を検索するための画像検索装置において、前記画像検索要求を発するためのクライアント情報端末と、前記Ｗｅｂページを構成する情報を収集して画像と文字列とを抽出するためのＷｅｂページ収集手段と、前記Ｗｅｂページ収集手段が抽出した前記
画像と前記文字列とを分類のために予め設定されたカテゴリ毎のインデックス情報に関連付けするためのカテゴリ分類手段と、前記画像に類似する類似画像を検索のためのインデックスとして前記画像と共に前記カテゴリ毎に分類して記憶するための画像インデックス情報記憶手段と、前記画像インデックス情報記憶手段と連係し、前記カテゴリ毎に分類された前記文字列を前記類似画像に関連付けて検索のためのインデックスとして記憶するための文字列インデックス情報記憶手段と、前記画像検索要求に含まれる文字列を手がかりに前記文字列インデックス情報記憶手段に問い合わせ、当該文字列インデックス情報記憶手段によって前記画像インデックス情報記憶手段から検索取得された当該文字列の意味に
対応する複数の候補となる前記類似画像を前記クライアント情報端末へ提示するための文字列画像検索手段と、前記クライアント情報端末に提示された前記類似画像のうちから選択された類似画像に応じて前記画像インデックス情報記憶手段に問い合わせて画像特徴量を取得し、また、当該選択された類似画像に応じて前記文字列インデックス情報記憶手段に問い合わせてカテゴリ情報を取得し、当該画像特徴量と当該カテゴリ情報を検索条件として前記画像インデックス情報記憶手段に記憶された画像を検索して取得し、再び前記クライアント情報端末へ提示するための類似画像検索手段と、を備え
る。

また、請求項２に記載の本発明は、画像検索要求に応じてＷｅｂページに含まれる画像を検索するための画像検索装置で処理する画像検索方法において、前記画像検索装置により、クライアント情報端末により前記画像検索要求を発するステップと、Ｗｅｂページ収集手段により前記Ｗｅｂページを構成する情報を収集して画像と文字列とを抽出するステップと、カテゴリ分類手段により前記Ｗｅｂページ収集手段が抽出した前記画像と前記文字列とを分類のために予め設定されたカテゴリ毎のインデックス情報に関連付けするステップと、画像インデックス情報記憶手段により前記画像に類似する類似画像を検索のためのインデックスとして前記画像と共に前記カテゴリ毎に分類して記憶するステップと、文字列インデックス情報記憶手段により前記画像インデックス情報記憶手段と連係し、前記カテゴリ毎に分類された前記文字列を前記類似画像に関連付けて検索のためのインデックスとして記憶するステップと、文字列画像検索手段により前記画像検索要求に含まれる文字列を手がかりに前記文字列インデックス情報記憶手段に問い合わせ、当該文字列インデックス情報記憶手段によって前記画像インデックス情報記憶手段から検索取得された当該文字列の意味に対応する複数の候補となる前記類似画像を前記クライアント情報端末へ提示するステップと、類似画像検索手段により前記クライアント情報端末に提示された前記類似画像のうちから選択された類似画像に応じて前記画像インデックス情報記憶手段に問い合わせて画像特徴量を取得し、また、当該選択された類似画像に応じて前記文字列インデックス情報記憶手段に問い合わせてカテゴリ情報を取得し、当該画像特徴量と当該カテゴリ情報を検索条件として前記画像インデックス情報記憶手段に記憶された画像を検索して取得し、再び前記クライアント情報端末へ提示するステップと、を有する。

また、請求項３に記載の本発明は、画像検索要求に応じてＷｅｂページに含まれる画像を検索するための画像検索装置で実行させるための画像検索プログラムにおいて、前記画像検索装置に、クライアント情報端末により前記画像検索要求を発するステップと、Ｗｅｂページ収集手段により前記Ｗｅｂページを構成する情報を収集して画像と文字列とを抽出するステップと、カテゴリ分類手段により前記Ｗｅｂページ収集手段が抽出した前記画像と前記文字列とを分類のために予め設定されたカテゴリ毎のインデックス情報に関連付けするステップと、画像インデックス情報記憶手段により前記画像に類似する類似画像を検索のためのインデックスとして前記画像と共に前記カテゴリ毎に分類して記憶するステップと、文字列インデックス情報記憶手段により前記画像インデックス情報記憶手段と連係し、前記カテゴリ毎に分類された前記文字列を前記類似画像に関連付けて検索のためのインデックスとして記憶するステップと、文字列画像検索手段により前記画像検索要求に含まれる文字列を手がかりに前記文字列インデックス情報記憶手段に問い合わせ、当該文字列インデックス情報記憶手段によって前記画像インデックス情報記憶手段から検索取得された当該文字列の意味に対応する複数の候補となる前記類似画像を前記クライアント情報端末へ提示するステップと、類似画像検索手段により前記クライアント情報端末に提示された前記類似画像のうちから選択された類似画像に応じて前記画像インデックス情報記憶手段に問い合わせて画像特徴量を取得し、また、当該選択された類似画像に応じて前記文字列インデックス情報記憶手段に問い合わせてカテゴリ情報を取得し、当該画像特徴量と当該カテゴリ情報を検索条件として前記画像インデックス情報記憶手段に記憶された画像を検索して取得し、再び前記クライアント情報端末へ提示するステップと、を有する。

また、請求項４に記載の本発明は、画像検索要求に応じてＷｅｂページに含まれる画像を検索するための画像検索装置で実行させるための画像検索プログラムを記録した記録媒体において、前記画像検索装置に、クライアント情報端末により前記画像検索要求を発するステップと、Ｗｅｂページ収集手段により前記Ｗｅｂページを構成する情報を収集して画像と文字列とを抽出するステップと、カテゴリ分類手段により前記Ｗｅｂページ収集手段が抽出した前記画像と前記文字列とを分類のために予め設定されたカテゴリ毎のインデックス情報に関連付けするステップと、画像インデックス情報記憶手段により前記画像に類似する類似画像を検索のためのインデックスとして前記画像と共に前記カテゴリ毎に分類して記憶するステップと、文字列インデックス情報記憶手段により前記画像インデックス情報記憶手段と連係し、前記カテゴリ毎に分類された前記文字列を前記類似画像に関連付けて検索のためのインデックスとして記憶するステップと、文字列画像検索手段により前記画像検索要求に含まれる文字列を手がかりに前記文字列インデックス情報記憶手段に問い合わせ、当該文字列インデックス情報記憶手段によって前記画像インデックス情報記憶手段から検索取得された当該文字列の意味に対応する複数の候補となる前記類似画像を前記クライアント情報端末へ提示するステップと、類似画像検索手段により前記クライアント情報端末に提示された前記類似画像のうちから選択された類似画像に応じて前記画像インデックス情報記憶手段に問い合わせて画像特徴量を取得し、また、当該選択された類似画像に応じて前記文字列インデックス情報記憶手段に問い合わせてカテゴリ情報を取得し、当該画像特徴量と当該カテゴリ情報を検索条件として前記画像インデックス情報記憶手段に記憶された画像を検索して取得し、再び前記クライアント情報端末へ提示するステップと、を有する。

本発明によれば、画像を含むＷｅｂページのテキスト情報や画像特徴量をもって画像インデックスに保存される情報を事前に分類することができ、画像検索の検索対象を限定することができ、画像検索に係る計算量を軽減可能な画像検索装置および方法、そのプログラム及び記録媒体を提供することができる。

本発明は、Ｗｅｂ（ネットワーク）にある画像（画像データ、画像情報）に対し、所定の文字列（文字列情報）について、その画像に関連付けられたテキスト情報を保存するデータベースに存在するか否かを判断して画像の検索を行う文字列画像検索プログラムと、及び、所定の画像から類似した画像を検索する類似画像検索プログラムと、を組み合わせて構成される画像検索装置および方法、そのプログラム及び記録媒体である。

図１には、本発明の画像検索装置の実施の形態に係る、全体構成を説明するための構成図を示す。

この図１には、画像検索装置１が示されており、この画像検索装置１にはインターネット（ｗｗｗ）などのネットワーク３およびネットワーク４と、このネットワーク４を介して接続しているクライアント（クライアント情報端末）２と、が接続している。

画像検索装置１は、その内部にネットワーク４と接続してクライアント２からの入力を受付するためのクライアント入力受付部１０と、クライアント２へ情報を出力するためのクライアント出力部９と、ネットワーク３に接続してＷｅｂページを収集するためのＷｅｂページ収集ロボット（Ｗｅｂページ収集手段）１１と、Ｗｅｂページ収集ロボット１１が収集したＷｅｂページを所定のカテゴリで分類するためのカテゴリ分類部（カテゴリ分類手段）１２と、このカテゴリ分類部１２で分類された情報を記憶するための画像インデックス（画像インデックス情報記憶手段）５と、および画像インデックス５に連係して動作する文字列インデックス（文字列インデックス情報記憶手段）６と、類似画像画像検索部（類似画像検索手段）７と、文字列画像検索部（文字列画像検索手段）８と、を備えている。

こうした構成による本発明の画像検索装置１を使って、クライアント２から発せられる画像検索要求に応じて画像検索が実行される。なお、クライアント２は画像検索を行うための検索要求や、あるいは検索した画像を取得して画像表示するための情報端末によって構成されている。また画像とは、画像を構成するための画像データならびに画像情報を含むものである。

クライアント２から発せられた画像検索要求は、ネットワーク４を介してクライアント入力受付部１０により受付される。このクライアント入力受付部１０により受付された画像検索要求は、文字列画像検索部８と類似画像画像検索部７を通して、文字列インデックス６と画像インデックス５に送られて、ここで、要求する画像に関して問い合わせを行う。

この問い合わせに対して、文字列インデックス６は要求された画像に関係する文字列に基づいて、その文字列の意味に関連する複数の候補となる類似画像を、連係して動作する画像インデックス５の中から検索して取得する。

取得された複数の類似画像は、クライアント出力部９を介してクライアント２に提示され、ここで、クライアント２を操作する図示しない操作者により選択され、この選択指示が入力される。選択された類似画像に基づいて類似画像画像検索部７は画像インデックス５の中から該当する画像を検索して取得する。類似画像検索部７にて取得された画像は、クライアント出力部９を介してクライアント２に提示される。

なお、画像インデックス５と文字列インデックス６にそれぞれ記憶されている文字列情報と画像情報（類似画像を含む）とは、インターネットなどのネットワーク３を介して収集された情報である。こうした情報収集はＷｅｂページ収集ロボット１１により実行される。Ｗｅｂページ収集ロボット１１による情報収集は、クライアント２からの画像要求の都度に行ってもよく、あるいは所定の周期で収集してもよい。

このようなＷｅｂページ収集ロボット１１により収集された情報は、カテゴリ分類部１２により予め設定されたカテゴリ毎に分類される。カテゴリ毎に分類された画像情報は、自身が分類されたカテゴリを示すインデックス情報（索引情報）が付与され、同様に文字列情報にも自身のカテゴリを示すインデックス情報が付与される。その後に、画像インデックス５と文字列インデックス６にそれぞれ整理されて記憶され保存される。

図２に、本発明の画像検索装置の実施の形態に係る、Ｗｅｂページ収集ロボット１１とカテゴリ分類部１２とが、文字列インデックス６および画像インデックス５へ記憶する情報を作成するまでのフローチャートを示す。

まず、ステップ１：Ｓ１にてインターネットなどのネットワーク３に存在するＷｅｂページから画像情報の収集が開始される。

次に、ステップ２：Ｓ２にて、インターネット上のＷｅｂページからＷｅｂページの情報を取得する。この情報取得において、Ｗｅｂページ収集ロボット１１はシード（seed）と呼ばれるＷｅｂページを収集するための種となるＵＲＩ（uniform resource identifier）を出発点としてＷｅｂページの情報を取得する。Ｗｅｂページ収集ロボット１１は、シードのＷｅｂページをＨＴＴＰ（Hypertext Transfer Protocol）などのプロトコルを利用し、ネットワーク３（インターネット）上のＷｅｂページからＨＴＭＬ形式で目的の情報を取得する。

次に、ステップ３：Ｓ３において、Ｗｅｂページから取得したＨＴＭＬを解析し、リンク情報を抽出する。リンク情報にはＵＲＩで記述される他のＨＴＭＬへのポインタや、画像へのリンクが含まれる。

次に、ステップ４：Ｓ４において、Ｗｅｂページから取得したＨＴＭＬの解析の結果で得られたリンクの中で、このリンク先が画像であるもののすべてを一時保存する。さらに、こうして一時保存された画像データの中から画像特徴量を抽出する。抽出された画像特徴量は画像インデックス５に保存される。画像インデックス５は、その画像のＵＲＩを主キーとして問い合わせを行うことができる。

次に、ステップ５：Ｓ５において、入力されたＨＴＭＬからテキスト情報を抽出し、次のステップ６：Ｓ６にて文字列インデックス６に保存する。なお、ここでいうテキスト情報とは、ＨＴＭＬから抜き出したテキストや、画像をリンクするタグの近傍のテキスト意味している。なお、本発明では保存する文字列情報を限定するものではない。

次に、ステップ７：Ｓ７において、抽出された画像特徴量とテキスト情報を基にＵＲＩが属するカテゴリを自動的に判断し文字列インデックス６のデータベースに保存する。カテゴリ分類を行う方法は様々だが、Naive Bayes、ｃ４．５、ＳＶＭなどの機械学習を用いた分類を行ってもよい。

また、その場合には学習器を作るためにカテゴリ情報を事前に付与したデータが必要となる。それ以外の場合では、ＥＭやK-Meansなどを利用したクラスタリングを行い、分類しても構わない。

また、カテゴリ情報を限定するものではないが、カテゴリ情報を事前に付与したデータを与える場合のカテゴリとしては（アイドル、風景、乗り物、食べ物）などに分類してもよい。また、分類できなかったものに関しては、“分類なし”というカテゴリを作る。

また、前述のＷｅｂ画像検索においては、例えば分類に関しては、画像をリンクする元のページを親ページとすると、その親ページの分類を行い、さらにそのＷｅｂページに属する画像は親ページが分類されたカテゴリとしてもよいし、画像の周辺テキストを利用して画像そのものをカテゴリ分類してもよい。

分類するための情報に、親ページで分類する場合には親ページに属する画像を入力してもよい。ここで自動的に分類されたカテゴリ情報を文字列インデックス６に保存する。

次に、ステップ８：Ｓ８において、収集するすべてのＷｅｂページに対してステップ２：Ｓ２〜ステップ７：Ｓ７までの処理が終了したか否かが判断される。ここで、処理がすべて終了したと判断されると（ＹＥＳ）、ステップ９：Ｓ９にてＷｅｂページのデータ収集に関する、すべての処理が終了する。一方、処理が終了していないと判断されると（ＮＯ）、再び処理はステップ２：Ｓ２へ戻り繰り返される。

図３には、本発明の画像検索装置の実施の形態に係る、文字列インデックス６に記憶し保存されるデータのデータベース１５の構成を説明するための説明図を示している。

この図３に示すデータベース１５は、画像ＵＲＩと、この画像ＵＲＩを主キーとして分類されたカテゴリ情報と、親ページのＵＲＩと、その他のテキスト情報（１）・・・（ｎ）が互いに対応付けされて整理され記憶されている。なお、その他のテキスト情報（１）・・・（ｎ）とは、Ｗｅｂページのタイトルやリンク近傍のテキストを意味している。

また、図４には、本発明の画像検索装置の実施の形態に係る、画像インデックス５に記憶し保存されるデータのデータベース１６の構成を説明するための説明図を示している。

この画像インデックス５に保存されたデータベース１６は、画像ＵＲＩと、この画像ＵＲＩを主キーとして関連付けされたカラーヒストグラム（Color Histogram）と、テクスチャ（Texture）と、ＦＥＡＴＵＲＥ（ｎ）などの種々の画像特徴量が保存されている。

次に示す図５は、本発明の画像検索装置の実施の形態に係る、画像検索方法のフローチャートである。この画像検索方法は、図１に示した画像検索装置１において実行される。

まず、ステップ１０：Ｓ１０において、画像検索が開始される。

次に、ステップ１１：Ｓ１１において、クライアント入力受付部１０より転送されてきたクライアント２からの画像要求に係る文字列を手がかりに、文字列インデックス６に問い合わせを行う。この問い合わせを受けて文字列インデックス６は画像インデックス５に記憶された画像を検索し、クライアント出力部９を通じてクライアント２に画像を提示する。なお、ここで検索されクライアント２に提示される画像は、文字列の意味に類似する類似画像であり、文字列の意味する内容に応じて複数個の類似画像がクライアント２へ提示される。

次に、ステップ１２：Ｓ１２において、クライアント出力部９より出力されクライアント２に提示された画像（類似画像）の中から、検索要求した所望の画像に最も近い類似画像をクライアント２を操作する図示しない操作者が選択入力する。

次に、ステップ１３：Ｓ１３において、提示された画像のＵＲＩから画像インデックス５に問い合わせて画像特徴量を取得する。また、提示された画像ＵＲＩから文字列インデックス６に問い合わせてカテゴリ情報を取得する。

次に、ステップ１４：Ｓ１４において、文字列インデックス６に問い合わせた結果、カテゴリ情報が“分類なし”（ＮＯ）ではなく、存在する（ＹＥＳ）カテゴリだった場合、は、次にステップ１６：Ｓ１６へ処理が進む。

このステップ１６：Ｓ１６では、類似画像画像検索部７による類似画像検索の検索条件にカテゴリ情報を加える。例えば、カテゴリ情報に“乗り物”とあった場合、乗り物というカテゴリの中を検索し、こうして画像インデックス５から検索した画像をクライアント２へ提示する。

一方、ステップ１５：Ｓ１５では、カテゴリ情報が空欄か、あるいは“分類なし”（ＮＯ）であった場合に特にカテゴリ情報を付与せずに画像インデックス５の中から類似画像検索を行い、クライアント出力部９よりクライアント２へ検索した画像を提示する。

次に、ステップ１７：Ｓ１７にてクライアント２への画像提示がすべて終了する。

以上説明した本発明の実施の形態によれば、画像検索要求に応じてＷｅｂページに含まれる画像を検索するための画像検索装置において、画像検索要求を発するためのクライアント情報端末と、Ｗｅｂページを構成する情報を収集して画像と文字列とを抽出するためのＷｅｂページ収集手段と、Ｗｅｂページ収集手段が抽出した画像と文字列とを分類のために予め設定されたカテゴリ毎のインデックス情報に関連付けするためのカテゴリ分類手段と、画像に類似する類似画像を検索のためのインデックスとして画像と共にカテゴリ毎に分類して記憶するための画像インデックス情報記憶手段と、画像インデックス情報記憶手段と連係し、カテゴリ毎に分類された文字列を類似画像に関連付けて検索のためのインデックスとして記憶するための文字列インデックス情報記憶手段と、画像検索要求に含まれる文字列に対応する類似画像を文字列インデックス情報記憶手段を介して画像インデックス情報記憶手段から検索し、クライアント情報端末へ類似画像を提示するための文字列画像検索手段と、クライアント情報端末に提示された類似画像のうちから選択された類似画像に応じて画像インデックス情報記憶手段に記憶された画像を検索して取得し、再びクライアント情報端末へ提示するための類似画像検索手段と、を備えた画像検索装置を提供することができる。

また、クライアント情報端末にて選択された類似画像と、文字列インデックス情報記憶手段に記憶されたカテゴリ情報と、を類似画像検索手段の検索条件に含む画像検索装置を提供することができる。

また、本発明の実施の形態による画像検索装置は、インターネットのＷｅｂサーバ上で動作する画像検索プログラムが、ハードディスクなどの記録媒体に保存され、実行されることを想定している。よって、クライアント側はネットワークを介してＷｅｂプラウザを利用して画像検索装置１にアクセスし、クライアント入力受付部１０及びクライアント出力部９を通じて画像を検索する。この画像検索方法は、ネットワーク３等に接続しない独立のスタンドアローン（stand alone）なコンピュータシステムにも適用することが可能である。

また、上記本発明の実施の形態における画像検索装置では、この画像検索装置にて実行される情報処理及び構成要素の動作をコンピュータプログラムに置き換えて構築し、例えばＣＤやＤＶＤ、ＦＤなどの記録媒体に記録してもよい。これらの記録媒体をコンピュータシステムに組み込んだり、または記録媒体に記録されたプログラムを通信回線を介してコンピュータシステムにダウンロードしたり、または記録媒体からインストールし、該プログラムでコンピュータシステムを作動させることにより、画像検索装置、および画像検索方法の実現手段として機能させることができるのは勿論であり、このような記録媒体を用いることにより、その流通性を高めることができるものである。

このように、以上説明した本発明の実施の形態によれば、画像を含むＷｅｂページのテキスト情報や画像特徴量をもって画像インデックスに保存される情報を事前に分類することができ、画像検索の検索対象を限定することができ、画像検索に係る計算量を軽減可能な画像検索装置および方法、そのプログラム及び記録媒体を提供することができる。

本発明の画像検索装置の実施の形態に係る、全体構成を説明するための構成図を示す。 本発明の画像検索装置の実施の形態に係る、Ｗｅｂページ収集ロボット１１とカテゴリ分類部１２とが、文字列インデックス６および画像インデックス５へ記憶する情報を作成するまでのフローチャートを示す。 本発明の画像検索装置の実施の形態に係る、文字列インデックス６に記憶し保存されるデータのデータベース１５の構成を説明するための説明図を示す。 本発明の画像検索装置の実施の形態に係る、画像インデックス５に記憶し保存されるデータのデータベース１６の構成を説明するための説明図を示す。 本発明の画像検索装置の実施の形態に係る、画像検索方法のフローチャートを示す。 従来技術のシステム構成を示す。 従来技術のＷｅｂページ収集ロボットが画像インデックスを作成するためのフローチャートを示す。

符号の説明

１ 画像検索装置
２ クライアント
３ ネットワーク（インターネット）
４ ネットワーク
５ 画像インデックス
６ 文字列インデックス
７ 類似画像画像検索部
８ 文字列画像検索部
９ クライアント出力部
１０ クライアント入力受付部
１１ Ｗｅｂページ収集ロボット（Ｗｅｂページ収集手段）
１２ カテゴリ分類部（カテゴリ分類手段）

Claims (4)

1. 画像検索要求に応じてＷｅｂページに含まれる画像を検索するための画像検索装置において、
   前記画像検索要求を発するためのクライアント情報端末と、
   前記Ｗｅｂページを構成する情報を収集して画像と文字列とを抽出するためのＷｅｂページ収集手段と、
   前記Ｗｅｂページ収集手段が抽出した前記画像と前記文字列とを分類のために予め設定されたカテゴリ毎のインデックス情報に関連付けするためのカテゴリ分類手段と、
   前記画像に類似する類似画像を検索のためのインデックスとして前記画像と共に前記カテゴリ毎に分類して記憶するための画像インデックス情報記憶手段と、
   前記画像インデックス情報記憶手段と連係し、前記カテゴリ毎に分類された前記文字列を前記類似画像に関連付けて検索のためのインデックスとして記憶するための文字列インデックス情報記憶手段と、
   前記画像検索要求に含まれる文字列を手がかりに前記文字列インデックス情報記憶手段に問い合わせ、当該文字列インデックス情報記憶手段によって前記画像インデックス情報記憶手段から検索取得された当該文字列の意味に対応する複数の候補となる前記類似画像を前記クライアント情報端末へ提示するための文字列画像検索手段と、
   前記クライアント情報端末に提示された前記類似画像のうちから選択された類似画像に応じて前記画像インデックス情報記憶手段に問い合わせて画像特徴量を取得し、また、当該選択された類似画像に応じて前記文字列インデックス情報記憶手段に問い合わせてカテゴリ情報を取得し、当該画像特徴量と当該カテゴリ情報を検索条件として前記画像インデックス情報記憶手段に記憶された画像を検索して取得し、再び前記クライアント情報端末へ提示するための類似画像検索手段と、
   を備えることを特徴とする画像検索装置。
   
2. 画像検索要求に応じてＷｅｂページに含まれる画像を検索するための画像検索装置で処理する画像検索方法において、
   前記画像検索装置により、
   クライアント情報端末により前記画像検索要求を発するステップと、
   Ｗｅｂページ収集手段により前記Ｗｅｂページを構成する情報を収集して画像と文字列とを抽出するステップと、
   カテゴリ分類手段により前記Ｗｅｂページ収集手段が抽出した前記画像と前記文字列とを分類のために予め設定されたカテゴリ毎のインデックス情報に関連付けするステップと、
   画像インデックス情報記憶手段により前記画像に類似する類似画像を検索のためのインデックスとして前記画像と共に前記カテゴリ毎に分類して記憶するステップと、
   文字列インデックス情報記憶手段により前記画像インデックス情報記憶手段と連係し、前記カテゴリ毎に分類された前記文字列を前記類似画像に関連付けて検索のためのインデックスとして記憶するステップと、
   文字列画像検索手段により前記画像検索要求に含まれる文字列を手がかりに前記文字列インデックス情報記憶手段に問い合わせ、当該文字列インデックス情報記憶手段によって前記画像インデックス情報記憶手段から検索取得された当該文字列の意味に対応する複数の候補となる前記類似画像を前記クライアント情報端末へ提示するステップと、
   類似画像検索手段により前記クライアント情報端末に提示された前記類似画像のうちから選択された類似画像に応じて前記画像インデックス情報記憶手段に問い合わせて画像特徴量を取得し、また、当該選択された類似画像に応じて前記文字列インデックス情報記憶手段に問い合わせてカテゴリ情報を取得し、当該画像特徴量と当該カテゴリ情報を検索条件として前記画像インデックス情報記憶手段に記憶された画像を検索して取得し、再び前記クライアント情報端末へ提示するステップと、
   を有することを特徴とする画像検索方法。
   
3. 画像検索要求に応じてＷｅｂページに含まれる画像を検索するための画像検索装置で実行させるための画像検索プログラムにおいて、
   前記画像検索装置に、
   クライアント情報端末により前記画像検索要求を発するステップと、
   Ｗｅｂページ収集手段により前記Ｗｅｂページを構成する情報を収集して画像と文字列とを抽出するステップと、
   カテゴリ分類手段により前記Ｗｅｂページ収集手段が抽出した前記画像と前記文字列とを分類のために予め設定されたカテゴリ毎のインデックス情報に関連付けするステップと、
   画像インデックス情報記憶手段により前記画像に類似する類似画像を検索のためのインデックスとして前記画像と共に前記カテゴリ毎に分類して記憶するステップと、
   文字列インデックス情報記憶手段により前記画像インデックス情報記憶手段と連係し、前記カテゴリ毎に分類された前記文字列を前記類似画像に関連付けて検索のためのインデックスとして記憶するステップと、
   文字列画像検索手段により前記画像検索要求に含まれる文字列を手がかりに前記文字列インデックス情報記憶手段に問い合わせ、当該文字列インデックス情報記憶手段によって前記画像インデックス情報記憶手段から検索取得された当該文字列の意味に対応する複数の候補となる前記類似画像を前記クライアント情報端末へ提示するステップと、
   類似画像検索手段により前記クライアント情報端末に提示された前記類似画像のうちから選択された類似画像に応じて前記画像インデックス情報記憶手段に問い合わせて画像特徴量を取得し、また、当該選択された類似画像に応じて前記文字列インデックス情報記憶手段に問い合わせてカテゴリ情報を取得し、当該画像特徴量と当該カテゴリ情報を検索条件として前記画像インデックス情報記憶手段に記憶された画像を検索して取得し、再び前記クライアント情報端末へ提示するステップと、
   を実行させることを特徴とする画像検索プログラム。
   
4. 画像検索要求に応じてＷｅｂページに含まれる画像を検索するための画像検索装置で実行させるための画像検索プログラムを記録した記録媒体において、
   前記画像検索装置に、
   クライアント情報端末により前記画像検索要求を発するステップと、
   Ｗｅｂページ収集手段により前記Ｗｅｂページを構成する情報を収集して画像と文字列とを抽出するステップと、
   カテゴリ分類手段により前記Ｗｅｂページ収集手段が抽出した前記画像と前記文字列とを分類のために予め設定されたカテゴリ毎のインデックス情報に関連付けするステップと、
   画像インデックス情報記憶手段により前記画像に類似する類似画像を検索のためのインデックスとして前記画像と共に前記カテゴリ毎に分類して記憶するステップと、
   文字列インデックス情報記憶手段により前記画像インデックス情報記憶手段と連係し、前記カテゴリ毎に分類された前記文字列を前記類似画像に関連付けて検索のためのインデックスとして記憶するステップと、
   文字列画像検索手段により前記画像検索要求に含まれる文字列を手がかりに前記文字列インデックス情報記憶手段に問い合わせ、当該文字列インデックス情報記憶手段によって前記画像インデックス情報記憶手段から検索取得された当該文字列の意味に対応する複数の候補となる前記類似画像を前記クライアント情報端末へ提示するステップと、
   類似画像検索手段により前記クライアント情報端末に提示された前記類似画像のうちから選択された類似画像に応じて前記画像インデックス情報記憶手段に問い合わせて画像特徴量を取得し、また、当該選択された類似画像に応じて前記文字列インデックス情報記憶手段に問い合わせてカテゴリ情報を取得し、当該画像特徴量と当該カテゴリ情報を検索条件として前記画像インデックス情報記憶手段に記憶された画像を検索して取得し、再び前記クライアント情報端末へ提示するステップと、
   を実行させることを特徴とする画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images