JP3781696B2

JP3781696B2 - イメージ検索方法及び検索装置

Info

Publication number: JP3781696B2
Application number: JP2002085130A
Authority: JP
Inventors: リー，ジン・スー; キム，ヒェオン・ジュン
Original assignee: エルジー電子株式会社
Priority date: 2001-03-26
Filing date: 2002-03-26
Publication date: 2006-05-31
Anticipated expiration: 2022-03-26
Also published as: US20020168117A1; KR100451649B1; CN101814087A; EP1258816A3; CN1378159A; JP2002366575A; KR20020075600A; EP1258816A2

Description

【０００１】
【発明の属する技術分野】
本発明はコンテンツベースのマルチメディア検索システムに係り、特にコンテンツベースのイメージ検索システムにおいて異種の照会（質疑ともいう）方法を順次に適用してイメージ検索を遂行することによって効率的にコンテンツベースでのイメージ検索を可能にするイメージ検索方法とその装置に関する。
【０００２】
【従来の技術】
コンテンツベースのマルチメディア検索は、最近になってキーワード検索の制限性を克服して人間に自然な検索方法を提供するという側面で非常に重要視されて多くの研究が報告されている。特に、イメージ検索はインターネットの使用が増加することによって非常に重要になっており、デジタルライブラリー等で非常に有効に用いられている。コンテンツベースのイメージ検索とはカラー（ｃｏｌｏｒ）やテクスチャ（ｔｅｘｔｕｒｅ）等のようなイメージの特徴情報を分析して人間の目でマルチメディアのコンテンツを見たときに、似たイメージを探し出すことを意味する。検索性能を向上させるために使用する多様な特徴情報が研究及び報告されている。さらには、コンテンツベースのイメージ検索機能を備えた商用ソフトウェアパッケージが開発され販売されるに至っている。
【０００３】
大部分このようなイメージ検索器は、イメージを検索するために照会イメージをユーザーがまず選択するが、検索器は、探そうとするイメージが含まれたイメージデータベースに属するイメージとユーザーが選択した照会イメージをイメージの特徴情報を用いて相互比較することによって最も似たイメージをユーザーに検索結果として示す。
【０００４】
しかし、イメージ毎に似ていることを示すための重要な特徴情報がすべて異なる場合があるために検索結果がユーザーが満足する程度に高くないことが現実である。
【０００５】
このような制限を克服するためにユーザーが１次検索結果を用いて探そうとするイメージと似たイメージに対する情報をシステムにフィードバックすることにより、検索システムがそのイメージを検索するのにさらに重要な特徴情報が何かを自動的に計算できるようにする方法がある。この方法によるイメージ検索性能は相当に改善されたことが報告を通して分かる。
【０００６】
前記説明した技術は、すべて特定イメージを検索するためにそのイメージと似た照会イメージをまずユーザーが選択しなければならない。照会イメージを選択する方法は一般的にイメージを無作為に羅列してその羅列されたイメージからユーザーが照会イメージを選択する。この場合、無作為に出てくるイメージから適切な照会イメージを探すことは容易ではないために、適切な照会イメージを選択するために何度も検索を行わなければならない。
【０００７】
このような問題点を解決するために照会イメージを選択する代わりに照会イメージをユーザーが直接作成して検索をする方法が紹介されている。すなわち、ユーザーが簡単なイメージ作成ツールを用いて探そうとするイメージの特徴情報を反映するイメージを作成した後、ユーザーが作成したそのイメージを照会イメージとして検索を遂行することである。
【０００８】
しかしこの場合ユーザーが探そうとするイメージの特徴情報を十分に反映する程度に詳しい照会イメージを作成するのは困難であるので、簡単な照会イメージを作成するしかなく、このような照会イメージを検索するために用いられることができるイメージの特徴情報も限定される。例えばテクスチャ情報等はユーザーが作成して表現するのは難しいために、このような特徴情報はユーザーが作成した照会イメージに反映することが難しく、用いるのもむずかしい。したがってこのような場合には結局制限された特徴情報のみを用いて検索するようになるために検索性能があまり高くないという短所がある。
【０００９】
一方、ユーザーがイメージを探すためのやさしい照会方法としてキーワードを利用した方法がある。キーワードを利用した検索方法はイメージ毎にそのイメージの特徴をテキスト（キーワード）で予め描写しておき、ユーザーが探そうとするイメージを連想或いは表現するキーワードを入力するとそのキーワードにマッチングするキーワードを持つイメージを探して検索結果として示す方法である。
【００１０】
しかしキーワード検索の場合にはユーザーが考えるキーワードが探そうとするイメージのキーワードとして書込まれているときにのみ適切な検索性能を期待できるのでキーワードのみで所望するイメージを探すことは非常にむずかしい。すなわち、同じ内容のマルチメディアデータを探そうとしても人ごとにそのマルチメディアデータを連想或いは表現する単語、文章、描写方法などが異なるのが一般的で、キーワードのみで所望するイメージを探すことは非常に難しい。また、各国別にキーワードで表現する言語が異なるので、多重言語を支援しなければキーワード検索はその制限が非常に大きくて特別の応用範囲を除外するとその実用性が落ちる。
【００１１】
【発明が解決しようとする課題】
本発明は前記したような問題点を解決するためのものであって、既存のコンテンツベースのイメージ検索において、照会イメージをユーザーが直接作成して検索をしたり、キーワード検索をする場合に発生する問題を改善して、ユーザーがさらにやさしく検索を行うことができるようにしたイメージ検索方法とその装置を提供することを目的にする。
【００１２】
本発明の他の目的はコンテンツベースマルチメディア検索において特に、インターネットベースのビデオ検索システムにおいて互いに違う照会検索モジュールを統合することができるベースを提供することである。
【００１３】
【課題を解決するための手段】
前記のような目的を達成するための本発明によるイメージ検索システムは、照会イメージ、ユーザーが作成した照会イメージ、キーワードのような異種照会を階層的であって順序的に組合せて適用することによってイメージ検索を遂行することを特徴とする。
【００１４】
本発明によるイメージ検索システムにおいて、照会の方法にはユーザーが指定するスケッチを利用する方法や、テキスト情報を利用する方法、或いは前記スケッチとテキスト情報を組合せる方法を適用することができる。
【００１５】
本発明の一実施態様によるイメージ検索システムは、ユーザーが照会イメージを作成してこの作成されたイメージを照会イメージとしてまずラフな検索を遂行して、ユーザが作成した照会イメージを利用したラフな検索結果から少なくとも一つ以上の照会イメージを選択して再検索を遂行することを特徴とする。
【００１６】
本発明の他の実施態様によるイメージ検索システムは、キーワードを利用してまずラフな検索を遂行して、キーワードを利用したラフな検索結果からユーザーが少なくとも一つ以上の照会イメージを選択して再検索を遂行することを特徴とする。
【００１７】
本発明のさらに他の実施態様によるイメージ検索システムは、キーワードを利用してラフな検索を遂行して、前記キーワードを利用したラフな検索結果に限ってユーザーが作成した照会イメージを用いて中間検索を遂行して、前記中間検索結果からユーザーが少なくとも一つ以上の照会イメージを選択して再検索を遂行することを特徴とする。
【００１８】
本発明のさらに他の実施態様によるイメージ検索システムは、ユーザーが作成した照会イメージを利用してラフな検索を遂行して、前記ユーザが作成した照会イメージを利用したラフな検索結果に限ってキーワードを用いて中間検索を遂行して、前記中間検索結果からユーザーが少なくとも一つ以上の照会イメージを選択して再検索を遂行することを特徴とする。
【００１９】
本発明のさらに他の実施態様によるイメージ検索システムは、ユーザーが作成した照会イメージと、探そうとするイメージを記述するテキスト情報（例：キーワード）を用いてラフな検索を遂行して、前記ラフな検索結果からユーザーが少なくとも一つ以上の照会イメージを選択して再検索を遂行することを特徴とする。
【００２０】
【発明の実施の形態】
以下、前記したようになされた本発明のイメージ検索システムを添付された図面を参照してさらに詳細に説明する。
【００２１】
本発明の特徴で説明したように異種の情報を用いる相異なる方式の照会及び検索を組合せるためには、いかなる順序で、いかなる方法で検索結果を組合せて用いるのかが非常に重要である。すなわち、このような組合せ方法が効率的でない場合所望する性能を得られない場合もあるためである。
【００２２】
本発明で提供するイメージ検索方法は、照会の順序によって大体３種に分類した。最初の場合は、まずスケッチを用いたユーザーが作成したイメージを利用して検索をした後、一般的な照会イメージを利用した検索を行う方法であって、二つ目はテキスト情報（例；キーワード）を利用して検索をした後、照会イメージによる検索を行う方法であって、３番目はユーザーが作成した照会イメージを用いてラフな検索を行うことと、キーワードのようなテキスト情報を用いてラフな検索を行うことを組合せて検索した後、照会イメージによる検索を行う方法である。
【００２３】
このような本発明のイメージ検索方法を各場合別にさらに詳細に説明する。
１．スケッチを利用した照会後、照会イメージを利用した照会による検索
この方法は、ユーザーが作成した照会イメージを利用して検索を遂行する段階と、そのユーザが作成した照会イメージを利用した検索結果からユーザーが類似すると思うイメージを一つ以上選択する段階と、前記選択された一つ以上のイメージを照会イメージに指定して再検索を遂行する段階とを備え、次のようにイメージ検索を遂行する。
【００２４】
ユーザーが照会イメージをまず作成した後、その作成されたイメージを照会イメージとして１次検索（ラフな検索）を遂行する。ユーザーが照会イメージを作成することができるユーザーインタフェースの例を図１に示した。すなわち、イメージボード１をＮ×Ｍ個のブロック２に分割して各ブロックを選択されたカラーで埋めることによってカラーを特徴情報とする照会イメージを作成することができる。
【００２５】
図２は、照会イメージ作成のための他の例を示す。ユーザーはユーザーが指定した太さとカラーを持つペンを利用してイメージボード３に図形４等のようなイメージをスケッチをできる。または予め指定された円や、四角形のような基本図形を描いてさらにスケッチを容易にできる。
【００２６】
このようなツールを用いて作成された照会イメージを利用して検索を遂行した後に、１次検索（ラフな検索）結果（検索システムからユーザが作成した照会イメージを利用してイメージを検索してマッチングしたイメージをインタフェース窓に検索結果として表示したもの）からユーザーが探そうとするイメージと似ていると考えられるイメージを選択してフィードバックをすると、その選択されたイメージを照会イメージとする２次検索を遂行する。すなわち、２次検索からはユーザーがフィードバックした照会イメージを利用した照会を行う。ユーザーはこのように探そうとするイメージが検索される時まで照会イメージを利用した照会を通して検索をするが、場合によってユーザーは前記ラフな検索結果から複数の照会イメージを選択する場合もある。このように複数個の照会イメージが選択された場合には次のような検索方法を用いることができる。
【００２７】
１．１特徴情報加重値を用いて一つの照会イメージを用いる検索
この方法は、ユーザーがフィードバックをしたイメージから一つのイメージを照会イメージとして用いて再検索する方法である。
【００２８】
ユーザーが作成したイメージを照会イメージとしてラフな検索した結果からユーザーが類似であると選択したイメージすなわち、複数の選択されたイメージは、ユーザーが判断した時ユーザーが探そうとするイメージと類似するイメージと言える。このような情報を用いて検索システムは自動的に検索に用いられる特徴情報間の加重値を設定することができる。ここで特徴情報とはイメージを描写する情報の中でカラーヒストグラムのように下位レベル特徴情報のみを意味すると定義する。言い換えれば、キーワードのような上位レベル情報は本発明に言及する特徴情報に属しないし、テキスト情報という別途の名前で指定して用いる。
【００２９】
例えばカラーヒストグラム（ＣＯＬＯＲＨＩＳＴＯＧＲＡＭ）とテクスチャヒストグラム（ＴＥＸＴＵＲＥＨＩＳＴＯＧＲＡＭ）の特徴情報を用いると仮定する。選択されたイメージ間の類似度を各々の特徴情報のみを用いて計算した時類似度が大きく出る特徴情報に相対的に高い加重値を与えることができる。相対的に高い加重値を与えるということは検索時のその特徴情報を用いて出た結果にそれだけ多くの比重を置いて全体の類似度を計算することを意味する。式１に前記加重値を計算する例を示した。
【００３０】
【数１】

（ここで、ｎは参照対象数、ｍは類似度測定に用いられた特徴素数、Ｗｅｉｇhｔ（ｋ）はｋ番目の特徴素の加重値、Ｓｉｍ（ｉ、ｊ、ｋ）はｋ番目の特徴素を用いた時ｉ番目参照対象とｊ番目参照対象の類似度、Ｃｏｎｔ（ｋ）はｋ番目の特徴素の寄与度）
【００３１】
前記類似度Ｓｉｍ（ｉ、ｊ、ｋ）の計算は、二つの対象客体間でなされる。したがってイメージ検索の場合、照会として用いられたイメージと検索対象イメージを順に選択して照会イメージと対象イメージ間の類似度を計算することによって類似するイメージを探す。ここでｉ番目参照対象とｊ番目参照対象の類似度というのはこのように二つのイメージｉ、ｊ間の類似度を意味する。
【００３２】
一般的に類似度は、二つのイメージが含んでいる特徴素値を比較してその差を求めることによってなされる。特徴素とはカラーヒストグラムのような情報をいう。一つのイメージが含んでいる特徴素は複数で有り得る。例えばカラーヒストグラムとテクスチャヒストグラムを同時に含んでいて、これらを各々利用して類似度を計算した後、その合計で全体の類似度を求めるようにしてもよい。このように一つのイメージがＮ個の特徴素を含んでいる場合、各々の特徴素のみを利用して類似度を順に計算した後、これを合せて最終的な類似度を計算する。ｋ番目の特徴素を用いて類似度を計算するという意味はこのようにＮ個の特徴素中の一つであるｋ番目の特徴素を用いてイメージｉとｊの類似度を求めるという意味である。
【００３３】
一つの特徴素を用いて類似度を計算する方法は、特徴素の種類によって異なる場合がある。しかし一般的な実施の例として類似度は“最大距離−測定された距離”で求められ、測定された距離は二つ特徴素値の絶対値の差の合計で求めることができる。例えばカラーヒストグラムはイメージに存在するピクセルのカラー分布を示すが、このような分布は一定個数の数値で表現される。二つのヒストグラム間の距離は同じ位置にある数値の差の絶対値を取った後、これらの合計で表現できる。最大距離とは与えられた特徴素の性格上可能な最も大きな距離値を意味するが一般的にヒストグラムは最大距離が‘１’である。
【００３４】
前記式１のように加重値が計算されるとこの加重値を適用して実際検索を行うが、検索をするための照会イメージは選択された複数のイメージから一つに指定して行う。複数のイメージから一つの照会イメージを選択する方法は、選択されたイメージから最も先に選択されたイメージに指定したり、ユーザーが初期作成した照会イメージと類似度を比較して最も高い類似度を持つイメージを指定する方法を用いることができる。加重値を反映した二イメージ間の類似度計算は式２を用いる。
【００３５】
【数２】

（ここで、ｎは特徴情報数、ｗｉは特徴情報ｉの加重値、Ｓｉｍｉは特徴情報ｉを用いた時の類似度）
【００３６】
１．２特徴情報加重値を用いて複数の照会イメージを用いる検索
この方法は、ユーザーがフィードバックをした照会イメージから複数のイメージを照会イメージとして再検索する方法である。
【００３７】
前述したようにユーザーが複数のイメージを選択した場合、前述した加重値設定方法と同一の方法で特徴情報の加重値を設定する。このとき、設定された加重値を用いてイメージを検索するために複数の選択されたイメージをすべて照会イメージとして用いる。前述した一つの照会イメージを用いる検索では対象イメージと照会イメージ間の類似度を計算することによって検索されるのに対して、このように複数の選択されたイメージをすべて照会イメージとして用いる検索の場合には対象イメージと選択された複数のイメージを順に一つずつ比較して類似度を計算した後、計算された類似度をすべて合せた値を最終的な類似度に決定する。この場合における類似度の計算は式３のようである。
【００３８】
【数３】

（ここで、ｎは照会イメージ数、ｍは類似度測定に用いられた特徴素数、Ｓｉｍ（ｊ、ｋ）はｋ番目の特徴素を用いたときの参照対象とｊ番目照会イメージ間の類似度）
【００３９】
このようにユーザが作成した照会イメージを利用したラフな検索結果から一つまたは一つ以上の照会イメージを選択して特徴情報加重値を用いて再検索を遂行する方法１．１、１．２を図３にフローチャートで示した。
【００４０】
図３に示したように、照会イメージをユーザーが図１や図２のようなイメージ作成ツールを利用して作成して、この作成された照会イメージで検索を遂行してその検索結果からユーザーが類似であると考えられるイメージを一つ以上選択してフィードバックをする。そうすると選択されたイメージを用いてその特徴情報加重値を抽出して、選択されたイメージから次の照会に用いるイメージを指定して指定された照会イメージと抽出された加重値とを用いて再検索を遂行することによって探そうとするイメージを求めることができる。
【００４１】
１．３テキスト情報と特徴情報を選択的に用いる検索
前述した２種の方法１．１、１．２は、すべて再検索時にカラーヒストグラムのような特徴情報のみを用いて検索を遂行する例である。しかし一般的にイメージを記述する情報にはキーワードのようなテキスト情報と、カラーヒストグラムのような特徴情報を一緒に含んでいる。その場合、特徴情報のみを用いるよりは各照会時ごとにテキスト情報がより検索に適切であるのか、または特徴情報を用いるのがより適切であるのかを決定して検索することが効率的である。現在の照会でこのような決定をするためにキーワード包含条件（ＩｎｃｌｕｄｉｎｇＲａｔｅ）を利用することができる。
【００４２】
図４は、テキスト情報と特徴情報を選択的に用いる検索の一例を示す。
まず、照会イメージをユーザーが作成して、この作成された照会イメージでラフな検索を遂行した後、検索結果からユーザーが探そうとするイメージと類似するイメージを一つ以上選択する。以後にはキーワードを用いた再検索や特徴情報を用いた再検索の中でいずれか一つを選択的に用いる。すなわち、選択された類似イメージ間に共通に記述されたテキスト情報、すなわちキーワードがある場合その照会は共通に記述されたキーワードを用いて検索する。これはユーザーの検索の観点がそのキーワードに該当することを意味する。例えば特定キーワードが選択されたイメージ中から７０％以上（特定しきい値Ｔｈ以上）共通に含まれている場合そのキーワードを用いて再検索をするように指定することができる。
【００４３】
ここで７０％は、特定キーワードが共通に含まれた程度を示すもので、キーワードＫが共通に含まれた程度、ＩｎｃｌｕｄｉｎｇＲａｔｅ（Ｋ）＝（ｎ／ｍ）×１００（％）によって計算された。ここでｎはユーザーによって選択されたイメージ中からキーワードＫを含むイメージの数、ｍはユーザーによって選択されたイメージの数である。
【００４４】
したがって、共通に含まれたキーワードが複数の場合には複数のキーワードを用いて検索することができる。もしも７０％以上共通に含まれたキーワードがない場合には特徴情報のみを用いて再検索を遂行するが、その場合、前述した方法（式１及び式２参照）で加重値を計算して、選択されたイメージから一つまたはすべてを照会イメージと指定して検索を遂行する。すなわち、ＩｎｃｌｕｄｉｎｇＲａｔｅ（Ｋ）＞Ｔｈの条件を満足するキーワードＫが存在しなければ選択されたイメージを用いて特徴情報に対する加重値を抽出して、選択されたイメージから次の照会イメージを指定してその指定されたイメージと前記抽出された加重値を用いて再検索を遂行することによって探そうとするイメージを求める。
【００４５】
前記したようにユーザーが選択した類似イメージの分析結果によってキーワードまたは特徴情報の中で一つを選択的に用いて再検索する例を説明したが、この概念を拡張すると、キーワードと特徴情報を組合せて再検索を行うことができる。このようにキーワードと特徴情報を組合せて検索する場合は次のように３種の場合を考慮することができる。
【００４６】
１．３．１キワード−特徴情報検索
前記キーワードが共通に含まれた程度、ＩｎｃｌｕｄｉｎｇＲａｔｅが指定されたしきい値Ｔｈ１より大きな値を持つキーワードが存在する場合次のような方法でキーワードと特徴情報を組合せる検索を行う。
【００４７】
すなわち、そのキーワードのみを用いて検索した後、マッチング点数が一定しきい値Ｔｈ１以上になるイメージのみを結果候補に決定して、前記決定された候補を対象に、作成された照会イメージとの類似度を特徴情報を用いて計算して、前記計算された類似度が高い順序で検索結果を抽出することである。
【００４８】
１．３．２特徴情報−キーワード検索
前記キーワードが共通に含まれた程度、ＩｎｃｌｕｄｉｎｇＲａｔｅが指定されたしきい値Ｔｈ１より大きな値を持つキーワードがない場合には次のような方法でキーワードと特徴情報を組合せる検索を行う。
【００４９】
すなわち、指定された照会イメージとの類似度を特徴情報を利用して計算して、前記計算された類似度が一定値以上になるイメージのみを結果の候補と決定して、その決定された候補を対象にして、ＩｎｃｌｕｄｉｎｇＲａｔｅがしきい値Ｔｈ１を越えないがそれより低いしきい値Ｔｈ２（Ｔｈ２＜Ｔｈ１）より高いＩｎｃｌｕｄｉｎｇＲａｔｅを持つキーワードが存在する場合、そのキーワードを用いて検索してマッチング点数が高い順に検索結果を抽出する。
【００５０】
このようにＩｎｃｌｕｄｉｎｇＲａｔｅによってキーワード−特徴情報または特徴情報−キーワード検索の順に再検索する方法を図５に示した。
【００５１】
図５を参照して前記検索方法１．３．１、１．３．２をさらに詳しく説明する。
【００５２】
まず、ユーザーが照会イメージを作成して作成されたイメージを照会イメージで検索して、検索結果からユーザーが類似であると考えるイメージを一つ以上選択する。そうするとユーザーが選択したイメージ中に含まれたキーワードからＩｎｃｌｕｄｉｎｇＲａｔｅ（Ｋ）＞Ｔｈ１の条件を満足するキーワードがあるか否かを検査して選択されたイメージから照会イメージを指定する。そしてＩｎｃｌｕｄｉｎｇＲａｔｅ（Ｋ）＞Ｔｈ１の条件を満足するキーワードＫが一つ以上存在しているか否かを判断する。
【００５３】
その判断結果、前記条件を満足するキーワードＫが一つ以上存在する場合には選択されたイメージを用いて特徴情報に対する加重値を抽出してキーワードＫを用いて再検索を遂行する。マッチング点数がしきい値Ｔ１以上のイメージを結果候補に指定した後に、その結果候補を対象に前記指定された照会イメージとの類似度を計算して、類似度が高い順に結果を抽出することによって探そうとするイメージを求める。しかし、判断結果が前記条件を満足するキーワードＫがない場合には選択されたイメージを用いて特徴情報に対する加重値を抽出して指定された照会イメージと前記抽出された加重値を用いて類似度を計算した後、その類似度がしきい値以上のイメージを結果候補に指定して、ＩｎｃｌｕｄｉｎｇＲａｔｅ（Ｋ）＞Ｔｈ２（Ｔｈ２＜Ｔｈ１）を満足するキーワードＫを用いて前記指定された結果候補を対象にマッチング点数を計算して、そのマッチング点数が高い順に結果を抽出することによって探そうとするイメージを求める。
【００５４】
１．３．３特徴情報／キーワード組合せ検索
この方法は、特徴情報とキーワードを組合せて検索する方法であって、選択された複数の類似イメージを用いて特徴情報の加重値を抽出し、またキーワードの加重値を前記ＩｎｃｌｕｄｉｎｇＲａｔｅ×αに指定して、全体の類似度を、加重値を反映した特徴情報を用いた時の類似度＋キーワード加重値×キーワードマッチング点数で計算した後に、この計算された全体の類似度値を利用して検索結果を抽出する方法である。
【００５５】
このように特徴情報とキーワードを常に加重値を用いて組合せて再検索する方法を図６に示した。
【００５６】
図６を参照してこの検索方法１．３．３をさらに詳しく説明する。
まず、ユーザーが作成した照会イメージで検索を遂行してその検索結果からユーザーが類似イメージを一つ以上選択する。そうすると選択されたイメージを用いて加重値を抽出し、またその選択されたイメージを用いてＩｎｃｌｕｄｉｎｇＲａｔｅ（Ｋ）＞Ｔｈ１を満足するキーワードを抽出し、この抽出されたＩｎｃｌｕｄｉｎｇＲａｔｅ（Ｋ）を用いてキーワードＫの加重値を抽出する。そして選択されたイメージから次の照会イメージを指定してこの指定された照会イメージと抽出された加重値を用いて類似度を計算し、キーワードＫのマッチング点数を計算する。次にその類似度とマッチング点数をキーワードＫの加重値を反映して合算することによって全体の類似度を求める。
【００５７】
すなわち、全体の類似度＝加重値を反映した特徴情報を用いた時の類似度＋キーワード加重値×キーワードマッチング点数で全体の類似度を計算する。このように計算された全体の類似度値を利用して検索を遂行して全体の類似度が高い順に結果を抽出することによって探そうとするイメージを求める。
【００５８】
これまで説明したようにユーザーが選択した類似イメージを用いてテキスト情報と下位レベルの特徴情報を自動的に選択して検索したりまたは組合せて検索する方法１．３、１．３．１、１．３．２、１．３．３はスケッチを用いたイメージ検索を既存イメージ検索に拡張して適用する場合もある。
【００５９】
例えば既存の特徴イメージを照会イメージとして選択して類似イメージを検索する方法に適用する。
【００６０】
この方法に適用する場合、探そうとするイメージをユーザーが探す際に、中間検索結果からユーザーが類似するイメージを選択する。検索システムはその選択された類似イメージを前述した方法と同じ方法（ＩｎｃｌｕｄｉｎｇＲａｔｅ（Ｋ）条件などを利用した検索順序と照会要素などの選択方法）を用いて、次の検索には下位レベルの特徴情報を用いるか、またはテキスト情報を用いることかを決定することができる。
【００６１】
このような拡張された使用例を図７にフローチャートで例示した。図７は前記図４の概念１．３を拡張したものである。
【００６２】
すなわち、ユーザーが照会イメージ（作成したことはない）を、存在するイメージから選択してその選択された照会イメージで検索をした結果から類似イメージを一つ以上選択してフィードバックをすると、検索システムではユーザーが類似であると選択したイメージ中に含まれたキーワードＫ中からＩｎｃｌｕｄｉｎｇＲａｔｅ（Ｋ）＞Ｔｈ１を満足するキーワードがあるか否かを検査する。上記条件を満足するキーワードＫが一つ以上存在するとそのキーワードＫを用いた再検索を遂行し、そうでない場合にはユーザーが類似であると選択したイメージを用いて特徴情報に対する加重値抽出、選択されたイメージから次の照会イメージ指定（指定方法に前述したように例えば最初選択したイメージを照会イメージとする方法などがあり得る）、指定された照会イメージと抽出された加重値を用いた再検索の手順で探そうとするイメージを求める。
【００６３】
一方、テキスト情報と特徴情報の中でいずれか一つを選択しないで組合せて再検索する方法１．３．１、１．３．２、１．３．３も同様に既存イメージ検索方法に拡張して適用できる。
【００６４】
２．テキスト情報を利用した照会後、照会イメージを利用した照会、検索
前の１．節では初期ユーザーが適切な照会イメージを探すためにユーザーが作成した照会イメージを先に用いて照会イメージを探した後、再検索する方法を説明した。ここではユーザーが作成した照会イメージを用いる代わりキーワードのようなテキスト情報を用いる方法を説明する。図８にテキスト情報（例：キーワード）を利用した照会に対するラフな検索結果から照会イメージを選択して再検索を遂行する方法を示す。
【００６５】
まず、ユーザーは、キーワードを用いてラフな検索結果を得る。すなわち、キーワードからの入力によってキーワードを用いたイメージ検索を行ってその検索結果を得る。そしてこのラフな検索結果からユーザーが類似するイメージを一つ以上選択する。このように複数の類似イメージが選択された以後には前記した‘特徴情報加重値を用いて一つの照会イメージを用いる検索方法’や、‘特徴情報加重値を用いて複数の照会イメージを用いた検索方法’を適用して再検索を遂行することができる。すなわち、ユーザーにより選択された複数の類似イメージの加重値を抽出して、選択されたイメージから次の照会イメージを指定してその指定された照会イメージと前記抽出された加重値を適用して特徴情報を用いた再検索を遂行することによって、探そうとするイメージを求める。
【００６６】
３．スケッチ／テキスト情報を利用した照会−照会イメージを利用した照会、検索
ここではユーザーが作成した照会イメージを用いてラフな検索を遂行する方法と、キーワードのようなテキスト情報を用いてラフな検索を遂行する方法を組合せてラフな検索を遂行する方法を説明する。
【００６７】
この方法ではテキスト情報としてキーワードを用いることを例に挙げて説明する。まず、ユーザーは照会イメージを作成して、同時に適切なキーワードを入力した後、これらを利用してラフな検索を遂行する。このように２個の異種照会要素（本実施形態では作成された照会イメージと、キーワード）を組合せて検索する方法は次のように３種を考慮することができる。
【００６８】
３．１キワード−スケッチ検索
キーワード−スケッチ検索は、キーワードのみを用いて検索した後、マッチング点数が一定しきい値以上になるイメージのみを結果候補として決定して、この決定された候補を対象に、作成された照会イメージとの類似度を特徴情報を用いて計算して、前記計算された類似度が高い順序で検索結果を抽出する方法である。
【００６９】
図９にこの方法を示した。
照会イメージが作成される。そしてユーザーが入力したキーワードを用いてイメージ検索を遂行してマッチング点数がしきい値以上のイメージを結果候補として抽出した後に、抽出された結果候補とユーザーが作成した照会イメージとの類似度を計算して類似度が高い順序で検索結果を抽出する。この検索結果イメージ中からユーザーが類似であると考えるイメージを一つ以上選択してその選択されたイメージを用いて加重値を抽出した後に、ユーザーが選択したイメージから照会イメージを指定する。
【００７０】
このように照会イメージが指定されると、その指定された照会イメージと抽出された加重値とを用いて再検索を遂行することによって探そうとするイメージを求める。
３．２スケッチ−キーワード検索
スケッチ−キーワード検索は、作成された照会イメージとの類似度を特徴情報を用いて計算し、この計算された類似度が一定値以上になるイメージのみを結果候補として決定して、決定された候補の中で照会に用いられたキーワードを用いて検索してマッチング点数が高い順序で検索結果を抽出する方法であって、図１０にこの方法を示した。
【００７１】
照会イメージが作成される。そしてユーザーが作成した照会イメージを用いてイメージ検索を遂行して結果候補を抽出した後に、抽出された結果候補を対象にユーザーが作成した照会イメージとの類似度を計算して類似度が高い順序で検索結果候補を抽出する。そして類似度による検索結果候補を対象にして入力キーワードとのマッチング点数を計算してマッチング点数が高い順序で検索結果を抽出する。次にはキーワードマッチング点数による検索結果イメージ中からユーザーが類似であると考えるイメージを一つ以上選択してその選択されたイメージを用いて加重値を抽出した後、ユーザーが選択したイメージから照会イメージを指定する。
【００７２】
このように照会イメージが指定されると指定された照会イメージと抽出された加重値を用いて再検索を遂行することによって探そうとするイメージを求める。
【００７３】
３．３スケッチ／キーワードの組合せ検索
スケッチ／キーワードの組合せ検索は、作成された照会イメージとの類似度値を特徴情報を用いて計算し、照会に用いられたキーワードを用いてキーワードマッチング点数を計算した後、計算された類似度値とキーワードマッチング点数を組合せて全体の類似度値を計算してこれを利用して検索結果を抽出する方法である。このとき、二つの類似度値とマッチング点数との合計を求めるときに一定の加重値を実験により付与する場合もある。
【００７４】
図１１にスケッチ／キーワードの組合せ検索方法を示した。
入力されたキーワードを用いたイメージ検索結果と、ユーザが作成した照会イメージを用いた検索結果に対して一緒に考慮する。すなわち、キーワードマッチング点数と照会イメージとの類似度を組合せて最終類似度を計算して、この計算された全体の類似度値を利用して検索結果を抽出した後に、全体の類似度による検索結果イメージからユーザーが類似であると考えるイメージを一つ以上選択して、その選択されたイメージを用いて加重値を抽出した後に、ユーザーが選択したイメージから照会イメージを指定する。
【００７５】
このように照会イメージが指定されると、指定された照会イメージと抽出された加重値とを用いて再検索を遂行することによって探そうとするイメージを求める。
【００７６】
これまで３種の方法の照会−検索方法を説明した。
次には図３ないし図１１で説明されている本発明のイメージ検索方法によるイメージ検索システムに対して説明する。
【００７７】
４．イメージ検索システム実施形態１
図１２は、本発明によるイメージ検索システムの第１実施形態を示す。
前述したように照会イメージ（ユーザが作成した照会イメージ、ユーザーが選択した照会イメージ）と特徴情報／加重値を利用したイメージ検索方法を適用するために、ユーザーインタフェース５と、特徴情報を利用した検索部６と、加重値を適用して検索することができる加重値適用検索部７と、加重値を学習して適用するためにユーザーが選択した類似イメージを用いて加重値を計算する加重値抽出部８とを含んでいる。ユーザーインタフェース５はユーザーが照会イメージを作成することができる照会イメージ作成部５ａと、ユーザーが類似であると考えるイメージを照会イメージとして選択するための照会イメージ選択部５ｂと、検索結果を示す検索結果窓５ｃとを含む。
【００７８】
図１２に示したイメージ検索システムは前述したように、ユーザーが作成した照会イメージと、ユーザーが選択する照会イメージ、そして特徴情報と加重値とによる検索を遂行する方法に従うことができる。
【００７９】
すなわち、照会イメージ作成部５ａは、ユーザーが照会イメージを作成してラフな検索のための照会要素として用いることができるようにし、照会イメージ選択部５ｂはラフな検索或いは再検索照会要素として一つ以上の照会イメージを選択して用いることができるようにし、検索結果窓５ｃは検索結果を示す。特徴情報を利用した検索部６はイメージ検索時に特徴情報を考慮するイメージ検索ができるようにし、加重値適用検索部７は加重値抽出部８で計算された加重値を適用して検索できるようにする。そして加重値抽出部８は加重値を学習して適用するためにユーザーが選択した類似イメージを用いて加重値を計算する。
【００８０】
５．イメージ検索システム実施形態２
図１３は、本発明によるイメージ検索システムの第２実施形態を示す。
図１３は、図１２に示したシステムと類似であるが、作成された照会イメージを用いる代わりキーワードを用いる方法を提供するためのシステムを示すものであって、ユーザーインタフェース９がキーワード照会部９ａを含んでおり、キーワードを利用した検索部１０を含んだ例である。
【００８１】
照会イメージ選択部９ｂと検索結果窓９ｃ、加重値適用検索部１１及び加重値抽出部１２は図１２と同様である。
【００８２】
したがって、図１３のイメージ検索システムではキーワードを照会要素とする本発明のイメージ検索方法を遂行することができる。
【００８３】
６．イメージ検索システム実施形態３
図１４は、本発明によるイメージ検索システムの第３実施形態を示す。
すなわち、前述した３番目方法３、３．１、３．２、３．３のようにユーザーが作成した照会イメージを用いた検索とユーザーが入力したキーワードを用いた検索を同時に用いてラフな検索をするためのイメージ検索システム構成を示す。
【００８４】
図１４のイメージ検索システムは、ユーザーインタフェース１３が照会イメージ作成部と１３ａキーワード照会部１３ｂ、照会イメージ選択部１３ｃ、検索結果窓１３ｄをすべて含んでいる。この場合、検索部１４は照会イメージとの類似度を計算して検索を行う特徴情報を利用した検索部１４ａと、入力されたキーワードを用いて検索を行うキーワードを利用した検索部１４ｂが同時に存在しなければならず、またこれらを組合せて最終的に類似度を計算して結果を出す検索部１４ｃが含まれていて、前述したようにユーザが作成した照会イメージを用いた検索とキーワードを用いた検索とを同時に用いてイメージ検索を遂行することができる。
ここで加重値適用検索部１５と加重値抽出部１６とは前述したものと同様である。
【００８５】
【発明の効果】
以上で説明されたように、本発明はユーザーが照会イメージを探すことが簡単に出来るように初期には作成された照会イメージやキーワードを用いた検索を遂行して、以後に複数の照会イメージを通して検索を行うイメージ検索方法であるので、実際にイメージ検索を適用する観点で、既存の方法に比べて現実的な有用性を提供する。
【００８６】
すなわち、従来のものは高い性能を得るために照会イメージを用いて検索を行ったが、これは最初に適切な照会イメージを探すのが難しい短所があって、検索を簡単にするためにキーワードや作成された照会イメージを用いる場合、所望するイメージを探すのが難しいという短所があったが、本発明はこのような短所を解決した。
【００８７】
本発明は照会方法を順次組み合せて効果的に用いるために、初期には作成されたイメージやキーワードを用いて検索して、以後には照会イメージを検索結果から選択して再検索をするが、複数の照会イメージを選択してこれを用いて現在照会に適合な加重値を自動的に計算した後、最適の検索がなされるようにすることによって、ユーザーの便宜性と高い検索性能が実現可能であるという効果がある。
【００８８】
本発明はインターネットを利用したウェブイメージ検索において実用的に用いることができ、最近多く研究されているマルチデータベースを対象にする、すなわち複数のサーバーを対象にイメージを検索することに非常に効果的に用いることができるという効果がある。
【図面の簡単な説明】
【図１】本発明のイメージ検索システムに適用される照会イメージ作成ツールの例を示した図面。
【図２】本発明のイメージ検索システムに適用される照会イメージ作成ツールの他の例を示した図面。
【図３】本発明のイメージ検索方法第１実施形態のフローチャート。
【図４】本発明のイメージ検索方法第２実施形態のフローチャート。
【図５】本発明のイメージ検索方法第３実施形態のフローチャート。
【図６】本発明のイメージ検索方法第４実施形態のフローチャート。
【図７】本発明のイメージ検索方法第５実施形態のフローチャート。
【図８】本発明のイメージ検索方法第６実施形態のフローチャート。
【図９】本発明のイメージ検索方法第７実施形態のフローチャート。
【図１０】本発明のイメージ検索方法第８実施形態のフローチャート。
【図１１】本発明のイメージ検索方法第９実施形態のフローチャート。
【図１２】本発明のイメージ検索装置第１実施形態のブロック図。
【図１３】本発明のイメージ検索装置第２実施形態のブロック図。
【図１４】本発明のイメージ検索装置第３実施形態のブロック図。
【符号の説明】
１；イメージボード
２；ブロック
３；他のイメージボード
４；図形
５；ユーザーインタフェース
５ａ；照会イメージ作成部
５ｂ；照会イメージ選択部
５ｃ；検索結果窓
６；特徴情報を利用した検索部
７；加重値適用検索部
８；加重値抽出部
９；ユーザーインタフェース
９ａ；キーワード照会部
９ｂ；照会イメージ選択部
９ｃ；検索結果窓
１０；キーワードを利用した検索部
１１；加重値適用検索部
１２；加重値抽出部
１３；ユーザーインタフェース
１３ａ；照会イメージ作成部
１３ｂ；キーワード照会部
１３ｃ；照会イメージ選択部
１３ｄ；検索結果窓
１４；検索部
１４ａ；特徴情報を利用した検索部
１４ｂ；キーワードを利用した検索部
１４ｃ；照会イメージ検索結果とキーワード検索結果組み合せによる検索部
１５；加重値適用検索部
１６；加重値抽出部

Claims

ユーザーインタフェース手段と、イメージデータベースと、検索部とを有するイメージ検索システムにおいて、
前記検索部の処理は、
（ａ）照会イメージを入力すると、検索部が備える第１の検索手段が、入力したこの照会イメージをもとに前記イメージデータベース内の対象イメージを検索し、前記照会イメージとマッチングした前記イメージデータベース内の対象イメージを検索結果としてユーザーインタフェース手段内の検索結果窓に表示する段階と、
（ｂ）前記検索結果窓に表示された前記検索結果の中からユーザーにより選択された少なくとも１つ以上の対象イメージを入力すると、検索部が備える第２の検索手段が、入力したこの対象イメージに基づき前記イメージデータベース内の対象イメージを再検索する段階と
を含み、
対象イメージにはテキスト情報が付与されており、
前記段階（ｂ）における前記第２の検索手段の処理は、前記検索結果窓に表示された前記検索結果の中からユーザーにより選択された各対象イメージ中に共通のテキスト情報が含まれており、前記選択された全ての対象イメージ数に対する前記共通のテキスト情報が含まれている対象イメージ数の比率が所定値より大きい場合は、前記入力した対象イメージに基づく再検索に代えて、前記共通のテキスト情報による前記イメージデータベース内の対象イメージの再検索を行う段階を含むことを特徴とするイメージ検索方法。
前記段階（ｂ）における前記第２の検索手段の処理は、前記検索結果窓に表示された前記検索結果の中からユーザーにより選択された２つの対象イメージ間の類似度を、これら２つの対象イメージの少なくともカラーヒストグラムを表す特徴情報を含む複数の特徴情報を用いて各特徴情報ごとに計算し、それぞれの計算結果をそれぞれ対応の特徴情報に与える加重値とするとともに、この特徴情報加重値に基づいて前記イメージデータベース内の対象イメージを再検索する段階を含むことを特徴とする請求項１記載のイメージ検索方法。
前記段階（ａ）で用いられる照会イメージはユーザーにより作成されたイメージであることを特徴とする請求項１記載のイメージ検索方法。
前記段階（ａ）における前記第１の検索手段の処理は、ユーザーにより入力されたテキスト情報を入力するとこのテキスト情報に基づいて前記イメージデータベース内の対象イメージを検索する段階を含み、
前記段階（ｂ）における前記第２の検索手段の処理は、前記テキスト情報によるイメージ検索結果の中からユーザーにより選択された対象イメージを入力し、入力したこの対象イメージをもとに前記イメージデータベース内の対象イメージを再検索する段階を含むことを特徴とする請求項１記載のイメージ検索方法。
イメージデータベースを備え、入力した照会イメージに基づいて前記イメージデータベース内の対象イメージを検索するイメージ検索装置において、
対象イメージにはテキスト情報が付与されており、
（ａ）照会イメージを入力すると、入力した照会イメージをもとに前記イメージデータベース内の対象イメージを検索し、前記照会イメージとマッチングした前記イメージデータベース内の対象イメージを検索結果としてユーザーインタフェース手段内の検索結果窓に表示する第１の検索手段と、
（ｂ）前記検索結果窓に表示された前記検索結果の中からユーザーにより選択された少なくとも１つ以上の対象イメージを入力すると、入力したこの対象イメージに基づき前記イメージデータベース内の対象イメージを再検索する第２の検索手段と
を含み、
前記第２の検索手段は、前記検索結果窓に表示された前記検索結果の中からユーザーにより選択された各対象イメージ中に共通のテキスト情報が含まれており、前記選択された全ての対象イメージ数に対する前記共通のテキスト情報が含まれている対象イメージ数の比率が所定値より大きい場合は、前記入力した対象イメージに基づく再検索に代えて、前記共通のテキスト情報による前記イメージデータベース内の対象イメージの再検索を行うことを特徴とするイメージ検索装置。
前記第１の検索手段により用いられる照会イメージはユーザーが作成した照会イメージであることを特徴とする請求項５記載のイメージ検索装置。
前記ユーザーインタフェース手段は、前記照会イメージを作成する照会イメージ作成部、前記照会イメージを選択する照会イメージ選択部、前記テキスト情報を表すキーワードの照会を行うキーワード照会部を含むことを特徴とする請求項６記載のイメージ検索装置。
前記第２の検索手段は、
前記ユーザーによって選択された２つの対象イメージ間の類似度を、これら２つの対象イメージの少なくともカラーヒストグラムを表す特徴情報を含む複数の特徴情報を用いて各特徴情報ごとに計算し、それぞれの計算結果をそれぞれ対応の特徴情報に与える加重値とする加重値抽出手段と、
前記加重値抽出手段による前記特徴情報の加重値に基づいて前記イメージデータベース内の対象イメージの検索を遂行する加重値適用検索手段と
をさらに含むことを特徴とする請求項５記載のイメージ検索装置。