JP2008542911A - メトリック埋め込みによる画像比較 - Google Patents

Abstract

メトリック埋め込みによる画像比較のシステムおよび方法が提示される。一実施形態では、比較される各画像からグラフが作成される。次いで、各画像のツリーファミリーにグラフメトリックが埋め込まれる。異なる画像それぞれのツリーファミリー間の最小差分を行列にまとめ、その行列から画像比較のための類似度が得られる。

Description

本発明は、メトリック埋め込みによる画像比較に関する。

インターネット上あるいはコンピューティングデバイス内のテキスト（文章や文字列）、画像、知識、ウェブサイト等を検索するには、キーワードを入力して検索を開始することができる。従来、コンピューティング環境における画像の検索は、画像を要約したテキストのキーワードを入力するか、または、画像の視覚的対象あるいは視覚的な特徴を要約したテキストを入力することに限られていた。従来は、検索の主要部分の一部をテキストに変換せずに画像を検索することは困難であった。したがって、従来の画像検索は、実際にはテキスト検索となっている。

画像検索をうまく行うことの難しさは、画像自体にある。画像は、単語に比べてはるかに複雑である。これは、画像には、変更を加えた後の画像が元の画像と数学的に異なるように変更を加えることができるが、それら２つの画像は、人間の視覚系にとって見た目では区別がつかないためである。そのため、ユーザが、画像の色合いを明るく、または暗くする、コントラストを変える、色を微調整する、画像をトリミングまたは圧縮等した場合には、画像は同じに見えるかもしれないが、その画像を定量化するパラメータはかなり変化している。この複雑性を回避するには、単に画像を単語で要約してから、その画像に係る単語検索を行う方が容易であった。

必要とされることは、画像そのものを入力することで画像検索を開始し、例えば画像編集ソフトウェアで多くの異なる形で変更が加えられている可能性のある画像の一致するバージョン（改版）を見つけることで成功して終了できるように、画像を数学的、情報的に取り込む方法である。

メトリック埋め込み（metric embeddings）による画像比較、すなわち、比較される画像の視覚的要素に直接依存せずにデジタル処理で比較を行うことができる形態による画像比較のシステムおよび方法を提示する。一実施形態では、比較対象の各画像から、頂点および辺を有する無向グラフなどのグラフ(図表)が作成される。各種のピクセル指標（characteristics of pixels）を用いてこのグラフを作成することができる。画像からのグラフの作成の一部は、ウェーブレット変換技術で係数ベクトル値を得ることによって達成されることができる。比較のために信頼できるグラフを生成するために、ノイズを低減する工程を追加してよい。例えば、ウェーブレット変換工程の後に、重要でない値をゼロにし、画像またはグラフを縮小することができる。

次いで、各画像についての階層的完全分離ツリー（ＨＳＴ）のファミリーなどのツリーにグラフメトリック（graph metrics）が埋め込まれる。１つの画像のＨＳＴは、画像を表すグラフが区分されるまで再帰的にクラスタリング（クラスタ化）することができる。

埋め込まれたグラフ情報を有するツリーファミリー同士を差分化して、それらのツリーファミリーが表す画像の類似度を得る。一実施形態では、画像を表すツリーファミリーは再帰的に作成されるので、ルートＨＳＴとそれらに関連する子ツリーにツリー差分化技術を反復的に適用する。一実施形態では、差分化は、正規化の工程において１つの類似度で画像間の最小差分を要約する平均値または中央値を見つけられるように、画像間の最小差分の行列を作成し、その行列をベクトル化することを含む。

（概要）
本明細書に記載されるシステムおよび方法は、画像比較技術を提供する。これらの画像比較技術を使用して、インターネット上の画像検索を行う、画像のプールの中から原始画像の変更バージョンを特定すること等ができる。例えば、ユーザは、写真編集ソフトウェアを用いて、あるいは電子メールメッセージに画像を含めるための準備として、原始画像をトリミングおよび圧縮することにより、原始画像に変更を加える場合がある。ここに記載されるシステムおよび方法は、他の画像群の中からそのような変更が加えられた画像を検索し、見つける手段を提供する。

図１は、画像１００のピクセル値が無向グラフ１０２で表された画像比較方法の典型的実施形態を示す。無向グラフ１０２の各頂点は、画像中の対応するピクセルを表す。一実施形態では、グラフ１０２を形成する画像前処理段階は、係数ベクトル値を設定して、小さ過ぎる値、すなわち選択された閾値を下回る値を破棄するウェーブレット変換を適用することを含む。無向グラフ１０２の頂点間の辺は、一辺の両端にあるピクセルの対の値の差に従って重み付けすることができる。辺の重み付けを決定するために使用されるピクセル指標は、輝度やエネルギー等の多種のピクセル指標から選択することができる。そして、その結果得られる無向グラフ１０２を縮小して、処理力を節減し、ノイズを低減することができる。グラフ形成の工程の後にさらに処理が続くので、このような無向グラフ１０２を本明細書では大まかに前処理画像と呼ぶ場合がある。

上記の画像前処理段階で作成された無向グラフ１０２から、グラフメトリックが埋め込まれた階層完全分離ツリーなどのツリーのファミリー１０４を得ることができる。ツリーファミリー１０４は、十分な反復回数にわたり最初のクラスタを再帰的に処理（recurse）して、前処理画像を完全分離ツリー（well-separated trees）に区分するクラスタリング方法によって、構築される。この方法に係る典型的なツリーファミリー１０４は、およそ１０個の（親と子の）ツリーを含む。

図２に示すように、画像群からある１つの画像を見つけるために、差分化技術で、原始画像のツリーファミリー１０４と、比較する複数の他の画像の各ツリーファミリー（例えば２０４、２０４’、２０４’’、２０４’’’）との類似度（similarity measure）を求める。原始画像１００との類似度が最も高い画像が、最良の一致として選択される。

一実施形態では、すぐ上記で紹介した差分化技術は、各ツリーの各ノードに形状ベクトルを割り当て、比較される異なる画像に対応するノード間の差が最小になる類似度値を採用して機能する。すなわち、２つの画像を表す２つのツリーファミリーのツリーにまたがって差分行列が集計される。この行列にベクトルが割り当てられ、次いで、そのベクトルの成分を平均するかまたは他の方式で正規化して類似スコア（得点）を確定する。したがって、画像のプールからある画像のコピーまたはその画像の変更されたバージョンを見つけるには、類似スコアを比較して、可能性のある一致相手を明らかにすることができる。

（典型的システム）
図３は、画像を比較する典型的システム３００を示す。コンピューティングデバイス３０２は、インターネット３０４と通信可能に結合されている。コンピューティングデバイス３０２は、画像比較エンジン３０６をホスティングする。この種のネットワークコンピューティング環境は、単に例示の目的で示すものである。他の種のコンピューティングおよびネットワーク環境も、本発明の主題をホスティングすることができる。画像比較エンジン３０６は、画像検索３０８を可能にする。対象画像すなわち「原始（ソース）」画像３１０が、ユーザによって、またはシステム３００の構成要素によって選択されることができる。画像比較エンジン３０６は、原始画像３１０を、例えばインターネット３０４上にある他の画像と比較し、比較ごとに類似度の指標を返す。画像比較エンジン３０６は、原始画像３１０と、候補画像の集合の要素間の最良のマッチング（一致）を指定することができる。

画像比較エンジン３０６は、インターネット３０４上の画像の集合から検索する代わりに、ファイルディレクトリやデータベース内の画像の集合、または電子メールメッセージの添付ファイルとしてフォルダに記憶されている画像の集合等から検索することもできる。

（典型的エンジン）
図４は、図３の典型的画像比較エンジン３０６をより詳細に示す。図４の画像比較エンジン３０６は、概観の目的で例示的な構成の１つを提供するものである。図示された構成要素または同様の構成要素の数多くの他の構成が可能である。このような画像比較エンジン３０６は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアとファームウェアの組合せ等として実行されることができる。

図示された画像比較エンジン３０６の例示的構成は、画像グラフ化エンジン（image graphing engine）４０２と画像コンパレータ４０４を含む。画像グラフ化エンジン４０２は、画像を表すグラフとツリーファミリー１０４を生成し、一方、画像コンパレータ４０４は、原始画像１００に候補画像を突き合わせることを試みるために、ツリーファミリー１０４間の類似度を求める。

画像グラフ化エンジン４０２はさらに、画像前処理構成要素である、グレースケーラ(grayscaler)４０６、ウェーブレット変換エンジン４０８、およびダウンスケーラ(downscaler)４１０を含む。これらの構成要素は、前処理画像４１２、すなわち、画像１００を表すツリーファミリー１０４を生成する元となるグラフを生成し、画像の比較を可能にする。画像グラフ化エンジン４０２はさらに、ツリー作成エンジン４１４を含む。ツリー作成エンジン４１４はさらに、クラスタリカーサ（クラスタ再帰部）４１６、ツリープルーナ（ツリーの枝切鋏）４１８、および再実行(rerun)フィルタ４２０を含む。これらは、異なる画像を表すグラフメトリックが埋め込まれた各種のツリーファミリー（例えば１０４、１０４’）を生成する。

上述の画像コンパレータ４０４はさらに、ツリー差分化エンジン４２２とアグリゲータ(集積部)４２４を含む。ツリー差分化エンジン４２２はさらに、最小差分エンジン４２６を含み、最小差分エンジン４２６はさらに、ツリートポロジィコンパレータ４２８とクラスタトポロジィコンパレータ４３０を含む。アグリゲータ４２４はさらに、差分行列４３２、ならびに、ベクトルエンジン４３４、および一対の画像間の類似性を定量化した類似度４３８を生成するノーマライザ（正規化器）４３６を含む。

（画像グラフ化エンジン）
画像グラフ化エンジン４０２の画像前処理構成要素の中で、グレースケーラ４０６は、カラーのＲＧＢ画像の入力を受け取り、その入力を、例えばＲＧＢ値のＬ２ノルム（norm：基準）でグレースケール（濃淡）に変換することができる。

一実施形態では、ウェーブレット変換エンジン４０８は、３段階のハール（Haar）ウェーブレット変換を行う。その結果得られる係数ベクトルのうち小さな値は、閾値で切ってゼロにすることができる。すなわち、絶対値が例えば０．１５などの閾値よりも小さい係数はゼロに変えることができる。次いで、ウェーブレット再構築手順がそれらの係数ベクトルに適用され、ダウンスケーラ４１０が、その結果を幅およそ７０ピクセルに縮小して前処理画像４１２を生成する。

その前処理画像４１２から、ツリー作成エンジン４１４が、ｋ個の階層完全分離ツリー（ＨＳＴ）を生成する。通例は、ｋ＝１０である。このＨＳＴは、再帰的で階層的なクラスタリング分解によって生成することができる。ツリー作成エンジン４１４は、前処理画像４１２に等しいグラフノードの初期クラスタＣ₀を設定することから開始する。次いで、クラスタサイズパラメータがｒで指定され、前処理画像４１２中のピクセル数がＮで指定される。ｒの典型的な値は、およそ１からおよそ−２の間である。パラメータｒを何らかの形で調整することで結果を改善できる場合がある。

クラスタリカーサ４１６は、クラスタＣ_iを選択し、無作為の点ｘ∈Ｃ_iを選択する。Ｃ_iのすべての点がｘからｒ（ｌｏｇＮ）の距離内にある場合は、それ以上の処理は必要でなく、Ｃ_iがツリーとして返される。そうでない場合は、半径ｄが、逆型分布（inverse-type distribution）から選択される。すなわち、前処理画像４１２がＮ個のピクセルを含んでいる場合、クラスタリカーサ４１６は、パラメータｒの任意の値に対して、ｘの値を一様に［０，１］に選択し、ｄ＝−ｒ（ｌｏｇＮ）（ｌｏｇｘ）とする。

クラスタリカーサ４１６は次いで、Ｃ_i+1＝Ｂ（ｘ，ｄ）と設定し、球の中心が、前のｘから、半径ｄのところにある新しいｘに来るようにし、Ｃ_i+1にツリーを再帰的に構築し、Ｃ‘＝Ｃ_i／Ｃ_i+1と設定する。この手順を、Ｃ_iをＣ’に置き換えて繰り返す。このようにして構築された再帰ツリーは、Ｃ_iが区分されるまでＣ_iの子を形成する。その結果得られるツリーは、前処理画像４１２のメトリックが埋め込まれたＨＳＴツリーのファミリー１０４となる。

ツリープルーナ４１８は、対応するクラスタに含まれるピクセルが一定の閾値数（通例は１００ピクセル）よりも少ないノードを除去することにより、画像比較におけるノイズの影響を低減する。Ｃ_{i+1}＝Ｂ｛ｘ，ｙ｝∩Ｃ_i、すなわち、クラスタは、球と等しくはなく、球に含まれるピクセルの集合になることに留意されたい。ピクセルの集合は、一般にはあまり球状ではなく、そのため、下記で説明する形状ベクトルが付加的な重要性を帯びる。一実施形態では、ツリープルーナ４１８は、ツリー作成の最後に小さなノードを除去することにより、クラスタのサイズが最大でもｒ（ｌｏｇＮ）になるようにする最初のステップを不要にすることができる。

同様に、再実行フィルタ４２０は、結果得られたツリーのノード数が閾値よりも少ない場合、例えば６ノード未満である場合には、ツリー作成プロセス全体を再実行することによりノイズを低減する。換言すると、小さなツリーは、クラスタリングがうまく行っていないことの表れであり、そのツリーは別のクラスタリングパラメータで作成し直すべきである。

（画像コンパレータ）
図に示す画像コンパレータ４０４の例では、ツリー差分化エンジン４２２は、原始画像（ソース画像）１００のツリーファミリー１０４からＨＳＴなどのツリーを受け取る。ツリー差分化エンジン４２２は、同様に候補画像のツリーファミリー１０４’からもツリーを受け取る。

これら２つのツリー、例えばＨＳＴを前提として、ツリー差分化エンジン４２２は、それらのツリーの差分指標を生成する最小差分エンジン４２６を有する。一実施形態では、ツリートポロジィコンパレータ４２８はツリーのトポロジィを考慮に入れ、一方、クラスタトポロジィコンパレータ４３０は、ツリーノードに関連付けられたクラスタのトポロジィを考慮に入れる。子ＨＳＴを与えられると、最小差分エンジン４２６は、例えば親の直径で各辺の重みを減らす（scale）。最小差分エンジン４２６は、２つの形状パラメータｄ_minおよびｄ_maxに、νにあるクラスタの位置を連結することにより、各ノードνにベクトル

を割り当てる。これらは、νにあるクラスタの凸包Ｈを計算し、ｄ_maxを、Ｈ中の任意の２点間の最大距離に設定し、またｄ_min＝ｍｉｎ_x∈Hｍａｘｙ∈Ｈρ（ｘ，ｙ）（ρ（ｘ，ｙ）は画像グラフにおけるｘからｙの距離）とすることによって求められる。

図５に示すように、２つのＨＳＴ、Ｔ５０２およびＵ５０２’を与えられて、ツリー差分化エンジン４２２は、ツリー差分化関数「treediff（Ｔ，Ｕ）」を再帰的に計算し、子ノードの集合間をマッピングする。Ｔ５０２およびＵ５０２’のルートの子は、それぞれ、

と

に設定される。ツリー差分化エンジン４２２は、

とし、ａ_νは、上記で説明した

中の形状ベクトルである。次いで、最小差分エンジン４２６は、δ_ijを最小にする対（ｉ，ｊ）をｓ₁とし、ｓ₁の行および列を取り除いた状態でδ_ijを最小にする対をｓ₂等とする。このｓ_iの数列は、Ｔ５０２のルートの子と、Ｕ５０２’のルートの子との突き合わせを表す。ｋ_T≠ｋ_Uの場合は、数個の子ツリーに突き合わせの相手がない。

ツリー差分化エンジン４２２は、突き合わせられる子（例えば、上位レベルの突き合わせられる子（５０４、５０４’）；（５０６、５０６’）；（５０８、５０８’）、および（５１０、５１０’）等の続くレベルの突き合わせられる子）に対してtreediff関数を再帰的に計算して、対ｓ_iからｄ_iを生成する。次いで、ツリー差分化エンジン４２２は、一致した各対の辺の重みの差と、ａ_νベクトルの差をΣｄ_iに加算する。突き合わせの相手がないＴまたはＵの子がある場合、ツリー差分化エンジン４２２は、それらの部分ツリーの辺の重みの合計を加算する（しかしａ_νベクトルは使用しない）。ツリー差分化エンジン４２２は、その結果合計を得、この合計は、ＴおよびＵについてのtreediff関数の値となる。

一実施形態では、ツリー差分化エンジン４２２は、形状ベクトルの最小値で子を突き合わせるのに加えて、数段階の全数検索も行う。状況によっては、これが、より良好な結果をもたらす場合がある。treediff（Ｔ，Ｕ，０）が上述の差分化関数である場合、treediff（Ｔ，Ｕ，ｄ）は、Ｔの子とＵの子の間の可能な突き合わせをすべて生成することを意図する。したがって、ツリー差分化エンジン４２２は、上のレベルから、１回の突き合わせの対ごとにtreediff（Ｔ，Ｕ，ｄ−１）を呼び出し、すべての突き合わせに対して、その突き合わせの合計値の数学的最小値を返す。上記のツリープルーナ４１８は、一般に、対応するクラスタに含まれるピクセルが所定の閾値ピクセル数よりも少ないノードを除去することによってツリーを最適化するので、ＴおよびＵの子の数は多くない。上位レベルでtreediff（Ｔ，Ｕ，ｄ）を呼び出す際のｄの典型的な値はわずか２または３であるため、徹底した突き合わせを生成することは実現可能である。

２つの画像（例えばＧとＨ）を比較して類似度を得る状況では、上記の画像グラフ化エンジン４０２は、各画像からｋ個の（通例はｋ＝１０）ＨＳＴを計算する。各画像のツリーファミリー（１０４、１０４’）は、それぞれ｛Ｔ_i｝および｛Ｕ_i｝であり、１≦ｉ≦ｋである。アグリゲータ４２４は、差分行列４２３としてΔ_ij＝treediff（Ｔ_i，Ｕ_j）を形成する。ベクトルエンジン４３４は、ｄ_i＝ｍｉｎ_jΔ_ijによりベクトルｄを形成する。一部の実施形態では、この最小演算は対称的でなく、したがってΔ_ij≦Δ_jiである。次いで、ノーマライザ４３６が、treediff関数の結果を集計する：Δ（Ｇ，Ｈ）＝ｍｅａｎ（ｄ）またはΔ（Ｇ，Ｈ）＝median（ｄ）。実施形態によっては、後者の中央値による集計の方がより良好な結果を得られる場合がある。これは、恐らくは、その方が外れ値の影響を受けにくいためである（ノイズの多い画像に用いられるメディアンフィルタ（中央値フィルタ）と平均化フィルタの違いに似る）。

変形形態では、ツリー作成エンジン４１４でのクラスタリングにエッジ検出器（図示せず）が使用される。したがって、ウェーブレット変換エンジン４０８のローパス効果の後に、Cannyエッジフィルタ（図示せず）を通して画像を処理することができ、その結果得られるツリーはクラスタリングされている。Cannyエッジフィルタは、対象物が閉じた輪郭線の曲線で囲まれていることを担保としないので、この場合にＨＳＴに使用される画像グラフは、ガウス平均化を用いてピクセル値の差分を計算することで作成することができる。これには、クラスタリングが、エッジの終点間にある小さな隙間をまたがないようにする効果がある。ツリー差分化エンジン４２２がこのようにCannyエッジフィルタを適用すると、その結果得られるＨＳＴは、多くの状況で好適な結果をもたらす。

（典型的方法）
図６は、典型的な画像比較の方法６００を示す。流れ図では、個々のブロックに動作が要約されている。典型的方法６００は、ハードウェア、ソフトウェア、またはその両方の組合せによって行われることができ、例えば典型的な画像比較エンジン３０６の構成要素によって行われることができる。

ブロック６０２で、比較対象の各画像からグラフが作成される。他の画像との類似性または非類似性について画像をデジタル的に比較できるようにグラフで画像を表すことは、例えば画像中の隣接ピクセルの差の値でグラフの辺を重み付けすることにより、画像を構成するピクセルを確実に定量化することを伴う。画像がカラーの場合は、ピクセルのカラー成分を用いてグラフを作成することができ、または、カラー画像をグレースケール化して、ピクセルの各種の他のカラー以外の特性を用いてグラフを作成することができる。画像からグラフを作成するエンジン、例えば典型的な画像比較エンジン３０６は、比較のために、画像の信頼できる指標としてグラフを作る他の前処理構成要素を含んでよい。

画像からのグラフの作成は、係数ベクトル値を得るウェーブレット変換で容易にすることができる。画像を比較する目的で信頼できるグラフを生成する際の主要な要素の１つは、グラフから関連性のないノイズを除去することである。したがって、ウェーブレット変換の後に、重要でない値をゼロにすることにより、この方法が処理すべき情報の総量を減らすことができる。グラフの作成では、画像および／またはグラフを効率的なサイズに縮小することからも益を得られる場合がある。

ブロック６０４で、各グラフについてツリーファミリーが作成される。典型的方法６００のこの部分では、比較される画像を表すグラフは、画像を定量化しているが、まだ、デジタル的に行うことができる数学的な比較技術に容易にかけることはできない。そのため、グラフを直接比較することを試みるのではなく、各グラフのメトリック（metrics：数的指標）がツリーファミリーに埋め込まれる。例えば階層完全分離ツリー（ＨＳＴ）は、デジタル的に効率よく行うことができる数学的比較技術に適している。したがって、画像がグラフになり、そのグラフが、関連付けられたツリーファミリーとなる。ツリーのクラスタとノードは、画像の数学的な比較を可能にし、すなわち、デジタル処理で操作することができ、比較のために画像の視覚的な品質に直接は依存しない形態での比較を可能にする。

ブロック６０６で、比較する２つの画像のツリーファミリーを互いから差分化して類似度を得る。すなわち、埋め込まれたグラフ情報を持つツリーファミリー同士を比較して、それらのツリーファミリーが表す画像の類似度を得る。一実施形態では、１つの画像を表すツリーファミリーは再帰的に作成されるので、ルートのＨＳＴとそれに関連する子ツリーにツリー差分化技術を反復的に適用する。一実施形態では、差分化は、平均化の工程（または中央値を見つける工程）で１つの類似度で差分を要約できるように、差分行列を作成し、その行列をベクトル化することを含む。

本明細書に記載されるシステムおよび方法は、近似的な低い歪みでツリーのメトリックにグラフのメトリックを埋め込むことができる。メトリックを定義する一般的なグラフを考えると、ツリーのメトリックへの１回の埋め込みは、Ω（ｎ）の歪みを有する（ｎはＧの中の点の数）。しかし、グラフＧと、埋め込みＧ→Ｔ_iを伴う（任意の２つの点を与えられた時にｘ，ｙ∈Ｇとなるように）ツリーメトリックのファミリー｛Ｔ_i｝では、Ｔ_iを無作為に選択した場合のｘ，ｙ→Ｔｉの予想される歪みは、Ｏ（ｌｏｇｎ）になる。

（結論）
上記の主題は、ハードウェア、ソフトウェア、ファームウェア等、またはそれらの組合せとして実施することができる。特定の実施形態では、この主題は、コンピューティングデバイスや通信デバイスによって実行されるプログラムモジュール等のコンピュータ実行可能命令の一般的文脈で説明することができる。一般に、プログラムモジュールには、特定のタスクを行うか、特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造等が含まれる。この主題は、通信ネットワークを通じて接続された遠隔の処理デバイスにより無線通信を通じてタスクが行われる分散通信環境でも実施することができる。ワイヤレスネットワークでは、プログラムモジュールは、メモリ記憶装置を含む、ローカルおよびリモート両方の通信デバイスの記憶媒体に置くことができる。

上記の記述は、画像比較の典型的システムおよび方法を説明する。構造的特徴および／または方法論的動作に固有の術語で主題について説明したが、頭記の特許請求の範囲に定義される主題は、上記の具体的な特徴または動作に必ずしも限定されないことを理解されたい。上記で説明した具体的な特徴および動作は、特許請求の範囲を実施する例示的形態として開示されるものである。

画像を表す典型的なグラフの図である。 グラフメトリックが埋め込まれたツリーファミリーを差分化することを介した典型的な画像比較の図である。 典型的な画像比較システムの図である。 典型的な画像比較エンジンのブロック図である。 子ノードの集合の反復的な比較を介した典型的な画像比較の図である。 典型的な画像比較方法の流れ図である。

Claims (20)

1. 第１の画像を第１のグラフとして表し、第２の画像を第２のグラフとして表すステップであって、前記第１および第２のグラフの各頂点は、前記それぞれの画像のピクセルに対応するステップと、
   各無向グラフの頂点間の各辺に重みを割り当てるステップであって、前記重みは、隣接するピクセル値間の差に対応するステップと、
   前記第１のグラフから第１のツリーファミリーを導出し、前記第２のグラフから第２のツリーファミリーを導出するステップであって、前記ツリーファミリーにはグラフメトリックが埋め込まれているステップと、
   前記第１のツリーファミリーと前記第２のツリーファミリー間の差分指標に基づいて、前記第１および前記第２の画像の差分指標を求めるステップと
   を含むことを特徴とする方法。
2. 前記第１および第２の画像を第１および第２のグラフとして表すステップは、各画像をウェーブレット変換で処理するステップを含むことを特徴とする請求項１に記載の方法。
3. 前記ウェーブレット変換は、３段階のハールウェーブレット変換からなることを特徴とする請求項２に記載の方法。
4. 各画像を縮小して、前処理画像に生じるノイズを低減するステップをさらに備えることを特徴とする請求項２に記載の方法。
5. 各画像を幅およそ７０ピクセルに縮小して前処理画像を形成するステップをさらに備えることを特徴とする請求項２に記載の方法。
6. ツリーファミリーを導出する前記ステップは、画像の再帰的、階層的なクラスタリング分解により階層完全分離ツリーのファミリーを導出するステップを含むことを特徴とする請求項１に記載の方法。
7. 前記再帰的、階層的なクラスタリング分解は、
   前記前処理画像中のピクセルのクラスタ、前記ピクセルのクラスタ中の無作為のピクセル位置ｘ、クラスタサイズｒ、および−ｒ（ｌｏｇＮ）（ｌｏｇｘ）に等しい半径ｄを選択するステップであって、Ｎは、前記前処理画像中のピクセル数であるステップと、
   前記ピクセルのクラスタが区分されるまで前記ピクセルのクラスタの子クラスタを生成するステップであって、該生成するステップは、ｘからの連続した半径のところに子クラスタを再帰的に構築するステップを含み、各子クラスタは、１回前に得られたクラスタを、現在の半径にあるクラスタで割った比に設定されるステップと
   を含むことを特徴とする請求項６に記載の方法。
8. 前記第１のツリーファミリーと前記第２のツリーファミリー間の差分を求めるステップは、
   前記第１のツリーファミリーと前記第２のツリーファミリーのトポロジィ（接続形態）を比較するステップ、および、
   前記第１および第２のファミリーのツリーノードに関連付けられたクラスタのトポロジィを比較するステップ
   を含むことを特徴とする請求項１に記載の方法。
9. 前記第１のツリーファミリーと前記第２のツリーファミリー間の差分を求めるステップは、前記第１のツリーファミリーおよび前記第２のツリーファミリーの各ノードに関連付けられたクラスタの凸閉包を計算してそのノードの形状パラメータを得、各ノードに関連付けられた前記クラスタの位置を前記形状パラメータと連結することにより、前記ノードに形状ベクトルを割り当て、前記第１および第２のツリーファミリーそれぞれの子ノードの集合についての前記形状ベクトル間の差分を最小にする差分指標を見つけるステップを含むことを特徴とする請求項１に記載の方法。
10. 前記形状ベクトルの最小化差分のベクトルを形成し、前記ベクトルの成分を正規化することにより、前記ツリーのノードに対して差分を集計するステップをさらに含むことを特徴とする請求項９に記載の方法。
11. 前記第１の画像と画像の集合の要素に対して前記方法を連続的に繰り返して、前記第１の画像との類似度が最も高い前記集合の要素を見つけるステップをさらに含むことを特徴とする請求項１に記載の方法。
12. コンピューティングデバイスによって実行される、請求項１に記載の方法を実施するための複数の実行可能命令を備えることを特徴とする記憶媒体。
13. 対応する画像から無向グラフを導出する画像グラフ化エンジンであって、前記無向グラフの頂点は、前記画像中のピクセルに対応する画像グラフ化エンジンと、
    各前記無向グラフからツリーのファミリーを導出するツリー作成エンジンと、
    前記ツリーファミリーの対応ノード間の最小差分を求めるツリー差分化エンジンと、
    前記ツリーファミリー間の差分行列を作成するアグリゲータと、
    前記差分行列から２つの画像についての類似度を導出するベクトルエンジンと
    を備えることを特徴とする画像比較エンジン。
14. 前記画像グラフ化エンジンは、
    カラー画像を前処理するグレースケーラと、
    ピクセルの係数ベクトル値を求めるウェーブレット変換エンジンと、
    画像サイズを縮小し、ノイズを低減するダウンスケーラと
    を含むことを特徴とする請求項１３に記載の画像比較エンジン。
15. 前記ツリー作成エンジンはさらに、無向グラフで表された画像を十分に分離されたクラスタに区分するクラスタリカーサ（recurser）を含むことを特徴とする請求項１３に記載の画像比較エンジン。
16. 前記ツリー作成エンジンはさらに、所有するノード数が閾値未満である対応クラスタに関連付けられたツリーノードを除去するツリープルーナ（pruner）を含むことを特徴とする請求項１３に記載の画像比較エンジン。
17. 前記ツリー作成エンジンはさらに、ツリーのノード数が閾値未満である場合に前記画像グラフ化エンジンから画像を再開始する再実行フィルタを含むことを特徴とする請求項１３に記載の画像比較エンジン。
18. 前記ツリー差分化エンジンはさらに、ツリートポロジィコンパレータとクラスタトポロジィコンパレータとを含む最小差分エンジンを有することを特徴とする請求項１３に記載の画像比較エンジン。
19. 対応する画像からグラフを導出する手段と、
    各前記グラフからツリーのファミリーを導出する手段と、
    ２つの異なる画像の前記ツリーファミリー間の最小差分を求める手段と
    を備えることを特徴とするシステム。
20. 画像を選択する手段と、
    前記ツリーファミリー間の前記最小差分に基づいて、前記画像の集合から前記選択された画像に最も類似する画像を見つける手段と
    をさらに備えることを特徴とする請求項１９に記載のシステム。

Images