JP5346279B2 - 検索による注釈付与 - Google Patents

Description

本発明はデジタルイメージに注釈を付与するための情報処理技術に関する。

デジタルイメージに注釈を施す従来のアプローチは、それぞれのデジタルイメージを１つまたは複数の意味的に関連するキーワードで注釈を施すことである。上記のキーワードは、（例えば、コンピューティング装置、データベース、インターネット、等に渡る）コンピュータベースの検索環境におけるキーワードベースのイメージ検索および取り出し操作を促進するために使用されることがよくある。

非常に多数のデジタルイメージが一般に上記の検索環境に存在するので、イメージ検索および取り出し操作を促進するためにデジタルイメージに手動で注釈を施すことは、非常に労働集約的で時間を浪費する作業である。

"Ｌｅａｒｎｉｎｇ ｔｏ Ｃｌｕｓｔｅｒ Ｗｅｂ Ｓｅａｒｃｈ Ｒｅｓｕｌｔｓ"，Ｚｅｎｇ，Ｈ．Ｊ．，Ｈｅ，Ｑ．Ｃ．，Ｃｈｅｎ，Ｚ．，ａｎｄ Ｍａ，Ｗ．−Ｙ，２７ｔｈ Ａｎｎｕａｌ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｅｓｅａｒｃｈ ａｎｄ Ｄｅｖｅｌｏｐｍｅｎｔ ｉｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｒｅｔｒｉｅｖａｌ，Ｓｈｅｆｆｉｅｌｄ，Ｕｎｉｔｅｄ Ｋｉｎｇｄｏｍ，（Ｊｕｌｙ ２００４），ｐｐ．２１０−２１７

検索による注釈付与を説明する。１つの態様では、記憶データを検索して、所与のイメージのベースライン注釈に意味的に関連し、その所与のイメージと視覚的に類似する画像を求める。次いでその所与のイメージに、意味的および視覚的に関連するイメージの少なくともサブセットと関連付けた共通の注釈概念で注釈を施す。

本要約は選択した概念を簡潔な形で導入するために与える。その概念は以下の「発明を実施するための最良の形態」でさらに詳細に説明する。本要約によりクレーム主題の主要な特徴または本質的な特徴を特定することは意図しておらず、クレーム主題の範囲の決定を補助するものとして使用することも意図していない。

図面において、構成要素の参照番号の最も左の数字は、その構成要素が最初に出現した特定の図面を示す。

概要
検索による注釈付与システムおよび方法を説明する。そのシステムおよび方法は、ローカルおよび／またはリモートデータベース（複数）のキーワードベース検索を実行して、所与のイメージのベースライン注釈に意味的に関連するデジタルイメージを発見する。上記のシステムおよび方法は意味的に関連するイメージの各々の、所与のイメージに対する視覚的類似性を測定する。これらの視覚的類似性の尺度を使用し、所与のイメージに対し、意味的に関連する他のイメージよりも視覚空間で関連するイメージを選択する。これらの選択したイメージは所与のイメージと、テキストおよび視覚空間において類似する。選択したイメージと関連付けた補助注釈候補を、選択したイメージのそれぞれのコンテキストから抽出する。抽出した注釈をクラスタ化する。それぞれのクラスタは、共通または関連する概念（複数）を有する注釈を含む。例えば、蓄薇の上にいる蜂の画像に関連付けた注釈のクラスタは蜂、薔薇、等に関連する注釈を含むことができる）。上記システムおよび方法は概念の重要性を１つまたは複数の採点基準を用いてランク付けし、トップクラスの概念の集合を特定する。上記システムおよび方法はその最高ランクの概念により提供する情報の少なくともサブセットで、所与のイメージに注釈を施す。

検索による注釈付与システムおよび方法のこれらおよび他の態様をさらに詳細に説明する。

例示的なシステム
必要ではないが、検索による注釈付与システムおよび方法を、パーソナルコンピュータのようなコンピューティング装置により実行されるコンピュータ実行可能命令の一般的なコンテキストで説明する。プログラムモジュールは一般に、特定のタスクを実行するかまたは特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造、等を含む。上記のシステムおよび方法を前述のコンテキストで説明するが、以降で説明する動作および操作をハードウェアで実装してもよい。

図１は、１つの実施形態に従う、イメージに注釈を施す例示的なシステム１００を示す。システム１００は例えば、コンピューティング装置１０２を含む。コンピューティング装置１０２は汎用目的コンピューティング装置、サーバ、ラップトップ、モバイルコンピューティング装置、等のような任意の種類のコンピューティング装置を表す。コンピューティング装置１０２は、システムメモリ１０６に接続した１つまたは複数のプロセッサ１０４を含む。システムメモリ１０６は揮発性メモリ（例えば、ＲＡＭ）および不揮発性メモリ（例えば、ＲＯＭ、Ｆｌａｓｈ、ハードディスク、光学メモリ、等）を含む。システムメモリ１０６はコンピュータプログラムモジュール１０８およびプログラムデータ１１０を含む。プロセッサ（複数）１０４はプログラムモジュール１０８の各々からコンピュータプログラム命令をフェッチして実行する。プログラムモジュール１０８は例えば、有限個の語彙から成る重要で補完的な注釈１１６により所与のイメージ１１４に自動的に注釈を施す注釈モジュール１１２を含む。プログラムモジュール１０８はさらに、例えば、ランタイム環境を提供するオペレーティングシステムのような他のプログラムモジュール１１８、キーワードベース検索アプリケーション、イメージ比較およびランキングアプリケーション、テキスト／ドキュメントクラスタ化アプリケーション、ウェブクローラアプリケーション、等を含む。

重要で補完的な注釈１１６を特定するために、注釈モジュール１１２はリモートデータベース（複数）１１９および／またはローカルデータベース（複数）の標準的なキーワードベース検索を実行し、所与のイメージ１１４のベースライン注釈１２２に意味的に関連するデジタルイメージ集合（即ち、マイニングイメージ（ｍｉｎｉｎｅｄ ｉｍａｇｅ）１２０）を発見する。１つの実装では、ベースライン注釈１２２は所与のイメージ１１４に関連付けたロケーション、イベント名、フォルダ名、説明、等を表し、ウェブページ上の所与のイメージ１１４を囲むテキスト、所与のイメージ１１４と関係する（例えば、同一ウェブページ上、同一フォルダ内、等）他のイメージに関連付けたテキスト、ユーザから受信した問合せ入力、等を表す。ローカルおよび／またはリモートデータベースはデジタルイメージに対する任意の種類の記憶データを表す。例えば、記憶データ（複数）は１つまたは複数のＣＤ、フロッピー（登録商標）ディスクおよび／または任意の他の取り外し可能記憶媒体、ハードディスク、等であることができる。例示のため、ローカルデータベース（複数）を「他のプログラムデータ」１２４のそれぞれの部分として示す。１つの実装では、ローカルおよび／またはリモートデータベースをクローラプログラムモジュールにより注釈付きデジタルイメージで埋めること、個人によりアップロードすること、等を行った。本実装では、リモートデータベース１１９をネットワーク１２３上でコンピューティング装置１０２に接続して示す。ネットワーク１２３は、職場、企業規模のコンピュータネットワーク、イントラネットおよびインターネットで一般的である、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）および一般的なＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）通信環境の任意の組合せを含むことができる。

視覚的類似性の測定
説明したキーワードベースの検索操作は、ベースライン注釈１２２と意味的に関連するマイニングイメージ１２０を返す。しかしながら、コンテンツの作者が用いる語彙は大幅に変化する可能性があり、自然言語の大部分の単語は固有の曖昧さを有する。結果として、キーワードは関連するドキュメントコンテンツを常に良く説明しているわけではない。上記の曖昧さの結果、キーワードベースの検索キーワードとドキュメント用語のミスマッチ問題が生ずることがよくある。注釈を表すキーワードは曖昧である可能性があるので、注釈モジュール１１２はマイニングイメージ１２０をさらに評価して、視覚空間内で少なくとも概念的に所与の画像１１４とも関連するイメージ（複数）を特定する（特定したイメージ（複数）は所与のイメージ１１４に対する複製であることもでき、および／または所与のイメージ１１４と十分に視覚的に類似することもできる）。より詳細には、注釈モジュール１１２はマイニングイメージ１２０の視覚的特徴を所与のイメージ１１４の視覚的特徴と比較して視覚的類似性尺度（即ち、ランキング）を生成し、所与のイメージ１１４に対してテキスト空間で関連（即ち、意味的に関連）するだけでなく、視覚空間でも関連するイメージを特定する（視覚的類似性尺度は「他のプログラムデータ」１２４のそれぞれの部分として示す）。デジタルイメージ間の視覚的類似性を比較する多数の公知技術が存在する。

本実装では、例えば、注釈モジュール１１２は所与のイメージ１１４とマイニングイメージ１２０との視覚的特徴をエンコードして、それぞれのデジタルイメージに対するそれぞれのハッシュ署名を以下のように生成する。本実装では、注釈モジュール１１２は所与のイメージ１１４とそれぞれのマイニングイメージ１２０とに対するそれぞれの特徴を、公知のＮビン（例えば、３６個のビン）カラー相関曲線ベースの操作を用いて生成する。カラー相関曲線に基づくものに加え、他の公知技術を使用して特徴ベクトルを生成することもできる。注釈モジュール１１２は生成した特徴ベクトルに、多数のデジタルイメージ（例えば、何百万ものイメージ）から生成したＰＣＡ変換モデルを掛け合わせ、後の比較のためバイナリビットに量子化する。例えば、特徴ベクトルの要素がＰＣＡ変換モデルに関連付けた最大固有ベクトルの平均より大きい場合、注釈モジュール１１２はその要素を１に量子化（エンコード）し、そうでなければその要素を０にエンコードする。これらのバイナリエンコーディングはそれぞれのハッシュ署名を表す。

注釈モジュール１１２はそれぞれのマイニングイメージ１２０のハッシュ署名と所与のイメージ１１４のハッシュ署名とを使用して、それぞれのマイニングイメージ１２０と所与のイメージ１１４との間の視覚的類似性を測定する。注釈モジュール１２０は１つまたは複数の公知技術を使用して上記の視覚的類似性を測定することができる。例えば、注釈モジュール１１２は、ユークリッド距離付きハッシュ符号重複除去（ｈａｓｈ ｃｏｄｅ ｄｅ−ｄｕｐｕｌｉｃａｔｉｏｎ ｐｌｕｓ Ｅｕｃｌｉｄｅａｎ ｄｅｉｓｔａｎｃｅ）、ハッシュ符号距離、重み付きハッシュ符号距離のようなデジタルイメージの視覚空間距離尺度に関する複数の技術のうち１つまたは複数を実装することができ、あるいは他の技術を使用して視覚的類似性を測定することができる。１つの実装では、例えば、注釈モジュール１１２はユークリッド距離付きハッシュ符号重複除去を使用してマイニングイメージ１２０と所与のイメージ１１４との間の視覚的類似性を測定する。本例では、注釈モジュール１１２は所与のイメージ１１４のハッシュ署名の上位ｎビットの断片を、視覚的類似性を測定するための索引として利用する（上位ビットは大きな固有値に対応し、これは視覚空間内のより長い距離を意味する）。注釈モジュール１１２は、意味的に関連するイメージに関連付けた相関曲線に基づいてユークリッド距離を計算する。

別の例では、注釈モジュール１１２はハッシュ符号距離を使用して、マイニングイメージ１２０と所与のイメージ１１４との間の視覚的類似性を測定する。例えば、１つの実装では、注釈モデル１１２はハミング距離を利用して、２つのそれぞれのイメージ間で異なるビットの数を測定し、イメージ類似性尺度を決定する。重み付きハッシュ符号距離の使用に関して、上位ビットは一般に下位ビットより重要であると考えられるので、注釈モジュール１１２は（比較しているイメージに関連付けた）上位ビット間の差分に、下位ビット間の差分より大きな重みを与える。注釈モジュール１１２はハッシュ署名を均等にビンに（例えば、３２ビットのハッシュ符号を８個のビンに）分離し、ｉ番目のビンを２^8-i，１≦ｉ≦８により重み付けする。この式を、最良の結果に合うように修正することができる。例えば、ビンの数が８に等しくない場合、用いているビンの数を表すように上記の式を調節する。このように、第１のイメージと第２のイメージとの間の視覚的距離（ランキング）は重み付きハミング距離である。

注釈モジュール１１２は、マイニングイメージ１２０と所与のイメージ１１４の各々間の視覚的類似性尺度に基づいて、マイニングイメージ１２０からＮ個のトップクラスイメージ１２６を特定する。本実装では、パラメータＮはシステム１００の特定の実装に基づいて構成可能である。例えば、１つの実装では、Ｎは２０００に等しいが、Ｎは異なる値であってもよい。

例示的な注釈予測
注釈モジュール１１２はトップクラスイメージ（複数）１２６に関連付けた他の注釈の取り出しまたは抽出を行う。これらの他の注釈を、抽出済み注釈（複数）１２８として示す。これらの他の注釈を注釈モジュールにより（またはウェブクローリングモジュールのような異なるプログラムモジュールから）、ローカルおよび／またはリモートデータベースにおけるそれらのそれぞれの位置にあるトップクラスイメージ（複数）１２６のコンテキスト（複数）から取り出す。上記コンテキストには例えば、リソース（トップクラスイメージ１２６）のタイトル、リソースに関連付けたディレクトリフォルダの名前、リソースの記述、ウェブページ上またはドキュメント内のリソースに関連するテキスト、リソースと関係する（例えば、同一ウェブページ上、同一フォルダ、ドキュメント内、等）他のイメージに関連付けたテキスト、リソースのロケーションを指定するＵＲＩ（Ｕｎｉｖｅｒｓａｌ Ｒｅｓｏｕｒｃｅ Ｉｄｅｎｔｉｆｉｅｒ）、リソースのカテゴリ、等が含まれる。

注釈モジュール１１２は抽出済み注釈１２８をクラスタ化（即ち、抽出済み注釈１２８の各々をそれぞれのドキュメントとして処理）して、抽出済み注釈１２８のトップクラスの概念（例えば、単語および／または句）を特定する。例示のため、上記のクラスタおよび概念を「他のプログラムデータ」１２４のそれぞれの部分として示す。１つの実装では例えば、注釈モジュール１１２はこれらの概念を、「非特許文献１」で説明されるもののようなクラスタ化操作を実装（または「他のプログラムモジュール」１１８からアクセス）することで特定するが、異なるクラスタ化技術を使用してもよい。クラスタ化操作は多数のクラスタを生成し、それぞれのクラスタにはそれぞれの共通概念（または重要な句）を割り当てる。

それぞれのクラスタに対する共通概念（クラスタ名）を得るため、クラスタ化操作は句（ｎグラム）を抽出済み注釈１２８から抽出し、それぞれの抽出済み句に対する１つまたは複数の特性（例えば、句の頻度、ドキュメント頻度（即ち、句と注釈の間の頻度）、等）を計算する。クラスタ化操作は事前構成した退行モデルを適用し、それぞれのクラスタに対して、計算した特性を単一の重要度スコアに結合する。その重要度スコアを用いて、クラスタ化操作はトップクラスの句を候補クラスタの共通概念（名前）として使用する。これらの候補クラスタをその対応ドキュメント（即ち、関連するデジタルイメージ）に従ってさらにマージして、最終的な重要度スコアをそれぞれのクラスタに割り当てる。

本実装では、それぞれのクラスタに対し、閾値を使用して候補トップクラスイメージ１２６をそのクラスタに対してマージ（フィルタ）する（他の技術を使用してイメージをそれぞれのクラスタとマージすることもできる）。その閾値は、イメージ類似性重み＊平均視覚的類似性スコアに等しい。本実装では、類似性重みは特定のクラスタ化操作の実装に基づいて０．８−１．６の範囲から選択するが、他の範囲を同様に使用することができる。例えば、本実装では類似性重みは１．２に等しい（類似性重みが１．６に等しいときは、不十分なイメージがクラスタ化に使用され、類似性重みを０．８に設定したときは、ほぼ全てのイメージがクラスタ化に使用された）。イメージの視覚的類似性スコアの平均は所与のイメージ１１４に対するイメージｉの視覚的類似性の合計（即ち、上述のキーワードおよび視覚的フィルタリング換作による出力）をマイニングイメージ１２０の数で割ったものに等しい）。

クラスタの最終的な重要度スコアを様々な基準を用いて決定することができる。例えば、クラスタの最終的な重要度スコアを最大クラスタサイズの基準、メンバのイメージスコア平均の基準、等を用いて決定することができる。最大クラスタサイズの基準に関して、これはＭＡＰ（Ｍａｘｉｍｕｍ ａ Ｐｏｓｔｅｒｉｏｒｉ）推定であるが、この基準は、所与のイメージ１１４に対して最大の重要性を有する共通概念はクラスタメンバイメージを支配する概念から成る句であることを前提とする。従って、本技術によると、クラスタの最終的な重要度スコアはそのメンバイメージの数に等しい。本実装では、例えば、最大クラスタサイズの基準を利用して、最大の３つのクラスタ（および関連するクラスタ名）を選択する。

メンバのイメージスコア平均の基準を用いた重要度スコアのクラスタへの割り当てに関して、本技術はメンバのイメージ類似性の平均をクラスタのスコアとして使用する。クラスタ内の全てのイメージがベースライン注釈１２２に最も関連する場合、このクラスタの共通概念は所与のイメージ１１４のものを表す可能性があるであろう。この目的で、閾値（または他の基準）を、低ランクのクラスタを最終的なクラスタ集合から省略すべきかどうかを決定するためのギャップとして使用する。本実装では、閾値を０．９５＊（ランクがｉ−１であるクラスタのスコア）に従って設定する。ここで、ｉは現在のクラスタのランキングを表す。現在のクラスタ（即ち、ランクがｉであるクラスタ）がこの閾値未満である場合、現在のクラスタとそれよりランクが低い全ての他のクラスタは使用しない。特定数より多くのクラスタ（例えば、３個またはそれ以外の数のクラスタ）がこの間値を超過する場合、特定数（例えば、３個またはそれ以外の数）のトップクラスクラスタのみを使用して最終的な抽出済み概念を特定する。

本実装では、注釈モジュール１１２は重要で補完的な注釈１１６を、閾値を超過する最終的な重要度スコア（ランキング）を有するクラスタに関連付けた共通概念（クラスタ名）から、重複するキーワード、用語、等を除去することで生成する。注釈モジュール１１２は、重要で補完的な注釈１１６で所与のイメージ１１４に注釈を施す。

例示的な手続き
図２は、１つの実施形態による、検索による注釈を施す例示的な手続き２００を示す。例示および説明のため、手続き２００の動作を図１の構成要素に関連して説明する。ブロック２０２で、所与のイメージ１１４のベースライン注釈１２２に意味的に関連するデジタルイメージ集合（即ち、マイニングイメージ１２０）を特定する。１つの例として、注釈モジュール１１２はローカルおよび／またはリモートデータベース（複数）のキーワードベース検索を実行して、所与のイメージ１１４のベースライン注釈１２２に意味的に関連するデジタルイメージ集合（即ち、マイニングイメージ１２０）を発見する。１つの実装では、所与のイメージ１１４およびベースライン注釈１２２は、コンピューティング装置１０２のユーザからの検索問合せ（「他のプログラムデータ」１２４で示す）を表す。ユーザは命令と情報を、キーボード、ポインティングデバイス、音声認識、等のような装置（図示せず）経由でコンピュータ１０２に入力することができる。別の実装では、所与のイメージ１１４およびベースライン注釈１２２はリモートコンピューティング装置１３２のユーザからの検索問合せ１３０を表す。リモートコンピューティング装置１３２はネットワーク１２３上でコンピューティング装置１０２に接続する。例えば、リモートコンピューティング装置１３０のユーザ。

ブロック２０４で、マイニングイメージ１２０の各々の、所与のイメージ１１４に対する視覚的類似性を測定（ランク付け）する。１つの実装では、例えば、注釈モジュール１１２はそれぞれのマイニングイメージ１２０の、所与のイメージ１１４に対する視覚的類似性を測定する。所与のイメージ１１４に対するそれぞれのマイニングイメージ１２０間の視覚的類似性を測定する複数の可能な技術が存在する。上記の技術には例えば、ユークリッド距離付きハッシュ符号重複除去、ハッシュ符号距離、重み付きハッシュ符号距離、等が含まれる。

ブロック２０６で、所与のイメージ１１４に最も視覚的に類似するトップクラスイメージ１２６をマイニングイメージ１２０から特定（導出）する。１つの例では、注釈モジュール１１２はトップクラスイメージ１２６を、マイニングイメージ１２０と所与のイメージ１１４の各々の間の視覚的類似性尺度（即ち、視覚的類似性ランキング）に基づいて、マイニングイメージ１２０から特定する。本実装では、トップクラスイメージ１２６の数は、システム１００の特定の実装に基づいて構成可能である。ブロック２０８で、トップクラスイメージ（複数）１２６に関連付けた他の注釈（即ち、抽出済み注釈（複数）１２８）を、トップクラスイメージ１２６のコンテキストから抽出する。上記コンテキストには例えば、リソース（トップクラスイメージ１２６）のタイトル、リソースに関連付けたディレクトリフォルダの名前、リソースの説明、ウェブページ上またはドキュメント内のリソースに関連するテキスト、リソースと関係する（例えば、同一ウェブページ上、同一フォルダ、ドキュメント内、等）テキスト、リソースのロケーションを指定するＵＲＩ（Ｕｎｉｖｅｒｓａｌ Ｒｅｓｏｕｒｃｅ Ｉｄｅｎｔｉｆｉｅｒ）、リソースのカテゴリ、等が含まれる。１つの例では、注釈モジュール１１２はトップクラスイメージ（複数）１２６に関連付けた他の注釈（即ち、抽出済み注釈（複数）１２８）の取り出しまたは抽出を行う。

ブロック２１０で、抽出済み注釈１２８をクラスタ化してトップクラス共通概念（例えば、重要で補完的な注釈１１６を備える単語および／または句）を抽出済み注釈１２８から特定する。これらのトップクラス共通概念を重要で補完的な注釈１１６として示す。１つの実装では、注釈モジュール１１２は抽出済み注釈１２８をクラスタ化して重要で補完的な注釈１１６を特定する。ブロック２１２で、所与のイメージ１１４に、重要で補完的な注釈１１６の少なくともサブセットで注釈を施す（補完する）。例えば、１つの実装では、所与のイメージ１１４に重要で補完的な注釈１１６で注釈を施す前に、重複するキーワード、用語、等を、重要で補完的な注釈１１６から除去する。１つの実装では、注釈モジュール１１２は所与のイメージ１１４に、重要で補完的な注釈１１６の少なくともサブセットで注釈を施す。

図３は、１つの実施形態による、検索による注釈付与に対するデータおよびプロセスフローの例示的なフレームワーク３００を示す。例示的な説明および参照のため、フレームワーク３００の態様を図１および２の構成要素および／または操作に関して説明する。説明では、参照番号の最も左の数字は構成要素または操作を提示した最初の図面を示す。

図３を参照する。フレームワーク３００は検索による注釈付与に対する３つの段階を示す。その段階には、キーワードベースの検索段階（数字（１）で示す）、視覚的特徴検索段階（数字（２）で示す）、および注釈クラスタ化、または学習段階（数字（３）で示す）が含まれる。データ３０２はイメージ３０４（即ち、所与のイメージ１１４）およびキャプション３０６（即ち、ベースライン注釈１２２）に関連付けた問合せを表す。１つの実装では、問合せ３０２はコンピューティング装置１０２またはリモートコンピューティング装置１３２のユーザから受信した検索問合せである（図１の問合せ１３０を参照）。本例では、問合せイメージ３０４は少なくとも湖、雲、および木を含む景色である。問合せイメージ３０４は任意の種類のイメージを表現可能であることは理解できる。本例では、キャプション３０６は問合せイメージ３０４に注釈を施すための単語「日没」を示す。

操作３０８は、キャプション３０６（「日没」）を用いて、データベース３１０のキーワードベース検索を実行し、問合せイメージに意味的に関連するイメージ集合３１２（即ち、マイニングイメージ１２０）を特定する。データベース３１０は、図１のシステム１００のローカルおよび／またはリモートイメージデータベースの任意の組合せを表す。キャプション３０６に関連付けた情報のデータフローを図３において実線で示す。操作３０９は後続の類似性検索操作に対して、問合せイメージ３０４の各々と、意味的に関連するイメージ３１２とに対するそれぞれのハッシュマップ／署名３１４を生成する。所与のイメージ１１４に関連付けた情報のデータフローを図３において破線で示す。

操作３１６は、意味的に関連するイメージ３１２の問合せイメージ３０４に対する視覚的類似性を、それぞれのイメージ３１２のそれぞれのハッシュ署名３１４と問合せイメージ３０４のハッシュ署名３１４とを用いることでランク付け（即ち、測定）する。この視覚的類似性（または距離）をハッシュ署名３１４で測定する様々な技術が存在する。その技術には例えば、ユークリッド距離付きハッシュ符号重複除去、ハッシュ符号距離、重み付きハッシュ符号距離、等が含まれる。フレームワーク３００は視覚的類似性ランキングを使用して、構成可能な数のイメージ３１２を選択する。その構成可能な数のイメージ３１２は、イメージ３１２の他のものよりも、問合せイメージ３０４に対して視覚的に類似する。これらのより視覚的に類似するイメージ３１２をトップクラスイメージ３１８（３１８−１から３１８−Ｎ）として示す。トップクラスイメージ３１８は図１のトップクラスイメージ１２６を表す。

フレームワーク３００はトップクラスイメージ３１８に関連付けたコンテキストから注釈を抽出する。上述のように、上記のコンテキストには例えば、イメージ３１８のタイトル、イメージ３１８に関連付けたディレクトリフォルダの名前、イメージ３１８の説明、ウェブページ上またはドキュメント内のイメージ３１８と関連するテキスト、イメージ３１８と関係する（例えば、同一ウェブページ上、同一フォルダ、ドキュメント内、等）他のイメージに関連付けたテキスト、イメージ３１８のロケーションを指定するＵＲＩ（Ｕｎｉｖｅｒｓａｌ Ｒｅｓｏｕｒｃｅ Ｉｄｅｎｔｉｆｉｅｒ）、イメージ３１８のカテゴリ、等が含まれる。これらの抽出した注釈を抽出済み注釈３２０（即ち、図１の抽出済み注釈１２８）として示す。抽出済み注釈３２０に関連付けたデータフローを、段階（３）に関連付けた破線および点線で示す。

ブロック３２２で、フレームワーク３００は検索結果クラスタリング（即ち、グループ化）操作を実行してトップクラス共通概念（例えば、３２４−１から３２４−Ｎの補完注釈）を抽出済み注釈３２０のクラスタ（例えば、３２６−１から３２６−Ｎのクラスタ）から特定する。本実装では、これらの共通概念を「非特許文献１」で説明される操作を用いて決定するが、異なるクラスタ化技術を使用することもできる。

それぞれのクラスタ３２６をそれぞれのイメージ集合と根底にある共通概念３２４とで示すが、クラスタ３２６はイメージを含まない。代わりにそれぞれのクラスタ３２６は或る特定の抽出済み注釈３２０を含む。クラスタ内のイメージをこのように示すことは、それぞれの共通概念３２４の、抽出済み注釈３２０の１つまたは複数に関連付けたそれぞれのトップクラスイメージ３１８に対する関係を示すことを象徴するに過ぎない。フレームワーク３００は重複するキーワード、用語、等を共通概念３２４から除去して補完注釈３２８を生成する。補完注釈３２８は図１の重要で補完的な注釈１１６を表す。操作３３０で、フレームワーク３００は補完注釈３２８で問合せイメージ３０４に注釈を施す。

１つの実装では、説明したフレームワーク３００の操作を図１のそれぞれのプログラムモジュール１０８により実行する。例えば、１つの実装では、注釈モジュール１１２はフレームワーク３００の操作を実装する。

結論
検索による注釈付与システムおよび方法を構造的特徴および／あるいは方法論的操作または動作に固有な言葉で説明したが、添付請求項で定義した実装は必ずしも上述の特定の特徴または動作に限定されないことは理解される。例えば、意味的に関連するイメージを最初に特定し、次いで意味的に関連するイメージの視覚的類似性を決定してトップクラスイメージ１２６を生成するとしてシステム１００を説明したが、別の実装では、システム１００は（ａ）説明したキーワード検索操作、または（ｂ）視覚的に類似するイメージに対するローカルおよび／またはリモートデータベースの検索のうち１つのみを用いて生成する。トップクラスイメージ１２６を視覚的に類似するイメージのみから生成するとき、所与のイメージ１１４をベースライン注釈１２２と独立した問合せイメージとして入力することができる。別の例では、１つの実装においてコンピューティング装置１０２は検索サービスによる注釈付与をネットワーク１２３上でリモートコンピューティング装置１３２に提供する。上述を考慮して、システム１００の特定の特徴および操作を、クレーム主題を実装する例示的な形態として開示する。

１つの実施形態に従い検索による注釈を施す例示的なシステムを示す図である。 １つの実施形態に従い検索による注釈を施す例示的な手続きを示す図である。 １つの実施形態に従い、検索による注釈を施す例示的なデータおよびプロセスのフローを示す図である。

Claims (19)

1. プロセッサにより実行可能なコンピュータプログラム命令を備えるコンピュータ読取可能記憶媒体であって、前記コンピュータプログラム命令は、
   所与のイメージのベースライン注釈に意味的に関連し、前記所与のイメージに視覚的に類似するイメージに対する１つまたは複数の記憶データを検索するステップと、および
   前記所与のイメージに、前記視覚的に類似するイメージの少なくともサブセットに関連付けた注釈の共通概念で注釈を施すステップ
   に対する命令を含むコンピュータプログラム命令を記憶したことを特徴とするコンピュータ読取可能記録媒体。
2. 前記コンピュータプログラム命令は、前記所与のイメージに注釈を施す前に、前記共通概念から重複した用語を除去する命令をさらに備えることを特徴とする請求項１に記載のコンピュータ読取可能記憶媒体。
3. 前記コンピュータプログラム命令は、前記所与のイメージと前記ベースライン注釈とを備える検索問合せを受信する命令をさらに備えることを特徴とする請求項１に記載のコンピュータ読取可能記憶媒体。
4. 前記の意味的に関連するイメージの、前記所与のイメージに対する視覚的類似性を測定するステップをさらに備え、および
   前記視覚的に類似するイメージの少なくともサブセットは、前記視覚的に類似するイメージの他のものより前記所与のイメージに視覚的に類似すると決定される前記視覚的に類似するイメージの或る特定のものを備えること
   を特徴とする命令
   を前記コンピュータプログラム命令がさらに備えることを特徴とする請求項１に記載のコンピュータ読取可能記憶媒体。
5. 前記視覚的に類似するイメージの少なくともサブセットに関連付けた注釈の各々から抽出した句に対する特性を計算するステップであって、前記視覚的に類似するイメージの少なくともサブセットに関連付けた注釈を複数のクラスタのそれぞれのクラスタにグループ化したステップと、
   それぞれのクラスタに対して、前記特性の関連するものを結合して前記クラスタに対する重要度スコアを生成するステップ
   をさらに備え、および
   前記共通概念に、前記クラスタの他のものと関連付けた重要度スコアと比較して高い重要度スコアを有するクラスタを関連付けたこと
   を特徴とする命令
   を前記コンピュータプログラム命令がさらに備えることを特徴とする請求項４に記載のコンピュータ読取可能記憶媒体。
6. 所与のイメージのベースライン注釈に意味的に関連する第１のイメージ集合を検索するステップと、
   前記第１のイメージ集合内のそれぞれのイメージを評価して、前記所与のイメージに少なくとも概念的に関連する第２のイメージ集合を特定するステップと、
   前記第２のイメージ集合に関連付けた注釈を特定するステップと、
   前記第２のイメージ集合に関連付けた注釈の一部に共通な概念を複数決定するステップと、および
   補完的な注釈として、前記概念の少なくともサブセットで前記所与のイメージに注釈を施すステップ
   を備えることを特徴とするコンピュータ実行型の方法。
7. 前記所与のイメージと前記ベースライン注釈とを備える入力を受信するステップをさらに備えることを特徴とする請求項６に記載の方法。
8. 前記検索ステップは、前記ベースライン注釈を、前記第１のイメージ集合に関連付けたテキストと相関付けるステップをさらに備えることを特徴とする請求項６に記載の方法。
9. 前記評価ステップは、ハッシュ署名エンコードした前記所与のイメージの視覚的特徴を、ハッシュ署名エンコードした前記第１のイメージ集合内の各イメージの視覚的特徴と比較するステップをさらに備えることを特徴とする請求項６に記載の方法。
10. 前記評価ステップは、
    前記第１のイメージ集合内の各イメージの、前記所与のイメージに対する視覚的類似性を測定するステップと、
    前記測定ステップで決定した視覚的類似性尺度に基づいて、前記第１のイメージ集合からの他のイメージよりも前記所与のイメージに視覚的に関連するトップクラスイメージの集合を特定するステップ、
    をさらに備え、および
    前記第２のイメージ集合は前記トップクラスイメージであること
    を特徴とする請求項６に記載の方法。
11. 注釈を特定するステップは、前記第２のイメージ集合のコンテキストからテキストを抽出するステップをさらに備えることを特徴とする請求項６に記載の方法。
12. 概念を決定するステップは、
    それぞれのクラスタが前記クラスタの重要度概念と関連付けられるように、前記第２のイメージ集合に関連付けた注釈をクラスタ化するステップと、
    前記クラスタに関連付けた複数の重要度概念のそれぞれの重要度概念に対する重要度スコアを決定するステップと、
    前記重要度スコアの各々に基づいて前記複数の重要度概念からトップクラスの重要度概念の集合を選択するステップ、
    をさらに備え、および
    前記トップクラスの重要度概念の少なくともサブセットは前記の補完的な注釈であること
    を特徴とする請求項６に記載の方法。
13. プロセッサと、および
    前記プロセッサに接続したメモリであって、前記メモリは、前記プロセッサによる実行時に
    所与のイメージと前記所与のイメージのベースライン注釈とを備える検索問合せを受信するステップと、および
    前記所与のイメージを、第１のイメージ集合に関連付けた追加の注釈で補足するステップであって、前記第１のイメージ集合内のそれぞれのイメージは前記所与のイメージに視覚的に類似し、前記ベースライン注釈に意味的に関連する注釈に関連付けられるステップ
    の動作を実行するコンピュータプログラム命令を備えるメモリ
    を備え、前記追加の注釈は、それぞれの注釈グループの共通概念を表することを特徴とするコンピューティング装置。
14. 前記追加の注釈はタイトル、説明、カテゴリ、ウェブページからの情報、フォルダ名、Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｉｄｅｎｔｉｆｉｅｒの少なくとも一部、前記第１のイメージ集合内にない異なるイメージと関連するテキスト、のうち１つまたは複数を表すことを特徴とする請求項１３に記載のコンピューティング装置。
15. 前記第１のイメージ集合はより大きいイメージ集合のサブセットであり、前記のより大きいイメージ集合内のそれぞれのイメージは、前記ベースライン注釈と意味的に関連し、前記所与のイメージに対する視覚的類似性と独立していることを特徴とする請求項１３に記載のコンピューティング装置。
16. 前記コンピュータプログラム命令は、１つまたは複数のイメージデータベースからマイニングした第２のイメージ集合から前記第１のイメージ集合を導出する命令をさらに備え、前記第２のイメージ集合内の各イメージを、前記所与のイメージに関連付けたテキストに基づいてマイニングしたことを特徴とする請求項１３に記載のコンピューティング装置。
17. 前記ベースライン注釈に意味的に関連する第２のイメージ集合を発見するキーワードベース検索を実行するステップと、
    前記第２のイメージ集合を検索して、前記所与のイメージに対する十分な視覚的類似性を有する１つまたは複数のイメージを求めるステップと、
    前記１つまたは複数のイメージの１つまたは複数のコンテキストからテキストを抽出するステップ、
    をさらに備え、および
    前記テキストは少なくとも前記追加の注釈を備えること
    を特徴とする命令
    を前記コンピュータプログラム命令がさらに備えることを特徴とする請求項１３に記載のコンピューティング装置。
18. 前記テキスト内の句を特定するステップと、
    それぞれの句の特性に基づいて重要度スコアを前記句に割り当てるステップ、
    をさらに備え、および
    前記追加の注釈は、前記テキストの他の部分と関連付けた重要度スコアと比較して高い重要度スコアを有する前記テキストの少なくとも一部を備えること
    を特徴とする命令
    を前記コンピュータプログラム命令がさらに備えることを特徴とする請求項１７に記載のコンピューティング装置。
19. 前記それぞれの句の特性は、句の頻度および句と注釈の間の頻度のうち１つまたは複数を備えることを特徴とする請求項１８に記載のコンピューティング装置。

Images