JP5774985B2 - 画像の類似検索システム及び方法 - Google Patents

画像の類似検索システム及び方法 Download PDF

Info

Publication number
JP5774985B2
JP5774985B2 JP2011512422A JP2011512422A JP5774985B2 JP 5774985 B2 JP5774985 B2 JP 5774985B2 JP 2011512422 A JP2011512422 A JP 2011512422A JP 2011512422 A JP2011512422 A JP 2011512422A JP 5774985 B2 JP5774985 B2 JP 5774985B2
Authority
JP
Japan
Prior art keywords
image
images
classifier
categories
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011512422A
Other languages
English (en)
Other versions
JP2011523137A (ja
Inventor
ドン−チン チャン
ドン−チン チャン
ジョシ ラジャン
ジョシ ラジャン
ビー．ベニテス アナ
ビー．ベニテス アナ
イン ルオ
イン ルオ
ジュ グオ
ジュ グオ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2011523137A publication Critical patent/JP2011523137A/ja
Application granted granted Critical
Publication of JP5774985B2 publication Critical patent/JP5774985B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、コンピューターグラフィック処理及び表示システムに関し、特に、画像の類似検索に関する。
クエリ画像に類似する画像の検出及び検索は、実社会における様々なアプリケーションに非常に有益である。本開示で記載される技術は、画像データベースをクエリすることの課題を扱い、好ましくは意味的な水準（つまり、同一のオブジェクト及び背景を含むが、場合により様々なバリエーションを含む画像）でクエリ画像に類似する画像を見つけ出すことである。この課題は、様々なアプリケーションで生じ、例えば、モバイル端末での位置認識サービスであり、ユーザーがランドマークの画像を撮影し、次に、このモバイル端末がユーザーにランドマークの位置と説明を知らせることができる場合である。別のアプリケーションでは、ユーザーが店内で複数の製品の画像を撮影し、次に、このモバイル端末が、異なる小売店で提供される同一の製品を対応する価格でウェブページを返すことができる。著作権侵害の発見において、未許可画像の使用に対してインターネット上を検索することにより、著作権侵害となりうるものを識別することができる。マルチメディアのコンテンツ管理において、複製物及びこれに準じる物は、多数のソースのビデオ、報道及びウェブページにおける記事でのストーリーへのリンクを支援することができる。
本開示で記載される技術は一般画像又はビデオ検索に適用することができるけれども、本発明の開示は、色やテクスチャ（ｔｅｘｔｕｒｅ）等の低水準の特徴に基づく視覚による検索よりも、意味的な水準で画像又はビデオを検索することに焦点をあてる。低水準の特徴に基づく画像又はビデオの検索は十分に研究されており、高効率の検索アルゴリズムが大規模データベースに対して利用可能である。意味的な水準で画像又はビデオを検索することは、上記低水準の特徴の検索よりもはるかに困難なものである。その理由は、画像又はビデオに含まれるオブジェクトの比較が含まれるからである。上述のアプリケーション等、多くの実社会のアプリケーションにとって、低水準特徴型検索は、一般に、異なるオブジェクトを含む画像が類似の色又はテクスチャを有さないので十分ではない。
意味的なレベルでの画像又はビデオ検索は、画像内のオブジェクトの比較を要求する。この趣旨において定義される類似画像は、同一のオブジェクト及び背景を含むべきものであるが、オブジェクト動作、明暗の変化等のいくつかの変更を有しうる。課題は、非常に困難なものであり、なぜならば、コンピューターや計算装置等にとって意味的な水準で画像を理解し又は表現することが困難だからである。意味的な水準で画像及びビデオの検索を実行するいくつかの初期の研究が存在した。例えば、D. Q. Zhang 及びS. F. Chang著の「Detecting Image Near-Duplicate by Stochastic Attributed Relational Graph Matching with Learning」２００４年１０月、ACM Multimedia（米国ニューヨーク）には、機械学習法を用いて精密近似複製検出及び検索する部分型類似測定が記載されている。Zhang等により述べられる類似測定は、画像内のオブジェクト同士を実際に比較して、高精度な結果を得ることができる。しかし、本方法は、低水準特徴（例えば、色ヒストグラム）を用いる従来の検索方法と比較してとても遅く、また、実社会のアプリケーションに適用するのが困難である。
従って、意味的な水準で画像を効果的に検索するための技術に対するニーズが存在する。
分類構造で効果的に画像の意味類似検索をするためのシステム及び方法が提供される。本システム及び方法は、画像データベースをクエリして、意味的な水準、つまりクエリ画像と同じオブジェクト及び背景を含み、いくつかの変形を持つ画像であって、クエリ画像に類似するものを発見することを可能にする。本開示の技術は、ある特定のクラス又はカテゴリー内の画像の意味類似検索を制限することにより、類似性計算を大幅に減少させる。まず、データベース内の全ての画像に対して分類検索ツリーが構築される。次に、入力クエリ画像それぞれに対して、クエリ画像が１又は複数のカテゴリー（通常、人々、屋内、屋外等の意味カテゴリー）に分類される。カテゴリーは、全体の画像空間、つまり複数の画像のデータベースのサブセットを表す。画像類似性計算は、次に、サブセット内に限定される。
本開示の１つの態様に従って、関心画像に関して、複数の画像を検索する方法が提供される。本方法は、複数の画像に対して分類構造を構築する。分類構造は、少なくとも２つの画像カテゴリーを含み、画像カテゴリーのそれぞれは複数の画像のサブセットを表す。そして、本方法は、次に、クエリ画像を受信して、少なくとも２つの画像カテゴリーのうちの選択された１つに対して、関心画像に対する検索を制限する。
別の態様に従って、関心画像に関して、複数の画像を検索するシステムは、少なくとも２つの意味カテゴリーに構造化される複数の画像を含むデータベースを含む。各意味カテゴリーは、複数の画像のサブセットを表す。また、本システムは、少なくとも１つの画像を取得する手段と、クエリ画像を分類して少なくとも２つの意味カテゴリーのうちの１つを選択する画像分類モジュールと、クエリ画像を用いて関心画像を検索する画像検索モジュールとを含み、検索が、少なくとも２つの意味カテゴリーのうちの選択された１つに制限されることを特徴とする。
さらに別の態様に従って、機械により実行可能なプロラム命令を明確に実行して、関心画像に関して、複数の画像を検索する複数のステップを実行するための機械可読プログラム媒体装置が提供される。本方法は、複数の画像に対して分類構造を構築することを含む。分類構造は、少なくとも２つの画像カテゴリーを含み、画像カテゴリーのそれぞれは、複数の画像のサブセットを表す。また、本方法は、クエリ画像を受信し、クエリ画像を少なくとも２つの画像カテゴリーのうちの選択された１つに分類し、関心画像に対する検索を少なくとも２つの画像カテゴリーのうちの選択された１つに制限する。
図面において同じ参照番号は、全体の一覧において類似の要素を示す。
図１は、本開示の態様に従う画像の類似検索のためのシステムの例示的な図である。 図２は、本開示の態様に従う画像の類似検索のための例示的な方法のフロー図である。 図３は、本開示に従う分類検索ツリーを示す。 図４は、本開示に従う分類検索ツリーにおいて実行される単純検索を示す。 図５は、本開示に従う分類検索ツリーにおいて実行される冗長検索を示す。 図６は、本開示の態様に従う分類検索ツリーを構築又は生成するための方法を示す。 図７は、タグ付けされたキーワードを持つ画像に関する特徴ベクトルを示す。 図８は、本開示の態様に従う分類検索データベースに新しい画像を追加するための方法を示す。
本開示によるこれら及び他の態様、特徴、及び利点が説明され、又は添付の図面と関連して参照されることにより好適な実施形態における詳細な説明から明確なものになる。
図に示す各要素は、ハードウェア、ソフトフェア、またはその組み合わせによる様々な形態で実施されうることが理解されよう。これら各要素は、ハードウェアと、適切にプログラムされた１以上の汎用デバイスであって、プロセッサー、メモリー、入出力インターフェースを含むことが可能な汎用デバイス上のソフトウェアと、を組み合わせて実施される。
本明細書の記載は、本開示による原則を示す。したがって、ここで明確に記載又は示されていなくとも、当業者であれば、本開示による原則を具現化し、そしてその主旨および範囲内に含まれる様々な配置を考案できることが理解されよう。
ここに列挙される全ての例及び条件付の用語は、本開示による原則と、技術促進への寄与に向けられた発明者による概念と、を読み手が理解するのを支援する教育的目的を意図するものであり、また、この特別に列挙された例及び条件に限定されることなしに解釈されるものである。
さらに、ここで、本開示による原則、態様、実施形態及びその特定の例を列挙している全ての記載は、構造的及び機能的な均等物の双方を包含することを目的とする。また、これら均等物は、現在公知の均等物及び将来開発される均等物、つまり構造に関係なく、同一の機能を発揮するように開発されたいかなる要素をも含むように意図される。
したがって、例えば、ここで示されるブロック図は、本開示による原則を具現化する図示による概念的回路を表すことを当業者に理解されよう。同様に、いかなるフローチャート、フロー図、状態遷移図、及び擬似コード等は、実質的にコンピューター可読媒体に表され、また、コンピューター又はプロセッサーが明示されていてもいなくても、コンピューター又はプロセッサーにより実行される様々な処理を示す。
図に示す様々な要素による機能は、専用ハードウェア及び最適なソフトウェアと共同してソフトウェアを実行することができるハードウェアの利用により提供可能である。プロセッサーにより提供される場合、単一の専用プロセッサー、単一の共有プロセッサー、又は複数の単一プロセッサー（幾分かは共有可能）により、提供可能である。さらに、語句「プロセッサー」又は「コントローラー」のような明示的使用は、専らソフトウェア実行可能なハードウェアのみに言及されていると解釈されるべきではなく、限定することなく、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）ハードウェア、ソフトウェアを格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、及び不揮発性記憶を含むことが可能である。
他の従来型またはカスタムハードウェアもまた含まれる。同様に、図に示す任意のスイッチは単に概念的なものである。それらの機能は、専用ロジック、制御プログラム及び専用ロジックの相互作用による論理プログラムの動作、または手動により実行可能であり、特定の技術は、文脈によりとりわけ理解されるような実行機により選択される。
特許請求の範囲に関し、特定の機能を実施する手段として表現されたいかなる要素も、例えば、ａ）当該機能を実行する回路素子の組み合わせ、又はｂ）当該機能を実行するソフトウェアを実行する適切な回路と結合される、ファームウェア、マイクロコード等を含任意の形態のソフトウェア、を含む機能を実行する任意の方法を包含するものである。この特許請求の範囲により定義される本開示は、列挙された様々な手段により提供される機能が結合され、そして特許請求の範囲に記載された方法において当該機能が共に実行されることを含む。したがって、これら機能を提供することが可能な手段は、本明細書に示すものと等しいとみなすことができる。
クエリ画像に類似する画像の検出及び検索は、実社会における様々なアプリケーションに非常に有用である。課題は、クエリ画像に意味的な基準で類似する画像（つまり、同一のシーンにおいて撮影されたもの、及び同一の対象を有するもの）を効果的に発見することである。いくつかの従来の技術では、低速で意味画像検索する高精度アルゴリズムが提案されている。効率に関する課題は、画像データベースが巨大である場合に特に重要である。通常、画像データベースを検索する時間は、データベースの大きさに直線的に比例する。本開示によるシステム及び方法は、画像データベース構造及び画像の意味を利用することにより、検索を高速化する。
階層処理により画像またはビデオを効果的に検索するためのシステム及び方法が提供される。高品質画像／ビデオ類似アルゴリズム又は関数がすでに利用可能であると仮定すれば、アルゴリズムのスピードは、従来の特徴型の類似性計算アルゴリズムよりも低速である。したがって、本開示によるシステム及び方法は、画像またはビデオデータベースを意味検索することを加速する高速化処理を提供する。省略を目的として、本開示は、ビデオつまり連続する画像にも適用可能であるが、画像検索に焦点をあてることとする。このシステム及び方法は、画像のコンテンツ空間（ｃｏｎｔｅｎｔ ｓｐａｃｅ）の構造を利用することにより、検索アルゴリズムを高速化する。本開示による技術は、特定のクラス又はカテゴリーの範囲内で画像の視覚類似検索を制限して、類似性計算を大幅に削減する。最初に、分類構造が、分類ツリーに限定されないが、データベースの全ての画像に対して構築される。次に、各入力クエリ画像に対して、全体の画像空間のサブセットを表す１以上のカテゴリー（典型的に意味カテゴリーは、人々、屋内、屋外等である）に画像が分類される。画像の類似性計算は次に、当該サブセット内で制限される。
ここで、各図面を参照すると、図1には、本開示による実施形態に従う例示のシステムコンポーネント１００が記載されている。スキャン装置１０３は、フィルムプリント１０４をスキャンするものであり、例えば、カメラフィルムのネガを、デジタルフォーマット例えば、Ｃｉｎｅｏｎ−ｆｏｒｍａｔまたはＳＭＰＴＥ（Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ）のＤＰＸ（Ｄｉｇｉｔａｌ Ｐｉｃｔｕｒｅ Ｅｘｃｈａｎｇｅ）のファイルにする。スキャン装置１０３は、テレシネ（ｔｅｌｅｃｉｎｅ）装置、又はビデオ出力するＡｒｒｉ ＬｏｃＰｒｏ（登録商標）のようなフィルムからのビデオ出力を生成しうる装置を含むことができる。または、ポスト生成プロセス又はデジタルシネマ１０６（例えば、コンピューター可読形態のファイル）からのファイルを直接に用いることができる。コンピューター可読ファイルのソースには、ＡＶＩＤ（登録商標）エディター、ＤＰＸファイル、Ｄ５テープとすることができる。
デジタル画像またはスキャンされたフィルムプリントは、コンピューター等の後処理装置１０２に入力される。このコンピューターは、１以上の中央処理装置（ＣＰＵ）、ＲＡＭやＲＯＭ等のメモリー１１０、キーボード、カーソル制御装置（例えば、マウスやジョイスティック）、及びディスプレイ装置等の入出力（Ｉ／Ｏ）ユーザーインターフェース１１２等のハードウェアを有する公知の様々な任意のコンピューターフォーム上で実施される。このコンピュータープラットフォームは、オペレーティングシステムやマイクロインストラクションコードをもまた含む。ここに記載される様々な処理や機能は、マイクロインストラクションコードの一部とすること、またはオペレーティングシステムを介して実行されるソフトウェアアプリケーションの一部（または、これらの組み合わせ）とすることができる。１つの実施形態において、ソフトウェアアプリケーションプログラムは、プログラム記憶装置上で明確に具現化される。このソフトウェアアプリケーションプログラムは、アップロード可能であり、また、後処理装置１０２のような任意の適切な装置によって実行される。また、様々なインターフェースや、パラレルポート、シリアルポート、又はＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のバス構造により、他の様々な周辺装置を、このコンピュータープラットフォームに接続することができる。他の周辺装置は、追加の記憶装置１２４およびプリンター１２８を含むことができる。
また、コンピューター可読形態１０６（例えば、外部ハードドライブ１２４に格納可能なデジタルシネマ）におけるファイル／フィルムプリントは、コンピューター１０２に直接入力される。
ソフトウェアプログラムは、メモリー１１０に格納される類似検索モジュール１１４を含み、クエリ画像に基づいて関心画像を効率よく検索する。類似検索モジュール１１４はさらに画像分類モジュール１１６を含み、画像分類モジュール１１６は、複数の分類器（ｃｌａｓｓｉｆｉｅｒ）及びサブ分類器を生成して、クエリ画像を少なくとも１つのカテゴリーに分類する。特徴抽出部１１８は、画像から特徴を抽出する。特徴抽出部は、当業者に既知のものであり、テクスチャ、線方向、エッジ等の特徴を抽出するが、これに限定されない。1つの実施形態において、分類器は、抽出された特徴に基づいて、クエリ画像を分類するパターン認識関数を含む。
類似検索モジュール１１４はさらに、画像データベース１２２の画像サブセットをそれぞれ検索するように構成された画像検索部を複数含む画像検索モジュール１１９を含む。各画像検索部は、類似測定を用いて、クエリ画像から関心画像を決定する。
キーワードタグ付け部１２０は、データベースの各画像に特徴をタグ付けする。１つの実施形態において、キーワードタグ付け部１２０はＮキーワードの辞書を含み、キーワードタグ付け部１２０はキーワードから特徴ベクトルを生成するために用いられる。タグ付けされる特徴は、画像を複数のサブセットに格納するために用いることができる。さらに、１つの実施形態において、画像分類モジュール１１６は、キーワードを用いて分類器を生成する。
さらに、類似検索モジュール１１４は、データベース中の画像においてオブジェクト（対象）を認識するためのオブジェクト認識部１２１を含む。認識されたオブジェクトを用いることにより、画像分類モジュール１１６は、当該オブジェクトから学習し、また、当該オブジェクトに基づいて分類器を構築することができる。
図２は、本発明の開示による態様に従う、これに限定されるものではないが、分類検索ツリー等の分類データ構造を用いた画像の類似検索のための例示的方法のフロー図である。まず、ステップ２０２において、以下に詳細に説明する分類検索ツリーが構築される。次に、ステップ２０４において、後処理装置１０２は、少なくとも１つの２次元（２Ｄ）画像、例えばクエリ画像を取得する。後処理装置１０２は、例えば民生用カメラを介して、コンピューター可読フォーマットにおけるデジタル画像ファイルを得ることにより、クエリ画像を取得することができる。本開示による技術は画像に関して記載されているけれども、連続する画像、例えばビデオ等の動画も、本開示による技術を利用することができる。デジタルビデオファイルは、デジタルカメラで一時的な一連の動画をキャプチャすることにより取得することができる。または、通常のフィルムタイプカメラにより、ビデオシーケンスをキャプチャすることができる。この場合、当該フィルムは、スキャン装置１０３を介してスキャンされる。ステップ２０６において、クエリ画像は、分類器により分類されて、続けて、ツリーのより低位の最下層または枝に到達するまで、ステップ２０８においてサブ分類器により分類される。ステップ２１０において、全体の画像空間またはデータベースに対するよりもむしろデータベース１２２の画像サブセットの範囲内で検索部による検索が実行される。分類検索ツリーの構築または生成、及びツリー内の検索の詳細は、以下に記載する。
本開示によるシステム及び方法は、ツリー型検索を採用してデータベースの小サブセット内の画像比較を制限する。ツリー型検索は、以下に記載の画像分類に基づいている。分類ツリーは、自動的に又は手動で画像にキーワードをタグ付けすることにより構築される。
本開示によるシステム及び方法は、分類検索ツリーの枝に沿うようにして関心画像の検索を制限することにより、検索処理を高速化する。検索の実行において、高精度類似測定値Ｓ（Ｉｑ,Ｉｄ）が利用されることが想定され、ここでＩｑは、クエリ画像であり、Ｉｄはデータベース中の画像である。類似測定値は、２つの画像の類似性を示す数であり、例えば、１．０は２つの画像が同一であることを意味し、０．０は２つの画像が完全に異なることを意味する。通常、距離が類似の逆数として考慮される。類似の１つの例は、２つの画像の色ダイアグラムの距離の逆数である。類似測定は、当業者に知られているものであり、また、画像の類似測定値は、ある画像カテゴリーに対して「学習可能」であり、当該カテゴリー内で類似検索が最適されうる。この類似測定が、ある画像カテゴリーに対して手動で設計されることもありうる。いずれの場合にも、類似測定が画像カテゴリーＣに適用され、ＳＣ（Ｉｑ,Ｉｄ）として表される。
分類検索ツリーは、当該ツリーにおける各中間ノードが分類器を用いて画像における１つ以上のカテゴリーを検出し又は分類するためのツリーである。ツリーにおける各枝は、カテゴリーを表す。検出されたカテゴリーの枝のみが、次に、ツリーにトラバースされる。図３に示すように、ツリー中の各リーフノード３０２、３０４、３０６、３０８、３１０は、特定のカテゴリーに対応する画像を表す。分類検索ツリーは、複数の層及びレベルを有することができる。例えば、図３におけるツリーは、３つのレベルを有する。さらに、図３に示すように、分類検索ツリーは分類器及び検索器を含む。
分類器は、クエリ画像をカテゴリーに分類するために用いられる。１つの実施形態において、分類器は、パターン認識、又は装置学習アルゴリズム、又は例えばカラー及びテクスチャ等の自動的に抽出された特徴に基づく関数である。分類の一般的な手順は次の通りである。まず、特徴ベクトルが画像から抽出され、次に、パターン認識アルゴリズム又は関数が特徴ベクトルを取得して、１以上のクラスラベルを、１以上のある画像カテゴリーを表す選択信頼性スコア（例えば、クラスＩＤ及びスコア）とともに出力する。一般に、パターン認識アルゴリズムは、入力として特徴ベクトルを取得し、クラスＩＤを示す整数を出力し、あるいは、パターン認識関数は、抽出されたベクトルを記憶されるベクトルと比較する。他のパターン認識アルゴリズムまたは関数が当業者に知られている。分類器はまた、２値とすることができる。この場合、分類器は、画像がそれぞれあるカテゴリーに属するかどうかを示すｙｅｓラベル又はｎｏラベルを出力する。分類器は、手動による設計又は例示的データから自動的に構築することができる。
検索器は、画像の類似性を計算し、クエリ画像に最も類似する関心画像を発見するために用いられるプログラムである。
簡単な分類検索の場合、クエリ画像が１つに分類され、リーフカテゴリーがカテゴリーＣならば、各レベルで１つのカテゴリーのみとなる。分類の終了後、すなわち、クエリ画像が分類検索ツリーの底（リーフ層）に到達した後、類似測定値ＳＣ（Ｉｑ,Ｉｄ）計算が実行されて、図４に示すように、画像カテゴリーＣに相当するデータベースのサブセットの範囲内にある画像を検索する。図４及び残りの図において、検索中にトラバースされる枝又はリーフノードを実線で示し、トラバースされない分類器及び検索器を破線で示す。例えば、図４において、クエリ画像が受信され、分類器０に出力される。分類器０において、この画像が、例えばサブ分類器である分類器０．１でさらに分類されるかが決定される。分類器０．１から、クエリ画像が分類器０．１．１に出力され、ここで、画像サブセット０．１．１．２に、クエリ画像に類似する画像を検索するために検索器０．１．１．２を用いるかどうかが判定される。関心画像の検索を画像サブセット０．１．１．２に制限することにより、検索がより効率よく、かつ早急に実行されることが理解されよう。
この場合、分類器の出力は、２値またはｎ変数にすることができる。２値分類器の場合、この分類器の出力は、カテゴリーに属するクエリ画像であるか否かを示す。同様に、ｎ変数の分類器の場合、この分類器の出力は、クエリ画像がどのカテゴリーに属するかを示す整数値にできる。分類検索ツリーにおいて分類器の全てが２値である場合、ツリーは２値ツリーであり、そうでなければ、非２値分類検索器でありうる。
簡単な分類検索の１つの課題は、分類に誤りがあった場合にクエリ画像が完全に間違ったカテゴリーに進み、結果として誤った検索結果となりうることである。この課題は、１つのカテゴリーよりもむしろ複数のカテゴリーが検索されるようにする冗長な検索により解決することができる。
図５を参照すると、冗長な分類検索の場合において、クエリ画像は、例えば、分類器０．１及び分類器０．２といった１以上のリーフカテゴリーに分類される。分類の終了後、すなわち、クエリ画像が分類検索ツリーの底（リーフ層）における各自のカテゴリー、例えば分類器０．１．１及び分類器０．２に到達した後、類似測定値ＳＣ（Ｉｑ,Ｉｄ）計算が実行され、例えば図５に示すように、検索器０．１．１．２が画像サブセット０．１．１．２を検索し、また検索器０．２．１が画像サブセット０．２．１を検索するようにして、選択された画像カテゴリーCに相当するデータベースのサブセットの範囲内で画像を検索する。
冗長な分類検索を実現するために、分類器の出力は、クラスラベルのリスト、及びクエリ画像において存在するカテゴリーに相当する信頼性を表す浮動値のリストである必要がある。次に、閾値化手順が用いられて、分類器の出力が閾値よりも大きなカテゴリーのリストを得ることができる。クエリ画像は、結果として得られるカテゴリーのリストに属するようにされる。ツリーの底のレベルに到着後、カテゴリーのリストからの各画像に対する類似性スコアが決定されて、次に、最大の類似性スコアをもつ画像が関心画像として選択される。
画像に対して効率的な検索を可能にするために、分類検索ツリーが構築されて、画像空間を構造化して、毎回全ての画像が検索されないようにする。図６を参照すると、分類検索ツリーを構築することまたは生成することは、２つの段階を含んでいる。第１の段階において、ツリーの全ての枝が構築され、この際に、分類検索ツリーが複数の層を有する場合、全ての分類器を構築してツリーに分類器を編成する。第２の段階において、データベース中の画像がカテゴリーに分類されて、データベース中に画像のサブセットを形成する。さらに検索器が、画像のサブセットのそれぞれの範囲内を検索するために定義される。
分類検索ツリーを構築するために、ツリー中の中間ノードの分類器が最初に構築されなければならない。各分類器は、１つの意味クラス（例えば、屋外シーン、木、人間の顔等）に相当する。この意味クラスは、人間により手動で決定することも、また、自動的にクラスタリング関数又はアルゴリズムを用いることもできる。分類器同士の間（つまり、ツリー構造）の関係は、人間の設計により定義することができる。
ひとたび意味クラスが定義されれば、意味分類器が、中間ノード、例えば、サブ分類器３０４、３０６、３０８、３１０に対して構築される。各分類器又はサブ分類器は、１つずつ、異なる手順で構築することができる。１つの実施形態において、「包括的な」分類器が提供されて、次に、「包括的な」分類器は、各画像カテゴリーの例示的画像から学習する。この手順は、本開示によるシステム及び方法が、特別に各分類器を設計することなくたくさんの意味分類器を構築できるようにしている。この形式の分類器は、学習型シーン（ｌｅａｒｎｉｎｇ−ｂａｓｅｄ ｓｃｅｎｅ）又はオブジェクト認識と呼ばれる。例示の学習型シーン又はオブジェクト認識は、R. Fergus, P. Perona, and A. Zissermanによる、Object Class Recognition by Unsupervised Scale-Invariant Learning", Proc. of the IEEE Conf on Computer Vision and Pattern Recognition 2003に開示されている。Fergusらの論文において、スケールが不変の方法で、ラベル付けされていないかつセグメント化されていない散乱したシーンから学習し、オブジェクトクラスモデルを認識する方法が記載されている。この方法において、オブジェクトは、パーツのフレキシブルな集合としてモデル化される。確率的表現が、全てのオブジェクトの態様、形態、外観、閉鎖及び相対スケールに対して用いられる。エントロピー型特徴検出器は、画像内の領域およびスケールを選択するために用いられる。学習において、スケール不変のオブジェクトモデルが評価される。これは、最大尤度設定における期待値最大化を用いることにより行われる。認識において、この方法は、画像を分類するためにベイシアン方に用いられている。
分類器を定義し、構築する別の方法は、画像ユーザーによる「キーワードタグ付け」を用いることである。「キーワードタグ付け」に関し、画像ユーザーは、手動で「木」「顔」「青空」等のキーワードを画像に割り当てる。これら手動によりタグ付けされたキーワードは、画像の特徴の種類が考慮されており、したがって、分類を目的として用いることができる。例えば、キーワードスポット分類器が構築されて、ひとたび分類器があるキーワードを発見すると、画像をあるクラスに分類することができる。より高性能に、タグ付けされたキーワードは、ある種の特徴として取り扱われ、特徴ベクトルに変換される。これは、「ｔｅｒｍ ｖｅｃｔｏｒ」（タームベクトル）と呼ばれるイメージ検索に用いられる技術により実現される。基本的に、Ｎキーワードをもつ辞書が構築されて、そしてキーワードがタグ付けされた各画像に対してＮ次元のキーワード特徴ベクトルが画像に割り当てられる。画像が辞書におけるｉ番目のキーワードでタグ付けされた場合、次に、タームベクトルのｉ番目の要素に１が割り当てられ、もしくは０が割り当てられる。結果として、各画像に関するタームベクトルが提供されて、画像の意味を表すこととなる。このタームベクトルは、上述の特徴ベクトルで連結することができ、図７に示すように画像分類のための新たな特徴ベクトルを形成する。
各画像のサブセットに関し、画像検索器が手動で設計されるか、又は学習される。画像検索器は、データベースのサブセット内で類似検索を実行するために用いられる。
分類器が定義され構築された後に、データベースにおける各画像がサブセットに分類される。画像のサブセットを構築する方法は、分類−検索処理に非常に類似している。画像がデータベースに入力された場合、図８に示すように底レベルの分類器の１つに相当する画像プールに画像が置かれる分類ツリーの底レベルに到達するまで、分類ツリーに自動的に分類される。
潜在的な課題は、画像が２以上のオブジェクトを含むことであり、例えば、人々と木とを含むような画像である。例えば、「人々」と「木」のように、分類ツリーに２つの意味クラスがある場合、画像を１つのクラスに分類するのに曖昧さが存在しうる。この課題は、上述の冗長分類により解決することができる。すなわち、入力画像は、２つのサブセットに分類される。
本開示による教唆を組み込んだ実施形態が、ここで詳細に説明されているけれども、当業者であれば、これら教唆をやはり組み込んだ他の様々な多くの実施形態をたやすく考案できる。分類検索ツリーで画像を効率よく意味類似検索するシステム及び方法の好適な実施形態を記載したことは（説明したものに限られないが）、上述の教唆に照らし合わせて、当業者により修正及び変形が可能であることに留意されたい。したがって、添付の特許請求の範囲により説明される開示の範囲内で、開示された開示の特定の実施形態において変更可能であることが理解されよう。
付記１
関心画像に関して、複数の画像を検索する方法であって、
前記複数の画像のサブセットを表す画像カテゴリーを少なくとも２つ含む分類構造を、前記複数の画像に対して構築するステップと、
クエリ画像を受信するステップと、
前記少なくとも２つの画像カテゴリーのうちの１つを選択するための前記クエリ画像を分類するステップと、
前記関心画像の画像に関して、前記少なくとも２つの画像カテゴリーのうちの選択された１つへの検索を制限するステップと
を備えることを特徴とする方法。
付記２
前記分類構造は、意味分類検索ツリーであることを特徴とする付記１に記載の方法。
付記３
前記クエリ画像を分類するステップは、
前記クエリ画像から特徴を抽出するステップと、
抽出された特徴に基づいて前記少なくとも２つの画像カテゴリーのうちの１つを特定するステップと
を含むことを特徴とする付記１に記載の方法。
付記４
前記クエリ画像を分類するステップは、パターン認識関数により実行されることを特徴とする付記１に記載の方法。
付記５
前記分類構造を構築するステップは、それぞれの前記画像カテゴリーに関する分類器を決定するステップを含み、
前記分類器は、前記少なくとも２つの画像カテゴリーの１つに画像を分類する
ことを特徴とする付記１に記載の方法。
付記６
前記分類器を決定するステップは、クラスタリング関数を前記複数の画像に用いることにより実行されることを特徴とする付記５に記載の方法。
付記７
決定された前記分類器のそれぞれに対して少なくとも１つのサブ分類器を決定するステップをさらに含むことを特徴とする付記５に記載の方法。
付記８
決定された前記分類器に基づいて前記複数の画像のそれぞれを分類するステップと、
前記複数の画像のそれぞれを、前記複数の画像のサブセットのうちの少なくとも１つに格納するステップと
をさらに含むことを特徴とする付記５に記載の方法。
付記９
前記分類構造を構築するステップは、
前記複数の画像の各画像に、特徴キーワードをタグ付けするステップと、
前記複数の画像のそれぞれを、前記特徴キーワードに基づいて前記複数の画像のサブセットのうちの少なくとも１つに格納するステップと
を含むことを特徴とする付記１に記載の方法。
付記１０
前記特徴キーワードに基づく画像カテゴリーのそれぞれに対する分類器を決定するステップをさらに含むことを特徴とする付記９に記載の方法。
付記１１
前記分類構造を構築するステップは、
前記少なくとも２つの画像カテゴリーの前記複数の画像のそれぞれからオブジェクトを認識するステップと、
各画像の前記認識されたオブジェクトに基づいて画像カテゴリーのそれぞれに対する分類器を決定するステップと、
をさらに含み、
前記分類器は、前記少なくとも２つのカテゴリーのうちの１つに画像を分類する
ことを特徴とする付記１に記載の方法。
付記１２
前記関心画像に対する前記検索は、類似性測定により実行されることを特徴とする付記１に記載の方法。
付記１３
前記少なくとも２つの画像カテゴリーのうちの少なくとも２つに前記クエリ画像を分類するステップと、
前記少なくとも２つの画像カテゴリー内の前記クエリ画像を用いて前記関心画像を検索するステップと、
前記少なくとも２つのカテゴリーのそれぞれの中で発見された画像のそれぞれに対して類似性スコアを決定し、
最高の前記類似性スコアをもつ前記画像を前記関心画像として選択するステップと
をさらに含むことを特徴とする付記１に記載の方法。
付記１４
関心画像に関して、複数の画像を検索するシステムであって、
前記複数の画像のサブセットを表す画像意味カテゴリーの少なくとも２つに構造化される前記複数の画像を含むデータベースと、
少なくとも１つのクエリ画像を取得する手段と、
前記クエリ画像を分類して、少なくとも２つの前記画像意味カテゴリーのうちの１つを選択する画像分類モジュールと、
前記クエリ画像を用いて前記関心画像を検索する画像検索モジュールと、
を備え、
前記検索は、少なくとも２つの前記画像意味カテゴリーのうちの選択された１つに制限される
ことを特徴とするシステム。
付記１５
前記クエリ画像から特徴を抽出する特徴抽出部をさらに備え、前記画像分類モジュールは、前記抽出された特徴に基づいて少なくとも２つの前記画像意味カテゴリーのうちの１つを決定することを特徴とする付記１４に記載のシステム。
付記１６
前記画像分類モジュールは、パターン認識関数を含むことを特徴とする付記１４に記載のシステム。
付記１７
前記画像意味カテゴリーのそれぞれに関する分類器を含む意味分類検索ツリーを構築す
る手段をさらに備え、前記分類器は、少なくとも２つの前記画像意味カテゴリーのうちの
１つに画像を分類することを特徴とする付記１４に記載のシステム。
付記１８
前記画像分類モジュールは、クラスタリング関数を前記複数の画像に適用することにより前記分類器を決定することを特徴とする付記１７に記載のシステム。
付記１９
前記画像分類モジュールは、決定された分類器それぞれに対してサブ分類器を決定することを特徴とする付記１７に記載のシステム。
付記２０
前記画像分類モジュールは、前記決定された分類器に基づいて前記複数の画像のそれぞれを分類し、かつ、前記複数の画像のそれぞれを前記データベース内の前記複数画像のサブセットに格納することを特徴とする付記１７に記載のシステム。
付記２１
前記複数の画像の各画像に特徴キーワードをタグ付けし、かつ、前記特徴キーワードに基づいて前記データベースの前記複数の画像のサブセットに前記複数の画像のそれぞれを格納するキーワードタグ付け部をさらに備えることを特徴とする付記１７に記載のシステム。
付記２２
前記画像分類モジュールは、前記特徴キーワードに基づいて前記画像意味カテゴリーの
それぞれに対して前記分類器を決定することを特徴とする付記２１に記載のシステム。
付記２３
少なくとも２つの画像意味カテゴリーの前記複数の画像のそれぞれからオブジェクトを識別するオブジェクト識別部をさらに備え、前記画像分類モジュールは、各画像の前記認識されたオブジェクトに基づいて画像意味カテゴリーに対する分類器を決定することを特徴とする付記１７に記載のシステム。
付記２４
前記画像検索モジュールは、類似測定を含むことを特徴とする付記１４に記載のシステム。
付記２５
前記画像分類モジュールは、前記クエリ画像を少なくとも２つの前記画像意味カテゴリーのうちの少なくとも２つに分類し、前記画像検索モジュールは、前記クエリ画像を用いて、少なくとも２つの前記画像意味カテゴリーにおいて前記関心画像を検索し、少なくとも２つの前記画像意味カテゴリーのそれぞれにおいて発見された各画像について類似性スコアを決定し、最高の前記類似性スコアを持つ前記画像を前記関心画像として選択することを特徴とする付記１４に記載のシステム。
付記２６
関心画像に関して複数の画像を検索する複数の方法ステップを実行するために機械により実行可能なプロラム命令を明確に実行する機械可読可能なプログラム記憶装置であって、
前記方法は、
前記複数の画像のサブセットを表す画像カテゴリーを少なくとも２つ含む分類構造を、前記複数の画像に対して構築するステップと、
クエリ画像を受信するステップと、
前記クエリ画像を分類して、少なくとも２つの画像カテゴリーのうちの１つを選択するステップと、
前記関心画像に対する前記検索を前記少なくとも２つの画像カテゴリーのうちの選択された１つに制限するステップと、
を備えることを特徴とする方法。

Claims (15)

  1. 関心画像に関して、情報処理装置によって実施される複数の画像を検索する方法であって、
    それぞれが前記複数の画像のサブセットを表す画像カテゴリーを少なくとも２つ含む分類構造を、前記複数の画像に対して構築するステップであって、前記分類構造を構築するステップは、前記少なくとも２つの画像カテゴリーのうちの前記複数の画像のそれぞれからオブジェクトを認識するステップと、それぞれの画像の前記認識されたオブジェクトに基づいて、それぞれの画像カテゴリーに関する分類器であって、前記少なくとも２つの画像カテゴリーの１つに画像を分類する前記分類器を決定するステップをさらに含む、前記構築するステップと、
    クエリ画像を受信するステップと、
    前記少なくとも２つの画像カテゴリーのうちの少なくとも２つにおいて、前記クエリ画像を分類するステップと、
    前記クエリ画像を用いて前記少なくとも２つの画像カテゴリーにおける前記認識されたオブジェクトの分類に基づいて前記関心画像を検索するステップと、
    前記少なくとも２つのカテゴリーのそれぞれにおいて見つけられた各画像に対して、類似スコアを決定するステップと、
    最高の前記類似スコアを持つ前記画像を、前記関心画像として選択するステップと
    を備える、前記方法。
  2. 前記分類構造は、意味分類検索ツリーである、請求項１に記載の方法。
  3. 前記クエリ画像を分類するステップは、
    前記クエリ画像から特徴を抽出するステップと、
    前記抽出された特徴に基づいて前記少なくとも２つの画像カテゴリーのうちの１つを特定するステップと
    を含む、請求項１に記載の方法。
  4. 前記クエリ画像を分類するステップは、パターン認識関数により実行される、請求項１に記載の方法。
  5. 前記分類構造を構築するステップは、前記複数の画像にクラスタリング機能を適用することにより、それぞれの前記画像カテゴリーに関する分類器を決定するステップを含み、
    前記分類器は、前記少なくとも２つの画像カテゴリーの１つに画像を分類する、
    請求項１に記載の方法。
  6. 決定された前記分類器のそれぞれに対して少なくとも１つのサブ分類器を決定するステップをさらに含む、請求項５に記載の方法。
  7. 決定された前記分類器に基づいて前記複数の画像のそれぞれを分類するステップと、
    前記複数の画像のそれぞれを、前記複数の画像のサブセットのうちの少なくとも１つに格納するステップと
    をさらに含む、請求項５に記載の方法。
  8. 前記分類構造を構築するステップは、
    前記複数の画像の各画像に、特徴キーワードをタグ付けするステップと、
    前記複数の画像のそれぞれを、前記特徴キーワードに基づいて前記複数の画像のサブセットのうちの少なくとも１つに格納するステップと、
    前記特徴キーワードに基づいて画像カテゴリーのそれぞれについて分類器を決定するステップと
    を含む、請求項１に記載の方法。
  9. 関心画像に関して、複数の画像を検索するシステムであって、
    それぞれが前記複数の画像のサブセットを表す画像意味カテゴリーの少なくとも２つに構造化される前記複数の画像を含むデータベースと、
    少なくとも１つのクエリ画像を取得する手段と、
    前記少なくとも２つの画像カテゴリーのうちの少なくとも２つにおいて前記クエリ画像を分類する画像分類モジュールと、
    前記少なくとも２つの画像カテゴリーにおいて前記クエリ画像を用いて、前記関心画像を検索し、前記少なくとも２つの画像カテゴリーのそれぞれにおいて見つけられた各画像に対して、類似スコアを決定し、及び、最高の前記類似スコアを持つ前記画像を、前記関心画像として選択する画像検索モジュールと、
    前記少なくとも２つの画像カテゴリーの前記複数の画像のそれぞれからオブジェクトを認識するオブジェクト認識器と
    を備え、
    前記画像分類モジュールは、それぞれの画像の前記認識されたオブジェクトに基づいて、それぞれの画像カテゴリーに関する分類器を決定する、前記システム。
  10. 前記クエリ画像から特徴を抽出する特徴抽出部をさらに備え、前記画像分類モジュールは、前記抽出された特徴に基づいて少なくとも２つの前記画像カテゴリーのうちの１つを特定する、請求項９に記載のシステム。
  11. 前記画像分類モジュールは、パターン認識関数を含む、請求項９に記載のシステム。
  12. 画像カテゴリーのそれぞれに関する分類器を含む意味分類検索ツリーを構築する手段をさらに備え、前記分類器は、前記複数の画像にクラスタリング機能を適用することにより、少なくとも２つの前記画像カテゴリーのうちの１つに画像を分類する、請求項９に記載のシステム。
  13. 前記画像分類モジュールは、決定された分類器それぞれに対してサブ分類器を決定する、請求項１２に記載のシステム。
  14. 前記画像分類モジュールは、前記決定された分類器に基づいて前記複数の画像のそれぞれを分類し、かつ、前記複数の画像のそれぞれを前記データベース内の前記複数画像のサブセットに格納する、請求項１２に記載のシステム。
  15. 前記複数の画像の各画像に特徴キーワードをタグ付けし、かつ、前記特徴キーワードに基づいて前記データベースの前記複数の画像のサブセットに前記複数の画像のそれぞれを格納するキーワードタグ付け部をさらに備え、前記画像分類モジュールは、前記特徴キーワードに基づいて、画像カテゴリーのそれぞれに関して前記分類器を決定する、請求項１２に記載のシステム。
JP2011512422A 2008-06-06 2008-06-06 画像の類似検索システム及び方法 Expired - Fee Related JP5774985B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2008/007208 WO2009148422A1 (en) 2008-06-06 2008-06-06 System and method for similarity search of images

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014121801A Division JP2014197412A (ja) 2014-06-12 2014-06-12 画像の類似検索システム及び方法

Publications (2)

Publication Number Publication Date
JP2011523137A JP2011523137A (ja) 2011-08-04
JP5774985B2 true JP5774985B2 (ja) 2015-09-09

Family

ID=39917147

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011512422A Expired - Fee Related JP5774985B2 (ja) 2008-06-06 2008-06-06 画像の類似検索システム及び方法

Country Status (8)

Country Link
US (1) US20110085739A1 (ja)
EP (1) EP2300941A1 (ja)
JP (1) JP5774985B2 (ja)
KR (2) KR101582142B1 (ja)
CN (1) CN102057371A (ja)
BR (1) BRPI0822771A2 (ja)
CA (1) CA2726037A1 (ja)
WO (1) WO2009148422A1 (ja)

Families Citing this family (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009116582A1 (ja) * 2008-03-19 2009-09-24 国立大学法人 北海道大学 動画検索装置および動画検索プログラム
US8972410B2 (en) * 2008-07-30 2015-03-03 Hewlett-Packard Development Company, L.P. Identifying related objects in a computer database
US8391618B1 (en) * 2008-09-19 2013-03-05 Adobe Systems Incorporated Semantic image classification and search
US8429173B1 (en) * 2009-04-20 2013-04-23 Google Inc. Method, system, and computer readable medium for identifying result images based on an image query
EP2341450A1 (en) 2009-08-21 2011-07-06 Mikko Kalervo Väänänen Method and means for data searching and language translation
JP2011053781A (ja) * 2009-08-31 2011-03-17 Seiko Epson Corp 画像データベース作成装置、画像検索装置、画像データベース作成方法および画像検索方法
US20110072047A1 (en) * 2009-09-21 2011-03-24 Microsoft Corporation Interest Learning from an Image Collection for Advertising
US9197736B2 (en) 2009-12-31 2015-11-24 Digimarc Corporation Intuitive computing methods and systems
KR20110066011A (ko) * 2009-12-10 2011-06-16 한국전자통신연구원 이미지 특성 추출을 이용한 유사 쉐이더 검색장치 및 방법
CN102782733B (zh) * 2009-12-31 2015-11-25 数字标记公司 采用配备有传感器的智能电话的方法和配置方案
US8903798B2 (en) 2010-05-28 2014-12-02 Microsoft Corporation Real-time annotation and enrichment of captured video
US9703782B2 (en) 2010-05-28 2017-07-11 Microsoft Technology Licensing, Llc Associating media with metadata of near-duplicates
CN101963995B (zh) * 2010-10-25 2012-02-01 哈尔滨工程大学 基于特征场景的图像标注方法
US8559682B2 (en) 2010-11-09 2013-10-15 Microsoft Corporation Building a person profile database
KR101054107B1 (ko) * 2011-03-25 2011-08-03 한국인터넷진흥원 이미지 특성정보를 이용한 개인정보 노출 검색 시스템
US9678992B2 (en) * 2011-05-18 2017-06-13 Microsoft Technology Licensing, Llc Text to image translation
US8813111B2 (en) * 2011-08-22 2014-08-19 Xerox Corporation Photograph-based game
JP4976578B1 (ja) * 2011-09-16 2012-07-18 楽天株式会社 画像検索装置およびプログラム
US20130144847A1 (en) * 2011-12-05 2013-06-06 Google Inc. De-Duplication of Featured Content
US10013426B2 (en) * 2012-06-14 2018-07-03 International Business Machines Corporation Deduplicating similar image objects in a document
US20140006318A1 (en) * 2012-06-29 2014-01-02 Poe XING Collecting, discovering, and/or sharing media objects
CN102819566A (zh) * 2012-07-17 2012-12-12 杭州淘淘搜科技有限公司 一种商品图像跨类目检索方法
US9165068B2 (en) * 2012-08-03 2015-10-20 Adobe Systems Incorporated Techniques for cloud-based similarity searches
US9158970B2 (en) 2012-11-16 2015-10-13 Canon Kabushiki Kaisha Devices, systems, and methods for visual-attribute refinement
CN103246688A (zh) * 2012-12-03 2013-08-14 苏州大学 基于显著区域稀疏表示的语义层次模型图像分类管理方法
US9311640B2 (en) 2014-02-11 2016-04-12 Digimarc Corporation Methods and arrangements for smartphone payments and transactions
US9330110B2 (en) 2013-07-17 2016-05-03 Xerox Corporation Image search system and method for personalized photo applications using semantic networks
US10169686B2 (en) * 2013-08-05 2019-01-01 Facebook, Inc. Systems and methods for image classification by correlating contextual cues with images
US9275306B2 (en) * 2013-11-13 2016-03-01 Canon Kabushiki Kaisha Devices, systems, and methods for learning a discriminant image representation
US10394882B2 (en) * 2014-02-19 2019-08-27 International Business Machines Corporation Multi-image input and sequenced output based image search
US20150254280A1 (en) * 2014-03-06 2015-09-10 Nec Laboratories America, Inc. Hybrid Indexing with Grouplets
US9275132B2 (en) 2014-05-12 2016-03-01 Diffeo, Inc. Entity-centric knowledge discovery
US10013436B1 (en) 2014-06-17 2018-07-03 Google Llc Image annotation based on label consensus
US20160132780A1 (en) * 2014-11-12 2016-05-12 Google Inc. Automatic Selection of Images for an Application
US9818048B2 (en) * 2015-01-19 2017-11-14 Ebay Inc. Fine-grained categorization
JP6492849B2 (ja) * 2015-03-24 2019-04-03 富士ゼロックス株式会社 ユーザプロファイル作成装置、動画像分析装置、動画像再生装置、及びユーザプロファイル作成プログラム
US20160378863A1 (en) * 2015-06-24 2016-12-29 Google Inc. Selecting representative video frames for videos
CN106354735A (zh) * 2015-07-22 2017-01-25 杭州海康威视数字技术股份有限公司 一种图像中目标的检索方法和装置
CN105320945A (zh) * 2015-10-30 2016-02-10 小米科技有限责任公司 图像分类的方法及装置
KR102545768B1 (ko) 2015-11-11 2023-06-21 삼성전자주식회사 메타 데이터를 처리하기 위한 장치 및 방법
US10528613B2 (en) * 2015-11-23 2020-01-07 Advanced Micro Devices, Inc. Method and apparatus for performing a parallel search operation
US20170177712A1 (en) * 2015-12-21 2017-06-22 Ebay Inc. Single step cross-linguistic search using semantic meaning vectors
US10026020B2 (en) * 2016-01-15 2018-07-17 Adobe Systems Incorporated Embedding space for images with multiple text labels
US10599701B2 (en) 2016-02-11 2020-03-24 Ebay Inc. Semantic category classification
US9904844B1 (en) 2016-08-04 2018-02-27 International Business Machines Corporation Clustering large database of images using multilevel clustering approach for optimized face recognition process
US10635727B2 (en) 2016-08-16 2020-04-28 Ebay Inc. Semantic forward search indexing of publication corpus
CN107766373B (zh) * 2016-08-19 2021-07-20 阿里巴巴集团控股有限公司 图片所属类目的确定方法及其***
KR102533972B1 (ko) * 2016-09-08 2023-05-17 고 수 시아 시각적 검색 플랫폼용 영상 인제스트 프레임워크
KR101911604B1 (ko) * 2016-10-21 2018-10-25 한국과학기술원 이벤트 검출을 위한 학습형 시스템 트레이닝장치 및 그 방법
JP6310529B1 (ja) * 2016-11-01 2018-04-11 ヤフー株式会社 検索装置、検索方法および検索プログラム
CN106547893A (zh) * 2016-11-03 2017-03-29 福建中金在线信息科技有限公司 一种图片分类管理***及图片分类管理方法
CN106844421A (zh) * 2016-11-30 2017-06-13 上海仙剑文化传媒股份有限公司 一种数字图片管理方法及***
WO2018106663A1 (en) * 2016-12-06 2018-06-14 Ebay Inc. Anchored search
CN110249304B (zh) 2017-01-19 2023-05-23 三星电子株式会社 电子设备的视觉智能管理
US10909371B2 (en) 2017-01-19 2021-02-02 Samsung Electronics Co., Ltd. System and method for contextual driven intelligence
CN108664514A (zh) * 2017-03-31 2018-10-16 阿里巴巴集团控股有限公司 一种图像搜索方法、服务器及存储介质
KR102279143B1 (ko) * 2017-04-11 2021-07-19 돌비 레버러토리즈 라이쎈싱 코오포레이션 계층화된 증강 엔터테인먼트 경험
KR101882743B1 (ko) * 2017-04-17 2018-08-30 인하대학교 산학협력단 콘볼루션 신경망 기반-계층적 특징 모델링을 이용한 효율적인 객체 검출 방법
JP6310599B1 (ja) * 2017-05-10 2018-04-11 ヤフー株式会社 検索装置、検索方法および検索プログラム
US10839021B2 (en) 2017-06-06 2020-11-17 Salesforce.Com, Inc Knowledge operating system
CN108288208B (zh) * 2017-08-11 2020-08-28 腾讯科技（深圳）有限公司 基于图像内容的展示对象确定方法、装置、介质及设备
KR101986418B1 (ko) * 2017-08-24 2019-06-05 세종대학교산학협력단 병해충 검색을 위한 통합 시스템
US11055345B2 (en) 2017-12-28 2021-07-06 International Business Machines Corporation Constructing, evaluating, and improving a search string for retrieving images indicating item use
US11645329B2 (en) 2017-12-28 2023-05-09 International Business Machines Corporation Constructing, evaluating, and improving a search string for retrieving images indicating item use
US10664517B2 (en) 2017-12-28 2020-05-26 International Business Machines Corporation Constructing, evaluating, and improving a search string for retrieving images indicating item use
US11061943B2 (en) 2017-12-28 2021-07-13 International Business Machines Corporation Constructing, evaluating, and improving a search string for retrieving images indicating item use
US10740647B2 (en) 2018-03-14 2020-08-11 Adobe Inc. Detecting objects using a weakly supervised model
CN108665490B (zh) * 2018-04-02 2022-03-22 浙江大学 一种基于多属性编码及动态权重的图形匹配方法
TWI693524B (zh) * 2018-05-22 2020-05-11 正修學校財團法人正修科技大學 專屬個性化圖片搜尋優化方法
JP6637221B1 (ja) 2018-06-20 2020-01-29 楽天株式会社 検索システム、検索方法、及びプログラム
JP6639743B1 (ja) * 2018-06-20 2020-02-05 楽天株式会社 検索システム、検索方法、及びプログラム
US11698921B2 (en) 2018-09-17 2023-07-11 Ebay Inc. Search system for providing search results using query understanding and semantic binary signatures
KR20200052440A (ko) 2018-10-29 2020-05-15 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
KR102119611B1 (ko) * 2018-11-05 2020-06-05 서강대학교 산학협력단 스마트 컨트랙트의 분류 장치 및 분류 방법
US11386306B1 (en) * 2018-12-13 2022-07-12 Amazon Technologies, Inc. Re-identification of agents using image analysis and machine learning
KR102230120B1 (ko) * 2018-12-28 2021-03-22 고려대학교 산학협력단 사용자 단말에서의 사진 검색 방법 및 시스템
US11631234B2 (en) 2019-07-22 2023-04-18 Adobe, Inc. Automatically detecting user-requested objects in images
US11107219B2 (en) 2019-07-22 2021-08-31 Adobe Inc. Utilizing object attribute detection models to automatically select instances of detected objects in images
US11302033B2 (en) * 2019-07-22 2022-04-12 Adobe Inc. Classifying colors of objects in digital images
US11468550B2 (en) 2019-07-22 2022-10-11 Adobe Inc. Utilizing object attribute detection models to automatically select instances of detected objects in images
JP7291347B2 (ja) * 2019-09-24 2023-06-15 日新電機株式会社 図面検索装置、モデル生成装置、図面検索方法、およびモデル生成方法
US11921773B1 (en) * 2019-12-31 2024-03-05 Snap Inc. System to generate contextual queries
US11468110B2 (en) 2020-02-25 2022-10-11 Adobe Inc. Utilizing natural language processing and multiple object detection models to automatically select objects in images
US11055566B1 (en) 2020-03-12 2021-07-06 Adobe Inc. Utilizing a large-scale object detector to automatically select objects in digital images
KR102605070B1 (ko) 2020-07-06 2023-11-24 한국전자통신연구원 인식 모델 학습 장치, 촬영본 영상 분석 장치 및 촬영본 검색 서비스 제공 장치
US11587234B2 (en) 2021-01-15 2023-02-21 Adobe Inc. Generating class-agnostic object masks in digital images
US11972569B2 (en) 2021-01-26 2024-04-30 Adobe Inc. Segmenting objects in digital images utilizing a multi-object segmentation model framework
US20230009267A1 (en) * 2021-07-06 2023-01-12 Ebay Inc. Visual facet search engine
CN113407746B (zh) * 2021-07-16 2023-08-29 厦门熵基科技有限公司 一种以图搜图的方法及***

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3143532B2 (ja) * 1992-11-30 2001-03-07 キヤノン株式会社 画像検索装置及び方法
JP2000276484A (ja) 1999-03-25 2000-10-06 Konica Corp 画像検索装置、画像検索方法及び画像表示装置
JP2001160057A (ja) * 1999-12-03 2001-06-12 Nippon Telegr & Teleph Corp <Ntt> 画像の階層的分類方法、および画像の分類・検索装置、およびこの方法を実行するプログラムを記録した記録媒体
WO2002013067A2 (en) * 2000-08-05 2002-02-14 Hrl Laboratories, Llc System for online rule-based video classification
JP4082043B2 (ja) * 2002-02-27 2008-04-30 富士ゼロックス株式会社 画像検索装置
US7043474B2 (en) * 2002-04-15 2006-05-09 International Business Machines Corporation System and method for measuring image similarity based on semantic meaning
JP2004234228A (ja) * 2003-01-29 2004-08-19 Seiko Epson Corp 画像検索装置、画像検索装置におけるキーワード付与方法、及びプログラム
JP4285644B2 (ja) * 2003-08-19 2009-06-24 富士フイルム株式会社 オブジェクト識別方法および装置ならびにプログラム
JP4313738B2 (ja) * 2004-08-18 2009-08-12 日本電信電話株式会社 画像検索装置および方法、そのプログラム及び記録媒体
JP2006164008A (ja) * 2004-12-09 2006-06-22 Matsushita Electric Ind Co Ltd 画像検索装置および画像検索方法
JP2005141776A (ja) * 2005-02-07 2005-06-02 Fuji Xerox Co Ltd 画像抽出装置および方法
US20080187231A1 (en) * 2005-03-10 2008-08-07 Koninklijke Philips Electronics, N.V. Summarization of Audio and/or Visual Data
JP2007156680A (ja) * 2005-12-02 2007-06-21 Konica Minolta Holdings Inc ファイル管理装置
US20070233678A1 (en) * 2006-04-04 2007-10-04 Bigelow David H System and method for a visual catalog
US8024343B2 (en) * 2006-04-07 2011-09-20 Eastman Kodak Company Identifying unique objects in multiple image collections
JP2008217428A (ja) * 2007-03-05 2008-09-18 Fujitsu Ltd 画像検索プログラム、方法及び装置
US8391618B1 (en) * 2008-09-19 2013-03-05 Adobe Systems Incorporated Semantic image classification and search
KR101541351B1 (ko) * 2008-11-17 2015-08-03 주식회사 알티캐스트 디지털 방송 수신기에서 수신한 방송 컨텐츠의 화면 구성 제어 방법 및 장치

Also Published As

Publication number Publication date
EP2300941A1 (en) 2011-03-30
WO2009148422A1 (en) 2009-12-10
CA2726037A1 (en) 2009-12-10
KR101622360B1 (ko) 2016-05-19
US20110085739A1 (en) 2011-04-14
KR101582142B1 (ko) 2016-01-05
BRPI0822771A2 (pt) 2015-06-30
CN102057371A (zh) 2011-05-11
KR20150104646A (ko) 2015-09-15
JP2011523137A (ja) 2011-08-04
KR20110027666A (ko) 2011-03-16

Similar Documents

Publication Publication Date Title
JP5774985B2 (ja) 画像の類似検索システム及び方法
JP5863786B2 (ja) 画像中の特定物体の迅速且つ堅牢性のある識別方法及び識別システム
Alkhawlani et al. Text-based, content-based, and semantic-based image retrievals: a survey
Zhou et al. A hybrid probabilistic model for unified collaborative and content-based image tagging
US7958068B2 (en) Method and apparatus for model-shared subspace boosting for multi-label classification
Wang et al. Query-specific visual semantic spaces for web image re-ranking
JP2014197412A (ja) 画像の類似検索システム及び方法
Li et al. Bootstrapping visual categorization with relevant negatives
Wang et al. Personal clothing retrieval on photo collections by color and attributes
Wu et al. Visual language modeling for image classification
Yan et al. Complex event detection via event oriented dictionary learning
Singh et al. Active learning for multi-label image annotation
Ren et al. Visual sentences for pose retrieval over low-resolution cross-media dance collections
Al-Jubouri Content-based image retrieval: Survey
Kuric et al. ANNOR: Efficient image annotation based on combining local and global features
Nemade et al. Image segmentation using convolutional neural network for image annotation
Maihami et al. A review on the application of structured sparse representation at image annotation
Cheng et al. Latent semantic learning with time-series cross correlation analysis for video scene detection and classification
Jiang et al. Object codetection based on a higher-order conditional random field
Namala et al. Efficient feature based video retrieval and indexing using pattern change with invariance algorithm
Kumar et al. What and where you have seen? Bag of Words-based local feature pooling for visual event detection
Cámara-Chávez et al. An interactive video content-based retrieval system
Srinivasan et al. A bipartite graph model for associating images and text
Schoeffmann et al. MultiMedia Modeling: 24th International Conference, MMM 2018, Bangkok, Thailand, February 5-7, 2018, Proceedings, Part I
RajaSenbagam et al. A survey on content based image retrieval for reducing semantic gap

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110525

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121218

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130315

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130325

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130716

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20131011

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20131021

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140116

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140212

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140612

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20140613

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20140613

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140819

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150702

R150 Certificate of patent or registration of utility model

Ref document number: 5774985

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees