JP6165955B1 - 検索クエリに応答してホワイトリストとブラックリストを使用し画像とコンテンツをマッチングする方法及びシステム - Google Patents

検索クエリに応答してホワイトリストとブラックリストを使用し画像とコンテンツをマッチングする方法及びシステム Download PDF

Info

Publication number
JP6165955B1
JP6165955B1 JP2016232318A JP2016232318A JP6165955B1 JP 6165955 B1 JP6165955 B1 JP 6165955B1 JP 2016232318 A JP2016232318 A JP 2016232318A JP 2016232318 A JP2016232318 A JP 2016232318A JP 6165955 B1 JP6165955 B1 JP 6165955B1
Authority
JP
Japan
Prior art keywords
image
content
content provider
images
entry
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016232318A
Other languages
English (en)
Other versions
JP2017220204A (ja
Inventor
コン，チー
ジュー，ファン
ヤン，グアン
ワン，ジンガオ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu USA LLC
Original Assignee
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu USA LLC filed Critical Baidu USA LLC
Application granted granted Critical
Publication of JP6165955B1 publication Critical patent/JP6165955B1/ja
Publication of JP2017220204A publication Critical patent/JP2017220204A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9538—Presentation of query results

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】検索結果におけるいくつかのコンテンツアイテムは単にプレーンテキスト又は記述であり、つまらないもの又は退屈なものである。関連するある画像を用意し、検索結果におけるコンテンツをより表現力又は吸引力があるようにする。【解決手段】１つまたは複数の画像の第１セットを検索クエリに応答して認識されたコンテンツアイテムにマッチングしようとする候補画像リストとして認識し、コンテンツアイテムは第１コンテンツプロバイダにより提供される。第１コンテンツプロバイダとは異なる第２コンテンツプロバイダに関連する１つまたは複数の画像の第２セットを認識するように、画像ホワイトリスト表において第１検索操作を実行する。第２画像セットに含まれるいずれかの候補画像を候補画像リストから取り除く。そして、候補画像の中の１つを選択してコンテンツアイテムに関連させる。【選択図】図７

Description

本発明の実施形態は一般にコンテンツ検索に関する。より具体的に、本発明の実施形態は検索クエリ（ａ ｓｅｅｒｃｈ ｑｕｅｒｙ）に応答してホワイトリストとブラックリストを使用しマッチング画像を有するコンテンツを検索することに関する。
ほとんどの検索エンジンは一般的にその操作中にクライアント装置に運行されるブラウザによってウェブページへの検索を実行する。検索エンジンはユーザにより入力された検索ワードを受信して、且つ検索ワードに関連するウェブページ検索結果リストを検索する。検索エンジンはある標準に基づいて検索結果を検索リストの一連のサブセットとして表示する。検索操作中に使用される一般的な標準は、検索ワードは完全に又は一部的に所定のウェブページに出現するか、検索文字列が検索結果に現した回数、アルファベット順などである。なお、ユーザはマウスボタンをクリックすることでリンクの開きを決めて、これによりウェブページを開いてブラウズする。検索エンジンはユーザと検索結果のあるインタラクティブ及び/又はユーザ情報を監視及び収集することによって、それからより良い検索を提供する。
通常、コンテンツアイテムリストを認識及び検索するように、検索クエリに応答して検索を実行する。続いて、コンテンツアイテムを検索リクエスタに返送する。通常の検索エンジンはほとんどのコンテンツアイテムをそのまま返送して修正しない。検索結果におけるいくつかのコンテンツアイテムは単にプレーンテキスト又は記述であり、つまらないもの又は退屈なものであると考えられる。時々、コンテンツアイテムに当該コンテンツアイテムに関連するある画像が用意される場合に、検索結果におけるコンテンツはより表現力があるか又はより吸引力がある。ところが、適切な画像とコンテンツアイテムをマッチングするのは非常に挑戦的なものであり、なぜならば、ある画像は１つのコンテンツアイテムだけに適用するが、その他の画像は他のコンテンツアイテムに関連しない可能性がある。
一つの様態において、コンテンツアイテムと画像をマッチングするためのコンピュータ実施方法を提供し、この方法は、１つまたは複数の画像の第１セットを、検索クエリに応答して認識されたコンテンツアイテムにマッチングしようとする候補画像リストとして認識するステップと、前記第１コンテンツプロバイダと違う第２コンテンツプロバイダに関連する１つまたは複数の画像の第２セットを認識するように、画像ホワイトリスト表において第１検索操作を実行するステップと、前記候補画像リストから前記画像の前記第２画像セットに含まれるいずれかの候補画像を取り除くステップと、前記候補画像の中の１つを選択して前記コンテンツアイテムに関連づけるステップと、を含んでおり、ここで、前記コンテンツアイテムは第１コンテンツプロバイダにより提供される。
他の一つの様態において、非一時的な機械可読媒体を提供し、この非一時的な機械可読媒体の内部に指令が記憶され、前記指令はプロセッサにより実行される際に、コンテンツアイテムと画像をマッチングする操作を前記プロセッサに実行させ、前記操作は、１つまたは複数の画像の第１セットを、検索クエリに応答して認識されたコンテンツアイテムにマッチングしようとする候補画像リストとして認識するステップと、前記第１コンテンツプロバイダと違う第２コンテンツプロバイダに関連する１つまたは複数の画像の第２セットを認識するように、画像ホワイトリスト表において第１検索操作を実行するステップと、前記候補画像リストから前記画像の前記第２画像セットに含まれるいずれかの候補画像を取り除くステップと、前記候補画像の中の１つを選択して前記コンテンツアイテムに関連づけるステップと、を含んでおり、ここで、前記コンテンツアイテムは第１コンテンツプロバイダにより提供される。
さらに、他の一つの様態において、データ処理システムを提供し、このデータ処理システムは、プロセッサと、前記プロセッサに接続され、指令を記憶することに用いられ、前記指令は前記プロセッサにより実行される際に、コンテンツアイテムと画像をマッチングする操作を前記プロセッサに実行させるメモリと、を備え、前記操作は、１つまたは複数の画像の第１セットを、検索クエリに応答して認識されたコンテンツアイテムにマッチングしようとする候補画像リストとして認識するステップと、前記第１コンテンツプロバイダと違う第２コンテンツプロバイダに関連する１つまたは複数の画像の第２セットを認識するように、画像ホワイトリスト表において第１検索操作を実行するステップと、前記候補画像リストから前記画像の前記第２画像セットに含まれるいずれかの候補画像を取り除くステップと、前記候補画像の中の１つを選択して前記コンテンツアイテムに関連づけるステップと、を含んでおり、ここで、前記コンテンツアイテムは第１コンテンツプロバイダにより提供される。
本出願の実施形態は、図面の各図に例として非限定的に示され、図面における類似の符号は、類似の構成要素を示す。
本出願のいくつかの実施形態に係る画像とコンテンツアイテムとをマッチングするシステム構成の例を示すブロック図である。 本出願のいくつかの実施形態に係る画像とコンテンツアイテムとをマッチングするシステム構成の例を示すブロック図である。 本出願の一実施形態に係る画像選択システムの例を示すブロック図である。 本出願の特定の実施形態に係るクエリ−画像マッチングテーブルの例を示す。 本出願の特定の実施形態に係るクエリ−画像マッチングテーブルの例を示す。 本発明のある実施形態に係る画像選択データ構造の例示である。 本発明のある実施形態に係る画像選択データ構造の例示である。 本発明のある実施形態に係る画像選択データ構造の例示である。 本発明の一実施形態に係る画像選択システムの例示を示すブロック図である。 本発明の一実施形態に係る画像選択システムの処理フローを示すフローチャートである。 本発明の一実施形態に係る画像をコンテンツアイテムにマッチングするための過程を示すフローチャートである。 本発明の一実施形態に係るデータ分析システムの例示を示すブロック図である。 本発明の一実施形態に係るデータ分析過程を示すフローチャートである。 一実施形態に係るデータ処理システムを示すブロック図である。
以下、説明の詳細を参照しながら、本出願の様々な実施形態および態様を説明し、図面は、様々な実施形態を示す。以下の説明および図面は、本出願を説明するためのものであり、本出願を限定するものではない。本出願の様々な実施形態を完全に把握するために、多数の特定の詳細を説明する。なお、いくつかの例では、本出願の実施形態に対する簡単な説明を提供するために、周知または従来技術の詳細について説明していない。
本明細書では「１つの実施形態」または「実施形態」とは、当該実施形態について組み合わせて説明した特定特徴、構造または特性が、本発明の少なくとも１つの実施形態に含まれる。語句「１つの実施形態では」は、本明細書全体において同一実施形態を指すとは限らない。
ある実施形態によれば、ほとんどの画像はいずれかのコンテンツに使用されることができる一般的な画像であるが、いくつかの画像は特定のコンテンツアイテム（例えば、特定のコンテンツプロバイダに属する画像）のみに適合し、その他の画像はその他の特定のコンテンツアイテム（例えば、特定のコンテンツプロバイダの競争相手に属する画像）に適合しない可能性がある。あるタイプのコンテンツアイテム（例えば、ホワイトリスト）の画像に適合するマッピングを提供して、ある画像があるタイプのコンテンツアイテム（例えば、ブラックリスト）に関連することを防止するように、検索メカニズムを提供する。
一実施形態によれば、１つまたは複数の画像の第１セットをコンテンツアイテムにマッチングしようとする候補画像リストとして認識する。コンテンツアイテムは検索クエリに応答して検索して認識され、当該コンテンツアイテムは第１コンテンツプロバイダにより提供される。第２コンテンツプロバイダに関連する１つ又は複数の画像の第２セットを認識するように、画像ホワイトリスト表において第１検索操作（ａ ｆｉｒｓｔ ｌｏｏｋｕｐ ｏｐｅｒａｔｉｏｎ）を実行して、ここで、第２コンテンツプロバイダは第１コンテンツプロバイダと異なってもよい。候補画像リストから第２画像セットに含まれるいずれかの候補画像を取り除く。１つ又は複数の画像の第３セットを認識するように、画像ブラックリスト表に対して第２検索操作（ａ ｓｅｃｏｎｄ ｌｏｏｋｕｐ ｏｐｅｒａｔｉｏｎ）を実行する。第３セットにおける画像は第１コンテンツプロバイダに関連する。候補画像リストから第３画像セットに含まれるいずれかの候補画像を取り除く。続いて、候補画像リストから画像を選択して当該コンテンツアイテムに関連づける。
画像ホワイトリスト表は数多くのエントリーを含み、各エントリーは画像をコンテンツプロバイダにマッピングして、当該画像は当該エントリーの対応したコンテンツプロバイダにより提供されたコンテンツアイテムに関連することを指示するようにする。例えば、画像は対応したコンテンツプロバイダに関連するソースから得られた版権を有する画像であってもよい。画像ブラックリスト表は数多くのエントリーを含み、各エントリーは画像をコンテンツプロバイダにマッピングして、当該画像が当該エントリーの対応したコンテンツプロバイダにより提供されたコンテンツアイテムに関連することがきでないことを指し示す。例えば、画像は他のコンテンツプロバイダに関連するソースから得られる版権を有する画像であってもよく、当該他のコンテンツプロバイダはエントリーにおいて挙げられたコンテンツプロバイダに対応する競争相手である。ホワイトリストとブラックリストにおける画像を収集且つ分析してどれらの画像はあるコンテンツプロバイダと互換性があるか及びどれらの画像はあるコンテンツプロバイダに抵触するかを確定するようにする。
図１Ａおよび図１Ｂは、本出願のいくつかの実施形態に係る画像とコンテンツアイテムとをマッチングするシステム構成の例を示すブロック図である。図１Ａを参照し、システム１００は、ネットワーク１０３を介してサーバ１０４に通信可能に接続される１つまたは複数のクライアント装置１０１〜１０２を含むが、それらに限定されない。クライアント装置１０１〜１０２は、任意のタイプのクライアント装置、例えば、パーソナルコンピュータ（例えば、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ）、「薄型」クライアント、パーソナルデジタルアシスタント（ＰＤＡ）、インターネット対応機器、スマート腕時計や携帯電話（例えば、スマートフォン）等であってもよい。ネットワーク１０３は、任意のタイプの有線や無線ネットワーク、例えばローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）（例えば、インターネット）またはそれらの組合せであってもよい。
サーバ１０４は、任意のタイプのサーバまたはサーバクラスター、例えばネットワークまたはクラウドサーバ、アプリケーションサーバ、バックエンドサーバまたはそれらの組合せであってもよい。一実施形態では、サーバ１０４は、検索エンジン１２０、画像選択モジュール１１０、および画像選択方法またはモデル１１５を含むが、それらに限定されない。サーバ１０４は、クライアント（例えば、クライアント装置１０１〜１０２）がサーバ１０４で提供されたリソースまたはサービスにアクセスすることを可能にするインターフェース（図示せず）をさらに含む。インターフェースは、ネットワークインターフェース、アプリケーション・プログラミング・インターフェース（ＡＰＩ）および/またはコマンドラインインターフェース（ＣＬＩ）を含んでもよい。
例えば、クライアント（当該例ではクライアント装置１０１のユーザアプリケーション（例えば、ネットワークブラウザ、モバイルアプリケーション））は、サーバ１０４に検索クエリを送信し、検索エンジン１２０は、ネットワーク１０３により、インターフェースを経由して当該検索クエリを受信する。検索クエリに応答して、検索エンジン１２０は、検索クエリから１つまたは複数のキーワード（検索語とも呼ばれる）を抽出する。検索エンジン１２０は、主要コンテンツデータベース１３０および/または補助コンテンツデータベース１３１を含んでもよいコンテンツデータベース１３３において検索を実行してキーワードに関連するコンテンツアイテムリストを識別する。主要コンテンツデータベース１３０（マスターコンテンツデータベースとも呼ばれる）は、一般的なコンテンツデータベースであってもよく、補助コンテンツデータベース１３１（二次または付属コンテンツデータベースとも呼ばれる）は、特殊のコンテンツデータベースであってもよい。検索エンジン１２０は、リストの少なくとも一部のコンテンツアイテムを有する検索結果ページをクライアント装置１０１に返送して表示する。検索エンジン１２０は、百度会社（Ｂａｉｄｕ Ｉｎｃ．）から取得されるＢａｉｄｕ(R)検索エンジンであってもよく、Ｇｏｏｇｌｅ(R)検索エンジン、Ｍｉｃｒｏｓｏｆｔ ＢｉｎｇTM検索エンジン、Ｙａｈｏｏ(R)検索エンジン、またはほかの検索エンジンであってもよい。
検索エンジン、例えばウェブページ検索エンジンは、ワールドワイドウェブ上で情報を検索するソフトウェアシステムとして設計される。検索結果は、通常、一連の結果に表示され、この一連の結果は、通常、検索エンジン結果ページと呼ばれる。情報は、ウェブページ、画像、およびほかのタイプのファイルの組合せであってもよい。いくつかの検索エンジンは、さらにデータベースまたはオープンディレクトリ中の利用可能なデータをマイニングする。ヒューマンエディタのみにより維持されるウェブディレクトリと異なり、検索エンジンは、さらにウェブクローラ（ｗｅｂ ｃｒａｗｌｅｒ）においてアルゴリズムを実行することにより、リアルタイム情報を維持する。
ウェブページ検索エンジンは、ページのハイパーテキストマークアップ言語（ＨＴＭＬ）マークアップから検索される多数のウェブページに関連する情報を記憶することにより動作される。これらのページは、ウェブサイト上の各リンクに従う自動ウェブクローラであるウェブクローラにより検索される。次に、検索エンジンは、各ページのコンテンツを解析して如何にインデックスされるかを決定する（例えば、タイトル、ページコンテンツ、ヘッダーまたはメタタグと呼ばれる特殊フィールドによりワードを抽出する）。ウェブページに関連するデータをインデックスデータベースに記憶し、後続のクエリに使用する。インデックスは、クエリに関連する情報をできるだけ速めに見つけることに役立つ。
ユーザが検索エンジンに（一般的に、キーワードを使用することにより）クエリを入力する場合、前記エンジンは、クエリのインデックスを検査し、通常ドキュメントタイトルを含み且つ必要に応じて一部のテキストを含む短い概要を有する基準にしたがってベストマッチングのウェブページのリストを提供する。インデックスは、データとともに記憶された情報、および情報のインデキシング方法からなる。検索エンジンは、入力時に完全に一致する語（ワード）または語句（フレーズ）を検索する。いくつかの検索エンジンは、拡張機能を提供し（近接検索と呼ばれる）、ユーザがキーワード間の距離を定義できる。また、概念に基づく検索もあり、その中でも前記検索はユーザの検索する語または語句を含むページ上で統計解析を使用する。また、自然言語クエリは、ユーザが人間に質問するような形と同様に問題を入力することができる。
検索エンジンの有用性は、返送された結果セットの関連性により決められる。特定の語または語句を含むウェブページが数百万も存在する可能性があるが、その一部のページは、他のページに比べるとさらに関連性が高く、人気があり、または信頼性が高い可能性がある。ほとんどの検索エンジンは、複数種の方法を用いて結果をランキングすることにより、「最適な」結果を優先的に提供する。検索エンジンが如何にどのページを最適なマッチングのページに決定するか、および如何なる順序で結果を表示するかについては、エンジンにより大きく異なっている。
図１Ａに戻って参照して、一実施形態によれば、サーバ１０４でクライアント装置（当該例では、クライアント装置１０１）から受信された検索クエリに応答して、検索エンジン１２０は、コンテンツデータベース１３３（例えば、主要コンテンツデータベース１３０、および/または補助コンテンツデータベース１３１）において検索を実行し、コンテンツアイテムリストを生成する。ユニフォームリソースリンク（ＵＲＬ）および/またはユニフォームリソースアイデンティファイア（ＵＲＩ）を経由してコンテンツアイテムのそれぞれと特定のコンテンツプロバイダの特定ウェブサイトの特定ウェブページを関連付ける。一実施形態では、主要コンテンツデータベース１３０はネットワーククローラにより収集された一般的なコンテンツアイテム（例えば、非スポンサー付きコンテンツ）を記憶する。補助コンテンツデータベース１３１は、特定、既知もしくは所定のコンテンツプロバイダに関連付けられた特定、または特殊のコンテンツアイテム（例えば、スポンサー付きコンテンツ）を記憶する。あるいは、主要コンテンツデータベース１３０と補助コンテンツデータベース１３１とを区別しない場合、コンテンツデータベース１３３を単一データベースとしてもよい。
ネットワーククローラまたはウェブクローラは、ネットワークのハイパーテキスト構造を自動的にトラバースするプログラムである。実際に、ネットワーククローラは、ＵＲＬからドキュメントをダウンロードする１つもしくは複数のプロセスまたはスレッドを実行するようにそれぞれ構成された個別のコンピュータあるいはサーバで実行できる。ネットワーククローラは、割り当てられたＵＲＬを受信し、それらのＵＲＬでドキュメントをダウンロードする。ネットワーククローラは、さらに検索されたドキュメントに引用されるドキュメントを検索して、コンテンツ処理システム（図示せず）および/または検索エンジン１２０に処理させるようにしてもよい。ネットワーククローラは、例えばハイパーテキスト転送プロトコル（ＨＴＴＰ）やファイル転送プロトコル（ＦＴＰ）のような様々なプロトコルを使用して、ＵＲＬに関連付けられたページをダウンロードすることができる。
また、一実施形態によれば、画像選択モジュールまたはシステム１１０は、画像選択方法またはモデル１１５を利用し、検索クエリに関連付けられたキーワードに基づき、検索クエリに関連付けられたキーワードに関連する画像を識別する画像ＩＤのリストを識別する。画像選択方法/モデル１１５は、キーワード・画像（ｋｅｙｗｏｒｄ−ｔｏ−ｉｍａｇｅ）（キーワード/画像）マッピングテーブル（図示せず）を含んでもよく、複数種のデータ構造、例えばテーブルまたはデータベースとして実現できる。画像ＩＤに基づき、画像記憶部１２５に記憶された画像１２２から画像候補リストを識別して検索することができ、その中で、画像記憶部１２５は、さらに画像１２２（図示せず）を記述する画像メタデータを記憶してもよい。
また、一実施形態によれば、特定のコンテンツプロバイダに属するコンテンツアイテムのみにマッチングする１つまたは複数の画像を認識するように、画像選択方法/モデル１１５の一部となる画像ホワイトリスト表（図示せず）において検索を実行する。画像ホワイトリスト表は数多くのマッピングエントリーを含み、画像ＩＤにより認識された画像が対応したコンテンツプロバイダにより提供されたコンテンツアイテムのみに関連づけることを指し示すように、各エントリーは画像ＩＤをコンテンツプロバイダＩＤにマッピングする。検索クエリに応答して認識されたコンテンツアイテムは画像ホワイトリスト表に挙げられたコンテンツプロバイダと異なるコンテンツプロバイダに属する場合に、画像ホワイトリスト表に含まれるいずれかの候補画像を取り除くことができる。
なお、他の実施形態によれば、画像選択方法/モデル１１５の一部となる画像ブラックリスト表において検索（図示せず）を実行し、検索クエリに基づいて認識したコンテンツアイテムのコンテンツプロバイダのコンテンツアイテムにマッチングできない１つまたは複数の画像を認識するようにする。画像ブラックリスト表は数多くのマッピングエントリーを含み、画像ＩＤにより認識した画像がコンテンツプロバイダにより提供したコンテンツアイテムにマッチングできないことを指示するように、各エントリーは画像ＩＤをコンテンツプロバイダＩＤにマッピングする。検索クエリにより認識したコンテンツアイテムに対応するコンテンツプロバイダにマッチングすれば、画像ブラックリスト表に含まれるいずれかのマッピングエントリーにおけるいずれかの候補画像を取り除くことができる。
一実施形態では、ネットワークをクロールして画像およびその周辺のメタデータを収集するように設計される１つまたは複数の画像またはネットワーククローラにより、画像１２２およびそれぞれのメタデータを取得するようにしてもよい。画像１２２は保護されていない、又は版権がない画像であってもよい。保護されている、版権がある、許可されている、又はいずれかのその他の排他的授権の画像は認識されて且つ画像ホワイトリスト表及び/又は画像ブラックリスト表に置かれることができる。キーワードと画像候補との間のランキングスコア、およびコンテンツアイテムのメタデータに基づき画像候補をランキングする。コンテンツデータベース１３３で検索されたコンテンツアイテムのそれぞれに対して、画像候補リストからコンテンツアイテムに関連付けられた画像を選択する。選択された画像をコンテンツアイテムと合併して、合併または合成済みのコンテンツアイテムを生成する。例えば、選択された画像は、コンテンツアイテムの背景画像としてもよい。合併済みのコンテンツアイテムおよび画像のリストは、検索結果の一部としてクライアント装置１０１に返送される。
一実施形態によれば、例えば検索クエリを受信する前にデータ分析システム又はサーバ１５０（例えば、オフライン）によって画像選択方法/モデル１１５を予め配置及び生成することができる。画像選択方法/モデル１１５は、キーワード−画像（キーワード/画像）マッピング表、画像ホワイトリスト表及び画像ブラックリスト表を含んでもよい。例えば、図３Ａに示されるように、キーワード/画像マッピング表は数多くのマッピングエントリーを含み、各マッピングエントリーはキーワードを１つまたは複数の画像ＩＤにマッピングして、逆の場合も同じである。キーワードは検索クエリではより使用される可能性があるキーワード及び/又はあるコンテンツアイテム（例えば、スポンサー付きコンテンツの入札語（ｂｉｄｗｏｒｄ））に関連するキーワードとして認識される。ユーザ検索活動又は検索歴史の分析又は追跡に基づいてこのようなキーワードを認識することができ、一定の時間でユーザ検索活動又は検索歴史をコンパイルすることができる。図３Ｂでは画像ホワイトリスト表の例示を示し、及び図３Ｃでは画像ブラックリスト表の例示を示す。他の実施形態において、図４に示されるように、キーワード/画像マッピング表、画像ホワイトリスト表及び画像ブラックリスト表を結合した単一の表又はデータ構造を保持することができる。
なお、例示の目的のために、サーバ１０４の構成のみを説明したが、それに限定されない。サーバ１０４は、様々なエンドユーザデバイスにフロントエンド検索サービスを提供するネットワークサーバであってもよい。また、サーバ１０４は、フロントエンドサーバ（例えば、ネットワークサーバや一般的なコンテンツサーバ）に、特定または特殊のコンテンツ検索サービスを提供し、画像とコンテンツデータベースまたはサーバのコンテンツアイテムをマッチングおよび/または集積するアプリケーションサーバあるいはバックエンドサーバであってもよい。データ解析システム１５０は、コンテンツアイテムおよびそれぞれに関連付けられたコンテンツデータベースまたはサーバ１３３のキーワードに基づき、画像選択方法/モデル１１５を作成または訓練するための個別のサーバとして実現されてもよい。
ほかのアーキテクチャや配置も適用可能である。例えば、図１Ｂに示されるように、コンテンツデータベース１３３は、ネットワークを介してコンテンツサーバである個別のサーバにおいて維持され、ホストされるようにしてもよい。同様に、画像記憶部１２５は画像検索エンジンを有する画像サーバである個別のサーバにおいて維持され、ホストされるようにしてもよい。サーバ１３３および１２５は、ネットワークサーバ、アプリケーションサーバまたはバックエンドサーバであってもよい。サーバ１０４と同様なエンティティまたは組織により、コンテンツサーバ１３３および/または画像サーバ１２５を組織して提供するようにしてもよい。あるいは、コンテンツデータベース１３０〜１３１におけるコンテンツと画像１２２、およびその両者のメタデータを収集するための単独のエンティティ、または組織（例えば、第三者のプロバイダ）がコンテンツサーバ１３３および/または画像サーバ１２５を維持したり、ホストしたりするようにしてもよい。
なお、コンテンツデータベース/サーバ１３３は、主要コンテンツデータベース１３０および補助コンテンツデータベース１３１を含んでもよい。主要コンテンツデータベース１３０は、主要コンテンツサーバと呼ばれる個別のコンテンツサーバにおいて実現されたり維持されたりしてもよい。同様に、補助コンテンツデータベース１３１は補助または付属コンテンツサーバと呼ばれる個別のコンテンツサーバにおいて実現されたり維持されたりしてもよい。様々なマッチング式を使用して、２つのコンテンツデータベース１３０〜１３１から取得されたコンテンツアイテムを画像記憶部/サーバ１２５から取得された画像とマッチングする。あるいは、主要コンテンツデータベース１３０および補助コンテンツデータベース１３１のうちの一方のみから取得されたコンテンツアイテムを画像記憶部/サーバ１２５から取得された画像とマッチングする。例えば、補助コンテンツデータベース１３１から取得されたコンテンツアイテム（例えば、スポンサー付きコンテンツ）を画像記憶部/サーバ１２５から取得された画像とマッチングし、それに対して、主要コンテンツデータベース１３０から取得されたコンテンツアイテム（例えば、一般的なコンテンツ）を検索結果の一部として、修正せずにクライアント装置に返送する。
図２は、本出願の一実施形態に係る画像とコンテンツアイテムとをマッチングするシステムを示すブロック図である。システム２００は、図１Ａ〜図１Ｂのシステム１００の一部として実現されてもよい。図２を参照し、クライアント装置（例えば、図１のクライアント装置１０１）から検索クエリ２０１を受信すると、検索エンジン１２０は、コンテンツデータベースまたはコンテンツサーバ１３３において第１の検索を実行し、検索クエリ２０１に関連付けられた１つまたは複数のキーワード検索語に基づき、コンテンツアイテムの第１のリストを識別して検索する。また、検索エンジン１２０は、画像選択モジュール１１０と通信し、１組の画像選択方法/モデル１１５（クエリ/画像マッチングルールとも呼ばれる）を使用し、検索クエリ２０１に関連付けられたキーワードに基づき、画像記憶部または画像サーバ１２５から画像リストを識別する。検索エンジン１２０および/または画像選択モジュール１１０は、クエリを解析して、検索クエリ２０１に含まれるキーワードおよび/または検索クエリ２０１のキーワードと類似するキーワード（例えば、意味的に類似した語、同義語）のリストを導出する。拡張キーワードのリストに対して、コンテンツデータベース/サーバ１３３および/または画像記憶部/サーバ１２５における検索を実行する。
一実施形態では、画像選択モジュール１１０および/または画像選択方法/モデル１１５が検索エンジン１２０と一体に集積されてもよい。例えば、データ分析システム又はサーバ１５０（クエリ/画像マッピングシステムとも呼ばれる）により、画像選択方法/モデル１１５を予め構成したりコンパイルしたりしてもよい。クエリ/画像マッピングシステム１５０は、ＡＰＩまたはネットワークを経由してシステム２００に通信可能に接続される個別のシステムまたはサーバにホストされる。クエリ/画像マッピングシステム１５０は、ユーザまたは管理者が処理ロジックにより所定アルゴリズムを使用して拡張され、ランキングされる１組のクエリ/画像マッチングルールを構成するユーザインターフェースを含む。以下、クエリ/画像マッピングシステム１５０のさらなる詳細を、さらに説明する。
同様に、画像収集システム２３０は、画像記憶部/サーバ１２５に記憶された画像を収集し、前記画像収集システムは、ネットワークを介してシステム２００に通信可能な個別のシステムまたはサーバであってもよい。システム２００と同様なまたは異なるエンティティあるいは組織によりクエリ/画像マッピングシステム１５０および/または画像収集システム２３０を操作する。当該例では、画像をシステム２００に対してローカル（例えば、サーバ１０４に対してローカルである）である画像記憶部にキャッシュして記憶する。あるいは、画像収集システム２３０に関連付けられた指定したサーバにより画像を維持し、画像選択モジュール１１０は、ＡＰＩを経由して指定されたサーバと通信して画像リストを識別して検索する。
画像記憶部/サーバ１２５から検索された画像リストに基づき、画像選択モジュール１１０は、例えばコンテンツアイテムと、画像と、検索クエリとの間の類似性スコアに基づき、ランキングアルゴリズムに従って画像をランキングする。次に、一部の画像をコンテンツデータベース/サーバ１３３から識別して検索した一部のコンテンツアイテムとマッチングする。続いて、マッチングしたコンテンツアイテムと画像を集積済みのコンテンツアイテムに集積する。一実施形態では、画像をコンテンツアイテムの背景画像または補足画像として選択する。例えば、コンテンツアイテム２１１は記述またはテキストであり、画像２１２はコンテンツアイテム２１１の背景画像として選択される。適切な方式を用いて、本明細書全体に説明されるマッチングまたはランキング技術に基づき、画像２１２を選択してコンテンツアイテム２１１を補足または記述し、またはコンテンツアイテム２１１を選択して画像２１２がそれを補足または記述する。例えば、コンテンツアイテム２１１のコンテンツが画像２１２に示されるコンテンツに関連付けられ、または画像２１２に示されるコンテンツが画像２１２に関連付けられる。集積済みの画像２１２とコンテンツアイテム２１１を検索結果２１５の一部としてクライアント装置に返送する。
一実施形態によれば、クライアント装置から受信された検索クエリ２０１に応答して、検索クエリ２０１に基づき１つまたは複数のキーワードを決定する。前記キーワードは検索クエリ２０１中のキーワードまたは検索クエリ２０１の解析に基づき拡張したキーワードを含んでもよい。キーワードに基づき、画像選択方法/モデル１１５においてルックアップ動作または検索を実行し、データベースまたはテーブルのようなデータ構造において実施してもよい。
画像選択方法/モデル１１５は、多数のマッピングエントリーを有するキーワード/画像マッピングテーブルを含む。各マッピングエントリーは、１つまたは複数のキーワードを画像記憶部/サーバ１２５に記憶された１つまたは複数の画像を識別する１つまたは複数の画像ＩＤにマッピングする。検索クエリ２０１に基づき取得したキーワードに基づき、画像選択方法/モデル１１５によって１つまたは複数の画像ＩＤのリストを取得する。画像ホワイトリスト表と画像ブラックリスト表を使用して候補画像を処理することによって、いずれかの無関連及び/又は抵触する候補画像を取り除くことができる。候補画像の画像ＩＤに基づき、画像記憶部/サーバ１２５から対応する画像を画像候補として取得する。続いて、１つまたは複数の所定ランキングおよび/またはマッチングアルゴリズムを使用して画像候補をランキングしてマッチングする。続いて、最上位にランキングされる画像を選択してコンテンツアイテムに関連付けて検索結果２１５の一部として集積する。なお、図２に示されるユニットまたはモジュールの一部または全部はソフトウェア、ハードウェアまたはそれらの組合せにより実施されてもよい。
図３Ａ〜図３Ｂは、本出願の特定の実施形態に係るクエリ−画像マッチングテーブルの例を示す。図３Ａを参照し、クエリ/画像マッチングテーブル３００は、上記の図１Ａ〜図１Ｂおよび図２の画像選択方法/モデル１１５の一部であるクエリ/画像マッピングテーブルを表してもよい。一実施形態では、クエリ/画像マッチングテーブル３００は、多数のマッチングエントリーを含む。各マッチングエントリーは、１つまたは複数のキーワード３０１を、画像記憶部または画像サーバ（例えば、画像記憶部/サーバ１２５）における対応する画像を識別する１つまたは複数の画像ＩＤ ３０２にマッピングする。キーワードに基づき、マッチングテーブル３００をインデキシングする。当該例では、第１のエントリーは、語「花」を画像１〜５にマッピングする。第２のエントリーは、語「北京の花」を画像１のみにマッピングする。第３のエントリーは、語「上海の花」を画像２にマッピングする。第４のエントリーは、語「花の配達」を画像１〜２および４にマッピングする。従って、検索クエリが「北京の花」を含む場合に、画像１〜５を識別する。そのうち、画像１のランキング順位がより高くなってもよい。
図３Ｂを参照し、マッチングテーブルの代替実施形態の例を示し、このマッチングテーブルは、画像選択方法/モデル１１５の一部として機能する画像−キーワード（画像/キーワード）マッチングテーブルであってもよい。当該例では、画像/キーワードマッチングテーブル３５０は、多数のマッチングエントリーを含む。各マッチングエントリーは、画像ＩＤ ３５１を１つまたは複数のキーワード３５２にマッピングする。画像ＩＤに基づきマッチングテーブル３５０をインデキシングする。２つのテーブル３００および３５０を交換可能に使用してもよい。例えば、テーブル３００が１つまたは複数のキーワードに関連するすべての画像を識別することに用いられてもよい。
図４Ａ〜図４Ｃは本発明のある実施形態に係る画像選択データ構造を示す例示である。図４Ａを参照して、データ構造４００（この例示でマッピング表である）は数多くのマッピングエントリーを有する画像ホワイトリスト表を示す。各マッピングエントリーは画像ＩＤ ４０１をコンテンツプロバイダＩＤ ４０２及び/又はコンテンツプロバイダＩＤ ４０２により認識されたコンテンツプロバイダのカテゴリー/製品４０３にマッピングする。このようなエントリーは画像認識型画像ＩＤ ４０１はコンテンツプロバイダ或いはコンテンツプロバイダＩＤ ４０２により認識されたコンテンツプロバイダのカテゴリーに関連するコンテンツアイテムのみに指定されることを指し示す。画像及びそのメタデータはネットワーククローラにより収集して、且つ画像が画像ホワイトリスト表４００に記憶されるべきであるか否かを確定するように、データ分析システム１５０により分析されることができる。画像のメタデータは見出し、記述、ソース（例えば、ネットワークアドレス、ブランドフランチャイズウェブサイト）、特定のコンテンツアイテム又は製品を記述するコンテンツ、エンティティの商標又はサービスマーク（例えば、標識）等を含んでもよい。
例えば、特定のコンテンツプロバイダに関連するソース（例えば、ウェブサイト）から画像を収集することができる。画像は例えば画像識別過程によって識別されたコンテンツを含んでもよく、特定のコンテンツプロバイダ又は特定のコンテンツプロバイダの製品/種類を表示又は記述することができる。画像（例えば、版権を有する画像）は特定のコンテンツプロバイダによって独占又は許可されることができる。いずれかのこのような場合に、例えば、画像は対応したコンテンツプロバイダにより提供されたコンテンツアイテムのみに関連づけることができることが、データ分析システム１５０により確定される。続いて、それらの画像の画像ＩＤは画像ホワイトリスト表４００（例えば、データ分析システム１５０によりオフラインで完成される）に記憶される。一実施形態において、オンライン検索中に、検索クエリに基づいて得られたコンテンツアイテムが画像ホワイトリスト表４００に挙げられたいずれかのコンテンツプロバイダにより提供されたものでない場合に、画像ホワイトリスト表に挙げられたそれらのコンテンツプロバイダにおけるいずれかにマッチングしたいずれかの候補画像を選択しようとする候補画像リストから取り除くことができる。
画像ブラックリスト表を示す図４Ｂを参照して、表４２０は数多くのマッピングエントリーを含む。各マッピングエントリーは画像ＩＤ ４２１をコンテンツプロバイダＩＤ ４２２又はコンテンツプロバイダＩＤ ４２２により認識されたコンテンツプロバイダの種類/製品４２３にマッピングする。このようなエントリーは画像認識型画像ＩＤ ４０１がコンテンツプロバイダ或いはコンテンツプロバイダＩＤ ４２２により認識されたコンテンツプロバイダの種類に関連するコンテンツアイテムに指定されることができないことを指し示す。画像及びそのメタデータはネットワーククローラにより収集して、画像が画像ブラックリスト表４２０に記憶されるべきであるか否かを確定するように、データ分析システム１５０により分析されることができる。画像のメタデータは見出し、記述、ソース（例えば、ネットワークアドレス、ブランドフランチャイズウェブサイト）、特定のコンテンツアイテム又は製品を記述するコンテンツ、エンティティの商標又はサービスマーク（例えば、標識）等を含んでもよい。
例えば、特定コンテンツプロバイダに関連するソース（例えば、ウェブサイト）から画像を収集することができ、当該特定コンテンツプロバイダは他のコンテンツプロバイダの競争相手である。画像は例えば画像識別過程によって識別されたコンテンツを含んでもよく、特定のコンテンツプロバイダ又は特定コンテンツプロバイダ製品/種類を表示又は記述することができ、当該特定コンテンツプロバイダは他の特定コンテンツプロバイダの競争相手である。画像（例えば、版権を有する画像）は他の特定コンテンツプロバイダの競争相手の特定のコンテンツプロバイダによって独占又は許可されることができる。いずれかのこのような場合に、例えば、画像は対応したコンテンツプロバイダにより提供されたコンテンツアイテムに関連しなくてもよいことが、データ分析システム１５０により確定される。続いて、それらの画像の画像ＩＤは画像ブラックリスト表４２０（例えば、データ分析システム１５０によりオフラインで完成される）に記憶される。一実施形態において、オンライン検索中に、検索クエリに基づいて得られたコンテンツアイテムは画像ブラックリスト表４２０において挙げられたいずれかのコンテンツプロバイダにより提供される場合に、画像ブラックリスト表４２０に挙げられたそれらのコンテンツプロバイダにおけるいずれかにマッチングしたいずれかの候補画像を選択しようとする候補画像リストから取り除くことができる。
他の実施形態によれば、表３００、３５０、４００及び４２０を図４Ｃに示したような単一の表４５０に結合することができる。図４Ｃを参照して、表４５０は数多くのマッピングエントリーを含む。各エントリーはキーワード４５１を１つまたは複数の画像ＩＤ ４５２にマッピングする。画像は特定のコンテンツプロバイダのコンテンツアイテムのみに指定されることができる場合に、ホワイトリストフィールド４５３に対応したコンテンツプロバイダＩＤを挙げる。同様に、画像は特定のコンテンツプロバイダのコンテンツアイテムに指定されることができない場合に、ブラックリストフィールド４５４に対応したコンテンツプロバイダＩＤを挙げる。図３Ａ、図３Ｂ及び図４Ａ、図４Ｃに示したような表はデータ分析システム又はサーバ１５０によりオフラインでコンパイラーされ且つ生成され、及び画像選択モジュール又はシステム１１０によりオンラインで利用されてもよいことを注意すべきである。
図５は本発明の一実施形態に係る画像選択システムの例示を示すブロック図である。システム５００は図１Ａ〜図１Ｂのシステム１００又は図２のシステム２００の一部として実施されることができる。図５を参照して、画像選択モジュール又はシステム１１０はキーワード抽出モジュール５０１、画像検索モジュール５０２、ホワイトリスト処理モジュール５０３、ブラックリスト処理モジュール５０４及び画像ランキングモジュール５０５を備えるが、これらに制限されない。モジュール５０１〜５０５はソフトウェア、ハードウェア又はその組み合わせの形式で実施されることができる。例えば、スコアリングモジュールはメモリにロードされて且つ１つまたは複数のプロセッサにより実行されることができる。
図６は本発明の一実施形態に係る画像選択システムの処理プロセスを示すフローチャートである。図５のシステム５００により処理プロセス６００を実行することができる。図５〜図６を参照し、検索クエリ６０１または検索クエリ６０１の検索語に応答して、キーワード抽出モジュール５０１（クエリ解析モジュールとも呼ばれる）は、検索語を解析して、検索クエリ６０１の検索語に関連付けられた１組のキーワード６０２を導出する。キーワード６０２は、検索クエリ５０１の検索語に含まれるキーワードであってもよい。あるいは、キーワード５０２は、意味的に検索クエリ６０１の検索語に関連付けられる追加キーワードを含んでもよく、解析に基づき決定されてもよく。例えば、キーワード抽出モジュール５０１は、検索語に潜在意味解析を実行して、意味的に検索クエリ６０１の検索語に関連付けられた追加キーワードを導出する。解析によって、検索クエリ６０１から検索リクエスタのコンテンツと無関係のまたは矛盾するキーワードを取り除いてもよい。
自然言語処理、特に分布意味論において、潜在意味解析（ｌａｔｅｎｔ ｓｅｍａｎｔｉｃ ａｎａｌｙｓｉｓ：ＬＳＡ）は、１組のドキュメントおよびそれに含まれる語に関連する１組の概念を生成することにより、前記ドキュメントと前記語の関係を解析する技術である。ＬＳＡは、意味の近い語が類似するテキスト断片に出現するとする。各段落の文字数を含む行列（行はユニークワード、列は各段落を表す）は、長いテキストから構成され、特異値分解（ＳＶＤ）と呼ばれる数学的手法により列間の類似性構造を維持しながら行数を減少させる。続いて、任意の２行により形成された２つのベクトル間の角度の余弦関数（または２つのベクトルの正規化間のドット積）を使用して語を比較する。１に近い値は、類似度が非常に高い語を表し、０に近い値は、類似度が非常に低い語を表す。
キーワード６０２に基づいて、キーワード/画像マッピング表３００を使用して画像ＩＤ ６０３のリストを認識する。画像ＩＤ ６０３に基づいて候補画像とする画像のリスト及びその関連するメタデータを取得するように、画像検索モジュール５０２は画像メモリ（例えば、画像メモリ１２５）において検索する。画像の一次画像ＩＤ ６０３を認識するためのリストを認識するように、画像検索モジュール５０２はキーワード５０２に基づいてキーワード/画像マッピング表において検索することができる。また、以上のような画像ホワイトリスト表４００に基づいて候補画像からいずれかの無関係の又は抵触する画像ＩＤを取り除くように、ホワイトリスト処理モジュール５０３は画像ＩＤ ６０３を処理して、これにより中間候補画像６０５を生成する。以上のような画像ブラックリスト表４２０に基づいて候補画像からいずれかの無関係の又は抵触する画像ＩＤを取り除くように、ブラックリスト処理モジュール５０４は更に中間候補画像６０５を処理して、最後の候補画像６０６のリストを生成する。画像ランキングモジュール５０５により多種のランキングアルゴリズム又はモデルを使用して最後の候補画像６０６をランキングする。続いて、前列に並べられた画像を選択して、検索エンジン１２０が検索クエリ６０１に応答して検索して認識したコンテンツアイテム６０４に関連づける。
図７は本発明の一実施形態に係る画像とコンテンツアイテムをマッチングするための過程を示すフローチャートである。処理ロジックにより過程７００を実行することができ、処理ロジックはソフトウェア、ハードウェア又はその組み合わせを含んでもよい。例えば、図５のシステム５００により過程７００を実行することができる。図７を参照して、ブロック７０１において、処理ロジックは検索クエリに基づいて認識されたコンテンツアイテムを受信し、当該コンテンツアイテムは第１コンテンツプロバイダにより提供される。ブロック７０２において、処理ロジックは検索クエリに関連する１つまたは複数のキーワードに基づいて画像リストを候補画像（例えばキーワード/画像マッピング表を使用する）として認識する。ブロック７０３において、処理ロジックは第１コンテンツプロバイダと異なるコンテンツプロバイダに対応した画像ホワイトリスト表に含まれるいずれかの画像を認識して取り除く。ブロック７０４において、処理ロジックは第１コンテンツプロバイダと同じコンテンツプロバイダに対応する画像ブラックリスト表に含まれるいずれかの画像を認識して取り除く。ブロック７０５において、多種のランキングアルゴリズム又はモデルを使用して残された候補画像をランキングする。続いてブロック７０６において、前列に並べられた画像の中の１つを選択してコンテンツアイテムに関連づける。
図８は本発明の一実施形態に係るデータ分析システムの例示を示すブロック図である。図８を参照して、データ分析システム１５０はデータ収集モジュール８０１、分析モジュール８０２、キーワード/画像マッピングモジュール８０３、ホワイトリスト処理モジュール８０４及びブラックリスト処理モジュール８０５を備えるが、これらに制限されない。データ収集モジュール８０１は画像メモリ１２５に記憶しようとする画像及びそのメタデータを収集することに用いられる。分析モジュール８０２はコンテンツデータベース１３３に記憶されるコンテンツアイテム及びそのメタデータに基づき画像メモリ１２５に記憶される画像とメタデータに対して分析を実行し、コンテンツアイテムは１つまたは複数のコンテンツプロバイダにより提供される。前記分析に基づいて、キーワード/画像マッピングモジュール８０３はキーワード/画像マッピング表３００を作成する。
また、ホワイトリスト処理モジュール８０４は画像ホワイトリスト表４００を作成する。以上のように、特定コンテンツプロバイダに関連するソース（例えば、ウェブサイト）から画像を収集することができる。画像は例えば画像識別過程によって識別されたコンテンツを含んでもよく、特定のコンテンツプロバイダ又は特定のコンテンツプロバイダの製品/種類を示すか又は記述することができる。（例えば、版権を有する画像）画像は特定のコンテンツプロバイダによって独占又は許可されることができる。いずれかのこのような場合に、例え、画像は対応したコンテンツプロバイダにより提供されたコンテンツアイテムのみに関連づけることができることが、分析モジュール８０２及び/又はホワイトリスト処理モジュール８０４により確定される。続いて、それらの画像の画像ＩＤは画像ホワイトリスト表４００に記憶される。
なお、ブラックリスト処理モジュール８０５は画像ブラックリスト表４２０を作成する。以上のように、特定コンテンツプロバイダに関連するソース（例えば、ウェブサイト）から画像を収集することができ、当該特定コンテンツプロバイダは他のコンテンツプロバイダの競争相手である。画像は例えば画像識別過程によって識別されたコンテンツを含んでもよく、他の特定コンテンツプロバイダの競争相手とする特定コンテンツプロバイダ又は当該特定コンテンツプロバイダの製品/種類を示すか記述することができる。画像（例えば、版権を有する画像）は他の特定コンテンツプロバイダの競争相手とする特定コンテンツプロバイダによって独占又は許可されることができる。いずれかのこのような場合に、例えば、画像は対応したコンテンツプロバイダにより提供されたコンテンツアイテムに関連しなくてもよいことが、分析モジュール８０２及び/又はブラックリスト処理モジュール８０５により確定される。続いて、それらの画像の画像ＩＤは画像ブラックリスト表４２０に記憶される。
図９は本発明の一実施形態に係るデータ分析過程を示すフローチャートである。処理ロジックにより過程９００を実行することができ、処理ロジックはソフトウェア、ハードウェア又はその組み合わせを含んでもよい。例えば、図８のシステム８００により過程９００を実行することができる。図９を参照して、ブロック９０１において、処理ロジックは一組の画像及び当該画像のメタデータを受信する。各画像に対して、ブロック９０２において、処理ロジックは画像とメタデータに対して分析を実行して、及び画像を認識するための画像ＩＤを１つまたは複数のキーワード（例えば、入札語（ｂｉｄｗｏｒｄ））にマッピングすることによって、キーワード/画像マッピング表を生成する。ブロック９０３において、処理ロジックは画像が第１コンテンツプロバイダに関連するか否かを確定する。画像は第１コンテンツプロバイダに関連する場合に、ブロック９０４において、画像を認識するための画像ＩＤは第１コンテンツプロバイダにマッピングしようとする画像ホワイトリスト表に含まれる。ブロック９０５において、処理ロジックは画像が第２コンテンツプロバイダの競争相手に関連するか否かを確定する。処理ロジックは画像が第２コンテンツプロバイダの競争相手に関連する場合に、ブロック９０６において、第２コンテンツプロバイダを認識するための第２コンテンツプロバイダＩＤに関連づけるように、画像ＩＤを画像ブラックリスト表に追加する。
上記技術は、画像とスコンテンツプロバイダにより提供されたポンサー付きコンテンツとをマッチングすることに適用できる。スポンサー付きコンテンツの一種は、コンテンツプロバイダとしての広告主により提供された広告（Ａｄ）である。例えば、図１Ａ〜図１Ｂを参照し、コンテンツデータベース（ＤＢ）またはサーバ１３３は、ＡｄデータベースまたはＡｄサーバであってもよい。コンテンツアイテム（例えば、Ａｄ）のそれぞれが定義したキーワード、語、語句または文のリストに関連付けられる。これらの定義したキーワード、語、語句または文は、広告プロバイダにより購入、定義または指定された入札語であってもよい。別の実施形態では、主要コンテンツＤＢ １３０は、パブリックネットワークで一般的に利用可能な一般的なコンテンツを記憶してもよい。補助コンテンツＤＢ １３１は、広告ＤＢであってもよい。特定の広告は、プレーンテキストのみであってもよい。画像と広告とをマッチングして集積し、例えば背景画像として使用することにより、広告はユーザにとってさらに魅力的になる。サーバ１０４は、コンテンツを検索するネットワークサーバであってもよく、広告サーバであってもよい。
図１０は、本出願の一実施形態と組み合わせて使用されるデータ処理システムを例示的に示すブロック図である。例えば、システム１５００は、上記プロセスまたは方法のいずれかを実行する上記任意のデータ処理システム、例えば上記クライアント装置またはサーバ、例えば上記クライアント装置１０１〜１０２、サーバ１０４、コンテンツサーバ１３３、コンテンツ/画像マッピングシステム/サーバ１５０または画像検索エンジン/システム/サーバ６０５を示してもよい。
システム１５００は、多数の異なる構成要素を含んでもよい。これらの構成要素は、集積回路（ＩＣ）、集積回路の一部、分散型電子装置または回路基板に適用された他のモジュール（例えばコンピュータシステムのマザーボードまたはアドインカード）、または他の方式でコンピュータシステムのシャシーに組み込まれた構成要素として実現できる。
さらに、システム１５００は、コンピュータシステムの多数の構成要素の詳細ビューを示すことを目的とする。しかしながら、いくつかの実現形態では、付加的構成を要してもよいことを理解すべきである。また、他の実現形態において示される構成要素が異なる配置を有してもよい。システム１５００は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、携帯電話、メディアプレーヤー、パーソナルデジタルアシスタント（ＰＤＡ）、スマート腕時計、パーソナルコミュニケーター、ゲーム装置、ネットワークルータまたはハブ、無線アクセスポイント（ＡＰ）またはリピーター、セットトップボックス、またはそれらの組合せを示してもよい。また、単一の機器またはシステムのみを示したが、用語「機器」または「システム」は、さらに、独立または共同で１つ（または複数）の命令セットを実行することにより本明細書に説明される任意の１種または複数種の方法を実行する機器またはシステムの任意のセットを含むことを理解すべきである。
一実施形態において、システム１５００は、バスまたは相互接続部材１５１０によって接続されたプロセッサ１５０１、メモリ１５０３および装置１５０５〜１５０８を備える。プロセッサ１５０１は、単一のプロセッサコアまたは複数のプロセッサコアを含む単一のプロセッサまたは複数のプロセッサを備えてもよい。プロセッサ１５０１は、マイクロプロセッサ、中央処理装置（ＣＰＵ）等のような１つまたは複数の汎用プロセッサであってもよい。より具体的には、プロセッサ１５０１は、複雑命令セット計算（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピュータ（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、または他の命令セットを実現するプロセッサ、または命令セットの組合せを実現するプロセッサであってもよい。プロセッサ１５０１は、さらに、専用集積回路（ＡＳＩＣ）、セルラまたはベースバンドプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサ、グラフィックプロセッサ、通信プロセッサ、暗号プロセッサ、コプロセッサ、組み込みプロセッサのような１つまたは複数の専用プロセッサ、あるいは命令処理可能な任意の他のタイプのロジックであってもよい。
プロセッサ１５０１（超低電圧プロセッサのような低電力マルチコアプロセッサソケットであってもよい）は、前記システムの各種構成要素と通信するための主処理ユニットおよび中央ハブとして機能できる。このようなプロセッサは、システムオンチップ（ＳｏＣ）として実現できる。プロセッサ１５０１は、命令を実行することにより本明細書に説明される操作およびステップを実行するための命令を実行するように構成される。また、システム１５００は、選択可能なグラフィックサブシステム（表示コントローラおよび／または表示装置）１５０４と通信するグラフィックインターフェースをさらに含み、グラフィックサブシステム（表示コントローラおよび／または表示装置）１５０４は、表示コントローラ、グラフィックプロセッサおよび/または表示装置をさらに備えてもよい。
プロセッサ１５０１は、メモリ１５０３と通信してもよく、メモリ１５０３は、一実施形態において複数のメモリによって所定量のシステムメモリを提供する。メモリ１５０３は、ランダムアクセスメモリ（ＲＡＭ）、動的ＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、静的ＲＡＭ（ＳＲＡＭ）または他のタイプの記憶装置のような１つまたは複数の揮発性記憶（またはメモリ）装置を備えてもよい。メモリ１５０３は、プロセッサ１５０１または任意の他の装置により実行される命令列を含む情報を記憶できる。例えば、複数種のオペレーティングシステム、装置ドライバー、ファームウェア（例えば、入力出力基本システムまたはＢＩＯＳ）および/またはアプリケーションの実行可能なコードおよび/またはデータはメモリ１５０３にロードされてもよく、プロセッサ１５０１により実行される。オペレーティングシステムは、Ｍｉｃｒｏｓｏｆｔ(R)会社からのＷｉｎｄｏｗｓ(R)オペレーティングシステム、アップル会社からのＭａｃ ＯＳ(R)/ｉＯＳ(R)、Ｇｏｏｇｌｅ(R)会社からのＡｎｄｒｏｉｄ(R)、Ｌｉｎｕｘ（登録商標）、Ｕｎｉｘ(R)または他のリアルタイムまたは組み込みオペレーティングシステム（例えばＶｘＷｏｒｋｓ）のような任意のタイプのオペレーティングシステムであってもよい。
システム１５００は、ＩＯ装置、例えば装置１５０５〜１５０８をさらに備えてもよく、ネットワークインターフェース装置１５０５、選択可能な入力装置１５０６および他の選択可能なＩＯ装置１５０７を備える。ネットワークインターフェース装置１５０５は、無線送受信機および/またはネットワークインターフェースカード（ＮＩＣ）を備えてもよい。前記無線送受信機は、ＷｉＦｉ送受信機、赤外送受信機、ブルートゥース（登録商標）送受信機、ＷｉＭａｘ送受信機、無線セルラーホン送受信機、衛星送受信機（例えば、全地球測位システム（ＧＰＳ）送受信機）または他の無線周波数（ＲＦ）送受信機またはそれらの組合せであってもよい。ＮＩＣはイーサネット（登録商標）カードであってもよい。
入力装置１５０６は、マウス、タッチパッド、タッチスクリーン（それは表示装置１５０４と一体化されてもよい）、ポインタデバイス（例えばスタイラス）および/またはキーボード（例えば、物理キーボードまたはタッチスクリーンの一部として表示された仮想キーボード）を備えてもよい。例えば、入力装置１５０６は、タッチスクリーンに接続されるタッチスクリーンコントローラを含んでもよい。タッチスクリーンおよびタッチスクリーンコントローラは、例えば複数種のタッチ感度技術（容量、抵抗、赤外および表面音波の技術を含むが、それらに限定されない）のいずれか、およびタッチスクリーンの１つまたは複数の接触点を決定するための他の近接センサアレイまたは他の素子を用いてそのタッチ点および移動または断続を検出できる。
ＩＯ装置１５０７は音声装置を備えてもよい。音声装置は、スピーカおよび/またはマイクロホンを含んでもよく、それにより音声認識、音声コピー、デジタル記録および/または電話機能のような音声サポートの機能を促進する。他のＩＯ装置１５０７は、汎用シリアルバス（ＵＳＢ）ポート、パラレルポート、シリアルポート、印刷機、ネットワークインターフェース、バスブリッジ（例えば、ＰＣＩ−ＰＣＩブリッジ）、センサ（例えば、加速度計、ジャイロスコープ、磁力計、光センサ、コンパス、近接センサ等のような動きセンサ）またはそれらの組合せをさらに備えてもよい。装置１５０７は、結像処理サブシステム（例えば、カメラ）をさらに備えてもよく、前記結像処理サブシステムは、カメラ機能（例えば、写真およびビデオ断片の記録）を促進するための電荷カップリング装置（ＣＣＤ）または相補型金属酸化物半導体（ＣＭＯＳ）光学センサのような光学センサを備えてもよい。あるセンサは、センサハブ（図示せず）によって相互接続部材１５１０に接続されてもよく、キーボードまたは熱センサのような他の装置は、組み込みコントローラ（図示せず）により制御されてもよく、これはシステム１５００の特定配置または設計により決められる。
データ、アプリケーション、１つまたは複数のオペレーティングシステム等のような情報の永久記憶を提供するために、大容量記憶装置（図示せず）は、プロセッサ１５０１に接続されてもよい。様々な実施形態において、薄型化と軽量化のシステム設計を実現し且つシステムの応答能力を向上させるために、このような大容量記憶装置は、ソリッドステート装置（ＳＳＤ）によって実現できる。なお、他の実施形態において、大容量記憶装置は、主にハードディスクドライブ（ＨＤＤ）で実現されてもよく、少量のＳＳＤ記憶量は、ＳＳＤキャッシュとして停電イベント期間にコンテキスト状態および他のこのような情報の不揮発性記憶を実現し、それによりシステム動作が再開する時に通電を速く実現できる。さらに、フラッシュデバイスは、例えばシリアルペリフェラルインターフェース（ＳＰＩ）によってプロセッサ１５０１に接続されてもよい。このようなフラッシュデバイスは、システムソフトウェアの不揮発性記憶に用いられてもよく、前記システムソフトウェアは、前記システムの基本入力/出力ソフトウェア（ＢＩＯＳ）および他のファームウェアを備える。
記憶装置１５０８は、任意の１種または複数種の本明細書に記載の方法または機能を体現する１つまたは複数の命令セットまたはソフトウェア（例えば、モジュール、ユニットおよび/またはロジック１５２８）が記憶されるコンピュータアクセス可能な記憶媒体１５０９（機械可読記憶媒体またはコンピュータ可読媒体とも呼ばれる）を備えてもよい。モジュール/ユニット/ロジック１５２８は、上記した検索エンジン、エンコーダ、インタラクションログ記録モジュール、画像選択モジュールのような上記構成要素のいずれかを示してもよい。モジュール/ユニット/ロジック１５２８は、さらにデータ処理システム１５００により実行される期間にメモリ１５０３内および/またはプロセッサ１５０１内に完全または少なくとも部分的に存在してもよく、ここで、メモリ１５０３およびプロセッサ１５０１も、機器アクセス可能な記憶媒体を構成する。モジュール/ユニット/ロジック１５２８は、さらにネットワークによってネットワークインターフェース装置１５０５を経由して送受信されてもよい。
コンピュータ可読記憶媒体１５０９は、以上に説明された、いくつかのソフトウェア機能を永続的に記憶してもよい。コンピュータ可読記憶媒体１５０９は、例示的な実施形態において単一の媒体として示されたが、用語「コンピュータ可読記憶媒体」は、前記１つまたは複数の命令セットが記憶される単一の媒体または複数の媒体（例えば、集中型または分散型データベース、および/または関連するキャッシュおよびサーバ）を備えることを理解すべきである。用語「コンピュータ可読記憶媒体」は、さらに命令セットを記憶またはコーディング可能な任意の媒体を備えることを理解すべきであり、前記命令セットは、機器により実行され且つ前記機器に本出願の任意の１種または複数種の方法を実行させる。従って、用語「コンピュータ可読記憶媒体」は、ソリッドステートメモリおよび光学媒体と磁気媒体または任意の他の非一時的機械可読媒体を備えるが、それらに限定されないことを理解すべきである。
本明細書に記載のモジュール/ユニット/ロジック１５２８、構成要素および他の特徴は、ディスクリートハードウェアコンポーネントとして実現されてもよく、またはハードウェアコンポーネント（例えばＡＳＩＣＳ、ＦＰＧＡ、ＤＳＰまたは類似装置）の機能に統合されてもよい。さらに、モジュール/ユニット/ロジック１５２８は、ハードウェア装置内のファームウェアまたは機能回路として実現されてもよい。また、モジュール/ユニット/ロジック１５２８は、ハードウェア装置およびソフトウェアコンポーネントの任意の組合せで実現されてもよい。
なお、システム１５００は、データ処理システムの各種の構成要素を有するように示されているが、任意の具体的な構造または構成要素の相互接続方式を限定するものではないことに注意すべき、それは、このような詳細が本出願の実施形態に密接な関係がないためである。また、より少ない構成要素またはより多くの構成要素を有するネットワークコンピュータ、ハンドヘルドコンピュータ、携帯電話、サーバおよび/または他のデータ処理システムは、本出願の実施形態と共に使用されてもよい。
上記詳細な説明の一部は、コンピュータメモリにおけるデータビットに対する演算のアルゴリズムおよび記号表現で示される。これらのアルゴリズムの説明および表現は、データ処理分野における当業者によって使用される、それらの作業実質を所属分野の他の当業者に最も効果的に伝達する方法である。ここで、アルゴリズムは、通常、所望の結果につながる首尾一貫した操作列（sequence of operations）と考えられる。これらの操作とは、物理量に対して物理的操作を行う必要となるステップを指す。
ただし、これらの全ておよび類似の用語は、いずれも適切な物理量に関連付けられ、且つただこれらの量に適用される適切なラベルであることに注意すべきである。特に断らない限り、本明細書の全体にわたって用語（例えば、添付している特許請求の範囲に説明された用語）による説明とは、コンピュータシステムまたは類似の電子計算装置の動作および処理であり、前記コンピュータシステムまたは電子計算装置は、コンピュータシステムのレジスタおよびメモリに物理（例えば、電子）量としてデータを示し、且つ前記データをコンピュータシステムメモリまたはレジスタまたは他のこのような情報メモリ、伝送または表示装置内において類似に物理量として示される他のデータに変換する。
各図に示される技術は、１つまたは複数の電子装置に記憶され前記電子装置上で実行されるコードおよびデータにより実施されてもよい。このような電子装置は、コンピュータ可読媒体を使用してコードおよびデータを記憶し、（内部で、および/またはネットワークを介してほかの電子装置を利用して）伝送し、前記コンピュータ可読媒体として、非一時的コンピュータ可読記憶媒体（例えば、磁気ディスク、光ディスク、ランダムアクセスメモリ、読み出し専用メモリ、フラッシュメモリ装置、相変化メモリ）および一時的コンピュータ可読伝送媒体（例えば、電子、光学、音響学、またはほかの形式の信号伝播、例えば搬送波、赤外信号、デジタル信号）が挙げられる。
上記図面に示されるプロセスまたは方法は、ハードウェア（例えば、回路、専用ロジック等）、ファームウェア、ソフトウェア（例えば、非一時的コンピュータ可読媒体に示される）、またはそれらの組合せを含む処理ロジックにより実行されてもよい。前記プロセスまたは方法は、本明細書において特定の順序に応じて説明されるが、説明された操作の一部は、異なる順序に応じて実行されてもよい。また、いくつかの操作は、順番ではなく並行に実行されてもよい。
以上の明細書では、本出願の具体的な例示的な実施形態を参照してその実施形態を説明した。明らかなように、添付している特許請求の範囲に記載の本出願のより広い趣旨および範囲を逸脱しない限り、様々な変形が可能である。従って、限定的なものではなく例示的なものとして本明細書および図面を理解すべきである。

Claims (24)

  1. １つまたは複数の画像の第１セットを、検索クエリに応答して認識されたコンテンツアイテムにマッチングしようとする候補画像リストとして認識するステップであって、前記コンテンツアイテムは第１コンテンツプロバイダにより提供される、ステップと、
    前記第１コンテンツプロバイダと違う第２コンテンツプロバイダに関連する１つまたは複数の画像の第２セットを認識するように、画像ホワイトリスト表において第１検索操作を実行するステップと、
    前記候補画像リストから前記画像の前記第２画像セットに含まれるいずれかの候補画像を取り除くステップと、
    前記候補画像の中の１つを選択して前記コンテンツアイテムに関連づけるステップと、を含む
    ことを特徴とする、コンテンツアイテムと画像をマッチングするためのコンピュータ実施方法。
  2. 前記画像ホワイトリスト表は複数のエントリーを含み、前記画像が対応のコンテンツプロバイダにより提供されたコンテンツアイテムのみに関連づけることができることを指し示すように、各エントリーは画像をコンテンツプロバイダにマッピングする
    ことを特徴とする請求項１に記載の方法。
  3. 前記画像ホワイトリスト表における第１エントリーの第１画像は前記第１エントリーに挙げられた第３コンテンツプロバイダに関連するソースから得られたものである
    ことを特徴とする請求項２に記載の方法。
  4. 前記画像ホワイトリスト表における第１エントリーの第１画像は前記第１エントリーに挙げられた第３コンテンツプロバイダに関連する、識別されることができるコンテンツを含む
    ことを特徴とする請求項２に記載の方法。
  5. 前記コンテンツアイテムの前記第１コンテンツプロバイダに関連する１つまたは複数の画像の第３セットを認識するように、画像ブラックリスト表において第２検索操作を実行するステップと、
    前記候補画像リストから前記画像の前記第３セットに含まれるいずれかの候補画像を取り除くステップと、を更に含む
    ことを特徴とする請求項１に記載の方法。
  6. 前記画像ブラックリスト表は複数のエントリーを含み、前記画像が対応のコンテンツプロバイダにより提供されたコンテンツアイテムに関連づけることができないことを指し示すように、各エントリーは画像をコンテンツプロバイダにマッピングする
    ことを特徴とする請求項５に記載の方法。
  7. 前記画像ブラックリスト表における第１エントリーの第１画像は第３コンテンツプロバイダに関連するソースから得られ、前記第３コンテンツプロバイダは前記第１エントリーに挙げられた第４コンテンツプロバイダの競争相手である
    ことを特徴とする請求項６に記載の方法。
  8. 前記画像ブラックリスト表における第１エントリーの第１画像は、前記第１エントリーに挙げられた第３コンテンツプロバイダに抵触する、識別されることができるコンテンツを含む
    ことを特徴とする請求項６に記載の方法。
  9. 前記検索クエリから１つまたは複数のキーワードを抽出するステップと、
    画像の前記第１セットを認識するように、抽出されたキーワードに基づいてキーワード−画像（キーワード/画像）マッピング表において第３検索操作を実行するステップと、
    を更に含み、
    ここで、前記キーワード/画像マッピング表は複数のエントリーを含み、各エントリーはキーワードを１つまたは複数の画像を認識するための１つまたは複数の画像識別子（ＩＤ）にマッピングする
    ことを特徴とする請求項１に記載の方法。
  10. 内部に指令が記憶された非一時的な機械可読媒体であって、前記指令はプロセッサにより実行される際に、コンテンツアイテムと画像をマッチングする操作を前記プロセッサに実行させ、
    前記操作は、
    １つまたは複数の画像の第１セットを、検索クエリに応答して認識されたコンテンツアイテムにマッチングしようとする候補画像リストとして認識する手順であって、前記コンテンツアイテムは第１コンテンツプロバイダにより提供される、手順と、
    前記第１コンテンツプロバイダと違う第２コンテンツプロバイダに関連する１つまたは複数の画像の第２セットを認識するように、画像ホワイトリスト表において第１検索操作を実行する手順と、
    前記候補画像リストから前記画像の前記第２画像セットに含まれるいずれかの候補画像を取り除く手順と、
    前記候補画像の中の１つを選択して前記コンテンツアイテムに関連づける手順と、を含む
    ことを特徴とする非一時的な機械可読媒体。
  11. 前記画像ホワイトリスト表は複数のエントリーを含み、前記画像が対応のコンテンツプロバイダにより提供されたコンテンツアイテムのみに関連づけることができることを指し示すように、各エントリーは画像をコンテンツプロバイダにマッピングする
    ことを特徴とする請求項１０に記載の機械可読媒体。
  12. 前記画像ホワイトリスト表における第１エントリーの第１画像は前記第１エントリーに挙げられた第３コンテンツプロバイダに関連するソースから得られたものである
    ことを特徴とする請求項１１に記載の機械可読媒体。
  13. 前記画像ホワイトリスト表における第１エントリーの第１画像は、前記第１エントリーに挙げられた第３コンテンツプロバイダに関連する、識別されることができるコンテンツを含む
    ことを特徴とする請求項１１に記載の機械可読媒体。
  14. 前記操作は、
    前記コンテンツアイテムの前記第１コンテンツプロバイダに関連する１つまたは複数の画像の第３セットを認識するように、画像ブラックリスト表において第２検索操作を実行する手順と、
    前記候補画像リストから前記画像の前記第３セットに含まれるいずれかの候補画像を取り除く手順と、を更に含む
    ことを特徴とする請求項１０に記載の機械可読媒体。
  15. 前記画像ブラックリスト表は複数のエントリーを含み、前記画像が対応のコンテンツプロバイダにより提供されたコンテンツアイテムに関連づけることができないことを指し示すように、各エントリーは画像をコンテンツプロバイダにマッピングする
    ことを特徴とする請求項１４に記載の機械可読媒体。
  16. 前記画像ブラックリスト表における第１エントリーの第１画像は第３コンテンツプロバイダに関連するソースから得られ、前記第３コンテンツプロバイダは前記第１エントリーに挙げられた第４コンテンツプロバイダの競争相手である
    ことを特徴とする請求項１５に記載の機械可読媒体。
  17. 前記画像ブラックリスト表における第１エントリーの第１画像は前記第１エントリーに挙げられた第３コンテンツプロバイダに抵触する、識別されることができるコンテンツを含む
    ことを特徴とする請求項１５に記載の機械可読媒体。
  18. 前記操作は更に、
    前記検索クエリから１つ又は複数のキーワードを抽出する手順と、
    画像の前記第１セットを認識するように、抽出したキーワードに基づいてキーワード−画像（キーワード/画像）マッピング表において第３検索操作を実行する手順と、を含み、
    ここで、前記キーワード/画像マッピング表は複数のエントリーを含み、各エントリーはキーワードを１つまたは複数の画像を認識するための１つまたは複数の画像識別子（ＩＤ）にマッピングする
    ことを特徴とする請求項１０に記載の機械可読媒体。
  19. プロセッサと、
    前記プロセッサに接続され、指令を記憶することに用いられ、前記指令は前記プロセッサにより実行される際に、コンテンツアイテムと画像をマッチングする操作を前記プロセッサに実行させるメモリと、を備え、
    前記操作は、
    １つまたは複数の画像の第１セットを、検索クエリに応答して認識されたコンテンツアイテムにマッチングしようとする候補画像リストとして認識することであって、前記コンテンツアイテムは第１コンテンツプロバイダにより提供されることと、
    前記第１コンテンツプロバイダと違う第２コンテンツプロバイダに関連する１つまたは複数の画像の第２セットを認識するように、画像ホワイトリスト表において第１検索操作を実行することと、
    前記候補画像リストから前記画像の前記第２画像セットに含まれるいずれかの候補画像を取り除くことと、
    前記候補画像の中の１つを選択して前記コンテンツアイテムに関連づけることと、を含む
    ことを特徴とするデータ処理システム。
  20. 前記画像ホワイトリスト表は複数のエントリーを含み、前記画像は対応したコンテンツプロバイダにより提供されたコンテンツアイテムのみに関連づけることができることを指し示すように、各エントリーは画像をコンテンツプロバイダにマッピングする
    ことを特徴とする請求項１９に記載のシステム。
  21. 前記画像ホワイトリスト表における第１エントリーの第１画像は前記第１エントリーに挙げられた第３コンテンツプロバイダに関連するソースから得られたものである
    ことを特徴とする請求項２０に記載のシステム。
  22. 前記画像ホワイトリスト表における第１エントリーの第１画像は前記第１エントリーに挙げられた第３コンテンツプロバイダに関連する、識別されることができるコンテンツを含む
    ことを特徴とする請求項２０に記載のシステム。
  23. 前記操作は、
    前記コンテンツアイテムの前記第１コンテンツプロバイダに関連する１つまたは複数の画像の第３セットを認識するように、画像ブラックリスト表において第２検索操作を実行することと、
    前記候補画像リストから前記画像の前記第３セットに含まれるいずれかの候補画像を取り除くことと、を更に含む
    ことを特徴とする請求項１９に記載のシステム。
  24. 前記画像ブラックリスト表は複数のエントリーを含み、前記画像は対応したコンテンツプロバイダにより提供されたコンテンツアイテムに関連づけることができないことを指し示すように、各エントリーは画像をコンテンツプロバイダにマッピングする
    ことを特徴とする請求項２３に記載のシステム。
JP2016232318A 2016-06-06 2016-11-30 検索クエリに応答してホワイトリストとブラックリストを使用し画像とコンテンツをマッチングする方法及びシステム Active JP6165955B1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/174,368 2016-06-06
US15/174,368 US10289642B2 (en) 2016-06-06 2016-06-06 Method and system for matching images with content using whitelists and blacklists in response to a search query

Publications (2)

Publication Number Publication Date
JP6165955B1 true JP6165955B1 (ja) 2017-07-19
JP2017220204A JP2017220204A (ja) 2017-12-14

Family

ID=57442579

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016232318A Active JP6165955B1 (ja) 2016-06-06 2016-11-30 検索クエリに応答してホワイトリストとブラックリストを使用し画像とコンテンツをマッチングする方法及びシステム

Country Status (5)

Country Link
US (1) US10289642B2 (ja)
EP (1) EP3255564A1 (ja)
JP (1) JP6165955B1 (ja)
KR (1) KR101932619B1 (ja)
CN (1) CN107463592B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11487868B2 (en) * 2017-08-01 2022-11-01 Pc Matic, Inc. System, method, and apparatus for computer security
WO2019059598A1 (en) * 2017-09-20 2019-03-28 Samsung Electronics Co., Ltd. METHOD AND APPARATUS FOR MANAGING SERVICE REQUEST IN BLOCK CHAIN NETWORK
CN108446737B (zh) * 2018-03-21 2022-07-05 百度在线网络技术（北京）有限公司 用于识别对象的方法和装置
CN109766779B (zh) * 2018-12-20 2021-07-20 深圳云天励飞技术有限公司 徘徊人员识别方法及相关产品
CN113094550B (zh) * 2020-01-08 2023-10-24 百度在线网络技术（北京）有限公司 视频检索方法、装置、设备和介质
CN111709247B (zh) * 2020-05-20 2023-04-07 北京百度网讯科技有限公司 数据集处理方法、装置、电子设备和存储介质
KR102380518B1 (ko) * 2021-06-22 2022-04-01 한국과학기술정보연구원 이종 데이터 통합 서비스 방법 및 이종 데이터 통합 서비스 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03251937A (ja) * 1990-02-28 1991-11-11 Nec Corp データベース検索方式
JP2012064144A (ja) * 2010-09-17 2012-03-29 Sharp Corp 中継サーバ、及び広告配信システム

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3251937B2 (ja) * 1990-08-02 2002-01-28 ランクサイド・テクノロジー・カンパニー・エルピー 焼結セラミック成形体の製造方法
JP3897494B2 (ja) * 1999-08-31 2007-03-22 キヤノン株式会社 画像管理検索装置、画像管理検索方法及び記憶媒体
JP2002063209A (ja) * 2000-08-22 2002-02-28 Sony Corp 情報処理装置および方法、情報システム、並びに記録媒体
EP1490767B1 (en) * 2001-04-05 2014-06-11 Audible Magic Corporation Copyright detection and protection system and method
JP2003256461A (ja) * 2002-03-04 2003-09-12 Fuji Photo Film Co Ltd 画像検索方法および装置並びにプログラム
US8239263B2 (en) * 2003-09-05 2012-08-07 Google Inc. Identifying and/or blocking ads such as document-specific competitive ads
US7421454B2 (en) * 2004-02-27 2008-09-02 Yahoo! Inc. Method and system for managing digital content including streaming media
US9407963B2 (en) * 2004-02-27 2016-08-02 Yahoo! Inc. Method and system for managing digital content including streaming media
US8775436B1 (en) * 2004-03-19 2014-07-08 Google Inc. Image selection for news search
US7697791B1 (en) * 2004-05-10 2010-04-13 Google Inc. Method and system for providing targeted documents based on concepts automatically identified therein
US9912677B2 (en) * 2005-09-06 2018-03-06 Daniel Chien Evaluating a questionable network communication
US7925044B2 (en) * 2006-02-01 2011-04-12 Markmonitor Inc. Detecting online abuse in images
US8356076B1 (en) * 2007-01-30 2013-01-15 Proofpoint, Inc. Apparatus and method for performing spam detection and filtering using an image history table
US8005826B1 (en) * 2007-04-30 2011-08-23 Google Inc. Identifying media content in queries
US20090077617A1 (en) * 2007-09-13 2009-03-19 Levow Zachary S Automated generation of spam-detection rules using optical character recognition and identifications of common features
US8428367B2 (en) * 2007-10-26 2013-04-23 International Business Machines Corporation System and method for electronic document classification
JP5118592B2 (ja) * 2007-12-04 2013-01-16 株式会社リコー ファイル管理システム
JP4604253B2 (ja) * 2007-12-21 2011-01-05 Ｎｅｃビッグローブ株式会社 ウェブページ安全性判定システム
US8867779B2 (en) * 2008-08-28 2014-10-21 Microsoft Corporation Image tagging user interface
US8321516B2 (en) * 2008-09-30 2012-11-27 Aol Inc. Systems and methods for creating and updating reputation records
US8448245B2 (en) * 2009-01-17 2013-05-21 Stopthehacker.com, Jaal LLC Automated identification of phishing, phony and malicious web sites
CN101902699B (zh) * 2009-05-31 2013-08-21 中兴通讯股份有限公司 一种基于消息号码处理消息的方法及装置
BR112012001168A2 (pt) * 2009-07-17 2019-09-24 Google Inc proporcionando anúncios a partir de solicitação de pesquisa
US20110047163A1 (en) 2009-08-24 2011-02-24 Google Inc. Relevance-Based Image Selection
US9710491B2 (en) * 2009-11-02 2017-07-18 Microsoft Technology Licensing, Llc Content-based image search
US8412771B2 (en) * 2010-10-21 2013-04-02 Yahoo! Inc. Matching items of user-generated content to entities
US8909625B1 (en) * 2011-06-02 2014-12-09 Google Inc. Image search
US8645354B2 (en) * 2011-06-23 2014-02-04 Microsoft Corporation Scalable metadata extraction for video search
US8645353B2 (en) 2011-06-23 2014-02-04 Microsoft Corporation Anchor image identification for vertical video search
US8572096B1 (en) * 2011-08-05 2013-10-29 Google Inc. Selecting keywords using co-visitation information
KR101391107B1 (ko) * 2011-08-10 2014-04-30 네이버 주식회사 검색 대상의 타입을 인터렉티브하게 표시하는 검색 서비스 제공 방법 및 장치
US9646292B2 (en) * 2011-08-24 2017-05-09 Follett Corporation Method and system for distributing digital media content
US9152730B2 (en) * 2011-11-10 2015-10-06 Evernote Corporation Extracting principal content from web pages
US9208316B1 (en) * 2012-02-27 2015-12-08 Amazon Technologies, Inc. Selective disabling of content portions
US8626585B1 (en) 2012-05-14 2014-01-07 Google Inc. Selection of images to display next to textual content
JP6020196B2 (ja) * 2013-01-23 2016-11-02 富士ゼロックス株式会社 情報提供装置及びプログラム
US9110943B2 (en) * 2013-01-31 2015-08-18 Google Inc. Identifying an image for an entity
US20150170072A1 (en) * 2013-07-26 2015-06-18 Ad-Vantage Networks, Inc. Systems and methods for managing network resource requests
US9501499B2 (en) 2013-10-21 2016-11-22 Google Inc. Methods and systems for creating image-based content based on text-based content
CN103678487B (zh) * 2013-11-08 2017-05-03 北京奇虎科技有限公司 一种网页快照的生成方法和装置
EP3090529B1 (en) * 2013-12-31 2021-09-15 British Telecommunications public limited company Processing service requests for digital content
US20160335599A1 (en) * 2014-01-23 2016-11-17 Hitoshi Kawanabe Systems and methods for exchanging information
CN104394122B (zh) * 2014-10-31 2017-06-27 杭州安恒信息技术有限公司 一种基于自适应代理机制的http业务防火墙
CN104754374B (zh) * 2015-04-03 2018-06-26 北京奇虎科技有限公司 音视频文件检测管理方法及装置
US10701454B2 (en) * 2015-06-30 2020-06-30 Home Box Office, Inc. Image providing service
US20170032043A1 (en) * 2015-07-27 2017-02-02 Meemim Inc. System and method for content image association and network-constrained content retrieval
US10296538B2 (en) * 2016-02-23 2019-05-21 Baidu Usa Llc Method for matching images with content based on representations of keywords associated with the content in response to a search query
US10289700B2 (en) * 2016-03-01 2019-05-14 Baidu Usa Llc Method for dynamically matching images with content items based on keywords in response to search queries
US10275472B2 (en) * 2016-03-01 2019-04-30 Baidu Usa Llc Method for categorizing images to be associated with content items based on keywords of search queries
US9930045B2 (en) * 2016-05-23 2018-03-27 Verizon Patent And Licensing Inc. Logging system for blacklisting URLs in toll-free data service
US10282761B2 (en) * 2016-11-15 2019-05-07 Comscore, Inc. Systems and processes for detecting content blocking software

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03251937A (ja) * 1990-02-28 1991-11-11 Nec Corp データベース検索方式
JP2012064144A (ja) * 2010-09-17 2012-03-29 Sharp Corp 中継サーバ、及び広告配信システム

Also Published As

Publication number Publication date
US10289642B2 (en) 2019-05-14
CN107463592B (zh) 2021-03-09
EP3255564A1 (en) 2017-12-13
JP2017220204A (ja) 2017-12-14
CN107463592A (zh) 2017-12-12
US20170351706A1 (en) 2017-12-07
KR101932619B1 (ko) 2018-12-27
KR20170138033A (ko) 2017-12-14

Similar Documents

Publication Publication Date Title
JP6266080B2 (ja) 類似性スコアに基づきコンテンツアイテムと画像とのマッチングを評価する方法、およびシステム
JP6423845B2 (ja) 検索クエリに応答してコンテンツとマッチングしようとする画像を動的にランキングする方法及びシステム
CN107145496B (zh) 基于关键词将图像与内容项目匹配的方法
CN107103016B (zh) 基于关键词表示使图像与内容匹配的方法
JP6165955B1 (ja) 検索クエリに応答してホワイトリストとブラックリストを使用し画像とコンテンツをマッチングする方法及びシステム
US10565255B2 (en) Method and system for selecting images based on user contextual information in response to search queries
JP6363682B2 (ja) 画像とコンテンツのメタデータに基づいてコンテンツとマッチングする画像を選択する方法
US10296535B2 (en) Method and system to randomize image matching to find best images to be matched with content items
US10275472B2 (en) Method for categorizing images to be associated with content items based on keywords of search queries
US10496686B2 (en) Method and system for searching and identifying content items in response to a search query using a matched keyword whitelist
US11308154B2 (en) Method and system for dynamically overlay content provider information on images matched with content items in response to search queries
US10496698B2 (en) Method and system for determining image-based content styles

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170621

R150 Certificate of patent or registration of utility model

Ref document number: 6165955

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250