JP2018509664A - モデル生成方法、単語重み付け方法、装置、デバイス及びコンピュータ記憶媒体 - Google Patents

モデル生成方法、単語重み付け方法、装置、デバイス及びコンピュータ記憶媒体 Download PDF

Info

Publication number
JP2018509664A
JP2018509664A JP2016572673A JP2016572673A JP2018509664A JP 2018509664 A JP2018509664 A JP 2018509664A JP 2016572673 A JP2016572673 A JP 2016572673A JP 2016572673 A JP2016572673 A JP 2016572673A JP 2018509664 A JP2018509664 A JP 2018509664A
Authority
JP
Japan
Prior art keywords
document
picture
word
ordering
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016572673A
Other languages
English (en)
Other versions
JP6428795B2 (ja
Inventor
ゾウ、ホンジアン
ファン、ガオリン
Original Assignee
バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド
バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド, バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド filed Critical バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド
Publication of JP2018509664A publication Critical patent/JP2018509664A/ja
Application granted granted Critical
Publication of JP6428795B2 publication Critical patent/JP6428795B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31Indexing; Data structures therefor; Storage structures
    • G06F16/313Selection or weighting of terms for indexing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/532Query formulation, e.g. graphical querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本発明の実施例は、モデル生成方法は、単語重み付け方法、装置、デバイス及びコンピュータ記憶媒体を提供する。一方面で、本発明の実施例は、特定ピクチャと同じである他のピクチャを獲得し、前記特定ピクチャと前記他のピクチャをサンプルピクチャとすることによって、前記サンプルピクチャの文書に基づいて、文書クラスタを獲得し、さらに、前記文書クラスタに基づいて文書特徴を獲得し、前記サンプルピクチャに基づいて視覚特徴を獲得し、及び、前記文書特徴と前記視覚特徴に基づいて機械学習を行い、ピクチャでの文書に対する単語重み付けを実現するための第一回帰モデルと第一順序付けモデルを生成する。そのため、本発明の実施例で提供する技術案は、ピクチャの文書での各単語重み付け結果の正確性を向上でき、ピクチャ検索結果の正確性を向上できる。

Description

本出願は、出願日が2015年12月31日で、出願番号が201511025975.0で、発明名称が「モデル生成方法及装置、単語重み付け方法及び装置」である中国特許出願の優先権を要求する。
本発明は、インターネット利用技術分野に関し、特に、モデル生成方法、単語重み付け方法、装置、デバイス及びコンピュータ記憶媒体に関する。
ピクチャ検索過程は、ユーザーが検索語を入力し、そしてピクチャ検索エンジンがピクチャ集合から検索語にマッチングするピクチャ検索結果を調べて、ピクチャ検索結果を順序付けてユーザーに提供することを含む。ピクチャ検索エンジンは、インターネットピクチャを調べる情報検索ツールである。現在、ピクチャ検索を行う時、ピクチャ検索エンジンは検索語と候補ピクチャの関連性を計算する必要があり、関連性を計算するには、主に検索語での各単語の重み及び各候補ピクチャの文書での各単語の重みに基づく。ここで、候補ピクチャの文書での各単語の重みは単語重み付け技術によって獲得する。このように、単語重み付けの効果は関連性計算に直接に影響し、さらにピクチャ検索結果の正確性に影響する。
従来技術では、ピクチャの文書が一般的に短いので、従来技術によりピクチャの単語重み付けを行う時には一般的にピクチャの短い文書に基づいて、文書での各単語に重み付けを行う。そのため、単語重み付け結果の正確性が低く、結果的にピクチャ検索結果の正確性を低下させてしまう。
このような状況に基づいて、本発明の実施例は、ピクチャの文書での各単語重み付け結果の正確性を向上させ、ピクチャ検索結果の正確性を向上させることができるモデル生成方法、単語重み付け方法、装置、デバイス及びコンピュータ記憶媒体を提供する。
本発明の実施例の一方面は、
特定ピクチャと同じである他のピクチャを獲得し、前記特定ピクチャと前記他のピクチャをサンプルピクチャとし、
前記サンプルピクチャの文書に基づいて、文書クラスタを獲得し、
前記文書クラスタに基づいて文書特徴を獲得し、前記サンプルピクチャに基づいて視覚特徴を獲得し、
前記文書特徴と前記視覚特徴に基づいて機械学習を行い、第一回帰モデルと第一順序付けモデルを生成することを含むモデル生成方法を提供する。
前記の方面といずれの可能な実現方式によると、さらに一実現方式を提供するが、前記特定ピクチャと同じである他のピクチャを獲得するには、
前記特定ピクチャ及び各候補ピクチャのシグネチャを獲得し、
前記特定ピクチャ及び各候補ピクチャのシグネチャに基づいて、前記特定ピクチャと候補ピクチャ毎の類似度を獲得し、
類似度が予設の類似閾値以上である候補ピクチャを抽出して、前記特定ピクチャに同じである他のピクチャとすることを含む。
前記の技術的側面といずれか一つ以上の可能な実現方式によると、さらに一つの実現方式が提供され、前記文書クラスタに基づいて文書特徴を獲得し、前記サンプルピクチャに基づいて視覚特徴を獲得する前に、前記方法は、さらに、
各サンプルピクチャの位置するステーション或いはページの権威的なデータ、各サンプルピクチャの位置するページの時間情報、各サンプルピクチャの位置するステーションのクリックデータ、各サンプルピクチャの文書の単語ベクトルから前記文書クラスタの単語ベクトルまでの距離における少なくとも一つに基づいて、前記文書クラスタにおいて各文書を選別して、選別した文書クラスタを獲得することを含む。
前記の技術的側面といずれか一つ以上の可能な実現方式によると、さらに一つの実現方式が提供され、前記文書特徴は、
前記文書クラスタにおいて各文書の分布特徴、
前記文書クラスタにおいて各文書のクリック特徴、
前記文書クラスタにおいて各文書での単語語義特徴、
前記文書クラスタにおいて各文書の主題語、及び、
前記文書クラスタにおいて各文書での単語の先験的属性における少なくとも一つを含む。
前記の技術的側面といずれか一つ以上の可能な実現方式によると、さらに一つの実現方式が提供され、前記方法は、さらに、
前記第一回帰モデルを利用して、各サンプルピクチャの文書での各単語の回帰得点を獲得し、
前記第一順序付けモデルを利用して、各サンプルピクチャの文書での各単語の順序付け結果を獲得し、
各サンプルピクチャの文書での各単語にマッチングするピクチャ検索結果において各ピクチャの関連特徴を獲得し、
前記回帰得点、前記順序付け結果と前記関連特徴に基づいて機械学習を行い、第二回帰モデルと第二順序付けモデルを生成することを含む。
前記の技術的側面といずれか一つ以上の可能な実現方式によると、さらに一つの実現方式が提供され、前記関連特徴は、
各サンプルピクチャの文書での各単語にマッチングするピクチャ検索結果において各ピクチャのユーザー行為特徴、各ピクチャの品質特徴、及び各ピクチャの位置するステーション或いはページの権威的なデータにおける少なくとも一つを含む。
本発明の実施例の一側面によると、
特定ピクチャの文書に基づいて、前記モデル生成方法によって生成した第一回帰モデルを利用して前記文書での各単語の第一回帰得点を獲得し、
前記特定ピクチャの文書に基づいて、前記モデル生成方法によって生成した第一順序付けモデルを利用して、前記文書での各単語の第一順序付け結果を獲得し、
前記第一回帰得点と前記第一順序付け結果に基づいて、前記特定ピクチャの文書での各単語の重み付け得点を獲得することを含む単語重み付け方法を提供する。
前記の技術的側面といずれか一つ以上の可能な実現方式によると、さらに一つの実現方式が提供され、前記第一回帰得点と前記第一順序付け結果に基づいて、前記特定ピクチャの文書での各単語の重み付け得点を獲得するには、
前記第一回帰得点と前記第一順序付け結果に基づいて、重み付け関数を利用して、前記特定ピクチャの文書での各単語の重み付け得点を計算することを含む。
前記の技術的側面といずれか一つ以上の可能な実現方式によると、さらに一つの実現方式が提供され、前記第一回帰得点と前記第一順序付け結果に基づいて、前記特定ピクチャの文書での各単語の重み付け得点を獲得するには、
前記第一回帰得点と前記第一順序付け結果に基づいて、前記モデル生成方法によって生成した第二回帰モデルを利用して、前記特定ピクチャの文書での各単語の第二回帰得点を獲得し、
前記第一回帰得点と前記第一順序付け結果に基づいて、前記モデル生成方法によって生成した第二順序付けモデルを利用して、前記特定ピクチャの文書での各単語の第二順序付け結果を獲得し、
前記第二回帰得点と前記第二順序付け結果に基づいて、重み付け関数を利用して、前記特定ピクチャの文書での各単語の重み付け得点を計算することを含む。
本発明の実施例の一側面は、
特定ピクチャと同じである他のピクチャを獲得し、前記特定ピクチャと前記他のピクチャをサンプルピクチャとするピクチャ獲得手段と、
前記サンプルピクチャの文書に基づいて、文書クラスタを獲得する文書クラスタリング手段と、
前記文書クラスタに基づいて文書特徴を獲得し、前記サンプルピクチャに基づいて視覚特徴を獲得する第一特徴獲得手段と、
前記文書特徴と前記視覚特徴に基づいて機械学習を行い、第一回帰モデルと第一順序付けモデルを生成する第一生成手段とを含むモデル生成装置を提供する。
前記の技術的側面といずれか一つ以上の可能な実現方式によると、さらに一つの実現方式が提供され、前記ピクチャ獲得手段は、具体的に、
前記特定ピクチャ及び各候補ピクチャのシグネチャを獲得し、
前記特定ピクチャ及び各候補ピクチャのシグネチャに基づいて、前記特定ピクチャと候補ピクチャ毎の類似度を獲得し、
類似度が予設の類似閾値以上である候補ピクチャを抽出して、前記特定ピクチャに同じである他のピクチャとすることに用いられる。
前記の技術的側面といずれか一つ以上の可能な実現方式によると、さらに一つの実現方式が提供され、前記装置は、さらに、
各サンプルピクチャの位置するステーション或いはページの権威的なデータ、各サンプルピクチャの位置するページの時間情報、各サンプルピクチャの位置するステーションのクリックデータ、各サンプルピクチャの文書の単語ベクトルから前記文書クラスタの単語ベクトルまでの距離における少なくとも一つに基づいて、前記文書クラスタにおいて各文書を選別して、選別した文書クラスタを獲得する文書処理手段を含む。
前記の技術的側面といずれか一つ以上の可能な実現方式によると、さらに一つの実現方式が提供され、前記文書特徴は、
前記文書クラスタにおいて各文書の分布特徴、
前記文書クラスタにおいて各文書のクリック特徴、
前記文書クラスタにおいて各文書での単語語義特徴、
前記文書クラスタにおいて各文書の主題語、及び、
前記文書クラスタにおいて各文書での単語の先験属性における少なくとも一つを含む。
前記の技術的側面といずれか一つ以上の可能な実現方式によると、さらに一つの実現方式が提供され、前記装置は、さらに、
前記第一回帰モデルを利用して、各サンプルピクチャの文書での各単語の回帰得点を獲得する得点獲得手段と、
前記第一順序付けモデルを利用して、各サンプルピクチャの文書での各単語の順序付け結果を獲得する順序付け獲得手段と、
各サンプルピクチャの文書での各単語にマッチングするピクチャ検索結果において各ピクチャの関連特徴を獲得する第二特徴獲得手段と、
前記回帰得点、前記順序付け結果と前記関連特徴に基づいて機械学習を行い、第二回帰モデルと第二順序付けモデルを生成する第二生成手段とを含む。
前記の技術的側面といずれか一つ以上の可能な実現方式によると、さらに一つの実現方式が提供され、前記関連特徴は、
各サンプルピクチャの文書での各単語にマッチングするピクチャ検索結果において各ピクチャのユーザー行為特徴、各ピクチャの品質特徴、及び各ピクチャの位置するステーション或いはページの権威的なデータにおける少なくとも一つを含む。
本発明の実施例の一側面は、
特定ピクチャの文書に基づいて、前記モデル生成装置によって生成した第一回帰モデルを利用して前記文書での各単語の第一回帰得点を獲得する得点獲得手段と、
前記特定ピクチャの文書に基づいて、前記モデル生成装置によって生成した第一順序付けモデルを利用して、前記文書での各単語の第一順序付け結果を獲得する順序付け獲得手段と、
前記第一回帰得点と前記第一順序付け結果に基づいて、前記特定ピクチャの文書での各単語の重み付け得点を獲得する単語重み付け手段とを含む単語重み付け装置を提供する。
前記の技術的側面といずれか一つ以上の可能な実現方式によると、さらに一つの実現方式が提供され、前記単語重み付け手段は、具体的に、
前記第一回帰得点と前記第一順序付け結果に基づいて、重み付け関数を利用して、前記特定ピクチャの文書での各単語の重み付け得点を計算するに用いられる。
前記の技術的側面といずれか一つ以上の可能な実現方式によると、さらに一つの実現方式が提供され、前記単語重み付け手段は、さらに、
前記第一回帰得点と前記第一順序付け結果に基づいて、前記モデル生成装置によって生成した第二回帰モデルを利用して、前記特定ピクチャの文書での各単語の第二回帰得点を獲得する得点獲得モジュールと、
前記第一回帰得点と前記第一順序付け結果に基づいて、前記モデル生成装置によって生成した第二順序付けモデルを利用して、前記特定ピクチャの文書での各単語の第二順序付け結果を獲得する順序付け獲得モジュールと、
前記第二回帰得点と前記第二順序付け結果に基づいて、重み付け関数を利用して前記特定ピクチャの文書での各単語の重み付け得点を計算する単語重み付けモジュールとを含む。
以上の技術案によると、本発明の実施例は、以下の有益な効果を有している
本発明の実施例が提供する技術案によると、ピクチャの文書をクラスタリングして複数の文書を獲得し、さらにピクチャの文書クラスタに基づいて複数の特徴を抽出し、さらに複数の特徴に対して機械学習を行って必要なモデルを生成し、当該モデルはピクチャの文書での各単語に重み付けを行うことに用いられる。従来技術においてピクチャの文書が短いので単語重み付け結果の正確性が低い問題を解決して、本発明の実施例は、ピクチャの文書での各単語重み付け結果の正確性を向上でき、ピクチャ検索結果の正確性を向上させる。
本発明の実施例で提供するモデル生成方法の実施例のフローチャートである。 本発明の実施例で提供する一部モデルと完全モデルを生成する例示図である。 本発明の実施例で提供するピクチャの文書クラスタの例示図である。 本発明の実施例で提供するモデル生成方法の第二実施例のフローチャートである。 本発明の実施例で提供するクリック特徴を利用してモデルを生成する例示図である。 本発明の実施例で提供する単語重み付け方法のフローチャートである。 本発明の実施例で提供するモデル生成装置の実施例の機能ブロック図である。 本発明の実施例で提供するモデル生成装置の第二実施例の機能ブロック図である。 本発明の実施例で提供するモデル生成装置の第三実施例の機能ブロック図である。 本発明の実施例で提供する単語重み付け装置の第一実施例の機能ブロック図である。 本発明の実施例で提供する単語重み付け装置の第二実施例の機能ブロック図である。
本発明の目的、技術案及び利点をより明確にするために、以下では図面及び具体的な実施例を利用して本発明を詳細に記述する。
記述する実施例はただ本発明の一部実施例で、全部の実施例ではないことを明確にするべきである。本発明における実施例に基づいて、本分野の当業者が創造的な労働をしない前提で獲得する全部他の実施例は、本発明の保護する範囲に属する。
本発明の実施例で使用する用語はただ特定な実施例を記述するためのもので、本発明を制限するためのものではない。本発明の実施例と特許請求の範囲で使用した単数形式の「一種類」、「前記」及び「当該」は、文脈で明らかに単数だけを意味しない限り、複数の形式を含む。
また、本文で使用する用語「と/または」は、ただ関連対象の関連関係を表示するもので、三つの関係が可能である。例えば、Aと/またはBは、ただAだけ存在する場合と、AとBが同時に存在する場合と、ただBだけ存在する場合の三つの可能性がある。また、本文で符号「/」は、一般に前後の関連対象が「または」の関係であることを示す。
本発明の実施例では、「第一」、「第二」等の修飾語を利用して回帰モデルを記述できるが、これらの回帰モデルはこれらの用語で言い表されるものに限定されない。これらの用語は、回帰モデルを互いに区分する目的だけに用いられる。例えば、本発明の実施例の範囲を離脱しない場合、第一回帰モデルは、第二回帰モデルとも呼ばれることができ、類似的に、第二回帰モデルも第一回帰モデルに呼ばれることができる。
文脈によって、ここで使用する単語「…と(れば)」は、「…時」又は「…と」または「確定すると」または「検出に従い」の意味に解釈できる。これと類似に、文脈によって、単語「…を確定すると」又は「(記述する条件又は事件)を検出すると」は、「…確定する時」又は「確定に従って」又は「(記述する条件又は事件)を検出した時」又は「(記述する条件又は事件)の検出に従い」に解釈できる。
第一実施例
本発明の実施例はモデル生成方法を提供する。図1を参照すると、図1は本発明の実施例で提供するモデル生成方法の実施例のフローチャートである。図に示すように、当該方法は、以下のステップを含む。
S101で、特定ピクチャと同じである他のピクチャを獲得し、前記特定ピクチャと前記他のピクチャをサンプルピクチャとする。
具体的に、ピクチャ検索とウェブページ検索の顕著な区別は、ピクチャの関連文書が一般的に短いことであるので、単語重み付けタスクにおいて短文書理解のための難問題にあたり、この難問題を解決する方法の一つとしては、重み付けタスクに前処理ステップを増加させる必要があり、ピクチャの文書をクラスタリングして、豊富で正確な文書を獲得することである。即ち、同一ピクチャの文書をクラスタリングし、クラスタリング結果を利用してピクチャの文書を互いに検証して、信頼でき且つ充分な文書を選別して、ピクチャの文書に基づく統計特徴の有効性を向上させる。
図2を参照すると、図2は本発明の実施例で提供する一部モデルと完全モデルを生成する例示図である。図に示すように、本発明の実施例は、ピクチャの文書クラスタリングを実現するために、先に特定ピクチャに基づいて、特定ピクチャと同じである他のピクチャを獲得し、そして特定ピクチャ及び特定ピクチャと同じである他のピクチャを本発明の実施例におけるサンプルピクチャとする。ここで、特定ピクチャの数量は一つ以上であってもよく、特定ピクチャと同じである他のピクチャの数量も一つ以上であってもよい。
例えば、特定ピクチャと同じである他のピクチャを獲得する方法は以下を含むがこれに限定されない。
先に、特定ピクチャの全部内容を利用或いは特定ピクチャの主な特徴を抽出して、前記特定ピクチャのシグネチャを獲得し、同じ方法を利用してピクチャ集合における各候補ピクチャのシグネチャを獲得する。そして、前記特定ピクチャのシグネチャ及び各候補ピクチャのシグネチャに基づいて、前記特定ピクチャと候補ピクチャ毎の類似度を獲得する。各類似度を予設の類似閾値と比較し、さらに類似度が予設の類似閾値の以上である候補画像を抽出し、類似度が予設の類似閾値の以上である候補画像を前記特定ピクチャに同じである他のピクチャとする。即ち、特定ピクチャのシグネチャとの類似度が類似閾値以上である他のピクチャを特定写真と同一ピクチャに属するとする。このようにして、特定ピクチャと同じである他のピクチャを獲得する。
S102で、前記サンプルピクチャの文書に基づいて、文書クラスタを獲得する。
具体的に、図2に示すように、獲得した特定ピクチャと同じである他のピクチャに対して、特定ピクチャの文書及び他のピクチャの文書をクラスタリングして、文書クラスタを獲得する。
特定ピクチャの文書或いは他のピクチャの文書は、ピクチャの位置するページのタイトル、マウスがピクチャを指示する時に表示する文書、ピクチャのタイトルとピクチャの位置するページでの文書における少なくとも一つを含むが、これらに限定されないことを理解できる。
文書クラスタにおいて各文書の出処が異なり、文書品質も異なり、あるページ、例えばブロック、フォーラムからのページには、文書と配置したピクチャとの関連性が低い場合が存在するので、文書クラスタについて選別を行わないとノイズが存在し、獲得した文書クラスタを直接に使用すると、モデルを生成する正確性を影響する可能性がある。
図3を参照すると、図3は本発明の実施例で提供するピクチャの文書クラスタの例示図である。図3に示すように、本発明の実施例で、文書クラスタから選別する方法は、各サンプルピクチャの位置するステーション或いはページの権威的なデータ、各サンプルピクチャの位置するページの時間情報、各サンプルピクチャの位置するステーションのクリックデータ、各サンプルピクチャの文書の単語ベクトルから前記文書クラスタの単語ベクトルまでの距離における少なくとも一つに基づいて、前記文書クラスタにおいて各文書を選別して、選別した文書クラスタを獲得することを含んでいてもよいが、これに限定されない。選別して得た文書クラスタにおいて各文書は優良な文書に属するとする。
例えば、各サンプルピクチャの位置するステーション或いはページの権威的なデータを計算し、各権威的なデータと予設の権威的な閾値と比較して、文書クラスタから権威的なデータが権威的な閾値より小さいサンプルピクチャの文書を削除する。
また、例えば、ブロック、フォーラム等のページは一般的に他の時間がより早いページにおけるピクチャを引用するので、各サンプルピクチャの位置するページの時間情報に基づいて、文書クラスタから時間が近いページからのサンプルピクチャの文書を削除し、文書クラスタに時間が早いページからのサンプルピクチャの文書を残させる。
また、例えば、各サンプルピクチャの位置するステーションのクリック回数を計算し、各クリック回数と予設の回数閾値と比較して、文書クラスタからクリック回数が回数閾値より小さいサンプルピクチャの文書を削除する。
また、例えば、それぞれ各サンプルピクチャの文書の単語ベクトルと前記文書クラスタの単語ベクトルとの距離を計算し、そして、計算した各距離を予設の距離閾値と比較して、文書クラスタから距離が距離閾値以上であるサンプルピクチャの文書を削除する。
S103で、前記文書クラスタに基づいて文書特徴を獲得し、前記サンプルピクチャに基づいて視覚特徴を獲得する。
具体的に、選別して得た文書クラスタに基づいて、文書特徴を獲得し、サンプルピクチャに基づいて視覚特徴を獲得する。
本発明の実施例で、図2と図3に示すように、前記文書特徴は、
前記文書クラスタにおいて各文書の分布特徴、
前記文書クラスタにおいて各文書のクリック特徴、
前記文書クラスタにおいて各文書での単語語義特徴、
前記文書クラスタにおいて各文書の主題語、及び、
前記文書クラスタにおいて各文書での単語の先験属性における少なくとも一つを含んでいてもよい。
例えば、文書的分布特徴は、文書での各単語の文書クラスタにおいて各文書で出現する文書領域、文書での各単語の文書クラスタにおいて出現回数、文書での各単語の文書クラスタにおいて各文書での出現回数、文書での各単語の文書クラスタにおいて各文書での出現する時のオフセット量及び文書での各単語の異なる等級でのステーション或いはページ上の分布特徴を含んでいてもよいが、これらに限定されない。ここで、文書での各単語の異なる等級でのステーション或いはページ上の分布特徴は、文書での各単語の等級毎のページ或いはステーション上の出現回数、出現頻度、出現回数の出現回数最大値に対する比例、出現回数の出現回数平均値に対する比例等における少なくとも一つを含んでいてもよいが、これらに限定されない。
検索語queryがqで、ユーザーが当該検索語にマッチングする検索結果でピクチャpをクリックすると、qをpの文書のクリックquery文書であるとし、ユーザーが同時にピクチャrをクリックすると、rの文書をpの文書の拡張クリック文書であるとする。例えば、前記文書のクリック特徴は、文書での各単語のクリックquery文書及び拡張クリック文書での出現回数、出現頻度、出現回数の出現回数最大値に対する比例、出現回数の出現回数平均値に対する比例等を含んでいてもよいが、これらに限定されない。
例えば、文書での単語語義特徴は、文書での各単語の文書クラスタにおいて語義種類、例えば植物、動物或いはスター等を含んでいてもよいが、これらに限定されない。
例えば、文書を分離して、文書における各単語を獲得し、そして各単語で信頼度が信頼閾値の以上である若干の単語を獲得して、当該文書の主題語とする。
例えば、文書での単語の先験属性は、単語の逆文書頻度(Inverse Document Frequency、IDF)データ、語義種類、共起語、同義語、類義語及び関連語等を含んでいてもよいが、これらに限定されない。一具体的な実現過程で、コーパス及び/またはユーザー行為ログから、単語の先験属性を調べることができる。
本発明の実施例で、前記視覚特徴とは、サンプルピクチャの視覚上の特徴であって、例えば、劉氏のコンサートピクチャにおいて、その視覚特徴は、「劉氏」、「コンサート」及び「スター」である。サンプルピクチャの内容及びユーザークリックログに対して機械学習を行って、サンプルピクチャの視覚特徴を獲得することができる。
S104で、前記文書特徴と前記視覚特徴に基づいて機械学習を行い、第一回帰モデルと第一順序付けモデルを生成する。
具体的に、図2に示すように、文書特徴と視覚特徴を獲得してから、文書特徴と視覚特徴に基づいて機械学習を行って、第一回帰モデルと第一順序付けモデルを含む一部モデルを生成する。
第一回帰モデルは、ピクチャの文書での各単語の回帰得点を獲得するに用いられ、第一順序付けモデルは、ピクチャの文書での各単語の順序付け得点を獲得するに用いられ、当該順序付け得点は、当該ピクチャの文書での各単語互いの順序付けを確定するに用いられる。例えば、単語A、単語B及び単語Cの順序付け得点が、それぞれ0.3、−1及び1.2であると、各単語の順序付けは、「単語C>単語A>単語B」になる。
例えば、勾配ブースティング決定木(Gradient Boosting Decision Tree、GBDT)アルゴリズムを利用して、文書特徴と視覚特徴に対して機械学習を行って、第一回帰モデルを生成してもよい。
また、例えば、勾配ブースティング順序付け(Gradient Boosting Rank、GBRank)アルゴリズムを利用し、文書特徴及び視覚特徴に対して機械学習を行って、第一順序付けモデルを生成する。
第二実施例
図4を参照すると、本発明の実施例で提供するモデル生成方法の第二実施例のフローチャートである。図に示すように、当該方法は、第一実施例でのモデル生成方法に基づき、当該モデル生成方法は、S104の後で、さらに、以下のステップを含む。
S105で、前記第一回帰モデルを利用して、各サンプルピクチャの文書での各単語の回帰得点を獲得する。
S106で、前記第一順序付けモデルに基づいて、各サンプルピクチャの文書での各単語の順序付け結果を獲得する。
S107で、各サンプルピクチャの文書での各単語にマッチングするピクチャ検索結果において各ピクチャの関連特徴を獲得する。
S108で、前記回帰得点、前記順序付け結果と前記関連特徴に基づいて機械学習を行い、第二回帰モデルと第二順序付けモデルを生成する。
第一実施例で生成した第一回帰モデル及び第一順序付けモデルは、単語のピクチャの一文書での回帰得点及び単語のピクチャの一文書での各単語の順序付け位置のみを獲得でき、単語の異なるピクチャでの回帰得点及び異なるピクチャでの同一単語の順序付け位置を獲得しようとすると、一部モデルによってさらに第二回帰モデル及び第二順序付けモデルを含む完全モデルを生成する必要がる。
一具体的な実現過程で、図2に示すように、各サンプルピクチャの文書を第一回帰モデルに入力して、第一回帰モデルから当該文書での各単語の回帰得点を出力する。同じ理由によって、各サンプルピクチャの文書を第一順序付けモデルに入力し、第一順序付けモデルから当該文書での各単語の順序付け結果を出力してもよい。
本実施例で、さらに、各サンプルピクチャの文書での各単語を検索語queryとしてピクチャ検索を行って、各サンプルピクチャの文書での各単語にマッチングするピクチャ検索結果を獲得する必要がある。そして、当該ピクチャ検索結果において各ピクチャの関連特徴を獲得する。
本実施例で、ピクチャの関連特徴は、各サンプルピクチャの文書での各単語にマッチングするピクチャ検索結果において各ピクチャのユーザー行為特徴、各ピクチャの品質特徴、及び各ピクチャの位置するステーション或いはページの権威的なデータにおける少なくとも一つを含む。
例えば、ピクチャ的ユーザー行為特徴は、文書での単語を含み且つ重要度が特定閾値より大きい検索語にマッチングするピクチャ検索結果で、ピクチャのクリックデータを含んでいてもよいが、これに限定されない。例えば、クリックデータは、ピクチャのクリック回数、クリック頻度、クリック回数のクリック回数最大値に対する比例、クリック回数のクリック回数平均値に対する比例等を含んでいてもよい。
例えば、ピクチャの品質特徴は、ピクチャのサイズ、ピクチャの明瞭度、ピクチャが綺麗であるか否かを示すデータ(例えばtrue及びfalse)、ピクチャのリンクがデッドリンクであるか否か、ピクチャのリンクが外部ステーションのリンクであるか否か等を含んでいてもよいが、これに限定されない。
例えば、ピクチャの位置するステーション或いはページの権威的なデータは、ピクチャの位置するステーション或いはページの権威的な絶対値、当該絶対値の絶対値最大値に対する比例等を含んでいてもよいが、これに限定されない。
一具体的な実現過程で、図2に示すように、各サンプルピクチャの文書での各単語にマッチングするピクチャ検索結果において各ピクチャの関連特徴を獲得してから、各単語の回帰得点、各単語の順序付け結果及び各サンプルピクチャの文書での各単語にマッチングするピクチャ検索結果において各ピクチャの関連特徴に基づいて、機械学習を行い、第二回帰モデル及び第二順序付けモデルを含む完全モデルを生成する。
第二回帰モデルは、同一単語が異なるピクチャの文書に対応する時の各回帰得点を獲得するに用いられ、第二順序付けモデルは、同一単語が異なるピクチャの文書に対応する時の順序付け得点を獲得するに用いられ、当該順序付け得点は、当該単語が異なるピクチャの文書に対応する時の順序付けに用いられる。例えば、文書Aでの単語s、文書Bでの単語s、及び文書Cでの単語s的順序付け得点がそれぞれ0.3、−1及び1.2であると、順序付けは、「文書Cでの単語s>文書Aでの単語s >文書Bでの単語s」になる。
例えば、GBDTアルゴリズムを利用して、各単語の回帰得点、各単語の順序付け結果、及び各サンプルピクチャの文書での各単語にマッチングするピクチャ検索結果で各ピクチャの関連特徴に対して機械学習を行い、第二回帰モデルを生成する。
また、例えば、GBRankアルゴリズムを利用して、各単語の回帰得点、各単語の順序付け結果、及び各サンプルピクチャの文書での各単語にマッチングするピクチャ検索結果で各ピクチャの関連特徴に対して機械学習を行い、第二順序付けモデルを生成してもよい。
第三実施例
図5を参照すると、図5は本発明の実施例は、所提供クリック特徴を利用してモデルを生成する例示図である。図に示すように、当該利用クリック特徴生成モデルは、以下の過程を含んでいてもよい。
先に、ユーザークリックログから、単一単語である検索語queryを含むユーザークリックログを選別する。
次に、選別したユーザークリックログに基づいて、クリック回数反転の検索語と対応する検索結果を選別して、候補データとする。また、検索結果のクリック情報に基づいて、検索結果を異なる等級に区分する。選別したクリック回数反転の検索語と対応する検索結果を利用して、異なる等級的検索結果に区分し、データ集合data_aを得る。クリック回数反転の検索語と対応する検索結果とは、ある検索語queryに対応する検索結果で、ある検索結果Aのクッリク回数がその検索結果の前の他の検索結果のクリック回数より大きいと、queryと検索結果Aはクリック回数反転の検索語と対応する検索結果である。クリック回数反転が発生する検索結果の代表性がより大きいので、検索需要をより満足させることができる。
そして、検索システムの順序付け及び再度順序付ける時に使用する特徴に基づいて、候補データで一部特徴の差異が大きいデータのみを選別して、一部モデルで第一順序付けモデルを生成する時に使用する訓練データとし、選別したデータの品質が有する優れた性質は一部モデルで用いる特徴と緊密に関連する。同時に、異なる等級での検索結果は、一部モデルでの第一回帰モデルの訓練データを生成するためのものとしてもよく、これらの二つの訓練データは、一部訓練データ(train_local)として記録してもよい。
続いて、train_localを利用して機械学習を行って、第一回帰モデル及び第一順序付けモデルを含む一部モデルを生成する。
そして、一部モデルを利用してdata_aに対応する回帰得点及び順序付け結果を獲得し、回帰得点及び順序付け結果をデータ集合data_aに追加して、データ集合data_bを獲得する。回帰得点及び順序付け結果に基づいて、重み付け関数を利用して、一部モデル得分を獲得する。
続いて、データ集合data_aで候補データでの一部特徴の差異のみが小さいデータを選別し、一部特徴差異のみが小さいデータ、回帰得点及び順序付け結果を、完全モデルでの第二回帰モデル及び第二順序付けモデルの訓練データ、即ち全部訓練データtrain_globalとする。
そして、train_globalを利用して機械学習を行い、第二回帰モデル及び第二順序付けモデルを含む完全モデルを生成する。
最後に、学んで得た一部モデル及び完全モデルを利用して、テスト集合でのテストピクチャの文書に重み付けを行い、テスト効果を評価する。
第四実施例
図6を参照すると、図6は本発明の実施例で提供する単語重み付け方法のフローチャートである。図に示すように、以下のステップを含む。
S601で、特定ピクチャの文書に基づいて、第一実施例に記載のモデル生成方法によって生成した第一回帰モデルを利用して、前記文書での各単語の第一回帰得点を獲得する。
具体的に、特定ピクチャの文書、特定ピクチャの文書特徴及び特定ピクチャの視覚特徴を第一実施例で生成した第一回帰モデルに入力し、第一回帰モデルが入力した情報に基づいて、当該特定ピクチャの文書での各単語の第一回帰得点を獲得する。
S602で、前記特定ピクチャの文書に基づいて、第一実施例に記載のモデル生成方法によって生成した第一順序付けモデルを利用して、前記文書での各単語の第一順序付け結果を獲得する。
具体的に、特定ピクチャの文書、特定ピクチャの文書特徴及び特定ピクチャの視覚特徴を、第一実施例で生成した第一順序付けモデルに入力し、第一順序付けモデルが入力した情報に基づいて、当該特定ピクチャの文書での各単語の第一順序付け結果を獲得する。
S603で、前記第一回帰得点と前記第一順序付け結果に基づいて、前記特定ピクチャの文書での各単語の重み付け得点を獲得する。
具体的に、前記第一回帰得点及び前記第一順序付け結果を利用して、前記特定ピクチャの文書での各単語の重み付け得点を獲得する方法は、以下の二つの方法を含んでいてもよいが、これらに限定されない。
1.前記第一回帰得点と前記第一順序付け結果に基づいて、重み付け関数を利用して、前記特定ピクチャの文書での各単語の重み付け得点を計算する。ここで、重み付け関数を利用して、第一回帰得点及び第一順序付け結果のフィッテング結果を特定領域、例えば0〜100内にマッピングさせる。
2.前記モデル生成方法でさらに第二回帰モデル及び第二順序付けモデルを生成すると、前記第一回帰得点と前記第一順序付け結果に基づいて、第二回帰モデルを利用して、前記特定ピクチャの文書での各単語の第二回帰得点を獲得し、前記第一回帰得点と前記第一順序付け結果に基づいて、第二順序付けモデルを利用して、前記特定ピクチャの文書での各単語の第二順序付け結果を獲得し、最後に、前記第二回帰得点と前記第二順序付け結果に基づいて、重み付け関数を利用して、前記特定ピクチャの文書での各単語の重み付け得点を計算する。
ここで、本発明の前記実施例で提供する技術案は、ピクチャの文書のみに利用するものではなく、インターネット上の他のネットワークソースの文書、例えば普通ページの文書、マルチメディアソースの文書等にも利用でき、本発明は、ピクチャの文書のみを例示して述べる。
本発明の実施例は、さらに前記方法の実施例で各ステップ及び方法の装置を実現できる実施例を提供する。
図7を参照すると、本発明の実施例で提供するモデル生成装置の実施例の機能ブロック図である。図に示すように、当該装置は、
特定ピクチャと同じである他のピクチャを獲得し、前記特定ピクチャと前記他のピクチャをサンプルピクチャとするピクチャ獲得手段71と、
前記サンプルピクチャの文書に基づいて、文書クラスタを獲得する文書クラスタリング手段72と、
前記文書クラスタに基づいて文書特徴を獲得し、前記サンプルピクチャに基づいて視覚特徴を獲得する第一特徴獲得手段73と、
前記文書特徴と前記視覚特徴に基づいて機械学習を行い、第一回帰モデルと第一順序付けモデルを生成する第一生成手段74とを含む。
一具体的な実現過程で、前記ピクチャ獲得手段71は、具体的に、
前記特定ピクチャ及び各候補ピクチャのシグネチャを獲得し、
前記特定ピクチャ及び各候補ピクチャのシグネチャに基づいて、前記特定ピクチャと候補ピクチャ毎の類似度を獲得し、
類似度が予設の類似閾値以上である候補ピクチャを抽出して、前記特定ピクチャに同じである他のピクチャとするに用いられる。
図8を参照すると、図8は本発明の実施例で提供するモデル生成装置の第二実施例の機能ブロック図である。図に示すように、当該装置は、さらに、
各サンプルピクチャの位置するステーション或いはページの権威的なデータ、各サンプルピクチャの位置するページの時間情報、各サンプルピクチャの位置するステーションのクリックデータ、各サンプルピクチャの文書の単語ベクトルから前記文書クラスタの単語ベクトルまでの距離における少なくとも一つに基づいて、前記文書クラスタにおいて各文書を選別して、選別した文書クラスタを獲得する文書処理手段75を含む。
一具体的な実現過程で、前記文書特徴は、
前記文書クラスタにおいて各文書の分布特徴、
前記文書クラスタにおいて各文書のクリック特徴、
前記文書クラスタにおいて各文書での単語語義特徴、
前記文書クラスタにおいて各文書の主題語、及び、
前記文書クラスタにおいて各文書での単語の先験属性における少なくとも一つを含む。
図9を参照すると、図9は本発明の実施例で提供するモデル生成装置の第三実施例の機能ブロック図である。図に示すように、当該装置は、さらに、
前記第一回帰モデルを利用して、各サンプルピクチャの文書での各単語の回帰得点を獲得する得点獲得手段76と、
前記第一順序付けモデルを利用して、各サンプルピクチャの文書での各単語の順序付け結果を獲得する順序付け獲得手段77と、
各サンプルピクチャの文書での各単語にマッチングするピクチャ検索結果において各ピクチャの関連特徴を獲得する第二特徴獲得手段78と、
前記回帰得点、前記順序付け結果と前記関連特徴に基づいて機械学習を行い、第二回帰モデルと第二順序付けモデルを生成する第二生成手段79とを含む。
一具体的な実現過程で、前記関連特徴は、
各サンプルピクチャの文書での各単語にマッチングするピクチャ検索結果において各ピクチャのユーザー行為特徴、各ピクチャの品質特徴、及び各ピクチャの位置するステーション或いはページの権威的なデータにおける少なくとも一つを含む。
図10を参照すると、図10は本発明の実施例で提供する単語重み付け装置の実施例の機能ブロック図である。図に示すように、当該装置は、
特定ピクチャの文書に基づいて、図7及び図8に示すモデル生成装置によって生成した第一回帰モデルを利用して、前記文書での各単語の第一回帰得点を獲得する得点獲得手段80と、
前記特定ピクチャの文書に基づいて、図7及び図8に示すモデル生成装置によって生成した第一順序付けモデルを利用して、前記文書での各単語の第一順序付け結果を獲得する順序付け獲得手段81と、
前記第一回帰得点と前記第一順序付け結果に基づいて、前記特定ピクチャの文書での各単語の重み付け得点を獲得する単語重み付け手段82とを含む。
一具体的な実現過程で、前記単語重み付け手段は、具体的に、
前記第一回帰得点と前記第一順序付け結果に基づいて、重み付け関数を利用して、前記特定ピクチャの文書での各単語の重み付け得点を計算するに用いられる。
図11を参照すると、図11は本発明の実施例で提供する単語重み付け装置の第二実施例の機能ブロック図である。図に示すように、前記単語重み付け手段82は、さらに、
前記第一回帰得点と前記第一順序付け結果に基づいて、図9に示すモデル生成装置によって生成した第二回帰モデルを利用して、前記特定ピクチャの文書での各単語の第二回帰得点を獲得する得点獲得モジュール821と、
前記第一回帰得点と前記第一順序付け結果に基づいて、図9に示すモデル生成装置によって生成した第二順序付けモデルを利用して、前記特定ピクチャの文書での各単語の第二順序付け結果を獲得する順序付け獲得モジュール822と、
前記第二回帰得点と前記第二順序付け結果に基づいて、重み付け関数を利用して、前記特定ピクチャの文書での各単語の重み付け得点を計算する単語重み付けモジュール823とを含む。
本発明の実施例の技術案は、以下の有益効果を有する。
本発明の実施例は、特定ピクチャと同じである他のピクチャを獲得し、前記特定ピクチャと前記他のピクチャをサンプルピクチャとすることによって、前記サンプルピクチャの文書に基づいて、文書クラスタを獲得し、さらに、前記文書クラスタに基づいて文書特徴を獲得し、前記サンプルピクチャに基づいて視覚特徴を獲得し、及び、前記文書特徴と前記視覚特徴に基づいて機械学習を行い、第一回帰モデルと第一順序付けモデルを生成し、第一回帰モデルと第一順序付けモデルはピクチャ中文書に対する単語重み付けを実現するに用いられる。
本発明の実施例で提供する技術案において、ピクチャの文書をクラスタリングして複数の文書を獲得し、さらにピクチャの文書クラスタに基づいて複数の特徴を獲得し、また複数の特徴に機械学習を行って、必要なモデルを生成し、当該モデルは、ピクチャの文書での各単語に重み付けを行うことに用いられてもよい。従来技術でピクチャの文書が一般的に短いので単語重み付け結果の正確性が低い問題を解決し、これによって、本発明の実施例は、ピクチャの文書での各単語重み付け結果の正確性を向上させ、ピクチャ検索結果の正確性向上させる。
所属分野の当業者であれば、記述の便利と簡潔のために、上述記述のシステム、装置と手段の具体的な動作過程は、前述方法の実施例における対応する過程を参照できることを理解すべきで、ここで重複に記述しない。
本発明で提供する幾つの実施例で開示したシステム、装置及び方法は、他の方式によって実現できるのは理解すべきである。例えば、以上に記載した装置の実施例はただ例示的なもので、例えば、前記手段の分割はただロジック機能の分割で、実際に実現する時は他の分割方式によってもよい。例えば、複数の手段又はモジュールは結合でき又は他の一つのシステムに集積でき、またはある特徴は無視し、または実行しなくてもよい。また、示しまたは検討した互いの間の結合または直接に結合又は通信接続は、あるインタフェース、装置または手段の間接的な接合又は通信接続によるものであってもよく、電気的、機械または他の形式であってもよい。
前記で分離部材として説明した手段は、物理上で分離したものであってもよく物理上で分離しなかったものであってもよく、即ち、同一の位置にあってもよく、複数のネットワークユニットに分布されていてもよい。実際の必要に応じて本実施例における一部または全部の手段を選択して本実施例の方案の目的を実現してもよい。
また、本発明の各実施例における各機能手段は一つの処理モジュールに集積してもよく、各手段が物理上で単独に存在してもよく、二つ又は二つ以上の手段を一つの手段に集積してもよい。前記集積した手段は、ハードウェアの形式に実現してもよく、ハードウェアにソフトウェアの機能手段を結合する形式で実現してもよい。
上記のソフト機能手段の形式で実現した集積した手段は、一つのコンピュータが可読な記憶媒体に記憶してもよい。前記ソフト機能手段は一つの記憶媒体に記憶してもよく、複数の命令を含んで一つのコンピュータデバイス(パーソナルコンピュータ、サーバー、又はネットワークデバイス等)又は処理モジュール(processor)によって、本発明の各実施例の前記方法の一部のステップを実行させてもよい。前記記憶媒体は、Uディスク、ポータブルハードウェア、読み出し専用メノリ(Read−Only Memory、ROM)、ランダムアクセスメモリ(Random Access Memory、RAM)、ディスク又は光ディスク等の複数のプログラムコードを記憶できる媒体を含む。
前記はただ本発明の好ましい実施例で、本発明についての限定ではなく、本発明の主旨及び原則の範囲で実行したいずれの修正、等価置換、改良などは、全部本発明の保護する範囲に属すべきである。

Claims (22)

  1. 特定ピクチャと同じである他のピクチャを獲得し、前記特定ピクチャと前記他のピクチャをサンプルピクチャとし、
    前記サンプルピクチャの文書に基づいて、文書クラスタを獲得し、
    前記文書クラスタに基づいて文書特徴を獲得し、前記サンプルピクチャに基づいて視覚特徴を獲得し、
    前記文書特徴と前記視覚特徴に基づいて機械学習を行い、第一回帰モデルと第一順序付けモデルを生成することを含むことを特徴とするモデル生成方法。
  2. 前記特定ピクチャと同じである他のピクチャを獲得するには、
    前記特定ピクチャ及び各候補ピクチャのシグネチャを獲得し、
    前記特定ピクチャ及び各候補ピクチャのシグネチャに基づいて、前記特定ピクチャと候補ピクチャ毎の類似度を獲得し、
    類似度が予設の類似閾値以上である候補ピクチャを抽出して、前記特定ピクチャに同じである他のピクチャとすることを含む
    ことを特徴とする請求項1に記載の方法。
  3. 前記文書クラスタに基づいて文書特徴を獲得し、前記サンプルピクチャに基づいて視覚特徴を獲得する前に、前記方法は、さらに、
    各サンプルピクチャの位置するステーション或いはページの権威的なデータ、各サンプルピクチャの位置するページの時間情報、各サンプルピクチャの位置するステーションのクリックデータ、各サンプルピクチャの文書の単語ベクトルから前記文書クラスタの単語ベクトルまでの距離における少なくとも一つに基づいて、前記文書クラスタにおいて各文書を選別して、選別した文書クラスタを獲得することを含む
    ことを特徴とする請求項1に記載の方法。
  4. 前記文書特徴は、
    前記文書クラスタにおいて各文書の分布特徴、
    前記文書クラスタにおいて各文書のクリック特徴、
    前記文書クラスタにおいて各文書での単語語義特徴、
    前記文書クラスタにおいて各文書の主題語、及び、
    前記文書クラスタにおいて各文書での単語の先験属性における少なくとも一つを含む
    ことを特徴とする請求項1に記載の方法。
  5. 前記方法は、さらに、
    前記第一回帰モデルを利用して、各サンプルピクチャの文書での各単語の回帰得点を獲得し、
    前記第一順序付けモデルを利用して、各サンプルピクチャの文書での各単語の順序付け結果を獲得し、
    各サンプルピクチャの文書での各単語にマッチングするピクチャ検索結果において各ピクチャの関連特徴を獲得し、
    前記回帰得点、前記順序付け結果と前記関連特徴に基づいて機械学習を行い、第二回帰モデルと第二順序付けモデルを生成することを含む
    ことを特徴とする請求項1に記載の方法。
  6. 前記関連特徴は、
    各サンプルピクチャの文書での各単語にマッチングするピクチャ検索結果において各ピクチャのユーザー行為特徴、各ピクチャの品質特徴、及び各ピクチャの位置するステーション或いはページの権威的なデータにおける少なくとも一つを含む
    ことを特徴とする請求項5に記載の方法。
  7. 特定ピクチャの文書に基づいて、請求項1〜4の何れの一項に記載のモデル生成方法によって生成した第一回帰モデルを利用して前記文書での各単語の第一回帰得点を獲得し、
    前記特定ピクチャの文書に基づいて、請求項1〜4の何れの一項に記載のモデル生成方法によって生成した第一順序付けモデルを利用して、前記文書での各単語の第一順序付け結果を獲得し、
    前記第一回帰得点と前記第一順序付け結果に基づいて、前記特定ピクチャの文書での各単語の重み付け得点を獲得することを含む
    ことを特徴とする単語重み付け方法。
  8. 前記第一回帰得点と前記第一順序付け結果に基づいて、前記特定ピクチャの文書での各単語の重み付け得点を獲得するには、
    前記第一回帰得点と前記第一順序付け結果に基づいて、重み付け関数を利用して、前記特定ピクチャの文書での各単語の重み付け得点を計算することを含む
    ことを特徴とする請求項7に記載の単語重み付け方法。
  9. 前記第一回帰得点と前記第一順序付け結果に基づいて、前記特定ピクチャの文書での各単語の重み付け得点を獲得するには、
    前記第一回帰得点と前記第一順序付け結果に基づいて、請求項5または6に記載のモデル生成方法によって生成した第二回帰モデルを利用して、前記特定ピクチャの文書での各単語の第二回帰得点を獲得し、
    前記第一回帰得点と前記第一順序付け結果に基づいて、請求項5または6に記載のモデル生成方法によって生成した第二順序付けモデルを利用して、前記特定ピクチャの文書での各単語の第二順序付け結果を獲得し、
    前記第二回帰得点と前記第二順序付け結果に基づいて、重み付け関数を利用して、前記特定ピクチャの文書での各単語の重み付け得点を計算することを含む
    ことを特徴とする請求項7に記載の単語重み付け方法。
  10. 特定ピクチャと同じである他のピクチャを獲得し、前記特定ピクチャと前記他のピクチャをサンプルピクチャとするピクチャ獲得手段と、
    前記サンプルピクチャの文書に基づいて、文書クラスタを獲得する文書クラスタリング手段と、
    前記文書クラスタに基づいて文書特徴を獲得し、前記サンプルピクチャに基づいて視覚特徴を獲得する第一特徴獲得手段と、
    前記文書特徴と前記視覚特徴に基づいて機械学習を行い、第一回帰モデルと第一順序付けモデルを生成する第一生成手段とを含む
    ことを特徴とするモデル生成装置。
  11. 前記ピクチャ獲得手段は、具体的に、
    前記特定ピクチャ及び各候補ピクチャのシグネチャを獲得し、
    前記特定ピクチャ及び各候補ピクチャのシグネチャに基づいて、前記特定ピクチャと候補ピクチャ毎の類似度を獲得し、
    類似度が予設の類似閾値以上である候補ピクチャを抽出して、前記特定ピクチャに同じである他のピクチャとすることに用いられる
    ことを特徴とする請求項10に記載のモデル生成装置。
  12. 前記装置は、さらに、
    各サンプルピクチャの位置するステーション或いはページの権威的なデータ、各サンプルピクチャの位置するページの時間情報、各サンプルピクチャの位置するステーションのクリックデータ、各サンプルピクチャの文書の単語ベクトルから前記文書クラスタの単語ベクトルまでの距離における少なくとも一つに基づいて、前記文書クラスタにおいて各文書を選別して、選別した文書クラスタを獲得する文書処理手段を含む
    ことを特徴とする請求項10に記載のモデル生成装置。
  13. 前記文書特徴は、
    前記文書クラスタにおいて各文書の分布特徴、
    前記文書クラスタにおいて各文書のクリック特徴、
    前記文書クラスタにおいて各文書での単語語義特徴、
    前記文書クラスタにおいて各文書の主題語、及び、
    前記文書クラスタにおいて各文書での単語の先験属性における少なくとも一つを含む
    ことを特徴とする請求項10に記載のモデル生成装置。
  14. 前記装置は、さらに、
    前記第一回帰モデルを利用して、各サンプルピクチャの文書での各単語の回帰得点を獲得する得点獲得手段と、
    前記第一順序付けモデルを利用して、各サンプルピクチャの文書での各単語の順序付け結果を獲得する順序付け獲得手段と、
    各サンプルピクチャの文書での各単語にマッチングするピクチャ検索結果において各ピクチャの関連特徴を獲得する第二特徴獲得手段と、
    前記回帰得点、前記順序付け結果と前記関連特徴に基づいて機械学習を行い、第二回帰モデルと第二順序付けモデルを生成する第二生成手段とを含むことを
    特徴とする請求項10に記載のモデル生成装置。
  15. 前記関連特徴は、
    各サンプルピクチャの文書での各単語にマッチングするピクチャ検索結果において各ピクチャのユーザー行為特徴、各ピクチャの品質特徴、及び各ピクチャの位置するステーション或いはページの権威的なデータにおける少なくとも一つを含む
    特徴とする請求項14に記載のモデル生成装置。
  16. 特定ピクチャの文書に基づいて、請求項10〜13の何れの一項に記載の第一回帰モデルを利用して前記文書での各単語の第一回帰得点を獲得する得点獲得手段と、
    前記特定ピクチャの文書に基づいて、請求項10〜13の何れの一項に記載のモデル生成装置によって生成した第一順序付けモデルを利用して、前記文書での各単語の第一順序付け結果を獲得する順序付け獲得手段と、
    前記第一回帰得点と前記第一順序付け結果に基づいて、前記特定ピクチャの文書での各単語の重み付け得点を獲得する単語重み付け手段とを含む
    ことを特徴とする単語重み付け装置。
  17. 前記単語重み付け手段は、具体的に、
    前記第一回帰得点と前記第一順序付け結果に基づいて、重み付け関数を利用して、前記特定ピクチャの文書での各単語の重み付け得点を計算するに用いられる
    ことを特徴とする請求項16に記載の装置。
  18. 前記単語重み付け手段は、さらに、
    前記第一回帰得点と前記第一順序付け結果に基づいて、請求項14または15に記載の前記モデル生成装置によって生成した第二回帰モデルを利用して、前記特定ピクチャの文書での各単語の第二回帰得点を獲得する得点獲得モジュールと、
    前記第一回帰得点と前記第一順序付け結果に基づいて、請求項14または15に記載のモデル生成装置によって生成した第二順序付けモデルを利用して、前記特定ピクチャの文書での各単語の第二順序付け結果を獲得する順序付け獲得モジュールと、
    前記第二回帰得点と前記第二順序付け結果に基づいて、重み付け関数を利用して前記特定ピクチャの文書での各単語の重み付け得点を計算するに用いられる
    ことを特徴とする請求項16に記載の装置。
  19. 一つ又は複数のプロセッサーと、
    メモリと、
    一つ又は複数のプログラムを含むデバイスであって、前記一つ又は複数のプログラムは前記メモリに記憶されて、前記一つ又は複数のプロセッサーによって実行される時に、
    特定ピクチャと同じである他のピクチャを獲得し、前記特定ピクチャと前記他のピクチャをサンプルピクチャとし、
    前記サンプルピクチャの文書に基づいて、文書クラスタを獲得し、
    前記文書クラスタに基づいて文書特徴を獲得し、前記サンプルピクチャに基づいて視覚特徴を獲得し、
    前記文書特徴と前記視覚特徴に基づいて機械学習を行い、第一回帰モデルと第一順序付けモデルを生成する
    ことを特徴とするデバイス。
  20. 一つ又は複数のプロセッサーと、
    メモリと、
    一つ又は複数のプログラムを含むデバイスであって、前記一つ又は複数のプログラムは前記メモリに記憶されて、前記一つ又は複数のプロセッサーによって実行される時に、
    特定ピクチャの文書に基づいて、請求項1〜4の何れの一項に記載のモデル生成方法によって生成した第一回帰モデルを利用して、前記文書での各単語の第一回帰得点を獲得し、
    前記特定ピクチャの文書に基づいて、請求項1〜4の何れの一項に記載のモデル生成方法によって生成した第一順序付けモデルを利用して、前記文書での各単語の第一順序付け結果を獲得し、
    前記第一回帰得点と前記第一順序付け結果に基づいて、前記特定ピクチャの文書での各単語の重み付け得点を獲得する
    ことを特徴とするデバイス。
  21. コンピュータプログラムが符号化されているコンピュータ記憶媒体であって、前記プログラムは一つ又は複数のコンピュータによって実行される時に、前記一つ又は複数のコンピュータに、
    特定ピクチャと同じである他のピクチャを獲得し、前記特定ピクチャと前記他のピクチャをサンプルピクチャとし、
    前記サンプルピクチャの文書に基づいて、文書クラスタを獲得し、
    前記文書クラスタに基づいて文書特徴を獲得し、前記サンプルピクチャに基づいて視覚特徴を獲得し、
    前記文書特徴と前記視覚特徴に基づいて機械学習を行い、第一回帰モデルと第一順序付けモデルを生成する操作を実行させる
    ことを特徴とするコンピュータ記憶媒体。
  22. コンピュータプログラムが符号化されているコンピュータ記憶媒体であって、前記プログラムは一つ又は複数のコンピュータによって実行される時に、前記一つ又は複数のコンピュータに、
    特定ピクチャの文書に基づいて、請求項1〜4の何れの一項に記載のモデル生成方法によって生成した第一回帰モデルを利用して、前記文書での各単語の第一回帰得点を獲得し、
    前記特定ピクチャの文書に基づいて、請求項1〜4の何れの一項に記載のモデル生成方法によって生成した第一順序付けモデルを利用して、前記文書での各単語の第一順序付け結果を獲得し、
    前記第一回帰得点と前記第一順序付け結果に基づいて、前記特定ピクチャの文書での各単語の重み付け得点を獲得する操作を実行させる
    ことを特徴とするコンピュータ記憶媒体。
JP2016572673A 2015-12-31 2016-06-01 モデル生成方法、単語重み付け方法、モデル生成装置、単語重み付け装置、デバイス、コンピュータプログラム及びコンピュータ記憶媒体 Active JP6428795B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201511025975.0 2015-12-31
CN201511025975.0A CN105653701B (zh) 2015-12-31 2015-12-31 模型生成方法及装置、词语赋权方法及装置
PCT/CN2016/084312 WO2017113592A1 (zh) 2015-12-31 2016-06-01 模型生成方法、词语赋权方法、装置、设备及计算机存储介质

Publications (2)

Publication Number Publication Date
JP2018509664A true JP2018509664A (ja) 2018-04-05
JP6428795B2 JP6428795B2 (ja) 2018-11-28

Family

ID=56490920

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016572673A Active JP6428795B2 (ja) 2015-12-31 2016-06-01 モデル生成方法、単語重み付け方法、モデル生成装置、単語重み付け装置、デバイス、コンピュータプログラム及びコンピュータ記憶媒体

Country Status (4)

Country Link
US (1) US10565253B2 (ja)
JP (1) JP6428795B2 (ja)
CN (1) CN105653701B (ja)
WO (1) WO2017113592A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113254513A (zh) * 2021-07-05 2021-08-13 北京达佳互联信息技术有限公司 排序模型生成方法、排序方法、装置、电子设备
JP2021196722A (ja) * 2020-06-10 2021-12-27 ヤフー株式会社 情報処理装置、情報処理方法および情報処理プログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106919951B (zh) * 2017-01-24 2020-04-21 杭州电子科技大学 一种基于点击与视觉融合的弱监督双线性深度学习方法
CN107992508B (zh) * 2017-10-09 2021-11-30 北京知道未来信息技术有限公司 一种基于机器学习的中文邮件签名提取方法及***
CN110598200B (zh) * 2018-06-13 2023-05-23 北京百度网讯科技有限公司 语义识别方法及装置
CN109032375B (zh) * 2018-06-29 2022-07-19 北京百度网讯科技有限公司 候选文本排序方法、装置、设备及存储介质
CN110569429B (zh) * 2019-08-08 2023-11-24 创新先进技术有限公司 一种内容选择模型的生成方法、装置和设备
CN112735413B (zh) * 2020-12-25 2024-05-31 浙江大华技术股份有限公司 一种基于摄像装置的指令分析方法、电子设备和存储介质
CN113283115B (zh) * 2021-06-11 2023-08-08 北京有竹居网络技术有限公司 图像模型生成方法、装置和电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000048041A (ja) * 1998-07-29 2000-02-18 Matsushita Electric Ind Co Ltd データ検索システム及びこれに用いる装置
JP2000353173A (ja) * 1999-06-11 2000-12-19 Hitachi Ltd 文書付き画像の分類方法、分類装置および記録媒体
US20060026152A1 (en) * 2004-07-13 2006-02-02 Microsoft Corporation Query-based snippet clustering for search result grouping
JP2011221794A (ja) * 2010-04-09 2011-11-04 Kddi Corp 画像選定装置
JP2013544397A (ja) * 2010-11-05 2013-12-12 楽天株式会社 キーワード抽出に関するシステム及び方法
JP2013545160A (ja) * 2010-09-26 2013-12-19 アリババ・グループ・ホールディング・リミテッド 指定特性値を使用するターゲット単語の認識
JP2015197915A (ja) * 2014-04-01 2015-11-09 バイドゥ (チャイナ) カンパニー リミテッドBaidu (China) Co., Ltd. 検索結果を提示する方法及び装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7716225B1 (en) * 2004-06-17 2010-05-11 Google Inc. Ranking documents based on user behavior and/or feature data
US7461073B2 (en) 2006-02-14 2008-12-02 Microsoft Corporation Co-clustering objects of heterogeneous types
US8078617B1 (en) * 2009-01-20 2011-12-13 Google Inc. Model based ad targeting
CN101582080B (zh) 2009-06-22 2011-05-04 浙江大学 一种基于图像和文本相关性挖掘的Web图像聚类方法
US20110125743A1 (en) * 2009-11-23 2011-05-26 Nokia Corporation Method and apparatus for providing a contextual model based upon user context data
US9864817B2 (en) * 2012-01-28 2018-01-09 Microsoft Technology Licensing, Llc Determination of relationships between collections of disparate media types
US8880438B1 (en) * 2012-02-15 2014-11-04 Google Inc. Determining content relevance
CN102902821B (zh) * 2012-11-01 2015-08-12 北京邮电大学 基于网络热点话题的图像高级语义标注、检索方法及装置
US9082047B2 (en) * 2013-08-20 2015-07-14 Xerox Corporation Learning beautiful and ugly visual attributes
CN103577537B (zh) * 2013-09-24 2016-08-17 上海交通大学 面向图像分享网站图片的多重配对相似度确定方法
CN103810274B (zh) * 2014-02-12 2017-03-29 北京联合大学 基于WordNet语义相似度的多特征图像标签排序方法
CN104077419B (zh) * 2014-07-18 2018-05-01 合肥工业大学 结合语义与视觉信息的长查询图像检索重排序方法
CN104376105B (zh) * 2014-11-26 2017-08-25 北京航空航天大学 一种社会媒体中图像低层视觉特征与文本描述信息的特征融合***及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000048041A (ja) * 1998-07-29 2000-02-18 Matsushita Electric Ind Co Ltd データ検索システム及びこれに用いる装置
JP2000353173A (ja) * 1999-06-11 2000-12-19 Hitachi Ltd 文書付き画像の分類方法、分類装置および記録媒体
US20060026152A1 (en) * 2004-07-13 2006-02-02 Microsoft Corporation Query-based snippet clustering for search result grouping
JP2011221794A (ja) * 2010-04-09 2011-11-04 Kddi Corp 画像選定装置
JP2013545160A (ja) * 2010-09-26 2013-12-19 アリババ・グループ・ホールディング・リミテッド 指定特性値を使用するターゲット単語の認識
JP2013544397A (ja) * 2010-11-05 2013-12-12 楽天株式会社 キーワード抽出に関するシステム及び方法
JP2015197915A (ja) * 2014-04-01 2015-11-09 バイドゥ (チャイナ) カンパニー リミテッドBaidu (China) Co., Ltd. 検索結果を提示する方法及び装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021196722A (ja) * 2020-06-10 2021-12-27 ヤフー株式会社 情報処理装置、情報処理方法および情報処理プログラム
CN113254513A (zh) * 2021-07-05 2021-08-13 北京达佳互联信息技术有限公司 排序模型生成方法、排序方法、装置、电子设备

Also Published As

Publication number Publication date
WO2017113592A1 (zh) 2017-07-06
CN105653701B (zh) 2019-01-15
CN105653701A (zh) 2016-06-08
JP6428795B2 (ja) 2018-11-28
US10565253B2 (en) 2020-02-18
US20180210897A1 (en) 2018-07-26

Similar Documents

Publication Publication Date Title
JP6428795B2 (ja) モデル生成方法、単語重み付け方法、モデル生成装置、単語重み付け装置、デバイス、コンピュータプログラム及びコンピュータ記憶媒体
CN108009228B (zh) 一种内容标签的设置方法、装置及存储介质
KR101721338B1 (ko) 검색 엔진 및 그의 구현 방법
US11238310B2 (en) Training data acquisition method and device, server and storage medium
CN107193962B (zh) 一种互联网推广信息的智能配图方法及装置
CN103514183B (zh) 基于交互式文档聚类的信息检索方法及***
US8909563B1 (en) Methods, systems, and programming for annotating an image including scoring using a plurality of trained classifiers corresponding to a plurality of clustered image groups associated with a set of weighted labels
WO2018050022A1 (zh) 应用程序的推荐方法及服务器
CN107862022B (zh) 文化资源推荐***
CN108268600B (zh) 基于ai的非结构化数据管理方法及装置
CN113836131B (zh) 一种大数据清洗方法、装置、计算机设备及存储介质
CN105740448B (zh) 面向话题的多微博时序文摘方法
US9552415B2 (en) Category classification processing device and method
CN104537341A (zh) 人脸图片信息获取方法和装置
CN111444304A (zh) 搜索排序的方法和装置
KR101638535B1 (ko) 사용자 검색어 연관 이슈패턴 검출 방법, 이를 수행하는 이슈패턴 검출 서버 및 이를 저장하는 기록매체
CN104572733A (zh) 用户兴趣标签分类的方法及装置
CN112579729A (zh) 文档质量评价模型的训练方法、装置、电子设备和介质
US10430473B2 (en) Deep mining of network resource references
US20130332440A1 (en) Refinements in Document Analysis
CN112446214A (zh) 广告关键词的生成方法、装置、设备及存储介质
Huang et al. Tag refinement of micro-videos by learning from multiple data sources
JP2014074942A (ja) 情報収集プログラム、情報収集方法および情報処理装置
Xu et al. Estimating similarity of rich internet pages using visual information
US11106737B2 (en) Method and apparatus for providing search recommendation information

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180320

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181002

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181015

R150 Certificate of patent or registration of utility model

Ref document number: 6428795

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250