JP6878450B2 - 広告に関する不正行為を防止するための方法及びデバイス並びに記憶媒体 - Google Patents

Description

［関連出願への相互参照］
この出願は、2016年5月24日に「METHOD AND APPARATUS FOR PREVENTING ADVERTISEMENT-RELATED FRAUD」という名称で中国特許庁に出願された中国特許出願第201610349338.7号の優先権を主張し、その全内容を参照により援用する。

［技術分野］
この出願は、通信分野におけるインターネット広告技術に関し、特に広告に関する不正を防止するための方法及び装置並びに記憶媒体に関する。

現在、広告主は、製品又はサービスを宣伝するために、広告をユーザにプッシュする必要がある。インターネットユーザ、特にモバイルインターネットユーザの数が急速に増加すると共に、インターネット広告は、広告が配置される新たな形式になっており、インターネット広告の配置量も急速に増加している。

インターネット広告エコシステムでは、ユーザに基づいて、トラヒック関係者（traffic party）は、様々な形式のインターネットに基づくサービス（例えば、ニュースの提供、メディア再生及びオンラインゲーム）を提供し、サービスを使用する過程においてユーザにより使用されるサービス（例えば、ユーザにより使用されるアプリケーション又はユーザによりアクセスされるウェブページ）に広告を配置する。ユーザが広告をクリックした場合、広告上のクリック数（広告トラヒックとも呼ばれる）が増加する。トラヒック関係者が、トラヒック関係者により所有される広告リソース（例えば、アプリケーション内の広告又はウェブページ内の広告位置）に基づいて広告上のクリック数を消費することが理解できる。

インターネット広告システムは、以下の問題を有する。

より多くの収入を得るために広告リソースに配置された広告上でユーザによるクリック数を増加させるために、トラヒック関係者は、不正な方式で広告リソースに配置された広告をクリックする可能性があり、それにより、広告上の虚偽クリック数（虚偽広告トラヒックとも呼ばれる）を形成する。実際に、関連技術において、不正ユーザを正確に識別して広告上のクリック数から虚偽クリック数をフィルタリングするための有効な解決策は依然として存在しない。

この出願の実施例によれば、インターネットにおいて広告に関する不正を行う不正ユーザを正確に識別するための、広告に関する不正を防止するための方法及び装置が提供される。

この出願の実施例の技術的解決策は以下のように実現される。

第１の態様によれば、広告に関する不正を防止するための方法がこの出願の実施例において提供され、これは、
広告に関する不正を防止するための装置により、サンプルセットを取得するステップであり、サンプルセット内の少なくとも１つのサンプルは、不正ユーザ及び広告上の不正ユーザのクリックのクリックログを含むステップと、
広告に関する不正を防止するための装置により、サンプルセット内のサンプルから、不正ユーザのレベルに対応する少なくとも１つのディメンション（dimension）の特性を抽出するステップであり、各不正ユーザは或るレベルに対応し、異なるレベルの不正ユーザの特性は異なるステップと、
広告に関する不正を防止するための装置により、不正ユーザ及び広告上の不正ユーザのクリックのクリックログに基づいて、少なくとも１つのディメンションの特性に対応する正のサンプルを形成し、少なくとも正のサンプルに基づいて、不正ユーザのレベルに対応する不正ユーザ識別モデルをトレーニングするステップと、
広告に関する不正を防止するための装置により、識別対象サンプルが少なくとも１つのディメンションの特性に対応すると決定するステップと、
広告に関する不正を防止するための装置により、識別対象サンプルに対応する少なくとも１つのディメンションの特性をトレーニングされた不正ユーザ識別モデルに入力し、出力結果に基づいて、識別対象サンプルにおける不正ユーザを識別するステップと
を含む。

第２の態様によれば、広告に関する不正を防止するための装置がこの出願の実施例において提供され、これは、
サンプルセットを取得するように構成されたサンプルモジュールであり、サンプルセット内の少なくとも１つのサンプルは、不正ユーザ及び広告上の不正ユーザのクリックのクリックログを含むサンプルモジュールと、
サンプルセット内のサンプルから、不正ユーザのレベルに対応する少なくとも１つのディメンションの特性を抽出するように構成された抽出モジュールであり、各不正ユーザは或るレベルに対応し、異なるレベルの不正ユーザの特性は異なる抽出モジュールと、
不正ユーザ及び広告上の不正ユーザのクリックのクリックログに基づいて、少なくとも１つのディメンションの特性に対応する正のサンプルを形成し、少なくとも正のサンプルに基づいて、識別対象不正ユーザのレベルに対応する不正ユーザ識別モデルをトレーニングするように構成されたモデルトレーニングモジュールと、
識別対象サンプルが少なくとも１つのディメンションの特性に対応すると決定し、識別対象サンプルに対応する少なくとも１つのディメンションの特性をトレーニングされた不正ユーザ識別モデルに入力し、出力結果に基づいて、識別対象サンプルにおける不正ユーザを識別するように構成されたモデル適用モジュールと
を含む。

第３の態様によれば、コンピュータ記憶媒体がこの出願の実施例において提供され、コンピュータ記憶媒体は、広告に関する不正を防止するための装置により使用されるコンピュータソフトウェア命令を記憶し、コンピュータソフトウェア命令は、広告に関する不正を防止するための方法を実現するためのステップを含む。

この出願の実施例では、異なるレベルの識別対象不正ユーザに基づいて、対応するレベルの不正ユーザ識別モデルをトレーニングするために、対応する特性がサンプルから抽出され、それにより、トレーニングされたモデルを使用することにより、異なるレベルの不正ユーザに対して目標とされる包括的な識別を実行する。

この出願の実施例による広告に関する不正を防止するための装置の任意選択の概略アーキテクチャ図である。 この出願の実施例による広告に関する不正を防止するための装置の任意選択の概略アーキテクチャ図である。 この出願の実施例による広告に関する不正を防止するための装置により低レベルの不正ユーザを識別する任意選択の概略図である。 この出願の実施例に従って低レベルの不正ユーザを識別する任意選択の概略フローチャートである。 この出願の実施例に従って低レベルの不正ユーザを識別する任意選択の概略フローチャートである。 この出願の実施例に従って中間レベル不正ユーザ識別モデルをトレーニングし、中間レベル不正ユーザ識別モデルを使用することにより中間レベルの不正ユーザを識別する任意選択の概略図である。 この出願の実施例に従って高レベルの不正ユーザを識別する任意選択の概略フローチャートである。 この出願の実施例に従って高レベル不正ユーザ識別モデルをトレーニングし、高レベル不正ユーザ識別モデルを使用することにより高レベルの不正ユーザを識別する任意選択の概略図である。 この出願の実施例による広告に関する不正を防止するためのシステムにより不正ユーザを識別する任意選択の概略図である。 この出願の実施例による広告に関する不正を防止するためのシステムの機能アーキテクチャの任意選択の概略図である。 この出願の実施例による広告に関する不正を防止するためのシステムにより不正ユーザを識別する任意選択の概略図である。 この出願の実施例による広告に関する不正を防止するためのシステムの概略構成図である。

この出願について、添付図面及び実施例を参照して詳細に更に説明する。ここに記載の実施例は、単にこの出願を説明するために使用されているに過ぎず、この出願を限定することを意図するものではないことが理解されるべきである。さらに、以下に説明する実施例は、この出願の全ての実施例ではなく、この出願のいくつかの実施例である。創造的取り組みなしに実施例の技術的解決策及びこの出願に基づいて実現される全ての他の実施例を再び組み合わせることにより当業者により取得される実施例は、この出願の保護範囲内に入る。

この出願の実施例では、「含む」、「有する」という用語及びこれらのいずれかの変形は、非排他的な包含をカバーすることを意図する。したがって、一連の要素を含む方法又は装置は、明確に記載されているこのような要素を含むだけでなく、明確に記載されていない他の要素も含み、方法又は装置を実現するための固有の要素も含んでもよい。特に指定のない限り、「含む」により限定される要素は、その要素を含む方法又は装置に存在する他の関係する要素（例えば、方法におけるステップ又は装置におけるユニット）を除外しない。

この出願の実施例に関与する名詞及び用語について以下の通り説明する。

広告露出（advertisement exposure）：広告は、ユーザ側の広告位置（例えば、ユーザによりアクセスされるページ内の広告位置又はユーザにより使用されるアプリケーション内の広告位置）において提示される。広告がユーザ側に１回提示されるときに、この状況は、１回の広告露出と呼ばれる。

広告クリック：ユーザが端末（例えば、スマートフォン又はタブレットコンピュータ）上の広告をクリックすることにより広告主のページにアクセスする。ユーザは、広告主のページにアクセスするために広告を１回クリックする。これは、広告クリックと呼ばれる。

広告効果：広告が露出された後に、ユーザは、広告をクリックし、広告主のページから商品を購入したり或いはアプリケーションをダウンロードしたりする注文を行う。これは、広告効果と呼ばれる。

クリック率：これは、広告露出の回数に対する広告上のクリック数の比である。

インターネット備兵（Internet mercenary）：彼らは、ネットワーク企業により雇用された人員であり、広告のクリック、アプリケーションのダウンロード又はポストのような手段を使用することにより、利益を得たり或いは世論を生成したりするような目的を達成する。この出願の実施例では、彼らは不正ユーザとも呼ばれる。

広告に関する不正：悪意のある目的のため、広告露出、広告クリック及び広告効果のようなリンクにおいて、ユーザは、広告露出の回数又は広告上のクリック数を増加させるための、或いは広告効果を改善するための行為を実現し得る。このような不正ユーザの悪意のある行為は、広告に関する不正と呼ばれる。

広告に関する不正の防止：広告露出、広告クリック又は広告効果等がユーザの正常のアクセスによってトリガーされたか、或いは広告についての不正手段を使用することにより不正ユーザにより実現されたかを決定するために、広告露出、広告クリック及び広告効果のようなリンクに対して検査が実行される。

広告に関する不正を防止するためのシステム：これは、広告露出、広告クリック及び広告効果のようなリンクに対して不正防止検査するためのシステムである。

広告に関する不正を防止するためのポリシー：これは、不正行為を抑制するために広告に関する不正を防止するためのシステムにより使用される一連の規則を含む。各種の規則は、ポリシーと呼ばれる。

広告タスクプラットフォーム：これは、広告ブラウジング、広告クリック又はアプリケーションのダウンロードのような支払い済みのタスクのみを提供するプラットフォームである。プラットフォームのユーザは、金銭又は賞品と交換するために、支払い済みのタスクを完了することにより報酬ポイントを取得する。プラットフォームのユーザにより広告をクリックする行為は、不正ユーザにより広告をクリックする行為と類似する。

高（第１）レベルの不正ユーザ：これは、プロの不正ユーザグループであり、不正を防止するためのシステムを完全に認識している。高レベルの不正ユーザのグループは、一群のアプリケーション（APP）を一緒にクリックする。高レベルの不正ユーザにより使用されるアプリケーションは、囲い（enclosure）を備えた虚偽APPであり、単一の不正ユーザの行為が正常ユーザの行為と同じであることを確保するように、広告に関する不正を行うための高レベルの不正ユーザに専用である。これは、通常では、不正ソフトウェアにより偽造されたユーザグループである。

中間（第２）レベルの不正ユーザ：これは、プロの不正ユーザであり、不正を防止するためのシステムを或る程度認識しており、長期間に広告を分散的且つ間欠的にクリックする。これは、広告タスクプラットフォームのユーザ又は職業上のインターネット備兵である。

低（第３）レベルの不正ユーザ：これは、組織化されていない不正ユーザであり、不正を防止するためのシステムについてあまり認識しておらず、短期間に大量の広告をクリックする。これは、通常ではトラヒック関係者の内部又は周辺の人員である。

インターネット広告エコシステムでは、より高いクリック率及び収入を得るために、何人かのトラヒック関係者は、短期間又は長期間にそのトラヒックにおいて広告をクリックすることを、その内部の人員に対して可能にしたり、インターネット備兵を雇用したり、或いはユーザを誘導したりする。不正を防止するためのシステム（不正を防止するための装置は、例えば、この出願の実施例では不正を防止するためのシステムとして実現される）は、不正ユーザを識別し、広告上で不正ユーザのクリック数をフィルタリングする必要がある。

関連技術において提供される不正を防止するためのシステムは、比較的明らかな広告に関する不正行為を識別できる。しかし、不正ユーザの不正手段が変化して改善されると共に、いくつかの深く隠された不正ユーザは、識別するのが困難である。

この場合、この出願の実施例に従って、広告に関する不正を防止するための方法及び広告に関する不正を防止するための方法を適用した広告に関する不正を防止するための装置が提供される。広告に関する不正を防止するための装置は、様々な方式で実現されてもよい。広告に関する不正を防止するための装置の実現について以下に説明する。

一例では、広告に関する不正を防止するための装置の任意選択の概略アーキテクチャ図である図１−１に参照が行われる。広告に関する不正を防止するための装置は、広告に関する不正を防止するためのシステム（これは、実際の用途ではサーバ又はサーバクラスタの形式で実現されてもよく、任意選択で、クラウドサービスの形式で広告に関する不正を防止するためのサービスを提供する）として実現されてもよく、広告に関する不正を防止するためのシステムは、広告システムに接続される。広告システムについて以下に説明する。

広告システムは、広告をプッシュするために広告主により指定された目標とする条件（例えば、広告の受け手の年齢、地域、グループ又は消費能力のような情報）に従って、広告を対応するユーザの端末の広告位置にプッシュし、広告上のユーザのクリックに従って各統計期間（例えば、１週間）のクリックログを対応して形成する。クリックログは、広告上のユーザのクリックについての様々な種類の情報、例えば、クリック数及びクリック時間を記録するために使用される。

さらに、統計期間毎に、広告システムは、統計を集計することにより露出ログを更に形成する。例示的に、露出ログは、ユーザによりクリックされた広告により露出されたオブジェクト、例えば、アプリケーション又は商品を含む。

さらに、統計期間毎に、広告システムは、統計を集計することにより、各アプリケーションに対応する効果ログを更に形成する。例示的に、効果ログは、ユーザが広告をクリックした後に広告の露出されたオブジェクトについて達成された効果を含む。

さらに、統計期間毎に、広告システムは、広告をクリックするためにユーザにより使用されたデバイスの情報、例えば、デバイスのハードウェア情報及びソフトウェア情報についての統計を対応して集計する。

広告に関する不正を防止するためのシステムは、広告システムから、広告上のユーザのクリックのクリックログ、効果ログ、露出ログ及びユーザのデバイス情報を取得し、少なくとも１つの種類の情報に基づいて、異なるレベルの不正ユーザを識別するためのモデルを形成するための処理を実行し、それにより、異なるモデルを使用することにより異なるレベルの不正ユーザを識別する。さらに、システムは、広告上の不正ユーザのクリック数をフィルタリングしてもよく、それにより、ユーザ側の広告上のクリックの統計数の精度を確保する。

他の例では、図１−２を参照して、機能モジュールとして機能する、広告に関する不正を防止するための装置は、図１−１に示す広告に関する不正を防止するためのシステムに連結される。広告に関する不正を防止するための装置は、広告システムから、広告上のユーザのクリックのクリックログ、効果ログ、露出ログ及びユーザのデバイス情報を取得し、少なくとも１つの種類の情報に基づいて、異なるレベルの不正ユーザを識別するためのモデルを形成するための処理を実行し、それにより、異なるモデルを使用することにより異なるレベルの不正ユーザを識別する。さらに、装置は、広告上の不正ユーザのクリック数をフィルタリングしてもよく、それにより、ユーザ側の広告上のクリックの統計数の精度を確保する。

図１−１及び図１−２に示す広告に関する不正を防止するための装置の任意選択のアーキテクチャは、単に概略的なものであり、実際の用途では、アーキテクチャは、異なる方式で実現されるように図１−１及び図１−２に示す広告に関する不正を防止するための装置に従って容易に変更されてもよい点に留意すべきである。

図１−１を参照して、広告に関する不正を防止するためのシステムによる低レベルの不正ユーザ、中間レベルの不正ユーザ及び高レベルの不正ユーザの識別について以下に説明する。図１−２に示す広告に関する不正を防止するための装置に基づく、広告に関する不正を防止するためのシステムによる低レベルの不正ユーザ、中間レベルの不正ユーザ及び高レベルの不正ユーザの識別について、その識別は以下の説明を参照して実現されてもよい。

1.低レベルの不正ユーザの識別
いくつかの実施例では、広告に関する不正を防止するための装置により低レベルの不正ユーザを識別する任意選択の概略図である図２に参照が行われる。低レベルの不正ユーザは、オンラインのリアルタイム罰則（penalization）及びオフラインの遅延した再罰則（re-penalization）によって識別される。例示的にオンラインのリアルタイム罰則の処理方式は、ブラックリストポリシー及び統計的ポリシーを含み、オフラインの遅延した再罰則の処理方式は、統計的方策を含む。説明は以下に提供される。

1)オンラインのリアルタイム罰則
1.1)ブラックリストポリシー
オンラインのリアルタイム罰則の例では、広告に関する不正を防止するためのシステムは、事前に低レベルの不正ユーザを含むブラックリストを維持する。ブラックリストは、低レベルの不正ユーザの識別子を含む。広告に関する不正を防止するためのシステムは、リアルタイムに、広告システムから取得されたクリックログから、広告を現在クリックしているユーザの識別子を抽出し、識別子をブラックリスト内の低レベルの不正ユーザの識別子とマッチングする。マッチングが成功した場合、広告を現在クリックしているユーザが低レベルの不正ユーザであると決定される。

例示的に、低レベルの不正ユーザの識別子は、ユーザを一意に区別するための情報、例えば、ユーザの電話番号又はソーシャルプラットフォームアカウント（例えば、Wechatアカウント又はQQアカウント）である。明らかに、低レベルの不正ユーザの識別子はこのような種類に限定されず、或いはインターネットプロトコル（IP）アドレス又は媒体アクセス制御（MAC）アドレスのようないずれかの種類の識別子でもよい。任意選択で、低レベルの不正ユーザを識別する精度を確保するために、２つ以上の種類の識別子が、低レベルの不正ユーザを識別するように結合されてもよい。

1.2)統計的ポリシー
オンラインのリアルタイム罰則の他の例では、広告システムから取得されたクリックログに従って、広告に関する不正を防止するためのシステムは、統計期間（例えば、５分又は１時間、これは実際の用途における状況に従って設定される）における広告上のユーザのクリック数についての統計を収集する。広告上のクリック数がクリック数の閾値を超える場合、ユーザは、低レベルの不正ユーザとして識別される。広告に関する不正を防止するためのシステムは、低レベルの不正ユーザのクリック数によって広告システムにより使用されるクリック数が不正確であるという問題を回避するために、低レベルの不正ユーザのクリック数をフィルタリングし（罰則を科し）、結果を広告システムにフィードバックする。

低レベルの不正ユーザのクリック数をフィルタリングする例では、クリック数の閾値を超えるクリック数は、予め設定された比に従ってフィルタリングされる。クリック数の閾値を超えるより高いクリック数は、より高いフィルタリング比を示す。

例えば、クリック数がaであり、クリック数の閾値がbであり、aがbより大きい場合、クリック数の閾値を超えるクリック数(a-b)は、(a-b)の値とフィルタリング比との対応関係に従ってフィルタリング比を選択することによりフィルタリングされる。(a-b)の値とフィルタリング比との間の対応関係の例は、表１に示されている。

表１から、広告上のクリック数の中で低レベルの不正ユーザのクリック数を最大限低減するために、クリック数の閾値を超えるより高いクリック数がより高いフィルタリング比を示すことが理解され得る。

2)オフラインの遅延した再罰則
いくつかの実施例では、広告上のクリック数の中で低レベルの不正ユーザのクリック数を更に低減するために、広告に関する不正を防止するためのシステムは、遅延した再罰則を更に使用する。

例示的に、広告システムから取得されたクリックログに従って、広告に関する不正を防止するためのシステムは、統計期間（例えば、設定された時間間隔は５分又は１時間であり、これは、実際の用途における状況に従って設定される）における広告上のユーザのクリック数についての統計を収集する。広告上のクリック数がクリック数の閾値を超える場合、ユーザは、低レベルの不正ユーザとして識別される。クリック数の閾値を超えない低レベルの不正ユーザのクリック数の中のクリック数は、予め設定された比に従ってフィルタリングされるか、或いは全てのクリックがフィルタリングされ、すなわち、低レベルの不正ユーザのクリック数はリセットされる。

さらに、オフラインの遅延した再罰則において使用される予め設定された比は、固定の比でもよく、或いは統計期間におけるユーザのクリック数に従って動的に決定されてもよい（例えば、正比例）。各低レベルの不正ユーザについての予め設定された比は、統計期間におけるユーザのクリック数と予め設定された比との間の正相関（例えば、正比例）関係に従って動的に決定される。すなわち、統計期間におけるユーザのより高いクリック数は、クリック数の閾値を超えないユーザのクリック数の中でクリック数をフィルタリングするためのより高い予め設定された比を示す。

１時間のクリック数が20を超えた場合にフィルタリングが開始される場合、閾値を超えない最初の20回の中でクリック数をフィルタリングするために、遅延した再罰則が実行され、閾値を超えるクリック数はフィルタリングされない。さらに、クリック数の閾値（20）を超えない最初の20回の中でクリック数をフィルタリングするための比は、１時間のユーザのクリック数に基づいて決定される。１時間のユーザAのクリック数が21である場合、最初の20回の中でクリック数をフィルタリングするための比は、１時間のユーザBのクリック数が100であるときのユーザBの最初の20回の中でクリック数をフィルタリングするための比より小さい。

例えば、ユーザのクリック数がaであり、クリック数の閾値がbであり、aがbより大きい場合、クリック数の閾値を超えないクリック数aの中のクリック数、すなわち、bは、予め設定された比（例えば、70%）に従ってフィルタリングされる。ユーザbのクリック数はb*(1-70%)である。或いは、全てのクリック数がフィルタリングされ、したがって、クリック数の閾値bを超えないユーザのクリック数がリセットされる。

図２に示す低レベルの不正ユーザについてのリアルタイムの罰則及び遅延した再罰則を参照して、広告上のクリック数から低レベルの不正ユーザのクリック数を最大限低減するために、リアルタイムの罰則（比に従ったフィルタリング）は、クリック数の閾値を超える低レベルの不正ユーザのクリック数の中のクリック数について実現され、遅延した再罰則（固定の予め設定された比又は動的に調整される予め設定された比に従ったフィルタリング）は、クリック数の閾値を超えない低レベルの不正ユーザのクリック数の中のクリック数について実現され、それにより、広告システムにより最終的に取得される広告上のクリック数の精度及び信頼性を確保し、また、広告主によりプッシュされる広告について正確な課金データを生成することを保証する。

2.中間レベルの不正ユーザの識別
この出願の実施例に従って低レベルの不正ユーザを識別する任意選択の概略フローチャートである図３−１に参照が行われる。処理は、ステップ101〜ステップ106を含み、ステップについて以下の通り説明する。

この出願のこの実施例では、広告に関する不正を防止するためのシステムは、中間レベル不正ユーザ識別モデルを使用することにより、ユーザから中間レベルの不正ユーザを識別する。したがって、広告に関する不正を防止するためのシステムは、中間レベル不正ユーザ識別モデルをトレーニングするための利用可能なサンプルを形成する必要があり、それにより、中間レベル不正ユーザの識別モデルの識別精度が予め設定された利用可能な精度に到達する。

いくつかの実施例では、広告に関する不正を防止するためのシステムは、中間レベル不正ユーザ識別モデルをトレーニングするためのサンプルを形成するために、広告タスクプラットフォームからサンプルセットを取得する（ステップ101）。サンプルセットは、中間レベルの不正ユーザに対応するサンプルを含む。サンプルにおける任意選択のデータ構造は、表２に示されている。

表２を参照すると、サンプルセット内のサンプルは、少なくとも１人の中間レベルの不正ユーザと、統計期間（例えば、１週間）における中間レベルの不正ユーザのクリックログとを含む。例示的に、クリックログは、広告上の中間レベルの不正ユーザのクリックの操作データ、例えば、広告上の各クリックのID又はクリック時間を含む。

実際の用途では、広告タスクプラットフォームのユーザのクリック行為は、中間レベルの不正ユーザのクリック行為にほとんど類似するため、広告タスクを完了する広告タスクプラットフォーム内のプラットフォームユーザは、中間レベルの不正ユーザとして考えられる。対応して、広告タスクプラットフォームから取得されたクリックログは、プラットフォームユーザが広告タスクを完了したときに、サンプルセットを形成する。

次に、広告に関する不正を防止するためのシステムによるサンプルセットの取得について説明する。中間レベルの不正ユーザに対応するサンプルは、中間レベル不正ユーザ識別モデルをトレーニングするために、広告に関する不正を防止するためのシステムにより正のサンプル形成するために使用される。中間レベル不正ユーザ識別モデルにより中間レベルの不正ユーザを識別する精度を更に増加させるために、いくつかの他の実施例では、広告に関する不正を防止するためのシステムにより取得されたサンプルセットは、非不正ユーザに対応するサンプルを更に含み、これは、中間レベル不正ユーザ識別モデルをトレーニングするために、広告に関する不正を防止するためのシステムにより負のサンプルを形成するために使用される。例示的に、非不正ユーザに対応するサンプルは、正常アプリケーション（すなわち、不正ユーザが存在しないと認識されているアプリケーション）のユーザ、すなわち、非不正ユーザと、正常アプリケーションを使用する過程での広告位置における広告上のユーザのクリックに対応するクリックログとを含む。非不正ユーザに対応するサンプルの任意選択のデータ構造は、表３に示されている。

表３は、非不正ユーザに対応するサンプルの任意選択のデータ構造を示す。表３において、例えば、アプリケーション3は正常アプリケーションである。ユーザ3及びユーザ4の双方は、それぞれの端末にアプリケーション1をインストールし、アプリケーション1の広告位置において広告をクリックする。対応して、広告システムから取得されたクリックログに基づいて、広告に関する不正を防止するためのシステムは、アプリケーション1の全ての非不正ユーザ（ユーザ3及びユーザ4）に対応するサンプルを形成する。

前述のステップの後の説明が提供される。サンプルセットを取得した後に、広告に関する不正を防止するためのシステムは、サンプルセット内のクリックログに対応する広告上のユーザのクリックの操作データを解析し、広告上のユーザのクリックの操作に関連する特性を抽出する（ステップ102）。

前述のように、いくつかの実施例では、サンプルセットが中間レベルの不正ユーザに対応するサンプルのみを含む場合、広告に関する不正を防止するためのシステムは、広告上の中間レベルの不正ユーザのクリックの操作に関連する特性を決定するために、中間レベルの不正ユーザに対応するサンプルにおけるクリックログを解析する。いくつかの他の実施例では、サンプルセットが非不正ユーザに対応するサンプルを更に含む場合、広告に関する不正を防止するためのシステムは、広告上の非不正ユーザのクリックの操作に関連する特性を決定するために、非不正ユーザに対応するサンプルにおけるクリックログを更に解析する。

いくつかの実施例では、広告上のユーザ（中間レベルの不正ユーザ又は非不正ユーザ）のクリックの操作に関連する特性は、以下のディメンションのうち少なくとも１つの特性を含む。

1)統計期間におけるユーザのクリック数
例示的に、統計期間における広告上のユーザのクリック数は、統計期間におけるいずれかの広告位置、例えば、ページ内の広告位置又はアプリケーション内の広告位置における広告上のユーザのクリック総数である。

例えば、ユーザは、統計期間において合計で３つの広告、すなわち、広告1、広告2及び広告3をクリックする。対応するクリック数は、それぞれ1、2及び3である。統計期間におけるユーザのクリック数は、6（1+2+3）である。

或いは、統計期間における広告上のユーザのクリック数は、統計期間における同じ広告上のユーザのクリック総数である。ユーザは、統計期間の第１の期間において合計で３つの広告、すなわち、広告1、広告2及び広告3をクリックする。対応するクリック数は、それぞれ1、2及び3である。ユーザは、統計期間の第２の期間において合計で３つの広告、すなわち、広告1、広告2及び広告3をクリックする。応するクリック数は、それぞれ1、2及び3である。統計期間における広告1、広告2及び広告3に対応するユーザのクリック数は、2（1+1）、4（2+2）及び6（3+3）である。

2)広告がユーザによりクリックされた統計期間における期間数
例示的に、ユーザが広告をクリックした期間数は、ユーザが広告をクリックした期間数である。

例えば、統計期間が１日であり、１つの期間が１時間である。ユーザが１日の第１時間、第２時間、第４時間及び第５時間に広告をクリックした場合、ユーザが統計期間において広告をクリックした期間数は4である。

3)統計期間における広告上のユーザのクリックの間の時間間隔の平均
例えば、ユーザが統計期間における時点T1／T2／T3に広告をクリックし、したがって、対応する平均は、(T2-T1)/2+(T3-T2)/2である。

4)統計期間における識別された不正ユーザの履歴上の比
履歴上の比は、現在の統計期間のいずれかの部分において、広告をクリックしたユーザ数（中間レベルの不正ユーザ及び非不正ユーザを含む）に対する、識別された中間レベルの不正ユーザ数を示す。明らかに、履歴上の比は、現在の統計期間における複数の統計期間の比の平均を示してもよい。

5)広告がユーザによりクリックされた統計期間における期間内の広告上のクリックの平均数
統計期間が１日であり、１つの期間が１時間であることが依然として仮定される。ユーザが１日の第１時間、第２時間、第４時間及び第５時間に広告をクリックした場合、ユーザが統計期間において広告をクリックした期間の数は4であり、統計期間におけるクリック数は12（1+2+4+5）であり、４つの期間における広告上のクリックの平均数は3（12/4）である。

この出願の実施例においてユーザにより広告をクリックする操作に関連する特性は、前述の特性に限定されない点に留意すべきである。当業者は、ユーザにより広告をクリックする操作に関連する特性とは異なる特性を実現するために、ユーザにより広告をクリックする操作に関連する特性を容易に変更又は拡張し得る。

前述のステップの後の説明が提供される。中間レベルの不正ユーザに対応するサンプルから少なくとも１つのディメンションの特性を抽出した後に、広告に関する不正を防止するためのシステムは、中間レベル不正ユーザ識別モデルをトレーニングするための正のサンプルを形成してもよい。例示的に、広告に関する不正を防止するためのシステムは、不正ユーザ及び広告上の不正ユーザのクリックのクリックログに、少なくとも１つのディメンションの特性に対応する正のサンプルとしてラベルを付ける（ステップ103）。

いくつかの実施例では、広告に関する不正を防止するためのシステムがまた、非不正ユーザのサンプルから少なくとも１つのディメンションの特性を抽出した場合、広告に関する不正を防止するためのシステムは、中間レベル不正ユーザ識別モデルをトレーニングするための負のサンプルを形成してもよい。例示的に、この出願の実施例に従って低レベルの不正ユーザを識別する任意選択の概略フローチャートである図３−２に参照が行われる。広告に関する不正を防止するためのシステムは、非不正ユーザ及び広告上の非不正ユーザのクリックのクリックログに、少なくとも１つのディメンションの特性に対応する負のサンプルとしてラベルを付ける（ステップ107）。

前述のステップの後の説明が提供される。中間レベル不正ユーザ識別モデルをトレーニングするための正のサンプルを形成した後に、広告に関する不正を防止するためのシステムは、中間レベル不正ユーザ識別モデルのモデルパラメータをトレーニングするために、正のサンプルを中間レベル不正ユーザ識別モデルに入力する（ステップ104）。いくつかの実施例では、広告に関する不正を防止するためのシステムがまた、中間レベル不正ユーザ識別モデルをトレーニングするための負のサンプルを形成した場合、広告に関する不正を防止するためのシステムは、中間レベル不正ユーザ識別モデルの識別精度を改善してトレーニング処理を短縮するために、トレーニングされるべき中間レベル不正ユーザ識別モデルに正のサンプルと共に負のサンプルを入力する。

サンプル（正のサンプル及び負のサンプル）を使用することによる中間レベル不正ユーザ識別モデルのトレーニングについて以下に説明する。中間レベル不正ユーザ識別モデルは、少なくとも１つのディメンションの抽出された特性から、ユーザの識別結果（中間レベルの不正ユーザであるか否か）へのマッピングとして考えられてもよく、これは、一連の機能を含む。任意選択の例は、
識別結果=f(a*特性1+b*特性2)
でもよく、特性1及び特性2は、トレーニングのためのサンプル（正のサンプル及び負のサンプルの一方）の特性であり、モデルパラメータa及びbは、特性1及び特性2を制御するための重みである。中間レベル不正ユーザ識別モデルのトレーニング処理は、モデルパラメータa／bが絶えず最適化される処理である。実際の用途では、モデルパラメータ数は、２つ以上でもよく、使用される特性数は限定されない。

したがって、実施例では、中間レベル不正ユーザ識別モデルの識別精度が実用的なニーズを満たすか否かを確認するために、広告に関する不正を防止するためのシステムは、事前のデータベース（不正ユーザ、非不正ユーザ及びクリックログの特性を含む）を使用することにより、中間レベル不正ユーザ識別モデルにより不正ユーザを識別する精度（すなわち、正解率）をテストしてもよい。識別精度が予め設定された精度に到達しない場合、モデルパラメータは、中間レベル不正ユーザ識別モデルの識別精度が予め設定された精度に到達するまで調整される。

前述のステップの後の説明が提供される。中間レベル不正ユーザ識別モデルをトレーニングした後に、広告に関する不正を防止するためのシステムは、中間レベルの不正ユーザを識別するために、トレーニングされた中間レベル不正ユーザ識別モデルを使用してもよい。広告に関する不正を防止するためのシステムは、広告システムから識別対象サンプルを取得する（ステップ105）。識別対象サンプルのデータ構造について、表２及び表３を参照してもよく、サンプルは、識別対象ユーザ及び識別対象ユーザのクリックログを含む。広告に関する不正を防止するためのシステムは、識別対象サンプルから少なくとも１つのディメンションに対応する特性を抽出し、特性をトレーニングされた不正ユーザ識別モデルに入力し、中間レベル不正ユーザ識別モデルの識別結果（中間レベルの不正ユーザであるか否か）に基づいて、識別対象サンプルにおける中間レベルの不正ユーザを決定する（ステップ106）。

いくつかの実施例では、図３−２を参照して、識別対象サンプルから中間レベルの不正ユーザを識別した後に、広告に関する不正を防止するためのシステムは、中間レベルの不正ユーザのクリック数を更にフィルタリングし（ステップ108）、中間レベルの不正ユーザの更新されたフィルタリング後のクリック数を広告システムに送信し（ステップ109）、それにより、広告システムの課金端が課金ポリシーと組み合わせて更新されたクリック数に基づいて広告プッシュのための課金を実行する。広告上のクリック数の中の中間レベルの不正ユーザのクリック数はフィルタリングされ、それにより、広告上のクリック数がユーザの通常のクリック操作によって形成されることを確保し、広告上のクリック数の精度及び真正性を確保し、広告主の広告課金が不正確であるという問題を回避する。

例示的に、広告に関する不正を防止するためのシステムは、複数の方式により中間レベルの不正ユーザのクリック数をフィルタリングする。異なるフィルタリング方式を参照して説明が以下に提供される。

フィルタリング方式1)：中間レベルの不正ユーザのクリック数は、予め設定された比に従ってフィルタリングされる。例えば、中間レベルの不正ユーザのクリック数はaであり、予め設定された比は70%であり、したがって、中間レベルの不正ユーザのフィルタリング後のクリック数はa*30%として更新される。具体的には、予め設定された比が100%である場合、中間レベルの不正ユーザのクリック数はリセットされる。

フィルタリング方式2)：クリック数の閾値を超えない中間レベルの不正ユーザのクリック数の中のクリック数は、比に従ってフィルタリングされるか、或いはクリック数がフィルタリングされ、すなわち、中間レベルの不正ユーザのクリック数はリセットされる。或いは、クリック数の閾値を超える中間レベルの不正ユーザのクリック数の中のクリック数は、予め設定された比に従ってフィルタリングされ、クリック数の閾値を超えるより大きいクリック数は、より大きいフィルタリング比を示す。

中間レベル不正ユーザ識別モデルをトレーニングし、中間レベル不正ユーザ識別モデルを使用することにより中間レベルの不正ユーザを識別する任意選択の概略図である図４に参照が行われる。２段階のモデルトレーニング及びモデル使用が含まれ、それぞれ以下に説明する。

1)モデルトレーニング
トレーニングのための正のサンプルは、広告タスクプラットフォームのクリックログから抽出され、トレーニングのための負のサンプルは、正常アプリケーションAPP（不正ユーザが存在しないと認識されているAPP）のクリックログから抽出される。

中間レベルの不正ユーザは、長期間に広告を分散的且つ間欠的にクリックする。

特性について、６個の特性、すなわち、１週間のクリック数、広告が１週間にクリックされた日数、広告が１週間にクリックされた時間数、１週間における隣接するクリックの間の平均時間差、１週間にオンラインと識別された不正の比、及び広告が１週間にクリックされた時間数に対する１週間のクリック数の比は、正のサンプル及び負のサンプルに基づいて抽出される。６個の特性に基づいて、ユーザが中間レベルの不正ユーザであるか否かを決定するために、ロジスティック回帰（logistic regression）モデルがトレーニングされる。

2)モデル使用
トレーニングによってロジスティック回帰モデルのモデルパラメータを取得した後に、広告システムから取得された１週間の広告上の識別対象ユーザのクリックを示すクリックログに基づいて、１週間の識別対象ユーザのクリックログの特性が抽出される。さらに、前述の６個の特性は、ロジスティック回帰モデルに入力される。ロジスティック回帰モデルは、識別対象ユーザが中間レベルの不正ユーザであるか正常ユーザ（非不正ユーザ）であるかを示す不正識別結果を出力する。

3.高レベルの不正ユーザの識別
この出願の実施例を実現する過程において、発明者は、高レベルの不正ユーザが虚偽のトラヒックを生成するために特定のアプリケーションを使用する（例えば、開発する）ことを見出している。特定のアプリケーションは、ユーザにサービス（例えば、メディアサービス又はソーシャルサービス）を提供する機能を有さず、特定のトラヒック関係者の広告位置において広告をクリックするために、異なるユーザをシミュレーションするためのアプリケーションにカプセル化されたプログラムを使用するだけであり、それにより、虚偽トラヒックを生成する。すなわち、特定のアプリケーションは、虚偽トラヒックを生成するための専用のアプリケーションであり、アプリケーションのユーザは、全て高レベルの不正ユーザである。アプリケーションが高レベルの不正ユーザにより使用される特定のアプリケーションであると識別されると、特定のアプリケーション内の全てのユーザは、高レベルの不正ユーザとして識別できる。

さらに、この出願の実施例を実現する過程において、発明者は、高レベルの不正ユーザにより広告に関する不正を行うために特定のアプリケーションを使用する過程において、広告をクリックするシミュレーションされたユーザの複数のディメンションの特性が近く、すなわち、相関度が高いことを見出している。実際に、正常ユーザ（非不正ユーザ）の異なるディメンションの特性はばらばらであり、すなわち、相関度は低い。

したがって、この出願の実施例では、高レベルの不正ユーザが識別されるときの単位として、アプリケーションが使用され、アプリケーション内のユーザが高レベルの不正ユーザであるか否かを決定するために、１回の全体識別が実行される。識別対象アプリケーション内の全てのユーザの複数のディメンションにおける類似度が決定される。類似度が比較的高い場合、識別対象アプリケーションは、高レベルの不正ユーザにより使用される特定のアプリケーションとして識別される。対応して、識別対象アプリケーション内の全てのアプリケーションは、高レベルの不正ユーザとして識別される。フローチャートを参照して説明が提供される。

この出願の実施例に従って高レベルの不正ユーザを識別する任意選択の概略フローチャートである図５に参照が行われる。各ステップについて以下の通り説明する。

この出願のこの実施例では、広告に関する不正を防止するためのシステムは、高レベルの不正ユーザを識別するために、高レベル不正ユーザ識別モデルを使用する。したがって、広告に関する不正を防止するためのシステムは、高レベル不正ユーザ識別モデルをトレーニングするための利用可能なサンプルを形成する必要がある。前述のように、高レベルの不正ユーザは、単位としてアプリケーションによって識別される（アプリケーションのユーザが高レベルの不正ユーザであるか否かを決定するために１回の識別が実行される）。対応して、広告に関する不正を防止するためのシステムは、アプリケーションが単位として使用されるサンプル（略して、アプリケーションサンプル）を含むサンプルセットを取得する（ステップ201）。サンプルセット内の各アプリケーションサンプルは、アプリケーションに対応する。さらに、少なくとも１つのアプリケーションサンプルは、高レベルの不正ユーザが存在すると認識されているアプリケーションに対応し、それにより、広告に関する不正を防止するためのシステムが高レベル不正ユーザ識別モデルをトレーニングするための正のサンプルを形成する。さらに、任意選択で、サンプルセットはまた、高レベルの不正ユーザが存在するか否かが認識されていないアプリケーションに対応するアプリケーションサンプルを含んでもよく、アプリケーションサンプルは、未ラベルのアプリケーションサンプルと呼ばれる。

いくつかの実施例では、アプリケーションサンプルは、アプリケーションに対応する様々な種類の情報を含む。アプリケーションサンプルの任意選択のデータ構造は、表４に示されている。

表４に示すように、例示的に、各アプリケーションサンプルは、アプリケーションに対応し、対応するアプリケーションについての少なくとも１つの種類の以下の情報を含む。

1)アプリケーション内の広告上のアプリケーションの各ユーザのクリックのクリックログ
クリックログは、アプリケーションのユーザにより広告をクリックした異なる操作に関する情報を記録する。例示的に、クリックログは、以下の情報を含む。

1.1)統計期間においてアプリケーションの広告位置においてユーザによりクリックされた広告
ユーザによりクリックされた広告は、広告システムにより広告に割り当てられた識別情報（ID）を使用することにより区別されるか、或いは広告システムにより広告に割り当てられた分類ラベルを使用することにより区別される。

例示的に、統計期間においてユーザによりクリックされた広告は、アプリケーションの全ての広告位置においてユーザによりクリックされた記録済みの広告を含んでもよく、広告1、広告2及び広告3の形式で記録される。

或いは、統計期間においてユーザによりクリックされた広告は、アプリケーションの異なる広告位置においてユーザによりクリックされた記録済みの広告を含んでもよく、広告1-広告1-広告2及び広告2-広告3-広告4の形式で記録される。

1.2)統計期間におけるアプリケーションの広告位置における広告上のユーザのクリック数
例示的に、統計期間におけるアプリケーションの広告位置における広告上のユーザのクリック数は、統計期間におけるアプリケーションの広告位置における広告上のユーザのクリック総数である。

例えば、ユーザは、統計期間（例えば、１週間）においてアプリケーションの広告位置において合計で３つの広告、すなわち、広告1、広告2及び広告3をクリックする。対応するクリック数は、それぞれ2、3及び4である。統計期間におけるユーザのクリック数は、9（2+3+5）である。

例示的に、統計期間におけるアプリケーションの広告位置における広告上のユーザのクリック数は、統計期間におけるアプリケーションの広告位置における同じ広告上のユーザのクリック総数でもよく、或いは統計期間（例えば、１週間）の全ての期間（統計期間未満、例えば、１日又は１時間）におけるアプリケーションの広告位置における同じ広告上のユーザのクリック総数でもよい。

例えば、ユーザは、統計期間の第１の期間においてアプリケーションの広告位置において合計で３つの広告、すなわち、広告1、広告2及び広告3をクリックする。対応するクリック数は、2、3及び4である。ユーザは、統計期間の第２の期間においてアプリケーションの広告位置において合計で３つの広告、すなわち、広告1、広告2及び広告3をクリックする。応するクリック数は、2、3及び4である。統計期間における広告1、広告2及び広告3上のユーザのクリック数は、4（2+2）、6（3+3）及び8（4+4）である。

1.3)ユーザが統計期間においてアプリケーションの広告位置において広告をクリックした時間
例示的に、ユーザが統計期間においてアプリケーションの広告位置において広告をクリックした時間は、ユーザが統計期間においてアプリケーションの広告位置において広告をクリックした合計持続時間である。

例えば、アプリケーションが２つの広告位置、すなわち、広告位置1及び広告位置2を有し、統計期間においてユーザが広告位置1において広告をクリックした持続時間がT1であり、ユーザが広告位置2において広告をクリックした持続時間がT2である場合、ユーザが統計期間において広告位置において広告をクリックした合計持続時間はT1+T2である。

或いは、ユーザが統計期間においてアプリケーションの広告位置において広告をクリックした時間は、ユーザが各広告位置において広告をクリックした持続時間、例えば、ユーザが広告位置1において広告をクリックした持続時間T1及びユーザが広告位置2において広告をクリックした持続時間T2でもよい。

1.4)広告が統計期間においてユーザによりクリックされた広告位置の種類
アプリケーション内の広告位置が例として使用される。広告位置の種類は以下を含む。

アプリケーションが開始した後且つアプリケーションのコンテンツがアップロードされる前に広告がアプリケーションのインタフェースにユーザに対して表示される位置であるスクリーンを開いた広告位置
広告がアプリケーションのコンテンツのアップロード中にアプリケーションのインタフェースに挿入される位置であるスクリーン挿入広告位置
アプリケーション内のユーザが長期間（滞在時間閾値を超える滞在時間）に滞在するページ上、又はアプリケーション内のユーザが頻繁にアクセスするページ、例えば、ページの端（上部エリア又は下部エリア等）上に広告が提示される位置であるbanner広告位置
2)広告位置における広告上のアプリケーションの各ユーザのクリックの露出ログ
露出ログは、アプリケーションの広告位置においてアプリケーションの各ユーザによりクリックされた広告により露出されたオブジェクト、例えば、アプリケーション名、商品名又はページアドレスを記録するために使用される。

3)アプリケーション内の広告上のアプリケーションの各ユーザのクリックの効果ログ
前述のように、効果ログは、アプリケーションの各ユーザが広告をクリックした後に広告により露出されたオブジェクトにより達成された広告効果を含む。

例えば、広告により露出されたオブジェクトは、アプリケーションである。広告効果は、以下のもの、すなわち、ユーザによるアプリケーションのダウンロード開始、アプリケーションのダウンロード完了、ユーザのデバイス内へのアプリケーションのインストール、ユーザのデバイス内のアプリケーションの活性化、又はユーザによるデバイス内のアプリケーションのアンロードのうち１つを含んでもよい。

他の例では、広告により露出されたオブジェクトは、オンラインで販売されている商品である。広告について効果ログに記録される広告効果は、ユーザによる商品の注文、ユーザによる注文の支払い、又はユーザによる注文のキャンセルでもよい。

4)アプリケーションの各ユーザにより使用されたデバイスについての情報
例示的に、デバイスについての情報は、デバイスのハードウェア情報、例えば、デバイスのモデル、デバイスの残り空間及びデバイスの残り電気量でもよい。

明らかに、デバイスの情報は、デバイスにより使用される通信オペレータ、デバイスにより使用されるオペレーティングシステム（種類及びモデル）、及びデバイスのネットワーキング方法のようなソフトウェア情報でもよい。或いは、デバイスの情報は、デバイスの位置（例えば、緯度及び経度）又は移動速度のような情報でもよい。

この出願のこの実施例においてアプリケーションサンプルに含まれる情報は、前述の説明に限定されない点に留意すべきである。当業者は、アプリケーションサンプルに含まれる情報を容易に変更又は拡張してもよく、それにより、アプリケーションサンプルに含まれる情報とは異なる情報を実現し、その説明はここでは提供されない。

前述のステップに続いて説明が提供される。広告に関する不正を防止するためのシステムがサンプルセットを取得した後に、アプリケーションサンプル毎に、広告に関する不正を防止するためのシステムは、少なくとも１つのディメンションにおいてアプリケーションサンプルにおけるいずれか２人のユーザの特性の間の相関度を解析する（ステップ202）。特性のディメンションは、アプリケーションサンプルに含まれる情報の種類に従って選択される。例えば、異なるディメンションの特性の間の相関度について以下に説明する。

いくつかの実施例では、ディメンションの特性の間の以下の相関度が使用されてもよい。

1)アプリケーション内のいずれか２人のユーザによるアプリケーション内の広告をクリックした操作の特性の間の相関度
アプリケーションの広告位置においてユーザにより広告をクリックした特性は、アプリケーション内のユーザのクリックの位置（又は頻度）、広告により露出されたアプリケーションのダウンロード数、広告により露出されたページにアクセスした頻度等でもよい。

2)アプリケーション内のいずれか２人のユーザによるAPPサンプルにおいてクリックされた広告により露出されたオブジェクトの間の相関度
3)広告をクリックするためにアプリケーション内のいずれか２人のユーザにより使用されたデバイスについての情報の間の相関度
アプリケーションのユーザにより使用されたデバイスについての相関度は、デバイスのディメンション、例えば、ハードウェア情報、ソフトウェア情報、デバイスの位置又はデバイスの移動速度の間の相関度でもよい。

例えば、ハードウェア情報の相関度は、ユーザにより使用されたデバイスの残り空間又は残り電気量等の差の間の相関度である。

4)アプリケーション内のいずれか２人のユーザによりクリックされた広告の広告効果の間の相関度
サンプルセット内のサンプルアプリケーションについて、サンプルアプリケーションが高レベルの不正ユーザが存在すると認識されているアプリケーションである場合、前述のディメンションにおけるアプリケーション内のいずれか２人のユーザの間の類似度は100%である。サンプルアプリケーションが高レベルの不正ユーザが存在すると認識されていないアプリケーションである場合、前述のディメンションにおけるアプリケーション内のいずれか２人のユーザの間の類似度は0%である。

例えば、高レベルの不正ユーザが存在すると認識されているAPPについて、APP内のいずれか２人のユーザの組み合わせ及び２人のユーザの間の類似度は、正のサンプルとして使用され、APP内のいずれか２人のユーザの間の類似度は100%である。４人のユーザA、B、C及びDがAPPに存在する場合、合計で６個の正のサンプル、すなわち、（A及びB：100%、A及びC：100%、A及びD：100%、B及びC：100%、B及びD：100%、並びにC及びD：100%）が存在する。

高レベルの不正ユーザが存在すると認識されていないAPPについて、APP内のいずれか２人のユーザ及び２人のユーザの間の類似度は、未ラベルのサンプルとして使用され、APP内のいずれか２人のユーザの間の類似度は常に0%である。４人のユーザA、B、C及びDがAPPに存在する場合、合計で６個の正のサンプル、すなわち、（A及びB：0%、A及びC：0%、A及びD：0%、B及びC：0%、B及びD：0%、並びにC及びD：0%）が存在する。

前述のステップに続いて説明が提供される。サンプルアプリケーション毎に、少なくとも１つのディメンションの特性においていずれかのサンプルアプリケーションのいずれか２人のユーザの間の相関度を解析した後に、広告に関する不正を防止するためのシステムは、高レベルの不正ユーザが存在すると認識されているアプリケーションサンプルと、少なくとも１つのディメンションにおけるアプリケーションサンプルのいずれか２人のユーザの間の相関度とに、正のサンプルとしてラベルを付け（ステップ203）、不正ユーザ識別モデルのモデルパラメータをトレーニングするために、正のサンプルを不正ユーザ識別モデルに入力する（ステップ204）。

実施例では、広告に関する不正を防止するためのシステムは、高レベル不正ユーザ識別モデルをトレーニングするための未ラベルのサンプルを形成するために、サンプルセット内の未ラベルのアプリケーションサンプルにおけるいずれか２人のユーザと、前述のディメンションにおける２人のユーザの間の類似度（0%）とを使用し、高レベル不正ユーザ識別モデルに未ラベルのサンプルを正のサンプルと共に入力する（ステップ210）。高レベル不正ユーザ識別モデルに基づいて、未ラベルのサンプルは、反復によって選択され、正のサンプル数を増加させるために、正のサンプルとしてラベルが付けられる。サンプルセット内の正のサンプルとしてラベルが付けられたアプリケーションサンプル数が安定した後に（正のサンプル数は、複数の反復後に増加しない）、サンプルセット内の残りの未ラベルのアプリケーションサンプルは、負のサンプルとしてラベルが付けられる。負のサンプルにおけるいずれか２人のユーザの間の相関度は0%である。

高レベル不正ユーザ識別モデルは、一連の機能を含んでもよく、入力アプリケーションサンプルからアプリケーションサンプルの平均相関度へのマッピングを実行する。任意選択の例は、
アプリケーションサンプルの平均相関度=f(c*特性3+b*特性4)
であり、特性3及び特性4は、トレーニングのためのサンプル（正のサンプル及び負のサンプルの一方）の特性であり、モデルパラメータa及びbは、特性3及び特性4を制御するための重みである。高レベル不正ユーザ識別モデルのトレーニング処理は、モデルパラメータc／dが絶えず最適化される処理であり、それにより、出力された平均類似度がより正確になる。実際の用途では、モデルパラメータ数は、２つ以上でもよく、使用される特性数は限定されない。

前述のステップに続いて説明が提供される。高レベル不正ユーザ識別モデルをトレーニングした後に、広告に関する不正を防止するためのシステムは、識別対象アプリケーションの少なくとも１つのディメンションの特性を高レベル不正ユーザ識別モデルに入力し（ステップ205）、不正ユーザ識別モデルにより出力された、少なくとも１つのディメンションにおける識別対象アプリケーションのユーザの間の相関度を取得する。システムは、少なくとも１つのディメンションの特性におけるいずれか２人のユーザの間の相関度の平均を計算し、少なくとも１つのディメンションにおけるアプリケーションサンプルの平均相関度を取得する（ステップ206）。

例えば、アプリケーション1のユーザは、ユーザ1、ユーザ2及びユーザ3を含む。デバイス情報の類似度について、いずれか２人のユーザの間の類似度は、s1、s2及びs3であり、デバイス情報におけるアプリケーション1の平均類似度は(s1+s2+s3)/3である。

高レベルの不正ユーザは、平均相関度に基づいて識別される（ステップ207）。平均相関度は、平均相関度の閾値と比較される。出力された平均相関度が平均相関度の閾値より大きい場合、識別対象アプリケーションのユーザの特性が近いことが示され、識別対象アプリケーションが広告に関する不正を行う高レベルの不正ユーザにより使用されるアプリケーションであると決定され、識別対象アプリケーションの全てのユーザが高レベルの不正ユーザとして識別され、それにより、識別対象アプリケーションのユーザが高レベルの不正ユーザであるか否かについての効率的な決定を実行する。

いくつかの実施例では、識別対象サンプルから高レベルの不正ユーザを識別した後に、広告に関する不正を防止するためのシステムは、高レベルの不正ユーザのクリック数を更にフィルタリングし（ステップ208）、高レベルの不正ユーザの更新されたフィルタリング後のクリック数を広告システムに送信し（ステップ209）、それにより、広告システムの課金端が課金ポリシーと組み合わせて更新されたクリック数に基づいて広告プッシュのための課金を実行する。高レベルの不正ユーザのクリック数は、広告上のクリック数からフィルタリングされ、それにより、広告上のクリック数がユーザの通常のクリック操作によって形成されることを確保し、広告上のクリック数の精度及び真正性を確保し、広告主によりプッシュされた広告の課金データの精度が中間レベルの不正ユーザのクリック数によって影響を受けるという問題を回避する。

例示的に、広告に関する不正を防止するためのシステムは、複数の方式により高レベルの不正ユーザのクリック数をフィルタリングする。例えば、高レベルの不正ユーザのクリック数は、予め設定された比に従ってフィルタリングされる。例えば、高レベルの不正ユーザのクリック数はaであり、予め設定された比は70%であり、高レベルの不正ユーザのフィルタリング後のクリック数はa*30%として更新される。具体的には、予め設定された比が100%である場合、高レベルの不正ユーザのクリック数はリセットされる。

さらに、高レベル不正ユーザ識別モデルをトレーニングし、高レベル不正ユーザ識別モデルを使用することにより高レベルの不正ユーザを識別する任意選択の概略図である図６を参照する。

高レベルの不正ユーザは、不正APPを偽造するユーザグループであり、広告に関する不正を行うために不正APPを使用する。不正APPは、一般的に高レベルの不正ユーザの集中性を有する。一般的なAPP（例えば、ソーシャルAPP）は、高レベルの不正ユーザを有さないが、不正APP内の全てのユーザは、高レベルの不正ユーザである。単一の不正ユーザのクリック数が大きくないため、不正ユーザグループの特性相関度が識別のために使用される必要がある。高レベルの不正ユーザが存在するAPPについて、APPの最も明らかな特性は、APP内のユーザの特性の間の類似度、すなわち、デバイス情報、露出、クリック及び効果が高いことである。特性について、異なるディメンションの特性を抽出してユーザの特性の間の類似度を計算するために、識別対象APP内のユーザの全てのデバイス情報、露出ログ、クリックログ及び効果ログが統合される。次に、高レベルの不正ユーザがAPPに存在するか否かは、APP内のユーザの平均類似度及び予め設定された類似度閾値に従って決定される。予め設定された平均類似度閾値は、一般的なAPPのユーザの特性の間の類似度の平均でもよい。

いずれか２人のユーザの間の類似度が計算されるときに、以下の特性が使用される。

デバイス情報に関する特性：２人のユーザのデバイスモデルの間の類似度、デバイスの残りの空間の間の差、緯度及び経度の間の類似度、オペレータの類似度、及びネットワーキング方法の間の類似度
露出、クリック及び効果に関する特性：２人のユーザにより露出されたAPPの間の類似度、露出時間の間の差、APP上のクリックの間の類似度、クリック数の間の差、クリック座標の間の類似度、ダウンロードされたAPPの間の類似度、及びダウンロード数の間の差
特性に基づいて、少なくとも１つのディメンションにおける識別対象アプリケーションのユーザの平均類似度を計算するために、勾配ブースティング回帰ツリー（gradient boosting regression tree）モデルがトレーニングされる。

勾配ブースティング回帰ツリーモデルの初期トレーニングのための正のサンプルは、高レベルの不正ユーザがアプリケーションサンプルのサンプルセットに存在することが認識されているAPPのデータ（露出ログ、クリックログ、効果ログ及びユーザデバイス情報を含む）からのものであり、初期トレーニングのための未ラベルのサンプルは、アプリケーションサンプルのサンプルセット内の残りのAPPからのものである。正のサンプル数は、正・未ラベルの学習によって反復により絶えず増加する。トレーニング結果が安定した後に、すなわち、サンプルセット内の正のサンプル数が安定した後に、サンプルセット内の残りの未ラベルのサンプルは、負のサンプルとして機能する。勾配ブースティング回帰ツリーモデルは、正のサンプル及び負のサンプルを使用することによりトレーニングされる。

トレーニング後に取得されたモデルは、識別対象アプリケーションのユーザの間の類似度のために使用され、識別対象アプリケーションのユーザの間の平均類似度に従って、高レベルの不正ユーザグループが識別対象アプリケーションに存在するか否かを決定する。識別対象アプリケーションの識別結果は、絶えずトレーニングサンプルを蓄積するために、サンプルセットにアップデートされてもよく、それにより、勾配ブースティング回帰ツリーモデルが自動的に修正される。

いくつかの実施例では、広告に関する不正を防止するための装置は、異なるレベルの不正ユーザに対して包括的な識別を実行する必要がある。対応して、広告に関する不正を防止するためのシステムにより不正ユーザを識別する任意選択の概略フローチャートである図７に参照が行われる。識別は２つの処理を主に含む。

1)オンラインのリアルタイム罰則は、ブラックリストポリシーに従ってブラックリスト上のユーザのクリックをフィルタリングするためのものである。

低レベルの不正ユーザを含むブラックリストが事前に維持され、ブラックリストは、低レベルの不正ユーザの識別子を含む。広告を現在クリックしているユーザの識別子は、広告システムから取得されたクリックログから抽出され、識別子は、ブラックリスト内の低レベルの不正ユーザの識別子とマッチングされる。マッチングが成功すると、広告を現在クリックしているユーザが低レベルの不正ユーザであると決定され、低レベルの不正ユーザのクリック数がフィルタリングされる。

2)オフラインの遅延した再罰則
2.1)第１の部分で前述したように、広告に関する不正を防止するためのシステムは、クリック数の閾値を超えない低レベルの不正ユーザのクリック数の中でクリック数をフィルタリングするために、統計的ポリシーを使用する。

2.2)第２の部分で前述したように、広告に関する不正を防止するためのシステムは、中間レベルの不正ユーザを識別するために、低レベル不正ユーザ識別ポリシーを使用し、中間レベルの不正ユーザのクリック数をフィルタリングする。

2.3)第３の部分で前述したように、広告に関する不正を防止するためのシステムは、高レベルの不正ユーザを識別するために、高レベル不正ユーザ識別ポリシーを使用し、高レベルの不正ユーザのクリック数をフィルタリングする。

図７から、不正ユーザの異なる不正手段及び異常行為に従って、広告に関する不正を防止するためのシステムは、不正ユーザを３つのレベル、すなわち、低レベルの不正ユーザ、中間レベルの不正ユーザ及び高レベルの不正ユーザにグループ化し、識別のために各レベルの不正ユーザに対応する方法を使用し、それにより、不正ユーザに対してレベル化された包括的な識別を実行し、それにより、識別漏れの問題が回避されることが理解され得る。さらに、広告上の識別された不正ユーザのクリック数について、広告上のクリック数がフィルタリングされ、それにより、統計的広告効果の真正性及び信頼性を確保する。

この出願の実施例において提供される広告に関する不正を防止するための装置は、サーバに独立して実現されてもよく、或いは広告に関する不正を防止するためのシステムの形式でサーバクラスタに分散的に実現されてもよい。広告に関する不正を防止するためのシステムの機能アーキテクチャの任意選択の概略図が図８に示されている。システムは、サンプルモジュール10と、抽出モジュール20と、モデルトレーニングモジュール30と、モデル適用モジュール40と、統計モジュール50と、罰則モジュール60とを含む。

図９に示す、広告に関する不正を防止するためのシステムにより不正ユーザのレベル化された識別の概略図を参照して、説明が提供される。

1.低レベルの不正ユーザの識別
1)オンラインのリアルタイム罰則
1.1)ブラックリストポリシー
統計モジュール50は、事前に低レベルの不正ユーザを含むブラックリストを維持し、ブラックリストは、低レベルの不正ユーザの識別子を含み、リアルタイムに、広告システムから取得されたクリックログから、広告を現在クリックしているユーザの識別子を抽出し、識別子をブラックリスト内の低レベルの不正ユーザの識別子とマッチングする。マッチングが成功すると、広告を現在クリックしているユーザが低レベルの不正ユーザであると決定される（低レベルの不正結果）。

1.2)統計的方策
統計モジュール50は、広告システムから取得されたクリックログについて統計を収集する。統計に従って広告上のクリック数がクリック数の閾値を超える場合、ユーザは、低レベルの不正ユーザとして識別される。

罰則モジュール60は、不正ユーザのクリック数をフィルタリングし、フィルタリング結果を広告システムにフィードバックする。一例では、クリック数の閾値を超えるクリック数は、予め設定された比に従ってフィルタリングされる。クリック数の閾値を超えるより高いクリック数は、より高いフィルタリング比を示す。

1.3)オフラインの遅延した再罰則
2)オフラインの遅延した再罰則
罰則モジュール60は、予め設定された比を使用することにより、クリック数の閾値を超えない低レベルの不正ユーザのクリック数の中でクリック数をフィルタリングするか、或いは全てのクリック数をフィルタリングし、すなわち、低レベルの不正ユーザのクリック数はリセットされる。オフラインの遅延した再罰則において使用される予め設定された比は、通常では、統計的ポリシーにおいて使用される予め設定された比より大きく、それにより、クリック数の閾値を超えない低レベルの不正ユーザのクリック数の中のクリック数（クリック数は、クリック数の閾値を超えるクリック数より高い確率で悪意を持ってトリガーされる）は、より高い程度でフィルタリングされる。

2.中間レベルの不正ユーザの識別
サンプルモジュール10は、サンプルセットを取得し、サンプルセット内の少なくとも１つのサンプルは、不正ユーザ及び広告上の不正ユーザのクリックのクリックログを含む。

抽出モジュール20は、サンプルセット内のサンプルから、不正ユーザのレベルに対応する少なくとも１つのディメンションの特性を抽出し、各不正ユーザは或るレベルに対応し、異なるレベルの不正ユーザの特性は異なる。

モデルトレーニングモジュール30及びモデル適用モジュール40は、中間レベルの不正ユーザ識別ポリシーを一緒に実現する。

モデルトレーニングモジュール30は、不正ユーザ及び広告上の不正ユーザのクリックのクリックログに、少なくとも１つのディメンションの特性に対応する正のサンプルとしてラベルを付け、少なくとも１つの正のサンプルに基づいて、不正ユーザのレベルに対応する不正ユーザ識別モデルをトレーニングする。

モデル適用モジュール40は、識別対象サンプルが少なくとも１つのディメンションの特性に対応すると決定し、識別対象サンプルにおける不正ユーザを識別するために、識別対象サンプルの少なくとも１つのディメンションの特性をトレーニングされた不正ユーザ識別モデルに入力する（中間レベルの不正を防止した結果）。

抽出モジュール20は、広告上のクリックの操作に関する特性を取得するために、サンプルセット内のクリックログを解析する。

広告上のクリックの操作に関連する特性は、以下のディメンション、すなわち、統計期間におけるクリック数、広告がクリックされた統計期間における期間数、統計期間における広告上のクリックの間の時間間隔の平均、統計期間における識別された不正ユーザの履歴上の比、及び広告がクリックされた統計期間の中の期間内の広告上のクリックの平均数のうち少なくとも１つの特性を含む。

モデルトレーニングモジュール30は、以下の方式でトレーニングを実行する。不正ユーザ識別モデル内のモデルパラメータをトレーニングするために、正のサンプルを不正ユーザ識別モデルに入力し、不正ユーザ識別モデルにより不正ユーザを識別する精度をテストし、識別精度が予め設定された精度に到達しない場合、不正ユーザ識別モデルの識別精度が予め設定された精度に到達するまで、モデルパラメータを調整する。不正ユーザのクリックログは、広告タスクプラットフォームの広告タスクを実現する不正ユーザに対応するクリックログである。

モデルトレーニングモジュール30は、正のサンプルと組み合わせて負のサンプルを使用することによりトレーニングを実行してもよい。非不正ユーザ及び広告上の非不正ユーザのクリックのクリックログに、少なくとも１つのディメンションの特性に対応する負のサンプルとしてラベルを付け、不正ユーザ識別モデル内のモデルパラメータをトレーニングするために、不正ユーザ識別モデルに正のサンプルと共に負のサンプルを入力する。サンプルセット内の少なくとも１つのサンプルは、非不正ユーザ及び広告上の非不正ユーザのクリックのクリックログを含み、非不正ユーザのクリックログは、アプリケーション内の広告をクリックする非不正ユーザのクリックログである。

3.高レベルの不正ユーザの識別
サンプルモジュール10により形成されたサンプルセット内のサンプルは、異なるアプリケーションに対応するアプリケーションサンプルである。アプリケーションサンプルのうち少なくとも１つは、高レベルの不正ユーザが存在すると認識されているAPPであり、アプリケーションサンプルのそれぞれは、対応するアプリケーションの以下のディメンション、すなわち、アプリケーション内の広告上のアプリケーションのユーザのクリックのクリックログ、アプリケーション内の広告上のアプリケーションのユーザのクリックの露出ログ、アプリケーション内の広告上のアプリケーションのユーザのクリックの効果ログ、及びアプリケーションのユーザにより使用されたデバイスについての情報のうち少なくとも１つの情報を含む。

抽出モジュール20は、少なくとも１つのディメンションにおけるアプリケーションサンプルのいずれか２人のユーザの間の相関度を解析し、少なくとも１つのディメンションに対応するアプリケーションサンプルの平均相関度を決定する。少なくとも１つのディメンションに対応する平均相関度は、対応するディメンションの特性におけるアプリケーションサンプルのいずれか２人のユーザの間の相関度の平均である。

モデルトレーニングモジュール30は、高レベルの不正ユーザが存在すると認識されているアプリケーションサンプルと、少なくとも１つのディメンションに対応するアプリケーションサンプルの平均相関度とに、正のサンプルとしてラベルを付け、不正ユーザ識別モデルのモデルパラメータをトレーニングするために、正のサンプルを不正ユーザ識別モデルに入力する。

モデルトレーニングモジュール30は、サンプルセット内の未ラベルのアプリケーションサンプル（高レベルの不正ユーザが存在するか否かが認識されていないサンプルセット内のアプリケーションサンプル）と、少なくとも１つのディメンションに対応するアプリケーションサンプルの平均相関度とに、未ラベルのアプリケーションサンプルとしてラベルを付け、少なくとも１つのディメンションにおける未ラベルのアプリケーションサンプルのいずれか２人のユーザの間の相関度に未ラベルのサンプルとしてラベルを付け、不正ユーザ識別モデルに入力され且つ不正ユーザ識別モデルにより正のサンプルとしてラベルが付けられた未ラベルのサンプル数が安定状態になるまで、不正ユーザ識別モデルのモデルパラメータをトレーニングするために、不正ユーザ識別モデルに正のサンプルと共に未ラベルのサンプルを入力する。

モデル適用モジュール40は、不正ユーザ識別モデルにより出力された少なくとも１つのディメンションにおける識別対象アプリケーションのいずれか２人のユーザの間の相関度を取得し、少なくとも１つのディメンションにおける識別対象アプリケーションのユーザの間の平均相関度を決定する。平均相関度が平均相関度閾値を超える場合、識別対象アプリケーションのユーザが高レベルの不正ユーザであると決定される（高レベルの不正を識別した結果）。

要するに、この出願の実施例は、以下の有利な効果を有する。

1)中間レベルの不正ユーザは、遅延した処理によってオフラインで識別され、すなわち、中間レベルの不正ユーザは、ロジスティック回帰モデルを使用することによりオフラインで識別され、広告上のクリック回数の精度を確保するために、中間レベルの不正ユーザのクリック数がフィルタリングされる。

2)高レベルの不正ユーザは、遅延した処理によってオフラインで識別され、すなわち、高レベルの不正ユーザは、勾配ブースティング回帰ツリーモデルを使用することにより識別され、広告上のクリック回数の精度を確保するために、高レベルの不正ユーザのクリック数がフィルタリングされる。

3)オンラインのリアルタイム罰則の方式は、リアルタイムで低レベルの不正ユーザを識別し、リアルタイムで低レベルの不正ユーザのクリック数をフィルタリングするために使用でき、それにより、広告上のクリック数がリアルタイムで取得される必要がある場面において、低レベルの不正ユーザのクリック数が効果的にフィルタリングされる。

4)オフラインの遅延した再罰則は、全てのレベルの不正ユーザの識別をカバーすることができ、それにより、不正ユーザのクリックの包括的なフィルタリングを確保する。

図１０に示すように、図１０は、この出願の実施例による広告に関する不正を防止するためのシステムの概略構成図である。

広告に関する不正を防止するためのシステムは、１つ以上の処理コアを含むプロセッサ101と、１つ以上のコンピュータ読み取り可能記憶媒体を含むメモリ102とを含む。図１０に示す、広告に関する不正を防止するためのシステムの構成は、広告に関する不正を防止するためのシステムを限定しない。システムは、図面に示すものより多いコンポーネント又はより少ないコンポーネントを含んでもよく、或いはコンポーネントが結合されてもよく、或いはコンポーネントが異なる方式で配置されてもよい。

プロセッサ101は、広告に関する不正を防止するためのシステムの制御センタであり、メモリ102に記憶されたソフトウェアプログラム及び／又はモジュールを動作又は実行し、メモリ102に記憶されたデータを呼び出すことにより、広告に関する不正を防止するためのシステムの様々な機能を実行し、データ処理を実行し、それにより、全体の広告に関する不正を防止するためのシステムを監視する。任意選択で、プロセッサ101は、１つ以上の処理コアを含んでもよい。好ましくは、プロセッサ101は、アプリケーションプロセッサ及び変復調プロセッサと統合されてもよい。アプリケーションプロセッサは、オペレーティングシステム、ユーザインタフェース、アプリケーションプログラム等を主に処理する。変復調プロセッサは、無線通信を主に処理する。前述の変復調プロセッサは、プロセッサ101に統合されなくてもよいことが理解され得る。

メモリ102は、ソフトウェアプログラム及びモジュールを記憶するように構成されてもよい。プロセッサ101は、様々な機能アプリケーション及びデータ処理を実現するために、メモリ102に記憶されたソフトウェアプログラム及びモジュールを実行する。メモリ102は、プログラム記憶エリア及びデータ記憶エリアを主に含んでもよい。プログラム記憶エリアは、オペレーティングシステム、少なくとも１つの機能（音声再生機能及び画像再生機能等）等により要求されるアプリケーションプログラム等を記憶してもよい。データ記憶エリアは、サーバの使用に従って生成されたデータ等を記憶してもよい。さらに、メモリ102は、高速ランダムアクセスメモリを含んでもよく、少なくとも１つの磁気ディスク記憶デバイス、フラッシュメモリのような不揮発性メモリ、又は他の揮発性ソリッドステート記憶デバイスを更に含んでもよい。対応して、メモリ102は、メモリ102へのプロセッサ101のアクセスを提供するために、メモリコントローラを更に含んでもよい。

図面に図示しないが、広告に関する不正を防止するためのシステムは、入力装置、RF回路、電源、表示ユニット、カメラ、ブルートゥースモジュール等を更に含んでもよく、これらについてここでは説明しない。具体的には、この実施例では、広告に関する不正を防止するためのシステムのプロセッサ101は、以下の命令に従って１つ以上のアプリケーションプログラムの処理に対応する実行可能ファイルをメモリ102にロードしてもよい。プロセッサ101は、様々な機能、すなわち、
サンプルセットを取得する機能であり、サンプルセット内の少なくとも１つのサンプルは、不正ユーザ及び広告上の不正ユーザのクリックのクリックログを含む機能と、
サンプルセット内のサンプルから、不正ユーザのレベルに対応する少なくとも１つのディメンションの特性を抽出する機能であり、各不正ユーザは或るレベルに対応し、異なるレベルの不正ユーザの特性は異なる機能と、
不正ユーザ及び広告上の不正ユーザのクリックのクリックログに基づいて、少なくとも１つのディメンションの特性に対応する正のサンプルを形成し、少なくとも正のサンプルに基づいて、不正ユーザのレベルに対応する不正ユーザ識別モデルをトレーニングする機能と、
識別対象サンプルが少なくとも１つのディメンションの特性に対応すると決定する機能と、
識別対象サンプルに対応する少なくとも１つのディメンションの特性をトレーニングされた不正ユーザ識別モデルに入力し、出力結果に基づいて、識別対象サンプルにおける不正ユーザを識別するステップと
を実現するために、メモリ102に記憶されたアプリケーションを実行する。

各動作の実現方法について、前述の実施例を参照してもよく、詳細についてここでは再び説明しない。

この出願の実施例において、ソフトウェア機能モジュールの形式で実装され、独立したプロダクトとして販売又は使用される場合、統合されたモジュールは、コンピュータ読み取り可能記憶媒体に記憶されてもよい。このような理解に基づいて、当業者は、この出願の実施例が方法、システム又はコンピュータプログラムプロダクトとして提供されてもよいことを理解するべきである。したがって、この出願は、全体的にハードウェアの実施例、全体的にソフトウェアの実施例、又はソフトウェアとハードウェアとを組み合わせた実施例の形式になってもよい。さらに、この出願は、コンピュータ利用可能プログラムコードを含む１つ以上のコンピュータ利用可能媒体に実現されたコンピュータプログラムプロダクトの形式になってもよい。記憶媒体は、Uディスク、モバイルハードディスク、読み取り専用メモリ（ROM）、ランダムアクセスメモリ（RAM）、ディスクメモリ、コンパクトディスク読み取り専用メモリ（CD-ROM）、光学メモリ等を含むが、これらに限定されない。

この出願について、この出願の実施例における方法、デバイス（システム）及びコンピュータプログラムプロダクトのフローチャート及び／又はブロック図を参照して説明した。コンピュータプログラム命令は、フローチャート及び／又はブロック図の各処理及び／又は各ブロック、並びに、フローチャート及び／又はブロック図の処理及び／又はブロックの組み合わせを実現するために使用されてもよいことが理解されるべきである。これらのコンピュータプログラム命令は、機械を生成するために、汎用コンピュータ、専用コンピュータ、組み込みプロセッサ、他のプログラム可能データ処理デバイスのプロセッサに提供されてもよく、それにより、コンピュータ又は他のプログラム可能データ処理デバイスのプロセッサにより実行される命令が、フローチャートの１つ以上の処理及び／又はブロック図の１つ以上のブロックの具体的な機能を実現する装置を生成する。

これらのコンピュータプログラム命令は、コンピュータ又は他のプログラム可能データ処理デバイスに対して具体的な方式で動作するように命令できるコンピュータ読み取り可能メモリに更に記憶されてもよく、それにより、コンピュータ読み取り可能メモリに記憶された命令が命令装置を含むプロダクトを生成する。命令装置は、フローチャートの１つ以上の処理及び／又はブロック図の１つ以上のブロックの指定の機能を実現する。

これらのコンピュータプログラム命令は、コンピュータ又は他のプログラム可能データ処理デバイスに更にロードされてもよく、それにより、一連の動作ステップがコンピュータ又は他のプログラム可能デバイスで実行され、それにより、コンピュータにより実現された処理を生成する。したがって、コンピュータ又は他のプログラム可能デバイスで実行される命令は、フローチャートの１つ以上の処理及び／又はブロック図の１つ以上のブロックの具体的な機能を実現するためのステップを提供する。

この出願の実施例について説明したが、当業者は、基本的な創造的概念を知ると、これらの実施例に他の変更及び変形を行うことができる。したがって、添付の特許請求の範囲は、実施例と、この出願の範囲内に入る全ての変更及び変形とを含むことを意図する。

前述の説明は、単にこの出願の具体的な実施例に過ぎず、この出願の保護範囲を限定することを意図しない。この出願に開示された技術的範囲内で当業者により容易に理解できる如何なる変更又は置換も、この出願の保護範囲内に入るものとする。したがって、本出願の保護範囲は、特許請求の範囲の保護範囲により規定されるものとする。

Claims (11)

1. 広告不正防止システムに適用される広告不正防止方法であって、
   前記広告不正防止システムが、ユーザに広告タスクと引き換えに報酬を提供する広告タスクプラットフォームからサンプルセットを取得するステップであって、前記サンプルセットは複数のサンプルからなり、各前記サンプルは、少なくともユーザ識別子と、ユーザの広告上のクリック操作に関連するクリックログとを含み、前記サンプルセット内の前記サンプルは、不正ユーザを示す不正ユーザ識別子及び前記不正ユーザの広告上のクリック操作に関連するクリックログと、非不正ユーザを示す非不正ユーザ識別子及び前記非不正ユーザの広告上のクリック操作に関連するクリックログとのうち少なくとも１つを含むステップと、
   前記広告不正防止システムが、前記サンプル内の前記クリックログに対応するユーザの広告上のクリックの操作データを解析し、前記操作データからユーザの広告上のクリック操作に関連する少なくとも１つの特徴を抽出するステップと、
   前記広告不正防止システムが、前記不正ユーザ及び前記不正ユーザの広告上のクリック操作に関連する少なくとも１つの特徴を正のサンプルとして使用するとともに、前記非不正ユーザ及び前記非不正ユーザの広告上のクリック操作に関連する少なくとも１つの特徴を負のサンプルとして使用して、不正ユーザ識別モデルをトレーニングすることにより、前記不正ユーザ識別モデルのモデルパラメータをトレーニングするステップであって、前記不正ユーザ識別モデルは抽出された前記少なくとも１つの特徴から不正ユーザを識別するためのモデルであるステップと、
   前記広告不正防止システムが、広告をプッシュするための広告システムから識別対象サンプルを取得し、前記識別対象サンプルから少なくとも１つの特徴を抽出し、当該特徴をトレーニングされた前記不正ユーザ識別モデルに入力し、前記不正ユーザ識別モデルの識別結果に基づいて、前記識別対象サンプルにおける不正ユーザを確定するステップと、
   を含む方法。
2. 前記サンプルセットは、複数のアプリケーションから取得されたサンプルセットを含み、前記複数のアプリケーションのうち少なくとも１つは、第１レベルの不正ユーザが存在すると知っているアプリケーションであり、前記複数のアプリケーションのサンプルセットのそれぞれは、対応するアプリケーションの以下の情報、すなわち、
   前記アプリケーション内の前記アプリケーションのユーザの広告上のクリック操作に関連するクリックログ、
   前記アプリケーション内の前記アプリケーションのユーザの広告上のクリック操作の露出ログ、
   前記アプリケーション内の前記アプリケーションのユーザの広告上のクリック操作の効果ログ、及び
   前記アプリケーションのユーザにより使用されたデバイスについての情報
   のうち少なくとも１つの情報を含み、
   前記広告不正防止システムが、前記サンプルセットを取得した後、各サンプルセットに対して、いずれか２人のユーザの間の少なくとも１つの特徴の相関度を解析し、
   前記アプリケーションのいずれか２人のユーザが前記アプリケーション内の前記広告をクリックする操作の相関度、
   前記アプリケーションのいずれか２人のユーザが前記アプリケーション内でクリックした前記広告により露出されたオブジェクトの相関度、
   前記アプリケーションのいずれか２人のユーザが前記広告をクリックするために使用するデバイスについての情報の相関度、及び
   前記アプリケーションのいずれか２人のユーザがクリックした前記広告の広告効果の相関度
   のうち少なくとも１つの相関度を解析する、請求項１に記載の方法。
3. 前記識別対象サンプルは、識別対象アプリケーションに対応するサンプルであり、前記不正ユーザ識別モデルの識別結果に基づいて、前記識別対象サンプルにおける不正ユーザを確定するステップは、
   第１レベルの不正ユーザ識別モデルにより出力される前記識別対象アプリケーションのいずれか２人のユーザの間の前記少なくとも１つの特徴の相関度を取得し、前記識別対象アプリケーションの前記ユーザの間の前記少なくとも１つの特徴の平均相関度を確定するステップと、
   前記平均相関度が平均相関度閾値を超える場合、前記識別対象アプリケーションの前記ユーザが第１レベルの不正ユーザであると確定するステップと
   を含む、請求項２に記載の方法。
4. 前記広告上の前記クリック操作に関連する少なくとも１つの特徴は、
   統計期間におけるクリック数、
   前記広告がクリックされた前記統計期間における期間数、
   前記統計期間における前記広告上のクリックの間の時間間隔の平均、
   前記統計期間における識別された不正ユーザの履歴上の比、及び
   前記広告がクリックされた前記統計期間における期間内の前記広告上のクリックの平均数
   のうち少なくとも１つの特徴を含む、請求項１に記載の方法。
5. 前記広告をクリックしたユーザの識別子が第３レベルの不正ユーザの予め設定された識別子にマッチングした場合、前記広告をクリックした前記ユーザを前記第３レベルの不正ユーザとして識別するステップ、又は
   統計期間において前記広告をクリックしたユーザによる前記広告上のクリック数を取得し、前記広告上のクリック数がクリック数の閾値を超える場合、前記広告をクリックした前記ユーザを前記第３レベルの不正ユーザとして識別するステップと、
   前記不正ユーザのクリックをフィルタリングするステップと
   を更に含み、
   前記フィルタリングするステップは、
   前記不正ユーザのクリック数の中でクリック数の前記閾値を超えるクリックをフィルタリングするステップ、又は
   前記不正ユーザのクリック数の中でクリック数の前記閾値を超えないクリックをフィルタリングするステップを含む、請求項１に記載の方法。
6. 広告不正防止装置であって、
   ユーザに広告タスクと引き換えに報酬を提供する広告タスクプラットフォームからサンプルセットを取得するように構成されたサンプルモジュールであり、前記サンプルセットは複数のサンプルからなり、各前記サンプルは、少なくともユーザ識別子と、ユーザの広告上のクリック操作に関連するクリックログとを含み、前記サンプルセット内の前記サンプルは、不正ユーザを示す不正ユーザ識別子及び前記不正ユーザの広告上のクリック操作に関連するクリックログと、非不正ユーザを示す非不正ユーザ識別子及び前記非不正ユーザの広告上のクリック操作に関連するクリックログとのうち少なくとも１つを含むサンプルモジュールと、
   前記サンプル内の前記クリックログに対応するユーザの広告上のクリックの操作データを解析し、前記操作データからユーザの広告上のクリック操作に関連する少なくとも１つの特徴を抽出するように構成された抽出モジュールと、
   前記不正ユーザ及び前記不正ユーザの広告上のクリック操作に関連する少なくとも１つの特徴を正のサンプルとして使用するとともに、前記非不正ユーザ及び前記非不正ユーザの広告上のクリック操作に関連する少なくとも１つの特徴を負のサンプルとして使用して、不正ユーザ識別モデルをトレーニングすることにより、前記不正ユーザ識別モデルのモデルパラメータをトレーニングするように構成されたモデルトレーニングモジュールであって、前記不正ユーザ識別モデルは抽出された前記少なくとも１つの特徴から不正ユーザを識別するためのモデルであるモデルトレーニングモジュールと、
   広告をプッシュするための広告システムから識別対象サンプルを取得し、前記識別対象サンプルから少なくとも１つの特徴を抽出し、当該特徴をトレーニングされた前記不正ユーザ識別モデルに入力し、前記不正ユーザ識別モデルの識別結果に基づいて、前記識別対象サンプルにおける不正ユーザを確定するように構成されたモデル適用モジュールと、
   を含む装置。
7. 前記サンプルセットは、複数のアプリケーションから取得されたサンプルセットを含み、前記複数のアプリケーションのうち少なくとも１つは、第１レベルの不正ユーザが存在すると知っているアプリケーションであり、前記複数のアプリケーションのサンプルセットのそれぞれは、対応するアプリケーションの以下の情報、すなわち、
   前記アプリケーション内の前記アプリケーションのユーザの広告上のクリック操作に関連するクリックログ、
   前記アプリケーション内の前記アプリケーションのユーザの広告上のクリック操作の露出ログ、
   前記アプリケーション内の前記アプリケーションのユーザの広告上のクリック操作の効果ログ、及び
   前記アプリケーションのユーザにより使用されたデバイスについての情報
   のうち少なくとも１つの情報を含み、
   前記サンプルセットを取得した後、各サンプルセットに対して、いずれか２人のユーザの間の少なくとも１つの特徴の相関度を解析し、
   前記アプリケーションのいずれか２人のユーザが前記アプリケーション内の前記広告をクリックする操作の相関度、
   前記アプリケーションのいずれか２人のユーザが前記アプリケーション内でクリックした前記広告により露出されたオブジェクトの相関度、
   前記アプリケーションのいずれか２人のユーザが前記広告をクリックするために使用するデバイスについての情報の相関度、及び
   前記アプリケーションのいずれか２人のユーザがクリックした前記広告の広告効果の相関度
   のうち少なくとも１つの相関度を解析するように更に構成される、請求項６に記載の装置。
8. 前記モデル適用モジュールは、
   第１レベルの不正ユーザ識別モデルにより出力される識別対象アプリケーションのいずれか２人のユーザの間の前記少なくとも１つの特徴の相関度を取得し、前記識別対象アプリケーションの前記ユーザの間の前記少なくとも１つの特徴の平均相関度を確定し、
   前記平均相関度が平均相関度閾値を超える場合、前記識別対象アプリケーションの前記ユーザが第１レベルの不正ユーザであると確定するように更に構成される、請求項７に記載の装置。
9. 前記広告上の前記クリック操作に関連する少なくとも１つの特徴は、
   統計期間におけるクリック数、
   前記広告がクリックされた前記統計期間における期間数、
   前記統計期間における前記広告上のクリックの間の時間間隔の平均、
   前記統計期間における識別された不正ユーザの履歴上の比、及び
   前記広告がクリックされた前記統計期間における期間内の前記広告上のクリックの平均数
   のうち少なくとも１つの特徴を含む、請求項６に記載の装置。
10. 前記広告をクリックしたユーザの識別子が第３レベルの不正ユーザの予め設定された識別子にマッチングした場合、前記広告をクリックした前記ユーザを前記第３レベルの不正ユーザとして識別するか、或いは統計期間において前記広告をクリックしたユーザによる前記広告上のクリック数を取得し、前記広告上のクリック数がクリック数の閾値を超える場合、前記広告をクリックした前記ユーザを前記第３レベルの不正ユーザとして識別するように構成された統計モジュールと、
    前記不正ユーザのクリックをフィルタリングするように構成された罰則モジュールと
    を更に含み、
    前記不正ユーザのクリックをフィルタリングするために、前記罰則モジュールは、
    前記不正ユーザのクリック数の中でクリック数の前記閾値を超えるクリックをフィルタリングするか、或いは
    前記不正ユーザのクリック数の中でクリック数の前記閾値を超えないクリックをフィルタリングするように構成される、請求項６に記載の装置。
11. １つ以上のコンピュータプログラムを記憶したコンピュータ読み取り可能な不揮発性記憶媒体であって、
    前記コンピュータプログラムは、メモリのプロセッサにより実行可能な１つ以上の命令を含み、前記命令がコンピュータにより実行されたときに、前記コンピュータは、以下の動作、すなわち、
    ユーザに広告タスクと引き換えに報酬を提供する広告タスクプラットフォームからサンプルセットを取得する動作であって、前記サンプルセットは複数のサンプルからなり、各前記サンプルは、少なくともユーザ識別子と、ユーザの広告上のクリック操作に関連するクリックログとを含み、前記サンプルセット内の前記サンプルは、不正ユーザを示す不正ユーザ識別子及び前記不正ユーザの広告上のクリック操作に関連するクリックログと、非不正ユーザを示す非不正ユーザ識別子及び前記非不正ユーザの広告上のクリック操作に関連するクリックログとのうち少なくとも１つを含む動作と、
    前記サンプル内の前記クリックログに対応するユーザの広告上のクリックの操作データを解析し、前記操作データからユーザの広告上のクリック操作に関連する少なくとも１つの特徴を抽出する動作と、
    前記不正ユーザ及び前記不正ユーザの広告上のクリック操作に関連する少なくとも１つの特徴を正のサンプルとして使用するとともに、前記非不正ユーザ及び前記非不正ユーザの広告上のクリック操作に関連する少なくとも１つの特徴を負のサンプルとして使用して、不正ユーザ識別モデルをトレーニングすることにより、前記不正ユーザ識別モデルのモデルパラメータをトレーニングする動作であって、前記不正ユーザ識別モデルは抽出された前記少なくとも１つの特徴から不正ユーザを識別するためのモデルである動作と、
    広告をプッシュするための広告システムから識別対象サンプルを取得し、前記識別対象サンプルから少なくとも１つの特徴を抽出し、当該特徴をトレーニングされた前記不正ユーザ識別モデルに入力し、前記不正ユーザ識別モデルの識別結果に基づいて、前記識別対象サンプルにおける不正ユーザを確定する動作と
    を実行するようにされる不揮発性記憶媒体。

Images