JP6987878B2

JP6987878B2 - 母集団に対するモバイルアプリケーションの使用状況データの決定

Info

Publication number: JP6987878B2
Application number: JP2019551504A
Authority: JP
Inventors: アーネストストローズポール
Original assignee: アップアニーインコーポレイテッド
Priority date: 2016-12-08
Filing date: 2017-12-08
Publication date: 2022-01-05
Anticipated expiration: 2037-12-08
Also published as: JP2020502708A; WO2018107010A1; US11074599B2; US20180165697A1

Description

本発明は、一般に、モバイルアプリケーションデータメトリック決定の分野に関し、詳細には、所望の母集団に対する１つまたは複数のモバイルアプリケーションに対する使用状況データを決定することに関する。

モバイル電話およびタブレットなどのモバイルデバイスは、それらにインストールされた多くのモバイルアプリケーションを有する。モバイルアプリケーション開発者、またはモバイルアプリケーションを構築するビジネスにとって、モバイルアプリケーションを訪問するユーザの型を見出すことは、非常に有用である。モバイルデータメトリックの最も強力かつ有用なセットは、モバイルアプリケーションへの訪問者の数、ユーザのデモグラフィック、およびモバイルアプリケーションをバージョンアップする／購入することがある訪問者の数を含む。

モバイルアプリケーション訪問者および関連付けられたメトリックを追跡することに加えて、モバイルアプリケーションにおけるユーザの挙動を追跡することが役に立つ。たとえば、さまざまなデモグラフィックグループの間で、モバイルアプリケーションの使用状況データを追跡することが有用である。ほとんどの場合、モバイルアプリケーションのユーザは、それに対しての使用状況データが望ましい真の母集団のデモグラフィックを反映しておらず、したがって、真の母集団について正確なメトリックを生成するためには、デバイアスされなければならない。モバイルアプリケーションに対する使用状況の挙動に関係するデータメトリックを決定することにおいて持ち上がる基本的な問題は、入手可能なデモグラフィック情報が存在しないユーザのセットを、どのようにデバイアスするかである。

モバイルアプリケーションは、モバイルデバイス用のユーティリティアプリケーションを提供する。一実施形態において、ユーティリティアプリケーションは、モバイルデバイス用のＶＰＮ（仮想プライベートネットワーク）アクセスであってよい。ＶＰＮアクセスは、プライベートネットワークに含まれるモバイルアプリケーション、たとえば、雇用主からの電子メールアプリケーション、雇用主のサーバ上に常駐するドキュメント、および他の上述のアプリケーションに、ユーザがセキュアにアクセスするのを可能にする。加えて、ＶＰＮは、プライベートネットワークの一部でない他のモバイルアプリケーションへのアクセスを有効にし、他のモバイルアプリケーションがインターネットなどの共有ネットワークまたはパブリックネットワークにわたってデータを送信し、受信するのを可能にする。他のモバイルアプリケーションからのデータまたは要求は、ＶＰＮアプリケーションのプライベートネットワークインターフェースを介して送信される。ＶＰＮアプリケーションは、他のモバイルアプリケーションからのデータパケットを検査して、それらのアプリケーションに対する使用状況データを集め、記録することができる。別の実施形態において、ユーティリティアプリケーションは、他のモバイルアプリケーションからのデータパケットを検査して、それらのアプリケーションに対する使用状況データを集め、記録することができる、あらゆる他のサードパーティユーティリティモバイルアプリケーションである。

ＶＰＮアプリケーションと組み合わせたデバイアシングモジュールが、所望の母集団に対する使用状況データを決定する。複数のユーザに対して、デバイアシングモジュールは、ユーザが所望のユーザ属性を有するかを予測する機械学習モデルを含み、そこで、ユーザ属性は、ユーザのデモグラフィック情報を指し示すことができる。モデルのためのトレーニングセットを決定するために、デバイアシングモジュールは、ユーザの同意を得て、ユーザのデバイスにインストールされたユーティリティデータ収集アプリケーションから、たとえばアプリにおけるアンケートによって、ユーザ属性情報を収集することができる。別の実施形態において、デバイアシングモジュールは、ユーティリティアプリケーションによって検査されたデータパケットを観察して、サードパーティシステムから購入された広告を供給されたユーザのサブセットを決定する。広告は、所望のユーザ属性を有するユーザのみが広告を受信するのに適格であるというターゲティング基準を含む。もしユーザが広告を供給されるならば、デバイアシングモジュールは、ユーザ属性をユーザに割り当てる。ユーザ属性を割り当てられたユーザのサブセットに基づいて、機械学習モジュールは、他のユーザについて、彼らがユーザ属性を有するかどうかを予測することができ、有する場合は、それに応じてユーザ属性を割り当てる。

ユーティリティアプリケーションのユーザは、それに対しての使用状況データが所望される真の母集団を反映していないことがあるので、デバイアシングモジュールはさらに、所望のユーザ属性でラベル付けされたユーザによって報告された使用状況データをデバイアスする。ユーティリティアプリケーションを使用する複数のユーザのユーザ属性の集約が、所望の母集団に対するユーザ属性の集約と比較され、たとえば、所望の母集団は、センサスデータから取得されてもよい。使用状況データは、ユーザ属性の集約の比較に基づいて、重み付けされる。重み付けされた使用状況データに基づいて、所望の母集団に対する使用状況データの報告が生成され、たとえば、所望の母集団から年齢３０歳以上の女性によってセッションごとに使用されたＭｂが生成される。

本開示の一実施形態に係るモバイルアプリケーションユーザのセットをデバイアスするためのコンピューティング環境を例示するブロック図である。本開示の一実施形態に係るデバイアシングモジュールの論理コンポーネントを例示するブロック図である。本開示の一実施形態に係る所望の母集団に対する１つまたは複数のモバイルアプリケーションについて決定するための方法を例示するフロー図である。本開示の一実施形態に係る所望の母集団に対する１つまたは複数のモバイルアプリケーションについて決定するための方法を例示するフロー図である。

図は、例示の目的のみのために、本発明のさまざまな実施形態を図示する。当業者は、本明細書で説明される本発明の原理から逸脱せずに、本明細書に例示された構造および方法の代替実施形態が用いられてもよいことを、以下の議論から容易に認識するであろう。

概説
図１は、本開示の一実施形態に係るモバイルアプリケーションユーザのセットをデバイアスするためのコンピューティング環境を例示するブロック図である。図１によって示されるコンピューティング環境１００は、１つまたは複数のクライアントデバイス１０６と、ネットワーク１０２と、デバイアシングモジュール１１０と、サンプリングモジュール１２０とを含む。代替の構成において、異なるおよび／または追加のコンポーネントがシステム環境１００に含まれてもよい。

クライアントデバイス１０６は、ネットワーク１０２を介してデータを伝送する、および／または受信するだけでなく、ユーザ入力を受信する性能がある、１つまたは複数のコンピューティングデバイスである。一実施形態において、クライアントデバイス１０６は、スマートフォン、タブレット、またはデスクトップコンピュータもしくはラップトップコンピュータなどの従来のコンピュータシステムである。代替えとして、クライアントデバイス１０６は、モバイルアプリケーション１０９のセットにアクセスするコンピュータ機能性を有するデバイスであってもよい。クライアントデバイス１０６は、ネットワーク１０２を介して通信するように構成される。一実施形態において、クライアントデバイス１０６は、クライアントデバイス１０６のユーザがデバイアシングモジュール１１０と対話するのを可能にするアプリケーション１０９を実行する。たとえば、クライアントデバイス１０６は、ブラウザアプリケーションを実行して、ネットワーク１０２を介した、クライアントデバイス１０６とデバイアシングモジュール１１０との間の対話をできるようにする。別の実施形態において、クライアントデバイス１０６は、ＩＯＳ（登録商標）またはＡＮＤＲＯＩＤ（商標）などの、クライアントデバイス１０６のネイティブオペレーティングシステム上において動作するＡＰＩ（アプリケーションプログラミングインターフェース）を通じて、デバイアシングモジュール１１０と対話する。別の実施形態において、クライアントデバイス１０６は、クライアントデバイス１０６上において実行中のデータ収集アプリケーションであってよいユーティリティアプリケーション１０８を介して、デバイアシングモジュール１１０と対話する。

クライアントデバイス１０６は、ネットワーク１０２を介して通信するように構成され、ネットワーク１０２は、有線および／または無線通信システムの両方を使用する、ローカルエリアネットワークおよび／またはワイドエリアネットワークのあらゆる組合せを含むことができる。一実施形態において、ネットワーク１０２は、標準の通信技術および／または通信プロトコルを使用する。たとえば、ネットワーク１０２は、イーサネット、８０２．１１、ＷｉＭＡＸ（ｗｏｒｌｄｗｉｄｅｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙｆｏｒｍｉｃｒｏｗａｖｅａｃｃｅｓｓ）、３Ｇ、４Ｇ、ＣＤＭＡ（符号分割多元接続）、ＤＳＬ（デジタル加入者線）、その他などの技術を使用する通信リンクを含む。ネットワーク１０２を介して通信するために使用されるネットワーキングプロトコルの例は、ＭＰＬＳ（マルチプロトコルラベルスイッチング）、ＴＣＰ／ＩＰ（伝送制御プロトコル／インターネットプロトコル）、ＨＴＴＰ（ｈｙｐｅｒｔｅｘｔｔｒａｎｓｐｏｒｔｐｒｏｔｏｃｏｌ）、ＳＭＴＰ（ｓｉｍｐｌｅｍａｉｌｔｒａｎｓｆｅｒｐｒｏｔｏｃｏｌ）、およびＦＴＰ（ファイル転送プロトコル）を含む。ネットワーク１０２上において交換されるデータは、ＨＴＭＬ（ハイパーテキストマークアップ言語）またはＸＭＬ（拡張可能なマークアップ言語）などのあらゆる適したフォーマットを使用して表記されてよい。いくつかの実施形態において、ネットワーク１０２の通信リンクのすべてまたはいくつかは、あらゆる適した１つの技法または複数の技法を使用して暗号化されてもよい。

デバイアシングモジュール１１０は、所望の母集団に対する１つまたは複数のモバイルアプリケーションの使用状況データを決定し、そこで、所望の母集団は、ユーティリティアプリケーションユーザとは異なることがある。デバイアシングモジュール１１０は、複数のユーザのうちのユーザがユーザ属性を有するかどうかを予測するための機械学習モデルを含み、ユーザ属性は、ユーザのデモグラフィック情報に関係していてよい。一実施形態において、モデルのためのトレーニングセットを決定するために、デバイアシングモジュール１１０は、クライアントデバイス１０６上のユーティリティアプリケーション１０８と通信して、クライアントデバイス１０６のユーザのユーザ属性データを収集するためのユーザの許可を要求する。たとえば、ユーティリティアプリケーション１０８は、ジェンダー、年齢、アプリケーションの使用状況、および他の上述の情報などのユーザ属性情報を含むフォームを埋めるように、ユーザに要求することができる。収集された情報に基づいて、デバイアシングモジュール１１０は、この情報を、決定し使用して、ユーザ属性をユーティリティアプリケーションの複数のユーザに割り当てる。アプリケーションを使用する複数のユーザのユーザ属性情報に基づいて、モデルは、複数のユーザのうちのユーティリティアプリケーション１０８のユーザがユーザ属性を有するかどうかを予測するようにトレーニングされる。

別の実施形態において、モデルのためのトレーニングセットを決定するために、デバイアシングモジュール１１０は、クライアントデバイス１０６上のＶＰＮアプリケーションなどのユーティリティアプリケーション１０８と通信して、ユーティリティアプリケーション１０８によってデータパケットを検査することにより、所望のユーザ属性に関係するターゲティング基準を含む広告を供給されている複数のユーザのサブセットを観察する。広告は、クライアントデバイス１０６上に表示され、広告は、サードパーティシステムから購入されてよく、広告を供給されるのに適格であるユーザに対して表示される、すなわち、ユーザは、広告のターゲティング基準に含まれるユーザ属性を有する。ユーティリティアプリケーション１０８は、ネットワークトラフィックを監視して、どのクライアントデバイスが広告のアプリケーションをダウンロード／インストールをしたかを決定する。ユーティリティアプリケーション１０８は、アプリケーションによって生成されるネットワークトラフィックに合致するルール（たとえば、正規表現）を記憶しているアプリケーションルール辞書を使用することができる。ユーティリティアプリケーション１０８は、情報をデバイアシングモジュール１１０に通信する。

情報に基づいて、デバイアシングモジュール１１０は、どの広告がどのクライアントデバイス１０６に供給されたかを決定し、この情報を使用して、ユーザ属性を、ユーティリティアプリケーション１０８の複数のユーザに割り当てる。広告を供給された複数のユーザのユーザ属性情報に基づいて、モデルは、複数のユーザのうちのユーティリティアプリケーション１０８のユーザがユーザ属性を有するか否かを予測するようにトレーニングされる。ユーティリティアプリケーション１０８は、クライアントデバイス１０６上においてアプリケーションの使用を決定し、それをデバイアシングモジュール１１０に報告する。デバイアシングモジュール１１０は、受信された使用状況データを集約して、組み合わされたアプリケーション使用統計値を決定し、特定のユーザデモグラフィックなどのユーザ属性によって使用状況データをグループ化することができる。

アプリケーションに対する使用状況データは、ユーティリティアプリケーションユーザのユーザ属性に基づいて、バイアスされる。ユーティリティアプリケーションユーザは、使用状況データが所望されるサンプル母集団（または所望の母集団）を反映していないことがあるので、デバイアシングモジュール１１０は、使用状況データをデバイアスする。使用状況データまたはあらゆる他のデータメトリックをデバイアスするために、ユーザ属性を含むサンプル母集団（または所望の母集団）が、サンプリングモジュール１２０によって取得される。サンプリングモジュール１２０は、各所望のユーザ属性に対するサンプル母集団を取得するために、調査を行うことができる。サンプリングされた母集団は、デバイアシングモジュール１１０に送信される。さらにデバイアシングモジュール１１０は、与えられた属性に対するユーティリティアプリ使用状況データの集約と、サンプリングされた母集団からのユーザ属性の集約とを比較することによって、ユーザ属性に対する使用状況データを重み付けする。重み付けされた使用状況データセットに基づいて、使用状況データまたはあらゆる他のデータメトリックの報告、たとえば、セッションごとに使用されたＭｂが、サンプリングされた母集団について生成される。

図２は、本開示の一実施形態に係るデバイアシングモジュールの論理コンポーネントを例示するブロック図である。デバイアシングモジュール１１０は、広告ターゲティングモジュール２１０と、グラウンドトゥルース決定モジュール２２０と、ユーザ属性予測モジュール２３０と、重み決定モジュール２４０と、使用状況データ決定モジュール２４５とを含む。

広告ターゲティングモジュール２１０は、サードパーティシステムから、ターゲティング基準付きの広告を購入し、広告は、クライアントデバイス１０６上に、たとえば、モバイルアプリケーション内の表示に表示される。ターゲティング基準は、ジェンダー、年齢、婚姻状況、教育、民族性、および他の上述のデモグラフィックなどの所望のデモグラフィックに合致される。異なる種類の広告が、各所望のユーザ属性に対して購入され、各広告は、ターゲット年齢グループ２５〜３５歳の女性ユーザ用の広告を表示しているなどの、ターゲティング基準による注釈が付けられる。例示的な広告は、一般に、幼児を持つ年齢グループ２５〜３５歳内の女性ユーザが興味を持ち、アプリケーションをダウンロードおよびインストールするであろう、幼児向けファッションアパレルショッピングのモバイルアプリケーションを含む。

広告を購入する目的は、グラウンドトゥルースを決定する（すなわち、コンピュータモデルのためのトレーニングセット用のデータを集める）ために、ユーティリティアプリケーション１０８のユーザに対するユーザ属性（たとえば、デモグラフィック）データを収集することである。一実施形態において、グラウンドトゥルース決定モジュール２２０は、ユーティリティ収集アプリケーション１０８から、ユーザ属性情報を取得する。グラウンドトゥルース決定モジュール２２０は、ユーティリティアプリケーション（すなわち、ＶＰＮ／ユーティリティデータ収集アプリケーション）１０８に要求を送信して、アンケートを提示することによってユーザの属性情報を集め、ユーザのコンテンツ付きの、ユーザの属性情報にアクセスすることができる。要求に応答して、ユーザは、ユーザのジェンダー、年齢、性別などの関係のある情報を提供することができる。グラウンドトゥルース決定モジュール２２０は、情報を集め、属性グループラベルを、ユーティリティアプリケーションユーザの各ユーザに割り当てることができる。

別の実施形態において、グラウンドトゥルース決定モジュール２２０は、広告ターゲティングモジュール２１０から、広告情報を、すなわち、広告が供給された時間およびユーザを、広告のターゲティング基準と共に受信する。グラウンドトゥルース決定モジュール２２０は、ネットワークインターフェースを監視して、どの広告がどのユーザに供給されたか、およびクライアントデバイス１０６のユーザが、広告内に表示されたアプリケーションをダウンロードし、インストールしたかどうかを決定する。グラウンドトゥルース決定モジュール２２０は、供給された広告のターゲティング基準、およびユーザが、広告されたモバイルアプリケーションをダウンロードし、インストールしたという事実に基づいて、ユーザ属性を、クライアントデバイス１０６のユーザに割り当てる。たとえば、もしクライアントデバイス１０６のユーザが、表示された幼児向けファッションアパレルショッピングのアプリケーションをダウンロードしたならば、クライアントデバイス１０６のユーザは、「ジェンダー＝女性」および「年齢グループ＝２５〜３５」歳を割り当てられる。

別の実施形態において、グラウンドトゥルース決定モジュール２２０は、ユーザ属性情報の各割り当てに対する信頼値をユーザに割り当てる。信頼値は、割り当ての確率、すなわち、ユーザが、割り当てられたユーザ属性グループに属する確率がどれくらいかを指し示す。より高い信頼値は、割り当てのより高い確率を指し示し、逆の場合も同じである。たとえば、割り当てられた「ジェンダー＝女性」に対する信頼値９０％は、ユーザがおそらく女性ユーザであろうことを指し示す。「年齢グループ＝２５〜３５歳」に対する信頼値６０％は、ユーザが年齢範囲２５〜３５歳内である、６０％の確率があることを指し示す。

いったんグラウンドトゥルースが決定されれば、ユーザ属性予測モジュール２３０は、ユーティリティアプリケーションユーザがユーザ属性を有するか否かを予測するコンピュータモデルを生成する。決定されたグラウンドトゥルース（すなわち、割り当てられたユーザ）は、コンピュータモデルをトレーニングするためのトレーニングセットとして使用される。コンピュータモデルは、トレーニングセットデータに適合する関数を生成し、さらに、コンピュータモデルが、関数を使用して、ユーザのユーザ属性情報をさらに予測することができるほどのものである。関数は、適合された関数とトレーニングセットとの間の差異に基づいて調整され得るモデルパラメータを含む。

いったんコンピュータモデルがトレーニングされれば、ユーザ属性予測モジュール２３０は、ユーティリティアプリケーション１０８のユーザごとにユーザ属性を予測し、ユーザ属性ラベルをユーザに割り当てる。たとえば、ユーザは、ラベル「ジェンダー＝女性」、「年齢グループ＝２５〜３５歳」、「婚姻状況＝既婚」、および他の上述のラベルを割り当てられてよい。

各クライアントデバイス上のユーティリティアプリケーション１０８は、クライアントデバイス１０６上において実行中の他のアプリケーション１０９に対する使用状況データを決定することができる。ユーティリティアプリケーション１０８は、ユーザごとに使用状況データを収集し、それをユーザ属性予測モジュール２３０に報告する。さらに、ユーザ属性予測モジュール２３０は、ユーザのユーザ属性ラベルに基づいて、使用状況データを集約する。たとえば、モバイルアプリケーションＳｔａｒｂｕｃｋｓに対する使用状況データが、各クライアントデバイス１０６のユーティリティアプリケーション１０８から収集され、クライアントデバイス１０６のユーザのユーザ属性情報、すなわち、Ｓｔａｒｂｕｃｋｓアプリケーションを使用する男性の数、Ｓｔａｒｂｕｃｋｓアプリケーションを使用する年齢グループ＝２５〜３０歳に基づいて集約される。

重み決定モジュール２４０は、集約された使用状況データを重み付けする。重み決定モジュール２４０は、ユーティリティアプリケーションユーザのユーザ属性の集約を、ユーザ属性予測モジュール２３０から受信する。さらに、重み決定モジュール２４０は、所望の母集団に対するユーザ属性の集約を、サンプリングモジュール１２０から受信する。一実施形態において、重み決定モジュール２４０は、ユーティリティアプリケーションユーザのユーザ属性の集約を、サンプリングモジュール１２０からの所望の母集団と比較して、ユーティリティアプリケーションユーザのユーザ属性用の重み付け比率を決定する。比率に基づいて、与えられたユーザ属性に対する与えられたアプリのユーザごとに使用状況データが重み付けされ、したがって、ユーザ属性のユーティリティアプリケーションユーザのセットをデバイアスする。別の実施形態において、ユーティリティアプリケーションユーザに対する使用状況データ重みは、各ユーザ属性ラベルに関連付けられた信頼値を使用して割り引かれる。集約された信頼値は、ユーザ属性ラベル内で各ユーザに関連付けられた信頼値を組み合わせることによって、決定されることが可能である。ユーザ属性グループの使用状況データに含まれる各ユーザは、正規の重み付け比率によって、またはもし使用されるならば割り引かれた重みによって重み付けされる。たとえば、デモグラフィック「ジェンダー」、すなわち、Ｓｔａｒｂｕｃｋｓアプリケーションを使用する女性の数について、もしサンプル母集団が母集団の５０％が女性であることを指し示し、決定された使用状況データがユーティリティアプリユーザの８０％が女性であることを指し示すならば、デモグラフィック「ジェンダー＝女性」に対して決定された使用状況データに関連付けられた重みは、５０÷８０＝０．６２５である（女性がユーティリティアプリユーザの中の多数を占める）。もし生の使用状況データがＳｔａｒｂｕｃｋｓユーザの７１％が女性であることを指し示すならば、デバイアスされたＳｔａｒｂｕｃｋｓメトリックに対する値は、７１％×０．６２５＝４４．３％が女性である。複数のユーザ属性に対する重み付け比率は、ユーザごとの総重みを取得するために、一緒に掛け合わされることができ、または別の実施形態においては、属性の多次元の組合せごとに別々に計算されることができる。

使用状況データ決定モジュール２４５は、ユーザ属性に基づいて、ユーティリティアプリケーションユーザの重み付けされた／アンバイアスの使用状況データを受信する。重み付けされた使用状況データに基づいて、使用状況データ決定モジュール２４５は、線形外挿、多項式外挿、またはあらゆる他の上述の方法などの知られている外挿法を使用して、母集団の全セットに対してデータを外挿することができる。さらに、サンプル母集団、またはサンプル母集団の特定のユーザ属性について、使用状況データ報告を生成するための要求を受信するとすぐに、使用状況データ決定モジュール２４５は、アンバイアスの使用状況データから報告を生成する。特定のユーザ属性に対する使用状況データ報告の例は、セッションの平均の長さ、アクティブな男性ユーザの数、アクティブな女性ユーザの数、週単位のアクティブなユーザ、日単位のアクティブなユーザ、月単位のアクティブなユーザ、ＭＢ／ユーザにおいて使用されたデータ、ＭＢ／セッションにおいて使用されたデータ、およびモバイルアプリケーションに対する他の上述のデータを含む。

図３，４は、本開示の一実施形態に係る、所望の母集団に対する１つまたは複数のモバイルアプリケーションについて決定するための方法を例示するフロー図である。ユーティリティアプリケーション１０８は、クライアントデバイス１０６への、およびクライアントデバイス１０６からのネットワークトラフィックを監視し、解析して、クライアントデバイス１０６上において１つまたは複数のモバイルアプリケーションの使用状況を決定する。デバイアシングモジュール１１０は、ユーティリティアプリケーション１０８によって追跡された複数のユーザについて、１つまたは複数のモバイルアプリケーションに対する使用状況データを取得する３０２。さらに、デバイアシングモジュール１１０は、ユーティリティアプリケーションユーザが、ユーザ属性を有するかどうかを予測するためのモデルを取得する３０４。モデルを取得するために、デバイアシングモジュール１１０は、さらに説明されるように、ステップ３０６から３１２を実行する。一実施形態において、デバイアシングモジュール１１０は、所望のユーザ属性を提供するように、ユーザに要求を送信する３０６ことができる。たとえば、ユーティリティアプリケーション１０８が、ユーザに、彼らのジェンダー、年齢、またはあらゆる他の上述のユーザ属性を提供するように要求することができる。別の実施形態において、デバイアシングモジュール１１０は、ユーザ属性に合致する、すなわち、ユーザ属性を有するユーザが、広告を供給されるのに適格である、ターゲティング基準付きの、サードパーティシステムからの広告を購入する３０６。広告は、ほとんどの場合、広告を供給する１つまたは複数のモバイルアプリケーションによって、クライアントデバイス１０６上に表示される。いったん広告がクライアントデバイス１０６上に表示されれば、ユーティリティアプリケーション１０８は、ネットワークトラフィックを監視して、どの広告が、クライアントデバイス１０６上においてクリックされたか、またはクライアントデバイス１０６によってダウンロードされたかを決定し、情報をデバイアシングモジュール１１０に転送する。デバイアシングモジュール１１０は、複数のユーザのサブセットを観察して３０８、どの広告がどのユーザに供給されたか、さらにどの広告がどのユーザによって消費されたかを決定し、決定に基づいて、ユーザ属性をユーザに割り当てる３１０。デバイアシングモジュールは、割り当てられたデータをトレーニングセットとして使用して、ユーティリティアプリケーションユーザがユーザ属性を有するか否かを予測するコンピュータモデルをトレーニングする３１２。

収集された使用状況データがユーティリティアプリケーションユーザに向けてバイアスされるので、さらにデバイアシングモジュール１１０は、説明されるステップ３１６から３２２までを実行することによって、取得された使用状況データをデバイアスする３１４。デバイアシングモジュール１１０は、コンピュータモデルを使用して、広告を供給されなかった複数のユーザから、ユーザがユーザ属性を有するかを予測する３１６。もしユーザがユーザ属性を有するならば、デバイアシングモジュール１１０は、ユーザ属性をユーザに割り当てる３１８。割り当てられたユーザ属性ラベルに基づいて、デバイアシングモジュール１１０は、ユーザ属性に基づいてユーティリティアプリケーションユーザの使用状況データを集約する。

さらにデバイアシングモジュール１１０は、ユーザ属性に基づいて、サンプル母集団に対する使用状況データを受信する。デバイアシングモジュール１１０は、ユーティリティアプリケーションユーザのユーザ属性の集約を、サンプル母集団に対するユーザ属性の集約と比較する３２０。比較に基づいて、使用状況データは、重み付けされる３２２、すなわち、ユーティリティアプリケーションユーザから取得された使用状況データは、サンプル母集団のユーザ属性に適合するように調整される。サンプル母集団に対して重み付けされた使用状況データに基づいて、デバイアシングモジュールは、ユーザ属性、たとえば、デモグラフィック母集団内でセッションにつき使用されたＭｂｐｓ、および他の上述のユーザ属性に基づいて、使用状況データの報告を生成する。

まとめ
本発明の実施形態の上述した説明は、例示の目的のために提示されており、網羅的であること、または本発明を開示された厳密な形態に限定することは意図されていない。当業者は、上の開示に照らして、多くの変更および変形が可能であることを認めることができる。

本説明のある部分は、情報に対する操作のアルゴリズムおよび記号表記の観点から本発明の実施形態を説明している。これらのアルゴリズムの説明および表記は、データ処理分野における当業者によって、彼らの作業の実質を他の当業者に効果的に伝えるために通常使用される。これらの操作は、機能的、計算的、または論理的に説明されるが、コンピュータプログラムによって、または等価な電気回路、マイクロコード、その他によって実装されることが理解される。さらに、一般性を損なうことなく、これらの操作の配列をモジュールと呼ぶことが、時に好都合であることもまた判明している。説明された操作およびそれらの関連付けられたモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらのあらゆる組合せにおいて具現化されてよい。

本明細書で説明されたステップ、操作、またはプロセスのうちのいずれかは、１つもしくは複数のハードウェアまたはソフトウェアモジュールで、単独で、または他のデバイスと組み合わせて、実行または実装されてよい。一実施形態において、ソフトウェアモジュールは、説明されたステップ、操作、またはプロセスのうちのいずれか、もしくはすべてを実行するためにコンピュータプロセッサによって実行され得るコンピュータプログラムコードを収容するコンピュータ可読媒体を含むコンピュータプログラム製品で実装される。

本発明の実施形態は、本明細書の操作を実行するための装置にもまた関することがある。この装置は、要求された目的のためにとりわけ構築されてよく、および／または、それは、コンピュータに記憶されたコンピュータプログラムによって選択的に起動される、もしくは再構成される汎用コンピューティングデバイスを含んでもよい。上述のコンピュータプログラムは、コンピュータシステムバスに結合され得る、非一時的な有形のコンピュータ読み取り可能な記録媒体、または電子命令を記憶するのに適したあらゆる種類の媒体に記憶されてよい。さらに、本明細書で言及されたあらゆるコンピューティングシステムは、単一のプロセッサを含んでもよいし、または、増大されたコンピューティング性能のために複数のプロセッサ設計を用いるアーキテクチャであってもよい。

本発明の実施形態は、本明細書で説明されたコンピューティングプロセスによって生み出される製品にもまた関することがある。上述の製品は、コンピューティングプロセスから生じる情報であって、非一時的な有形のコンピュータ読み取り可能な記録媒体上に記憶される情報を含んでよく、本明細書で説明されたコンピュータプログラム製品または他のデータの組合せのあらゆる実施形態を含んでもよい。

最後に、本明細書で使用される言語は、主に、読みやすさおよび教示目的のために選択されており、それは、本発明の主題を線引きする、または制限するように選択されていないことがある。したがって、本発明の範囲は、この詳細な説明によってではなく、むしろ本明細書に基づいた出願で発生するいずれかの請求項によって限定されることが意図される。それに応じて、本発明の実施形態の開示は、以下の特許請求の範囲に記載される本発明の範囲を、限定するのではなく例示することが意図される。

Claims

所望の母集団に対する１つまたは複数のモバイルアプリケーションの使用状況データを決定するための方法であって、
モバイルデバイスにインストールされたユーティリティアプリケーションを有する複数のユーザによる１つまたは複数のモバイルアプリケーションの使用状況データを取得するステップであって、前記使用状況データは、各モバイルデバイス上のデータパケットを検査することにより前記ユーティリティアプリケーションによって取得される、取得するステップと、
ユーティリティアプリケーションユーザに所望のユーザ属性を提供するよう要求することであって、前記ユーティリティアプリケーションは、アプリにおけるアンケートによってユーザから前記ユーザ属性を取得するためのものである、こと、
前記要求に応答して、前記複数のユーザのサブセットに関する前記所望のユーザ属性の値を受信すること、
前記複数のユーザの前記サブセットの各々に前記ユーザ属性を割り当てること、および
モデルのトレーニングセットに対する前記割り当てられたユーザ属性を使用して前記複数のユーザのうちのユーザがユーザ属性を有するかどうかを予測するための前記モデルをトレーニングすること
によって、前記複数のユーザのうちのユーザがユーザ属性を有するかどうかを予測するための前記モデルを取得するステップと、
所望のユーザ属性を提供する要求を送信されなかった前記複数のユーザに対して、前記モデルを使用して前記ユーザが前記ユーザ属性を有するかどうかを予測すること、
前記予測することに基づいて前記複数のユーザに前記予測されたユーザ属性を割り当てること、
前記ユーティリティアプリケーションを使用する前記複数のユーザの前記ユーザ属性の集約を所望の母集団に対する前記ユーザ属性の集約と比較すること、および
前記ユーザ属性の前記集約の前記比較に基づいて前記取得された使用状況データを重み付けすること
によって、前記取得された使用状況データをデバイアスするステップと、
前記重み付けされた使用状況データに基づいて前記所望の母集団に対する前記使用状況データの報告を生成するステップと
を含む方法。
各ユーザ属性のユーザに対する前記使用状況データは、サンプリングされた母集団からのユーザに対して外挿される請求項１に記載の方法。
前記ユーザ属性に対して前記取得された使用状況データは、信頼スコアを割り当てられる請求項１に記載の方法。
前記使用状況データの重み付けは、前記使用状況データの関連付けられた信頼スコアによって割り引かれる請求項１に記載の方法。
各所望のユーザ属性に対してサンプリングされた母集団は、調査を行うことによって取得される請求項１に記載の方法。
前記ユーティリティアプリケーションは、仮想プライベートネットワーク（ＶＰＮ）アプリケーションである請求項１に記載の方法。
前記ユーティリティアプリケーションは、データ収集ユーティリティアプリケーションである請求項１に記載の方法。
前記複数のユーザのうちのユーザがユーザ属性を有するかどうかを予測するためのモデルを取得するステップは、
サードパーティシステム上において広告を購入するステップであって、前記広告は、前記ユーザ属性を有するユーザのみが前記広告を供給されるのに適格であるというターゲティング基準を含む、ステップと、
前記ユーティリティアプリケーションによってデータパケットを検査することによって、前記複数のユーザのサブセットを観察するステップと、
前記複数のユーザの前記サブセットの各々に前記ユーザ属性を割り当てるステップと、
前記モデルのためのトレーニングセットに対する前記割り当てられたユーザ属性を使用して前記複数のユーザのうちのユーザがユーザ属性を有するかどうかを予測するための前記モデルをトレーニングするステップと
をさらに含む請求項１に記載の方法。
モバイルデバイス上のアプリケーションの使用状況を追跡するためのコンピュータプログラムであって、前記コンピュータプログラムは、コンピュータに、
モバイルデバイスにインストールされたユーティリティアプリケーションを有する複数のユーザによる１つまたは複数のモバイルアプリケーションの使用状況データを取得するステップであって、前記使用状況データは、各モバイルデバイス上のデータパケットを検査することにより前記ユーティリティアプリケーションによって取得される、取得するステップと、
ユーティリティアプリケーションユーザに所望のユーザ属性を提供するよう要求することであって、前記ユーティリティアプリケーションは、アプリにおけるアンケートによってユーザから前記ユーザ属性を取得するためのものである、こと、
前記要求に応答して、前記複数のユーザのサブセットに関する前記所望のユーザ属性の値を受信すること、
前記複数のユーザの前記サブセットの各々に前記ユーザ属性を割り当てること、および
モデルのトレーニングセットに対する前記割り当てられたユーザ属性を使用して前記複数のユーザのうちのユーザがユーザ属性を有するかどうかを予測するための前記モデルをトレーニングすること
によって、前記複数のユーザのうちのユーザがユーザ属性を有するかどうかを予測するための前記モデルを取得するステップと、
所望のユーザ属性を提供する要求を送信されなかった前記複数のユーザに対して、前記モデルを使用して前記ユーザが前記ユーザ属性を有するかどうかを予測すること、
前記予測することに基づいて前記複数のユーザに前記予測されたユーザ属性を割り当てること、
前記ユーティリティアプリケーションを使用する前記複数のユーザの前記ユーザ属性の集約を所望の母集団に対する前記ユーザ属性の集約と比較すること、および
前記ユーザ属性の前記集約の前記比較に基づいて前記取得された使用状況データを重み付けすること
によって、前記取得された使用状況データをデバイアスするステップと、
前記重み付けされた使用状況データに基づいて前記所望の母集団に対する前記使用状況データの報告を生成するステップと
を実行させるコンピュータプログラム。
各ユーザ属性のユーザに対する前記使用状況データは、サンプリングされた母集団からのユーザに対して外挿される請求項９に記載のコンピュータプログラム。
前記ユーザ属性に対して前記取得された使用状況データは、信頼スコアを割り当てられる請求項９に記載のコンピュータプログラム。
前記使用状況データの重み付けは、前記使用状況データの関連付けられた信頼スコアによって割り引かれる請求項９に記載のコンピュータプログラム。
各所望のユーザ属性に対してサンプリングされた母集団は、調査を行うことによって取得される請求項９に記載のコンピュータプログラム。
前記ユーティリティアプリケーションは、仮想プライベートネットワーク（ＶＰＮ）アプリケーションである請求項９に記載のコンピュータプログラム。
前記ユーティリティアプリケーションは、データ収集ユーティリティアプリケーションである請求項９に記載のコンピュータプログラム。
前記複数のユーザのうちのユーザがユーザ属性を有するかどうかを予測するためのモデルを取得するステップは、
サードパーティシステム上において広告を購入するステップであって、前記広告は、前記ユーザ属性を有するユーザのみが前記広告を供給されるのに適格であるというターゲティング基準を含む、ステップと、
前記ユーティリティアプリケーションによってデータパケットを検査することによって、前記複数のユーザのサブセットを観察するステップと、
前記複数のユーザの前記サブセットの各々に前記ユーザ属性を割り当てるステップと、
前記モデルのためのトレーニングセットに対する前記割り当てられたユーザ属性を使用して前記複数のユーザのうちのユーザがユーザ属性を有するかどうかを予測するための前記モデルをトレーニングするステップと
をさらに含む請求項９に記載のコンピュータプログラム。
所望の母集団に対する１つまたは複数のモバイルアプリケーションの使用状況データを決定するためのシステムであって、
モバイルデバイスにインストールされたユーティリティアプリケーションを有する複数のユーザによる１つまたは複数のモバイルアプリケーションの使用状況データを取得し、前記使用状況データは、各モバイルデバイス上のデータパケットを検査することにより前記ユーティリティアプリケーションによって取得され、
ユーティリティアプリケーションユーザに所望のユーザ属性を提供するよう要求することであって、前記ユーティリティアプリケーションは、アプリにおけるアンケートによってユーザから前記ユーザ属性を取得するためのものである、こと、
前記要求に応答して、前記複数のユーザのサブセットに関する前記所望のユーザ属性の値を受信すること、
前記複数のユーザの前記サブセットの各々に前記ユーザ属性を割り当てること、および
モデルのトレーニングセットに対する前記割り当てられたユーザ属性を使用して前記複数のユーザのうちのユーザがユーザ属性を有するかどうかを予測するための前記モデルをトレーニングすること
によって、前記複数のユーザのうちのユーザがユーザ属性を有するかどうかを予測するための前記モデルを取得し、
所望のユーザ属性を提供する要求を送信されなかった前記複数のユーザに対して、前記モデルを使用して前記ユーザが前記ユーザ属性を有するかどうかを予測すること、
前記予測することに基づいて前記複数のユーザに前記予測されたユーザ属性を割り当てること、
前記ユーティリティアプリケーションを使用する前記複数のユーザの前記ユーザ属性の集約を所望の母集団に対する前記ユーザ属性の集約と比較すること、および
前記ユーザ属性の前記集約の前記比較に基づいて前記取得された使用状況データを重み付けすること
によって、前記取得された使用状況データをデバイアスし、
前記重み付けされた使用状況データに基づいて前記所望の母集団に対する前記使用状況データの報告を生成する
よう構成されたシステム。
各ユーザ属性のユーザに対する前記使用状況データは、サンプリングされた母集団からのユーザに対して外挿される請求項１７に記載のシステム。
前記ユーザ属性に対して前記取得された使用状況データは、信頼スコアを割り当てられる請求項１７に記載のシステム。
前記使用状況データの重み付けは、前記使用状況データの関連付けられた信頼スコアによって割り引かれる請求項１７に記載のシステム。
各所望のユーザ属性に対してサンプリングされた母集団は、調査を行うことによって取得される請求項１７に記載のシステム。
前記ユーティリティアプリケーションは、仮想プライベートネットワーク（ＶＰＮ）アプリケーションである請求項１７に記載のシステム。
前記ユーティリティアプリケーションは、データ収集ユーティリティアプリケーションである請求項１７に記載のシステム。
前記複数のユーザのうちのユーザがユーザ属性を有するかどうかを予測するためのモデルを取得することは、
サードパーティシステム上において広告を購入することであって、前記広告は、前記ユーザ属性を有するユーザのみが前記広告を供給されるのに適格であるというターゲティング基準を含む、購入することと、
前記ユーティリティアプリケーションによってデータパケットを検査することによって、前記複数のユーザのサブセットを観察することと、
前記複数のユーザの前記サブセットの各々に前記ユーザ属性を割り当てることと、
前記モデルのためのトレーニングセットに対する前記割り当てられたユーザ属性を使用して前記複数のユーザのうちのユーザがユーザ属性を有するかどうかを予測するための前記モデルをトレーニングすることと
をさらに含む請求項１７に記載のシステム。