JP7285521B2 - System and method for predicting similar mobile devices - Google Patents

System and method for predicting similar mobile devices Download PDF

Info

Publication number
JP7285521B2
JP7285521B2 JP2020520303A JP2020520303A JP7285521B2 JP 7285521 B2 JP7285521 B2 JP 7285521B2 JP 2020520303 A JP2020520303 A JP 2020520303A JP 2020520303 A JP2020520303 A JP 2020520303A JP 7285521 B2 JP7285521 B2 JP 7285521B2
Authority
JP
Japan
Prior art keywords
mobile devices
mobile device
location
training
mobile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020520303A
Other languages
Japanese (ja)
Other versions
JP2020537252A5 (en
JP2020537252A (en
Inventor
リアン キャン
ケイティヤール プラベシュ
チェン イーリン
シー クリスタル
ルオ フイタオ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XAd Inc
Original Assignee
XAd Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/999,330 external-priority patent/US10278014B2/en
Application filed by XAd Inc filed Critical XAd Inc
Publication of JP2020537252A publication Critical patent/JP2020537252A/en
Publication of JP2020537252A5 publication Critical patent/JP2020537252A5/ja
Application granted granted Critical
Publication of JP7285521B2 publication Critical patent/JP7285521B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/20—Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel
    • H04W4/23—Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel for mobile advertising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephonic Communication Services (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本開示は位置を基礎とした情報技術に関し、より詳細には、モバイル装置の指定された群に関してモバイル装置が類似の特性を有する確率を予測するための機械学習用システム及び方法に関する。 TECHNICAL FIELD This disclosure relates to location-based information technology, and more particularly to systems and methods for machine learning for predicting the probability that mobile devices have similar characteristics for a specified group of mobile devices.

近代社会において、スマートモバイル装置は、人々の日常生活の不可欠な部分となっている。その結果、リアルタイムのモバイル装置の位置がモバイルサービスプロバイダにより一般的に利用可能になっている。多くのサービスプロバイダにとって、位置履歴情報を利用して、与えられたユーザのリスト(シード（種）ユーザ)に類似したモバイル装置ユーザ(類似ユーザ)を発見することは、非常に興味深い。それらは例えば、特定のモバイルアプリの既存ユーザ、または特定のプロダクトの特徴に肯定的または否定的に応答したユーザであり得る。類似ユーザはサービスプロバイダによって使用されて、個々のユーザへのサービスをカスタマイズし、個々のユーザに新しいサービスを推奨し、顧客基礎を成長させるためにより費用対効果の高い広告戦略を考案することができる。さらに、同じ技術を適用して、他の事業によって提供されるシードユーザから類似のユーザを見つけ、それらが類似の最適化を達成するのを助けることができる。 In modern society, smart mobile devices have become an integral part of people's daily lives. As a result, real-time mobile device location is generally available to mobile service providers. It is of great interest to many service providers to utilize location history information to discover mobile device users (similar users) similar to a given list of users (seed users). They can be, for example, existing users of a particular mobile app, or users who have responded positively or negatively to particular product features. Similar users can be used by service providers to customize services to individual users, recommend new services to individual users, and devise more cost-effective advertising strategies to grow their customer base. . Additionally, the same techniques can be applied to find similar users from seed users provided by other businesses and help them achieve similar optimizations.

産業規模での位置履歴を使用した類似のモデル化は、多くの課題に直面する。個人情報のため、位置情報への第三者アクセスは制限されている。一般的なデータ源には、ユーザがデータ収集のためのアクセスを明示的に許可する個々のモバイルアプリや、モバイルアプリの大規模な収集物から広告要求を収集するモバイル広告交換がある。前者のケースでは、ユーザがモバイルアプリに関与しているときにのみ、装置位置が収集されることが一般的である。後者のケースでは、位置データは広告要求が発行されたときにのみ収集される。その結果、収集された装置の位置履歴はしばしば、長いオフライン期間によって分離された高頻度サンプルの散発的な爆発の形態である。その結果、位置を基礎としたモデルはしばしば、規模および実績の両方において制限された、極めてまばらなユーザレベルの位置データで動作する。いくつかの既存のシステムは高密度にサンプリングされた位置履歴を提供する意思のある1組のボランティアまたは有料ユーザからデータを収集し、これらのユーザから収集されたデータのみに基づいて類似のモバイルユーザを選択するためのモデルを開発することによって、データのまばらを軽減する。この手法の主な欠点は、選択されたユーザが、開発されたモデルが適用される一層大きな母集団を表すことを確実にすることが難しいことである。その理由はボランティアの人数が通常少なく、ユーザ選択処理に対する制御を実施することが難しいからである。いくつかの他のシステムはまばらなデータからより効果的に抽出するために、シードユーザに関する事前の知見を符号化する規則の集合を明示的に構築することに依拠する。このアプローチは主に、規則発見処理がしばしば広範な人間の関与を必要とするため、そのスケーラビリティ（拡張性）において制限される。さらに、規則発見処理はクライアントが異なったシードユーザのリストを提供するとき、新しいタイプのユーザ行動データが利用可能になったとき、あるいはユーザ行動データの統計的特性が変化したとき、毎回繰り返される必要がある。 Analogous modeling using position histories on an industrial scale faces many challenges. Third party access to location information is restricted due to privacy. Common data sources include individual mobile apps that users explicitly grant access for data collection, and mobile ad exchanges that aggregate ad requests from large collections of mobile apps. In the former case, device location is typically collected only when the user is engaged with the mobile app. In the latter case, location data is collected only when an ad request is issued. As a result, the collected location history of a device is often in the form of sporadic bursts of high-frequency samples separated by long offline periods. As a result, location-based models often operate with very sparse user-level location data, limited in both scale and performance. Some existing systems collect data from a set of volunteers or paying users willing to provide a densely sampled location history, and identify similar mobile users based solely on the data collected from these users. Reduce data sparseness by developing a model for choosing The main drawback of this approach is the difficulty in ensuring that the selected users represent the larger population to which the developed model will be applied. This is because the number of volunteers is usually small and it is difficult to enforce control over the user selection process. Some other systems rely on explicitly constructing a set of rules that encode a priori knowledge about seed users in order to more effectively extract from sparse data. This approach is primarily limited in its scalability because the rule discovery process often requires extensive human involvement. Furthermore, the rule discovery process needs to be repeated each time the client provides a different seed user list, new types of user behavior data become available, or the statistical characteristics of the user behavior data change. There is

図1は、特定の実施形態による類似のモバイル装置を発見するためのシステムの概略図である。FIG. 1 is a schematic diagram of a system for discovering similar mobile devices according to certain embodiments. 図2は、実施形態によるパケットを基礎としたネットワークの概略図である。FIG. 2 is a schematic diagram of a packet-based network according to an embodiment. 図3は実施形態による、方法のうちの1つまたは複数を実行し、および/または位置予測のためのシステムの一部またはすべてを提供する、パケットを基礎としたネットワークに結合されたコンピュータ/サーバの概略図である。FIG. 3 illustrates a computer/server coupled to a packet-based network that performs one or more of the methods and/or provides part or all of a system for location prediction, according to an embodiment 1 is a schematic diagram of FIG. 図4は、特定の実施形態による、地理的領域の地図上に重畳された例示的な多角形ジオフェンスを示す地図画像である。FIG. 4 is a map image showing an exemplary polygonal geofence superimposed on a map of a geographic region, according to certain embodiments. 図5は、特定の実施に係るジオフェンスデータベース内の内容の一部を説明する表である。FIG. 5 is a table that illustrates some of the contents in a geofence database according to a particular implementation. 図6は、特定の実施形態による、地理的領域の地図上に重畳された例示的なジオブロックを示す地図画像である。FIG. 6 is a map image showing exemplary geoblocks superimposed on a map of a geographic region, according to certain embodiments. 図7は、特定の実施形態によるジオブロックデータベース内の内容の一部を示す表である。FIG. 7 is a table showing some of the contents in a geoblock database according to certain embodiments. 図8Aは、特定の実施形態による処理の様々な段階での要求データを示す構成図である。図8Bは、特定の実施形態による処理の様々な段階での要求データを示す構成図である。図8Cは、特定の実施形態による処理の様々な段階での要求データを示す構成図である。FIG. 8A is a block diagram showing requested data at various stages of processing according to certain embodiments. FIG. 8B is a block diagram showing requested data at various stages of processing according to certain embodiments. FIG. 8C is a block diagram showing requested data at various stages of processing according to certain embodiments. 図9は、特定の実施形態による、要求ログ内の内容の一部を示す表である。FIG. 9 is a table showing some of the contents in a request log, according to certain embodiments. 図10は、特定の実施形態によるフィードバックログ内の内容の一部を示す表である。FIG. 10 is a table showing some of the content within a feedback log, according to certain embodiments. 図11は、特定の実施形態による、類似のモバイル装置を発見するためのシステムにおいて実行される方法を示すフローチャートである。FIG. 11 is a flowchart illustrating a method performed in a system for discovering similar mobile devices, according to certain embodiments. 図12は、特定の実施形態による様々なモバイル装置区分を示す図である。FIG. 12 is a diagram illustrating various mobile device partitions according to certain embodiments. 図13は、特定の実施形態によるモバイル装置データを抽出するためのデータマネージャを示す構成図である。FIG. 13 is a block diagram illustrating a data manager for extracting mobile device data according to certain embodiments. 図14は、特定の実施形態による、期間に対応する抽出されたモバイル装置データを示す表を含む。FIG. 14 includes a table showing extracted mobile device data corresponding to time periods, according to certain embodiments. 図15は、特定の実施形態による特徴空間を構築するための方法を示すフローチャートである。FIG. 15 is a flowchart illustrating a method for constructing feature space according to certain embodiments. 図16は、特定の実施形態による、関連性測定に基づいてジオブロックをジオブロックの区分に割り当てることを示す表である。FIG. 16 is a table illustrating assigning geoblocks to geoblock partitions based on relevance measures, according to certain embodiments. 図17は、特定の実施形態による、モバイル装置に関連付けられた例示的な特徴の表を含む。FIG. 17 includes a table of exemplary features associated with mobile devices, according to certain embodiments. 図18は、特定の実施形態による、それぞれのシードリストに対応するラベルの複数のセットを示す表である。FIG. 18 is a table showing multiple sets of labels corresponding to respective seedlists, according to certain embodiments. 図19は、ある実施形態による予測モデルの評価を示す表である。FIG. 19 is a table showing evaluation of predictive models according to one embodiment. 図20は、特定の実施形態による例示的な類似予測結果を示す表である。FIG. 20 is a table showing exemplary similarity prediction results according to certain embodiments. 図21は、特定の実施による、モバイルユーザの順位付けと、予測結果に基づいて類似モバイルユーザを選択することとを示す表である。FIG. 21 is a table showing ranking mobile users and selecting similar mobile users based on prediction results, according to a particular implementation. 図22は、特定の実施形態による、1つ以上のコンピュータ/サーバシステムを用いて提供される情報サーバシステムのブロック図である。FIG. 22 is a block diagram of an information server system provided using one or more computer/server systems, according to certain embodiments. 図23は、ある実施形態による情報サーバシステムによって実行される情報処理を示す流れ図である。Figure 23 is a flow diagram illustrating information processing performed by an information server system according to an embodiment. 図24は、特定の実施形態による、1つまたは複数のコンピュータ/サーバによって提供されるジオブロック定義サブシステムの概略図である。FIG. 24 is a schematic diagram of a geoblock definition subsystem provided by one or more computers/servers, according to certain embodiments. 図25は、特定の実施によるジオブロック定義システムによって実行される方法を示すフローチャートである。FIG. 25 is a flowchart illustrating a method performed by a geoblock definition system according to certain implementations. 図26は、特定の実施形態による、初期ジオブロックの輪郭を描く多角形（ポリゴン）を形成するための方法を示すフローチャートである。FIG. 26 is a flowchart illustrating a method for forming polygons outlining an initial geoblock, according to certain embodiments. 図27は特定の実施形態による、最初のジオブロックに関するリアルタイム入力(例えば、広告要求)を処理し、ロギングするための一方法を示すフローチャートである。FIG. 27 is a flowchart illustrating one method for processing and logging real-time input (eg, ad requests) for the first geoblock, according to certain embodiments. 図28は、特定の実施形態による要求ログを示す表である。FIG. 28 is a table showing a request log according to certain embodiments. 図29は、9桁の郵便番号の空間分布を調べることによる住宅領域(青色の多角形で囲まれている)と森林領域との分離を示すジオブロックの地図オーバーレイ図である。FIG. 29 is a geoblock map overlay showing the separation of residential areas (enclosed by blue polygons) and forest areas by examining the spatial distribution of 9-digit postal codes. 図30は、住宅領域からの小学校の分離を示すジオブロックの地図オーバーレイ図である。FIG. 30 is a geoblock map overlay showing the separation of elementary schools from residential areas. 図31は特定の実施形態に従い、ジオブロック定義サブシステムによって生成されるジオブロックをスコアリング（スコア付け）し、順位付けするジオブロックスコアリングサブシステムのブロック図である。FIG. 31 is a block diagram of a geoblock scoring subsystem that scores and ranks geoblocks generated by a geoblock definition subsystem, according to certain embodiments. 図32は特定の実施形態に従い、ジオブロックスコアリングサブシステムによって実行されるジオブロックスコアリング方法を示すフローチャートである。FIG. 32 is a flowchart illustrating a geoblock scoring method performed by a geoblock scoring subsystem, according to certain embodiments. 図33は、特定の実施形態によるジオフェンス定義モジュールによって実行される初期化および/または更新処理を示すフローチャートである。FIG. 33 is a flowchart illustrating initialization and/or update processing performed by a geofence definition module according to certain embodiments. 図34Aは、特定の実施形態による、異なるキャンペーンパラメータまたは実績目標に基づいて導出された、それらの関連付けられたスコアを有する例示的なジオブロックを示す地図オーバーレイ図である。FIG. 34A is a map overlay diagram showing exemplary geoblocks with their associated scores derived based on different campaign parameters or performance goals, according to certain embodiments. 図34Bは、特定の実施形態による、異なるキャンペーンパラメータまたは実績目標に基づいて導出された、それらの関連付けられたスコアを有する例示的なジオブロックを示す地図オーバーレイ図である。FIG. 34B is a map overlay diagram showing exemplary geoblocks with their associated scores derived based on different campaign parameters or performance goals, according to certain embodiments. 図35は、特定の実施形態による、関心点(POI)の周りの標的となる地理的領域内のジオブロックから選択されたより高いスコアリングジオブロックを含む例示的なジオフェンスを示す地図オーバーレイ図である。FIG. 35 is a map overlay diagram showing an exemplary geofence including higher scoring geoblocks selected from geoblocks within a targeted geographic region around a point of interest (POI), according to certain embodiments; be. 図36は、特定の実施形態による、ジオブロックを基礎としたターゲティングのための処理のフローチャートである。FIG. 36 is a flowchart of a process for geoblock-based targeting, according to certain embodiments. 図37Aは、特定の実施形態による、情報キャンペーンのペース調整状況に基づく、特定のジオブロックの動的介在または除外を示す、関心点の周りのジオブロックの地図重畳図である。FIG. 37A is a map overlay of geoblocks around points of interest showing the dynamic inclusion or exclusion of particular geoblocks based on the pacing status of an information campaign, according to certain embodiments. 図37Bは、特定の実施形態による、情報キャンペーンのペース調整状況に基づく、特定のジオブロックの動的介在または除外を示す、関心点の周りのジオブロックの地図重畳図である。FIG. 37B is a map overlay of geoblocks around points of interest showing the dynamic inclusion or exclusion of particular geoblocks based on the pacing context of an information campaign, according to certain embodiments. 図37Cは、特定の実施形態による、情報キャンペーンのペース調整状況に基づく、特定のジオブロックの動的介在または除外を示す、関心点の周りのジオブロックの地図重畳図である。FIG. 37C is a map overlay of geoblocks around points of interest showing the dynamic inclusion or exclusion of particular geoblocks based on the pacing status of an information campaign, according to certain embodiments.

図1に示すように、本開示の特定の実施形態は、パケットを基礎としたネットワークと通信する類似のモバイル装置を検出するための、パケットを基礎としたネットワークに結合されたシステム100を提供する。システム100は特に、要求処理部101、シード（seed：種）リスト処理部102、および類似予測サブシステム103を含む。特定の実施形態では、システム100が以下で説明するように、類似の予測のための1つまたは複数の方法を実行するように構成される。 As shown in FIG. 1, certain embodiments of the present disclosure provide a system 100 coupled to a packet-based network for detecting similar mobile devices communicating with the packet-based network. . The system 100 includes a request processor 101, a seed list processor 102, and a similarity prediction subsystem 103, among others. In certain embodiments, system 100 is configured to perform one or more methods for similarity prediction, as described below.

特定の実施形態では、要求処理部101が地理的場所に関連するデータを記憶する地理データベースを含むか、またはそれにアクセスする。特定の実施形態では、地理的場所（geoplaces）がジオブロック（地理ブロック）およびジオフェンス（地理フェンス）を含む。ジオブロックのそれぞれは、公道または自然境界によって定義される少なくとも1つの境界を有する地理的領域に対応する。ジオフェンスの各々は、複数の関心点に対応する。地理データベースには、ジオブロックに関連付けられたデータを格納するジオブロックデータベースと、ジオフェンスに関連付けられたデータを格納するジオフェンスデータベースが含まれる。 In particular embodiments, the request processor 101 includes or accesses a geographic database that stores data related to geographic locations. In certain embodiments, geoplaces include geoblocks and geofences. Each of the geoblocks corresponds to a geographic area having at least one boundary defined by public roads or natural boundaries. Each geofence corresponds to multiple points of interest. The geographic databases include a geoblock database that stores data associated with geoblocks and a geofence database that stores data associated with geofences.

特定の実施形態では、要求処理部101がパケットを基礎としたネットワークと通信するモバイル装置に関連する要求を受信し、モバイル装置に関連する位置イベントを検出するために、地理データベース内の地理的場所に関する要求を処理するように構成される。各位置イベントはタイムスタンプに対応し、地理的場所を識別する。いくつかの実施形態では、位置イベントがジオフロックを基礎とした位置イベントおよびジオフェンスを基礎とした位置イベントを含む。各ジオブロックを基礎とした位置イベントはジオブロックデータベース内のジオブロックに関連付けられ、各ジオフェンスを基礎とした位置イベントはジオフェンスデータベース内にジオフェンスを有する関心点(POI)の名称またはブランド（銘柄）に関連付けられる。 In a particular embodiment, the request processor 101 receives a request related to a mobile device communicating with a packet-based network, and uses a geographic location in a geographic database to detect location events related to the mobile device. configured to handle requests for Each location event corresponds to a timestamp and identifies a geographic location. In some embodiments, the location events include geoflock-based location events and geofence-based location events. Each geoblock-based location event is associated with a geoblock in the geoblock database, and each geofence-based location event is the name or brand of the point of interest (POI) that has the geofence in the geofence database. symbol).

いくつかの実施形態では、シードリスト処理部102がパケットを基礎としたネットワークを介して顧客からシードリストデータファイルを受信し、それぞれのデータファイルを解析して、シードモバイル装置および類似発見明細のリストを抽出するように構成された顧客インタフェースを含む。データファイル内で利用可能である場合、この処理は、それぞれのシードモバイル装置に関連する重みを抽出することもできる。重みは、シードリスト上の異なるモバイル装置について類似のモバイル装置を見つけるための価値の差を反映するために使用されることができる。 In some embodiments, the seedlist processor 102 receives seedlist data files from customers over a packet-based network and parses each data file to generate a list of seed mobile devices and similar finding specifications. includes a customer interface configured to extract the If available in the data file, this process can also extract the weights associated with each seed mobile device. Weights can be used to reflect the difference in value for finding similar mobile devices for different mobile devices on the seedlist.

いくつかの実施形態では、類似予測サブシステム103が複数のモバイル装置のそれぞれについて特徴の組を構築するように構成された特徴生成部と、複数のモバイル装置のサブセットに関連付けられた特徴を使用してモバイルユーザのシードリストに対応する予測モデルを訓練するように構成された機械学習モジュールと、複数のモバイル装置の少なくともいくつかに関連付けられた特徴に予測モデルを適用して、複数のモバイル装置の少なくともいくつかの類似確率を予測するように構成された予測モジュールとを含む。 In some embodiments, the similarity prediction subsystem 103 uses a feature generator configured to construct feature sets for each of a plurality of mobile devices and features associated with subsets of the plurality of mobile devices. a machine learning module configured to train a predictive model corresponding to a seedlist of mobile users using a machine learning module configured to train a predictive model corresponding to a seedlist of mobile users; a prediction module configured to predict at least some similarity probabilities.

いくつかの実施形態では類似予測サブシステム103がシードリストに関する複数のジオブロックのそれぞれに関する関連性測定値を決定するようにさらに構成され、複数のジオブロックはそれぞれが関連性測定値の別個の範囲に対応する複数のジオブロック区分に分割され、類似予測サブシステム103はシードリストに関する複数の巨大ブランドのそれぞれに関する関連性測定値を決定し、複数のブランドを、それぞれが関連性測定値の別個の範囲に対応する複数の巨大ブランド区分に分割することもできる。類似予測サブシステム103はさらに、いくつかのジオブロック区分のそれぞれに関連する1つまたは複数の特徴を生成すること、1つまたは複数の特別なジオブロックのそれぞれに関連する1つまたは複数の特徴を生成すること、複数の巨大ブランドまたは巨大ブランド区分のそれぞれに関連する特徴を生成すること、ならびに位置および/または非位置の他の特徴を生成することによって、モバイル装置のそれぞれに関する特徴の組を構築するように構成される。 In some embodiments, the similarity prediction subsystem 103 is further configured to determine a relevance measure for each of a plurality of geoblocks for the seedlist, each of the plurality of geoblocks having a distinct range of relevance measures. , the similarity prediction subsystem 103 determines a relevance measure for each of a plurality of large brands for the seedlist, and identifies the multiple brands, each with a distinct relevance measure. It can also be divided into multiple large brand segments that correspond to the range. The similarity prediction subsystem 103 further generates one or more features associated with each of the number of geoblock partitions, one or more features associated with each of the one or more special geoblocks. , features associated with each of a plurality of megabrands or megabrand segments, and location and/or non-location other features, to generate a set of features for each of the mobile devices configured to build

したがって、システム100は生要求データを機械学習に適した有意義な特徴に併合し、機械学習された予測モデルを使用して類似の予測を生成するように機能する。 Thus, the system 100 functions to merge raw request data into meaningful features suitable for machine learning and generate similar predictions using machine-learned predictive models.

図2は、開示された技術のいくつかの実施形態が動作することができる環境201の概要を示す模式図である。環境201は、パケットを基礎としたネットワーク200に結合された1つ以上のコンピュータシステム220を含むことができる。特定の実施形態におけるパケットを基礎としたネットワーク200は、インターネット210と、インターネットゲートウェイを介してインターネット210に結合されたセルラネットワーク211の一部または全部とを含む。コンピュータ/サーバ220は、複数のセルラ局211aを含むセルラネットワーク211を介して、有線イーサネット(登録商標)、および任意選択でパワーオーバイーサネット(PoE)、WiFi、および/またはセルラ接続を使用して、インターネット210に結合することができる。ネットワークはまた、1つ以上のNAS(network attached storage)システム221を含むことができ、これは、異種のクライアント群へのデータ接続を提供するために、コンピュータネットワークに接続されたコンピュータデータ記憶サーバである。
図2に示すように、スマートフォンやタブレットコンピュータなどの1つ以上のモバイル装置230も、セルラネットワーク211へのセルラ接続を介してパケットを基礎としたネットワークに結合される。WiFiホットスポット(ホットスポット235など)が利用可能である場合、モバイル装置230は、その内蔵WiFi接合構造を使用してWiFiホットスポット235を介してインターネット210に接続することができる。したがって、モバイル装置230は、インターネット210に結合されたコンピュータ/サーバ220と対話することができる。モバイル装置230、またはそのユーザ、またはそれに関連する任意のもの、またはそれらの任意の組合せは、本明細書ではモバイルエンティティと呼ばれることがある。 FIG. 2 is a schematic diagram outlining an environment 201 in which some embodiments of the disclosed technology may operate. Environment 201 may include one or more computer systems 220 coupled to packet-based network 200 . Packet-based network 200 in certain embodiments includes Internet 210 and some or all of cellular network 211 coupled to Internet 210 via an Internet gateway. The computer/server 220 uses wired Ethernet, and optionally Power over Ethernet (PoE), WiFi, and/or cellular connectivity via a cellular network 211 that includes multiple cellular stations 211a to Can be coupled to Internet 210 . The network can also include one or more network attached storage (NAS) systems 221, which are computer data storage servers connected to a computer network to provide data connectivity to heterogeneous clients. be.
As shown in FIG. 2, one or more mobile devices 230 , such as smart phones and tablet computers, are also coupled to the packet-based network via cellular connections to cellular network 211 . If a WiFi hotspot (such as hotspot 235) is available, mobile device 230 can connect to Internet 210 via WiFi hotspot 235 using its built-in WiFi bonding structure. Thus, mobile device 230 can interact with computer/server 220 coupled to Internet 210 . Mobile device 230, or its user, or anything associated therewith, or any combination thereof, may be referred to herein as a mobile entity.

図3は、特定の実施形態によるコンピュータ/サーバ220の概略図を示す。コンピュータ/サーバ220は、スタンドアロン装置として、またはピアツーピア(または分散)ネットワークコンピューティング環境におけるピアコンピューティング装置として動作することができる。図3に示すように、コンピュータ/サーバ220はシステムバス300を介して互いに結合された1つまたは複数の処理部302(例えば、中央演算処理装置(CPU)、グラフィックプロセッシングユニット(GPU)、および/またはデジタルシグナル処理部(DSP))と、システムまたはメインメモリ304とを含む。コンピュータ/サーバ220は、静的記憶部306、ネットワークインタフェース装置308、記憶装置310、1つまたは複数の表示装置330、1つまたは複数の入力装置334、および処理部がシステムバス300を介して通信することができる信号生成装置(たとえばスピーカ)336をさらに含むことができる。 FIG. 3 shows a schematic diagram of a computer/server 220 according to certain embodiments. Computer/server 220 can operate as a stand-alone device or as a peer computing device in a peer-to-peer (or distributed) networked computing environment. As shown in FIG. 3, computer/server 220 includes one or more processing units 302 (eg, central processing unit (CPU), graphics processing unit (GPU), and/or processors) coupled together via system bus 300 . or digital signal processor (DSP)) and system or main memory 304 . Computer/server 220 includes static storage 306 , network interface device 308 , storage 310 , one or more display devices 330 , one or more input devices 334 , and processing components in communication via system bus 300 . A signal generating device (eg, speaker) 336 can also be included.

いくつかの実施形態では、表示装置330が1つまたは複数のグラフィックディスプレイユニット(例えば、プラズマディスプレイパネル(PDP)、液晶ディスプレイ(LCD)、プロジェクター、または陰極管(CRT))を含む。入力装置334は英数字入力装置(例えば、キーボード)、カーソル制御装置(例えば、マウス、トラックボール、ジョイスティック、モーションセンサ、又は他の指示器具)を含むことができる。記憶ユニット310は本明細書で説明されるシステム、方法論、または機能のうちのいずれか1つまたは複数を可能にする命令316(たとえば、ソフトウェア)が格納される機械可読媒体312を含む。記憶ユニット310はまた、システム、方法論、または機能によって使用および/または生成されるデータ318を記憶することができる。命令316(例えば、ソフトウェア)はコンピュータ/サーバ220による実行中に、メインメモリ304内または処理部302内(例えば、処理部のキャッシュ記憶部内)に、完全にまたは部分的にロードされてもよい。したがって、メインメモリ304および処理部302はまた、機械可読媒体を構成する。 In some embodiments, display device 330 includes one or more graphic display units (eg, plasma display panels (PDP), liquid crystal displays (LCD), projectors, or cathode ray tubes (CRT)). Input device 334 may include an alphanumeric input device (eg, keyboard), cursor control device (eg, mouse, trackball, joystick, motion sensor, or other pointing device). Storage unit 310 includes machine-readable medium 312 on which instructions 316 (eg, software) are stored to enable any one or more of the systems, methodologies, or functions described herein. Storage unit 310 may also store data 318 used and/or generated by a system, methodology, or function. Instructions 316 (eg, software) may be loaded, either fully or partially, into main memory 304 or into processing unit 302 (eg, within a processing unit's cache storage) during execution by computer/server 220 . Thus, main memory 304 and processing unit 302 also constitute machine-readable media.

特定の実施形態では、本明細書に記載する手続き、装置、および処理は非一時的な的なコンピュータ可読媒体、例えば、システムのためのソフトウェア命令の少なくとも一部を提供する1つ以上のDVD-ROM、CD-ROM、ディスケット、テープなどの取り外し可能な記憶媒体を含むコンピュータプログラムプロダクトを構成する。このようなコンピュータプログラムプロダクトは当技術分野で周知のように、任意の好適なソフトウェアインストールプロシージャによってインストールすることができる。別の実施形態では、ソフトウェア命令の少なくとも一部を、ケーブル、通信、および/または無線接続を介してダウンロードすることもできる。 In certain embodiments, the procedures, apparatus, and processes described herein are non-transitory computer-readable media, e.g., one or more DVD-ROMs that provide at least a portion of the software instructions for the system. constitute a computer program product that includes removable storage media such as ROM, CD-ROM, diskettes, tapes; Such computer program products may be installed by any suitable software installation procedure, as known in the art. In another embodiment, at least a portion of the software instructions may be downloaded via cable, telecommunications, and/or wireless connections.

いくつかの実施形態によるシステム100は、本明細書で開示される機能および方法を実行するためのプログラムを実行する1つまたは複数のコンピュータ/サーバ220を使用して実装することができる。本明細書で説明される例示的な実施形態は、多くの異なる方法で実装され得ることを理解されたい。いくつかの例では、本明細書で説明される様々な方法および機械はそれぞれ、それぞれが中央処理部, 記憶部、ディスクまたは他の大容量記憶装置、通信ユニット、入出力(I/O)装置、および他の周辺機器を有する1つまたは複数の物理、仮想、またはハイブリッド汎用コンピュータによって実装され得る。汎用コンピュータは例えば、ソフトウェア命令を1つ以上のデータ処理部にロードし、命令を実行して本明細書に記載する機能を実行させることによって、本明細書に記載する方法を実行する機械に転換される。図2に示されるように、コンピュータ/サーバ220のいくつかは、ローカルエリアネットワーク(LAN)210を介して相互に連結されており、それがさらにインターネット210を介して連結されている。また、本明細書で言及するそれぞれのコンピュータ/サーバ220は、コンピューティング装置の任意の集合を含むことができる。特定の実施形態によれば、図1に示すように、システム100は、パケットを基礎としたネットワーク200から要求を受信するフロントエンドサーバを含む。これらの要求はモバイル装置にモバイルサービスを提供するときに、パケットを基礎としたネットワーク内の1つ以上のコンピュータ/サーバ220によって生成されてもよい。いくつかの実施形態では、システム100がフロントエンドサーバに結合され、要求のそれぞれに関連付けられたモバイル装置の位置を検出するように構成された位置モジュールをさらに含む。ある実施形態では、位置モジュールがさらに、受信された要求のそれぞれにおける位置データを調べて、それらが信頼できる緯度/経度(LL)の対を含むかどうかを判定するように構成され、要求が信頼できるLLの対を含まない場合、位置モジュールは、その全体が引用により本明細書に組み込まれる、平成30年2月6日に発行された共同出願の米国特許第9,886,703号により詳細に記載されているように、位置データ内の他の情報から関連するモバイル装置の位置を導出することに進む。システム100はさらに、位置モジュールに結合され、検出されたモバイル装置の位置が地理データベース内の任意の地理的場所を誘起（トリガ）し、誘起された地理的場所をフロントエンドサーバに返すかどうかを決定するように構成されたジオフェンシングモジュールを含む。特定の実施形態では、地理的場所がジオフェンスおよびジオブロックを含む。地理データベースは地理的領域または空間を表すデータを記憶および照会するために最適化された空間データベースであり、地理的領域または空間のそれぞれに関連する空間データおよびメタデータを含むことができる。 System 100 according to some embodiments may be implemented using one or more computers/servers 220 executing programs to perform the functions and methods disclosed herein. It should be appreciated that the example embodiments described herein can be implemented in many different ways. In some examples, the various methods and machines described herein each include a central processing unit, memory unit, disk or other mass storage device, communication unit, input/output (I/O) device, respectively. , and other peripherals, by one or more physical, virtual, or hybrid general-purpose computers. A general purpose computer can be transformed into a machine that performs the methods described herein, for example by loading software instructions into one or more data processing units and executing the instructions to perform the functions described herein. be done. As shown in FIG. 2, some of the computers/servers 220 are interconnected via a local area network (LAN) 210 which in turn is linked via the Internet 210 . Also, each computer/server 220 referred to herein may comprise any collection of computing devices. According to a particular embodiment, system 100 includes a front-end server that receives requests from packet-based network 200, as shown in FIG. These requests may be generated by one or more computers/servers 220 in the packet-based network when providing mobile services to mobile devices. In some embodiments, system 100 further includes a location module coupled to the front end server and configured to detect the location of the mobile device associated with each request. In an embodiment, the location module is further configured to examine the location data in each of the received requests to determine if they contain authoritative latitude/longitude (LL) pairs, wherein the request is authoritative. If not including the pair of LLs that can be used, the position module is described in greater detail in co-pending US Pat. As such, proceed to derive the location of the associated mobile device from other information in the location data. The system 100 is further coupled to the location module to determine whether the detected mobile device location triggers any geographic location in the geographic database and returns the triggered geographic location to the front end server. A geofencing module configured to determine. In certain embodiments, geographic locations include geofences and geoblocks. A geographic database is a spatial database optimized for storing and querying data representing a geographic region or space, and can include spatial data and metadata associated with each geographic region or space.

いくつかの実施形態では、ジオフェンスが様々なエンティティおよび/またはブランドに関連付けられた現実世界の地理的領域を反映する、定義された領域または場所の仮想周辺（周囲）を表す空間データを含む。特定の実施形態による定義された領域は事業位置の周りの静的な円、例えば、POIおよびそれらの位置のリストを提供する、InfoUSA(www.infousa.com)などのオフライン指標データベースを使用して取得されたフェンス、または、近隣境界、通学ゾーン、または区画境界などの事前定義された境界を使用してマーケターによって指定された領域とすることができる。 In some embodiments, geofences include spatial data representing virtual perimeters (perimeters) of defined regions or locations that reflect real-world geographic regions associated with various entities and/or brands. A defined region according to certain embodiments is a static circle around business locations, e.g., using an offline index database such as InfoUSA (www.infousa.com), which provides a list of POIs and their locations It can be an area designated by the marketer using a captured fence or predefined boundaries such as neighborhood boundaries, school zones, or parcel boundaries.

特定の実施形態では、定義された領域が、POIの周辺の地図データを考慮した複数のPOIの各々についての１以上のジオフェンスを含む。例えば、図4に示すように、コストコアルマデンストア401についての１以上の多角形は、店舗の建物の周辺の第1の多角形410、建物およびその駐車場の周辺の第2の多角形420、および/または店舗および他の関心点(POI)を含むショッピング領域または事業領域の周辺の第3の多角形430など、店舗およびその周辺の現実世界の地理的構造および境界に適合する。いくつかの実施形態ではこれらの異なるタイプのジオフェンスがPOIに関してモバイルユーザの異なるレベルの意図、関心、および/または行動などを示すために、関心点(POI)について定義され、これは位置予測目的のために使用することができる。 In certain embodiments, the defined area includes one or more geofences for each of the multiple POIs considering map data around the POI. For example, as shown in FIG. 4, the one or more polygons for a Costco Almaden store 401 are: a first polygon 410 around the store building; a second polygon 420 around the building and its parking lot; and/or conform to real-world geographic structures and boundaries around stores and their surroundings, such as a third polygon 430 around a shopping or business area containing stores and other points of interest (POIs). In some embodiments, these different types of geofences are defined for points of interest (POIs) to indicate different levels of intent, interest, and/or behavior, etc. of mobile users with respect to POIs, which are used for location prediction purposes. can be used for

したがって、ある実施形態では、様々なタイプのジオフェンスが事業に関連付けられ、たとえば、(1) 事業のビルの周辺に対応する多角形(たとえば、図4の第1の多角形410)によって表される事業センタ(BC)、(2) 事業ビルの周辺および隣接する駐車場に対応する多角形(たとえば、図4の第2の多角形420)によって表される事業所構内(BP)、および(3) 事業が位置するショッピングセンターまたは事業または商業エリアの周辺に対応する多角形(たとえば、図4の第3の多角形430)によって表される事業領域(BR)または地域を含むことができる。事業センタがモバイル装置の位置によって誘起される場合、モバイル装置のユーザが実際に事業を訪れることによって事業に関心があることを確実に推論することができる。事業所構内を誘起することは事業所を訪れる意図を良好に示すが、事業センタを誘起することほど強くはない。ユーザが事業領域を誘起する場合、その意図は確かであるが、事業所構内を誘起することからの意図よりも弱いと見なされ得る。 Thus, in some embodiments, various types of geofences are associated with a business, for example: (1) represented by a polygon corresponding to the business's building perimeter (eg, first polygon 410 in FIG. 4); (2) a business premises (BP) represented by a polygon corresponding to the perimeter and adjacent parking lot of the business building (eg, the second polygon 420 in FIG. 4); and ( 3) may include a business area (BR) or region represented by a polygon (eg, third polygon 430 in FIG. 4) corresponding to the perimeter of the shopping center or business or commercial area in which the business is located; If the business center is triggered by the location of the mobile device, it can be reliably inferred that the user of the mobile device is interested in the business by actually visiting the business. Invoking business premises is a good indication of intent to visit the business, but not as strong as invoking business center. If the user invokes a business area, the intent is certain, but may be considered weaker than the intention from invoking the business premises.

図5は、特定の実施形態による、ジオフェンスデータベース内のジオフェンスのいくつかの例を示す。図示のように、アルマデンのコストコはそれに関連するジオフェンスの3つの異なったタイプを有する。フェンスID 19-35175を有するジオフェンスが事業センター(BC)に対応する。事業センタは店舗建物の周りの多角形によって定義され且つ空間指標a1, a2, aiによって表される。フェンスID 19-35176を有するジオフェンスは、その駐車場を含むより大きな構内の周りの多角形であって空間指標b1, b2, bjによって表される多角形に対応する。フェンスID 19-35177を有するジオフェンスは、店舗および他のPOIを含むショッピングセンターの周りの多角形であって空間指標c1, c2, ckによって表される多角形に対応する。フェンスID 19-35177を有するジオフェンスは、ショッピングセンター内の他のPOIの名称/ブランド、ならびにショッピングセンター自体の名称にも関連付けられることに留意されたい。図5はまた、T.J. MaxxがフェンスID 19-35177に関連付けられ、それに関連付けられた2つの他のタイプのフェンスも有し、Trader Joe'sもフェンスID 19-35177に関連付けられ、少なくともそれに関連付けられた事業センタ場所を有することを示す。図5に示すように、ジオフェンスデータベース内の各ジオフェンスエントリは例えば、場所に関連付けられた1つ以上の名称/ブランド、場所の分類（カテゴリ）、特定の場所(例えば、都市、地区など)を識別する場所識別子、場所タイプ、および/または名称/ブランドまたは場所に関連付けられた1つ以上の情報文書(例えば、1つ以上のhtml/ JavaScriptファイル)を識別する1つ以上のdoc IDなど、それぞれの場所に関する何らかのメタデータとともに、それぞれの場所に関連付けられた空間データを含む。ほとんどの場合、POIの名称はそのブランドとして確立されているので、それらは互換的に使用される。議論を容易にするために、POIのブランドは、以下ではジオフェンスデータベース内のPOIに関連する、POIの名称またはブランドのいずれかである。 FIG. 5 shows some examples of geofences in a geofence database, according to certain embodiments. As shown, Almaden's Costco has three different types of geofences associated with it. A geofence with fence ID 19-35175 corresponds to the business center (BC). A business center is defined by a polygon around the store building and represented by spatial indices a1, a2, ai. The geofence with fence ID 19-35176 corresponds to the polygon around the larger campus containing the parking lot and represented by the spatial indices b1, b2, bj. Geofence with Fence ID 19-35177 corresponds to a polygon around a shopping center containing stores and other POIs and represented by spatial indicators c1, c2, ck. Note that the geofence with fence ID 19-35177 is also associated with the name/brand of other POIs within the shopping center, as well as the name of the shopping center itself. Figure 5 also shows that T.J. Maxx is associated with fence ID 19-35177 and also has two other types of fences associated with it, and Trader Joe's is also associated with fence ID 19-35177 and at least the business associated with it. Indicates that it has a center location. As shown in Figure 5, each Geofence entry in the Geofence database can be, for example, one or more names/brands associated with a place, a classification (category) of the place, a specific place (e.g. city, district, etc.) a location identifier that identifies the location, location type, and/or one or more doc IDs that identify one or more information documents (e.g., one or more html/javascript files) associated with the name/brand or location; Contains spatial data associated with each location along with some metadata about each location. In most cases, the POI name is established as its brand, so they are used interchangeably. For ease of discussion, a brand of a POI is hereafter either the name of the POI or the brand associated with the POI in the geofence database.

特定の実施形態では、ジオデータベース内のジオブロックが以下でさらに詳細に説明するように、主要道路、海岸線、山脈などの自然境界を有する地理的領域を表す。図6は、特定の実施形態による例示的なジオブロックを示す。この例ではカリフォルニア州サンタクララ市の領域について、ジオブロックは例えば、グーグルマップから取られた領域の地図の上に重ねられた境界に輪郭が描かれたように示され、ジオブロックの境界は主な道路上の旅行者からのモバイル信号を排除するように道路幅を考慮に入れて、主要道路および自然境界とほとんど整列される。 In certain embodiments, geoblocks in the geodatabase represent geographic regions with natural boundaries such as major roads, coastlines, mountain ranges, etc., as described in further detail below. FIG. 6 shows an exemplary geoblock according to certain embodiments. In this example, for the region of Santa Clara, California, the geoblocks are shown e.g. It is nearly aligned with major roads and natural boundaries, taking into account road widths to eliminate mobile signals from travelers on rough roads.

例えば、Moonlite Shopping Centerを含むジオブロック601はそれぞれ、El Camino Real、Bowers Ave、およびBenton Stの主要道路によって3つの側面が境界を接し、Saratoga Creekによって別の側面が境界を接するように示されている。図6に示されるジオブロックの各々は、より小さい道路によって境界付けられる、より細かいブロックにさらに分割され得る。これらのジオブロックに存在する実世界エンティティは一般的な機能的目的(住宅、小売等)に役立つ傾向がある。これらのブロックは、意図および人口統計のような位置依存属性を高度に示す境界の構築のための基礎を形成する。図7は、特定の実施形態による、ジオデータベース内のジオブロックのいくつかの例を示す。図示のように、それぞれのジオブロックは例えば、ジオブロックが位置する都市／州、ジオブロックの機能(例えば、住宅、小売、レクリエーション、教育など)、ジオブロック内の1つまたは複数の主要なPOI、ならびに、ジオブロックの居住者または訪問者の人口統計、およびジオブロック内の位置データを有する要求の表など、ログされた要求データから導出することができる他の情報を含む、ジオブロックの境界およびメタデータを定義する空間データを含む。 For example, Geoblock 601, which contains the Moonlite Shopping Center, is each shown bounded on three sides by major roads at El Camino Real, Bowers Ave, and Benton St, and bounded on another side by Saratoga Creek. there is Each of the geoblocks shown in FIG. 6 can be subdivided into finer blocks bounded by smaller roads. Real-world entities residing in these geoblocks tend to serve general functional purposes (housing, retail, etc.). These blocks form the basis for the construction of boundaries that are highly indicative of location-dependent attributes such as intent and demographics. FIG. 7 shows some examples of geoblocks in a geodatabase, according to certain embodiments. As shown, each geoblock can, for example, describe the city/state in which the geoblock is located, the function of the geoblock (e.g. residential, retail, recreational, educational, etc.), one or more major POIs within the geoblock. , and geoblock boundaries, including demographics of geoblock residents or visitors, and other information that can be derived from logged request data, such as a table of requests with location data within the geoblock and spatial data that defines metadata.

特定の実施形態では、図8Aに示すように、フロントエンドサーバは例えば、モバイルサービスプロバイダ(MSPまたはMSPサーバ)によって実行されるサーバから、ネットワーク200を介して要求801を受信する。要求801は、要求ID、モバイル装置ID、型/モデル、オペレーティングシステムなどのモバイル装置データ、ユーザID(UID)、年齢、性別、収入区分、教育レベルなどのモバイルエンティティデータ、緯度経度座標(LL)、IPアドレス(IP)、郵便番号(ZC)、および/または都市／州名などの複数の位置成分を含むモバイル装置位置データを含む。前記要求は、他の情報をさらに含むことができる。特定の実施形態では、フロントエンドサーバが位置構成要素の妥当性および一貫性をチェックし、任意の不正な位置構成要素を除外することによって、位置情報を検証する。一般に、LLは、通常、最も有用な位置成分であると考えられる。しかしながら、移動エンティティがその位置情報を知らない場合、MSPサーバにおけるモバイルアプリケーションは典型的には例えば、IPアドレス、ZC(例えば、登録時にユーザによって入力される)、またはCSの形成で粗い位置データのみを提供する。したがって、MSPサーバのモバイルアプリケーションはしばしば、ジオコーディングソフトウェアから得られたLLを提供し、これは、ZC、CS、および他の関心点を1つの代表的なLLに変換する。一実施形態では、そのような代表的なLLが「不良LL」として分類される。不良LLは例えば、ZC/CSの重心、または地図上の任意の固定点(例えば、(0,0)または任意の位置)であり得る。 In particular embodiments, as shown in FIG. 8A, a front-end server receives a request 801 over network 200 from a server run by, for example, a mobile service provider (MSP or MSP server). Request 801 includes request ID, mobile device ID, make/model, mobile device data such as operating system, user ID (UID), mobile entity data such as age, gender, income bracket, education level, latitude longitude coordinates (LL). , IP address (IP), zip code (ZC), and/or city/state name, including mobile device location data including multiple location components. The request may further include other information. In certain embodiments, the front-end server validates location information by checking the validity and consistency of location components and filtering out any incorrect location components. In general, LL is usually considered the most useful positional component. However, if the mobile entity does not know its location information, the mobile application on the MSP server typically only provides coarse location data, e.g. in the form of an IP address, ZC (e.g. I will provide a. Therefore, mobile applications of MSP servers often provide LLs obtained from geocoding software, which transform ZCs, CSs, and other points of interest into one representative LL. In one embodiment, such representative LLs are classified as "bad LLs." A bad LL can be, for example, the centroid of the ZC/CS, or any fixed point on the map (eg, (0,0) or any position).

いくつかの実施形態では、位置モジュールが2015年5月19日に出願された「System and Method for Estimating Mobile Device Locations」という名称の、共同出願の米国特許出願第14/716,816号に開示された技術を使用することによって、不良LLを伴う位置データが次の段階の処理に提供されないように、不良LLを除外するように構成され、その全体が本明細書にて参考として援用される。 In some embodiments, the location module uses the technology disclosed in co-filed U.S. Patent Application Serial No. 14/716,816, entitled "System and Method for Estimating Mobile Device Locations," filed May 19, 2015. is configured to filter out bad LLs so that position data with bad LLs are not provided to the next stage of processing, and is hereby incorporated by reference in its entirety.

位置モジュールはさらに、要求801からモバイル装置の位置を推定し、推定されたモバイル装置位置を表すための位置データを生成するように構成され、これは、図8Bの生成された位置データを伴う処理された要求802に示されるように、緯度/経度ペアまたはモバイル装置が存在すると推定される1つまたは複数の蓋然性のある地域または領域によって表される地理的点であり得る。ジオフェンシングモジュールは緯度/経度ペアまたは1 つ以上の推定領域を使用してジオデータベースを照会し、位置データがジオデータベース内の1 つ以上の地理的場所を誘起するかどうかを判断し、誘起された地理的場所をフロントエンドサーバに返す。特定の実施形態ではフロントエンドサーバが誘起された地理的場所(複数可)で要求801に注釈を付けて、注釈付き要求810を生成し、注釈付き要求810をバッファ1に出力し、これは注釈付き要求810をバッファし、要求ログに出力する。誘起された地理的場所はジオブロック(モバイル装置がジオブロックされた場所にある場合)を含むことができ、図8Cに示すように、推定された位置または推定地域または領域が1つまたは複数のジオフェンス内にあるか、またはそれと重なる場合、1つまたは複数のジオフェンスをさらに含むことができる。説明を容易にするために、地理的場所(例えば、ジオブロックまたはジオフェンス)の誘起は、本明細書では位置イベントと呼ばれることがある。したがって、注釈付き要求は、1つまたは複数の位置イベントを含むことができる。 The location module is further configured to estimate the location of the mobile device from the request 801 and generate location data to represent the estimated mobile device location, which is the process involving the generated location data of FIG. 8B. It may be a geographic point represented by a latitude/longitude pair or one or more probable localities or regions in which the mobile device is estimated to reside, as shown in request 802 . The geofencing module uses latitude/longitude pairs or one or more inferred regions to query the geodatabase to determine whether the location data triggers one or more geographic locations in the geodatabase, and which geodatabases are triggered. geographic location to the front-end server. In particular embodiments, the front-end server annotates request 801 with the geographic location(s) from which it originated, generates annotated request 810, and outputs annotated request 810 to buffer 1, which is the annotation Buffers requests 810 and prints them to the request log. The induced geographic location can include geoblocks (if the mobile device is in a geoblocked location), and the estimated location or estimated region or region can be one or more geoblocks, as shown in FIG. 8C. One or more geofences may also be included if within or overlapping a geofence. For ease of explanation, the triggering of a geographic location (eg, geoblock or geofence) is sometimes referred to herein as a location event. Thus, an annotated request can contain one or more location events.

図9は、特定の実施形態による、要求ログ内の例示的なエントリを示す表である。要求ログ内の各エントリはそれぞれの処理された(または注釈付けされた)要求に一対応し、要求(またはパケット)ID、モバイル装置IDなどのモバイル装置情報、型/モデル、UID、年齢、性別、経度などのモバイルユーザ情報、緯度/経度の対、誘起されたジオフェンスおよび/またはジオブロックを含む位置イベントに関連するデータ、要求時に使用されるモバイルアプリケーション、および要求のタイムスタンプなど、それぞれの注釈付けされた要求内のデータの少なくとも一部を含む。 FIG. 9 is a table showing exemplary entries in a request log, according to certain embodiments. Each entry in the request log corresponds to each processed (or annotated) request and includes request (or packet) ID, mobile device information such as mobile device ID, make/model, UID, age, gender. , longitude, data related to location events including latitude/longitude pairs, triggered geofences and/or geoblocks, the mobile application used at the time of the request, and the timestamp of the request, respectively. Contains at least some of the data in the request that is annotated.

いくつかの実施形態では、図8Aおよび図9に示すように、フロントエンドサーバによってインターネットから受信された要求801はモバイル装置上で実行されるアプリケーションプログラム、要求の時刻(例えば、曜日、時、分など)を示すタイムスタンプ、モバイル装置に戻るための情報のタイプを示唆する1つまたは複数のキーワード、および/またはモバイルユーザ、モバイル装置、および/またはMSPに関連する他の情報など、他の情報ならびに位置情報を含む。場合によっては、位置データによって複数の場所が誘起されることがある。例えば、図4に示すように、コストコアルマデンのBC場所410を誘起する要求は同じ事業領域内のPOIのいずれかのBR場所430、ならびに事業領域(例えば、小売センタまたはショッピングモール)のジオフェンスも誘起する。したがって、要求は、同じ事業領域内の1つまたは複数の他のPOIのBR場所、ならびにコストコアルマデンのBC場所で注釈を付けることができる。事業領域自体について、BR場所はそれに関連付けられた唯一のジオフェンスされた場所であってもよい。したがって、事業領域は関連付けられたBR場所が誘起される限り、誘起される。 In some embodiments, as shown in FIGS. 8A and 9, the request 801 received from the Internet by the front-end server includes an application program running on the mobile device, the time of the request (e.g., day of the week, hour, minute). ), one or more keywords indicating the type of information to return to the mobile device, and/or other information related to the mobile user, the mobile device, and/or the MSP. as well as location information. In some cases, location data may induce multiple locations. For example, as shown in Figure 4, a request to trigger a BC location 410 for Costco Almaden can be a BR location 430 for any of the POIs within the same business area, as well as a geofence for the business area (e.g., retail center or shopping mall). induce. Thus, a request can be annotated with one or more other POI BR locations within the same business area, as well as Costco Almaden's BC location. For the business area itself, the BR location may be the only geofenced location associated with it. Therefore, a business area is triggered as long as the associated BR location is triggered.

誘起されたジオフェンスまたは誘起されたジオブロックを含む位置イベント明は、誘起されたジオフェンスまたはジオブロックに関する情報とともに、注釈付き要求に含まれる。要求がブランドに関連付けられた多数の場所を誘起する場合、最小場所(例えば、BCまたはBP場所)のみが、位置イベントとして含まれる。図8Cに示すように、誘起されたジオフェンスのメタデータ812の一部または全部、および誘起されたジオブロックのメタデータ814の一部または全部を、注釈付き要求810に含めることができる。 Location event descriptions that include triggered geofences or triggered geoblocks are included in the annotated request along with information about the triggered geofences or geoblocks. If the request triggers multiple locations associated with the brand, only the smallest location (eg, BC or BP location) is included as a location event. Some or all of the triggered geofence metadata 812 and some or all of the triggered geoblock metadata 814 may be included in the annotated request 810, as shown in FIG. 8C.

システム100はさらに、フロントエンドサーバから出力された注釈付き要求810を受信し、要求に応答して文書を提供するかどうか、およびネットワーク200を介してMSPサーバ(または別のサーバ)への伝送のためにどの文書を選択するかを決定するために注釈付き要求810を評価するように構成された文書(または情報)サーバを含む。特定の実施形態では、情報サーバはデータベースによって支援されたコンピュータサーバ（例えばウェブサーバ）である。これは、情報スポンサーがその内容を定期的に更新するために使用するものであり、情報文書を格納し得る。情報文書の各々は例えば、html/JavaScriptファイル又はそれへのリンクの形式で記憶されてもよく、これは例えば、バナー(静止画像/アニメーション)又はテキストの形式でモバイル装置にロードされるとき、情報を表示する。特定の実施形態ではシステム100がさらに、オフライン位置予測を生成するように設定された類似予測サブシステム103を含み、これらは文書サーバによって照会するための予測ライブラリに記憶される。また、オンライン(またはリアルタイム)位置予測を生成するように設定されたオンライン予測サブシステム120は以下の詳細で説明されるように、リアルタイムで文書サーバに提供される。いくつかの実施形態では、文書サーバが以下に説明するように、オフライン位置予測および/またはオンライン位置予測、ならびに他の要因に基づいて、注釈付き要求810を評価する。 System 100 also receives annotated requests 810 output from front-end servers and determines whether to provide documents in response to the requests and whether to provide documents over network 200 to the MSP server (or another server). A document (or information) server configured to evaluate annotated requests 810 to determine which documents to select for processing. In particular embodiments, the information server is a computer server (eg, web server) backed by a database. It is used by information sponsors to periodically update its content and may store information documents. Each of the information documents may be stored, for example, in the form of an html/javascript file or a link to it, which, when loaded on a mobile device, for example in the form of a banner (still image/animation) or text, contains information display. In certain embodiments, system 100 further includes a similarity prediction subsystem 103 configured to generate offline location predictions, which are stored in a prediction library for querying by document servers. Also, an online prediction subsystem 120 configured to generate an online (or real-time) location prediction is provided to the document server in real-time, as described in detail below. In some embodiments, the document server evaluates the annotated request 810 based on offline and/or online location predictions, as well as other factors, as described below.

特定の実施形態ではMSPへの送信のために選択された文書が例えば、html/JavaScriptファイル、またはURLへのリンクの形態で提供することができ、これはMSPまたはモバイル装置がhtml/JavaScriptファイルを取り出すために使用することができる。html/JavaScriptファイルはいったんモバイル装置上に表示またはインプレッションされると、関心のあるユーザがウェブページにアクセスしたり、モバイル装置を使用して電話をかけたりするためにクリックできる1つ以上のリンクを含むこともできる。ウェブページは、モバイル装置のユーザがアプリのダウンロードまたはオンライン購入のような二次的なアクションをとることを可能にする。 In certain embodiments, the document selected for transmission to the MSP may be provided, for example, in the form of an html/JavaScript file, or a link to a URL, which the MSP or mobile device may use to retrieve the html/JavaScript file. can be used to retrieve. The html/javascript file, once displayed or impressiond on a mobile device, provides one or more links that interested users can click to access a web page or make a phone call using their mobile device. can also include The web page allows the mobile device user to take secondary actions such as downloading an app or making an online purchase.

特定の実施形態では、html/JavaScriptファイルは、それがモバイル装置上に表示またはインプレッションされるときに信号がMSPサーバまたはモバイル装置によって文書サーバへ直接的に、又は、他のサーバ（例えばMSPサーバ）を介して送信されるように設計される。このため、文書サーバは、ファイルが実際のモバイル上でインプレッションされたか否かを追跡することができる。特定の実施形態では、機構はまた、1つ以上のリンクのいずれかがクリックされたとき、またはモバイルユーザがアプリをダウンロードしたり、リンクされたウェブページから購入したりしたとき、文書サーバがインプレッションに応じて行われたクリック/コールまたは二次動作を追跡できるように、信号が直接的または間接的に、モバイル装置から文書サーバにバックグラウンドで送信される。文書サーバはこのようなフィードバックイベント(即ち、インプレッション、クリック/コール、及び二次動作)のデータをバッファ2に提供し、バッファし、データをフィードバックログに出力する。図10は、特定の実施形態による、フィードバックログ内の例示的なエントリを示す表である。 In certain embodiments, the html/javascript file is signaled by the MSP server or mobile device directly to the document server or to another server (e.g., the MSP server) when it is displayed or impressiond on the mobile device. designed to be sent via Thus, the document server can track whether a file was impressioned on a real mobile. In certain embodiments, the mechanism also allows the document server to generate impressions when any of the one or more links are clicked, or when a mobile user downloads an app or makes a purchase from a linked webpage. Signals are sent in the background, directly or indirectly, from the mobile device to the document server so that clicks/calls or secondary actions made in response can be tracked. The document server provides data of such feedback events (ie, impressions, clicks/calls, and secondary actions) to buffer 2, buffers it, and outputs the data to the feedback log. FIG. 10 is a table showing exemplary entries in a feedback log, according to certain embodiments.

したがって、要求内の生の位置データは、処理済み要求内のブランドおよびジオブロックに変換される。要求ログに記録されたデータと、ある期間(例えば、6ヶ月)にわたって収集されたフィードバックログとは、モバイル装置データの大きな集合(例えば、何百万の注釈付き要求およびインプレッション/クリック/コールイベント)を形成する。これらのデータの規模は、通常、意味のある位置予測のために直接的に使用するには大きすぎる。いくつかの実施形態では、類似予測サブシステム103が位置データから特徴およびラベルを抽出することによってロギングされたデータの規模を低減し、特徴およびラベルを使用して1つまたは複数の予測モデルを訓練し、予測モデルを適切な特徴空間に適用してオフライン予測を取得するように構成される。図1に示すように、類似予測サブシステム103は、データマネージャ、モバイル装置データベース、機能生成部、機能/ラベルデータベース、訓練モジュール、予測モデルライブラリ、オフライン予測モジュール、インデクサ、および指標付き予測ライブラリを含む。 Therefore, raw location data in the request is transformed into brands and geoblocks in the processed request. Data recorded in request logs and feedback logs collected over a period of time (e.g. 6 months) represent large collections of mobile device data (e.g. millions of annotated requests and impression/click/call events) to form The scale of these data is usually too large to be used directly for meaningful position prediction. In some embodiments, the similarity prediction subsystem 103 reduces the size of the logged data by extracting features and labels from the location data, and uses the features and labels to train one or more prediction models. and apply the prediction model to the appropriate feature space to obtain offline predictions. As shown in FIG. 1, the similar prediction subsystem 103 includes a data manager, mobile device database, feature generator, feature/label database, training module, prediction model library, offline prediction module, indexer, and indexed prediction library. .

特定の実施形態では、フロントエンドサーバが入ってくる要求を引き続き受信し処理する間、類似予測サブシステム103は図11に示す方法1100を実行するように構成される。図11のブロック1110～1130に記載され、さらに図12に示されるように、データマネージャは、事前定義された期間内に要求データからユーザ空間1200を定義するように構成される。ユーザ空間1200は例えば、要求ログ内の所定の期間(例えば、最後の6ヶ月)のタイムスタンプと関連付けられた所定の数を超える要求を有するなど、特定の要件を満たすモバイル装置を含むことができる。ユーザ空間1200内のユーザは、シードリスト1210内のユーザと重複する必要がある。データマネージャはさらに、ユーザ空間内のモバイル装置の少なくとも一部を含むサンプル空間を定義するように構成される。サンプル空間内のモバイル装置は、サンプル空間内のモバイル装置のそれぞれがシードリストに関連付けられた類似発見明細（関連付けられたモバイルユーザの特定の年齢および/または性別グループ）又はモバイル装置の位置についての特定の要件（これは、シードリストを含む外部提供ファイルにて指定されてよい）を満たすように、選択されてよい。したがって、シードリストに関連付けられた類似発見明細の要件を満たさないモバイル装置1201のうちのいくつかが切り取られ、ユーザの残りの部分がサンプル空間1220を形成するように残される。ユーザ空間1200にないシードモバイル装置もサンプル空間1220に含まれない。次に、データマネージャはサンプル空間1220内のユーザの小さな割合(例えば、サンプル空間の大きさに応じて2%～10%)とシードリスト内のユーザのおよそ等しいパーセンテージとをランダムに選択し、選択されたユーザを訓練区分(または訓練セット)1221および評価区分(または評価セット)1222に区分する。例えば、選択されたユーザの80%が訓練区分を形成し、選択されたユーザの20%が評価区分を形成する。特定の実施形態では、選択されたユーザのすべてが訓練区分として使用される。 In particular embodiments, the similarity prediction subsystem 103 is configured to perform the method 1100 shown in FIG. 11 while the front-end server continues to receive and process incoming requests. As described in blocks 1110-1130 of FIG. 11 and further illustrated in FIG. 12, the data manager is configured to define user space 1200 from the requested data within a predefined period of time. User space 1200 may include mobile devices that meet certain requirements, such as having more than a predetermined number of requests associated with timestamps of a predetermined period (e.g., last 6 months) in the request log. . Users in user space 1200 should overlap with users in seed list 1210 . The data manager is further configured to define a sample space that includes at least a portion of the mobile device within the user space. The mobile devices in the sample space each have a similar discovery specification associated with the seedlist (a particular age and/or gender group of associated mobile users) or specific about the location of the mobile device. (which may be specified in the externally provided file containing the seedlist). Accordingly, some of the mobile devices 1201 that do not meet the requirements of the similar finding specification associated with the seedlist are clipped, leaving the remainder of the user to form sample space 1220. FIG. Seed mobile devices not in user space 1200 are also not included in sample space 1220 . The data manager then randomly selects a small percentage of the users in the sample space 1220 (eg, 2%-10% depending on the size of the sample space) and an approximately equal percentage of the users in the seedlist and selects We partition the trained users into a training segment (or training set) 1221 and an evaluation segment (or evaluation set) 1222 . For example, 80% of the selected users form the training segment and 20% of the selected users form the evaluation segment. In certain embodiments, all of the selected users are used as training segments.

図11のブロック1140に記載されているように、データマネージャはさらに、事前定義された期間内のタイムスタンプを有する要求ログ内のエントリから、事前定義された期間内の位置イベントに対応する1組のモバイル装置データを抽出するように構成されている。特定の実施形態では、図13に示すように、データマネージャは複数のモバイル装置のそれぞれのモバイル装置について、モバイル装置に関連付けられ、所定の期間(例えば、過去6ヶ月)のタイムスタンプを有する処理済み要求を検索するように構成された検索エンジンと、検索エンジンからの出力をバッファするように構成されたバッファとを含む。複数のモバイル装置は、訓練区分および評価区分内のモバイル装置、ならびにサンプル空間の残りの部分内のモバイル装置の一部または全部を含むことができる。データマネージャは予め設定された時間間隔(例えば、1時間)内の同じ場所でモバイル装置によって誘起された連続するタイムスタンプに対応する複数の位置イベントが単一の位置イベントに低減されるように、バッファされたデータを圧縮する圧縮部をさらに含む。例えば、図9に示すように、UID 36***412を有するモバイル装置は、１時間以内の異なる時刻に、同じジオフェンスB175及び同じジオフロック396841を誘起した。ジオフェンスまたはジオブロックに関連する2つのイベントは単一のイベントに低減され、最も早いタイムスタンプから1時間以内に最も早いタイムスタンプと最も遅いタイムスタンプとの間の差を使用して計算された持続時間を有するタイムスタンプのうちの1つ(例えば、最も早いタイムスタンプ)において誘起されたジオフェンスまたはジオブロックに対するモバイル装置による単一の訪問を示す。モバイル装置による他の位置イベントが、同じ場所ではあるが、最も早いタイムスタンプから予め設定された時間間隔を超えるタイムスタンプを有すると、モバイル装置によるその場所への他の訪問であると考慮される（仮に、モバイル装置がずっと同一の場所に滞在した場合であっても）。 As described in block 1140 of FIG. 11, the data manager also retrieves a set of corresponding location events within the predefined time period from entries in the request log having timestamps within the predefined time period. of mobile device data. In certain embodiments, as shown in FIG. 13, the data manager provides for each mobile device of a plurality of mobile devices a processed data associated with the mobile device and having a time stamp of a predetermined time period (eg, last 6 months). It includes a search engine configured to search requests and a buffer configured to buffer output from the search engine. The plurality of mobile devices can include some or all of the mobile devices in the training segment and the evaluation segment, as well as the remainder of the sample space. The data manager is configured so that multiple location events corresponding to consecutive timestamps triggered by the mobile device at the same location within a preset time interval (e.g., 1 hour) are reduced to a single location event. It further includes a compressor for compressing the buffered data. For example, as shown in Figure 9, a mobile device with UID 36***412 induced the same Geofence B175 and the same Geoflock 396841 at different times within an hour. Two events associated with a geofence or geoblock were reduced to a single event, calculated using the difference between the earliest and latest timestamp within 1 hour from the earliest timestamp A single visit by a mobile device to a geofence or geoblock triggered at one of the timestamps with duration (eg, the earliest timestamp) is shown. If another location event by the mobile device is at the same location but has a timestamp that exceeds a preset time interval from the earliest timestamp, it is considered another visit to that location by the mobile device. (Even if the mobile device stays in the same place all the time).

特定の実施形態では、検索エンジンが、関連するブランドに応じて、特定のタイプのジオフェンスを有する位置イベントのみを検索するように構成することができる。例えば、特定のブランドについては、誘起されたBC場所を有する位置イベントのみがこれらのブランド/名称への訪問と見なされ、特定の他のブランドについては誘起されたBP場所を有する位置イベントがこれらのブランドへの訪問と見なされるのに十分である。小売センタまたはショッピングモールなどの一部のブランドについては誘起れたBR場所を有する位置イベントがこれらのブランドへの訪問と見なされる。 In certain embodiments, a search engine may be configured to search only for location events with certain types of geofences depending on the associated brand. For example, for certain brands only location events with triggered BC location are considered visits to those brands/names, and for certain other brands location events with triggered BP location are considered visits to these Enough to be considered a visit to the brand. For some brands, such as retail centers or shopping malls, location events with triggered BR locations are considered visits to those brands.

データマネージャはさらに、モバイル装置のための圧縮された位置イベントを記憶する別のバッファと、位置イベントを集約してモバイル装置のための期間内の位置イベントに対応する一組のモバイル装置データを形成するように構成された集約部とを含む。図14に示すように、UID36***412を有するモバイル装置についてのモバイル装置データ1410は例えば、年齢、性別、教育レベル、および型/モデル、オペレーティングシステムなどの他の情報などの装置とユーザとのメタデータを含んでよく、期間中にモバイル装置によって誘起された各ジオブロックに関連付けられた集約位置イベント、期間中にモバイル装置によって誘起された各ブランドに関連付けられた集約位置イベント、期間中にモバイル装置にインプレッションされた1つまたは複数の文書に関連付けられた集約フィードバックイベント、および期間中にモバイル装置上で使用されたモバイルアプリケーションに関連付けられた集約使用データを含んでよい。ある実施形態では、位置イベント812がブランドを含むときに、ブランドが誘起される。あるいは上述のように、ブランドが多数のタイプのフェンスを使用する場合、位置イベント812が訓練される予想モデルに対して指定されたブランド及びフェンスタイプを含むとき、ブランドは誘起される。 The data manager further includes another buffer storing compressed location events for the mobile device and aggregating the location events to form a set of mobile device data corresponding to the location events within the time period for the mobile device. and an aggregator configured to. As shown in FIG. 14, the mobile device data 1410 for the mobile device with UID 36***412 may include, for example, age, gender, education level, and other information such as make/model, operating system, etc., between the device and the user. aggregate location events associated with each geoblock triggered by the mobile device during the time period; aggregate location events associated with each brand triggered by the mobile device during the time period; It may include aggregate feedback events associated with one or more documents impressions on the mobile device and aggregate usage data associated with mobile applications used on the mobile device during the time period. In some embodiments, a brand is triggered when the location event 812 includes the brand. Alternatively, as described above, if a brand uses multiple types of fences, the brand is triggered when the location event 812 contains the brand and fence type specified for the predictive model being trained.

特定の実施形態では、各誘起されたジオブロック(例えば、GBx)またはブランド(例えば、Bx)に関連する集約された位置イベントは例えば、その期間中のジオブロックまたはブランドへの訪問の回数、その期間中の最後の訪問時間、訪問当たりの平均の滞在の長さなどを含む。特定の実施形態では、ジオブロックまたはブランドへの訪問の回数が朝(午前6:00～午後12:00)、午後(午後12:00～午後6:00)および夕方(午後6:00～午前6:00)などの1日の間の複数のタイムブロック(TBI、TB2、TB3として示される)に分割される。同様に、その間にモバイル装置上で使用されるそれぞれのモバイルアプリケーションに関連する使用データが、同様に集約される。期間中にモバイル装置にインプレッションされた1つまたは複数の文書(たとえば、Docx)のそれぞれに関連する集約フィードバックイベントはたとえば、その期間中にモバイル装置上で行われた文書のインプレッション数、インプレッションされた文書上で行われたモバイル装置のクリック/コールの数、およびインプレッションされた文書に応じてモバイル装置で行われた二次動作の数を含むことができる。これらの数は、異なる時間ブロックの間で分割することもできる。 In certain embodiments, the aggregated location event associated with each triggered geoblock (eg, GBx) or brand (eg, Bx) includes, for example, the number of visits to the geoblock or brand during that period, the Including time of last visit in period, average length of stay per visit, etc. In certain embodiments, the number of visits to a geoblock or brand is determined in the morning (6:00am-12:00pm), afternoon (12:00pm-6:00pm) and evening (6:00pm-am 6:00) are divided into multiple time blocks (denoted as TBI, TB2, TB3) during the day. Similarly, usage data associated with each mobile application used on the mobile device in the meantime is similarly aggregated. Aggregated feedback events related to each of one or more documents (e.g., Docx) that were impressions on a mobile device during the time period are, for example, the number of impressions of the document that were It can include the number of mobile device clicks/calls made on the document and the number of secondary actions taken on the mobile device in response to the document being impressed. These numbers can also be divided between different time blocks.

データマネージャは複数のモバイル装置毎に上記の検索・圧縮・集約処理を行い、複数のモバイル装置に対する圧縮・集約データをモバイル装置データベースに記憶するように構成される。ある実施形態では、図14に示すように、モバイル装置データベース内の記憶空間を削減するために、各モバイル装置(たとえば、UID36***412を有するモバイル装置)および各期間(たとえば、期間)の圧縮および集約されたデータがテキスト列1420としてモバイル装置データベース内に記憶される。 The data manager is configured to perform the above retrieval, compression and aggregation processes for each of the plurality of mobile devices and store the compressed and aggregated data for the plurality of mobile devices in the mobile device database. In one embodiment, as shown in FIG. 14, to reduce storage space in the mobile device database, each mobile device (eg, mobile device with UID36***412) and each period (eg, period) The compressed and aggregated data is stored as text strings 1420 in the mobile device database.

図6は、数十のジオブロックのみを示す。実際には、地図には数十万または数百万ものジオブロックが存在し得る。そのため、このような多数のジオブロックのそれぞれでイベントが個別に考慮される場合、特徴セットまたはデータの大きさが大きすぎて管理できない蓋然性がある。例えば、各ジオブロックへの訪問頻度を単一の特徴としてとる単純なアプローチは多数のまばらな特徴をもたらし、機械学習性能の低減につながる。さらに、大部分のブロックはシードモバイル装置によって訪問されないか、またはめったに訪問されないので、これらのブロックに関連するイベントは類似の発見処理にとって関心が無く、ノイズおよびエラーを引き起こす蓋然性がある。POIやブランドについても同様である。 Figure 6 shows only a few dozen geoblocks. In practice, there may be hundreds of thousands or millions of geoblocks on the map. As such, if events are considered individually in each of such a large number of geoblocks, the size of the feature set or data is likely to be too large to manage. For example, a naive approach of taking the frequency of visits to each geoblock as a single feature results in a large number of sparse features, leading to reduced machine learning performance. Furthermore, since most blocks are not or rarely visited by seed mobile devices, events associated with these blocks are of no interest to similar discovery processes and are likely to cause noise and errors. The same is true for POIs and brands.

したがって、ある実施形態では、複数の地理的領域(たとえば、ジオブロックおよびジオフェンス)が単一のエンティティとして一緒にグループ化され、それぞれのグループへの訪問イベントが集約される。ブランドについては、グループ化基準は、POIメタ情報および空間分布（例えば、同じ小売ブランドの店、同じ空間クラスター内のレストラン）を考慮したものを含む。ジオブロックは、特定のグループ化規則を構築するのに充分なメタ情報を有していない。代わりに、グループ化は、サンプル空間におけるシードモバイル装置とモバイル装置との間の比較の分析を通して達成され得る。たとえば、領域に関するスコアまたは関連性の測定値は、領域に関連する位置イベントに関連する訓練区分内のシードモバイル装置の数と、領域に関連する位置イベントに関連する訓練区分内のすべてのモバイル装置の数との比率をとることによって、ジオブロックごとに計算することができる。次いで、地理的領域は、スコアを使用して順位付けされ、バケツ（buckets）に分割される。 Thus, in some embodiments, multiple geographic regions (eg, geoblocks and geofences) are grouped together as a single entity, and visit events to each group are aggregated. For brands, grouping criteria include those that consider POI meta-information and spatial distribution (eg, stores of the same retail brand, restaurants within the same spatial cluster). Geoblocks do not have enough meta-information to build specific grouping rules. Alternatively, grouping can be achieved through analysis of comparisons between seed mobile devices and mobile devices in sample space. For example, a score or relevance measure for a region may be the number of seed mobile devices in the training segment associated with the location event related to the region and all mobile devices in the training segment related to the location event related to the region. can be calculated per geoblock by taking the ratio with the number of The geographic regions are then ranked using the scores and divided into buckets.

いくつかの実施形態では図11のブロック1150に記載されるように、類似予測サブシステム103は図15に示される特徴エンジニアリング処理1500に従って、複数のモバイル装置のそれぞれにつき特定のシードリストに対応する特徴の集合をエンジニアリング（設計）するように構成された特徴エンジニアリングモジュールをさらに含む。特定の実施形態では、シードリストに関連付けられた明細が、関心のある1つまたは複数の位置を含むことができる。1つまたは複数の位置は例えば、地理データベース内の1つまたは複数のブランドまたは1つまたは複数の分類に関連付けられた1つまたは複数のジオフェンスに対応することができる。1つまたは複数の関心位置は、本明細書では位置グループと呼ばれる。 In some embodiments, as described in block 1150 of FIG. 11, the similarity prediction subsystem 103 follows the feature engineering process 1500 shown in FIG. further comprising a feature engineering module configured to engineer the set of . In certain embodiments, the specification associated with the seedlist may include one or more locations of interest. One or more locations may correspond to, for example, one or more geofences associated with one or more brands or one or more taxonomies in a geographic database. One or more locations of interest are referred to herein as a location group.

図15に示されるように、特徴エンジニアリングモジュールは図15のブロック1505に記載されるように、1組のジオブロックを選択し、シードリストに対するジオブロックの各々についての関連性測定値を決定するように構成される。特定の実施形態では、類似発見処理に対する特定のジオブロックの関連性は、関連付けられたスコアまたは関連性測定値によって表すことができる。ジオブロックに関する関連性測定値は、以下でさらに詳細に論じるように、様々な関連性または実績メトリックのいずれかを使用して決定することができる。例えば、シードリストに対する特定のジオブロックの関連性は、訓練区分全体のいずれかのモバイルユーザを伴う特定のジオブロックにおける位置イベントの総数と比較して、シードリストと訓練区分とにおける任意のモバイル装置を含む特定のジオブロックにおける位置イベントの数によって決定することができる。別の事例として、シードリストに関するジオブロックの関連性測定値は、ロギングされた要求データまたは抽出されたモバイル装置データを使用してジオブロックを誘起した訓練区分における別個のモバイル装置の数を決定することによって決定することができる。関連性測定値は単に、シードリスト上にある別個のモバイル装置の数の割合とすることができる。 As shown in FIG. 15, the feature engineering module selects a set of geoblocks and determines a relevance measure for each of the geoblocks to the seedlist, as described in block 1505 of FIG. configured to In certain embodiments, the relevance of a particular geoblock to the similarity finding process can be represented by an associated score or relevance measure. Relevance measures for geoblocks can be determined using any of a variety of relevance or performance metrics, as discussed in more detail below. For example, the relevance of a particular geoblock to the seedlist can be compared to the total number of location events in a particular geoblock with any mobile user in the entire training segment for any mobile device in the seedlist and the training segment. can be determined by the number of location events in a particular geoblock containing As another example, a geoblock relevance measure for a seedlist determines the number of distinct mobile devices in a training segment that induced geoblocks using logged request data or extracted mobile device data. can be determined by A relevance measure can simply be a percentage of the number of distinct mobile devices on the seed list.

いくつかの実施形態では、特徴エンジニアリングモジュールが図15のブロック1510に記載されるように、選択されたジオブロックを、それらのそれぞれの関連性測定値に従っていくつかのジオブロック(GB)区分に割り当てるようにさらに構成される。特定の実施形態では、選択されたジオブロックが、各々が関連性測定値の別個の範囲に対応するいくつかのジオブロック区分に分割される。例えば、図16に示すように、2000個の選択されたジオブロックがあり、これは1つ以上の標的地理的領域内のすべてのジオブロックとすることができるし、100個のジオブロック区分(例えば、GBB1、GBB2、GBB100)があり、GBB1内のジオブロックは関連性測定値が最も高い20個のジオブロックを含むことができるし、GBB2内のジオブロックは次に関連性測定値が最も高い20個のジオブロックを含むことができる、などとする。ジオブロックをジオブロック区分に割り当てることにより、データの規模が大幅に低減される。 In some embodiments, the feature engineering module assigns the selected geoblocks to several geoblock (GB) partitions according to their respective relevance measures, as described in block 1510 of FIG. is further configured as In certain embodiments, a selected geoblock is divided into several geoblock partitions, each corresponding to a distinct range of relevance measures. For example, as shown in Figure 16, there are 2000 selected geoblocks, which can be all geoblocks within one or more target geographic regions, and 100 geoblock divisions ( GBB1, GBB2, GBB100), the geoblocks in GBB1 can contain the 20 geoblocks with the highest relevance measure, and the geoblocks in GBB2 have the next highest relevance measure. It can contain as many as 20 geoblocks, and so on. By assigning geoblocks to geoblock partitions, the size of the data is greatly reduced.

特定の実施形態では、特徴エンジニアリングモジュールは、ブランドのセット（これは図15のブロック1505に記載されているように、例えば、充分なデータ密度を可能にするためにモバイルユーザがかなり大量に訪れる比較的大きなブランド(BB)のセットとすることができる）を選択するようにさらに構成される。どれだけ多くのブランドが選択されるかに応じて、特徴エンジニアリングモジュールは図15のブロック1520に記載されるように、選択された巨大ブランドを、それぞれの関連性測定値に従って、いくつかの巨大ブランド(BB)区分に割り当てるようにさらに構成されてもよい。特徴エンジニアリングモジュールは、シードリストに関して、選択された各ブランドについての関連性測定値を決定するように構成されてもよい。ブランドの関連性測定値はログされた要求データまたは抽出されたモバイル装置データを使用して、上述したように、ジオブロックの関連性測定値として決定することができる。 In certain embodiments, the feature engineering module uses a set of brands (which are, as described in block 1505 of FIG. 15, e.g., comparisons frequently visited by mobile users to allow for sufficient data density). (which can be a set of large brands (BB)). Depending on how many brands are selected, the feature engineering module divides the selected mega-brands into several mega-brands according to their respective relevance measures, as described in block 1520 of FIG. It may be further configured to assign to the (BB) partition. The feature engineering module may be configured to determine a relevance measure for each selected brand with respect to the seedlist. Brand relevance measures can be determined as geoblock relevance measures, as described above, using logged request data or extracted mobile device data.

幾つかの実施形態ではジオブロックをジオブロック区分に割り当てるのと同様に、上述のように、選択されたブランドは、各々が関連性測定値の別個の範囲に対応する多数の巨大ブランド区分(BBB)に分割される。例えば、1000個の選択されたブランドがあり、20個の大きなブランド区分(例えば、BBB1、BBB2、BBB20)があると仮定すると、BBB1のブランドは最も高い関連性測定値を有する50個のブランドを含むことができ、BBB2のブランドは次に高い関連性測定値を有する50個のジオブロックを含むことができ、以下同様である。巨大ブランドを選択し、任意選択で巨大ブランド区分に割り当てることにより、データの規模がさらに低減される。 Similar to assigning geoblocks to geoblock divisions in some embodiments, as described above, the selected brands are divided into multiple big brand divisions (BBB ). For example, assuming there are 1000 selected brands and 20 large brand divisions (e.g. BBB1, BBB2, BBB20), the brand in BBB1 selects the 50 brands with the highest relevance measure. BBB2 brand may include the 50 geoblocks with the next highest relevance measure, and so on. By selecting giant brands and optionally assigning them to giant brand categories, the size of the data is further reduced.

特徴エンジニアリングモジュールはさらに、モバイル装置に関連付けられ、訓練期間に対応するモバイル装置データを使用して、複数のモバイル装置のそれぞれについて1組の特徴を構築するように構成される。図15に示すように、特徴エンジニアリングモジュールは複数のユーザの中からユーザを選択し(ブロック1525)、ユーザのための各ジオブロック区分に関連する特徴を生成し(ブロック1530)、ユーザのためのシードリストに関連する特別なジオブロックに関連する特徴を生成し(ブロック1535)、ユーザのための最も頻繁に訪れたジオブロック(MFVGB1、MFVGB-n)の組を識別し、ユーザのためのMFVGBのそれぞれに関連する特徴を生成し(ブロック1540)、ユーザのための各BBまたはBB区分(BBB)に関連する特徴を生成し(ブロック1545)、ユーザのための1つまたは複数の他の特徴を生成する(ブロック1550)ように構成される。特定の実施形態では、MFVGBのセットが小売、住宅、工業等の複数のジオブロック機能の各々からのMFVGBを含むことができる。したがって、MFVGBは、モバイルユーザの家庭であり得る住宅用MFVGB、モバイルユーザの職場であり得る産業用MFVGB、および個人が買い物の大部分を行う場所であり得る小売用MFVGBなどを含み得る。 The feature engineering module is further configured to use mobile device data associated with the mobile devices and corresponding to the training period to construct a set of features for each of the plurality of mobile devices. As shown in Figure 15, the feature engineering module selects a user from among a plurality of users (block 1525), generates features associated with each geoblock partition for the user (block 1530), Generate special geoblock related features associated with the seedlist (block 1535) to identify the set of most frequently visited geoblocks (MFVGB1, MFVGB-n) for the user and MFVGB for the user. (Block 1540), generate features associated with each BB or BB partition (BBB) for the user (Block 1545), and generate one or more other features for the user (block 1550). In certain embodiments, a set of MFVGBs may include MFVGBs from each of multiple geoblock functions such as retail, residential, industrial, and the like. Thus, MFVGBs may include residential MFVGBs, which may be the mobile user's home, industrial MFVGBs, which may be the mobile user's workplace, and retail MFVGBs, which may be where individuals do most of their shopping, and the like.

図17は、その間のUID52**256を有するモバイル装置のための特徴の集合を例として示す。図16に示すように、特徴の組は、装置/ユーザメタデータを含むことができる。ジオブロック区分(GBB1、GBB2、GBBm)のそれぞれのGBBに関連する特徴は、期間中のGBB内の任意のジオブロックへの訪問の回数、期間中のGBB内の任意のジオブロックへの最後の訪問の時間、期間中のGBB内の任意のジオブロックへの訪問当たりの平均滞在期間などを含む。特定の実施形態では、GBBへの訪問の回数が朝(午前6:00～午後12:00)、午後(午後12:00～午後6:00)および夕方(午後6:00～午前6:00)などの1日の間の複数の時間ブロック(TBI、TB2、TB3として示される)に分割される。 FIG. 17 shows, by way of example, a set of features for a mobile device with UID 52**256 in between. As shown in FIG. 16, the feature set can include device/user metadata. Each GBB-related feature of a geoblock division (GBB1, GBB2, GBBm) is the number of visits to any geoblock within the GBB during the period, the number of visits to any geoblock within the GBB during the period Including time of visit, average length of stay per visit to any geoblock within the GBB during the period, etc. In certain embodiments, the number of visits to the GBB are morning (6:00am-12:00pm), afternoon (12:00pm-6:00pm) and evening (6:00pm-6:00am) ) during the day (denoted as TBI, TB2, TB3).

同様に、ビッグブランド(BB1、BB2、BBm)または巨大ブランド区分(BBB1、BBB2、BBBm)のそれぞれのBBまたはBBBに関連する特徴は、期間中のBBBまたはBBB内の任意のブランドへの訪問の回数、期間中のBBBまたはBBB内の任意のブランドへの最後の訪問、期間中のBBBまたはBBB内の任意のブランドへの訪問当たりの平均滞在期間などを含む。特定の実施形態では、BBまたはBBB内の任意のブランドへの訪問回数が朝(午前6:00～午後12:00)、午後(午後12:00～午後6:00)および夕方(午後6:00～午前6:00)などの1日の間の複数の時間ブロック(TBI、TB2、TB3として示される)に分割される。特別なジオブロックは例えば、小売用ジオブロックを含むことができる。小売ジオブロックはその関連するメタデータによって示されるように、小売機能を有するジオブロックである。特定の実施形態では、選択されたジオブロックの中の小売ジオブロックに関連する特徴が、重み付けされた訪問および正味の訪問数を含む。正味訪問数は、モバイル装置に関連付けられたモバイル装置データを使用して決定され、期間に対応する、期間内の小売ブロックのいずれかにモバイル装置を用いて行われた訪問数である。重み付け訪問数は、小売ジオブロックの各々への訪問数に小売ジオブロックの重みを乗じた加重和である。小売ジオブロックの重みは、予め選択された期間中に小売ジオブロックを誘起した第5の数の別個のモバイル装置と、小売ジオブロックを誘起し、同じ期間中にシードリスト内の位置のいずれかに関連付けられたブランドを誘起した第6の数のモバイル装置とに基づいて、計算することができる。重みは単に、第6の数と第5の数との比、または2つの数および/または他の要因の何らかの他の組合せとすることができる。第6の数と第5の数は、記録された要求データまたは抽出されたモバイル装置データを使用して決定できる。 Similarly, the BB or BBB-related characteristics of big brands (BB1, BB2, BBm) or giant brand segments (BBB1, BBB2, BBBm), respectively, are the number of visits to the BBB or any brand within the BBB during the period. including number of times, last visit to the BBB or any brand within the BBB during the period, average length of stay per visit to the BBB or any brand within the BBB during the period, etc. In certain embodiments, the number of visits to the BB or any brand within the BBB is 00 to 6:00 am) during the day is divided into multiple time blocks (denoted as TBI, TB2, TB3). Special geoblocks can include, for example, retail geoblocks. A retail geoblock is a geoblock that has retail functionality, as indicated by its associated metadata. In certain embodiments, the features associated with retail geoblocks among the selected geoblocks include weighted visits and net visits. Net visits are the number of visits made with the mobile device to any of the retail blocks within the time period corresponding to the time period, as determined using mobile device data associated with the mobile device. The weighted visits is the weighted sum of the visits to each of the retail geoblocks multiplied by the weight of the retail geoblock. The retail geoblock weight is either the fifth number of distinct mobile devices that triggered the retail geoblock during a preselected time period and the locations in the seed list that triggered the retail geoblock during the same time period and a sixth number of mobile devices that induced a brand associated with. The weight can simply be the ratio of the sixth number to the fifth number, or some other combination of the two numbers and/or other factors. The sixth and fifth numbers can be determined using recorded request data or extracted mobile device data.

特定の実施形態では、最も頻繁に訪問されるジオブロック(MFVGB)が他の選択されたジオブロックと比較してモバイル装置からの訪問回数が最も多いジオブロックである。MFVGBに関連する特徴は例えば、その間のモバイル装置によるMFVGBへの訪問回数、及びMFVGBからシードリスト内の位置の中で最も近い位置までの距離を含むことができる。特定の実施形態では、MFVGBへの訪問回数が朝(午前6:00～午後12:00)、午後(午後12:00～午後6:00)および夕方(午後6:00～午前6:00)などの1日の間に複数の時間ブロック(TBI、TB2、TB3として示される)に分割される。 In certain embodiments, the most frequently visited geoblock (MFVGB) is the geoblock that has been visited the most by mobile devices compared to other selected geoblocks. Features associated with the MFVGB may include, for example, the number of visits to the MFVGB by mobile devices during that time, and the distance from the MFVGB to the closest location in the seedlist. In a particular embodiment, the number of visits to MFVGB is in the morning (6:00am-12:00pm), afternoon (12:00pm-6:00pm) and evening (6:00pm-6:00am) etc. is divided into multiple time blocks (denoted as TBI, TB2, TB3) during the day.

いくつかの実施形態では、モバイル装置のための特徴の組がモビリティ特徴およびフィードバック特徴などの他の特徴を含むことができる。モビリティ特徴は例えば、期間中にモバイル装置によって誘起された複数の別個のブランドと、期間中に誘起されたジオブロックのすべてへの訪問の合計に対する、モバイル装置によって誘起された複数の別個のジオブロックのGB比率とを含むことができる。フィードバック特徴は例えば、その期間中にモバイル装置上のシードリストに関連する1つ以上の文書のインプレッション数であってよい被曝前特徴、1つ以上の文書のインプレッション数に対する、1つ以上の文書に応答してモバイル装置上で行われるクリック数の比であってよいクリック/コール比、および1つ以上の文書のインプレッション数に対する、1つ以上の文書に応答してモバイル装置上で二次動作が行われた回数の比であってよい二次動作比を含んでもよい。 In some embodiments, the set of features for mobile devices may include other features such as mobility features and feedback features. Mobility features are, for example, multiple distinct brands induced by a mobile device over the sum of visits to all distinct brands and geoblocks induced by a mobile device during a period of time. GB ratio of . The feedback feature may be, for example, the number of impressions of one or more documents associated with the seedlist on the mobile device during that period of time. The click/call ratio, which may be the ratio of the number of clicks made on the mobile device in response, and the number of impressions of the one or more documents to the number of secondary actions on the mobile device in response to the one or more documents. A secondary action ratio may be included which may be a ratio of the number of times performed.

特定の実施形態では、図11のブロック1160に記載されるように、特徴生成部は訓練区分1221および評価区分1222のために、シードリストに対応する1組のラベルを決定するようにさらに構成される。特定の実施形態ではラベルの組が訓練区分内のモバイル装置の各々に対して1つのラベルを含み、ラベルはモバイル装置がシードリスト内にあるかどうかに応じて、シードリストファイルがシードモバイル装置に対して様々な重みを指定しない場合「1」または「0」であり、重みが指定される場合、シードリストに含まれるモバイル装置のラベルはその重み(例えば、0.95、0.78など)になり、シードリストに含まれないモバイル装置のラベルは「0」になる。特徴生成部は図18に示すように、複数のシードリストについての複数のラベルセットをそれぞれ抽出することができる。ラベルの各セットは以下のさらなる詳細で説明するように、対応する予測モデルを訓練するために使用される。 In certain embodiments, the feature generator is further configured to determine a set of labels corresponding to the seedlist for the training section 1221 and the evaluation section 1222, as described in block 1160 of FIG. be. In certain embodiments, the set of labels includes one label for each mobile device in the training segment, and the labels depend on whether the mobile device is in the seed list and the seed list file contains the seed mobile devices. '1' or '0' if no different weights are specified for the seed list, and if a weight is specified, the label of the mobile device included in the seedlist will be that weight (e.g., 0.95, 0.78, etc.) and the seed Mobile devices not included in the list are labeled "0". The feature generator can extract multiple label sets for multiple seedlists, respectively, as shown in FIG. Each set of labels is used to train a corresponding predictive model, as described in further detail below.

図1に示すように、類似予測サブシステム103はさらに、図11のブロック1170に示すように、訓練特徴(すなわち、訓練区分内のモバイル装置に関連する特徴)および1組のラベルを使用して予測モデルを訓練するために機械学習アプローチを使用するように構成された訓練モジュールを含む。いくつかの実施形態では、訓練区分のための特徴セットおよび関連する目標値(ラベル)が機械学習処理に入力されて、類似予測モデルを訓練する。
二元目標値については分類モデルが使用され、一方、回帰モデルは連続目標値を処理するために使用することができる。この処理ではいくつかの従来の機械学習モデルのいずれかを使用することができ、その選択は実績、柔軟性、およびスケーラビリティの理由に基づいて行われることが多い。ハイパーパラメータを含むモデルについては、クロスバリデーションを使用することができる。位置履歴データに基づく特徴工学または変形例は、上述したように、位置関連情報を有効に利用するために不可欠である。特定の実施形態では、Breiman, Leo(2001)."Random Forests", Machine Learning.45(1): 5-32. doi: 10.1023/A: 1010933404324]を、回帰式および分類タスクの両方に使用することができる。ランダムフォレスト(Random Forests)は分類的な入力特徴と連続的な入力特徴の両方を受け入れ、オーバーフィッティングに対してより頑健であり、そのハイパーパラメータは、調整するのが比較的簡単である。さらに、ランダムフォレストはデータ中の複雑な構造を捕捉することができ、したがって、広範囲の特徴エンジニアリングなしに、広範囲の実用上の問題にわたって良好な実績をもたらす傾向がある。場合によっては、ランダムフォレストをグラディエントブーストツリー[Hastie, T.; Tibshirani, R.; Friedman, J. H.(2009)."10.Boosting and Additive Trees", The Elements of Statistical Learning(2nd ed.).New York: Springer, pp.337-384.ISBN 0-38784857-6]に置き換えることができる。このとき、入力特徴データタイプに関して同等のスケーラビリティと柔軟性とが享受される。データ蓄積と計算のための資源（リソース）が制限される場合、ロジスティック回帰[Hilbe, Joseph M.(2009).Logistic Regression Models, Chapman & Hall/CRC Press.ISBN 978-1-4200-7575-5]のような軽量モデルも使用することができる。 As shown in FIG. 1, the similarity prediction subsystem 103 further uses the training features (i.e., the features associated with mobile devices in the training partition) and a set of labels, as shown in block 1170 of FIG. Includes a training module configured to use machine learning approaches to train the predictive model. In some embodiments, feature sets and associated target values (labels) for training segments are input to a machine learning process to train a similar predictive model.
Classification models are used for binary targets, while regression models can be used to process continuous targets. Any of several conventional machine learning models can be used in this process, and the choice is often made for reasons of performance, flexibility, and scalability. For models containing hyperparameters, cross-validation can be used. Feature engineering or modification based on location history data is essential for efficient use of location-related information, as described above. In a specific embodiment, Breiman, Leo (2001)."Random Forests", Machine Learning.45(1): 5-32. doi: 10.1023/A: 1010933404324] for both regression and classification tasks be able to. Random Forests accept both categorical and continuous input features, are more robust to overfitting, and their hyperparameters are relatively easy to tune. Furthermore, random forests can capture complex structures in data and thus tend to perform well across a wide range of practical problems without extensive feature engineering. In some cases, random forests are replaced with gradient boosted trees [Hastie, T.; Tibshirani, R.; Friedman, JH(2009)."10.Boosting and Additive Trees", The Elements of Statistical Learning(2nd ed.).New York : Springer, pp.337-384.ISBN 0-38784857-6]. It then enjoys the same scalability and flexibility with respect to input feature data types. When resources for data accumulation and computation are limited, logistic regression [Hilbe, Joseph M. (2009). Logistic Regression Models, Chapman & Hall/CRC Press.ISBN 978-1-4200-7575-5 ] can also be used.

訓練モジュールは図1に示すように、複数のシード表の各々について予測モデルを訓練し、予測モデルを予測モデルデータベースに記憶することができる。 A training module can train a prediction model for each of a plurality of seed tables and store the prediction model in a prediction model database, as shown in FIG.

いくつかの実施形態では、ブロック1170が評価処理を含んでよく、ここでは予測モデルが類似予測サブシステム103内の予測モジュールによって評価される。これは、評価区分1222(図12に示されている)内のモバイル装置の特徴セットに予測モデルを適用し、図19に示されているように、ブロック1160において、これらのモバイル装置についての類似予測と、これらのモバイル装置について決定されたラベルとの比較に基づいて、予測精度測定値または類似度メトリックを生成するように構成される。精度測定値または類似度メトリックは例えば、予測結果とラベルとの間の標準偏差であってもよい。したがって、良好な予測モデルは、0に近い精度測定値を持つべきである。特定の実施形態では、閾値精度(例えば、15%)が課され、その結果、15%を超える精度測定値を有する予測モデルは廃棄される。モデルに利用可能であれば、この処理は、予測結果に対する各特徴の寄与度を評価することもできる。 In some embodiments, block 1170 may include an evaluation process, where predictive models are evaluated by prediction modules within similarity prediction subsystem 103 . It applies a predictive model to the feature set of mobile devices in the evaluation section 1222 (shown in FIG. 12) and, at block 1160, as shown in FIG. It is configured to generate a prediction accuracy measure or similarity metric based on a comparison of the predictions and labels determined for these mobile devices. An accuracy measure or similarity metric may be, for example, the standard deviation between the prediction result and the label. Therefore, a good predictive model should have an accuracy measure close to zero. In certain embodiments, a threshold accuracy (eg, 15%) is imposed such that predictive models with an accuracy measure greater than 15% are discarded. If available in the model, this process can also evaluate the contribution of each feature to the prediction result.

特定の実施形態では、図11のブロック1180に記載され、図1に示されるように、予測モジュールはさらに、ブロック1170で得られた予測モデルを、予測結果を生成するために、サンプル空間1220内のモバイル装置に適用するように構成される。いくつかの実施形態では、図20の例によって示されるように、予測結果は、規模と外部実績評価処理との間のトレードオフを決定する際にクライアントに完全な自由を与えるように、サンプル空間内のモバイル装置のいくつかまたはすべてのリストを、それらの較正されたスコアまたは類似のモバイル装置である確率とともに含む。後者の場合、モデルは、正の目標値に近いことを示すために連続スコアを出力することが依然として望ましい。予測結果は指標付けされて予測データベースに記憶され(図1に示すように)、特定の文書をモバイルユーザに送信するかどうかを決定する際に、要求処理部101内の文書サーバによって使用することができる。予測結果は、図21に示すように、サンプル空間内のモバイル装置を順位付けするためにも使用することができる。モバイル装置の上位順位(例えば、85%より高い予測された類似確率を有する)は、類似モバイル装置として選択され、それぞれの予測結果と共に1つまたは複数のデータファイルに含まれる。1つ以上のファイルは図1に示すように、シードリスト処理部102内のクライアントインタフェースによって、パケットを基礎としたネットワークを介して構築され、クライアントに送信されることができる。 In certain embodiments, as described in block 1180 of FIG. 11 and shown in FIG. 1, the prediction module further applies the prediction model obtained at block 1170 to sample space 1220 to generate prediction results. mobile device. In some embodiments, as illustrated by the example in FIG. 20, the forecast results are distributed in the sample space to give the client complete freedom in deciding the trade-off between scale and external performance evaluation processing. contains a list of some or all of the mobile devices in the , along with their calibrated scores or probabilities of being similar mobile devices. In the latter case, it is still desirable for the model to output a continuous score to indicate proximity to a positive target value. The prediction results are indexed and stored in a prediction database (as shown in FIG. 1) for use by the document server within request handler 101 in deciding whether to send a particular document to a mobile user. can be done. Prediction results can also be used to rank mobile devices in the sample space, as shown in FIG. The top ranked mobile devices (eg, having predicted similarity probabilities higher than 85%) are selected as similar mobile devices and included in one or more data files along with their respective prediction results. One or more files can be constructed and sent to the client via a packet-based network by a client interface within the seedlist processor 102, as shown in FIG.

したがって、本開示はモバイル装置の位置履歴および機械学習を利用し、類似の予測のための予測分類/回帰モデルを生成する方法およびシステムを提供する。位置関連特徴は他のユーザレベル情報と共に、抽出され、変換され、モデル特徴入力値として使用され、モバイル装置またはそれらの関連ユーザの顧客指定のリストが、予測目標として使用される。このシステムは様々なタイプの位置履歴を効率的に使用し、したがって、改善された規模および実績を提供する。また、異なるシードリストへの自動適応、新しい機能の添加、データの統計的性質の変化など、機械学習プラットフォームによって提供される多くの利益を享受している。このシステムはまた、モデル特徴の重要性に関する研究を通して、位置関連の洞察をシードリストに与えることができる。 Accordingly, the present disclosure utilizes mobile device location history and machine learning to provide methods and systems for generating predictive classification/regression models for similarity prediction. Location-related features are extracted, transformed, and used as model feature inputs, along with other user-level information, and customer-specified lists of mobile devices or their associated users are used as prediction targets. This system makes efficient use of various types of position histories, thus providing improved scale and performance. It also enjoys many of the benefits offered by machine learning platforms, such as automatic adaptation to different seedlists, addition of new features, and changes in the statistical nature of the data. The system can also provide location-related insights into seedlists through studies on the importance of model features.

特定の実施形態では、ジオブロックデータベース内の少なくとも一部のジオブロックのそれぞれについての空間指標（インデックス）およびメタデータが以下でさらに詳細に論じられるように、ジオブロック定義サブシステム2210によって生成される。ジオブロックスコアリングサブシステム2220は以下でさらに詳細に説明されるように、特定の実施形態に従って、ジオブロック定義サブシステム2210によって生成されたジオブロックをスコアリングし、順位付けするために使用されることができる。次に、ジオブロックの順位を使用して、上記で説明したように、ジオブロックを区分へと編成することができる。 In certain embodiments, spatial indices (indexes) and metadata for each of at least some of the geoblocks in the geoblock database are generated by the geoblock definition subsystem 2210, as discussed in further detail below. . Geoblock scoring subsystem 2220 is used to score and rank the geoblocks generated by geoblock definition subsystem 2210 according to certain embodiments, as described in further detail below. be able to. The geoblock ranking can then be used to organize the geoblocks into partitions as described above.

特定の実施形態では、モバイル装置に関連付けられた要求内の位置データがモバイル装置に特定の情報を配信するかどうかを決定する際に、1つまたは複数の標的領域に関しても検査される。特定の実施形態では、標的領域が、特定の情報キャンペーンに対するそれらの関連性測定値に基づいて選択された1つまたは複数のジオブロックを使用して形成される。図22は、特定の実施形態に従って、システム100内の位置処理部101として機能することができる、1つ以上のコンピュータ/サーバシステム220によって提供される情報サーバシステム2200のブロック図である。システム2200は、位置訪問パターンを利用して、キャンペーン目標によって駆動される実績メトリックを最適化する一方で、モバイル広告のためにユーザの合計量に到達できることを保証する、動的に調整された標的領域を使用する。図2および図22に示すように、コンピュータ/サーバシステム120内の処理部202はそれぞれのメインメモリ(または記憶部)204にロードされた1つまたは複数のソフトウェアプログラムを実行するとき、地理的領域定義サブシステム2210、訪問行動モデル化サブシステム2215、地理的領域実績スコアリングサブシステム2220、地理的領域選択サブシステム2225、リアルタイム実績メトリック記録サブシステム2230、および位置履歴データロギングサブシステム2235を含む情報サーバシステム2200を提供する。システム2200は情報サーバシステム2200によって使用および/または生成されたデータを記憶する複数のデータベースを利用し、これには、生成された地理的領域(またはジオブロック)のジオメトリおよびメタ情報を記憶するデータベース2250、地理的場所の空間指標およびメタデータを記憶するデータベース2255、キャンペーン情報を記憶するデータベース2260、ロギングされた移動供給データを記憶するデータベース2265、および1つ以上の他のデータベース(たとえば、地理的領域の実績スコアデータを記憶するためのモバイル装置ユーザ行動モデルデータおよびデータベース2275などの計算されたメタデータを記憶するデータベース2270など)が含まれる。これらのデータベースのいずれかまたはすべては、1つまたは複数のコンピュータシステム120の記憶装置210、またはネットワーク200内の1つまたは複数の他のサーバ/コンピュータシステム120および/またはNAS121に配置することができ、これは処理202がネットワークインタフェース装置208を介してアクセスすることができる。 In certain embodiments, the location data in the request associated with the mobile device is also examined with respect to one or more target areas when determining whether to deliver specific information to the mobile device. In certain embodiments, a target area is formed using one or more geoblocks selected based on their relevance measures to a particular information campaign. FIG. 22 is a block diagram of an information server system 2200 provided by one or more computer/server systems 220 that can function as a location processor 101 within system 100, according to certain embodiments. The system 2200 utilizes location visit patterns to optimize performance metrics driven by campaign goals, while dynamically adjusting targets to ensure that total user volume can be reached for mobile advertising. Use realm. As shown in FIGS. 2 and 22, when the processing units 202 within the computer/server system 120 execute one or more software programs loaded into their respective main memories (or storage units) 204, the geographic regions Information including definition subsystem 2210, visit behavior modeling subsystem 2215, geographic area performance scoring subsystem 2220, geographic area selection subsystem 2225, real-time performance metrics recording subsystem 2230, and location history data logging subsystem 2235 A server system 2200 is provided. The system 2200 utilizes multiple databases that store data used and/or generated by the information server system 2200, including databases that store geometry and meta-information for generated geographic regions (or geoblocks). 2250, a database 2255 that stores spatial indicators and metadata of geographic locations, a database 2260 that stores campaign information, a database 2265 that stores logged travel supply data, and one or more other databases (e.g., geographic database 2270) for storing calculated metadata such as mobile device user behavior model data and database 2275 for storing area performance score data. Any or all of these databases may reside on storage 210 of one or more computer systems 120 or on one or more other server/computer systems 120 and/or NAS 121 within network 200. , which can be accessed by process 202 via network interface device 208 .

図23は、本発明の一実施形態による情報サーバシステム2200によって実行される方法2300を示すフローチャートである。図23に示すように、方法2300は地理的領域定義サブシステム2210によって実行される処理2311を含む。ここで、以下でさらに詳細に説明するように、地理的領域が定義され、関連付けられたメタ情報が取得される。いくつかの実施形態では、様々なメタ情報を、その機能(住宅、仕事、小売など)、その平均モバイルユーザ量、およびそのKPI評価指標などとして、定義された地理的領域にマッピングすることができる。メタ情報はシステム2200内の他のサブシステムに利用可能にすることができ、標的領域の構築に組み込むことができる。 FIG. 23 is a flowchart illustrating a method 2300 performed by information server system 2200 according to one embodiment of the invention. As shown in FIG. 23, method 2300 includes processing 2311 performed by geographic region definition subsystem 2210 . Here, geographic regions are defined and associated meta-information is obtained, as described in more detail below. In some embodiments, various meta-information can be mapped to defined geographic regions such as their function (housing, work, retail, etc.), their average mobile user volume, and their KPI metrics. . Meta-information can be made available to other subsystems within the system 2200 and can be incorporated into the construction of target regions.

該方法2300は更に、意図されたモバイル装置ユーザ、例えば、特定のブランド又は特定の事業エンティティの顧客の訪問行動をモデル化する訪問行動モデル化処理2316を含む。ある実施形態では、訪問行動モデル化サブシステムが最初に事業エンティティの顧客のサンプル集合を取得し、次にサブシステム2235によって提供されるデータから、データベース2270に記憶された地理的領域へのこれらのサンプル顧客の訪問履歴を抽出することによって、特定の事業エンティティの顧客が様々な地理的領域を訪れる蓋然性を推定する。 The method 2300 further includes a visitation behavior modeling process 2316 that models the visitation behavior of an intended mobile device user, eg, a customer of a particular brand or a particular business entity. In one embodiment, the visitation behavior modeling subsystem first obtains a sample set of customers of the business entity and then from data provided by subsystem 2235 maps these into geographic regions stored in database 2270. By extracting the visit histories of sample customers, we estimate the likelihood that customers of a particular business entity will visit different geographic regions.

該方法2300は実績スコアリング処理2321を更に含み、該処理では、質又は実績スコア又は測定値が地理的領域の各々に対して割り当てられる。特定の実施形態では、スコアが、特定のキャンペーン実績ゴールに依存する。例えば、場合によっては、広告キャンペーンの目標がより多くの人々がブランド店を訪れるようにすることである。次いで、地理的領域の実績スコアはユーザがこの特定の地理的領域を訪れた後に、ユーザがブランド化された店を訪れる蓋然性として定義することができる。ブランド販売収入が興味深い場合、実績スコアは、ブランド顧客の訪問行動および購入行動から導き出すことができる。 The method 2300 further includes a performance scoring process 2321 in which a quality or performance score or measure is assigned to each of the geographic regions. In certain embodiments, scores are dependent on specific campaign performance goals. For example, in some cases the goal of an advertising campaign is to get more people to visit a branded store. A geographic region's performance score can then be defined as the probability that the user will visit the branded store after the user visits this particular geographic region. If brand sales revenue is of interest, a performance score can be derived from brand customer visiting and purchasing behavior.

特定の実施形態では処理2311、2316、および2321はオフラインで実行される。該方法2300は、地理的領域選択サブシステム2225によって実行されるリアルタイム又はオンライン調整処理2326を更に含む。特定の実施形態では、リアルタイム調節処理2326がいくつかのサブ処理を含み、その一部または全部をオンラインまたはリアルタイムで実行することができる。図23に示すように、リアルタイム調節処理2326は、地理的領域選択処理2382と、ジオフェンスを基礎とした標的処理2386と、リアルタイムペース調整推定処理2388とを含む。キャンペーンの開始時に、地理的領域スコアリングサブシステム2220は、いくつかの最高スコアリングの地理的領域を選択することによって、最初の標的領域を提供する。この回数は、推定平均実績または平均合計到達可能ユーザ量に基づいて決定することができる。これらの領域は、空間指標ファイルを生成するために処理され、空間指標ファイルは次に、そのリアルタイム位置がアクティブジオフェンス内にあるユーザを検出するために使用される。これらのユーザは、情報サービスを受信するための潜在的な候補となる。同時に、サブシステム2225は処理2326において、キャンペーンに関連する情報がユーザに提供されている速度(すなわち、ペース調整状況)を追跡し、それに応じてジオフェンスを調整する。したがって、実績とペース調整との間のバランスは、方法2300を使用して達成することができる。 In certain embodiments, operations 2311, 2316, and 2321 are performed offline. The method 2300 further includes a real-time or online reconciliation process 2326 performed by the geographic area selection subsystem 2225 . In certain embodiments, real-time adjustment process 2326 includes several sub-processes, some or all of which can be performed online or in real-time. As shown in FIG. 23, real-time adjustment processing 2326 includes geographic region selection processing 2382, geofence-based targeting processing 2386, and real-time pacing estimation processing 2388. As shown in FIG. At the start of a campaign, the geographic area scoring subsystem 2220 provides initial target areas by selecting some of the highest scoring geographic areas. This number can be determined based on estimated average performance or average total reachable user volume. These regions are processed to generate a spatial index file, which is then used to detect users whose real-time location is within the active geofence. These users are potential candidates for receiving information services. At the same time, subsystem 2225 tracks the rate at which campaign-related information is being provided to users (ie, pacing conditions) and adjusts geofences accordingly in operation 2326 . Thus, a balance between performance and pacing can be achieved using method 2300.

図24は、いくつかの実施形態による、1つまたは複数のコンピュータ/サーバシステム220によって提供されるジオブロック定義サブシステム2210の概略図である。図24に示すように、コンピュータ/サーバシステム120内の処理部202はメインメモリ204にロードされたジオブロック定義ソフトウェアプログラム2401を実行する際に、ジオブロック定義サブシステム2210を提供し、このサブシステムは、ジオブロック定義モジュール2410、ジオブロック構築モジュール2420、リアルタイムデータロギングモジュール2430、メタデータ算出モジュール2440、およびジオブロック精製モジュール2450を含む。ジオブロック定義サブシステム2210はジオブロック定義サブシステム2210によって使用および/または生成されたデータを記憶する複数のデータベースを利用し、ジオブロック構築モジュール2420および/またはジオブロック精製モジュール2450によって生成されたジオブロックを記憶するデータベース2460、ロギングされた移動供給データを記憶するデータベース2470、および人口統計データおよび記録データなどの計算されたメタデータを記憶する1つ以上のデータベース(例えば、データベース2480および2490)を含む。これらのデータベースのいずれかまたはすべては、処理202がネットワークインタフェース装置208を介してアクセスできる、記憶部210、またはネットワーク200内の別のサーバ/コンピュータ120および/またはNAS121に配置することができる。 FIG. 24 is a schematic diagram of a geoblock definition subsystem 2210 provided by one or more computer/server systems 220, according to some embodiments. As shown in FIG. 24, the processing unit 202 within the computer/server system 120, in executing a geoblock definition software program 2401 loaded into the main memory 204, provides a geoblock definition subsystem 2210, which includes a geoblock definition module 2410, a geoblock construction module 2420, a real-time data logging module 2430, a metadata calculation module 2440, and a geoblock refinement module 2450. The geoblock definition subsystem 2210 utilizes multiple databases that store data used and/or generated by the geoblock definition subsystem 2210 and includes geoblocks generated by the geoblock construction module 2420 and/or the geoblock refinement module 2450 . A database 2460 that stores blocks, a database 2470 that stores logged mobile supply data, and one or more databases (eg, databases 2480 and 2490) that store calculated metadata such as demographic and record data. include. Any or all of these databases may be located on storage 210 or another server/computer 120 and/or NAS 121 within network 200 that process 202 can access via network interface device 208 .

サブシステム2210によって作成されたジオブロックの例は、ある実施形態に従って図7に示される。概して、地理的領域の定義は上述したものに限定されない。また、それ自身のメタ情報の有無にかかわらず、別の組の地理的領域を後続の処理に使用することもできる。 An example of a geoblock created by subsystem 2210 is shown in FIG. 7 according to one embodiment. In general, the definition of geographic region is not limited to those mentioned above. Also, another set of geographic regions, with or without their own meta-information, can be used for subsequent processing.

図25は、特定の実施形態によるジオブロック定義システム2200によって実行される方法2500を示す。図25に示すように、地理データ抽出部2410はデータを提供するネットワーク200内のサーバから利用可能な移動経路及び自然境界データを取得し、移動経路及び自然境界データに基づいて、移動経路及び自然境界(地理データ)の地理情報を抽出し、前処理する(2510)。ジオブロック構築モジュール2420は、抽出されたジオデータ（地理データ）および公的に利用可能な地図データを使用してジオブロックを作成する(2520)。リアルタイムデータロギングモジュール2430は作成されたジオブロックに関して、リアルタイムモバイル供給(例えば、モバイル出版社からの広告要求)を処理し、記録（ロギング）する(2530)。メタデータ算出モジュール2440はロギングされたモバイル供給データおよび様々なデータソースから、位置特定の属性情報などのメタデータを取得する(2540)。ジオブロック精製モジュール2450は境界となるケースを改善し、ジオブロック構築モジュール2420によって考慮されない実世界オブジェクトの地理的情報を組み込み、関連するメタデータを用いてジオブロックを豊富にするために、ジオブロックを精緻化する(2550)。 FIG. 25 illustrates a method 2500 performed by a geoblock definition system 2200 according to certain embodiments. As shown in FIG. 25, the geographic data extraction unit 2410 obtains available travel route and natural boundary data from a server in the network 200 that provides data, and based on the travel route and natural boundary data, calculates the travel route and natural boundary data. Geographic information for boundaries (geographic data) is extracted and preprocessed (2510). A geoblock building module 2420 creates 2520 geoblocks using the extracted geodata and publicly available map data. A real-time data logging module 2430 processes and records (logs) 2530 real-time mobile feeds (eg, ad requests from mobile publishers) for created geoblocks. A metadata computation module 2440 obtains (2540) metadata, such as location-specific attribute information, from logged mobile-provided data and various data sources. The geoblock refinement module 2450 refines the bounding cases, incorporates geographic information for real-world objects not considered by the geoblock construction module 2420, and enriches the geoblocks with associated metadata. is refined (2550).

処理2510では、移動経路(高速道路、鉄道、水路など)の地理的情報、ならびに自然境界(沿岸線、湖の境界など)が収集される。このためのデータ源としては、OpenStreetMap(www.openstreetmap .org/)などがある。これらのオブジェクトは幾何学的にはそれらのタイプ、幅、及び交通速度のようなメタデータと共に、線分の集合として記述される。特定の実施形態では、これらの線分がそれらの重要性、例えば、高速道路よりも低い住宅領域スコアの住宅領域道路に基づいて収集され、スコアリングされる。しきい値を超えてスコアリングされた線分は線セットを形成するために収集され、線セットは処理2520において、初期ジオブロックを定義するために使用される。 In process 2510, geographic information of travel routes (highways, railroads, waterways, etc.) as well as natural boundaries (coastlines, lake boundaries, etc.) are collected. Data sources for this include OpenStreetMap (www.openstreetmap.org/). These objects are described geometrically as collections of line segments, along with metadata such as their type, width, and traffic speed. In certain embodiments, these segments are collected and scored based on their importance, eg, residential area roads with a lower residential area score than highways. Line segments that score above the threshold are collected to form a line set, which is used in operation 2520 to define an initial geoblock.

処理2520では、処理2510で定義された線セットを使用して、線セット内の線と整列した境界を有する多角形を形成する。図26は、特定の実施形態による、そのような多角形を形成するための方法2600を示す。図26に示すように、方法2600は以下を含む:
(2610)線セットの定義；
(2620)均一な最初の色彩(CI)の画像の作成画像の大きさは、ある所定の水垢比率に基づいて地理的領域にマッピングされる;
(2630)線の幅と規模に基づいて異なる太さの線をプロットする（描く）ことにより、線の幅を考慮して、色彩(C2)の異なる画像上に線セットをプロットする;
(2640)カバーされていない領域として、最初の色彩(C1)の画素を画像内で探索する;
(2650)各カバーされていない領域について、領域成長（発展）アルゴリズムを使用してこの領域に属する画素を識別する;
(2660)この領域の輪郭を検出し、多角形表現に変換する;
(2670)領域がカバーされていることを示すために、この領域に属するすべての画素を色彩(C2)に変更する;
(2680)色彩(C1)内にさらに画素があるかどうかを判定し、色彩C1内にそれ以上画素が見つからなくなるまで処理(2640)から(2670)を繰り返す；
(2690)多角形表現を初期ジオブロックとして格納する。 In operation 2520, the line set defined in operation 2510 is used to form polygons with boundaries aligned with the lines in the line set. FIG. 26 shows a method 2600 for forming such polygons, according to certain embodiments. As shown in Figure 26, method 2600 includes:
(2610) Line set definition;
(2620) create uniform first color (CI) image image dimensions are mapped to geographic regions based on some predetermined scale ratio;
(2630) plotting (drawing) lines of different thickness based on line width and scale to plot line sets on different images of color (C2), taking into account line width;
(2640) search the image for pixels of the first color (C1) as uncovered regions;
(2650) For each uncovered region, identify the pixels belonging to this region using a region growing (evolution) algorithm;
(2660) Detect contours of this region and convert to polygonal representation;
(2670) Change all pixels belonging to this region to color (C2) to indicate that the region is covered;
(2680) Determine if there are more pixels in color (C1) and repeat process (2640) through (2670) until no more pixels are found in color C1;
(2690) Store the polygon representation as the initial geoblock.

このように形成された多角形は、初期ジオブロックである。いくつかの実施形態ではメートル以下の精度を維持しながら、全国的または地球的規模でジオブロックを定義するために、画像処理方法2600は複数の小さな領域のそれぞれに使用され、複数の小さな領域からの多角形はより大きな領域のための最初のジオブロックを形成するために併合される。異なる閾値を用いることにより、異なる粒度のジオブロックを構成し、ジオブロックの階層を形成することができる。処理2520で形成されたジオブロックは指標付けされ、ジオブロックデータベース2460に記憶される。 The polygons thus formed are the initial geoblocks. The image processing method 2600 is used for each of the plurality of small regions to define geoblocks on a national or global scale while maintaining sub-meter accuracy in some embodiments, and from the plurality of small regions. polygons are merged to form the first geoblock for the larger region. By using different thresholds, different granularities of geoblocks can be configured to form a hierarchy of geoblocks. Geoblocks formed in process 2520 are indexed and stored in a geoblock database 2460 .

特定の実施形態では図27に示すように、リアルタイム入力(例えば、広告要求)は処理2530において、最初のジオブロックに関して処理され、記録される。例えば、到来する広告要求、またはモバイル装置の位置情報を送信する任意の他の信号が与えられると、位置情報は「System and Method for Marketing Mobile Advertising Supplies」と題する2015年5月19日に出願された同時係属中の米国特許出願第14/716,811号に開示されたものなどの位置モジュールによって処理され、この特許出願はその全体が本明細書に参考として組み入れられる。位置モジュールは例えば緯度/経度(lat/long)の形式で検証された又は導出されたモバイル装置位置を出力し、これは次にブロックルックアップモジュールによって処理される。ブロックルックアップモジュールはジオブロックデータベース2460内のブロック指標に対して空間検索を実行して、モバイル装置が配置されているジオブロックを決定し、モバイル装置が配置されているジオブロックを識別するblock_idを返す。 In certain embodiments, as shown in FIG. 27, real-time input (eg, ad requests) is processed and recorded for the first geoblock in operation 2530. FIG. For example, given an incoming ad request, or any other signal that transmits the location information of a mobile device, location information is filed May 19, 2015, entitled "System and Method for Marketing Mobile Advertising Supplies." are processed by a position module such as that disclosed in co-pending US patent application Ser. No. 14/716,811, which is incorporated herein by reference in its entirety. The location module outputs the verified or derived mobile device location, eg, in lat/long (lat/long) format, which is then processed by the block lookup module. The block lookup module performs a spatial search against block indices in the geoblock database 2460 to determine the geoblock in which the mobile device is located, and the block_id that identifies the geoblock in which the mobile device is located. return.

同様に、モバイル装置位置は、POI(point of interest)ルックアップモジュールによって処理されて、位置が任意のPOIに関連付けられているかどうか(ユーザがPOIを訪れている蓋然性があることを示す)を判定する。いくつかの実施態様では、このルックアップがPOI表上の空間指標検索として実施され、装置はその位置が既存のPOIジオフェンス(例えば、ブランドの事業位置を取り囲む円形フェンス)を誘起するときはいつでも、POIに関連付けられる。いくつかの他の実装では、POIがPOIの建物、領域、または駐車場に対応する多角形ジオフェンスとして表される。POI関連付けは、上記で引用した同時係属中の米国特許出願第14/716,811号に記載されているように、装置位置がPOIジオフェンスを誘起するときはいつでも識別される。 Similarly, the mobile device location is processed by a POI (point of interest) lookup module to determine if the location is associated with any POI (indicating that the user is likely visiting the POI). do. In some implementations, this lookup is performed as a spatial index lookup on the POI table, and the device will automatically search for the location whenever the location triggers an existing POI geofence (e.g., a circular fence surrounding a brand's business location). , associated with the POI. In some other implementations, POIs are represented as polygonal geofences corresponding to POI buildings, areas, or parking lots. A POI association is identified whenever a device location triggers a POI geofence, as described in co-pending US patent application Ser. No. 14/716,811, cited above.

図27に示すように、処理2530は、POIを誘起するリアルタイム入力ごとに、POI訪問ログ(SVログ)、要求ログ、インプレッションログ(impsログ)、クリックログ、および二次動作ログ(SARログ)の5つのログファイルを作成する。各ログの本質的な構成要素は、以下のように記述される:
SVログ:(UID, ブランドID, タイムスタンプ, ブロックID)
要求ログ:(UID、要求ID、ブロックID、他の典型的な要求メタデータ)
ログの影響:(UID、要求ID、ブロックID、他の典型的なメタデータを暗示する)クリックログ:(UID、要求ID、BLOCK ID、他の典型的なクリックメタデータ)
SARログ:(UID、要求ID、ブロックID、他の一般的なSARメタデータ)
ここで、UIDはUUID、IDF A、GIDFAまたはANDROIDの形式の固有の装置idであり、要求IDは特定のリアルタイム入力(例えば、広告要求)を識別する固有のidであり、ブロックIDは、リアルタイム入力に関連するモバイル装置が位置する固有のジオブロックを表す。例えば、図28は、ある実施形態による要求ログを示す表である。 As shown in FIG. 27, process 2530 generates POI visit logs (SV logs), request logs, impression logs (imps logs), click logs, and secondary activity logs (SAR logs) for each real-time input that triggers the POI. create 5 log files. The essential components of each log are described below:
SV Log: (UID, Brand ID, Timestamp, Block ID)
Request log: (UID, request ID, block ID, other typical request metadata)
Log impact: (implies UID, request ID, block ID, other typical metadata) Click logs: (UID, request ID, BLOCK ID, other typical click metadata)
SAR Log: (UID, Request ID, Block ID, other common SAR metadata)
where UID is a unique device id in the form of UUID, IDF A, GIDFA or ANDROID, request ID is a unique id that identifies a particular real-time input (e.g. ad request), and block ID is a real-time Represents the unique geoblock in which the mobile device associated with the input is located. For example, FIG. 28 is a table showing a request log according to one embodiment.

特定の実施形態では、上記ログの1つ以上を処理2540で使用して、ジオブロックのメタデータを計算することができ、これを使用して、ジオブロックに関連する近傍属性情報を決定することができる。例えば、人間の活動レベルは広告要求頻度をカウントすることによって研究することができ、ジオブロック関連付けは、同じモバイル装置の存在を共有するジオブロックのサブセットを見つけることによって決定することができる。さらに、家庭用郵便番号データを有する住宅ジオブロック(Infousaはそのようなデータプロバイダの一つ)と地図人口統計データを識別できる。小売、学校、または事業所（オフィス）のジオブロックはPOIデータ(Infousa、Tomtom、OpenStreetMapはデータプロバイダの例)で認識することができる。 In certain embodiments, one or more of the above logs can be used in process 2540 to compute geoblock metadata, which is used to determine neighborhood attribute information associated with the geoblock. can be done. For example, human activity levels can be studied by counting ad request frequency, and geoblock associations can be determined by finding subsets of geoblocks that share the same mobile device presence. Additionally, residential geoblocks with household zip code data (Infousa is one such data provider) and map demographic data can be identified. Retail, school, or business (office) geoblocks can be recognized by POI data (Infousa, Tomtom, OpenStreetMap are examples of data providers).

処理2550において、ジオブロックは、既存のジオブロックの併合および/または分割を適用することによって、およびジオブロックにメタデータを追加することによって、精緻化および強化される。一実施形態では、郵便番号データ、POIデータ、人口統計データ、および記録されたリアルタイム入力データなどのメタデータが既存のジオブロックに重畳され、各ブロックが併合ステップおよび分割ステップによって評価される。併合ステップでは、ブロック形状およびメタデータを使用して、ブロック間の類似度を判定する。例えば、2つの隣接ブロックはそれらが共に住宅領域であり、同様のモバイル装置のユーザ行動を示す場合、併合されてもよい。別の実施形態では、各々が不十分な広告要求データを有する近くのジオブロックのグループが、統計的により信頼性のある分析のために一緒に併合されてもよいことである。 In process 2550, the geoblock is refined and enhanced by applying merging and/or splitting of existing geoblocks and adding metadata to the geoblock. In one embodiment, metadata such as zip code data, POI data, demographic data, and recorded real-time input data are superimposed on existing geoblocks, and each block is evaluated through a merge step and a split step. The merging step uses block shapes and metadata to determine similarity between blocks. For example, two adjacent blocks may be merged if they are both residential areas and exhibit similar mobile device user behavior. In another embodiment, groups of nearby geoblocks each having insufficient ad request data may be merged together for statistically more reliable analysis.

分割ステップではメタデータを使用して、一定のジオブロックによって表される近傍属性情報を決定し、これらのジオブロックのそれぞれが、より明確な近傍属性情報を持つ複数の小さなジオブロックに分割されるかどうか、およびそれらの方法を決定する。いくつかの実施形態では、最初のジオブロックを作成するために使用される境界情報以外の実世界オブジェクトの情報を用いて、さらなる精緻化を行うことができる。ブロック内で何らかの不一致が識別された場合、分割が実行されて、ブロックを、各々がより一貫性のある近傍を捕捉するいくつかのより小さいブロックに分割する。 The segmentation step uses the metadata to determine the neighborhood attribute information represented by certain geoblocks, and each of these geoblocks is split into multiple smaller geoblocks with more specific neighborhood attribute information. determine whether and how to do so. In some embodiments, further refinement can be done using real-world object information other than the boundary information used to create the initial geoblocks. If any discrepancies within a block are identified, a split is performed to divide the block into several smaller blocks each capturing a more consistent neighborhood.

図29は9桁の郵便番号(Infousa)の空間的な分布を調査することによって、または赤い星によって表される検出された位置2903を有するログされたリアルタイム入力(例えば、広告要求)を分析することによって、住宅領域2901(これは青い多角形によって囲まれている)と森林領域2902との区分を示す。図30は、住宅領域3002からの小学校3001の離隔を示す（ここでは学校境界データがOpenStreetMapから導出される）。 Figure 29 analyzes logged real-time inputs (e.g., ad requests) by examining the spatial distribution of 9-digit postal codes (Infousa) or with detected locations 2903 represented by red stars. , demarcates residential area 2901 (which is surrounded by a blue polygon) and forest area 2902 . FIG. 30 shows the separation of an elementary school 3001 from a residential area 3002 (where school boundary data is derived from OpenStreetMap).

特定の実施形態では、メタデータは、処理2540で計算されたメタデータを利用することによって、処理2550でジオブロックに追加されることができる。一実施形態では、ジオブロックが住宅、小売、事業所、商業ブロック、および産業等の主要機能によってタグ付けすることができる。いくつかの他の実施形態では、ジオブロックが代替的にまたは追加的に、学校、病院、空港、スタジアムなどの主要なPOIによってタグ付けされ得る。特定の実施形態によるメタデータ豊富ジオブロックの例示的なデータ構造を図8に示す。追加されたメタデータは、広告ターゲティング、広告実績最適化、位置を基礎としたソーシャルネットワークなどの位置を基礎とした情報サービスで使用することができる。 In certain embodiments, metadata may be added to the geoblock at operation 2550 by utilizing the metadata calculated at operation 2540 . In one embodiment, geoblocks can be tagged by primary function such as residential, retail, business, commercial block, and industrial. In some other embodiments, geoblocks may alternatively or additionally be tagged by primary POIs such as schools, hospitals, airports, stadiums, and the like. An exemplary data structure for metadata-rich geoblocks according to certain embodiments is shown in FIG. The added metadata can be used in location-based information services such as ad targeting, ad performance optimization, and location-based social networks.

このように、本開示は、移動経路、自然境界、および人間の活動の特定のタイプに非常に関連する他の現実のオブジェクトの地理的情報を使用して都市領域を分割することによってジオブロックを生成するシステムおよび手法を提供する。それぞれのジオブロックは移動経路、湖、河川、丘または山脈、保養領域、学校、空港などの広大な開発領域の境界などの現実世界のオブジェクトによって定義される少なくとも1つの境界を有し、近隣、事業所、学校、空港などの特定の属性を示すメタデータを保持することができる。実際には、ジオブロックの大部分のそれぞれが、そのような現実世界のオブジェクトによって、すべての側または複数の側で境界が定められている。したがって、ジオブロックは現実世界の位置区分に対して高いベルの関連性を有する特徴を生成し、道路交通を通り過ぎることを自然に回避し、位置を基礎とした情報サービスよび位置標的の目的のために柔軟性のあるレベルの粒度を提供する。 Thus, the present disclosure provides geoblocks by dividing urban regions using geographic information of travel paths, natural boundaries, and other real-world objects highly relevant to particular types of human activity. A system and method for generating are provided. Each geoblock has at least one boundary defined by real-world objects such as travel paths, lakes, rivers, hills or mountains, boundaries of large development areas such as recreational areas, schools, airports, neighborhoods, It can hold metadata that indicates specific attributes such as business establishments, schools, airports, and so on. In practice, each of the majority of geoblocks is bounded on all or more sides by such real-world objects. Thus, geoblocks generate features with high bell relevance to real-world location segments, naturally avoid passing road traffic, and are useful for location-based information services and location targeting purposes. provide a flexible level of granularity to

例えば、図31は特定の実施形態によるジオブロック定義サブシステム2210によって生成されたジオブロックをスコアリングし、順位付けするジオブロックスコアリングサブシステム2220のブロック図である。特定の実施形態ではシステム2220がコンピュータ/サーバシステム220によって提供される。これはサブシステム2210または異なるコンピュータ/サーバシステムを提供する同じコンピュータ/サーバシステム220であってもよい。図31に示すように、コンピュータ/サーバシステム220内の処理部202は、メインメモリ204にロードされたジオブロックスコアリングソフトウェアプログラム3101を実行すると、ジオブロック識別モジュール3110、記録推定モジュール3120、鍵実績指標(KPI)推定モジュール3130、および店舗訪問推定モジュール3140を含むジオブロックスコアリングサブシステム2220を提供する。サブシステム2220は、ジオブロック選択モジュール3150をさらに含むことができる。サブシステム2220はサブシステム2210によって生成されたジオブロックを記憶するためのデータベース3160、ログされたモバイル供給データを記憶するためのデータベース3170、ブロックレベル記録推定結果、KPI推定結果、および店舗訪問推定結果を含むブロックレベル推定結果を記憶するための1つまたは複数のデータベース(例えば、データベース3180)、およびジオブロック選択のためのデータベース3190を含む、サブシステム2220によって使用および/または生成されたデータを記憶する複数のデータベースを利用する。これらのデータベースのいずれかまたはすべては、処理202がネットワークインタフェース装置208を介してアクセスできる、記憶部210又はネットワーク200内の別のサーバ/コンピュータ120および/またはNAS121に配置されることができる。 For example, FIG. 31 is a block diagram of a geoblock scoring subsystem 2220 that scores and ranks geoblocks generated by the geoblock definition subsystem 2210 according to certain embodiments. System 2220 is provided by computer/server system 220 in particular embodiments. This may be the same computer/server system 220 serving subsystem 2210 or a different computer/server system. As shown in FIG. 31, the processing unit 202 in the computer/server system 220 executes a geoblock scoring software program 3101 loaded into the main memory 204 to run a geoblock identification module 3110, a record estimation module 3120, a key performance A geoblock scoring subsystem 2220 is provided that includes an index (KPI) estimation module 3130 and a store visit estimation module 3140 . Subsystem 2220 can further include a geoblock selection module 3150 . Subsystem 2220 includes database 3160 for storing geoblocks generated by subsystem 2210, database 3170 for storing logged mobile supply data, block level record estimation results, KPI estimation results, and store visit estimation results. store data used and/or generated by subsystem 2220, including one or more databases (e.g., database 3180) for storing block-level estimation results, including use multiple databases that Any or all of these databases may be located on storage 210 or another server/computer 120 and/or NAS 121 in network 200 that process 202 can access via network interface device 208 .

図32は、特定の実施形態によるジオブロックスコアリングサブシステム2220によって実行されるジオブロックスコアリング方法3200を示すフローチャートである。図32に示されるように、ジオブロックスコアリング方法3200は、ブランドまたは事業エンティティに関連付けられた店舗など、関心点(POI)に関連付けられた標的領域内のジオブロックを識別する方法3210を含む。図35に示すように、標的領域は、POI 1501の周りに描かれた円3500、またはブランドまたは事業のための広告キャンペーンによって設定された任意の形状または規模の領域であってもよい。いくつかの実施形態では、ジオブロック識別モジュール3110がPOI 3501に関連付けられた標的領域3500と実質的に重複するジオブロックをジオブロックデータベース3160内で検索することによってジオブロックを識別する(例えば、識別された各ジオブロックの領域の少なくとも50%がPOIに関連付けられた標的領域内にある)。 FIG. 32 is a flowchart illustrating a geoblock scoring method 3200 performed by a geoblock scoring subsystem 2220 according to certain embodiments. As shown in FIG. 32, the geoblock scoring method 3200 includes a method 3210 of identifying geoblocks within a target area associated with a point of interest (POI), such as a store associated with a brand or business entity. As shown in Figure 35, the target area may be a circle 3500 drawn around the POI 1501, or an area of any shape or size set by an advertising campaign for a brand or business. In some embodiments, the geoblock identification module 3110 identifies the geoblock by searching the geoblock database 3160 for geoblocks that substantially overlap the target area 3500 associated with the POI 3501 (e.g., identify At least 50% of the area of each geoblock marked is within the target area associated with the POI).

該方法3200はブロックレベルの記録（inventory）を推定すること(3220)をさらに含み、記録推定モジュール3120は、異なる時間枠（タイムフレーム）に沿って、および異なるメタデータ規模に沿って要求ログを集約することによって、識別されたジオブロックの各々における記録を推定する。例えば、ブロックID1234568について30～40歳の男性ユーザの記録を推定するために、単純な方法は、メタデータ要件および過去1週間(または1ヶ月など)におけるブロックID要件に適した、要求ログに見られる要求の総数および固有のUIDの総数の日次平均をとることであってよい。いくつかの他の実施形態では、直鎖状回帰モデルまたは時系列モデルを使用して、様々な時間枠に適用された履歴ログ集約データに基づいて将来の記録を予測する。 The method 3200 further includes estimating (3220) block-level inventory, wherein the inventory estimation module 3120 analyzes request logs along different timeframes and along different metadata scales. By aggregating, we estimate the records in each of the identified geoblocks. For example, to extrapolate the records of a male user aged 30-40 for block ID 1234568, a simple method is to find may be taking a daily average of the total number of requests made and the total number of unique UIDs. In some other embodiments, linear regression models or time series models are used to predict future records based on historical log aggregate data applied to various timeframes.

方法3200はブロックレベルキャンペーンKPI(3230)を推定することをさらに含み、KPI推定モジュール3130はインプレッション(imp)ログ、クリックログ、およびSARログを使用して、識別されたジオブロックごとに、クリックスルーレート(CTR)、二次動作レート(SAR)などのキーパフォーマンスインデックスを推定する。推定は(ブロックID、CMP ID、CTR、TF)、および(ブロックID、CMP ID、SAR、TF)として表される。ここで、CMP IDはキャンペーンされたものであり、TFはKPIを計算するために使用される時間枠である。幾つかの実施形態では、ジオブロックの大きさは比較的小さく、典型的なキャンペーンは1ヶ月又は2ヶ月しか実行されないので、KPIを確実に計算するためにブロックレベルで十分なインプレッション及びクリックデータを収集することは困難である。例えば、平均CTRが約0.5%であり、SARを確実に推定するために少なくとも100または200クリックであり、平均SARが5%～7%である場合、CTRを確実に推定するために少なくとも2000～5000インプレッションを必要とすることがある。 The method 3200 further includes estimating a block-level campaign KPI (3230), wherein the KPI estimation module 3130 uses impression (imp) logs, click logs, and SAR logs to determine the number of click-throughs for each identified geoblock. Estimate key performance indices such as rate (CTR), secondary action rate (SAR), etc. The estimates are denoted as (Block ID, CMP ID, CTR, TF) and (Block ID, CMP ID, SAR, TF). where CMP ID is what was campaigned and TF is the timeframe used to calculate the KPI. In some embodiments, geoblock sizes are relatively small and typical campaigns run for only a month or two, so there is enough impression and click data at the block level to reliably calculate KPIs. Difficult to collect. For example, if the average CTR is about 0.5%, and at least 100 or 200 clicks to reliably estimate the SAR, and the average SAR is 5%-7%, then at least 2000-2000 clicks to reliably estimate the CTR. May require 5000 impressions.

この問題に対処するために、いくつかの実施形態ではKPI推定がキャンペーンから業界（vertical）レベルにロールアップされ、したがって、CTRおよびSARの推定は(ブロックID、業界ID、CTR、TF)および(ブロックID、業界ID、SAR、TF)のタプルとして表される。業界は個々のキャンペーンのライフサイクルによって制限されないので、集約の時間枠はまた、6ヶ月まで延長されて、KPI推定のためのより良い数字を得ることができる。 To address this issue, in some embodiments the KPI estimates are rolled up from the campaign to the industry (vertical) level, so the CTR and SAR estimates are (Block ID, Industry ID, CTR, TF) and ( It is represented as a tuple of Block ID, Industry ID, SAR, TF). Since the industry is not limited by the lifecycle of individual campaigns, the aggregation timeframe can also be extended to six months to get better numbers for KPI estimation.

いくつかの実施形態では、より良好なKPI推定をサポートするために、時間枠規模におけるロールアップも必要とされる。特定のブロックについては、KPIが過去3ヶ月間のデータを用いて最初に推定することができる。データの回収が不足している場合は、過去6ヵ月間のデータを使用する。いくつかの実施形態では、時間枠が1年またはそれを超えてロールアップされることができる。いくつかの実施形態では、より最近のデータポイントがより古いデータポイントよりも高い重みを得るように、時間枠規模におけるロールアップは重み付けされることができる。時間枠規模でのロールアップが、いくつかのジオブロックのKPIを計算するのに十分なデータを生成できない場合、グローバルキャンペーンレベルまたはグローバル業界レベルにわたる平均化を使用して、これらのジオブロックのKPIを推定することができる。 In some embodiments, rollups on timeframe scales are also required to support better KPI estimation. For certain blocks, KPIs can be estimated initially using data from the last three months. If data collection is lacking, use data from the last 6 months. In some embodiments, the timeframe can be rolled up to one year or more. In some embodiments, the rollup on the timeframe scale can be weighted such that more recent data points get higher weight than older data points. If rollup on a timeframe scale does not produce enough data to calculate KPIs for some geoblocks, averaging over global campaign level or global industry level can be used to calculate KPIs for these geoblocks can be estimated.

方法3200はブロックレベルの店舗訪問(SV)(3240)スコアを推定することをさらに含み、店舗訪問推定モジュール3140は、識別された各ジオブロックについてブランド訪問蓋然性スコア(SVスコア)を計算する。ブランド販売収入が興味深い場合、この蓋然性スコアは、ブランド顧客訪問行動および購入行動から導き出すことができる。一実施形態では、この蓋然性スコアが店舗訪問率(SVR)によって測定される。これは、所与の時間枠(TF)中にブランド(ブランドID)を訪れたジオブロック(ブロックID)に見られる固有のUIDの割合として定義される。これは、ユーザ行動モデルデータベース2270内のSVログと位置履歴データベース2265内の要求ログとを使用して、以下のように計算される:
(a)要求ログから、指定されたブロック(ブロックID)でカバーされている位置のすべてのUIDを時間枠(TF)中に少なくとも1 回検索し、ブロック一意変数を定義するUIDの合計をカウントする;
(b)時間枠TF中にSVログから関心ブランド(ブランドID)に少なくとも1つ(またはn、n>0)の店舗訪問(SV)を行ったセットからUIDを見つけ、block_SV変数を定義するUIDの合計一意数をカウントする;
(c)2つの固有のUID変数を使用してSVRを計算する:
block_svr = block_sv/block_unique The method 3200 further includes estimating a block-level store visit (SV) (3240) score, wherein the store visit estimation module 3140 calculates a brand visit probability score (SV score) for each identified geoblock. If brand sales revenue is of interest, this probability score can be derived from brand customer visit and purchase behavior. In one embodiment, this probability score is measured by store visit rate (SVR). It is defined as the percentage of unique UIDs found in geoblocks (Block ID) that visited a brand (Brand ID) during a given Time Frame (TF). This is computed using the SV logs in the user behavior model database 2270 and the request logs in the location history database 2265 as follows:
(a) Find all UIDs in the locations covered by the specified block (block ID) from the request log at least once during the time window (TF) and count the sum of the UIDs that define the block unique variables do;
(b) Find the UID from the set that made at least one (or n, n>0) store visits (SV) to the brand of interest (Brand ID) from the SV logs during the timeframe TF and define the block_SV variable count the total unique number of;
(c) Calculate SVR using two unique UID variables:
block_svr = block_sv/block_unique

あるいは、平均ブロックサイズが類似しており、より高いblock_SVがより高いSV蓋然性を直接示すという仮定の下で、block_svrの代わりにblock_SVがSVスコアとして直接使用される。 Alternatively, block_SV is directly used as the SV score instead of block_svr under the assumption that average block sizes are similar and higher block_SV directly indicates higher SV probability.

特定の実施形態ではSVスコアがステップ(b)のように計算されるが、何らかの繰り返しパターンでブランドを訪れたユーザのみを考慮する。例えば、SVスコアは、与えられた時間枠TFにおいて少なくとも週に1回、あるブランドを訪れたユーザの数として定義することができる。 In certain embodiments, the SV score is calculated as in step (b), but only considers users who visited the brand with some recurring pattern. For example, SV score can be defined as the number of users who visited a brand at least once a week in a given timeframe TF.

方法3200はさらに、各キャンペーンのためのジオブロックの選択を初期化および/または更新することを含み(3250)、ジオブロック選択モジュール3150は、モジュール3120、3130、および3140からの記録推定、KPI推定、および店舗訪問推定フィードに基づいて、特定のキャンペーンのための初期ジオブロックの最適化されたセット3190を決定する。 The method 3200 further includes initializing and/or updating (3250) a selection of geoblocks for each campaign, wherein the geoblock selection module 3150 generates record estimates, KPI estimates from modules 3120, 3130, and 3140. , and the store visit estimation feed, determine an optimized set 3190 of initial geoblocks for a particular campaign.

図33は、特定の実施形態によるジオブロック選択モジュール3150によって実行される初期化および/または更新処理3250を示すフローチャートである。図33に示すように、処理3250は、キャンペーンの目標に基づいて実績スコア測定値を決定することを含む(3252)。たとえば、キャンペーンの目標がユーザクリックを最大化することである場合、CTRが実績スコアとして使用される。あるいはキャンペーンの焦点がクリック後の二次動作である場合、CTRとSARとの積(これは典型的にはイールドと呼ばれる)YIELD= CTR* SARをスコアとして使用することができる。あるいは、キャンペーン目標がブランドロイヤリストに到達することであれば、SVR(block_svr)および/またはSV(block_SV)を使用することができる。より一般的な場合には、スコア測定値が、これらの異なるパラメータの加重和として次のように表されてよい。
スコア= w1*CTR + w2*イールド + w3*SVR + w4*SV
ここで、w1、w2、w3、w4は、特定のキャンペーン目標に基づく調整可能な重み係数である。CTRおよびSAR* CTRはキャンペーンのための2つの可能なKPI目標であり、SVRおよびSVは、記載されるような2つの可能なSVスコア推定値である。 FIG. 33 is a flow diagram illustrating initialization and/or update processing 3250 performed by the geoblock selection module 3150 according to certain embodiments. As shown in FIG. 33, process 3250 includes determining a performance score measure based on campaign goals (3252). For example, if the campaign goal is to maximize user clicks, CTR is used as the performance score. Alternatively, if the focus of the campaign is post-click secondary behavior, the product of CTR and SAR (which is typically called yield) YIELD=CTR*SAR can be used as the score. Alternatively, SVR (block_svr) and/or SV (block_SV) can be used if the campaign goal is to reach a brand loyalty list. In the more general case, the score measure may be expressed as a weighted sum of these different parameters:
Score = w1*CTR + w2*yield + w3*SVR + w4*SV
where w1, w2, w3, w4 are adjustable weighting factors based on specific campaign goals. CTR and SAR* CTR are two possible KPI targets for the campaign and SVR and SV are two possible SV score estimates as described.

ある実施形態では、ブロック品質スコアが
スコア= w1*N(CTR) + w2*N(イールド)+ w3*N(SVR)+ w4*N(SV)として正規化変数を使用して定義され、ここで、正規化関数N()は
N(x)=(x-m)/STD
などのガウス正規化関数とすることができ、mはxの平均であり、STDは標的可能なジオブロック(すなわち、所与のキャンペーンの標的地域内のジオブロック)の変数xの標準偏差である。いくつかの実施形態では、処理3250が、キャンペーン実績スコア測定値に基づいて、キャンペーンの標的領域内の識別された各ジオブロックのジオブロック実績スコアを計算すること(3254)をさらに含む。なお、標的領域は、キャンペーンによって設定される変数である。この地域は、ブランドの事業位置の周りの円形の半径、多数の郵便番号、都市、州、さらには国家とすることができる。 In one embodiment, the block quality score is defined as score = w1*N(CTR) + w2*N(yield) + w3*N(SVR) + w4*N(SV) using normalized variables, where and the normalization function N() is
N(x)=(xm)/STD
, where m is the mean of x and STD is the standard deviation of the variable x in the targetable geoblocks (i.e. geoblocks within the target region of a given campaign) . In some embodiments, the process 3250 further includes calculating (3254) a geoblock performance score for each identified geoblock within the target area of the campaign based on the campaign performance score measurements. Note that the target area is a variable set by the campaign. The region can be a circular radius around the brand's business location, multiple zip codes, cities, states, or even countries.

特定の実施形態では、地理的領域(またはジオブロック)の実績スコアが特定のキャンペーン実績目標に依存する。例えば、場合によっては、広告キャンペーンの目標がより多くの人々がブランド店を訪れるようにすることである。次いで、地理的領域の実績スコアは、ユーザがこの地理的領域を訪れた後に、ユーザがブランド化された店を訪れる蓋然性として定義することができる。特定の実施形態では、以下の処理を使用して、蓋然性を推定し、それぞれの地理的領域についての実績スコアを導出することができる:
(a)上記および同時係属中の米国特許出願第15289104号（2016年10月7日出願）（発明の名称「Method and Apparatus for Measuring Effect of Information Delivered to Mobile Devices」）で論じられているように、ブランド顧客が地理的領域を訪れる確率または割合Paを推定する。この全体は、参照により本願に組み入れられる。
(b)局所領域(例えば、市街地から20マイル以内)内の一般大衆が地理的領域を訪れる確率Pbを推定する。
(c)地理的領域ごとの比率Pa/Pbを、地理的領域を訪れる人物が関心ブランドを訪れる蓋然性の推定値として、使用する。この推定はそれ自体で使用することができ、または、例えば、重み付け平均値を使用して、KPIスコアなどの他の要因と組み合わせて、ジオブロックの実績スコアを取得することができる。 In certain embodiments, a geographic area's (or geoblock's) performance score depends on a particular campaign performance goal. For example, in some cases the goal of an advertising campaign is to get more people to visit a branded store. A performance score for a geographic region can then be defined as the probability that a user will visit a branded store after the user visits this geographic region. In certain embodiments, the following process can be used to estimate probabilities and derive performance scores for each geographic region:
(a) As discussed above and in co-pending U.S. Patent Application No. 15289104 (filed October 7, 2016) entitled "Method and Apparatus for Measuring Effect of Information Delivered to Mobile Devices"; , to estimate the probability or rate Pa of brand customers visiting a geographic region. the entirety of which is incorporated herein by reference.
(b) Estimate the probability Pb that the general public within a local area (eg, within 20 miles of an urban area) will visit the geographic area.
(c) Using the ratio Pa/Pb for each geographic area as an estimate of the probability that a person visiting the geographic area will visit the brand of interest. This estimate can be used by itself, or it can be combined with other factors, such as a KPI score, to obtain a geoblock's performance score, for example using a weighted average.

したがって、ジオブロックは、異なる関心またはパラメータを有する情報キャンペーンについて異なるスコアを付けることができる。例えば、図34Aは情報キャンペーンのプロットの中心付近の小さな正方形3401によって表されるPOI3401の周りのジオブロックのスコアを示す。より濃い色のジオブロックは、より高い実績スコアを有するジオブロックを表す。図34Bは別の情報キャンペーンに対するPOI 3401の周りの同じジオブロックのスコアを示す。より暗い色のジオブロックは、より高い実績スコアを有するジオブロックを表す。これらの図に示されるように、同じPOIの周りの同じジオブロックの相対スコアは、異なるキャンペーンパラメータまたは目標に対して非常に異なり得る。例えば、ジオブロック3402は図34Aのジオブロック3403よりも比較的高いスコアを有するが、図34Bのジオブロック3403よりも比較的低いスコアを有する。 Thus, geoblocks can score differently for information campaigns with different interests or parameters. For example, FIG. 34A shows scores for geoblocks around POI 3401 represented by small squares 3401 near the center of the information campaign plot. Darker colored geoblocks represent geoblocks with higher performance scores. FIG. 34B shows scores of the same geoblocks around POI 3401 for another information campaign. Darker colored geoblocks represent geoblocks with higher performance scores. As shown in these figures, the relative scores for the same geoblock around the same POI can be very different for different campaign parameters or goals. For example, geoblock 3402 has a relatively higher score than geoblock 3403 in FIG. 34A, but a relatively lower score than geoblock 3403 in FIG. 34B.

いくつかの実施形態では、処理3250が標的領域内の識別されたジオブロックを、それらの実績スコアに基づいて順位付けすること(3256)と、最良の実績スコアを有するジオブロックを選択して、キャンペーンのための標的領域を形成すること(3258)とをさらに含む。特定の実施形態では、特定の閾値を超える実績スコアを有するジオブロックが選択される。特定の実施形態では、ブロックレベルの記録推定を使用して、選択処理を案内する。これにより、全記録がキャンペーン予算目的にとって十分であるように、十分なブロックが標的領域に含まれることを確実にすることができる。例えば、ウォルマートキャンペーンが１日$5000の予算を有する場合、選択されたジオブロックは、少なくとも１日$5000の総在庫を有するべきである。多くの場合、１日の在庫供給は、円滑な配送を保証するために予算を十分上回るべきである。 In some embodiments, the process 3250 ranks 3256 the identified geoblocks within the target region based on their performance scores, selects the geoblocks with the best performance scores, forming 3258 a target area for the campaign. In certain embodiments, geoblocks with performance scores above a certain threshold are selected. In certain embodiments, block-level score estimates are used to guide the selection process. This can ensure that enough blocks are included in the target area so that the entire record is sufficient for campaign budget purposes. For example, if a Walmart campaign has a budget of $5000 per day, the selected geoblock should have a total inventory of at least $5000 per day. In many cases, daily inventory supply should be well above budget to ensure smooth delivery.

図35は、カリフォルニア州マウンテンビュー(Mountain View, California)(POI)のWalmartストアにつきハイパーローカルキャンペーンのための標的領域を形成するために選択されたジオブロックの例を示す。円3500はキャンペーンの標的領域であり、円の中心付近のピンクで示されるジオブロック3502はPOI3501(すなわち、ウォルマートストア)を含むブロックである。ダークグレーのジオブロック(すなわち、ジオブロック3503、3504、3506、および3507)は、キャンペーン配信のために選択されたトップの実績のジオブロックである。灰色のジオブロック3503、3504、3506、および3507は標的領域3500と実質的に重なり合う(例えば、それぞれの領域の半分を超える)ジオブロックの中から選択され、一緒になって、POIのための動的なジオフェンスまたは標的領域を定義する。ジオブロック3503はジオブロック3503よりも実際にPOI 3501に近い他のジオブロック(例えば、ジオブロック3507、3508、および3509)に対して選択され、したがって、1つまたは複数の選択されていないジオブロックによって、POIおよび1つまたは複数の他の選択されたジオブロックから分離されることに留意されたい。この例ではジオブロック3505を除いて、他の選択されたジオブロックはPOIを含むジオブロック3502に隣接していない。また、この例に示すように、選択されたジオブロックは、POIを含むジオブロック3502さえ含まなくてもよい。したがって、本開示の方法を使用して形成された標的領域は、単にPOIの近傍ではなく、成功の蓋然性に基づいてターゲティングされた領域を選択することによって、特定のキャンペーンの実績を最適化することに一層適合する。 FIG. 35 shows an example of geoblocks selected to form a target area for a hyperlocal campaign for a Walmart store in Mountain View, California (POI). Circle 3500 is the target area of the campaign, and geoblock 3502 shown in pink near the center of the circle is the block containing POI 3501 (ie, Walmart store). Dark gray geoblocks (ie, geoblocks 3503, 3504, 3506, and 3507) are the top performing geoblocks selected for campaign delivery. Gray geoblocks 3503, 3504, 3506, and 3507 are selected from geoblocks that substantially overlap the target area 3500 (e.g., more than half of each area) and together provide the motion for the POI. Define a strategic geofence or target area. Geoblock 3503 is selected against other geoblocks that are actually closer to POI 3501 than geoblock 3503 (e.g. geoblocks 3507, 3508, and 3509), thus one or more unselected geoblocks separated from the POI and one or more other selected geoblocks by . Except for geoblock 3505 in this example, no other selected geoblocks are adjacent to geoblock 3502, which contains the POI. Also, as shown in this example, the selected geoblocks may not even include geoblock 3502, which contains POIs. Therefore, the target areas formed using the methods of the present disclosure can be optimized for the performance of a particular campaign by selecting targeted areas based on the likelihood of success, rather than simply the proximity of the POI. more suitable for

いくつかのさらなる実施形態ではKPIスコア、ならびにSVRスコアおよびSVスコアは1日の異なるタイミングで推定されてもよく、これは各ブロックの品質スコアも時間によって発展することを意味する。これは、朝の時間と夕方の時間とで異なるフェンスを画定することができる、時間変化する動的なフェンス設計につながる。 In some further embodiments, KPI scores, and SVR and SV scores may be estimated at different times of the day, meaning that the quality score for each block also evolves over time. This leads to a time-varying dynamic fence design that can define different fences for morning and evening hours.

図36を参照すると、特定の実施形態によれば、地理的領域選択サブシステム2225はジオブロックを基礎としたターゲティングモジュール3610と、リアルタイムペース調整推定モジュール3630と、地理的領域選択モジュール3640と、空間指標構築モジュール3650とを含み、これらは、1つまたは複数のソフトウェアプログラムを実行する1つまたは複数のコンピュータ/サーバシステム220によって提供される。ジオブロックの基礎としたターゲティングモジュール3610はネットワーク210を介して、情報サーバ、例えば、モバイル出版社、広告仲介者、および/または広告交換などによって提示された情報要求を受信し、処理する。各情報要求はモバイル装置に関連し、例えば、モバイル装置(またはそのユーザ)の識別子(UID)、モバイル装置の型/モデル(例えば、iPhone 6S)、モバイル装置上で実行されるオペレーティングシステム(例えば、iOS 10.0.1)、モバイル装置のユーザの属性(例えば、年齢、性別、学歴、収入水準など)、モバイルデータの位置(例えば、都市、州、郵便番号、IPアドレス、緯度/経度、またはLLなど)など、それぞれの情報を伝送するデータユニットを含む装置パケットの形態で、ジオブロックを基礎としたターゲティングモジュール3610に到達する。
要求データはまた、要求タイムスタンプ、要求ID、および他のデータ/情報を含んでもよい。 Referring to FIG. 36, according to certain embodiments, the geographic region selection subsystem 2225 includes a geoblock-based targeting module 3610, a real-time pacing estimation module 3630, a geographic region selection module 3640, a spatial 3650, which are provided by one or more computer/server systems 220 executing one or more software programs. Geoblock based targeting module 3610 receives and processes information requests submitted by information servers, eg, mobile publishers, advertising brokers, and/or advertising exchanges, via network 210 . Each information request is related to a mobile device, e.g., the identifier (UID) of the mobile device (or its user), the make/model of the mobile device (e.g. iPhone 6S), the operating system running on the mobile device (e.g. iOS 10.0.1), mobile device user attributes (e.g. age, gender, education, income level, etc.), mobile data location (e.g. city, state, zip code, IP address, latitude/longitude, or LL, etc.) ) arrive at the geoblock-based targeting module 3610 in the form of device packets containing data units carrying the respective information.
Request data may also include a request timestamp, request ID, and other data/information.

特定の実施におけるジオブロックを基礎としたターゲティングモジュール3610は図36に示すように、要求データパケットを処理するための方法3600を実行する。方法3600はインターネットなどのネットワークへの接続構造を介して情報要求を受信し(3611)、情報要求内の位置データに基づいてモバイル装置位置を導出し(3613)、モバイル装置位置が1つ以上の所定の場所またはジオフェンスを誘起するかどうかを決定し(3615)、モバイル装置位置が1つ以上の所定の場所またはジオフェンスを誘起する場合に要求を満たし(3617)、処理された要求内の情報を分析のために位置履歴データベース2265に記憶する(3619)ことを含む。 The geoblock-based targeting module 3610 in particular implementations performs a method 3600 for processing request data packets, as shown in FIG. The method 3600 receives (3611) an information request over a connection structure to a network, such as the Internet, derives (3613) a mobile device location based on location data in the information request, and determines that the mobile device location is one or more. Determine 3615 whether to trigger predefined locations or geofences, satisfy 3617 the request if the mobile device location triggers one or more predefined locations or geofences, and This includes storing 3619 the information in the location history database 2265 for analysis.

いくつかの実施形態では、モバイル装置位置を導出すること(3613)は、その全体が参照により本明細書に組み込まれる、2015年5月19日に出願された「System and Method for Estimating Mobile Device Locations」という名称の同時係属中の米国特許出願第14/716,816号に記載されているスマートフォン位置システムおよび方法を使用して、要求内の位置情報を処理することを含む。導出されたモバイル装置位置は、要求に関連するモバイル装置が位置することができるジオフェンスを、空間指標データベース2255内で検索するために使用される。広告要求が空間指標データベース2255内のジオフェンスを誘起したことが分かった場合、要求はジオフェンスに対応するタグで注釈付けされる。タグは事業/ブランド名、事業/ブランド名に関連付けられた商品または役務の分類、およびジオフェンスなどを識別することができ、その結果、注釈付き要求が得られる。処理された要求は、データベース2265内の要求ログに記憶される。 In some embodiments, deriving 3613 the mobile device location is based on the method described in "System and Method for Estimating Mobile Device Locations" filed May 19, 2015, which is incorporated herein by reference in its entirety. processing the location information in the request using the smartphone location system and method described in co-pending US patent application Ser. No. 14/716,816 entitled ". The derived mobile device location is used to search within the spatial index database 2255 for geofences within which the mobile device associated with the request may be located. If the ad request is found to have triggered a geofence in the spatial index database 2255, the request is annotated with a tag corresponding to the geofence. Tags can identify business/brand names, classifications of goods or services associated with the business/brand names, geofences, etc., resulting in annotated requests. Processed requests are stored in a request log in database 2265 .

特定の実施形態では、要求を満たすことは、予算、ペース調整などの他の要因を考慮に入れて、注釈付き要求を、キャンペーンデータベース2260に格納されている情報キャンペーンの数の一致基準と比較することを含むことができる。ある実施形態では、要求を満たすことはリアルタイム入札を使用する情報サーバシステムに注釈付き要求を提供することを含むことができる。リアルタイム入札(RTB)に基づく典型的な広告提供システムでは、適格な要求が必ずしも満たされるとは限らず、したがって、インプレッションイベントが生じる。例えば、広告キャンペーンがペース調整の予算を使い果たすか、または、同じ要求が2つ以上のキャンペーンに適格であるか、または、ジオブロックを基礎としたターゲティングモジュール3610が入札に勝たないか等であってよい。 In certain embodiments, fulfilling the request compares the annotated request to match criteria for the number of informational campaigns stored in the campaign database 2260, taking into account other factors such as budget, pacing, etc. can include In some embodiments, fulfilling the request may include providing the annotated request to an information server system using real-time bidding. In a typical ad serving system based on real-time bidding (RTB), eligible requests are not always met, thus generating an impression event. For example, if an ad campaign runs out of pacing budget, or if the same request qualifies for more than one campaign, or if the geoblock-based targeting module 3610 won't win the bid, etc. good.

ペース調整(pacing)は広告主の投資収益率(ROI)を最適化するために、広告主の予算を時間に対してどのように費やすべきかを決定する制御ロジックである。ペース調整が無ければ、情報サーバシステムができるだけ多くの一致要求を満たそうとし、キャンペーンの初期段階でキャンペーン予算を使い果たす。ペース調整があれば、1つまたは複数の周期(例えば、毎時、毎日、または毎週)の配信目標(予算)が設定される。情報サーバシステム2200はステップ・バイ・ステップの方法を使用して、情報キャンペーンの日次および/または毎時配信目標を満たすように、情報キャンペーンのための一致要求の充足をペース調整する計画を作成する。したがって、キャンペーンに合致する広告要求は、一定の定期的な目標に達していないか、または関連する予算が使い果たされていない場合にのみ満たされる。 Pacing is the control logic that determines how an advertiser's budget should be spent over time in order to optimize the advertiser's return on investment (ROI). Without pacing, the information server system would try to satisfy as many matching requests as possible, exhausting the campaign budget early in the campaign. With pacing, one or more periodic (eg, hourly, daily, or weekly) delivery targets (budgets) are set. The information server system 2200 uses a step-by-step method to create a plan to pace the fulfillment of matching requests for an information campaign to meet the information campaign's daily and/or hourly delivery goals. . Ad requests that match a campaign are therefore fulfilled only if certain recurring targets are not met or the associated budget is not exhausted.

したがって、注釈付けされた要求内のデータユニットおよびタグが1つ以上の情報キャンペーンと一致することを決定すると、ジオブロックベースターゲティングモジュール3610または別の情報サーバシステムは、要求を満たすかどうかを決定し、および、ペース調整や、履歴データデータベース2265に記憶された関連するモバイル装置(ユーザ)の行動に関する履歴データ等の要因に基づいて、要求を満たすために、一致する広告キャンペーンのどれを選択するかを決定する。この要求は、選択された情報キャンペーンに関連する文書へのリンクを注釈付き要求に添付し、モバイル装置（例えば、モバイル発行者、広告仲介者、および/または広告交換など）と対話するモバイルサービスプロバイダに、ネットワーク210を介して注釈付き要求を送信することによって実現される。ジオブロックを基礎としたターゲティングモジュール3610はまた、1つまたは複数の情報キャンペーンに関連付けられた文書が、関連するモバイルに配信された(またはインプレッションされた)かどうかを示すフィードバックを監視し、そのフィードバックをリアルタイムペース調整推定モジュール3630に提供する。フィードバックはまた、データベース2470のインプレッションログに記憶されてもよい。 Thus, upon determining that the data units and tags within an annotated request match one or more information campaigns, the geoblock-based targeting module 3610 or another information server system determines whether to satisfy the request. , and which of the matching advertising campaigns is selected to satisfy the request based on factors such as pacing and historical data about relevant mobile device (user) behavior stored in the historical data database 2265 to decide. This request attaches links to documents related to the selected information campaign to the annotated request and is a mobile service provider that interacts with mobile devices (e.g., mobile publishers, advertising intermediaries, and/or ad exchanges, etc.). , by sending an annotated request over the network 210. The geoblock-based targeting module 3610 also monitors feedback indicating whether documents associated with one or more informational campaigns have been delivered (or impressions) to relevant mobiles, and the feedback is provided to the real-time pacing estimation module 3630. Feedback may also be stored in the database 2470 impression log.

情報キャンペーンの始めに、地理的領域またはジオブロックの最初の組が、地理的領域スコアリングサブシステム2220によって提供される。キャンペーンがリアルタイムで進行するにつれて、リアルタイムペース調整推定モジュール3630は、ジオブロックを基礎としたターゲティングモジュール3610によって提供されるフィードバックに基づいて、キャンペーンのペース調整状況を定期的に推定する。地理的領域選択モジュール3640はリアルタイムペース調整推定モジュール3630によって提供されるペース調整状況を、キャンペーンのための所定のペース調整目標と比較し、それに応じて、標的領域に含まれる地理的領域の個数を増加/低減させる。リアルタイムペース調整推定部3630は例えば、ジオフェンスが更新される速度と、ジオフェンスに含まれ得る地理的領域の最小数/最大数とによって、標的領域のダイナミクスを制御する。したがって、リアルタイムペース調整推定モジュール3630は、実績とペース調整との間のバランス、ならびにそれらの最小/最大到達可能値を制御する。 At the beginning of an information campaign, an initial set of geographic regions or geoblocks are provided by the geographic region scoring subsystem 2220 . As the campaign progresses in real time, the real-time pacing estimation module 3630 periodically estimates the pacing status of the campaign based on the feedback provided by the geoblock-based targeting module 3610 . The geographic area selection module 3640 compares the pacing conditions provided by the real-time pacing estimation module 3630 to predetermined pacing goals for the campaign and, accordingly, determines the number of geographic areas included in the target area. Increase/decrease. The real-time pacing estimator 3630 controls the dynamics of the target area, eg, by the rate at which the geofence is updated and the minimum/maximum number of geographic areas that can be included in the geofence. Thus, the real-time pacing estimation module 3630 controls the balance between performance and pacing, as well as their minimum/maximum attainable values.

これにより、情報サーバシステム2200はモバイルユーザに関する情報要求を受信して処理し、モバイルユーザが特定の情報サービスを受信する潜在的な候補であるか否かを判定する。同時に、地理的領域選択サブシステム2225はある情報キャンペーンに関連する情報が移動ユーザに提供されている速度(すなわち、ペース調整状況)を追跡し、それに応じて、情報キャンペーンに関連する標的領域に含まれるジオブロックの数を調整して、実績とペース調整との間のバランスを得るようにする。 Accordingly, the information server system 2200 receives and processes information requests for mobile users to determine whether the mobile users are potential candidates for receiving a particular information service. At the same time, the geographic region selection subsystem 2225 tracks the rate (i.e., pacing) at which information related to an information campaign is being provided to mobile users and, accordingly, includes information in target regions related to the information campaign. Adjust the number of geoblocks stored to get a balance between achievements and pacing.

図37A～37Cは、特定の実施形態によるこの動的調整処理を示す。図37A～37Cは、プロットの中心付近の小さな正方形3701によって表される関心点3701の周りのジオブロックのプロットである。より暗い陰影を付けられたジオブロックは、特定の時間インスタンスにおける情報キャンペーンに関連付けられた標的領域に含まれるものである。その時点で、これらのより暗い陰影領域内に位置するモバイル装置ユーザは、情報サービスを受信するための潜在的な候補である。図37Aに示すように、第1の期間内のより早い時間インスタンスでは第1の閾値を超える実績スコアを有するジオブロックのみが、標的領域に含まれる。図37Aから図37Cまでは、ペース調整目標に到達していないことを示すペース調整状況に応答して、情報キャンペーンのペース調整目標を満たすために、徐々に多くのジオブロックが標的領域の一部として含まれる。例えば、図37Aに示されるように、標的領域に元々含まれていなかったジオブロック3702が、標的領域に追加される。図37Bでは、第1の閾値よりも低い第2の閾値よりも高い実績スコアを有するジオブロックが標的領域に含まれる。その後、図37Cにおいて、ペース調整目標を満たすためにより多くの要求が必要であると判定されると、第2の閾値よりも低く第3の閾値よりも高い実績スコアを有するジオブロックが標的領域に含まれる。例えば、図37Aまたは図37Bに示されるように、最初は標的領域に含まれていなかったジオブロック3703がここに含まれる。したがって、ペース調整目標より遅れている情報キャンペーンにつきジオブロックの数を増加させることによって、またはペース調整目標を超えている情報キャンペーンについてのジオブロックの数を減少させることによって、キャンペーンは、実績とペース調整との間のバランスを得るように最適化され得る。 Figures 37A-37C illustrate this dynamic adjustment process according to certain embodiments. Figures 37A-37C are plots of geoblocks around a point of interest 3701 represented by a small square 3701 near the center of the plot. Darker shaded geoblocks are those included in the target area associated with the information campaign at the particular time instance. At that point, mobile device users located within these darker shaded areas are potential candidates for receiving information services. As shown in FIG. 37A, only geoblocks with performance scores above the first threshold at earlier time instances within the first time period are included in the target region. Figures 37A through 37C illustrate progressively more geoblocks becoming part of the target area in order to meet the pacing goal of the information campaign in response to a pacing situation indicating that the pacing goal has not been reached. included as For example, as shown in Figure 37A, a geoblock 3702 that was not originally included in the target area is added to the target area. In FIG. 37B, geoblocks with performance scores higher than a second threshold lower than the first threshold are included in the target region. Thereafter, in FIG. 37C, when it is determined that more requests are needed to meet the pacing goal, geoblocks with performance scores lower than the second threshold and higher than the third threshold enter the target area. included. For example, as shown in Figures 37A or 37B, geoblock 3703, which was not originally included in the target area, is now included. Therefore, by increasing the number of geoblocks for informational campaigns that are behind their pacing goals, or by decreasing the number of geoblocks for informational campaigns that are exceeding their pacing goals, campaigns can improve their performance and pace. It can be optimized to get a balance between regulation.

本開示のいくつかの態様は、コンピュータの機能性を直接的に改善する。例えば、本開示の実施形態は未加工の位置データをジオフェンスおよびジオフロックに関する位置イベントに変換することによって、また、機械学習処理のために時及び空間にわたって位置イベントをフィルタリングおよび集約することによって、より小さい記憶部および処理要件で、一層高速なブロック類似予測を達成する。さらなる実施形態では関連性測定値がモバイル装置信号を使用してジオブロックについて計算される。関連性測定値は、適切な規模低減およびデータクラスタ化のために、ジオブロックをジオブロック区分に割り当てるために使用され、その結果、コンピュータリソースの効率的な使用および改善された位置予測実績をもたらす。 Some aspects of the present disclosure directly improve computer functionality. For example, embodiments of the present disclosure can be more efficient by transforming raw location data into location events for geofences and geoblocks, and by filtering and aggregating location events across time and space for machine learning processing. It achieves faster block-like prediction with smaller storage and processing requirements. In a further embodiment, relevance measures are calculated for geoblocks using mobile device signals. Relevance measures are used to assign geoblocks to geoblock partitions for proper size reduction and data clustering, resulting in efficient use of computer resources and improved location prediction performance. .

Claims (9)

類似モバイル装置を予想する方法において、
パケットを基礎としたネットワークに接続された１以上のコンピュータシステムであって、前記１以上のコンピュータシステムは、複数のモバイル装置に関連付けられたロギングされた要求データを格納した記憶部を含み、又は、前記記憶部へのアクセスを有し、前記ロギングされた要求データは、前記複数のモバイル装置によって誘起された位置イベントを示すデータを含み、前記位置イベントは、複数の地理的領域にそれぞれ対応する複数のジオブロックに関連する第１の位置イベントを含み、前記複数の地理的領域の各々は、公道又は自然境界によって定義される少なくとも１つの境界を有する、コンピュータシステムにて、
モバイル装置のシードリストに関して、複数のジオブロックの各々についての関連性測定値を判定することと、
前記複数のジオブロックを、それぞれが関連性測定値の別の範囲に対応する複数のジオブロック区分に分割することと、
前記１以上のコンピュータシステムの１以上のプロセッサによって、前記複数のモバイル装置から訓練モバイル装置を選択することと、
前記１以上のコンピュータシステムの１以上のプロセッサによって、前記訓練モバイル装置の各々につき、それぞれの訓練特徴セットを構築することであって、前記それぞれの訓練特徴セットは、前記それぞれのモバイル装置に関連付けられた位置イベントから導出された位置特徴と非位置特徴とを含み、前記それぞれの訓練特徴セットは、前記複数のジオブロック区分にそれぞれ対応する複数の訓練特徴を含む、ことと、
前記１以上のコンピュータシステムの前記１以上のプロセッサによって、前記訓練モバイル装置のうち各特定のモバイル装置についてのラベルを、前記特定のモバイル装置がモバイル装置の前記シードリストに含まれるか否かに少なくとも基づいて、判定することと、
機械学習プログラムを実行する前記１以上のコンピュータシステムのプロセッサによって、訓練特徴セットと前記訓練モバイル装置についてのラベルとを用いて、予測モデルを訓練することと、
前記１以上のコンピュータシステムの１以上のプロセッサによって、前記複数のモバイル装置のうち１以上のモバイル装置につき１以上の予測特徴セットを構築することであって、前記１以上の予測特徴セットの各々は、前記１以上のモバイル装置のうち対応する１つに関連付けられた位置イベントから導出された位置特徴と、非位置特徴とを含み、前記１以上の予測特徴セットの各々は、前記複数のジオブロック区分にそれぞれ対応する複数の予測特徴を含む、ことと、
前記１以上のコンピュータシステムのプロセッサによって、前記予測モデルを、前記１以上のモバイル装置についての前記１以上の予測特徴セットに適用して、１以上の予測結果を取得することであって、前記１以上の予測結果は、前記１以上のモバイル装置の各々が、モバイル装置の前記シードリストに関して類似モバイル装置である蓋然性を含む、ことと、
を実行する方法。 In the method for predicting similar mobile devices,
one or more computer systems connected to a packet-based network, wherein the one or more computer systems include storage storing logged request data associated with a plurality of mobile devices; or having access to the storage, wherein the logged request data includes data indicative of location events triggered by the plurality of mobile devices, the location events corresponding to a plurality of geographic regions, respectively; wherein each of the plurality of geographic regions has at least one boundary defined by a public road or a natural boundary;
determining a relevance measure for each of a plurality of geoblocks with respect to the mobile device's seedlist;
dividing the plurality of geoblocks into a plurality of geoblock partitions each corresponding to a different range of relevance measures;
selecting a training mobile device from the plurality of mobile devices by one or more processors of the one or more computer systems;
constructing, by one or more processors of the one or more computer systems, for each of the training mobile devices a respective training feature set, the respective training feature set associated with the respective mobile device; location features and non-location features derived from location events , each said training feature set comprising a plurality of training features respectively corresponding to said plurality of geoblock partitions;
at least a label for each particular mobile device among the training mobile devices, whether or not the particular mobile device is included in the seed list of mobile devices, by the one or more processors of the one or more computer systems; determining based on
training a predictive model using a training feature set and labels for the training mobile device by a processor of the one or more computer systems executing a machine learning program;
constructing, by one or more processors of the one or more computer systems, one or more predictive feature sets for one or more of the plurality of mobile devices, each of the one or more predictive feature sets comprising: , a location feature derived from a location event associated with a corresponding one of said one or more mobile devices, and a non-location feature , each of said one or more prediction feature sets comprising: including a plurality of prediction features each corresponding to a block partition ;
applying, by a processor of the one or more computer systems, the predictive model to the one or more predictive feature sets for the one or more mobile devices to obtain one or more prediction results; the above prediction results include a probability that each of the one or more mobile devices is a similar mobile device with respect to the seed list of mobile devices;
how to run. 請求項１に記載の方法において、
前記位置イベントは、複数のブランドにそれぞれ関連付けられた複数のジオフェンスに関連する第２の位置イベントを含み、前記それぞれの訓練特徴セットは、前記複数のブランドにそれぞれ対応する訓練特徴をさらに含み、前記１以上の予測特徴セットの各々は、前記複数のブランドにそれぞれ対応する予測特徴をさらに含む、方法。 The method of claim 1, wherein
said location events comprising a second location event associated with a plurality of geofences respectively associated with a plurality of brands, said respective training feature sets further comprising training features respectively corresponding to said plurality of brands; The method, wherein each of the one or more predictive feature sets further includes predictive features respectively corresponding to the plurality of brands. 請求項１に記載の方法において、
前記１以上のコンピュータシステムはフィードバックログをさらに含み、または前記フィードバックログへのアクセスを有し、
前記フィードバックログはインプレッションエントリを含み、前記インプレッションエントリの各々は関連付けられたモバイル装置の識別子と、インプレッションされた文書の識別子と、タイムスタンプとを含み、前記それぞれの訓練特徴セットは、第１の時期においてモバイル装置の前記シードリストに関連付けられた１以上の文書のいずれかにより前記それぞれのモバイル装置がインプレッションされた回数に対応する訓練特徴をさらに含み、前記１以上の予測特徴セットの各々は、前記第１の時期と同一の持続時間を有する第２の時期においてモバイル装置の前記シードリストに関連付けられた１以上の文書のいずれかにより前記１以上のモバイル装置のうち対応する１つがインプレッションされた回数に対応する予測特徴をさらに含む、方法。 The method of claim 1, wherein
said one or more computer systems further comprising or having access to a feedback log;
The feedback log includes impression entries, each impression entry including an associated mobile device identifier, an impression document identifier, and a timestamp, and the respective training feature set includes: further comprising a training feature corresponding to the number of times the respective mobile device was impressed with any of the one or more documents associated with the seedlist of mobile devices in the one or more predictive feature sets, each of the one or more predictive feature sets comprising: The number of times a corresponding one of said one or more mobile devices was impressiond by any of the one or more documents associated with said seedlist of mobile devices in a second epoch having the same duration as the first epoch. The method further comprising predictive features corresponding to . 請求項１に記載の方法において、
前記１以上のコンピュータシステムの1つ以上のプロセッサによって、前記複数のモバイル装置から、評価モバイル装置を選択することと、
前記１以上のコンピュータシステムの１以上のプロセッサによって、それぞれの評価モバイル装置につき、それぞれの評価特徴セットを構築することであって、前記それぞれの評価特徴セットは、前記それぞれの評価モバイル装置に関連付けられた位置イベントから導出された位置特徴と、非位置特徴とを含む、ことと、
前記１以上のコンピュータシステムの１以上のプロセッサによって、それぞれの特定の評価モバイル装置のラベルを、前記特定の評価モバイル装置がモバイル装置の前記シードリストに含まれるか否かに少なくとも基づいて、抽出することと、
前記１以上のコンピュータシステムのプロセッサによって、前記予測モデルを、前記評価モバイル装置の前記評価特徴セットに適用して、評価予測結果を取得することであって、前記評価予測結果は、前記評価モバイル装置のそれぞれがモバイル装置の前記シードリストに関して類似モバイル装置である蓋然性を含む、ことと、
前記評価予測結果を前記評価モバイル装置の前記ラベルと比較することによって、前記予測モデルの精度測定値を判定することと、
をさらに含む方法。 The method of claim 1, wherein
selecting an evaluation mobile device from the plurality of mobile devices by one or more processors of the one or more computer systems;
constructing, by one or more processors of the one or more computer systems, a respective evaluation feature set for each evaluation mobile device, the respective evaluation feature set associated with the respective evaluation mobile device; including location features derived from location events and non-location features;
extracting, by one or more processors of the one or more computer systems, a label for each particular rated mobile device based at least on whether the particular rated mobile device is included in the seed list of mobile devices; and
applying, by a processor of the one or more computer systems, the predictive model to the rating feature set of the evaluating mobile device to obtain a rating prediction result, wherein the rating prediction result is the rating mobile device includes a probability of being a similar mobile device with respect to said seed list of mobile devices;
determining an accuracy measure of the prediction model by comparing the rating prediction result to the label of the rating mobile device;
The method further comprising 請求項４に記載の方法において、訓練モバイル装置を選択することは、
前記複数のモバイル装置からモバイル装置を選択して、モバイル装置のサンプル空間を形成することであって、モバイル装置の前記サンプル空間内の各モバイル装置は、モバイル装置の前記シードリストに関連付けられた類似発見明細を満たす、ことと、
前記サンプル空間を形成する前記モバイル装置の一部と、モバイル装置の前記シードリストの一部とをランダムに選択して、選択されたモバイル装置のグループを形成することと、を含み、
前記訓練モバイル装置は、選択されたモバイル装置の前記グループの第１のサブグループを含み、前記評価モバイル装置は、選択されたモバイル装置の第２のサブグループを含む、方法。 5. The method of claim 4, wherein selecting a training mobile device comprises:
selecting a mobile device from the plurality of mobile devices to form a sample space of mobile devices, wherein each mobile device in the sample space of mobile devices has a similarity associated with the seed list of mobile devices; fulfilling the discovery specification; and
randomly selecting a portion of the mobile devices forming the sample space and a portion of the seed list of mobile devices to form a group of selected mobile devices;
The method wherein the training mobile devices comprise a first subgroup of the group of selected mobile devices and the evaluation mobile devices comprise a second subgroup of the selected mobile devices. 請求項１に記載の方法において、訓練モバイル装置を選択することは、
前記複数のモバイル装置からモバイル装置を選択して、モバイル装置のサンプル空間を形成することであって、モバイル装置の前記サンプル空間内の各モバイル装置は、モバイル装置の前記シードリストに関連付けられた類似発見明細を満たす、ことと、
モバイル装置の前記サンプル空間の一部と、モバイル装置の前記シードリストの一部とをランダムに選択して、選択されたモバイル装置のグループを形成することと、
を含み、
前記訓練モバイル装置は、選択されたモバイル装置の前記グループの少なくとも一部を含み、
前記１以上のモバイル装置が、モバイル装置の前記サンプル空間内の１以上のモバイル装置を含む、方法。 2. The method of claim 1, wherein selecting a training mobile device comprises:
selecting a mobile device from the plurality of mobile devices to form a sample space of mobile devices, wherein each mobile device in the sample space of mobile devices has a similarity associated with the seed list of mobile devices; fulfilling the discovery specification; and
randomly selecting a portion of the sample space of mobile devices and a portion of the seed list of mobile devices to form a group of selected mobile devices;
including
the training mobile devices include at least a portion of the group of selected mobile devices;
The method, wherein the one or more mobile devices comprises one or more mobile devices within the sample space of mobile devices. 請求項１に記載の方法において、
前記パケットを基礎としたネットワークへ類似モバイル装置のリストを送信することであって、類似モバイル装置の前記リストは、前記１以上の予測結果に基づいて、前記１以上のモバイル装置から選択される、ことを更に含む方法。 The method of claim 1, wherein
sending a list of similar mobile devices to the packet-based network, wherein the list of similar mobile devices is selected from the one or more mobile devices based on the one or more prediction results; The method further comprising: 請求項１に記載の方法において、
モバイル装置の前記シードリストは重み付けされ、前記特定のモバイル装置の前記ラベルは、前記特定のモバイル装置が前記モバイル装置の前記シードリストに含まれる場合、前記特定のモバイル装置の重みに基づいてさらに判定される、方法。 The method of claim 1, wherein
The seedlist of mobile devices is weighted, and the label of the particular mobile device is further determined based on the weight of the particular mobile device if the particular mobile device is included in the seedlist of the mobile device. done, method. パケットを基礎としたネットワークに接続されたシステムであって、
複数のモバイル装置に関連付けられたロギングされた要求データを格納した記憶部であって、前記ロギングされた要求データは、前記複数のモバイル装置によって誘起された位置イベントを示すデータを含み、前記位置イベントは、複数の地理的領域にそれぞれ対応する複数のジオブロックに関連する第１の位置イベントを含み、前記複数の地理的領域の各々は、公道又は自然境界によって定義される少なくとも１つの境界を有する、記憶部と、
前記複数のモバイル装置から訓練モバイル装置を選択するよう構成されたデータマネージャと、
特徴生成部であって、
モバイル装置のシードリストに関して、複数のジオブロックの各々についての関連性測定値を判定することと、
前記複数のジオブロックを、それぞれが関連性測定値の別の範囲に対応する複数のジオブロック区分に分割することと、
前記訓練モバイル装置のそれぞれのモバイル装置につき、それぞれの訓練特徴セットを構築することであって、前記それぞれの訓練特徴セットは、前記それぞれのモバイル装置に関連付けられた位置イベントから導出された位置特徴と非位置特徴とを含み、前記それぞれの訓練特徴セットは、前記複数のジオブロック区分にそれぞれ対応する複数の訓練特徴を含む、ことと、
前記訓練モバイル装置のうち各特定のモバイル装置についてのラベルを、前記特定のモバイル装置がモバイル装置の前記シードリストに含まれるか否かに少なくとも基づいて、判定することと、
前記複数のモバイル装置のうち１以上のモバイル装置につき１以上の予測特徴セットを構築することであって、前記１以上の予測特徴セットの各々は、前記１以上のモバイル装置のうち対応する１つに関連付けられた位置イベントから導出された位置特徴と、非位置特徴とを含み、前記１以上の予測特徴セットの各々は、前記複数のジオブロック区分にそれぞれ対応する複数の予測特徴を含む、ことと、
を実行するよう構成された特徴生成部と、
訓練特徴セットと前記訓練モバイル装置のラベルとを用いて予測モデルを訓練するよう構成された機械学習モジュールと、
前記予測モデルを、前記１以上のモバイル装置についての前記１以上の予測特徴セットに適用して、１以上の予測結果を取得するよう構成された予測モジュールであって、前記１以上の予測結果は、前記１以上のモバイル装置の各々が、モバイル装置の前記シードリストに関して類似モバイル装置である蓋然性を含む、予測モジュールと、
を含むシステム。 A system connected to a packet-based network, comprising:
A storage unit storing logged request data associated with a plurality of mobile devices, said logged request data including data indicative of location events triggered by said plurality of mobile devices, said location events includes a first location event associated with a plurality of geoblocks respectively corresponding to a plurality of geographic regions, each of the plurality of geographic regions having at least one boundary defined by a public road or a natural boundary , a storage unit, and
a data manager configured to select a training mobile device from the plurality of mobile devices;
A feature generator,
determining a relevance measure for each of a plurality of geoblocks with respect to the mobile device's seedlist;
dividing the plurality of geoblocks into a plurality of geoblock partitions each corresponding to a different range of relevance measures;
constructing a respective training feature set for each of the training mobile devices, the respective training feature set including location features derived from location events associated with the respective mobile device; non-location features , wherein each training feature set includes a plurality of training features respectively corresponding to the plurality of geoblock partitions;
determining a label for each particular mobile device among the training mobile devices based at least on whether the particular mobile device is included in the seed list of mobile devices;
constructing one or more predictive feature sets for one or more mobile devices of the plurality of mobile devices, each of the one or more predictive feature sets corresponding to one of the one or more mobile devices; and non-location features , each of said one or more prediction feature sets comprising a plurality of prediction features respectively corresponding to said plurality of geoblock partitions. , and
a feature generator configured to perform
a machine learning module configured to train a predictive model using the training feature set and the training mobile device labels;
a prediction module configured to apply the prediction model to the one or more prediction feature sets for the one or more mobile devices to obtain one or more prediction results, wherein the one or more prediction results are , a prediction module that includes a probability that each of the one or more mobile devices is a similar mobile device with respect to the seed list of mobile devices;
system including.
JP2020520303A 2017-10-10 2018-10-10 System and method for predicting similar mobile devices Active JP7285521B2 (en)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762570562P 2017-10-10 2017-10-10
US62/570,562 2017-10-10
US15/999,330 2018-08-17
US15/999,330 US10278014B2 (en) 2015-11-04 2018-08-17 System and method for using geo-blocks and geo-fences to predict mobile device locations
PCT/US2018/055293 WO2019075120A1 (en) 2017-10-10 2018-10-10 Systems and methods for using geo-blocks and geo-fences to discover lookalike mobile devices

Publications (3)

Publication Number Publication Date
JP2020537252A JP2020537252A (en) 2020-12-17
JP2020537252A5 JP2020537252A5 (en) 2021-11-18
JP7285521B2 true JP7285521B2 (en) 2023-06-02

Family

ID=66101683

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020520303A Active JP7285521B2 (en) 2017-10-10 2018-10-10 System and method for predicting similar mobile devices

Country Status (3)

Country Link
EP (1) EP3695349A1 (en)
JP (1) JP7285521B2 (en)
WO (1) WO2019075120A1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359170B (en) * 2018-11-02 2020-05-12 百度在线网络技术（北京）有限公司 Method and apparatus for generating information
CN109933638B (en) * 2019-03-19 2023-05-23 腾讯科技（深圳）有限公司 Target area contour determination method and device based on electronic map and storage medium
US11546421B2 (en) * 2019-04-03 2023-01-03 Mitsubishi Electric Corporation Connection management device for connection to secure server connection management system for connection to secure server connection management method for connection to secure server and program
CN111209358A (en) * 2019-12-24 2020-05-29 武汉蜜蜂云科技有限公司 Method and device for counting equipment number in scenic spot area
JP7315633B2 (en) * 2021-09-17 2023-07-26 ヤフー株式会社 Information processing device, information processing method, and information processing program

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9179258B1 (en) 2012-03-19 2015-11-03 Amazon Technologies, Inc. Location based recommendations
JP2016177649A (en) 2015-03-20 2016-10-06 ヤフー株式会社 Information processing device, information processing program, and information processing method

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7412202B2 (en) * 2001-04-03 2008-08-12 Koninklijke Philips Electronics N.V. Method and apparatus for generating recommendations based on user preferences and environmental characteristics
US20090197582A1 (en) * 2008-02-01 2009-08-06 Lewis Robert C Platform for mobile advertising and microtargeting of promotions
CN102956009B (en) * 2011-08-16 2017-03-01 阿里巴巴集团控股有限公司 A kind of electronic commerce information based on user behavior recommends method and apparatus
EP2570974B1 (en) * 2011-09-13 2018-11-28 ExB Asset Management GmbH Automatic crowd sourcing for machine learning in information extraction
GB2522708A (en) * 2014-02-04 2015-08-05 Jaguar Land Rover Ltd User content analysis
JP6023129B2 (en) * 2014-08-08 2016-11-09 ヤフー株式会社 Extraction apparatus, extraction method, and extraction program
US10165403B2 (en) * 2015-11-04 2018-12-25 xAd, Inc. Systems and methods for performance driven dynamic geo-fence based targeting

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9179258B1 (en) 2012-03-19 2015-11-03 Amazon Technologies, Inc. Location based recommendations
JP2016177649A (en) 2015-03-20 2016-10-06 ヤフー株式会社 Information processing device, information processing program, and information processing method

Also Published As

Publication number Publication date
EP3695349A1 (en) 2020-08-19
JP2020537252A (en) 2020-12-17
WO2019075120A1 (en) 2019-04-18

Similar Documents

Publication Publication Date Title
US10715962B2 (en) Systems and methods for predicting lookalike mobile devices
US10939233B2 (en) System and method for real-time prediction of mobile device locations
US11683655B2 (en) Systems and methods for predicting mobile device locations using processed mobile device signals
JP7084970B2 (en) Systems and methods for marketing mobile ad supply
US10278014B2 (en) System and method for using geo-blocks and geo-fences to predict mobile device locations
JP6785854B2 (en) Systems and methods for performance-driven dynamic geofence-based targeting
JP7214085B2 (en) Processes that control the delivery of information to mobile devices using online and offline predictions
JP7285521B2 (en) System and method for predicting similar mobile devices
US11134359B2 (en) Systems and methods for calibrated location prediction
US20180197203A1 (en) Method and Apparatus for Delivering Publicly Displayed Information to Mobile Devices based on Location History
US11367102B2 (en) Using on-line and off-line projections to control information delivery to mobile devices
US11743679B2 (en) Systems and methods for pacing information delivery to mobile devices
US11146911B2 (en) Systems and methods for pacing information campaigns based on predicted and observed location events
US20220408222A1 (en) Using on-line and off-line projections to control information delivery to mobile devices
WO2021133997A1 (en) Systems and methods for calibrated location prediction

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200610

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211005

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211005

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230418

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230515

R150 Certificate of patent or registration of utility model

Ref document number: 7285521

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150