CN111913660B - 打点数据处理方法和*** - Google Patents

打点数据处理方法和*** Download PDF

Info

Publication number
CN111913660B
CN111913660B CN202010682119.7A CN202010682119A CN111913660B CN 111913660 B CN111913660 B CN 111913660B CN 202010682119 A CN202010682119 A CN 202010682119A CN 111913660 B CN111913660 B CN 111913660B
Authority
CN
China
Prior art keywords
data
dotting data
dotting
target
strategy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010682119.7A
Other languages
English (en)
Other versions
CN111913660A (zh
Inventor
王兴
李涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Apas Digital Cloud Information Technology Co ltd
Original Assignee
Zhengzhou Apas Digital Cloud Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Apas Digital Cloud Information Technology Co ltd filed Critical Zhengzhou Apas Digital Cloud Information Technology Co ltd
Priority to CN202010682119.7A priority Critical patent/CN111913660B/zh
Publication of CN111913660A publication Critical patent/CN111913660A/zh
Application granted granted Critical
Publication of CN111913660B publication Critical patent/CN111913660B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5682—Policies or rules for updating, deleting or replacing the stored data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本说明书一个实施例提供了一种打点数据处理方法和***，其中方法包括：数据管控服务器将用户为目标应用程序配置的打点数据上报策略发送至目标应用程序，将用户为目标应用程序配置的打点数据缓存策略发送至云服务器，将用户为目标应用程序配置的打点数据分析策略发送至数据分析服务器，目标应用程序基于打点数据上报策略在采集到的打点数据中选取目标上报打点数据并上报给云服务器，云服务器基于打点数据缓存策略在目标上报打点数据中选取目标缓存打点数据并缓存，数据分析服务器基于打点数据分析策略，对目标缓存打点数据进行分析。通过本实施例，能够解决打点数据上报、存储、分析过程占用较大带宽和存储空间以及耗费较多计算机资源的问题。

Description

打点数据处理方法和***
技术领域
本文件涉及数据处理领域，尤其涉及一种打点数据处理方法和***。
背景技术
目前，在对应用程序上报的打点数据进行处理时，应用程序通常将采集的全部打点数据都上报至服务端，服务端接收并存储全部的打点数据。当需要进行打点数据分析时，数据分析服务器也基于全部的打点数据进行分析。然而，这种方式中，应用程序向服务端上报打点数据占用较大带宽，服务端存储打点数据也占用较大存储空间，且打点数据分析处理时也耗费较多计算机资源。因此，有必要提供一种打点数据处理方法，以解决目前的打点数据上报、存储、分析过程占用较大带宽和存储空间以及耗费较多计算机资源的问题。
发明内容
本说明书一个实施例的目的是提供一种打点数据处理方法和***，以解决目前的打点数据上报、存储、分析过程占用较大带宽和存储空间以及耗费较多计算机资源的问题。
为解决上述技术问题，本说明书一个实施例是这样实现的：
第一方面，本说明书一个实施例提供了一种打点数据处理方法，应用于打点数据处理***，所述打点数据处理***包括数据管控服务器、云服务器和数据分析服务器；所述方法包括：
所述数据管控服务器获取用户为目标应用程序配置的打点数据上报策略、打点数据缓存策略和打点数据分析策略，将所述打点数据上报策略发送至所述目标应用程序，将所述打点数据缓存策略发送至所述云服务器，将所述打点数据分析策略发送至所述数据分析服务器；
所述云服务器接收所述目标应用程序基于所述打点数据上报策略在采集到的打点数据中选取并上报的目标上报打点数据，基于所述打点数据缓存策略，在所述目标上报打点数据中选取目标缓存打点数据并缓存，并将所述目标缓存打点数据传输至所述数据分析服务器；
所述数据分析服务器接收所述目标缓存打点数据，基于所述打点数据分析策略，确定所述目标缓存打点数据对应的分析指标、各分析指标的分析优先级、为各分析指标所分配的***资源量大小中的至少一项，并根据确定的信息，对所述目标缓存打点数据进行分析；
所述数据管控服务器监控所述目标应用程序上报打点数据所占用的带宽大小，根据监控结果调整所述打点数据上报策略，以减少所述带宽，以及，监控所述云服务器缓存所述目标应用程序的打点数据所耗费的缓存空间大小，根据监控结果调整所述打点数据缓存策略，以节省所述缓存空间，以及，监控所述数据分析服务器分析所述目标应用程序的打点数据所耗费的***资源量大小，根据监控结果调整所述打点数据分析策略，以节省所述***资源。
第二方面，本说明书另一个实施例提供了一种打点数据处理***，所述打点数据处理***包括数据管控服务器、云服务器和数据分析服务器；
所述数据管控服务器，用于获取用户为目标应用程序配置的打点数据上报策略、打点数据缓存策略和打点数据分析策略，将所述打点数据上报策略发送至所述目标应用程序，将所述打点数据缓存策略发送至所述云服务器，将所述打点数据分析策略发送至所述数据分析服务器；
所述云服务器，用于接收所述目标应用程序基于所述打点数据上报策略在采集到的打点数据中选取并上报的目标上报打点数据，基于所述打点数据缓存策略，在所述目标上报打点数据中选取目标缓存打点数据并缓存，并将所述目标缓存打点数据传输至所述数据分析服务器；
所述数据分析服务器，用于接收所述目标缓存打点数据，基于所述打点数据分析策略，确定所述目标缓存打点数据对应的分析指标、各分析指标的分析优先级、为各分析指标所分配的***资源量大小中的至少一项，并根据确定的信息，对所述目标缓存打点数据进行分析；
所述数据管控服务器，还用于监控所述目标应用程序上报打点数据所占用的带宽大小，根据监控结果调整所述打点数据上报策略，以减少所述带宽，以及，监控所述云服务器缓存所述目标应用程序的打点数据所耗费的缓存空间大小，根据监控结果调整所述打点数据缓存策略，以节省所述缓存空间，以及，监控所述数据分析服务器分析所述目标应用程序的打点数据所耗费的***资源量大小，根据监控结果调整所述打点数据分析策略，以节省所述***资源。
本实施例中，数据管控服务器可以将用户为目标应用程序配置的打点数据上报策略发送至目标应用程序，将用户为目标应用程序配置的打点数据缓存策略发送至云服务器，将用户为目标应用程序配置的打点数据分析策略发送至数据分析服务器，从而使目标应用程序基于打点数据上报策略在采集到的打点数据中选取目标上报打点数据并上报给云服务器，使云服务器基于打点数据缓存策略在目标上报打点数据中选取目标缓存打点数据并缓存，使数据分析服务器基于打点数据分析策略，对目标缓存打点数据进行分析，从而在打点数据的上报环节、缓存环节、分析环节根据用户指定的策略进行相应的上报、缓存和分析，解决目前的打点数据上报、存储、分析过程占用较大带宽和存储空间以及耗费较多计算机资源的问题。并且，数据管控服务器可以监控打点数据的上报环节、缓存环节、分析环节分别所占用的带宽大小、缓存空间大小和计算机***资源量大小，并依据监控结果调整打点数据上报策略、打点数据缓存策略和打点数据分析策略，从而达到根据各个策略的运行效果反馈调节各个策略的目的，以进一步解决目前的打点数据上报、存储、分析过程占用较大带宽和存储空间以及耗费较多计算机资源的问题。
附图说明
为了更清楚地说明本说明书一个或多个实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书一实施例提供的打点数据处理***的示意图；
图2为本说明书一实施例提供的打点数据处理方法的流程示意图；
图3为本说明书另一实施例提供的打点数据处理方法的流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
本说明书一个实施例的目的是提供一种打点数据处理方法和***，以解决目前的打点数据上报、存储、分析过程占用较大带宽和存储空间以及耗费较多计算机资源的问题。
图1为本说明书一实施例提供的打点数据处理***的示意图，如图1所示，该打点数据处理***100包括数据管控服务器101、云服务器102和数据分析服务器103。数据管控服务器101、云服务器102和数据分析服务器103均可以由服务器或服务器集群实现。数据分析服务器103可以为大数据分析平台。本实施例中的方法能够应用在打点数据处理***100中，由打点数据处理***100执行。
图2为本说明书一实施例提供的打点数据处理方法的流程示意图，该流程应用于如图1所示的打点数据处理***100中，如图2所示，该流程包括以下步骤：
步骤S202，数据管控服务器获取用户为目标应用程序配置的打点数据上报策略、打点数据缓存策略和打点数据分析策略，将打点数据上报策略发送至目标应用程序，将打点数据缓存策略发送至云服务器，将打点数据分析策略发送至数据分析服务器；
步骤S204，云服务器接收目标应用程序基于打点数据上报策略在采集到的打点数据中选取并上报的目标上报打点数据，基于打点数据缓存策略，在目标上报打点数据中选取目标缓存打点数据并缓存，并将目标缓存打点数据传输至数据分析服务器；
步骤S206，数据分析服务器接收目标缓存打点数据，基于打点数据分析策略，确定目标缓存打点数据对应的分析指标、各分析指标的分析优先级、为各分析指标所分配的***资源量大小中的至少一项，并根据确定的信息，对目标缓存打点数据进行分析；
步骤S208，数据管控服务器监控目标应用程序上报打点数据所占用的带宽大小，根据监控结果调整打点数据上报策略，以减少带宽，以及，监控云服务器缓存目标应用程序的打点数据所耗费的缓存空间大小，根据监控结果调整打点数据缓存策略，以节省缓存空间，以及，监控数据分析服务器分析目标应用程序的打点数据所耗费的***资源量大小，根据监控结果调整打点数据分析策略，以节省***资源。
本实施例中，数据管控服务器可以将用户为目标应用程序配置的打点数据上报策略发送至目标应用程序，将用户为目标应用程序配置的打点数据缓存策略发送至云服务器，将用户为目标应用程序配置的打点数据分析策略发送至数据分析服务器，从而使目标应用程序基于打点数据上报策略在采集到的打点数据中选取目标上报打点数据并上报给云服务器，使云服务器基于打点数据缓存策略在目标上报打点数据中选取目标缓存打点数据并缓存，使数据分析服务器基于打点数据分析策略，对目标缓存打点数据进行分析，从而在打点数据的上报环节、缓存环节、分析环节根据用户指定的策略进行相应的上报、缓存和分析，解决目前的打点数据上报、存储、分析过程占用较大带宽和存储空间以及耗费较多计算机资源的问题。并且，数据管控服务器可以监控打点数据的上报环节、缓存环节、分析环节分别所占用的带宽大小、缓存空间大小和计算机***资源量大小，并依据监控结果调整打点数据上报策略、打点数据缓存策略和打点数据分析策略，从而达到根据各个策略的运行效果反馈调节各个策略的目的，以进一步解决目前的打点数据上报、存储、分析过程占用较大带宽和存储空间以及耗费较多计算机资源的问题。
上述步骤S202中，数据管控服务器获取用户为目标应用程序配置的打点数据上报策略、打点数据缓存策略和打点数据分析策略。该用户可以为目标应用程序对应的后台运维人员，后台运维人员可以基于特定的策略配置***为目标应用程序配置打点数据上报策略、打点数据缓存策略和打点数据分析策略。具体配置语言可以为JAVA等语言，这里不做限定。目标应用程序可以为任何需要上报缓存和分析打点数据的应用程序，这里不做限定。
上述步骤S202中，数据管控服务器将打点数据上报策略发送至目标应用程序。打点数据上报策略用于指示目标应用程序在采集到的打点数据中选取需要上报的目标上报打点数据并上报给云服务器。因此，目标应用程序在接收到打点数据上报策略后，可以根据该策略，在采集到的打点数据中选取需要向云服务器上报的目标上报打点数据并上报给云服务器。目标应用程序采集到的打点数据可以为目标应用程序通过预先设置的埋点所采集到的打点数据。
一个实施例中，目标应用程序不需要主动向数据管控服务器请求打点数据上报策略，数据管控服务器主动将打点数据上报策略下发给目标应用程序。另一个实施例中，目标应用程序主动向数据管控服务器发送请求以请求打点数据上报策略，数据管控服务器依据该请求，将打点数据上报策略下发给目标应用程序。该请求中可以包括目标应用程序的名称等信息。
一个实施例中，目标应用程序的打点数据上报策略包括多条上报子策略，每条上报子策略具有各自对应的应用程序运行参数要求。应用程序运行参数要求包括但不限于应用程序的用户数量要求、应用程序的版本号要求、应用程序的网络类型要求、应用程序的操作***版本号等。其中，用户数量可以为日新增用户数量或日活跃用户数量。版本号可以为版本code或build号。网络类型可以为WIFI或4G。操作***版本号可以为Android版本号或IOS版本号。
各条上报子策略对应的应用程序运行参数要求表示了每条上报子策略的适用条件，比如，某条上报子策略对应的应用程序运行参数要求为日新增用户数量大于1千，日活跃用户数量大于4万，版本code为“111”，网络类型为4G，Android版本号为“222”，则表示该条上报子策略在这种条件下才适用。
因此，对于目标应用程序而言，当其用户数量不同时，其对应的打点数据上报子策略不同，当其版本不同时，其对应的打点数据上报子策略不同，当其网络类型不同时，其对应的打点数据上报子策略不同，当其操作***版本号不同时，其对应的打点数据上报子策略不同。
因此，目标应用程序根据打点数据上报策略，向云服务器上报打点数据的过程为：
(a1)根据目标应用程序的运行参数和各条上报子策略对应的应用程序运行参数要求，在各条上报子策略中选取与目标应用程序匹配的目标上报子策略；
(a2)基于目标上报子策略，确定目标应用程序的允许上报的打点数据的数据内容类别和数据上报时间间隔；
(a3)根据允许上报的打点数据的数据内容类别和数据上报时间间隔，在采集到的打点数据中选取打点数据作为目标上报打点数据并上报给云服务器。
一个实施例中，目标应用程序可以根据当前的日活跃用户数量、日新增用户数量、当前的版本号、当前的网络类型、当前的操作***版本号和各条上报子策略对应的应用程序运行参数要求，在各条上报子策略中选取与目标应用程序匹配的目标上报子策略。
然后，目标应用程序对目标上报子策略进行解析，确定目标上报子策略指定的需要上报的打点数据的数据内容类别和两次上报打点数据的时间间隔。比如，从目标上报子策略中提取需要上报的打点数据的数据内容类别和两次上报打点数据的时间间隔。
最后，目标应用程序在采集的打点数据中，根据需要上报的打点数据的数据内容类别选取目标上报打点数据，并按照两次上报打点数据的时间间隔，将目标上报打点数据上报至云服务器。目标应用程序需要上报的打点数据的数据内容类别，可以举例为用于表示用户的操作行为的一类打点数据、或者，用于表示应用程序的页面跳转记录的一类打点数据等。每个类别的打点数据所表示的数据内容各不相同。
通过上述过程，数据管控服务器将打点数据上报策略发送至目标应用程序后，目标应用程序可以基于打点数据上报策略，在采集到的打点数据中选取需要上报的目标上报打点数据，并将目标上报打点数据上报给云服务器。
上述步骤S202中，数据管控服务器还将打点数据缓存策略发送至云服务器。云服务器可以根据打点数据缓存策略，在目标应用程序上报的目标上报打点数据中选取目标缓存打点数据并缓存。
一个实施例中，云服务器不需要主动向数据管控服务器请求打点数据缓存策略，数据管控服务器主动将打点数据缓存策略下发给云服务器。另一个实施例中，云服务器主动向数据管控服务器发送请求以请求打点数据缓存策略，数据管控服务器依据该请求，将打点数据缓存策略下发给云服务器。该请求中可以包括目标应用程序的名称等信息。
上述步骤S202中，数据管控服务器还将打点数据分析策略发送至数据分析服务器。数据分析服务器可以基于打点数据分析策略，对目标缓存打点数据进行分析。目标缓存打点数据由云服务器发送至数据分析服务器。
一个实施例中，数据分析服务器不需要主动向数据管控服务器请求打点数据分析策略，数据管控服务器主动将打点数据分析策略下发给数据分析服务器。另一个实施例中，数据分析服务器主动向数据管控服务器发送请求以请求打点数据分析策略，数据管控服务器依据该请求，将打点数据分析策略下发给数据分析服务器。该请求中可以包括目标应用程序的名称等信息。
上述步骤S204中，云服务器接收目标应用程序基于打点数据上报策略上报的目标上报打点数据，基于打点数据缓存策略，在目标上报打点数据中选取目标缓存打点数据并缓存，并将目标缓存打点数据传输至数据分析服务器。
一个实施例中，目标应用程序的打点数据缓存策略包括多条缓存子策略，每条缓存子策略具有各自对应的应用程序运行参数要求，应用程序运行参数要求包括但不限于应用程序的用户数量要求、应用程序的版本号要求、应用程序的网络类型要求、应用程序的操作***版本号等。其中，用户数量可以为日新增用户数量或日活跃用户数量。版本号可以为版本code或build号。网络类型可以为WIFI或4G。操作***版本号可以为Android版本号或IOS版本号。
各条缓存子策略对应的应用程序运行参数要求表示了每条缓存子策略的适用条件，比如，某条缓存子策略对应的应用程序运行参数要求为日新增用户数量大于1万，日活跃用户数量大于4万，版本code为“111”，网络类型为4G，Android版本号为“222”，则表示该条缓存子策略在这种条件下才适用。
也即，对于目标应用程序而言，当其用户数量不同时，其对应的打点数据缓存子策略不同，当其版本不同时，其对应的打点数据缓存子策略不同，当其网络类型不同时，其对应的打点数据缓存子策略不同，当其操作***版本号不同时，其对应的打点数据缓存子策略不同。
因此，步骤S204中，云服务器基于打点数据缓存策略，在目标上报打点数据中选取目标缓存打点数据并缓存，具体为：
(b1)根据目标应用程序的运行参数和各条缓存子策略对应的应用程序运行参数要求，在各条缓存子策略中选取与目标应用程序匹配的目标缓存子策略；
(b2)基于目标缓存子策略，确定目标应用程序的允许缓存的打点数据的数据内容类别和允许缓存的各类别的打点数据的数据缓存时长；
(b3)根据允许缓存的打点数据的数据内容类别，在目标上报打点数据中选取部分或全部数据作为目标缓存打点数据；
(b4)根据允许缓存的各类别的打点数据的数据缓存时长，在本地缓存目标缓存打点数据。
一个实施例中，云服务器可以根据目标应用程序的当前的日活跃用户数量、日新增用户数量、当前的版本号、当前的网络类型、当前的操作***版本号和各条缓存子策略对应的应用程序运行参数要求，在各条缓存子策略中选取与目标应用程序匹配的目标缓存子策略。
然后，云服务器对目标缓存子策略进行解析，确定目标缓存子策略指定的目标应用程序的允许缓存的打点数据的数据内容类别和允许缓存的各类别的打点数据的数据缓存时长。比如，从目标缓存子策略中提取目标应用程序的允许缓存的打点数据的数据内容类别和允许缓存的各类别的打点数据的数据缓存时长。
其次，云服务器在接收到的目标上报打点数据中，根据允许缓存的打点数据的数据内容类别，选取部分或全部数据作为目标缓存打点数据。打点数据的数据内容类别，可以举例为用于表示用户的操作行为的一类打点数据、或者，用于表示应用程序的页面跳转记录的一类打点数据等。每个类别的打点数据所表示的数据内容各不相同。
最后，云服务器根据允许缓存的各类别的打点数据的数据缓存时长，在本地缓存目标缓存打点数据。
由于云服务器和数据管控服务器都属于后台服务器，而目标应用程序属于前端，因此目标应用程序获取到的打点数据上报策略难免存在策略未更新的情况，而云服务器可以基于后台服务器之间通信方便的优点，第一时间获取最新的打点数据缓存策略。因此通过云服务器在目标上报打点数据中选取目标缓存打点数据并在本地进行缓存，能够避免打点数据上报策略未更新导致的云服务器缓存不正确的打点数据的问题。
上述步骤S204中，云服务器从目标上报打点数据中选取目标缓存打点数据并缓存之后，还将目标缓存打点数据传输至数据分析服务器。
上述步骤S206中，数据分析服务器接收目标缓存打点数据，基于打点数据分析策略，对目标缓存打点数据进行分析。比如，基于打点数据分析策略，确定目标缓存打点数据对应的分析指标、各分析指标的分析优先级、为各分析指标所分配的***资源量大小中的至少一项，并根据确定的信息，对目标缓存打点数据进行分析。
一个实施例中，目标应用程序的打点数据分析策略包括多条分析子策略，每条分析子策略具有各自对应的应用程序运行参数要求。应用程序运行参数要求包括但不限于应用程序的用户数量要求、应用程序的版本号要求、应用程序的网络类型要求、应用程序的操作***版本号等。其中，用户数量可以为日新增用户数量或日活跃用户数量。版本号可以为版本code或build号。网络类型可以为WIFI或4G。操作***版本号可以为Android版本号或IOS版本号。
各条分析子策略对应的应用程序运行参数要求表示了每条分析子策略的适用条件，比如，某条分析子策略对应的应用程序运行参数要求为日新增用户数量大于1万，日活跃用户数量大于4万，版本code为“111”，网络类型为4G，Android版本号为“222”，则表示该条分析子策略在这种条件下才适用。
也即，对于目标应用程序而言，当其用户数量不同时，其对应的打点数据分析子策略不同，当其版本不同时，其对应的打点数据分析子策略不同，当其网络类型不同时，其对应的打点数据分析子策略不同，当其操作***版本号不同时，其对应的打点数据分析子策略不同。
因此，步骤S206中，数据分析服务器基于打点数据分析策略，确定所述目标缓存打点数据对应的分析指标、各分析指标的分析优先级、为各分析指标所分配的***资源量大小中的至少一项，具体为：
(c1)根据目标应用程序的运行参数和各条分析子策略对应的应用程序运行参数要求，在各条分析子策略中选取与目标应用程序匹配的目标分析子策略；
(c2)从目标分析子策略中提取目标缓存打点数据对应的分析指标、各分析指标的分析优先级、为各分析指标所分配的***资源量大小中的至少一项；
一个实施例中，数据分析服务器可以根据目标应用程序的当前的日活跃用户数量、日新增用户数量、当前的版本号、当前的网络类型、当前的操作***版本号和各条分析子策略对应的应用程序运行参数要求，在各条分析子策略中选取与目标应用程序匹配的目标分析子策略。目标分析子策略中记录有需要分析的分析指标、各分析指标的优先级和为各分析指标所分配的***资源量大小中的至少一项。
因此动作(c2)中，数据分析服务器从目标分析子策略中提取得到目标缓存打点数据对应的分析指标、各分析指标的分析优先级、为各分析指标所分配的***资源量大小中的至少一项。其中，分析指标可以为应用程序的新增用户数量、日活跃用户数量、留存用户数量、用户行为数据等。分析指标的优先级用于表示分析指标的分析顺序，优先级越高，越优先分析。为各分析指标所分配的***资源量大小可以举例为CPU数量、内存大小等。继而，数据分析服务器根据确定的信息，对目标缓存打点数据进行分析。
可见，本实施例中数据分析服务器不需要分析全部的打点数据，只需要分析目标缓存打点数据，节省了***资源。而且数据分析服务器可以根据运维人员配置的打点数据分析策略对打点数据进行分析，能够使得分析结果更符合运维人员的需求。
上述步骤S208中，数据管控服务器还监控目标应用程序上报打点数据所占用的带宽大小，根据监控结果调整打点数据上报策略，以减少带宽，以及，监控云服务器缓存目标应用程序的打点数据所耗费的缓存空间大小，根据监控结果调整打点数据缓存策略，以节省缓存空间，以及，监控数据分析服务器分析目标应用程序的打点数据所耗费的***资源量大小，根据监控结果调整打点数据分析策略，以节省***资源。***资源量大小可以表示为CPU数量、内存大小等参数。
上述步骤S208中，数据管控服务器根据监控结果调整打点数据上报策略，以减少带宽，具体为：
若监控结果表示目标应用程序上报打点数据所占用的带宽大小大于等于第一预设带宽阈值，则设置打点数据上报策略的启用状态为不启用；
若监控结果表示目标应用程序上报打点数据所占用的带宽大小小于第一预设带宽阈值且大于等于第二预设带宽阈值，则调整打点数据上报策略中指定的允许上报的打点数据的数据内容类别，以减少带宽。
具体地，判断监控结果表示的目标应用程序上报打点数据所占用的带宽大小是否大于等于第一预设带宽阈值，若是，则说明目标应用程序上报打点数据所占用的带宽大小过大，则数据管控服务器可以设置目标应用程序的打点数据上报策略的启用状态为不启用，并生成相应的状态变更信息发送至目标应用程序，从而使得目标应用程序不再根据打点数据上报策略向云服务器上报打点数据。
若所占用的带宽大小小于第一预设带宽阈值且大于等于第二预设带宽阈值，则说明目标应用程序上报打点数据所占用的带宽大小偏大但是尚且在可控范围内，则数据管控服务器调整打点数据上报策略中指定的允许上报的打点数据的数据内容类别，以减小目标应用程序上报打点数据所占用的带宽大小。比如，减少打点数据上报策略中指定的允许上报的打点数据的数据内容类别的数量，以减小目标应用程序上报打点数据所占用的带宽大小。
若所占用的带宽大小小于第二预设带宽阈值，则说明目标应用程序上报打点数据所占用的带宽大小较小，可以暂时不调整打点数据上报策略，维持调整打点数据上报策略不变。
数据管控服务器调整打点数据上报策略后，需要将调整后的打点数据上报策略发送至目标应用程序。当然，一个实施例中，考虑到不同应用程序的打点数据分析需求不同，数据管控服务器也可以将监控结果显示给运维人员，由运维人员确定如何调整目标应用程序的打点数据上报策略。
上述步骤S208中，数据管控服务器根据监控结果调整打点数据缓存策略，以节省缓存空间，具体为：
若监控结果表示云服务器缓存目标应用程序的打点数据所耗费的缓存空间大小大于等于第一预设缓存阈值，则设置打点数据缓存策略的启用状态为不启用；
若监控结果表示云服务器缓存目标应用程序的打点数据所耗费的缓存空间大小小于第一预设缓存阈值且大于等于第二预设缓存阈值，则调整打点数据缓存策略中指定的允许缓存的打点数据的数据内容类别，以节省缓存空间。
具体地，判断监控结果表示的云服务器缓存目标应用程序的打点数据所耗费的缓存空间大小是否大于等于第一预设缓存阈值，若是，则说明云服务器缓存目标应用程序的打点数据所耗费的缓存空间大小过大，则数据管控服务器可以设置目标应用程序的打点数据缓存策略的启用状态为不启用，并生成相应的状态变更信息发送至云服务器，从而使得云服务器不再缓存目标应用程序的打点数据。
若所耗费的缓存空间大小小于第一预设缓存阈值且大于等于第二预设缓存阈值，则说明云服务器缓存目标应用程序的打点数据所耗费的缓存空间大小偏大但是尚且在可控范围内，则数据管控服务器调整打点数据缓存策略中指定的允许缓存的打点数据的数据内容类别，以减小云服务器缓存目标应用程序的打点数据所耗费的缓存空间大小。比如，减少打点数据缓存策略中指定的允许缓存的打点数据的数据内容类别的数量，以减小云服务器缓存目标应用程序的打点数据所耗费的缓存空间大小。
若所占用的带宽大小小于第二预设缓存阈值，则说明云服务器缓存目标应用程序的打点数据所耗费的缓存空间大小较小，可以暂时不调整打点数据缓存策略，维持调整打点数据缓存策略不变。
数据管控服务器调整打点数据缓存策略后，需要将调整后的打点数据缓存策略发送至云服务器。当然，一个实施例中，考虑到不同应用程序的打点数据分析需求不同，数据管控服务器也可以将监控结果显示给运维人员，由运维人员确定如何调整目标应用程序的打点数据缓存策略。
上述步骤S208中，数据管控服务器根据监控结果调整打点数据分析策略，以节省***资源，具体为：
若监控结果表示数据分析服务器分析目标应用程序的打点数据所耗费的***资源量大小大于等于第一预设资源阈值，则设置打点数据分析策略的启用状态为不启用；
若监控结果表示数据分析服务器分析所述目标应用程序的打点数据所耗费的***资源量大小小于第一预设资源阈值且大于等于第二预设资源阈值，则调整打点数据分析策略中指定的目标缓存打点数据对应的分析指标和/或为各分析指标所分配的***资源量大小，以节省***资源。
具体地，判断监控结果所表示的数据分析服务器分析目标应用程序的打点数据所耗费的***资源量大小是否大于等于第一预设资源阈值，若是，则说明数据分析服务器分析目标应用程序的打点数据所耗费的***资源量大小过大，则数据管控服务器可以设置目标应用程序的打点数据分析策略的启用状态为不启用，并生成相应的状态变更信息发送至数据分析服务器，从而使得数据分析服务器不再分析目标应用程序的打点数据。
若所耗费的***资源量大小小于第一预设资源阈值且大于等于第二预设资源阈值，则说明数据分析服务器分析目标应用程序的打点数据所耗费的***资源量大小偏大但是尚且在可控范围内，则数据管控服务器调整打点数据分析策略中指定的目标缓存打点数据对应的分析指标，或者，调整为各分析指标所分配的***资源量大小，或者，调整分析指标和为各分析指标所分配的***资源量大小，以减小数据分析服务器分析目标应用程序的打点数据所耗费的***资源量大小。比如，减少分析指标的数量，或者，减少为各分析指标所分配的***资源量大小，或者，减少分析指标的数量并且减少为各分析指标所分配的***资源量大小，以减小数据分析服务器分析目标应用程序的打点数据所耗费的***资源量大小。
若所耗费的***资源量大小小于第二预设资源阈值，则说明数据分析服务器分析目标应用程序的打点数据所耗费的***资源量较小，可以暂时不调整打点数据分析策略，维持调整打点数据分析策略不变。
数据管控服务器调整打点数据分析策略后，需要将调整后的打点数据分析策略发送至数据分析服务器。当然，一个实施例中，考虑到不同应用程序的打点数据分析需求不同，数据管控服务器也可以将监控结果显示给运维人员，由运维人员确定如何调整目标应用程序的打点数据分析策略。
考虑到目标应用程序的打点数据在由云服务器缓存后，还可以由云服务器将打点数据持久化存储至云存储服务器中，图3为本说明书另一实施例提供的打点数据处理方法的流程示意图，如图3所示，该流程在图2的基础上，还包括：
步骤S210，数据管控服务器获取用户为目标应用程序配置的打点数据存储策略，将打点数据存储策略发送至云服务器；
步骤S212，云服务器基于打点数据存储策略，在目标缓存打点数据中选取目标存储打点数据，将目标存储打点数据持久化存储在云存储服务器中；
步骤S214，数据管控服务器监控云存储服务器存储目标应用程序的打点数据所耗费的持久化存储空间大小，根据监控结果，调整打点数据存储策略，以节省持久化存储空间。
具体地，数据管控服务器还可以获取用户为目标应用程序配置的打点数据存储策略，将打点数据存储策略发送至云服务器，云服务器基于打点数据存储策略，在目标缓存打点数据中选取目标存储打点数据，将目标存储打点数据持久化存储在云存储服务器中。
一个实施例中，云服务器不需要主动向数据管控服务器请求打点数据存储策略，数据管控服务器主动将打点数据存储策略下发给云服务器。另一个实施例中，云服务器主动向数据管控服务器发送请求以请求打点数据存储策略，数据管控服务器依据该请求，将打点数据存储策略下发给云服务器。该请求中可以包括目标应用程序的名称等信息。
一个实施例中，打点数据存储策略包括多条存储子策略，每条存储子策略具有各自对应的应用程序运行参数要求。应用程序运行参数要求包括但不限于应用程序的用户数量要求、应用程序的版本号要求、应用程序的网络类型要求、应用程序的操作***版本号等。其中，用户数量可以为日新增用户数量或日活跃用户数量。版本号可以为版本code或build号。网络类型可以为WIFI或4G。操作***版本号可以为Android版本号或IOS版本号。
各条存储子策略对应的应用程序运行参数要求表示了每条存储子策略的适用条件，比如，某条存储子策略对应的应用程序运行参数要求为日新增用户数量大于1万，日活跃用户数量大于4万，版本code为“111”，网络类型为4G，Android版本号为“222”，则表示该条存储子策略在这种条件下才适用。
因此，对于目标应用程序而言，当其用户数量不同时，其对应的打点数据存储子策略不同，当其版本不同时，其对应的打点数据存储子策略不同，当其网络类型不同时，其对应的打点数据存储子策略不同，当其操作***版本号不同时，其对应的打点数据存储子策略不同。
因此，云服务器基于打点数据存储策略，在目标缓存打点数据中选取目标存储打点数据，将目标存储打点数据持久化存储在云存储服务器中，具体包括：
(d1)根据目标应用程序的运行参数和各条存储子策略对应的应用程序运行参数要求，在各条存储子策略中选取与目标应用程序匹配的目标存储子策略；
(d2)基于目标存储子策略，确定目标应用程序的允许存储的打点数据的数据内容类别、允许存储的各类别的打点数据的数据存储方式和数据存储时长；
(d3)根据允许存储的打点数据的数据内容类别，在目标缓存打点数据中选取部分或全部数据作为目标存储打点数据；
(d4)根据允许存储的各类别的打点数据的数据存储方式和数据存储时长，将目标存储打点数据持久化存储在云存储服务器中。
具体地，云服务器首先根据目标应用程序的运行参数和各条存储子策略对应的应用程序运行参数要求，在各条存储子策略中选取与目标应用程序匹配的目标存储子策略。一个实施例中，云服务器可以根据目标应用程序的当前的日活跃用户数量、日新增用户数量、当前的版本号、当前的网络类型、当前的操作***版本号和各条存储子策略对应的应用程序运行参数要求，在各条存储子策略中选取与目标应用程序匹配的目标存储子策略。目标存储子策略中记录有允许存储的打点数据的数据内容类别、允许存储的各类别的打点数据的数据存储方式和数据存储时长。其中，数据存储方式包括常规存储、压缩存储、热存储、冷存储和深度存储等。
动作(d2)中，云服务器从目标存储子策略中读取目标应用程序的允许存储的打点数据的数据内容类别、允许存储的各类别的打点数据的数据存储方式和数据存储时长。不同类别的打点数据的数据存储方式可以不同。
动作(d3)中，云服务器根据允许存储的打点数据的数据内容类别，在目标缓存打点数据中选取部分或全部数据作为目标存储打点数据。
动作(d4)中，云服务器根据允许存储的各类别的打点数据的数据存储方式和数据存储时长，将目标存储打点数据持久化存储在云存储服务器中。
可见，本实施例中云存储服务器不需要存储全部的打点数据，只需要基于打点数据存储策略存储目标存储打点数据，解决了存储大量打点数据所带来的浪费存储空间以及成本高的问题。
本实施例中，数据管控服务器还可以监控云存储服务器存储目标应用程序的打点数据所耗费的持久化存储空间大小，根据监控结果，调整打点数据存储策略，以节省持久化存储空间。其中，根据监控结果，调整打点数据存储策略，以节省持久化存储空间，具体为：
若监控结果表示云存储服务器存储目标应用程序的打点数据所耗费的持久化存储空间大小大于等于第一预设存储阈值，则设置打点数据存储策略的启用状态为不启用；
若监控结果表示云存储服务器存储目标应用程序的打点数据所耗费的持久化存储空间大小小于第一预设存储阈值且大于第二预设存储阈值，则调整打点数据存储策略中指定的允许存储的打点数据的数据内容类别，以节省持久化存储空间。
具体地，判断监控结果表示云存储服务器存储目标应用程序的打点数据所耗费的持久化存储空间大小是否大于等于第一预设存储阈值，若是，则说明云存储服务器存储目标应用程序的打点数据所耗费的持久化存储空间大小过大，则数据管控服务器可以设置目标应用程序的打点数据存储策略的启用状态为不启用，并生成相应的状态变更信息发送至云服务器，从而使得云服务器不再将目标应用程序的打点数据存储至云存储服务器。
若所耗费的持久化存储空间大小小于第一预设存储阈值且大于等于第二预设存储阈值，则说明云存储服务器存储目标应用程序的打点数据所耗费的持久化存储空间大小偏大但是尚且在可控范围内，则调整打点数据存储策略中指定的允许存储的打点数据的数据内容类别，以减小云存储服务器存储目标应用程序的打点数据所耗费的持久化存储空间大小。比如，减少打点数据存储策略中指定的允许存储的打点数据的数据内容类别的数量，以减小云存储服务器存储目标应用程序的打点数据所耗费的持久化存储空间大小。
若所耗费的持久化存储空间大小小于第二预设存储阈值，则说明云存储服务器存储目标应用程序的打点数据所耗费的持久化存储空间大小较小，可以暂时不调整打点数据存储策略，维持调整打点数据存储策略不变。
数据管控服务器调整打点数据存储策略后，需要将调整后的打点数据存储策略发送至云服务器。当然，一个实施例中，考虑到不同应用程序的打点数据分析需求不同，数据管控服务器也可以将监控结果显示给运维人员，由运维人员确定如何调整目标应用程序的打点数据存储策略。
本实施例中以上提及的打点数据上报策略、打点数据缓存策略、打点数据分析策略和打点数据存储策略中，均可以指示不上报、缓存、分析、存储任何打点数据。数据管控服务器可以将打点数据上报策略、打点数据缓存策略、打点数据分析策略和打点数据存储策略缓存在本地的缓存池中，再分别发送至目标应用程序、云服务器和数据分析服务器，从而提高信息发送效率。
本实施例中，数据管控服务器还可以向运维人员显示目标应用程序的打点数据上报记录、缓存记录、存储记录和分析记录，以供运维人员分析。
下面以一个具体的例子说明本实施例中的打点数据处理方法。
该例子中，目标应用程序包括应用程序A和应用程序B，应用程序A的标识为“aaa.com”，其日活跃用户数量DAU((Daily Active User)为2万，日新增用户数量为80人，应用程序B的标识为“bbb.com”，其日活跃用户数量为500万，日新增用户数量为20人。
该例子中，数据管控服务器将应用程序A的打点数据上报策略发送至应用程序A，将应用程序A的打点数据缓存策略和打点数据存储策略发送至云服务器，将应用程序A的打点数据分析策略发送至数据分析服务器。同样地，数据管控服务器将应用程序B的打点数据上报策略发送至应用程序B，将应用程序B的打点数据缓存策略和打点数据存储策略发送至云服务器，将应用程序B的打点数据分析策略发送至数据分析服务器。
该例子中，根据应用程序A的版本号、日活跃用户数量、日新增用户数量、所处的网络类型和所对应的操作***版本号，在应用程序A的打点数据上报策略中确定应用程序A对应的目标上报子策略为上报全部类别的打点数据，上报间隔为1天，在应用程序A的打点数据缓存策略中确定应用程序A对应的目标缓存子策略为缓存全部类别的打点数据，缓存时长为5天，在应用程序A的打点数据存储策略中确定应用程序A对应的目标存储子策略为不在云存储服务器存储打点数据，在应用程序A的打点数据分析策略中确定应用程序A对应的目标分析子策略为采用2个CPU以最低优先级分析一个月内没有活动行为的用户数量。
该例子中，根据应用程序B的版本号、日活跃用户数量、日新增用户数量、所处的网络类型和所对应的操作***版本号，在应用程序B的打点数据上报策略中确定应用程序B对应的目标上报子策略为上报全部类别的打点数据，上报间隔为2天，在应用程序B的打点数据缓存策略中确定应用程序B对应的目标缓存子策略为缓存全部类别的打点数据，缓存时长为10天，在应用程序B的打点数据存储策略中确定应用程序B对应的目标存储子策略为不在云存储服务器存储打点数据，在应用程序B的打点数据分析策略中确定应用程序B对应的目标分析子策略为不分析打点数据。
该例子中，应用程序A和B根据各自的目标上报子策略向云服务器上报打点数据。云服务器根据应用程序A和B对应的目标缓存子策略分别缓存应用程序A和B的打点数据，还根据应用程序A和B对应的目标存储子策略分别在云存储服务器存储应用程序A和B的打点数据。数据分析服务器根据应用程序A和B对应的目标分析子策略分别分析应用程序A和B的打点数据。
该例子中，数据管控服务器还可以向运维人员显示应用程序A和B的打点数据上报记录、缓存记录、存储记录和分析记录，以供运维人员分析。
综上，本实施例中，数据管控服务器可以将用户为目标应用程序配置的打点数据上报策略发送至目标应用程序，将用户为目标应用程序配置的打点数据缓存策略发送至云服务器，将用户为目标应用程序配置的打点数据分析策略发送至数据分析服务器，从而使目标应用程序基于打点数据上报策略在采集到的打点数据中选取目标上报打点数据并上报给云服务器，使云服务器基于打点数据缓存策略在目标上报打点数据中选取目标缓存打点数据并缓存，使数据分析服务器基于打点数据分析策略，对目标缓存打点数据进行分析，从而在打点数据的上报环节、缓存环节、分析环节根据用户指定的策略进行相应的上报、缓存和分析，解决目前的打点数据上报、存储、分析过程占用较大带宽和存储空间以及耗费较多计算机资源的问题。并且，数据管控服务器可以监控打点数据的上报环节、缓存环节、分析环节分别所占用的带宽大小、缓存空间大小和计算机***资源量大小，并依据监控结果调整打点数据上报策略、打点数据缓存策略和打点数据分析策略，从而达到根据各个策略的运行效果反馈调节各个策略的目的，以进一步解决目前的打点数据上报、存储、分析过程占用较大带宽和存储空间以及耗费较多计算机资源的问题。
基于上述的打点数据处理方法，本实施例还提供了一种打点数据处理***，该***可以由图1所示，该打点数据处理***包括数据管控服务器101、云服务器102和数据分析服务器103；
所述数据管控服务器101，用于获取用户为目标应用程序配置的打点数据上报策略、打点数据缓存策略和打点数据分析策略，将所述打点数据上报策略发送至所述目标应用程序，将所述打点数据缓存策略发送至所述云服务器，将所述打点数据分析策略发送至所述数据分析服务器；
所述云服务器102，用于接收所述目标应用程序基于所述打点数据上报策略在采集到的打点数据中选取并上报的目标上报打点数据，基于所述打点数据缓存策略，在所述目标上报打点数据中选取目标缓存打点数据并缓存，并将所述目标缓存打点数据传输至所述数据分析服务器；
所述数据分析服务器103，用于接收所述目标缓存打点数据，基于所述打点数据分析策略，确定所述目标缓存打点数据对应的分析指标、各分析指标的分析优先级、为各分析指标所分配的***资源量大小中的至少一项，并根据确定的信息，对所述目标缓存打点数据进行分析；
所述数据管控服务器101，还用于监控所述目标应用程序上报打点数据所占用的带宽大小，根据监控结果调整所述打点数据上报策略，以减少所述带宽，以及，监控所述云服务器缓存所述目标应用程序的打点数据所耗费的缓存空间大小，根据监控结果调整所述打点数据缓存策略，以节省所述缓存空间，以及，监控所述数据分析服务器分析所述目标应用程序的打点数据所耗费的***资源量大小，根据监控结果调整所述打点数据分析策略，以节省所述***资源。
可选地，所述数据管控服务器101，还用于获取用户为所述目标应用程序配置的打点数据存储策略，将所述打点数据存储策略发送至所述云服务器；
所述云服务器102，还用于基于所述打点数据存储策略，在所述目标缓存打点数据中选取目标存储打点数据，将所述目标存储打点数据持久化存储在云存储服务器中。
可选地，所述数据管控服务器101，还用于监控所述云存储服务器存储所述目标应用程序的打点数据所耗费的持久化存储空间大小，根据监控结果调整所述打点数据存储策略，以节省所述持久化存储空间。
可选地，所述打点数据缓存策略包括多条缓存子策略，每条所述缓存子策略具有各自对应的应用程序运行参数要求；
基于所述打点数据缓存策略，在所述目标上报打点数据中选取目标缓存打点数据并缓存，包括：
根据所述目标应用程序的运行参数和各条所述缓存子策略对应的应用程序运行参数要求，在各条所述缓存子策略中选取与所述目标应用程序匹配的目标缓存子策略；
基于所述目标缓存子策略，确定所述目标应用程序的允许缓存的打点数据的数据内容类别和允许缓存的各类别的打点数据的数据缓存时长；
根据允许缓存的打点数据的数据内容类别，在所述目标上报打点数据中选取部分或全部数据作为目标缓存打点数据；
根据允许缓存的各类别的打点数据的数据缓存时长，在本地缓存所述目标缓存打点数据。
可选地，所述打点数据分析策略包括多条分析子策略，每条所述分析子策略具有各自对应的应用程序运行参数要求；
基于所述打点数据分析策略，确定所述目标缓存打点数据对应的分析指标、各分析指标的分析优先级、为各分析指标所分配的***资源量大小中的至少一项，包括：
根据所述目标应用程序的运行参数和各条所述分析子策略对应的应用程序运行参数要求，在各条所述分析子策略中选取与所述目标应用程序匹配的目标分析子策略；
从所述目标分析子策略中提取所述目标缓存打点数据对应的分析指标、各分析指标的分析优先级、为各分析指标所分配的***资源量大小中的至少一项。
可选地，根据监控结果调整所述打点数据上报策略，以减少所述带宽，包括：
若所述监控结果表示所述目标应用程序上报打点数据所占用的带宽大小大于等于第一预设带宽阈值，则设置所述打点数据上报策略的启用状态为不启用；
若所述监控结果表示所述目标应用程序上报打点数据所占用的带宽大小小于第一预设带宽阈值且大于等于第二预设带宽阈值，则调整所述打点数据上报策略中指定的允许上报的打点数据的数据内容类别，以减少所述带宽。
可选地，根据监控结果调整所述打点数据缓存策略，以节省所述缓存空间，包括：
若所述监控结果表示所述云服务器缓存所述目标应用程序的打点数据所耗费的缓存空间大小大于等于第一预设缓存阈值，则设置所述打点数据缓存策略的启用状态为不启用；
若所述监控结果表示所述云服务器缓存所述目标应用程序的打点数据所耗费的缓存空间大小小于第一预设缓存阈值且大于等于第二预设缓存阈值，则调整所述打点数据缓存策略中指定的允许缓存的打点数据的数据内容类别，以节省所述缓存空间。
可选地，根据监控结果调整所述打点数据分析策略，以节省所述***资源，包括：
若所述监控结果表示所述数据分析服务器分析所述目标应用程序的打点数据所耗费的***资源量大小大于等于第一预设资源阈值，则设置所述打点数据分析策略的启用状态为不启用；
若所述监控结果表示所述数据分析服务器分析所述目标应用程序的打点数据所耗费的***资源量大小小于第一预设资源阈值且大于等于第二预设资源阈值，则调整所述打点数据分析策略中指定的所述目标缓存打点数据对应的分析指标和/或为各分析指标所分配的***资源量大小，以节省所述***资源。
本说明书一实施例提供的打点数据处理***能够实现前述打点数据处理方法实施例中的各个过程，并达到相同的功能和效果，这里不再重复。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本文件。对于本领域技术人员来说，本说明书的实施例可以有各种更改和变化。凡在本文件的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本文件的权利要求范围之内。

Claims (12)

1.一种打点数据处理方法，其特征在于，应用于打点数据处理***，所述打点数据处理***包括数据管控服务器、云服务器和数据分析服务器；所述方法包括：
所述数据管控服务器获取用户为目标应用程序配置的打点数据上报策略、打点数据缓存策略和打点数据分析策略，将所述打点数据上报策略发送至所述目标应用程序，将所述打点数据缓存策略发送至所述云服务器，将所述打点数据分析策略发送至所述数据分析服务器；
所述云服务器接收所述目标应用程序基于所述打点数据上报策略在采集到的打点数据中选取并上报的目标上报打点数据，基于所述打点数据缓存策略，在所述目标上报打点数据中选取目标缓存打点数据并缓存，并将所述目标缓存打点数据传输至所述数据分析服务器；
所述数据分析服务器接收所述目标缓存打点数据，基于所述打点数据分析策略，确定所述目标缓存打点数据对应的分析指标、各分析指标的分析优先级、为各分析指标所分配的***资源量大小中的至少一项，并根据确定的信息，对所述目标缓存打点数据进行分析；
所述数据管控服务器监控所述目标应用程序上报打点数据所占用的带宽大小，根据监控结果调整所述打点数据上报策略，以减少所述带宽，以及，监控所述云服务器缓存所述目标应用程序的打点数据所耗费的缓存空间大小，根据监控结果调整所述打点数据缓存策略，以节省所述缓存空间，以及，监控所述数据分析服务器分析所述目标应用程序的打点数据所耗费的***资源量大小，根据监控结果调整所述打点数据分析策略，以节省所述***资源；
其中，所述数据管控服务器获取用户为所述目标应用程序配置的打点数据存储策略，将所述打点数据存储策略发送至所述云服务器；
所述云服务器基于所述打点数据存储策略，在所述目标缓存打点数据中选取目标存储打点数据，将所述目标存储打点数据持久化存储在云存储服务器中；
所述数据管控服务器监控所述云存储服务器存储所述目标应用程序的打点数据所耗费的持久化存储空间大小，根据监控结果调整所述打点数据存储策略，以节省所述持久化存储空间。
2.根据权利要求1所述的方法，其特征在于，所述打点数据缓存策略包括多条缓存子策略，每条所述缓存子策略具有各自对应的应用程序运行参数要求；
基于所述打点数据缓存策略，在所述目标上报打点数据中选取目标缓存打点数据并缓存，包括：
根据所述目标应用程序的运行参数和各条所述缓存子策略对应的应用程序运行参数要求，在各条所述缓存子策略中选取与所述目标应用程序匹配的目标缓存子策略；
基于所述目标缓存子策略，确定所述目标应用程序的允许缓存的打点数据的数据内容类别和允许缓存的各类别的打点数据的数据缓存时长；
根据允许缓存的打点数据的数据内容类别，在所述目标上报打点数据中选取部分或全部数据作为目标缓存打点数据；
根据允许缓存的各类别的打点数据的数据缓存时长，在本地缓存所述目标缓存打点数据。
3.根据权利要求1所述的方法，其特征在于，所述打点数据分析策略包括多条分析子策略，每条所述分析子策略具有各自对应的应用程序运行参数要求；
基于所述打点数据分析策略，确定所述目标缓存打点数据对应的分析指标、各分析指标的分析优先级、为各分析指标所分配的***资源量大小中的至少一项，包括：
根据所述目标应用程序的运行参数和各条所述分析子策略对应的应用程序运行参数要求，在各条所述分析子策略中选取与所述目标应用程序匹配的目标分析子策略；
从所述目标分析子策略中提取所述目标缓存打点数据对应的分析指标、各分析指标的分析优先级、为各分析指标所分配的***资源量大小中的至少一项。
4.根据权利要求1所述的方法，其特征在于，根据监控结果调整所述打点数据上报策略，以减少所述带宽，包括：
若所述监控结果表示所述目标应用程序上报打点数据所占用的带宽大小大于等于第一预设带宽阈值，则设置所述打点数据上报策略的启用状态为不启用；
若所述监控结果表示所述目标应用程序上报打点数据所占用的带宽大小小于第一预设带宽阈值且大于等于第二预设带宽阈值，则调整所述打点数据上报策略中指定的允许上报的打点数据的数据内容类别，以减少所述带宽。
5.根据权利要求1所述的方法，其特征在于，根据监控结果调整所述打点数据缓存策略，以节省所述缓存空间，包括：
若所述监控结果表示所述云服务器缓存所述目标应用程序的打点数据所耗费的缓存空间大小大于等于第一预设缓存阈值，则设置所述打点数据缓存策略的启用状态为不启用；
若所述监控结果表示所述云服务器缓存所述目标应用程序的打点数据所耗费的缓存空间大小小于第一预设缓存阈值且大于等于第二预设缓存阈值，则调整所述打点数据缓存策略中指定的允许缓存的打点数据的数据内容类别，以节省所述缓存空间。
6.根据权利要求1所述的方法，其特征在于，根据监控结果调整所述打点数据分析策略，以节省所述***资源，包括：
若所述监控结果表示所述数据分析服务器分析所述目标应用程序的打点数据所耗费的***资源量大小大于等于第一预设资源阈值，则设置所述打点数据分析策略的启用状态为不启用；
若所述监控结果表示所述数据分析服务器分析所述目标应用程序的打点数据所耗费的***资源量大小小于第一预设资源阈值且大于等于第二预设资源阈值，则调整所述打点数据分析策略中指定的所述目标缓存打点数据对应的分析指标和/或为各分析指标所分配的***资源量大小，以节省所述***资源。
7.一种打点数据处理***，其特征在于，所述打点数据处理***包括数据管控服务器、云服务器和数据分析服务器；
所述数据管控服务器，用于获取用户为目标应用程序配置的打点数据上报策略、打点数据缓存策略和打点数据分析策略，将所述打点数据上报策略发送至所述目标应用程序，将所述打点数据缓存策略发送至所述云服务器，将所述打点数据分析策略发送至所述数据分析服务器；
所述云服务器，用于接收所述目标应用程序基于所述打点数据上报策略在采集到的打点数据中选取并上报的目标上报打点数据，基于所述打点数据缓存策略，在所述目标上报打点数据中选取目标缓存打点数据并缓存，并将所述目标缓存打点数据传输至所述数据分析服务器；
所述数据分析服务器，用于接收所述目标缓存打点数据，基于所述打点数据分析策略，确定所述目标缓存打点数据对应的分析指标、各分析指标的分析优先级、为各分析指标所分配的***资源量大小中的至少一项，并根据确定的信息，对所述目标缓存打点数据进行分析；
所述数据管控服务器，还用于监控所述目标应用程序上报打点数据所占用的带宽大小，根据监控结果调整所述打点数据上报策略，以减少所述带宽，以及，监控所述云服务器缓存所述目标应用程序的打点数据所耗费的缓存空间大小，根据监控结果调整所述打点数据缓存策略，以节省所述缓存空间，以及，监控所述数据分析服务器分析所述目标应用程序的打点数据所耗费的***资源量大小，根据监控结果调整所述打点数据分析策略，以节省所述***资源；
其中，所述数据管控服务器，还用于获取用户为所述目标应用程序配置的打点数据存储策略，将所述打点数据存储策略发送至所述云服务器；
所述云服务器，还用于基于所述打点数据存储策略，在所述目标缓存打点数据中选取目标存储打点数据，将所述目标存储打点数据持久化存储在云存储服务器中；
所述数据管控服务器，还用于监控所述云存储服务器存储所述目标应用程序的打点数据所耗费的持久化存储空间大小，根据监控结果调整所述打点数据存储策略，以节省所述持久化存储空间。
8.根据权利要求7所述的***，其特征在于，所述打点数据缓存策略包括多条缓存子策略，每条所述缓存子策略具有各自对应的应用程序运行参数要求；
基于所述打点数据缓存策略，在所述目标上报打点数据中选取目标缓存打点数据并缓存，包括：
根据所述目标应用程序的运行参数和各条所述缓存子策略对应的应用程序运行参数要求，在各条所述缓存子策略中选取与所述目标应用程序匹配的目标缓存子策略；
基于所述目标缓存子策略，确定所述目标应用程序的允许缓存的打点数据的数据内容类别和允许缓存的各类别的打点数据的数据缓存时长；
根据允许缓存的打点数据的数据内容类别，在所述目标上报打点数据中选取部分或全部数据作为目标缓存打点数据；
根据允许缓存的各类别的打点数据的数据缓存时长，在本地缓存所述目标缓存打点数据。
9.根据权利要求7所述的***，其特征在于，所述打点数据分析策略包括多条分析子策略，每条所述分析子策略具有各自对应的应用程序运行参数要求；
基于所述打点数据分析策略，确定所述目标缓存打点数据对应的分析指标、各分析指标的分析优先级、为各分析指标所分配的***资源量大小中的至少一项，包括：
根据所述目标应用程序的运行参数和各条所述分析子策略对应的应用程序运行参数要求，在各条所述分析子策略中选取与所述目标应用程序匹配的目标分析子策略；
从所述目标分析子策略中提取所述目标缓存打点数据对应的分析指标、各分析指标的分析优先级、为各分析指标所分配的***资源量大小中的至少一项。
10.根据权利要求7所述的***，其特征在于，根据监控结果调整所述打点数据上报策略，以减少所述带宽，包括：
若所述监控结果表示所述目标应用程序上报打点数据所占用的带宽大小大于等于第一预设带宽阈值，则设置所述打点数据上报策略的启用状态为不启用；
若所述监控结果表示所述目标应用程序上报打点数据所占用的带宽大小小于第一预设带宽阈值且大于等于第二预设带宽阈值，则调整所述打点数据上报策略中指定的允许上报的打点数据的数据内容类别，以减少所述带宽。
11.根据权利要求7所述的***，其特征在于，根据监控结果调整所述打点数据缓存策略，以节省所述缓存空间，包括：
若所述监控结果表示所述云服务器缓存所述目标应用程序的打点数据所耗费的缓存空间大小大于等于第一预设缓存阈值，则设置所述打点数据缓存策略的启用状态为不启用；
若所述监控结果表示所述云服务器缓存所述目标应用程序的打点数据所耗费的缓存空间大小小于第一预设缓存阈值且大于等于第二预设缓存阈值，则调整所述打点数据缓存策略中指定的允许缓存的打点数据的数据内容类别，以节省所述缓存空间。
12.根据权利要求7所述的***，其特征在于，根据监控结果调整所述打点数据分析策略，以节省所述***资源，包括：
若所述监控结果表示所述数据分析服务器分析所述目标应用程序的打点数据所耗费的***资源量大小大于等于第一预设资源阈值，则设置所述打点数据分析策略的启用状态为不启用；
若所述监控结果表示所述数据分析服务器分析所述目标应用程序的打点数据所耗费的***资源量大小小于第一预设资源阈值且大于等于第二预设资源阈值，则调整所述打点数据分析策略中指定的所述目标缓存打点数据对应的分析指标和/或为各分析指标所分配的***资源量大小，以节省所述***资源。
CN202010682119.7A 2020-07-15 2020-07-15 打点数据处理方法和*** Active CN111913660B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010682119.7A CN111913660B (zh) 2020-07-15 2020-07-15 打点数据处理方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010682119.7A CN111913660B (zh) 2020-07-15 2020-07-15 打点数据处理方法和***

Publications (2)

Publication Number Publication Date
CN111913660A CN111913660A (zh) 2020-11-10
CN111913660B true CN111913660B (zh) 2022-11-18

Family

ID=73280309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010682119.7A Active CN111913660B (zh) 2020-07-15 2020-07-15 打点数据处理方法和***

Country Status (1)

Country Link
CN (1) CN111913660B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112491737A (zh) * 2020-12-07 2021-03-12 北京明略昭辉科技有限公司 一种流量数据采集方法及装置
CN113905098A (zh) * 2021-09-30 2022-01-07 北京百度网讯科技有限公司 一种数据上报方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105915648A (zh) * 2016-06-20 2016-08-31 北京佰才邦技术有限公司 基于缓存平台的资源调度方法和装置
WO2017071134A1 (zh) * 2015-10-28 2017-05-04 北京汇商融通信息技术有限公司 分布式跟踪***
WO2017084508A1 (zh) * 2015-11-17 2017-05-26 阿里巴巴集团控股有限公司 自动埋点方法和装置
CN108512673A (zh) * 2017-02-24 2018-09-07 腾讯科技（深圳）有限公司 一种云服务质量监控方法、装置及服务器
CN109688207A (zh) * 2018-12-11 2019-04-26 北京云中融信网络科技有限公司 日志传输方法、装置及服务器
CN110399350A (zh) * 2018-04-19 2019-11-01 沪江教育科技（上海）股份有限公司 日志信息的处理方法、装置、存储介质及电子设备
CN110442402A (zh) * 2019-08-08 2019-11-12 中国建设银行股份有限公司 数据处理方法、装置、设备及存储介质
CN111049882A (zh) * 2019-11-11 2020-04-21 支付宝(杭州)信息技术有限公司 缓存状态处理***、方法、装置及计算机可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017071134A1 (zh) * 2015-10-28 2017-05-04 北京汇商融通信息技术有限公司 分布式跟踪***
WO2017084508A1 (zh) * 2015-11-17 2017-05-26 阿里巴巴集团控股有限公司 自动埋点方法和装置
CN105915648A (zh) * 2016-06-20 2016-08-31 北京佰才邦技术有限公司 基于缓存平台的资源调度方法和装置
CN108512673A (zh) * 2017-02-24 2018-09-07 腾讯科技（深圳）有限公司 一种云服务质量监控方法、装置及服务器
CN110399350A (zh) * 2018-04-19 2019-11-01 沪江教育科技（上海）股份有限公司 日志信息的处理方法、装置、存储介质及电子设备
CN109688207A (zh) * 2018-12-11 2019-04-26 北京云中融信网络科技有限公司 日志传输方法、装置及服务器
CN110442402A (zh) * 2019-08-08 2019-11-12 中国建设银行股份有限公司 数据处理方法、装置、设备及存储介质
CN111049882A (zh) * 2019-11-11 2020-04-21 支付宝(杭州)信息技术有限公司 缓存状态处理***、方法、装置及计算机可读存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Yunfeng Ma ; Yue Chen.Storage Systems Management Based on Big Data - Take Three Common Storage Systems as Examples.《2018 15th International Conference on Service Systems and Service Management (ICSSSM)》.2018,第1-6页. *
基于分布式集群的高可用日志分析***的设计;陈乐等;《中国电子科学研究院学报》;20200520(第05期);全文 *
柔性微服务监控框架;刘一田等;《计算机***应用》;20171015(第10期);全文 *
网络专题数据获取与成图平台的开发与应用;赵婷婷朱峰刘洋;《北京测绘》;20181225;第32卷(第12期);第1402-1407页 *

Also Published As

Publication number Publication date
CN111913660A (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
CN109684358B (zh) 数据查询的方法和装置
US20120016994A1 (en) Distributed system
CN111913660B (zh) 打点数据处理方法和***
CN111510395A (zh) 业务消息上报方法、装置、设备及介质
US20180198857A1 (en) Connection control device, connection control system, and non-transitory computer readable medium
US9755935B2 (en) Method, system and computer storage medium for bandwidth optimization of network application
CN110597858A (zh) 任务数据处理方法、装置、计算机设备和存储介质
CN112165436B (zh) 流量控制方法、装置及***
CN113094136A (zh) 页面显示控制方法、装置、存储介质及电子设备
CN104243405A (zh) 一种请求处理方法、装置及***
CN111414070B (zh) 一种机箱功耗管理方法、***及电子设备和存储介质
CN111970195A (zh) 数据传输方法和流式数据传输***
US20140013442A1 (en) Information monitoring apparatus and information monitoring method
US8948050B2 (en) Distribution system, distribution method, and memory medium thereof
CN113596519A (zh) 对监控设备直播推流的调控方法及电子设备
CN105357026B (zh) 一种资源信息收集方法和计算节点
CN112511576A (zh) 一种物联网数据处理***及数据处理方法
CN111309442B (zh) 微服务容器数量的调整方法、装置、***、介质及设备
CN105893150B (zh) 接口调用频度控制、接口调用请求处理方法及装置
CN114143263B (zh) 一种对用户请求进行限流的方法、设备及介质
CN111611480B (zh) 推荐策略生成方法、装置、计算机设备及存储介质
CN115757998A (zh) 一种电网数据的动态渲染方法及装置
JP5351839B2 (ja) オーダ処理方法、プログラムおよびネットワークシステム
CN115543202A (zh) 缓存管理方法、读取方法、***、电子设备及存储介质
CN111988403A (zh) 电子设备的请求处理方法、***、存储介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant