CN114625643A - 数据处理方法和装置 - Google Patents
数据处理方法和装置 Download PDFInfo
- Publication number
- CN114625643A CN114625643A CN202210231881.2A CN202210231881A CN114625643A CN 114625643 A CN114625643 A CN 114625643A CN 202210231881 A CN202210231881 A CN 202210231881A CN 114625643 A CN114625643 A CN 114625643A
- Authority
- CN
- China
- Prior art keywords
- data
- buried point
- target
- point data
- performance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3604—Software analysis for verifying properties of programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/362—Software debugging
- G06F11/3636—Software debugging by tracing the execution of the program
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种数据处理方法和装置,属于计算机技术领域。所述数据处理方法包括:获取针对目标应用程序的埋点数据;对所述埋点数据进行解析,得到目标数据,所述目标数据包括用户行为埋点数据、性能埋点数据和设备埋点数据;基于所述目标数据,确定所述目标应用程序的性能指标。
Description
技术领域
本申请属于计算机技术领域,具体涉及一种数据处理方法和装置。
背景技术
应用程序(Application,App)的性能好坏会直接影响用户体验,因此,在App上线之后需要根据客户端中App的运行情况对其性能进行监测,基于监测的性能指标进一步优化App。
现有技术中,通常采用行为数据日志记录客户端中App的运行情况,再通过对日志的解析来获取App的性能指标。
由于现有技术中,用户行为数据日志中包含大量数据,开发人员对日志进行解析需要耗费较多时间,导致数据处理效率较低,无法及时获取应用程序的运行情况和性能指标,不利于数据分析以及应用程序的优化。
发明内容
本申请实施例的目的是提供一种数据处理方法和装置,能够解决相关技术中数据处理效率较低,无法及时获取应用程序的运行情况和性能指标,不利于数据分析以及应用程序的优化的问题。
第一方面,本申请实施例提供了一种数据处理方法,该方法包括:
获取针对目标应用程序的埋点数据;
对所述埋点数据进行解析,得到目标数据,所述目标数据包括用户行为埋点数据、性能埋点数据和设备埋点数据;
基于所述目标数据,确定所述目标应用程序的性能指标。
第二方面,本申请实施例提供了一种数据处理装置,该装置包括:
获取模块,用于获取针对目标应用程序的埋点数据;
处理模块,用于对所述埋点数据进行解析,得到目标数据,所述目标数据包括用户行为埋点数据、性能埋点数据和设备埋点数据;用于基于所述目标数据,确定所述目标应用程序的性能指标。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器和存储器,所述存储器存储在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
第六方面,本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
在本申请实施例中,获取针对目标应用程序的埋点数据;对所述埋点数据进行解析,得到目标数据,所述目标数据包括用户行为埋点数据、性能埋点数据和设备埋点数据;基于所述目标数据,确定所述目标应用程序的性能指标。如此,只要满足埋点上报条件,就能及时获取反应目标应用程序运行情况的埋点数据,并根据埋点数据中的相应数据快速确定目标应用程序的性能指标,从而可以解决相关技术中数据处理效率较低,无法及时获取应用程序的运行情况和性能指标,不利于数据分析以及应用程序的优化的问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1-1是本申请实施例提供的一种数据处理方法的流程图;
图1-2为本申请实施例提供的一种可视化界面示意图;
图2是本申请实施例提供的另一种数据处理方法的流程图;
图3是本申请实施例提供的另一种数据处理方法的流程图;
图4是本申请实施例提供的一种数据处理装置的结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的数据处理方法和装置进行详细地说明。
图1-1是本申请实施例提供的一种数据处理方法的流程图。如图1-1所示,本申请实施例提供一种数据处理方法,该方法的执行主体可以为服务器。其中所述服务器可以由单一的服务器组成,也可以是由多个服务器组成的服务器群组。本申请实施例提供的数据处理方法具体可以包括以下步骤:
步骤110,获取针对目标应用程序的埋点数据;
如上文所述,App的性能好坏会直接影响用户体验,因此,在App上线之后需要根据客户端中App的运行情况对其性能进行监测,基于监测的性能指标进一步优化App。本申请中针对App的性能监测可以采用客户端源码埋点方式获取埋点数据,例如,在点击响应时埋点、页面跳转时埋点、付款下单时埋点,或者,在执行任务方法前后埋点,或者,在各个任务方法处埋点等。通过埋点方式,每当应用程序运行和/或完成一次埋点对应的任务时,就会收集到相应的埋点数据。例如,对应用程序启动任务进行埋点,则每当应用程序被启动,就会获得对应的埋点数据。示例地,应用程序启动时获得的埋点数据可以为设备启动时长。
在本申请实施例中,开发人员可以在编写目标应用程序的源代码时进行埋点。在开发人员埋点完成后,用户可以在设备上安装对应的目标应用程序,客户端可以通过自动化脚本或人工对目标应用程序进行操作,触发埋点上报这一动作,从而服务器可以从客户端获取针对目标应用程序的埋点数据。
步骤120,对所述埋点数据进行解析,得到目标数据,所述目标数据包括用户行为埋点数据、性能埋点数据和设备埋点数据;
在本申请实施例中,可以根据预先设置的标识对埋点数据进行解析,得到包括用户行为埋点数据、性能埋点数据和设备埋点数据的目标数据。其中,用户行为埋点数据可以包括以下至少一项:对象id、控制id以及控制值等。性能埋点数据可以包括以下至少一项:性能类型、监控对象、请求id以及性能值等。设备埋点数据可以包括以下至少一项:设备id、App版本、build号、版本创建时间、操作***版本、平台类型、网络状态以及用户唯一id等。
其中,性能埋点数据中性能类型可以包括以下至少一项:api、页面加载、页面展示、页面数据下载、h5页面加载等。同时,性能埋点数据中的性能类型、监控对象和性能值之间可以相互关联。以性能类型为api为例,监控对象可以为具体的api名称,性能值可以为响应时间。以性能类型为页面展示为例,监控对象可以为页面名称,性能值可以为页面响应时间。以性能类型为客户端连接为例,监控对象可以为客户端网页,性能值可以为客户端网页请求耗时。
具体地,在目标应用程序的源代码埋点时,可以针对不同的执行任务预先设置不同的标识,从而服务器获取到埋点数据后可以根据标识对埋点数据进行解析。例如将标识为1的埋点数据解析为行为埋点数据,将标识为2的埋点数据解析为性能埋点数据,将标识为3的埋点数据解析为设备埋点数据。
步骤130,基于所述目标数据,确定所述目标应用程序的性能指标。
在本申请实施例中,用于反映应用程序性能的性能指标可以包括以下至少一项:耗时、异常发生次数、同时段内产生异常的用户与总用户的比值等。其中,耗时可以为App的某一动作的耗时,例如,App冷启动(即,App在后台被关闭后被重新打开)耗时、聊天类App的子页面聊天窗口(即,用户点击页面跳转按钮至子页面聊天窗口显示完成)耗时、音乐类App的音乐播放(即,用户点击音乐播放按钮至音乐成功播放用户可以听到声音的状态)耗时、交易类App的下单(即,用户点击付款按钮至付款成功)耗时等等。一般而言,耗时越少,性能越好。异常发生次数可以为执行埋点对应的任务时,任务失败的次数,任务失败次数越少,性能越好。同时段内产生异常的用户与总用户的比值可以为同一预设时间范围内任务失败的用户数量与执行相同任务的总用户数量的比值。
在本申请实施例中可以根据行为埋点数据、性能埋点数据、设备埋点数据,确定目标应用程序的性能指标。需要说明的是,对于不同平台、不同应用程序版本、不同执行任务,目标应用程序具体的性能指标均不相同。在数据处理时可以通过行为埋点数据、性能埋点数据、设备埋点数据中同一类数据的处理,确定目标应用程序的性能指标。也可以根据行为埋点数据、性能埋点数据、设备埋点数据中不同维度的数据进行分析,确定目标应用程序的性能指标。在性能指标不符合预期时,定位产生问题的具体页面、接口等。具体地,以ios平台、目标应用程序版本4.5.2、页面ID Home View Controller、启动该页面平均耗时为9308ms为例,可以将9308ms确定为目标应用程序4.5.2版本在ios平台上启动Home ViewController页面时的性能指标。
本申请实施例提供了一种数据处理方法,获取针对目标应用程序的埋点数据;对所述埋点数据进行解析,得到目标数据,所述目标数据包括用户行为埋点数据、性能埋点数据和设备埋点数据;基于所述目标数据,确定所述目标应用程序的性能指标。如此,只要满足埋点上报条件,就能及时获取反应目标应用程序运行情况的埋点数据,并根据埋点数据中的相应数据快速确定目标应用程序的性能指标,从而可以解决相关技术中数据处理效率较低,无法及时获取应用程序的运行情况和性能指标,不利于数据分析以及应用程序的优化的问题。
在一种实施方式中,在步骤130基于所述目标数据,确定所述目标应用程序的性能指标之后,所述方法还包括:通过可视化工具展示所述目标应用程序的性能指标。
如上文所说,对于不同平台、不同应用程序版本、不同执行任务,目标应用程序具体的性能指标均不相同。因而,在基于目标数据,确定目标应用程序的性能指标之后,可以通过可视化工具将目标应用程序的性能指标以图表形式展示。其中,可视化工具可以包括grafana、kibana等。如图1-2所示,以grafana为例,可以将用户行为埋点数据、性能埋点数据和设备埋点数据中不同维度的数据,例如平台、版本、pageID、调用接口数、平均响应时间、中位数响应时间、最大响应时间、最小响应时间、总响应时间、总调用次数、页面浏览量(page view,pv)、独立访客(unique visitor,uv)等数据直观展示。
如此,可以通过可视化工具直观展示目标应用程序的性能指标,便于查看、分析。
在一种实施方式中,在步骤120对所述埋点数据进行解析,得到目标数据之后,所述方法还包括:在所述目标数据的第一类型数据中的目标维度的指标满足报警条件的情况下,发出报警信息;其中,所述第一类型数据为所述用户行为埋点数据、所述性能埋点数据或所述设备埋点数据。
在本申请实施例中,目标维度的指标满足报警条件可以包括目标维度的指标超出一定阈值或低于一定阈值。当目标维度的指标满足报警条件时可以在预设的通知群内发送报警信息。
具体地,以目标维度为性能埋点数据中的页面加载为例进行说明,当页面响应时间为19000ms超出预先设定的阈值9000ms时可以在通知群内发送报警信息。报警信息中可以包括目标维度的指标信息,例如页面1加载响应时间19000ms超出阈值需要优化,从而开发人员可以根据目标维度的指标信息确定需要优化的具体页面和优化方向。以目标维度为性能埋点数据中的页面请求为例进行说明,目标维度的指标可以为页面请求失败次数。需要说明的是,同一时间段内有大量用户使用目标应用程序,因而可以统计预设时间段内用户页面请求失败的平均次数和请求失败的用户数量与同一页面请求的总用户数量的比值,排除用户网络状态不佳、操作不当等外在原因的情况,在请求失败的平均次数且请求失败的用户比值均超出阈值时,发送报警信息。
如此,可以在目标数据的第一类型数据中的目标维度的指标满足报警条件的情况下,发出报警信息,使得开发人员可以根据报警信息确定问题产生的时间、原因,便于针对性优化目标应用程序。
图2是本申请实施例提供的另一种数据处理方法的流程图。如图2所示,本申请实施例提供的数据处理方法具体可以包括以下步骤:
步骤210,获取针对目标应用程序的埋点数据;
可选地,在本申请的一个实施例中,可以通过消息队列工具收集多个客户端上的目标应用程序的埋点数据。
具体地,开发人员可以在编写目标应用程序的源代码时进行埋点,设置埋点的任务。在开发人员埋点完成后,用户可以在设备上安装对应的目标应用程序,客户端可以通过自动化脚本或人工对目标应用程序进行操作,触发埋点上报这一动作。例如,对目标应用程序的启动进行埋点,则安装目标应用程序后,客户端可操作开启目标应用程序,触发埋点上报。
消息队列工具可以包括kinesis、Redis(List)等。消息队列工具可以接收客户端上报的数据,为了便于后续的数据处理,一般情况下,需要统一上报格式。其中,上报的数据可以包括时间戳(用于说明监测时间)、标识id(用于表示监测位置的标识)、数据标识(用于说明埋点数据类型)、埋点数据(用于反映目标应用程序运行情况)。在多台设备同时上报埋点数据时,消息队列工具可以遵循先进先出原则,维护数据上报序列,有序读取数据。
以性能埋点数据为例,上报数据格式可以为:
{
“timestamp”:“15672938231000”
“type”:“2”,
“session_id”:“osodfjdjf1234567”,
“data”:{
“type”:“1”,
“object”:“具体的api_name”,
“request_id”:“93438247812839243204”,
“value”:“134”,
“ext”:“”,
}
}
其中,timestamp为时间戳,“type”:“2”说明data字段中包含的数据为性能埋点数据。“data”:{}中数据为性能埋点数据中包含的不同维度的数据,例如性能类型、监控对象、性能值等。
步骤220,对所述埋点数据进行解析,得到目标数据,所述目标数据包括用户行为埋点数据、性能埋点数据和设备埋点数据;
可选地,在本申请的一个实施例中,可以通过实时数据处理引擎对所述埋点数据进行解析,得到目标数据。
实时数据处理引擎可以为Flink、Apache Samza等。以实时数据处理引擎Flink为例,Flink可以通过相应接口实时获取消息队列工具中的埋点数据,根据预设标识将埋点数据解析为行为埋点数据、性能埋点数据、设备埋点数据。
步骤230,基于所述目标数据,确定所述目标应用程序的性能指标;
可选地,在本申请的一个实施例中,可以将所述目标数据发往分布式消息***,利用所述实时数据处理引擎读取所述分布式消息***中的指定数据,并将所述指定数据发往数据库管理***。
实时数据处理引擎对埋点数据进行解析得到目标数据后,可以将目标数据发送到分布式消息***。分布式消息***可以为kafka、Flume、Chukwa等。分布式消息***获取目标数据后,可以将行为埋点数据、性能埋点数据、设备埋点数据分类存储。
在分布式消息***将行为埋点数据、性能埋点数据、设备埋点数据分类存储后,实时数据处理引擎可以消费分布式***中的指定数据,并将指定数据发往数据库管理***。其中,指定数据可以为根据实际需求确定的行为埋点数据、性能埋点数据、设备埋点数据,数据库管理***可以包括clickhouse、ORACLE、ACCESS等。以clickhouse为例,实时数据处理引擎可以将指定数据发送到clickhouse的一张主表中,通过clickhouse的特性物化视图,利用主表将数据进一步解析成各种需要的数据报表。在clickhouse中物化视图创建好之后,若主表被写入新数据,则物化视图也会同步更新。
步骤240,在所述目标数据的第一类型数据中的目标维度的指标满足报警条件的情况下,发出报警信息;其中,所述第一类型数据为所述用户行为埋点数据、所述性能埋点数据或所述设备埋点数据。
在本申请实施例中,目标维度的指标满足报警条件可以包括目标维度的指标超出一定阈值或低于一定阈值。当目标维度的指标满足报警条件时可以在预设的通知群内发送报警信息,从而开发人员可以根据报警信息确定问题产生时间、原因,便于针对性优化目标应用程序。
具体地,以目标维度为性能埋点数据中的页面加载为例进行说明,当页面响应时间为19000ms超出预先设定的阈值9000ms时可以在通知群内发送报警信息。报警信息中可以包括目标维度的指标信息,例如页面1加载响应时间19000ms超出阈值需要优化,从而开发人员可以根据目标维度的指标信息确定需要优化的具体页面和优化方向。以目标维度为性能埋点数据中的页面请求为例进行说明,目标维度的指标可以为页面请求失败次数。需要说明的是,同一时间段内有大量用户使用目标应用程序,因而可以统计预设时间段内用户页面请求失败的平均次数和请求失败的用户数量与同一页面请求的总用户数量的比值,排除用户网络状态不佳、操作不当等外在原因的情况,在请求失败的平均次数且请求失败的用户比值均超出阈值时,发送报警信息。
可选地,在本申请的一个实施例中,在将所述目标数据发往分布式消息***,利用所述实时数据处理引擎读取所述分布式消息***中的指定数据,并将所述指定数据发往数据库管理***的情况下,可以在数据库管理***中根据指定数据确定的性能指标满足报警条件时,发出报警信息。
本申请实施例提供一种数据处理方法,获取针对目标应用程序的埋点数据;对所述埋点数据进行解析,得到目标数据,所述目标数据包括用户行为埋点数据、性能埋点数据和设备埋点数据;基于所述目标数据,确定所述目标应用程序的性能指标。如此,只要满足埋点上报条件,就能及时获取反应目标应用程序运行情况的埋点数据,并根据埋点数据中的相应数据快速确定目标应用程序的性能指标,从而可以解决相关技术中数据处理效率较低,无法及时获取应用程序的运行情况和性能指标,不利于数据分析以及应用程序的优化的问题。
图3是本申请实施例提供的另一种数据处理方法的流程图。如图3所示,本申请实施例提供的数据处理方法具体可以包括以下步骤:
步骤310,通过消息队列工具收集多个客户端上的目标应用程序的埋点数据;
在本申请实施例中开发人员可以在编写目标应用程序的源代码时进行埋点,设置埋点的任务。在开发人员埋点完成后,用户可以在设备上安装对应的目标应用程序,客户端可以通过自动化脚本或人工对目标应用程序进行操作,触发埋点上报这一动作。例如,对目标应用程序的启动进行埋点,则安装目标应用程序后,客户端可操作开启目标应用程序,触发埋点上报。
消息队列工具可以包括kinesis、Redis(List)等。消息队列工具可以接收客户端上报的数据,为了便于后续的数据处理,一般情况下,需要统一上报格式。其中,上报的数据可以包括时间戳(用于说明监测时间)、标识id(用于表示监测位置的标识)、数据标识(用于说明埋点数据类型)、埋点数据(用于反映目标应用程序运行情况)。在多台设备同时上报埋点数据时,消息队列工具可以遵循先进先出原则,维护数据上报序列,有序读取数据。
步骤320,通过实时数据处理引擎对所述埋点数据进行解析,得到目标数据;
其中,目标数据包括行为埋点数据、性能埋点数据、设备埋点数据。
实时数据处理引擎可以为Flink、Apache Samza等。以实时数据处理引擎Flink为例,Flink可以通过相应接口实时获取消息队列工具中的埋点数据,根据预设标识将埋点数据解析为行为埋点数据、性能埋点数据、设备埋点数据。
步骤330,将所述目标数据发往分布式消息***;
实时数据处理引擎对埋点数据进行解析得到目标数据后,可以将目标数据发送到分布式消息***。分布式消息***可以为kafka、Flume、Chukwa等。分布式消息***获取目标数据后,可以将行为埋点数据、性能埋点数据、设备埋点数据分类存储。
步骤340,利用所述实时数据处理引擎读取所述分布式消息***中的指定数据,并将所述指定数据发往数据库管理***;
在分布式消息***将行为埋点数据、性能埋点数据、设备埋点数据分类存储后,实时数据处理引擎可以消费分布式***中的指定数据,并将指定数据发往数据库管理***。其中,指定数据可以为根据实际需求确定的行为埋点数据、性能埋点数据、设备埋点数据,数据库管理***可以包括clickhouse、ORACLE、ACCESS等。以clickhouse为例,实时数据处理引擎可以将指定数据发送到clickhouse的一张主表中,通过clickhouse的特性物化视图,利用主表将数据进一步解析成各种需要的数据报表。在clickhouse中物化视图创建好之后,若主表被写入新数据,则物化视图也会同步更新。
在本申请实施例中,通过数据库管理***将指定数据解析为各种需要的数据报表后,可以使用可视化工具将数据报表中的数据进行不同形式的展示。
步骤350,响应于针对所述目标应用程序的目标指令,基于所述数据库管理***获取与所述目标指令对应的第一数据;基于所述第一数据,确定所述目标应用程序的性能指标。
数据库管理***支持实时查询。服务器可以响应于针对目标应用程序的目标指令,在数据库管理***中查询、获取与目标指令对应的第一数据,从而根据第一数据,确定目标应用程序的性能指标。如此,可以根据实际需求,通过数据库管理***实时查询目标应用程序的性能指标,提高了数据管理和查找效率。
具体地,以目标指令为查询ios平台、目标应用程序版本4.5.2、页面ID Home ViewController启动耗时为例,通过数据库管理***进行查询可以获取第一数据9308ms,则第一数据9308ms为目标应用程序4.5.2版本在ios平台上启动Home View Controller页面时的性能指标。
本申请实施例提供一种数据处理方法,通过消息队列工具收集多个客户端上的目标应用程序的埋点数据;通过实时数据处理引擎对所述埋点数据进行解析,得到目标数据;将所述目标数据发往分布式消息***;利用所述实时数据处理引擎读取所述分布式消息***中的指定数据,并将所述指定数据发往数据库管理***。如此,可以通过实时数据处理引擎快速处理从多个客户端上的目标应用程序收集的埋点数据,进一步提高数据的处理效率。
图4为本申请实施例提供的一种数据处理方法装置的结构框图。参照图4,本申请实施例提供的一种数据处理装置400,可以包括:获取模块410以及处理模块420。
其中,获取模块410,用于获取针对目标应用程序的埋点数据;
处理模块420,用于对所述埋点数据进行解析,得到目标数据,所述目标数据包括用户行为埋点数据、性能埋点数据和设备埋点数据;用于基于所述目标数据,确定所述目标应用程序的性能指标。
本申请实施例提供的一种数据处理装置,获取针对目标应用程序的埋点数据;对所述埋点数据进行解析,得到目标数据,所述目标数据包括用户行为埋点数据、性能埋点数据和设备埋点数据;基于所述目标数据,确定所述目标应用程序的性能指标。如此,只要满足埋点上报条件,就能及时获取反应目标应用程序运行情况的埋点数据,并根据埋点数据中的相应数据快速确定目标应用程序的性能指标,从而可以解决相关技术中数据处理效率较低,无法及时获取应用程序的运行情况和性能指标,不利于数据分析以及应用程序的优化的问题。
可选地,在一个实施例中,所述装置400还包括展示模块,所述展示模块,用于在所述确定所述目标应用程序的性能指标之后,通过可视化工具展示所述目标应用程序的性能指标。如此,可以通过可视化工具直观展示目标应用程序的性能指标,便于查看、分析。
可选地,在一个实施例中,所述装置400还包括发送模块,所述发送模块,用于在所述目标数据的第一类型数据中的目标维度的指标满足报警条件的情况下,发出报警信息;其中,所述第一类型数据为所述用户行为埋点数据、所述性能埋点数据或所述设备埋点数据。如此,可以在目标数据的第一类型数据中的目标维度的指标满足报警条件的情况下,发出报警信息,使得开发人员可以根据报警信息确定问题产生的时间、原因,便于针对性优化目标应用程序。
可选地,在一个实施例中,在所述获取针对目标应用程序的埋点数据的过程中,所述获取模块410具体用于:通过消息队列工具收集多个客户端上的目标应用程序的埋点数据;在所述对所述埋点数据进行解析,得到目标数据的过程中,所述处理模块420具体用于:通过实时数据处理引擎对所述埋点数据进行解析,得到目标数据;所述处理模块420还用于:将所述目标数据发往分布式消息***;利用所述实时数据处理引擎读取所述分布式消息***中的指定数据,并将所述指定数据发往数据库管理***。如此,可以通过实时数据处理引擎快速处理从多个客户端上的目标应用程序收集的埋点数据,进一步提高数据的处理效率。
可选地,在一个实施例中,在所述基于所述目标数据,确定所述目标应用程序的性能指标的过程中,所述处理模块420具体用于:响应于针对所述目标应用程序的目标指令,基于所述数据库管理***获取与所述目标指令对应的第一数据;基于所述第一数据,确定所述目标应用程序的性能指标。如此,可以根据实际需求,通过数据库管理***实时查询目标应用程序的性能指标,提高了数据管理和查找效率。
需要说明的是,本申请实施例提供的数据处理装置与上文提到的数据处理方法相对应。相关内容可参照上文对数据处理方法的描述,在此不做赘述。
本申请实施例还提供一种终端装置,所述终端装置包括存储器和处理器,所述存储器上存储程序,当所述程序被所述处理器执行时实现上文本申请实施例提供的任一种数据处理方法。
本申请实施例还提供一种存储介质,所述存储介质包括存储器和处理器,所述存储器上存储程序,当所述程序被所述处理器执行时实现上文本申请实施例提供的任一种数据处理方法。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种数据处理方法,其特征在于,所述方法包括:
获取针对目标应用程序的埋点数据;
对所述埋点数据进行解析,得到目标数据,所述目标数据包括用户行为埋点数据、性能埋点数据和设备埋点数据;
基于所述目标数据,确定所述目标应用程序的性能指标。
2.根据权利要求1所述的方法,其特征在于,在所述确定所述目标应用程序的性能指标之后,所述方法还包括:
通过可视化工具展示所述目标应用程序的性能指标。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述目标数据的第一类型数据中的目标维度的指标满足报警条件的情况下,发出报警信息;其中,所述第一类型数据为所述用户行为埋点数据、所述性能埋点数据或所述设备埋点数据。
4.根据权利要求1-3任一项所述的方法,其特征在于,
所述获取针对目标应用程序的埋点数据包括:通过消息队列工具收集多个客户端上的目标应用程序的埋点数据;
所述对所述埋点数据进行解析,得到目标数据包括:通过实时数据处理引擎对所述埋点数据进行解析,得到目标数据;
所述方法还包括:将所述目标数据发往分布式消息***;利用所述实时数据处理引擎读取所述分布式消息***中的指定数据,并将所述指定数据发往数据库管理***。
5.根据权利要求4所述的方法,其特征在于,所述基于所述目标数据,确定所述目标应用程序的性能指标包括:
响应于针对所述目标应用程序的目标指令,基于所述数据库管理***获取与所述目标指令对应的第一数据;
基于所述第一数据,确定所述目标应用程序的性能指标。
6.一种数据处理装置,其特征在于,所述装置包括:
获取模块,用于获取针对目标应用程序的埋点数据;
处理模块,用于对所述埋点数据进行解析,得到目标数据,所述目标数据包括用户行为埋点数据、性能埋点数据和设备埋点数据;基于所述目标数据,确定所述目标应用程序的性能指标。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括展示模块,所述展示模块,用于在所述处理模块确定所述目标应用程序的性能指标之后,通过可视化工具展示所述目标应用程序的性能指标。
8.根据权利要求6所述的装置,其特征在于,所述装置还包括发送模块,
所述发送模块,用于在所述目标数据的第一类型数据中的目标维度的指标满足报警条件的情况下,发出报警信息;其中,所述第一类型数据为所述用户行为埋点数据、所述性能埋点数据或所述设备埋点数据。
9.根据权利要求6-8任一项所述的装置,其特征在于,
在所述获取针对目标应用程序的埋点数据的过程中,所述获取模块具体用于:通过消息队列工具收集多个客户端上的目标应用程序的埋点数据;
在所述对所述埋点数据进行解析,得到目标数据的过程中,所述处理模块具体用于:通过实时数据处理引擎对所述埋点数据进行解析,得到目标数据;
所述处理模块还用于:将所述目标数据发往分布式消息***;利用所述实时数据处理引擎读取所述分布式消息***中的指定数据,并将所述指定数据发往数据库管理***。
10.根据权利要求9所述的装置,其特征在于,在所述基于所述目标数据,确定所述目标应用程序的性能指标的过程中,所述处理模块具体用于:
响应于针对所述目标应用程序的目标指令,基于所述数据库管理***获取与所述目标指令对应的第一数据;
基于所述第一数据,确定所述目标应用程序的性能指标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210231881.2A CN114625643A (zh) | 2022-03-09 | 2022-03-09 | 数据处理方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210231881.2A CN114625643A (zh) | 2022-03-09 | 2022-03-09 | 数据处理方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114625643A true CN114625643A (zh) | 2022-06-14 |
Family
ID=81899174
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210231881.2A Pending CN114625643A (zh) | 2022-03-09 | 2022-03-09 | 数据处理方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114625643A (zh) |
-
2022
- 2022-03-09 CN CN202210231881.2A patent/CN114625643A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021088724A1 (zh) | 一种测试方法及装置 | |
CN107145489B (zh) | 一种基于云平台的客户端应用的信息统计方法和装置 | |
US10116534B2 (en) | Systems and methods for WebSphere MQ performance metrics analysis | |
CN110020339B (zh) | 基于无埋点的网页数据采集方法及装置 | |
CN111339118A (zh) | 基于Kubernetes的资源变更历史记录方法及装置 | |
CN111008105A (zh) | 一种分布式***调用关系可视化方法及装置 | |
CN110941632A (zh) | 一种数据库审计方法、装置及设备 | |
CN114303134A (zh) | 用于维护视觉一致性的方法、装置和计算机可读介质 | |
CN111083008A (zh) | 一种基于nginx的流量采集分析方法 | |
CN115499302A (zh) | 业务***的监测方法、装置、可读存储介质及电子设备 | |
TWI757169B (zh) | 用於實時分析虛擬伺服器記錄的電腦實施系統以及方法 | |
US9164746B2 (en) | Automatic topology extraction and plotting with correlation to real time analytic data | |
US20180219752A1 (en) | Graph search in structured query language style query | |
CN112835779A (zh) | 测试用例确定方法、装置、计算机设备 | |
CN114625643A (zh) | 数据处理方法和装置 | |
CN116010244A (zh) | 自动化测试方法、装置、电子设备及存储介质 | |
CN114371980A (zh) | 调用链路性能监控方法、装置、计算机设备及存储介质 | |
CN113918204A (zh) | 一种元数据脚本管理方法、装置、电子设备和存储介质 | |
CN113868005A (zh) | 网页异常的监控方法和装置 | |
CN114118454A (zh) | 一种基于5g网络的设备管理方法、装置、设备及可读介质 | |
CN112596974A (zh) | 一种全链路监控方法、装置、设备和存储介质 | |
CN111786828A (zh) | 在网络设备中执行的日志处理方法和网络设备 | |
CN110430093B (zh) | 一种数据处理方法、装置及计算机可读存储介质 | |
CN111352992B (zh) | 数据一致性检测方法、装置及服务器 | |
CN116860580A (zh) | 一种日志采集状态的生成方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |