CN114090433A - 埋点数据上报控制方法、装置、存储介质及电子设备 - Google Patents
埋点数据上报控制方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN114090433A CN114090433A CN202111328475.XA CN202111328475A CN114090433A CN 114090433 A CN114090433 A CN 114090433A CN 202111328475 A CN202111328475 A CN 202111328475A CN 114090433 A CN114090433 A CN 114090433A
- Authority
- CN
- China
- Prior art keywords
- buried point
- data
- reporting
- target
- historical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/362—Software debugging
- G06F11/3624—Software debugging by performing operations on the source code, e.g. via a compiler
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- Mathematical Physics (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本申请公开了一种埋点数据上报控制方法、装置、存储介质及电子设备,涉及互联网技术领域,该方法包括:当监测到目标埋点数据触发上报时,确定所述目标埋点数据的数据采集埋点对应的埋点类型;从本地数据库中,获取所述埋点类型对应的历史数据上报信息;基于所述历史数据上报信息进行异常识别处理,得到所述数据采集埋点的状态识别结果;当所述状态识别结果为正常时,将所述目标埋点数据进行上报处理。本申请可以避免埋点上报异常的情况,提升埋点数据上报可靠性。
Description
技术领域
本申请涉及计算机技术领域,具体涉及一种埋点数据上报控制方法、装置、存储介质及电子设备。
背景技术
以Android***为例,目前各行各业中存在获取***中的数据,进行性能的分析的需求,通常采用在设置埋点采集数据进行上报的方案,得到可用于性能分析的数据。在埋点上报中,会出现某些埋点出现异常,导致数据短期的大量上报,造成服务器端压力的增加,也会加重性能分析者的工作压力。因此,目前,存在埋点数据上报时,由于上报异常导致上报可靠性较低的问题。
发明内容
本申请实施例提供一种方案,可以避免埋点上报异常的情况,提升埋点数据上报可靠性。
本申请实施例提供以下技术方案:
根据本申请的一个实施例,一种埋点数据上报控制方法,其包括:当监测到目标埋点数据触发上报时,确定所述目标埋点数据的数据采集埋点对应的埋点类型;从本地数据库中,获取所述埋点类型对应的历史数据上报信息;基于所述历史数据上报信息进行异常识别处理,得到所述数据采集埋点的状态识别结果;当所述状态识别结果为正常时,将所述目标埋点数据进行上报处理。
在本申请的一些实施例中,所述基于所述历史数据上报信息进行异常识别,得到所述数据采集埋点的状态识别结果,包括:从所述历史数据上报信息中获取历史上报状态信息,所述历史上报状态信息为当前时刻之前一次历史埋点数据触发上报时生成的,所述历史埋点数据的数据采集埋点的类型为所述埋点类型;若所述历史上报状态信息为异常,则确定所述数据采集埋点的状态识别结果为异常;若所述历史上报状态信息为正常,则从所述历史数据上报信息中获取所述历史埋点数据的上报时刻,并根据所述上报时刻确定所述数据采集埋点的状态识别结果。
在本申请的一些实施例中,所述根据所述上报时刻确定所述数据采集埋点的状态识别结果,包括:若所述上报时刻与所述当前时刻的差值小于目标阈值,则确定所述数据采集埋点的状态识别结果为异常;若所述上报时刻与所述当前时刻的差值大于所述目标阈值,则确定所述数据采集埋点的状态识别结果为正常。
在本申请的一些实施例中,所述基于所述历史数据上报信息进行异常识别,得到所述数据采集埋点的状态识别结果,包括:采集本地终端的终端状态信息、所述目标埋点数据的数据采集埋点对应的终端性能模块的模块状态信息;采用目标异常分析模型,基于所述终端状态信息、所述模块状态信息以及所述历史数据上报信息中的历史上报状态信息进行异常识别处理,得到至少一个状态信息以及每个所述状态信息的置信度;根据所述至少一个状态信息以及每个所述状态信息的置信度,确定所述数据采集埋点的状态识别结果。
在本申请的一些实施例中,所述方法还包括:采集本地终端的终端状态信息、所述目标埋点数据的数据采集埋点对应的终端性能模块的模块状态信息;采用目标阈值分析模型,基于所述终端状态信息、所述模块状态信息以及所述历史上报状态信息进行阈值分析,得到至少一个阈值以及每个所述阈值的置信度;根据所述至少一个阈值以及每个所述阈值的置信度,确定所述目标阈值。
在本申请的一些实施例中,所述方法还包括:当所述状态识别结果为异常时,将所述目标埋点数据进行停止上报处理。
在本申请的一些实施例中,在日志保存进程中建立缓存区以及第一接口,所述第一接口用于供用户程序空间中的第一性能模块调用,所述日志保存进程中包括目标线程;在内核空间中建立目标内核线程、通信线程以及第二接口,所述目标内核线程通过所述通信线程与所述目标线程进行跨线程通信,所述第二接口用于供用户程序空间中的第二性能模块调用;所述将所述目标埋点数据进行停止上报处理,包括:当所述采集埋点位于所述第一性能模块中且所述目标埋点数据由所述采集埋点触发上报时,基于所述第一性能模块调用所述第一接口,将所述目标埋点数据保存至所述缓存区;当所述采集埋点位于所述第二性能模块中且所述目标埋点数据由所述采集埋点触发上报时,基于所述第二性能模块调用所述第二接口,通过所述跨线程通信将所述目标埋点数据保存至所述缓存区。
根据本申请的一个实施例,一种埋点数据上报控制装置,其包括:监测模块,用于当监测到目标埋点数据触发上报时,确定所述目标埋点数据的数据采集埋点对应的埋点类型;获取模块,用于从本地数据库中,获取所述埋点类型对应的历史数据上报信息;识别模块,用于基于所述历史数据上报信息进行异常识别处理,得到所述数据采集埋点的状态识别结果;控制模块,用于当所述状态识别结果为正常时,将所述目标埋点数据进行上报处理。
根据本申请的另一实施例,一种存储介质,其上存储有计算机程序,当所述计算机程序被计算机的处理器执行时,使计算机执行本申请实施例所述的方法。
根据本申请的另一实施例,一种电子设备可以包括:存储器,存储有计算机程序;处理器,读取存储器存储的计算机程序,以执行本申请实施例所述的方法。
本申请实施例中,当监测到目标埋点数据触发上报时,确定所述目标埋点数据的数据采集埋点对应的埋点类型;从本地数据库中,获取所述埋点类型对应的历史数据上报信息;基于所述历史数据上报信息进行异常识别处理,得到所述数据采集埋点的状态识别结果;当所述状态识别结果为正常时,将所述目标埋点数据进行上报处理。
以这种方式,当检测到目标埋点数据触发上报时,通过确定采集该数据的数据采集埋点的埋点类型,根据该埋点类型对应的历史数据上报信息进行异常识别处理,可以准确获得该类埋点的状态识别结果,进而,当状态识别结果为正常时,将埋点数据进行上报处理,可以避免埋点上报异常的情况,提升埋点数据上报可靠性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了可以应用本申请实施例的***的示意图。
图2示出了根据本申请的一个实施例的埋点数据上报控制方法的流程图。
图3示出了根据本申请的一个实施例的埋点数据上报控制装置的框图。
图4示出了根据本申请的一个实施例的电子设备的框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在以下的说明中,本申请的具体实施例将参考由一部或多部计算机所执行的步骤及符号来说明,除非另有述明。因此,这些步骤及操作将有数次提到由计算机执行,本文所指的计算机执行包括了由代表了以一结构化型式中的数据的电子信号的计算机处理单元的操作。此操作转换该数据或将其维持在该计算机的内存***中的位置处,其可重新配置或另外以本领域技术人员所熟知的方式来改变该计算机的运作。该数据所维持的数据结构为该内存的实***置,其具有由该数据格式所定义的特定特性。但是,本申请原理以上述文字来说明,其并不代表为一种限制,本领域技术人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。
图1示出了可以应用本申请实施例的***100的示意图。如图1所示,***100可以包括服务器101、终端102。终端102可以是任意的计算机设备,例如电脑、手机、智能手表以及家电设备等。服务器101可以是服务器集群或者云服务等。
本示例的一种实施方式中,终端102可以:当监测到目标埋点数据触发上报时,确定所述目标埋点数据的数据采集埋点对应的埋点类型;从本地数据库中,获取所述埋点类型对应的历史数据上报信息;基于所述历史数据上报信息进行异常识别处理,得到所述数据采集埋点的状态识别结果;当所述状态识别结果为正常时,将所述目标埋点数据进行上报处理。其中,可以将埋点数据上报至服务器101。
图2示意性示出了根据本申请的一个实施例的埋点数据上报控制方法的流程图。该埋点数据上报控制方法的执行主体可以是任意的设备,例如图1所示的第一终端102。
如图2所示,该埋点数据上报控制方法可以包括步骤S210至步骤S240。
步骤S210,当监测到目标埋点数据触发上报时,确定所述目标埋点数据的数据采集埋点对应的埋点类型;
步骤S220,从本地数据库中,获取所述埋点类型对应的历史数据上报信息;
步骤S230,基于所述历史数据上报信息进行异常识别处理,得到所述数据采集埋点的状态识别结果;
步骤S240,当所述状态识别结果为正常时,将所述目标埋点数据进行上报处理。
采集埋点即采集设备中数据的采集代码埋点,目标埋点数据即采集埋点采集的设备中数据。目标埋点数据的上报可以是由采集埋点自身触发的上报,也可以是设备中的埋点数据处理逻辑对采集埋点采集的埋点数据重复处理等导致的上报。
本地的当监测到目标埋点数据触发上报时,确定目标埋点数据的数据采集埋点对应的埋点类型,埋点类型即采集埋点本身的类型。一个实施方式中,埋点类型与设备中终端性能模块相对应,终端性能模块例如内核模块,此时某个采集埋点的类型可以是内核类型。其中,内核类型下可以对应多个(如至少两个)采集埋点,例如内核模块可以包括Mem子模块、CPU子模块、I0子模块等,每个子模块可以对应一个采集埋点。
根据目标数据埋点中可以提取数据摘要信息(如采集位置信息以及埋点标记信息等),然后基于数据摘要信息可以通过查询信息配置表的方式确定目标埋点数据的数据采集埋点,并进一步从查询信息配置表中确定目标埋点数据的数据采集埋点的埋点类型。
本地数据库中可以收集本地的数据上报记录,基于埋点类型对数据上报记录分类型管理。基于确定的埋点类型,可以从数据库中获取该确定的埋点类型对应的历史数据上报信息,历史数据上报信息即该埋点类型的所有埋点的数据上报历史记录。
历史数据上报信息可以反映该类型的数据采集埋点的上报规律,进而基于历史数据上报信息进行异常识别处理,可以准确获取到数据采集埋点的状态识别结果,该状态识别结果即数据采集埋点是否处于正常上报状态的识别结果。
进而,当状态识别结果为正常时,将埋点数据进行上报处理,可以避免埋点上报异常的情况。
以这种方式,基于步骤S210至步骤S240,当检测到目标埋点数据触发上报时,通过确定采集该数据的数据采集埋点的埋点类型,根据该埋点类型对应的历史数据上报信息进行异常识别处理,可以准确获得该类埋点的状态识别结果,进而,当状态识别结果为正常时,将埋点数据进行上报处理,可以避免埋点上报异常的情况,提升埋点数据上报可靠性。
下面描述进行埋点数据上报控制时,所进行的各步骤的具体过程。
在步骤S210中,当监测到目标埋点数据触发上报时,确定所述目标埋点数据的数据采集埋点对应的埋点类型。
采集埋点即采集设备中数据的采集代码埋点,目标埋点数据即采集埋点采集的设备中数据。目标埋点数据的上报可以是由采集埋点自身触发的上报,也可以是设备中的埋点数据处理逻辑对采集埋点采集的埋点数据重复处理等导致的上报。
本地的当监测到目标埋点数据触发上报时,确定目标埋点数据的数据采集埋点对应的埋点类型,埋点类型即采集埋点本身的类型。一个实施方式中,埋点类型与设备中性能模块相对应,性能模块例如内核模块,此时某个采集埋点的类型可以是内核类型,其中,内核类型下可以对应多个(如至少两个)采集埋点。
根据目标数据埋点中可以提取数据摘要信息(如采集位置信息以及埋点标记信息等),然后基于数据摘要信息可以通过查询信息配置表的方式确定目标埋点数据的数据采集埋点,并进一步从查询信息配置表中确定目标埋点数据的数据采集埋点的埋点类型。
在步骤S220中,从本地数据库中,获取所述埋点类型对应的历史数据上报信息;
本地数据库中可以收集本地的数据上报记录,基于埋点类型对数据上报记录分类型管理。基于确定的埋点类型,可以从数据库中获取该确定的埋点类型对应的历史数据上报信息,历史数据上报信息即该埋点类型的所有埋点的数据上报历史记录。
其中,本地可以在每次在触发数据上报时,记录数埋点数据的上报时间等信息,形成历史数据上报记录。
在步骤S230中,基于所述历史数据上报信息进行异常识别处理,得到所述数据采集埋点的状态识别结果;
历史数据上报信息可以反映该类型的数据采集埋点的上报规律,进而基于历史数据上报信息进行异常识别处理,可以准确获取到数据采集埋点的状态识别结果,该状态识别结果即数据采集埋点是否处于正常上报状态的识别结果。
一种实施例中,步骤S230,基于所述历史数据上报信息进行异常识别,得到所述数据采集埋点的状态识别结果,包括:
从所述历史数据上报信息中获取历史上报状态信息,所述历史上报状态信息为当前时刻之前一次历史埋点数据触发上报时生成的,所述历史埋点数据的数据采集埋点的类型为所述埋点类型;若所述历史上报状态信息为异常,则确定所述数据采集埋点的状态识别结果为异常;若所述历史上报状态信息为正常,则从所述历史数据上报信息中获取所述历史埋点数据的上报时刻,并根据所述上报时刻确定所述数据采集埋点的状态识别结果。
历史上报状态信息为当前时刻之前一次历史埋点数据触发上报时生成的,且历史埋点数据的数据采集埋点的类型为所述埋点类型,因此,该历史上报状态信息可以反映前一次该埋点类型的数据上报状态是否正常。基于前一次的数据上报状态可以在一定程度上反映当前时刻的状态。
进而,若历史上报状态信息为异常,则直接确定数据采集埋点的状态识别结果为异常,可以有效避免异常上报。
进一步的,若历史上报状态信息为正常,则从历史数据上报信息中获取历史埋点数据的上报时刻,并根据上报时刻确定所述数据采集埋点的状态识别结果,可以进一步准确验证当前上报是否异常,保证上报管理可靠性。
一种实施例中,根据所述上报时刻确定所述数据采集埋点的状态识别结果,包括:若所述上报时刻与所述当前时刻的差值小于目标阈值,则确定所述数据采集埋点的状态识别结果为异常;若所述上报时刻与所述当前时刻的差值大于所述目标阈值,则确定所述数据采集埋点的状态识别结果为正常。
历史埋点数据的上报时刻与当前时刻的差值小于目标阈值,则说明上报频率过高,此时确定数据采集埋点的状态识别结果为异常,进一步避免异常上报,相反则允许上报。
一种实施例中,还包括目标阈值的确定方法,以自适应准确获得目标阈值,提升异常判断准确性:采集本地终端的终端状态信息、所述目标埋点数据的数据采集埋点对应的终端性能模块的模块状态信息;采用目标阈值分析模型,基于所述终端状态信息、所述模块状态信息以及所述历史上报状态信息进行阈值分析,得到至少一个阈值以及每个所述阈值的置信度;根据所述至少一个阈值以及每个所述阈值的置信度,确定所述目标阈值。
终端状态信息即终端本身的全局状态信息,可以包括采集的终端上运行的任务数目、运行任务的任务信息以及CPU占用状态等信息。数据采集埋点对应的终端性能模块即终端中某个具体的性能模块,性能模块例如内核模块,数据采集埋点用于对该对应的终端性能模块进行数据采集。模块状态信息即终端性能模块中的具体状态信息。
目标阈值分析模型即基于深度学习的智能模型,目标阈值分析模型通过收集的训练样本预先训练好。采用目标阈值分析模型,基于所述终端状态信息、所述模块状态信息以及所述历史上报状态信息进行阈值分析,得到至少一个阈值以及每个所述阈值的置信度,然后,可以根据置信度筛选出准确的阈值(如置信度最高的一个阈值)作为目标阈值,实现自适应更新目标阈值。
可以理解一些实施例中,目标阈值可以为根据实际需求设定的经验值,在一定程度上可以保证判断准确性。
一种实施例中,所述基于所述历史数据上报信息进行异常识别,得到所述数据采集埋点的状态识别结果,包括:
采集本地终端的终端状态信息、所述目标埋点数据的数据采集埋点对应的终端性能模块的模块状态信息;采用目标异常分析模型,基于所述终端状态信息、所述模块状态信息以及所述历史数据上报信息中的历史上报状态信息进行异常识别处理,得到至少一个状态信息以及每个所述状态信息的置信度;根据所述至少一个状态信息以及每个所述状态信息的置信度,确定所述数据采集埋点的状态识别结果。
终端状态信息即终端本身的全局状态信息,可以包括采集的终端上运行的任务数目、运行任务的任务信息以及CPU占用状态等信息。数据采集埋点对应的终端性能模块即终端中某个具体的性能模块,性能模块例如内核模块,数据采集埋点用于对该对应的终端性能模块进行数据采集。模块状态信息即终端性能模块中的具体状态信息。
目标异常分析模型即基于深度学习的智能模型,目标异常分析模型通过收集的训练样本预先训练好。采用目标阈值分析模型,基于所述终端状态信息、所述模块状态信息以及所述历史数据上报信息中的历史上报状态信息进行异常识别处理,得到至少一个状态信息以及每个所述状态信息的置信度,然后,可以根据置信度筛选出准确的状态信息(如置信度最高的一个状态信息)作为状态识别结果,进一步提升状态识别结果的判断准确性。
在步骤S240中,当所述状态识别结果为正常时,将所述目标埋点数据进行上报处理。
当状态识别结果为正常时,将埋点数据进行上报处理,可以避免埋点上报异常的情况,提升埋点数据上报可靠性。
一种实施例中,还包括:当所述状态识别结果为异常时,将所述目标埋点数据进行停止上报处理。
停止上报处理,一个示例中可以将埋点数据删除处理,另一个示例中可以将目标埋点数据进行本地缓存。
将目标埋点数据进行本地缓存时,一种实施例中,在日志保存进程中建立缓存区以及第一接口,所述第一接口用于供用户程序空间中的第一性能模块调用,所述日志保存进程中包括目标线程;在内核空间中建立目标内核线程、通信线程以及第二接口,所述目标内核线程通过所述通信线程与所述目标线程进行跨线程通信,所述第二接口用于供用户程序空间中的第二性能模块调用;所述将目标埋点数据进行停止上报处理,包括:当所述采集埋点位于所述第一性能模块中时,基于所述第一性能模块调用所述第一接口,将所述目标埋点数据保存至所述缓存区;当所述采集埋点位于所述第二性能模块中时,基于所述第二性能模块调用所述第二接口,通过所述跨线程通信将所述目标埋点数据保存至所述缓存区。
第一性能模块及第二性能模块均为终端中的终端性能模块;第一性能模块位于用户程序空间(即userspace),第一性能模块可以包括AMS模块、Looper模块、Native模块、Recents模块、Contact模块、Mms模块等;第二性能模块位于内核空间(即kernelspace),第二性能模块可以包括Mem模块、CPU模块、I0模块等。
日志保存进程即logd进程,通过在日志保存进程中建立缓存区以及第一接口,第一接口用于供用户程序空间中的第一性能模块调用,日志保存进程中包括目标线程。在内核空间中建立目标内核线程、通信线程以及第二接口,目标内核线程通过通信线程与目标线程进行跨线程通信,第二接口用于供用户程序空间中的第二性能模块调用。这样可以实现用户程序空间及内核空间中性能模块的统一管理框架,基于该框架可以降低数据采集埋点间的耦合性且数据缓存便捷可靠。对于不同性能模块中数据采集埋点出现异常上报时,可以便捷可靠地实现缓存处理,实现避免上报及数据保存的有效协同。
具体地,停止上报处理时,当目标埋点数据的采集埋点位于第一性能模块中且所述目标埋点数据由所述采集埋点触发上报时,基于第一性能模块调用所述第一接口,将目标埋点数据保存至缓存区;当采集埋点位于所述第二性能模块中且所述目标埋点数据由所述采集埋点触发上报时,基于第二性能模块调用第二接口,通过跨线程通信将目标埋点数据保存至缓存区,可以进一步便捷可靠、低耦合地进行埋点数据的异常管控。
为便于更好的实施本申请实施例提供的埋点数据上报控制方法,本申请实施例还提供一种基于上述埋点数据上报控制方法的埋点数据上报控制装置。其中名词的含义与上述埋点数据上报控制方法中相同,具体实现细节可以参考方法实施例中的说明。图3示出了根据本申请的一个实施例的埋点数据上报控制装置的框图。
如图3所示,埋点数据上报控制装置300中可以包括监测模块310、获取模块320、识别模块330以及控制模块340。
监测模块310可以用于当监测到目标埋点数据触发上报时,确定所述目标埋点数据的数据采集埋点对应的埋点类型;获取模块320可以用于从本地数据库中,获取所述埋点类型对应的历史数据上报信息;识别模块330可以用于基于所述历史数据上报信息进行异常识别处理,得到所述数据采集埋点的状态识别结果;控制模块340可以用于当所述状态识别结果为正常时,将所述目标埋点数据进行上报处理。
在本申请的一些实施例中,所述识别模块330,包括:状态信息获取单元,用于从所述历史数据上报信息中获取历史上报状态信息,所述历史上报状态信息为当前时刻之前一次历史埋点数据触发上报时生成的,所述历史埋点数据的数据采集埋点的类型为所述埋点类型;第一识别单元,用于若所述历史上报状态信息为异常,则确定所述数据采集埋点的状态识别结果为异常;第二识别单元,用于若所述历史上报状态信息为正常,则从所述历史数据上报信息中获取所述历史埋点数据的上报时刻,并根据所述上报时刻确定所述数据采集埋点的状态识别结果。
在本申请的一些实施例中,所述第二识别单元,用于:若所述上报时刻与所述当前时刻的差值小于目标阈值,则确定所述数据采集埋点的状态识别结果为异常;若所述上报时刻与所述当前时刻的差值大于所述目标阈值,则确定所述数据采集埋点的状态识别结果为正常。
在本申请的一些实施例中,所述识别模块330,包括:信息采集单元,用于采集本地终端的终端状态信息、所述目标埋点数据的数据采集埋点对应的终端性能模块的模块状态信息;模型分析单元,用于采用目标异常分析模型,基于所述终端状态信息、所述模块状态信息以及所述历史上报状态信息进行异常识别处理,得到至少一个状态信息以及每个所述状态信息的置信度;结果确定单元,用于根据所述至少一个状态信息以及每个所述状态信息的置信度,确定所述数据采集埋点的状态识别结果。
在本申请的一些实施例中,所述装置还包括阈值更新单元,用于:采集本地终端的终端状态信息、所述目标埋点数据的数据采集埋点对应的终端性能模块的模块状态信息;采用目标阈值分析模型,基于所述终端状态信息、所述模块状态信息以及所述历史数据上报信息中的历史上报状态信息进行阈值分析,得到至少一个阈值以及每个所述阈值的置信度;根据所述至少一个阈值以及每个所述阈值的置信度,确定所述目标阈值。
在本申请的一些实施例中,所述装置还包括停止控制模型,用于:当所述状态识别结果为异常时,将所述目标埋点数据进行停止上报处理。
在本申请的一些实施例中,在日志保存进程中建立缓存区以及第一接口,所述第一接口用于供用户程序空间中的第一性能模块调用,所述日志保存进程中包括目标线程;在内核空间中建立目标内核线程、通信线程以及第二接口,所述目标内核线程通过所述通信线程与所述目标线程进行跨线程通信,所述第二接口用于供用户程序空间中的第二性能模块调用;所述停止控制模型,包括:第一控制单元,用于当所述采集埋点位于所述第一性能模块中且所述目标埋点数据由所述采集埋点触发上报时,基于所述第一性能模块调用所述第一接口,将所述目标埋点数据保存至所述缓存区;第二控制单元,用于当所述采集埋点位于所述第二性能模块中且所述目标埋点数据由所述采集埋点触发上报时,基于所述第二性能模块调用所述第二接口,通过所述跨线程通信将所述目标埋点数据保存至所述缓存区。
以这种方式,基于埋点数据上报控制装置300,当检测到目标埋点数据触发上报时,通过确定采集该数据的数据采集埋点的埋点类型,根据该埋点类型对应的历史数据上报信息进行异常识别处理,可以准确获得该类埋点的状态识别结果,进而,当状态识别结果为正常时,将埋点数据进行上报处理,可以避免埋点上报异常的情况,提升埋点数据上报可靠性。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外,本申请实施例还提供一种电子设备,该电子设备可以为终端或者服务器,如图4所示,其示出了本申请实施例所涉及的电子设备的结构示意图,具体来讲:
该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解,图4中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器401是该电子设备的控制中心,利用各种接口和线路连接整个计算机设备的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行计算机设备的各种功能和处理数据,从而对电子设备进行整体监控。可选的,处理器401可包括一个或多个处理核心;优选的,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作***、用户页面和应用程序等,调制解调处理器主要处理无线通讯。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
电子设备还包括给各个部件供电的电源403,优选的,电源403可以通过电源管理***与处理器401逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元404,该输入单元404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,电子设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,电子设备中的处理器401会按照如下的指令,将一个或一个以上的计算机程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的计算机程序,从而实现各种功能,如处理器401可以执行下述步骤:
当监测到目标埋点数据触发上报时,确定所述目标埋点数据的数据采集埋点对应的埋点类型;从本地数据库中,获取所述埋点类型对应的历史数据上报信息;基于所述历史数据上报信息进行异常识别处理,得到所述数据采集埋点的状态识别结果;当所述状态识别结果为正常时,将所述目标埋点数据进行上报处理。
在本申请的一些实施例中,所述基于所述历史数据上报信息进行异常识别,得到所述数据采集埋点的状态识别结果,包括:从所述历史数据上报信息中获取历史上报状态信息,所述历史上报状态信息为当前时刻之前一次历史埋点数据触发上报时生成的,所述历史埋点数据的数据采集埋点的类型为所述埋点类型;若所述历史上报状态信息为异常,则确定所述数据采集埋点的状态识别结果为异常;若所述历史上报状态信息为正常,则从所述历史数据上报信息中获取所述历史埋点数据的上报时刻,并根据所述上报时刻确定所述数据采集埋点的状态识别结果。
在本申请的一些实施例中,所述根据所述上报时刻确定所述数据采集埋点的状态识别结果,包括:若所述上报时刻与所述当前时刻的差值小于目标阈值,则确定所述数据采集埋点的状态识别结果为异常;若所述上报时刻与所述当前时刻的差值大于所述目标阈值,则确定所述数据采集埋点的状态识别结果为正常。
在本申请的一些实施例中,所述基于所述历史数据上报信息进行异常识别,得到所述数据采集埋点的状态识别结果,包括:采集本地终端的终端状态信息、所述目标埋点数据的数据采集埋点对应的终端性能模块的模块状态信息;采用目标异常分析模型,基于所述终端状态信息、所述模块状态信息以及所述历史数据上报信息中的历史上报状态信息进行异常识别处理,得到至少一个状态信息以及每个所述状态信息的置信度;根据所述至少一个状态信息以及每个所述状态信息的置信度,确定所述数据采集埋点的状态识别结果。
在本申请的一些实施例中,所述方法还包括:采集本地终端的终端状态信息、所述目标埋点数据的数据采集埋点对应的终端性能模块的模块状态信息;采用目标阈值分析模型,基于所述终端状态信息、所述模块状态信息以及所述历史上报状态信息进行阈值分析,得到至少一个阈值以及每个所述阈值的置信度;根据所述至少一个阈值以及每个所述阈值的置信度,确定所述目标阈值。
在本申请的一些实施例中,所述方法还包括:当所述状态识别结果为异常时,将所述目标埋点数据进行停止上报处理。
在本申请的一些实施例中,在日志保存进程中建立缓存区以及第一接口,所述第一接口用于供用户程序空间中的第一性能模块调用,所述日志保存进程中包括目标线程;在内核空间中建立目标内核线程、通信线程以及第二接口,所述目标内核线程通过所述通信线程与所述目标线程进行跨线程通信,所述第二接口用于供用户程序空间中的第二性能模块调用;所述将所述目标埋点数据进行停止上报处理,包括:当所述采集埋点位于所述第一性能模块中且所述目标埋点数据由所述采集埋点触发上报时,基于所述第一性能模块调用所述第一接口,将所述目标埋点数据保存至所述缓存区;当所述采集埋点位于所述第二性能模块中且所述目标埋点数据由所述采集埋点触发上报时,基于所述第二性能模块调用所述第二接口,通过所述跨线程通信将所述目标埋点数据保存至所述缓存区。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过计算机程序来完成,或通过计算机程序控制相关的硬件来完成,该计算机程序可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例还提供一种存储介质,其中存储有计算机程序,该计算机程序能够被处理器进行加载,以执行本申请实施例所提供的任一种方法中的步骤。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的计算机程序,可以执行本申请实施例所提供的任一种方法中的步骤,因此,可以实现本申请实施例所提供的方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
本领域技术人员在考虑说明书及实践这里公开的实施方式后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的实施例,而可以在不脱离其范围的情况下进行各种修改和改变。
Claims (10)
1.一种埋点数据上报控制方法,其特征在于,包括:
当监测到目标埋点数据触发上报时,确定所述目标埋点数据的数据采集埋点对应的埋点类型;
从本地数据库中,获取所述埋点类型对应的历史数据上报信息;
基于所述历史数据上报信息进行异常识别处理,得到所述数据采集埋点的状态识别结果;
当所述状态识别结果为正常时,将所述目标埋点数据进行上报处理。
2.根据权利要求1所述的方法,其特征在于,所述基于所述历史数据上报信息进行异常识别,得到所述数据采集埋点的状态识别结果,包括:
从所述历史数据上报信息中获取历史上报状态信息,所述历史上报状态信息为当前时刻之前一次历史埋点数据触发上报时生成的,所述历史埋点数据的数据采集埋点的类型为所述埋点类型;
若所述历史上报状态信息为异常,则确定所述数据采集埋点的状态识别结果为异常;
若所述历史上报状态信息为正常,则从所述历史数据上报信息中获取所述历史埋点数据的上报时刻,并根据所述上报时刻确定所述数据采集埋点的状态识别结果。
3.根据权利要求2所述的方法,其特征在于,所述根据所述上报时刻确定所述数据采集埋点的状态识别结果,包括:
若所述上报时刻与所述当前时刻的差值小于目标阈值,则确定所述数据采集埋点的状态识别结果为异常;
若所述上报时刻与所述当前时刻的差值大于所述目标阈值,则确定所述数据采集埋点的状态识别结果为正常。
4.根据权利要求1所述的方法,其特征在于,所述基于所述历史数据上报信息进行异常识别,得到所述数据采集埋点的状态识别结果,包括:
采集本地终端的终端状态信息、所述目标埋点数据的数据采集埋点对应的终端性能模块的模块状态信息;
采用目标异常分析模型,基于所述终端状态信息、所述模块状态信息以及所述历史数据上报信息中的历史上报状态信息进行异常识别处理,得到至少一个状态信息以及每个所述状态信息的置信度;
根据所述至少一个状态信息以及每个所述状态信息的置信度,确定所述数据采集埋点的状态识别结果。
5.根据权利要求3所述的方法,其特征在于,所述方法还包括:
采集本地终端的终端状态信息、所述目标埋点数据的数据采集埋点对应的终端性能模块的模块状态信息;
采用目标阈值分析模型,基于所述终端状态信息、所述模块状态信息以及所述历史上报状态信息进行阈值分析,得到至少一个阈值以及每个所述阈值的置信度;
根据所述至少一个阈值以及每个所述阈值的置信度,确定所述目标阈值。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述状态识别结果为异常时,将所述目标埋点数据进行停止上报处理。
7.根据权利要求6所述的方法,其特征在于,在日志保存进程中建立缓存区以及第一接口,所述第一接口用于供用户程序空间中的第一性能模块调用,所述日志保存进程中包括目标线程;
在内核空间中建立目标内核线程、通信线程以及第二接口,所述目标内核线程通过所述通信线程与所述目标线程进行跨线程通信,所述第二接口用于供用户程序空间中的第二性能模块调用;
所述将所述目标埋点数据进行停止上报处理,包括:
当所述采集埋点位于所述第一性能模块中且所述目标埋点数据由所述采集埋点触发上报时,基于所述第一性能模块调用所述第一接口,将所述目标埋点数据保存至所述缓存区;
当所述采集埋点位于所述第二性能模块中且所述目标埋点数据由所述采集埋点触发上报时,基于所述第二性能模块调用所述第二接口,通过所述跨线程通信将所述目标埋点数据保存至所述缓存区。
8.一种埋点数据上报控制装置,其特征在于,包括:
监测模块,用于当监测到目标埋点数据触发上报时,确定所述目标埋点数据的数据采集埋点对应的埋点类型;
获取模块,用于从本地数据库中,获取所述埋点类型对应的历史数据上报信息;
识别模块,用于基于所述历史数据上报信息进行异常识别处理,得到所述数据采集埋点的状态识别结果;
控制模块,用于当所述状态识别结果为正常时,将所述目标埋点数据进行上报处理。
9.一种存储介质,其特征在于,其上存储有计算机程序,当所述计算机程序被计算机的处理器执行时,使计算机执行权利要求1至7任一项所述的方法。
10.一种电子设备,其特征在于,包括:存储器,存储有计算机程序;处理器,读取存储器存储的计算机程序,以执行权利要求1至7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111328475.XA CN114090433A (zh) | 2021-11-10 | 2021-11-10 | 埋点数据上报控制方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111328475.XA CN114090433A (zh) | 2021-11-10 | 2021-11-10 | 埋点数据上报控制方法、装置、存储介质及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114090433A true CN114090433A (zh) | 2022-02-25 |
Family
ID=80299607
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111328475.XA Pending CN114090433A (zh) | 2021-11-10 | 2021-11-10 | 埋点数据上报控制方法、装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114090433A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115225660A (zh) * | 2022-05-20 | 2022-10-21 | 上海电气国轩新能源科技有限公司 | 储能***中通信数据的处理方法、***、设备和介质 |
-
2021
- 2021-11-10 CN CN202111328475.XA patent/CN114090433A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115225660A (zh) * | 2022-05-20 | 2022-10-21 | 上海电气国轩新能源科技有限公司 | 储能***中通信数据的处理方法、***、设备和介质 |
CN115225660B (zh) * | 2022-05-20 | 2023-09-26 | 上海电气国轩新能源科技有限公司 | 储能***中通信数据的处理方法、***、设备和介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110928718B (zh) | 一种基于关联分析的异常处理方法、***、终端及介质 | |
CN108388489B (zh) | 一种服务器故障诊断方法、***、设备及存储介质 | |
CN108958729B (zh) | 一种数据处理方法、装置及存储介质 | |
CN111353911A (zh) | 电力设备运维方法、***、设备和存储介质 | |
CN110941530B (zh) | 监控数据的获取方法、装置、计算机设备和存储介质 | |
CN113505044B (zh) | 数据库告警方法、装置、设备和存储介质 | |
CN114090433A (zh) | 埋点数据上报控制方法、装置、存储介质及电子设备 | |
CN114996103A (zh) | 页面异常检测方法、装置、电子设备和存储介质 | |
CN112905431A (zh) | ***性能问题自动定位方法、装置及设备 | |
CN110990179B (zh) | 一种任务处理方法、装置及设备 | |
CN114416542A (zh) | 数据上报方法、装置、存储介质及电子设备 | |
CN111708576A (zh) | 跨操作***的设备网卡适配和管理方法、装置及*** | |
CN114244681B (zh) | 设备连接故障预警方法、装置、存储介质及电子设备 | |
CN113472881B (zh) | 在线终端设备的统计方法和装置 | |
CN109634796A (zh) | 一种计算机的故障诊断方法、装置及*** | |
CN115543735A (zh) | 日志处理方法、装置、电子设备及存储介质 | |
CN113468029A (zh) | 日志管理方法、装置、电子设备和可读存储介质 | |
CN111447086B (zh) | 业务处理方法、装置及电子设备 | |
Li et al. | eDelta: Pinpointing energy deviations in smartphone apps via comparative trace analysis | |
CN111858313A (zh) | 一种界面卡顿检测方法、装置及存储介质 | |
CN111045849A (zh) | 核对异常原因的识别方法、装置、服务器和存储介质 | |
CN114081396B (zh) | 扫地机的地图数据上报方法、装置、存储介质及电子设备 | |
RU2809254C1 (ru) | Способ и система мониторинга автоматизированных систем | |
CN117312069A (zh) | 一种服务依赖关系监测方法及装置 | |
CN113742122A (zh) | 异常处理方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |