CN103023693A - 一种行为日志数据管理***及方法 - Google Patents
一种行为日志数据管理***及方法 Download PDFInfo
- Publication number
- CN103023693A CN103023693A CN2012104908280A CN201210490828A CN103023693A CN 103023693 A CN103023693 A CN 103023693A CN 2012104908280 A CN2012104908280 A CN 2012104908280A CN 201210490828 A CN201210490828 A CN 201210490828A CN 103023693 A CN103023693 A CN 103023693A
- Authority
- CN
- China
- Prior art keywords
- server
- user behaviors
- log data
- log
- personalized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种行为日志数据管理***及方法。该***包括至少一台前端业务服务器、中心日志服务器、中心配置服务器和至少一台个性化日志服务器;前端业务服务器用于采集终端的行为日志数据并将采集的行为日志数据存储至中心日志服务器;中心配置服务器用于记录日志数据分发配置文件,行为日志数据分发配置文件包括行为日志数据的标识与个性化日志服务器的标识之间的对应关系;中心日志服务器用于存储行为日志数据,读取中心配置服务器中的行为日志数据分发配置文件,根据行为日志数据分发配置文件和行为日志数据的标识,获取对应的个性化日志服务器的标识,向对应的个性化日志服务器发送行为日志数据。本发明还公开了所述***对应的实现方法。
Description
技术领域
本发明涉及互联网技术领域,尤其涉及一种行为日志数据管理***及方法。
背景技术
在互联网领域中,日志数据可以说是有价值的信息宝库,通过对终端的行为日志数据进行离线分析和实时分析是改善产品和保障服务稳定性的好办法。例如,通过对各种操作***、应用程序、设备和安全产品的日志数据进行分析,能够提前发现和避开灾难,并且找到安全事件的根本原因,从而有效地保护和提高的网络安全。
目前,为了便于对行为日志数据的分析,行为日志数据的管理分为两种方式:一种是分散式管理,另一种是集中式管理。常规的日志分析需求主要采用分散式管理,即终端的行为日志数据分析都分散在各个业务服务器,各个业务服务器分别收集的终端的行为日志数据,并对终端的行为日志数据做离线和实时分析,以提前发现和避开灾难,从而有效地保护和提高的网络安全。而集中式管理中,各个业务服务器只需要将终端的行为日志数据远程打印到中心日志服务器,然后由专门的日志分析服务器来管理和分析终端的行为日志数据,以提前发现和避开灾难,从而有效地保护和提高的网络安全。
在实现本发明的过程中,发明人发现至少存在以下问题:目前的分散式管理行为日志数据技术中,行为日志数据分散存储在各个业务服务器中,各业务服务器分别处理对应的行为日志数据管理和分析工作,该技术方案难于满足需要整合各个不同业务的终端的行为日志数据并做综合统计分析的需求。目前的常规的日志分析需求采用的集中式管理日志数据技术中,所有的行为日志数据集中存储在一个业务服务器中,又难以满足个性化的实时分析日志数据的需求,例如积分***要根据终端的行为日志数据实时的给用户添加积分,而哪些行为要添加积分以及这些终端行为根据什么规则来添加积分也是一个与积分***紧耦合并不断变化的问题。目前的分散式管理行为日志数据技术和集中式管理行为日志数据技术,均无法同时兼顾个性化日志实时分析需求和常规的日志分析需求。
发明内容
本发明实施例提供一种行为日志数据管理***及方法,能够同时兼顾个性化日志实时分析需求和常规的日志分析需求,用于实现分散式管理行为日志数据和集中式管理行为日志数据的同时兼顾。
第一方面,本发明实施例提供一种行为日志数据管理***,所述***包括:至少一台前端业务服务器、中心日志服务器、中心配置服务器和至少一台个性化日志服务器;所述前端业务服务器与所述中心日志服务器连接,所述中心日志服务器分别与所述中心配置服务器和所述个性化日志服务器连接;
所述前端业务服务器,用于采集终端的行为日志数据,并将采集到的所述行为日志数据存储至所述中心日志服务器;
所述中心配置服务器,用于记录日志数据分发配置文件,所述行为日志数据分发配置文件包括所述行为日志数据的标识与所述个性化日志服务器的标识之间的对应关系;
所述中心日志服务器,用于存储所述行为日志数据,读取所述中心配置服务器中记录的所述行为日志数据分发配置文件,并根据所述行为日志数据分发配置文件和存储的所述行为日志数据的标识,获取对应的个性化日志服务器的标识,向所述对应的个性化日志服务器发送所述行为日志数据。
可选地,在上述第一方面的第一实现方式中,所述前端业务服务器,具体用于调用所述中心日志服务器中的客户端软件开发工具包采集并记录所述终端的行为日志数据。
可选地,在上述第一方面的第二实现方式中,所述中心日志服务器,还用于分析所存储的所述行为日志数据,获取网络的安全状态。
可选地,在上述第一方面的第三实现方式中,所述个性化日志服务器,还用于分析所接收的所述行为日志数据,获取所述终端的行为状态。
可选地,在上述第一方面的第四实现方式中,所述行为日志数据的标识包括所述行为日志数据的格式,所述个性化日志服务器的标识包括所述个性化日志服务器的IP和端口中的至少一个。
第二方面,本发明实施例提供一种行为日志数据管理方法,所述方法包括:
前端业务服务器采集终端的行为日志数据,并将采集到的所述行为日志数据存储至中心日志服务器;
所述中心日志服务器读取中心配置服务器中记录的行为日志数据分发配置文件,所述行为日志数据分发配置文件包括所述行为日志数据的标识与分析所述行为日志数据的个性化日志服务器的标识之间的对应关系;
所述中心日志服务器根据所述行为日志数据分发配置文件和存储的所述行为日志数据的标识,获取对应的个性化日志服务器的标识;
所述中心日志服务器根据获取的所述对应的个性化日志服务器的标识,向所述对应的个性化日志服务器发送所述行为日志数据。
可选地,在上述第二方面的第一实现方式中,前端业务服务器采集终端的行为日志数据,并将采集到的所述行为日志数据存储至中心日志服务器,具体包括:
所述前端业务服务器调用所述中心日志服务器中的客户端软件开发工具包采集并记录所述终端的所述行为日志数据。
可选地,在上述第二方面的第二实现方式中,所述前端业务服务器采集终端的行为日志数据,并将采集到的所述行为日志数据存储至中心日志服务器之后,所述方法还包括:所述中心日志服务器分析所存储的所述行为日志数据,获取网络的安全状态。
可选地,在上述第二方面的第三实现方式中,所述中心日志服务器根据获取的所述对应的个性化日志服务器的标识,向所述对应的个性化日志服务器发送所述行为日志数据之后,所述方法还包括:
所述对应的个性化日志服务器分析所接收的所述行为日志数据,获取所述终端的行为状态。
可选地,在上述第二方面的第四实现方式中,所述行为日志数据的标识包括所述行为日志数据的格式,所述个性化日志服务器的标识包括所述个性化日志服务器的IP和端口中的至少一个。
本发明实施例采用的上述技术方案,中心日志服务器中能够存储采集到的所有行为日志数据存储,且能够根据行为日志数据分发配置文件中的行为日志数据的标识与个性化日志服务器的标识之间的对应关系,以及行为日志数据的标识,获取对应的个性化日志服务器的标识,并向对应的个性化日志服务器发送行为日志数据,即也能够在个性化日志服务器中存储个性化分析需求的行为日志数据。因此,本发明实施例的技术方案能够同时兼顾个性化日志实时分析需求和常规的日志分析需求,从而实现分散式管理行为日志数据和集中式管理行为日志数据的同时兼顾。
进一步地,本发明实施例的技术方案中,中心日志服务器还能够分析所存储的行为日志数据,获取网络的安全状态,从而可以提前发现和避开灾难,从而有效地保护和提高的网络安全。
再进一步地,本发明实施例的技术方案中,个性化日志服务器还能够分析所接收的行为日志数据,获取终端的行为状态,从而可以根据终端的行为状态对该终端进行个性化处理,满足个性化分析的需求。例如当该个性化日志服务器可以作为积分***,根据终端的行为日志数据实时的给终端用户添加积分。总之,采用本发明实施例的技术方案,既能进行个性化日志实时分析实现分散式管理行为日志数据,同时又能进行常规的统计日志分析实现集中式管理行为日志数据;克服了相关技术中个性化日志实时分析和常规的日志分析无法同时兼顾的缺陷,从而有效地提高了行为日志数据的处理效率。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例一提供的行为日志数据管理***的结构示意图。
图2为本发明实施例二提供的一种行为日志数据管理***的结构示意图。
图3为本发明实施例三提供的行为日志数据管理方法的流程图。
图4为本发明实施例四提供的行为日志数据管理方法的流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
实施例一
图1为本发明实施例一提供的行为日志数据管理***的结构示意图。如图1所示,本实施例的行为日志数据管理***包括:至少一台前端业务服务器10、中心日志服务器11、中心配置服务器12和至少一台个性化日志服务器13;其中每一个前端业务服务器10与中心日志服务器11连接,中心日志服务器11分别与中心配置服务器12和每一个个性化日志服务器13连接。
本实施例的行为日志数据管理***中,前端业务服务器10采集终端的行为日志数据,并将采集到的行为日志数据存储至中心日志服务器11。在具体实现时,一个前端业务服务器10可以负责采集一组终端的行为日志数据,例如一个前端业务服务器10具体可以负责采集某一确定区域范围的终端的行为日志数据,或者按照其他预设策略设置的一组终端的行为日志数据。
中心配置服务器12用于记录行为日志数据分发配置文件,该行为日志数据分发配置文件包括行为日志数据的标识与个性化日志服务器13的标识之间的对应关系。
中心日志服务器11用于存储前端业务服务器10采集的行为日志数据,并读取中心配置服务器12中记录的行为日志数据分发配置文件,并根据行为日志数据分发配置文件和存储的行为日志数据的标识,获取对应的个性化日志服务器13的标识,向对应的个性化日志服务器13发送行为日志数据。
例如该中心日志服务器11具体根据行为日志数据分发配置文件中的行为日志数据的标识与个性化日志服务器的标识之间的对应关系,和存储的行为日志数据的标识,可以确定该行为日志数据的标识对应的个性化日志服务器,从而将该行为日志数据分发给该对应的个性化日志服务器,以便于该个性化日志服务器后续可以对接收到的行为日志数据进行个性化分析。
本实施例的行为日志数据管理***,通过采用上述技术方案,中心日志服务器中能够存储采集到的所有行为日志数据存储,且能够根据行为日志数据分发配置文件中的行为日志数据的标识与个性化日志服务器13的标识之间的对应关系,以及行为日志数据的标识,获取对应的个性化日志服务器的标识,并向对应的个性化日志服务器发送行为日志数据,即也能够在个性化日志服务器中存储个性化分析需求的行为日志数据。因此,本实施例的技术方案能够同时兼顾个性化日志实时分析需求和常规的日志分析需求,从而实现分散式管理行为日志数据和集中式管理行为日志数据的同时兼顾。
可选地,在上述图1所示实施例的技术方案基础上,其中前端业务服务器10具体用于调用中心日志服务器11中的客户端软件开发工具包(Client-Software Development Kit;Client-SDK)采集并记录终端的行为日志数据。例如SDK可以为中心日志服务器11中的通用程序提供的便于行为日志数据远程打印的工具包,该SDK可以是一些被软件工程师用于为特定的软件包、软件框架、硬件平台、操作***等建立应用软件的开发工具的集合),该Client-SDK中封装有中心日志服务器的标识,如中心日志服务器的IP地址和端口。
这样,当前端业务服务器10中的前端业务程序调用该Client-SDK记录终端的行为日志数据的时候,这些行为日志数据就会记录到中心日志服务器11的日志文件中。这样,所有的终端的行为日志数据就会记录到中心日志服务器11中。进一步可选地,随着数据量的加大,中心日志服务器11也可以发展成集群。且该技术方案实现时,前端业务服务器10中的前端业务程序不用关心行为日志数据的去向。
进一步可选地,在上述图1所示实施例的技术方案基础上,中心日志服务器11还用于分析所存储的行为日志数据,获取网络的安全状态。
具体地,中心日志服务器11可以利用中心日志服务器11中记录的行为日志数据就可以做各种统计分析,来帮忙改善产品。例如可以统计分析存储所有终端的行为日志数据,从而获取当前网络的安全状态,从而可以提前发现和避开灾难,从而有效地保护和提高的网络安全。该技术方案在实现时,中心日志服务器中可以加载有行为日志数据分析的工具。可选地,中心日志服务器11也可以直接将所存储的所有行为日志数据发送给行为日志数据分析设备,以供行为日志数据分析设备进行各种统计分析。本发明实施例中不对统计分析的方式以及分析的结果做限定,详细可以参考相关现有技术,在此不再赘述。
进一步可选地,在上述图1所示实施例的技术方案基础上,个性化日志服务器13还用于分析所接收的行为日志数据,获取终端的行为状态。
例如在上述实施例中,该中心日志服务器11具体根据行为日志数据分发配置文件中的行为日志数据的标识与个性化日志服务器13的标识之间的对应关系,和存储的行为日志数据的标识,可以确定该行为日志数据的标识对应的个性化日志服务器13的标识,并向对应的个性化日志服务器13发送该行为日志数据分,这样,个性化日志服务器13便接收到行为日志数据,从而对行为日志数据进行个性化分析,例如个性化分析可以获取到终端的行为状态,从而可以根据终端的行为状态对该终端进行个性化分析处理,如积分添加、或业务波动报警之类的功能,满足个性化分析的需求。例如当该个性化日志服务器可以作为积分***,根据终端的行为日志数据实时的给终端用户添加积分。而且本实施例的技术方案中,个性化日志服务器分析行为日志数据时只需要专注于个性化分析逻辑本身,不用关心行为日志数据的来源。本发明实施例中亦不对个性化分析的方式以及分析的结果做限定,详细可以参考相关现有技术,在此不再赘述。
进一步可选地,在上述图1所示实施例的技术方案基础上,行为日志数据的标识包括行为日志数据的格式,个性化日志服务器的标识包括个性化日志服务器的IP和端口中的至少一个。或者可选地,行为日志数据的标识还可以包括行为日志数据的名称等,在此不再一一限定。
上述实施例中的统计分析是对中心日志服务器11中存储的所有的行为日志数据进行的分析,而个性化分析是个性化日志服务器13仅对该个性化日志服务器13接收的行为日志数据进行的分析。
上述实施例的技术方案,当有新的个性化日志实时分析需求时,即行为日志数据管理***中增加了个性化日志服务器13时,仅需要更新中心配置服务器12中记录的行为日志数据分发配置文件,在该行为日志数据分发配置文件中增加该个性化日志服务器13的标识与对应的需要分析的行为日志数据的标识之间的对应关系,而不需要修改代码,实施较为方便。
通过采用上述实施例的技术方案,既能进行个性化日志实时分析实现分散式管理行为日志数据,同时又能进行常规的统计日志分析实现集中式管理行为日志数据;克服了相关技术中个性化日志实时分析和常规的日志分析无法同时兼顾的缺陷,从而有效地提高了行为日志数据的处理效率。
实施例二
图2为本发明实施例二提供的一种行为日志数据管理***的结构示意图。如图2所示,本实施例在上述图1所述实施例的基础上详细描述本发明的技术方案。
如图2所示,本实施例以行为日志数据管理***中包括三台前端业务服务器、一台中心日志服务器、一台中心配置服务器和三台个性化日志服务器为例详细描述本发明的技术方案。
如图2所示,本实施例的行为日志数据管理***中的每台前端业务服务器负责采集一个终端组的行为日志数据的采集,。三台前端业务服务器分别于中心日志服务器连接,将采集的行为日志数据存储至中心日志服务器,这样中心日志服务器中存储有所有的终端的日志行为数据。中心日志服务器还可以对存储的所有终端的日志行为数据进行统计分析,例如通过统计分析可以获取当前网络的安全状态,从而可以提前发现和避开灾难,从而有效地保护和提高的网络安全。
进一步地,如图2所示,中心日志服务器还与中心配置服务器连接。其中中心配置服务器中记录有行为日志数据分发配置文件,该行为日志数据分发配置文件包括行为日志数据的标识与个性化日志服务器的标识之间的对应关系。例如本实施例以行为日志数据的标识与个性化日志服务器的标识之间的对应关系为行为日志数据的格式与个性化日志服务器的IP地址之间的对应关系为例介绍本发明的技术方案,实际应用中,行为日志数据的标识与个性化日志服务器的标识之间的对应关系还可以为行为日志数据的格式与个性化日志服务器的端口之间的对应关系,或者还可以为行为日志数据的名称与个性化日志服务器的端口和/或IP地址之间的对应关系等等,在此不再一一赘述。
进一步地,中心日志服务器可以从中心配置服务器中读取日志数据分发配置文件,并根据行为日志数据分发配置文件中的行为日志数据的格式与个性化日志服务器的IP地址之间的对应关系,获取每一个行为日志数据的格式对应的个性化日志服务器的IP地址,然后将该格式的行为日志数据发送给该IP地址对应的个性化日志服务器。因此,个性化日志服务器便接收到该格式对应的所有行为日志数据。并进一步可以对该格式的所有行为日志数据进行个性化分析,例如积分添加、或业务波动报警之类的个性化分析处理。
通过采用本实施例的技术方案,既能进行个性化日志实时分析实现分散式管理行为日志数据,同时又能进行常规的统计日志分析实现集中式管理行为日志数据;克服了相关技术中个性化日志实时分析和常规的日志分析无法同时兼顾的缺陷,从而有效地提高了行为日志数据的处理效率。
实施例三
图3为本发明实施例三提供的行为日志数据管理方法的流程图。如图3所示,本实施例的行为日志数据管理方法,具体可以包括如下步骤:
步骤100:前端业务服务器采集终端的行为日志数据,并将采集到的行为日志数据存储至中心日志服务器。
步骤101:中心日志服务器读取中心配置服务器中记录的行为日志数据分发配置文件。
本实施例的行为日志数据分发配置文件包括行为日志数据的标识与分析行为日志数据的个性化日志服务器的标识之间的对应关系。
步骤102:中心日志服务器根据行为日志数据分发配置文件和存储的行为日志数据的标识,获取对应的个性化日志服务器的标识。
步骤103:中心日志服务器根据获取的对应的个性化日志服务器的标识,向对应的个性化日志服务器发送行为日志数据。
本实施例的行为日志数据管理方法在实现时依赖于上述图1所示实施例的行为日志数据管理***,具体也可以理解为上述图1所示实施例的行为日志数据管理***的控制方法。
本实施例的行为日志数据管理方法,通过采用上述步骤实现行为日志数据的管理,与上述图1所示实施例的行为日志数据管理***的实现行为日志数据的管理的实现机制相同,详细亦可以参考上述图1所示实施例的记载,在此不再赘述。
本实施例的行为日志数据管理方法,通过采用上述技术方案,中心日志服务器中能够存储采集到的所有行为日志数据存储,且能够根据行为日志数据分发配置文件中的行为日志数据的标识与个性化日志服务器的标识之间的对应关系,以及行为日志数据的标识,获取对应的个性化日志服务器的标识,并向对应的个性化日志服务器发送行为日志数据,即也能够在个性化日志服务器中存储个性化分析需求的行为日志数据。因此,本实施例的技术方案能够同时兼顾个性化日志实时分析需求和常规的日志分析需求,从而实现分散式管理行为日志数据和集中式管理行为日志数据的同时兼顾。
进一步可选地,在上述图3所示实施例的基础上,其中步骤100“前端业务服务器采集终端的行为日志数据,并将采集到的行为日志数据存储至中心日志服务器”,具体可以包括:前端业务服务器调用中心日志服务器中的Client-SDK采集并记录终端的行为日志数据。例如SDK可以为中心日志服务器11中的通用程序提供的便于行为日志数据远程打印的工具包,该SDK可以是一些被软件工程师用于为特定的软件包、软件框架、硬件平台、操作***等建立应用软件的开发工具的集合),该Client-SDK中封装有中心日志服务器的标识,如中心日志服务器的ip地址和端口。
这样,当前端业务服务器中的前端业务程序调用该Client-SDK记录终端的行为日志数据的时候,这些行为日志数据就会记录到中心日志服务器的日志文件中。这样,所有的终端的行为日志数据就会记录到中心日志服务器中。进一步可选地,随着数据量的加大,中心日志服务器11也可以发展成集群。且该技术方案实现时,前端业务服务器10中的前端业务程序不用关心行为日志数据的去向。
进一步可选地,在上述图3所示实施例的基础上,其中步骤100“前端业务服务器采集终端的行为日志数据,并将采集到的行为日志数据存储至中心日志服务器”之后,还可以包括:中心日志服务器分析所存储的行为日志数据,获取网络的安全状态,从而可以提前发现和避开灾难,从而有效地保护和提高的网络安全。
进一步可选地,在上述图3所示实施例的基础上,其中步骤103“中心日志服务器根据获取的对应的个性化日志服务器的标识,向对应的个性化日志服务器发送行为日志数据“之后,还可以包括:对应的个性化日志服务器分析所接收的行为日志数据,获取终端的行为状态。
进一步可选地,在上述图3所示实施例的基础上,上述实施例中的行为日志数据的标识包括行为日志数据的格式,个性化日志服务器的标识包括个性化日志服务器的IP和端口中的至少一个。
实施例四
图4为本发明实施例四提供的行为日志数据管理方法的流程图。如图4所示,本实施例的行为日志数据管理方法在上述图3所示实施例的基础上,更加详细的介绍本发明的技术方案。如图4所示,本实施例的行为日志数据管理方法,具体可以包括如下步骤:
步骤200:各前端业务服务器调用中心日志服务器中的Client-SDK采集并记录终端的行为日志数据。
采用该步骤,可以将采集的行为日志数据存储在中心日志服务器中。
步骤201:中心日志服务器分析所存储的行为日志数据,获取网络的安全状态。
该步骤中的分析为统计分析,即中心日志服务器分析所存储的所有行为日志数据,例如可以确定当前网络的安全状态,从而可以提前发现和避开灾难,从而有效地保护和提高的网络安全。且本实施例中中心日志服务器分析所存储的行为日志数据时,并不改变行为日志数据本身,以便于后续步骤的执行。步骤201和后续的步骤202、203、204和205可以没有先后顺序限制。
步骤202:中心日志服务器读取中心配置服务器中记录的行为日志数据分发配置文件。
本实施例中的行为日志数据分发配置文件,包括行为日志数据的标识与分析行为日志数据的个性化日志服务器的标识之间的对应关系。本实施例中以行为日志数据的标识与个性化日志服务器的标识之间的对应关系为行为日志数据的格式与个性化日志服务器的ip地址之间的对应关系为例介绍本发明的技术方案,实际应用中,实际应用中,行为日志数据的标识与个性化日志服务器的标识之间的对应关系还可以为其他的,详细可以参考上述相关实施例的记载,在此不再一一赘述。
步骤203:中心日志服务器根据行为日志数据分发配置文件和存储的行为日志数据的格式,获取对应的个性化日志服务器的ip地址。
步骤204:中心日志服务器根据获取的对应的个性化日志服务器的ip地址,向对应的个性化日志服务器发送行为日志数据。
步骤205:个性化日志服务器分析所接收的所有行为日志数据,获取终端的行为状态。
例如进一步的可以根据终端的行为状态对该终端进行个性化分析处理,如积分添加、或业务波动报警之类的功能,满足个性化分析的需求。
本实施例的行为日志数据管理方法,通过采用上述技术方案,中心日志服务器中能够存储采集到的所有行为日志数据存储,且能够根据行为日志数据分发配置文件中的行为日志数据的标识与个性化日志服务器的标识之间的对应关系,以及行为日志数据的标识,获取对应的个性化日志服务器的标识,并向对应的个性化日志服务器发送行为日志数据,即也能够在个性化日志服务器中存储个性化分析需求的行为日志数据。因此,本实施例的技术方案能够同时兼顾个性化日志实时分析需求和常规的日志分析需求,从而实现分散式管理行为日志数据和集中式管理行为日志数据的同时兼顾。
总之,采用本发明实施例的技术方案,既能进行个性化日志实时分析实现分散式管理行为日志数据,同时又能进行常规的统计日志分析实现集中式管理行为日志数据;克服了相关技术中个性化日志实时分析和常规的日志分析无法同时兼顾的缺陷,从而有效地提高了行为日志数据的处理效率。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种行为日志数据管理***,其特征在于,所述***包括:至少一台前端业务服务器、中心日志服务器、中心配置服务器和至少一台个性化日志服务器;所述前端业务服务器与所述中心日志服务器连接,所述中心日志服务器分别与所述中心配置服务器和所述个性化日志服务器连接;
所述前端业务服务器,用于采集终端的行为日志数据,并将采集到的所述行为日志数据存储至所述中心日志服务器;
所述中心配置服务器,用于记录行为日志数据分发配置文件,所述行为日志数据分发配置文件包括所述行为日志数据的标识与所述个性化日志服务器的标识之间的对应关系;
所述中心日志服务器,用于存储所述行为日志数据,读取所述中心配置服务器中记录的所述行为日志数据分发配置文件,并根据所述行为日志数据分发配置文件和存储的所述行为日志数据的标识,获取对应的个性化日志服务器的标识,向所述对应的个性化日志服务器发送所述行为日志数据。
2.如权利要求1所述的***,其特征在于,所述前端业务服务器,具体用于调用所述中心日志服务器中的客户端软件开发工具包采集并记录所述终端的行为日志数据。
3.如权利要求1所述的***,其特征在于,所述中心日志服务器,还用于分析所存储的所述行为日志数据,获取网络的安全状态。
4.如权利要求1所述的***,其特征在于,所述个性化日志服务器,还用于分析所接收的所述行为日志数据,获取所述终端的行为状态。
5.如权利要求1-4任一所述的***,其特征在于,所述行为日志数据的标识包括所述行为日志数据的格式,所述个性化日志服务器的标识包括所述个性化日志服务器的IP和端口中的至少一个。
6.一种行为日志数据管理方法,其特征在于,所述方法包括:
通过前端业务服务器采集终端的行为日志数据,并将采集到的所述行为日志数据存储至中心日志服务器;
通过所述中心日志服务器读取中心配置服务器中记录的行为日志数据分发配置文件,所述行为日志数据分发配置文件包括所述行为日志数据的标识与分析所述行为日志数据的个性化日志服务器的标识之间的对应关系;
所述中心日志服务器根据所述行为日志数据分发配置文件和存储的所述行为日志数据的标识,获取对应的个性化日志服务器的标识;
所述中心日志服务器根据获取的所述对应的个性化日志服务器的标识,向所述对应的个性化日志服务器发送所述行为日志数据。
7.如权利要求6所述的方法,其特征在于,通过前端业务服务器采集终端的行为日志数据,并将采集到的所述行为日志数据存储至中心日志服务器,具体包括:
通过所述前端业务服务器调用所述中心日志服务器中的客户端软件开发工具包采集并记录所述终端的所述行为日志数据。
8.如权利要求6所述的方法,其特征在于,所述通过前端业务服务器采集终端的行为日志数据,并将采集到的所述行为日志数据存储至中心日志服务器之后,所述方法还包括:所述中心日志服务器分析所存储的所述行为日志数据,获取网络的安全状态。
9.如权利要求6所述的方法,其特征在于,所述中心日志服务器根据获取的所述对应的个性化日志服务器的标识,向所述对应的个性化日志服务器发送所述行为日志数据之后,所述方法还包括:
所述对应的个性化日志服务器分析所接收的所述行为日志数据,获取所述终端的行为状态。
10.如权利要求6-9任一所述的方法,其特征在于,所述行为日志数据的标识包括所述行为日志数据的格式,所述个性化日志服务器的标识包括所述个性化日志服务器的IP和端口中的至少一个。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210490828.0A CN103023693B (zh) | 2012-11-27 | 2012-11-27 | 一种行为日志数据管理***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210490828.0A CN103023693B (zh) | 2012-11-27 | 2012-11-27 | 一种行为日志数据管理***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103023693A true CN103023693A (zh) | 2013-04-03 |
CN103023693B CN103023693B (zh) | 2015-12-23 |
Family
ID=47971847
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210490828.0A Active CN103023693B (zh) | 2012-11-27 | 2012-11-27 | 一种行为日志数据管理***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103023693B (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104869022A (zh) * | 2015-05-27 | 2015-08-26 | 北京京东尚科信息技术有限公司 | 一种日志采集方法及*** |
CN105871574A (zh) * | 2015-01-21 | 2016-08-17 | ***通信集团浙江有限公司 | 一种基于软件开发工具包监控日志的方法、装置及*** |
CN106649744A (zh) * | 2016-12-26 | 2017-05-10 | 金蝶软件(中国)有限公司 | 日志记录方法及装置 |
CN106936652A (zh) * | 2015-12-29 | 2017-07-07 | 北京喜乐航科技股份有限公司 | 多终端设备的数据传输方法、装置及*** |
CN107306416A (zh) * | 2016-04-25 | 2017-10-31 | ***通信集团云南有限公司 | 业务日志的记录方法与装置 |
CN107918621A (zh) * | 2016-10-10 | 2018-04-17 | 阿里巴巴集团控股有限公司 | 日志数据处理方法、装置及业务*** |
CN110083509A (zh) * | 2019-04-30 | 2019-08-02 | 新华三信息安全技术有限公司 | 一种日志数据的规整方法及装置 |
CN111224807A (zh) * | 2018-11-27 | 2020-06-02 | ***通信集团江西有限公司 | 分布式日志处理方法、装置、设备及计算机存储介质 |
CN111309552A (zh) * | 2020-02-13 | 2020-06-19 | 北京中数智汇科技股份有限公司 | 业务日志采集***和方法 |
CN111949472A (zh) * | 2019-05-17 | 2020-11-17 | 北京京东尚科信息技术有限公司 | 一种记录应用日志的方法及装置 |
CN113010398A (zh) * | 2021-03-18 | 2021-06-22 | 建信金融科技有限责任公司 | 一种业务日志模型、业务执行方法、装置、电子设备和介质 |
CN113094348A (zh) * | 2021-03-19 | 2021-07-09 | 北京达佳互联信息技术有限公司 | 日志管理方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020184366A1 (en) * | 2001-06-04 | 2002-12-05 | Sony Computer Entertainment Inc. | Log collecting/analyzing system with separated functions of collecting log information and analyzing the same |
EP1445711A2 (en) * | 2003-02-04 | 2004-08-11 | Microsoft Corporation | Systems and methods for constructing and using models of memorability in computing and communications applications |
CN101753971A (zh) * | 2008-12-22 | 2010-06-23 | 中兴通讯股份有限公司 | 一种统一视讯管理平台中内容管理***中的日志***及日志记录方法 |
CN101958837A (zh) * | 2010-09-30 | 2011-01-26 | 北京世纪互联工程技术服务有限公司 | 日志处理***、日志处理方法、节点服务器和中心服务器 |
CN102624562A (zh) * | 2012-03-13 | 2012-08-01 | 网经科技(苏州)有限公司 | 网络管理***中分布式syslog日志的安全管理方法 |
CN202364244U (zh) * | 2011-12-15 | 2012-08-01 | 苏州同程旅游网络科技有限公司 | 分布式日志分析***处理装置 |
-
2012
- 2012-11-27 CN CN201210490828.0A patent/CN103023693B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020184366A1 (en) * | 2001-06-04 | 2002-12-05 | Sony Computer Entertainment Inc. | Log collecting/analyzing system with separated functions of collecting log information and analyzing the same |
EP1445711A2 (en) * | 2003-02-04 | 2004-08-11 | Microsoft Corporation | Systems and methods for constructing and using models of memorability in computing and communications applications |
CN101753971A (zh) * | 2008-12-22 | 2010-06-23 | 中兴通讯股份有限公司 | 一种统一视讯管理平台中内容管理***中的日志***及日志记录方法 |
CN101958837A (zh) * | 2010-09-30 | 2011-01-26 | 北京世纪互联工程技术服务有限公司 | 日志处理***、日志处理方法、节点服务器和中心服务器 |
CN202364244U (zh) * | 2011-12-15 | 2012-08-01 | 苏州同程旅游网络科技有限公司 | 分布式日志分析***处理装置 |
CN102624562A (zh) * | 2012-03-13 | 2012-08-01 | 网经科技(苏州)有限公司 | 网络管理***中分布式syslog日志的安全管理方法 |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105871574A (zh) * | 2015-01-21 | 2016-08-17 | ***通信集团浙江有限公司 | 一种基于软件开发工具包监控日志的方法、装置及*** |
CN105871574B (zh) * | 2015-01-21 | 2019-02-26 | ***通信集团浙江有限公司 | 一种基于软件开发工具包监控日志的方法、装置及*** |
CN104869022B (zh) * | 2015-05-27 | 2019-01-11 | 北京京东尚科信息技术有限公司 | 一种日志采集方法及*** |
CN104869022A (zh) * | 2015-05-27 | 2015-08-26 | 北京京东尚科信息技术有限公司 | 一种日志采集方法及*** |
CN106936652A (zh) * | 2015-12-29 | 2017-07-07 | 北京喜乐航科技股份有限公司 | 多终端设备的数据传输方法、装置及*** |
CN107306416A (zh) * | 2016-04-25 | 2017-10-31 | ***通信集团云南有限公司 | 业务日志的记录方法与装置 |
CN107918621A (zh) * | 2016-10-10 | 2018-04-17 | 阿里巴巴集团控股有限公司 | 日志数据处理方法、装置及业务*** |
CN106649744A (zh) * | 2016-12-26 | 2017-05-10 | 金蝶软件(中国)有限公司 | 日志记录方法及装置 |
CN106649744B (zh) * | 2016-12-26 | 2019-11-05 | 金蝶软件(中国)有限公司 | 日志记录方法及装置 |
CN111224807B (zh) * | 2018-11-27 | 2023-08-01 | ***通信集团江西有限公司 | 分布式日志处理方法、装置、设备及计算机存储介质 |
CN111224807A (zh) * | 2018-11-27 | 2020-06-02 | ***通信集团江西有限公司 | 分布式日志处理方法、装置、设备及计算机存储介质 |
CN110083509A (zh) * | 2019-04-30 | 2019-08-02 | 新华三信息安全技术有限公司 | 一种日志数据的规整方法及装置 |
CN110083509B (zh) * | 2019-04-30 | 2022-09-20 | 新华三信息安全技术有限公司 | 一种日志数据的规整方法及装置 |
CN111949472A (zh) * | 2019-05-17 | 2020-11-17 | 北京京东尚科信息技术有限公司 | 一种记录应用日志的方法及装置 |
CN111309552A (zh) * | 2020-02-13 | 2020-06-19 | 北京中数智汇科技股份有限公司 | 业务日志采集***和方法 |
CN113010398A (zh) * | 2021-03-18 | 2021-06-22 | 建信金融科技有限责任公司 | 一种业务日志模型、业务执行方法、装置、电子设备和介质 |
CN113094348A (zh) * | 2021-03-19 | 2021-07-09 | 北京达佳互联信息技术有限公司 | 日志管理方法及装置 |
CN113094348B (zh) * | 2021-03-19 | 2024-02-23 | 北京达佳互联信息技术有限公司 | 日志管理方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN103023693B (zh) | 2015-12-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103023693A (zh) | 一种行为日志数据管理***及方法 | |
CN102902752B (zh) | 一种日志监控方法及*** | |
CN105242882B (zh) | 时序数据的帧存储方法及装置、时序数据查询方法及装置 | |
CN110247811A (zh) | 一种物联网设备的告警方法及相关装置 | |
CN107678933A (zh) | 日志生成管理方法、装置、设备及计算机可读存储介质 | |
CN110232010A (zh) | 一种告警方法、告警服务器及监控服务器 | |
CN109271793B (zh) | 物联网云平台设备类别识别方法及*** | |
CN105512283A (zh) | 数据质量管理控制方法及装置 | |
CN102750326A (zh) | 一种基于精简策略的集群***的日志管理优化方法 | |
CN111737023B (zh) | 一种车载事件处理方法、云服务器及计算机可读存储介质 | |
CN108132868A (zh) | 一种数据监控方法、装置、计算设备及存储介质 | |
CN111400127B (zh) | 业务日志的监控方法及装置、存储介质、计算机设备 | |
CN1859505B (zh) | 话单查询***及查询方法 | |
CN110381151A (zh) | 一种异常设备检测方法及装置 | |
CN113157659A (zh) | 一种日志处理方法和装置 | |
CN106815089A (zh) | 基于日志的故障排查方法及装置 | |
CN106446289B (zh) | 基于Pinpoint的信息查询方法和装置 | |
CN104007942A (zh) | 日志的打印控制方法和打印控制装置 | |
CN103581317A (zh) | 一种网络资源共享的方法 | |
CN108255659A (zh) | 一种应用程序性能监控方法及其*** | |
CN104349339A (zh) | 移动智能终端Wi-Fi信号数据包的收集装置、方法及*** | |
CN116109322A (zh) | 数据采集方法、数据采集设备以及计算机可读存储介质 | |
CN109587265A (zh) | 一种消息推送方法、装置、设备及可读存储介质 | |
CN110187829A (zh) | 一种数据处理方法、装置、***及电子设备 | |
CN113010385B (zh) | 一种任务状态更新方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C53 | Correction of patent for invention or patent application | ||
CB02 | Change of applicant information |
Address after: 100085 Beijing city Haidian District Qinghe Street No. 68 Huarun colorful city shopping center two floor 13 Applicant after: Xiaomi Technology Co., Ltd. Address before: 100102, No. 50, block B, building No. 12, winding stone world building, Wangjing West Road, Beijing, Chaoyang District Applicant before: Beijing Xiaomi Technology Co., Ltd. |
|
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |