CN106202219A - 一种网络监控日志的更新方法 - Google Patents

一种网络监控日志的更新方法 Download PDF

Info

Publication number
CN106202219A
CN106202219A CN201610490609.0A CN201610490609A CN106202219A CN 106202219 A CN106202219 A CN 106202219A CN 201610490609 A CN201610490609 A CN 201610490609A CN 106202219 A CN106202219 A CN 106202219A
Authority
CN
China
Prior art keywords
data
daily record
network monitoring
value
monitoring daily
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201610490609.0A
Other languages
English (en)
Inventor
陈中伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Ke Cheng Information Technology Co Ltd
Original Assignee
Anhui Ke Cheng Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Ke Cheng Information Technology Co Ltd filed Critical Anhui Ke Cheng Information Technology Co Ltd
Priority to CN201610490609.0A priority Critical patent/CN106202219A/zh
Publication of CN106202219A publication Critical patent/CN106202219A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G06F11/3079—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting the data filtering being achieved by reporting only the changes of the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)
  • Debugging And Monitoring (AREA)

Abstract

一种网络监控日志的更新方法，建立对应关系表，所述对应关系表存储有key值、数据表、数据库、API日志的对应关系，每一数据库包含多张数据表，每一数据表中记录有和key值对应的value值，本发明的有益效果是：本发明的网络监控日志的更新方法通过分布式计算，可以将日志相关的信息以统一且易于检索查询的方式丰富到海量的网络监控日志当中，保证了信息的实时性和有效性，有利于信息的高效检索及查询。

Description

一种网络监控日志的更新方法
技术领域
本发明涉及网络监控日志，尤其是涉及一种网络监控日志的更新方法。
背景技术
随着企业规模的不断扩大、网络带宽的不断增加，相应的网络监控的日志的数量也在不断的增加，网络监控的难度和工作量也随之增大。例如，当发现问题时我们需要知道日志中的ip地址对应的是哪个员工，访问的ip地址是一个什么类型的地址，或者访问的域名是否安全等等，而在现有条件下只能通过查找不同的数据库进行人工关联才能知道以上信息，这显然效率很低。
发明内容
本发明是为克服现有技术的不足而提供的一种网络监控日志的更新方法。
本发明采用的技术方案是：一种网络监控日志的更新方法，其特征在于，建立对应关系表，所述对应关系表存储有key值、数据表、数据库、API日志的对应关系，每一数据库包含多张数据表，每一数据表中记录有和key值对应的value值，所述更新方法还包括以下步骤：S1、获取网络监控日志并进行更新，将所述网络监控日志以发送到消息处理***；S2、消息处理***的每个节点获取所述网络监控日志；S3、遍历获取所述网络监控日志的数据中的key值和value值；S4、根据S3中获取的每一key值从所述对应关系表中查找相应的数据库以及数据表；S5、生成可信文件列表：包括以下步骤：获得***磁盘中每个***文件的唯一标识；将所述标识记录在一动态库文件中；根据所述动态库文件，生成一可信文件列表。在相应的数据表中以所述S3步骤中获取的value值作为检索条件查找获取相应的数据将查找到的数据内容以key-value为名称重新封装成json格式的数据，将封装后的数据与所述网络监控日志的原始数据组合。
作为本发明的进一步改进，将组合后的数据存储到一网络日志信息检索***中。
作为本发明的进一步改进，从所述动态库文件的每个***文件的Hash值形成的序列中，形成所述可信文件列表。
作为本发明的进一步改进，所述动态库可动态申请多个所述***文件的Hash值。
本发明的有益效果是：本发明的网络监控日志的更新方法通过分布式计算，可以将日志相关的信息以统一且易于检索查询的方式丰富到海量的网络监控日志当中，保证了信息的实时性和有效性，有利于信息的高效检索及查询。
附图说明
图1为本发明的流程框图
具体实施方式
下面结合附图，对本发明做进一步的说明。
如图1所示,实施例1：本发明采用的技术方案是：一种网络监控日志的更新方法，其特征在于，建立对应关系表，所述对应关系表存储有key值、数据表、数据库、API日志的对应关系，每一数据库包含多张数据表，每一数据表中记录有和key值对应的value值，所述更新方法还包括以下步骤：S1、获取网络监控日志并进行更新，将所述网络监控日志以发送到消息处理***；S2、消息处理***的每个节点获取所述网络监控日志；S3、遍历获取所述网络监控日志的数据中的key值和value值；S4、根据S3中获取的每一key值从所述对应关系表中查找相应的数据库以及数据表；S5、生成可信文件列表：包括以下步骤：获得***磁盘中每个***文件的唯一标识；将所述标识记录在一动态库文件中；根据所述动态库文件，生成一可信文件列表。
实施例2：本发明采用的技术方案是：一种网络监控日志的更新方法，其特征在于，建立对应关系表，所述对应关系表存储有key值、数据表、数据库、API日志的对应关系，每一数据库包含多张数据表，每一数据表中记录有和key值对应的value值，所述更新方法还包括以下步骤：S1、获取网络监控日志并进行更新，将所述网络监控日志以发送到消息处理***；S2、消息处理***的每个节点获取所述网络监控日志；S3、遍历获取所述网络监控日志的数据中的key值和value值；S4、根据S3中获取的每一key值从所述对应关系表中查找相应的数据库以及数据表；S5、生成可信文件列表：包括以下步骤：获得***磁盘中每个***文件的唯一标识；将所述标识记录在一动态库文件中；根据所述动态库文件，生成一可信文件列表。在相应的数据表中以所述S3步骤中获取的value值作为检索条件查找获取相应的数据。
实施例3：本发明采用的技术方案是：一种网络监控日志的更新方法，其特征在于，建立对应关系表，所述对应关系表存储有key值、数据表、数据库、API日志的对应关系，每一数据库包含多张数据表，每一数据表中记录有和key值对应的value值，所述更新方法还包括以下步骤：S1、获取网络监控日志并进行更新，将所述网络监控日志以发送到消息处理***；S2、消息处理***的每个节点获取所述网络监控日志；S3、遍历获取所述网络监控日志的数据中的key值和value值；S4、根据S3中获取的每一key值从所述对应关系表中查找相应的数据库以及数据表；S5、生成可信文件列表：包括以下步骤：获得***磁盘中每个***文件的唯一标识；将所述标识记录在一动态库文件中；根据所述动态库文件，生成一可信文件列表。将查找到的数据内容以key-value为名称重新封装成json格式的数据，将封装后的数据与所述网络监控日志的原始数据组合。
实施例4：本发明采用的技术方案是：一种网络监控日志的更新方法，其特征在于，建立对应关系表，所述对应关系表存储有key值、数据表、数据库、API日志的对应关系，每一数据库包含多张数据表，每一数据表中记录有和key值对应的value值，所述更新方法还包括以下步骤：S1、获取网络监控日志并进行更新，将所述网络监控日志以发送到消息处理***；S2、消息处理***的每个节点获取所述网络监控日志；S3、遍历获取所述网络监控日志的数据中的key值和value值；S4、根据S3中获取的每一key值从所述对应关系表中查找相应的数据库以及数据表；S5、生成可信文件列表：包括以下步骤：获得***磁盘中每个***文件的唯一标识；将所述标识记录在一动态库文件中；根据所述动态库文件，生成一可信文件列表。将组合后的数据存储到一网络日志信息检索***中。
实施例5：本发明采用的技术方案是：一种网络监控日志的更新方法，其特征在于，建立对应关系表，所述对应关系表存储有key值、数据表、数据库、API日志的对应关系，每一数据库包含多张数据表，每一数据表中记录有和key值对应的value值，所述更新方法还包括以下步骤：S1、获取网络监控日志并进行更新，将所述网络监控日志以发送到消息处理***；S2、消息处理***的每个节点获取所述网络监控日志；S3、遍历获取所述网络监控日志的数据中的key值和value值；S4、根据S3中获取的每一key值从所述对应关系表中查找相应的数据库以及数据表；S5、生成可信文件列表：包括以下步骤：获得***磁盘中每个***文件的唯一标识；将所述标识记录在一动态库文件中；根据所述动态库文件，生成一可信文件列表。从所述动态库文件的每个***文件的Hash值形成的序列中，，形成所述可信文件列表。
实施例6：本发明采用的技术方案是：一种网络监控日志的更新方法，其特征在于，建立对应关系表，所述对应关系表存储有key值、数据表、数据库、API日志的对应关系，每一数据库包含多张数据表，每一数据表中记录有和key值对应的value值，所述更新方法还包括以下步骤：S1、获取网络监控日志并进行更新，将所述网络监控日志以发送到消息处理***；S2、消息处理***的每个节点获取所述网络监控日志；S3、遍历获取所述网络监控日志的数据中的key值和value值；S4、根据S3中获取的每一key值从所述对应关系表中查找相应的数据库以及数据表；S5、生成可信文件列表：包括以下步骤：获得***磁盘中每个***文件的唯一标识；将所述标识记录在一动态库文件中；根据所述动态库文件，生成一可信文件列表。所述动态库可动态申请多个所述***文件的Hash值。
本领域技术人员应当知晓，本发明的保护方案不仅限于上述的实施例，还可以在上述实施例的基础上进行各种排列组合与变换，在不违背本发明精神的前提下，对本发明进行的各种变换均落在本发明的保护范围内。

Claims (4)

1.一种网络监控日志的更新方法，其特征在于，建立对应关系表，所述对应关系表存储有key值、数据表、数据库、API日志的对应关系，每一数据库包含多张数据表，每一数据表中记录有和key值对应的value值，所述更新方法还包括以下步骤：S1、获取网络监控日志并进行更新，将所述网络监控日志以发送到消息处理***；S2、消息处理***的每个节点获取所述网络监控日志；S3、遍历获取所述网络监控日志的数据中的key值和value值；S4、根据S3中获取的每一key值从所述对应关系表中查找相应的数据库以及数据表；S5、生成可信文件列表：包括以下步骤：获得***磁盘中每个***文件的唯一标识；将所述标识记录在一动态库文件中；根据所述动态库文件，生成一可信文件列表；在相应的数据表中以所述S3步骤中获取的value值作为检索条件查找获取相应的数据；将查找到的数据内容以key-value为名称重新封装成json格式的数据，将封装后的数据与所述网络监控日志的原始数据组合。
2.根据权利要求1所述的网络监控日志的更新方法，其特征在于，将组合后的数据存储到一网络日志信息检索***中。
3.根据权利要求1所述的网络监控日志的更新方法，其特征在于，从所述动态库文件的每个***文件的Hash值形成的序列中，，形成所述可信文件列表。
4.根据权利要求1所述的网络监控日志的更新方法，其特征在于，所述动态库可动态申请多个所述***文件的Hash值。
CN201610490609.0A 2016-06-27 2016-06-27 一种网络监控日志的更新方法 Withdrawn CN106202219A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610490609.0A CN106202219A (zh) 2016-06-27 2016-06-27 一种网络监控日志的更新方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610490609.0A CN106202219A (zh) 2016-06-27 2016-06-27 一种网络监控日志的更新方法

Publications (1)

Publication Number Publication Date
CN106202219A true CN106202219A (zh) 2016-12-07

Family

ID=57462279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610490609.0A Withdrawn CN106202219A (zh) 2016-06-27 2016-06-27 一种网络监控日志的更新方法

Country Status (1)

Country Link
CN (1) CN106202219A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399175A (zh) * 2017-02-07 2018-08-14 阿里巴巴集团控股有限公司 一种数据存储、查询方法及其装置
CN108459939A (zh) * 2018-01-08 2018-08-28 平安科技（深圳）有限公司 一种日志收集方法、装置、终端设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100318527A1 (en) * 2009-05-26 2010-12-16 Sagnik Nandy Dynamically generating aggregate tables
CN102930207A (zh) * 2012-04-27 2013-02-13 北京金山安全软件有限公司 一种api日志监控方法及装置
CN103379140A (zh) * 2012-04-17 2013-10-30 ***通信集团公司 一种日志处理规则同步方法及相关设备和***
CN104965935A (zh) * 2015-08-06 2015-10-07 携程计算机技术（上海）有限公司 网络监控日志的更新方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100318527A1 (en) * 2009-05-26 2010-12-16 Sagnik Nandy Dynamically generating aggregate tables
CN103379140A (zh) * 2012-04-17 2013-10-30 ***通信集团公司 一种日志处理规则同步方法及相关设备和***
CN102930207A (zh) * 2012-04-27 2013-02-13 北京金山安全软件有限公司 一种api日志监控方法及装置
CN104965935A (zh) * 2015-08-06 2015-10-07 携程计算机技术（上海）有限公司 网络监控日志的更新方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399175A (zh) * 2017-02-07 2018-08-14 阿里巴巴集团控股有限公司 一种数据存储、查询方法及其装置
CN108399175B (zh) * 2017-02-07 2022-04-12 阿里巴巴集团控股有限公司 一种数据存储、查询方法及其装置
CN108459939A (zh) * 2018-01-08 2018-08-28 平安科技（深圳）有限公司 一种日志收集方法、装置、终端设备及存储介质
CN108459939B (zh) * 2018-01-08 2020-06-23 平安科技（深圳）有限公司 一种日志收集方法、装置、终端设备及存储介质

Similar Documents

Publication Publication Date Title
CN103488704B (zh) 一种数据存储方法及装置
IL273860A (en) Event context management system
CN102799628B (zh) 在key-value数据库中进行数据分区的方法和装置
CN104965935B (zh) 网络监控日志的更新方法
WO2017184526A3 (en) Template-compatible encoding for content chunk aggregation and mapping
WO2020035090A3 (en) Lightweight decentralized application platform
CN105072196B (zh) 分布式数据包存储、回溯方法及***
CN103761102B (zh) 一种统一数据服务平台及其实现方法
CN103294785B (zh) 一种基于分组的元数据服务器集群管理方法
EP3794487A1 (en) Obfuscation and deletion of personal data in a loosely-coupled distributed system
US20170249218A1 (en) Data to be backed up in a backup system
CN104216962A (zh) 一种基于HBase的海量网管数据索引设计方法
CN106790749A (zh) 一种基于hosts更新优化域名解析速度的方法
CN107153644A (zh) 一种数据同步方法及装置
CN104462161A (zh) 基于分布式数据库的结构化数据查询方法
CN108337100B (zh) 一种云平台监测的方法和装置
CN108322393B (zh) 路由链路管理方法和***、虚拟路由网关和宿主机网关
CN110427364A (zh) 一种数据处理方法、装置、电子设备及存储介质
WO2014149671A3 (en) Gateway system and process for ip enabled devices
CN106202219A (zh) 一种网络监控日志的更新方法
CN104598652B (zh) 一种数据库查询方法及装置
CN107169003B (zh) 一种数据关联方法及装置
US20210279240A1 (en) Efficient storage method for time series data
CN106126671A (zh) 一种网络日志的更新方法
Schales et al. FCCE: highly scalable distributed feature collection and correlation engine for low latency big data analytics

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20161207