CN100518076C - 日志统计方法和*** - Google Patents
日志统计方法和*** Download PDFInfo
- Publication number
- CN100518076C CN100518076C CNB2004100002060A CN200410000206A CN100518076C CN 100518076 C CN100518076 C CN 100518076C CN B2004100002060 A CNB2004100002060 A CN B2004100002060A CN 200410000206 A CN200410000206 A CN 200410000206A CN 100518076 C CN100518076 C CN 100518076C
- Authority
- CN
- China
- Prior art keywords
- log
- statistics
- daily record
- statistic
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 27
- 238000009826 distribution Methods 0.000 claims description 20
- 238000012217 deletion Methods 0.000 claims description 4
- 230000037430 deletion Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 abstract description 5
- 238000007619 statistical method Methods 0.000 abstract 1
- 230000002354 daily effect Effects 0.000 description 105
- 230000009545 invasion Effects 0.000 description 68
- 241001269238 Data Species 0.000 description 6
- 238000004321 preservation Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 241000700605 Viruses Species 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 102100036255 Glucose-6-phosphatase 2 Human genes 0.000 description 2
- 101000930907 Homo sapiens Glucose-6-phosphatase 2 Proteins 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000012884 algebraic function Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- JLYXXMFPNIAWKQ-UHFFFAOYSA-N γ Benzene hexachloride Chemical compound ClC1C(Cl)C(Cl)C(Cl)C(Cl)C1Cl JLYXXMFPNIAWKQ-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Debugging And Monitoring (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种日志统计方法，包括日志收集和解析步骤、日志保存步骤、定期生成中间结果步骤和生成统计结果步骤；具体是从设备收集日志，将收到的设备发出的原始日志解析为能够被日志统计***所识别的日志；收集日志的统计维度数据并保存到字典表中，将日志作为记录添加到日志表中；将日志按照时间以及统计维度数据划分集合，对所述集合计算中间结果并将结果保存到中间表；确定统计条件并从中间表计算出统计结果。本发明可以应用于信息安全领域，能够加快日志的统计速度、降低对日志统计维度数据维护的复杂性。
Description
技术领域
本发明涉及计算机信息安全领域，特别是涉及一种对日志数据的处理方法和***。
背景技术
随着信息技术的发展，数据量迅速增长，数据的积累也越来越大。在进行数据的传输、交换和处理时，安全性是一个重要的考虑因素，为此，许多与信息处理相关的设备(如防火墙、入侵监测***、路由器和服务器等)都会产生日志，其中记录了设备上和网络中每天发生的各种各样的事情，可以通过对日志的查询和统计来了解各个设备和整个网络的状况。
如果日志量相对较少(几百条或更少)，有经验的管理员可以通过逐条阅读，发现其中的异常，查找到所关心的事件日志并统计出数据。但是，由于在信息安全领域，为数众多的前述设备每天、甚至每时每刻都在产生日志，日志的数量已经达到每天几万条、甚至上百万条记录，这样的数量已经超出了管理员能处理的范围，管理员通过逐条阅读和处理已经无法在限定的时间内处理完这些日志了。而从这些日志中统计出的宏观数据，如：流量、非授权访问次数和入侵攻击次数等等，对于管理员了解整个网络的状况，发现问题是非常重要的。因此在审计***中实现日志数据的统计功能是非常必要的。
日志的统计结果通常都是分布的(Distributive)或代数的(Algebraic)。所谓统计结果是分布的，是指其可以通过如下分布方式进行统计得到：将需要统计的日志数据划分为多个日志数据部分，在每一部分上都可以利用运算函数获得一个统计结果，而所有日志数据的统计结果可以通过两种途径实现：使用运算函数对所有日志数据进行统计或者将每一部分日志数据用同样的运算函数进行计算，获得的统计结果是相同的。所谓统计结果是代数的，是指其能够通过一个具有多个参数的代数函数进行计算，而每个参数都是一个分布的统计结果。例如，流量、非授权访问次数和被入侵攻击次数等日志数据的统计结果就属于分布的，可以通过将日志分成多个部分来分别统计，然后再对各个统计结果进行统计，获得的结果与对所有日志同时进行统计的结果相同；而某个用户访问的流量占总流量的百分比的统计结果则属于代数的，不能像分布的统计结果那样对各部分日志分别统计再在此结果的基础上进行统计，只能通过对全部日志数据的两个分布的参数计算得到。
在对日志进行统计时，需要根据统计维度数据统计出在各个不同统计条件下的统计结果，不同的日志，有不同的统计维度。例如，对入侵攻击事件的报警日志进行统计时，统计的结果可以是入侵攻击的次数，统计维度包括时间范围、入侵攻击名等，统计维度可能的取值称之为统计维度数据，可以根据这些维度数据统计出在各个不同统计条件(如时间范围、入侵攻击名等)下的统计结果。统计维度数据包括两种：第一种是供用户输入的，例如时间；第二种是供用户从列表中选择的，例如入侵攻击名。第二种统计维度数据可以进一步分为两类：一类是稳定的，在***运行期间不会变化的，例如网络协议，这类统计维度数据的处理方法比较简单；另一类是不断变化的，例如用户名、病毒名和入侵攻击名等等，由于各个设备在使用的时候存在用户的增删、病毒特征库及入侵攻击特征库的升级，这些统计维度数据是不断变化的，可以称之为动态统计维度数据，现有技术由于直接对日志表进行处理，从日志表直接进行统计计算，使得对动态统计维度数据的处理较为复杂且审计***的运算速度较低。
同时，随着网络的发展，以及大量的服务器采用DNS轮循来实现负载均衡，使得通常无法简单地从单一设备的日志全面地了解情况。所谓DNS轮循是指使用多个同样角色的服务器进行前台的服务，方便了服务的分布规划和扩展性，但多个服务器的分布使得日志的统计变得更为复杂。现有技术使用webalizer等日志分析工具对每台机器分别做日志统计，再进行复杂的数据汇总，将较大地影响审计***的运算效率和对属于代数的日志统计结果的计算。因此，对多种设备的日志进行集中收集处理变得越来越重要，而这会造成需要统计的日志量急剧增加，使得管理员将花费大量的时间进行统计操作，而且在审计***中维护与各个设备完全相同的动态统计维度数据列表是非常困难的，将增加审计***的复杂性并影响其运算速度。因此解决如何加快对海量日志统计的速度问题变得越来越迫切。
发明内容
由于现有技术统计日志数据时运算速度较低且对动态统计维度数据的维护较为困难，本发明解决的技术问题在于提供一种日志统计方法和***，可以加快日志的统计速度，同时降低对日志统计维度数据维护的复杂性。
为此，本发明解决技术问题的技术方案是：提供一种日志统计方法，包括：
日志收集和解析步骤，从设备收集日志，将收到的设备发出的原始日志解析为能够被日志统计***所识别的日志；
日志保存步骤，收集日志的统计维度数据并保存到字典表中，将日志作为记录添加到日志表中；
定期生成中间结果步骤，将日志按照时间以及统计维度数据划分集合，对所述集合计算分布的统计结果和代数的统计结果的分布的参数并将结果保存到中间表；
生成统计结果步骤，确定统计条件并从中间表计算出统计结果。
本发明进一步的改进在于：所述日志保存步骤包括建立日志表的外键与字典表主键的对应。
其中，所述定期生成中间结果步骤包括确定最小时间段以及开始时间和结束时间。
其中，所述定期生成中间结果步骤包括删除在开始时间和结束时间之间已有的中间结果，用于存入新的中间结果。
其中，所述中间结果包括分布的统计结果和代数的统计结果的各个分布的参数。
其中，所述生成统计结果步骤中采用SQL语句处理中间表。
本发明还提供一种日志统计***，包括用于从设备收集日志的日志收集单元、用于将收到的设备发出的原始日志解析为能够被日志统计***所识别的日志的日志解析单元、用于将日志作为记录添加到日志表中的日志保存单元和日志统计单元，所述日志保存单元还用于收集日志的统计维度数据并保存到字典表中；所述日志统计单元用于将日志按照时间以及统计维度数据划分集合，对所述集合计算分布的统计结果和代数的统计结果的分布的参数并将结果保存到中间表，确定统计条件并从中间表计算出统计结果。
其中，所述日志保存单元还用于建立日志表的外键与字典表主键的对应。其中，所述统计单元还用于确定最小时间段以及开始时间和结束时间。
其中，所述统计单元还用于删除在开始时间和结束时间之间已有的中间结果并存入新的中间结果。
相对于现有技术，本发明的有益效果是：由于本发明确定一个有统计意义的最小时间段，同时利用统计维度数据对一个最小时间段的日志进一步划分集合，每经过一个最小时间段就对上一个最小时间段中形成的各个日志集合进行统计，计算出在该最小时间段中的中间结果，即分布的统计结果和代数的统计结果的分布的参数，并将该中间结果保存到中间表中，当确定统计条件进行统计时，就可以利用这些中间结果从中间表直接进行统计计算，从而较大地提高了效率和统计速度。
另外，由于在每条日志中都会包含与该条日志相关的统计维度数据，因此在保存日志到数据库的日志表时，通过动态收集日志中包含的统计维度数据并将其保存到对应的字典表就可以获得与所有保存的日志相关的统计维度数据，便于对动态统计维度数据的维护，降低日志统计***的复杂性，提高其统计效率。
附图说明
图1是本发明日志统计***的原理框图；
图2是本发明日志统计方法的流程图；
图3是本发明日志统计方法中保存日志的流程图；
图4是本发明日志统计方法中保存统计维度数据的流程图；
图5是本发明日志统计方法中生成中间结果的流程图；
图6是本发明日志统计方法中生成统计结果的流程图。
具体实施方式
请参阅图1，本发明日志统计***100可以对从多种设备当然也可以是一种设备收集到的海量日志的内容进行统计，同时利用对日志进行统计的特点加快海量日志统计速度，包括日志收集单元110、日志解析单元120、日志保存单元130、日志统计单元140。
本发明所述设备包括但不限于防火墙、入侵监测***、路由器和服务器等生成日志的设备。
所述日志收集单元110对设备200发送过来的日志进行收集，并传送给日志解析单元120。
所述日志解析单元120对设备200的日志进行实时解析。
所述日志保存单元130将日志保存到数据库300的日志表310中，以便后面进行处理。本发明日志统计***100对于每种类型的日志都建立一个日志表310，例如所有的入侵攻击事件的报警日志都保存在入侵攻击日志表中。每一条从设备200收到的日志对应着日志表300中的一条记录，将日志保存到数据库300中的日志表310时，可能需要收集相关的统计维度数据并保存到字典表320中，所述字典表320是数据库300中的附属表，用来说明日志的某一方面的属性，例如对于入侵攻击事件的报警日志，就存在多个字典表320，其中协议字典表列出了所有的协议类型，在日志表310中采用一个字段保存各条日志对应着协议字典表的哪条记录，从而表示各日志的协议属性。
所述日志统计单元140每过一段预定时间将收集到的日志进行处理生成统计的中间结果，并保存到中间表330中。在统计阶段，日志统计单元140可以中间表300获得中间结果，进行处理并显示于统计界面150，从而加快日志的统计速度。
请参阅图2，本发明日志统计方法包括日志收集和解析步骤D1、日志保存步骤D2、定期生成中间表步骤D3和生成统计结果步骤D4。图2所示为对一段预定时间内的日志数据进行处理的流程。通常，日志统计***100对不同时间段的日志数据并行实施步骤D1、D2、和D4。
日志可以通过日志收集单元110从多个或一个设备200获得，主要是通过Syslog或SNMP协议等将日志从多个设备200发送到日志统计***100。
然后日志解析单元120对日志进行解析，解析的方法可以采用现有的日志解析技术，如基于插件的技术。通常，设备200发出的日志或事件是一个有一定格式的字符串，日志统计***100接收到这些字符串以后，日志解析单元120按照格式的规则解释这些字符串，将收到的设备200发出的原始日志输出为能够被日志统计***100所识别的日志，从中分析出所期望的内容。例如对于日志：
“<1>LX-NIDS[11174]：|web-attacks_6|WEB攻击：id command attempt[Classification：Web Application Attack][Priority：0]：{TCP}202.210.0.1:1090-＞10.50.10.8:80”可以解析出如下信息：
入侵攻击名： WEB攻击：id command attempt
入侵攻击主机IP地址： 202.210.0.1
入侵攻击端口： 1090
被入侵攻击主机IP地址： 10.50.10.8
被入侵攻击端口： 80
事件级别： 0
协议类型： TCP。
请参阅图3，是日志保存步骤的流程图。
日志保存单元130接收到一条已经解析好的设备的日志后，实施步骤S1，按照日志的内容确定所要保存的日志表310。日志表310可以根据处理日志的种类的不同而存在多个，例如入侵攻击日志表、病毒事件日志表和用户访问日志表等等。
同时，实施步骤S2，在将具体日志内容保存到日志表310之前，收集动态统计维度数据。请一并参阅图4，当解析后的日志中还存在未处理的动态统计维度数据时，实施步骤S21，获取下面第一个未处理的动态统计维度数据，并将其与保存在对应字典表320中已经收集到的动态统计维度数据进行比较，如果字典表320中不存在该条日志包含的动态统计维度数据，则实施步骤S22，将该动态统计维度数据保存到字典表320中。
随后实施步骤S3，对于解析后的日志，分别存入数据库300中不同的日志表310。并继续处理直到所有日志保存完毕。
为了更清楚的对本发明进行说明，下面以对入侵攻击事件的报警日志的统计为例进行描述，但是本方法并不局限于对入侵攻击事件的报警日志的统计，还可以应用于对其它日志(如病毒事件报警日志、用户访问日志)的统计。
所有入侵攻击事件的报警日志都将保存在入侵攻击日志表中，该日志表310的结构如表1所示。
表1入侵攻击日志表结构
| 字段名 | 说明 |
| lIndex | 从0开始自动增加，是日志表的主键，用来在日志表中唯一确定一条日志。 |
| GTime | 说明本事件发生的时间，如果日志中没有该时间则用收到日志的时间作为近似时间填入。 |
| AlertTitleID | 报警主题的ID，用来说明本次攻击的入侵攻击名。其是外键，说明本次攻击对应入侵攻击名表中的哪个入侵攻击名，即与入侵攻击名表的主键AlertTitleID对应，说明各条日志的入侵攻击名。 |
| SrcIP | 源IP地址，也就是发起入侵攻击的主机的IP地址 |
| SrcPort | 源端口，指出本次攻击是从入侵攻击主机的哪个端口发起的攻击。 |
| DestIP | 目的IP地址，本次入侵攻击所攻击的主机的IP地址。 |
| DestPort | 目的端口，指出受到攻击的端口。 |
| IPProtoID | 协议类型，本次攻击是通过哪个网络协议进行的。其是外键，说明是IP协议表中的那个协议，即与IP协议表的主键IPProtoID对应，说明各条日志的协议类型。 |
| EventLevelID | 本次攻击的严重程度。其是外键，说明是事件级别表中的哪个级别，说明是事件级别表中的那个协议，即与事件级别表的主键EventLevelID对应，说明各条日志的事件级别。 |
| RepeatNum | 本记录对应的相同日志出现次数，缺省是1 |
| OriginalMsg | 原始日志的内容 |
相关字典表320共有三个，包括入侵攻击名表、IP协议表和事件级别表，其结构分别如表2、表3和表4所示。
表2入侵攻击名表结构
| 字段名 | 说明 |
| AlertTitleID | 主键，用来与日志表中的AlertTitleID对应，说明各条日志对应的入侵攻击名。 |
| AlertTitle | 入侵攻击名。 |
表3IP协议表结构
| 字段名 | 说明 |
| IPProtoID | 主键，用来与日志表中的IPProtoID对应，说明各条日志对应的协议名。 |
| IPProtoName | 协议名。 |
表***级别表结构
| 字段名 | 说明 |
| EventLevelID | 主键，用来与日志表的EventLevelID对应，说明各条日志对应事件的严重程度。 |
| EventLevelName | 该严重程度的名称。 |
其中，入侵攻击名表初始状态是空，通过不断在收到的日志中收集AlertTtile来补充，维护入侵攻击名表与日志的一致。而由于协议的种类和事件级别的取值是确定的，因此IP协议表和事件级别表的内容不需要收集，该两种字典表320的内容始终保持不变，
假设在2003年1月1日凌晨两点到三点期间日志统计***收到了如表5所示十条入侵攻击事件的报警日志，日志统计***在其它运行时间没有收到任何入侵攻击的报警日志。
表5收到的日志
| 收到日志的时间 | 收到的日志内容 |
| 2003-01-01 02:10:11 | <70>LX-NIDS[1876]：spp_bo：Back Orifice Traffic detected(key：31337){UDP}202.210.0.5:1125-＞10.50.10.8:31337 |
| 2003-01-01 02:11:51 | <69>LX-NIDS[1876]：spp_bo：Back Orifice Traffic detected(key：31337){UDP}202.210.0.5:1125-＞10.50.10.8:31337 |
| 2003-01-01 02:12:11 | <68>LX-NIDS[1876]：spp_bo：Back Orifice Traffic detected(key：31337){UDP}202.210.0.5:1125-＞10.50.10.8:31337 |
| 2003-01-01 02:12:32 | <67>LX-NIDS[1876]：spp_bo：Back Orifice Traffic detected(key：31337){UDP}202.210.0.2:1125-＞10.50.10.8:31337 |
| 2003-01-01 02:15:11 | <66>LX-NIDS[1876]：spp_bo：Back Orifice Traffic detected(key：31337){UDP}202.210.0.1:1125-＞10.50.10.8:31337 |
| 2003-01-01 02:20:17 | <1>LX-NIDS[11174]：|web-attacks_6|WEB攻击：id command attempt[Classification：Web Application Attack][Priority：0]：{TCP}202.210.0.1:1090-＞10.50.10.8:80 |
| 2003-01-01 02:30:19 | <2>LX-NIDS[3350]：|web-cgi_45|WEB攻击：files.pl access[Classification：Attempted Information Leak][Priority：0]：{TCP}202.210.0.1:1090-＞10.50.10.8:80 |
| 2003-01-01 02:35:10 | <3>LX-NIDS[3350]：|web-coldfusion_31|WEB攻击：onrequestend.cfm access[Classification：Attempted Information Leak][Priority：0]：{TCP}202.210.0.1:1090-＞10.50.10.8:80 |
| 2003-01-01 02:40:19 | <1>LX-NIDS[11174]：|web-attacks_6|WEB攻击：id command attempt[Classification：Web Application Attack][Priority：0]：{TCP}202.210.0.1:1090-＞10.50.10.8:80 |
| 2003-01-01 02:50:22 | <1>LX-NIDS[11174]：|web-attacks_6|WEB攻击：id command attempt[Classification：Web Application Attack][Priority：0]：{TCP}202.210.0.1:1090-＞10.50.10.8:80 |
在2003-01-01 02:10:11收到第一条入侵攻击报警日志后，将其对应的入侵攻击名Back Orifice保存到入侵攻击名表中，而后面的第二条到第五条日入侵攻击报警日志所报告入侵攻击名都是Back Orifice，因此并不在日志统计***100中增加新的入侵攻击名，而在第六条入侵攻击报警日志中收集到新的入侵攻击名WEB攻击：id command attempt，将其添加到入侵攻击名表中，后面的处理类似，此不赘述。最后形成的入侵攻击名表内容如表6所示。
表6入侵攻击名表的内容
| AlertTitleID | AlertTitle |
| 0 | Back Orifice |
| 1 | WEB攻击：id command attempt |
| 2 | WEB攻击：files.pl access |
| 3 | WEB攻击：onrequestend.cfm access |
其中，在入侵攻击名表中AlertTitleID是标识类型，也就是***自动生成序号值，该序号值唯一标识表中的一行。主键AlertTitleID与日志表中的外键AlertTitleID具有对应关系。
由于协议的种类和事件级别的取值是确定的，因此IP协议表和事件级别表的内容不需要收集，该两种字典表320的内容始终保持不变，分别如表7和表8所示。
表7IP协议表的内容
| IPProtoID(十六进制表示) | IPProtoName | 说明 |
| 0x00 00 00 010x00 00 00 020x00 00 00 040x00 00 00 080x00 00 00 100x00 00 00 200x00 00 00 400x00 00 00 80 | ICMPTCPUDPSIPP-ESPSIPP-AHIGRPOSPFIGP其他 | ICMP协议TCP协议UDP协议SIPP-ESP协议SIPP-AH协议IGRP协议OSPFIGP协议其他协议 |
表8事件级别表的内容
| EventLevelID | EventLevelName |
| 0x01 | 无 |
| 0x02 | 低 |
| 0x04 | 中 |
| 0x08 | 高 |
在日志保存步骤结束后，前述十条日志保存到数据库中的入侵攻击日志表，保存的内容如表9所示。
请参阅图5，是本发明日志统计方法中定期生成中间结果步骤的流程图。在定时生成中间结果阶段，虽然时间是连续的，但由于进行日志统计时所选取的通常是有意义的一个时间段，因此确定一个有统计意义的作为时间统计维度的最小时间段，将日志每隔一个最小时间段对上一最小时间段内的日志进行一次计算，也就是将日志按照时间以及其它的统计维度数据条件划分集合，对每个集合分别计算各个分布的统计结果和代数的统计结果的各个分布的参数，并将结果保存到中间表，当进行日志统计时，就可以利用这些中间结果直接进行统计计算，从而极大地提高效率。
首先判断在开始时间和结束时间之间的中间结果是否已经计算？因为允许手工执行该流程，因此可以对已经计算好的时间段重新计算，并用新的计算结果代替原有的计算结果。因此如果开始时间和结束时间之间的中间结果已经计算了一部分则转步骤S4，否则转步骤S5。在定时执行时，开始时间和结束时间分别是上一次执行的时间和上一个时间段结束的时间。
步骤S4是删除在开始时间和结束时间之间已有的中间结果，目的是为了存入新的中间结果。
在该流程中允许开始时间和结束时间之间存在的不只是一个最小时间段，而且包括多个最小时间段的情况。步骤S5是获得开始时间后的第一个最小时间段。
随后实施步骤S6，对该最小时间段内的各个统计维度形成的集合利用日志表310计算分布的统计结果和代数统计结果的参数，即中间结果，并将其保存到对应的中间表330中。
然后判断是否已达到结束时间，如果已经到达，则结束流程；如果没有，则进入步骤S7，获得计算完成的时间段的下一个最小时间段，并跳到步骤S6进行计算。
以前述入侵攻击事件的报警日志为例，假设统计的结果包括在某一指定时间内入侵攻击事件发生的总次数和各个入侵攻击名的入侵攻击事件占所有入侵攻击事件的百分比，则中间表的结构可以如表10所示。
表10中间表的结构
| 字段名 | 说明 |
| HourID | 从基准时间如2003年01月01日00:00:00开始的小时数 |
| AlertTitleID | 报警主题的ID，用来说明本次攻击的入侵攻击名。其是外键，说明本次攻击对应入侵攻击名表中的哪个入侵攻击名。 |
| CountNum | 度量，也就是在上述条件下发现入侵攻击的次数。 |
其中入侵攻击事件发生的总次数是分布的统计结果，可以通过对各个最小时间段和各个入侵攻击名对数据划分集合，再定时统计这些集合的统计结果并把他们作为中间结果保存到中间表中，当确定了最终统计的时间段后就可以通过这些中间表计算最终的统计结果。
而各个入侵攻击名的入侵攻击事件占所有入侵攻击事件的百分比则是一个代数的统计结果，因入侵攻击事件的总次数和各个入侵攻击名的入侵攻击事件的次数都是分布的结果，而该百分比可以通过各个入侵攻击名的入侵攻击事件的次数除以入侵攻击事件的总次数获得。
如果定义的最小时间段是一个小时，那么在一个小时之后即2003-01-0103:00:00就会对在2003-01-01 02:00:00～2003-01-01 02:59:59收到的日志进行处理，我们以2003-01-01 00:00:00为基准时间，那么上述2003-01-0102:00:00～2003-01-01 02:59:59应该对应的是01最小时间段，2003-01-0100:00:00～2003-01-01 01:59:59对应的是00最小时间段。
步骤S5中获取的第一个最小时间段是01最小时间段。
步骤S6中，可以通过SQL语句在中间表中***各个小时的记录，生成的中间表的内容如表11所示。
表11中间表的内容
| HourID | AlertTitleID | CountNum |
| 1 | 0 | 5 |
| 1 | 1 | 3 |
| 1 | 2 | 1 |
| 1 | 3 | 1 |
请参阅图6，是本发明日志统计方法中生成统计结果步骤的流程图。
步骤S8是确定统计条件；步骤S9中，利用已经生成的中间结果，计算完成分布的统计结果和代数的统计结果的各个分布的参数；随后步骤S10中，利用这些分布的参数计算代数的统计结果；最后通过步骤S11将统计结果显示出来。
例如计算2003-01-01 00:00:00～2003-01-01 04:59:59的入侵攻击事件的总次数，可以通过对各最小时间段00、01、02、03、04中生成的有关入侵攻击事件次数的中间结果相加得到。具体可以采用SQL语句对中间表进行处理实现，当然也可以采用其他方法处理中间表实现。
同样，各个入侵攻击名的入侵攻击事件的次数也可以通过SQL语句获得。
而各个入侵攻击名的入侵攻击事件占所有入侵攻击事件的百分比通过各个入侵攻击名的入侵攻击事件的次数除以入侵攻击事件的总次数获得。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1、一种日志统计方法，包括：
日志收集和解析步骤，从设备收集日志，将收到的设备发出的原始日志解析为能够被日志统计***所识别的日志；
日志保存步骤，收集日志的统计维度数据并保存到字典表中，将日志作为记录添加到日志表中；
定期生成中间结果步骤，将日志按照时间以及统计维度数据划分集合，对所述集合计算分布的统计结果和代数的统计结果的分布的参数并将结果保存到中间表；
生成统计结果步骤，确定统计条件并从中间表计算出统计结果。
2、根据权利要求1所述的日志统计方法，其特征在于：所述日志保存步骤包括建立日志表的外键与字典表主键的对应。
3、根据权利要求1所述的日志统计方法，其特征在于：所述定期生成中间结果步骤包括确定最小时间段以及开始时间和结束时间。
4、根据权利要求3所述的日志统计方法，其特征在于：所述定期生成中间结果步骤包括删除在开始时间和结束时间之间已有的中间结果，用于存入新的中间结果。
5、根据权利要求1至4任一项所述的日志统计方法，其特征在于：所述中间结果包括分布的统计结果和代数的统计结果的各个分布的参数。
6、根据权利要求5所述的日志统计方法，其特征在于：所述生成统计结果步骤中采用SQL语句处理中间表。
7、一种日志统计***，包括用于从设备收集日志的日志收集单元、用于将收到的设备发出的原始日志解析为能够被日志统计***所识别的日志的日志解析单元、用于将日志作为记录添加到日志表中的日志保存单元和日志统计单元，其特征在于：
所述日志保存单元还用于收集日志的统计维度数据并保存到字典表中；
所述日志统计单元用于将日志按照时间以及统计维度数据划分集合，对所述集合计算分布的统计结果和代数的统计结果的分布的参数并将结果保存到中间表，确定统计条件并从中间表计算出统计结果。
8、根据权利要求7所述的日志统计***，其特征在于：所述日志保存单元还用于建立日志表的外键与字典表主键的对应。
9、根据权利要求7或8所述的日志统计***，其特征在于：所述统计单元还用于确定最小时间段以及开始时间和结束时间。
10、根据权利要求9所述的日志统计方法，其特征在于：所述统计单元还用于删除在开始时间和结束时间之间已有的中间结果并存入新的中间结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2004100002060A CN100518076C (zh) | 2004-01-02 | 2004-01-02 | 日志统计方法和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2004100002060A CN100518076C (zh) | 2004-01-02 | 2004-01-02 | 日志统计方法和*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1642097A CN1642097A (zh) | 2005-07-20 |
| CN100518076C true CN100518076C (zh) | 2009-07-22 |
Family
ID=34866676
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB2004100002060A Expired - Lifetime CN100518076C (zh) | 2004-01-02 | 2004-01-02 | 日志统计方法和*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN100518076C (zh) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100394727C (zh) * | 2005-12-26 | 2008-06-11 | 阿里巴巴公司 | 一种日志分析方法和*** |
| CN101192227B (zh) * | 2006-11-30 | 2011-05-25 | 阿里巴巴集团控股有限公司 | 一种基于分布式计算网络的日志文件分析方法和*** |
| US20090049547A1 (en) * | 2007-08-13 | 2009-02-19 | Yuan Fan | System for real-time intrusion detection of SQL injection web attacks |
| CN101237326B (zh) * | 2008-02-29 | 2011-09-14 | 成都市华为赛门铁克科技有限公司 | 设备日志实时解析的方法、装置和*** |
| CN101267338B (zh) * | 2008-04-23 | 2010-10-13 | 杭州思福迪信息技术有限公司 | 高性能日志及行为审计*** |
| CN101286891B (zh) * | 2008-05-30 | 2010-11-10 | 杭州华三通信技术有限公司 | ***日志解析方法及装置 |
| CN101325520B (zh) * | 2008-06-17 | 2010-08-18 | 南京邮电大学 | 基于日志的智能自适应网络故障定位和分析方法 |
| CN101483557B (zh) * | 2009-03-03 | 2011-07-13 | 中兴通讯股份有限公司 | 一种用于深度报文检测设备的日志统计、保存方法和*** |
| CN102271345A (zh) * | 2010-06-01 | 2011-12-07 | 中兴通讯股份有限公司 | 一种网络驻留用户相关信息的统计方法和装置 |
| CN101951623B (zh) * | 2010-09-13 | 2014-11-05 | 中兴通讯股份有限公司 | 一种基于用户事件的用户行为统计方法及装置 |
| CN102999506B (zh) * | 2011-09-13 | 2016-03-30 | 阿里巴巴集团控股有限公司 | 一种获取用户独立访问数的方法与装置 |
| CN103036697B (zh) * | 2011-10-08 | 2015-07-15 | 阿里巴巴集团控股有限公司 | 一种多维度数据去重方法及*** |
| CN103209087B (zh) * | 2012-01-17 | 2015-12-16 | 深圳市腾讯计算机***有限公司 | 分布式日志统计处理方法和*** |
| CN102970363A (zh) * | 2012-11-21 | 2013-03-13 | 用友软件股份有限公司 | 远程日志下载***和远程日志下载方法 |
| CN103647666A (zh) * | 2013-12-13 | 2014-03-19 | 北京中创信测科技股份有限公司 | 一种统计呼叫详细记录报文并实时输出结果的方法及装置 |
| CN104317939A (zh) * | 2014-10-31 | 2015-01-28 | 北京思特奇信息技术股份有限公司 | 一种基于数字电影播放服务器的日志统计方法及*** |
| CN106503024A (zh) * | 2015-09-08 | 2017-03-15 | 北京国双科技有限公司 | 日志信息处理方法和装置 |
| CN105389352A (zh) * | 2015-10-30 | 2016-03-09 | 北京奇艺世纪科技有限公司 | 日志处理方法和装置 |
| CN106301896A (zh) * | 2016-08-03 | 2017-01-04 | 合网络技术（北京）有限公司 | 日志统计方法及装置 |
| CN106484780A (zh) * | 2016-09-06 | 2017-03-08 | 努比亚技术有限公司 | 数据统计方法及装置 |
| CN106603749B (zh) * | 2017-01-06 | 2017-11-21 | 浙江中都信息技术有限公司 | 一种动态ip到主机映射的高效方法 |
| CN107562892A (zh) * | 2017-09-06 | 2018-01-09 | 郑州云海信息技术有限公司 | 一种提高ssr违规日志统计性能的方法及装置 |
| CN109542902A (zh) * | 2018-11-12 | 2019-03-29 | 珠海格力电器股份有限公司 | 一种数据处理***和方法 |
| CN109450689B (zh) * | 2018-11-19 | 2022-02-22 | 郑州云海信息技术有限公司 | 一种日志打印方法、装置、存储介质和计算机设备 |
| CN112738087A (zh) * | 2020-12-29 | 2021-04-30 | 杭州迪普科技股份有限公司 | 攻击日志的展示方法及装置 |
| CN112732759B (zh) * | 2020-12-31 | 2023-02-03 | 青岛海尔科技有限公司 | 数据处理方法及装置，存储介质及电子装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003140992A (ja) * | 2001-11-06 | 2003-05-16 | Nippon Telegr & Teleph Corp <Ntt> | ストリーム配信装置、同方法、同処理プログラム及び同処理プログラムを記録した記録媒体 |
-
2004
- 2004-01-02 CN CNB2004100002060A patent/CN100518076C/zh not_active Expired - Lifetime
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003140992A (ja) * | 2001-11-06 | 2003-05-16 | Nippon Telegr & Teleph Corp <Ntt> | ストリーム配信装置、同方法、同処理プログラム及び同処理プログラムを記録した記録媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1642097A (zh) | 2005-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100518076C (zh) | 日志统计方法和*** | |
| CN107454109B (zh) | 一种基于http流量分析的网络窃密行为检测方法 | |
| CN111277570A (zh) | 数据的安全监测方法和装置、电子设备、可读介质 | |
| CN101325520B (zh) | 基于日志的智能自适应网络故障定位和分析方法 | |
| CN107370752B (zh) | 一种高效的远控木马检测方法 | |
| CN212259006U (zh) | 一种网络安全管理设备 | |
| CN102918534A (zh) | 查询管道 | |
| CN101741608B (zh) | 一种基于流量特征的p2p应用识别***及方法 | |
| CN109150869A (zh) | 一种交换机信息采集分析***及方法 | |
| CN106375345A (zh) | 一种基于周期性检测的恶意软件域名检测方法及*** | |
| CN102611713A (zh) | 基于熵运算的网络入侵检测方法和装置 | |
| CN110958231A (zh) | 基于互联网的工控安全事件监测平台及其方法 | |
| CN110120957B (zh) | 一种基于智能评分机制的安全处置数字孪生方法及*** | |
| CN112491860A (zh) | 一种面向工业控制网络的协同入侵检测方法 | |
| Labib et al. | Detecting and visualizing denialof-service and network probe attacks using principal component analysis | |
| Rosay et al. | From CIC-IDS2017 to LYCOS-IDS2017: A corrected dataset for better performance | |
| CN114598499A (zh) | 结合业务应用的网络风险行为分析方法 | |
| CN117614712A (zh) | 一种基于用户画像及关联分析的安全审计方法与*** | |
| CN100383784C (zh) | 联机分析处理***及方法 | |
| CN113612657A (zh) | 一种异常http连接的检测方法 | |
| CN108566382A (zh) | 基于规则生命周期检测的防火墙自适应能力提升方法 | |
| CN112528325B (zh) | 一种数据信息的安全处理方法及*** | |
| Chang et al. | A flow-based anomaly detection method using entropy and multiple traffic features | |
| CN105553990A (zh) | 一种基于决策树算法的网络安全三元组异常检测方法 | |
| Sun et al. | Intelligent log analysis system for massive and multi-source security logs: MMSLAS design and implementation plan |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CX01 | Expiry of patent term |
Granted publication date: 20090722 |
|
| CX01 | Expiry of patent term |