CN106599127A

CN106599127A - 应用于单机服务器的日志存储和查询方法

Info

Publication number: CN106599127A
Application number: CN201611093276.4A
Authority: CN
Inventors: 何雪煜
Original assignee: Shenzhen Forward Industrial Co Ltd
Current assignee: Shenzhen Forward Industrial Co Ltd
Priority date: 2016-12-01
Filing date: 2016-12-01
Publication date: 2017-04-26

Abstract

一种存储方便且查询响应速度快的应用于单机服务器的日志存储和查询方法。其步骤如下：1)建立包含某时间段存储的日志的日志条数、日志分表的表名和日志分区映射表的表名在内的记录的日志总表；2)在对应的日志分表中建立若干个日志分区：3)每个日志分表对应一个日志分区映射表。本发明将日志按照其产生的时间段及该日志多个属性下的条件或参数的组合，按照一定的规则分布于若干个日志分表和该日志分表下设的若干个分区中，当用户查询某个日志时，输入查询条件，***则按照时间段通过对应的日志分区映射表很快查询到与该条件或参数组合对应的日志数据。本发明能够高效、快速地查询存放在单机服务器中的日志数据。

Description

应用于单机服务器的日志存储和查询方法

技术领域

本发明涉及一种用于服务器的日志存储和查询方法，特别涉及一种可快速查询的应用于单机服务器中的日志存储和查询方法。

背景技术

对于一个简单的单机关系型数据库***来说，数据的查询是通过把查询条件组合成SQL语句，输入数据库中进行查询。

这种简单的表项设计，在以下应用环境中，能够做到快速响应查询请求：

1、比较简单的查询条件；

2、同时数据量比较小。

但是当***面对如下比较复杂的应用环境时，响应速度则大大降低：

1、日志的数据量相当大；

2、查询条件比较多，每个条件都有一定量的取值。

现有技术中大部分的单机服务器，单纯依靠数据库来分析SQL语句当中的查询语句，然后在表项里面进行数据的查询，数据库引擎需要遍历该表项中的所有的数据(即指对整个表项中的所有数据进行搜索)，因此，其查询耗时相当长。比如，如果数据条目是百万级别，查询条件是多个条件或参数的复杂组合，在响应查询请求的时候，数据库引擎需要从磁盘中读取大量的数据，并且逐个进行分析，查询耗时可达到20分钟以上，因此，其不能满足用户期望获得较快响应的需求。

现有技术中的Mysql数据库，也引入了“分区”的概念，Mysql划设分区的具体方法如下：

其是在若干日志所具有的各属性(属性是日志所属的特性，如电脑IP、包含web访问、邮件及语音在内的通信协议类型、访问IP、流量记录、源地址、目的地址、源端口和目的端口中的多种组合)中，选择其中一个属性下对应的若干个不同条件或参数分别作为所划分区中各分区的首要查询条件，如图1和后附的表4所示，即将所有日志中所述首要查询条件相同的日志均存放在一个分区中，以此，将所有日志存放在若干个分区中且同一分区中的日志的所述首要查询条件均相同。

每个分区都是独立的文件。用户所选择的、实现数据分割的规则被称为分区函数，该函数返回一个整数，对应一个分区编号。在数据库分区的情况下，某些SQL语句可以在查询之前，把需要查询的数据，定位到某一个分区里，缩小查询的范围(比如需要遍历的数据量，从百万级别，降低到数万条)，提高了查询的效率，由此，在大量的日志数据情况下，较大地提高了查询的响应速度。

但Mysql数据库中所述的分区结构存在以下不足：

在日志所具有的属性为若干项的情况下，其只能根据某一属性下的某个条件或参数(即所述的首要查询条件)来分区，结果可能是用户在输入某几个属性下对应的多个条件或参数组合的时候，仍然需要在所有的分区当中进行查询(相当于不分区，对整个分表进行遍历查询)，导致查询的效率仍然得不到提高)。即，如果用户的查询请求，涉及多种查询条件的自由组合，该数据库则无法根据这些自由组合的查询条件，把查询请求快速精确定位到某一个分区，其仍然需要遍历大部分数据，从而大大降低响应速度。

发明内容

本发明要解决的技术问题是提供一种存储方便且查询响应速度快的应用于单机服务器的日志存储和查询方法。

为了解决上述技术问题，本发明采用的技术方案为：

本发明的应用于单机服务器的日志存储和查询方法，由以下步骤构成：

日志存储

1)建立一个日志总表，按设定时间段分别写入若干个包含该时间段存储的日志的日志条数、日志分表的表名和日志分区映射表的表名在内的记录；

2)在对应的日志分表中建立若干个日志分区，各日志分区按以下规则存放日志：

a.各日志分区存放该时间段内产生的满足以下条件的日志：针对若干属性下对应的各条件或参数组合的日志，将相同条件或参数组合的日志和该相同组合中每条日志对应的时间戳以及每条日志对应的日志内容记载于该日志分区中；

b.或者，各日志分区中存放该时间段内产生的满足以下条件的日志：针对若干属性下对应的各条件或参数组合的日志，将相近时间戳内产生的不同条件或参数组合的日志和该不同组合中每条日志对应的时间戳以及每条日志对应的日志内容记载于该日志分区中；

c.或者，一部分日志分区采用上述a规则，另一部分日志分区采用b规则；

d.或者，在某些日志分区中采用上述a规则与b规则的组合；

3)每个所述的日志分表对应一个所述的日志分区映射表，该日志分区映射表存放该日志分表中出现的不同的条件或参数组合和该组合中各条件或参数组合对应的日志所在的日志分区编号；

日志查询

1)用户输入目标日志对应的存放时间段及其具有若干属性下对应的条件或参数组合的查询条件；

2)***首先根据所述目标日志存储的时间段查找该时间段对应的日志分表；

3)再在与该日志分表对应的日志分区映射表中，查找与该目标日志具有的条件或参数组合相同的条件或参数组合对应记载的目标日志分区编号；

4)之后，在所述的目标日志分区编号指示的目标日志分区中，最终查找到符合条件的目标日志。

所述时间段为小时、日或周的整数倍。

所述的若干属性包括日志所属的时间戳、电脑IP、包含web访问、邮件及语音在内的通信协议类型、访问IP、流量记录、源地址、目的地址、源端口、目的端口、身高、性别、年龄、体重、学历和籍贯中的多项组合。

将产生的日志各属性下的条件或参数的32位bit位之和除以该日志产生时间段对应的日志分表划设的分区的总数，所获之余数作为该日志存放的日志分区的编号。

本发明在单机服务器的数据库中，将所存放的日志按照该日志产生的时间段及该日志所属的多个属性下的条件或参数的组合，按照一定的规则分布于若干个日志分表和该日志分表下设的若干个分区中，同时，每个日志分表对应一个日志分区映射表，在该日志分区映射表中存放对应日志分表中不同的所述条件或参数的组合及该组合对应的日志存放的分区编号，如此，当用户查询某个日志时，输入所述的条件或参数组合，***则按照时间段通过对应的日志分区映射表很快查询到与该条件或参数组合对应的日志数据。本发明提供一种数据的存储方法，在该存储方法的基础之上，能够高效、快速地查询存放在单机服务器中的日志数据。

附图说明

图1为现有技术中Mysql数据库划设分区的结构框图。

图2为本发明的数据库划设分区的结构框图。

具体实施方式

如图2所示，本发明的应用于单机服务器的日志存储和查询方法是在数据库中建立以时间段为首要信息的数据库，之后在此基础上存储或查询所需的日志，其具体步骤如下：

1、建立数据库和存储日志

1)按以时间段为小时、日或周的整数倍的时间划分时间段，建立一个日志总表，该日志总表中包含各时间段信息、每个时间段内存储的日志的日志条数、赋予每个时间段内的所有日志对应的日志分表的表名和与该日志分表对应的日志分区映射表的表名。

2)在对应的日志分表中建立若干个日志分区，将该日志分表中的日志按照以下几种规则存放在设定的日志分区中：

规则1：日志分区存放的日志满足以下条件：

针对日志所属的若干属性(如电脑IP、包含web访问、邮件及语音在内的通信协议类型、访问IP、流量记录、源地址、目的地址、源端口、目的端口、身高、性别、年龄、体重、学历和籍贯中的多种，即)对应的各条件或参数组合，将相同条件或参数组合的日志和该相同组合中每条日志对应的时间戳以及每条日志对应的日志内容(该日志内容是对该日志详细信息进行的描述，例如，涉及的日志属于安全、运营以及调试范畴的日志，则日志内容描述的详细信息可以为：变更管理、身份认证和授权、数据和***的访问、威胁管理、性能+容量管理、业务持续性+可用性管理、杂项错误和失败、杂项调试消息等)记载于该日志分区中。

规则2：日志分区存放的日志或者满足以下条件：针对日志所属的若干属性(如电脑IP、包含web访问、邮件及语音在内的通信协议类型、访问IP、流量记录、源地址、目的地址、源端口、目的端口、身高、性别、年龄、体重、学历和籍贯中的多种)对应的各条件或参数组合，将相近时间戳内产生的不同条件或参数组合的日志和该不同组合中每条日志对应的时间戳以及每条日志对应的日志内容记载于该日志分区中。

规则3：一部分日志分区采用上述规则1的存放规则，另一部分日志分区采用上述规则2的存放规则。

规则4：也可将上述规则1与规则2的日志同时存放在某一个或某些分区中。

3)每个所述的日志分表对应一个日志分区映射表，该日志分区映射表存放该日志分表内所有日志中出现的不同的所述条件或参数组合和各组合对应的日志所在的日志分区编号。

2、日志查询

图2中的符号x、y、v、f、g、h为对应分区中日志的条数，其可以相同，也可不同。而“映射表”中每两组条件或参数组合中，至少有一个属性下的两个条件或参数不能相同。

图2中的虚线表示“日志总表”当中的“日志分表”字段中的字符串，就是“分表”的表名；实线表示“日志总表”当中的“分区映射表表名”字段中的字符串，就是“映射表”的表名。

3、日志分区编号

每条日志所存放的日志分区编号，由***按以下方法自动生成：将产生的日志各属性下的条件或参数的32位bit位之和除以该日志产生时间段对应的日志分表划设的分区的总数，所获之余数作为该日志存放的日志分区的编号。

以下结合实例对本发明作进一步详细说明。

假定日志为：记录网络攻击的日志，该日志所属的属性为：记录网络攻击来源的源地址、攻击目标的目的地址、记录网络攻击来源的源端口和攻击目标的目的端口。

比如在2016年10月10日这一时间段所受到的攻击，放在日志分表“20161010”当中，这样，对应的日志分表中各日志分区如以下表1记录：

表1－日志分表(20161010)：

报文内容(XXXXXXX)表示报文的具体的字节内容，不代表所有的日志当中的报文内容都相同。

而对应该日志分表的日志分区映射表见以下表2记录：

表2－日志分区映射表(20161010)

源地址	目的地址	源端口	目的端口	分区编号
					20.57.33.1	202.100.99.5	2200	3500	1
20.57.33.1	202.100.99.5	4000	6000	2
					20.59.55.70	199.5.39.71	9000	8700	3
20.59.55.70	67.212.55.9	7700	4400	4
					。。。	。。。	。。。	。。。	。。。
。。。	。。。	。。。	。。。	n

对上述实例加以说明：

数据库的建立

1、以时间段为划分，创建多个日志分表，每个日志分表代表一个时间段(以上实例仅为一个日志分表，日志分表对应20161010，即2016年10月10日一天发生的日志)。

2、针对该日志分表划分四个日志分区，每个分区只存放日志所属属性为：源地址、目的地址、源端口和目的端口四个属性下对应的条件或参数，以及每条日志发生的时间戳和该条日志的日志内容。

该实例中，各日志分区是按照各条件或参数组合相同来划分存放日志的。

3、日志分区映射表记录了四个分区中不同的条件或参数组合及与该组合对应的日志出现在哪个日志分区的分区编号。

对于每一条具体的日志，如2016年10月10日1点30分5秒存储的属性为源地址、目的地址、源端口、目的端口分别为：20.57.33.1、202.100.99.5、2200、3500的日志，存储方法如下：

1、根据日志的时间戳对应的时间段，在“日志总表”中找到该时间段对应的日志分表，即对应的分表为分表(20161010)。

2、根据日志本身的属性，即属性(源地址、目的地址、源端口、目的端口)下的条件或参数组合(20.57.33.1、202.100.99.5、2200、3500)，在映射表中查询与该日志的所述条件或参数组合相同的日志所在的分区编号，即分区1。

3、把该日志写入分表(20161010)中的分区1中。

日志的查询方法：

1、用户输入查询条件，包括时间范围，以及其他的条件的组合(如2016年10月10日发生的属性为源地址、目的地址、源端口、目的端口，条件或参数组合为：20.57.33.1、202.100.99.5、2200、3500的日志)；

2、***首先根据用户输入的时间段在“日志总表”找到该时间段对应的日志分表，即分表(20161010)；

3、再根据用户输入的其他条件的组合(如源地址、目的地址、源端口、目的端口下对应的条件或参数组合20.57.33.1、202.100.99.5、2200、3500)，在映射表中，查找到对应该组合的日志所在的分区，即分区1；映射表中的数据量，大大小于日志的条数，通过这种方式，减少了查询日志所需要查看的数据量。

4、在分区1中，最终查找到符合上述条件的日志。

利用本发明查询日志时，可以大大缩小需要遍历的日志数量。如果仅仅是按照时间范围来分表而不进一步分区，同一个时间范围之内的数据都随机存放在同一张表里面，那么查询的时候，在确定了时间范围之后，需要遍历整张表才能得到结果。

本发明在单机服务器中***一条日志的方法，有以下三种处理方法：

1、建立新的日志分表和日志分区

1)***产生一条日志之后，在日志总表中，根据时间段，没有查找到满足时间条件的记录。由此可知，该分表不存在。创建一个分表，同时，在日志总表中，***一条记录，如包含时间段、日志分表、日志分区映射表表名在内的信息。

2)在新设的映射表中，***一条记录，该记录为该日志所属的属性下对应的条件或参数组合以及新创建的分区的编号。

3)将该日志***新创建的分区中，***的信息包括该日志所属的属性、各属性下对应的条件或参数及***该日志的时间戳和该日志的日志内容。

2、分表已经存在，由日志创建分区

1)***产生一条日志之后，在日志总表中，根据时间段，查找到满足时间条件的记录，由此，获得该日志分表对应的分区映射表的表名。

2)在分区映射表中，根据条件或参数组合查找对应的分区号，若没有找到，说明还没有创建与该条件或参数组合相同日志对应的分区，因此，创建一个分区，同时在映射表中***该日志对应的条件或参数组合的记录及该记录对应的分区编号。

3)把日志***新创建的分区中。

3、在已经创建好的分表和分区里面，直接***一条日志

1)在日志总表中，查找到与该日志时间段相同日志分表。

2)在该日志分表的日志分区映射表中，查找到与该日志所属属性相同且各属性下对应的条件或参数组合也相同的记录及对应的分区编号。

3)将该日志***查找到的分区中。

本发明的效果

本发明对于单机日志服务器来说，起到了如下效果：

1、提高了日志查询的处理能力，可以在更大量的日志数据情况下及时有效率的完成查询，

a)如果用户所输入的查询条件，都分布在同一个分区，这种情况下，和数据库自带的分区方式所构造的数据库的查询效率基本一样，可以让用户的等待时间缩短到十秒以内。

b)如果用户所输入的查询条件，分布在多个分区，并且所在的分区个数的数量并不多，那么响应用户的查询所耗时间，和上一种情况一样，在十秒以内。

c)根据以上两条分析，在查询条件的范围不是很广泛的情况下，该方法能够让查询效率提高95％。

2、在满足查询条件的日志数量很多的情况下，可以把查询分为多次查询，每完成一次查询，就在用户界面上增加呈现的结果。在这种情况下，用户可以在查询还在进行的过程中，就逐次得到查询结果，避免了用户需要等待所有的查询完成之后，才能看到最终的查询结果，减少了用户等待的时间。

各分区编号的自动生成的方法：

1、简单的生成方法：

以上述实例为例：把每条日志的四个条件或参数组合(如20.57.33.1、202.100.99.5、2200、3500)在计算机中的32位bit位全部加起来获得了一个值S，如果每个分表的分区的个数设定为1000个，那么就把S除以1000获得的余数a作为分区的编号。

2、精确的生成方法：

也可以对网络环境进行具体的分析，比如环境中有20台服务器，服务器的IP向外公开，有500台PC，PC的IP没有向外公开。服务器的IP地址，以及PC机的IP地址就是网络攻击的目的地址。

公开了IP地址的服务器更容易受到攻击，那么在一个分表里面，为每一台服务器分配20个分区，首先把IP从0开始排序，另外三个条件，按照32位bit的值，进行累加获得值S，除以20的余数+20*该IP的序号，就是这20个分区的编号。

另外500台PC的IP地址是网络内部私有设备，受到外部统计概率小于服务器，所以分配20个分区，每25个PC地址使用一个分区，凡是把PC的IP地址作为攻击目的地址的攻击日志，直接写到相应的日志里面。

精确划分方法示意图见以下表3：

(排序之后的服务器地址，用Serv-IP来表示；PC机的IP地址用PC-IP来表示)

表3－分区编号自动生成方法

把“精确的划分方法”和mysql数据提供的划分方法进行比较。

mysql提供的方法，只能通过一个条件来划分，比如，选择的攻击的目的地址，可以把服务器的IP和PC机的IP各自分配一个分区。由于对外公开了IP的服务器遭受攻击的可能性更大，所以每个服务器的日志可能会非常多，但是不能进一步缩小分区里面的日志的数据量。

“精确的划分方法”可以在服务器的IP划分的基础上，进一步进行划分，能够把该服务器的遭受攻击的日志划分为25条，大大缩小了每个分区的数据量。

本发明的分区的建立方法可以有很多选择，不同的应用环境可以有不同的划分方法。不管用什么方法，其核心就是每一个日志分表对应一个日志分区映射表。

以下是mysql数据库提供的原始分区的方式，见以下表4：

其只能根据日志的某一个条件来进行分区。在日志的条件有多个的时候，只能选取其中一个。比如，选取了源IP作为分区的依据。仍以前例中的日志为例，2016年10月10日产生的日志，其中，所有日志的属性仍为：源地址、目的地址、源端口和目的端口。

表4－mysql数据库的日志分表“20161010”

总之，在日志总数和日志所属属性相同的情况下，以某一个属性下的条件或参数作为变量划设分区和以多个属性下的条件或参数组合及日志产生的时间段作为变量划设分区，两者相比，前者划设的分区的个数要远小于后者划设分区的个数，分配给前者各分区中的日志条数要多于分配给后者各分区中的日志条数。

与mysql数据库分区划设方法相比，在相同日志数量的情况下，本发明不仅按日志产生的时间段进行划分日志分表，而且在日志分表中再按多个属性下的条件或参数组合按照一定的规则划设分区，再将所有分区内的日志与日志分区映射表对应，因此，本发明所划设的分区中，日志的数量少，查询时其速度大大提高。当查询某条日志时，借助日志分区映射表可以很快将其锁定在所查日志存放的分区。

Claims

1.一种应用于单机服务器的日志存储和查询方法，由以下步骤构成：

日志存储

d.或者，在某些日志分区中采用上述a规则与b规则的组合；

日志查询

2.根据权利要求1所述的应用于单机服务器的日志存储和查询方法，其特征在于：所述时间段为小时、日或周的整数倍。

3.根据权利要求2所述的应用于单机服务器的日志存储和查询方法，其特征在于：所述的若干属性包括日志所属的时间戳、电脑IP、包含web访问、邮件及语音在内的通信协议类型、访问IP、流量记录、源地址、目的地址、源端口、目的端口、身高、性别、年龄、体重、学历和籍贯中的多项组合。

4.根据权利要求1所述的应用于单机服务器的日志存储和查询方法，其特征在于：将产生的日志各属性下的条件或参数的32位bit位之和除以该日志产生时间段对应的日志分表划设的分区的总数，所获之余数作为该日志存放的日志分区的编号。