CN105554181B - 一种dns日志压缩方法和装置 - Google Patents

Abstract

本发明公开了一种DNS日志压缩方法和装置，方法包括：步骤1)获取域名***DNS原始日志；步骤2)根据DNS中的源IP地址、请求端口匹配Radius日志中该IP地址的认证信息；步骤3)判断所述DNS的域名是否属于260万域名；步骤4)当属于以上260万域名中的DNS时，则对所述DNS原始日志进行分析，并匹配用户账户、计算PV、访问时间点均值、访问时间点方差，最终多条记录的被合并成一条记录，同时删去原始日志。本发明采取了上述方案以后，实现DNS原始数据超过100个数量级的减少，在大幅降低DNS数据量的同时保证了数据的价值，具有很好的技术效果。

Description

一种DNS日志压缩方法和装置

技术领域

本发明属于互联网领域，具体涉及一种域名***日志DNS压缩方法和装置。

背景技术

随着互联网技术的迅猛发展，越来越多的用户开始接入并频繁的使用互联网，DNS作为互联网不可或缺的一份子，产生的日志量也呈***性增长，以广东省为例，每天产生的原始DNS日志达到12T，扩展到全国来计算，每天的DNS原始日志量达到300T，对于DNS提供商来说，如何花费最小的代价来存储DNS日志并保证数据的有效性已成为亟待解决的问题。

方法一：

压缩DNS日志，组建足够大的存储集群来存储压缩DNS日志。其中，由于集群的扩展会消耗更多的存储，随着时间的推移，花费的代价越来越大。

方法二：

删除留存超过一个月的DNS日志信息，只保留一个月以内的DNS日志信息。其中，超过一个月的DNS日志信息的缺失，对于时间跨度超过一个月的DNS日志分析，无法实现。

发明内容

本发明所要解决的技术问题是提供一种新的DNS日志压缩方法和装置，用以克服现有技术以上两种方法的缺点。

本发明解决上述技术问题所采取的技术方案如下：

一种DNS日志压缩方法，包括：

步骤1)获取域名***DNS原始日志，该原始日志中包括：源IP地址、源端口、目的IP地址、目的端口、ID、域名、请求类型、解析结果、解析时间、状态码、请求或者响应信息；

步骤2)根据DNS中的源IP地址、请求端口匹配Radius日志中该IP地址的认证信息，Radius日志格式包括：

用户账户、上线时间、下线时间、外网IP、内网IP、外网起始端口和外网结束端口，其中，只有DNS的请求端口在Radius的起始结束端口范围内，该DNS信息才有效；

步骤3)判断所述DNS的域名是否属于260万域名；

步骤4)当属于以上260万域名中的DNS时，则对所述DNS原始日志进行分析，并匹配用户账户、计算PV、访问时间点均值、访问时间点方差，最终多条记录的被合并成一条记录，同时删去原始日志。

进一步地，优选的是，步骤2)中，当DNS信息的请求端口对应Radius日志的起始结束端口为0时，说明该IP地址使用的是外网IP的所有端口，放弃该项DNS信息。

进一步地，优选的是，步骤4)中，DNS留存日志中，具体包括：

用户账户、域名、PV、访问时间点均值、访问时间点方差。

进一步地，优选的是，步骤4)中，进一步包括：针对某一用户，通过域名访问信息的拼接方式，只保留一条记录。

进一步地，优选的是，步骤4)中，计算PV、访问时间点均值、访问时间点方差具体包括：

PV值对应的是用户访问某一网址的次数；

均值是用户每次访问时间距离当天00：00的分钟数之和/PV，计算公式：(X1+X2+…+Xn)/PV；

方差是用户访问时间点与平均时间点的标准方差值，计算公式：((X1-M)^2+(X2-M)^2+…+(Xn-M)*2)/n，其中n＝PV。

一种DNS日志压缩装置，包括：

日志获取单元，获取域名***DNS原始日志，该原始日志中包括：源IP地址、源端口、目的IP地址、目的端口、ID、域名地址、请求类型、解析结果、解析时间、状态码、请求或者响应信息；

日志匹配单元，根据DNS中的源IP地址、请求端口匹配Radius日志中该IP地址的认证信息，Radius日志格式包括：

用户账户、上线时间、下线时间、外网IP、内网IP、外网起始端口和外网结束端口，其中，只有DNS的请求端口在Radius的起始结束端口范围内，该DNS信息才有效；

日志分析单元，判断所述DNS的域名是否属于260万域名；

当属于以上260万域名中的DNS时，则对所述DNS原始日志进行分析，并匹配用户、计算PV、访问时间点均值、访问时间点方差，最终多条记录的被合并成一条记录，同时删去原始日志。

进一步地，优选的是，所述日志匹配单元，进一步用于当DNS信息的请求端口在Radius日志的起始结束端口为0时，说明该IP地址使用的是外网IP的所有端口，放弃该项DNS信息。

进一步地，优选的是，所述日志分析单元，进一步地在DNS留存日志中，具体包括：

用户账户、域名、PV、访问时间点均值、访问时间点方差。

进一步地，优选的是，所述日志分析单元，进一步针对某一用户，通过域名访问信息的拼接方式，只保留一条记录。

进一步地，优选的是，所述日志分析单元，计算PV、访问时间点均值、访问时间点方差具体包括：

PV值对应的是用户访问某一网址的次数；

均值是用户每次访问时间距离当天00：00的分钟数之和/PV，计算公式：(X1+X2+…+Xn)/PV；

方差是用户访问时间点与平均时间点的标准方差值，计算公式：((X1-M)^2+(X2-M)^2+…+(Xn-M)*2)/n，其中n＝PV。

本发明采取了上述方案以后，结合DNS日志、Radius日志、留存DNS日志，从而实现DNS原始数据实现了超过100个数量级的减少，同时在大幅降低DNS数据量的同时保证了数据的价值，具有很好的技术效果。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

下面结合附图对本发明进行详细的描述，以使得本发明的上述优点更加明确。其中，

图1是本发明DNS日志压缩方法的流程示意图；

图2是本发明DNS日志压缩装置的结构示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

实施例一：

本技术方案依托于Hadoop大数据存储、计算平台，依赖260万域名、原始DNS日志、原始Radius日志，如下是相关说明。

DNS原始日志：

当用户通过域名(www.***.com)访问网站时，由于以太网传输过程中是根据IP地址来寻址的，所以DNS客户端首先会向DNS服务器查询域名对应的IP地址，相应的，DNS服务器会生成一条请求日志(请求日志中的解析结果字段为空，解析时间字段对应的其实是请求时间)，如下：

源IP|源端口|目的IP|目的端口|ID|域名|请求类型|解析结果|解析时间|状态码|请求

219.141.159.146|11764|219.141.159.146|53|11616|www.***.com|A||20151028141117.176|0|q

Radius日志：

当用户的终端接入互联网时，运营商处的Radius服务器会认证客户端的Radius信息，Radius日志格式如下：

用户账户|上线时间|下线时间|外网IP|内网IP|外网起始端口|外网结束端口

0486A09D7EA391E8F71|1446494611|1446566399|1883258110|1682046230|54272|56319

260万域名：

260万域名是根据原始DNS日志，统计全国访问PV数大于3的域名，260万以外的域名参考价值可忽略不计。

Bloom过滤器：

通过内存加载260万域名不仅仅消耗大量内存，而且在判断一条DNS数据是否属于260万域名区间时，循环字符串比较效率非常低，通过Bloom过滤器算法，可以大大降低域名是否有效的判断时间。

DNS留存日志：

用户账户|域名|PV|访问时间点均值|访问时间点方差

PV：

用户当天访问域名的次数。

UV：

当天访问网站的用户数。

备注：不同的DNS厂商以及Radius厂商产生的格式略有不同，这里列出的是DNS、Radius的基础信息，所有DNS、Radius都会保存上述字段。

通过对原始DNS日志分析结果来看，存储的原始DNS只是用户请求行为的原始记录，没有对应的逻辑信息，本方案的核心是通过逻辑处理，保存有效的DNS信息及扩展计算结果，最终输出的结果只占原始DNS日志的1/300，大大降低了存储代价。

其中，如图1所示，一种DNS日志压缩方法，包括：

步骤1)获取域名***DNS原始日志，该原始日志中包括：源IP地址、源端口、目的IP地址、目的端口、ID、域名地址、请求类型、解析结果、解析时间、状态码、请求或者响应信息；

步骤2)根据DNS中的源IP地址、请求端口匹配Radius日志中该IP地址的认证信息，Radius日志格式包括：

用户账户、上线时间、下线时间、外网IP、内网IP、外网起始端口和外网结束端口，其中，只有DNS的请求端口在Radius的起始结束端口范围内，该DNS信息才有效；

步骤3)使用Bloom过滤方法判断所述DNS的域名是否属于260万域名：

步骤4)当属于以上260万域名中的DNS时，则对所述DNS原始日志进行分析，并匹配用户账户、计算PV、访问时间点均值、访问时间点方差，最终多条记录的被合并成一条记录，同时删去原始日志。

本发明采取了上述方案以后，结合DNS日志、Radius日志、DNS日志，从而实现DNS原始数据超过100个数量级的减少，同时在大幅降低DNS数据量的同时保证了数据的价值，具有很好的技术效果。

实施例二：

优选的是，步骤2)中，当DNS信息的请求端口对应Radius日志的起始结束端口为0时，说明该IP地址使用的是外网IP的所有端口，直接保存该DNS信息。

并且，步骤4)中，DNS留存日志中，具体包括：

用户账户、域名、PV、访问时间点均值、访问时间点方差。

进一步地，优选的是，步骤4)中，进一步包括：针对某一用户，通过域名访问信息的拼接方式，即通过重复信息的过滤的方式，只保留一条记录。

进一步地，优选的是，步骤4)中，计算PV、访问时间点均值、访问时间点方差具体包括：

PV值对应的是用户访问某一网址的次数；

均值是用户每次访问时间距离当天00：00的分钟数之和/PV，计算公式：(X1+X2+…+Xn)/PV；

方差是用户访问时间点与平均时间点的标准方差值，计算公式：((X1-M)^2+(X2-M)^2+…+(Xn-M)*2)/n，其中n＝PV。

实施例三：

在一个具体实施例中，该方法具体包括：

根据DNS中的源IP地址、请求端口匹配Radius日志中该IP地址的认证信息，只有DNS的请求端口在Radius的起始结束端口范围内(当Radius的起始、结束端口都为0时，说明该IP地址使用的是外网IP的所有端口)，该DNS信息才有效，以用户A为例，用户A在一天内有12条“www.***.com”的域名请求DNS日志，时间间隔为1小时，从早8点到晚5点，如下。

219.141.159.146|11764|219.141.159.146|53|11616|www.***.com|A||20151028080000.176|0|q

219.141.159.146|11764|219.141.159.146|53|11736|www.***.com|A||20151028090000.321|0|q

219.141.159.146|11764|219.141.159.146|53|13211|www.***.com|A||20151028100000.390|0|q

219.141.159.146|11764|219.141.159.146|53|17141|www.***.com|A||20151028110000.002|0|q

219.141.159.146|11764|219.141.159.146|53|20171|www.***.com|A||20151028120000.586|0|q

219.141.159.146|11764|219.141.159.146|53|24079|www.***.com|A||20151028130000.227|0|q

219.141.159.146|11764|219.141.159.146|53|25322|www.***.com|A||20151028140000.131|0|q

219.141.159.146|11764|219.141.159.146|53|26015|www.***.com|A||20151028150000.856|0|q

219.141.159.146|11764|219.141.159.146|53|29132|www.***.com|A||20151028160000.986|0|q

219.141.159.146|11764|219.141.159.146|53|29825|www.***.com|A||20151028170000.232|0|q

在Radius中，有一条该用户的Radius认证信息，认证信息如下：

048078206A09D7EA391E8F71|1445983200|1446033600|3683491730|0|0|0

通过Bloom过滤器来计算DNS的域名是否属于260万域名中。

匹配用户、计算PV、均值、方差，最终10条记录的被合并成一条记录：

048078206A09D7EA391E8F71|14ED|10|750|29700

说明：

为了减少存储代价，每个域名会对应一个16进制的整型值，这里的www.***.com对应14ED。

PV值对应的是用户访问www.***.com次数。

均值是用户每次访问时间距离当天00：00的分钟数之和/PV，计算公式：(X1+X2+…+Xn)/PV

方差是用户访问时间点与平均时间点的标准方差值，计算公式：((X1-M)^2+(X2-M)^2+…+(Xn-M)*2)/n，其中n＝PV；

删除原始DNS日志。

对于一个用户来说，通过域名访问信息的拼接方式，只保留一条记录，如下格式

048078206A09D7EA391E8F71|www.***.com|10|750|29700|www.tmall.com|20|350|9700

通过上面的描述可以看出，这种方案带来的好处有下面几点：

260万个域名只保存一份，每个域名对应一个16进制的整型值。

每个用户只存一条记录，并且记录中域名使用整形值代替，大大降低了存储空间。

在存储大量减少的情况下，没有损失任何有效的计算数据，例如要计算www.***.com的UV以及PV，只需要把访问www.***.com的用户去重即可计算UV值，把所有访问www.***.com用户的PV叠加起来即是www.***.com当天的PV值。

实施例四：

与以上方法相对应，本发明还提供一种DNS日志压缩装置，包括：

日志获取单元，获取域名***DNS原始日志，该原始日志中包括：源IP地址、源端口、目的IP地址、目的端口、ID、域名地址、请求类型、解析结果、解析时间、状态码、请求或者响应信息；

日志匹配单元，根据DNS中的源IP地址、请求端口匹配Radius日志中该IP地址的认证信息，Radius日志格式包括：

用户账户、上线时间、下线时间、外网IP、内网IP、外网起始端口和外网结束端口，其中，只有DNS的请求端口在Radius的起始结束端口范围内，该DNS信息才有效；

日志分析单元，判断所述DNS的域名是否属于260万域名；

当属于以上260万域名中的DNS时，则对所述DNS原始日志进行分析，并匹配用户、计算PV、访问时间点均值、访问时间点方差，最终多条记录(如10条)的被合并成一条记录，同时删去原始日志。

进一步地，优选的是，所述日志匹配单元，进一步用于当DNS信息的请求端口对应Radius日志的起始结束端口为0时，说明该IP地址使用的是外网IP的所有端口，直接保存该项DNS信息。

进一步地，优选的是，所述日志分析单元，进一步地在DNS留存日志中，具体包括：

用户账户、域名、PV、访问时间点均值、访问时间点方差。

进一步地，优选的是，所述日志分析单元，进一步针对某一用户，通过域名访问信息的拼接方式，只保留一条记录。

进一步地，优选的是，所述日志分析单元，计算PV、访问时间点均值、访问时间点方差具体包括：

PV值对应的是用户访问某一网址的次数；

均值是用户每次访问时间距离当天00：00的分钟数之和/PV，计算公式：(X1+X2+…+Xn)/PV；

方差是用户访问时间点与平均时间点的标准方差值，计算公式：((X1-M)^2+(X2-M)^2+…+(Xn-M)*2)/n，其中n＝PV。

本发明采取了上述方案以后，结合DNS日志、Radius日志、留存DNS日志，从而DNS原始数据实现了超过100个数量级的减少，同时在大幅降低DNS数据量的同时保证了数据的价值，具有很好的技术效果。

需要说明的是，对于上述方法实施例而言，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种DNS日志压缩方法，其特征在于，包括：

步骤1)获取域名***DNS原始日志，该原始日志中包括：源IP地址、源端口、目的IP地址、目的端口、ID、域名、请求类型、解析结果、解析时间、状态码、请求或者响应信息；

步骤2)根据DNS中的源IP地址、请求端口匹配Radius日志中该IP地址的认证信息，Radius日志格式包括：

用户账户、上线时间、下线时间、外网IP、内网IP、外网起始端口和外网结束端口，其中，只有DNS的请求端口在Radius的起始结束端口范围内，该DNS信息才有效；

步骤3)使用Bloom过滤方法判断所述DNS的域名是否属于260万域名；

260万域名是根据原始DNS日志，统计全国访问PV数大于3的域名；

步骤4)当属于以上260万域名中的DNS时，则对所述DNS原始日志进行分析，并匹配用户账户、计算页面浏览量PV、访问时间点均值、访问时间点方差，最终多条记录被合并成一条记录，同时删去原始日志。

2.根据权利要求1所述的DNS日志压缩方法，其特征在于，步骤2)中，当DNS信息的请求端口对应Radius日志的起始结束端口为0时，说明该IP地址使用的是外网IP的所有端口，直接保存该DNS信息。

3.根据权利要求1所述的DNS日志压缩方法，其特征在于，步骤4)中，DNS留存日志中，具体包括：

用户账户、域名、PV、访问时间点均值、访问时间点方差。

4.根据权利要求1所述的DNS日志压缩方法，其特征在于，步骤4)中，进一步包括：针对某一用户，通过域名访问信息的拼接方式，只保留一条记录。

5.根据权利要求1所述的DNS日志压缩方法，其特征在于，步骤4)中，计算PV、访问时间点均值、访问时间点方差具体包括：

PV值对应的是用户访问某一网址的次数；

均值是用户每次访问时间距离当天00：00的分钟数之和/PV，计算公式：(X1+X2+…+Xn)/PV；

方差是用户访问时间点与平均时间点的标准方差值，计算公式：((X1-M)^2+(X2-M)^2+…+(Xn-M)*2)/n，其中n＝PV。

6.一种DNS日志压缩装置，其特征在于，包括：

日志获取单元，获取域名***DNS原始日志，该原始日志中包括：源IP地址、源端口、目的IP地址、目的端口、ID、域名、请求类型、解析结果、解析时间、状态码、请求或者响应信息；

日志匹配单元，根据DNS中的源IP地址、请求端口匹配Radius日志中该IP地址的认证信息，Radius日志格式包括：

用户账户、上线时间、下线时间、外网IP、内网IP、外网起始端口和外网结束端口，其中，只有DNS的请求端口在Radius的起始结束端口范围内，该DNS信息才有效；

日志分析单元，用于使用Bloom过滤方法判断所述DNS的域名是否属于260万域名；

260万域名是根据原始DNS日志，统计全国访问PV数大于3的域名；

当属于以上260万域名中的DNS时，则对所述DNS原始日志进行分析，并匹配用户、计算页面浏览量PV、访问时间点均值、访问时间点方差，最终多条记录被合并成一条记录，同时删去原始日志。

7.根据权利要求6所述的DNS日志压缩装置，其特征在于，所述日志匹配单元，进一步用于当DNS信息的请求端口对应Radius日志的起始结束端口为0时，说明该IP地址使用的是外网IP的所有端口，直接保存该DNS信息。

8.根据权利要求6所述的DNS日志压缩装置，其特征在于，所述日志分析单元，进一步地在DNS留存日志中，具体包括：

用户账户、域名、PV、访问时间点均值、访问时间点方差。

9.根据权利要求6所述的DNS日志压缩装置，其特征在于，所述日志分析单元，进一步针对某一用户，通过域名访问信息的拼接方式，只保留一条记录。

10.根据权利要求6所述的DNS日志压缩装置，其特征在于，所述日志分析单元，计算PV、访问时间点均值、访问时间点方差具体包括：

PV值对应的是用户访问某一网址的次数；

均值是用户每次访问时间距离当天00：00的分钟数之和/PV，计算公式：(X1+X2+…+Xn)/PV；

方差是用户访问时间点与平均时间点的标准方差值，计算公式：((X1-M)^2+(X2-M)^2+…+(Xn-M)*2)/n，其中n＝PV。