CN112702445B - 基于dns响应数据报文的递归日志提取方法及装置 - Google Patents

基于dns响应数据报文的递归日志提取方法及装置 Download PDF

Info

Publication number
CN112702445B
CN112702445B CN201911011397.3A CN201911011397A CN112702445B CN 112702445 B CN112702445 B CN 112702445B CN 201911011397 A CN201911011397 A CN 201911011397A CN 112702445 B CN112702445 B CN 112702445B
Authority
CN
China
Prior art keywords
recursive
dns
response data
fields
resource record
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911011397.3A
Other languages
English (en)
Other versions
CN112702445A (zh
Inventor
王进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Unihub China Information Technology Co Ltd
Original Assignee
Unihub China Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unihub China Information Technology Co Ltd filed Critical Unihub China Information Technology Co Ltd
Priority to CN201911011397.3A priority Critical patent/CN112702445B/zh
Publication of CN112702445A publication Critical patent/CN112702445A/zh
Application granted granted Critical
Publication of CN112702445B publication Critical patent/CN112702445B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/45—Network directories; Name-to-address mapping
    • H04L61/4505—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
    • H04L61/4511—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种基于DNS响应数据报文的递归日志提取方法及装置，其中该方法包括：获取DNS响应数据报文；分析提取DNS响应数据报文中字段的取值；按照各个字段以第一分隔符间隔的形式，将字段的取值记录成一条递归记录；将各条递归记录以第二分隔符间隔，聚合形成DNS递归日志。该方法与现有技术中手工使用第三方工具进行抓包相比，本申请上述方法对DNS数据报文进行了字段的取值提取、第一分隔符间隔形成递归记录、第二分隔符间隔形成DNS递归日志等操作，得到实时生成的格式统一、清晰的DNS递归日志，实现了简便快捷地对DNS数据报文进行有效的挖掘与利用，重现了历史数据。

Description

基于DNS响应数据报文的递归日志提取方法及装置
技术领域
本发明涉及网络通信技术领域，尤其涉及一种基于DNS响应数据报文的递归日志提取方法及装置。
背景技术
现有技术中，有DNS关注需求时，大多依赖手工使用第三方工具进行抓包，这样不仅耗时耗力，而且也无法重现历史数据，且DNS数据报文信息未得到有效的挖掘与利用。
发明内容
本发明实施例提供一种基于DNS响应数据报文的递归日志提取方法，用以简便快捷地对DNS数据报文进行有效的挖掘与利用，重现历史数据，该方法包括：
获取DNS响应数据报文；
分析提取所述DNS响应数据报文中字段的取值；
按照各个字段以第一分隔符间隔的形式，将所述字段的取值记录成一条递归记录；
将各条递归记录以第二分隔符间隔，聚合形成DNS递归日志。
本发明实施例还提供一种基于DNS响应数据报文的递归日志提取装置，用以简便快捷地对DNS数据报文进行有效的挖掘与利用，重现历史数据，该装置包括：
报文获取模块，用于获取DNS响应数据报文；
分析提取模块，用于分析提取所述DNS响应数据报文中字段的取值；
递归记录形成模块，用于按照各个字段以第一分隔符间隔的形式，将所述字段的取值记录成一条递归记录；
递归日志形成模块，用于将各条递归记录以第二分隔符间隔，聚合形成DNS递归日志。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于DNS响应数据报文的递归日志提取方法。
本发明实施例也提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述基于DNS响应数据报文的递归日志提取方法的计算机程序。
本发明实施例中，通过分析提取获取到的DNS响应数据报文中的字段的取值，按照各个字段以第一分隔符间隔的形式，将字段的取值记录成一条递归记录；将各条递归记录以第二分隔符间隔，聚合形成DNS递归日志；得到格式统一、清晰的DNS递归日志，与现有技术中手工使用第三方工具进行抓包相比，本申请上述方法对DNS数据报文进行了字段的取值提取、第一分隔符间隔形成递归记录、第二分隔符间隔形成DNS递归日志等操作，实现了DNS递归日志的实时生成，实现了简便快捷地对DNS数据报文进行有效的挖掘与利用，重现了历史数据。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中基于DNS响应数据报文的递归日志提取方法示意图。
图2为本发明具体实施例中基于DNS响应数据报文的递归日志提取方法示意图。
图3为本发明一具体实施例中获取的DNS响应数据报文示意图。
图4为本发明一具体实施例中DNS递归日志存储的过程示意图。
图5为本发明实施例中基于DNS响应数据报文的递归日志提取装置示意图。
图6为本发明具体实施例中基于DNS响应数据报文的递归日志提取装置示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决现有技术中有DNS关注需求时，大多依赖手工使用第三方工具进行抓包分析带来的耗时耗力且无法重现历史数据的问题，本发明实施例提供了一种基于DNS响应数据报文的递归日志提取方法，用以简便快捷地对DNS数据报文进行有效的挖掘与利用，重现历史数据，如图1所示，该方法包括：
步骤101：获取DNS响应数据报文；
步骤102：分析提取DNS响应数据报文中字段的取值；
步骤103：按照各个字段以第一分隔符间隔的形式，将字段的取值记录成一条递归记录；
步骤104：将各条递归记录以第二分隔符间隔，聚合形成DNS递归日志。
从图1可以看出，本发明实施例通过分析提取获取到的DNS响应数据报文中的字段的取值，按照各个字段以第一分隔符间隔的形式，将字段的取值记录成一条递归记录；将各条递归记录以第二分隔符间隔，聚合形成DNS递归日志；得到格式统一、清晰的DNS递归日志，与现有技术中手工使用第三方工具进行抓包相比，本申请上述方法对DNS数据报文进行了字段的取值提取、第一分隔符间隔形成递归记录、第二分隔符间隔形成DNS递归日志等操作，实现了DNS递归日志的实时生成，实现了简便快捷地对DNS数据报文进行有效的挖掘与利用，重现了历史数据。
具体实施时，首先获取DNS响应数据报文。域名***(Domain Name System，DNS)响应数据报文结构例如为：
Figure BDA0002244297710000031
分为报文头(Header)、查询(Question，the question for the name server)、应答(Answer，RRs answering the question)、授权应答(Authority，RRs pointing towardan authority)、附加信息(Additional，RRs holding additional information)共5个区域(section)，其中Header为固定格式，其余4个区段可能出现包括0在内的任意个数。
其中，Header区域的报文结构如下：
Figure BDA0002244297710000041
其中，各个字段所占的字节以及对应的含义如表1所示：
表1 Header区域各字段含义表
Figure BDA0002244297710000042
Figure BDA0002244297710000051
Question区域的报文结构如下：
Figure BDA0002244297710000052
其中，各个字段所占的字节以及对应的含义如表2所示：
表2 Question区域各字段含义表
Figure BDA0002244297710000053
Answer区域、Authority区域以及Additional区域报文一同构成了资源记录区，共享相同的报文结构如下：
Figure BDA0002244297710000054
Figure BDA0002244297710000061
其中，各个字段所占的字节以及对应的含义如表3所示：
表3资源记录区各字段含义表
Figure BDA0002244297710000062
获取DNS响应数据报文后，分析提取DNS响应数据报文中字段的取值。本发明实施例中，字段例如包括：时间(TIME)、版本(VERSION)、源地址(SRC)、目的地址(DST)、传输层协议(PROTOCOL)、生存时间(TTL)、源端口(SRC_PORT)、目的端口(DST_PORT)、事务标识(TransactionID)、查询/响应标志(QR)、操作码(Opcode)、授权回答(AA)、可截断标记(TC)、期望递归(RD)、可用递归(RA)、预留字段(Z)、返回码(RCODE)、查询区域的记录数(QDCOUNT)、应答区域的记录数(AVCOUNT)、授权区域的记录数(NSCOUNT)、附加区域的记录数(ARCOUNT)、查询的域名名称(QNAME)、查询类型(QTYPE)、查询类别(QCLASS)以及资源记录组信息项等。其中，资源记录组信息项例如可以包括：Answer区域、Authority区域以及Additional区域的所有字段，即多条资源记录数据。本领域技术人员可以理解，上述字段包括内容仅为举例，可根据实际需要进行增加或删减，例如根据后续查询分析确定所需要的字段，根据所需的字段进行字段取值的提取，不以此限定本发明的保护范围。
分析提取DNS响应数据报文中字段的取值后，按照各个字段以第一分隔符间隔的形式，将字段的取值记录成一条递归记录。例如，可以利用分号“；”(ASCII值为59)作为第一分隔符，将一条DNS响应数据报文中的各个字段的取值间隔，记录形成一条递归记录。
接着，将各条递归记录以第二分隔符间隔，聚合形成DNS递归日志。举例说明，一条DNS响应数据报文能够形成一条递归记录，多条DNS响应数据报文就能够形成多条递归记录，将将各条递归记录以第二分隔符间隔，例如第二分隔符可以为换行符“\n”(ASCII值为10)，多条递归记录聚合形成DNS递归日志。
由于资源记录组信息项中包含字段较多，包括多条资源记录数据，可对多条资源记录数据进行预先处理，本发明具体实施例的基于DNS响应数据报文的递归日志提取方法如图2所示，在图1的基础上还包括：
步骤201：将每条资源记录数据中的字段以第三分隔符为间隔，记录为一条资源记录信息项；
步骤202：将各条资源记录信息项以第四分隔符为间隔，聚合成资源记录组信息项。
具体实施时，一条资源记录数据例如包括一个Answer区域、一个Authority区域以及一个Additional区域对应的所有字段，例如包括NAME、TYPE、CLASS、TTL、RDLENGTH、RDATA等。将每条资源记录数据中的字段以第三分隔符为间隔，例如第三分隔符可取竖线“|”(ASCII值为124)，记录为一条资源记录信息项。一条DNS响应数据报文中可能出现多个Answer区域、Authority区域以及Additional区域，因此会有多条资源记录数据，能够记录出多条资源记录信息项，将各条资源记录信息项以第四分隔符为间隔，例如可取逗号“,”(ASCII值为44)作为第四分隔符，聚合成资源记录组信息项，与其余字段共同构成递归记录。
本领域技术人员可以理解，上述第一分隔符、第二分隔符、第三分隔符、第四分隔符的取值都仅为举例，只要未在字段中出现的符号均可以作为分隔符使用，也无固定的顺序要求，本发明实施例不再进行赘述。
本发明实施例中，上述基于DNS响应数据报文的递归日志提取方法运行在服务端上。
为了便于查询以用于后续分析，本发明实施例中的基于DNS响应数据报文的递归日志提取方法还包括：定时扫描DNS递归日志，将DNS递归日志存入搜索引擎，供查询使用。例如，通过配置Filebeat软件监控结构化的DNS递归日志文件，将DNS递归日志实时存入ElasticSearch搜索引擎，供查询分析使用。
下面结合一具体实施例，具体说明如何基于本发明实施例提供的基于DNS响应数据报文的递归日志提取方法，提取DNS递归日志并进行存储。本例应用于百度(www.***.com)的DNS响应数据报文解析。
选用114DNS做域名解析服务，配置网卡的主DNS服务器IP为114.114.114.114，备DNS服务器IP为115.115.115.115，通过浏览器访问http://www.***.com/，使用Wireshark抓包分析工具，获取到的DNS响应数据报文如图3所示。
分析提取图3所示的某一DNS响应数据报文中的字段的取值，如表4所示：
表4某一DNS响应书报文的字段取值表
Figure BDA0002244297710000081
Figure BDA0002244297710000091
Figure BDA0002244297710000101
对多条资源记录数据进行预处理，本例中，共有三条包含Answers区域字段的资源记录数据，将单条资源记录数据中的字段以“|”(ASCII值为124)为分隔符，记录为以下格式的资源记录信息项：NAME|TYPE|CLASS|TTL|RDLENGTH|RDATA，以Answers区域编号为2的资源记录数据为例，记录为：www.a.shifen.com|A|IN|159|4|180.101.49.12。
为了简便，将资源记录信息项记作ResourceGroup1、ResourceGroup2、ResourceGroup3……，将各条资源记录信息项以“,”(ASCII值为44)为间隔，聚合成资源记录组信息项：ResourceGroup1,ResourceGroup2,ResourceGroup3。本实例中具体为：
www.***.com|CNAME|IN|169|15|www.a.shifen.com,www.a.shifen.com|A|IN|159|4|180.101.49.12,www.a.shifen.com|A|IN|159|4|180.101.49.11
预处理结束后，按照各个字段以“；”(ASCII值为59)间隔的形式，将字段的取值记录成一条递归记录：
TIME；VERSION；SRC；DST；PROTOCOL；TTL；SRC_PORT；DST_PORT；TransactionID；QR；Opcode；AA；TC；RD；RA；Z；RCODE；QDCOUNT；ANCOUNT；NSCOUNT；ARCOUNT；QNAME；QTYPE；QCLASS；Answers；Authorities；Additions
其中，“Answers；Authorities；Additions”为预处理后的资源记录组信息项，本例中，仅有Answers，而无Authorities和Additions，根据实际DNS响应数据报文具体确定。若存在如本例中Authorities和Additions字段无取值的情况，按照递归记录中的对应字段处取值为空处理即可。
表4记录的某一DNS响应数据报文可被记录成一条递归记录如下：Sep6,2019；14:14:35.455236000；4；114.114.114.114；192.168.3.105；UDP；149；53；53196；0x284d；1；0；0；0；1；1；0；0；1；3；0；0；www.***.com；A；IN；www.***.com|CNAME|IN|169|15|www.a.shifen.com,www.a.shifen.com|A|IN|159|4|180.101.49.12,www.a.shifen.com|A|IN|159|4|180.101.49.11；；
简便起见，将多条递归记录用RecursiveRecord1、RecursiveRecord2、RecursiveRecord3、……表示，将各条递归记录以换行符“\n”为分隔符间隔，聚合形成DNS递归日志：
RecursiveRecord1
RecursiveRecord2
RecursiveRecord3
……
例如，图3所示的DNS响应数据报文形成的递归日志如下：
Sep6,2019；14:14:35.455236000；4；114.114.114.114；192.168.3.105；UDP；149；53；53196；0x284d；1；0；0；0；1；1；0；0；1；3；0；0；www.***.com；A；IN；www.***.com|CNAME|IN|169|15|www.a.shifen.com,www.a.shifen.com|A|IN|159|4|180.101.49.12,www.a.shifen.com|A|IN|159|4|180.101.49.11；；
Sep6,2019；14:14:35.827960000；4；114.114.114.114；192.168.3.105；UDP；150；53；58073；0xe93a；1；0；0；0；1；1；0；0；1；2；0；0；t1.***.com；A；IN；t1.***.com|CNAME|IN|102|17|simage.jomodns.com,simage.jomodns.com|A|IN|34|4|180.163.198.48；；
将时间字段标准化为YYYYMMDDHH24MISS后，规整得到：
20190906141435；4；114.114.114.114；192.168.3.105；UDP；149；53；53196；0x284d；1；0；0；0；1；1；0；0；1；3；0；0；www.***.com；A；IN；www.***.com|CNAME|IN|169|15|www.a.shifen.com,www.a.shifen.com|A|IN|159|4|180.101.49.12,www.a.shifen.com|A|IN|159|4|180.101.49.11；；
20190906141435；4；114.114.114.114；192.168.3.105；UDP；150；53；58073；0xe93a；1；0；0；0；1；1；0；0；1；2；0；0；t1.***.com；A；IN；t1.***.com|CNAME|IN|102|17|simage.jomodns.com,simage.jomodns.com|A|IN|34|4|180.163.198.48；；
该具体实例定时扫描生成的DNS递归日志，将DNS递归日志存入搜索引擎，供查询使用，具体流程示意图如图4所示，通过配置Filebeat软件监控结构化的DNS递归日志文件，将DNS递归日志实时存入ElasticSearch搜索引擎，供查询分析使用。其中，Filebeat是一个日志文件托运软件工具，filebeat会监控服务端日志目录或者指定的日志文件，追踪读取这些文件(追踪文件的变化，不停的实时读取)，并且转发这些信息到elasticsearch或者logstarsh中存放，而ElasticSearch是一个基于Lucene的搜索服务器，是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎，能够提供一个分布式多用户能力的全文搜索引擎。ElasticSearch搜索引擎能够适用于多种编程语言，并实现实时搜索，稳定，可靠，快速，安装使用方便。
基于同一发明构思，本发明实施例还提供一种基于DNS响应数据报文的递归日志提取装置，由于基于DNS响应数据报文的递归日志提取装置所解决问题的原理与基于DNS响应数据报文的递归日志提取方法相似，因此基于DNS响应数据报文的递归日志提取装置的实施可以参见基于DNS响应数据报文的递归日志提取方法的实施，重复之处不再赘述，具体结构如图5所示：
报文获取模块501，用于获取DNS响应数据报文；
分析提取模块502，用于分析提取DNS响应数据报文中字段的取值；
递归记录形成模块503，用于按照各个字段以第一分隔符间隔的形式，将字段的取值记录成一条递归记录；
递归日志形成模块504，用于将各条递归记录以第二分隔符间隔，聚合形成DNS递归日志。
具体实施时，本发明具体实施例提供的基于DNS响应数据报文的递归日志提取装置如图6所示，在图5所示的基础上还包括：预处理模块601，用于：
字段包括多条资源记录数据，资源记录数据包括DNS响应数据报文资源记录区对应的字段，按照各个字段以第一分隔符间隔的形式，将字段的取值记录成一条递归记录前，对多条资源记录数据进行预处理，包括：
将每条资源记录数据中的字段以第三分隔符为间隔，记录为一条资源记录信息项；
将各条资源记录信息项以第四分隔符为间隔，聚合成资源记录组信息项。
为了便于后续的调用分析，具体实施例中的基于DNS响应数据报文的递归日志提取装置还包括：存储模块，用于定时扫描DNS递归日志，将DNS递归日志存入搜索引擎，供查询使用。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于DNS响应数据报文的递归日志提取方法。
本发明实施例还提供一种计算机可读存储介质，存储有执行上述基于DNS响应数据报文的递归日志提取方法的计算机程序。
综上所述，本发明实施例提供的基于DNS响应数据报文的递归日志提取方法及装置具有以下优点：
通过分析提取获取到的DNS响应数据报文中的字段的取值，按照各个字段以第一分隔符间隔的形式，将字段的取值记录成一条递归记录；将各条递归记录以第二分隔符间隔，聚合形成DNS递归日志；得到格式统一、清晰的DNS递归日志，实现了服务端实时监控并分析DNS响应数据报文，提取关键字段，实时生成格式化的DNS递归日志，并进行持久化存储，与现有技术中手工使用第三方工具进行抓包相比，本申请上述方法对DNS数据报文进行了字段的取值提取、第一分隔符间隔形成递归记录、第二分隔符间隔形成DNS递归日志等操作，实现了简便快捷地对DNS数据报文进行有效的挖掘与利用，重现了历史数据，以格式统一的文件形式将海量的DNS解析记录存入搜索引擎中，便于后续运维人员快速高效地查询DNS解析记录。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、装置和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于DNS响应数据报文的递归日志提取方法，其特征在于，包括：
获取DNS响应数据报文；
分析提取所述DNS响应数据报文中字段的取值；
其中，所述字段包括多条资源记录数据，所述资源记录数据包括DNS响应数据报文资源记录区对应的字段；
将每条资源记录数据中的字段以第三分隔符为间隔，记录为一条资源记录信息项；
将各条资源记录信息项以第四分隔符为间隔，聚合成资源记录组信息项；
按照各个字段以第一分隔符间隔的形式，将所述字段的取值记录成一条递归记录；其中，所述各个字段包含所述资源记录组信息项；
将各条递归记录以第二分隔符间隔，聚合形成DNS递归日志。
2.如权利要求1所述的方法，其特征在于，所述字段包括以下内容的任意一项或任意项组合：
时间、版本、源地址、目的地址、传输层协议、生存时间、源端口、目的端口、事务标识、查询/响应标志、操作码、授权回答、可截断标记、期望递归、可用递归、预留字段、返回码、查询区域的记录数、应答区域的记录数、授权区域的记录数、附加区域的记录数、查询的域名名称、查询类型、查询类别以及资源记录组信息项。
3.如权利要求1所述的方法，其特征在于，所述基于DNS响应数据报文的递归日志提取方法运行在服务端上。
4.如权利要求1至3中任一项所述的方法，其特征在于，还包括：
定时扫描所述DNS递归日志，将所述DNS递归日志存入搜索引擎，供查询使用。
5.一种基于DNS响应数据报文的递归日志提取装置，其特征在于，包括：
报文获取模块，用于获取DNS响应数据报文；
分析提取模块，用于分析提取所述DNS响应数据报文中字段的取值；
其中，所述字段包括多条资源记录数据，所述资源记录数据包括DNS响应数据报文资源记录区对应的字段；
预处理模块，用于将每条资源记录数据中的字段以第三分隔符为间隔，记录为一条资源记录信息项；
将各条资源记录信息项以第四分隔符为间隔，聚合成资源记录组信息项；
递归记录形成模块，用于按照各个字段以第一分隔符间隔的形式，将所述字段的取值记录成一条递归记录；其中，所述各个字段包含所述资源记录组信息项；
递归日志形成模块，用于将各条递归记录以第二分隔符间隔，聚合形成DNS递归日志。
6.如权利要求5所述的装置，其特征在于，还包括：存储模块，用于定时扫描所述DNS递归日志，将所述DNS递归日志存入搜索引擎，供查询使用。
7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4任一所述方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至4任一所述方法的计算机程序。
CN201911011397.3A 2019-10-23 2019-10-23 基于dns响应数据报文的递归日志提取方法及装置 Active CN112702445B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911011397.3A CN112702445B (zh) 2019-10-23 2019-10-23 基于dns响应数据报文的递归日志提取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911011397.3A CN112702445B (zh) 2019-10-23 2019-10-23 基于dns响应数据报文的递归日志提取方法及装置

Publications (2)

Publication Number Publication Date
CN112702445A CN112702445A (zh) 2021-04-23
CN112702445B true CN112702445B (zh) 2023-04-07

Family

ID=75505063

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911011397.3A Active CN112702445B (zh) 2019-10-23 2019-10-23 基于dns响应数据报文的递归日志提取方法及装置

Country Status (1)

Country Link
CN (1) CN112702445B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007249694A (ja) * 2006-03-16 2007-09-27 Nec Corp ログフォーマット変換装置、ログフォーマット変換方法、及びログフォーマット変換プログラム
CN103685589A (zh) * 2012-09-07 2014-03-26 中国科学院计算机网络信息中心 基于二进制编码的dns数据压缩、解压缩方法及***
CN104468857A (zh) * 2014-11-03 2015-03-25 北京百度网讯科技有限公司 一种对应关系的获取方法及***
CN106126383A (zh) * 2016-06-01 2016-11-16 杭州华三通信技术有限公司 一种日志处理方法和装置
JP2018174469A (ja) * 2017-03-31 2018-11-08 西日本電信電話株式会社 Ｄｎｓサーバ、ｄｎｓサーバにおけるブラックリスト生成方法、ｄｎｓサーバに用いるブラックリスト生成プログラム
WO2018214853A1 (zh) * 2017-05-22 2018-11-29 贵州白山云科技有限公司 一种减小dns报文长度的方法、装置、介质及设备
CN109995885A (zh) * 2017-12-30 2019-07-09 ***通信集团辽宁有限公司 域名空间结构呈现方法、装置、设备及介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9910870B2 (en) * 2014-01-29 2018-03-06 Sap Se System and method for creating data models from complex raw log files
US10977256B2 (en) * 2017-03-02 2021-04-13 Discovered Intelligence Inc. System for aggregation and prioritization of IT asset field values from real-time event logs and method thereof
US20190141067A1 (en) * 2017-11-09 2019-05-09 Cisco Technology, Inc. Deep recurrent neural network for cloud server profiling and anomaly detection through dns queries

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007249694A (ja) * 2006-03-16 2007-09-27 Nec Corp ログフォーマット変換装置、ログフォーマット変換方法、及びログフォーマット変換プログラム
CN103685589A (zh) * 2012-09-07 2014-03-26 中国科学院计算机网络信息中心 基于二进制编码的dns数据压缩、解压缩方法及***
CN104468857A (zh) * 2014-11-03 2015-03-25 北京百度网讯科技有限公司 一种对应关系的获取方法及***
CN106126383A (zh) * 2016-06-01 2016-11-16 杭州华三通信技术有限公司 一种日志处理方法和装置
JP2018174469A (ja) * 2017-03-31 2018-11-08 西日本電信電話株式会社 Ｄｎｓサーバ、ｄｎｓサーバにおけるブラックリスト生成方法、ｄｎｓサーバに用いるブラックリスト生成プログラム
WO2018214853A1 (zh) * 2017-05-22 2018-11-29 贵州白山云科技有限公司 一种减小dns报文长度的方法、装置、介质及设备
CN109995885A (zh) * 2017-12-30 2019-07-09 ***通信集团辽宁有限公司 域名空间结构呈现方法、装置、设备及介质

Also Published As

Publication number Publication date
CN112702445A (zh) 2021-04-23

Similar Documents

Publication Publication Date Title
CN107818150B (zh) 一种日志审计方法及装置
US10929345B2 (en) System and method of performing similarity search queries in a network
CN107087001B (zh) 一种分布式的互联网重要地址空间检索***
KR101010302B1 (ko) Ｉｒｃ 및 ｈｔｔｐ 봇넷 보안 관제를 위한 관리 시스템 및 그 방법
CN101711470A (zh) 一种用于在对等网络上创建共享信息列表的***和方法
CN110650128A (zh) 一种检测以太坊数字货币盗取攻击的***及方法
CN112347165B (zh) 日志处理方法、装置及服务器和计算机可读存储介质
CN103888490A (zh) 一种全自动的web客户端人机识别的方法
CN104317601B (zh) 一种文件接口开发方法及***
CN108632111A (zh) 一种基于日志的服务链路监控方法
CN112632129B (zh) 一种码流数据管理方法、装置及存储介质
CN109542741A (zh) 日志自动分组存储方法、装置、计算机设备和存储介质
US11336663B2 (en) Recording medium on which evaluating program is recorded, evaluating method, and information processing apparatus
US20210058411A1 (en) Threat information extraction device and threat information extraction system
Sanjappa et al. Analysis of logs by using logstash
CN112688932A (zh) 蜜罐生成方法、装置、设备及计算机可读存储介质
CN109274556A (zh) 一种web日志的收集分析***
CN107895039B (zh) 一种校园网认证***日志数据库的构建方法
CN114338600A (zh) 一种设备指纹的推选方法、装置、电子设备和介质
CN112714118B (zh) 网络流量检测方法和装置
CN112702445B (zh) 基于dns响应数据报文的递归日志提取方法及装置
EP3718284B1 (en) Extending encrypted traffic analytics with traffic flow data
JP2019040533A (ja) サイバー攻撃情報処理プログラム、サイバー攻撃情報処理方法および情報処理装置
CN115296892B (zh) 数据信息服务***
CN115866101A (zh) 一种内外网联动多协议的资产归属识别方法、装置和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: Room 702-2, No. 4811, Cao'an Highway, Jiading District, Shanghai

Patentee after: CHINA UNITECHS

Address before: 100872 5th floor, Renmin culture building, 59 Zhongguancun Street, Haidian District, Beijing

Patentee before: CHINA UNITECHS