CN111031068A - 一种基于复杂网络的dns分析方法 - Google Patents

一种基于复杂网络的dns分析方法 Download PDF

Info

Publication number
CN111031068A
CN111031068A CN201911375079.5A CN201911375079A CN111031068A CN 111031068 A CN111031068 A CN 111031068A CN 201911375079 A CN201911375079 A CN 201911375079A CN 111031068 A CN111031068 A CN 111031068A
Authority
CN
China
Prior art keywords
domain name
malicious
dns
data
community
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911375079.5A
Other languages
English (en)
Other versions
CN111031068B (zh
Inventor
刘晶
范渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DBAPPSecurity Co Ltd
Original Assignee
DBAPPSecurity Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DBAPPSecurity Co Ltd filed Critical DBAPPSecurity Co Ltd
Priority to CN201911375079.5A priority Critical patent/CN111031068B/zh
Publication of CN111031068A publication Critical patent/CN111031068A/zh
Application granted granted Critical
Publication of CN111031068B publication Critical patent/CN111031068B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/45—Network directories; Name-to-address mapping
    • H04L61/4505—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
    • H04L61/4511—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种基于复杂网络的DNS分析方法，通过读取DNS数据并基于DNS数据进行预处理，基于此分别建立域名解析IP矩阵和源IP、访问域名及访问频次矩阵和源IP、解析IP矩阵，利用复杂网络查找社群，结合威胁情报库挖掘新的恶意域名、新的恶意IP或黑客团伙，最终将相关分析结论数据写入数据库。本发明采用复杂网络理论来发现网络中的社群，再与威胁情报库结合分析，既可以应用于大规模的DNS数据分析，也可以通过社群发现、进而高效挖掘、发现一些威胁情报库中没有的、未知的域名和IP，同时，由于相关社群的锁定是基于威胁情报库这类高可靠数据，故也避免了出现误报和漏报较高的现实情况。

Description

一种基于复杂网络的DNS分析方法
技术领域
本发明涉及数字信息的传输，例如电报通信的技术领域，特别涉及一种基于复杂网络的DNS分析方法。
背景技术
复杂网络，是指具有自组织、自相似、吸引子、小世界、无标度中的部分或全部性质的网络，其主要表现有结构复杂、网络进化、连接多样性、动力学复杂性和节点多样性。
DNS是现代网络的基础，一旦基础网络出现问题，那么上层应用根本没有安全可言。
现有技术中，一般的DNS数据分析思维有如下几个步骤：
1.对域名进行批量查询其A记录、CNAME与泛解析；
2.分析域名是否采用了CDN、云防护等相关设备；
3.数据分析；
数据分析需要分析域名DNS解析后是否对应同一IP，一方面可以用来分析同一IP下有哪些网站，另一方面若该IP为恶意IP，则可以通过IP上对应的域名了解哪些网站的域名被恶意解析，随后判断哪些域名使用CDN、云防护之类产品或服务；
分析IP的地理位置，如政府类域名解析后，其IP地理位置一般都为其域名所有者所属地市，若发现存在非当地城市，则需要进行提取并分析，即使采用了CDN、云防护之类的产品，DNS解析后的IP地理位置应该也在国内，一般不会解析到国外的IP，若解析到国外，需要提取并分析；
把解析后得到的IP地址全部查询一下其IP的威胁情况，对恶意的IP上的域名进行提取并统计同一IP下的域名；
分析入侵目的；若恶意的IP上有黑客注册的网站，可提取网站备案的邮箱、QQ及域名相关的日志，尝试关联黑客身份信息。
现有技术中，也有一些对于DNS的分析方法，但这些方法或多或少存在不足之处。
如使用Wireshark等软件对DNS数据进行抓包解析，再进行深入的分析；这种分析对单个DNS日志的分析最为深入，但对动辄上亿的DNS日志，进行此类分析是不现实的，且一些攻击或威胁相关日志之间存在关联，这种方法难以对此类情况进行分析。
再如利用Spark等大数据平台和威胁情报库对DNS数据进行SQL数据筛选、匹配、分组、汇总等的分析操作，得到相关数据分析结果，这种方法是目前大数据框架下的常规DNS日志分析，应用范围也最广，由于是基本SQL数据操作，没有太大的技术门槛，但要挖掘出非威胁情报库的域名和IP是无法达成的。
也有基于机器学***台也会使用DGA算法产生域名用来CDN加速，并且很多恶意域名并不是采用DGA算法来生成，所以该方法也有较大的弊端。
综上，目前的DNS黑域名和黑IP发现主要基于网络安全知识，在目前的大数据量情况下，效率较低，且存在很多漏报的情况。
发明内容
本发明解决了现有技术中存在的问题，提供了一种优化的基于复杂网络的DNS分析方法，基于复杂网络的社群发现，并将其与情报库或其它相关数据分析结合，能够发现隐藏的其它黑IP和黑域名，能很好与传统方法相结合。
本发明所采用的技术方案是，一种基于复杂网络的DNS分析方法，所述方法包括以下步骤：
步骤1：读取DNS数据；
步骤2：基于DNS数据中的域名和解析IP进行预处理；
步骤3：建立域名解析IP矩阵，利用复杂网络查找社群，结合威胁情报库挖掘新的恶意域名；
步骤4：基于DNS数据中的域名和源IP进行预处理；
步骤5：建立源IP、访问域名及访问频次矩阵，利用复杂网络查找社群，结合威胁情报库挖掘新的恶意IP；
步骤6：建立源IP、解析IP矩阵，利用复杂网络查找社群，挖掘新的恶意IP或黑客团伙；
步骤7：将相关分析结论数据写入数据库。
优选地，所述步骤2包括以下步骤：
步骤2.1：对DNS数据进行抽取，获得任一DNS的域名和解析IP；
步骤2.2：对同一域名但存在多个解析IP的进行展开；
步骤2.3：对域名进行去重，以去重后的域名建立新矩阵，新矩阵中的每个元素为一个域名与另一个域名具有相同IP的个数；
步骤2.4：对新矩阵进行取出操作，去除所有的0值，得到变换后的N×3维矩阵。
优选地，所述步骤2.1中，获得的域名进行回溯，得到真实域名。
优选地，所述步骤2.3中，新矩阵的行名和列名相同且一一对应；新矩阵的对角线的元素均为0。
优选地，所述步骤2.4中，N×3维矩阵的第一列和第二列为域名，第三列为第一列和第二列域名具有相同解析IP的个数。
优选地，所述步骤3包括以下步骤：
步骤3.1：基于建立的域名解析IP矩阵，利用复杂网络中的社群算法对数据框中第一列和第二列的所有域名进行社群划分；
步骤3.2：从Hive中抽取威胁情报数据，对所有的域名进行加密，并与威胁情报中加密的域名进行匹配，锁定恶意域名所在位置，同时得到与其具有相同IP的其它域名；
步骤3.3：以得到的匹配恶意域名锁定其在网络中的社群，根据其所在社群得到高疑似恶意域名，度量各个高疑似恶意域名的重要性，对各个高疑似恶意域名的重要性进行排名；
步骤3.4：从Elastic Search数据库中加载前期IoC分析得到的结果，抽取C&C威胁类型的域名，并基于之前划分的社群及IoC分析，寻找其它恶意域名；
步骤3.5：对感兴趣的网络中的最大组件单独进行分析；
步骤3.6：以步骤3.2中的恶意域名、其他域名、步骤3.3中的高疑似恶意域名、步骤3.4中的其他恶意域名和步骤3.5的分析结果进行推送，可视化。
优选地，所述步骤4包括以下步骤：
步骤4.1：对DNS数据进行抽取，获得任一DNS的域名和源IP；
步骤4.2：获得的域名进行回溯，得到真实域名，对同一域名但解析出多个IP的进行展开；
步骤4.3：对域名进行去重并分组数据操作；
步骤4.4：得到一个新的基于源IP、访问域名及访问频次矩阵的N×3维矩阵。
优选地，所述步骤5包括以下步骤：
步骤5.1：基于新建立的源IP、访问域名及访问频次矩阵，利用复杂网络中的社群算法对数据框中的源IP进行社群划分；
步骤5.2：从Hive中抽取威胁情报数据，对源IP进行加密，与威胁情报中的加密后的 IP进行匹配，以匹配的IP锁定为恶意IP，同时得到对应恶意IP的高频访问的域名，列入待进一步分析的域名；
步骤5.3：将上步得到匹配的恶意IP锁定其在网络中的社群，得到所述恶意IP在社群中对应的其他高疑似恶意IP，度量各个节点的重要性，对各个IP的重要性进行排名；
步骤5.4：对感兴趣的网络中的最大组件单独进行分析；
步骤5.5：从Elastic Search数据库中加载前期IoC分析得到的结果，抽取感兴趣的C&C威胁类型的IP，并基于划分的社群，寻找其它恶意源IP；
步骤5.6：对步骤5.3中的高疑似恶意IP及步骤5.5的分析结果进行推送，可视化。
优选地，所述步骤6包括以下步骤：
步骤6.1：从原始DNS数据中抽取源IP和解析IP两个字段，筛选出源IP与解析IP相同的数据；
步骤6.2：从Hive中抽取威胁情报数据，对步骤6.1的源IP进行加密，并与威胁情报中的加密的 IP进行匹配，锁定数据框中恶意IP所在位置；
步骤6.3：利用复杂网络对源IP和解析IP进一步做社群划分，锁定恶意IP所在社群，将与其处于同一社群的其它IP作为高疑似恶意IP。
优选地，所述步骤7中，将相关可视化图片自动***分析报告，将相关分析得到的数据写入数据库。
本发明涉及一种优化的基于复杂网络的DNS分析方法，通过读取DNS数据并基于DNS数据进行预处理，基于此分别建立域名解析IP矩阵和源IP、访问域名及访问频次矩阵和源IP、解析IP矩阵，利用复杂网络查找社群，结合威胁情报库挖掘新的恶意域名、新的恶意IP或黑客团伙，最终将相关分析结论数据写入数据库。
本发明具体包括三个子模型：
第一个子模型是在建立域名解析IP矩阵后，利用复杂网络发现网络中的社群，然后将矩阵的域名同情报库中的黑域名及其相应的威胁类型进行匹配，在精准定位DNS数据中存在的黑域名后再将分析其对应的复杂网络中的社群，则黑域名所在社群中的其它域名也有很大可能是未经发现的黑域名，另外对于具有相同IP较多且访问流量较大的域名及IP可以重点关注，其一旦受到的网络攻击一旦成功，则会造成更严重的后果；同时该子模型也会对网络图中的感兴趣的组件（比如最大的组件）进行更为深入的单独分析；
第二子模型是建立源IP、访问域名及汇总访问频次矩阵，然后利用复杂网络发现该网络中的社群，然后将矩阵的域名同情报库中的黑IP及其相应的威胁类型进行匹配，在精准定位DNS数据中存在的黑IP后再将分析其对应的复杂网络中的社群，则黑IP所在社群中的其它IP也有很大可能是未经发现的黑IP；另外，该子模型还可以利用前期IOC分析得到感兴趣的威胁类型IP，分析其中有哪些源IP与解析IP是同一IP；
第三个子模型是建立源IP、解析IP矩阵，再利用复杂网络发现该网络中的社群，基于情报库信息（如僵尸网络IP等）或其它相关分析，进行网络推断去发现其它更多的黑产IP或黑客团伙。
本发明采用复杂网络理论来发现网络中的社群，再与威胁情报库结合分析，既可以应用于大规模的DNS数据分析，也可以通过社群发现、进而高效挖掘、发现一些威胁情报库中没有的、未知的域名和IP，同时，由于相关社群的锁定是基于威胁情报库这类高可靠数据，故也避免了出现误报和漏报较高的现实情况。
附图说明
图1为本发明的流程图。
具体实施方式
下面结合实施例对本发明做进一步的详细描述，但本发明的保护范围并不限于此。
本发明涉及一种基于复杂网络的DNS分析方法，所述方法包括以下步骤。
步骤1：读取DNS数据。
本发明中，可以从Hive中随机抽取3万个样本数据进行处理。
步骤2：基于DNS数据中的域名和解析IP进行预处理。
所述步骤2包括以下步骤：
步骤2.1：对DNS数据进行抽取，获得任一DNS的域名和解析IP；
所述步骤2.1中，获得的域名进行回溯，得到真实域名。
步骤2.2：对同一域名但存在多个解析IP的进行展开；
步骤2.3：对域名进行去重，以去重后的域名建立新矩阵，新矩阵中的每个元素为一个域名与另一个域名具有相同IP的个数；
所述步骤2.3中，新矩阵的行名和列名相同且一一对应；新矩阵的对角线的元素均为0。
步骤2.4：对新矩阵进行取出操作，去除所有的0值，得到变换后的N×3维矩阵。
所述步骤2.4中，N×3维矩阵的第一列和第二列为域名，第三列为第一列和第二列域名具有相同解析IP的个数。
本发明中，因为步骤2.3的矩阵是对称矩阵，故矩阵的对角线需设为0，以该值代表域名自身解析IP的个数。
本发明中，步骤2.4的取出操作为“收集”（gather）操作。
步骤3：建立域名解析IP矩阵，利用复杂网络查找社群，结合威胁情报库挖掘新的恶意域名。
所述步骤3包括以下步骤：
步骤3.1：基于建立的域名解析IP矩阵，利用复杂网络中的社群算法对数据框中第一列和第二列的所有域名进行社群划分；
步骤3.2：从Hive中抽取威胁情报数据，对所有的域名进行加密，并与威胁情报中加密的域名进行匹配，锁定恶意域名所在位置，同时得到与其具有相同IP的其它域名；
步骤3.3：以得到的匹配恶意域名锁定其在网络中的社群，根据其所在社群得到高疑似恶意域名，度量各个高疑似恶意域名的重要性，对各个高疑似恶意域名的重要性进行排名；
步骤3.4：从Elastic Search数据库中加载前期IoC分析得到的结果，抽取C&C威胁类型的域名，并基于之前划分的社群及IoC分析，寻找其它恶意域名；
步骤3.5：对感兴趣的网络中的最大组件单独进行分析；
步骤3.6：以步骤3.2中的恶意域名、其他域名、步骤3.3中的高疑似恶意域名、步骤3.4中的其他恶意域名和步骤3.5的分析结果进行推送，可视化。
本发明中，举例来说，步骤3.1可以利用复杂网络Walktrap社区发现算法查找社群。WalkTrap算法是随机游走中的经典算法，其以每一个点当做一个社区，计算相邻的社区之间的距离，并逐次合并所有关联社区至一个社区，处理速度快。本领域技术人员可以依据需求自行设置。
本发明中，步骤3.2中的加密一般为md5加密，此处得到的其他域名有极大可能是恶意域名。
本发明中，步骤3.3中，可以利用复杂网络的接近中心性、介数中心度和特征向量中心度等中心度算法衡量各个节点（域名）的重要性，对各个恶意域名的重要性进行排名，同时进行可视化；优选接近中心性方法，其可以直观反映在网络中某一节点与其他节点之间的接近程度，距离其他节点越近，则接近性中心性越大。
步骤4：基于DNS数据中的域名和源IP进行预处理。
所述步骤4包括以下步骤：
步骤4.1：对DNS数据进行抽取，获得任一DNS的域名和源IP；
步骤4.2：获得的域名进行回溯，得到真实域名，对同一域名但解析出多个IP的进行展开；
步骤4.3：对域名进行去重并分组数据操作；
步骤4.4：得到一个新的基于源IP、访问域名及访问频次矩阵的N×3维矩阵。
步骤5：建立源IP、访问域名及访问频次矩阵，利用复杂网络查找社群，结合威胁情报库挖掘新的恶意IP。
所述步骤5包括以下步骤：
步骤5.1：基于新建立的源IP、访问域名及访问频次矩阵，利用复杂网络中的社群算法对数据框中的源IP进行社群划分；
步骤5.2：从Hive中抽取威胁情报数据，对源IP进行加密，与威胁情报中的加密后的 IP进行匹配，以匹配的IP锁定为恶意IP，同时得到对应恶意IP的高频访问的域名，列入待进一步分析的域名；
步骤5.3：将上步得到匹配的恶意IP锁定其在网络中的社群，得到所述恶意IP在社群中对应的其他高疑似恶意IP，度量各个节点的重要性，对各个IP的重要性进行排名；
步骤5.4：对感兴趣的网络中的最大组件单独进行分析；
步骤5.5：从Elastic Search数据库中加载前期IoC分析得到的结果，抽取感兴趣的C&C威胁类型的IP，并基于划分的社群，寻找其它恶意源IP；
步骤5.6：对步骤5.3中的高疑似恶意IP及步骤5.5的分析结果进行推送，可视化本发明中，步骤4.3中的加密一般为md5加密，此处被黑IP高频访问的域名可能是受害域名，也可能是黑域名。
本发明中，举例来说，步骤5.1可以利用复杂网络Walktrap社区发现算法查找社群。
本发明中，步骤5.2中，恶意IP的高频访问的域名有可能是受害域名，也可能是恶意域名，列入待进一步分析的域名。
本发明中，步骤5.3中，度量各个节点的重要性的方法包括但不限于利用复杂网络的“接近中心性”方法。
步骤6：建立源IP、解析IP矩阵，利用复杂网络查找社群，挖掘新的恶意IP或黑客团伙。
所述步骤6包括以下步骤：
步骤6.1：从原始DNS数据中抽取源IP和解析IP两个字段，筛选出源IP与解析IP相同的数据；
步骤6.2：从Hive中抽取威胁情报数据，对步骤6.1的源IP进行加密，并与威胁情报中的加密的 IP进行匹配，锁定数据框中恶意IP所在位置；
步骤6.3：利用复杂网络对源IP和解析IP进一步做社群划分，锁定恶意IP所在社群，将与其处于同一社群的其它IP作为高疑似恶意IP。
本发明中，举例来说，步骤6.1可以利用复杂网络Walktrap社区发现算法查找社群。
本发明中，步骤6.2的加密一般为md5加密，此处得到的黑IP有极大可能是黑客搭建黑域名服务器的IP。
步骤7：将相关分析结论数据写入数据库。
所述步骤7中，将相关可视化图片自动***分析报告，将相关分析得到的数据写入数据库。
本发明通过读取DNS数据并基于DNS数据进行预处理，基于此分别建立域名解析IP矩阵和源IP、访问域名及访问频次矩阵和源IP、解析IP矩阵，利用复杂网络查找社群，结合威胁情报库挖掘新的恶意域名、新的恶意IP或黑客团伙，最终将相关分析结论数据写入数据库。
本发明采用复杂网络理论来发现网络中的社群，再与威胁情报库结合分析，既可以应用于大规模的DNS数据分析，也可以通过社群发现、进而高效挖掘、发现一些威胁情报库中没有的、未知的域名和IP，同时，由于相关社群的锁定是基于威胁情报库这类高可靠数据，故也避免了出现误报和漏报较高的现实情况。

Claims (10)

1.一种基于复杂网络的DNS分析方法，其特征在于：所述方法包括以下步骤：
步骤1：读取DNS数据；
步骤2：基于DNS数据中的域名和解析IP进行预处理；
步骤3：建立域名解析IP矩阵，利用复杂网络查找社群，结合威胁情报库挖掘新的恶意域名；
步骤4：基于DNS数据中的域名和源IP进行预处理；
步骤5：建立源IP、访问域名及访问频次矩阵，利用复杂网络查找社群，结合威胁情报库挖掘新的恶意IP；
步骤6：建立源IP、解析IP矩阵，利用复杂网络查找社群，挖掘新的恶意IP或黑客团伙；
步骤7：将相关分析结论数据写入数据库。
2.根据权利要求1所述的一种基于复杂网络的DNS分析方法，其特征在于：所述步骤2包括以下步骤：
步骤2.1：对DNS数据进行抽取，获得任一DNS的域名和解析IP；
步骤2.2：对同一域名但存在多个解析IP的进行展开；
步骤2.3：对域名进行去重，以去重后的域名建立新矩阵，新矩阵中的每个元素为一个域名与另一个域名具有相同IP的个数；
步骤2.4：对新矩阵进行取出操作，去除所有的0值，得到变换后的N×3维矩阵。
3.根据权利要求2所述的一种基于复杂网络的DNS分析方法，其特征在于：所述步骤2.1中，获得的域名进行回溯，得到真实域名。
4.根据权利要求2所述的一种基于复杂网络的DNS分析方法，其特征在于：所述步骤2.3中，新矩阵的行名和列名相同且一一对应；新矩阵的对角线的元素均为0。
5.根据权利要求2所述的一种基于复杂网络的DNS分析方法，其特征在于：所述步骤2.4中，N×3维矩阵的第一列和第二列为域名，第三列为第一列和第二列域名具有相同解析IP的个数。
6.根据权利要求2所述的一种基于复杂网络的DNS分析方法，其特征在于：所述步骤3包括以下步骤：
步骤3.1：基于建立的域名解析IP矩阵，利用复杂网络中的社群算法对数据框中第一列和第二列的所有域名进行社群划分；
步骤3.2：从Hive中抽取威胁情报数据，对所有的域名进行加密，并与威胁情报中加密的域名进行匹配，锁定恶意域名所在位置，同时得到与其具有相同IP的其它域名；
步骤3.3：以得到的匹配恶意域名锁定其在网络中的社群，根据其所在社群得到高疑似恶意域名，度量各个高疑似恶意域名的重要性，对各个高疑似恶意域名的重要性进行排名；
步骤3.4：从Elastic Search数据库中加载前期IoC分析得到的结果，抽取C&C威胁类型的域名，并基于之前划分的社群及IoC分析，寻找其它恶意域名；
步骤3.5：对感兴趣的网络中的最大组件单独进行分析；
步骤3.6：以步骤3.2中的恶意域名、其他域名、步骤3.3中的高疑似恶意域名、步骤3.4中的其他恶意域名和步骤3.5的分析结果进行推送，可视化。
7.根据权利要求1所述的一种基于复杂网络的DNS分析方法，其特征在于：所述步骤4包括以下步骤：
步骤4.1：对DNS数据进行抽取，获得任一DNS的域名和源IP；
步骤4.2：获得的域名进行回溯，得到真实域名，对同一域名但解析出多个IP的进行展开；
步骤4.3：对域名进行去重并分组数据操作；
步骤4.4：得到一个新的基于源IP、访问域名及访问频次矩阵的N×3维矩阵。
8.根据权利要求7所述的一种基于复杂网络的DNS分析方法，其特征在于：所述步骤5包括以下步骤：
步骤5.1：基于新建立的源IP、访问域名及访问频次矩阵，利用复杂网络中的社群算法对数据框中的源IP进行社群划分；
步骤5.2：从Hive中抽取威胁情报数据，对源IP进行加密，与威胁情报中的加密后的 IP进行匹配，以匹配的IP锁定为恶意IP，同时得到对应恶意IP的高频访问的域名，列入待进一步分析的域名；
步骤5.3：将上步得到匹配的恶意IP锁定其在网络中的社群，得到所述恶意IP在社群中对应的其他高疑似恶意IP，度量各个节点的重要性，对各个IP的重要性进行排名；
步骤5.4：对感兴趣的网络中的最大组件单独进行分析；
步骤5.5：从Elastic Search数据库中加载前期IoC分析得到的结果，抽取感兴趣的C&C威胁类型的IP，并基于划分的社群，寻找其它恶意源IP；
步骤5.6：对步骤5.3中的高疑似恶意IP及步骤5.5的分析结果进行推送，可视化。
9.根据权利要求1所述的一种基于复杂网络的DNS分析方法，其特征在于：所述步骤6包括以下步骤：
步骤6.1：从原始DNS数据中抽取源IP和解析IP两个字段，筛选出源IP与解析IP相同的数据；
步骤6.2：从Hive中抽取威胁情报数据，对步骤6.1的源IP进行加密，并与威胁情报中的加密的 IP进行匹配，锁定数据框中恶意IP所在位置；
步骤6.3：利用复杂网络对源IP和解析IP进一步做社群划分，锁定恶意IP所在社群，将与其处于同一社群的其它IP作为高疑似恶意IP。
10.根据权利要求1所述的一种基于复杂网络的DNS分析方法，其特征在于：所述步骤7中，将相关可视化图片自动***分析报告，将相关分析得到的数据写入数据库。
CN201911375079.5A 2019-12-27 2019-12-27 一种基于复杂网络的dns分析方法 Active CN111031068B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911375079.5A CN111031068B (zh) 2019-12-27 2019-12-27 一种基于复杂网络的dns分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911375079.5A CN111031068B (zh) 2019-12-27 2019-12-27 一种基于复杂网络的dns分析方法

Publications (2)

Publication Number Publication Date
CN111031068A true CN111031068A (zh) 2020-04-17
CN111031068B CN111031068B (zh) 2022-04-26

Family

ID=70196208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911375079.5A Active CN111031068B (zh) 2019-12-27 2019-12-27 一种基于复杂网络的dns分析方法

Country Status (1)

Country Link
CN (1) CN111031068B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112839054A (zh) * 2021-02-02 2021-05-25 杭州安恒信息技术股份有限公司 一种网络攻击检测方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102523311A (zh) * 2011-11-25 2012-06-27 中国科学院计算机网络信息中心 非法域名识别方法及装置
CN103491074A (zh) * 2013-09-09 2014-01-01 中国科学院计算机网络信息中心 僵尸网络检测方法及装置
US20140007238A1 (en) * 2012-06-29 2014-01-02 Vigilant Inc. Collective Threat Intelligence Gathering System
CN110223168A (zh) * 2019-06-24 2019-09-10 浪潮卓数大数据产业发展有限公司 一种基于企业关系图谱的标签传播反欺诈检测方法及***
US20190394225A1 (en) * 2018-06-22 2019-12-26 International Business Machines Corporation Optimizing Ingestion of Structured Security Information into Graph Databases for Security Analytics

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102523311A (zh) * 2011-11-25 2012-06-27 中国科学院计算机网络信息中心 非法域名识别方法及装置
US20140007238A1 (en) * 2012-06-29 2014-01-02 Vigilant Inc. Collective Threat Intelligence Gathering System
CN103491074A (zh) * 2013-09-09 2014-01-01 中国科学院计算机网络信息中心 僵尸网络检测方法及装置
US20190394225A1 (en) * 2018-06-22 2019-12-26 International Business Machines Corporation Optimizing Ingestion of Structured Security Information into Graph Databases for Security Analytics
CN110223168A (zh) * 2019-06-24 2019-09-10 浪潮卓数大数据产业发展有限公司 一种基于企业关系图谱的标签传播反欺诈检测方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
管磊等: "基于大数据的网络安全态势感知技术研究", 《信息网络安全》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112839054A (zh) * 2021-02-02 2021-05-25 杭州安恒信息技术股份有限公司 一种网络攻击检测方法、装置、设备及介质

Also Published As

Publication number Publication date
CN111031068B (zh) 2022-04-26

Similar Documents

Publication Publication Date Title
Wang et al. Delving into internet DDoS attacks by botnets: characterization and analysis
CN113556354B (zh) 一种基于流量分析的工业互联网安全威胁检测方法与***
CN113783896B (zh) 一种网络攻击路径追踪方法和装置
CN111818103B (zh) 一种网络靶场中基于流量的溯源攻击路径方法
CN111565205A (zh) 网络攻击识别方法、装置、计算机设备和存储介质
Mansmann et al. Visual support for analyzing network traffic and intrusion detection events using TreeMap and graph representations
CN107145779B (zh) 一种离线恶意软件日志的识别方法和装置
CN110210213B (zh) 过滤恶意样本的方法及装置、存储介质、电子装置
US10178109B1 (en) Discovery of groupings of security alert types and corresponding complex multipart attacks, from analysis of massive security telemetry
CN111988339A (zh) 一种基于dikw模型的网络攻击路径发现、提取和关联的方法
CN110177123B (zh) 基于dns映射关联图的僵尸网络检测方法
CN112822147A (zh) 一种用于分析攻击链的方法、***及设备
Zhao et al. A Classification Detection Algorithm Based on Joint Entropy Vector against Application‐Layer DDoS Attack
Jiang et al. Novel intrusion prediction mechanism based on honeypot log similarity
Hong et al. Ctracer: uncover C&C in advanced persistent threats based on scalable framework for enterprise log data
CN113111951A (zh) 数据处理方法以及装置
CN113923003A (zh) 一种攻击者画像生成方法、***、设备以及介质
CN111031068B (zh) 一种基于复杂网络的dns分析方法
Hsu et al. Detecting Web‐Based Botnets Using Bot Communication Traffic Features
Tao et al. A hybrid alarm association method based on AP clustering and causality
CN106411951B (zh) 网络攻击行为检测方法及装置
Leichtnam et al. Forensic analysis of network attacks: Restructuring security events as graphs and identifying strongly connected sub-graphs
Wijayanto et al. TAARA Method for Processing on the Network Forensics in the Event of an ARP Spoofing Attack
CN110912933A (zh) 一种基于被动测量的设备识别方法
CN115827379A (zh) 异常进程检测方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant