CN111200543A - 一种基于主动服务探测引擎技术的加密协议识别方法 - Google Patents

一种基于主动服务探测引擎技术的加密协议识别方法 Download PDF

Info

Publication number
CN111200543A
CN111200543A CN202010049560.1A CN202010049560A CN111200543A CN 111200543 A CN111200543 A CN 111200543A CN 202010049560 A CN202010049560 A CN 202010049560A CN 111200543 A CN111200543 A CN 111200543A
Authority
CN
China
Prior art keywords
data
technology
protocol
network
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010049560.1A
Other languages
English (en)
Inventor
刘琦
黄龙飞
石小川
张晶
陈瑜靓
赵昆杨
刘家祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Qidian Space Time Digital Technology Co ltd
Original Assignee
Fujian Qidian Space Time Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Qidian Space Time Digital Technology Co ltd filed Critical Fujian Qidian Space Time Digital Technology Co ltd
Priority to CN202010049560.1A priority Critical patent/CN111200543A/zh
Publication of CN111200543A publication Critical patent/CN111200543A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/18—Protocol analysers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

一种基于主动服务探测引擎技术的加密协议识别方法，构建加密网络行为模型库；使用抓包工具对网络数据进行抓取，以实现对网络交互数据的实时采集；从网络数据流中提取有效数据；对具有高相似度的数据以聚类的方式进行特征提取；计算数据特征与模型库中不同参考样本的相关系数；根据相关系数并结合基于节点的有状态识别技术、主动探测和服务伪装技术来对加密数据协议进行自动识。本发明优化了加密协议加密识别方法，识别效率高，识别结果更加准确，并且通过独有的节点建立连接统计规律分析，有效识别特征模糊或加密的P2P协议，以独有的主动服务探测引擎技术识别如skype的加密协议，以独有的服务伪装探测技术识别综合性应用协议，使用效果极佳。

Description

一种基于主动服务探测引擎技术的加密协议识别方法
技术领域
本发明涉及网络通信技术领域，尤其涉及一种基于主动服务探测引擎技术的加密协议识别方法。
背景技术
随着互联网的广泛普及，安全性问题越来越受到重视，安全超文本传送协议是一种常见的加密协议，一般与安全套接层协议/安全传输层协议组合使用，用以提供加密通讯及对网络服务器身份的鉴定，被广泛应用到对数据保密性要求很高的应用中，如网上银行、邮件、即时通讯、游戏账号登录等；在一般的协议识别方式中，HTTPS报文经过应用程序中的识别模块被直接识别为HTTPS报文，这种识别结果不能够满足精细化的应用识别和应用控制的粒度要求；在传统网络安全和网络监管中，通过提取网络流量中的明文内容获取信息，达到对网络恶意流量的监控、用户信息的识别、非法行为的捕获等目的，但随着加密技术的发展，越来越多的网络数据进行加密通信，加密数据即使被监听也很难从中获取有效信息，为了有效进行网络监管，如何从加密数据中提取有效信息成了研究网络安全方面技术的重点；
目前采用的加密协议识别方法的识别效率低，识别效果不好，识别结果不够准确，难以对不同类别的加密协议进行识别，有待进行改进。
发明内容
(一)发明目的
为解决背景技术中存在的技术问题，本发明提出一种基于主动服务探测引擎技术的加密协议识别方法，优化了加密协议加密识别方法，识别效率高，识别结果更加准确，并且通过独有的节点建立连接统计规律分析，有效识别特征模糊或加密的P2P协议，以独有的主动服务探测引擎技术识别如skype的加密协议，以独有的服务伪装探测技术识别类似迅雷(综合了P2P和HTTPFTP)的综合性应用协议，使用效果极佳。
(二)技术方案
本发明提出了一种基于主动服务探测引擎技术的加密协议识别方法，包括以下步骤：
S1、构建加密网络行为模型库；
S2、使用抓包工具对网络数据进行抓取，以实现对网络交互数据的实时采集；
S3、对采集的数据包进行过滤，得到用于特征提取的样本数据并构建完整数据集，以实现从网络数据流中提取有效数据；
S4、采用相似度算法对完整数据集进行相似度分类，对具有高相似度的数据以聚类的方式进行特征提取；
S5、计算数据特征与模型库中不同参考样本的相关系数；
S6、根据相关系数并结合基于节点的有状态识别技术、主动探测和服务伪装技术来对加密数据协议进行自动识别；
通过学习的方式采用连接识别和节点识别相结合而对方式大大减少的连接输，实现较少的资源监控更大的P2P应用网络，以提高识别效率。
优选的，S1的具体操作如下：
S11、获取大量不同版本的加密网络行为数据并进行分析；
S12、通过对加密网络行为的分析来提取能够表征各加密网络行为的特征；
S13、根据提取出的特征并结合相系数原理来构建模型库。
优选的，在S2中，抓包工具在抓取网络数据的同时还获取数据的特征，包括抓取时间、源IP地址、目的IP地址、源端口、目的端口、协议类型和加密内容长度。
优选的，S3的具体操作如下：
S31、根据网络数据的来源判断链路层协议，并依据链路层协议处理网络数据，丢弃与链路层以上协议无关的内容，以提取出网络层数据；
S32、对提取的网络层数据进行处理，若数据为非IP协议数据，则丢弃该数据；
S33、根据源IP地址、目的IP地址、源端口、目的端口和协议来汇聚数据流，实现对数据流的聚类。
优选的，在S6中，基于节点的有状态识别技术的具体操作如下：
从节点双方的通信过程中寻找特征数据，特征数据不限于某条特定的连接；若双方的特征相匹配，则***将记录该节点，而不是记录某条连接。
优选的，当节点被识别出来后，则后续同该节点通信的数据无需重新验证以提高***的性能。
优选的，在基于节点的有状态识别技术的基础上还向智能方面进一步发展该技术，具体如下：
从多条连接中自动根据统计规律来识别某些特征不明显或被加密的通信协议，以提高***识别的准确性。
优选的，在S6中，主动探测和服务伪装技术采用其独有的服务探测引擎和服务伪装引擎来识别加密协议。
优选的，服务探测引擎能够识别***P2P应用，服务伪装引擎能够识别综合了P2P和HTTPFTP等传输协议的应用。
本发明的上述技术方案具有如下有益的技术效果：首先构建加密网络行为模型库；然后对网络交互数据进行实时采集；之后从网络数据流中提取有效数据；然后采用相似度算法对完整数据集进行相似度分类，对具有高相似度的数据以聚类的方式进行特征提取；之后计算数据特征与模型库中不同参考样本的相关系数；最后根据相关系数并结合基于节点的有状态识别技术、主动探测和服务伪装技术来对加密数据协议进行自动识别；
本发明优化了加密协议加密识别方法，识别效率高，识别结果更加准确，并且通过独有的节点建立连接统计规律分析，有效识别特征模糊或加密的P2P协议，以独有的主动服务探测引擎技术识别如skype的加密协议，以独有的服务伪装探测技术识别类似迅雷(综合了P2P和HTTPFTP)的综合性应用协议，使用效果极佳。
附图说明
图1为本发明提出的一种基于主动服务探测引擎技术的加密协议识别方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
如图1所示，本发明提出的一种基于主动服务探测引擎技术的加密协议识别方法，包括以下步骤：
S1、构建加密网络行为模型库；
S2、使用抓包工具对网络数据进行抓取，以实现对网络交互数据的实时采集；
S3、对采集的数据包进行过滤，得到用于特征提取的样本数据并构建完整数据集，以实现从网络数据流中提取有效数据；
S4、采用相似度算法对完整数据集进行相似度分类，对具有高相似度的数据以聚类的方式进行特征提取；
S5、计算数据特征与模型库中不同参考样本的相关系数；
S6、根据相关系数并结合基于节点的有状态识别技术、主动探测和服务伪装技术来对加密数据协议进行自动识别；
通过学习的方式采用连接识别和节点识别相结合而对方式大大减少的连接输，实现较少的资源监控更大的P2P应用网络，以提高识别效率。
在一个可选的实施例中，S1的具体操作如下：
S11、获取大量不同版本的加密网络行为数据并进行分析；
S12、通过对加密网络行为的分析来提取能够表征各加密网络行为的特征；
S13、根据提取出的特征并结合相系数原理来构建模型库。
在一个可选的实施例中，在S2中，抓包工具在抓取网络数据的同时还获取数据的特征，包括抓取时间、源IP地址、目的IP地址、源端口、目的端口、协议类型和加密内容长度。
在一个可选的实施例中，S3的具体操作如下：
S31、根据网络数据的来源判断链路层协议，并依据链路层协议处理网络数据，丢弃与链路层以上协议无关的内容，以提取出网络层数据；
S32、对提取的网络层数据进行处理，若数据为非IP协议数据，则丢弃该数据；
S33、根据源IP地址、目的IP地址、源端口、目的端口和协议来汇聚数据流，实现对数据流的聚类。
在一个可选的实施例中，在S6中，基于节点的有状态识别技术的具体操作如下：从节点双方的通信过程中寻找特征数据，特征数据不限于某条特定的连接；若双方的特征相匹配，则***将记录该节点，而不是记录某条连接；当节点被识别出来后，则后续同该节点通信的数据无需重新验证以提高***的性能。
在一个可选的实施例中，在基于节点的有状态识别技术的基础上还向智能方面进一步发展该技术，具体如下：从多条连接中自动根据统计规律来识别某些特征不明显或被加密的通信协议，以提高***识别的准确性。
在一个可选的实施例中，在S6中，主动探测和服务伪装技术采用其独有的服务探测引擎和服务伪装引擎来识别加密协议；服务探测引擎能够识别***P2P应用，服务伪装引擎能够识别综合了P2P和HTTPFTP等传输协议的应用。
本发明中，首先构建加密网络行为模型库，具体操作如下：获取大量不同版本的加密网络行为数据并进行分析，通过对加密网络行为的分析来提取能够表征各加密网络行为的特征，根据提取出的特征并结合相系数原理来构建模型库；
然后使用抓包工具对网络数据进行抓取，以实现对网络交互数据的实时采集，抓包工具在抓取网络数据的同时还获取数据的特征，包括抓取时间、源IP地址、目的IP地址、源端口、目的端口、协议类型和加密内容长度；之后对采集的数据包进行过滤，得到用于特征提取的样本数据并构建完整数据集，以实现从网络数据流中提取有效数据，具体操作如下：根据网络数据的来源判断链路层协议，并依据链路层协议处理网络数据，丢弃与链路层以上协议无关的内容，以提取出网络层数据，再对提取的网络层数据进行处理，若数据为非IP协议数据，则丢弃该数据，根据源IP地址、目的IP地址、源端口、目的端口和协议来汇聚数据流，实现对数据流的聚类；然后采用相似度算法对完整数据集进行相似度分类，对具有高相似度的数据以聚类的方式进行特征提取；之后计算数据特征与模型库中不同参考样本的相关系数；
最后根据相关系数并结合基于节点的有状态识别技术、主动探测和服务伪装技术来对加密数据协议进行自动识别；通过学习的方式采用连接识别和节点识别相结合而对方式大大减少的连接输，实现较少的资源监控更大的P2P应用网络，以提高识别效率；其中，基于节点的有状态识别技术的具体操作如下：从节点双方的通信过程中寻找特征数据，特征数据不限于某条特定的连接；若双方的特征相匹配，则***将记录该节点，而不是记录某条连接；当节点被识别出来后，则后续同该节点通信的数据无需重新验证以提高***的性能；主动探测和服务伪装技术采用其独有的服务探测引擎和服务伪装引擎来识别加密协议；服务探测引擎能够识别***P2P应用，服务伪装引擎能够识别综合了P2P和HTTPFTP等传输协议的应用；
本发明优化了加密协议加密识别方法，识别效率高，识别结果更加准确，并且通过独有的节点建立连接统计规律分析，有效识别特征模糊或加密的P2P协议，以独有的主动服务探测引擎技术识别如skype的加密协议，以独有的服务伪装探测技术识别类似迅雷(综合了P2P和HTTPFTP)的综合性应用协议，使用效果极佳。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (9)

1.一种基于主动服务探测引擎技术的加密协议识别方法，其特征在于，包括以下步骤：
S1、构建加密网络行为模型库；
S2、使用抓包工具对网络数据进行抓取，以实现对网络交互数据的实时采集；
S3、对采集的数据包进行过滤，得到用于特征提取的样本数据并构建完整数据集，以实现从网络数据流中提取有效数据；
S4、采用相似度算法对完整数据集进行相似度分类，对具有高相似度的数据以聚类的方式进行特征提取；
S5、计算数据特征与模型库中不同参考样本的相关系数；
S6、根据相关系数并结合基于节点的有状态识别技术、主动探测和服务伪装技术来对加密数据协议进行自动识别；
通过学习的方式采用连接识别和节点识别相结合而对方式大大减少的连接输，实现较少的资源监控更大的P2P应用网络，以提高识别效率。
2.根据权利要求1所述的一种基于主动服务探测引擎技术的加密协议识别方法，其特征在于，S1的具体操作如下：
S11、获取大量不同版本的加密网络行为数据并进行分析；
S12、通过对加密网络行为的分析来提取能够表征各加密网络行为的特征；
S13、根据提取出的特征并结合相系数原理来构建模型库。
3.根据权利要求1所述的一种基于主动服务探测引擎技术的加密协议识别方法，其特征在于，在S2中，抓包工具在抓取网络数据的同时还获取数据的特征，包括抓取时间、源IP地址、目的IP地址、源端口、目的端口、协议类型和加密内容长度。
4.根据权利要求1所述的一种基于主动服务探测引擎技术的加密协议识别方法，其特征在于，S3的具体操作如下：
S31、根据网络数据的来源判断链路层协议，并依据链路层协议处理网络数据，丢弃与链路层以上协议无关的内容，以提取出网络层数据；
S32、对提取的网络层数据进行处理，若数据为非IP协议数据，则丢弃该数据；
S33、根据源IP地址、目的IP地址、源端口、目的端口和协议来汇聚数据流，实现对数据流的聚类。
5.根据权利要求1所述的一种基于主动服务探测引擎技术的加密协议识别方法，其特征在于，在S6中，基于节点的有状态识别技术的具体操作如下：
从节点双方的通信过程中寻找特征数据，特征数据不限于某条特定的连接；若双方的特征相匹配，则***将记录该节点，而不是记录某条连接。
6.根据权利要求5所述的一种基于主动服务探测引擎技术的加密协议识别方法，其特征在于，当节点被识别出来后，则后续同该节点通信的数据无需重新验证以提高***的性能。
7.根据权利要求5所述的一种基于主动服务探测引擎技术的加密协议识别方法，其特征在于，在基于节点的有状态识别技术的基础上还向智能方面进一步发展该技术，具体如下：
从多条连接中自动根据统计规律来识别某些特征不明显或被加密的通信协议，以提高***识别的准确性。
8.根据权利要求1所述的一种基于主动服务探测引擎技术的加密协议识别方法，其特征在于，在S6中，主动探测和服务伪装技术采用其独有的服务探测引擎和服务伪装引擎来识别加密协议。
9.根据权利要求8所述的一种基于主动服务探测引擎技术的加密协议识别方法，其特征在于，服务探测引擎能够识别***P2P应用，服务伪装引擎能够识别综合了P2P和HTTPFTP等传输协议的应用。
CN202010049560.1A 2020-01-16 2020-01-16 一种基于主动服务探测引擎技术的加密协议识别方法 Pending CN111200543A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010049560.1A CN111200543A (zh) 2020-01-16 2020-01-16 一种基于主动服务探测引擎技术的加密协议识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010049560.1A CN111200543A (zh) 2020-01-16 2020-01-16 一种基于主动服务探测引擎技术的加密协议识别方法

Publications (1)

Publication Number Publication Date
CN111200543A true CN111200543A (zh) 2020-05-26

Family

ID=70747523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010049560.1A Pending CN111200543A (zh) 2020-01-16 2020-01-16 一种基于主动服务探测引擎技术的加密协议识别方法

Country Status (1)

Country Link
CN (1) CN111200543A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115766537A (zh) * 2022-11-14 2023-03-07 江苏红网技术股份有限公司 一种智能识别数据标准的方法
CN117955741A (zh) * 2024-03-26 2024-04-30 河北久维电子科技有限公司 一种Modbus规约通信设备的加密通信方法、***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10129134B2 (en) * 2016-02-29 2018-11-13 Level 3 Communications, Llc System and method for adding routing paths in a network
CN110166271A (zh) * 2018-02-14 2019-08-23 北京京东尚科信息技术有限公司 一种检测网络节点异常的方法和装置
CN110290022A (zh) * 2019-06-24 2019-09-27 中国人民解放军陆军工程大学 一种基于自适应聚类的未知应用层协议识别方法
CN110391958A (zh) * 2019-08-15 2019-10-29 北京中安智达科技有限公司 一种对网络加密流量自动进行特征提取和识别的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10129134B2 (en) * 2016-02-29 2018-11-13 Level 3 Communications, Llc System and method for adding routing paths in a network
CN110166271A (zh) * 2018-02-14 2019-08-23 北京京东尚科信息技术有限公司 一种检测网络节点异常的方法和装置
CN110290022A (zh) * 2019-06-24 2019-09-27 中国人民解放军陆军工程大学 一种基于自适应聚类的未知应用层协议识别方法
CN110391958A (zh) * 2019-08-15 2019-10-29 北京中安智达科技有限公司 一种对网络加密流量自动进行特征提取和识别的方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115766537A (zh) * 2022-11-14 2023-03-07 江苏红网技术股份有限公司 一种智能识别数据标准的方法
CN115766537B (zh) * 2022-11-14 2023-08-11 江苏红网技术股份有限公司 一种智能识别数据标准的方法
CN117955741A (zh) * 2024-03-26 2024-04-30 河北久维电子科技有限公司 一种Modbus规约通信设备的加密通信方法、***

Similar Documents

Publication Publication Date Title
CN111277578B (zh) 加密流量分析特征提取方法、***、存储介质、安全设备
US8065722B2 (en) Semantically-aware network intrusion signature generator
CN112019574B (zh) 异常网络数据检测方法、装置、计算机设备和存储介质
Alshammari et al. Machine learning based encrypted traffic classification: Identifying ssh and skype
TW470879B (en) Information security analysis system
CN112714045B (zh) 一种基于设备指纹和端口的快速协议识别方法
CN106789242B (zh) 一种基于手机客户端软件动态特征库的识别应用智能分析方法
CN111147305A (zh) 一种网络资产画像提取方法
CN113691566B (zh) 基于空间测绘和网络流量统计的邮件服务器窃密检测方法
CN111147394B (zh) 一种远程桌面协议流量行为的多级分类检测方法
CN114866486B (zh) 一种基于数据包的加密流量分类***
Sheikh et al. Procedures, criteria, and machine learning techniques for network traffic classification: a survey
Zhao et al. Identifying known and unknown mobile application traffic using a multilevel classifier
CN111200543A (zh) 一种基于主动服务探测引擎技术的加密协议识别方法
CN115134250A (zh) 一种网络攻击溯源取证方法
Khatouni et al. Integrating machine learning with off-the-shelf traffic flow features for http/https traffic classification
Wang et al. Benchmark data for mobile app traffic research
CN104283703A (zh) 一种用户登录提醒方法及***
Hejun et al. Online and automatic identification and mining of encryption network behavior in big data environment
CN114553546B (zh) 基于网络应用的报文抓取的方法和装置
Oudah et al. Using burstiness for network applications classification
CN111343008B (zh) 一种用于发现IPv6加速部署状态的综合性测量方法和***
CN113726809A (zh) 基于流量数据的物联网设备识别方法
Su et al. Mobile traffic identification based on application's network signature
Yan et al. MARS: Automated Protocol Analysis Framework for Internet of Things

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200526