CN114915446A - 一种融合先验知识的智能网络安全检测方法 - Google Patents

一种融合先验知识的智能网络安全检测方法 Download PDF

Info

Publication number
CN114915446A
CN114915446A CN202210340432.1A CN202210340432A CN114915446A CN 114915446 A CN114915446 A CN 114915446A CN 202210340432 A CN202210340432 A CN 202210340432A CN 114915446 A CN114915446 A CN 114915446A
Authority
CN
China
Prior art keywords
vulnerability
environment
information
host
tested
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210340432.1A
Other languages
English (en)
Other versions
CN114915446B (zh
Inventor
沈毅
薛鹏飞
李振汉
马慧敏
李倩玉
施凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202210340432.1A priority Critical patent/CN114915446B/zh
Publication of CN114915446A publication Critical patent/CN114915446A/zh
Application granted granted Critical
Publication of CN114915446B publication Critical patent/CN114915446B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1433—Vulnerability analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供一种融合先验知识的智能网络安全检测方法，所述方法包括：定义漏洞本体的表征形式，存储抽取到所述漏洞知识，形成漏洞知识库；从待测环境中获取信息；构建状态信息矩阵；将状态信息矩阵作为智能体和所述漏洞知识库的输入；构建智能体；基于待测环境获取的状态信息矩阵和所述漏洞知识库获取的潜在漏洞信息，确定智能体的行为策略；基于智能体的行为策略，执行具体行为，根据行为执行的结果及对环境的影响，由奖励模块计算奖励信息，反馈给智能体，指导智能体更新策略。根据本发明的方案，实现自动化对网络环境进行网络安全检测，提高网络安全检测的效率，解决自动化网络安全检测在复杂环境难以应用的问题。

Description

一种融合先验知识的智能网络安全检测方法
技术领域
本发明涉及网络空间安全领域，尤其涉及一种融合先验知识的智能网络安全检测方法。
背景技术
定期进行安全测试是评估资产弹性和合规性，尤其是保密性、可用性和完整性的重要流程。网络安全检测(Penetration Testing)被广泛认为是通过识别和利用漏洞来评估数字资产安全性的最佳方法。安全专家在进行PT的过程中，面临了环境复杂、操作重复和相似的问题，PT任务自动化显然是一种节约人力和资源且高效的方法。早期的研究集中在通过优化规划阶段来改进PT***，规划阶段被建模为攻击图或决策树问题，反映了连续决策的实践性质。尽管如此，由于方法的静态性质及其对计划阶段的限制，大多数工作都与漏洞评估有关，而不是PT。
近年来，机器学习(Machine Learning，ML)为有效解决复杂问题开辟了新的途径。ML已经被证明，在某些情况下，它能够比人类更快、更准确地处理困难的问题。ML有三种类型：监督学习、无监督学习和强化学习。监督学习和无监督学习已经被用于入侵检测、恶意软件检测、隐私保护***等。准备规模较大的数据集进行训练是制定安全解决方案的先决条件。然而，在网络安全检测这种实时、连续的环境中，很难预处理行为数据集，因此，有监督学习和无监督学习都不适合应用于解决自动化PT问题。强化学习(ReinforcementLearning，RL)是通过对环境的探索和经验的积累来学习的机器学习类型，RL的智能体可以在没有先验数据集的情况下自行适应实时、连续的环境。
2013年，Sarraute等人建立了一种4AL分解算法，将一个大的网络按照网络结构分割成较小的网络，并通过部分可观测马尔可夫决策过程(Partially Observable MarkovDecision Processes，POMDP)逐个求解。2014年，Durkota等人提出了一种用于计算具有动作成本和故障概率攻击图的最优攻击策略的算法，将攻击图的最优路径规划问题转化为马尔可夫决策过程(Markov Decision Processes，MDP)，生成最佳攻击策略以指导网络安全检测。2017年，Shmaryahu等人将PT建模为部分可观测的偶发问题，并设计了偶发规划树算法来规划攻击路径。同年，Alexander preschner将POMDP引入工业控制***，试图自动验证工业控制***的安全性。2018年，Ghanem和Chen将***建模为POMDP，并使用外部POMDP求解器进行测试。2019年，周等人将PT描述为MDP过程，提出了一种基于网络信息增益的攻击规划(NIG-AP)算法。利用网络信息获取奖励，引导agent选择最佳响应动作，从入侵者的角度发现隐藏的攻击路径。2020年，Hu等人基于深度强化学习构建了一个自动化网络安全检测框架，自动化找到给定拓扑结构的最佳攻击路径。2021年，Zennaro等人将简单CTF题目形式化为网络安全检测问题，基于无模型的强化学习解决此类问题。
基于POMDP的研究结果证实了强化学习可以提高网络安全检测的准确性和可靠性的假设。然而由于网络安全检测环境中主机数量多，主机配置复杂，精确求解POMDP非常困难。基于MDP的强化学习原则上可以允许无模型学习，但实际上可能需要依赖某种形式的先验知识来解决问题。
发明内容
为解决上述技术问题，本发明提出了一种融合先验知识的智能网络安全检测方法，用以解决现有技术中自动化网络安全检测方法效率不高，实用性不强，难以应用于真实大规模网络场景的技术问题。
根据本发明的第一方面，提供一种融合先验知识的智能网络安全检测方法，所述方法包括以下步骤：
步骤S1：定义漏洞本体的表征形式，所述漏洞本体基于漏洞本体的概念、属性以及关系进行表征；基于获取的知识源及所述漏洞本体的表征形式，从所述获取的知识源中抽取漏洞知识；存储抽取到的所述漏洞知识，形成漏洞知识库；
步骤S2：构建环境信息获取模块，所述环境信息获取模块用于从待测环境中获取以下基本信息：操作主机IP、操作***、存活端口、服务信息，并将获取的所述基本信息按照类别编号存储；
步骤S3：判断是否达到预设目标，若是，方法结束；若否，进入步骤S4；所述预设目标为实现对特定目标的网络安全检测；
步骤S4：基于所述环境信息获取模块，获取待测环境的基本信息；基于所述编号信息，获取待测环境的网络拓扑结构、主机权限和主机配置信息，并构建状态信息矩阵；将所述状态信息矩阵作为智能体和所述漏洞知识库的输入；
步骤S5：构建智能体；基于所述环境状态信息矩阵和所述漏洞知识库获取的潜在漏洞信息，确定智能体的行为策略；
步骤S6：基于智能体的行为策略，执行具体行为，并将所述具体行为作用于所述待测环境，根据行为执行的结果及对环境的影响，由奖励模块计算奖励信息，反馈给智能体，指导智能体更新策略；进入步骤S3。
进一步地，所述漏洞本体基于漏洞本体的概念、属性以及关系进行表征，所述漏洞本体是指在硬件、软件、协议的具体实现或***安全策略上存在的缺陷，所述漏洞本体的属性是指漏洞存在的潜在条件，所述漏洞本体的关系是指漏洞之间的交互作用关系，其中，所述漏洞本体的属性包括漏洞的利用方式、漏洞产生的效果和影响、是否存在漏洞利用、是否包含该漏洞的服务及包含该漏洞的服务对应的操作***，所述关系包括交集关系，继承关系，属性关系。
进一步地，所述步骤S2，其中：
所述预设目标为实现对特定目标的网络安全检测，包括从某一起始主机出发，对网络环境中某台特定主机的网络安全检测和/或对单个主机的网络安全检测。
进一步地，待测环境状态信息矩阵定义如下：
Figure BDA0003578968470000041
其中hihj表示第i台待测主机与第j台待测主机之间的连接关系，用0表示待测主机之间不连通，1表示待测主机之间连通，hihi表示在待测主机i上获取到的权限级别，由于不同网络安全检测环境中的网络节点数量不同，因此将节点数量设置为一个定值，pk(hi)表示待测主机i上是否包含编号为k的属性，privilege(hi)表示智能体在待测主机i上的权限。
根据本发明第二方面，提供一种融合先验知识的智能网络安全检测装置，所述装置包括：
漏洞知识库构建模块：配置为定义漏洞本体的表征形式，所述漏洞本体基于漏洞本体的概念、属性以及关系进行表征；基于获取的知识源及所述漏洞本体的表征形式，从所述获取的知识源中抽取漏洞知识；存储抽取到的所述漏洞知识，形成漏洞知识库；
探测模块：配置为构建环境信息获取模块，所述环境信息获取模块用于从待测环境中获取以下基本信息：操作主机IP、操作***、存活端口、服务信息，并将获取的所述基本信息按照类别编号存储；
判断模块：配置为判断是否达到预设目标，所述预设目标为实现对特定目标的网络安全检测；
状态信息矩阵构建模块：配置为基于所述环境信息获取模块，获取待测环境的基本信息；基于所述编号信息，获取待测环境的网络拓扑结构、主机权限和主机配置信息，并构建状态信息矩阵；将所述状态信息矩阵作为智能体和所述漏洞知识库的输入；
行为确定模块：配置为构建智能体；基于所述环境状态信息矩阵和所述漏洞知识库获取的潜在漏洞信息，确定智能体的行为策略；
更新模块：配置为基于智能体的行为策略，执行具体行为，并将所述具体行为作用于所述待测环境，根据行为执行的结果及对环境的影响，由奖励模块计算奖励信息，反馈给智能体，指导智能体更新策略；触发判断模块。
根据本发明第三方面，提供一种融合先验知识的智能网络安全检测***，包括：
处理器，用于执行多条指令；
存储器，用于存储多条指令；
其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行如前所述的方法。
根据本发明第四方面，提供一种计算机可读存储介质，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如前所述的方法。
根据本发明的上述方案，该方法以实现自动化和智能化网络安全检测为目标，融合先验知识，基于知识图谱和强化学习提出了一种网络安全检测方法。该方法结合人工智能领域强化学习的相关技术和知识图谱构建自动化模型，实现智能化网络安全检测。本发明旨在解决网络环境复杂，漏洞种类和数量繁多，自动化网络安全检测难以实现的问题。本发明所述方法采用知识图谱和强化学习相结合的方法解决了上述问题，实现如下效果：(1)本发明基于知识图谱构建了一个漏洞知识库，便于管理和查询当前主机和网络中潜在的漏洞信息，同时为智能体分析可选的有效行为提供了便利；(2)本发明提出的方法改变了智能体的行为选择方式，将智能体从随机探索可用行为转变为从可用行为中选择最优行为，大大提升了智能体的学习效率；(3)利用所述方法可以实现对网络环境的自动化和智能化网络安全检测。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明提供如下附图进行说明。在附图中：
图1为本发明一个实施方式的融合先验知识的智能网络安全检测方法流程图；
图2为本发明一个实施方式的融合先验知识的智能网络安全检测模型结构示意图；
图3为本发明一个实施方式的漏洞知识库构建方式示意图；
图4为本发明一个实施方式的漏洞知识本体示意图；
图5为本发明一个实施方式的智能体神经网络结构示意图；
图6为本发明一个实施方式的融合先验知识的智能网络安全检测装置结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
首先结合图1-2说明为本发明一个实施方式的融合先验知识的智能网络安全检测方法流程图。如图1-2所示，所述方法包括以下步骤：
步骤S1：定义漏洞本体的表征形式，所述漏洞本体基于漏洞本体的概念、属性以及关系进行表征；基于获取的知识源及所述漏洞本体的表征形式，从所述获取的知识源中抽取漏洞知识；存储抽取到的所述漏洞知识，形成漏洞知识库；
步骤S2：构建环境信息获取模块，所述环境信息获取模块用于从待测环境中获取以下基本信息：操作主机IP、操作***、存活端口、服务信息，并将获取的所述基本信息按照类别编号存储；
步骤S3：判断是否达到预设目标，若是，方法结束；若否，进入步骤S4；所述预设目标为实现对特定目标的网络安全检测；
步骤S4：基于所述环境信息获取模块，获取待测环境的基本信息；基于所述编号信息，获取待测环境的网络拓扑结构、主机权限和主机配置信息，并构建状态信息矩阵；将所述状态信息矩阵作为智能体和所述漏洞知识库的输入；
步骤S5：构建智能体；基于所述环境状态信息矩阵和所述漏洞知识库获取的潜在漏洞信息，确定智能体的行为策略；
步骤S6：基于智能体的行为策略，执行具体行为，并将所述具体行为作用于所述待测环境，根据行为执行的结果及对环境的影响，由奖励模块计算奖励信息，反馈给智能体，指导智能体更新策略；进入步骤S3。
由于网络安全检测是一个序贯决策问题，其任务分解开来就是根据当前状态判断应该采取的网络安全检测行为，因此可以将其建模为马尔可夫决策过程，基于强化学习的相关技术实现自动化网络安全检测。强化学习的智能体可以在训练的过程中积累经验，并与安全专家一样作出决策，然而这是以大量的训练为代价的，由于网络安全检测环境复杂，漏洞种类和数量过多，智能体难以实现快速有效的学习，因而此本发明在自动化模型中加入了漏洞知识库，引入漏洞知识库作为智能体的图书馆，智能体在获取状态之后，在先验知识库中查询可行的操作，并根据学习到的经验从可行行为中选择最终采取的行为，以提高学习的效率。
本发明构建知识图谱存储漏洞相关信息，实现根据当前状态信息匹配可能存在的漏洞；实现基于强化学习的自动化网络安全检测方法，智能体从环境中获取到的状态信息先进行漏洞匹配，再从匹配到的行为中选择下一步动作。
所述步骤S1，其中：
漏洞信息存在海量化，分散化，碎片化的特点，构建漏洞知识库的重要条件是收集漏洞信息。收集漏洞信息主要采取互联网查询和获取的方式，目前国际上比较知名的漏洞相关标准和规范有CVE(Common Vulnerabilities&Exposures)、CPE(Common platformenumeration)、CVSS(Common Vulnerability Scoring System)和CNNVD(China NationalVulnerability Database of Information Security)四种。其中CVE是目前国际上最具公信力的安全漏洞披露与发布单位；CPE是一种用于描述和识别企业计算资产中存在的应用程序，操作***和硬件设备的标准化方法；CVSS是一个用来评测漏洞严重程度，并帮助确定应答紧急度和重要度的行业公开标准；CNNVD是国内权威的漏洞收录平台。从CVE、CPE、CVSS和CNNVD收集漏洞信息，对所述漏洞信息进行整合，将得到的信息作为知识源。
基于知识图谱定义漏洞本体的表征形式，所述漏洞本体基于漏洞本体的概念、属性以及关系进行表征，所述漏洞本体是指在硬件、软件、协议的具体实现或***安全策略上存在的缺陷，所述漏洞本体的属性是指漏洞存在的潜在条件，所述漏洞本体的关系是指漏洞之间的交互作用关系，其中，所述漏洞本体的属性包括漏洞的利用方式、漏洞产生的效果和影响、是否存在漏洞利用、是否包含该漏洞的服务及包含该漏洞的服务对应的操作***，所述关系包括交集关系，继承关系，属性关系。
本实施例中，定义的漏洞本体如图4所示。首先需要合理的表征漏洞信息，因此根据专家经验，对常见的操作***，常用服务，和常见漏洞之间的关联构建了漏洞本体，能够更好地描述漏洞相关知识之间的关联，漏洞本体的结构如图4所示，其中编号为内在编号，该编号与环境状态信息中的编号一致，便于智能体根据输入的状态信息匹配进行漏洞。
基于获取的知识源及所述漏洞本体的表征形式，从所述获取的知识源中抽取漏洞知识。本实施例中，知识源中的信息来源于不同的规范和标准，可能包含重复或结构不同的信息，因此采用命名实体识别技术对知识源中的信息进行提炼和清洗，再进行关系抽取，最终实现对漏洞信息的知识抽取。
存储抽取到所述漏洞知识，形成漏洞知识库，即选择重要程度大于预设阈值，并将所述与待测网络和待测主机状态相关的漏洞知识采用Neo4j存储到图数据库中，实现漏洞知识库的构建。
安全专家在进行网络安全检测时，会根据扫描到的网络和主机状态信息，判断当前环境中可能存在的漏洞，并利用漏洞实现网络安全检测。在这个过程中，专家的判断基于自身知识的积累，因而缺乏专家经验是当前自动化网络安全检测面临的巨大挑战之一。因此，本发明构建一个类似于专家经验的先验知识库，收集漏洞信息，所述漏洞信息包含漏洞编号，漏洞等级，漏洞来源，利用漏洞可实现的功能等，通过命名实体识别技术抽取有用信息，对信息进行处理使其规范化，并构建知识推理模型，实现对漏洞信息的管理。
所述步骤S3，其中：
所述预设目标为实现对待测网络中特定目标的网络安全检测，包括从待测网络中的某一主机出发，对网络环境中某台特定主机的网络安全检测和/或对单个主机的网络安全检测。
所述步骤S4，其中：
基于所述环境信息获取模块，获取待测环境的基本信息，并按照信息内容分类并编号，基于编号后的环境信息构建环境状态矩阵作为智能体的输入信息，环境状态矩阵应包含当前智能体探索到的网络拓扑结构、主机配置等信息。根据实际网络安全检测过程中专家从环境中扫描到的信息，将自动化网络安全检测模型的待测环境状态信息矩阵定义如下：
Figure BDA0003578968470000091
其中hihj表示第i台待测主机与第j台待测主机之间的连接关系，用0表示待测主机之间不连通，1表示待测主机之间连通，hihi表示在待测主机i上获取到的权限级别，由于不同网络安全检测环境中的网络节点数量不同，因此将节点数量设置为一个定值，pk(hi)表示待测主机i上是否包含编号为k的属性，privilege(hi)表示智能体在待测主机i上的权限。
以状态信息矩阵作为智能体和漏洞库的输入，状态矩阵作为智能体的输入是为智能体提供场景信息；状态信息矩阵作为漏洞库的输入进行待测环境潜在漏洞预测，为智能体提供更准确的行为空间。
所述步骤S5，其中：
智能体基于漏洞先验知识库的输出，确定行为，行为即为智能体的输出，表示智能体针对当前环境做出的决策，所述智能体的输出包括待测网络中主机之间的连接行为和漏洞利用行为，所述主机之间的连接行为是指智能体在主机间进行横向移动的行为；所述漏洞利用是通过对输入状态的分析，将其与所述漏洞知识库中的漏洞信息进行匹配，判断待测网络环境中可能存在的漏洞，将可能存在的漏洞对应的漏洞利用和待测环境中发现的主机之间的连接行为组合起来，构成智能体能够选择的行为库，为了保证学习过程中模型的稳定性，将行为库的大小设置为定值，从给定的行为库中选择并执行动作，而不同于以往在所有的动作中任由智能体自由探索。
在基于强化学习的自动化网络安全检测模型中，智能体接收到的输入为从环境中获取到的状态信息，输出为智能体采取每个行为的概率。由于网络安全检测环境的复杂性，状态空间大小随网络规模和主机配置呈指数级增长，传统的表格型方法如Q-learning方法，对实现自动化网络安全检测而言并不适用，因此，本发明引入了深度强化学习技术，基于神经网络拟合Q函数，可以有效解决状态空间过大的问题。然而，由于引入了先验知识，智能体在不同状态下可采取的行为不同，导致输出节点数不一致。针对上述情况，需要重新设计强化学习算法，实现智能化决策。
本发明提出的智能体更新Q值的神经网络结构如图5所示，所述神经网络模型包括三个卷积层，第三个卷积层与全连接层相连；由于状态矩阵中的值大多为0或1，且矩阵稀疏，因此没有使用池化层。将从待测环境中获取的环境状态矩阵作为第一个卷积层的输入，全连接层输出环境状态矩阵的特征。本实施例中，最大网络节点数设置为100，主机配置包括服务和端口等信息，数值设为100，因此输入矩阵规模为100＊200。通过将接收到的状态信息与先验知识库进行匹配，选择排名前10的漏洞对应的漏洞利用构建智能体的行为空间，此外，除漏洞利用行为外，增加连接行为，表明从当前主机移动到其他主机的行为，因此设置智能体输出的行为空间大小为11。此外，卷积层的个数、每层卷积核的数目以及各层卷积核大小等超参数需要通过实验来确定。根据任务需求选择合适的输出层激活函数和损失函数。
所述步骤S6，其中：
奖励是对智能体行为的反馈，对强化学习而言至关重要，决定了智能体学习方向和收敛速度，影响着智能体决策的正确性和有效性，本发明将奖励分为正向反馈和负向反馈两部分：智能体成功完成行为得到的正向奖励以及行为执行失败得到的负向奖励。智能体接收到奖励，根据奖励值调整神经网络参数，指导智能体更新策略，作出更准确的预测。重复步骤，直至满足步骤S3中的目标。
图6为本发明一个实施方式的融合先验知识的智能网络安全检测装置的结构示意图，如图6所示，所述装置包括：
漏洞知识库构建模块：配置为定义漏洞本体的表征形式，所述漏洞本体基于漏洞本体的概念、属性以及关系进行表征；基于获取的知识源及所述漏洞本体的表征形式，从所述获取的知识源中抽取漏洞知识；存储抽取到的所述漏洞知识，形成漏洞知识库；
探测模块：配置为构建环境信息获取模块，所述环境信息获取模块用于从待测环境中获取以下基本信息：操作主机IP、操作***、存活端口、服务信息，并将获取的所述基本信息按照类别编号存储；
判断模块：配置为判断是否达到预设目标，所述预设目标为实现对特定目标的网络安全检测；
状态信息矩阵构建模块：配置为基于所述环境信息获取模块，获取待测环境的基本信息；基于所述编号信息，获取待测环境的网络拓扑结构、主机权限和主机配置信息，并构建状态信息矩阵；将所述状态信息矩阵作为智能体和所述漏洞知识库的输入；
行为确定模块：配置为构建智能体；基于所述环境状态信息矩阵和所述漏洞知识库获取的潜在漏洞信息，确定智能体的行为策略；
更新模块：配置为基于智能体的行为策略，执行具体行为，并将所述具体行为作用于所述待测环境，根据行为执行的结果及对环境的影响，由奖励模块计算奖励信息，反馈给智能体，指导智能体更新策略；触发判断模块。
本发明实施例进一步给出一种融合先验知识的智能网络安全检测***，包括：
处理器，用于执行多条指令；
存储器，用于存储多条指令；
其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行如前所述的方法。
本发明实施例进一步给出一种计算机可读存储介质，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如前所述的方法。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
在本发明所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，实体机服务器，或者网络云服务器等，需安装Windows或者Windows Server操作***)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (7)

1.一种融合先验知识的智能网络安全检测方法，其特征在于，所述方法包括以下步骤：
步骤S1：定义漏洞本体的表征形式，所述漏洞本体基于漏洞本体的概念、属性以及关系进行表征；基于获取的知识源及所述漏洞本体的表征形式，从所述获取的知识源中抽取漏洞知识；存储抽取到的所述漏洞知识，形成漏洞知识库；
步骤S2：构建环境信息获取模块，所述环境信息获取模块用于从待测环境中获取以下基本信息：操作主机IP、操作***、存活端口、服务信息，并将获取的所述基本信息按照类别编号存储；
步骤S3：判断是否达到预设目标，若是，方法结束；若否，进入步骤S4；所述预设目标为实现对特定目标的网络安全检测；
步骤S4：基于所述环境信息获取模块，获取待测环境的基本信息；基于所述编号信息，获取待测环境的网络拓扑结构、主机权限和主机配置信息，并构建状态信息矩阵；将所述状态信息矩阵作为智能体和所述漏洞知识库的输入；
步骤S5：构建智能体；基于所述环境状态信息矩阵和所述漏洞知识库获取的潜在漏洞信息，确定智能体的行为策略；
步骤S6：基于智能体的行为策略，执行具体行为，并将所述具体行为作用于所述待测环境，根据行为执行的结果及对环境的影响，由奖励模块计算奖励信息，反馈给智能体，指导智能体更新策略；进入步骤S3。
2.如权利要求1所述的方法，其特征在于，所述漏洞本体基于漏洞本体的概念、属性以及关系进行表征，所述漏洞本体是指在硬件、软件、协议的具体实现或***安全策略上存在的缺陷，所述漏洞本体的属性是指漏洞存在的潜在条件，所述漏洞本体的关系是指漏洞之间的交互作用关系，其中，所述漏洞本体的属性包括漏洞的利用方式、漏洞产生的效果和影响、是否存在漏洞利用、是否包含该漏洞的服务及包含该漏洞的服务对应的操作***，所述关系包括交集关系，继承关系，属性关系。
3.如权利要求2所述的方法，其特征在于，所述步骤S2，其中：
所述预设目标为实现对特定目标的网络安全检测，包括从某一起始主机出发，对网络环境中某台特定主机的网络安全检测和/或对单个主机的网络安全检测。
4.如权利要求3所述的方法，其特征在于，待测环境状态信息矩阵定义如下：
Figure FDA0003578968460000021
其中hihj表示第i台待测主机与第j台待测主机之间的连接关系，用0表示待测主机之间不连通，1表示待测主机之间连通，hihi表示在待测主机i上获取到的权限级别，由于不同网络安全检测环境中的网络节点数量不同，因此将节点数量设置为一个定值，pk(hi)表示待测主机i上是否包含编号为k的属性，privilege(hi)表示智能体在待测主机i上的权限。
5.一种融合先验知识的智能网络安全检测装置，其特征在于，所述装置包括：
漏洞知识库构建模块：配置为定义漏洞本体的表征形式，所述漏洞本体基于漏洞本体的概念、属性以及关系进行表征；基于获取的知识源及所述漏洞本体的表征形式，从所述获取的知识源中抽取漏洞知识；存储抽取到的所述漏洞知识，形成漏洞知识库；
探测模块：配置为构建环境信息获取模块，所述环境信息获取模块用于从待测环境中获取以下基本信息：操作主机IP、操作***、存活端口、服务信息，并将获取的所述基本信息按照类别编号存储；
判断模块：配置为判断是否达到预设目标，所述预设目标为实现对特定目标的网络安全检测；
状态信息矩阵构建模块：配置为基于所述环境信息获取模块，获取待测环境的基本信息；基于所述编号信息，获取待测环境的网络拓扑结构、主机权限和主机配置信息，并构建状态信息矩阵；将所述状态信息矩阵作为智能体和所述漏洞知识库的输入；
行为确定模块：配置为构建智能体；基于所述环境状态信息矩阵和所述漏洞知识库获取的潜在漏洞信息，确定智能体的行为策略；
更新模块：配置为基于智能体的行为策略，执行具体行为，并将所述具体行为作用于所述待测环境，根据行为执行的结果及对环境的影响，由奖励模块计算奖励信息，反馈给智能体，指导智能体更新策略；触发判断模块。
6.一种融合先验知识的智能网络安全检测***，其特征在于，包括：
处理器，用于执行多条指令；
存储器，用于存储多条指令；
其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行如权利要求1-4之任一项所述方法。
7.一种计算机可读存储介质，其特征在于，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如权利要求1-4之任一项所述方法。
CN202210340432.1A 2022-04-02 2022-04-02 一种融合先验知识的智能网络安全检测方法 Active CN114915446B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210340432.1A CN114915446B (zh) 2022-04-02 2022-04-02 一种融合先验知识的智能网络安全检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210340432.1A CN114915446B (zh) 2022-04-02 2022-04-02 一种融合先验知识的智能网络安全检测方法

Publications (2)

Publication Number Publication Date
CN114915446A true CN114915446A (zh) 2022-08-16
CN114915446B CN114915446B (zh) 2023-08-29

Family

ID=82763246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210340432.1A Active CN114915446B (zh) 2022-04-02 2022-04-02 一种融合先验知识的智能网络安全检测方法

Country Status (1)

Country Link
CN (1) CN114915446B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117097627A (zh) * 2023-10-19 2023-11-21 中国人民解放军国防科技大学 渗透测试智能体训练与验证环境构建方法及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108933793A (zh) * 2018-07-24 2018-12-04 中国人民解放军战略支援部队信息工程大学 基于知识图谱的攻击图生成方法及其装置
CN111639344A (zh) * 2020-07-31 2020-09-08 中国人民解放军国防科技大学 一种基于神经网络的漏洞检测方法及装置
CN113919485A (zh) * 2021-10-19 2022-01-11 西安交通大学 基于动态层级通信网络的多智能体强化学习方法及***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108933793A (zh) * 2018-07-24 2018-12-04 中国人民解放军战略支援部队信息工程大学 基于知识图谱的攻击图生成方法及其装置
CN111639344A (zh) * 2020-07-31 2020-09-08 中国人民解放军国防科技大学 一种基于神经网络的漏洞检测方法及装置
CN113919485A (zh) * 2021-10-19 2022-01-11 西安交通大学 基于动态层级通信网络的多智能体强化学习方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANDREW M. SAXE: "A mathematical theory of semantic development in deep neural networks", PNAS *
LAURA VON RUEDEN: "Informed Machine Learning – A Taxonomy and Survey of Integrating Prior Knowledge into Learning Systems", IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117097627A (zh) * 2023-10-19 2023-11-21 中国人民解放军国防科技大学 渗透测试智能体训练与验证环境构建方法及电子设备
CN117097627B (zh) * 2023-10-19 2023-12-22 中国人民解放军国防科技大学 渗透测试智能体训练与验证环境构建方法及电子设备

Also Published As

Publication number Publication date
CN114915446B (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
Anton et al. Anomaly-based intrusion detection in industrial data with SVM and random forests
CN111523119B (zh) 漏洞检测的方法和装置、电子设备及计算机可读存储介质
EP3490223B1 (en) System and method for simulating and foiling attacks on a vehicle on-board network
US20210021616A1 (en) Method and system for classifying data objects based on their network footprint
CN112131882A (zh) 一种多源异构网络安全知识图谱构建方法及装置
CN112487208B (zh) 一种网络安全数据关联分析方法、装置、设备及存储介质
US11106801B1 (en) Utilizing orchestration and augmented vulnerability triage for software security testing
US11625483B2 (en) Fast identification of trustworthy deep neural networks
CN114329455B (zh) 基于异构图嵌入的用户异常行为检测方法及装置
Kaiser et al. Attack hypotheses generation based on threat intelligence knowledge graph
CN114036531A (zh) 一种基于多尺度代码度量的软件安全漏洞检测方法
Berghout et al. EL-NAHL: Exploring labels autoencoding in augmented hidden layers of feedforward neural networks for cybersecurity in smart grids
CN113965497B (zh) 服务器异常识别方法、装置、计算机设备及可读存储介质
CN114915446A (zh) 一种融合先验知识的智能网络安全检测方法
CN115102705A (zh) 一种基于深度强化学习的自动化网络安全检测方法
CN112822184B (zh) 一种内生安全***中的无监督自主攻击检测方法
Zarai Recurrent Neural Networks & Deep Neural Networks Based on Intrusion Detection System
CN113886829A (zh) 一种失陷主机检测方法、装置、电子设备及存储介质
CN113434857A (zh) 一种应用深度学习的用户行为安全解析方法及***
US20230396638A1 (en) Adaptive system for network and security management
CN112436969A (zh) 一种物联网设备管理方法、***、设备及介质
Alagrash et al. Machine learning and recognition of user tasks for malware detection
CN115296876A (zh) 一种自适应拟态技术的网络安全预警***
Woodward et al. Uncertainty quantification for trusted machine learning in space system cyber security
CN115454473A (zh) 基于深度学习漏洞决策的数据处理方法及信息安全***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant