CN107135224A - 基于Markov演化博弈的网络防御策略选取方法及其装置 - Google Patents

基于Markov演化博弈的网络防御策略选取方法及其装置 Download PDF

Info

Publication number
CN107135224A
CN107135224A CN201710334463.5A CN201710334463A CN107135224A CN 107135224 A CN107135224 A CN 107135224A CN 201710334463 A CN201710334463 A CN 201710334463A CN 107135224 A CN107135224 A CN 107135224A
Authority
CN
China
Prior art keywords
mrow
game
msubsup
stage
attacking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710334463.5A
Other languages
English (en)
Other versions
CN107135224B (zh
Inventor
张恒巍
王娜
黄健明
韩继红
王衡军
李涛
寇广
王晋东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PLA Information Engineering University
Original Assignee
PLA Information Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PLA Information Engineering University filed Critical PLA Information Engineering University
Priority to CN201710334463.5A priority Critical patent/CN107135224B/zh
Publication of CN107135224A publication Critical patent/CN107135224A/zh
Application granted granted Critical
Publication of CN107135224B publication Critical patent/CN107135224B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • H04L63/205—Network architectures or network communication protocols for network security for managing network security; network security policies in general involving negotiation or determination of the one or more network security mechanisms to be used, e.g. by negotiation between the client and the server or between peers or by selection according to the capabilities of the entities involved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种基于Markov演化博弈的网络防御策略选取方法及其装置，该方法包含：根据网络攻防过程中动态攻防博弈，构建多阶段Markov攻防演化博弈模型，该模型包含多个子博弈阶段；针对多阶段Markov攻防演化博弈模型，采用最优防御策略选取算法求解攻防博弈各个阶段的最优防御策略并输出。本发明针对多阶段Markov攻防演化博弈模型模拟网络攻防动态演化过程，从攻防对抗的角度出发，将各个演化阶段之间的状态跳变描述为随机过程，在借鉴Markov过程的基础上，构建多阶段Markov演化博弈；以博弈的折扣总收益为目标函数，引入折现因子ξ对不同阶段的博弈收益进行折扣处理，研究探索网络安全分析方法和防御技术体系，具有重要现实意义。

Description

基于Markov演化博弈的网络防御策略选取方法及其装置
技术领域
本发明属于网络安全技术领域，特别涉及一种基于Markov演化博弈的网络防御策略选取方法及其装置。
背景技术
直面网络空间安全领域的挑战，增强网络安全防御能力，确保网络空间安全已成为亟待解决的迫切问题。网络安全的本质在攻防对抗，因此从攻防对抗的角度出发，研究探索网络安全分析方法和防御技术体系，具有重要现实意义，已成为近年来的研究重点。博弈论是研究决策主体之间行为直接相互作用时的决策问题的理论。网络攻防具有的目标对立性、关系非合作性、策略依存性特点均与博弈论的基本特征吻合，博弈模型应用于网络攻防分析成为近年来新的研究方法和热点，并取得了部分成果。但总体来说，基于博弈论的网络空间安全问题研究起步较晚，目前的研究方法仍然不够***，已有研究成果大都以传统博弈模型为主，其模型方法建立在完全理性的条件下，而现实网络攻防无法满足，从而降低了研究成果实用价值。目前，基于博弈理论的网络安全防御大多采用传统博弈理论为主，而传统博弈理论以行为者完全理性为前提，博弈双方在博弈过程中通过最大化自身利益，选取最优防御策略进行网络安全防御。而信号博弈就是传统博弈理论中的一种，局中人分别是信号的发出者和信号的接收者。信号发出者的类型并不为信号接收者所知，但接受者对信号发出者的类型有先验判断。接收者利用信号对发出者的类型做出修正，形成后验判断，进而选择最优行动。
传统博弈理论中的行为者完全理性前提假设与实际情况不符。传统博弈理论建立在行为者完全理性的前提假设下，而现实中由于人的决策能力是有限的，即决策者实际属于非完全理性个体。传统博弈理论中忽视行为者有限理性条件会对最终的博弈结果产生重大影响，使最终的博弈均衡结果与实际相差较大，从而降低了模型和方法的有效性。传统博弈理论以矩阵博弈为基础，未能体现出实际网络攻防博弈的动态演化过程。传统博弈理论采用矩阵博弈形式，通过对收益矩阵的分析和计算，得出最终的博弈均衡，从而用于网络安全防御策略的选取，但该分析方法仅仅对博弈过程中的某一个博弈阶段进行了分析。在实际网络攻防过程中，攻防双方的博弈均衡会随着攻防策略集以及***运行环境的改变而被打破，从而开始下一阶段的博弈演化。针对现实社会中攻防双方的攻防过程的动态变化特征，其应用价值有限。
发明内容
针对现有技术中的不足，本发明提供一种基于Markov演化博弈的网络防御策略选取方法及其装置，采用博弈理论构建一种有效的网络安全主动防御技术来弥补传统被动防御技术存在的不足，能够分析有限理性的攻击者和防御者之间的动态对抗过程，最优防御策略选取的实用性和和指导意义更强。
按照本发明所提供的设计方案，一种基于Markov演化博弈的网络防御策略选取方法，包含：
根据网络攻防过程中动态攻防博弈，构建多阶段Markov攻防演化博弈模型，该模型包含多个子博弈阶段；
针对多阶段Markov攻防演化博弈模型，采用最优防御策略选取算法求解攻防博弈各个阶段的最优防御策略并输出。
上述的，多阶段Markov攻防演化博弈模型表示为：M2ADE＝(N,T,B,P,ξ,S0,S,η,U)，其中，N＝(ND,NA)是演化博弈的参与者空间，ND为防御方，NA为攻击方；T是多阶段博弈的阶段总数，当前阶段博弈过程用G(k)表示，k＝{1,2,…,T}，B＝(DS,AS)是攻防行动空间， 表示攻击方在第k个阶段的可选策略， 表示防御方在第k个阶段的可选策略；是博弈信念集合，表示在第k个阶段选择攻击策略的概率，且 表示在第k个阶段选择防御策略的概率，且ξ是折现因子，其表示在博弈阶段k中的收益相较初始阶段的折现比例，0≤ξ≤1；是攻防过程中初始安全状态集合，S＝{S1…Sk…ST}是攻防过程中安全状态集合，集合S0与S中的状态与博弈阶段一一对应；η表示安全状态转移概率，ηij＝η(Sj|Si)表示***从状态Si跳变至状态Sj的概率；是博弈收益函数集合，和代表第k个博弈阶段中防御者和攻击者的收益函数。
优选的，采用最优防御策略选取算法求解攻防博弈各个阶段的最优防御策略，包含如下内容：
A)、根据多阶段Markov攻防演化博弈模型，求解每个子博弈阶段攻防双方收益；
B)、通过引入折现因子将未来阶段的收益折算成基于初始阶段的折扣收益，将多阶段博弈均衡求解问题，转化为以整体收益为目标的动态规划问题；
C)、对动态规划问题进行求解，得到多阶段博弈均衡策略集合并输出。
优选的，所述的步骤A包含如下内容：构建每个子博弈阶段的演化博弈树并计算该阶段的博弈收益，通过循环迭代直至完成所有的子博弈阶段的演化博弈树构建和博弈收益计算。
优选的，构建每个子博弈阶段的演化博弈树并计算该阶段的博弈收益，包含：
A1、构建当前循环子博弈阶段的博弈信念集合；
A2、针对该子博弈阶段的攻防策略对，分别计算攻防双方收益值；
A3、根据博弈信念集合及攻防双方收益值，分别计算攻防双方的期望收益；
A4、根据博弈信念集合及攻防双方的期望收益，分别计算攻防双方的平均收益。
优选的，所述的步骤B包含如下内容：
B1、根据折现因子、安全状态转移概率及目标准则函数，计算未来阶段的折扣收益；
B2、根据未来阶段的折扣收益、及每个子博弈阶段攻防双方求解结果，通过动态规划方法将博弈均衡求解问题转化为动态规划求解问题。
优选的，所述的目标准则函数采用折扣期望准则函数，其表示为：
其中，UA、UD分别为子博弈阶段G(k)中攻、防双方的收益值，表示未来阶段的折扣收益值。
优选的，通过动态规划方法将博弈均衡求解问题转化为动态规划求解问题，具体表示为：对k＝{1,2,…,T}，
，其中，在第k个子博弈阶段，和分别代表防御方和攻击方的复制动态方程，和分别代表防御策略和攻击策略的选取概率。
一种基于Markov演化博弈的网络防御策略选取装置，包含：演化博弈模型构建模块及模型求解输出模块，
演化博弈模型构建模块，用于根据网络攻防过程中动态攻防博弈构建多阶段Markov攻防演化博弈模型，该模型包含多个子博弈阶段；
模型求解输出模块，用于针对演化博弈模型构建模块中的多阶段Markov攻防演化博弈模型，通过采用最优防御策略选取算法求解攻防博弈各个阶段的最优防御策略并输出。
上述的网络防御策略选取装置中，所述的模型求解输出模块包含：阶段收益求解单元、问题转化单元及策略求解输出单元，
阶段收益求解单元，用于根据演化博弈模型构建模块中的多阶段Markov攻防演化博弈模型，求解每个子博弈阶段中攻防双方收益；
问题转化单元，用于根据阶段收益求解单元中每个子博弈阶段攻防双方收益，并通过引入折现因子将未来阶段的收益折算成基于初始阶段的折扣收益，将多阶段博弈均衡求解问题，转化为以整体收益为目标的动态规划问题；
策略求解输出单元，用于对问题转化单元中的动态规划问题进行求解，获取多阶段博弈均衡策略集合，依据博弈理论确定防御方的最优防御策略并进行输出。
本发明的有益效果：
本发明解决传统博弈模型应用于网络防御策略选取存在行为者完全理性以及无法描述实际网络攻防过程的动态演化特性的问题；从攻防对抗的角度出发，研究探索网络安全分析方法和防御技术体系，通过将各个演化阶段之间的状态跳变描述为随机过程，在借鉴Markov过程的基础上，将多阶段演化博弈与Markov决策方法相结合，构建多阶段Markov演化博弈；以博弈的折扣总收益为目标函数，针对多阶段攻防过程中的收益衰减，引入折现因子ξ对不同阶段的博弈收益进行折扣处理，在求解和分析多阶段博弈均衡的基础上，设计最优防御策略选取算法，并通过仿真实验验证模型和方法的有效性。与已有研究成果相比，本发明成果能够分析有限理性的攻击者和防御者之间的动态对抗过程，最优防御策略选取的实用性和和指导意义更强。
附图说明：
图1为本发明的方法流程示意图；
图2为信号博弈树示意图；
图3为多阶段Markov演化博弈模型架构示意图；
图4为本发明的装置示意图；
图5为仿真实例实验***结构示意图；
图6为仿真实例具体网络攻防状态转移过程示意图。
具体实施方式：
为使本发明的目的、技术方案和优点更加清楚、明白，下面结合附图和技术方案对本发明作进一步详细的说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
马尔可夫分析法(Markov analysis)：又称为马尔可夫转移矩阵法，是指在马尔可夫过程的假设前提下，通过分析随机变量的现实变化情况来预测这些变量未来变化情况的一种预测方法，主要应用于随机事件变化趋势的研究，该理论在目前科研领域有着十分重要的意义。
马尔可夫链(Markov Chain)：是指时间和状态都是离散的马尔可夫过程，简称马氏链，记为{Xn＝X(n),n＝0,1,2,…}。其可以看作在时间集T＝{0,1,2…}上对离散状态的马氏过程相继观察的结果。
状态转移概率(State Transition Probability)：假设在时间集T中，马氏链的状态空间为I＝{a1,a2,…}，ai∈R。针对链的情形，马尔可夫性通常用条件分布律来表示，即对和0≤t1<t2…<tr<m；ti,m,n+m∈T，
有
其中，a.∈I，记上式右端为Pij(m,m+n)。称条件概率Pij(m,m+n)＝P(Xm+n＝aj|Xm＝ai)为马氏链在时刻m处于状态ai条件下，在时刻m+n转移到状态aj的状态转移概率。
演化博弈论(Evolutionary Game Theory)：源于Darwin的生物进化论，继承了生物学对于物种进化的理论阐述，从个体有限理性条件出发，以群体行为为研究对象，在阐述生物物种的发展历程和进化选择中，解释了生物行为的进化博弈过程。通过长期的试错、模仿和改进，所有的博弈方都会趋于某个稳定的策略，该策略可能在群体组织中长期稳定下来，这种稳定的策略均衡就与生物进化的进化稳定策略非常相似，以达到一种相对和谐的博弈均衡状态。
演化稳定策略(ESS，Evolutionary Stable Strategy)：是指在具有明确定义下不会被突变体入侵的策略，是演化博弈中具有真正稳定性和较强预测能力的均衡策略。它是生物进化理论中具有较强抗干扰能力且在受到干扰后仍能“恢复”的稳健性均衡概念，是演化博弈分析中最核心的均衡概念。
本发明实施例提供了一种基于Markov演化博弈的网络防御策略选取方法，参见图1所示，包含：
101、根据网络攻防过程中动态攻防博弈，构建多阶段Markov攻防演化博弈模型，该模型包含多个子博弈阶段；
102、针对多阶段Markov攻防演化博弈模型，采用最优防御策略选取算法求解攻防博弈各个阶段的最优防御策略并输出。
解决传统博弈模型应用于网络防御策略选取存在行为者完全理性以及无法描述实际网络攻防过程的动态演化特性的问题；通过多阶段Markov攻防演化博弈模型模拟网络攻防动态演化过程，从攻防对抗的角度出发，研究探索网络安全分析方法和防御技术体系，具有重要现实意义。
在本发明的另一个实施例中，多阶段Markov攻防演化博弈模型表示为：M2ADE＝(N,T,B,P,ξ,S0,S,η,U)，其中，N＝(ND,NA)是演化博弈的参与者空间，ND为防御方，NA为攻击方；T是多阶段博弈的阶段总数，当前阶段博弈过程用G(k)表示，k＝{1,2,…,T}，B＝(DS,AS)是攻防行动空间， 表示攻击方在第k个阶段的可选策略， 表示防御方在第k个阶段的可选策略；是博弈信念集合，表示在第k个阶段选择攻击策略的概率，且 表示在第k个阶段选择防御策略的概率，且ξ是折现因子，其表示在博弈阶段k中的收益相较初始阶段的折现比例，0≤ξ≤1；是攻防过程中初始安全状态集合，S＝{S1…Sk…ST}是攻防过程中安全状态集合，集合S0与S中的状态与博弈阶段一一对应；η表示安全状态转移概率，ηij＝η(Sj|Si)表示***从状态Si跳变至状态Sj的概率；是博弈收益函数集合，和代表第k个博弈阶段中防御者和攻击者的收益函数。
将多阶段演化博弈模型与Markov决策过程相结合，构建多阶段Markov演化博弈模型，将Markov决策过程中的单个智能体扩展到多智能体，具体如图3所示，在网络攻防过程中，基于不完全理性假设，攻防决策者可以通过向他人学习的方法，不断改进、提高自身策略，使自身收益达到最优，属于一个多状态且状态随时间动态改变的演化过程。在一定时间阶段内，网络攻防***会达到某个稳定均衡状态，但该状态并不能一直维持下去，随着时间推移，博弈要素和***环境都可能发生改变，稳定的均衡状态被破坏，网络***以概率η从稳定状态跳变到另一个非稳定状态，***将打破均衡从而开始下一阶段的演化。从攻防过程的全局视角出发，***处于“演化—跳变—演化”的动态过程中，在分析多阶段网络攻防博弈过程的基础上，构建多阶段Markov攻防演化博弈模型。
在本发明的再一实施例中，采用最优防御策略选取算法求解攻防博弈各个阶段的最优防御策略，包含如下内容：
A)、根据多阶段Markov攻防演化博弈模型，求解每个子博弈阶段攻防双方收益；
B)、通过引入折现因子将未来阶段的收益折算成基于初始阶段的折扣收益，将多阶段博弈均衡求解问题，转化为以整体收益为目标的动态规划问题；
C)、对动态规划问题进行求解，得到多阶段博弈均衡策略集合并输出。
网络攻防博弈模型中包含多个子博弈过程，本发明的又一实施例中，根据多阶段Markov攻防演化博弈模型，求解每个子博弈阶段攻防双方收益，包含如下内容：构建每个子博弈阶段的演化博弈树并计算该阶段的博弈收益，通过循环迭代直至完成所有的子博弈阶段的演化博弈树构建和博弈收益计算。
基于博弈理论的网络安全防御大多采用传统博弈理论为主，而传统博弈理论以行为者完全理性为前提，博弈双方在博弈过程中通过最大化自身利益，选取最优防御策略进行网络安全防御。而信号博弈就是传统博弈理论中的一种，局中人分别是信号的发出者和信号的接收者。信号发出者的类型并不为信号接收者所知，但接受者对信号发出者的类型有先验判断。接收者利用信号对发出者的类型做出修正，形成后验判断，进而选择最优行动，其信号博弈树如图2所示，按以下步骤来求解网络攻防双方的精炼贝叶斯均衡。
(1)求解攻击者推断依存的子博弈精炼均衡策略
当m＝m1时，
因为o1+o2+o3＝1，令
即可得到
假设并且则有以下三种情况
若原式＝a12·o1+a42·o2+a72·o3，a(m1)＝A1
若原式＝a22·o1+a52·o2+a82·o3，a(m1)＝A2
若原式＝a32·o1+a62·o2+a92·o3，a(m1)＝A3
同理可得若a(m2)＝A1；若a(m2)＝A2；若a(m2)＝A3。
同理可得若a(m3)＝A1；若a(m3)＝A2；若a(m3)＝A3。
(2)求解防御者推断的子博弈精炼均衡策略
当t＝t1时
当时
原式＝max{UD(m1,a(m1),t1),UD(m2,a(m2),t1),UD(m3,a(m3),t1)}＝max{a11,a23,a35}，由此可求得m(t1)。
同理可得情况下的m(t1)。
且可以得到t2、t3类型的子博弈精炼均衡策略。
(3)求解信号博弈的精炼贝叶斯均衡
在已知m*(t),a*(m)的条件下，可以求出满足贝叶斯法则的攻击者对防御者类型的推断若P(t|m)与不冲突，即可得出信号博弈的精炼贝叶斯均衡策略
依据博弈理论可知，精炼贝叶斯纳什均衡下的混合策略即为双方的最优选择。
优选的，本发明的又一实施例中，构建每个子博弈阶段的演化博弈树并计算该阶段的博弈收益，包含：
A1、构建当前循环子博弈阶段的博弈信念集合；
A2、针对该子博弈阶段的攻防策略对，分别计算攻防双方收益值；
A3、根据博弈信念集合及攻防双方收益值，分别计算攻防双方的期望收益；
A4、根据博弈信念集合及攻防双方的期望收益，分别计算攻防双方的平均收益。
在多阶段博弈均衡策略求解的问题上，本发明的另一实施例中，通过引入折现因子将未来阶段的收益折算成基于初始阶段的折扣收益，将多阶段博弈均衡求解问题，转化为以整体收益为目标的动态规划问题，包含如下内容：
B1、根据折现因子、安全状态转移概率及目标准则函数，计算未来阶段的折扣收益；
B2、根据未来阶段的折扣收益、及每个子博弈阶段攻防双方求解结果，通过动态规划方法将博弈均衡求解问题转化为动态规划求解问题。
目标准则函数R用于判断攻防双方策略的优劣。常用目标准则函数有折扣期望准则函数和平均回报准则函数。由于博弈收益与时间有关，在本发明的又一个实施例中，通过引入折现因子，采用折扣期望准则函数，其表示为：
其中，UA、UD分别为子博弈阶段G(k)中攻、防双方的收益值，表示未来阶段的折扣收益值。目标准则函数是博弈阶段G(k)中收益值UA、UD与未来折扣收益值之和，攻防双方的目标是使各自的目标函数达到最大值。
在网络对抗过程中，攻防双方都尽可能最大化自身收益，对于多阶段Markov攻防演化博弈，当处于演化博弈阶段G(k)时，攻防双方的策略分别为和根据演化博弈均衡定理，若为第k阶段的演化稳定策略，则对于任意的攻防策略满足：
基于M2ADE模型研究多阶段网络攻防过程，由于网络攻防由多个子博弈过程构成，每个状态都会受之前阶段攻防博弈中行为策略的影响，根据Markov决策准则，参与人必有一个Markov最优响应策略。因此，若为Markov最优响应策略，则使目标函数和达到最大值，即对任意阶段k均满足下列条件：
状态转移概率η直接影响折扣收益值的计算，进而影响目标函数的取值，对于攻防双方最优策略的选取具有直接作用。当η发生变化后，若变化程度较大，可能直接导致最优策略改变。部分已有研究成果均设置固定的状态转移概率，并依据历史数据和专家经验确定具体取值，本发明使用同样的方法。
由于攻防过程由有限的k个阶段博弈构成，同时每个阶段中的策略集DSk和ASk是有限的，并且攻防双方的博弈收益也是有限的，因此，多阶段Markov攻防演化博弈模型M2ADE为多状态-多智能体的有限Markov演化博弈模型。M2ADE博弈由多个独立且相似的单阶段演化博弈构成。一方面，由于每个独立的单阶段演化博弈均属于有限博弈，因此，必定存在混合策略下的纳什均衡。另一方面，由多阶段Markov演化博弈模型的定义，依据转移概率和收益函数可知，存在与M2ADE等价的有限随机博弈，且收益函数为凸函数。根据有限随机博弈的均衡策略存在性定理可知，该有限随机博弈存在混合策略下的纳什均衡。综上，M2ADE存在混合策略下的纳什均衡。
通过求解每个子博弈阶段演化博弈均衡，针对多阶段攻防过程中的收益计算问题，通过引入折现因子，将未来阶段的收益折算成基于初始阶段的折扣收益，在此基础上，在本发明的其他实施例中，通过动态规划方法将博弈均衡求解问题转化为动态规划求解问题，具体表示为：对k＝{1,2,…,T}，
，其中，在第k个子博弈阶段，和分别代表防御方和攻击方的复制动态方程，和分别代表防御策略和攻击策略的选取概率。求解上述动态规划问题可以得到最优解集合即为多阶段博弈的均衡策略集合。依据博弈理论，混合策略是第k阶段攻防双方的最优选择，因此防御方应将作为最优防御策略。
与上述方法对应，本发明实施例还提供了一种基于Markov演化博弈的网络防御策略选取装置，如图4所示，包含：演化博弈模型构建模块201及模型求解输出模块202，
演化博弈模型构建模块201，用于根据网络攻防过程中动态攻防博弈构建多阶段Markov攻防演化博弈模型，该模型包含多个子博弈阶段；
模型求解输出模块202，用于针对演化博弈模型构建模块中的多阶段Markov攻防演化博弈模型，通过采用最优防御策略选取算法求解攻防博弈各个阶段的最优防御策略并输出。
在本发明的另一个实施例中，所述的模型求解输出模块包含：阶段收益求解单元、问题转化单元及策略求解输出单元，
阶段收益求解单元，用于根据演化博弈模型构建模块中的多阶段Markov攻防演化博弈模型，求解每个子博弈阶段中攻防双方收益；
问题转化单元，用于根据阶段收益求解单元中每个子博弈阶段攻防双方收益，并通过引入折现因子将未来阶段的收益折算成基于初始阶段的折扣收益，将多阶段博弈均衡求解问题，转化为以整体收益为目标的动态规划问题；
策略求解输出单元，用于对问题转化单元中的动态规划问题进行求解，获取多阶段博弈均衡策略集合，依据博弈理论确定防御方的最优防御策略并进行输出。
在上述分析的基础上，多阶段Markov攻防演化博弈的最优防御策略选取算法描述如下：
Input:多阶段Markov攻防演化博弈模型M2ADE
Output:多阶段最优防御策略
BEGIN
1.初始化M2ADE＝(N,T,B,P,ξ,S0,S,η,U)；
2.构建防御行为空间DS和攻击行为空间AS；
3.构建攻防博弈各阶段的状态集合和S＝{S1…Sk…ST}；
4.初始化状态转移概率ηij＝η(Sj|Si)；
5.For(k＝1；k≤T；k++)
{//构建不同阶段的演化博弈树并计算博弈收益；
6.构建博弈信念集合且且
7.针对攻防策略对计算攻防收益值
8.计算策略的期望收益
9.计算攻防双方的平均收益
}
10.利用折现因子ξ，计算折扣收益
11.基于动态规划方法，以和为目标函数，求解得到博弈均衡解
12.Return//输出攻防博弈各阶段的最优防御策略
END
算法时间复杂度为O(k(m+n)2)，空间消耗主要集中在收益值和均衡求解中间结果的存储上，其空间复杂度为O(knm)。根据该算法，可以分析单阶段策略选取随时间变化的情况以及策略的收益情况，然后通过折现准则求出k个阶段的折扣收益，利用动态规划求解多阶段攻防过程的最优防御决策，用于多阶段网络攻防的行为分析与防御决策。
为进一步验证本发明的有效性，下面通过，具体实例做进一步解释说明：
构建如图5示的信息***进行实验验证，实验***主要由安全防御设备、Web服务器、文件服务器、数据库服务器和客户终端组成，安装Windows、Linux等操作***，Web服务器提供Http服务，文件服务器提供Ftp服务，数据库服务器运行Oracle 11***，客户终端具有电子邮件、文件下载、视频点播等功能。
针对建立的网络信息实验***结构，设定网络攻防过程分为八个阶段，具体网络攻防状态转移过程如图6所示，其中，为初始状态，Sk为演化状态。实线箭头表示单阶段内的攻防博弈过程，虚线箭头表示从某一阶段跳变到下一阶段初始状态的过程。具体状态包括：
Sk＝{S1：获取Web服务器的access权限；S2：获取F2的access权限；S3：通过D1获取对F1的access权限；S4：获取D1的user权限；S5：获取F1的root权限；S6：获取C2的root权限；S7：通过C1获取D2的access权限；S8：获取F2的root权限}。
针对不同阶段之间的状态跳变，假设状态转移概率固定，并依据历史数据和专家经验确定各阶段之间的转移概率，具体如表1所示，其中ηij＝η(Sj|Si)表示从状态Si跳变至状态Sj的概率。
表1各阶段之间的状态转移概率
访问控制规则限制非本网络的主机只能访问Web服务器，***内Web服务器、应用服务器可以对数据库服务器进行访问。通过Nessus扫描实验信息***，结合国家信息安全漏洞库(CNNVD)信息，在分析路由文件、漏洞信息的基础上，构建各博弈阶段的攻防策略集，具体如表2所示：
表2不同博弈阶段的攻防行动可选集
针对每一个攻防策略对(ASi,DSj)，根据策略成本/回报量化方法和策略收益计算方法，分别给出各阶段的攻防收益矩阵，如表3所示：
表3各阶段的攻防收益矩阵
设折现因子ξ＝0.5，采用Matlab2012软件编程实现本发明中的策略选取算法，计算得到各个阶段的均衡策略，如表4所示，其中，为防御者在各阶段的最优防御策略。
表4各阶段博弈均衡策略
上述实验过程中***状态数为16，博弈分为8个阶段，每个阶段攻防双方各有3个策略，各阶段之间共有15种状态转移概率，为实现不同阶段的最优防御策略选取，需要计算16个收益矩阵，算法运算时间为32.7s。
实验分析
以文件服务器F1、F2为攻击目标，只要攻击方获取服务器F1、F2的root权限即认为达到攻击目标。通过分析上述仿真过程可知，存在两条主要攻击路径：和其中第一条攻击路径可以获取服务器F2的root权限，第二条攻击路径可以获取服务器F1的root权限。
第1阶段攻击行动可选集和防御行动可选集见表3(下同)，最优防御策略为混合策略防御收益为-30.5。
第2阶段当***以概率η(2|1)＝0.8从状态S1跳变至后开始本阶段博弈，最优防御策略为混合策略防御收益为-20.4。
第3阶段当***以概率η(8|2)＝0.4从状态S2跳变至后开始本阶段博弈，最优防御策略为混合策略防御收益为-27.5。
第1阶段攻击行动可选集和防御行动可选集见表3(下同)，最优防御策略为混合策略防御收益为-30.5。
第2阶段当***以概率η(6|1)＝0.6从状态S1跳变至后开始本阶段博弈，最优防御策略为混合策略防御收益为-40.3。
第3阶段当***以概率η(3|6)＝0.8从状态S6跳变至后开始本阶段博弈，最优防御策略为混合策略防御收益为-43.2。
第4阶段当***以概率η(5|3)＝0.9从状态S3跳变至后开始本阶段博弈，最优防御策略为混合策略防御收益为-19.5。
针对两条攻击路径，分别计算攻防总收益，则路径①的攻击总收益为防御总收益为路径②的攻击总收益为防御总收益为可知且显然路径①更加符合防御方的期望，防御方应当尽量避免路径②。对比分析路径①和②可以发现，其第1阶段相同，都要经历从***状态演化到状态S1的过程，但在跳转到第2阶段时，路径①从状态S1跳变至而路径②从状态S1跳变至为降低路径②的发生可能，需要减小状态S1跳变至的概率，若***无法抵达状态则路径②将不会实现，可以满足防御方的期望，沿路径①开展攻防对抗。进一步分析可知，第1阶段攻防博弈结束后，路径①跳变至状态路径②跳变至状态这两种情况下存在不同的攻击动作集，详见表2。由于策略集和***运行环境的变化是引起状态跳变的重要原因，针对对应的AS＝{Oracle TNS Listener,Wu-Ftp Sockprintf,install SQL Listener program}，防御者可以在攻防博弈中利用动态调整网络访问端口、增设白名单等方式改变访问控制规则或者增加新的针对性防御策略，降低该攻击动作集的实施可能性，减小跳变至的概率，降低路径②的发生可能。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的各实例的单元及方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已按照功能一般性地描述了各示例的组成及步骤。这些功能是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不认为超出本发明的范围。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如：只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于Markov演化博弈的网络防御策略选取方法，其特征在于，包含：
根据网络攻防过程中动态攻防博弈，构建多阶段Markov攻防演化博弈模型，该模型包含多个子博弈阶段；
针对多阶段Markov攻防演化博弈模型，采用最优防御策略选取算法求解攻防博弈各个阶段的最优防御策略并输出。
2.根据权利要求1所述的基于Markov演化博弈的网络防御策略选取方法，其特征在于，多阶段Markov攻防演化博弈模型表示为：M2ADE＝(N,T,B,P,ξ,S0,S,η,U)，其中，N＝(ND,NA)是演化博弈的参与者空间，ND为防御方，NA为攻击方；T是多阶段博弈的阶段总数，当前阶段博弈过程用G(k)表示，k＝{1,2,…,T}，B＝(DS,AS)是攻防行动空间， 表示攻击方在第k个阶段的可选策略， 表示防御方在第k个阶段的可选策略；是博弈信念集合，表示在第k个阶段选择攻击策略的概率，且 表示在第k个阶段选择防御策略的概率，且ξ是折现因子，其表示在博弈阶段k中的收益相较初始阶段的折现比例，0≤ξ≤1；是攻防过程中初始安全状态集合，S＝{S1…Sk…ST}是攻防过程中安全状态集合，集合S0与S中的状态与博弈阶段一一对应；η表示安全状态转移概率，ηij＝η(Sj|Si)表示***从状态Si跳变至状态Sj的概率；是博弈收益函数集合，和代表第k个博弈阶段中防御者和攻击者的收益函数。
3.根据权利要求2所述的基于Markov演化博弈的网络防御策略选取方法，其特征在于，采用最优防御策略选取算法求解攻防博弈各个阶段的最优防御策略，包含如下内容：
A)、根据多阶段Markov攻防演化博弈模型，求解每个子博弈阶段攻防双方收益；
B)、通过引入折现因子将未来阶段的收益折算成基于初始阶段的折扣收益，将多阶段博弈均衡求解问题，转化为以整体收益为目标的动态规划问题；
C)、对动态规划问题进行求解，得到多阶段博弈均衡策略集合并输出。
4.根据权利要求3所述的基于Markov演化博弈的网络防御策略选取方法，其特征在于，所述的步骤A包含如下内容：构建每个子博弈阶段的演化博弈树并计算该阶段的博弈收益，通过循环迭代直至完成所有的子博弈阶段的演化博弈树构建和博弈收益计算。
5.根据权利要求4所述的基于Markov演化博弈的网络防御策略选取方法，其特征在于，构建每个子博弈阶段的演化博弈树并计算该阶段的博弈收益，包含：
A1、构建当前循环子博弈阶段的博弈信念集合；
A2、针对该子博弈阶段的攻防策略对，分别计算攻防双方收益值；
A3、根据博弈信念集合及攻防双方收益值，分别计算攻防双方的期望收益；
A4、根据博弈信念集合及攻防双方的期望收益，分别计算攻防双方的平均收益。
6.根据权利要求3所述的基于Markov演化博弈的网络防御策略选取方法，其特征在于，所述的步骤B包含如下内容：
B1、根据折现因子、安全状态转移概率及目标准则函数，计算未来阶段的折扣收益；
B2、根据未来阶段的折扣收益、及每个子博弈阶段攻防双方求解结果，通过动态规划方法将博弈均衡求解问题转化为动态规划求解问题。
7.根据权利要求6所述的基于Markov演化博弈的网络防御策略选取方法，其特征在于，所述的目标准则函数采用折扣期望准则函数，其表示为：
其中，UA、UD分别为子博弈阶段G(k)中攻、防双方的收益值，表示未来阶段的折扣收益值。
8.根据权利要求6所述的基于Markov演化博弈的网络防御策略选取方法，其特征在于，通过动态规划方法将博弈均衡求解问题转化为动态规划求解问题，具体表示为：对k＝{1,2,…,T}，
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>max</mi> <mi> </mi> <msubsup> <mi>R</mi> <mi>D</mi> <mi>k</mi> </msubsup> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>S</mi> <mn>0</mn> <mi>k</mi> </msubsup> <mo>,</mo> <msub> <mi>S</mi> <mi>k</mi> </msub> </mrow> <mo>)</mo> </mrow> <mo>=</mo> <mi>max</mi> <mrow> <mo>&amp;lsqb;</mo> <mrow> <msub> <mi>U</mi> <mi>D</mi> </msub> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>DS</mi> <mi>k</mi> <mi>j</mi> </msubsup> <mo>,</mo> <msubsup> <mi>AS</mi> <mi>k</mi> <mi>i</mi> </msubsup> </mrow> <mo>)</mo> </mrow> <mo>+</mo> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>e</mi> <mo>,</mo> <mi>h</mi> <mo>&amp;Element;</mo> <mrow> <mo>&amp;lsqb;</mo> <mrow> <mi>k</mi> <mo>,</mo> <mi>T</mi> </mrow> <mo>&amp;rsqb;</mo> </mrow> </mrow> </munder> <msup> <mi>&amp;xi;</mi> <mi>h</mi> </msup> <mi>&amp;eta;</mi> <mrow> <mo>(</mo> <mrow> <msub> <mi>S</mi> <mi>h</mi> </msub> <mo>|</mo> <msub> <mi>S</mi> <mi>e</mi> </msub> </mrow> <mo>)</mo> </mrow> <msubsup> <mi>R</mi> <mi>D</mi> <mi>h</mi> </msubsup> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>S</mi> <mn>0</mn> <mi>h</mi> </msubsup> <mo>,</mo> <msub> <mi>S</mi> <mi>h</mi> </msub> </mrow> <mo>)</mo> </mrow> </mrow> <mo>&amp;rsqb;</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>max</mi> <mi> </mi> <msubsup> <mi>R</mi> <mi>A</mi> <mi>k</mi> </msubsup> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>S</mi> <mn>0</mn> <mi>k</mi> </msubsup> <mo>,</mo> <msub> <mi>S</mi> <mi>k</mi> </msub> </mrow> <mo>)</mo> </mrow> <mo>=</mo> <mi>max</mi> <mrow> <mo>&amp;lsqb;</mo> <mrow> <msub> <mi>U</mi> <mi>A</mi> </msub> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>DS</mi> <mi>k</mi> <mi>j</mi> </msubsup> <mo>,</mo> <msubsup> <mi>AS</mi> <mi>k</mi> <mi>i</mi> </msubsup> </mrow> <mo>)</mo> </mrow> <mo>+</mo> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>e</mi> <mo>,</mo> <mi>h</mi> <mo>&amp;Element;</mo> <mrow> <mo>&amp;lsqb;</mo> <mrow> <mi>k</mi> <mo>,</mo> <mi>T</mi> </mrow> <mo>&amp;rsqb;</mo> </mrow> </mrow> </munder> <msup> <mi>&amp;xi;</mi> <mi>h</mi> </msup> <mi>&amp;eta;</mi> <mrow> <mo>(</mo> <mrow> <msub> <mi>S</mi> <mi>h</mi> </msub> <mo>|</mo> <msub> <mi>S</mi> <mi>e</mi> </msub> </mrow> <mo>)</mo> </mrow> <msubsup> <mi>R</mi> <mi>A</mi> <mi>h</mi> </msubsup> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>S</mi> <mn>0</mn> <mi>h</mi> </msubsup> <mo>,</mo> <msub> <mi>S</mi> <mi>h</mi> </msub> </mrow> <mo>)</mo> </mrow> </mrow> <mo>&amp;rsqb;</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>D</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <msubsup> <mi>q</mi> <mi>k</mi> <mi>j</mi> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <msubsup> <mi>dq</mi> <mi>k</mi> <mi>j</mi> </msubsup> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mi>d</mi> <mi>t</mi> </mrow> </mfrac> <mo>=</mo> <msubsup> <mi>q</mi> <mi>k</mi> <mi>j</mi> </msubsup> <mrow> <mo>(</mo> <mrow> <msub> <mi>U</mi> <mrow> <msubsup> <mi>DS</mi> <mi>k</mi> <mi>j</mi> </msubsup> </mrow> </msub> <mo>-</mo> <mover> <msub> <mi>U</mi> <msub> <mi>D</mi> <mi>k</mi> </msub> </msub> <mo>&amp;OverBar;</mo> </mover> </mrow> <mo>)</mo> </mrow> <mo>=</mo> <mn>0</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>A</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <msubsup> <mi>p</mi> <mi>k</mi> <mi>i</mi> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <msubsup> <mi>dp</mi> <mi>k</mi> <mi>i</mi> </msubsup> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mi>d</mi> <mi>t</mi> </mrow> </mfrac> <mo>=</mo> <msubsup> <mi>p</mi> <mi>k</mi> <mi>i</mi> </msubsup> <mrow> <mo>(</mo> <mrow> <msub> <mi>U</mi> <mrow> <msubsup> <mi>AS</mi> <mi>k</mi> <mi>i</mi> </msubsup> </mrow> </msub> <mo>-</mo> <msub> <mover> <mi>U</mi> <mo>&amp;OverBar;</mo> </mover> <msub> <mi>A</mi> <mi>k</mi> </msub> </msub> </mrow> <mo>)</mo> </mrow> <mo>=</mo> <mn>0</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <msubsup> <mi>q</mi> <mi>k</mi> <mi>j</mi> </msubsup> <mo>=</mo> <mn>1</mn> <mo>,</mo> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <msubsup> <mi>p</mi> <mi>k</mi> <mi>i</mi> </msubsup> <mo>=</mo> <mn>1</mn> <mo>;</mo> <msubsup> <mi>q</mi> <mi>k</mi> <mi>j</mi> </msubsup> <mo>&amp;Element;</mo> <mrow> <mo>&amp;lsqb;</mo> <mrow> <mn>0</mn> <mo>,</mo> <mn>1</mn> </mrow> <mo>&amp;rsqb;</mo> </mrow> <mo>,</mo> <msubsup> <mi>p</mi> <mi>k</mi> <mi>i</mi> </msubsup> <mo>&amp;Element;</mo> <mrow> <mo>&amp;lsqb;</mo> <mrow> <mn>0</mn> <mo>,</mo> <mn>1</mn> </mrow> <mo>&amp;rsqb;</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced> ，
其中，在第k个子博弈阶段，和分别代表防御方和攻击方的复制动态方程，和分别代表防御策略和攻击策略的选取概率。
9.一种基于Markov演化博弈的网络防御策略选取装置，其特征在于，包含：演化博弈模型构建模块及模型求解输出模块，
演化博弈模型构建模块，用于根据网络攻防过程中动态攻防博弈构建多阶段Markov攻防演化博弈模型，该模型包含多个子博弈阶段；
模型求解输出模块，用于针对演化博弈模型构建模块中的多阶段Markov攻防演化博弈模型，通过采用最优防御策略选取算法求解攻防博弈各个阶段的最优防御策略并输出。
10.根据权利要求9所述的基于Markov演化博弈的网络防御策略选取装置，其特征在于，所述的模型求解输出模块包含：阶段收益求解单元、问题转化单元及策略求解输出单元，
阶段收益求解单元，用于根据演化博弈模型构建模块中的多阶段Markov攻防演化博弈模型，求解每个子博弈阶段中攻防双方收益；
问题转化单元，用于根据阶段收益求解单元中每个子博弈阶段攻防双方收益，并通过引入折现因子将未来阶段的收益折算成基于初始阶段的折扣收益，将多阶段博弈均衡求解问题，转化为以整体收益为目标的动态规划问题；
策略求解输出单元，用于对问题转化单元中的动态规划问题进行求解，获取多阶段博弈均衡策略集合，依据博弈理论确定防御方的最优防御策略并进行输出。
CN201710334463.5A 2017-05-12 2017-05-12 基于Markov演化博弈的网络防御策略选取方法及其装置 Active CN107135224B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710334463.5A CN107135224B (zh) 2017-05-12 2017-05-12 基于Markov演化博弈的网络防御策略选取方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710334463.5A CN107135224B (zh) 2017-05-12 2017-05-12 基于Markov演化博弈的网络防御策略选取方法及其装置

Publications (2)

Publication Number Publication Date
CN107135224A true CN107135224A (zh) 2017-09-05
CN107135224B CN107135224B (zh) 2020-01-10

Family

ID=59731541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710334463.5A Active CN107135224B (zh) 2017-05-12 2017-05-12 基于Markov演化博弈的网络防御策略选取方法及其装置

Country Status (1)

Country Link
CN (1) CN107135224B (zh)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107483486A (zh) * 2017-09-14 2017-12-15 中国人民解放军信息工程大学 基于随机演化博弈模型的网络防御策略选取方法
CN107819785A (zh) * 2017-11-28 2018-03-20 东南大学 一种面向电力***虚假数据注入攻击的双层防御方法
CN108287473A (zh) * 2017-12-20 2018-07-17 中国人民解放军海军大连舰艇学院 一种基于任务集及***状态演化分析的舰队防空资源子调度控制***与方法
CN108494810A (zh) * 2018-06-11 2018-09-04 中国人民解放军战略支援部队信息工程大学 面向攻击的网络安全态势预测方法、装置及***
CN108629422A (zh) * 2018-05-10 2018-10-09 浙江大学 一种基于知识指导-战术感知的智能体学习方法
CN108833402A (zh) * 2018-06-11 2018-11-16 中国人民解放军战略支援部队信息工程大学 一种基于有限理性博弈理论的网络最优防御策略选取方法及装置
CN108898010A (zh) * 2018-06-25 2018-11-27 北京计算机技术及应用研究所 一种建立面向恶意代码防御的攻防随机博弈模型的方法
CN109327427A (zh) * 2018-05-16 2019-02-12 中国人民解放军战略支援部队信息工程大学 一种面对未知威胁的动态网络变化决策方法及其***
CN109379322A (zh) * 2018-05-16 2019-02-22 中国人民解放军战略支援部队信息工程大学 一种完全信息条件下网络动态变换的决策方法及其***
CN109496305A (zh) * 2018-08-01 2019-03-19 东莞理工学院 连续动作空间上的纳什均衡策略及社交网络舆论演变模型
CN109617863A (zh) * 2018-11-27 2019-04-12 杭州电子科技大学 一种基于博弈论的移动目标防御最优防御策略选取的方法
CN109829566A (zh) * 2018-12-26 2019-05-31 中国人民解放军国防科技大学 一种生成作战行动序列的方法
CN110166428A (zh) * 2019-04-12 2019-08-23 中国人民解放军战略支援部队信息工程大学 基于强化学习和攻防博弈的智能防御决策方法及装置
CN110225019A (zh) * 2019-06-04 2019-09-10 腾讯科技（深圳）有限公司 一种网络安全处理方法和装置
CN110300106A (zh) * 2019-06-24 2019-10-01 中国人民解放军战略支援部队信息工程大学 基于Markov时间博弈的移动目标防御决策选取方法、装置及***
CN110460572A (zh) * 2019-07-06 2019-11-15 中国人民解放军战略支援部队信息工程大学 基于Markov信号博弈的移动目标防御策略选取方法及设备
CN110874470A (zh) * 2018-12-29 2020-03-10 北京安天网络安全技术有限公司 基于网络攻击预测网络空间安全性的方法及装置
CN111064702A (zh) * 2019-11-16 2020-04-24 中国人民解放军战略支援部队信息工程大学 基于双向信号博弈的主动防御策略选取方法及装置
WO2020093201A1 (zh) * 2018-11-05 2020-05-14 北京大学深圳研究生院 基于gspn和鞅理论网络空间拟态防御的安全性建模量化方法
CN111224966A (zh) * 2019-12-31 2020-06-02 中国人民解放军战略支援部队信息工程大学 基于演化网络博弈的最优防御策略选取方法
CN111245857A (zh) * 2020-01-17 2020-06-05 安徽师范大学 一种区块链环境下通道网络稳态演化博弈方法
CN112422573A (zh) * 2020-11-19 2021-02-26 北京天融信网络安全技术有限公司 攻击路径还原方法、装置、设备及存储介质
CN112417751A (zh) * 2020-10-28 2021-02-26 清华大学 基于图演化博弈理论的抗干扰融合方法及装置
CN112434922A (zh) * 2020-11-13 2021-03-02 北方工业大学 一种基于零和博弈的城市电网***安全性控制方法及装置
CN112966273A (zh) * 2021-03-09 2021-06-15 中国人民解放军空军工程大学 基于Markov演化模型的多阶段平台动态防御方法
CN110110857B (zh) * 2019-04-10 2021-10-08 浙江锐文科技有限公司 基于博弈理论的混合遥测方法
US11418533B2 (en) * 2020-04-20 2022-08-16 Prince Mohammad Bin Fahd University Multi-tiered security analysis method and system
US11552965B2 (en) * 2017-12-28 2023-01-10 Hitachi, Ltd Abnormality cause specification support system and abnormality cause specification support method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103152345A (zh) * 2013-03-07 2013-06-12 南京理工大学常熟研究院有限公司 一种攻防博弈的网络安全最优攻防决策方法
US20140274246A1 (en) * 2013-03-15 2014-09-18 University Of Southern California Localized shortest-paths estimation of influence propagation for multiple influencers

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103152345A (zh) * 2013-03-07 2013-06-12 南京理工大学常熟研究院有限公司 一种攻防博弈的网络安全最优攻防决策方法
US20140274246A1 (en) * 2013-03-15 2014-09-18 University Of Southern California Localized shortest-paths estimation of influence propagation for multiple influencers

Cited By (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107483486A (zh) * 2017-09-14 2017-12-15 中国人民解放军信息工程大学 基于随机演化博弈模型的网络防御策略选取方法
CN107483486B (zh) * 2017-09-14 2020-04-03 中国人民解放军信息工程大学 基于随机演化博弈模型的网络防御策略选取方法
CN107819785B (zh) * 2017-11-28 2020-02-18 东南大学 一种面向电力***虚假数据注入攻击的双层防御方法
CN107819785A (zh) * 2017-11-28 2018-03-20 东南大学 一种面向电力***虚假数据注入攻击的双层防御方法
CN108287473A (zh) * 2017-12-20 2018-07-17 中国人民解放军海军大连舰艇学院 一种基于任务集及***状态演化分析的舰队防空资源子调度控制***与方法
US11552965B2 (en) * 2017-12-28 2023-01-10 Hitachi, Ltd Abnormality cause specification support system and abnormality cause specification support method
CN108629422A (zh) * 2018-05-10 2018-10-09 浙江大学 一种基于知识指导-战术感知的智能体学习方法
CN108629422B (zh) * 2018-05-10 2022-02-08 浙江大学 一种基于知识指导-战术感知的智能体学习方法
CN109379322A (zh) * 2018-05-16 2019-02-22 中国人民解放军战略支援部队信息工程大学 一种完全信息条件下网络动态变换的决策方法及其***
CN109327427A (zh) * 2018-05-16 2019-02-12 中国人民解放军战略支援部队信息工程大学 一种面对未知威胁的动态网络变化决策方法及其***
CN108494810A (zh) * 2018-06-11 2018-09-04 中国人民解放军战略支援部队信息工程大学 面向攻击的网络安全态势预测方法、装置及***
CN108494810B (zh) * 2018-06-11 2021-01-26 中国人民解放军战略支援部队信息工程大学 面向攻击的网络安全态势预测方法、装置及***
CN108833402B (zh) * 2018-06-11 2020-11-24 中国人民解放军战略支援部队信息工程大学 一种基于有限理性博弈理论的网络最优防御策略选取方法及装置
CN108833402A (zh) * 2018-06-11 2018-11-16 中国人民解放军战略支援部队信息工程大学 一种基于有限理性博弈理论的网络最优防御策略选取方法及装置
CN108898010A (zh) * 2018-06-25 2018-11-27 北京计算机技术及应用研究所 一种建立面向恶意代码防御的攻防随机博弈模型的方法
CN109496305A (zh) * 2018-08-01 2019-03-19 东莞理工学院 连续动作空间上的纳什均衡策略及社交网络舆论演变模型
CN109496305B (zh) * 2018-08-01 2022-05-13 东莞理工学院 一种社交网络舆论演变方法
WO2020024170A1 (zh) * 2018-08-01 2020-02-06 东莞理工学院 连续动作空间上的纳什均衡策略及社交网络舆论演变模型
CN112313915A (zh) * 2018-11-05 2021-02-02 北京大学深圳研究生院 基于gspn和鞅理论网络空间拟态防御的安全性建模量化方法
CN112313915B (zh) * 2018-11-05 2021-08-31 北京大学深圳研究生院 基于gspn和鞅理论网络空间拟态防御的安全性建模量化方法
WO2020093201A1 (zh) * 2018-11-05 2020-05-14 北京大学深圳研究生院 基于gspn和鞅理论网络空间拟态防御的安全性建模量化方法
CN109617863B (zh) * 2018-11-27 2020-02-18 杭州电子科技大学 一种基于博弈论的移动目标防御最优防御策略选取的方法
CN109617863A (zh) * 2018-11-27 2019-04-12 杭州电子科技大学 一种基于博弈论的移动目标防御最优防御策略选取的方法
CN109829566A (zh) * 2018-12-26 2019-05-31 中国人民解放军国防科技大学 一种生成作战行动序列的方法
CN110874470A (zh) * 2018-12-29 2020-03-10 北京安天网络安全技术有限公司 基于网络攻击预测网络空间安全性的方法及装置
CN110110857B (zh) * 2019-04-10 2021-10-08 浙江锐文科技有限公司 基于博弈理论的混合遥测方法
CN110166428B (zh) * 2019-04-12 2021-05-07 中国人民解放军战略支援部队信息工程大学 基于强化学习和攻防博弈的智能防御决策方法及装置
CN110166428A (zh) * 2019-04-12 2019-08-23 中国人民解放军战略支援部队信息工程大学 基于强化学习和攻防博弈的智能防御决策方法及装置
CN110225019A (zh) * 2019-06-04 2019-09-10 腾讯科技（深圳）有限公司 一种网络安全处理方法和装置
CN110225019B (zh) * 2019-06-04 2021-08-31 腾讯科技（深圳）有限公司 一种网络安全处理方法和装置
CN110300106B (zh) * 2019-06-24 2021-11-23 中国人民解放军战略支援部队信息工程大学 基于Markov时间博弈的移动目标防御决策选取方法、装置及***
CN110300106A (zh) * 2019-06-24 2019-10-01 中国人民解放军战略支援部队信息工程大学 基于Markov时间博弈的移动目标防御决策选取方法、装置及***
CN110460572B (zh) * 2019-07-06 2021-11-02 中国人民解放军战略支援部队信息工程大学 基于Markov信号博弈的移动目标防御策略选取方法及设备
CN110460572A (zh) * 2019-07-06 2019-11-15 中国人民解放军战略支援部队信息工程大学 基于Markov信号博弈的移动目标防御策略选取方法及设备
CN111064702B (zh) * 2019-11-16 2021-09-24 中国人民解放军战略支援部队信息工程大学 基于双向信号博弈的主动防御策略选取方法及装置
CN111064702A (zh) * 2019-11-16 2020-04-24 中国人民解放军战略支援部队信息工程大学 基于双向信号博弈的主动防御策略选取方法及装置
CN111224966B (zh) * 2019-12-31 2021-11-02 中国人民解放军战略支援部队信息工程大学 基于演化网络博弈的最优防御策略选取方法
CN111224966A (zh) * 2019-12-31 2020-06-02 中国人民解放军战略支援部队信息工程大学 基于演化网络博弈的最优防御策略选取方法
CN111245857B (zh) * 2020-01-17 2021-11-26 安徽师范大学 一种区块链环境下通道网络稳态演化博弈方法
CN111245857A (zh) * 2020-01-17 2020-06-05 安徽师范大学 一种区块链环境下通道网络稳态演化博弈方法
US11418533B2 (en) * 2020-04-20 2022-08-16 Prince Mohammad Bin Fahd University Multi-tiered security analysis method and system
CN112417751A (zh) * 2020-10-28 2021-02-26 清华大学 基于图演化博弈理论的抗干扰融合方法及装置
CN112417751B (zh) * 2020-10-28 2024-03-29 清华大学 基于图演化博弈理论的抗干扰融合方法及装置
CN112434922B (zh) * 2020-11-13 2021-08-24 北方工业大学 一种基于零和博弈的城市电网***安全性控制方法及装置
CN112434922A (zh) * 2020-11-13 2021-03-02 北方工业大学 一种基于零和博弈的城市电网***安全性控制方法及装置
CN112422573A (zh) * 2020-11-19 2021-02-26 北京天融信网络安全技术有限公司 攻击路径还原方法、装置、设备及存储介质
CN112422573B (zh) * 2020-11-19 2022-02-25 北京天融信网络安全技术有限公司 攻击路径还原方法、装置、设备及存储介质
CN112966273A (zh) * 2021-03-09 2021-06-15 中国人民解放军空军工程大学 基于Markov演化模型的多阶段平台动态防御方法

Also Published As

Publication number Publication date
CN107135224B (zh) 2020-01-10

Similar Documents

Publication Publication Date Title
CN107135224A (zh) 基于Markov演化博弈的网络防御策略选取方法及其装置
CN112329348B (zh) 一种面向非完全信息条件下军事对抗博弈的智能决策方法
CN107483486B (zh) 基于随机演化博弈模型的网络防御策略选取方法
Dereszynski et al. Learning probabilistic behavior models in real-time strategy games
CN108833401A (zh) 基于贝叶斯演化博弈的网络主动防御策略选取方法及装置
Cardoso et al. Competing against nash equilibria in adversarially changing zero-sum games
CN110099045B (zh) 基于定性微分博弈和演化博弈的网络安全威胁预警方法及装置
Kanellopoulos et al. Non-equilibrium dynamic games and cyber–physical security: A cognitive hierarchy approach
CN108696534B (zh) 实时网络安全威胁预警分析方法及其装置
Aguilar Adaptive random fuzzy cognitive maps
Huang et al. Markov evolutionary games for network defense strategy selection
Yablochnikov et al. Modelling of informational counteraction between objects in economy
Chen et al. GAIL-PT: An intelligent penetration testing framework with generative adversarial imitation learning
CN116112278A (zh) 基于Q-learning的网络最优攻击路径预测方法及***
Cheng et al. Off-policy deep reinforcement learning based on Steffensen value iteration
Jain et al. Soccer result prediction using deep learning and neural networks
CN111767991B (zh) 一种基于深度q学习的测控资源调度方法
Dahl The lagging anchor algorithm: Reinforcement learning in two-player zero-sum games with imperfect information
Kardes Robust stochastic games and applications to counter-terrorism strategies
CN115174173A (zh) 一种云环境下工业信息物理***的全局安全博弈决策方法
CN113344071B (zh) 一种基于深度策略梯度的入侵检测算法
Varma et al. Analysis of opinion dynamics under binary exogenous and endogenous signals
Wang et al. Agent‐Based Modeling and Genetic Algorithm Simulation for the Climate Game Problem
Santos et al. On a framework for the prediction and explanation of changing opinions
CN110009415A (zh) 一种电子商务***中新卖家的声誉预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant