CN109359098B - 一种调度数据网行为监测***及方法 - Google Patents

Abstract

本申请实施例提供了一种调度数据网行为监测***及方法，监测***包括日志采集工具管理模块、临时日志库模块、综合分析模块、异常日志库、合规日志库和结果管理模块。日志采集工具管理模块用于采集调度数据网网络设备及安全设备的分散式日志和调度数据网安全审计***的集中式日志；临时日志库模块用于范式化处理，得到范式化日志；综合分析模块用于将范式化日志与合规日志库、异常日志库进行模式匹配，形成合规日志或异常日志；结果管理模块，用于根据合规日志进行机器学习训练，或根据异常日志进行机器学习。本申请实施例能够在第一时间完成网络异常监测，有效防止事态扩大，从而避免发生调度数据网重大网络安全事件。

Description

一种调度数据网行为监测***及方法

技术领域

本申请涉及网络安全领域，尤其涉及一种调度数据网行为监测***及方法。

背景技术

调度数据网是用于传输电网自动化信息、调度指挥指令、继电保护与安全自动装置控制信息等电力生产实时信息的网络，承载着电力监控***的实时生产业务，对调度数据网进行行为监测是保证电网安全、经济、稳定、可靠的运行，避免网络安全事件对调度数据网带来的经济损失、企业形象损坏和对民生的影响的重要举措。

随着调度数据网和信息支撑***的迅速发展和壮大，调度数据网呈现出规模大、地域广、厂站管理分散等特点，给调度数据网行为监测带来重大挑战。目前调度数据网各级主站及厂站I、II、III区仅部署IDS(Intrusion Detection Systems，入侵检测***)和防病毒中心来进行调度数据网行为监测，尚存在网络边界安全行为监测不足、无法对异常网络行为进行检测等缺点，蕴藏着极大的安全隐患。目前迫切需要一种能够及时、准确地发现调度数据网中存在的异常行为及安全威胁的技术手段。

发明内容

本申请提供了一种调度数据网行为监测***及方法，以解决调度数据网行为监测的问题。

第一方面，本申请提供了一种调度数据网行为监测***，该***包括：日志采集工具管理模块、临时日志库模块、综合分析模块、异常日志库、合规日志库和结果管理模块，其中，

所述日志采集工具管理模块，用于采集调度数据网日志，并发送到所述临时日志库模块，所述调度数据网日志包括调度数据网网络设备及安全设备的分散式日志和调度数据网安全审计***的集中式日志；

所述临时日志库模块，用于对所述调度数据网日志进行范式化处理，得到范式化日志，并将所述范式化日志发送到所述综合分析模块；

所述综合分析模块，用于将所述范式化日志与所述合规日志库中的历史合规日志样本、所述异常日志库中的历史异常日志样本进行模式匹配，形成合规日志或异常日志，将所述合规日志或异常日志发送到所述结果管理模块；

所述结果管理模块，用于根据所述合规日志进行机器学习训练，得到实时合规日志样本，将所述实时合规日志样本发送到所述合规日志库，或根据所述异常日志进行机器学习，得到实时异常日志样本，将所述实时异常日志样本发送到所述异常日志库；

所述合规日志库，用于存储所述历史合规日志样本和实时合规日志样本；

所述异常日志库，用于存储所述历史异常日志样本和实时异常日志样本。

优选地，还包括存储管理模块，所述存储管理模块用于存储来自所述结果管理模块发送的所述实时合规日志样本。

第二方面，本申请还提供了一种调度数据网行为监测方法，该方法包括：

采集调度数据网日志，所述调度数据网日志包括调度数据网网络设备及安全设备的分散式日志和调度数据网安全审计***的集中式日志；

将所述调度数据网日志进行范式化处理，得到范式化日志；

将所述范式化日志与合规日志库和异常日志库进行模式匹配，形成合规日志或异常日志；

基于隐马尔可夫模型的机器学习算法，对所述合规日志或异常日志进行机器学习训练，得到实时合规日志样本或实时异常日志样本；

将所述实时合规日志样本或实时异常日志样本按类别进行存储。

优选地，所述将所述范式化日志与历史合规日志样本和历史异常日志样本进行模式匹配，之前还包括：通过基于隐马尔可夫模型的机器学习算法，利用隐马尔可夫模型建立合规日志的正常样本轮廓，将调度数据网的历史合规日志样本和历史异常日志样本输入到所述正常样本轮廓并进行机器学习，建立合规日志库和异常日志库。

优选地，所述基于隐马尔可夫模型的机器学习算法，对合规日志或异常日志进行机器学习，得到实时合规日志样本或实时异常日志样本，包括：

建立隐马尔可夫模型；

将所述范式化日志输入到所述隐马尔可夫模型；

对所述隐马尔可夫模型进行数据处理，形成实时合规日志样本或实时异常日志样本，所述数据处理包括滑窗处理。

优选地，所述范式化日志的信息结构包括：日志名称、产生该日志的设备类型、日志产生的设备地址、日志产生的时间、日志中的源设备、日志中的源地址、日志中的源端口、日志中的目的设备、日志中的目的地址、日志中的目的端口、日志中的网络连接类型、日志事件描述和行为状态。

优选地，所述合规日志库和异常日志库的信息结构包括：日志对应的设备类型、检测样本类型、样本日志详细信息、样本日志创建或更新时间、样本日志状态。

优选地，所述合规日志或异常日志的信息结构包括：检测时间、检测日志关联的设备类型、检测结果、检测样本来源、检测样本类型、结果状态和日志原始信息。

优选地，所述合规日志库内存储有历史合规日志样本，所述异常日志库存储有历史异常日志样本，所述历史合规日志样本和历史异常日志样本的信息结构包括：日志状态、日志出现频率、日志异常类型、日志异常设备、日志异常设备地址、日志异常设备端口、异常日志状态、异常日志发现时间和日志原始信息。

优选地，还包括：根据实时异常日志样本进行异常日志告警。

本申请实施例提供的调度数据网行为监测***及方法的有益效果包括：

对于调度数据网的日志检测，通过多渠道日志采集，能够保证日志来源的有效性和一致性；通过不间断的机器学习，自动完善异常日志库和合规日志库，能够准确发现调度数据网日志异常情况；通过***调配分析结果，得出调度数据网中存在的异常行为，并锁定其日志详细信息，及时发出告警，能够在第一时间完成网络异常监测，有效防止事态扩大，从而避免发生调度数据网重大网络安全事件。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种调度数据网行为监测***的结构示意图；

图2为本申请实施例提供的一种调度数据网行为监测方法的流程示意图；

图3为本申请实施例提供的一种机器学习训练算法的流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

参见图1，为本申请实施例提供的一种调度数据网行为监测***的结构示意图，如图1所示，本申请实施例提供的调度网行为监测***，包括：日志采集工具管理模块、临时日志库模块、综合分析模块、异常日志库、合规日志库、结果管理模块和存储管理模块。

具体的，用户预先对日志采集工具进行配置，通过日志采集工具对调度数据网日志进行采集。本申请实施例中采集的调度数据网日志包括调度数据网网络设备及安全设备的分散式日志和调度数据网安全审计***的集中式日志，分别通过不同渠道来采集。调度数据网网络设备及安全设备的日志为分散式日志，通过分类采集获得，具体可通过syslog(***日志)方式发送给日志采集工具管理模块；调度数据网安全审计***的日志为集中式日志，通过定时调用安全审计***日志查询API(Application Programming Interface,应用程序编程接口)将查询到的日志写入日志采集工具管理模块。

日志采集工具管理模块将采集的调度数据网日志上报到临时日志库模块，临时日志库模块按照统一的数据库格式对采集得到的调度数据网日志进行范式化处理，得到范式化日志。范式化处理包括整理调度数据网日志包含的事件发生时间、源IP、源端口、目的IP、目的端口、网络协议、事件描述、操作行为状态内容。范式化日志的信息结构包括：日志名称(Log_Name)、产生该日志的设备类型(Log_Asset_Type)、日志产生的设备地址(Log_Asset_IP)、日志产生的时间(Log_Time)、日志中的源设备(Log_Source_Asset)、日志中的源地址(Log_Source_IP)、日志中的源端口(Log_Source_Port)、日志中的目的设备(Log_Destination_Asset)、日志中的目的地址(Log_Destination_IP)、日志中的目的端口(Log_Destination_Port)、日志中的网络连接类型(Log_Network_Protocol)、日志事件描述(Log_Event)和行为状态(允许/阻断/成功/失败，Log_Status)。

临时日志库模块将范式化日志发送到综合分析模块。综合分析模块利用分类算法将当前待分析的范式化日志与合规日志库中的历史合规日志样本、异常日志库中的历史异常日志样本进行模式匹配，判断当前待分析的范式化日志描述的网络行为是否符合网络安全规则要求，模式匹配可包括聚合、分析、比对、检测。如果符合网络安全规则要求，则判定为合规日志，不符合网络安全规则要求，则判定为异常日志。通过将当前待分析的范式化日志与历史合规日志样本、历史异常日志样本进行匹配，匹配结果准确性高，当然，在实际实施例中，也可只将当前待分析的范式化日志与合规日志库中的历史合规日志样本进行匹配，能够提高匹配效率。

临时日志库模块将判定结果，即当前调度数据网日志为合规日志或异常日志，发送到结果管理模块。结果管理模块对调度数据网日志分析结果进行分类处理，包含异常日志告警、日常日志归档、合规日志归档。

具体的，如果当前调度数据网日志为合规日志，则结果管理模块将合规日志发送到存储管理模块进行归档存储，存储管理模块还将合规日志进行机器学习训练，得到实时合规日志样本，发送到合规日志库，供下次综合分析模块分析使用，实现基于机器学习算法的合规日志库自动完善；如果当前调度数据网日志为异常日志，则结果管理模块将异常日志发送到日志告警模块(图中未示出)，日志告警模块对异常日志的监测告警进行处理，发送到用户，从而能够及时的反映调度数据网内网络通信行为是否异常。结果管理模块将异常日志也进行归档存储，具体为将异常日志进行机器学习训练，得到实时异常日志样本，发送到异常日志库，供下次综合分析模块分析使用，使综合分析模块利用机器学习算法不断提高异常日志识别率。

合规日志库，用于存储历史合规日志样本和实时合规日志样本，并提供维护端口，使用户能够对合规日志库进行人工维护、更新。

异常日志库，用于存储历史异常日志样本和实时异常日志样本。

合规日志库和异常日志库的信息结构包括：日志对应的设备类型(Asset_Type)、检测样本类型(合规日志/异常日志，Sample_Type)、样本日志详细信息(Sample_Log_Detail)、样本日志创建/更新时间(Sample_Log_Update_Time)、样本日志状态(创建/更新，Sample_Log_Update_Status)。

为对本申请实施例提供的调度数据网行为监测***的工作方法进行进一步说明，本申请实施例还提供了一种调度数据网行为监测方法，参见图2，为本申请实施例提供的一种调度数据网行为监测方法的流程示意图，如图2所示，本申请实施例提供的调度数据网行为监测方法，具体包括以下步骤：

步骤S110：采集调度数据网日志，调度数据网日志包括调度数据网网络设备及安全设备的分散式日志和调度数据网安全审计***的集中式日志。

具体的，通过日志采集工具对调度数据网日志进行采集，将采集的调度数据网日志上报到临时日志库模块。

步骤S120：将调度数据网日志进行范式化处理，得到范式化日志。

具体的，临时日志库模块对临时日志库模块进行范式化处理，得到范式化日志。

临时日志库模块将范式化日志发送到综合分析模块进行处理。

步骤S130：将范式化日志与合规日志库和异常日志库进行模式匹配，形成合规日志或异常日志。

具体的，预先通过基于隐马尔可夫模型的机器学习算法，利用隐马尔可夫模型建立合规日志的正常样本轮廓，将调度数据网的历史合规日志样本和历史异常日志样本输入到所述正常样本轮廓并进行机器学习。历史合规日志样本和历史异常日志样本的信息结构包括：日志状态(合规/异常，Log_Status)、日志出现频率(Log_Rate)、日志异常类型(Unusual_Type)、日志异常设备(Unusual_Asset)、日志异常设备地址(Unusual_IP)、日志异常设备端口(Unusual_Port)、异常日志状态(存在/不存在，Unusual_Log_Status)、异常日志发现时间(Unusual_Log_Status)和此记录生成所使用的原始信息(RAW_MSG)，本实施例中，此记录生成所使用的原始信息即日志原始信息。

利用机器学习算法反复训练及提取特征值，从而建立起合规日志库和异常日志库。

在本步骤中，综合分析模块将范式化日志与异常日志库中的历史异常日志样本、合规日志库中的历史合规日志样本进行分析、比对、检测，形成日志分析结果，其信息结构包括：检测时间(Detect_Time)、检测日志关联的设备类型(Detect_Type_Asset)、检测结果(Detect_Result)、检测样本来源(合规日志库/日志异常库，Sample_Soucre)、检测样本类型(合规日志/异常日志，Sample_Type)、结果状态(Result_Status)和此记录生成所使用的原始信息(RAW_MSG)。

进一步的，利用近似的前向后向算法并根据贝叶斯准则对日志的合规性进行判断，判断当前待分析的范式化日志属于异常日志或合规日志。

步骤S140：基于隐马尔可夫模型的机器学习算法，对合规日志或异常日志进行机器学习训练，得到实时合规日志样本或实时异常日志样本。

具体的，综合分析模块将合规日志或异常日志发送到结果管理模块，结果管理模块对合规日志或异常日志进行机器学习训练。

机器学习训练包括以下步骤：建立隐马尔可夫模型；将范式化日志输入到隐马尔可夫模型；对隐马尔可夫模型进行数据处理，形成实时合规日志样本或实时异常日志样本，数据处理包括滑窗处理。

对合规日志进行机器学习训练后，得到实时合规日志样本，对异常日志进行机器学习训练后，得到实时异常日志样本。

步骤S150：将实时合规日志样本或实时异常日志样本按类别进行存储。

具体的，结果管理模块将实时合规日志样本存储到合规日志库中，则实时合规日志样本转换为历史合规日志样本，将实时异常日志样本存储到异常日志库中，则实时异常日志样本转换为历史异常日志样本。

结果管理模块还针对异常日志信息进行告警。

进一步的，结果管理模块还可将合规日志发送到存储管理模块，由存储管理模块对合规日志进行机器学习训练。

本申请实施例所使用的机器学习训练算法参见图3，为本申请实施例提供的一种机器学习训练算法的流程示意图，如图3所示，本申请实施例提供的机器学习训练算法，包括异常日志机器学习训练、在线日志检测和合规日志机器学习训练三大模块。

具体的，在异常日志机器学习训练模块中，将初始异常日志数据，即历史异常日志样本进行范式化处理后，进入异常日志训练进程进行机器学习训练。异常日志机器学习训练包括：建立隐马尔可夫模型；将范式化日志输入到隐马尔可夫模型；对隐马尔可夫模型进行滑窗等数据处理，得到实时异常日志样本，存储到异常日志库。

在合规日志机器学习训练模块中，将初始合规日志数据，即历史合规日志样本进行范式化处理后，进入异常日志训练进程进行机器学习训练。合规日志机器学习训练包括：建立隐马尔可夫模型；将范式化日志输入到隐马尔可夫模型；对隐马尔可夫模型进行滑窗等数据处理，得到实时合规日志样本，存储到合规日志库。

在在线日志检测模块中，将实时日志，即当前获取的调度数据网日志，送入日志处理进程，根据异常日志机器学习训练模块和合规日志机器学习训练模块提供的隐马尔科夫模型建立实时日志的隐马尔科夫模型，然后进行滑窗处理，得到状态转移短序列，再与异常日志库、合规日志库进行模式匹配，判定实时日志是合规日志或异常日志，并进行归档处理，异常日志送入异常日志训练进程进行异常日志学习，以提高下次实时日志的识别准确率，合规日志送入合规日志训练进程金进行合规日志学习，同样用于提高下次实时日志的识别准确率。针对异常日程，还进行异常日志告警。

由上述实施例可见，本申请实施例提供的调度数据网行为监测***及方法，对于调度数据网的日志检测，通过多渠道日志采集，能够保证日志来源的有效性和一致性；通过不间断的机器学习，自动完善异常日志库和合规日志库，能够准确发现调度数据网日志异常情况；通过***调配分析结果，得出调度数据网中存在的异常行为，并锁定其日志详细信息，及时发出告警，能够在第一时间完成网络异常监测，有效防止事态扩大，从而避免发生调度数据网重大网络安全事件。

由于以上实施方式均是在其他方式之上引用结合进行说明，不同实施例之间均具有相同的部分，本说明书中各个实施例之间相同、相似的部分互相参见即可。在此不再详细阐述。

需要说明的是，在本说明书中，诸如术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的电路结构、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种电路结构、物品或者设备所固有的要素。在没有更多限制的情况下，有语句“包括一个……”限定的要素，并不排除在包括所述要素的电路结构、物品或者设备中还存在另外的相同要素。

本领域技术人员在考虑说明书及实践这里发明的公开后，将容易想到本申请的其他实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求的内容指出。

以上所述的本申请实施方式并不构成对本申请保护范围的限定。

Claims (8)

1.一种调度数据网行为监测***，其特征在于，包括日志采集工具管理模块、临时日志库模块、综合分析模块、异常日志库、合规日志库、结果管理模块和存储管理模块，其中，

所述日志采集工具管理模块，用于采集调度数据网网络设备及安全设备发送的分散式日志，以及定时调用安全审计***日志查询接口采集调度数据网安全审计***的集中式日志，将调度数据网日志发送到所述临时日志库模块，所述调度数据网日志包括所述分散式日志和集中式日志；

所述临时日志库模块，用于对所述调度数据网日志进行范式化处理，得到范式化日志，并将所述范式化日志发送到所述综合分析模块，其中，所述范式化日志的信息结构包括：日志名称、产生该日志的设备类型、日志产生的设备地址、日志产生的时间、日志中的源设备、日志中的源地址、日志中的源端口、日志中的目的设备、日志中的目的地址、日志中的目的端口、日志中的网络连接类型、日志事件描述和行为状态；

所述综合分析模块，用于将所述范式化日志与所述合规日志库中的历史合规日志样本、所述异常日志库中的历史异常日志样本进行模式匹配，判断所述范式化日志是合规日志还是异常日志，将所述合规日志或异常日志发送到所述结果管理模块，其中，所述合规日志库和异常日志库的建立方法包括：利用隐马尔可夫模型建立合规日志的正常样本轮廓，将调度数据网的历史合规日志样本和历史异常日志样本输入到所述正常样本轮廓并进行机器学习；利用机器学习算法反复训练及提取特征值，从而建立起所述合规日志库和异常日志库；

所述结果管理模块，用于在所述范式化日志被判定为合规日志时，将所述范式化日志发送到存储管理模块，由所述存储管理模块基于隐马尔可夫模型的机器学习算法，对所述范式化日志进行机器学习训练，得到实时合规日志样本，将所述实时合规日志样本发送到所述合规日志库，或在所述范式化日志被判定为异常日志时，对所述范式化日志进行机器学习，得到实时异常日志样本，将所述实时异常日志样本发送到所述异常日志库，其中，所述机器学习训练包括：建立隐马尔可夫模型，将所述范式化日志输入到所述隐马尔可夫模型，对所述隐马尔可夫模型进行数据处理，形成实时合规日志样本或实时异常日志样本，所述数据处理包括滑窗处理；

所述合规日志库，用于存储所述历史合规日志样本和实时合规日志样本；

所述异常日志库，用于存储所述历史异常日志样本和实时异常日志样本。

2.如权利要求1所述的调度数据网行为监测***，其特征在于，还包括存储管理模块，所述存储管理模块用于存储来自所述结果管理模块发送的所述实时合规日志样本。

3.一种调度数据网行为监测方法，其特征在于，包括：

采集调度数据网网络设备及安全设备发送的分散式日志，以及定时调用安全审计***日志查询接口采集调度数据网安全审计***的集中式日志，将调度数据网日志发送到临时日志库模块，所述调度数据网日志包括所述分散式日志和集中式日志；

将所述调度数据网日志进行范式化处理，得到范式化日志，其中，所述范式化日志的信息结构包括：日志名称、产生该日志的设备类型、日志产生的设备地址、日志产生的时间、日志中的源设备、日志中的源地址、日志中的源端口、日志中的目的设备、日志中的目的地址、日志中的目的端口、日志中的网络连接类型、日志事件描述和行为状态；

将所述范式化日志与合规日志库和异常日志库进行模式匹配，判断所述范式化日志是合规日志还是异常日志，其中，所述合规日志库和异常日志库的建立方法包括：利用隐马尔可夫模型建立合规日志的正常样本轮廓，将调度数据网的历史合规日志样本和历史异常日志样本输入到所述正常样本轮廓并进行机器学习；利用机器学习算法反复训练及提取特征值，从而建立起所述合规日志库和异常日志库；

基于隐马尔可夫模型的机器学习算法，在所述范式化日志被判定为合规日志时，对所述合规日志进行机器学习训练，得到实时合规日志样本，在所述范式化日志被判定为异常日志时，对所述范式化日志进行机器学习，得到实时异常日志样本，其中，所述机器学习训练包括：建立隐马尔可夫模型，将所述范式化日志输入到所述隐马尔可夫模型，对所述隐马尔可夫模型进行数据处理，形成实时合规日志样本或实时异常日志样本，所述数据处理包括滑窗处理；

将所述范式化日志按类别进行存储。

4.如权利要求3所述的调度数据网行为监测方法，其特征在于，所述将所述范式化日志与历史合规日志样本和历史异常日志样本进行模式匹配，之前还包括：通过基于隐马尔可夫模型的机器学习算法，利用隐马尔可夫模型建立合规日志的正常样本轮廓，将调度数据网的历史合规日志样本和历史异常日志样本输入到所述正常样本轮廓并进行机器学习，建立合规日志库和异常日志库。

5.如权利要求3所述的调度数据网行为监测方法，其特征在于，所述合规日志库和异常日志库的信息结构包括：日志对应的设备类型、检测样本类型、样本日志详细信息、样本日志创建或更新时间、样本日志状态。

6.如权利要求3所述的调度数据网行为监测方法，其特征在于，所述合规日志或异常日志的信息结构包括：检测时间、检测日志关联的设备类型、检测结果、检测样本来源、检测样本类型、结果状态和日志原始信息。

7.如权利要求3所述的调度数据网行为监测方法，其特征在于，所述合规日志库内存储有历史合规日志样本，所述异常日志库存储有历史异常日志样本，所述历史合规日志样本和历史异常日志样本的信息结构包括：日志状态、日志出现频率、日志异常类型、日志异常设备、日志异常设备地址、日志异常设备端口、异常日志状态、异常日志发现时间和日志原始信息。

8.如权利要求3所述的调度数据网行为监测方法，其特征在于，还包括：根据实时异常日志样本进行异常日志告警。

Images