CN114374530A - 基于实时网络流量进行监测分析的ids***和检测方法 - Google Patents

Abstract

本发明涉及一种基于实时网络流量进行监测分析的IDS***和检测方法，属于网络安全技术领域。该监测***包括交互模块、数据处理模块、入侵检测模块和可视化模块。检测方法包括如下步骤：交互***获取高级威胁检测感知与响应平台用户终端资产数据流的初始数据，给数据处理模块接收，进行预处理后打包成预处理数据块，再进行异常检测并输出结果。流量异常判定模块判断是否存在入侵数据，若存在，则入侵检测模块将预处理数据块发送至交互模块进行预警和响应；若无，则将数据返回至数据处理模块；当深度包检测结果和深度流检测结果任意一项出现异常或二者均出现异常时，判定采集的物联网数据流出现异常。可视化模块将最后结果用图表示出来。

Description

基于实时网络流量进行监测分析的IDS***和检测方法

技术领域

本发明涉及一种基于实时网络流量进行监测分析的IDS***和检测方法，属于网络安全技术领域。

背景技术

网络已成为我国重要的信息建设基础设施，频繁发生的网络安全事件对其造成了严重的威胁。近些年来，已经有一些研究工作开始关注实时入侵检测，企业和安全运营商部署了大量网络安全设备。网络攻击发生的时候，部署在网络各个层次上的网络安全设备，会产生网络安全告警信息。但这些关注的重点在于以下两个方面：(1)被动检测，在入侵发生之后发出警报，尽可能降低***损失；(2)使用大量的过滤规则，逐一排查。但告警信息通常是海量的，需要在这些海量信息获取反馈，并及时进行响应。

目前大多数网络应用都搭建了入侵防护检测***，用来防止一些恶意的入侵者进入和破坏***，通常是维护一个白名单列表，***只允许列表中的用户进入。在实时的入侵检测中，检测***不仅需要在每个用户访问时准确给出检测结果，还要求检测过程尽可能快速。在高速网络环境下，由于要分析的数据非常大，考虑到现有的入侵检测研究难以同时保证检测的实时性和正确率，不能达到快速检测每个访问用户的同时，降低***风险和功耗。在实际应用中，远程设备的管理也会出现突发状况；对返回的数据，没有做较精确的校验，开发者需要自己判断数据是否符合预期。这些对远程管理客户端构成挑战。

目前我国中小微型企业单位网络安全意识较薄弱，对网络安全不够重视，且以往的网络安全***和设备，面对海量的不可靠的安全事件难以有效管理，设备昂贵，维护成本较高，切一般没有专业的安全运维人员配置，即便花费大量的成本用于网络安全方面的保护，达成的效果也大多差强人意。

因而已有工作不能解决本发明中提出的目标。因此，如何提供一种能在实时入侵检测***的新型且高效***，保证检测出的恶意攻击的准确度，提供低成本的网络安全解决方案，是本领域技术人员亟待解决的问题。

发明内容

发明目的：针对上述现有存在的问题和不足，本发明的目的是提供一种基于实时网络流量进行监测分析的IDS***和检测方法，实时检测入侵***的恶意攻击，并提高了准确度，提供了一种配置在远程终端上的 IDS 程序，通过将监测到的异常或是威胁信息上传到数据库中，便于用户和安全专家从云端直接获取到相关警报信息，进而提出进一步的解决方案。

技术方案：为实现上述发明目的，本发明采用以下技术方案：

一种基于实时网络流量进行监测分析的IDS***，包括交互模块、数据处理模块、入侵检测模块和可视化模块，所述数据处理模块和入侵检测模块数据连接，入侵检测模块和可视化模块数据连接，所述交互模块和数据处理模块、入侵检测模块和可视化模块分别数据连接。

进一步的，所述交互模块包括用户登录模块、接口模块、资产以及资产状态识别模块、网络流量协议识别模块和设备状态检测模块，

所述用户登录模块，用于用户注册、登录；

所述接口模块，用于连接外接的终端设备；

所述资产以及资产状态识别模块，用于识别用户资产信息，获取资产状态信息；

所述网络流量协议识别模块，用于识别数据流的协议类别；

所述物联网协议识别模块，用于识别数据流的协议类别；

所述设备状态检测模块，监测设备运行状态。

进一步的，所述数据处理模块包括平台响应模块和日志管理模块，

所述平台响应模块接收交互平台的响应，处理响应数据，返回入侵检测模块；

所述日志管理模块，管理***所有日志。

进一步的，所述入侵检测模块包括数据包/流特征提取模块、数据包异常检测规则库、数据流过滤器和流量异常判定模块，

所述数据包/流特征提取模块，用于提取数据流量中深度包的特征和数据流量中深度流的特征；

所述数据包异常检测规则库，用于存储网络数据流量异常规则数据，并将提取的深度包特征与存储的物联网数据流量异常规则数据进行规范检测，输出深度包检测结果；

所述数据流过滤器，用于将提取的深度流特征与设定的过滤条件进行比对，检测深度流是否异常，并输出深度流检测结果；

所述流量异常判定模块，用于根据深度包检测结果和深度流检测结果判定数据流量是否异常。

进一步的，交互模块负责接收威胁感知平台用户终端的资产信息和设备平台信息，威胁感知平台用户通过交互模块接收***的处理信息；同时交互模块将资产信息和设备平台信息发送至数据处理模块；交互模块也将技术人员所做的技术升级上传至所述物联网平台用户终端。

一种使用权利要求5所述的基于实时网络流量进行监测分析的IDS***的检测方法，包括如下步骤：

步骤1：交互***获取威胁感知平台用户终端资产镜像网络的初始数据；

步骤2：数据处理模块接收步骤1得到的初始数据，进行预处理后打包成预处理数据块，平台响应模块将所述预处理数据块发送至入侵检测模块中；

步骤3：将步骤2所得的预处理数据块的数据包传至权利要求5所述的数据包异常检测规则库进行异常检测，输出深度包检测结果；

步骤4：将步骤2中预处理数据块的数据流在权利要求5所述的数据流分类器进行异常检测，得到深度流检测结果；

步骤5：流量异常判定模块判断深度包检测结果和深度流检测结果中是否存在入侵数据，若存在入侵数据，则入侵检测模块将预处理数据块发送至交互模块进行预警和响应；若无入侵数据，将数据返回至数据处理模块；当深度包检测结果和深度流检测结果任意一项出现异常或二者均出现异常时，判定采集的物联网数据流出现异常；

步骤6：将步骤1-5的***入侵检测行为以数据图的形式展示出来。

进一步的，所述步骤1具体步骤为：

步骤1.1：获取资产状态信息和设备运行状态信息，生成状态数据包；

步骤1.2：设备威胁情报分析，生成数据包；

步骤1.3：从运行在网络环境下的设备中获取数据流量包，并将流量包镜像到威胁感知设备上；

步骤1.4：对数据流量进行会话流重组，得到数据流初始数据；

进一步的，所述步骤2具体步骤为：

步骤2.1：提取初始数据的数据流特征信息，包括：初始数据的端口信息、报头内容信息和单包协议语义信息；

步骤2.2：将提取的初始数据的数据流特征信息与存储在网络流量协议识别模块的网络流量协议数据资源进行匹配，确定获取的镜像网络数据流的协议类型；

步骤2.3：根据协议类型进行数据预处理，将数据传回入侵检测模块。

进一步的，所述步骤3具体步骤为：

步骤3.1：提取数据包的数据流量中深度包的特征，包括：数据包的大小、类型、长度、载荷中包含的可疑信息和数据包头；

步骤3.2：将提取的深度包的特征与数据流过滤器中设定的各项过滤条件行比对，进行规范检测，检测深度包的各项特征是否异常，当深度包中任意一项特征出现异常时，则判定该深度包出现异常，输出深度包检测结果。

进一步的，所述步骤4具体步骤为：

步骤4.1：提取数据流量中深度流的特征，包括：大小链向量、获取的数据流中包的总个数、数据流中数据包的总大小、时间链向量、数据流的持续时间、方向链向量、同方向数据流深度中包的均方差、同方向数据流深度中时间的均方差、同方向数据流深度中包的总和；

步骤4.2：将提取的数据流量中深度流的各项特征与数据流过滤器中存储的网络数据流量异常规则数据进行比对，检测各项特征是否异常，当深度流中任意一项特征出现异常时，则判定该深度流出现异常，输出深度流检测结果。

有益效果：与现有技术相比，本发明具有以下优点：这是一种新式的基于实时网络流量进行监测分析的IDS***和检测方法，实时检测入侵***的恶意攻击，且提高了准确度，提供了一种配置在远程终端上的 IDS 程序，通过将监测到的异常或是威胁信息上传到数据库中，便于用户和安全专家从云端直接获取到相关警报信息，进而提出进一步的解决方案。

本发明通过在终端部署相关***和程序，通过资产测绘、弱口令检测程序、IDS（规则算法）程序、终端状态扫描程序、DNS解析、AI人工智能算法WEB攻击告警等功能和程序，通过kafka发送数据到数据库中后通过分类和其他处理，最后展示在用户管理界面上。用户在可视化界面中，通过一些交互操作，来配置检测信息，比如登录账号、监测保护ip段、检测频率。开发者可以在后台获取，前端设备运行状态，比如网络是否连通、设备运行状态、流量是否异常。

本发明设计并构建了一个实时入侵检测***，当网络来袭时，在普通检测***不响应服务、甚至崩溃的情况下，本发明可以进行及时响应，将预警信息及时上传再交予***进行分析；本发明结合Kafka分布式协议模式，提出一种具有行为监控的检测框架，通过对安全事件、安全标准、安全漏洞交叉融合的研究，从AI人工智能检测、弱口令检测等多个维度联动实现入侵防御，保护资产。

本发明设计并构建了一个基于日志数据包的逆向分析机制的入侵检测模块，提高对资产流量的检测准确度及可靠性。结合AI人工只能算法，从数据包规范检测、数据包载荷检测、数据流的大小、行为等多个维度联动实现流量的检测，以提高入侵检测的检测率。

本发明以物联网应用环境下的数据流量为主要检测对象，研究物联网通信协议的产生和传输过程，在银行、教育等多行业中物联网感知层的大量节点均通过网关、路由器或交换机等信息基础设施与中心控制平台进行通信，因此在不影响业务的同时，对物联网网关、路由器或交换机等信息基础设施进行数据采集，并传送给物联网协议识别模块，通过综合的物联网协议库识别，确定物联网协议。数据流量异常检测模块结合数据包与数据流两检测模式，挖掘特征字符串、特征端口、特征语义、流间隔、流大小以及流持续时间等，输出检测结果将数据呈现在可视化分析模块中。

附图说明

图1为本发明在终端上接入网络流量并对其进行处理的流程图；

图2为本发明终端远程发送指令的流程图；

图3 为本发明实施例终端设备配置页面；

图4 为本发明实施例数据展示页面。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

一种基于实时网络流量进行监测分析的IDS***和检测方法，通过在威胁感知设备终端中部署相关***和程序，通过对网络流量进行解析，以实现对网络入侵或是其他威胁信息的检测和警报。

实施例

威胁感知设备终端：

搭载linux***的交换机，用于安装和使用本发明的相关功能和程序。其中功能实现的主要程序如下：

（1）监测终端运行程序：

Watchdog，即“看门狗”，在终端设备异常时（如***死机等情况）可以自动重启设备，保护入侵检测程序可以正常运行。

linux内核特定模块通过字符设备与用户空间通信。用户空间程序一旦打开字符设备，就会导致在内核中启动一个 1分钟的定时器，此后，用户空间程序需要保证在 1分钟之内向这个设备写入数据，每次写操作会导致重新设定定时器。

如果用户空间程序在 1分钟之内没有写操作，定时器到期会导致一次***reboot 操作,即重启设备。

（2）平台管理程序:

在本地搭建了后端管理端管理服务平台，实现与设备管理平台通信，向平台下发相应指令；还增添配置了相应消息队列的生产和消费，用于实现远程发送相关指令的接收和处理。

（3）设备状态上报程序:

设备状态上报、资产扫描、存活主机上报程序。每分钟上报一次终端的信息，包括：内存、流量等基本信息，上报到平台的消息队列中。

首先通过程序获取到设备，在网络中中不同ip对应的物理地址，然后通过程序得到网络上的主机和每台主机对外开放的端口，以及检测设备的操作***、硬件特性等信息。

将这些信息收集处理后即为公司单位相应的网络资产信息，并将其发送到消息队列中。

（4）协议解析程序:

数据流特征计算程序。根据程序扫描生成的数据包，提取数据流初始数据的特征信息；其中，提取数据流初始数据的特征信息包括：初始数据的端口信息、报头内容信息以及单包协议语义信息

（5）域名解析程序：

域名解析程序。根据协议解析程序生成的数据包，解析域名地址，上报到平台的消息队列中。

（6）AI人工智能规则算法程序:

入侵检测AI人工智能规则算法程序。根据协议解析程序生成的数据包，计算异常流量，结果上报到平台的消息队列中。

（7）入侵检测程序:

入侵检测(规则算法)程序。监听设备入侵检测情况，检测恶意行为，计算异常流量，结果上报到平台的消息队列中。

（8）弱口令检测程序:

弱口令检测程序。该程序用来检测远程登陆数据库和平台的弱口令。

（9）后端服务程序:

通过搭建一个本地服务器，用于在本地网站页面上对本发明的设备进行注册和配置。

如图1-2所示，在终端上接入网络流量并对其进行处理，并由终端远程发送指令。

经过三个月在21所学校、中小型公司的实际测试，共发现威胁情报命中142838次，失陷资产1544次，安全专家处理失陷资产1478次，被攻击次数2170783次，被攻击资产131918个，通用资产共95774个，弱口令253条。

有效地帮助用户更加方便直观的了解自己的网络资产，更加高效简单地保护用户的网络安全。

1.在线设备：

每五分钟一次扫描在线的主机，若最后一次在线时间后三十分钟没有再次发现，则视为离线。

2.DNS解析：

通过协议解析程序生成的数据包，从数据包中解析DNS域名，以实现分析各主机访问的内容是否安全。

3.入侵检测：

基于入侵检测程序对流量进行威胁情报分析，该程序实现了一个完整的签名语言来匹配已知的威胁、策略违反和恶意行为。

同时，该程序不仅局限于入侵检测，还可以记录HTTP请求、记录和存储TLS证书、从数据流中提取文件并将它们存储到磁盘。

4.弱口令检测：

对资产测绘中扫描到的端口进行分类和***，将结果发送到消息队列中。

5.本地设备配置管理：

如图3所示，为了方便设备的管理，在本地搭建了设备服务管理器，是用户进行交互的平台，也是技术人员管理设备的平台。

该应用程序分解成三个组成部分:数据存储模块，数据可视化模块，控制器模块。其中：

数据存储模块——数据存取层。该层处理与数据相关的所有事务： 如何存取、如何验证有效性、包含哪些行为以及数据之间的关系等。

控制器模块——接受外部用户的操作，根据操作访问模块获取数据，并调用“视图”显示这些数据。该层包含存取模型及调取恰当模板的相关逻辑；控制器是将“模型”和“视图”隔离，并成为二者之间的联系纽带。

如图4所示，数据可视化模块——负责把数据格式化后呈现给用户；该层处理与表现相关的决定： 如何在页面或其他类型文档中进行显示。

6.远程云端设备配置：

通过消息队列对本发明终端设备远程发送相关修改配置指令。

Claims (10)

1.一种基于实时网络流量进行监测分析的IDS***，其特征在于：包括交互模块、数据处理模块、入侵检测模块和可视化模块，所述数据处理模块和入侵检测模块数据连接，入侵检测模块和可视化模块数据连接，所述交互模块和数据处理模块、入侵检测模块和可视化模块分别数据连接。

2.根据权利要求1所述的基于实时网络流量进行监测分析的IDS***，其特征在于：所述交互模块包括用户登录模块、接口模块、资产以及资产状态识别模块、网络流量协议识别模块和设备状态检测模块，

所述用户登录模块，用于用户注册、登录；

所述接口模块，用于连接外接的终端设备；

所述资产以及资产状态识别模块，用于识别用户资产信息，获取资产状态信息；

所述网络流量协议识别模块，用于识别数据流的协议类别；

所述物联网协议识别模块，用于识别数据流的协议类别；

所述设备状态检测模块，监测设备运行状态。

3.根据权利要求2所述的基于实时网络流量进行监测分析的IDS***，其特征在于：所述数据处理模块包括平台响应模块和日志管理模块，

所述平台响应模块接收交互平台的响应，处理响应数据，返回入侵检测模块；

所述日志管理模块，管理***所有日志。

4.根据权利要求3所述的基于实时网络流量进行监测分析的IDS***，其特征在于：所述入侵检测模块包括数据包/流特征提取模块、数据包异常检测规则库、数据流过滤器和流量异常判定模块，

所述数据包/流特征提取模块，用于提取数据流量中深度包的特征和数据流量中深度流的特征；

所述数据包异常检测规则库，用于存储网络数据流量异常规则数据，并将提取的深度包特征与存储的物联网数据流量异常规则数据进行规范检测，输出深度包检测结果；

所述数据流过滤器，用于将提取的深度流特征与设定的过滤条件进行比对，检测深度流是否异常，并输出深度流检测结果；

所述流量异常判定模块，用于根据深度包检测结果和深度流检测结果判定数据流量是否异常。

5.根据权利要求4所述的基于实时网络流量进行监测分析的IDS***，其特征在于：交互模块负责接收威胁感知平台用户终端的资产信息和设备平台信息，威胁感知平台用户通过交互模块接收***的处理信息；同时交互模块将资产信息和设备平台信息发送至数据处理模块；交互模块也将技术人员所做的技术升级上传至所述物联网平台用户终端。

6.一种使用权利要求5所述的基于实时网络流量进行监测分析的IDS***的检测方法，其特征在于：包括如下步骤：

步骤1：交互***获取威胁感知平台用户终端资产镜像网络的初始数据；

步骤2：数据处理模块接收步骤1得到的初始数据，进行预处理后打包成预处理数据块，权利要求3中的平台响应模块将所述预处理数据块发送至入侵检测模块中；

步骤3：将步骤2所得的预处理数据块的数据包传至权利要求5所述的数据包异常检测规则库进行异常检测，输出深度包检测结果；

步骤4：将步骤2中预处理数据块的数据流在权利要求5所述的数据流分类器进行异常检测，得到深度流检测结果；

步骤5：流量异常判定模块判断深度包检测结果和深度流检测结果中是否存在入侵数据，若存在入侵数据，则入侵检测模块将预处理数据块发送至交互模块进行预警和响应；若无入侵数据，将数据返回至数据处理模块；当深度包检测结果和深度流检测结果任意一项出现异常或二者均出现异常时，判定采集的物联网数据流出现异常；

步骤6：将步骤1-5的***入侵检测行为以数据图的形式展示出来。

7.根据权利要求6所述的基于实时网络流量进行监测分析的IDS***的检测方法，其特征在于：所述步骤1具体步骤为：

步骤1.1：获取资产状态信息和设备运行状态信息，生成状态数据包；

步骤1.2：设备威胁情报分析，生成数据包；

步骤1.3：从运行在网络环境下的设备中获取数据流量包，并将流量包镜像到威胁感知设备上；

步骤1.4：对数据流量进行会话流重组，得到数据流初始数据。

8.根据权利要求7所述的基于实时网络流量进行监测分析的IDS***的检测方法，其特征在于：所述步骤2具体步骤为：

步骤2.1：提取初始数据的数据流特征信息，包括：初始数据的端口信息、报头内容信息和单包协议语义信息；

步骤2.2：将提取的初始数据的数据流特征信息与存储在网络流量协议识别模块的网络流量协议数据资源进行匹配，确定获取的镜像网络数据流的协议类型；

步骤2.3：根据协议类型进行数据预处理，将数据传回入侵检测模块。

9.根据权利要求8所述的基于实时网络流量进行监测分析的IDS***的检测方法，其特征在于：所述步骤3具体步骤为：

步骤3.1：提取数据包的数据流量中深度包的特征，包括：数据包的大小、类型、长度、载荷中包含的可疑信息和数据包头；

步骤3.2：将提取的深度包的特征与数据流过滤器中设定的各项过滤条件行比对，进行规范检测，检测深度包的各项特征是否异常，当深度包中任意一项特征出现异常时，则判定该深度包出现异常，输出深度包检测结果。

10.根据权利要求9所述的基于实时网络流量进行监测分析的IDS***的检测方法，其特征在于：所述步骤4具体步骤为：

步骤4.1：提取数据流量中深度流的特征，包括：大小链向量、获取的数据流中包的总个数、数据流中数据包的总大小、时间链向量、数据流的持续时间、方向链向量、同方向数据流深度中包的均方差、同方向数据流深度中时间的均方差、同方向数据流深度中包的总和；

步骤4.2：将提取的数据流量中深度流的各项特征与数据流过滤器中存储的网络数据流量异常规则数据进行比对，检测各项特征是否异常，当深度流中任意一项特征出现异常时，则判定该深度流出现异常，输出深度流检测结果。

Images