CN114301644B - 网络异常检测***及方法 - Google Patents

Abstract

本发明涉及一种网络异常检测***，包括：属于硬件的网卡，属于内核层的网卡驱动、共享内存、接收相关的硬件计数器、发送相关的硬件计数器、数据收集模块、异常处理模块，属于应用层的异常检测进程：所述数据收集模块用于收集接收方硬件计数器数据；所述共享内存用于共享所述硬件计数器数据；所述异常检测进程用于通过所述硬件计数器数据，检测网络中是否出现异常问题；所述异常处理模块用于在检测到网络中存在异常时，处理异常问题。本发明还提供一种网络异常检测方法，本申请能够降低处理器不断捕获数据包的开销，同时对于网络异常的检测更加准确。

Description

网络异常检测***及方法

技术领域

本发明涉及一种网络异常检测***及方法。

背景技术

传统的以太网在传输数据包时需要经过内核网络协议栈的处理才能被发送到网卡上，中间需要处理器的参与，并且在用户态、内核、网卡等层面需要经过多次的内存拷贝。远程直接内存访问技术(Remote Direct Memory Access,RDMA)利用专用的网卡，将数据包的处理与传输卸载到网卡上，数据传输的过程不需要处理器的参与，并且网卡可以直接读写应用的内存，实现了数据的“零拷贝”，从而实现了低延迟、高带宽的优势。

使用RDMA网络时需要部署专用的网络适配器(网卡)，目前使用比较普遍的是由迈洛思公司生产的网卡。该公司同时提供了相应的网卡驱动来保证用户可以正常地使用网卡进行通信。同时，为了能够对网卡使用过程中产生的异常和错误进行监控，该驱动程序提供了十几种硬件计数器来统计网卡使用时产生的错误或异常。这一部分硬件计数器的数据存放在网卡驱动的端口文件夹下。其中包括了针对于整个设备的硬件计数器和针对于每个端口的计数器。另外，这一部分计数器还对发送方和接收方进行了区分(以不同的计数器前缀名区分，比如在实际的硬件计数器中，以rq前缀表示接收方硬件计数器，sq前缀表示发送方硬件计数器)。之所以RDMA可以实现这两者的区分，是因为RDMA网络服务接收方在接收到一些异常数据包后会在本地进行接收方计数器的更新，同时会把错误返回给发送方。这样发送方也可以在本地对发送方计数器进行更新。

目前关于使用硬件计数器进行网络监控的，基本集中在传统以太网领域通过简单的网络数据包或者网络流量的计数，来进行网络流量统计与限制等。然而这些解决方案很多要从网卡本身的设计上去优化，需要对硬件的协议进行修改，部署难度大、成本高。现有技术关于硬件计数器的也没有给出详细的解决方案，并且只局限在了一种计数器上。现有技术在解决传统以太网网络异常方面，大多通过分析捕获的数据包、数据流等，通过经验或者数据包、数据流中的异常来进行异常检测。然而，这种方法需要不断地去收集网络流量与数据包，对服务器的性能有一定的影响，且对处理器造成了压力。

对于RDMA网络而言，需要通过基于RDMA网络的抓包软件进行，并且需要针对该网络数据包的格式进行重新的处理。与此同时，广泛使用的迈洛思网卡驱动为硬件网卡提供了大量的硬件计数器，这些计数器除了对网络数据包的传输数量、流量进行统计外，还提供了很多监测数据包错误的数据。而这一部分计数器目前并没有被利用起来。

发明内容

有鉴于此，有必要提供一种网络异常检测***及方法。

本发明提供一种网络异常检测***，该***包括：属于硬件的网卡，属于内核层的网卡驱动、共享内存、接收相关的硬件计数器、发送相关的硬件计数器、数据收集模块、异常处理模块，属于应用层的异常检测进程：所述数据收集模块用于收集接收方硬件计数器数据；所述共享内存用于共享所述硬件计数器数据；所述异常检测进程用于通过所述硬件计数器数据，检测网络中是否出现异常问题；所述异常处理模块用于在检测到网络中存在异常时，处理异常问题。

具体地，所述的所述数据收集模块用于：定期收集所有与异常或错误相关的硬件计数器的数据，以及在收集数据的同时对数据量进行判断，当数据量高于正常值时，向用户态的异常检测进程发出通知；

其中，所述数据为本次的时间点与上一次收集的时间点之间的时间段内的数据差。

具体地，所述共享内存为在***初始化时绑定的，其用于在数据收集模块与异常检测进程之间共享关于硬件计数器的一个时间段内的数据，所述共享内存在该***开启时始终有效，并且不会***作***上其他的进程占用、不会被换出到硬盘上。

具体地，所述的异常检测进程当收到来自内核的异常通知时，首先判断异常的类型，该类型由***根据计数器的组合定义。对于00000类型，向用户输出异常信息，由用户自行判断并处理；对于其他的异常类型，所述异常检测进程立即创建一个新的线程也即异常判断线程来处理，所述线程判断异常类型数据上的每个二进制位是否为1，来判断具体有哪几个计数器出现了异常。

具体地，所述的所述异常检测进程具体用于：

(1)当只有端口丢弃的报文计数器出现异常时，先测试与其他主机连接的延迟与可用性：当该延迟比较高时，则认定有拥塞的发生，提醒其他主机暂时放缓发送数据包的速度；而如果延迟没有那么高，很有可能是有恶意主机伪造数据包在不断尝试破解其他主机的连接，此时异常处理进程向其他主机利用以太网发送请求，检查本地虚拟机的在该时段的连接数量与趋势，以及本地的计数器异常信息，及时切断；

(2)当访问错误计数器出现了大于2的数据时，说明有数据包携带了错误的远程内存访问秘钥，这是潜在的伪造数据包窃取信息的威胁，则将该异常类型发送到集群所有主机上，做进一步的处理；

(3)如果重复请求个数计数器、乱序请求个数计数器只有其中一个出现了少于4个的异常数据时，则认为是暂时的网络波动，不需要额外的处理；

(4)当重复请求个数计数器、乱序请求个数计数器有多于3个异常，并且端口丢弃的报文计数器在这段时间的计数为0，说明是潜在的伪造数据包窃取信息的威胁，恶意程序已经拿到了数据包中其他关键的信息，而只剩数据包中的请求号还没有猜测正确，并且一直在尝试破解，则将该异常类型发送到集群所有主机上，做进一步的处理。

具体地，所述的异常处理模块具体用于：

当接收到其他主机关于异常类型的通知时，读取本机***中与发送端有关的硬件计数器数据，根据异常类型对应的硬件计数器，来与本机的进行对照。

具体地，所述的异常处理模块还具体用于：

在本机中查看发送端远程访问错误计数器的数据，如果在此期间有数据量大的异常，则说明这个恶意访问是从本机发出的，则向受害主机发送自己的主机标识和异常类型，从而通知受害方；受害方暂时切断对应主机的通信端口，并拒绝该网络地址及主机标识的访问，并向用户告警；待异常恶意程序被处理后，再恢复该通信端口。

本发明提供一种网络异常检测方法，所述方法包括：所述数据收集模块周期性地收集与接收方相关硬件计数器在一个时间段内的数据；当有计数器的数据不为0时，通知所述异常检测模块；所述异常检测模块收到通知后创建一个线程来进行处理，所述线程判断异常类型；如果是特殊硬件计数器引起的异常，则进一步判断异常类型中的每一位，从而确定是哪一种异常；该主机与集群上的其他主机利用以太网通信，通知其他主机这里发生了异常，并告知异常类型；其他主机上的异常处理模块检查本地与发送方相关的硬件计数器，并与受害主机的异常类型相对照；如果自己的计数器有数据，说明是本机引起的异常，然后通知受害主机自己的标识；受害主机通过禁用该网络标识来拒绝恶意主机的访问，并向用户告警。

具体地，所述方法还包括：

如果是普通的计数器引起的异常，则直接与用户告警。

具体地，所述方法还包括：

如果不是本机引起的异常，则结束处理。

与现有技术相比，本申请充分利用了迈洛思网卡驱动所提供的网卡硬件计数器来监测和判断网络的异常，不需要对数据包流量等进行监控，能够降低处理器在监控流量与数据方面的开销，具有比较好的性能优势。同时结合远程直接内存访问这一技术本身的特点和驱动自身提供的计数器来对网络异常进行检测，对异常情况的识别更为准确、细致。

附图说明

图1为是本发明网络异常检测***较佳实施例的架构图；

图2为本发明实施例提供的5位二进制异常访问类型中每一位的代表计数器的示意图；

图3为本发明实施例提供的网络异常检测方法的流程图。

具体实施方式

本申请的前提是，假设恶意程序没有获取主机的根权限，而只是在用户应用的角度来发起了一些恶意攻击。

下面结合附图及具体实施例对本发明作进一步详细的说明。

参阅图1所示，是本发明网络异常检测***较佳实施例的架构图。

所述网络异常检测***包括：属于硬件的迈洛思网卡，属于内核层的迈洛思网卡驱动、共享内存、接收相关的硬件计数器、发送相关的硬件计数器、数据收集模块、异常处理模块，属于应用层的异常检测进程。其中：

所述数据收集模块用于收集接收方硬件计数器数据；所述共享内存用于共享计数器数据；所述异常检测进程用于检测异常问题；所述异常处理模块用于处理异常问题。

集群中的每个机器保存有集群上所有机器的信息和唯一的标识，每当有一个新的机器加入到集群中都进行信息更新，机器加入时向所有的其他机器提供标识与网络地址通过传统的以太网进行。需要注意的是，该标识由集群上的一个控制器分配，普通主机不具有更改的权限，以防止无法对该主机实现拒绝访问。

下面一一进行说明：

所述数据收集模块，为在操作***内核上实现的一个内核级别的数据收集模块。其主要用于：(1)定期收集所有与异常或错误相关的硬件计数器的数据，该数据为本次的时间点与上一次收集的时间点之间的时间段内的数据差。(2)在收集数据的同时对数据量进行判断，当数据量高于6个时，向用户态的异常检测进程发出通知。

本实施例利用***中的一种用于内核态与用户态进行双向全双工通信的网络链接(netlink)来向异常处理进行发出通知。该通知将携带异常的类型以供异常检测进程处理。本实施例利用5位二进制的数字来对异常类型进行标识。

其中，00000表示除了上述所提到的要进行处理的五种计数器之外的异常情况，而该数字上的每一个二进制位赋为1的时候将分别代表重复请求个数计数器、乱序请求个数计数器、无效访问计数器、访问错误计数器、端口丢弃的报文计数器引发的异常(即分别为10000/01000/00100/00010/00001)，请参阅图2。除此之外该类型可以对混合的几种计数器异常进行标识；比如重复请求个数计数器、乱序请求个数计数器发生异常时，标记为11000。

所述共享内存为在***初始化时绑定的，其用于在数据收集模块与异常检测进程之间共享关于硬件计数器的一个时间段内的数据，所述共享内存在该***开启时始终有效，并且不会***作***上其他的进程占用、不会被换出到硬盘上。

所述异常检测进程在用户态实现，为一个守护进程，其用于处理异常的情况。在初始化时向数据收集线程发送自己的进程号以使数据收集线程可以将异常情况发送给自己。当收到来自内核的异常通知时，该进程首先会判断异常的类型，对于00000类型，向用户输出异常信息(其中包括了可能存在的网络异常，以及在这个时间段内对应硬件计数器的数据，这个数据从上述共享内存中获取)，由用户自行判断并处理。对于其他的异常类型，异常检测进程会立即创建一个新的线程(异常判断线程)来处理。该线程判断异常类型数据上的每个二进制位是否为1，来判断具体有哪几个计数器出现了异常。本实施例结合经验，对此进行分类：

(1)当只有端口丢弃的报文计数器出现异常时(异常类型中第5位出现了问题)，则先测试与其他主机连接的延迟与可用性。当该延迟比较高时，则认定有拥塞的发生，提醒其他主机暂时放缓发送数据包的速度。而如果延迟没有那么高，很有可能是有恶意主机伪造数据包在不断尝试破解其他主机的连接。此时异常处理进程向其他主机利用以太网发送请求，检查本地虚拟机的在该时段的连接数量与趋势，以及本地的计数器异常信息，及时切断；

(2)当访问错误计数器出现了大于2的数据时(错误类型为00010)。该错误说明有数据包携带了错误的远程内存访问秘钥。这是潜在的伪造数据包窃取信息的威胁。因此需要将该异常类型发送到集群所有主机上，做进一步的处理。

(3)如果重复请求个数计数器、乱序请求个数计数器只有其中一个出现了少于4个的异常数据时，可以认为是暂时的网络波动，不需要额外的处理。(即异常号为10000或者01000)。

(4)当重复请求个数计数器、乱序请求个数计数器有多于3个异常，并且端口丢弃的报文计数器在这段时间的计数为0(即异常类型为10000/01000或者11000)，说明这是潜在的伪造数据包窃取信息的威胁。恶意程序已经拿到了数据包中其他关键的信息，而只剩数据包中的请求号还没有猜测正确，并且一直在尝试破解。因此需要将该异常类型发送到集群所有主机上，做进一步的处理。

所述异常处理模块用于接收到其他主机关于异常类型的通知，并进行处理。具体而言：

如前所述，当检测到一些接收方硬件计数器的异常时，该异常往往是由发送端的恶意程序引起的，异常处理模块会接收到其他主机关于异常类型的通知。此时异常处理模块读取本机***中与发送端有关的硬件计数器数据。然后，根据异常类型对应的硬件计数器，来与本机的进行对照，比如当访问错误计数器出现了大于2的数据时(错误类型为00010)，所述异常处理模块在本机中查看发送端远程访问错误计数器的数据。如果在此期间有数据量大的异常，则说明这个恶意访问是从本机发出的。然后该主机会向受害主机发送自己的主机标识和异常类型，从而通知受害方。所述通知通过传统以太网来进行。然后受害方会暂时切断对应主机的通信端口，并拒绝该网络地址及主机标识的访问，并向用户告警。待异常恶意程序被处理后，再恢复该通信端口。

参阅图3所示，是本发明网络异常检测方法较佳实施例的流程图。

所述数据收集模块周期性地收集与接收相关硬件计数器在一个时间段内的数据。

当有计数器的数据不为0时，通过netlink通知所述异常检测模块。

所述异常检测模块收到通知后创建一个线程来进行处理。首先判断异常类型，如果是普通的计数器引起的，直接与用户告警。

如果是本实施例选择的特殊计数器，则进一步判断异常类型中的每一位，从而确定是哪一种异常。

随后，该主机与集群上的其他主机利用以太网通信，通知其他主机这里发生了异常，并告知异常类型。

其他主机上的异常处理模块检查本地与发送方相关的硬件计数器，并与受害主机的异常类型相对照。如果自己的计数器有数据，说明是本机引起的异常，然后通知受害主机自己的标识。如果不是，则结束处理。

然后受害主机会通过禁用该网络标识来拒绝恶意主机的访问，并向用户告警。

本申请通过监测迈洛思网卡驱动所提供的硬件计数器的数据波动，来判断潜在的网络异常的类型以及网络异常可能发生的源头。本申请适用于基于远程直接内存访问(RDMA)网络的集群。通过集群中互相连接的机器之间的交互，以及本地保存的连接信息，及时与问题机器进行通信，以解决网络异常，从而保证集群通信环境的安全性。

同时，本申请利用迈洛思网卡驱动所提供的一系列硬件计数器，并对其进行定期的数据分析，同时通过区分接收方与发送方的硬件计数器，使集群中的机器相互协作完成对RDMA网络的检测与处理。本申请可以降低处理器不断捕获数据包的开销，同时由于这些计数器是由网卡驱动所提供的，针对于异常的分析更加准确。

虽然本发明参照当前的较佳实施方式进行了描述，但本领域的技术人员应能理解，上述较佳实施方式仅用来说明本发明，并非用来限定本发明的保护范围，任何在本发明的精神和原则范围之内，所做的任何修饰、等效替换、改进等，均应包含在本发明的权利保护范围之内。

Claims (7)

1.一种网络异常检测***，该***包括：属于硬件的网卡，属于内核层的网卡驱动、共享内存、接收相关的硬件计数器、发送相关的硬件计数器、数据收集模块、异常处理模块，属于应用层的异常检测进程，其特征在于：

所述数据收集模块用于收集接收方硬件计数器数据；

所述共享内存用于共享所述硬件计数器数据；

所述异常检测进程用于通过所述硬件计数器数据，检测网络中是否出现异常问题；

所述异常处理模块用于在检测到网络中存在异常时，处理异常问题；

所述异常检测进程具体用于：

当只有端口丢弃的报文计数器出现异常时，先测试与其他主机连接的延迟与可用性：当根据延迟认定有拥塞的发生，提醒其他主机暂时放缓发送数据包的速度；而根据延迟认定可能是有恶意主机伪造数据包在不断尝试破解其他主机的连接，此时异常处理进程向其他主机利用以太网发送请求，检查本地虚拟机在该时间段的连接数量与趋势，以及本地的计数器异常信息，及时切断；

当访问错误计数器出现了大于2的数据时，说明有数据包携带了错误的远程内存访问秘钥，这是潜在的伪造数据包窃取信息的威胁，则将对应异常类型发送到集群所有主机上，做进一步的处理；

如果重复请求个数计数器、乱序请求个数计数器只有其中一个出现了少于4个的异常数据时，则认为是暂时的网络波动，不需要额外的处理；

当重复请求个数计数器、乱序请求个数计数器有多于3个异常，并且端口丢弃的报文计数器在对应时间的计数为0，说明是潜在的伪造数据包窃取信息的威胁，恶意程序已经拿到了数据包中其他关键的信息，而只剩数据包中的请求号还没有猜测正确，并且一直在尝试破解，则将对应异常类型发送到集群所有主机上，做进一步的处理。

2.如权利要求1所述的***，其特征在于，所述数据收集模块用于：定期收集所有与异常或错误相关的硬件计数器的数据，以及在收集数据的同时对数据量进行判断，当数据量高于正常值时，向用户态的异常检测进程发出通知；

其中，所述数据为本次的时间点与上一次收集的时间点之间的时间段内的数据差。

3.如权利要求2所述的***，其特征在于，所述共享内存为在***初始化时绑定的，其用于在数据收集模块与异常检测进程之间共享关于硬件计数器的一个时间段内的数据，所述共享内存在该***开启时始终有效，并且不会***作***上其他的进程占用、不会被换出到硬盘上。

4.如权利要求3所述的***，其特征在于，所述的异常处理模块具体用于：

当接收到其他主机关于异常类型的通知时，读取本机***中与发送端有关的硬件计数器数据，根据异常类型对应的硬件计数器，来与本机的进行对照。

5.如权利要求4所述的***，其特征在于，所述的异常处理模块还具体用于：

在本机中查看发送端远程访问错误计数器的数据，如果期间有数据量大的异常，则说明恶意访问是从本机发出的，则向受害主机发送自己的主机标识和异常类型，从而通知受害方；受害方暂时切断对应主机的通信端口，并拒绝对应网络地址及主机标识的访问，并向用户告警；待异常恶意程序被处理后，再恢复该通信端口。

6.使用如权利要求1所述网络异常检测***的网络异常检测方法，其特征在于，所述方法包括：

所述数据收集模块周期性地收集与接收方相关硬件计数器在一个时间段内的数据；

当有计数器的数据不为0时，通知所述异常检测进程；

所述异常检测进程收到通知后创建一个线程来进行处理，所述线程判断异常类型；

受害主机与集群上的其他主机利用以太网通信，通知其他主机这里发生了异常，并告知异常类型；

其他主机上的异常处理模块检查本地与发送方相关的硬件计数器，并与受害主机的异常类型相对照；

如果自己的计数器有数据，说明是本机引起的异常，然后通知受害主机自己的标识；

受害主机通过禁用对应标识来拒绝恶意主机的访问，并向用户告警。

7.如权利要求6所述的方法，其特征在于，所述方法还包括：

如果不是本机引起的异常，则结束处理。