CN105335236A - 一种分布式取证动态负载均衡调度方法和装置 - Google Patents

Abstract

本发明涉及电子介质取证领域，特别涉及一种分布式取证动态负载均衡调度方法和装置。本发明公开了一种分布式取证动态负载均衡调度方法和装置，它能够支持多介质高速并行取证分析的工作场景，它通过把任务分解到多个运算结点上进行处理，不仅节约了大量的时间，也大大提高了取证的效率。本发明能够减少或避免因网络负载、运算结点CPU、内存等分布不均而导致的整体性能下降问题。

Description

一种分布式取证动态负载均衡调度方法和装置

技术领域

本发明属于电子介质取证领域，具体地涉及一种分布式取证动态负载均衡调度方法。

背景技术

随着社会的发展，越来越多的数据以电子形式保存，存储于计算机及其他设备中的数据逐步成为计算机网络案件中的重要证据和诉讼证据，而信息技术和存储技术的不断创新，使设备的存储容量也越来越大，随之而来的是取证过程涉案的存储介质多、容量大、取证分析任务重、工作效率低下等问题，如何实现快速高效的取证分析也就成为取证产品的重点。

传统的取证分析软硬件装备大多数是单机的取证模式，如公开专利：CN203659010U，其同一时刻只能支持单一用户对一个案件进行处理，在存储信息量很大的情况下需要非常强大的计算能力才能完成，而且耗费的时间也非常长，随着网络和存储技术的发展，传统的取证分析装备已不能满足高速数据存储和海量数据相关性分析等要求，不仅操作复杂而且效率低下。为解决单机取证中存在的问题，个别取证***开始引入分布式的网络取证模式，分布式取证***就是将任务分配到多台机器(运算节点)并通过网络连接起来，利用各个运算结点的运算能力提高整体的性能，但是由于各个运算结点存在的性能差异以及调度算法存在负载不均衡的问题使***的整体性能无法达到理想的效果，因此，要合理地解决这个问题就必须进行负载均衡调度。

发明内容

本发明目的在于为解决上述问题而提供一种能够进行多介质高速并行取证分析，取证效率高，能够减少或避免因网络负载、运算结点CPU、内存等分布不均而导致的整体性能下降问题的分布式取证动态负载均衡调度方法和装置。

为此，本发明公开了一种分布式取证动态负载均衡调度方法，包括如下步骤：

A1，设运算结点为一个运算结点集合P，并对每个运算结点P_i进行初始化；

A2，根据运算结点P_i的资源情况确定任务窗口阀值T_m；

A3，计算当前运算结点P_i的负载W_i，并对其排序；

A4，计算当前运算结点P_i的空闲率R_idle，并对其进行排序；

A5，将任务设为一个任务集合T，并根据任务优先级对任务集合T进行排序；

A6，从运算结点集合P中取出负载最小并且空闲率最高的运算结点P_i，如果取得的结果为空则重复步骤A3至A6，直到取得为止；

A7，从任务集合T中取得优先级最高的任务T_i，如果取得的结果为空则重复步骤A4至A7，直到取得为止；

A8，把步骤A7中获取的任务T_i分配给步骤A6中获取的运算结点P_i，同时更新任务集合T以及运算结点P_i当前的任务数；

A9，重复执行步骤A2至A8，直到所有任务全部分配完成。

进一步的，所述步骤A3中，根据运算结点的CPU、内存和网络情况的至少一种情况算出负载W_i。

更进一步的，所述步骤A3中，对运算结点的CPU、内存和网络负载进行加权求和算出负载W_i。

进一步的，所述步骤A3中，采用分区间动态反馈机制对计算得到的负载W_i进行反馈，并对反馈得到的负载W_i进行排序。

更进一步的，所述步骤A4中，所述空闲率R_idle的计算方法为：设当前运算结点P_i的任务数为T_n，则每个运算结点的空闲率R_idle根据公式 $R_{idle}=\frac{T_m-T_n}{T_m}\×100\%$ 计算得到。

进一步的，所述步骤A5中，当任务的优先级相同时采用FCFS策略算法进行排序。

进一步的，还包括任务划分步骤，具体为：将任务按粒度进行分割。

进一步的，还包括异常处理步骤，具体为：

当运算结点出现故障时将分配在这个结点上的任务及时回收并分配到其他正常的结点上继续执行；

设置任务处理超时的阀值，当一个任务超时还没完成时，重新分配到别的结点去执行或者在该结点等待执行完成；

当任务在执行时出现错误，及时记录和反馈错误的信息。

本发明还公开了一种分布式取证动态负载均衡调度装置，包括：

初始化模块，用于设运算结点为一个运算结点集合P，并对每个运算结点P_i进行初始化；

任务阈值计算模块，用于根据运算结点P_i的资源情况确定任务窗口阀值T_m；

负载计算排序模块，用于计算当前运算结点P_i的负载W_i，并对其排序；

空闲率计算排序模块，用于计算当前运算结点P_i的空闲率R_idle，并对其进行排序；

任务优先级排序模块，用于将所有任务设为一个任务集合T，并根据任务优先级对任务集合T进行排序；

最优运算结点获取模块，用于从运算结点集合P中取出负载最小并且空闲率最高的运算结点P_i，如果取得的结果为空则重复执行负载计算排序模块、空闲率计算排序模块、任务优先级排序模块和最优运算结点获取模块，直到取得为止；

最高优先级任务获取模块，用于从任务集合T中取得优先级最高的任务T_i，如果取得的结果为空则重复执行空闲率计算排序模块、任务优先级排序模块、最优运算结点获取模块和最高优先级任务获取模块，直到取得为止；

任务分配模块，用于把最高优先级任务获取模块获取的任务T_i分配给最优运算结点获取模块获取的运算结点P_i，同时更新任务集合T以及运算结点P_i当前的任务数；

循环模块，用于重复执行任务阈值计算模块、负载计算排序模块、空闲率计算排序模块、任务优先级排序模块、最优运算结点获取模块、最高优先级任务获取模块和任务分配模块，直到所有任务全部分配完成。

进一步的，所述负载计算排序模块，用于根据运算结点的CPU、内存和网络情况的至少一种情况算出负载W_i。

进一步的，还包括任务划分模块，用于将任务按粒度进行分割。

进一步的，还包括异常处理模块，具体包括：

故障处理模块，用于当运算结点出现故障时将分配在这个结点上的任务及时回收并分配到其他正常的结点上继续执行；

超时处理模块，用于设置任务处理超时的阀值，当一个任务超时还没完成时，重新分配到别的结点去执行或者在该结点等待执行完成；

错误记录与反馈模块，用于当任务在执行时出现错误，及时记录和反馈错误的信息。

本发明的有益技术效果：

本发明能够支持多介质高速并行取证分析的工作场景，它通过把任务分解到多个运算结点上进行处理，不仅节约了大量的时间，也大大提高了取证的效率，同时，能够减少或避免因网络负载、运算结点CPU、内存等分布不均而导致的整体性能下降问题，充分利用了多台机器的运算能力。本发明可以应用于取证行业中，不仅能快速有效的对海量数据进行取证分析、搜索、索引等操作，而且在灵活扩展性上也非常强，在不停止***的情况下热拔插运算结点，实现***无缝的拓展。

附图说明

图1为本发明实施例的流程图；

图2为本发明实施例的取证性能对比图。

具体实施方式

现结合附图和具体实施方式对本发明进一步说明。

如图1所示，一种分布式取证动态负载均衡调度方法，包括如下步骤：

A1，设运算结点为一个运算结点集合P，并对每个运算结点P_i进行初始化。

本实施例中，运算结点为计算机，用于执行取证任务，将所有参与取证的运算结点设为一个运算结点集合P{P₁，P₂，P₃…P_n}，并对每个运算结点P_i进行初始化，初始化成功后才可接受任务并执行。

A2，根据运算结点P_i的资源情况确定任务窗口阀值T_m。

具体的，在运算结点P_i初始化时，根据运算结点的CPU核数及内存等资源情况确定任务窗口阀值T_m，如T_m＝24，则表示运算结点同一时刻最多只能接收24个任务。

A3，计算当前运算结点P_i的负载W_i，并对其进行由低到高排序，取出负载最低的运算结点。

具体的，根据运算结点的CPU、内存和网络情况的至少一种情况算出负载W_i。本实施例中，根据运算结点P_i的CPU、内存、网络等资源情况算出当前的负载W_i，W_i取值区间为[0，100]，具体方法为：设在t时刻运算结点P_i的CPU负载为Cpu(P_i)、网络负载Net(P_i)、内存负载为Mem(P_i)，负载值的计算公式：W_i＝R₁*Cpu(P_i)+R₂*Net(P_i)+R₃*Mem(P_i)，其中R₁，R₂，R₃的值根据任务的种类进行设定，如：设定为0.4，0.5，0.1。

进一步的，传统的负载均衡机制大多使用静态轮询策略或动态实时负载反馈的调度方法，考虑到静态调度的不准确性以及实时反馈带来的网络、***资源开销等问题，本发明采用分区间动态反馈机制以解决此问题，具体为：将整个负载均衡情况根据配置文件划分成不同的区间如(0，33]，(33，66]，(66，100]三个区间，当W_i值从第一区间(0，33]变化到第二个(33，66]区间值，把运算结点的W_i值反馈出来，以进行排序。

此外，在***中设置一个负载阈值V，当W_i值超过V值时分配到运算结点的任务进入排队等待状态，避免出现负载超重的极端情况，保证***的稳定性。

A4，计算当前运算结点P_i的空闲率R_idle，并对其进行排序。

具体为：设当前运算结点P_i的任务数为T_n，则每个运算结点的空闲率R_idle根据公式：计算得到，所有运算节点得出的R_idle集合值由高到低进行排序，取出空闲率最高的运算结点P_i。

A5，将所有任务设为一个任务集合T{T₁，T₂，T₃…T_n}，并根据任务优先级对任务集合T进行排序。

具体的，首先对各种类型的任务按粒度进行划分，划分时应避免出现太耗时的大任务、也不能出现分割太细的大量小任务。将划分后的所有任务设为一个任务集合T{T₁，T₂，T₃…T_n}，并对其配置相应的优先级，然后根据任务优先级对任务集合T进行排序，优先级相同的任务根据FCFS策略算法进行排序。FCFS策略算法为现有技术，此不再细说。

A6，从运算结点集合P中取出负载最小并且空闲率最高的运算结点P_i，如果取得的结果为空则重复步骤A3至A6，直到取得为止。

A7，从任务集合T中取得优先级最高的任务T_i，如果取得的结果为空则重复步骤A4至A7，直到取得为止。

A8，把步骤A7中获取的任务T_i分配给步骤A6中获取的运算结点P_i，同时更新任务集合T以及运算结点P_i当前的任务数。

A9，重复执行步骤A2至A8，直到所有任务全部分配完成。

此外，本实施例中还包括异常处理步骤，具体为：

当运算结点出现故障时将分配在这个结点上的任务及时回收并分配到其他正常的结点上继续执行。

设置任务处理超时的阀值，当一个任务超时还没完成时，重新分配到别的结点去执行或者在该结点等待执行完成。

当任务在执行时出现错误，及时记录和反馈错误的信息。

本实施例中的步骤序号只是为了方便说明，并不完全代表步骤的先后顺序。

本发明还提供了一种分布式取证动态负载均衡调度装置，包括：

初始化模块，用于设运算结点为一个运算结点集合P，并对每个运算结点P_i进行初始化。

具体的，初始化模块，用于将所有参与取证的运算结点设为一个运算结点集合P{P₁，P₂，P₃…P_n}，并对每个运算结点P_i进行初始化，初始化成功后才可接受任务并执行。

任务阈值计算模块，用于根据运算结点P_i的资源情况确定任务窗口阀值T_m。

具体的，在运算结点P_i初始化时，根据运算结点的CPU核数及内存等资源情况确定任务窗口阀值T_m。

负载计算排序模块，用于计算当前运算结点P_i的负载W_i，并对其排序。

具体的，负载计算排序模块根据运算结点P_i的CPU、内存、网络等资源情况算出当前的负载W_i，W_i取值区间为[0，100]，具体方法为：设在t时刻运算结点P_i的CPU负载为Cpu(P_i)、网络负载Net(P_i)、内存负载为Mem(P_i)，负载值的计算公式：W_i＝R₁*Cpu(P_i)+R₂*Net(P_i)+R₃*Mem(P_i)，其中R₁，R₂，R₃的值根据任务的种类进行设定，如：设定为0.4，0.5，0.1。

进一步的，负载计算排序模块包括分区间动态反馈模块，用于将整个负载均衡情况根据配置文件划分成不同的区间，如(0，33]，(33，66]，(66，100]三个区间，当W_i值从第一区间(0，33]变化到第二个(33，66]区间值，把运算结点的W_i值反馈出来给负载计算排序模块，以进行排序。

空闲率计算排序模块，用于计算当前运算结点P_i的空闲率R_idle，并对其进行排序。

具体为：设当前运算结点P_i的任务数为T_n，则每个运算结点的空闲率R_idle根据公式：计算得到，将所有运算节点得出的R_idle集合值由高到低进行排序，取出空闲率最高的运算结点P_i。

任务优先级排序模块，用于将所有任务设为一个任务集合T，并根据任务优先级对任务集合T进行排序。具体的，任务优先级排序模块还包括：

任务划分模块，用于对各种类型的任务按粒度进行划分，划分时应避免出现太耗时的大任务、也不能出现分割太细的大量小任务。

优先级配置模块，用于对划分后的所有任其配置相应的优先级。

最优运算结点获取模块，用于从运算结点集合P中取出负载最小并且空闲率最高的运算结点P_i，如果取得的结果为空则重复执行负载计算排序模块、空闲率计算排序模块、任务优先级排序模块和最优运算结点获取模块，直到取得为止。

最高优先级任务获取模块，用于从任务集合T中取得优先级最高的任务T_i，如果取得的结果为空则重复执行空闲率计算排序模块、任务优先级排序模块、最优运算结点获取模块和最高优先级任务获取模块，直到取得为止。

任务分配模块，用于把最高优先级任务获取模块获取的任务T_i分配给最优运算结点获取模块获取的运算结点P_i，同时更新任务集合T以及运算结点P_i当前的任务数。

循环模块，用于重复执行任务阈值计算模块、负载计算排序模块、空闲率计算排序模块、任务优先级排序模块、最优运算结点获取模块、最高优先级任务获取模块和任务分配模块，直到所有任务全部分配完成。

此外，本实施例中，装置还包括异常处理模块，包括：

故障处理模块，用于当运算结点出现故障时将分配在这个结点上的任务及时回收并分配到其他正常的结点上继续执行。

超时处理模块，用于设置任务处理超时的阀值，当一个任务超时还没完成时，重新分配到别的结点去执行或者在该结点等待执行完成。

错误记录与反馈模块，用于当任务在执行时出现错误，及时记录和反馈错误的信息。

本发明实施例的分布式取证动态负载均衡调度装置可以被包含在服务器中，该服务器通过网络与运算结点进行通信连接，本实施例中，网络由基于BoostAsio实现的高性能跨平台TCP通讯模块提供，其Windows平台下使用的IOCP网络模型是一种适用于高负载服务器的技术，不仅可伸缩性好，而且执行效率非常高，它是整个调度服务进行任务调度及数据交换的基础。

图2所示为在相同大小的测试数据镜像下不同个数运算结点与传统单机模式取证装备的性能对比图，从图中可以看出，传统单机模式取证装备的性能最差，运算结点个数越多的取证装备的性能越好。

本文中所公开的实施例描述的各模块及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (12)

1.一种分布式取证动态负载均衡调度方法，其特征在于，包括如下步骤：

A1，设运算结点为一个运算结点集合P，并对每个运算结点P_i进行初始化；

A2，根据运算结点P_i的资源情况确定任务窗口阀值T_m；

A3，计算当前运算结点P_i的负载W_i，并对其排序；

A4，计算当前运算结点P_i的空闲率R_idle，并对其进行排序；

A5，将任务设为一个任务集合T，并根据任务优先级对任务集合T进行排序；

A6，从运算结点集合P中取出负载最小并且空闲率最高的运算结点P_i，如果取得的结果为空则重复步骤A3至A6，直到取得为止；

A7，从任务集合T中取得优先级最高的任务T_i，如果取得的结果为空则重复步骤A4至A7，直到取得为止；

A8，把步骤A7中获取的任务T_i分配给步骤A6中获取的运算结点P_i，同时更新任务集合T以及运算结点P_i当前的任务数；

A9，重复执行步骤A2至A8，直到所有任务全部分配完成。

2.根据权利要求1所述的分布式取证动态负载均衡调度方法，其特征在于：所述步骤A3中，根据运算结点的CPU、内存和网络情况的至少一种情况算出负载W_i。

3.根据权利要求2所述的分布式取证动态负载均衡调度方法，其特征在于：所述步骤A3中，对运算结点的CPU、内存和网络负载进行加权求和算出负载W_i。

4.根据权利要求1或2或3所述的分布式取证动态负载均衡调度方法，其特征在于：所述步骤A3中，采用分区间动态反馈机制对计算得到的负载W_i进行反馈，并对反馈得到的负载W_i进行排序。

5.根据权利要求1所述的分布式取证动态负载均衡调度方法，其特征在于：所述步骤A4中，所述空闲率R_idle的计算方法为：设当前运算结点P_i的任务数为T_n，则每个运算结点的空闲率R_idle根据公式计算得到。

6.根据权利要求1所述的分布式取证动态负载均衡调度方法，其特征在于：所述步骤A5中，当任务的优先级相同时采用FCFS策略算法进行排序。

7.根据权利要求1所述的分布式取证动态负载均衡调度方法，其特征在于：还包括任务划分步骤，具体为：将任务按粒度进行分割。

8.根据权利要求1所述的分布式取证动态负载均衡调度方法，其特征在于：还包括异常处理步骤，具体为：

当运算结点出现故障时将分配在这个结点上的任务及时回收并分配到其他正常的结点上继续执行；

设置任务处理超时的阀值，当一个任务超时还没完成时，重新分配到别的结点去执行或者在该结点等待执行完成；

当任务在执行时出现错误，及时记录和反馈错误的信息。

9.一种分布式取证动态负载均衡调度装置，其特征在于，包括：

初始化模块，用于设运算结点为一个运算结点集合P，并对每个运算结点P_i进行初始化；

任务阈值计算模块，用于根据运算结点P_i的资源情况确定任务窗口阀值T_m；

负载计算排序模块，用于计算当前运算结点P_i的负载W_i，并对其排序；

空闲率计算排序模块，用于计算当前运算结点P_i的空闲率R_idle，并对其进行排序；

任务优先级排序模块，用于将所有任务设为一个任务集合T，并根据任务优先级对任务集合T进行排序；

最优运算结点获取模块，用于从运算结点集合P中取出负载最小并且空闲率最高的运算结点P_i，如果取得的结果为空则重复执行负载计算排序模块、空闲率计算排序模块、任务优先级排序模块和最优运算结点获取模块，直到取得为止；

最高优先级任务获取模块，用于从任务集合T中取得优先级最高的任务T_i，如果取得的结果为空则重复执行空闲率计算排序模块、任务优先级排序模块、最优运算结点获取模块和最高优先级任务获取模块，直到取得为止；

任务分配模块，用于把最高优先级任务获取模块获取的任务T_i分配给最优运算结点获取模块获取的运算结点P_i，同时更新任务集合T以及运算结点P_i当前的任务数；

循环模块，用于重复执行任务阈值计算模块、负载计算排序模块、空闲率计算排序模块、任务优先级排序模块、最优运算结点获取模块、最高优先级任务获取模块和任务分配模块，直到所有任务全部分配完成。

10.根据权利要求9所述的分布式取证动态负载均衡调度装置，其特征在于：所述负载计算排序模块，用于根据运算结点的CPU、内存和网络情况的至少一种情况算出负载W_i。

11.根据权利要求9所述的分布式取证动态负载均衡调度装置，其特征在于：还包括任务划分模块，用于将任务按粒度进行分割。

12.根据权利要求9所述的分布式取证动态负载均衡调度装置，其特征在于：还包括异常处理模块，具体包括：

故障处理模块，用于当运算结点出现故障时将分配在这个结点上的任务及时回收并分配到其他正常的结点上继续执行；

超时处理模块，用于设置任务处理超时的阀值，当一个任务超时还没完成时，重新分配到别的结点去执行或者在该结点等待执行完成；

错误记录与反馈模块，用于当任务在执行时出现错误，及时记录和反馈错误的信息。