CN108512922A - 一种设备运行工况数据的动态分布式处理方法 - Google Patents

Abstract

本发明公开了一种设备运行工况数据的动态分布式处理方法，它包括：输入工况数据并缓存，为工况数据分配优先级；计算出子计算机计算能力的权重；计算出子计算机带宽的权重；得出子计算机的性能值；主计算机按子计算机性能值之比及数据优先级分配数据；将不包含高优先级的少量数据分配给低性能值子计算机进行处理，最后主计算机对所有数据进行汇总输出。本发明具有的有益效果是：实现数据的快速处理，能够让高优先级的数据优先处理使得紧急情况能及时得到解决，保证设备正常运行并且可以根据子计算机数量及要处理的数据量大小动态调整处理模式充分发挥分布式***的性能。

Description

一种设备运行工况数据的动态分布式处理方法

技术领域

本发明涉及数据分布式处理技术领域，特别是一种设备运行工况数据的动态分布式处 理方法。

背景技术

在集成计算机的软硬件***中，主流的数据处理方式分为集中式和分布式两 种。其中集中式处理在小型场景和中小型规模应用中占据有绝对地位，这种方式对 计算机的性能要求较高，并且随着数据规模的增大而使计算量和处理量呈现几何级 增长。当前，微型计算机性能快速发展，使用日益普及，采用分布式处理将大量数 据分散到各个子计算机上处理具有现实意义。

在分布式处理中，需要将数据分布到每台子计算机处理，各使用方根据具体的 需要，增减子计算机来扩大或者缩小整个***。在工业应用场景中(特别是对于设 备运行工况的监测监控中)，分布式处理尚未得到普及，其原因在于存在设备运行 的重要数据得不到优先处理、分发数据方法不合理导致计算机性能发挥严重偏移等 问题。

发明内容

有鉴于现有技术的上述缺陷，本发明的目的就是提供一种设备运行工况数据的动态分 布式处理方法，实现了数据的快速处理，能够让优先级的数据优先处理使得紧急情况能及时得到解决，保证设备正常运行。

本发明的目的是通过这样的技术方案实现的，一种设备运行工况数据的动态分布式处理方法，它包括有：所述方法具体步骤如下：

S1：采集设备运行的工况数据，并存入缓存中，对缓存数据进行优先级编号；

S2：根据每台子计算机计算能力的大小，计算每台子计算机处理能力权重作为 第一权重；

S3：根据主计算机和每台子计算机之间的传输网络，计算主计算机与每台子计 算机之间的网络带宽，确定每台子计算机带宽权重作为第二权重；

S4：根据所述第一权重和第二权重计算出每台子计算机的性能值，按性能值之 比分配工况数据量，并且把优先级为第一等级的工况数据分配给性能值大的子计算 机；

S5：主计算机读出缓存数据，并多路输出分配给每台子计算机处理；

S6：当需要处理少量的工况数据且其中不包含有优先级为第一等级的工况数据时，把数据分配给性能值低的计算机；

S7：当所有的子计算机把工况数据处理好后，发给主计算机汇总输出。

进一步，所述步骤S1中优先级编号步骤如下：

S11：将来自设备不同部分的数据编上不同的优先级；

S12：核心部分数据的优先级等级定为第一等级，并作为最高等级；次核心部 分的数据优先级等级定为第二等级，并作为一般等级；其余部分的数据优先级等级 定为第三等级，且作为最低等级。

进一步，所述步骤S2中根据每台子计算机的计算能力得到第一权重，所述第 一权重之和为1；所述第一权重的分配步骤具体如下：

S21：子计算机H_i的处理能力通过对一定数据的处理时间P_i来衡量；对应的处 理时间P_i越小，即1/P_i越大，表明该节点的计算能力越强；

处理能力由总线速度，内存容量，输入输出速度以及CPU的频率和核心数来决 定；因此其衡量标准，即处理时间P_i的定义如下：

式中，Data为待处理的数据量，f_i为子计算机H_i的CPU频率，vb_i为总线速 度，m_i为内存容量，v_io_i为I/O的速度，Num为CPU核的个数；

S22：子计算机H_i的处理能力权重，即第一权重为第一权重反映每台子计算机的处理能力在所有子计算机中所占比重；式中，SN为所有子计算机集合。

进一步，所述步骤S3中网络带宽和第二权重的计算步骤如下：

S31：网络带宽L_i利用NWS***，即网络气象服务***来估算；

S32：子计算机H_i的带宽权重，即第二权重为第二权重反映每

进一步，所述步骤S4中的具体计算过程如下：

S41：根据子计算机的处理能力权重和带宽权重得出其性能值K_i，K_i反映子计 算机的综合性能；即

K_i＝W₁×B_i+W₂×C_i；

式中，W₁为第一总权重，及计算机处理能力的总权重；W₂为第二总权重，即 带宽的总权重；

S42：按性能值之比K₁：K₂：...K_i(1≤i≤n)给各子计算机分配数据；

S43：将优先级为第一等级的数据分配到性能值大的子计算机中进行处理。

进一步，步骤S6的具体计算流程如下：

S61：少量数据的划分点为当子计算机数量增减时可以实现划分点的动态调整；式中，D_i为每台子计算机H_i的最大处理量；

S62：低性能子计算机的划分点为低于Q点就作为低性能子计算机；

S63：当数据量小于P且数据的优先级等级为第三等级时，将数据分配给性能 值低于Q的子计算机处理。

由于采用了上述技术方案，本发明具有如下的优点：

(1)本发明通过对设备运行工况数据的分布式处理，实现了数据的快速处理

(2)本发明通过对设备运行工况数据进行优先级编号，让高优先级的数据优 先处理使得紧急情况能及时得到解决，保证设备正常运行。

(3)本发明通过对子计算机建立性能值Ki，按其性能值分配数据，实现了数 据的科学分配让每台子计算机都能最大限度的发挥自己的性能。

(4)本发明通过对运行设备运行工况数据的数据量，优先级的判断以及少量 数据点P的动态调整，使得在数据量少且不包含高优先级数据时将其只分配给性能 值低的子计算机处理，达到节约能耗的目的。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述， 并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见 的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面 的说明书和权利要求书来实现和获得。

附图说明

本发明的附图说明如下：

图1为设备运行工况数据的动态分布式处理方法的流程示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

实施例：如图1所示；一种设备运行工况数据的动态分布式处理方法，它包括 有：方法具体步骤如下：

S1：采集设备运行的工况数据，并存入缓存中，对缓存数据进行优先级编号； 采集的设备运行工况数据量为M，根据来自的部位不同将其分为最高优先级的 M₁，一般优先级的M₂，低优先级的M₃。

S11：将来自设备不同部分的数据编上不同的优先级；

S12：核心部分数据的优先级等级定为第一等级，并作为最高等级；次核心部 分的数据优先级等级定为第二等级，并作为一般等级；其余部分的数据优先级等级 定为第三等级，且作为最低等级。

S2：根据每台子计算机计算能力的大小，计算每台子计算机处理能力权重作为 第一权重；所有的第一权重(即处理能力权重)之和为1。

步骤S2中根据每台子计算机的计算能力得到第一权重，第一权重之和为1；第 一权重的分配步骤具体如下：

S21：子计算机H_i的处理能力通过对一定数据的处理时间P_i来衡量；对应的P_i越小，即1/P_i越大，表明该节点的计算能力越强；

处理能力主要由总线速度，内存容量，输入输出速度以及CPU的频率和核心数 来决定；因此其衡量标准，即处理时间P_i的定义如下：

式中，Data为待处理的数据量，f_i为子计算机H_i的CPU频率，vb_i为总线速 度，m_i为内存容量，v_io_i为I/O的速度，Num为CPU核的个数。

S22：子计算机H_i的处理能力权重，即第一权重为第一权重反映每台子计算机的处理能力在所有子计算机中所占比重；式中，SN为所有子计算机集合。 例如现有n台子计算机，根据每台子计算机的参数及需处理的数据量M代入公式可以得出n台子计算机的处理能力分别为P₁，P₂，......，P_n。再由处理能力权重公式得出n台子计算机的处理能力权重 为B₁，B₂，......，B_n。

S3：根据主计算机和每台子计算机之间的传输网络，计算主计算机与每台子计算机 之间的网络带宽，确定每台子计算机带宽权重为作为第二权重；所有的 第二权重(即带宽权重)之和为1。

步骤S3中网络带宽和第二权重的计算步骤如下：

S31：网络带宽L_i利用NWS***，即网络气象服务***来估算；

S32：子计算机H_i的带宽权重为反映每台子计算机带宽 在所有子计算机中所占比重；式中，SN为所有子计算机集合。利用NWS(network weather service)***，即网络气象服务***来估算每对主子机之间的网络带宽L_i， 然后根据公式得出n台子机的网络带宽权重为C₁， C₂，......，C_n。

S4：根据第一权重和第二权重计算出每台子计算机的性能值，按性能值之比分 配工况数据量，并且把优先级为第一等级的工况数据分配给性能值大的子计算机；

步骤S4中的具体计算过程如下：

S41：根据子计算机的处理能力权重和带宽权重得出其性能值K_i，K_i反映子计 算机的综合性能；即

K_i＝W₁×C_i+W₂×B_i；

式中，W₁为第一总权重，即计算机处理能力的总权重，W₂为第二总权重，即 带宽权重的总权重；

S42：按性能值之比K₁：K₂：...K_i(1≤i≤n)给各子计算机分配数据；

S43：将优先级为第一等级的数据分配到性能值大的子计算机中进行处理。

S5：主计算机读出缓存数据，并多路输出分配给每台子计算机处理；

S6：当需要处理少量的工况数据且其中不包含有优先级为第一等级的工况数据时，把数据分配给性能值低的计算机；

步骤S6的具体计算流程如下：

S61：少量数据的划分点为当子计算机数量增减时可以实现划分点的动态调整；式中，D_i为每台子计算机H_i的最大处理量；

S62：低性能子计算机的划分点为低于Q点就作为低性能子计算机；

S63：当数据量小于P且数据的优先级等级为第三等级时，将数据分配给性能 值低于Q的子计算机处理。

具体计算如下：

根据每台子计算机H_i的最大处理量D_i由公式得出少量数据划分点 P，再根据每台子计算机的性能值K₁，K₂，......，K_n。由公式得出 低性能子计算机的划分点，当子计算机的性能值K低于Q时就属于低性能类，假如 此时K₁，K₂，......k_i均低于Q那么这些性能值对应的子计算机H₁，H₂，......，H_i均 属于低性能类，余下的属于高性能类。当待处理数据量小于少量数据划分点P且全 部为低优先级数据M₃(即第三等级)时，将低优先级数据M₃按K₁：K₂：......K_i之 比分配给对应的子计算机H₁，H₂，......，H_i以节约能耗，否则将数据按K₁： K₂：......K_n之比分配给所有子计算机并将其中高优先级数据分配给高性能类子计算 机。

S7：当所有的子计算机把工况数据处理好后，发给主计算机汇总输出。

综上所述，本发明是针对设备运行工况数据的分布式处理方法。通过对子计算机的性 能分析得出性能值，按性能值之比为各子计算机分配数据可以充分发挥各个子计算机的性能 达到快速处理数据的目的。该方法还通过为工况数据进行优先级编号，让高优先级的数据优 先得到及时处理保证设备正常运行。当数据量小且不包含高优先级数据时，直接分配给性能 值低的子计算机处理，可以达到节约能耗的目的。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照 较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本 发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均 应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种设备运行工况数据的动态分布式处理方法，其特征在于，所述方法具体步骤如下：

S1：采集设备运行的工况数据，并存入缓存中，对缓存数据进行优先级编号；

S2：根据每台子计算机计算能力的大小，计算每台子计算机处理能力权重作为第一权重；

S3：根据主计算机和每台子计算机之间的传输网络，计算主计算机与每台子计算机之间的网络带宽，确定每台子计算机带宽权重作为第二权重；

S4：根据所述第一权重和第二权重计算出每台子计算机的性能值，按性能值之比分配工况数据量，并且把优先级为第一等级的工况数据分配给性能值大的子计算机；

S5：主计算机读出缓存数据，并多路输出分配给每台子计算机处理；

S6：当需要处理少量的工况数据且其中不包含有优先级为第一等级的工况数据时，把数据分配给性能值低的计算机；

S7：当所有的子计算机把工况数据处理好后，发给主计算机汇总输出。

2.如权利要求1所述的设备运行工况数据的动态分布式处理方法，其特征在于，所述步骤S1中优先级编号步骤如下：

S11：将来自设备不同部分的数据编上不同的优先级；

S12：核心部分数据的优先级等级定为第一等级，并作为最高等级；次核心部分的数据优先级等级定为第二等级，并作为一般等级；其余部分的数据优先级等级定为第三等级，且作为最低等级。

3.如权利要求1所述的设备运行工况数据的动态分布式处理方法，其特征在于，所述步骤S2中根据每台子计算机的计算能力得到第一权重，所述第一权重之和为1；所述第一权重的分配步骤具体如下：

S21：子计算机H_i的处理能力通过对一定数据的处理时间P_i来衡量；对应的处理时间P_i越小，即1/P_i越大，表明该节点的计算能力越强；

处理能力由总线速度，内存容量，输入输出速度以及CPU的频率和核心数来决定；因此其衡量标准，即处理时间P_i的定义如下：

式中，Data为待处理的数据量，f_i为子计算机H_i的CPU频率，vb_i为总线速度，m_i为内存容量，v_io_i为I/O的速度，Num为CPU核的个数；

S22：子计算机H_i的处理能力权重，即第一权重为第一权重反映每台子计算机的处理能力在所有子计算机中所占比重；式中，SN为所有子计算机集合。

4.如权利要求1所述的设备运行工况数据的动态分布式处理方法，其特征在于，所述步骤S3中网络带宽和第二权重的计算步骤如下：

S31：网络带宽L_i利用NWS***，即网络气象服务***来估算；

S32：子计算机H_i的带宽权重，即第二权重为第二权重反映每台子计算机带宽在所有子计算机中所占比重；式中，SN为所有子计算机集合。

5.如权利要求1所述的设备运行工况数据的动态分布式处理方法，其特征在于，所述步骤S4中的具体计算过程如下：

S41：根据子计算机的处理能力权重和带宽权重得出其性能值K_i，K_i反映子计算机的综合性能；即

K_i＝W₁×B_i+W₂×C_i；

式中，W₁为第一总权重，及计算机处理能力的总权重；W₂为第二总权重，即带宽的总权重；

S42：按性能值之比K₁：K₂：...K_i(1≤i≤n)给各子计算机分配数据；

S43：将优先级为第一等级的数据分配到性能值大的子计算机中进行处理。

6.如权利要求5所述的设备运行工况数据的动态分布式处理方法，其特征在于，步骤S6的具体计算流程如下：

S61：少量数据的划分点为当子计算机数量增减时可以实现划分点的动态调整；式中，D_i为每台子计算机H_i的最大处理量；

S62：低性能子计算机的划分点为低于Q点就作为低性能子计算机；

S63：当数据量小于P且数据的优先级等级为第三等级时，将数据分配给性能值低于Q的子计算机处理。