CN114546652A - 一种参数预估方法、装置及电子设备 - Google Patents

Abstract

一种参数预估方法、装置及电子设备，该方法包括：获得N个Flink子任务，基于每个Flink子任务中的并行度处理待处理数据，获得每个Flink子任务中处理待处理数据的Flink子任务的实际并行度以及Flink子任务的资源分配率，获得N个资源分配率，从N个资源分配率中筛选出目标资源分配率以及目标资源分配率对应的Flink子任务的实际并行度。通过上述方法，提前对每个Flink子任务的并行度的数量值进行预估，确保了有足够数量值的并行度能够处理完待处理数据，并且，从N个资源分配率中筛选出目标资源分配率，确保了筛选出的目标资源分配率为最优参数，进一步提高了流计算的性能，实现了对流计算进行优化的目的。

Description

一种参数预估方法、装置及电子设备

技术领域

本申请涉及分布式计算技术领域，尤其涉及一种参数预估方法、装置及电子设备。

背景技术

随着大数据处理技术的发展，在传统的数据处理流程中，总是先收集数据，然后将数据放到数据库中。当人们需要的时候通过数据库对数据做查询，得到答案或进行查询相关的数据，但是，在一些实时搜索应用环境中的某些具体问题时，由于传统的数据处理流程将会在数据库中搜索查询该问题的相关数据，当数据库中的数据量过多或者查询问题的用户数量过多时，都将导致不能实时的返回查询结果，因此采用传统的数据处理流程查询数据的实效性差。

为了能够实时处理网络中产生的数据，引出了一种新的数据计算结构--流计算。流计算能够对大规模流动数据在不断变化运动过程中实时地进行分析，捕捉到有用的信息，并且流计算的响应时间为秒级，实现了实时处理数据。

为了对流计算进行优化，目前采用的是一种基于Flink的流计算性能优化***及方法，该方法在生产环境做指标采集之后，对指标采集的数据进行分析，获得分析结果，再将分析结果用于调整任务的运行参数。

首先，Flink(全称Apache Flink)是一个分布式处理引擎，Flink集群中有多个任务管理器，关于数据读取、计算等操作都是在任务管理器中以分布式任务的形式运行，当任务管理器中执行数据计算时，数据计算完成后，任务管理器会将获得的资源分配率、并行度以及数据计算结果返回给调用端。

任务管理器进行分布式计算的原理见图1：每个任务管理器中包括若干个Slot，Slot是执行计算的最小单位，要计算的算子(包括数据读取、映射、分组、存储等)都根据算子的并行度，被划分到各Slot中，由Slot依次执行计算。在一个Slot上执行几个算子后，再根据数据分组的需求，被分配到下一个Slot继续执行，直到最终被输出或保存。每个Slot中都可以有若干个线程同时执行，以保证Flink分布式运行的效率。

当前，上述流计算性能优化方法提供了一种在生产环境下实时采集Flink任务运行时的性能指标，根据采集到的性能指标动态调整任务管理器的并行度、每个(Taskmanager)任务管理器上的Slot数量，以及每个任务管理器所分配的内存大小。

该方法在生产环境做指标采集之后，对指标采集的数据进行分析，获得分析结果，再将分析结果用于调整任务的运行参数，造成任务最优运行参数的配置滞后于实际数据处理的需要，导致分析结果对应的运行参数与当前时刻任务的最优运行参数的差异较大，并且，在采集指标的过程中，当需要采集的数据量过多时，将造成不能及时获得分析结果，进而不能对任务运行的参数进行调整，导致造成数据积压，从而无法实时的反馈数据，优化效果较差。

发明内容

本申请提供了一种参数预估方法、装置及电子设备，通过设置N个Flink子任务，将每个Flink子任务中的并行度处理待处理数据，获得每个Flink子任务中并行度处理待处理数据的实际数量值以及每个Flink子任务对应的资源分配率，再从N个资源分配率中确定出目标资源分配率以及目标资源分配率对应的处理待处理数据的Flink子任务的实际并行度，确保了获得的目标资源分配率以及处理待处理数据的Flink子任务的实际并行度为最优参数，从而能够实现对流计算的优化。

第一方面，本申请提供了一种参数预估方法，所述方法包括：

获得N个Flink子任务，其中，N为正整数，所述Flink子任务中有多个并行度，且每个Flink子任务中并行度的数量值不一致；

基于每个Flink子任务中的并行度处理待处理数据，获得每个Flink子任务中处理待处理数据的Flink子任务的实际并行度以及所述Flink子任务的资源分配率，获得N个资源分配率，其中，所述资源分配率为每个Flink子任务中处理待处理数据的所有并行度占用设备资源的百分比；

从N个资源分配率中筛选出目标资源分配率以及所述目标资源分配率对应的Flink子任务的实际并行度。

在一种可能的设计中，从N个资源分配率中筛选出目标资源分配率以及所述目标资源分配率对应的Flink子任务的实际并行度，包括：

获得N个Flink子任务的资源分配率，检测每个资源分配率是否在预设范围之内；

若是，则将在预设范围之内的最小资源分配率作为目标资源分配率，并获取所述目标资源分配率对应的Flink子任务的实际并行度；

若否，则提取所述预设范围中的目标端点值，计算所述资源分配率与所述目标端点值之间的差值，将最小差值对应的资源分配率作为目标资源分配率，并获取所述目标资源分配率对应的Flink子任务的实际并行度。

在一种可能的设计中，获得每个Flink子任务中处理待处理数据的Flink子任务的实际并行度，包括：

读取所述每个Flink子任务中处理待处理数据的并行度的当前数量值，并获得所述当前数量值的并行度对应的反压指标；

根据所述反压指标与预设阈值的关系调整处理待处理数据的所有并行度的当前数量值，直至所述反压指标低于所述预设阈值时，将符合第一预设规则的并行度的当前数量值作为实际数量值。

在一种可能的设计中，将符合第一预设规则的并行度的当前数量值作为实际数量值，包括：

读取每个Flink子任务对应的第一数量值区间，基于所述处理待处理数据的所有并行度的当前数量值对所述第一数量值区间进行更新；

当所述第一数量值区间的最小数量值不为1并且所述第一数量值区间中的最大数量值与最小数量值的差值不超过1时，计算出所述Flink子任务的实际并行度。

在一种可能的设计中，将符合第一预设规则的并行度的当前数量值作为实际数量值，包括：

获得不同第一数量值区间中处理待处理数据的所有并行度的反压指标；

按照预设排列顺序将所述反压指标进行排列，选取最小反压指标对应的第一数量值区间，基于所述第一数量值区间计算出处理待处理数据的所有Flink子任务的实际并行度。

在一种可能的设计中，根据所述反压指标与预设阈值的关系调整并行度的当前数量值，包括：

检测处理待处理数据的所有并行度的反压指标是否超过预设阈值；

若是，则获取所述处理待处理数据的所有并行度对应的当前数量值，基于第二预设规则调整所述处理待处理数据的所有并行度的当前数量值；

若否，则确定所述处理待处理数据的所有并行度的数量值大于1并且所述第一数量值区间中最大数量值与最小数量值的差值大于1时，基于第三预设规则调整所述处理待处理数据的所有并行度的当前数量值。

在一种可能的设计中，基于第二预设规则调整所述处理待处理数据的所有并行度的当前数量值，包括：

解析出所述Flink子任务对应的第一数量值区间中的最大数量值以及最小数量值；

将所述处理待处理数据的并行度的当前数量值覆盖所述最小数量值；

将所述最大数量值与所述当前数量值相加，获得第一相加数量值，将所述第一相加数量值取均值后对应的数量值作为当前数量值。

在一种可能的设计中，将所述最大数量值与所述当前数量值相加，获得第一相加数量值，包括：

若所述最大数量值或所述当前数量值为奇数，则将所述最大数量值或所述当前数量值加1后，获得第一相加数量值；

若所述最大数量值和所述当前数量值为偶数，则将所述最大数量值和所述当前数量值相加，获得第一相加数量值。

在一种可能的设计中，基于第三预设规则调整所述处理待处理数据的所有并行度的当前数量值，包括：

解析出所述Flink子任务对应的第一数量值区间中的最大数量值以及最小数量值；

将所述处理待处理数据的并行度的当前数量值覆盖所述最大数量值；

将所述当前数量值与所述最小数量值相加，获得第二相加数量值，将所述第二相加数量值取均值后对应的数量值作为当前数量值。

在一种可能的设计中，将所述当前数量值与所述最小数量值相加，获得第二相加数量值，包括：

若所述最小数量值或所述当前数量值为奇数，则将所述最小数量值或所述当前数量值加1后，获得第二相加数量值；

若所述最小数量值和所述当前数量值为偶数，则将所述最小数量值和所述当前数量值相加，获得第二相加数量值。

第二方面，本申请提供了一种线程绑定的装置，所述装置包括：

获得模块，用于获得N个Flink子任务；

处理模块，用于基于每个Flink子任务中的并行度处理待处理数据，获得每个Flink子任务中处理待处理数据的Flink子任务的实际并行度以及所述Flink子任务的资源分配率，获得N个资源分配率；

筛选模块，用于从N个资源分配率中筛选出目标资源分配率以及所述目标资源分配率对应的Flink子任务的实际并行度。

在一种可能的设计中，所述筛选模块，具体用于获得N个Flink子任务的资源分配率，检测每个资源分配率是否在预设范围之内，若是，则将在预设范围之内的最小资源分配率作为目标资源分配率，并获取所述目标资源分配率对应的Flink子任务的实际并行度，若否，则提取所述预设范围中的目标端点值，计算所述资源分配率与所述目标端点值之间的差值，将最小差值对应的资源分配率作为目标资源分配率，并获取所述目标资源分配率对应的Flink子任务的实际并行度。

在一种可能的设计中，所述处理模块，具体用于读取所述每个Flink子任务中处理待处理数据的并行度的当前数量值，并获得所述当前数量值的并行度对应的反压指标，根据所述反压指标与预设阈值的关系调整处理待处理数据的所有并行度的当前数量值，直至所述反压指标低于所述预设阈值时，将符合第一预设规则的并行度的当前数量值作为实际数量值；

在一种可能的设计中，所述处理模块，还用于读取每个Flink子任务对应的第一数量值区间，基于所述处理待处理数据的所有并行度的当前数量值对所述第一数量值区间进行更新，当所述第一数量值区间的最小数量值不为1并且所述第一数量值区间中的最大数量值与最小数量值的差值不超过1时，计算出所述Flink子任务的实际并行度。

在一种可能的设计中，所述处理模块，还用于获得不同第一数量值区间中处理待处理数据的所有并行度的反压指标，按照预设排列顺序将所述反压指标进行排列，选取最小反压指标对应的第一数量值区间，基于所述第一数量值区间计算出处理待处理数据的所有Flink子任务的实际并行度。

在一种可能的设计中，所述处理模块，还用于检测处理待处理数据的所有并行度的反压指标是否超过预设阈值，若是，则获取所述处理待处理数据的所有并行度对应的当前数量值，基于第二预设规则调整所述处理待处理数据的所有并行度的当前数量值，若否，则确定所述处理待处理数据的所有并行度的数量值大于1并且所述第一数量值区间中最大数量值与最小数量值的差值大于1时，基于第三预设规则调整所述处理待处理数据的所有并行度的当前数量值。

在一种可能的设计中，所述处理模块，还用于解析出所述Flink子任务对应的第一数量值区间中的最大数量值以及最小数量值，将所述处理待处理数据的并行度的当前数量值覆盖所述最小数量值，将所述最大数量值与所述当前数量值相加，获得第一相加数量值，将所述第一相加数量值取均值后对应的数量值作为当前数量值。

在一种可能的设计中，所述处理模块，还用于若所述最大数量值或所述当前数量值为奇数，则将所述最大数量值或所述当前数量值加1后，获得第一相加数量值，若所述最大数量值和所述当前数量值为偶数，则将所述最大数量值和所述当前数量值相加，获得第一相加数量值。

在一种可能的设计中，所述处理模块，还用于解析出所述Flink子任务对应的第一数量值区间中的最大数量值以及最小数量值，将所述处理待处理数据的并行度的当前数量值覆盖所述最大数量值，将所述当前数量值与所述最小数量值相加，获得第二相加数量值，将所述第二相加数量值取均值后对应的数量值作为当前数量值。

在一种可能的设计中，所述处理模块，还用于若所述最小数量值或所述当前数量值为奇数，则将所述最小数量值或所述当前数量值加1后，获得第二相加数量值，若所述最小数量值和所述当前数量值为偶数，则将所述最小数量值和所述当前数量值相加，获得第二相加数量值。

第三方面，本申请提供了一种电子设备，包括：

存储器，用于存放计算机程序；

处理器，用于执行所述存储器上所存放的计算机程序时，实现上述的一种参数预估方法步骤。

第四方面，一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述的一种参数预估方法步骤。

上述第一方面至第四方面中的各个方面以及各个方面可能达到的技术效果请参照上述针对第一方面或第一方面中的各种可能方案可以达到的技术效果说明，这里不再重复赘述。

附图说明

图1为本申请提供的任务管理器进行分布式计算的原理示意图；

图2为本申请提供的一种参数预估方法步骤的流程图；

图3为本申请提供的一种参数预估装置的结构示意图；

图4为本申请提供的一种电子设备的结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述。方法实施例中的具体操作方法也可以应用于装置实施例或***实施例中。需要说明的是，在本申请的描述中“多个”理解为“至少两个”。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。A与B连接，可以表示：A与B直接连接和A与B通过C连接这两种情况。另外，在本申请的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。

在以往的技术中，为了实现对流计算的优化，采用的方式是一种基于Flink的流计算性能优化***及方法，该方法是在生产环境做指标采集之后，对指标采集的数据进行分析，获得分析结果，再将分析结果用于调整任务的运行参数。在指标采集的过程之后，对指标采集的数据进行分析，获得分析结果，再将分析结果用于调整任务的运行参数，造成任务最优运行参数的配置滞后于实际数据处理的需要，导致分析结果对应的运行参数与当前时刻任务的最优运行参数的差异较大，并且，在采集指标的过程中，当需要采集的数据量过多时，将造成不能及时获得分析结果，进而不能对任务运行的参数进行调整，导致造成数据积压，从而无法实时的反馈数据，优化效果较差。

为了解决上述描述的问题，本申请实施例提供了一种参数预估方法，用以从N组数据中筛选出最优参数，从而实现对流计算的优化。其中，本申请实施例所述方法和装置基于同一技术构思，由于方法及装置所解决问题的原理相似，因此装置与方法的实施例可以相互参见，重复之处不再赘述。

下面结合附图，对本申请实施例进行详细描述。

参照图2，本申请提供了一种参数预估方法，该方法可从N组Flink子任务对应的资源分配率中筛选出最优的资源分配率，以及该资源分配率对应的Flink子任务中的Flink子任务的实际并行度，从而实现对流计算的优化，该方法的实现流程如下：

步骤S21：获得N个Flink子任务。

本申请实施例是为了从N组数据中筛选出最优参数，从而实现对流计算的优化，因此，需要提前设置N个Flink子任务，每个Flink子任务中有多个并行度，并且，每个Flink子任务中的并行度的数量值不一致。

Flink子任务中有多个并行度，Flink子任务中的并行度的数量值不同，Flink子任务中的并行度的资源分配量也不同，设置的每个Flink子任务中的并行度都能够确保可以处理完待处理数据，从而实现根据待处理数据的总量预估Flink子任务中并行度的数量值。

进一步需要说明的是，Flink子任务中并行度的数量值与Slot的数量值等效，设备的CPU、单个Slot的资源分配量以及Slot的数量值如表1所示：

序号	CPU核心	单个Slot的资源分配量	Slot的数量值
				1	1	100％	1
2	0.5	50％	2
				3	0.25	25％	4
4	0.125	12.5％	8

表1

在表1中，资源的总量是不变的，当Slot的数量值为1时，CPU核心为1，1个Slot最多能够分配到CPU100％的资源；当Slot的数量值为2时，单个Slot最多能够分配到CPU50％的资源，单个Slot只能占据0.5的CPU核心；当Slot的数量值为4时，单个Slot最多能够分配到CPU25％的资源，单个Slot只能占据0.25的CPU核心；当Slot的数量值为8时，单个Slot最多能够分配到CPU12.5％的资源，单个Slot只能占据0.125的CPU核心，因此，当单个Slot占据0.125CPU核心的数量值发生变化时，Slot的数量值也会随之发生变化。

通过获得N个Flink子任务，能够获得更多的样本数据，确保了N个样本数据中筛选出最终的最优参数的准确度。

步骤S22：基于每个Flink子任务中的并行度处理待处理数据，获得每个Flink子任务中处理待处理数据的Flink子任务的实际并行度以及所述Flink子任务的资源分配率，获得N个资源分配率。

在获得N个Flink子任务之后，为了获得每个Flink子任务中处理待处理数据的并行度的最优数量值，在每个Flink子任务中的并行度处理待处理数据的过程中，需要不断的调整该Flink子任务中处理待处理数据的并行度的数量值，从而获得每个Flink子任务中处理待处理数据的并行度的最优数量值，Flink子任务与并行度的关系参考表2：

Flink子任务	并行度的数量值	第一数量值区间
			Flink子任务1	16	[1，16]
Flink子任务2	32	[1，32]
			......	......	......

表2

在上述表2中，记录了Flink子任务中并行度的数量值以及Flink子任务对应的第一数量值区间，表2只例举了Flink子任务1与Flink子任务2分别对应的并行度的数量值以及分别对应的第一数量值区间，其他的Flink子任务对应的并行度的数量值以及第一数量值区间参考表1中任意一个Flink子任务，这里不做过多阐述。

进一步需要说明的是，每个Flink子任务中，并行度的数量值为处理待处理数据可用的最大数量值的并行度，第一数量值区间为每个Flink子任务中处理待处理数据可用的最大数量值的并行度以及可以用的最小数量值的并行度，比如：Flink子任务1中，处理待处理数据最少可以使用1个并行度，最多可以使用16个并行度。

在上述对Flink子任务进行说明之后，为了确定出每个Flink子任务中并行度处理待处理的最优数量值，需要对处理待处理数据的并行度的数量值进行多次调整，调整Flink子任务中处理待处理数据的并行度的数量值的具体过程如下：

确定出当前Flink子任务对应的第一数量值区间之后，使Flink子任务中的并行度处理待处理数据，待处理数据的数据量在本申请实施例中保持不变，当Flink子任务中的并行度处理待处理数据之后，统计出处理待处理数据的并行度的当前数量值。

在获得处理待处理数据的并行度的当前数量值之后，为了确保处理待处理数据的效率最高，需要从Flink子任务中确定出处理待处理数据的Flink子任务的实际并行度，在确保Flink子任务的并行度将待处理数据处理完成之后，还需要确定处理待处理数据的并行度是否处于负荷状态，具体确定处理待处理数据的并行度是否处于负荷状态的具体过程如下：

当统计出处理待处理数据的并行度的当前数量值之后，需要读取出当前数量值的并行度处理待处理数据对应的反压指标，反压指标代表处理待处理数据时进行排队的并行度的数量值与处理待处理数据的所有并行度的数量值百分比，在当前数量值的并行度处理待处理数据对应的反压指标超过预设阈值之后，代表当前数量值的并行度处理待处理数据时处于负荷状态，在当前数量值的并行度处理待处理数据对应的反压指标低于预设阈值之后，代表当前数量值的并行度处理待处理数据时处于正常状态。

通过反压指标能够获知处理待处理的并行度是否存在反压，从而能够对处理待处理数据的实际并行度进行调整，实现对Flink子任务的并行度的优化。

在上述的描述中，当处理待处理数据的并行度处于负荷状态时，会导致Flink子任务中的并行度处理待处理数据的时间较长，为了使得处理待处理数据的并行度处于正常状态，需要重新调整Flink子任务中处理待处理数据的并行度的数量值，重新调整Flink子任务中处理待处理数据的并行度的数量值的具体可以是如下情况：

情况一：当处理待处理数据的并行度处于正常状态时，基于第三预设规则调整处理待处理数据的并行度的当前数量值。

当处理待处理数据的并行度处于正常状态时，将符合第一预设规则的处理待处理数据的并行度的当前数量值作为实际数量值，第一预设规则是为了确保分配的处理待处理数据的并行度的资源不被浪费，第一预设规则为Flink子任务对应的第一数量值区间内的最小数量值不为1且最大数量值与最小数量值之间的差值不大于1。

进一步需要说明的是，当Flink子任务对应的第一数量值区间内的最小数量值为1时，代表未调整处理待处理数据的并行度的数量值，当Flink子任务对应的第一数量值区间的最大数量值与最小数量值之间的差值大于1时，代表设备分配的当前数量值的并行度处理待处理数据时，未处于最高效状态，因此，需要重新分配处理待处理数据的并行度的数量值。

在上述的描述中已经获知了Flink子任务对应的第一数量值区间，当处理待处理数据的并行度处于正常状态时，为了重新分配处理待处理数据的并行度的数量值，需要获得处理待处理数据的并行度处于正常状态时对应的当前数量值，为了对Flink子任务对应的第一数量区间进行更新，还需要获得Flink子任务对应的第一数量值区间，从第一数量值区间中提取出最大数量值以及最小数量值，由于当前处理待处理数据的并行度已经处于正常状态，因此，需要减少处理待处理数据的并行度的数量值。

为了减少处理待处理数据的并行度的数量值，需要将处理待处理数据的并行度处于正常状态时对应的当前数量值覆盖上述描述的最大数量值，在将最大数量值与当前数量值进行相加，若将最大数量值与当前数量值进行相加之后为偶数，则获得第一相加数量值，将第一相加数量值取均值后对应的数量值作为当前数量值，若将最大数量值与当前数量值进行相加之后为奇数，则将最大数量值或当前数量值加1，获得第一相加数量值，将第一相加数量值取均值后对应的数量值作为当前数量值，此时，Flink子任务对应的第一数量值区间以及当前数量值都已经完成更新。

比如：Flink子任务1的第一数量值区间为[2，16]，预设阈值为50％，处理待处理数据的并行度处于正常情况时，调整处理待处理数据的并行度的数量值如表3所示：

表3

在表3中，由于表3中只描述处理待处理数据的并行度处于正常状态时调整并行度的数量值的过程，Flink子任务1的第一数量值区间中的最小数量值不会产生变化，在实际过程中，最小数量值一定会产生变化，因此，将Flink子任务1的第一数量值区间设置为[2，16]，确定出Flink子任务1的处理待处理数据的实际数量值为3。

情况二：当处理待处理数据的并行度处于负荷状态时，基于第二预设规则调整处理待处理数据的并行度的当前数量值。

上述描述的是处理待处理数据的并行度处于正常状态时的情况，为了确定出处理待处理数据的Flink子任务的实际并行度，需要从第一数量值区间中提取出最大数量值以及最小数量值，由于当前处理待处理数据的并行度处于负荷状态，因此，需要增加处理待处理数据的并行度的数量。

在对处理待处理数据的并行度的数量进行增加时，需要获得处理待处理数据过程中，处于负荷状态的并行度的当前数量值，将当前数量值覆盖上述描述的第一数量值区间中的最小数量值，将最大数量值与当前数量值相加。

将最大数量值与当前数量值相加之后，为了使得重新计算的数量值为整数，需要检测最大数量值与当前数量值相加之后数量值是否为偶数，若最大数量值与当前数量值相加之后的数量值为偶数，则获得第一相加数量值，将该第一相加数量值取均值后对应的数量值作为当前数量值，若最大数量值与当前数量值相加之后的数量值为奇数，则将该最大数量值或上述描述的当前数量值加1后，获得第一相加数量值，再将第一相加数量值取均值后对应的数量值作为当前数量值，此时，Flink子任务对应的第一数量值区间以及当前数量值都已经更新。

比如：Flink子任务1的第一数量值区间为[1，16]，预设阈值为50％，调整处理并行度的数量值的过程如表4所示：

表4

在表4中，当处理待处理数据的并行度的数量值为9、13、15时，处理待处理数据的并行度处于负荷状态，当并行度的数量值为16时，处理待处理数据的并行度处于正常状态，且Flink子任务的第一数量值区间[15，16]符合第一预设规则，则确定出Flink子任务1中处理待处理数据的Flink子任务的实际并行度为16。

在上述描述的情况一与情况二，在本申请实施例的实际应用中，存在情况一与情况二不规律交替进行的情况，若采用情况一的方式对处理待处理数据的并行度的当前数量值进行调整之后，获得设备按照第二预设规则重新分配的处理待处理数据的并行度的数量值，重新获得当前数量值进行调整之后的并行度处理待处理数据对应的反压指标，若反压指标高于预设阈值，则继续按照第二预设规则对处理待处理数据的并行度的数量进行调整，若反压指标低于预设阈值，确定处理待处理数据的并行度不符合第一预设规则时，按照第三预设规则重新调整处理待处理数据的并行度的数量值，对处理待处理数据的并行度的数量值进行调整的具体过程参考上述情况一与情况二，这里不做过多阐述。

进一步需要说明的是，在情况一与情况二的基础上，在本申请实施例中还可以从低于预设阈值的处理待处理数据的并行度中筛选出最小反压指标对应的处理待处理数据的并行度，将该处理待处理数据的并行度的数量值作为实际数量值，由于这只是可选的一种的方式，这里不做过多阐述。

在本申请实施例中，会将每个Flink子任务中处理待处理数据的并行度的数量值进行多次调整，直至Flink子任务对应的第一数量值区间符合最小数量值不为1且最大数量值与最小数量值之间的差值不大于1时，才将计算出的当前数量值作为该Flink子任务中处理待处理数据的Flink子任务的实际并行度，获得处理待处理数据的Flink子任务的实际并行度之后，读取出实际数量值的所有并行度对应的资源分配率，资源分配率代表Flink子任务中的并行度被设备分配到的资源占据设备总资源的百分比。

进一步需要说明的是，上述实际数量值的所有并行度还对应的内存占用率，内存占用率为实际数量值的所有并行度处理待处理数据占据的内存占据设备总内存的百分比。

通过上述描述的方法，通过第二预设规则以及第三预设规则不断缩小第一数量值区间的范围，用第一预设规则确定出处理待处理数据的Flink子任务的实际并行度，当处理待处理数据的并行度处于负荷状态时，将处于负荷状态的并行度的数量值覆盖第一数量区间的最小数量值，当处理待处理数据的并行度处于正常状态时，将处于正常状态的并行度的数量值覆盖第一数量区间的最大数量值，实现对第一数量值区间的更新，确保了基于更新后的思议数量值区间计算出的当前数量值为最优数量值，进一步优化了流计算的性能。

步骤S23：从N个资源分配率中筛选出目标资源分配率以及所述目标资源分配率对应的Flink子任务的实际并行度。

在确定出一个Flink子任务中处理待处理数据的Flink子任务的实际并行度以及字任务线程组对应的资源分配率之后，由于每个Flink子任务中的并行度处理待处理数据的过程一致，只是处理待处理数据的所有并行度的数量值不同，因此，本申请实施例只描述一个Flink子任务的并行度处理待处理数据的具体过程，其他的Flink子任务中的并行度处理待处理数据的具体过程参考本申请实施例一个Flink子任务中并行度处理待处理数据的具体过程，这里不做过多阐述。

在上述对其他Flink子任务中并行度处理待处理数据的过程进行描述之后，依次对剩下的N-1个Flink子任务采用上述步骤描述的方法，获得每个Flink子任务对应的资源分配率、每个Flink子任务中处理待处理数据的Flink子任务的实际并行度以及内存占用率。

为了避免内存占用率过高造成设备卡顿的现象，需要将内存占用率超过预设内存占用率的Flink子任务删除，将剩余的Flink子任务作为第一Flink子任务。

为了确定出目标资源分配率以及目标资源分配率对应的处理待处理数据的第一Flink子任务的实际并行度，需要检测每个第一Flink子任务的资源分配率是否在预设范围之内，当第一Flink子任务的资源分配率在预设范围之内时，计算出在预设范围之内的资源分配率与预设范围的目标端点值对应的资源分配率的差值。

需要进行说明的是，在本申请实施例中，目标端点值对应的资源分配率可以为预设范围之内的最小资源分配率，目标资源分配率为其他资源分配率的情况这里不做说明。

计算出在预设范围之内的资源分配率与预设范围对应的最小资源分配率的差值之后，将最小差值对应的资源分配率作为目标资源分配率，并获得该目标资源分配率对应的处理待处理数据的第一Flink子任务的实际并行度。

上述描述的是资源分配率在预设范围之内的情况，当资源分配率不在预设范围之内时，仍旧计算出每个资源分配率与预设范围的最小资源分配率的差值，将差值最小对应的资源分配率作为目标资源分配率，并获得该目标资源分配率对应的处理待处理数据的第一Flink子任务的实际并行度。

通过上述描述的方法，设置N个Flink子任务，且确保每个Flink子任务中的并行度能够完全处理待处理数据，实现了将待处理数据处理完成需要的并行度的数量值的预估，在每个Flink子任务中的并行度对待处理数据进行处理的过程中，通过第二预设规则以及第三预设规则不断对处理待处理数据的并行度的数量值进行调整，从而确定出每个Flink子任务对应的资源分配率以及处理待处理数据的Flink子任务的实际并行度，确保了该资源分配率以及该实际数量值为Flink子任务对应的最优参数，再从获得的N个资源分配率中筛选出目标资源分配率，获得目标资源分配率对应的处理待处理数据的Flink子任务的实际并行度，实现了对资源分配率的多层筛选，确保了最终获得目标资源分配率以及实际数量值为该设备对应的最优参数，提高了流计算的性能，达到了对流计算进行优化的目的。

基于同一发明构思，本申请实施例中还提供了一种参数预估装置，该线程绑定的装置用于实现了一种参数预估方法的功能，参照图3，所述装置包括：

获得模块301，用于获得N个Flink子任务；

处理模块302，用于基于每个Flink子任务中的并行度处理待处理数据，获得每个Flink子任务中处理待处理数据的Flink子任务的实际并行度以及所述Flink子任务的资源分配率，获得N个资源分配率；

筛选模块303，用于从N个资源分配率中筛选出目标资源分配率以及所述目标资源分配率对应的Flink子任务的实际并行度。

在一种可能的设计中，所述筛选模块303，具体用于获得N个Flink子任务的资源分配率，检测每个资源分配率是否在预设范围之内，若是，则将在预设范围之内的最小资源分配率作为目标资源分配率，并获取所述目标资源分配率对应的Flink子任务的实际并行度，若否，则提取所述预设范围中的目标端点值，计算所述资源分配率与所述目标端点值之间的差值，将最小差值对应的资源分配率作为目标资源分配率，并获取所述目标资源分配率对应的Flink子任务的实际并行度。

在一种可能的设计中，所述处理模块302，具体用于读取所述每个Flink子任务中处理待处理数据的并行度的当前数量值，并获得所述当前数量值的并行度对应的反压指标，根据所述反压指标与预设阈值的关系调整处理待处理数据的所有并行度的当前数量值，直至所述反压指标低于所述预设阈值时，将符合第一预设规则的并行度的当前数量值作为实际数量值；

在一种可能的设计中，所述处理模块302，还用于读取每个Flink子任务对应的第一数量值区间，基于所述处理待处理数据的所有并行度的当前数量值对所述第一数量值区间进行更新，当所述第一数量值区间的最小数量值不为1并且所述第一数量值区间中的最大数量值与最小数量值的差值不超过1时，计算出所述Flink子任务的实际并行度。

在一种可能的设计中，所述处理模块302，还用于获得不同第一数量值区间中处理待处理数据的所有并行度的反压指标，按照预设排列顺序将所述反压指标进行排列，选取最小反压指标对应的第一数量值区间，基于所述第一数量值区间计算出处理待处理数据的所有Flink子任务的实际并行度。

在一种可能的设计中，所述处理模块302，还用于检测处理待处理数据的所有并行度的反压指标是否超过预设阈值，若是，则获取所述处理待处理数据的所有并行度对应的当前数量值，基于第二预设规则调整所述处理待处理数据的所有并行度的当前数量值，若否，则确定所述处理待处理数据的所有并行度的数量值大于1并且所述第一数量值区间中最大数量值与最小数量值的差值大于1时，基于第三预设规则调整所述处理待处理数据的所有并行度的当前数量值。

在一种可能的设计中，所述处理模块302，还用于解析出所述Flink子任务对应的第一数量值区间中的最大数量值以及最小数量值，将所述处理待处理数据的并行度的当前数量值覆盖所述最小数量值，将所述最大数量值与所述当前数量值相加，获得第一相加数量值，将所述第一相加数量值取均值后对应的数量值作为当前数量值。

在一种可能的设计中，所述处理模块302，还用于若所述最大数量值或所述当前数量值为奇数，则将所述最大数量值或所述当前数量值加1后，获得第一相加数量值，若所述最大数量值和所述当前数量值为偶数，则将所述最大数量值和所述当前数量值相加，获得第一相加数量值。

在一种可能的设计中，所述处理模块302，还用于解析出所述Flink子任务对应的第一数量值区间中的最大数量值以及最小数量值，将所述处理待处理数据的并行度的当前数量值覆盖所述最大数量值，将所述当前数量值与所述最小数量值相加，获得第二相加数量值，将所述第二相加数量值取均值后对应的数量值作为当前数量值。

在一种可能的设计中，所述处理模块302，还用于若所述最小数量值或所述当前数量值为奇数，则将所述最小数量值或所述当前数量值加1后，获得第二相加数量值，若所述最小数量值和所述当前数量值为偶数，则将所述最小数量值和所述当前数量值相加，获得第二相加数量值。

基于同一发明构思，本申请实施例中还提供了一种电子设备，所述电子设备可以实现前述一种参数预估装置的功能，参考图4，所述电子设备包括：

至少一个处理器401，以及与至少一个处理器401连接的存储器402，本申请实施例中不限定处理器401与存储器402之间的具体连接介质，图4中是以处理器401和存储器402之间通过总线400连接为例。总线400在图4中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线400可以分为地址总线、数据总线、控制总线等，为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。或者，处理器401也可以称为控制器，对于名称不做限制。

在本申请实施例中，存储器402存储有可被至少一个处理器401执行的指令，至少一个处理器401通过执行存储器402存储的指令，可以执行前文论述的一种参数预估的方法。处理器401可以实现图3所示的装置中各个模块的功能。

其中，处理器401是该装置的控制中心，可以利用各种接口和线路连接整个该控制设备的各个部分，通过运行或执行存储在存储器402内的指令以及调用存储在存储器402内的数据，该装置的各种功能和处理数据，从而对该装置进行整体监控。

在一种可能的设计中，处理器401可包括一个或多个处理单元，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。在一些实施例中，处理器401和存储器402可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。

处理器401可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的一种参数预估方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器402作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器402可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器402是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器402还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。

通过对处理器401进行设计编程，可以将前述实施例中介绍的一种参数预估方法所对应的代码固化到芯片内，从而使芯片在运行时能够执行图1所示的实施例的一种参数预估的步骤。如何对处理器401进行设计编程为本领域技术人员所公知的技术，这里不再赘述。

基于同一发明构思，本申请实施例还提供一种存储介质，该存储介质存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行前文论述的一种参数预估方法。

在一些可能的实施方式中，本申请提供一种参数预估的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在装置上运行时，程序代码用于使该控制设备执行本说明书上述描述的根据本申请各种示例性实施方式的一种参数预估方法中的步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (13)

1.一种参数预估方法，其特征在于，所述方法包括：

获得N个Flink子任务，其中，N为正整数，所述Flink子任务中有多个并行度，且每个Flink子任务中并行度的数量值不一致；

基于每个Flink子任务中的并行度处理待处理数据，获得每个Flink子任务中处理待处理数据的Flink子任务的实际并行度以及所述Flink子任务的资源分配率，获得N个资源分配率，其中，所述资源分配率为每个Flink子任务中处理待处理数据的所有并行度被设备分配到的资源的百分比；

从N个资源分配率中筛选出目标资源分配率以及所述目标资源分配率对应的Flink子任务的实际并行度。

2.如权利要求1所述的方法，其特征在于，从N个资源分配率中筛选出目标资源分配率以及所述目标资源分配率对应的Flink子任务的实际并行度，包括：

获得N个Flink子任务的资源分配率，检测每个资源分配率是否在预设范围之内；

若是，则将在预设范围之内的最小资源分配率作为目标资源分配率，并获取所述目标资源分配率对应的Flink子任务的实际并行度；

若否，则提取所述预设范围中的目标端点值，计算所述资源分配率与所述目标端点值之间的差值，将最小差值对应的资源分配率作为目标资源分配率，并获取所述目标资源分配率对应的Flink子任务的实际并行度。

3.如权利要求1所述的方法，其特征在于，获得每个Flink子任务中处理待处理数据的Flink子任务的实际并行度，包括：

读取所述每个Flink子任务中处理待处理数据的并行度的当前数量值，并获得所述当前数量值的并行度对应的反压指标，其中，所述反压指标为每个Flink子任务中处理待处理数据时进行排队的并行度的数量值与处理待处理数据的所有并行度的数量值的百分比；

根据所述反压指标与预设阈值的关系调整处理待处理数据的所有并行度的当前数量值，直至所述反压指标低于所述预设阈值时，将符合第一预设规则的并行度的当前数量值作为实际数量值。

4.如权利要求3所述的方法，其特征在于，将符合第一预设规则的并行度的当前数量值作为实际数量值，包括：

读取每个Flink子任务对应的第一数量值区间，基于所述处理待处理数据的所有并行度的当前数量值对所述第一数量值区间进行更新；

当所述第一数量值区间的最小数量值不为1并且所述第一数量值区间中的最大数量值与最小数量值的差值不超过1时，计算出所述Flink子任务的实际并行度。

5.如权利要求3所述的方法，其特征在于，将符合第一预设规则的并行度的当前数量值作为实际数量值，包括：

获得不同第一数量值区间中处理待处理数据的所有并行度的反压指标；

按照预设排列顺序将所述反压指标进行排列，选取最小反压指标对应的第一数量值区间，基于所述第一数量值区间计算出处理待处理数据的所有Flink子任务的实际并行度。

6.如权利要求3所述的方法，其特征在于，根据所述反压指标与预设阈值的关系调整并行度的当前数量值，包括：

检测处理待处理数据的所有并行度的反压指标是否超过预设阈值；

若是，则获取所述处理待处理数据的所有并行度对应的当前数量值，基于第二预设规则调整所述处理待处理数据的所有并行度的当前数量值；

若否，则确定所述处理待处理数据的所有并行度的数量值大于1并且所述第一数量值区间中最大数量值与最小数量值的差值大于1时，基于第三预设规则调整所述处理待处理数据的所有并行度的当前数量值。

7.如权利要求6所述的方法，其特征在于，基于第二预设规则调整所述处理待处理数据的所有并行度的当前数量值，包括：

解析出所述Flink子任务对应的第一数量值区间中的最大数量值以及最小数量值；

将所述处理待处理数据的并行度的当前数量值覆盖所述最小数量值；

将所述最大数量值与所述当前数量值相加，获得第一相加数量值，将所述第一相加数量值取均值后对应的数量值作为当前数量值。

8.如权利要求7所述的方法，其特征在于，将所述最大数量值与所述当前数量值相加，获得第一相加数量值，包括：

若所述最大数量值或所述当前数量值为奇数，则将所述最大数量值或所述当前数量值加1后，获得第一相加数量值；

若所述最大数量值和所述当前数量值为偶数，则将所述最大数量值和所述当前数量值相加，获得第一相加数量值。

9.如权利要求6所述的方法，其特征在于，基于第三预设规则调整所述处理待处理数据的所有并行度的当前数量值，包括：

解析出所述Flink子任务对应的第一数量值区间中的最大数量值以及最小数量值；

将所述处理待处理数据的并行度的当前数量值覆盖所述最大数量值；

将所述当前数量值与所述最小数量值相加，获得第二相加数量值，将所述第二相加数量值取均值后对应的数量值作为当前数量值。

10.如权利要求9所述的方法，其特征在于，将所述当前数量值与所述最小数量值相加，获得第二相加数量值，包括：

若所述最小数量值或所述当前数量值为奇数，则将所述最小数量值或所述当前数量值加1后，获得第二相加数量值；

若所述最小数量值和所述当前数量值为偶数，则将所述最小数量值和所述当前数量值相加，获得第二相加数量值。

11.一种参数预估装置，其特征在于，所述装置包括：

获得模块，用于获得N个Flink子任务；

处理模块，用于基于每个Flink子任务中的并行度处理待处理数据，获得每个Flink子任务中处理待处理数据的Flink子任务的实际并行度以及所述Flink子任务的资源分配率，获得N个资源分配率；

筛选模块，用于从N个资源分配率中筛选出目标资源分配率以及所述目标资源分配率对应的Flink子任务的实际并行度。

12.一种电子设备，其特征在于，包括：

存储器，用于存放计算机程序；

处理器，用于执行所述存储器上所存放的计算机程序时，实现权利要求1-10任一项所述的方法步骤。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-10任一项所述的方法步骤。

Images