CN116185635A - 数据处理、弹性伸缩方法、计算设备及计算机存储介质 - Google Patents

Abstract

本申请实施例提供一种数据处理方法、弹性伸缩方法、计算设备及计算机存储介质。其中，数据处理方法，应用于指标采集端，包括：采集数据源在第一时间窗口内产生的第一指标数据；检测到所述本地存储介质中存入所述第一指标数据，将所述第一指标数据存储至本地存储介质中，以对所述第一指标数据进行实时处理；从所述本地存储介质中获取所述第一指标数据；对所述第一指标数据进行处理，得到第二指标数据，所述第二指标数据用于触发执行端执行预设操作，其中，所述第一指标数据和所述第二指标数据为表征所述数据源运行状态的指标值。本发明实施例提供的技术方案缩短了指标数据处理的链路、降低了指标数据处理的复杂性。

Description

数据处理、弹性伸缩方法、计算设备及计算机存储介质

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种数据处理方法、弹性伸缩方法、计算设备及计算机存储介质。

背景技术

数据指标可以包括对数据源的某个事件进行量化而形成的数据，可以用于衡量数据源的运行状态。因而，为了掌握数据源的运行状态，通常需要利用指标采集端对数据源进行指标数据的采集。

通常，将指标采集端直接从数据源采集获得的指标数据称为原始指标数据。随着大数据的发展，原始指标数据已无法满足对数据源运行状态检测的准确性以及实时性的需求，因而，当前通常在采集到原始指标数据后，对原始指标数据进行进一步处理得到目标指标数据来实现对数据源准确、及时的检测。

现有技术中，原始指标数据的处理链路通常为首先由指标采集端从数据源采集获得原始指标数据，然后指标采集端将采集到的原始指标数据汇聚到消息队列，例如kafka、RocketMQ等中，然后使用计算引擎，例如spark、flink等，从消息队列中消费原始指标数据以进行处理。

发明人在实现本发明构思的过程中发现，相关技术中的原始指标数据的处理方式存在整体复杂性高以及稳定性低的技术问题。

发明内容

本发明实施例提供一种数据处理方法、弹性伸缩方法、装置、计算设备及计算机存储介质。

第一方面，本发明实施例中提供了一种数据处理方法，应用于指标采集端，包括：

采集数据源在第一时间窗口内产生的第一指标数据；

将所述第一指标数据存储至本地存储介质中；

检测到所述本地存储介质中存入所述第一指标数据，从所述本地存储介质中获取所述第一指标数据，以对所述第一指标数据进行实时处理；

对所述第一指标数据进行处理，得到第二指标数据，所述第二指标数据用于触发执行端执行预设操作，其中，所述第一指标数据和所述第二指标数据为表征所述数据源运行状态的指标值。

第二方面，本发明实施例中提供了一种弹性伸缩方法，应用于指标采集端，包括：

采集云服务集群中的第一云服务器在第一时间窗口内产生的第三指标数据；

将所述第三指标数据存储至本地存储介质中；

检测到所述本地存储介质中存入所述第三指标数据，从所述本地存储介质中获取所述第三指标数据，以对所述第三指标数据进行实时处理；

对所述第三指标数据进行处理，得到第四指标数据，其中，所述第三指标数据和所述第四指标数据为表征所述第一云服务器运行状态的指标值；

在所述第四指标数据满足数据要求的情况下，生成弹性伸缩指令；

将所述弹性伸缩指令发送至执行端，以便所述执行端响应于所述弹性伸缩指令对所述云服务集群执行弹性伸缩处理。

第三方面，本发明实施例中提供了一种数据处理装置，包括：

第一采集模块，用于采集数据源在第一时间窗口内产生的第一指标数据；

第一存储模块，用于将所述第一指标数据存储至本地存储介质中；

第一获取模块，用于检测到所述本地存储介质中存入所述第一指标数据，从所述本地存储介质中获取所述第一指标数据，以对所述第一指标数据进行实时处理；

第一处理模块，用于对所述第一指标数据进行处理，得到第二指标数据，所述第二指标数据用于触发执行端执行预设操作，其中，所述第一指标数据和所述第二指标数据为表征所述数据源运行状态的指标值。

第四方面，本发明实施例中提供了一种弹性伸缩装置，包括：

第二采集模块，用于采集云服务集群中的第一云服务器在第一时间窗口内产生的第三指标数据；

第二存储模块，用于将所述第三指标数据存储至本地存储介质中；

第二获取模块，用于检测到所述本地存储介质中存入所述第三指标数据，从所述本地存储介质中获取所述第三指标数据，以对所述第三指标数据进行实时处理；

第二处理模块，用于对所述第三指标数据进行处理，得到第四指标数据，其中，所述第三指标数据和所述第四指标数据为表征所述第一云服务器运行状态的指标值；

第一指令生成模块，用于在所述第四指标数据满足数据要求的情况下，生成弹性伸缩指令；

第一指令发送模块，用于将所述弹性伸缩指令发送至执行端，以便所述执行端响应于所述弹性伸缩指令对所述云服务器集群执行弹性伸缩处理。

本发明实施例通过采用采集数据源在第一时间窗口内产生的第一指标数据；将第一指标数据存储至本地存储介质中；检测到所述本地存储介质中存入所述第一指标数据，从本地存储介质中获取第一指标数据，以对所述第一指标数据进行实时处理；对指标数据进行处理，得到第二指标数据，第二指标数据用于触发执行端执行预设操作，其中，所述第一指标数据和所述第二指标数据为表征所述数据源运行状态的指标值的技术方案，使得指标数据的处理可以在边缘侧的指标采集端本地进行，处理过程中不依赖其它中间件，缩短了指标数据处理的链路、降低了指标数据处理的复杂性。

本发明的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性示出了本发明一个实施例提供的一种数据处理方法的流程图；

图2示意性示出了本发明实施例提供的数据处理方法的示意图；

图3示意性示出了本发明一个实施例提供的一种弹性伸缩方法的流程图；

图4示意性示出了本发明一个实施例提供的一种数据处理装置的框图；

图5示意性示出了本发明一个实施例提供的一种弹性伸缩装置的框图；

图6示意性示出了本发明一个实施例提供的一种计算设备的框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

需要说明的是，本发明所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

数据指标可以包括对数据源的某个事件进行量化而形成的数据，可以用于衡量数据源的运行状态。因而，为了掌握数据源的运行状态，通常需要利用指标采集端对数据源进行指标数据的采集。

通常，将指标采集端直接从数据源采集获得的指标数据称为原始指标数据。随着大数据的发展，原始指标数据已无法满足对数据源运行状态检测的准确性以及实时性的需求，因而，当前通常在采集到原始指标数据后，对原始指标数据进行进一步处理得到目标指标数据来实现对数据源准确、及时的检测。

现有技术中，原始指标数据的处理链路通常为首先由指标采集端从数据源采集获得原始指标数据，然后指标采集端将采集到的原始指标数据汇聚到消息队列，例如kafka、RocketMQ等中，然后使用计算引擎，例如spark、flink等，从消息队列中消费原始指标数据以进行处理。

发明人在实现本发明构思的过程中发现，相关技术中的原始指标数据的处理方式存在整体复杂性高以及稳定性低的技术问题。

为了解决相关技术中存在的技术问题，本发明实施例提供了一种数据处理方法，通过采用采集数据源在第一时间窗口内产生的第一指标数据；将第一指标数据存储至本地存储介质中；检测到本地存储介质中存入第一指标数据，从本地存储介质中获取第一指标数据，以对第一指标数据进行实时处理；对指标数据进行处理，得到第二指标数据，第二指标数据用于触发执行端执行预设操作，其中，第一指标数据和第二指标数据为表征数据源运行状态的指标值的技术方案，使得指标数据的处理可以在边缘侧的指标采集端本地进行，处理过程中不依赖其它中间件，缩短了指标数据处理的链路、降低了指标数据处理的复杂性。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示意性示出了本发明一个实施例提供的一种数据处理方法的流程图，该数据处理方法可以应用于指标采集端，可以包括以下步骤：

101，采集数据源在第一时间窗口内产生的第一指标数据；

102，将第一指标数据存储至本地存储介质中；

103，检测到本地存储介质中存入第一指标数据，从本地存储介质中获取第一指标数据；

104，对第一指标数据进行处理，得到第二指标数据，第二指标数据用于触发执行端执行预设操作，其中，第一指标数据和第二指标数据为表征数据源运行状态的指标值。

根据本发明的实施例，第一指标数据可以用于反映数据源的运行状态，如运行正常或异常、运行速度快慢等，其中，上述数据源可以是应用，***(中间件、数据库、操作***、存储)、网络、设备等。需要说明的是，上述第一指标数据可以是表征数据源的工作状态的现象类指标，如：交易响应时间、交易成功率、交易率、数据库连接等指标，但不限于此，上述第一指标数据还可以是表征机器、***性能的精细化指标，例如可以包括进程使用率、CPU利用率、内存利用率等。

根据本发明的实施例，指标数据为反映数据源的运行状态的指标值，可以以指标名-指标值的形式存储，因而指标数据具有数据量较小的特点，通常一条指标数据的数据量在150字节以内。

根据本发明的实施例，指标采集端可以部署在数据源侧，以便于在数据源产生第一指标数据后，指标采集端可以及时地对第一指标数据进行采集。

根据本发明的实施例，在将指标采集端部署在数据源侧的情况下，可以将采集得到的第一指标数据存储在数据源的本地存储介质中。由于指标数据的数据量较小，因而将第一指标数据存储在数据源的本地存储介质时，不会对数据源的本地存储介质造成存储压力。

进一步的，在实际的应用场景中，指标数据的采集、处理具有实时性的要求，以保证执行端触发预设操作的实时性，因此，指标采集端仅会采集数据源在较短第一时间窗口内，例如最近3秒、最近5秒，产生的第一指标数据。由于每条指标数据的数据量较小，并且指标数据的数量较少，可以进一步减轻数据源的本地存储介质的存储压力。

根据本发明的一种实施例，数据源可以在产生第一指标数据后，通知指标采集端，从而指标采集端响应于数据源的通知对第一指标数据进行采集。

根据本发明的另一种实施例，指标采集端可以主动地从数据源拉取第一指标数据。

根据本发明的实施例，指标采集端在采集到第一指标数据后，可以将第一指标数据存储在本地存储介质中，其中，本地存储介质例如可以包括部署在本地的硬盘、磁盘、内存、闪存等。

根据本发明的一种实施例，指标采集设备可以对本地存储介质进行实时检测，当检测到本地存储介质中存入了第一指标数据后，直接从本地存储介质中获取存入的第一指标数据并进行处理。以此可以提高第一指标数据处理的实时性。

根据本发明的另一种实施例，指标采集设备可以等待数据处理请求，数据处理请求可以由用户发起或者由其它设备发起，并在获取到数据处理请求的情况下从本地存储介质中获取第一指标数据并进行处理。

根据本发明的其它实施例，指标采集设备还可以被配置为按照预设时间间隔从本地存储介质中获取第一指标数据，其中，预设时间间隔可以根据实时性的需求而设置。

根据本发明的实施例，对第一指标数据的处理例如可以包括基于第一指标数据而进行的一系列运算，从而第二指标数据可以为第一指标数据的运算结果。

根据本发明的实施例，在对第一指标数据进行运算处理时，可以仅基于第一指标数据进行运算，但不限于此，还可以获取额外的参考数据，并基于参考数据对第一指标数据进行运算，得到第二指标数据。

根据本发明的实施例，预设操作例如可以包括扩容操作、升级操作、运维操作等。

在本发明实施例中，通过采用采集数据源在第一时间窗口产生的第一指标数据；将第一指标数据存储至本地存储介质中；检测到本地存储介质中存入第一指标数据，从本地存储介质中获取第一指标数据，以对第一指标数据进行实时处理；对指标数据进行处理，得到第二指标数据，第二指标数据用于触发执行端执行预设操作，其中，第一指标数据和第二指标数据为表征数据源运行状态的指标值，的技术方案，由于指标采集设备仅采集数据在第一时间窗口内产生的第一指标数据，并且第一指标数据为反应数据源状态的指标值，因而对指标采集设备的存储资源和计算资源的占用较少，使得指标数据的处理可以在边缘侧的指标采集端本地进行，处理过程中不依赖其它中间件，缩短了指标数据处理的链路、降低了指标数据处理的复杂性，并且通过在将第一指标数据存储至本地存储介质后，对本地存储介质进行实时检测，当检测到本地存储介质中存入第一指标数据后，马上对第一指标数据进行处理，从而提高了基于指标数据的处理结果进行后续处理的实时性。

根据本发明的实施例，数据处理方法还包括：

确定第一指标数据是否满足释放条件，释放条件根据第一指标数据的采集时间确定；

在第一指标数据满足释放条件的情况下，将第一指标数据从本地存储介质中删除，以释放本地存储介质的存储空间。

根据本发明的实施例，确定第一指标数据是否满足释放条件具体可以实现为：

确定第一指标数据的采集时间；

确定采集时间与当前时间的差值；

将差值与预设时间阈值比较，在采集时间大于预设时间阈值的情况下，确定第一指标数据满足释放条件，否则第一指标数据不满足释放条件。

根据本发明的实施例，释放条件例如可以表征第一指标数据已经不具有实时性，例如，第一指标数据的采集时间距离当前时间较远，由于指标数据的处理对指标数据的实时性要求较高，在此情况下不具有实时性的第一指标数据属于无效数据，则可以将第一指标数据从本地存储介质中删除，释放本地存储介质的存储空间。

根据本发明的实施例，指标采集设备在采集第一指标数据时，还可以记录第一指标数据的采集时间作为第一指标数据的时间戳。

根据本发明的实施例，可以通过第一指标数据的时间戳确定第一指标数据的采集时间。

根据本发明的实施例，可以通过将第一指标数据的采集时间与当前时间做差得到的差值反映第一指标数据的实时性，差值越大，表征第一指标数据的采集时间距离当前时间越远，实时性越差，差值越小，表征第一指标数据的采集时间距离当前时间越近，实时性越强。

根据本发明的实施例，预设时间阈值例如可以为5秒、10秒、1分钟等，本发明实施例不对预设时间阈值的取值进行限定，预设时间阈值的取值可以由本领域技术人员根据对第一指标数据处理的实时性要求进行灵活设定。

根据本发明的实施例，数据处理方法还包括：

确定第二指标数据是否满足预设数据要求；

在第二指标数据满足预设数据要求的情况下，生成触发指令；

将触发指令发送至与数据源对应的执行端，以便执行端响应于触发指令执行预设操作。

根据本发明的实施例，预设数据要求可以为预先根据数据源的运行状态需求而设定的。预设数据要求例如可以实现为大于预设阈值、小于预设阈值、大于等于预设阈值、小于等于预设阈值等。例如，当第一指标数据为CPU利用率时，预设数据要求例如可以为CPU利用率小于预设阈值；当第一指标数据为交易响应时间时，预设数据要求例如可以为交易响应时间大于预设阈值。

根据本发明的实施例，可以由指标采集端执行第二指标数据是否满足预设数据要求的判断过程，相应的，触发指令也可以在指标采集端生成。

根据本发明的实施例，触发指令可以实现为提示信息，提示信息生成后可以发送给相关人员，从而相关人员在获取到提示信息后，可以基于提示信息判断是否需要执行预设操作。但不限于此，触发指令还可以实现为可执行指令，可以执行指令可以直接发送给执行端，以便执行端执行该可执行指令。

根据本发明的实施例，指标采集端可以对多个数据源进行采集，相应的，每个数据源可以分别对应不同的执行端。在生成触发指令后，可以确定与产生第一指标数据的数据源对应的执行端，并将触发指令发送至该执行端。

图2示意性示出了本发明实施例提供的数据处理方法的示意图。

在图2中，201可以表示数据源，202可以表示指标采集端，2021可以表示指标采集端的存储介质，2022可以表示指标采集端的计算模块，203可以表示执行端。

如图2所示，指标采集端202可以从数据源201采集获得第一指标数据，然后，指标采集端202可以将第一指标数据存储至指标采集端202本地的存储介质2021。

之后，当需要对第一指标数据进行计算处理时，计算模块可以从存储介质2021中获取到第一指标数据，然后对第一指标数据进行计算处理，得到第二指标数据，并判断第二指标数据是否满足数据要求，以在第二指标数据满足数据要求的情况下生成触发指令，并将触发指令发送至执行端。

根据本发明的实施例，将指标数据存储至存储设备中具体可以实现为：

将第一指标数据存储至指标采集端的第一内存中；

在第一内存的存储量超过第一存储阈值的情况下，将第一指标数据从第一内存转存至第二内存中。

根据本发明的实施例，由于内存的存储速度较快，因而，为了保证第一指标数据采集的实时性，在采集到第一指标数据后，可以将第一指标数据存储至指标采集端的第一内存中。

根据本发明的实施例，通常数据源会产生大量第一指标数据，若将采集到的全部数据均存储在指标采集端的第一内存中，一方面会增加内存开销，另一方面，若占用第一内存中的较多内存空间，将导致指标采集端或者数据源缺少足够内存空间执行其它进程或操作。因而，当第一内存的存储量超过第一存储阈值的情况下，可以将第一指标数据从第一内存转存至第二内存，其中，第二内存的存储量大于第一内存的存储量。

根据本发明的实施例，第二内存可以包括计算设备操作***的共享内存(sharedmemory)，但不限于此，还可以包括本地磁盘或者外置内存，例如NAS(Network AttachedStorage，网络附属存储)。

根据本发明的实施例，第一指标数据携带有时间戳，时间戳根据第一指标数据的采集时间确定。

根据本发明的实施例，第一指标数据可以为时间序列数据，时间序列数据可以是一组按照时间发生先后顺序进行排列的时间数据的序列。一组时间序列的时间间隔为一恒定值(如，10秒，1分钟，5分钟)。

根据本发明的实施例，每个时间数据均包括一个时间点和一个指标数据值，示例性地，时间序列中的时间数据的保存格式为(time，value)对，value用于指示指标数据值，time用于指示时间戳。

根据本发明的实施例，从本地存储介质中获取第一指标数据具体可以实现为：

基于时间戳确定第一指标数据是否存储在第一内存中；

在确定第一指标数据存储在第一内存中的情况下，从第一内存中获取第一指标数据，否则，从第二内存中获取第一指标数据。

根据本发明的实施例，由于在采集到第一指标数据后，首先将第一指标数据存储在第一内存中，而后可能将第一指标数据从第一内存转存至第二内存中，因而，在获取第一指标数据前，需要首先确定第一指标数据存储与第一内存还是第二内存中。

根据本发明的实施例，由于时间戳是感觉第一指标数据的采集时间确定的，因而，在获取第一指标数据时，可以首先通过采集时间确定时间戳，然后可以首先遍历第一内存中现存的时间数据的时间戳，确定第一内存中现存的时间数据是否存在与第一指标数据的时间戳相同的时间戳，若存在，则确定第一指标数据存储于第一内存中，从而可以从第一内存中获取第一指标数据，若不存在，则确定第一指标数据已经从第一内存转存至第二内存，则可以从第二内存中获取第一指标数据。

根据本发明的实施例，数据处理方法还包括：

确定第二内存的存储量是否超过第二存储阈值；

在第二内存的存储量超过第二存储阈值的情况下，对第二内存执行内存释放操作，以降低第二内存的存储量。

根据本发明的实施例，第二内存中存储的第一指标数据携带有时间戳，时间戳根据第一指标数据的采集时间确定。

根据本发明的实施例，对第二内存执行内存释放操作具体可以实现为：

获取预先设定的基准时间戳；

确定第二内存中存储的与基准时间戳具有预设时间跨度的时间戳对应的第三指标数据；

将第三指标数据从第二内存中删除。

根据本发明的实施例，基准时间戳可以为一固定时间，但不限于此，基准时间戳还可以基于当前时间确定。具体而言，基准时间戳可以表征距当前时间为预设时间长度的时间，例如，基准时间戳可以表征当前时间的10分钟前的时间戳。

根据本发明的实施例，预设时间跨度例如可以实现为时间差，时间差可以利用第二内存中存储的时间数据的时间戳减去基准时间戳而得到。

根据本发明的实施例，可以将时间差小于0的时间数据作为第三指标数据。

根据本发明的实施例，时间差小于0对应的时间数据为在基准时间之前存储至第二内存中的时间数据，该部分时间数据距当前时间的时间较长，因而可以认为无需再利用该部分时间数据，从而可以将该部分时间数据作为第三指标数据从第二内存中删除。

根据本发明的实施例，将第一指标数据从第一内存转存至部署指标采集端的计算设备的第二内存中后，数据处理方法还包括：

删除第一内存中存储的第一指标数据。

根据本发明的实施例，采集数据源产生的第一指标数据具体可以实现为：

按照预设采集频率采集数据源产生的第一指标数据。

根据本发明的实施例，预设采集频率的具体取值可以由本领域技术人员根据指标数据采集的实时性需求进行灵活指定，本发明实施例不对预设采集频率的取值做具体限定。

根据本发明的实施例，采集数据源产生的第一指标数据具体可以实现为：

获取数据采集请求；

响应于数据采集请求，确定与指标采集端属于同一集群的至少一个第一指标采集端；

将至少一个第一指标采集端作为数据源，采集至少一个第一指标采集设备产生的存活指标数据。

根据本发明的实施例，数据采集请求可以定期触发，即每隔一段时间指标采集端即可对同一集群中的至少第一采集端进行指标采集。

根据本发明的实施例，属于同一集群的指标采集端可以互相通信，任一指标采集端可以将其它指标采集端作为数据源进行指标采集。

根据本发明的实施例，存活指标数据可以用于表征指标采集端是否处于生产工作状态。

根据本发明的实施例，对第一指标数据进行处理具体可以实现为：

基于每个第一指标采集端的存活指标数据确定第二指标数据，第二指标数据用于表征集群中的指标设备存活率。

根据本发明的实施例，可以首先根据存活指标数据确定当前处于生产工作状态的指标采集端的第一个数，然后用第一个数除以指标采集端的总数得到第二指标数据。

根据本发明的实施例，数据处理方法还包括：

在第二指标数据低于预设存活阈值的情况下，生成运维指令；

将运维指令发送至指令执行端，以便执行端响应于运维指令对集群执行运维操作。

根据本发明的实施例，运维操作例如可以包括指标采集端的运维操作或者指标采集端的部署操作，通过对不处于存活状态的指标采集端进行运维或者部署新的指标采集端，提高集群中指标采集端的存活率。

根据本发明的实施例，预设存活阈值可以由本领域技术人员根据实际的应用需求进行灵活设置，例如可以为90％、95％等。

根据本发明的实施例，对第一指标数据进行处理，得到第二指标数据具体可以实现为：

从多种候选处理方式中确定与数据源对应的目标处理方式；

利用目标处理方式对第一指标数据进行处理，得到第二指标数据。

根据本发明的实施例，可以预先为不同的数据源配置相对应的处理方式，在从存储设备获取第一指标数据后，可以确定与数据源对应的处理方式。

根据本发明的实施例，处理方式例如可以包括：

在同一时间戳下，对多个时间数据进行四则运算，得到第二指标数据；或者，在同一个时间窗口下，计算多个时间数据的平均值、中位数等，得到第二指标数据；或者，同一指标数据在不同时间窗口下，对比同比值，得到第二指标数据。

根据本发明的实施例，由于对指标数据的处理通常仅涉及数据值的数值运算，所以对数据源计算性能的要求较低，因而在进行指标数据的处理时，仅需占用数据源较少的计算资源。

以下将结合具体实施例介绍通过对第一指标数据进行出来得到第二指标数据的具体实现过程，需要说明的是，以下示例仅用于展示一种示例性的处理方式，本领域技术人员可以根据实际应用需求灵活选取其他的处理方式。

在本发明的一个实施例中，第一指标数据可以包括时间数据a、时间数据b以及时间数据c，且第一指标数据可以包括时间数据a、时间数据b以及时间数据c的采集时间戳均为1674029000，那么第二指标数据可以通过时间数据a加上时间数据b，然后除以时间数据c得到。

具体计算过程如下：

(metric_a{timestamp＝1674029000}+metric_b{timestamp＝1674029000})/metric_c{timest amp＝1674029000}。

其中，metric_a表示时间数据a，metric_b表示时间数据b，metric_c表示时间数据c，timestamp表示时间戳。

在本发明的另一实施例中，第一指标数据可以包括在时间戳1674029000到1674039000范围内时间数据d的取值，以及在时间戳1674029000到1674039000范围内时间数据e的取值，在此情况下，第二指标数据可以通过首先计算在时间戳1674029000到1674039000范围内时间数据d的第一平均值，然后再计算在时间戳1674029000到1674039000范围内时间数据e的第二平均值，然后将第一平均值除以第二平均值的方式得到。

具体计算过程如下：

avg(range(metric_d{timestamp＝1674029000},metric_d{timestamp＝1674039000}))/avg(ra nge(metric_e{timestamp＝1674029000},metric_e{timestamp＝1674039000}))。

其中，metric_d表示时间数据d，metric_e表示时间数据e，timestamp表示时间戳。

在本发明的另一实施例中，第一指标数据可以包括在时间戳1674029000到1674039000范围内时间数据f的取值，以及在时间戳1674019000到1674029000的范围内时间数据f的取值，在此情况下，第二指标数据可以通过计算时间数据f在时间戳1674029000到1674039000范围内的第三平均值，然后再计算时间数据f在时间戳1674019000到1674029000的范围内的第四平均值，然后计算第三平均值与第四平均值的差值得到。

具体计算过程如下：

avg(range(metric_f{timestamp＝1674029000},metric_f{timestamp＝1674039000}))―

avg(range(metric_f{timestamp＝1674019000},metric_f{timestamp＝1674029000}))。

其中，metric_f表示时间数据f，timestamp表示时间戳。

图3示意性示出了本发明一个实施例提供的一种弹性伸缩方法的流程图，弹性伸缩方法可以应用于指标采集端，可以包括以下步骤：

301，采集云服务集群中的第一云服务器在第一时间窗口内产生的第三指标数据；

302，将第三指标数据存储至本地存储介质中；

303，检测到本地存储介质中存入第三指标数据，从本地存储介质中获取第三指标数据，以对第三指标数据进行实时处理；

304，对第三指标数据进行处理，得到第四指标数据，其中，第三指标数据和第四指标数据为表征第一云服务器运行状态的指标值；

305，在第四指标数据满足数据要求的情况下，生成弹性伸缩指令；

306，将弹性伸缩指令发送至执行端，以便执行端响应于弹性伸缩指令对云服务集群执行弹性伸缩处理。

根据本发明的实施例，生成弹性伸缩指令具体可以实现为：

生成第一弹性伸缩指令，第一弹性伸缩指令用于指示执行端调整云服务集群中的云服务器数量；

或者，

生成第二弹性伸缩指令，第二弹性伸缩指令用于指示执行端调整第一云服务器的配置。

根据本发明的一种实施例，当第四指标数据表征第一云服务器当前面临较大的压力的情况下，指标采集端可以生成弹性伸缩指令，弹性伸缩指令可以指示执行端在云服务器集群中创建至少一个第二云服务器，使得利用至少一个第二云服务器分担第一云服务器面临的压力。

根据本发明的另一实施例，当第四指标数据表征第一云服务器当前面临较大或较小的压力的情况下，指标采集端可以生成弹性伸缩指令，弹性伸缩指令可以指示执行端增加或减小第一云服务器的资源配置。例如，当第一云服务器面临的压力较大时，可以将第一云服务器的CPU从2核调整至4核，以提高第一云服务器的处理能力；当第一云服务器面临的压力较小时，可以将第一云服务器的CPU从4核调整至2核，以降低第一云服务器的运行成本。

在本发明的实施例中，第一云服务器的配置例如还可以包括第一云服务器的GPU核心数、内存容量、磁盘容量等。

图4示意性示出了本发明一个实施例提供的一种数据处理装置的框图，如图4所示，数据处理装置400可以包括：

第一采集模块401，用于采集数据源在第一时间窗口内产生的第一指标数据；

第一存储模块402，用于将第一指标数据存储至本地存储介质中；

第一获取模块403，用于检测到本地存储介质中存入第一指标数据，从本地存储介质中获取第一指标数据，以对第一指标数据进行实时处理；

第一处理模块404，用于对第一指标数据进行处理，得到第二指标数据，第二指标数据用于触发执行端执行预设操作，其中，第一指标数据和第二指标数据为表征数据源运行状态的指标值。

根据本发明的实施例，数据处理装置400还包括：

第一确定模块，用于确定第二指标数据是否满足预设数据要求；

第二指令生成模块，用于在第二指标数据满足预设数据要求的情况下，生成触发指令；

第二指令发送模块，用于将触发指令发送至与数据源对应的执行端，以便执行端响应于触发指令执行预设操作。

根据本发明的实施例，第一存储模块402包括：

第一存储子模块，用于将第一指标数据存储至指标采集端的第一内存中；

转存子模块，用于在第一内存的存储量超过第一存储阈值的情况下，将第一指标数据从第一内存转存至部署指标采集端的计算设备的第二内存中。

根据本发明的实施例，第一指标数据携带有时间戳，时间戳根据第一指标数据的采集时间确定。

根据本发明的实施例，第一获取模块403包括：

第一确定子模块，用于基于时间戳确定第一指标数据是否存储在第一内存中；

第一获取子模块，用于在确定第一指标数据存储在第一内存中的情况下，从第一内存中获取第一指标数据，否则，从第二内存中获取第一指标数据。

根据本发明的实施例，数据处理装置400还包括：

第二确定模块，用于确定第二内存的存储量是否超过第二存储阈值；

内存释放模块，用于在第二内存的存储量超过第二存储阈值的情况下，对第二内存执行内存释放操作，以降低第二内存的存储量。

根据本发明的实施例，第二内存中存储的第一指标数据携带有时间戳，时间戳根据第一指标数据的采集时间确定。

根据本发明的实施例，内存释放模块包括：

基准时间戳获取模子模块，用于获取预先设定的基准时间戳；

第三指标数据确定子模块，用于确定第二内存中存储的与基准时间戳具有预设时间跨度的时间戳对应的第三指标数据；

第一删除子模块，用于将第三指标数据从第二内存中删除。

根据本发明的实施例，数据处理装置400还包括：

第一删除模块，用于删除第一内存中存储的第一指标数据。

根据本发明的实施例，第一采集模块401包括：

第一采集子模块，用于按照预设采集频率采集数据源产生的第一指标数据。

根据本发明的实施例，第一采集模块401包括：

请求获取模块，用于获取数据采集请求；

采集端确定模块，用于响应于数据采集请求，确定与指标采集端属于同一集群的至少一个第一指标采集端；

第二采集子模块，用于将至少一个第一指标采集端作为数据源，采集至少一个第一指标采集设备产生的存活指标数据。

根据本发明的实施例，第一处理模块404包括：

第一处理子模块，用于基于每个第一指标采集端的存活指标数据确定第二指标数据，第二指标数据用于表征集群中的指标设备存活率；

根据本发明的实施例，数据处理装置400还包括：

第三指令生成模块，用于在第二指标数据低于预设存活阈值的情况下，生成运维指令；

第三指令发送模块，用于将运维指令发送至指令执行端，以便执行端响应于运维指令对集群执行运维操作。

根据本发明的实施例，第一处理模块404包括：

处理方式确定子模块，用于从多种候选处理方式中确定与数据源对应的目标处理方式；

第二处理子模块，用于利用目标处理方式对第一指标数据进行处理，得到第二指标数据。

图4的数据处理装置可以执行图1所示实施例的数据处理方法，其实现原理和技术效果不再赘述。对于上述实施例中的数据处理装置其中各个模块、单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图5示意性示出了本发明一个实施例提供的一种弹性伸缩装置的框图，如图4所示，弹性伸缩装置500可以包括：

第二采集模块501，用于采集云服务集群中的第一云服务器在第一时间窗口内产生的第三指标数据；

第二存储模块502，用于将第三指标数据存储至本地存储介质中；

第二获取模块503，用于检测到本地存储介质中存入第三指标数据，从本地存储介质中获取第三指标数据，以对第三指标数据进行实时处理；

第二处理模块504，用于对第三指标数据进行处理，得到第四指标数据，其中，第三指标数据和第四指标数据为表征第一云服务器运行状态的指标值；

第一指令生成模块505，用于在第四指标数据满足数据要求的情况下，生成弹性伸缩指令；

第一指令发送模块506，用于将弹性伸缩指令发送至执行端，以便执行端响应于弹性伸缩指令对第一云服务器执行弹性伸缩处理。

根据本发明的实施例，第一指令生成模块505包括：

第一指令生成单元，用于生成第一弹性伸缩指令，第一弹性伸缩指令用于指示执行端调整云服务集群中的云服务器数量；

第二指令生成单元，用于生成第二弹性伸缩指令，第二弹性伸缩指令用于指示执行端调整第一云服务器的配置。

图5所述的弹性伸缩装置可以执行图3所示实施例所述的弹性伸缩方法，其实现原理和技术效果不再赘述。对于上述实施例中的弹性伸缩装置其中各个模块、单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

在一个可能的设计中，本发明实施例提供的数据处理装置、弹性伸缩装置可以实现为计算设备，如图6所示，该计算设备可以包括存储组件601以及处理组件602；

存储组件601存储一条或多条计算机指令，其中，所述一条或多条计算机指令供所述处理组件602调用执行，用以实现本发明实施例提供的数据处理方法、弹性伸缩方法。

当然，计算设备必然还可以包括其他部件，例如输入/输出接口、通信组件等。输入/输出接口为处理组件和***接口模块之间提供接口，上述***接口模块可以是输出设备、输入设备等。通信组件被配置为便于计算设备和其他设备之间有线或无线方式的通信等。

其中，该计算设备可以为物理设备或者云计算平台提供的弹性计算主机等，此时计算设备即可以是指云服务器，上述处理组件、存储组件等可以是从云计算平台租用或购买的基础服务器资源。

当计算设备为物理设备时，可以实现成多个服务器或终端设备组成的分布式集群，也可以实现成单个服务器或单个终端设备。

本发明实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被计算机执行时可以实现本发明实施例提供的数据处理方法、弹性伸缩方法。

本发明实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被计算机执行时可以实现本发明实施例提供的数据处理方法、弹性伸缩方法。

其中，前文相应实施例中的处理组件可以包括一个或多个处理器来执行计算机指令，以完成上述的方法中的全部或部分步骤。当然处理组件也可以为一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

存储组件被配置为存储各种类型的数据以支持在设备中操作。存储组件可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (14)

1.一种数据处理方法，其特征在于，应用于指标采集端，包括：

采集数据源在第一时间窗口内产生的第一指标数据；

将所述第一指标数据存储至本地存储介质中；

检测到所述本地存储介质中存入所述第一指标数据，从所述本地存储介质中获取所述第一指标数据，以对所述第一指标数据进行实时处理；

对所述第一指标数据进行处理，得到第二指标数据，所述第二指标数据用于触发执行端执行预设操作，其中，所述第一指标数据和所述第二指标数据为表征所述数据源运行状态的指标值。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

确定所述第一指标数据是否满足释放条件，所述释放条件根据所述第一指标数据的采集时间确定；

在所述第一指标数据满足释放条件的情况下，将所述第一指标数据从所述本地存储介质中删除，以释放所述本地存储介质的存储空间。

3.根据权利要求2所述的方法，其特征在于，确定所述第一指标数据是否满足释放条件包括：

确定所述采集时间与当前时间的差值；

将所述差值与预设时间阈值比较，在所述采集时间大于所述预设时间阈值的情况下，确定所述第一指标数据满足释放条件，否则所述第一指标数据不满足释放条件，其中，所述预设时间阈值包括所述采集时间与当前时间的差值。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

确定所述第二指标数据是否满足预设数据要求；

在所述第二指标数据满足所述预设数据要求的情况下，生成触发指令；

将所述触发指令发送至与所述数据源对应的执行端，以便所述执行端响应于所述触发指令执行预设操作。

5.根据权利要求1所述的方法，其特征在于，所述将所述指标数据存储至本地存储介质中包括：

将所述第一指标数据存储至所述指标采集端的第一内存中；

在所述第一内存的存储量超过第一存储阈值的情况下，将所述第一指标数据从所述第一内存转存至第二内存中，其中，所述第一内存的存储量大于所述第一内存。

6.根据权利要求5所述的方法，其特征在于，所述第一指标数据携带有时间戳，所述时间戳根据所述第一指标数据的采集时间确定；

所述从所述本地存储介质中获取所述第一指标数据包括：

基于所述时间戳确定所述第一指标数据是否存储在所述第一内存中；

在确定所述第一指标数据存储在所述第一内存中的情况下，从所述第一内存中获取所述第一指标数据，否则，从所述第二内存中获取所述第一指标数据。

7.根据权利要求5所述的方法，其特征在于，所述方法还包括：

确定所述第二内存的存储量是否超过第二存储阈值；

在所述第二内存的存储量超过第二存储阈值的情况下，对所述第二内存执行内存释放操作，以降低所述第二内存的存储量。

8.根据权利要求7所述的方法，其特征在于，所述第二内存中存储的第一指标数据携带有时间戳，所述时间戳根据所述第一指标数据的采集时间确定；

所述对所述第二内存执行内存释放操作包括：

获取预先设定的基准时间戳；

确定所述第二内存中存储的与所述基准时间戳具有预设时间跨度的时间戳对应的第三指标数据；

将所述第三指标数据从所述第二内存中删除。

9.根据权利要求1所述的方法，其特征在于，所述采集数据源产生的第一指标数据包括：

获取数据采集请求；

响应于所述数据采集请求，确定与所述指标采集端属于同一集群的至少一个第一指标采集端；

将所述至少一个第一指标采集端作为数据源，采集所述至少一个第一指标采集设备产生的存活指标数据。

10.根据权利要求9所述的方法，其特征在于，所述对所述第一指标数据进行处理包括：

基于每个所述第一指标采集端的存活指标数据确定所述第二指标数据，所述第二指标数据用于表征所述集群中的指标设备存活率；

所述方法还包括：

在所述第二指标数据低于预设存活阈值的情况下，生成运维指令；

将所述运维指令发送至指令执行端，以便所述执行端响应于所述运维指令对所述集群执行运维操作。

11.一种弹性伸缩方法，其特征在于，应用于指标采集端，包括：

采集云服务集群中的第一云服务器在第一时间窗口内产生的第三指标数据；

将所述第三指标数据存储至本地存储介质中；

检测到所述本地存储介质中存入所述第三指标数据，从所述本地存储介质中获取所述第三指标数据，以对所述第三指标数据进行实时处理；

对所述第三指标数据进行处理，得到第四指标数据，其中，所述第三指标数据和所述第四指标数据为表征所述第一云服务器运行状态的指标值；

在所述第四指标数据满足数据要求的情况下，生成弹性伸缩指令；

将所述弹性伸缩指令发送至执行端，以便所述执行端响应于所述弹性伸缩指令对所述云服务集群执行弹性伸缩处理。

12.根据权利要求11所述的方法，其特征在于，所述生成扩容指令包括：

生成第一弹性伸缩指令，所述第一弹性伸缩指令用于指示所述执行端调整所述云服务集群中的云服务器数量；

或者，

生成第二弹性伸缩指令，所述第二弹性伸缩指令用于指示所述执行端调整所述第一云服务器的配置。

13.一种计算设备，其特征在于，包括处理组件以及存储组件；

所述存储组件存储一个或多个计算机指令；所述一个或多个计算机指令用以被所述处理组件调用执行，实现如权利要求1至10任一项所述的数据处理方法，或者实现如权利要求11所述的弹性伸缩方法。

14.一种计算机存储介质，其特征在于，存储有计算机程序，所述计算程序被计算机执行时，实现如权利要求1至10任一项所述的数据处理方法，或者实现如权利要求11所述的弹性伸缩方法。

Images