CN117806815A - 数据处理方法、***、电子设备及存储介质 - Google Patents
数据处理方法、***、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117806815A CN117806815A CN202311595131.4A CN202311595131A CN117806815A CN 117806815 A CN117806815 A CN 117806815A CN 202311595131 A CN202311595131 A CN 202311595131A CN 117806815 A CN117806815 A CN 117806815A
- Authority
- CN
- China
- Prior art keywords
- data
- priority
- operation unit
- tag
- tag data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 30
- 238000003860 storage Methods 0.000 title claims abstract description 25
- 230000009467 reduction Effects 0.000 claims abstract description 82
- 238000000034 method Methods 0.000 claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 43
- 230000004044 response Effects 0.000 claims abstract description 7
- 238000004590 computer program Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 abstract description 29
- 238000011038 discontinuous diafiltration by volume reduction Methods 0.000 description 14
- 239000000306 component Substances 0.000 description 12
- 230000008602 contraction Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000002788 crimping Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例提供了一种数据处理方法、***、电子设备及存储介质。方法包括：响应于数据处理指令，确定待处理的多个第一数据运行单元；每个第一数据运行单元都有唯一对应的一个状态副本集；若数据处理指令为集群缩容指令，对每个第一数据运行单元获取至少一个预先设置的标签数据；基于至少一个标签数据确定第一数据运行单元的缩容优先级，并根据缩容优先级从多个第一数据运行单元中确定领导节点；保持领导节点不变，在除了领导节点之外，根据对应的缩容优先级的大小依次缩减其他的第一数据运行单元和对应的状态副本集。本申请能够使得缩容的过程按照指定的顺序进行，避免频繁对领导节点进行切换，保证在缩容过程中集群***能够正常运行。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种数据处理方法、***、电子设备及存储介质。
背景技术
Kubernetes(K8s)集群是自动化容器操作的开源平台，具有高可用性、高可管理性、高可扩展性等优势，可以满足不同的业务需求。K8s提供了一个容器编排引擎，可以管理多个容器化的应用程序，并支持故障恢复、水平扩展、动态伸缩等功能。其中，领导节点对于K8s的来说至关重要，负责协调和管理集群中的所有操作，以实现高效、可靠的容器编排和管理。
相关技术中，K8s在进行扩缩容操作时，一般依赖状态副本集实现，每个状态副本集对应多个数据运行单元，由于状态副本集的内部逻辑是按照固定顺序进行缩容，无法按照指定的节点顺序进行缩容，因此，在接收在缩容的执行指令时，往往会按照固定的缩容顺序缩容至领导节点，导致集群***不得不重新切换领导节点，从而造成在切换过程中，整个集群***均不可用。
发明内容
本申请实施例的主要目的在于提出一种数据处理方法、***、电子设备及存储介质，能够使得缩容的过程按照指定的顺序进行，避免频繁对领导节点进行切换，保证在缩容过程中集群***能够正常运行。
为实现上述目的，本申请实施例的第一方面提出了一种数据处理方法，所述方法包括：响应于数据处理指令，确定待处理的多个第一数据运行单元；其中，每个所述第一数据运行单元都有唯一对应的一个状态副本集；若所述数据处理指令为集群缩容指令，对每个所述第一数据运行单元获取至少一个预先设置的标签数据；其中，所述标签数据通过对每个所述第一数据运行单元进行分类得到；基于至少一个所述标签数据确定各个所述第一数据运行单元的缩容优先级，并根据所述缩容优先级从多个所述第一数据运行单元中确定领导节点；保持所述领导节点不变，在除了所述领导节点之外，根据对应的所述缩容优先级的大小依次缩减其他的所述第一数据运行单元和对应的所述状态副本集。
根据本申请的一些实施例，所述标签数据包括第一标签数据和第二标签数据，所述基于至少一个所述标签数据确定各个所述第一数据运行单元的缩容优先级，包括：对所述第一标签数据和所述第二标签数据的优先级进行比较，得到比较结果；根据所述比较结果确定所述第一标签数据和所述第二标签数据的优先顺序；基于所述优先顺序计算各个所述第一数据运行单元的缩容优先级。
根据本申请的一些实施例，所述根据所述比较结果确定所述第一标签数据和所述第二标签数据的优先顺序，包括：若所述比较结果表征所述第一标签数据的优先级大于所述第二标签数据的优先级，则确定所述第一标签数据的优先顺序先于所述第二标签数据；若所述比较结果表征所述第二标签数据的优先级大于所述第一标签数据的优先级，则确定所述第二标签数据的优先顺序先于所述第一标签数据。
根据本申请的一些实施例，所述基于所述优先顺序计算各个所述第一数据运行单元的缩容优先级，包括：对每个所述第一数据运行单元，获取所述第一标签数据对应的第一标签数据值和所述第二标签数据对应的第二标签数据值；基于所述优先顺序、所述第一标签数据值以及所述第二标签数据值，计算各个所述第一数据运行单元的缩容优先级。
根据本申请的一些实施例，所述方法还包括：若所述数据处理指令为集群扩容指令，获取需要扩容的所述第一数据运行单元的数量；依次生成与所述第一数据运行单元相同数量的所述状态副本集，并在每次生成一个所述状态副本集之后，生成与所述状态副本集唯一对应的第一数据运行单元。
根据本申请的一些实施例，所述根据对应的所述缩容优先级的大小依次缩减其他的所述第一数据运行单元和对应的所述状态副本集，包括：获取需要进行缩容的所述第一数据运行单元的目标缩容数量；将各个所述第一数据运行单元按照所述缩容优先级的大小进行顺序排列，得到排列结果；基于所述排列结果，依次对所述第一数据运行单元以及所述第一数据运行单元对应的所述状态副本集进行顺序缩减，直至所述第一数据运行单元和对应的所述状态副本集的缩减数量达到目标缩容数量。
根据本申请的一些实施例，每个所述第一数据运行单元的所述标签数据通过以下步骤进行设置得到：获取每一所述第一数据运行单元的至少一个标签数据值；在每个所述第一数据运行单元中，对所述标签数据值添加预先设置的标签数据。
为实现上述目的，本申请实施例的第二方面提出了一种数据处理***，所述***包括：第一数据运行单元确定模块，用于响应于数据处理指令，确定待处理的多个第一数据运行单元；其中，每个所述第一数据运行单元都有唯一对应的一个状态副本集；标签数据获取模块，用于若所述数据处理指令为集群缩容指令，对每个所述第一数据运行单元获取至少一个预先设置的标签数据；其中，所述标签数据通过对每个所述第一数据运行单元进行分类得到；领导节点确定模块，用于基于至少一个所述标签数据确定各个所述第一数据运行单元的缩容优先级，并根据所述缩容优先级从多个所述第一数据运行单元中确定领导节点；缩减模块，用于保持所述领导节点不变，在除了所述领导节点之外，根据对应的所述缩容优先级的大小依次缩减其他的所述第一数据运行单元和对应的所述状态副本集。
为实现上述目的，本申请实施例的第三方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现本申请第一方面实施例任一项所述的数据处理方法。
为实现上述目的，本申请实施例的第四方面提出了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本申请第一方面实施例任一项所述的数据处理方法。
本申请提出的数据处理方法、***、电子设备及存储介质，能够根据数据处理指令，确定待处理的多个第一数据运行单元；其中，每个第一数据运行单元都有唯一对应的一个状态副本集；若数据处理指令为集群缩容指令，可以对每个第一数据运行单元获取至少一个预先设置的标签数据；其中，标签数据通过对每个第一数据运行单元进行分类得到；之后，基于至少一个标签数据确定各个第一数据运行单元的缩容优先级，并根据缩容优先级从多个第一数据运行单元中确定领导节点；在缩容的过程中，保持领导节点不变，从而避免了对领导节点进行频繁切换，使得在缩容的过程中集群***也能够正常运行；之后，在除了领导节点之外，根据对应的缩容优先级的大小依次缩减其他的第一数据运行单元和对应的状态副本集，从而能够使得缩容的过程按照指定的顺序进行，同时也可以更加灵活地管理和调整***节点的数量。综上，本申请可以使得缩容的过程按照指定的顺序进行，避免频繁对领导节点进行切换，保证了在缩容的过程中集群***能够正常运行。
附图说明
图1是本申请实施例提供的数据处理***的结构示意图；
图2是本申请实施例提供的数据处理方法的流程图；
图3是本申请实施例提供的第一数据运行单元的缩容示意图；
图4是本申请一个实施例提供的确定缩容优先级的流程图；
图5是图4中的步骤S202的另一个流程图；
图6是图4中的步骤S203的流程图；
图7是本申请实施例提供的数据处理方法的又一个的流程图；
图8a、图8b、图8c是本申请实施例提供的逐步扩容过程图；
图9是本申请实施例提供的第一数据运行单元的又一个流程图；
图10a、图10b、图10c是本申请实施例提供的逐步缩容过程图；
图11是本申请实施例提供的标签数据的设置步骤图；
图12是本申请实施例提供的数据处理***的模块示意图；
图13是本申请实施例提供的电子设备的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
服务器集群(Server cluste)，指将多个服务器集中起来一起进行同一种服务，在客户端看来就像是只有一个服务器。服务器集群可以利用多个计算机进行并行计算从而获得很高的计算速度，也可以用多个计算机做备份，从而使得任何一个机器坏了整个***还是能正常运行。
容器集群管理***Kubernetes，可称K8s，是一款开源的容器操作平台，其可以实现将若干个容器组合成一个服务及动态地分配容器运行的主机等功能，为用户使用容器提供了极大的便利。通过Kubernetes可以快速部署应用、快速扩展应用、无缝对接新的应用功能、优化硬件资源的使用。
第一数据运行单元(即pod)：也称为容器组，K8s创建或部署的最小/最简单的基本单位，即容器组，一个第一数据运行单元代表集群上正在运行的一个微服务进程，且一个微服务进程封装一个提供微服务应用的边缘容器(也可以有多个边缘容器)、存储资源、一个独立的网络IP以及管理控制容器运行方式的策略选项。
状态副本集(即statefulset)，可以保证集群中运行指定个数的第一数据运行单元，也支持横向扩展或者缩减。statefulset是一种有状态的Pod管理方式，statefulset还负责管理Pod的创建、删除和更新。
Replicas是一个计数器，用于指示在K8s中运行的容器副本数量。例如，每个自定义资源对象对应2个状态副本集，那么在自定义资源对象处对状态副本集的计数为2；又如，每个状态副本集对应3个pod，那么在状态副本集处对pod的计数为3。
领导节点(即Master节点)：指的是集群控制节点，管理和控制整个集群，K8s的所有控制、命令都发给领导节点，领导节点负责具体的执行过程。
Operator，位于K8s的控制平面，Operator可以用来扩展Kubernetes API，特定的应用程序控制器，用来创建、配置和管理复杂的有状态应用，如数据库、缓存和监控***。
Kube-apiserver，K8s的资源访问组件，位于K8s的控制平面，提供了资源操作的唯一入口，并提供认证、授权、访问控制、API注册和发现等机制。
Kube-controller-manager，K8s的运行管理控制器组件，位于K8s的控制平面，负责维护集群的状态，比如故障检测、自动扩展、滚动更新等。
Kube-scheduler，是K8s的调度组件，位于K8s的控制平面，负责资源的调度，按照预定的调度策略将Pod调度到相应的机器上。
其中，Kube-apiserver、Kube-controller-manager和Kube-scheduler均由领导节点运行。
CR，即自定义资源对象，用于对Kubernetes API的扩展。定制资源可以通过动态注册的方式在运行中的集群内或出现或消失，集群管理员可以独立于集群更新定制资源。CR可以用来描述和管理特定应用程序或服务的状态和配置。
Etcd(分布式键值存储)：Etcd是Kubernetes运行所需的分布式键值存储***，用于存储关于集群状态和配置的数据。Etcd可以运行在多个节点上，并使用Raft协议来保证数据的一致性和可用性。硬件角度上，可以将Etcd集群部署在多台服务器上，以提高数据的冗余和可用性。
K8s中的statefulset可以用于部署和管理具有持久性数据的pod集合的控制器，statefulset能够更好地管理节点资源，确保pod的稳定性和可靠性，并且，statefulset支持自动伸缩机制，可以根据节点的负载情况自动调整pod的数量，当节点资源不足时，statefulset会自动缩容，减少不必要的资源浪费；当节点资源过剩时，statefulset会自动扩容，提高资源的利用率。
相关技术中，在K8s中，当需要对节点进行缩容时，一般只能按照固定的顺序进行操作。而若按照固定的顺序进行缩容，极有可能恰好删减到领导节点，之后又需要重新对领导节点进行选取，在pod数量较多的情况下，有可能造成领导节点的频繁切换，从而导致***在进行对应的缩容操作的过程中，整个***不可用，影响了***的稳定性。
基于此，本申请实施例提供了一种数据处理方法、***、电子设备及存储介质，使得缩容的过程按照指定的顺序进行，避免频繁对领导节点进行切换，保证在缩容过程中集群***能够正常运行。
本申请实施例提供的数据处理方法、***、电子设备及存储介质，具体通过如下实施例进行说明，首先描述本申请实施例中的数据处理***。
请参照图1，在一些实施例中，数据处理***的硬件架构主要包括容器集群管理***Kubernetes，也即K8s。在K8s中，不同的硬件组件协同工作，以提供容器编排和管理的功能，下面，将对数据处理***的资源对象和硬件平面进行介绍。
在一些实施例中，K8s的资源对象是集群中的各种实体，包括Pod、StatefulSet等，其们用来描述容器化应用程序的状态和要求。其中，自定义资源对象(Custom Resource，CR)可以根据应用的需求定义和扩展，而StatefulSet是状态副本集，用于管理有状态应用的一个或者多个Pod实例。具体来说，Pod也即第一数据运行单元，是K8s的最小部署单位，包含一个或多个相关的容器、存储、网络和其他配置。Pod可以由CR和StatefulSet来创建和管理。CR定义了Pod的规范参数，StatefulSet定义了Pod的副本数量和有状态部署的特性。通过CR和StatefulSet的配合，可以实现灵活且可控的Pod管理。而其他位于K8s内部的资源对象，如ConfigMap(配置映射)、Secret(密钥)、CronJob(定时任务)、Job(作业)和rabc(基于角色的访问控制)等，则通过Kubectl(命令行工具，用于与K8s集群进行交互)或应用程序编程接口(Application Programming Interface，API)服务器进行管理，其存储通常依赖于底层的存储***。
在一些实施例中，Kube-apiserver作为K8s的控制平面之一，是K8s的核心组件之一，其提供了K8s集群的表征状态转移应用程序接口(Representational State TransferApplication Programming Interface，REST API)接口，并处理所有来自用户或其他组件的请求。可以理解的是，Kube-apiserver可以运行在一台或多台服务器上，可以通过负载均衡器进行流量分发，以提高容器调度和访问的性能和可用性。Kube-controller-manager是Kubernetes控制平面的另一个组件，其包含了一系列控制器，负责监控集群状态，并根据期望状态和实际状态进行调整，可以通过多个节点进行部署以实现高可用性。可以理解的是，可以将Kube-controller-manager运行在多台服务器上，通过负载均衡器分发流量，以实现控制平面的高可用性。Kube-scheduler是Kubernetes控制平面的另一组件，负责根据资源需求和策略选择合适的节点来部署和调度容器。硬件角度上，可以将Kube-scheduler运行在一个或多个服务器上，也可以通过负载均衡器进行流量分发，以实现调度器的高可用性。Etcd作为分布式键值存储，用于存储集群的状态和配置信息。
可以理解的是，K8s的资源对象和控制平面协同工作，实现了K8s集群的高可用性、弹性扩展和容器的自动化管理。
本申请实施例中的数据处理方法可以通过如下实施例进行说明。
需要说明的是，在本申请的各个具体实施方式中，当涉及到需要根据用户信息、用户行为数据，用户历史数据以及用户位置信息等与用户身份或特性相关的数据进行相关处理时，都会先获得用户的许可或者同意。而且，对这些数据的收集、使用和处理等，都会遵守相关法律法规和标准。此外，当本申请实施例需要获取用户的敏感个人信息时，会通过弹窗或者跳转到确认页面等方式获得用户的单独许可或者单独同意，在明确获得用户的单独许可或者单独同意之后，再获取用于使本申请实施例能够正常运行的必要的用户相关数据。
图2是本申请实施例提供的数据处理方法的一个可选的流程图，图2中的方法可以包括但不限于包括步骤S101至步骤S104。
步骤S101，响应于数据处理指令，确定待处理的多个第一数据运行单元；其中，每个第一数据运行单元都有唯一对应的一个状态副本集。
在一些实施例中，数据处理指令可以包括集群缩容指令和集群扩容指令，扩容和缩容都是通过更改资源对象的第一数据运行单元的数量来实现的。具体而言，可以通过编辑相应的资源对象的配置文件(如状态副本集或者自定义资源对象等)将第一数据运行单元的数量修改为期望的数量，然后将更新后的配置文件传递至K8s的控制平面，触发扩容或者缩容操作。可以理解的是，控制平面可以监视资源对象的状态，并自动调整集群中的第一数据运行单元的数量，以使其与数据处理指令要求缩容后的数量保持一致。
可以理解的是，若设置一个状态副本集同时启动多个第一数据运行单元，通常会产生数据不一致的问题。而通过设置每个第一数据运行单元都有唯一对应的一个状态副本集，可以使得状态副本集逐一对第一数据运行单元进行部署，确保了有状态应用在缩容时可以按照指定的顺序，有利于保持数据一致性。
步骤S102，若数据处理指令为集群缩容指令，对每个第一数据运行单元获取至少一个预先设置的标签数据；其中，标签数据通过对每个第一数据运行单元进行分类得到。
在一些实施例中，每个第一数据运行单元都有至少一个预先设置的标签数据，例如机房标签、应用标签、版本标签、部门标签或者人为添加的优先级标签等等。
在一些实施例中，标签数据可以为多个，例如2个、3个等等。具体来说，每个标签数据均有不同的优先级，不同的优先级代表了哪个标签应该被第一个考虑纳入缩容优先级的计算。
步骤S103，基于至少一个标签数据确定各个第一数据运行单元的缩容优先级，并根据缩容优先级从多个第一数据运行单元中确定领导节点。
请参照图3，以两个标签数据为例，这两个标签数据可以为机房标签和人为添加的优先级标签，若机房标签的优先级大于人为添加的标签的优先级，图三中的第一数据运行单元从左至右依次以1号运行单元、2号运行单元、3号运行单元表示，由图中可知，1号运行单元的机房的角色为首要、人为添加的优先级标签排名为1；2号运行单元的角色为备用，人为添加的优先级标签排名为3；3号运行单元的机房角色为备用，人为添加的优先级标签排名为2，那么，首先考虑机房角色，1号运行单元为最重要，2号运行单元和3号运行单元均为备份，那么1号运行单元的缩容优先级为3，2号运行单元和3号运行单元的缩容优先级并列第1。此时，由于2号运行单元和3号运行单元的缩容优先级尚未确定，因此考虑下一个标签数据，即人为添加的优先级标签排名，由于2号运行单元的优先级标签排名为3，3号运行单元的优先级标签排名为2，因此，2号运行单元的缩容优先级为1，3号运行单元的缩容优先级为2，先对2号运行单元进行缩容、再对3号运行单元进行缩容、最后对1号运行单元进行缩容。
可以理解的是，若每个第一数据运行单元的标签数据为1个以上，那么，若第一次对各个第一数据运行单元的缩容优先级进行计算，计算结果能够准确表征每个第一数据运行单元的缩容优先级，且不存在重复排名，那么可以不考虑下一个标签数据；若计算结果不能够准确表征每个第一数据运行单元的缩容优先级，或存在重复排名，那么继续考虑下一个标签数据，并将多次标签数据计算得到的缩容优先级进行叠加。可以理解的是，优先级最高的标签数据总是被优先考虑，如机房角色的优先级大于其他标签数据，那么机房角色始终被优先考虑，其次是优先级第二的标签数据被考虑，依此类推。进一步，可以建立各个标签的优先级表，根据查询优先级表，可以确定每个标签被纳入缩容计算的优先级。
可以理解的是，由于缩容优先级排在最后一位的第一数据运行单元是最后被缩容的，因此，可以将缩容优先级排在最后一位的第一数据运行单元作为领导节点，由此可以避免出现只能按照固定的顺序进行缩容时，缩容到领导节点需要重新选出领导节点的问题，能够避免领导节点频繁切换的情况的发生，保证了集群***进行缩容的过程中依然可用。
步骤S104，保持领导节点不变，在除了领导节点之外，根据对应的缩容优先级的大小依次缩减其他的第一数据运行单元和对应的状态副本集。
在一些实施例中，可以保持领导节点不变，以确保不会出现因为领导节点的切换倒置***不可用的情况。由于每个第一数据运行单元对应一个状态副本集，因此可以根据对应的缩容优先级的大小依次缩减除了领导节点外的第一数据运行单元以及对应的状态副本集，避免出现状态副本集的冗余的情况。可以理解的是，直至除了领导节点外的所有第一数据运行单元均缩容完毕，仍需要缩容的情况下，再对领导节点进行缩容。
可以理解的是，也可以不按照缩容优先级进行缩容时，此时，仍然需要选出领导节点，选出的领导节点被设置为最后一个被缩容，此时随机对第一数据运行单元和对应的状态副本集进行缩容，由于第一数据运行单元与状态副本集一一对应，因此不会造成数据不一致的问题。进一步的，由于每个第一数据运行单元都有一个与之对应的状态副本集，状态副本集允许对第一数据运行单元进行唯一标识，因此，可以实现对数据的并行处理。
可以理解的是，可以设置在存在第一数据运行单元出现故障时，可以进行故障转移操作，或者在缩容或者扩容过程中第一数据运行单元出现故障时，进行故障转移操作。具体来说，K8s会不断监控每个第一数据运行单元的状态，一旦发现存在第一数据运行单元出现故障，如进程崩溃、节点故障等，就会触发故障转移的操作。具体来说，K8s会向第一数据运行单元发送一个信号，提示第一数据运行单元需要停止运行，同时将第一数据运行单元从状态副本集中移除，以确保没有新的流量被发送到该第一数据运行单元。之后，K8s会创建一个新的第一数据运行单元来取代故障的第一数据运行单元，并将故障的第一数据运行单元的数据复制到新的第一数据运行单元上，新的第一数据运行单元对应故障的第一数据运行单元对应的状态副本集，以确保流量可以正常发送到新的第一数据运行单元上。
本申请提出的数据处理方法、***、电子设备及存储介质，能够根据数据处理指令，确定待处理的多个第一数据运行单元；其中，每个第一数据运行单元都有唯一对应的一个状态副本集；若数据处理指令为集群缩容指令，可以对每个第一数据运行单元获取至少一个预先设置的标签数据；其中，标签数据通过对每个第一数据运行单元进行分类得到；之后，基于至少一个标签数据确定各个第一数据运行单元的缩容优先级，并根据缩容优先级从多个第一数据运行单元中确定领导节点；在缩容的过程中，保持领导节点不变，从而避免了对领导节点进行频繁切换，使得在缩容的过程中集群***也能够正常运行；之后，在除了领导节点之外，根据对应的缩容优先级的大小依次缩减其他的第一数据运行单元和对应的状态副本集，从而能够使得缩容的过程按照指定的顺序进行，同时也可以更加灵活地管理和调整***节点的数量。综上，本申请可以使得缩容的过程按照指定的顺序进行，避免频繁对领导节点进行切换，保证了在缩容的过程中集群***能够正常运行。
请参阅图4，在一些实施例中，标签数据包括第一标签数据和第二标签数据，基于至少一个标签数据确定各个第一数据运行单元的缩容优先级，可以包括步骤S201至步骤S203：
步骤S201，对第一标签数据和第二标签数据的优先级进行比较，得到比较结果。
在一些实施例中，若在第一数据运行单元的一个标签数据的优先级相同的情况下，会出现难以确定第一数据运行单元的缩容优先级的情况，因此，可以对每个第一数据运行单元添加多个标签数据。每个标签数据的具体标签均不相同，例如第一标签数据和第二标签数据的内容均不相同，第一标签数据可以为第一数据运行单元的机房角色等，第二标签数据可以为第一数据运行单元的版本数据等，本申请实施例对此不作具体限制。
可以理解的是，第一标签数据和第二标签数据并不只指代两个标签数据。第一标签数据和第二标签数据的优先级均不相同，第一标签数据的优先级可以大于第二标签数据，也可以小于第二标签数据，哪一个标签数据的优先级最大，就被最先考虑，比较结果表征第一标签数据和第二标签数据之中谁的优先级更大，从而便于快速计算第一数据运行单元的缩容优先级。
步骤S202，根据比较结果确定第一标签数据和第二标签数据的优先顺序。
例如第一标签数据为机房角色的优先级，第二标签数据为版本数据的优先级，若机房角色的优先级大于版本数据的优先级，那么对每个第一数据运行单元的缩容优先级进行计算时，应该优先考虑第一标签数据，再考虑第二标签数据，由此可以准确、快速计算出每个第一数据运行单元的缩容优先级。
步骤S203，基于优先顺序计算各个第一数据运行单元的缩容优先级。
在一些实施例中，每个第一数据运行单元都具有对应的标签数据值。例如，对于一个第一数据运行单元的第一标签数据为人为添加的重要性标签，那么，第一数据运行单元的第一标签数据值可以为1、2、3等等，不同的第一标签数据值用于确定不同的第一数据运行单元的缩容优先级。
请参阅图5，在一些实施例中，步骤S202可以包括但不限于包括步骤S301至步骤S302：
步骤S301，若比较结果表征第一标签数据的优先级大于第二标签数据的优先级，则确定第一标签数据的优先顺序先于第二标签数据。
在一些实施例中，可以根据比较结果确定第一标签数据和第二标签数据之中哪一个标签数据更优先计算缩容优先级。示例性地，若比较结果表征第一标签数据的优先级大于第二标签数据的优先级，那么，先对每个第一数据运行单元计算第一标签数据下的缩容优先级，再对每个第一数据运行单元计算第二标签数据下的缩容优先级，再将第一标签数据下的缩容优先级和第二标签数据下的缩容优先级进行累加，累加的过程中将第一标签数据作为第一考虑范畴。
步骤S302，若比较结果表征第二标签数据的优先级大于第一标签数据的优先级，则确定第二标签数据的优先顺序先于第一标签数据。
在一些实施例中，若比较结果表征第二标签数据的优先级大于第一标签数据的优先级，那么，先对每个第一数据运行单元计算第二标签数据下的缩容优先级，再对每个第一数据运行单元计算第一标签数据下的缩容优先级，再将第二标签数据下的缩容优先级和第一标签数据下的缩容优先级进行累加，累加的过程中将第二标签数据作为第一考虑范畴。
示例性地，若第二标签数据的优先级大于第一标签数据的优先级，共有3个第一数据运行单元，分别编号为A单元、B单元和C单元，A单元对应第二标签数据为主机房、第一标签数据为人为设定的重要程度为2级；B单元对应第二标签数据为备用机房、第一标签数据为人为设定的重要程度为1级；C单元对应第二标签数据为备用机房、第一标签数据为人为设定的重要程度为3级；那么，优先考虑第二标签数据，A单元为主机房，缩容优先级排名第3；B单元和C单元为备用机房，缩容优先级排名并列第1；由于此时B单元和C单元的缩容优先级尚未确定，因此继续根据B单元和C单元的第二标签数据计算缩容优先级，因此得出最终结果，最终的缩容优先级排名为：C单元、B单元、A单元，也即是说，先对C单元进行缩容，再对B单元进行缩容，最后对A单元进行缩容。
请参阅图6，在一些实施例中，步骤S203可以包括步骤S401至步骤S402：
步骤S401，对每个第一数据运行单元，获取第一标签数据对应的第一标签数据值和第二标签数据对应的第二标签数据值。
在一些实施例中，为了便于计算每个第一数据运行单元的缩容优先级，可以对每个标签数据添加对应的标签数据值。具体可以对第一标签数据添加第一标签数据值，对第二标签数据添加第二标签数据值，如对每个第一标签数据为机房角色，具体可以为重要机房和备用机房，还可以具体将重要机房用数字1表示，将备用机房用数字2表示，由此可以直观地对每个第一数据运行单元的缩容优先级进行计算。
步骤S402，基于优先顺序、第一标签数据值以及第二标签数据值，计算各个第一数据运行单元的缩容优先级。
在一些实施例中，可以基于第一标签数据和第二标签数据的优先顺序，从多个标签数据中确定最先需要被考虑的标签数据，再确定次要需要被考虑的标签数据，并根据每个标签数据对应的标签数据值，计算各个第一数据运行单元的缩容优先级，从而灵活地调整各个第一数据运行单元的缩容顺序。
可以理解的是，每个第一数据运行单元都可以有多个标签数据，最终用于计算缩容优先级的标签数据的类别和标签数据的数量可以随机选取、人为选取或者通过数据指令进行选取，本申请实施例对此不作具体限制。
请参阅图7，在一些实施例中，数据处理方法还可以包括步骤S501至步骤S502：
步骤S501，若数据处理指令为集群扩容指令，获取需要扩容的第一数据运行单元的数量。
在一些实施例中，第一数据运行单元也为集群中的节点。集群扩容指令可以增加集群中的第一数据运行单元的数量，以便处理更多的负载和请求；集群缩容指令用于减少集群中的第一数据运行单元的数量，以便节约资源和成本，通过集群扩容和缩容指令，可以根据应用程序的负载情况动态调整集群的规模，以满足业务需求。
可以理解的是，需要扩容的第一数据运行单元的数量即为在原有的第一数据运行单元的数量的基础上增加的数量，例如，原有的第一数据运行单元的数量为2，需要扩增3个第一数据运行单元，那么需要扩容的第一数据运行单元的数量为3，执行集群扩容指令过后，集群中的第一数据运行单元的数量为5。
步骤S502，依次生成与第一数据运行单元相同数量的状态副本集，并在每次生成一个状态副本集之后，生成与状态副本集唯一对应的第一数据运行单元。
请参照图8a至图8c，图8a至图8c为对第一数据运行单元的扩容过程，具体来说，K8s会先对状态副本集进行扩容，每增加一个状态副本集之后，状态副本集会创建一个对应的第一数据运行单元，第一数据运行单元会依次添加至对应的状态副本集中，之后，新添加的第一数据运行单元经过初始化后启动。在图8a至图8c中，第一数据运行单元的数量根据扩容操作依次增加，即计数器的计数依次为1、2、3。
请参阅图9，在一些实施例中，根据对应的缩容优先级的大小依次缩减其他的第一数据运行单元和对应的状态副本集，可以包括但不限于包括步骤S601至步骤S603：
步骤S601，获取需要进行缩容的第一数据运行单元的目标缩容数量。
在一些实施例中，需要进行缩容的第一数据运行单元的目标缩容数量为在原有的第一数据运行单元的基础上需要进行删减的第一数据运行单元的数量。示例性地，若目标缩容数量为3，原有的第一数据运行单元的数量为5，那么执行完集群缩容指令之后，集群中的第一数据运行单元的数量为2。
步骤S602，将各个第一数据运行单元按照缩容优先级的大小进行顺序排列，得到排列结果。
在一些实施例中，可以将至少一个标签数据计算得到的缩容优先级的大小进行顺序排列，从而直观地得到各个第一数据运行单元地缩容顺序，在一些实施例中，也可以不按照缩容优先级进行顺序排列，直接根据不同地缩容优先级进行缩容。例如第一数据运行单元1的缩容优先级为2，第一数据运行单元2的缩容优先级为1，第一数据运行单元3的缩容优先级为3，那么先对第一数据运行单元2进行缩容，再对第一数据运行单元1进行缩容，最后对第一数据运行单元3进行缩容，从而实现灵活缩容。
步骤S603，基于排列结果，依次对第一数据运行单元以及第一数据运行单元对应的状态副本集进行顺序缩减，直至第一数据运行单元和对应的状态副本集的缩减数量达到目标缩容数量。
请参照图10a至图10c，在一些实施例中，K8s根据缩容优先级依次选择需要删除的第一数据运行单元。具体地，K8s会发送终止信号至第一数据运行单元，待确保第一数据运行单元正常终止之后，再对第一数据运行单元和对应的状态副本集进行删除。之后，K8s会对应调整对应的第一数据运行单元的数量，如图10a至图10c中，第一数据运行单元的数量根据缩减操作依次递减，即计数器的值依次为3、2、1。可以理解的是，对第一数据运行单元进行缩减，有助于优化资源利用、提高***的处理效率。
请参阅图11，在一些实施例中，每个第一数据运行单元的标签数据可以通过以下步骤S701至步骤S702进行设置得到：
步骤S701，获取每一第一数据运行单元的至少一个标签数据值。
在一些实施例中，可以对每个第一数据运行单元进行分析，例如，可以对第一数据运行单元的机房角色进行分析，如判断机房角色为主机房还是备用机房等，还可以获取每个第一数据运行单元的机房对应的标签数据值，例如对主机房设置标签数据值为1，对备用机房设置标签数据值为2，等等。
在一些实施例中，也可以获取人为设计的标签数据值，例如每个第一数据运行单元的重要程度对应的标签数据值为1、2、3等。在一些实施例中，还可以将各个第一数据运行单元的访问频率作为标签数据，再根据各个第一数据运行单元的访问排名确定对应的标签数据值等等，本申请实施例对此不作具体限制。
步骤S702，在每个第一数据运行单元中，对标签数据值添加预先设置的标签数据。
可以理解的是，可以根据标签数据值确定对应的标签数据，例如，获取到的第一数据运行单元为主机房，那么为第一数据运行单元添加对应的标签数据为机房角色；获取到访问排名的标签数据值，那么为第一数据运行单元添加对应的标签数据为访问频率。根据第一数据运行单元的标签数据值添加对应的标签数据，可以快速根据标签数据对第一数据运行单元的缩容优先级进行计算。
请参阅图12，本申请实施例还提供一种数据处理***，可以实现上述数据处理方法，数据处理***包括：
第一数据运行单元确定模块1201，用于响应于数据处理指令，确定待处理的多个第一数据运行单元；其中，每个第一数据运行单元都有唯一对应的一个状态副本集；
标签数据获取模块1202，用于若数据处理指令为集群缩容指令，对每个第一数据运行单元获取至少一个预先设置的标签数据；其中，标签数据通过对每个第一数据运行单元进行分类得到；
领导节点确定模块1203，用于基于至少一个标签数据确定各个第一数据运行单元的缩容优先级，并根据缩容优先级从多个第一数据运行单元中确定领导节点；
缩减模块1204，用于保持领导节点不变，在除了领导节点之外，根据对应的缩容优先级的大小依次缩减其他的第一数据运行单元和对应的状态副本集。
该数据处理***的具体实施方式与上述数据处理方法的具体实施例基本相同，在此不再赘述。在满足本申请实施例要求的前提下，数据处理***还可以设置其他功能模块，以实现上述实施例中的数据处理方法。
本申请实施例还提供了一种电子设备，电子设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述数据处理方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。
请参阅图13，图13示意了另一实施例的电子设备的硬件结构，电子设备包括：
处理器1301，可以采用通用的CPU(CentralProcessingUnit，中央处理器)、微处理器、应用专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；
存储器1302，可以采用只读存储器(ReadOnlyMemory，ROM)、静态存储设备、动态存储设备或者随机存取存储器(RandomAccessMemory，RAM)等形式实现。存储器1302可以存储操作***和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1302中，并由处理器1301来调用执行本申请实施例的数据处理方法；
输入/输出接口1303，用于实现信息输入及输出；
通信接口1304，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；
总线1305，在设备的各个组件(例如处理器1301、存储器1302、输入/输出接口1303和通信接口1304)之间传输信息；
其中处理器1301、存储器1302、输入/输出接口1303和通信接口1304通过总线1305实现彼此之间在设备内部的通信连接。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述数据处理方法。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
本领域技术人员可以理解的是，图中示出的技术方案并不构成对本申请实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、***、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其其步骤或单元。
应当理解，在本申请中，“至少一个(项)”和“若干”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的***和方法，可以通过其其的方式实现。例如，以上所描述的***实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其其的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。
以上参照附图说明了本申请实施例的优选实施例，并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本申请实施例的权利范围之内。
Claims (10)
1.一种数据处理方法，其特征在于，所述方法包括：
响应于数据处理指令，确定待处理的多个第一数据运行单元；其中，每个所述第一数据运行单元都有唯一对应的一个状态副本集；
若所述数据处理指令为集群缩容指令，对每个所述第一数据运行单元获取至少一个预先设置的标签数据；其中，所述标签数据通过对每个所述第一数据运行单元进行分类得到；
基于至少一个所述标签数据确定各个所述第一数据运行单元的缩容优先级，并根据所述缩容优先级从多个所述第一数据运行单元中确定领导节点；
保持所述领导节点不变，在除了所述领导节点之外，根据对应的所述缩容优先级的大小依次缩减其他的所述第一数据运行单元和对应的所述状态副本集。
2.根据权利要求1所述的数据处理方法，其特征在于，所述标签数据包括第一标签数据和第二标签数据，所述基于至少一个所述标签数据确定各个所述第一数据运行单元的缩容优先级，包括：
对所述第一标签数据和所述第二标签数据的优先级进行比较，得到比较结果；
根据所述比较结果确定所述第一标签数据和所述第二标签数据的优先顺序；
基于所述优先顺序计算各个所述第一数据运行单元的缩容优先级。
3.根据权利要求2所述的数据处理方法，其特征在于，所述根据所述比较结果确定所述第一标签数据和所述第二标签数据的优先顺序，包括：
若所述比较结果表征所述第一标签数据的优先级大于所述第二标签数据的优先级，则确定所述第一标签数据的优先顺序先于所述第二标签数据；
若所述比较结果表征所述第二标签数据的优先级大于所述第一标签数据的优先级，则确定所述第二标签数据的优先顺序先于所述第一标签数据。
4.根据权利要求2所述的数据处理方法，其特征在于，所述基于所述优先顺序计算各个所述第一数据运行单元的缩容优先级，包括：
对每个所述第一数据运行单元，获取所述第一标签数据对应的第一标签数据值和所述第二标签数据对应的第二标签数据值；
基于所述优先顺序、所述第一标签数据值以及所述第二标签数据值，计算各个所述第一数据运行单元的缩容优先级。
5.根据权利要求1所述的数据处理方法，其特征在于，所述方法还包括：
若所述数据处理指令为集群扩容指令，获取需要扩容的所述第一数据运行单元的数量；
依次生成与所述第一数据运行单元相同数量的所述状态副本集，并在每次生成一个所述状态副本集之后，生成与所述状态副本集唯一对应的第一数据运行单元。
6.根据权利要求1所述的数据处理方法，其特征在于，所述根据对应的所述缩容优先级的大小依次缩减其他的所述第一数据运行单元和对应的所述状态副本集，包括：
获取需要进行缩容的所述第一数据运行单元的目标缩容数量；
将各个所述第一数据运行单元按照所述缩容优先级的大小进行顺序排列，得到排列结果；
基于所述排列结果，依次对所述第一数据运行单元以及所述第一数据运行单元对应的所述状态副本集进行顺序缩减，直至所述第一数据运行单元和对应的所述状态副本集的缩减数量达到目标缩容数量。
7.根据权利要求1所述的数据处理方法，其特征在于，每个所述第一数据运行单元的所述标签数据通过以下步骤进行设置得到：
获取每一所述第一数据运行单元的至少一个标签数据值；
在每个所述第一数据运行单元中，对所述标签数据值添加预先设置的标签数据。
8.一种数据处理***，其特征在于，所述***包括：
第一数据运行单元确定模块，用于响应于数据处理指令，确定待处理的多个第一数据运行单元；其中，每个所述第一数据运行单元都有唯一对应的一个状态副本集；
标签数据获取模块，用于若所述数据处理指令为集群缩容指令，对每个所述第一数据运行单元获取至少一个预先设置的标签数据；其中，所述标签数据通过对每个所述第一数据运行单元进行分类得到；
领导节点确定模块，用于基于至少一个所述标签数据确定各个所述第一数据运行单元的缩容优先级，并根据所述缩容优先级从多个所述第一数据运行单元中确定领导节点；
缩减模块，用于保持所述领导节点不变，在除了所述领导节点之外，根据对应的所述缩容优先级的大小依次缩减其他的所述第一数据运行单元和对应的所述状态副本集。
9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的数据处理方法。
10.一种计算机可读存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311595131.4A CN117806815B (zh) | 2023-11-27 | 数据处理方法、***、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311595131.4A CN117806815B (zh) | 2023-11-27 | 数据处理方法、***、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117806815A true CN117806815A (zh) | 2024-04-02 |
| CN117806815B CN117806815B (zh) | 2024-07-09 |
Family
ID=
Citations (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108965485A (zh) * | 2018-09-30 | 2018-12-07 | 北京金山云网络技术有限公司 | 容器资源的管理方法、装置和云平台 |
| CN109117265A (zh) * | 2018-07-12 | 2019-01-01 | 北京百度网讯科技有限公司 | 在集群中调度作业的方法、装置、设备及存储介质 |
| US10191778B1 (en) * | 2015-11-16 | 2019-01-29 | Turbonomic, Inc. | Systems, apparatus and methods for management of software containers |
| CN110764918A (zh) * | 2019-11-04 | 2020-02-07 | 浪潮云信息技术有限公司 | 一种容器集群中主节点管理方法 |
| US20200073655A1 (en) * | 2018-09-05 | 2020-03-05 | Nanum Technologies Co., Ltd. | Non-disruptive software update system based on container cluster |
| CN111782147A (zh) * | 2020-06-30 | 2020-10-16 | 北京百度网讯科技有限公司 | 用于集群扩缩容的方法和装置 |
| CN112181649A (zh) * | 2020-09-22 | 2021-01-05 | 广州品唯软件有限公司 | 一种容器资源调整方法、装置、计算机设备及存储介质 |
| US20210141623A1 (en) * | 2016-02-05 | 2021-05-13 | Sas Institute Inc. | Automated Message-Based Job Flow Resource Coordination in Container-Supported Many Task Computing |
| CN113051075A (zh) * | 2021-03-23 | 2021-06-29 | 烽火通信科技股份有限公司 | 一种Kubernetes智能化扩缩容的方法及装置 |
| US20210200814A1 (en) * | 2019-12-30 | 2021-07-01 | Servicenow, Inc. | Discovery of containerized platform and orchestration services |
| WO2021174828A1 (zh) * | 2020-07-29 | 2021-09-10 | 平安科技（深圳）有限公司 | 数据处理方法、装置、计算机***及可读存储介质 |
| CN113434253A (zh) * | 2021-06-29 | 2021-09-24 | 平安科技（深圳）有限公司 | 集群资源调度方法、装置、设备及存储介质 |
| CN114064199A (zh) * | 2021-09-29 | 2022-02-18 | 浪潮软件科技有限公司 | 一种集群容量管理方法及*** |
| CN114064226A (zh) * | 2020-08-06 | 2022-02-18 | 中兴通讯股份有限公司 | 容器集群的资源调协方法、调协装置及存储介质 |
| EP3971717A2 (en) * | 2020-09-22 | 2022-03-23 | Rockwell Automation Technologies, Inc. | Implementing serverless functions using container orchestration systems and operational technology devices |
| CN114365112A (zh) * | 2019-11-08 | 2022-04-15 | 深圳市欢太科技有限公司 | 标签数据的更新方法、装置、电子设备及存储介质 |
| CN114995975A (zh) * | 2022-06-02 | 2022-09-02 | 度小满科技(北京)有限公司 | 一种Redis集群的调度方法和装置 |
| CN115373799A (zh) * | 2022-08-02 | 2022-11-22 | 天翼云科技有限公司 | 一种集群管理的方法、装置及电子设备 |
| US20230050796A1 (en) * | 2021-08-12 | 2023-02-16 | International Business Machines Corporation | Predictive scaling of container orchestration platforms |
| CN116192885A (zh) * | 2022-12-13 | 2023-05-30 | 南阳理工学院 | 高可用集群架构人工智能实验云平台数据处理方法及*** |
| CN116204311A (zh) * | 2023-03-02 | 2023-06-02 | 中国工商银行股份有限公司 | Pod集群扩缩容方法、装置、计算机设备和存储介质 |
| WO2023098614A1 (zh) * | 2021-11-30 | 2023-06-08 | 华为技术有限公司 | 一种云实例的扩缩容方法及其相关设备 |
| CN116561096A (zh) * | 2022-11-03 | 2023-08-08 | 上海浦东发展银行股份有限公司 | 一种基于容器平台的数据库管理方法及*** |
| CN116643845A (zh) * | 2023-05-24 | 2023-08-25 | 阿里巴巴（中国）有限公司 | 缩容方法、容器编排***、设备及存储介质 |
| CN116860461A (zh) * | 2023-09-04 | 2023-10-10 | 深圳大道云科技有限公司 | K8s集群的资源调度方法、设备及存储介质 |
| CN116954878A (zh) * | 2022-04-15 | 2023-10-27 | 腾讯科技（深圳）有限公司 | 容器集群的管理方法、装置、设备、存储介质及程序产品 |
| CN116974689A (zh) * | 2023-06-02 | 2023-10-31 | 腾讯科技（深圳）有限公司 | 集群容器调度方法、装置、设备及计算机可读存储介质 |
Patent Citations (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10191778B1 (en) * | 2015-11-16 | 2019-01-29 | Turbonomic, Inc. | Systems, apparatus and methods for management of software containers |
| US20210141623A1 (en) * | 2016-02-05 | 2021-05-13 | Sas Institute Inc. | Automated Message-Based Job Flow Resource Coordination in Container-Supported Many Task Computing |
| CN109117265A (zh) * | 2018-07-12 | 2019-01-01 | 北京百度网讯科技有限公司 | 在集群中调度作业的方法、装置、设备及存储介质 |
| US20200073655A1 (en) * | 2018-09-05 | 2020-03-05 | Nanum Technologies Co., Ltd. | Non-disruptive software update system based on container cluster |
| CN108965485A (zh) * | 2018-09-30 | 2018-12-07 | 北京金山云网络技术有限公司 | 容器资源的管理方法、装置和云平台 |
| CN110764918A (zh) * | 2019-11-04 | 2020-02-07 | 浪潮云信息技术有限公司 | 一种容器集群中主节点管理方法 |
| CN114365112A (zh) * | 2019-11-08 | 2022-04-15 | 深圳市欢太科技有限公司 | 标签数据的更新方法、装置、电子设备及存储介质 |
| US20210200814A1 (en) * | 2019-12-30 | 2021-07-01 | Servicenow, Inc. | Discovery of containerized platform and orchestration services |
| CN111782147A (zh) * | 2020-06-30 | 2020-10-16 | 北京百度网讯科技有限公司 | 用于集群扩缩容的方法和装置 |
| WO2021174828A1 (zh) * | 2020-07-29 | 2021-09-10 | 平安科技（深圳）有限公司 | 数据处理方法、装置、计算机***及可读存储介质 |
| CN114064226A (zh) * | 2020-08-06 | 2022-02-18 | 中兴通讯股份有限公司 | 容器集群的资源调协方法、调协装置及存储介质 |
| CN112181649A (zh) * | 2020-09-22 | 2021-01-05 | 广州品唯软件有限公司 | 一种容器资源调整方法、装置、计算机设备及存储介质 |
| EP3971717A2 (en) * | 2020-09-22 | 2022-03-23 | Rockwell Automation Technologies, Inc. | Implementing serverless functions using container orchestration systems and operational technology devices |
| CN113051075A (zh) * | 2021-03-23 | 2021-06-29 | 烽火通信科技股份有限公司 | 一种Kubernetes智能化扩缩容的方法及装置 |
| CN113434253A (zh) * | 2021-06-29 | 2021-09-24 | 平安科技（深圳）有限公司 | 集群资源调度方法、装置、设备及存储介质 |
| US20230050796A1 (en) * | 2021-08-12 | 2023-02-16 | International Business Machines Corporation | Predictive scaling of container orchestration platforms |
| CN114064199A (zh) * | 2021-09-29 | 2022-02-18 | 浪潮软件科技有限公司 | 一种集群容量管理方法及*** |
| WO2023098614A1 (zh) * | 2021-11-30 | 2023-06-08 | 华为技术有限公司 | 一种云实例的扩缩容方法及其相关设备 |
| CN116954878A (zh) * | 2022-04-15 | 2023-10-27 | 腾讯科技（深圳）有限公司 | 容器集群的管理方法、装置、设备、存储介质及程序产品 |
| CN114995975A (zh) * | 2022-06-02 | 2022-09-02 | 度小满科技(北京)有限公司 | 一种Redis集群的调度方法和装置 |
| CN115373799A (zh) * | 2022-08-02 | 2022-11-22 | 天翼云科技有限公司 | 一种集群管理的方法、装置及电子设备 |
| CN116561096A (zh) * | 2022-11-03 | 2023-08-08 | 上海浦东发展银行股份有限公司 | 一种基于容器平台的数据库管理方法及*** |
| CN116192885A (zh) * | 2022-12-13 | 2023-05-30 | 南阳理工学院 | 高可用集群架构人工智能实验云平台数据处理方法及*** |
| CN116204311A (zh) * | 2023-03-02 | 2023-06-02 | 中国工商银行股份有限公司 | Pod集群扩缩容方法、装置、计算机设备和存储介质 |
| CN116643845A (zh) * | 2023-05-24 | 2023-08-25 | 阿里巴巴（中国）有限公司 | 缩容方法、容器编排***、设备及存储介质 |
| CN116974689A (zh) * | 2023-06-02 | 2023-10-31 | 腾讯科技（深圳）有限公司 | 集群容器调度方法、装置、设备及计算机可读存储介质 |
| CN116860461A (zh) * | 2023-09-04 | 2023-10-10 | 深圳大道云科技有限公司 | K8s集群的资源调度方法、设备及存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| G. BHARANIDHARAN, S. JAYALAKSHMI AND P. MAYILVAHANAN: "Predictive Scaling of Elastic Pod Instances for Modern Applications on Public Cloud through Long Short-Term Memory", 《2022 INTERNATIONAL CONFERENCE ON APPLIED ARTIFICIAL INTELLIGENCE AND COMPUTING (ICAAIC)》, 16 June 2022 (2022-06-16) * |
| L. H. PHUC, L. -A. PHAN AND T. KIM: "Traffic-Aware Horizontal Pod Autoscaler in Kubernetes-Based Edge Computing Infrastructure", 《IEEE ACCESS》, 10 February 2022 (2022-02-10) * |
| 张涛: "基于Kubernetes的资源调度策略研究与实现", 《中国优秀硕士论文电子期刊网》, 15 October 2022 (2022-10-15) * |
| 赵恪振: "基于Kubernetes的动静态资源调度策略研究与改进", 《 中国优秀硕士论文电子期刊网》, 15 November 2023 (2023-11-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108683516B (zh) | 一种应用实例的升级方法、装置和*** | |
| US20210064442A1 (en) | Implementing An Application Manifest In A Node-Specific Manner Using An Intent-Based Orchestrator | |
| CN109669762B (zh) | 云计算资源管理方法、装置、设备及计算机可读存储介质 | |
| US9876878B2 (en) | Seamless cluster servicing | |
| CN110383764B (zh) | 无服务器***中使用历史数据处理事件的***和方法 | |
| US8447757B1 (en) | Latency reduction techniques for partitioned processing | |
| US20100058342A1 (en) | Provisioning system, method, and program | |
| US10038593B2 (en) | Method and system for recovering virtual network | |
| US9152491B2 (en) | Job continuation management apparatus, job continuation management method and job continuation management program | |
| EP2718837A2 (en) | Clustered file service | |
| CN108111559B (zh) | 一种应用软件部署***及方法 | |
| Zhang et al. | Improving Hadoop service provisioning in a geographically distributed cloud | |
| CN112910937B (zh) | 容器集群中的对象调度方法、装置、服务器和容器集群 | |
| CN109992373B (zh) | 资源调度方法、信息管理方法和装置及任务部署*** | |
| KR20200080458A (ko) | 클라우드 멀티-클러스터 장치 | |
| US9298765B2 (en) | Apparatus and method for handling partially inconsistent states among members of a cluster in an erratic storage network | |
| CN103746838A (zh) | 一种无中心节点计算机网络的任务调度方法 | |
| CN107231437A (zh) | 一种任务备份管理方法及装置 | |
| CN103902401A (zh) | 基于监控的虚拟机容错方法及装置 | |
| US9769007B1 (en) | Passive data protection system migration | |
| CN107645396B (zh) | 一种集群扩容方法及装置 | |
| CN117806815B (zh) | 数据处理方法、***、电子设备及存储介质 | |
| CN117806815A (zh) | 数据处理方法、***、电子设备及存储介质 | |
| CN111556126B (zh) | 模型管理方法、***、计算机设备和存储介质 | |
| CN113672665A (zh) | 数据处理方法、数据采集***、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |