CN108989106A - 一种分布式集群的数据处理方法、装置及*** - Google Patents
一种分布式集群的数据处理方法、装置及*** Download PDFInfo
- Publication number
- CN108989106A CN108989106A CN201810784067.7A CN201810784067A CN108989106A CN 108989106 A CN108989106 A CN 108989106A CN 201810784067 A CN201810784067 A CN 201810784067A CN 108989106 A CN108989106 A CN 108989106A
- Authority
- CN
- China
- Prior art keywords
- node
- pending data
- distributed type
- data
- load
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
- H04L41/0663—Performing the actions predefined by failover planning, e.g. switching to standby network elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/14—Session management
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer And Data Communications (AREA)
Abstract
本申请公开了一种分布式集群的数据处理方法，包括接收客户端发送的待处理数据；在分布式集群中获取第一目标节点；将待处理数据发送至第一目标节点进行处理；通过会话管理装置记录第一目标节点处理待处理数据时的会话信息；当第一目标节点处理待处理数据发生异常时，将待处理数据发送至第二目标节点，以使第二目标节点基于会话信息对待处理数据继续进行处理，直至待处理数据处理完毕。该数据处理方法有效地保证了管理软件服务的一致性，实现了分布式集群的会话共享，能够使集群业务保持连续性，进一步提高了数据处理效率。本申请还公开了一种分布式集群的数据处理***，也具有上述有益效果。
Description
技术领域
本申请涉及分布式***技术领域，特别涉及一种分布式集群的数据处理方法，还涉及一种分布式集群的数据处理***。
背景技术
随着互联网的发展以及互联网用户的增加，互联网中的数据也急剧膨胀，其每天产生的数据数以万计，然而，单个计算机由于受到内存、CPU等硬件的限制，已无法满足对这些数据的存储和计算要求。因此，海量数据存储应运而生，其中，分布式文件***是海量数据存储的重要技术，它将数据存储在物理分散的多个存储节点上，进而对这些节点的资源进行统一的管理与分配，并提供用户访问文件***接口。通过分布式文件***，海量数据存储***可以轻松地存储PB级数据，分布式集群充分利用分布式的优越性，有效地解决了大数据的存储和分析问题。
一般而言，分布式集群为了提高集群操作管理的便利性，通常都会支持通过可视化界面操作集群的管理软件，进一步，管理软件通过HTTP协议向集群下发任务请求，以达到操作存储设备的作用。其中，管理软件是维护分布式集群的一种重要技术手段，具有成本低廉、维护简单、易于扩展、使用广泛等特性。在现有的分布式集群管理软件中，其会话管理***存储在单个节点中，无法实现各节点之间的session(会话)共享机制，无法同时满足高效率，高可用性和安全性的需求。
因此，如何有效保证管理软件服务的一致性，从而实现分布式集群的会话共享，进一步提高数据处理效率是本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种分布式集群的数据处理方法，该数据处理方法有效地保证了管理软件服务的一致性，实现了分布式集群的会话共享，能够使集群业务保持连续性，进一步提高了数据处理效率；本申请的另一目的是提供一种分布式集群的数据处理***，也具有上述有益效果。
为解决上述技术问题，本申请提供了一种分布式集群的数据处理方法，所述数据处理方法包括：
接收客户端发送的待处理数据；
在分布式集群中获取第一目标节点；
将所述待处理数据发送至所述第一目标节点进行处理；
通过会话管理装置记录所述第一目标节点处理所述待处理数据时的会话信息；
当所述第一目标节点处理所述待处理数据发生异常时，将所述待处理数据发送至第二目标节点，以使所述第二目标节点基于所述会话信息对所述待处理数据继续进行处理，直至所述待处理数据处理完毕。
优选的，所述在分布式集群中获取第一目标节点，包括：
通过负载均衡装置在所述分布式集群中获取当前负载最低的节点作为所述第一目标节点。
优选的，所述通过负载均衡装置在所述分布式集群中获取当前负载最低的节点作为所述第一目标节点，包括：
所述负载均衡装置获取所述分布式集群中的所有可用节点；
根据各个所述可用节点的负载因子进行计算，获得各个所述可用节点的当前负载；
对各个所述可用节点的当前负载进行比较，获得所述当前负载最低的节点，并将所述当前负载最低的节点作为所述第一目标节点。
优选的，所述负载因子包括CPU利用率、内存利用率以及IO带宽。
优选的，所述数据处理方法还包括：
当所述第一目标节点处理所述待处理数据时，所述负载均衡装置实时监控所述第一目标节点的当前负载；
当所述第一目标节点的当前负载达到预设阈值时，将所述待处理数据发送至所述第二目标节点，以使所述第二目标节点基于所述会话信息对所述待处理数据继续进行处理，直至所述待处理数据处理完毕。
为解决上述技术问题，本申请还提供了一种分布式集群的数据处理***，所述数据处理***包括：
上位机，用于接收客户端发送的待处理数据；在分布式集群中获取第一目标节点；将所述待处理数据发送至所述第一目标节点进行处理；
会话管理装置，用于记录所述第一目标节点处理所述待处理数据时的会话信息；
多个目标节点，用于处理所述待处理数据；其中，
所述第一目标节点，用于当处理所述待处理数据发生异常时，将所述待处理数据发送至第二目标节点；
所述第二目标节点，用于接收所述会话管理装置发送的所述会话信息，并基于所述会话信息对所述待处理数据继续进行处理，直至所述待处理数据处理完毕。
优选的，所述数据处理***还包括：
负载均衡装置，用于在所述分布式集群中获取当前负载最低的节点作为所述第一目标节点。
优选的，所述负载均衡装置具体用于获取所述分布式集群中的所有可用节点；根据各个所述可用节点的负载因子进行计算，获得各个所述可用节点的当前负载；对各个所述可用节点的当前负载进行比较，获得所述当前负载最低的节点，并将所述当前负载最低的节点作为所述第一目标节点。
优选的，所述负载因子包括CPU利用率、内存利用率以及IO带宽。
优选的，所述负载均衡装置还用于实时监控所述第一目标节点在处理所述待处理数据时的当前负载；当所述第一目标节点的当前负载达到预设阈值时，将所述待处理数据发送至所述第二目标节点，以使所述第二目标节点基于所述会话信息对所述待处理数据继续进行处理，直至所述待处理数据处理完毕。
本申请所提供的一种分布式集群的数据处理方法，包括接收客户端发送的待处理数据；在分布式集群中获取第一目标节点；将所述待处理数据发送至所述第一目标节点进行处理；通过会话管理装置记录所述第一目标节点处理所述待处理数据时的会话信息；当所述第一目标节点处理所述待处理数据发生异常时，将所述待处理数据发送至第二目标节点，以使所述第二目标节点基于所述会话信息对所述待处理数据继续进行处理，直至所述待处理数据处理完毕。
可见，本申请所提供的技术方案，当分布式集群中的各个节点对接收到的待处理数据进行处理时，通过会话管理装置实时记录对应的处理信息，即上述会话信息；进一步，若有节点在数据处理过程中出现异常，而导致无法通过该异常节点上对其接收的待处理数据继续进行处理，由于会话管理装置记录有其对应的会话信息，故可直接将未处理部分的待处理数据转发至其他正常节点，其他正常节点即可根据相应的会话信息对未处理部分的待处理数据继续进行处理，而无需重新进行操作，有效地实现了分布式集群的会话共享，保证了集群业务的连续性，进一步实现了管理软件服务的一致性；同时，由于无需重新对转发的待处理数据进行操作，有效节省了数据处理时间，从而提高了数据处理效率。
本申请所提供的一种分布式集群的数据处理***，也具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为现有技术中的一种分布式集群的数据处理***的示意图；
图2为本申请所提供的一种分布式集群的数据处理方法的流程示意图；
图3为本申请所提供的一种低负载节点的获取方法的流程示意图；
图4为本申请所提供的一种分布式集群的数据处理***的示意图；
图5为本申请所提供的另一种分布式集群的数据处理***的示意图。
具体实施方式
本申请的核心是提供一种分布式集群的数据处理方法，该数据处理方法有效地保证了管理软件服务的一致性，实现了分布式集群的会话共享，能够使集群业务保持连续性，进一步提高了数据处理效率；本申请的另一核心是提供一种分布式集群的数据处理***，均具有上述有益效果。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
请参考图1，图1为现有技术中的一种分布式集群的数据处理***的示意图，传统的数据处理***主要由以下几部分组成：客户端，多个数据节点，各个数据节点对应的管理软件服务装置，会话管理装置以及交换机。当用户通过客户端发送数据处理请求时，可通过交换机查询各节点对应的管理软件服务装置的当前状态，确定可用节点及其对应的管理软件服务装置，并将待处理数据发送至可用节点进行处理；进一步，正在进行数据处理的可用节点的管理软件服务装置会定时更新缓存，当发现该可用节点发生异常时，即可启动管理软件服务，请求将待处理数据转发到正常节点进行处理。
然而，由于各节点的会话管理装置未进行一致性校验，因此其更新过程是独立进行的，当节点状态出现异常时，服务器在切换节点后无法保存用户当前的会话状态，即待处理数据的当前处理信息，也无法有效保证新启动节点的会话状态，此时，则需要用户重新进行操作，即对待处理数据重新进行处理。为解决该问题，传统的分布式集群主要通过主从备份的方式实现，但该方式会造成节点冗余度过高，不能充分发挥分布式集群的优势；同时，上述节点切换的过程时间较长，严重的影响了集群业务连续性。
为解决上述问题，请参考图2，图2为本申请所提供的一种分布式集群的数据处理方法的流程示意图，该数据处理方法可以包括：
S101：接收客户端发送的待处理数据；
本步骤旨在实现用户基于客户端输入相应的待处理数据，以便进一步进行数据处理。
S102：在分布式集群中获取第一目标节点；
具体的，由于分布式集群中包括有大量的节点，且各个节点不一定均处于正常工作状态或空闲状态，因此，在接收到待处理数据后，可先从分布式集群中获取可用节点，该可用节点即为可正常进行数据处理的节点，即上述第一目标节点。其中，对于该第一目标节点在分布式集群中的选取，本申请不做限定，如可选取分布式集群中的空闲节点作为第一目标节点，也可直接选取不处于满负荷状态的任意节点作为第一目标节点。
优选的，上述在分布式集群中获取第一目标节点的过程可以包括：通过负载均衡装置在分布式集群中获取当前负载最低的节点作为第一目标节点。
具体的，本申请提出一种优选实施方式，可增设负载均衡装置，以利用该负载均衡装置选取当前负载最低的节点作为上述第一目标节点。具体而言，若分布式集群的所有节点中不存在任何可正常工作的空闲节点，即所有的正常节点均处于工作状态，此时可选取其中负载最低的节点作为上述第一目标节点；若分布式集群中除处于工作状态的节点外，还存在可正常工作的空闲节点，此时则可选取该空闲节点作为上述第一目标节点，由此，可有效避免使分布式集群中得各个节点处于高负载状态，进一步提高了分布式集群的工作效率。
此外，对于上述当前负载最低的节点的获取方式可采用现有技术中任意一种方式实现，本申请对此不做限定。
需要说明的是，上述负载均衡模块在正常工作过程中，并非仅监控第一目标节点的当前负载，而是同时监控整个分布式集群中各个节点的当前负载，包括处于零负载状态的空闲节点，即分布式集群中的各个节点统一连接于该负载均衡装置，由此，即可避免由于分布式集群中个别节点处于高负载状态，造成节点损耗的问题，有效保证了分布式集群***的高可用性和安全性。
优选的，请参考图3，图3为本申请所提供的一种低负载节点的获取方法的流程示意图，关于上述通过负载均衡装置在分布式集群中获取当前负载最低的节点作为第一目标节点的过程可以包括：
S201：获取分布式集群中的所有可用节点；
S202：根据各个可用节点的负载因子进行计算，获得各个可用节点的当前负载；
S203：对各个可用节点的当前负载进行比较，获得当前负载最低的节点，并将当前负载最低的节点作为第一目标节点。
具体的，本申请提供了一种分布式集群中低负载节点的获取方法，首先，通过设置负载均衡装置获取分布式集群中的所有可用节点；进一步，基于各个可用节点对应的负载因子，对各个可用节点的当前负载进行计算；最后，在获得各个可用节点及其对应的当前负载后，对各个可用节点的当前负载进行比较，选取取值最小的当前负载对应的可用节点作为上述第一目标节点，以便于基于该第一目标节点对接收的待处理数据进行后续处理。
优选的，上述负载因子可以包括CPU利用率、内存利用率以及IO带宽。
具体的，上述负载因子可以包括CPU利用率、内存利用率以及IO带宽等性能指标，进一步，即可根据这些负载因子对相应的可用节点进行加权计算，以获得各个可用节点的当前负载。
需要说明的是，上述负载因子类型的选择仅为本申请提供的一种实施方式，并不唯一，同样也可以为与节点相关的其他性能指标，其具体选择类型可根据实际情况进行确定。
S103：将待处理数据发送至第一目标节点进行处理；
S104：通过会话管理装置记录第一目标节点处理待处理数据时的会话信息；
具体的，在确定进行数据处理的第一目标节点后，即可将接收的待处理数据发送至该第一目标节点进行处理。在进行数据处理的同时，可通过会话管理装置对其进行处理记录，即记录第一目标节点处理待处理数据时的会话信息。其中，该会话信息可包括第一目标节点处理待处理数据的总时长、当前进度，当前处理结果等相关信息。
需要说明的是，此处会话管理装置类似于上述负载均衡装置，不单单只记录该第一目标节点进行数据处理的会话信息，而是统一且同时记录整个分布式集群中，所有正在进行数据处理的节点的会话信息，即分布式集群中的各个节点统一连接于该会话管理装置，由此，即可保证当分布式集群中出现节点异常时，切换节点后会话信息的一致性。
S105：当第一目标节点处理待处理数据发生异常时，将待处理数据发送至第二目标节点，以使第二目标节点基于会话信息对待处理数据继续进行处理，直至待处理数据处理完毕。
具体的，如果第一目标节点在处理待处理数据的过程中出现异常，而无法继续进行处理，此时即可基于其对应的管理软件服务装置发起数据转发请求，请求将待处理数据转发至第二目标节点进行处理。由于第二目标节点同样连接于上述会话管理装置，而会话管理装置中记录有第一目标节点处理待处理数据的会话信息，因此，第二目标节点即可基于会话管理装置中记录的会话信息对剩余未处理部分的待处理数据继续进行处理，而无需重新操作，有效节省了数据处理时间。相应的，如果第二目标节点在处理剩余未处理部分的待处理数据时也出现异常，即可进一步将待处理数据转发至第三目标节点，由第三目标节点基于会话管理装置记录的第二目标节点处理待处理数据时的会话信息继续对剩余部分的待处理数据进行处理，依此类推，直至该待处理数据处理完毕。
其中，上述分布式集群中的节点出现的异常，可以包括节点自然故障、节点满负载等异常，而不论出现哪种节点异常，均可基于上述数据转发的方式完成对待处理数据的处理。
此外，关于上述第二目标节点、第三目标节点以及后续的第N目标节点的获取方式可参照上述第一目标节点的获取方式，本申请在此不再赘述。
本申请所提供的分布式集群的数据处理方法，当分布式集群中的各个节点对接收到的待处理数据进行处理时，通过会话管理装置实时记录对应的处理信息，即上述会话信息；进一步，若有节点在数据处理过程中出现异常，而导致无法通过该异常节点上对其接收的待处理数据继续进行处理，由于会话管理装置记录有其对应的会话信息，故可直接将未处理部分的待处理数据转发至其他正常节点，其他正常节点即可根据相应的会话信息对未处理部分的待处理数据继续进行处理，而无需重新进行操作，有效地实现了分布式集群的会话共享，保证了集群业务的连续性，进一步实现了管理软件服务的一致性；同时，由于无需重新对转发的待处理数据进行操作，有效节省了数据处理时间，从而提高了数据处理效率。
在上述实施例的基础上，作为一种优选实施例，该分布式集群的数据处理方法还可以包括：当第一目标节点处理待处理数据时，负载均衡装置实时监控第一目标节点的当前负载；当第一目标节点的当前负载达到预设阈值时，将待处理数据发送至第二目标节点，以使第二目标节点基于会话信息对待处理数据继续进行处理，直至待处理数据处理完毕。
具体的，在各个节点进行数据处理的过程中，其相应的负载也会不断提高，为避免分布式集群中各节点处于高负载状态，而其他部分节点处于低负载状态，导致数据处理效率降低的问题，可通过负载均衡装置实时监控第一目标节点的当前负载，如若在数据处理的过程中，第一目标节点的当前负载达到预设阈值，则可将待处理数据发送至负载较低的第二目标节点中继续进行处理，直至处理完毕。其中，上述预设阈值为用户预先设定的，对于其具体取值本申请不做限定。
本申请实施例所提供的分布式集群的数据处理方法，在基于会话管理装置保证集群业务连续性的基础上，又基于负载均衡装置实现了管路软件服务在各节点间的均匀分布，提高了分布式集群的安全性和高可用性，充分发挥了分布式集群***的优势。
为解决上述问题，请参考图4，图4为本申请所提供的一种分布式集群的数据处理***的示意图，该数据处理***可以包括：
上位机10，用于接收客户端发送的待处理数据；在分布式集群中获取第一目标节点；将待处理数据发送至第一目标节点进行处理；
会话管理装置20，用于记录第一目标节点处理待处理数据时的会话信息；
多个目标节点30，用于处理待处理数据；其中，
第一目标节点，用于当处理待处理数据发生异常时，将待处理数据发送至第二目标节点；
第二目标节点，用于接收会话管理装置20发送的会话信息，并基于会话信息对待处理数据继续进行处理，直至待处理数据处理完毕。
作为一种优选实施例，该数据处理***还可以包括：
负载均衡装置，用于在分布式集群中获取当前负载最低的节点作为第一目标节点。
作为一种优选实施例，上述负载均衡装置具体用于获取分布式集群中的所有可用节点；根据各个可用节点的负载因子进行计算，获得各个可用节点的当前负载；对各个可用节点的当前负载进行比较，获得当前负载最低的节点，并将当前负载最低的节点作为第一目标节点。
作为一种优选实施例，负载因子包括CPU利用率、内存利用率以及IO带宽。
作为一种优选实施例，负载均衡装置40还用于实时监控第一目标节点在处理待处理数据时的当前负载；当第一目标节点的当前负载达到预设阈值时，将待处理数据发送至第二目标节点，以使第二目标节点基于会话信息对待处理数据继续进行处理，直至待处理数据处理完毕。
基于以上各个实施例，进一步请参考图5，图5为本申请所提供的另一种分布式集群的数据处理***的示意图，该***可以包括客户端、负载均衡装置、管理软件服务装置、会话管理装置、多个数据节点。在起始状态，各节点对应的管理软件服务装置全部初始化，用户可基于客户端通过负载均衡装置访问各节点的管理软件服务装置。当接收到待处理数据后，首先可通过负载均衡装置查询当前可用节点，并比较各可用节点的运行状态，选举出负载最低的节点作为处理上述待处理数据的节点，与其建立连接；进一步，如若正在进行数据处理的节点发生异常或负载过高，而无法提供管理软件服务，无法进行数据处理时，负载均衡装置即可将待处理数据自动转发至其他负载较低的可用节点中继续进行处理。同时，各节点的会话管理装置由统一的分布式集群存储，实时记录各个节点进行数据处理时的会话信息，以保证切换节点后，各节点会话信息的一致性。
本申请所提供的分布式集群的数据处理***，当分布式集群中的各个节点对接收到的待处理数据进行处理时，通过会话管理装置实时记录对应的处理信息，即上述会话信息；进一步，若有节点在数据处理过程中出现异常，而导致无法通过该异常节点上对其接收的待处理数据继续进行处理，由于会话管理装置记录有其对应的会话信息，故可直接将未处理部分的待处理数据转发至其他正常节点，其他正常节点即可根据相应的会话信息对未处理部分的待处理数据继续进行处理，而无需重新进行操作，有效地实现了分布式集群的会话共享，保证了集群业务的连续性，进一步实现了管理软件服务的一致性；同时，由于无需重新对转发的待处理数据进行操作，有效节省了数据处理时间，从而提高了数据处理效率。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的分布式集群的数据处理方法及***进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围要素。
Claims (10)
1.一种分布式集群的数据处理方法，其特征在于，包括：
接收客户端发送的待处理数据；
在分布式集群中获取第一目标节点；
将所述待处理数据发送至所述第一目标节点进行处理；
通过会话管理装置记录所述第一目标节点处理所述待处理数据时的会话信息；
当所述第一目标节点处理所述待处理数据发生异常时，将所述待处理数据发送至第二目标节点，以使所述第二目标节点基于所述会话信息对所述待处理数据继续进行处理，直至所述待处理数据处理完毕。
2.如权利要求1所述的数据处理方法，其特征在于，所述在分布式集群中获取第一目标节点，包括：
通过负载均衡装置在所述分布式集群中获取当前负载最低的节点作为所述第一目标节点。
3.如权利要求2所述的数据处理方法，其特征在于，所述通过负载均衡装置在所述分布式集群中获取当前负载最低的节点作为所述第一目标节点，包括：
所述负载均衡装置获取所述分布式集群中的所有可用节点；
根据各个所述可用节点的负载因子进行计算，获得各个所述可用节点的当前负载；
对各个所述可用节点的当前负载进行比较，获得所述当前负载最低的节点，并将所述当前负载最低的节点作为所述第一目标节点。
4.如权利要求3所述的数据处理方法，其特征在于，所述负载因子包括CPU利用率、内存利用率以及IO带宽。
5.如权利要求4所述的数据处理方法，其特征在于，还包括：
当所述第一目标节点处理所述待处理数据时，所述负载均衡装置实时监控所述第一目标节点的当前负载；
当所述第一目标节点的当前负载达到预设阈值时，将所述待处理数据发送至所述第二目标节点，以使所述第二目标节点基于所述会话信息对所述待处理数据继续进行处理，直至所述待处理数据处理完毕。
6.一种分布式集群的数据处理***，其特征在于，包括：
上位机，用于接收客户端发送的待处理数据；在分布式集群中获取第一目标节点；将所述待处理数据发送至所述第一目标节点进行处理；
会话管理装置，用于记录所述第一目标节点处理所述待处理数据时的会话信息；
多个目标节点，用于处理所述待处理数据；其中，
所述第一目标节点，用于当处理所述待处理数据发生异常时，将所述待处理数据发送至第二目标节点；
所述第二目标节点，用于接收所述会话管理装置发送的所述会话信息，并基于所述会话信息对所述待处理数据继续进行处理，直至所述待处理数据处理完毕。
7.如权利要求6所述的数据处理***，其特征在于，还包括：
负载均衡装置，用于在所述分布式集群中获取当前负载最低的节点作为所述第一目标节点。
8.如权利要求7所述的数据处理***，其特征在于，所述负载均衡装置具体用于获取所述分布式集群中的所有可用节点；根据各个所述可用节点的负载因子进行计算，获得各个所述可用节点的当前负载；对各个所述可用节点的当前负载进行比较，获得所述当前负载最低的节点，并将所述当前负载最低的节点作为所述第一目标节点。
9.如权利要求8所述的数据处理***，其特征在于，所述负载因子包括CPU利用率、内存利用率以及IO带宽。
10.如权利要求9所述的数据处理***，其特征在于，所述负载均衡装置还用于实时监控所述第一目标节点在处理所述待处理数据时的当前负载；当所述第一目标节点的当前负载达到预设阈值时，将所述待处理数据发送至所述第二目标节点，以使所述第二目标节点基于所述会话信息对所述待处理数据继续进行处理，直至所述待处理数据处理完毕。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810784067.7A CN108989106A (zh) | 2018-07-17 | 2018-07-17 | 一种分布式集群的数据处理方法、装置及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810784067.7A CN108989106A (zh) | 2018-07-17 | 2018-07-17 | 一种分布式集群的数据处理方法、装置及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108989106A true CN108989106A (zh) | 2018-12-11 |
Family
ID=64549862
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810784067.7A Pending CN108989106A (zh) | 2018-07-17 | 2018-07-17 | 一种分布式集群的数据处理方法、装置及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108989106A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109688229A (zh) * | 2019-01-24 | 2019-04-26 | 江苏中云科技有限公司 | 一种负载均衡集群下会话保持*** |
| CN110890983A (zh) * | 2019-11-26 | 2020-03-17 | 北京杰思安全科技有限公司 | 一种基于大数据的流处理预警的方法 |
| CN111274320A (zh) * | 2020-01-17 | 2020-06-12 | 深圳市大富网络技术有限公司 | 分布式存储***的控制方法、装置及分布式存储*** |
| CN111949660A (zh) * | 2020-08-12 | 2020-11-17 | 光大兴陇信托有限责任公司 | 一种基于HashMap数据结构的分布式比较方法 |
| CN116938934A (zh) * | 2023-09-19 | 2023-10-24 | 江苏嘉擎信息技术有限公司 | 一种基于报文的任务切换控制方法及*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101364930A (zh) * | 2008-09-24 | 2009-02-11 | 深圳市金蝶中间件有限公司 | 会话控制方法、装置及*** |
| CN102523234A (zh) * | 2011-12-29 | 2012-06-27 | 山东中创软件工程股份有限公司 | 一种应用服务器集群实现方法及*** |
| CN102968310A (zh) * | 2012-12-05 | 2013-03-13 | 武汉烽火普天信息技术有限公司 | 一种一体化高性能应用软件架构及构建方法 |
| CN104038525A (zh) * | 2013-03-07 | 2014-09-10 | 深圳市金证科技股份有限公司 | 服务器***的负载均衡方法及装置 |
-
2018
- 2018-07-17 CN CN201810784067.7A patent/CN108989106A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101364930A (zh) * | 2008-09-24 | 2009-02-11 | 深圳市金蝶中间件有限公司 | 会话控制方法、装置及*** |
| CN102523234A (zh) * | 2011-12-29 | 2012-06-27 | 山东中创软件工程股份有限公司 | 一种应用服务器集群实现方法及*** |
| CN102968310A (zh) * | 2012-12-05 | 2013-03-13 | 武汉烽火普天信息技术有限公司 | 一种一体化高性能应用软件架构及构建方法 |
| CN104038525A (zh) * | 2013-03-07 | 2014-09-10 | 深圳市金证科技股份有限公司 | 服务器***的负载均衡方法及装置 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109688229A (zh) * | 2019-01-24 | 2019-04-26 | 江苏中云科技有限公司 | 一种负载均衡集群下会话保持*** |
| CN110890983A (zh) * | 2019-11-26 | 2020-03-17 | 北京杰思安全科技有限公司 | 一种基于大数据的流处理预警的方法 |
| CN110890983B (zh) * | 2019-11-26 | 2022-04-05 | 北京杰思安全科技有限公司 | 一种基于大数据的流处理预警的方法 |
| CN111274320A (zh) * | 2020-01-17 | 2020-06-12 | 深圳市大富网络技术有限公司 | 分布式存储***的控制方法、装置及分布式存储*** |
| CN111274320B (zh) * | 2020-01-17 | 2023-09-12 | 深圳市大富网络技术有限公司 | 分布式存储***的控制方法、装置及分布式存储*** |
| CN111949660A (zh) * | 2020-08-12 | 2020-11-17 | 光大兴陇信托有限责任公司 | 一种基于HashMap数据结构的分布式比较方法 |
| CN111949660B (zh) * | 2020-08-12 | 2024-04-12 | 光大兴陇信托有限责任公司 | 一种基于HashMap数据结构的分布式比较方法 |
| CN116938934A (zh) * | 2023-09-19 | 2023-10-24 | 江苏嘉擎信息技术有限公司 | 一种基于报文的任务切换控制方法及*** |
| CN116938934B (zh) * | 2023-09-19 | 2023-12-22 | 江苏嘉擎信息技术有限公司 | 一种基于报文的任务切换控制方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108989106A (zh) | 一种分布式集群的数据处理方法、装置及*** | |
| Lee et al. | Load-balancing tactics in cloud | |
| US8468246B2 (en) | System and method for allocating resources in a distributed computing system | |
| CN105357296A (zh) | 一种Docker云平台下弹性缓存*** | |
| CN108762924A (zh) | 一种负载均衡的方法、装置和计算机可读存储介质 | |
| CN109412874B (zh) | 设备资源的配置方法、装置、服务器及存储介质 | |
| CN108881348A (zh) | 服务质量控制方法、装置和存储服务器 | |
| CN108196788A (zh) | QoS指标监测方法、装置、存储介质 | |
| US20060200469A1 (en) | Global session identifiers in a multi-node system | |
| CN107566214B (zh) | 一种性能测试方法和装置 | |
| JP5753030B2 (ja) | キャッシュクラウド構造を利用したキャッシュシステムおよびキャッシングサービスの提供方法 | |
| CN106055271B (zh) | 一种基于云计算的重复数据去重选择方法及装置 | |
| CN104503894A (zh) | 分布式服务器状态实时监测***及方法 | |
| CN110727508A (zh) | 一种任务调度***和调度方法 | |
| JP2016051446A (ja) | 計算機システム、計算機、負荷分散方法及びそのプログラム | |
| CN112306369A (zh) | 一种数据处理方法、装置、服务器及存储介质 | |
| CN109542627A (zh) | 节点切换方法、装置、管理机、节点设备和分布式*** | |
| JP2014531691A (ja) | 稼働中モジュールの診断検査 | |
| CN109302324A (zh) | 一种私有云监控预警方法及*** | |
| US7912956B1 (en) | Service level agreement based control of a distributed computing system | |
| CN115098028A (zh) | 一种多路径存储的路径设备选择方法、装置、设备及介质 | |
| CN105471616B (zh) | 缓存***管理方法和*** | |
| CN109408597A (zh) | 一种电网计量大数据存储***及其创建方法 | |
| CN109302319B (zh) | 报文池分布式集群及其管理方法 | |
| TW201832523A (zh) | 多租戶軟體定義網路中虛擬網路之流表彈性切割系統 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181211 |
|
| RJ01 | Rejection of invention patent application after publication |