CN105933391A - 一种节点扩容方法、装置及*** - Google Patents

一种节点扩容方法、装置及*** Download PDF

Info

Publication number
CN105933391A
CN105933391A CN201610222111.6A CN201610222111A CN105933391A CN 105933391 A CN105933391 A CN 105933391A CN 201610222111 A CN201610222111 A CN 201610222111A CN 105933391 A CN105933391 A CN 105933391A
Authority
CN
China
Prior art keywords
node
service node
cache system
distributed cache
physical server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610222111.6A
Other languages
English (en)
Other versions
CN105933391B (zh
Inventor
吴连朋
于芝涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Poly Polytron Technologies Inc
Original Assignee
Qingdao Hisense Media Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Hisense Media Network Technology Co Ltd filed Critical Qingdao Hisense Media Network Technology Co Ltd
Priority to CN201610222111.6A priority Critical patent/CN105933391B/zh
Publication of CN105933391A publication Critical patent/CN105933391A/zh
Application granted granted Critical
Publication of CN105933391B publication Critical patent/CN105933391B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
    • H04L41/0663—Performing the actions predefined by failover planning, e.g. switching to standby network elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种节点扩容方法、装置及***，涉及无线通信技术领域，应用于分布式缓存***中，包括至少一个服务节点和N个物理服务器，每个所述服务节点包括一个主节点和至少一个从节点，根据接收的第一指示信息，在所述分布式缓存***中增加新服务节点，并从所述分布式缓存***中选取目标服务节点；所述新服务节点包括一个主节点和至少一个从节点，所述主节点和所述从节点分别部署在不同的物理服务器上；将所述目标服务节点上的内存数据发送至所述新服务节点的主节点上；向缓存代理单元发送第一请求消息，所述第一请求消息至少用于指示所述缓存代理单元更新所述缓存代理单元中的配置信息。用以避免缓存失效和数据丢失。

Description

一种节点扩容方法、装置及***
技术领域
本发明实施例涉及无线通信技术领域，尤其涉及一种节点扩容方法、装置及***。
背景技术
互联网行业中，由于数据访问的实时性要求高、数据量大且并发压力大，很多***会部署分布式的缓存集群来适应业务的需要。缓存集群通过对所有缓存节点标识执行预设算法(例如，哈希策略)将数据访问分散到缓存集群中的多个缓存节点中。
当业务需要更多缓存节点支撑时，就需要在已有的缓存集群中扩容缓存节点，现有技术中，是将新缓存节点直接加入已有的缓存集群中，但是新缓存节点加入已有的缓存集群中之后，会导致已有的缓存集群哈希策略的变化，即原有的部分数据访问可能会被分配到新缓存节点中，但是新缓存节点无原数据。若已有的缓存集群中部署有存储***，则被分配至新缓存节点的数据访问会访问存储***中的数据，造成一段时间的访问高峰，很容易导致存储***瘫痪。如果缓存集群后面没有部署存储***，则直接导致数据丢失，造成业务损失。
发明内容
本发明的实施例提供一种节点扩容方法、装置和***，用以至少解决当在分布式缓存***中增加新服务节点时产生的缓存失效和数据丢失的问题。
为达到上述目的，本发明的实施例采用如下技术方案：
第一方面，本发明实施例提供一种节点扩容方法，应用于分布式缓存***中，所述分布式缓存***包括至少一个服务节点和N个物理服务器，每个所述服务节点包括一个主节点和至少一个从节点，其中，同一服务节点的主节点和从节点分别部署在不同的物理服务器上，且同一服务节点的至少一个从节点部署在不同的物理服务器上；其中，N≥2；所述方法包括：
S101、根据接收的第一指示信息，在所述分布式缓存***中增加新服务节点，并从所述分布式缓存***中选取目标服务节点；所述新服务节点包括一个主节点和至少一个从节点，所述主节点和所述从节点分别部署在不同的物理服务器上；
S102、将所述目标服务节点上的内存数据发送至所述新服务节点的主节点上；
S103、向缓存代理单元发送第一请求消息，所述第一请求消息至少用于指示所述缓存代理单元更新所述缓存代理单元中的配置信息。
结合第一方面，在第一方面的第一种可能的实现方式中，在所述根据接收的第一指示信息，在所述分布式缓存***中增加新服务节点之前，所述方法还包括：
S104、若确定所述分布式缓存***满足节点扩容条件，则发送第一提示信息，所述第一提示消息用于提示在所述分布式缓存***中增加新服务节点。这样一来，所述分布式缓存***可以及时获知所述分布式缓存***中是否需要增加新服务节点，以提升***的整体性能，并避免内存数据的丢失与失效。
结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述节点扩容条件为所述分布式缓存***中存在第一服务节点的主节点和所有从节点均为故障节点，所述新服务节点包括M个从节点，其中，M小于等于N，相应的，所述在所述分布式缓存***中增加新服务节点，包括：
在第一物理服务器上部署第一主节点，在所述N个物理服务器中除所述第一物理服务器之外的N-1个物理服务器中选取M个物理服务器；
在所述M个物理服务器上分别部署所述M个从节点，其中，一个从节点对应一个物理服务器。这样一来，当分布式缓存***中，存在故障节点时，可以及时在所述分布式缓存***中增加新服务节点，避免了内存数据的失效与丢失，同时，将新服务节点的主节点和从节点部署在不同的物理服务器上当新服务节点故障以及新服务节点所在的物理服务器故障时，从节点可以替代主节点为用户的访问请求提供相应的服务。
结合第一方面的第一种可能的实现方式，在第一方面的第三种可能的实现方式中，所述第一请求消息用于指示所述缓存代理单元将所述目标服务节点的配置从所述缓存代理单元中删掉，以及在所述缓存代理单元中将所述新服务节点的标识更改为所述目标服务节点的标识。这样一来，当目标服务节点故障时，可以及时在缓存代理单元中更新新服务节点的配置信息，以便于当所述缓存代理单元接收到新的访问请求时，可以及时从服务节点获取所述访问请求请求访问的内存数据。
结合第一方面的第一种可能的实现方式，在第一方面的第四种可能的实现方式中，所述节点扩容条件为所述分布式缓存***中用户请求量大于第一预设阈值或所述分布式缓存***的内存占用率大于第二预设阈值；
所述将所述目标服务节点上的内存数据发送至所述新服务节点的主节点上，包括：
根据用户在所述分布式缓存***中增加的新服务节点数量，所述新增节点的内存以及所述分布式缓存***中每个服务节点的内存，从所述分布式缓存***中至少选取一个服务节点为目标服务节点；
将所述目标服务节点的主节点从第二物理服务器迁移至第三物理服务器，并将所述目标服务节点的所有从节点分别迁移至所述新增节点的所有从节点所在的物理服务器上；其中，所述第二物理服务器为所述目标服务节点的主节点所在的物理服务器；所述第三物理服务器为所述新服务节点的主节点所在的物理服务器；
将所述目标服务节点的内存数据迁移至所述新服务节点的主节点，以使得目标服务节点的内存数据迁移至所述新增节点的主节点之后，所述分布式缓存***中用户请求量小于第一预设阈值或所述分布式缓存***的内存占用率小于第二预设阈值。这样一来，当分布式缓存***的内存占用率或者用户请求量分别大于第一预设阈值和第二预设阈值时，可以及时在分布式缓存***中增加新服务节点用于分担现有服务节点的负荷，以提升分布式缓存***的性能，同时可以当新服务节点故障以及新服务节点所在的物理服务器故障时，从节点可以替代主节点为用户的访问请求提供相应的服务。
结合第一方面的第四种可能的实现方式，在第一方面的第五种可能的实现方式中，在所述将所述目标服务节点的内存数据迁移至所述新服务节点的主节点之后，所述方法还包括：
判断所述分布式缓存***中用户请求量是否小于第三预设阈值或所述分布式缓存***的内存占用率是否小于第四预设阈值；
若确定所述分布式缓存***中用户请求量小于第三预设阈值或所述分布式缓存***的内存占用率小于第四预设阈值，则执行步骤S104。这样一来，可以进一步提升分布式缓存***的性能。
结合第一方面的第五种可能的实现方式，在第一方面的第六种可能的实现方式中，所述第一请求消息携带有第二端口和第二IP地址；
所述第一请求消息具体用于指示所述缓存代理单元将所述目标服务节点的第一IP地址和第一端口更改为第二IP地址和第二端口；其中，第一IP地址为所述目标服务节点上内存数据未迁移前在所述缓存代理单元中的地址，所述第一端口为所述目标服务节点上内存数据未迁移前在所述缓存代理单元中的端口，第二IP地址为所述目标服务节点上内存数据迁移至新服务节点之后所述内存数据在所述主节点上的地址，所述第二端口为所述目标服务节点上内存数据迁移至所述新服务节点之后所述内存数据对应的端口。这样一来，当分布式缓存***满足此扩容条件时，由于目标服务节点上内存数据被迁移至新目标节点上之后，目标服务节点上的内存数据会对应一个新的IP地址和访问端口，即第二端口和第二IP地址，若不及时更新缓存代理，当缓存代理单元接收到新的访问请求，该访问请求用于访问目标服务节点上的内存数据时，可能会根据目标服务节点未迁移之前的第一IP地址和第一端口无法从分布式缓存***中获取到相应的内存数据。故将所述目标服务节点的第一IP地址和第一端口更改为第二IP地址和第二端口这样，当有新的访问请用户访问目标服务节点上的内存数据时，可以及时将所述访问请求指向的内存数据返回给所述访问请求。
第二方面，本发明实施例提供一种节点扩容装置，应用于分布式缓存***中，所述分布式缓存***包括至少一个服务节点和N个物理服务器，每个所述服务节点包括一个主节点和至少一个从节点，其中，同一服务节点的主节点和从节点分别部署在不同的物理服务器上，且同一服务节点的至少一个从节点部署在不同的物理服务器上；其中，N≥2；所述装置，包括：
执行单元，用于根据接收的第一指示信息，在所述分布式缓存***中增加新服务节点，并从所述分布式缓存***中选取目标服务节点；所述新服务节点包括一个主节点和至少一个从节点，所述主节点和所述从节点分别部署在不同的物理服务器上；
第一发送单元，用于将所述目标服务节点上的内存数据发送至所述新服务节点的主节点上；
第二发送单元，向缓存代理单元发送第一请求消息，所述第一请求消息至少用于指示所述缓存代理单元更新所述缓存代理单元中的配置信息。
结合第二方面，在第二方面的第一种可能的实现方式中，所述装置还包括：
第一判断单元，用于判断所述分布式缓存***是否满足节点扩容条件；
第三发送单元，用于在所述第一判断单元确定所述分布式缓存***满足节点扩容条件之后，发送第一提示信息，所述第一提示消息用于提示用户在所述分布式缓存***中增加新服务节点。
结合第二方面，在第二方面的第二种可能的实现方式中，所述节点扩容条件为所述分布式缓存***中存在第一服务节点的主节点和所有从节点均为故障节点，所述新服务节点包括M个从节点，其中，M小于等于N，所述执行单元至少包括部署模块，所述部署模块具体用于：
在第一物理服务器上部署第一主节点，在所述N个物理服务器中除所述第一物理服务器之外的N-1个物理服务器中选取M个物理服务器；
在所述M个物理服务器上分别部署所述M个从节点，其中，一个从节点对应一个物理服务器。
结合第二方面的第三种可能的实现方式，在第二方面的第三种可能的实现方式中，所述第一请求消息用于指示所述缓存代理单元将所述目标服务节点的配置从所述缓存代理单元中删掉，以及在所述缓存代理单元中将所述新服务节点的标识更改为所述目标服务节点的标识。
结合第二方面，在第二方面的第四种可能的实现方式中，所述节点扩容条件为所述分布式缓存***中用户请求量大于第一预设阈值或所述分布式缓存***的内存占用率大于第二预设阈值；
所述第一发送单元，包括：
选取模块，用于根据用户在所述分布式缓存***中增加的新服务节点数量，所述新增节点的内存以及所述分布式缓存***中每个服务节点的内存，从所述分布式缓存***中至少选取一个服务节点为目标服务节点；
节点迁移模块，用于将所述目标服务节点的主节点从第二物理服务器迁移至第三物理服务器，并将所述目标服务节点的所有从节点分别迁移至所述新增节点的所有从节点所在的物理服务器上；其中，所述第二物理服务器为所述目标服务节点的主节点所在的物理服务器；所述第三物理服务器为所述新服务节点的主节点所在的物理服务器；
内存迁移模块，用于将所述目标服务节点的内存数据迁移至所述新服务节点的主节点，以使得目标服务节点的内存数据迁移至所述新增节点的主节点之后，所述分布式缓存***中用户请求量小于第一预设阈值或所述分布式缓存***的内存占用率小于第二预设阈值。
结合第二方面的第四种可能的实现方式，在第二方面的第五种可能的实现方式中，所述装置还包括第二判断单元，
所述第二判断单元具体用于，判断所述分布式缓存***中用户请求量是否小于第三预设阈值或所述分布式缓存***的内存占用率是否小于第四预设阈值；并在所述分布式缓存***中用户请求量小于第三预设阈值或所述分布式缓存***的内存占用率小于第四预设阈值时，调用所述第三发送单元。
结合第二方面的第五种可能的实现方式，在第二方面的第六种可能的实现方式中，所述第一请求消息携带有第二端口和第二IP地址；
所述第一请求消息具体用于指示所述缓存代理单元将所述目标服务节点的第一IP地址和第一端口更改为第二IP地址和第二端口；其中，第一IP地址为所述目标服务节点上内存数据未迁移前在所述缓存代理单元中的地址，所述第一端口为所述目标服务节点上内存数据未迁移前在所述缓存代理单元中的端口，第二IP地址为所述目标服务节点上内存数据迁移至新服务节点之后所述内存数据在所述主节点上的地址，所述第二端口为所述目标服务节点上内存数据迁移至所述新服务节点之后所述内存数据对应的端口。
第三方面，本发明实施例提供一种分布式缓存***，所述分布式缓存***包括Linux虚拟服务器、至少一个缓存代理单元以及至少一个如以上任意所述的节点扩容装置。
本发明实施例提供了一种节点扩容方法，根据接收的第一指示信息，在所述分布式缓存***中增加新服务节点，并从所述分布式缓存***中选取目标服务节点；所述新服务节点包括一个主节点和至少一个从节点，由于从节点实时同步主节点上的内存数据，这样当主节点故障时，节点扩容装置会自动将从节点切换成主节点，为访问请求提供服务，所述主节点和所述从节点分别部署在不同的物理服务器上，这样可以当主节点所在的物理服务器故障时，通过从节点为分布式缓存***的访问请求提供服务，将所述目标服务节点上的内存数据发送至所述新服务节点的主节点上；这样一来当一个主节点出现故障或者***内存不足时，可以使得从节点替换成主节点，同时也可以及时避免内存数据的丢失，向缓存代理单元发送第一请求消息，所述第一请求消息至少用于指示所述缓存代理单元更新所述缓存代理单元中的配置信息。这样，当在分布式缓存***中增加新服务节点时，若接收到管理员发送的访问请求，可以根据缓存代理单元中的配置信息及时获取到所述访问请求指示的内存数据。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a为本发明实施例提供的一种节点扩容方法的应用架构图一；
图1b为本发明实施例提供的一种节点扩容方法的应用架构图二；
图2为本发明实施例提供的一种节点扩容方法的流程示意图；
图3为本发明实施例提供的一种节点扩容方法的应用结构图三；
图4为本发明实施例提供的一种节点扩容装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1a和图1b为本发明实施例的一种节点扩容方法的应用架构图，如图1a和图1b所示，该分布式缓存***包括Linux虚拟服务器、至少一个缓存代理单元以及至少一个节点扩容装置，其中，节点扩容装置包括至少一个服务节点和N个物理服务器，每个所述服务节点包括一个主节点和至少一个从节点，其中，同一服务节点的主节点和从节点分别部署在不同的物理服务器上，且同一服务节点的多个从节点部署在不同的物理服务器上；其中，N≥2；管理员发送访问请求到LVS(Linux Virtual Server，Linux虚拟服务器)，LVS采用IP负载均衡技术和基于内容请求分发技术，将管理员发送的访问请求均衡地转移到不同的物理服务器上执行，LVS对访问请求做负载均衡之后，将管理员发送访问请求发到后端缓存代理单元(例如，Twemproxy)；缓存代理单元收到LVS转发的访问请求后，根据配置策略从后台分布式缓存***中选择一个服务节点为管理员发送的访问请求提供服务。
其中，本发明实施例的缓存代理单元与所述节点扩容装置连接，该缓存代理单元至少具有以下功能：
接收管理员发送的访问请求；
根据访问请求选择配置的策略，从分布式缓存***中选择一个主服务节点提供服务；
用于实时监控节点扩容装置发送的请求消息；
根据当接收到节点扩容装置发送的第一请求消息，该第一请求消息包含主服务节点的变更消息以及服务节点的变更消息，并根据所述第一请求消息及时更新所述缓存代理单元中故障服务节点的配置信息以及新服务节点的配置信息，并实时更新分布式缓存***以及将更新结构发送至新的主节点。
用于当配置某个服务节点的一个或多个从节点时，会自动开启读写分离模式。将写请求发送到主节点，读请求轮询发送到从节点。
其中，服务节点存储有内存数据，用于对管理员发送的访问请求提供响应，一个服务节点包含一个主节点和至少一个从节点；其中，主节点，用于接收缓存代理单元发送的读或写数据的请求，当缓存代理单元发送的访问请求为写请求，所述主节点用于将访问请求中携带的内存数据写入主节点的内存存储中，若所述缓存代理单元发送的访问请求为读请求，所述主节点用于根据所述访问请求携带的目标数据的地址从主节点的内存存储中读取所述目标访问地址指向的内存数据，并将所述内存数据返回给缓存代理单元，以使得所述缓存代理单元将所述目标访问地址指向的内存数据返回给管理员。
从节点，用于实时同步与其属于同一服务节点的主节点上的内存数据；当缓存代理单元发送的访问请求为读请求时，从节点也可以处理缓存代理单元发送的读数据请求，从内存中读取所述访问请求指向的内存数据，并将所述访问请求指向的内存数据返回响应给缓存代理单元。
物理服务器用于部署服务节点的硬件环境。一个物理服务器上可以部署一个或多个不同的服务节点。但同一个服务节点的主从节点必须部署在不同的物理服务器。物理服务器可以分为主服务器和从服务器，主服务器为部署有主节点的物理服务器，从服务器为部署有与该主节点属于同一个服务节点的从节点的物理服务器。
所述节点扩容装置与缓存代理单元连接，所述节点扩容装置至少具有以下功能：
用于通过API或者应用程序与用户进行交互，例如，可以接收用户发送的第一指示信息，同时向用户展示或应用程序第一提示消息；
用于不断地检查主服务器、从服务器、主节点和从节点是否运作正常；
用于当被监控的某个主服务器、主节点出现故障时，向管理员或者应用程序发送第一提示消息。例如，通过API向用户或者其他应用程序发送第一提示消息。
用于当一个主服务器不能正常工作时，将失效主服务器的其中一个从服务器升级为新的主服务器，并让失效主服务器的其他从服务器改为复制新的主服务器；的那个一个服务节点的主节点出现故障时，将该服务节点的一个从服务节点升级为主节点；同时当一个服务节点的主服务器和从服务器均出现故障时，可以从所述分布式缓存***中根据用户输入的指示信息选取目标服务节点，并将出现故障的服务节点上的内存数据发送至目标服务节点上。
其中，该节点扩容装置可以为分布式缓存***中的Sentinel单元。
在一个分布式缓存***可以部署一个节点扩容装置监控所有服务节点，也可以部署多个节点扩容装置共同监控所有服务节点或分别监控某个或某多个服务节点。
如图1b所示，本发明实施例中每个服务节点均包括一个主节点和至少一个从节点，主节点用于存储内存数据，并部署实例，从节点用于实时同步主节点中的内存数据，每个服务节点的主节点和从节点分别部署在不同的物理服务器上，例如，如图1b所示的服务节点1，该服务节点1包括主节点1和从节点1，主节点1部署在物理服务器1上，从节点1部署在物理服务器2上，这样一来，可以避免当主节点所在的服务器发生故障时，可以用从节点向用户发出的访问请求提供服务。
本发明实施例将一个服务节点布置成主节点和至少一个从节点的目的在于，为了避免主节点发生故障时，引起的内存失效以及丢失的问题，更进一步的，将同一个服务节点的主节点和从节点分别部署在不同的物理服务器上，这样一来，当主节点发生故障，且主节点的物理服务器发生故障时，由于从节点实时同步主节点上的内存数据，故可以通过从节点向用户的访问请求提供服务。
参见图2，图2为本发明实施例提供的一种节点扩容方法，应用于图1a和图1b所示的分布式缓存***中，所述方法包括：
S101、节点扩容装置根据接收的第一指示信息，在所述分布式缓存***中增加新服务节点，并从所述分布式缓存***中选取目标服务节点；所述新服务节点包括一个主节点和至少一个从节点，所述主节点和所述从节点分别部署在不同的物理服务器上；
S102、所述节点扩容装置将所述目标服务节点上的内存数据发送至所述新服务节点的主节点上；
S103、所述节点扩容装置向缓存代理单元发送第一请求消息，所述第一请求消息至少用于指示所述缓存代理单元更新所述缓存代理单元中的配置信息。
本发明实施例提供了一种节点扩容方法，根据接收的第一指示信息，在所述分布式缓存***中增加新服务节点，并从所述分布式缓存***中选取目标服务节点；所述新服务节点包括一个主节点和至少一个从节点，由于从节点实时同步主节点上的内存数据，这样当主节点故障时，可以通过从节点为分布式缓存***的访问请求提供服务，所述主节点和所述从节点分别部署在不同的物理服务器上，这样可以当主节点所在的物理服务器故障时，通过从节点为分布式缓存***的访问请求提供服务，将所述目标服务节点上的内存数据发送至所述新服务节点的主节点上。这样一来，当一个主节点出现故障或者***内存不足时，可以使得从节点替换成主节点，同时也可以及时避免内存数据的丢失，向缓存代理单元发送第一请求消息，所述第一请求消息至少用于指示所述缓存代理单元更新所述缓存代理单元中的配置信息。这样，当在分布式缓存***中增加新服务节点时，若接收到管理员发送的访问请求，可以根据缓存代理单元中的配置信息及时获取到所述访问请求指示的内存数据。
其中，本发明实施例中每个服务节点做主从部署，即每个服务节点部署1个主节点和至少1个从节点。从节点会实时同步主节点的内存数据，主节点关闭持久化功能，由从节点做持久化操作。
为了提高主从同步内存数据的可靠性要求很高的场景，本发明实施例中每个服务节点配置2个或以上从节点，并配置从节点故障时，主节点拒绝管理员写操作。
本发明实施例对所述节点扩容装置接收第一指示信息的方式不进行限定，例如，可以是所述节点扩容装置向分布式缓存***中的管理员或者应用程序发送第一提示信息之后，所述管理员或者应用程序向所述节点扩容装置发送第一指示信息，也可以是所述管理员或者应用程序自己检测到所述节点扩容装置满足节点扩容条件之后向所述节点扩容装置发送第一指示信息。
示例性的，为了使得所述分布式缓存***可以及时获知所述分布式缓存***中是否需要增加新服务节点，以提升***的整体性能，并避免内存数据的丢失与失效，本发明实施例在执行步骤S101之前，本发明实施例还包括:
S104、若确定所述分布式缓存***满足节点扩容条件，则发送第一提示信息，所述第一提示消息用于提示在所述分布式缓存***中增加新服务节点。
优选的，所述节点扩容装置将所述第一提示消息发送给管理员或者应用程序。
本发明实施例对所述第一提示消息的具体形式不进行限定，例如可以是语音形式的报警信息，例如，通过与所述分布式缓存***建立连接的报警装置向管理员展示所述第一提示消息，也可以是文字形式的通过展示窗口展示给管理员，通过管理员进行选择，在管理员同意在所述分布式缓存***中建立新服务节点时，所述节点扩容装置在所述分布式缓存***中建立新服务节点。当然也可以将所述第一提示消息向所述应用程序发送，例如，该应用程序可以为运行在所述分布式缓存***中的监控程序，所述监控程序实时监控整个分布式缓存***的负载、内存资源等，当达到设定的阈值时，会通过告警接口告警到告警页面上。管理员查看到告警页面后可以确认需要做***扩容。
本发明实施例对所述阈值不进行限定，可以根据需要进行选择。
其中，所述管理员或应用程序通过API接口与所述分布式集群***的节点扩容装置连接。
进一步可选的，由于在所述分布式缓存***中存在多种节点扩容条件，不同的节点扩容条件对应不同的在所述分布式缓存***中增加新服务节点、对应不同的向缓存代理单元发送第一请求消息的内容、功能以及对应不同的将内存数据发送至新服务节点的方式，本发明实施例对此不进行限定。示例性的，本发明实施例中的节点扩容条件为所述节点扩容条件为所述分布式缓存***中存在第一服务节点的主节点和所有从节点均为故障节点，或者所述分布式缓存***中用户请求量大于第一预设阈值或所述分布式缓存***的内存占用率大于第二预设阈值。下面分别进行说明。
一种实现方式中，当所述节点扩容条件为所述分布式缓存***中存在第一服务节点的主节点和所有从节点均为故障节点时，所述新服务节点包括M个从节点，其中，M小于等于N，此时，该目标服务节点为出现故障的服务节点。这样一来，当分布式缓存***中，存在故障节点时，可以及时在所述分布式缓存***中增加新服务节点，避免了内存数据的失效与丢失，同时，将新服务节点的主节点和从节点部署在不同的物理服务器上当新服务节点故障以及新服务节点所在的物理服务器故障时，从节点可以替代主节点为用户的访问请求提供相应的服务。
仅是示例性的，对于步骤S101具体可以通过以下方式实现：
S1011A、在第一物理服务器上部署第一主节点，在所述N个物理服务器中除所述第一物理服务器之外的N-1个物理服务器中选取M个物理服务器；
S1012A、在所述M个物理服务器上分别部署所述M个从节点，其中，一个从节点对应一个物理服务器。
示例性的，若所述节点扩容条件为所述分布式缓存***中存在第一服务节点对应的主节点和从节点均为故障节点，此时，为了使得存储在第一服务节点上内存数据不丢失，此时，所述节点扩容装置向管理员或应用程序发送第一提示信息，管理员或者应用程序接收到所述第一提示消息后若同意在所述分布式缓存***中建立新服务节点，则向所述节点扩容装置发送第一指示信息，所述节点扩容装置根据所述第一指示信息在所述分布式缓存***中选择一个物理服务器并在其上部署第一主节点，在所述N个物理服务器中除所述第一物理服务器之外的N-1个物理服务器中选取M个物理服务器，在所述M个物理服务器上分别部署所述M个从节点，当然，管理员可以根据所述目标服务节点上存储的内存数据的重要性决定在所述分布式存储***中部署几个从节点，本发明实施例对此不进行限定，用户可以根据需要进行选择。
进一步可选的，当所述节点扩容条件为所述分布式缓存***中存在第一服务节点的主节点和所有从节点均为故障节点时，所述第一请求消息用于指示所述缓存代理单元将所述目标服务节点的配置从所述缓存代理单元中删掉，以及在所述缓存代理单元中将所述新服务节点的标识更改为所述目标服务节点的标识。这样一来，当目标服务节点故障时，可以及时在缓存代理单元中更新新服务节点的配置信息，以便于当所述缓存代理单元接收到新的访问请求时，可以及时从服务节点获取所述访问请求请求访问的内存数据。
进一步可选的，在步骤S1012A之后，所述方法还包括：
S1013A、将所述目标服务节点上的内存数据发送至所述第一物理服务器上布置的主节点。
为了保证内存数据不致于丢失，保证主从复制可靠性，提升主从都故障时的可靠性。所述主节点按照预设周期周期性的将存储在第一主节点上的内存数据同步在所述新增服务节点的其他从节点上。
另一种实现方式中，当所述节点扩容条件为所述分布式缓存***中用户请求量大于第一预设阈值或所述分布式缓存***的内存占用率大于第二预设阈值，示例性的，对于步骤S102具体可以通过以下方式实现：
S1021、根据用户在所述分布式缓存***中增加的新服务节点数量，所述新增节点的内存以及所述分布式缓存***中每个服务节点的内存，从所述分布式缓存***中至少选取一个服务节点为目标服务节点；
S1022、将所述目标服务节点的主节点从第二物理服务器迁移至第三物理服务器，并将所述目标服务节点的所有从节点分别迁移至所述新增节点的所有从节点所在的物理服务器上；其中，所述第二物理服务器为所述目标服务节点的主节点所在的物理服务器；所述第三物理服务器为所述新服务节点的主节点所在的物理服务器；
S1023、将所述目标服务节点的内存数据迁移至所述新服务节点的主节点，以使得目标服务节点的内存数据迁移至所述新增节点的主节点之后，所述分布式缓存***中用户请求量小于第一预设阈值或所述分布式缓存***的内存占用率小于第二预设阈值。
在图1b所示的场景下，当所述分布式缓存***中用户请求量大于第一预设阈值或所述分布式缓存***的内存占用率大于第二预设阈值时，通过本发明实施例提供的方法可以将一个物理服务器上的部分主节点或者从节点迁移至另一个物理服务器上，例如，主节点2迁移至物理服务器2上，将从节点4迁移至物理服务器2上，需要说明的是，位于同一物理服务器上属于不同服务节点的主节点和从节点，迁移之后可以位于同一物理服务器上，也可以位于不同的物理服务器上，本发明实施例对此不进行限定，但是，属于同一服务节点的主节点和从节点在迁移之后必须位于不同的物理服务器上，如图3所示的主节点1和从节点1，所述主节点1和从节点1属于同一个服务节点，在迁移之前，如图1b所示，主节点1和从节点1分别位于物理服务器1和物理服务器2上，迁移之后，所述主节点1位于物理服务器1上，所述从节点1位于物理服务器3上。
其中，本发明实施例对所述第一预设阈值和所述第二预设阈值的具体数值不进行限定，可以是用户通过管理员在所述应用程序中进行设置，并将设置好的第一预设阈值和第二预设阈值发送给所述节点扩容装置，所述节点扩容装置及时获取所述分布式缓存***中的用户请求量以及内存占用率与第一预设阈值和第二预设阈值进行比对，当超过预设第一预设阈值和第二预设阈值时，所述节点扩容装置向所述应用程序或管理员发送第一提示消息。
进一步可选的，在所述步骤S1023之后，所述方法还包括：
S1024、判断所述分布式缓存***中用户请求量是否小于第三预设阈值或所述分布式缓存***的内存占用率是否小于第四预设阈值；
S1025、若确定所述分布式缓存***中用户请求量小于第三预设阈值或所述分布式缓存***的内存占用率小于第四预设阈值，则执行步骤S104。这样可以保证所述分布式缓存***及时将内存数据无损迁移到新服务节点上，避免缓存失效和数据丢失。
进一步可选的，当所述节点扩容条件为所述分布式缓存***中用户请求量大于第一预设阈值或所述分布式缓存***的内存占用率大于第二预设阈值，所述第一请求消息携带有第二端口和第二IP地址；所述第一请求消息具体用于指示所述缓存代理单元将所述目标服务节点的第一IP地址和第一端口更改为第二IP地址和第二端口；其中，第一IP地址为所述目标服务节点上内存数据未迁移前在所述缓存代理单元中的地址，所述第一端口为所述目标服务节点上内存数据未迁移前在所述缓存代理单元中的端口，第二IP地址为所述目标服务节点上内存数据迁移至新服务节点之后所述内存数据在所述主节点上的地址，所述第二端口为所述目标服务节点上内存数据迁移至所述新服务节点之后所述内存数据对应的端口。
如图4所示，本发明实施例提供一种节点扩容装置，应用于分布式缓存***中，所述分布式缓存***包括至少一个服务节点和N个物理服务器，每个所述服务节点包括一个主节点和至少一个从节点，其中，同一服务节点的主节点和从节点分别部署在不同的物理服务器上，且同一服务节点的至少一个从节点部署在不同的物理服务器上；其中，N≥2；节点扩容装置40，包括：
执行单元401，用于根据接收的第一指示信息，在所述分布式缓存***中增加新服务节点，并从所述分布式缓存***中选取目标服务节点；所述新服务节点包括一个主节点和至少一个从节点，所述主节点和所述从节点分别部署在不同的物理服务器上；
第一发送单元402，用于将所述目标服务节点上的内存数据发送至所述新服务节点的主节点上；
第二发送单元403，向缓存代理单元发送第一请求消息，所述第一请求消息至少用于指示所述缓存代理单元更新所述缓存代理单元中的配置信息。
本发明实施例提供了一种节点扩容装置，根据接收的第一指示信息，在所述分布式缓存***中增加新服务节点，并从所述分布式缓存***中选取目标服务节点；所述新服务节点包括一个主节点和至少一个从节点，由于从节点实时同步主节点上的内存数据，这样当主节点故障时，可以通过从节点为分布式缓存***的访问请求提供服务，所述主节点和所述从节点分别部署在不同的物理服务器上，这样可以当主节点所在的物理服务器故障时，通过从节点为分布式缓存***的访问请求提供服务，将所述目标服务节点上的内存数据发送至所述新服务节点的主节点上；这样一来当一个主节点出现故障或者***内存不足时，可以使得从节点替换成主节点，同时也可以及时避免内存数据的丢失，向缓存代理单元发送第一请求消息，所述第一请求消息至少用于指示所述缓存代理单元更新所述缓存代理单元中的配置信息。这样，当在分布式缓存***中增加新服务节点时，若接收到管理员发送的访问请求，可以根据缓存代理单元中的配置信息及时获取到所述访问请求指示的内存数据。
进一步可选的，所述装置还包括：
第一判断单元，用于判断所述分布式缓存***是否满足节点扩容条件；
第三发送单元，用于在所述第一判断单元确定所述分布式缓存***满足节点扩容条件之后，发送第一提示信息，所述第一提示消息用于提示用户在所述分布式缓存***中增加新服务节点。
进一步可选的，所述节点扩容条件为所述分布式缓存***中存在第一服务节点的主节点和所有从节点均为故障节点，所述新服务节点包括M个从节点，其中，M小于等于N，所述执行单元至少包括部署模块，所述部署模块具体用于：
在第一物理服务器上部署第一主节点，在所述N个物理服务器中除所述第一物理服务器之外的N-1个物理服务器中选取M个物理服务器；
在所述M个物理服务器上分别部署所述M个从节点，其中，一个从节点对应一个物理服务器。
进一步可选的，所述第一请求消息用于指示所述缓存代理单元将所述目标服务节点的配置从所述缓存代理单元中删掉，以及在所述缓存代理单元中将所述新服务节点的标识更改为所述目标服务节点的标识。
进一步可选的，所述节点扩容条件为所述分布式缓存***中用户请求量大于第一预设阈值或所述分布式缓存***的内存占用率大于第二预设阈值；
所述第一发送单元，包括：
选取模块，用于根据用户在所述分布式缓存***中增加的新服务节点数量，所述新增节点的内存以及所述分布式缓存***中每个服务节点的内存，从所述分布式缓存***中至少选取一个服务节点为目标服务节点；
节点迁移模块，用于将所述目标服务节点的主节点从第二物理服务器迁移至第三物理服务器，并将所述目标服务节点的所有从节点分别迁移至所述新增节点的所有从节点所在的物理服务器上；其中，所述第二物理服务器为所述目标服务节点的主节点所在的物理服务器；所述第三物理服务器为所述新服务节点的主节点所在的物理服务器；
内存迁移模块，用于将所述目标服务节点的内存数据迁移至所述新服务节点的主节点，以使得目标服务节点的内存数据迁移至所述新增节点的主节点之后，所述分布式缓存***中用户请求量小于第一预设阈值或所述分布式缓存***的内存占用率小于第二预设阈值。
进一步可选的，所述装置还包括第二判断单元，
所述第二判断单元具体用于，判断所述分布式缓存***中用户请求量是否小于第三预设阈值或所述分布式缓存***的内存占用率是否小于第四预设阈值；并在所述分布式缓存***中用户请求量小于第三预设阈值或所述分布式缓存***的内存占用率小于第四预设阈值时，调用所述第三发送单元。
结合第二方面的第五种可能的实现方式，在第二方面的第六种可能的实现方式中，所述第一请求消息携带有第二端口和第二IP地址；
所述第一请求消息具体用于指示所述缓存代理单元将所述目标服务节点的第一IP地址和第一端口更改为第二IP地址和第二端口；其中，第一IP地址为所述目标服务节点上内存数据未迁移前在所述缓存代理单元中的地址，所述第一端口为所述目标服务节点上内存数据未迁移前在所述缓存代理单元中的端口，第二IP地址为所述目标服务节点上内存数据迁移至新服务节点之后所述内存数据在所述主节点上的地址，所述第二端口为所述目标服务节点上内存数据迁移至所述新服务节点之后所述内存数据对应的端口。
在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种节点扩容方法，其特征在于，应用于分布式缓存***中，所述分布式缓存***包括至少一个服务节点和N个物理服务器，每个所述服务节点包括一个主节点和至少一个从节点，其中，同一服务节点的主节点和从节点分别部署在不同的物理服务器上，且同一服务节点的至少一个从节点部署在不同的物理服务器上；其中，N≥2；所述方法包括：
S101、根据接收的第一指示信息，在所述分布式缓存***中增加新服务节点，并从所述分布式缓存***中选取目标服务节点；所述新服务节点包括一个主节点和至少一个从节点，所述主节点和所述从节点分别部署在不同的物理服务器上；
S102、将所述目标服务节点上的内存数据发送至所述新服务节点的主节点上；
S103、向缓存代理单元发送第一请求消息，所述第一请求消息至少用于指示所述缓存代理单元更新所述缓存代理单元中的配置信息。
2.根据权利要求1所述的方法，其特征在于，在所述根据接收的第一指示信息，在所述分布式缓存***中增加新服务节点之前，所述方法还包括：
S104、若确定所述分布式缓存***满足节点扩容条件，则发送第一提示信息，所述第一提示消息用于提示在所述分布式缓存***中增加新服务节点。
3.根据权利要求2所述的方法，其特征在于，所述节点扩容条件为所述分布式缓存***中存在第一服务节点的主节点和所有从节点均为故障节点，所述新服务节点包括M个从节点，其中，M小于等于N，相应的，所述在所述分布式缓存***中增加新服务节点，包括：
在第一物理服务器上部署第一主节点，在所述N个物理服务器中除所述第一物理服务器之外的N-1个物理服务器中选取M个物理服务器；
在所述M个物理服务器上分别部署所述M个从节点，其中，一个从节点对应一个物理服务器。
4.根据权利要求2所述的方法，其特征在于，所述节点扩容条件为所述分布式缓存***中用户请求量大于第一预设阈值或所述分布式缓存***的内存占用率大于第二预设阈值；
所述将所述目标服务节点上的内存数据发送至所述新服务节点的主节点上，包括：
根据用户在所述分布式缓存***中增加的新服务节点数量，所述新增节点的内存以及所述分布式缓存***中每个服务节点的内存，从所述分布式缓存***中至少选取一个服务节点为目标服务节点；
将所述目标服务节点的主节点从第二物理服务器迁移至第三物理服务器，并将所述目标服务节点的所有从节点分别迁移至所述新增节点的所有从节点所在的物理服务器上；其中，所述第二物理服务器为所述目标服务节点的主节点所在的物理服务器；所述第三物理服务器为所述新服务节点的主节点所在的物理服务器；
将所述目标服务节点的内存数据迁移至所述新服务节点的主节点，以使得目标服务节点的内存数据迁移至所述新增节点的主节点之后，所述分布式缓存***中用户请求量小于第一预设阈值或所述分布式缓存***的内存占用率小于第二预设阈值。
5.根据权利要求4所述的方法，其特征在于，在所述将所述目标服务节点的内存数据迁移至所述新服务节点的主节点之后，所述方法还包括：
判断所述分布式缓存***中用户请求量是否小于第三预设阈值或所述分布式缓存***的内存占用率是否小于第四预设阈值；
若确定所述分布式缓存***中用户请求量小于第三预设阈值或所述分布式缓存***的内存占用率小于第四预设阈值，则执行步骤S104。
6.一种节点扩容装置，其特征在于，应用于分布式缓存***中，所述分布式缓存***包括至少一个服务节点和N个物理服务器，每个所述服务节点包括一个主节点和至少一个从节点，其中，同一服务节点的主节点和从节点分别部署在不同的物理服务器上，且同一服务节点的至少一个从节点部署在不同的物理服务器上；其中，N≥2；所述装置，包括：
执行单元，用于根据接收的第一指示信息，在所述分布式缓存***中增加新服务节点，并从所述分布式缓存***中选取目标服务节点；所述新服务节点包括一个主节点和至少一个从节点，所述主节点和所述从节点分别部署在不同的物理服务器上；
第一发送单元，用于将所述目标服务节点上的内存数据发送至所述新服务节点的主节点上；
第二发送单元，向缓存代理单元发送第一请求消息，所述第一请求消息至少用于指示所述缓存代理单元更新所述缓存代理单元中的配置信息。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第一判断单元，用于判断所述分布式缓存***是否满足节点扩容条件；
第三发送单元，用于在所述第一判断单元确定所述分布式缓存***满足节点扩容条件之后，发送第一提示信息，所述第一提示消息用于提示用户在所述分布式缓存***中增加新服务节点。
8.根据权利要求7所述的装置，其特征在于，所述节点扩容条件为所述分布式缓存***中存在第一服务节点的主节点和所有从节点均为故障节点，所述新服务节点包括M个从节点，其中，M小于等于N，所述执行单元至少包括部署模块，所述部署模块具体用于：
在第一物理服务器上部署第一主节点，在所述N个物理服务器中除所述第一物理服务器之外的N-1个物理服务器中选取M个物理服务器；
在所述M个物理服务器上分别部署所述M个从节点，其中，一个从节点对应一个物理服务器。
9.根据权利要求6所述的装置，其特征在于，所述节点扩容条件为所述分布式缓存***中用户请求量大于第一预设阈值或所述分布式缓存***的内存占用率大于第二预设阈值；
所述第一发送单元，包括：
选取模块，用于根据用户在所述分布式缓存***中增加的新服务节点数量，所述新增节点的内存以及所述分布式缓存***中每个服务节点的内存，从所述分布式缓存***中至少选取一个服务节点为目标服务节点；
节点迁移模块，用于将所述目标服务节点的主节点从第二物理服务器迁移至第三物理服务器，并将所述目标服务节点的所有从节点分别迁移至所述新增节点的所有从节点所在的物理服务器上；其中，所述第二物理服务器为所述目标服务节点的主节点所在的物理服务器；所述第三物理服务器为所述新服务节点的主节点所在的物理服务器；
内存迁移模块，用于将所述目标服务节点的内存数据迁移至所述新服务节点的主节点，以使得目标服务节点的内存数据迁移至所述新增节点的主节点之后，所述分布式缓存***中用户请求量小于第一预设阈值或所述分布式缓存***的内存占用率小于第二预设阈值。
10.一种分布式缓存***，其特征在于，所述分布式缓存***包括Linux虚拟服务器、至少一个缓存代理单元以及至少一个如权利要求6-9任意一项权利要求所述的节点扩容装置。
CN201610222111.6A 2016-04-11 2016-04-11 一种节点扩容方法、装置及*** Active CN105933391B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610222111.6A CN105933391B (zh) 2016-04-11 2016-04-11 一种节点扩容方法、装置及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610222111.6A CN105933391B (zh) 2016-04-11 2016-04-11 一种节点扩容方法、装置及***

Publications (2)

Publication Number Publication Date
CN105933391A true CN105933391A (zh) 2016-09-07
CN105933391B CN105933391B (zh) 2019-06-21

Family

ID=56840253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610222111.6A Active CN105933391B (zh) 2016-04-11 2016-04-11 一种节点扩容方法、装置及***

Country Status (1)

Country Link
CN (1) CN105933391B (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107104820A (zh) * 2017-03-23 2017-08-29 国网江苏省电力公司信息通信分公司 基于f5服务器节点的动态扩容日常运维策略
CN107357532A (zh) * 2017-07-14 2017-11-17 长沙开雅电子科技有限公司 一种新型集群存储新型缓存预读实现方法
CN107547635A (zh) * 2017-08-04 2018-01-05 新华三大数据技术有限公司 大数据集群主机ip地址修改方法及装置
CN107886328A (zh) * 2017-11-23 2018-04-06 上海壹账通金融科技有限公司 交易处理方法、装置、计算机设备及存储介质
CN107919977A (zh) * 2016-10-11 2018-04-17 阿里巴巴集团控股有限公司 一种基于Paxos协议的分布式一致性***的在线扩容、在线缩容的方法和装置
CN108121507A (zh) * 2017-12-06 2018-06-05 北京奇艺世纪科技有限公司 一种数据处理方法、装置以及电子设备
CN108520025A (zh) * 2018-03-26 2018-09-11 腾讯科技（深圳）有限公司 一种服务节点确定方法、装置、设备及介质
CN108717379A (zh) * 2018-05-08 2018-10-30 平安证券股份有限公司 电子装置、分布式任务调度方法及存储介质
CN108829787A (zh) * 2018-05-31 2018-11-16 郑州云海信息技术有限公司 一种元数据分布式***
CN110019148A (zh) * 2018-09-07 2019-07-16 网联清算有限公司 数据库容量管理方法、装置、存储介质及计算机设备
CN110221916A (zh) * 2019-05-23 2019-09-10 北京奇艺世纪科技有限公司 一种内存扩容方法、装置、配置中心***及电子设备
CN110309156A (zh) * 2018-03-01 2019-10-08 阿里巴巴集团控股有限公司 数据库***、数据库更新、扩容方法及设备
WO2020025016A1 (zh) * 2018-08-03 2020-02-06 北京三快在线科技有限公司 多页面通信的节点初始化
CN111010448A (zh) * 2019-12-23 2020-04-14 北京奇艺世纪科技有限公司 一种分布式消息***和数据中心dc
CN111106947A (zh) * 2018-10-29 2020-05-05 北京金山云网络技术有限公司 一种节点宕机修复方法、装置、电子设备及可读存储介质
CN111338806A (zh) * 2020-05-20 2020-06-26 腾讯科技（深圳）有限公司 一种业务控制方法及装置
CN111338647A (zh) * 2018-12-18 2020-06-26 杭州海康威视数字技术股份有限公司 一种大数据集群管理方法和装置
CN111435320A (zh) * 2019-01-14 2020-07-21 阿里巴巴集团控股有限公司 一种数据处理方法及其装置
CN111556167A (zh) * 2020-05-19 2020-08-18 湖南快乐阳光互动娱乐传媒有限公司 视频cdn节点即时扩容方法、扩容虚拟机房及cnd***
CN112491995A (zh) * 2020-11-18 2021-03-12 浪潮云信息技术股份公司 一种高可用Redis服务架构及方法
CN113407493A (zh) * 2021-06-18 2021-09-17 北京金山云网络技术有限公司 运行方法、数据读写方法、装置、电子设备和介质
WO2021227954A1 (zh) * 2020-05-09 2021-11-18 支付宝(杭州)信息技术有限公司 基于容器集群的应用访问请求处理
CN113806068A (zh) * 2021-07-30 2021-12-17 上海晶赞融宣科技有限公司 业务***的扩容方法及装置、可读存储介质、终端
CN114138825A (zh) * 2021-11-24 2022-03-04 聚好看科技股份有限公司 一种服务器及为应用程序提供数据查询服务的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102025550A (zh) * 2010-12-20 2011-04-20 中兴通讯股份有限公司 一种分布式集群中数据管理的***和方法
CN103034664A (zh) * 2011-10-10 2013-04-10 上海盛霄云计算技术有限公司 控制数据库数据迁移的方法、***及装置
CN103747073A (zh) * 2013-12-30 2014-04-23 乐视网信息技术（北京）股份有限公司 一种分布式缓存的方法和***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102025550A (zh) * 2010-12-20 2011-04-20 中兴通讯股份有限公司 一种分布式集群中数据管理的***和方法
CN103034664A (zh) * 2011-10-10 2013-04-10 上海盛霄云计算技术有限公司 控制数据库数据迁移的方法、***及装置
CN103747073A (zh) * 2013-12-30 2014-04-23 乐视网信息技术（北京）股份有限公司 一种分布式缓存的方法和***

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11271814B2 (en) 2016-10-11 2022-03-08 Alibaba Group Holding Limited Online capacity-expanding and online capacity-reducing methods and apparatuses for distributed consensus system
CN107919977A (zh) * 2016-10-11 2018-04-17 阿里巴巴集团控股有限公司 一种基于Paxos协议的分布式一致性***的在线扩容、在线缩容的方法和装置
CN107919977B (zh) * 2016-10-11 2021-09-03 阿里巴巴集团控股有限公司 一种基于Paxos协议的在线扩容、在线缩容的方法和装置
CN107104820A (zh) * 2017-03-23 2017-08-29 国网江苏省电力公司信息通信分公司 基于f5服务器节点的动态扩容日常运维策略
CN107104820B (zh) * 2017-03-23 2020-02-07 国网江苏省电力公司信息通信分公司 基于f5服务器节点的动态扩容日常运维方法
CN107357532A (zh) * 2017-07-14 2017-11-17 长沙开雅电子科技有限公司 一种新型集群存储新型缓存预读实现方法
CN107547635A (zh) * 2017-08-04 2018-01-05 新华三大数据技术有限公司 大数据集群主机ip地址修改方法及装置
CN107547635B (zh) * 2017-08-04 2020-05-12 新华三大数据技术有限公司 大数据集群主机ip地址修改方法及装置
CN107886328A (zh) * 2017-11-23 2018-04-06 上海壹账通金融科技有限公司 交易处理方法、装置、计算机设备及存储介质
CN108121507B (zh) * 2017-12-06 2021-04-02 北京奇艺世纪科技有限公司 一种数据处理方法、装置以及电子设备
CN108121507A (zh) * 2017-12-06 2018-06-05 北京奇艺世纪科技有限公司 一种数据处理方法、装置以及电子设备
CN110309156A (zh) * 2018-03-01 2019-10-08 阿里巴巴集团控股有限公司 数据库***、数据库更新、扩容方法及设备
CN108520025B (zh) * 2018-03-26 2020-12-18 腾讯科技（深圳）有限公司 一种服务节点确定方法、装置、设备及介质
CN108520025A (zh) * 2018-03-26 2018-09-11 腾讯科技（深圳）有限公司 一种服务节点确定方法、装置、设备及介质
CN108717379B (zh) * 2018-05-08 2023-07-25 平安证券股份有限公司 电子装置、分布式任务调度方法及存储介质
CN108717379A (zh) * 2018-05-08 2018-10-30 平安证券股份有限公司 电子装置、分布式任务调度方法及存储介质
CN108829787A (zh) * 2018-05-31 2018-11-16 郑州云海信息技术有限公司 一种元数据分布式***
WO2020025016A1 (zh) * 2018-08-03 2020-02-06 北京三快在线科技有限公司 多页面通信的节点初始化
CN110019148A (zh) * 2018-09-07 2019-07-16 网联清算有限公司 数据库容量管理方法、装置、存储介质及计算机设备
CN111106947A (zh) * 2018-10-29 2020-05-05 北京金山云网络技术有限公司 一种节点宕机修复方法、装置、电子设备及可读存储介质
CN111338647A (zh) * 2018-12-18 2020-06-26 杭州海康威视数字技术股份有限公司 一种大数据集群管理方法和装置
CN111338647B (zh) * 2018-12-18 2023-09-12 杭州海康威视数字技术股份有限公司 一种大数据集群管理方法和装置
CN111435320B (zh) * 2019-01-14 2023-04-11 阿里巴巴集团控股有限公司 一种数据处理方法及其装置
CN111435320A (zh) * 2019-01-14 2020-07-21 阿里巴巴集团控股有限公司 一种数据处理方法及其装置
CN110221916B (zh) * 2019-05-23 2021-07-20 北京奇艺世纪科技有限公司 一种内存扩容方法、装置、配置中心***及电子设备
CN110221916A (zh) * 2019-05-23 2019-09-10 北京奇艺世纪科技有限公司 一种内存扩容方法、装置、配置中心***及电子设备
CN111010448A (zh) * 2019-12-23 2020-04-14 北京奇艺世纪科技有限公司 一种分布式消息***和数据中心dc
CN111010448B (zh) * 2019-12-23 2022-06-03 北京奇艺世纪科技有限公司 一种分布式消息***和数据中心dc
WO2021227954A1 (zh) * 2020-05-09 2021-11-18 支付宝(杭州)信息技术有限公司 基于容器集群的应用访问请求处理
CN111556167A (zh) * 2020-05-19 2020-08-18 湖南快乐阳光互动娱乐传媒有限公司 视频cdn节点即时扩容方法、扩容虚拟机房及cnd***
CN111338806A (zh) * 2020-05-20 2020-06-26 腾讯科技（深圳）有限公司 一种业务控制方法及装置
CN112491995A (zh) * 2020-11-18 2021-03-12 浪潮云信息技术股份公司 一种高可用Redis服务架构及方法
CN113407493A (zh) * 2021-06-18 2021-09-17 北京金山云网络技术有限公司 运行方法、数据读写方法、装置、电子设备和介质
CN113806068A (zh) * 2021-07-30 2021-12-17 上海晶赞融宣科技有限公司 业务***的扩容方法及装置、可读存储介质、终端
CN113806068B (zh) * 2021-07-30 2023-12-12 上海晶赞融宣科技有限公司 业务***的扩容方法及装置、可读存储介质、终端
CN114138825A (zh) * 2021-11-24 2022-03-04 聚好看科技股份有限公司 一种服务器及为应用程序提供数据查询服务的方法

Also Published As

Publication number Publication date
CN105933391B (zh) 2019-06-21

Similar Documents

Publication Publication Date Title
CN105933391A (zh) 一种节点扩容方法、装置及***
US20200358848A1 (en) Methods, systems, and media for providing distributed database access during a network split
US11320991B2 (en) Identifying sub-health object storage devices in a data storage system
US20170289298A1 (en) Large scale storage system and method of operating thereof
CN105095317B (zh) 分布式数据库服务管理***
JP4659062B2 (ja) フェイルオーバ方法、プログラム、管理サーバおよびフェイルオーバシステム
US8069229B2 (en) Topology static zones
CN107526536B (zh) 用于管理存储***的方法和***
US10038593B2 (en) Method and system for recovering virtual network
CN104935654A (zh) 一种服务器集群***中的缓存方法、写入点客户端和读客户端
CN103138912B (zh) 数据同步方法及***
CN106059791B (zh) 一种存储***中业务的链路切换方法和存储设备
CN103207841A (zh) 基于键值对缓存的数据读写方法及装置
CN103929500A (zh) 一种分布式存储***的数据分片方法
CN105337780B (zh) 一种服务器节点配置方法及物理节点
CN109582213B (zh) 数据重构方法及装置、数据存储***
CN102394914A (zh) 集群脑裂处理方法和装置
CN102355369A (zh) 虚拟化集群***及其处理方法和设备
CN107453932B (zh) 一种分布式存储***管理方法及其装置
CN105278882A (zh) 一种分布式文件***的磁盘管理方法
CN111176888B (zh) 云存储的容灾方法、装置及***
CN109407975B (zh) 写数据方法与计算节点以及分布式存储***
CN113687790A (zh) 数据重构方法、装置、设备及存储介质
CN108512753B (zh) 一种集群文件***中消息传输的方法及装置
CN104517067A (zh) 访问数据的方法、装置及***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20170209

Address after: 266000 Shandong Province, Qingdao city Laoshan District Songling Road No. 399

Applicant after: Poly Polytron Technologies Inc

Address before: 266071 Laoshan, Qingdao province Hongkong District No. East Road, room 248, room 131

Applicant before: Qingdao Hisense Media Networks Co., Ltd.

GR01 Patent grant
GR01 Patent grant