CN107295031A - 一种数据同步方法及装置 - Google Patents

一种数据同步方法及装置 Download PDF

Info

Publication number
CN107295031A
CN107295031A CN201610195298.5A CN201610195298A CN107295031A CN 107295031 A CN107295031 A CN 107295031A CN 201610195298 A CN201610195298 A CN 201610195298A CN 107295031 A CN107295031 A CN 107295031A
Authority
CN
China
Prior art keywords
data
service server
type assemblies
distributed type
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610195298.5A
Other languages
English (en)
Inventor
贾新禹
马华标
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201610195298.5A priority Critical patent/CN107295031A/zh
Publication of CN107295031A publication Critical patent/CN107295031A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0654Management of faults, events, alarms or notifications using network fault recovery

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请公开了一种数据同步方法及装置。该方法包括:当所述分布式集群监听到作为监听对象的一个业务服务器上的数据发生变化后,向作为监听对象的各个业务服务器发送数据同步请求,以便各个业务服务器在接收所述数据同步请求后,通过所述分布式集群进行数据同步。因此解决了解决现有技术中,在服务端设置主、从服务器后,各个服务器之间的数据同步依赖主服务器的问题。

Description

一种数据同步方法及装置
技术领域
本申请涉及计算机技术领域,尤其涉及一种数据同步方法及装置。
背景技术
随着互联网技术的蓬勃发展,人们越来越多的通过互联网来处理各种业务。在这些业务处理的过程中,通常由用户端向服务端提交业务请求,由服务端来进行业务处理并记录业务处理过程中所产生的数据。在实际应用中,由于基于互联网的业务处理请求较多,通常会在服务端布置多台服务器,通过这些服务器来进行业务处理。但是,这种通过多台服务器处理业务请求的方式,通常会遇到数据不同步的问题。例如,用户端向服务端提交添加好友的业务请求,在服务端由服务器A对该业务请求进行处理,并记录该业务处理过程中所产生的数据,但是在服务器B和服务器C中却没有关于该业务处理的记录。
现有技术通过将服务端的多台服务器,分别设置为主、从(Master、Slave)服务器的方式来解决数据同步的问题。这种方式通常将服务端的某一台服务器设置为主(Master)服务器,该服务器之外的其它服务器设置为从(Slave)服务器,并且将每台从服务器分别和主服务器进行连接。当其中一台从服务器的数据更新后,会将该更新后的数据同步到主服务器,再由主服务器将该更新后的数据同步到其它的从服务器,从而完成各服务器之间的数据同步。
然而,这种现有技术的问题是,在服务端设置为主、从服务器后,各个服务器之间的数据同步过程均依赖于主服务器。当该主服务器出现故障时,通常会导致服务端的各服务器无法进行数据同步。
发明内容
本申请实施例提供一种数据同步方法及装置,用于解决现有技术中,在服务端设置主、从服务器后,各个服务器之间的数据同步依赖主服务器的问题。
本申请实施例提供一种数据同步方法,所述方法用于实现不同业务服务器之间的数据同步,所述业务服务器与分布式集群连接,所述业务服务器预先在所述分布式集群中注册为监听对象,所述方法包括:
当所述分布式集群监听到作为监听对象的一个业务服务器上的数据发生变化后,向作为监听对象的各个业务服务器发送数据同步请求,以便各个业务服务器在接收所述数据同步请求后,通过所述分布式集群进行数据同步。
优选地,所述分布式集群具体为Zookeeper分布式集群;则,
在所述Zookeeper分布式集群中,通过下述方法将所述业务服务器注册为监听对象:
所述Zookeeper分布式集群接收业务服务器发送的注册成为监听对象的业务请求;
所述Zookeeper分布式集群通过所述业务请求生成用于监听所述业务服务器的监听节点。
优选地,所述Zookeeper分布式集群通过下述方法监听到作为监听对象的业务服务器上的数据发生变化:
当所述Zookeeper分布式集群监听到作为监听对象的业务服务器对监听节点进行数据操作时,确定所述业务服务器上的数据发生变化,所述数据操作具体为所述业务服务器根据所述业务服务器上的数据变化的结果,对所述Zookeeper分布式集群上的监听节点进行的数据操作。
优选地,所述数据操作具体包括:数据写入和/或数据删除。
优选地,所述作为监听对象的业务服务器对监听节点进行数据写入具体包括:所述业务服务器向所述Zookeeper分布式集群发送加分布式锁的业务请求,以便所述Zookeeper分布式集群根据所述分布式锁的使用状态判断是否能够向所述业务服务器加分布式锁;
当所述业务服务器加分布式锁后,对所述监听节点进行数据写入。
优选地,所述作为监听对象的业务服务器对监听节点进行数据删除具体包括:所述业务服务器删除所述监听节点中所述数据的存储路径。
优选地,所述分布式集群包括至少两个同步服务器,所述同步服务器与业务服务器连接并且各个同步服务器之间的数据能够同步;则,
所述通过所述分布式集群进行数据同步具体包括:通过所述分布式集群中与各所述业务服务器连接的同步服务器进行数据同步。
本申请实施例还提供一种数据同步方法,所述方法用于实现不同业务服务器之间的数据同步,所述业务服务器与分布式集群连接,所述业务服务器预先在所述分布式集群中注册为监听对象,所述方法包括:
作为监听对象的各个业务服务器接收数据同步请求,所述数据同步请求为所述分布式集群在监听到作为监听对象的一个业务服务器上的数据发生变化后,向作为监听对象的各个业务服务器发送的数据同步请求;
作为监听对象的各个业务服务器在接收数据同步请求后,通过所述分布式集群进行数据同步。
本申请实施例还提供一种数据同步装置,所述装置用于实现不同业务服务器之间的数据同步,所述业务服务器与分布式集群连接,所述业务服务器预先在所述分布式集群中注册为监听对象,所述装置包括:监听单元和发送单元,其中:
监听单元,用于所述分布式集群监听作为监听对象的各个业务服务器上的数据是否发生变化;
发送单元,用于当所述分布式集群监听到作为监听对象的一个业务服务器上的数据发生变化后,向作为监听对象的各个业务服务器发送数据同步请求,以便各个业务服务器在接收所述数据同步请求后,通过所述分布式集群进行数据同步。
本申请实施例还提供一种数据同步装置,所述装置用于实现不同业务服务器之间的数据同步,所述业务服务器与分布式集群连接,所述业务服务器预先在所述分布式集群中注册为监听对象,所述装置包括:接收单元和同步单元,其中:
接收单元,用于作为监听对象的各个业务服务器接收数据同步请求,所述数据同步请求为所述分布式集群在监听到作为监听对象的一个业务服务器上的数据发生变化后,向作为监听对象的各个业务服务器发送的数据同步请求;
同步单元,用于作为监听对象的各个业务服务器在接收数据同步请求后,通过所述分布式集群进行数据同步。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果:
当分布式集群监听到作为监听对象的业务服务器被进行数据操作后,向包括所述监听对象在内的多个监听对象发送数据同步请求,以使得各个作为监听对象的业务服务器在接收数据同步请求后,通过分布式集群进行数据同步。由于该方法通过分布式集群的方式来实现各业务服务器之间的数据同步,这样可以使得,在任意一个业务服务器出现故障时,并不会影响到其它业务服务器的正常工作,也就不会导致服务端由于某一台业务服务器出现故障而无法工作的现象。因此解决了解决现有技术中,在服务端设置主、从服务器后,各个服务器之间的数据同步依赖主服务器的问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例1提供的一种实际应用中的业务服务器和分布式集群的连接方式示意图;
图2为本申请实施例1提供的一种数据同步方法的具体实现流程示意图;
图3为本申请实施例1提供的一种实际应用中的业务服务器和Zookeeper分布式集群的连接方式示意图;
图4为本申请实施例2提供的一种数据同步方法在具体应用场景下的实现流程示意图;
图5为本申请实施例3提供的一种数据同步方法的具体实现流程示意图;
图6为本申请实施例4提供的一种数据同步装置的具体结构示意图;
图7为本申请实施例5提供的一种数据同步装置的具体结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
以下结合附图,详细说明本申请各实施例提供的技术方案。
实施例1
如上所述,当前由于互联网业务量的迅速增长,互联网业务的服务端通常会布置多台服务器,通过这些服务器来提供服务。但是,服务端的这些服务器之间通常会遇到数据不能同步的问题。例如,用户向服务端发送了电子支付的业务请求,服务端通常会分配相应的服务器对该业务请求进行处理,并将处理该业务请求过程中的数据进行记录,这时服务端的其它服务器中并没有该业务处理过程的相关记录。
为了将服务端的各个服务器的数据进行同步,现有技术将服务端的一台服务器指定为主服务器,并将服务端的其它服务器指定为从服务器,各个从服务器分别与主服务器进行连接。这样,当其中一台从服务器进行数据操作后,会将操作后的数据同步到主服务器,再由主服务器将该数据同步到其它的从服务器,从而完成各服务器之间的数据同步。例如,从服务器A进行数据操作后,会将该操作后的新数据同步给主服务器B,在由该主服务器B将该新数据同步给从服务器C和D。
然而,这种现有技术的问题是,服务端中各个服务器之间的数据同步均依赖于主服务器。在该主服务器出现故障时,通常会导致服务端的各服务器无法进行数据同步。例如,上述的例子中,当主服务器B出现故障时,从服务器A无法将操作后的新数据通过主服务器B同步到从服务器C和D。此外,在实际应用中,当业务量较大时,服务端的各从服务器之间的数据同步十分频繁,这样通常会使得主服务器承受巨大的运算压力,从而导致主服务器容易出现故障。
实施例1提供了一种数据同步方法,用于解决现有技术中在服务端设置主、从服务器后,各个服务器之间的数据同步依赖主服务器的问题。需要说明的是,通过该方法可以实现服务端中,不同业务服务器之间的数据同步,所述业务服务器与分布式集群连接,连接方式可以如图1所示(在图1中,业务服务器1、业务服务器2、业务服务器n分别指不同的业务服务器)。所述数据同步方法的具体流程示意图如图2所示,包括下述步骤:
步骤S11:各个业务服务器预先在分布式集群中分别注册成为监听对象。
在这里,业务服务器是指服务端中,用于处理用户端提交的业务的服务器。例如,用户端(可以为手机、PC等)向服务端提交业务请求,服务端中能够处理该业务请求的服务器就是所说的业务服务器。实际应用中,在业务量较大的情况下,通常为了加快业务处理的效率,可以在服务端布置多台业务服务器,通过这多台业务服务器来并发和/或并行地处理这些业务。需要说明的是,这里并不对业务服务器处理的业务做出限定,也就是说该业务服务器处理的业务可以为支付业务,也可以为即时通讯业务,也可以为其它的业务。
分布式集群通常可以用于管理各业务服务器之间的数据同步,也即通过该分布式集群能够对各业务服务器之间的数据同步进行管理。在实际应用中,通常可以在分布式集群中安装分布式应用程序,通过所安装的分布式应用程序来管理各业务服务器之间的数据同步。这样的分布式应用程序通常可以有多种,例如一种优选的方案是Chubby分布式应用程序,另一种优选的方案是Zookeeper分布式应用程序。为了便于阅读和撰写,在本申请后续中将Zookeeper分布式应用程序简称为Zookeeper,将Chubby分布式应用程序简称为Chubby,将安装了Zookeeper分布式应用程序的分布式集群简称为Zookeeper分布式集群,将安装了Chubby分布式应用程序的分布式集群简称为Chubby分布式集群。其中,Zookeeper是一个分布式的,开放源码的分布式应用程序,该应用程序能够为分布式集群应用提供一致***的软件,能够提供的功能包括:配置维护、域名服务、分布式集群数据同步、组服务等。
另外,业务服务器在分布式集群中注册成为监听对象后,该分布式集群能够监听到该业务服务器上的数据是否发生变化,并且能够向该业务服务器发送业务请求。
根据分布式集群的不同,业务服务器在分布式集群中注册成为监听对象的方式也可以不同。
一种优选的方案是,当该分布式集群具体为Zookeeper分布式集群时,所述业务服务器可以通过下述步骤S111和步骤S112预先在所述Zookeeper分布式集群中注册为监听对象:
步骤S111:所述Zookeeper分布式集群接收业务服务器发送的注册成为监听对象的业务请求;
步骤S112:所述Zookeeper分布式集群通过所述业务请求生成用于监所述业务服务器的监听节点。
在实际应用中,业务服务器向Zookeeper分布式集群发送的注册成为监听对象的业务请求的方式可以有多种。例如,业务服务器可以通过Zookeeper分布式集群的客户端,向Zookeeper分布式集群发送的注册成为监听对象的业务请求。通常Zookeeper分布式集群的客户端还可以为curator客户端和/或ZKclient客户端等。
Zookeeper分布式集群通过所述业务请求生成的监听节点后,该监听节点可以用于监听所述业务服务器。需要强调的是,当Zookeeper分布式集群接收到多个业务服务器的注册成为监听对象的业务请求时,可以生成一个监听节点,通过该监听节点来同时监听这些业务服务器,这样可以节省监听资源;也可以根据每一个注册成为监听对象的业务请求生成一个对应的监听节点,通过这些监听节点来监听这些业务服务器,这样可以使监听结果更加准确;也可以根据实际情况,结合这两种生成监听节点的方式,生成一定数量的监听节点来监听这些业务服务器。例如,业务服务器A、B、C向Zookeeper分布式集群发送注册成为监听对象的业务请求,Zookeeper分布式集群可以生成一个监听节点D,通过该监听节点D来监听业务服务器A、B、C;也可以生成监听节点a、b、c,通过监听节点a、b、c分别监听业务服务器A、B、C;也可以生成监听节点E、F,通过监听节点E监听业务服务器A和B,并且通过监听节点F监听业务服务器C。
需要说明的是,在实际应用中,通常可以是在Zookeeper分布式集群在刚启动时,或者是在业务服务器在刚启动时,或者是在服务端有新的业务服务器加入时,业务服务器可以向该Zookeeper分布式集群发送注册为监听对象的业务请求,然后该Zookeeper分布式集群根据各所述业务请求,生成监听节点,通过监听节点来监听业务服务器。
步骤S12:所述分布式集群监听作为监听对象的各个业务服务器上的数据是否发生变化。
如前所述,服务端的各个业务服务器通常需要进行数据同步,以便处理用户端提交的业务。例如,在即时通讯中,业务服务器a处理用户端提交的删除好友业务后,需要把该删除好友业务产生的数据同步到其它业务服务器,以便该用户端在后续中使用该即时通讯。为了将服务端的各个业务服务器进行数据同步,分布式集群通常需要监听各个业务服务器上的数据是否发生变化。
通常来说,根据分布式集群的不同,监听业务服务器上的数据是否发生变化的方式也可以不同。一种优选的方案是,当分布式集群为Zookeeper分布式集群时,Zookeeper分布式集群可以通过下述方法,监听到作为监听对象的业务服务器上的数据发生变化:当所述Zookeeper分布式集群监听到作为监听对象的业务服务器对监听节点进行数据操作时,确定所述业务服务器上的数据发生变化。
在这里,所述数据操作具体为所述业务服务器根据所述业务服务器上的数据变化的结果,对所述Zookeeper分布式集群上的监听节点进行的数据操作。也即,当分布式集群为Zookeeper分布式集群时,业务服务器上的数据发生变化后,通常会根据数据变化的结果在Zookeeper分布式集群的监听节点上进行相应的数据操作,而监听节点上的数据操作能够被Zookeeper分布式集群所监听到,当Zookeeper分布式集群监听到监听节点上的数据操作时,可以确定业务服务器上的数据发生变化。实际应用中,Zookeeper分布式集群对监听节点上的数据操作进行监听的方式可以有多种,例如可以周期性的轮训监听节点上的数据,当发现监听节点上的数据发生改变时,说明业务服务器对该监听节点进行了数据操作。
需要说明的是,当每一个业务服务器均在Zookeeper分布式集群中分别生成了一个对应的监听节点时,这里业务服务器对监听节点进行数据操作,所说的监听节点可以为分布式集群中的任意一个监听节点,业务服务器也可以为服务端的业务服务器。也就是说,服务端的任意一个业务服务器对分布式集群中的任意一个监听节点进行数据操作,都是该Zookeeper分布式集群需要监听的对象。
步骤S13:当所述分布式集群监听到作为监听对象的一个业务服务器上的数据发生变化后,向作为监听对象的各个业务服务器发送数据同步请求。
在这里,作为监听对象的一个业务服务器上的数据发生变化,所说的一个业务服务器可以是服务端中任意一个业务服务器,只需要该业务服务器上的数据发生变化并且被该分布式集群监听到。
当所述分布式集群监听到作为监听对象的一个业务服务器上的数据发生变化后,向作为监听对象的各个业务服务器发送数据同步请求。
在实际应用中,该数据同步的业务请求可以使得作为监听对象的各个业务服务器在接收所述数据同步请求后,通过所述分布式集群进行数据同步。
步骤S14:各个业务服务器在接收所述数据同步请求后,通过所述分布式集群进行数据同步。
在各个业务服务器接收到分布式集群发送的数据同步请求后,可以通过该分布式集群进行数据同步。例如,该分布式集群为Zookeeper分布式集群,各个业务服务器可以直接在分布式集群中拉取数据操作后新的数据,从而进行数据同步。
需要说明的是,在实际应用中,通常为了提高各个业务服务器数据同步的效率,可以在分布式集群中配置多个同步服务器,这些同步服务器之间的数据能够同步,并且每个同步服务器分别和几个不同的业务服务器相互连接。也就是说,所述分布式集群包括至少两个同步服务器,所述同步服务器与业务服务器相互连接,并且各所述同步服务器之间的数据能够同步;则,在通过分布式集群进行数据同步时,所述通过所述分布式集群进行数据同步具体包括:通过所述分布式集群中与各所述业务服务器连接的同步服务器进行数据同步。
结合图3,以Zookeeper分布式集群为例,该Zookeeper分布式集群中包含两台Zookeeper同步服务器A和B,这两台Zookeeper同步服务器之间相互关联,能够通过Zookeeper分布式应用程序来进行管理,使得它们之间的数据能够在同步的状态。并且,Zookeeper同步服务器A与业务服务器A1、业务服务器A2连接,Zookeeper同步服务器B与业务服务器B1、业务服务器B2连接。这样可以使得,业务服务器A1、业务服务器A2、业务服务器B1和业务服务器B2在接收到Zookeeper分布式集群发送的数据同步请求后,分别通过Zookeeper同步服务器A和Zookeeper同步服务器B进行数据同步。
采用实施例1提供的该方法,当所述分布式集群监听到作为监听对象的一个业务服务器上的数据发生变化后,向作为监听对象的各个业务服务器发送数据同步请求,以便各个业务服务器在接收所述数据同步请求后,通过所述分布式集群进行数据同步。由于该方法通过分布式集群的方式来实现各业务服务器之间的数据同步,这样可以使得,在任意一个业务服务器出现故障时,并不会影响到其它业务服务器的正常工作,也就不会导致服务端由于某一台业务服务器出现故障而无法工作的现象。因此解决了解决现有技术中,在服务端设置主、从服务器后,各个服务器之间的数据同步依赖主服务器的问题。
需要说明的是,实施例1所提供方法的各步骤的执行主体均可以是同一设备,或者,该方法的各步骤也可以由不同设备作为执行主体。比如,步骤11和步骤12的执行主体可以为设备1;又比如,步骤11的执行主体可以为设备1,步骤12和的执行主体可以为设备2;等等。
实施例2
在分布式集群为Zookeeper分布式集群的情况下,实施例1中提到了Zookeeper分布式集群可以监听业务服务器对监听节点进行数据操作。其实,在实际应用中,这种数据操作的方式可以有多种,例如可以为数据写入和/或数据删除和/或数据修改等。
例如,数据操作可以为数据写入。通常为了保持多个业务服务器同一个监听节点数据写入的一致性,可以添加分布式锁,通过该分布式锁来管理或控制对该监听对象的数据写入。因此,业务服务器对监听节点进行数据写入的优选方案如步骤S21至步骤S23所示:
步骤S21:所述业务服务器向Zookeeper分布式集群发送加分布式锁的业务请求,以使得Zookeeper分布式集群根据所述分布式锁的使用状态判断是否能够向所述业务服务器加分布式锁;
步骤S22:当所述业务服务器加分布式锁后,对所述监听节点进行数据写入;
步骤S23:当所述业务服务器加分布式锁失败后,抛弃待写入的数据。
通常来说,Zookeeper分布式集群在接收到业务服务器加分布式锁的业务请求后,会根据分布式锁的使用状态,判断是否能够向该业务服务器加分布式锁。分布式锁的使用状态可以包括使用中和未使用,使用中表示该分布式锁正在被使用,未使用表示该分布式锁正在空闲状态。通常,当分布式锁的使用状态为使用中时,Zookeeper分布式集群会拒绝该业务服务器加分布式锁的业务请求,也就是说业务服务器加分布式锁失败;当分布式锁的使用状态为未使用时,Zookeeper分布式集群会同意该业务服务器加分布式锁的业务请求,也就是说分布式集群响应业务服务器加分布式锁的业务请求。
当然需要说明的是,在Zookeeper分布式集群响应业务服务器加分布式锁的业务请求后,业务服务器在加分布式锁的过程中,通常也会由于各种原因导致加锁失败,例如在加分布式锁时,由于连接中断导致加分布式锁的操作超时。因此,只有在业务服务器加分布式锁完成后,才能对监听节点进行数据写入。需要说明的是,对监听节点进行数据写入完成之后,通常还需要释放该分布式锁,使得后续业务服务器通过加该分布式锁,对该监听节点进行写入。
另外,数据操作也可以为数据删除。所述业务服务器对监听节点进行数据删除的优选方案如步骤S31所示。
步骤S31:所述业务服务器删除所述监听节点中所述数据的存储路径。
也就是说,数据删除过程并不需要加分布式锁,因为只需将该监听节点中所要删除的数据的存储路径进行删除即可。
采用实施例2的该方法,在分布式集群具体为Zookeeper分布式集群的情况下,将数据操作继续划分为数据写入、数据删除和数据修改等,在Zookeeper分布式集群监听的过程中,可以根据数据操作的不同更加具有针对性的进行监听。
上述实施例1和实施例2是对本申请提供的数据同步方法的具体说明,为了便于理解,本申请还提供了一种在实际应用场景下,实施所述方法的说明,如图4所示。在该应用场景下,分布式集群具体为Zookeeper分布式集群,该Zookeeper分布式集群的客户端具体为curator客户端,数据操作具体为数据写入。本申请的数据同步方法可以在这种应用场景下使用,具体如下所示:
步骤S41:各业务服务器通过curator客户端向Zookeeper分布式集群发送注册成为监听对象的业务请求。
步骤S42:Zookeeper分布式集群根据各所述业务请求,分别生成监听各所述业务服务器的监听节点。
在这里,所述Zookeeper分布式集群中包含至少两个Zookeeper同步服务器,各所述Zookeeper同步服务器之间相互关联,并且通过Zookeeper分布式应用程序来进行管理,使得各所述Zookeeper同步服务器之间的数据在同步状态;另外,Zookeeper同步服务器和业务服务器进行连接。
步骤S43:当前业务服务器向Zookeeper分布式集群发送对监听节点进行数据写入的业务请求。
这里的当前业务服务器可以为服务端的任意一个业务服务器,监听节点也可以为在分布式集群中注册的任意一个监听节点。
步骤S44:Zookeeper分布式集群根据分布式锁的状态对该业务请求加分布式锁,当加分布式锁失败时,执行步骤S45,当加分布式锁成功时,执行步骤S46。
该分布式锁用于管理对所述监听对象进行数据写入和/或修改。
步骤S45:抛弃准备写入该监听对象的数据。
步骤S46:对所述监听节点进行数据写入。
步骤S47:Zookeeper分布式集群向各个业务服务器发送数据同步请求。
步骤S48:各业务服务器根据该数据同步请求,通过Zookeeper分布式集群中与各业务服务器连接的同步服务器进行数据同步。
上述是对该应用场景下实施该数据同步方法的说明,在实际应用中,通常为了使得服务端数据同步的业务逻辑更加简单,减少代码的数量,通常可以采用该Zookeeper分布式集群来实现。
实施例3
实施例3提供了一种数据同步方法,用于解决现有技术中在服务端设置主、从服务器后,各个服务器之间的数据同步依赖主服务器的问题。需要说明的是,通过该方法可以实现服务端中,不同业务服务器之间的数据同步,所述业务服务器与分布式集群连接。所述方法的具体流程示意图如图5所示,包括下述步骤:
步骤S51:各所述业务服务器分别在分布式集群中注册成为监听对象。
该步骤S51与实施例1中的步骤S11基本相同,在这里就不再赘述。
步骤S52:作为监听对象的各个业务服务器接收数据同步请求。
所述数据同步请求为所述分布式集群在监听到作为监听对象的一个业务服务器上的数据发生变化后,向作为监听对象的各个业务服务器发送的数据同步请求;
步骤S53:作为监听对象的各个业务服务器在接收数据同步请求后,通过所述分布式集群进行数据同步。
采用本申请实施例3所提供的该方法,分布式集群在监听到某一个业务服务器上的数据发生变化后,向各个业务服务器发送的数据同步请求,在各个业务服务器接收该请求后,通过该分布式集群进行数据同步。由于该分布式集群能够用于管理各业务服务器之间的数据同步,这样可以使得,在任意一个业务服务器出现故障时,并不会影响到其它业务服务器的正常工作,也就不会导致服务端由于某一台业务服务器出现故障而无法工作的现象。从而解决了现有技术中,在服务端设置主、从服务器,导致各业务服务器的数据同步依赖主服务器的问题。
实施例4
基于与实施例1相同的发明构思,实施例4提供了一种数据同步装置。该装置60用于实现不同业务服务器之间的数据同步,所述业务服务器与分布式集群连接,所述业务服务器预先在所述分布式集群中注册为监听对象。如图6所示,该装置60包括:监听单元601和发送单元602,其中:
监听单元601,用于所述分布式集群监听作为监听对象的各个业务服务器上的数据是否发生变化;
发送单元602,用于当所述分布式集群监听到作为监听对象的一个业务服务器上的数据发生变化后,向作为监听对象的各个业务服务器发送数据同步请求,以便各个业务服务器在接收所述数据同步请求后,通过所述分布式集群进行数据同步。
采用实施例4所提供的该装置60,由于该装置60采用与实施例1相同的发明构思,因此可以取得和实施例1相同的发明效果。另外,在实际应用中该装置60还可以通过结合具体的硬件设施,取得其它的技术效果。例如,可以增大分布式集群中各个设备的内存,然后将需要同步的数据存储在分布式集群各个设备的内存中,这样可以使得业务服务器在通过分布式集群进行数据同步时,速度更快。
实施例5
基于与实施例3相同的发明构思,实施例5提供了一种数据同步装置。该装置用70于实现不同业务服务器之间的数据同步,所述业务服务器与分布式集群连接,所述业务服务器预先在所述分布式集群中注册为监听对象。如图7所示,该装置70包括:接收单元701和同步单元702,其中:
接收单元701,用于作为监听对象的各个业务服务器接收数据同步请求,所述数据同步请求为所述分布式集群在监听到作为监听对象的一个业务服务器上的数据发生变化后,向作为监听对象的各个业务服务器发送的数据同步请求;
同步单元702,用于作为监听对象的各个业务服务器在接收数据同步请求后,通过所述分布式集群进行数据同步
采用实施例5提供的该装置70,由于该装置70基于与实施例2相同的发明构思,因此能够取得实施例2的技术效果。另外,在实际应用中,该装置70还可以通过结合硬件设备取得其它的技术效果。例如,在业务服务器对监听对象进行数据操作时,由于监听对象注册在分布式集群中,因此可以改进业务服务器和监听对象的连接(物理连接)方式,以加快数据操作的速度。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、***或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种数据同步方法,其特征在于,所述方法用于实现不同业务服务器之间的数据同步,所述业务服务器与分布式集群连接,所述业务服务器预先在所述分布式集群中注册为监听对象,所述方法包括:
当所述分布式集群监听到作为监听对象的一个业务服务器上的数据发生变化后,向作为监听对象的各个业务服务器发送数据同步请求,以便各个业务服务器在接收所述数据同步请求后,通过所述分布式集群进行数据同步。
2.如权利要求1所述的方法,其特征在于,所述分布式集群具体为Zookeeper分布式集群;则,
在所述Zookeeper分布式集群中,通过下述方法将所述业务服务器注册为监听对象:
所述Zookeeper分布式集群接收业务服务器发送的注册成为监听对象的业务请求;
所述Zookeeper分布式集群通过所述业务请求生成用于监听所述业务服务器的监听节点。
3.如权利要求2所述的方法,其特征在于,所述Zookeeper分布式集群通过下述方法监听到作为监听对象的业务服务器上的数据发生变化:
当所述Zookeeper分布式集群监听到作为监听对象的业务服务器对监听节点进行数据操作时,确定所述业务服务器上的数据发生变化,所述数据操作具体为所述业务服务器根据所述业务服务器上的数据变化的结果,对所述Zookeeper分布式集群上的监听节点进行的数据操作。
4.如权利要求3所述的方法,其特征在于,所述数据操作具体包括:数据写入和/或数据删除。
5.如权利要求4所述的方法,其特征在于,所述作为监听对象的业务服务器对监听节点进行数据写入具体包括:
所述业务服务器向所述Zookeeper分布式集群发送加分布式锁的业务请求,以便所述Zookeeper分布式集群根据所述分布式锁的使用状态判断是否能够向所述业务服务器加分布式锁;
当所述业务服务器加分布式锁后,对所述监听节点进行数据写入。
6.如权利要求4所述的方法,其特征在于,所述作为监听对象的业务服务器对监听节点进行数据删除具体包括:所述业务服务器删除所述监听节点中所述数据的存储路径。
7.如权利要求1所述的方法,其特征在于,所述分布式集群包括至少两个同步服务器,所述同步服务器与业务服务器连接并且各个同步服务器之间的数据能够同步;则,
所述通过所述分布式集群进行数据同步具体包括:通过所述分布式集群中与各所述业务服务器连接的同步服务器进行数据同步。
8.一种数据同步方法,其特征在于,所述方法用于实现不同业务服务器之间的数据同步,所述业务服务器与分布式集群连接,所述业务服务器预先在所述分布式集群中注册为监听对象,所述方法包括:
作为监听对象的各个业务服务器接收数据同步请求,所述数据同步请求为所述分布式集群在监听到作为监听对象的一个业务服务器上的数据发生变化后,向作为监听对象的各个业务服务器发送的数据同步请求;
作为监听对象的各个业务服务器在接收数据同步请求后,通过所述分布式集群进行数据同步。
9.一种数据同步装置,其特征在于,所述装置用于实现不同业务服务器之间的数据同步,所述业务服务器与分布式集群连接,所述业务服务器预先在所述分布式集群中注册为监听对象,所述装置包括:监听单元和发送单元,其中:
监听单元,用于所述分布式集群监听作为监听对象的各个业务服务器上的数据是否发生变化;
发送单元,用于当所述分布式集群监听到作为监听对象的一个业务服务器上的数据发生变化后,向作为监听对象的各个业务服务器发送数据同步请求,以便各个业务服务器在接收所述数据同步请求后,通过所述分布式集群进行数据同步。
10.一种数据同步装置,其特征在于,所述装置用于实现不同业务服务器之间的数据同步,所述业务服务器与分布式集群连接,所述业务服务器预先在所述分布式集群中注册为监听对象,所述装置包括:接收单元和同步单元,其中:
接收单元,用于作为监听对象的各个业务服务器接收数据同步请求,所述数据同步请求为所述分布式集群在监听到作为监听对象的一个业务服务器上的数据发生变化后,向作为监听对象的各个业务服务器发送的数据同步请求;
同步单元,用于作为监听对象的各个业务服务器在接收数据同步请求后,通过所述分布式集群进行数据同步。
CN201610195298.5A 2016-03-30 2016-03-30 一种数据同步方法及装置 Pending CN107295031A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610195298.5A CN107295031A (zh) 2016-03-30 2016-03-30 一种数据同步方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610195298.5A CN107295031A (zh) 2016-03-30 2016-03-30 一种数据同步方法及装置

Publications (1)

Publication Number Publication Date
CN107295031A true CN107295031A (zh) 2017-10-24

Family

ID=60086822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610195298.5A Pending CN107295031A (zh) 2016-03-30 2016-03-30 一种数据同步方法及装置

Country Status (1)

Country Link
CN (1) CN107295031A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107908708A (zh) * 2017-11-09 2018-04-13 北京锐安科技有限公司 一种集群文件同步的方法、***、设备和存储介质
CN110489491A (zh) * 2019-08-26 2019-11-22 湖南中车时代通信信号有限公司 一种适用于a/b网双集群的全量数据同步装置
CN111354124A (zh) * 2020-03-11 2020-06-30 北京创联云睿科技有限公司 一种智能物联网售货***及服务设备、售货机
CN111736874A (zh) * 2020-06-28 2020-10-02 深圳前海微众银行股份有限公司 一种应用更新方法及装置
CN112118294A (zh) * 2020-08-20 2020-12-22 山东浪潮通软信息科技有限公司 一种基于服务端集群的请求处理方法、设备及介质
CN116560864A (zh) * 2023-07-06 2023-08-08 苏州浪潮智能科技有限公司 一种分布式锁的实现方法、装置、***、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130117225A1 (en) * 2011-11-03 2013-05-09 Michael W. Dalton Distributed storage medium management for heterogeneous storage media in high availability clusters
CN103312809A (zh) * 2013-06-24 2013-09-18 北京汉柏科技有限公司 云平台中服务的分布式管理方法
CN103916481A (zh) * 2014-04-17 2014-07-09 北京京东尚科信息技术有限公司 一种处理数据的方法和装置
CN104536834A (zh) * 2014-11-26 2015-04-22 华为技术有限公司 一种授权锁权限的方法和分布式锁管理器
US20160004603A1 (en) * 2014-07-02 2016-01-07 Hedvig, Inc. Storage system with virtual disks
CN105245603A (zh) * 2015-10-15 2016-01-13 北京乐动卓越科技有限公司 集群服务器控制方法及***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130117225A1 (en) * 2011-11-03 2013-05-09 Michael W. Dalton Distributed storage medium management for heterogeneous storage media in high availability clusters
CN103312809A (zh) * 2013-06-24 2013-09-18 北京汉柏科技有限公司 云平台中服务的分布式管理方法
CN103916481A (zh) * 2014-04-17 2014-07-09 北京京东尚科信息技术有限公司 一种处理数据的方法和装置
US20160004603A1 (en) * 2014-07-02 2016-01-07 Hedvig, Inc. Storage system with virtual disks
CN104536834A (zh) * 2014-11-26 2015-04-22 华为技术有限公司 一种授权锁权限的方法和分布式锁管理器
CN105245603A (zh) * 2015-10-15 2016-01-13 北京乐动卓越科技有限公司 集群服务器控制方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
何慧虹: "《分布式环境下基于zookeeper服务的数据同步的研究》", 《信息网络安全》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107908708A (zh) * 2017-11-09 2018-04-13 北京锐安科技有限公司 一种集群文件同步的方法、***、设备和存储介质
CN110489491A (zh) * 2019-08-26 2019-11-22 湖南中车时代通信信号有限公司 一种适用于a/b网双集群的全量数据同步装置
CN110489491B (zh) * 2019-08-26 2023-07-04 湖南中车时代通信信号有限公司 一种适用于a/b网双集群的全量数据同步装置
CN111354124A (zh) * 2020-03-11 2020-06-30 北京创联云睿科技有限公司 一种智能物联网售货***及服务设备、售货机
CN111736874A (zh) * 2020-06-28 2020-10-02 深圳前海微众银行股份有限公司 一种应用更新方法及装置
CN112118294A (zh) * 2020-08-20 2020-12-22 山东浪潮通软信息科技有限公司 一种基于服务端集群的请求处理方法、设备及介质
CN116560864A (zh) * 2023-07-06 2023-08-08 苏州浪潮智能科技有限公司 一种分布式锁的实现方法、装置、***、设备及存储介质
CN116560864B (zh) * 2023-07-06 2023-11-03 苏州浪潮智能科技有限公司 一种分布式锁的实现方法、装置、***、设备及存储介质

Similar Documents

Publication Publication Date Title
CN107295031A (zh) 一种数据同步方法及装置
CN109617759A (zh) 区块链***稳定性测试方法、装置、设备及存储介质
CN104346365A (zh) 确定与特定业务相关的关联日志的方法和装置
CN105915529B (zh) 一种报文生成方法及装置
CN106878363A (zh) 一种信息处理方法、装置及***
CN110908812B (zh) 业务数据处理方法、装置、可读存储介质和计算机设备
US20220253432A1 (en) Blockchain-based data processing method and apparatus, device, and readable storage medium
CN107040576A (zh) 信息推送方法及装置、通讯***
CN110728498A (zh) 一种信息交互方法和装置
CN107423942A (zh) 一种业务流转的方法及装置
CN111669434A (zh) 一种通信群组的建立方法、***、装置及设备
CN111628903B (zh) 交易***运行状态的监控方法及监控***
US20200242702A1 (en) Capital chain information traceability method, system, server and readable storage medium
EP4142258A1 (en) Edge computing network, data transmission method and apparatus, device and storage medium
CN105871659A (zh) 新增服务器的监控方法及装置
CN113259462B (zh) 区块链消息的分发方法及装置
CN113592645B (zh) 数据验证的方法和装置
CN109410049A (zh) 区块链记账方法、装置、计算机设备和存储介质
CN116781717A (zh) 一种混合云数据同步的方法及***
CN112579343B (zh) 区块链节点数据的恢复方法及装置
CN106487561A (zh) 一种服务器服务更新的方法和***
CN113778709A (zh) 接口调用方法、装置、服务器及存储介质
CN112131267A (zh) 计数处理方法、装置、服务器和计数处理***
CN112381642B (zh) 基于网点机器人的网点管理***及方法
CN115242688B (zh) 一种网络故障检测方法、装置以及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200925

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20200925

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20171024

RJ01 Rejection of invention patent application after publication