CN104580183B - 一种跨集群的数据同步方法和装置 - Google Patents

一种跨集群的数据同步方法和装置 Download PDF

Info

Publication number
CN104580183B
CN104580183B CN201410836865.1A CN201410836865A CN104580183B CN 104580183 B CN104580183 B CN 104580183B CN 201410836865 A CN201410836865 A CN 201410836865A CN 104580183 B CN104580183 B CN 104580183B
Authority
CN
China
Prior art keywords
time
data
expired
cluster
receiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410836865.1A
Other languages
English (en)
Other versions
CN104580183A (zh
Inventor
李明昊
陈营
宋昭
陈宗志
王超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Qizhi Software Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd, Qizhi Software Beijing Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201410836865.1A priority Critical patent/CN104580183B/zh
Publication of CN104580183A publication Critical patent/CN104580183A/zh
Priority to PCT/CN2015/095504 priority patent/WO2016101758A1/zh
Application granted granted Critical
Publication of CN104580183B publication Critical patent/CN104580183B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例提供了一种跨集群的数据同步方法和装置，其中的方法具体包括：接收来自第一集群的数据及其对应的第一时间戳信息；其中，所述第一时间戳信息为所述数据的第一过期时间与所述数据被第一集群发送时的发送时间的集合；依据所述第一时间戳信息及其对应的接收时间，生成所述数据对应的第二过期时间；以及对所述数据和所述数据对应的第二过期时间执行写入操作以存储在第二集群。本发明实施例能够保证第一集群和第二集群中时效性数据的同步。

Description

一种跨集群的数据同步方法和装置
技术领域
本发明涉及通信技术领域，特别是涉及一种跨集群的数据同步方法和装置。
背景技术
与大型机相比，集群服务***的优势，不仅在于低廉的价格和其高可用性，还具有很强的可扩展性，因而在网络应用中备受用户的青睐。
为了降低应用程序客户端对集群中数据库的访问频次，可以针对集群设置相应的缓存，其中，缓存中可以存储数据库中的部分数据(如频繁访问的数据)，这样，客户端在访问集群时可以首先从缓存中读取数据，当缓存命中失败时再去查询数据库，因此能够降低对数据库的访问频次，且能够提高应用程序的运行性能。
目前，由于各集群中缓存均可以接收并处理客户端的访问请求，因此，跨集群缓存的数据同步变得尤为重要。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种跨集群的数据同步方法和装置。
依据本发明的一个方面，提供了一种跨集群的数据同步方法，包括：
接收来自第一集群的数据及其对应的第一时间戳信息；其中，所述第一时间戳信息为所述数据的第一过期时间与所述数据被第一集群发送时的发送时间的集合；
依据所述第一时间戳信息及其对应的接收时间，生成所述数据对应的第二过期时间；以及
对所述数据和所述数据对应的第二过期时间执行写入操作以存储在第二集群。
可选地，所述第二集群依据所述第一时间戳信息及其对应的接收时间，生成所述数据对应的第二过期时间的步骤，包括：
在接收来自第一集群的数据及其对应的第一时间戳信息时，记录对应的接收时间；
读取所述第一时间戳信息；以及
依据所述第一时间戳信息与所述接收时间，获取所述数据对应的第二过期时间。
可选地，所述第二集群依据所述第一时间戳信息及其对应的接收时间，生成所述数据对应的第二过期时间的步骤，包括：
在接收来自第一集群的数据及其对应的第一时间戳信息时，记录对应的接收时间；
依据所述第一时间戳信息获取所述第一过期时间和所述第一过期时间对应的发送时间；
依据所述第一过期时间、所述第一过期时间对应的发送时间和接收时间，获取所述数据对应的第二过期时间。
可选地，所述对所述数据和所述数据对应的第二过期时间执行写入操作以存储在第二集群以存储在第二集群以存储在第二集群的步骤，包括：
将所述数据和所述数据对应的第二过期时间写入第二集群自身的缓存***。
可选地，所述方法还包括：
在第二集群存储的数据发生变化时，向第一集群发送该变化数据及其对应的第二时间戳信息；其中，所述第二时间戳信息为所述数据的第三过期时间与所述变化数据被第二集群发送时的发送时间的集合。
可选地，所述方法还包括：
在第一集群存储的数据发生变化时，接收第一集群发送的该变化后数据及其对应的第三时间戳信息；其中，所述第三时间戳信息为所述变化后数据的过期时间与所述变化后数据被第一集群发送时的时间的集合。
可选地，所述方法还包括：
依据所述第三时间戳信息及其对应的接收时间，生成所述变化后数据对应的第四过期时间；以及
利用接收的所述变化后数据及所述第四过期时间，更新存储在第二集群所述数据和所述数据对应的第二过期时间。
依据本发明的另一方面，提供了一种跨集群的数据同步装置，包括：
第一接收模块，用于接收来自第一集群的数据及其对应的第一时间戳信息；其中，所述第一时间戳信息为所述数据的第一过期时间与所述数据被第一集群发送时的时间的集合；
生成模块，用于依据所述第一时间戳信息及其对应的接收时间，生成所述数据对应的第二过期时间；以及
写入模块，用于对所述数据和所述数据对应的第二过期时间执行写入操作以存储在第二集群。
可选地，所述生成模块，包括：
第一记录子模块，用于在接收来自第一集群的数据及其对应的第一时间戳信息时，记录对应的接收时间；
读取子模块，用于读取所述第一时间戳信息；以及
第一获取子模块，用于依据所述第一时间戳信息与所述接收时间，获取所述数据对应的第二过期时间。
可选地，所述生成模块，包括：
第二记录子模块，用于在接收来自第一集群的数据及其对应的第一时间戳信息时，记录对应的接收时间；
第二获取子模块，用于依据所述第一时间戳信息获取所述第一过期时间和所述第一过期时间对应的发送时间；以及
第三获取子模块，用于依据所述第一过期时间、所述第一过期时间对应的发送时间和接收时间，获取所述数据对应的第二过期时间。
根据本发明实施例的一种跨集群的数据同步方法和装置，接收来自第一集群的数据及其对应的第一时间戳信息，并依据所述第一时间戳信息及其对应的接收时间，生成所述数据对应的第二过期时间；由于所述第一时间戳信息为所述数据的第一过期时间与所述数据被第一集群发送时的发送时间的集合，而在生成第二过期时间的过程中考虑了所述第一时间戳信息对应的接收时间，也即考虑了传输时间对于第一过期时间的影响，因此能够保证第一集群和第二集群中时效性数据的同步。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文可选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出可选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的一种跨集群的数据同步方法的步骤流程示意图；
图2示出了根据本发明一个实施例的一种跨集群的数据同步方法的步骤流程示意图；
图3示出了根据本发明一个示例的一种跨集群的数据同步方法的步骤流程示意图；
图4示出了根据本发明一个实施例的一种跨集群的数据同步方法的步骤流程示意图；
图5示出了根据本发明一个实施例的一种跨集群的数据同步方法的步骤流程示意图；
图6示出了根据本发明一个实施例的一种跨集群的数据同步方法的步骤流程示意图；
图7示出了根据本发明一个实施例的一种集群***的结构示意图；
图8示出了根据本发明一个实施例的一种图7所示缓存1的数据处理方法的步骤流程示意图；以及
图9示出了根据本发明一个实施例的一种跨集群的数据同步装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
参照图1，示出了根据本发明一个实施例的一种跨集群的数据同步方法的步骤流程示意图，具体可以包括如下步骤：
步骤101、接收来自第一集群的数据及其对应的第一时间戳信息；其中，所述第一时间戳信息为所述数据的第一过期时间与所述数据被第一集群发送时的发送时间的集合；
步骤102、依据所述第一时间戳信息及其对应的接收时间，生成所述数据对应的第二过期时间；以及
步骤103、对所述数据和所述数据对应的第二过期时间执行写入操作以存储在第二集群。
本发明实施例可以应用于各种业务场景的集群***中，用于进行跨集群的数据同步，其中的集群单位可以为IDC(互联网数据中心，Internet Data Center)或者机房等等，本发明实施例对具体的集群单位不加以限制。
对于集群的某些业务场景而言，其数据往往具有一定的时效性。另外，为了提高缓存的命中率，集群中缓存的数据也需要具有一定的时效性，以通过更新缓存来适应业务场景数据的变化。为了实现时效性管理，可以针对数据提供设置过期时间的写入接口，该写入接口可用于在写入数据时设置数据的过期时间。例如，在本发明的一种应用示例中，写入接口set_with_ttl(key,value,ttl)接口可用于同时写入key-value指定key-value的过期时间ttl，以使得数据整理流程可以依据该ttl实现对key-value的整理，例如，在ttl过期后，可以对key-value执行删除操作。
本发明实施例可用于跨集群的时效性数据的同步。传统方案中，IDC1侧发生通过调用set_with_ttl(key,value,ttl)接口写入key-value及其对应ttl1的事件后，会触发IDC1与ID2之间的数据同步流程，所述数据同步流程具体可以包括：IDC1将key-value及其对应的ttl1发送至IDC2；IDC2侧在接收到key-value及其对应的ttl1后，也通过调用set_with_ttl(key,value,ttl)接口写入key-value及其对应ttl1。上述数据同步流程未考虑数据的传输时间，因此会引起IDC1和IDC2中时效性数据的不同步。假设ttl1为100s，key-value的传输时间为10s，那么，从IDC1侧写入key-value的时刻算起，IDC侧key-value将在100s后过期，而IDC2侧key-value将在110s后过期，显然，IDC1和IDC2中key-value是不同步的。
本发明实施例中，第一集群和第二集群可以为数据同步的触发方和接收方，其中，第一集群在第二集群存储的数据发生变化时，可以向第二集群发送该数据及其对应的第一时间戳信息；其中，所述第一时间戳信息为所述数据的过期时间与所述数据被第一集群发送时的发送时间的集合。
在具体实现中，在对所述数据和所述数据对应的第二过期时间执行写入操作以存储在第二集群时，可以将所述数据写入集群的数据库或者缓存，本发明实施例对具体的写入位置不加以限制。
综上，本发明实施例中，接收来自第一集群的数据及其对应的第一时间戳信息，并依据所述第一时间戳信息及其对应的接收时间，生成所述数据对应的第二过期时间；由于所述第一时间戳信息为所述数据的第一过期时间与所述数据被第一集群发送时的发送时间的集合，而在生成第二过期时间的过程中考虑了所述第一时间戳信息对应的接收时间，也即考虑了传输时间对于第一过期时间的影响，因此能够保证第一集群和第二集群中时效性数据的同步。
参照图2，示出了根据本发明一个实施例的一种跨集群的数据同步方法的步骤流程示意图，具体可以包括如下步骤：
步骤201、接收来自第一集群的数据及其对应的第一时间戳信息；其中，所述第一时间戳信息为所述数据的第一过期时间与所述数据被第一集群发送时的发送时间的集合；
步骤202、在接收来自第一集群的数据及其对应的第一时间戳信息时，记录对应的接收时间；
步骤203、读取所述第一时间戳信息；
步骤204、依据所述第一时间戳信息与所述接收时间，获取所述数据对应的第二过期时间；以及
步骤205、对所述数据和所述数据对应的第二过期时间执行写入操作以存储在第二集群。
相对于图1所示实施例，本实施例通过步骤202和步骤204来实现第二集群依据所述第一时间戳信息及其对应的接收时间，生成所述数据对应的第二过期时间的过程；由于在生成第二过期时间的过程中考虑了所述第一时间戳信息对应的接收时间，也即考虑了传输时间对于第一过期时间的影响，因此能够保证第一集群和第二集群中时效性数据的同步。
为使本领域技术人员更好地理解本发明，参照图3，示出了根据本发明一个示例的一种跨集群的数据同步方法的步骤流程示意图，具体可以包括如下步骤：
步骤301、IDC1在写入key-value-ttl1后，生成第一时间戳信息expired_time＝ttl1+current_time，并将key、value和expired_time传输至IDC2；其中，tt1为key-value的第一过期时间；
步骤302、IDC2接收到key、value和expired_time，并记录对应的接收时间current_time1；
步骤303、IDC2生成第二过期时间ttl2＝expired_time-current_time1；
步骤304、IDC2对key、value和tt2执行写入操作。
假设所述数据的第一过期时间ttl1为100s，所述数据被第一集群发送时的发送时间current_time为1:50，进一步假设对于所述第一时间戳信息的接收时间current_time1为2:00，那么，依据所述第一时间戳信息及其对应的接收时间，生成所述数据对应的第二过期时间为：100s+1:50-2:00＝90s，因此能够保证第一集群和第二集群中时效性数据的同步。
参照图4，示出了根据本发明一个实施例的一种跨集群的数据同步方法的步骤流程示意图，具体可以包括如下步骤：
步骤401、接收来自第一集群的数据及其对应的第一时间戳信息；其中，所述第一时间戳信息为所述数据的第一过期时间与所述数据被第一集群发送时的发送时间的集合；
步骤402、在接收来自第一集群的数据及其对应的第一时间戳信息时，记录对应的接收时间；
步骤403、依据所述第一时间戳信息获取所述第一过期时间和所述第一过期时间对应的发送时间；
步骤404、依据所述第一过期时间、所述第一过期时间对应的发送时间和接收时间，获取所述数据对应的第二过期时间；以及
步骤405、对所述数据和所述数据对应的第二过期时间执行写入操作以存储在第二集群。
相对于图1所示实施例，本实施例通过步骤402和步骤404来实现第二集群依据所述第一时间戳信息及其对应的接收时间，生成所述数据对应的第二过期时间的过程，其中，步骤404获取所述数据对应的第二过期时间的过程可以为：第二过期时间＝第一过期时间+(接收时间-发送时间)；由于接收时间与发送时间的差值为传输时间，也即在生成第二过期时间的过程中考虑了传输时间对于第一过期时间的影响，因此能够保证第一集群和第二集群中时效性数据的同步。
参照图5，示出了根据本发明一个实施例的一种跨集群的数据同步方法的步骤流程示意图，具体可以包括如下步骤：
步骤501、接收来自第一集群的数据及其对应的第一时间戳信息；其中，所述第一时间戳信息为所述数据的第一过期时间与所述数据被第一集群发送时的发送时间的集合；
步骤502、依据所述第一时间戳信息及其对应的接收时间，生成所述数据对应的第二过期时间；
步骤503、对所述数据和所述数据对应的第二过期时间执行写入操作以存储在第二集群；以及
步骤504、在第二集群存储的数据发生变化时，向第一集群发送该变化数据及其对应的第二时间戳信息；其中，所述第二时间戳信息为所述数据的第三过期时间与所述变化数据被第二集群发送时的发送时间的集合。
相对于图1所示实施例，本实施例除了可以接收来自第一集群的数据及其对应的第一时间戳信息外，还可以在第二集群存储的数据发生变化时，向第一集群发送该变化数据及其对应的第二时间戳信息，也即，既能够实现第一集群到第二集群的数据同步，也能够实现第二集群到第一集群的数据同步。
在本发明的一种可选实施例中，所述方法还可以包括：在第一集群存储的数据发生变化时，接收第一集群发送的该变化后数据及其对应的第三时间戳信息；其中，所述第三时间戳信息为所述变化后数据的过期时间与所述变化后数据被第一集群发送时的发送时间的集合。本可选实施例中，第一集群的数据可能发生如下变化：key-value-ttl1变化为key-value-ttl3，则可以按照如下过程生成变化后数据对应的第三时间戳信息：expired_time3＝ttl3+current_time3，其中，expired_time3、ttl3和current_time3分别表示第三时间戳信息、所述变化后数据的过期时间和所述变化后数据被第一集群发送时的发送时间。
在本发明的另一种可选实施例中，所述方法还可以包括：依据所述第三时间戳信息及其对应的接收时间，生成所述变化后数据对应的第四过期时间；以及利用接收的所述变化后数据及所述第四过期时间，更新存储在第二集群所述数据和所述数据对应的第二过期时间。
对于上例，在接收到key、value和expired_time3后，可以记录对应的接收时间current_time4，并生成第四过期时间ttl4＝expired_time3-current_time4。则更新存储在第二集群所述数据和所述数据对应的第二过期时间的过程可以为，将key-value-ttl2更新为key-value-ttl4。
参照图6，示出了根据本发明一个实施例的一种跨集群的数据同步方法的步骤流程示意图，具体可以包括如下步骤：
步骤601、接收来自第一集群的数据及其对应的第一时间戳信息；其中，所述第一时间戳信息为所述数据的第一过期时间与所述数据被第一集群发送时的发送时间的集合；
步骤602、依据所述第一时间戳信息及其对应的接收时间，生成所述数据对应的第二过期时间；以及
步骤603、将所述数据和所述数据对应的第二过期时间写入第二集群的缓存***。
相对于图1所示实施例，本实施例可以将所述数据和所述数据对应的第二过期时间写入第二集群的缓存***，因此能够实现跨集群缓存的数据同步。
参照图7，示出了根据本发明一个实施例的一种集群***的结构示意图，其具体可以包括：IDC1和IDC2，其中，IDC1侧设置有客户端1和缓存1，IDC2侧设置有客户端2和缓存2，IDC1和IDC2具有共同的数据库，该数据库分别于缓存1和缓存2相连，并且，客户端1可以向缓存1发送读请求或写请求，客户端2可以向缓存2发送读请求或写请求，以及，在缓存1或缓存2中存储的数据发生变化时，均可以触发向另一缓存的数据同步流程，以缓存1为例，其中存储的数据发生变化具体可以包括：客户端1向缓存中写入了新的数据，或者，数据库向缓存中写入了新的数据等等。
参照图8，示出了根据本发明一个实施例的一种图7所示缓存1的数据处理方法的步骤流程示意图，具体可以包括如下步骤：
步骤801、缓存1接收来自客户端1的读请求；
步骤802、缓存1判断自身是否存在所述读请求对应的数据，若是，则执行步骤803，否则执行步骤804；
步骤803、缓存1向客户端1返回所述读请求对应的第一数据；
步骤804、缓存1向数据库请求转发所述读请求，并接收所述数据库返回的所述读请求对应的第一数据和所述第一数据的过期时间，并执行所述步骤803和步骤805；
步骤805、缓存1向缓存2发送所述第一数据及其对应的第四时间戳信息；其中，所述第四时间戳信息为所述第一数据的过期时间与所述第一数据被缓存1发送时的发送时间的集合；
步骤806、缓存1接收来自客户端1的写请求；
步骤807、缓存1将所述写请求对应的第二数据和所述第二数据的过期时间写入缓存，并向缓存2发送所述第二数据及其对应的第五时间戳信息；其中，所述第五时间戳信息为所述第二数据的过期时间与所述第二数据被缓存1发送时的发送时间的集合。
对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图9，示出了根据本发明一个实施例的一种跨集群的数据同步装置的结构示意图，该装置可以应用于第二集群侧，具体可以包括如下模块：
第一接收模块901，用于接收来自第一集群的数据及其对应的第一时间戳信息；其中，所述第一时间戳信息为所述数据的第一过期时间与所述数据被第一集群发送时的发送时间的集合；
生成模块902，用于依据所述第一时间戳信息及其对应的接收时间，生成所述数据对应的第二过期时间；以及
写入模块903，用于对所述数据和所述数据对应的第二过期时间执行写入操作以存储在第二集群。
在本发明的一种可选实施例中，所述生成模块902，可以进一步包括：
第一记录子模块，用于在接收来自第一集群的数据及其对应的第一时间戳信息时，记录对应的接收时间；
读取子模块，用于读取所述第一时间戳信息；以及
第一获取子模块，用于依据所述第一时间戳信息与所述接收时间，获取所述数据对应的第二过期时间。
在本发明的另一种可选实施例中，所述生成模块902，可以进一步包括：
第二记录子模块，用于在接收来自第一集群的数据及其对应的第一时间戳信息时，记录对应的接收时间；
第二获取子模块，用于依据所述第一时间戳信息获取所述第一过期时间和所述第一过期时间对应的发送时间；以及
第三获取子模块，用于依据所述第一过期时间、所述第一过期时间对应的发送时间和接收时间，获取所述数据对应的第二过期时间。
在本发明的再一种可选实施例中，所述写入模块903，可具体用于将所述数据和所述数据对应的第二过期时间写入第二集群的缓存***。
在本发明的又一种可选实施例中，所述装置还可以包括：
发送模块，用于在第二集群存储的数据发生变化时，向第一集群发送该变化数据及其对应的第二时间戳信息；其中，所述第二时间戳信息为所述数据的第三过期时间与所述变化数据被第二集群发送时的发送时间的集合。
在本发明的一种可选实施例中，所述装置还可以包括：
第二接收模块，用于在第一集群存储的数据发生变化时，接收第一集群发送的该变化后数据及其对应的第三时间戳信息；其中，所述第三时间戳信息为所述变化后数据的过期时间与所述变化后数据被第一集群发送时的发送时间的集合。
在本发明的另一种可选实施例中，所述装置还可以包括：
生成模块，用于依据所述第三时间戳信息及其对应的接收时间，生成所述变化后数据对应的第四过期时间；以及
更新模块，用于利用接收的所述变化后数据及所述第四过期时间，更新存储在第二集群所述数据和所述数据对应的第二过期时间。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在此提供的算法和显示不与任何特定计算机、虚拟***或者其它设备固有相关。各种通用***也可以与基于在此的示教一起使用。根据上面的描述，构造这类***所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的跨集群的数据同步方法和装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网平台上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包括”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本发明公开了一种跨集群的数据同步方法，包括：
接收来自第一集群的数据及其对应的第一时间戳信息；其中，所述第一时间戳信息为所述数据的第一过期时间与所述数据被第一集群发送时的发送时间的集合；
依据所述第一时间戳信息及其对应的接收时间，生成所述数据对应的第二过期时间；以及
对所述数据和所述数据对应的第二过期时间执行写入操作以存储在第二集群。
可选地，所述第二集群依据所述第一时间戳信息及其对应的接收时间，生成所述数据对应的第二过期时间的步骤，包括：
在接收来自第一集群的数据及其对应的第一时间戳信息时，记录对应的接收时间；
读取所述第一时间戳信息；以及
依据所述第一时间戳信息与所述接收时间，获取所述数据对应的第二过期时间。
可选地，所述第二集群依据所述第一时间戳信息及其对应的接收时间，生成所述数据对应的第二过期时间的步骤，包括：
在接收来自第一集群的数据及其对应的第一时间戳信息时，记录对应的接收时间；
依据所述第一时间戳信息获取所述第一过期时间和所述第一过期时间对应的发送时间；
依据所述第一过期时间、所述第一过期时间对应的发送时间和接收时间，获取所述数据对应的第二过期时间。
可选地，所述对所述数据和所述数据对应的第二过期时间执行写入操作以存储在第二集群以存储在第二集群以存储在第二集群的步骤，包括：
将所述数据和所述数据对应的第二过期时间写入第二集群自身的缓存***。
可选地，所述方法还包括：
在第二集群存储的数据发生变化时，向第一集群发送该变化数据及其对应的第二时间戳信息；其中，所述第二时间戳信息为所述数据的第三过期时间与所述变化数据被第二集群发送时的发送时间的集合。
可选地，所述方法还包括：
在第一集群存储的数据发生变化时，接收第一集群发送的该变化后数据及其对应的第三时间戳信息；其中，所述第三时间戳信息为所述变化后数据的过期时间与所述变化后数据被第一集群发送时的时间的集合。
可选地，所述方法还包括：
依据所述第三时间戳信息及其对应的接收时间，生成所述变化后数据对应的第四过期时间；以及
利用接收的所述变化后数据及所述第四过期时间，更新存储在第二集群所述数据和所述数据对应的第二过期时间。
本发明还公开了一种跨集群的数据同步装置，包括：
第一接收模块，用于接收来自第一集群的数据及其对应的第一时间戳信息；其中，所述第一时间戳信息为所述数据的第一过期时间与所述数据被第一集群发送时的时间的集合；
生成模块，用于依据所述第一时间戳信息及其对应的接收时间，生成所述数据对应的第二过期时间；以及
写入模块，用于对所述数据和所述数据对应的第二过期时间执行写入操作以存储在第二集群。
可选地，所述生成模块，包括：
第一记录子模块，用于在接收来自第一集群的数据及其对应的第一时间戳信息时，记录对应的接收时间；
读取子模块，用于读取所述第一时间戳信息；以及
第一获取子模块，用于依据所述第一时间戳信息与所述接收时间，获取所述数据对应的第二过期时间。
可选地，所述生成模块，包括：
第二记录子模块，用于在接收来自第一集群的数据及其对应的第一时间戳信息时，记录对应的接收时间；
第二获取子模块，用于依据所述第一时间戳信息获取所述第一过期时间和所述第一过期时间对应的发送时间；以及
第三获取子模块，用于依据所述第一过期时间、所述第一过期时间对应的发送时间和接收时间，获取所述数据对应的第二过期时间。
可选地，所述写入模块，具体用于将所述数据和所述数据对应的第二过期时间写入第二集群的缓存***。
可选地，所述装置还包括：
发送模块，用于在第二集群存储的数据发生变化时，向第一集群发送该变化数据及其对应的第二时间戳信息；其中，所述第二时间戳信息为所述数据的第三过期时间与所述变化数据被第二集群发送时的发送时间的集合。
可选地，所述装置还包括：
第二接收模块，用于在第一集群存储的数据发生变化时，接收第一集群发送的该变化后数据及其对应的第三时间戳信息；其中，所述第三时间戳信息为所述变化后数据的过期时间与所述变化后数据被第一集群发送时的发送时间的集合。
可选地，所述装置还包括：
生成模块，用于依据所述第三时间戳信息及其对应的接收时间，生成所述变化后数据对应的第四过期时间；以及
更新模块，用于利用接收的所述变化后数据及所述第四过期时间，更新存储在第二集群所述数据和所述数据对应的第二过期时间。

Claims (12)

1.一种跨集群的数据同步方法，包括：
接收来自第一集群的数据及其对应的第一时间戳信息；其中，所述第一时间戳信息为所述数据的第一过期时间与所述数据被第一集群发送时的发送时间的集合；
依据所述第一时间戳信息及其对应的接收时间，生成所述数据对应的第二过期时间；其中，所述第二过期时间等于所述第一过期时间加上所述发送时间减去所述接收时间；以及
对所述数据和所述数据对应的第二过期时间执行写入操作以存储在第二集群；其中，所述第一集群的数据在经过第一过期时间后过期，所述被执行写入操作的数据在经过第二过期时间后过期。
2.如权利要求1所述的方法，其特征在于，所述依据所述第一时间戳信息及其对应的接收时间，生成所述数据对应的第二过期时间的步骤，包括：
在接收来自第一集群的数据及其对应的第一时间戳信息时，记录对应的接收时间；
依据所述第一时间戳信息获取所述第一过期时间和所述第一过期时间对应的发送时间；
依据所述第一过期时间、所述第一过期时间对应的发送时间和接收时间，获取所述数据对应的第二过期时间。
3.如权利要求1或2所述的方法，其特征在于，所述对所述数据和所述数据对应的第二过期时间执行写入操作以存储在第二集群的步骤，包括：
将所述数据和所述数据对应的第二过期时间写入第二集群自身的缓存***。
4.如权利要求1或2所述的方法，其特征在于，所述方法还包括：
在第二集群存储的数据发生变化时，向第一集群发送该变化数据及其对应的第二时间戳信息；其中，所述第二时间戳信息为所述数据的第三过期时间与所述变化数据被第二集群发送时的发送时间的集合。
5.如权利要求1或2所述的方法，其特征在于，还包括：
在第一集群存储的数据发生变化时，接收第一集群发送的该变化后数据及其对应的第三时间戳信息；其中，所述第三时间戳信息为所述变化后数据的过期时间与所述变化后数据被第一集群发送时的时间的集合。
6.如权利要求5所述的方法，其特征在于，还包括：
依据所述第三时间戳信息及其对应的接收时间，生成所述变化后数据对应的第四过期时间；以及
利用接收的所述变化后数据及所述第四过期时间，更新存储在第二集群所述数据和所述数据对应的第二过期时间。
7.一种跨集群的数据同步装置，包括：
第一接收模块，用于接收来自第一集群的数据及其对应的第一时间戳信息；其中，所述第一时间戳信息为所述数据的第一过期时间与所述数据被第一集群发送时的时间的集合；
生成模块，用于依据所述第一时间戳信息及其对应的接收时间，生成所述数据对应的第二过期时间；其中，所述第二过期时间等于所述第一过期时间加上所述发送时间减去所述接收时间；以及
写入模块，用于对所述数据和所述数据对应的第二过期时间执行写入操作以存储在第二集群；其中，所述第一集群的数据在经过第一过期时间后过期，所述被执行写入操作的数据在经过第二过期时间后过期。
8.如权利要求7所述的装置，其特征在于，所述生成模块，包括：
第二记录子模块，用于在接收来自第一集群的数据及其对应的第一时间戳信息时，记录对应的接收时间；
第二获取子模块，用于依据所述第一时间戳信息获取所述第一过期时间和所述第一过期时间对应的发送时间；以及
第三获取子模块，用于依据所述第一过期时间、所述第一过期时间对应的发送时间和接收时间，获取所述数据对应的第二过期时间。
9.如权利要求7或8所述的装置，其特征在于，所述写入模块，具体用于将所述数据和所述数据对应的第二过期时间写入第二集群的缓存***。
10.如权利要求7或8所述的装置，其特征在于，所述装置还包括：
发送模块，用于在第二集群存储的数据发生变化时，向第一集群发送该变化数据及其对应的第二时间戳信息；其中，所述第二时间戳信息为所述数据的第三过期时间与所述变化数据被第二集群发送时的发送时间的集合。
11.如权利要求7或8所述的装置，其特征在于，所述装置还包括：
第二接收模块，用于在第一集群存储的数据发生变化时，接收第一集群发送的该变化后数据及其对应的第三时间戳信息；其中，所述第三时间戳信息为所述变化后数据的过期时间与所述变化后数据被第一集群发送时的发送时间的集合。
12.如权利要求11所述的装置，其特征在于，所述装置还包括：
生成模块，用于依据所述第三时间戳信息及其对应的接收时间，生成所述变化后数据对应的第四过期时间；以及
更新模块，用于利用接收的所述变化后数据及所述第四过期时间，更新存储在第二集群所述数据和所述数据对应的第二过期时间。
CN201410836865.1A 2014-12-27 2014-12-27 一种跨集群的数据同步方法和装置 Active CN104580183B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201410836865.1A CN104580183B (zh) 2014-12-27 2014-12-27 一种跨集群的数据同步方法和装置
PCT/CN2015/095504 WO2016101758A1 (zh) 2014-12-27 2015-11-25 一种跨集群的数据同步方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410836865.1A CN104580183B (zh) 2014-12-27 2014-12-27 一种跨集群的数据同步方法和装置

Publications (2)

Publication Number Publication Date
CN104580183A CN104580183A (zh) 2015-04-29
CN104580183B true CN104580183B (zh) 2019-02-15

Family

ID=53095364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410836865.1A Active CN104580183B (zh) 2014-12-27 2014-12-27 一种跨集群的数据同步方法和装置

Country Status (2)

Country Link
CN (1) CN104580183B (zh)
WO (1) WO2016101758A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104580183B (zh) * 2014-12-27 2019-02-15 北京奇虎科技有限公司 一种跨集群的数据同步方法和装置
CN107231400B (zh) * 2016-03-25 2020-07-03 阿里巴巴集团控股有限公司 一种数据的同步方法和装置
CN106357723A (zh) * 2016-08-15 2017-01-25 杭州古北电子科技有限公司 一种基于云主机的多集群缓存信息同步***和方法
CN108512877B (zh) * 2017-02-28 2022-03-18 腾讯科技（北京）有限公司 一种服务器集群中分享数据的方法和装置
CN111708796A (zh) * 2020-06-23 2020-09-25 浪潮云信息技术股份公司 一种基于时间戳的数据一致性方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101426026A (zh) * 2008-09-17 2009-05-06 北京六维世纪网络技术有限公司 一种多服务器间数据同步的方法及***
CN101425891A (zh) * 2008-12-09 2009-05-06 中兴通讯股份有限公司 时间同步方法、***和客户端
CN102006330A (zh) * 2010-12-01 2011-04-06 北京瑞信在线***技术有限公司 分布式缓存***、数据的缓存方法及缓存数据的查询方法
CN103580845A (zh) * 2012-07-19 2014-02-12 中兴通讯股份有限公司 一种基于虚拟交换集群的时钟同步方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2399913B (en) * 2002-03-19 2004-12-15 Sun Microsystems Inc Fault tolerant computer system
US7899783B1 (en) * 2006-05-30 2011-03-01 Cisco Technology, Inc Monitoring data integrity
US7451339B2 (en) * 2006-09-15 2008-11-11 International Business Machines Corporation Pulse-per-second attachment for STP
CN104156361B (zh) * 2013-05-13 2017-11-17 阿里巴巴集团控股有限公司 一种实现数据同步的方法及***
CN104580183B (zh) * 2014-12-27 2019-02-15 北京奇虎科技有限公司 一种跨集群的数据同步方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101426026A (zh) * 2008-09-17 2009-05-06 北京六维世纪网络技术有限公司 一种多服务器间数据同步的方法及***
CN101425891A (zh) * 2008-12-09 2009-05-06 中兴通讯股份有限公司 时间同步方法、***和客户端
CN102006330A (zh) * 2010-12-01 2011-04-06 北京瑞信在线***技术有限公司 分布式缓存***、数据的缓存方法及缓存数据的查询方法
CN103580845A (zh) * 2012-07-19 2014-02-12 中兴通讯股份有限公司 一种基于虚拟交换集群的时钟同步方法及装置

Also Published As

Publication number Publication date
WO2016101758A1 (zh) 2016-06-30
CN104580183A (zh) 2015-04-29

Similar Documents

Publication Publication Date Title
CN104580183B (zh) 一种跨集群的数据同步方法和装置
CN103559231B (zh) 一种文件***配额管理方法、装置及***
CN104283926B (zh) 一种数据同步方法、装置及服务器
US7836429B2 (en) Data synchronization mechanism for change-request-management repository interoperation
CN104657387B (zh) 一种数据查询方法及装置
CN108234639A (zh) 一种基于内容分发网络cdn的数据访问方法和装置
CN106131113B (zh) 一种资源下载方法、装置、***以及资源服务器
CN110457258A (zh) 一种日志管理方法、装置、设备及介质
US20240163242A1 (en) Distributed domain name resolution and method for use of same
CN102685018A (zh) 一种网络即时通信信息处理的方法、***及即时通信设备
CN103995807A (zh) 一种基于Web架构下海量数据查询和二次处理的方法
CN112579695A (zh) 一种数据同步方法和装置
CN106327191A (zh) 一种交易信息记录的方法与装置
CN109213604A (zh) 一种数据源的管理方法和装置
CN113886485A (zh) 数据处理方法、装置、电子设备、***和存储介质
CN109086158A (zh) 一种异常原因分析方法、装置及服务器
Bowling et al. We are meeting on Microsoft Teams: Forensic analysis in Windows, Android, and iOS operating systems
CN110417869A (zh) 一种活动推送方法、装置及计算机设备
CN101668155B (zh) 一种iptv***日志消息跟踪方法及***
CN108989484A (zh) 一种域名***dns日志的压缩存储方法及装置
KR102069144B1 (ko) 모바일 컴퓨팅 디바이스들에 의한 파일 관리를 위한 시스템들 및 방법들
CN108897804A (zh) 一种互联网空间数据的搜索***及方法
US10038937B2 (en) Location-specific audio capture and correspondence to a video file
CN105245446B (zh) 一种报文发送方法及网关
CN106326424A (zh) 报表处理方法、装置和***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220718

Address after: Room 801, 8th floor, No. 104, floors 1-19, building 2, yard 6, Jiuxianqiao Road, Chaoyang District, Beijing 100015

Patentee after: BEIJING QIHOO TECHNOLOGY Co.,Ltd.

Address before: 100088 room 112, block D, 28 new street, new street, Xicheng District, Beijing (Desheng Park)

Patentee before: BEIJING QIHOO TECHNOLOGY Co.,Ltd.

Patentee before: Qizhi software (Beijing) Co.,Ltd.

TR01 Transfer of patent right