CN116095096A - 数据同步方法、装置及存储介质 - Google Patents
数据同步方法、装置及存储介质 Download PDFInfo
- Publication number
- CN116095096A CN116095096A CN202310012865.9A CN202310012865A CN116095096A CN 116095096 A CN116095096 A CN 116095096A CN 202310012865 A CN202310012865 A CN 202310012865A CN 116095096 A CN116095096 A CN 116095096A
- Authority
- CN
- China
- Prior art keywords
- station
- value
- ith
- site
- synchronization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000004891 communication Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims description 50
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 14
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000015654 memory Effects 0.000 description 37
- 230000006870 function Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 9
- 230000001360 synchronised effect Effects 0.000 description 8
- 238000013461 design Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 108010033145 microsomal ethanol-oxidizing system Proteins 0.000 description 4
- 238000011144 upstream manufacturing Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本申请涉及通信技术领域,尤其涉及一种数据同步方法、装置及存储介质,能够降低服务器的数据同步压力。该方法包括:获取每个站点的站点参数;根据每个站点的剩余资源值,确定每个站点的第一同步分数值;根据每个站点的资源访问频率,确定每个站点的第二同步分数值;根据每个站点的站点性能参数,确定每个站点的第三同步分数值;根据每个站点的站点同步次数,确定每个站点的第四同步分数值;根据第一同步分数,第二同步分数,第三同步分数,第四同步分数,确定每个站点的总同步分数;确定总同步分数满足预设条件的站点为目标站点;同步目标站点的数据。本申请用于数据同步过程中。
Description
技术领域
本申请涉及通信技术领域,尤其涉及一种数据同步方法、装置及存储介质。
背景技术
随着业务增长,站点数量也在逐步增加,相关技术中为了更好的管理各站点资源和调度站点资源的分配,需要定时同步数据保证数据的准确性。而目前的同步策略需要下游业务端通过资源数据查询接口,随后由上游业务端通过调用接口API的方式,查询下游业务全量资源数据,最后再将数据逐个与本地数据作对比,找出不同的数据并更新入库。
如此,在当前站点数量快速增长的情况下,同步数据工作使得服务器同步云库存的压力越来越大,耗时越来越久。因此,在如何降低资源管理服务器的数据同步压力是目前亟待解决的问题。
发明内容
本申请提供一种数据同步方法、装置及存储介质,能够降低服务器的数据同步压力。
为达到上述目的,本申请采用如下技术方案:
第一方面,本申请提供一种数据同步方法,该方法包括:获取每个站点的站点参数,站点参数包括:剩余资源值,资源访问频率,站点性能参数,以及站点同步次数;根据每个站点的剩余资源值,确定每个站点的第一同步分数值;根据每个站点的资源访问频率,确定每个站点的第二同步分数值;根据每个站点的站点性能参数,确定每个站点的第三同步分数值;根据每个站点的站点同步次数,确定每个站点的第四同步分数值;根据第一同步分数,第二同步分数,第三同步分数,第四同步分数,确定每个站点的总同步分数;确定总同步分数满足预设条件的站点为目标站点;同步目标站点的数据。
结合第一方面,在一种可能的实现方式中,每个站点包括多类资源;根据每个站点的剩余资源值,确定每个站点的第一同步分数值,包括:确定第i个站点的多类资源中,每类资源的资源剩余值;确定每类资源的资源剩余值中小于第一阈值的目标剩余资源值;计算第一阈值与每个目标剩余资源值之间的目标差值;确定目标差值之和为第一同步分数。
结合第一方面,在一种可能的实现方式中,每个站点包括多类资源;资源访问频率包括第i个站点前一次的访问时间、第i个站点当前访问时间、多类资源在第i个站点的使用分数值、多类资源在第i个站点的访问次数值、第i个站点前一次的第二同步分数值;第i个站点为多个站点中的一个站点;根据每个站点的资源访问频率,确定每个站点的第二同步分数值,包括:第i个站点的第二同步分数值为第一数值与第一差值的乘积;第一数值为第i个站点前一次的第二同步分数值、第一乘积值、第二乘积值、以及第三乘积值之和;第一差值为确定第i个站点当前访问时间与第i个站点前一次的访问时间的差值;第一乘积值为第a个资源在第i个站点的使用分数值与第a个资源在第i个站点的访问次数值的乘积;第二乘积值为第b个资源在第i个站点的使用分数值与第b个资源在第i个站点的访问次数值的乘积;第三乘积值为第c个资源在第i个站点的使用分数值与第c个资源在第i个站点的访问次数值的乘积。
结合第一方面,在一种可能的实现方式中,站点性能参数包括第i个站点的热点时间区间、第i个站点的当前时间、第i个站点的热点得分阈值、第i个站点的网络带宽值、第i个站点的站点延迟值、第i个站点的当前负载值、以及第i个站点的负载阈值;第i个站点为多个站点中的一个站点;根据每个站点的站点性能参数,确定每个站点的第三同步分数值,包括:根据第i个站点的热点时间区间、第i个站点的当前时间、以及第i个站点的热点得分阈值,确定第i个站点的热点得分值;根据第i个站点的网络带宽值、第i个站点的站点延迟值,确定第i个站点的带宽延迟值;根据第i个站点的当前负载值、第i个站点的负载阈值,确定第i个站点的访问负载值;将第i个站点的热点得分值、第i个站点的带宽延迟值、以及第i个站点的访问负载值相加,确定第i个站点的第三同步分数值。
结合第一方面,在一种可能的实现方式中,根据第i个站点的热点时间区间、第i个站点的当前时间、以及第i个站点的热点得分阈值,确定第i个站点的热点得分值,包括:确定第i个站点的热点时间区间和第i个站点的热点得分阈值,若第i个站点的当前时间属于第i个站点的热点时间区间,则确定第i个站点的热点得分值为第i个站点的热点得分阈值;若第i个站点的当前时间不属于第i个站点的热点时间区间,则确定第i个站点的热点得分值为第二阈值。
结合第一方面,在一种可能的实现方式中,根据第i个站点的网络带宽值、第i个站点的站点延迟值,确定第i个站点的带宽延迟值,包括:若第i个站点的网络带宽值大于第i个站点的带宽阈值且第i个站点的站点延迟值大于第i个站点的延迟阈值,则确定第i个站点的带宽延迟值为第四差值与第五差值之和;第四差值为第i个站点的网络带宽值与第i个站点的带宽阈值的差值;第五差值为第i个站点的站点延迟值与第i个站点的延迟阈值的差值。
结合第一方面,在一种可能的实现方式中,根据第i个站点的当前负载值、第i个站点的负载阈值,确定第i个站点的访问负载值,包括:若第i个站点的当前负载值小于第i个站点的负载阈值,则确定第i个站点的访问负载值为第i个站点的负载阈值与第i个站点的当前负载值的差值;若第i个站点的当前负载值大于第i个站点的负载阈值,则确定第i个站点的访问负载值为第二阈值。
结合第一方面,在一种可能的实现方式中,站点同步次数包括第i个站点当天的同步次数和站点同步次数阈值;根据每个站点的站点同步次数,确定每个站点的第四同步分数值,包括:若第i个站点当天的同步次数大于站点同步次数阈值,则确定第i个站点的第四同步分数值为第二阈值;若第i个站点当天的同步次数小于站点同步次数阈值,则确定第i个站点的第四同步分数值为站点同步次数阈值与第i个站点当天的同步次数的差值。
结合第一方面,在一种可能的实现方式中,确定总同步分数满足预设条件的站点为目标站点,包括:判断每个站点的总同步分数是否大于站点分数阈值;若大于,则确定第一目标站点;第一目标站点为站点的总同步分数大于站点分数阈值的站点;若每个站点的总同步分数均小于站点分数阈值,则对每个站点的总同步分数排序,确定第二目标站点;第二目标站点为站点的总同步分数排序满足站点排名阈值的站点。
第二方面,本申请提供一种数据同步装置,该装置包括:处理单元和获取单元;获取单元,用于获取每个站点的站点参数,站点参数包括:剩余资源值,资源访问频率,站点性能参数,以及站点同步次数;处理单元,用于根据每个站点的剩余资源值,确定每个站点的第一同步分数值;处理单元,还用于根据每个站点的资源访问频率,确定每个站点的第二同步分数值;处理单元,还用于根据每个站点的站点性能参数,确定每个站点的第三同步分数值;处理单元,还用于根据每个站点的站点同步次数,确定每个站点的第四同步分数值;处理单元,还用于根据第一同步分数,第二同步分数,第三同步分数,第四同步分数,确定每个站点的总同步分数;处理单元,还用于确定总同步分数满足预设条件的站点为目标站点;处理单元,还用于同步目标站点的数据。
结合第二方面,在一种可能的实现方式中,每个站点包括多类资源;处理单元,具体用于确定第i个站点的多类资源中,每类资源的资源剩余值;确定每类资源的资源剩余值中小于第一阈值的目标剩余资源值;计算第一阈值与每个目标剩余资源值之间的目标差值;确定目标差值之和为第一同步分数。
结合第二方面,在一种可能的实现方式中,每个站点包括多类资源;资源访问频率包括第i个站点前一次的访问时间、第i个站点当前访问时间、多类资源在第i个站点的使用分数值、多类资源在第i个站点的访问次数值、第i个站点前一次的第二同步分数值;第i个站点为多个站点中的一个站点;第i个站点的第二同步分数值为第一数值与第一差值的乘积;第一数值为第i个站点前一次的第二同步分数值、第一乘积值、第二乘积值、以及第三乘积值之和;第一差值为确定第i个站点当前访问时间与第i个站点前一次的访问时间的差值;第一乘积值为第a个资源在第i个站点的使用分数值与第a个资源在第i个站点的访问次数值的乘积;第二乘积值为第b个资源在第i个站点的使用分数值与第b个资源在第i个站点的访问次数值的乘积;第三乘积值为第c个资源在第i个站点的使用分数值与第c个资源在第i个站点的访问次数值的乘积。
结合第二方面,在一种可能的实现方式中,站点性能参数包括第i个站点的热点时间区间、第i个站点的当前时间、第i个站点的热点得分阈值、第i个站点的网络带宽值、第i个站点的站点延迟值、第i个站点的当前负载值、以及第i个站点的负载阈值;第i个站点为多个站点中的一个站点;处理单元,具体用于根据第i个站点的热点时间区间、第i个站点的当前时间、以及第i个站点的热点得分阈值,确定第i个站点的热点得分值;根据第i个站点的网络带宽值、第i个站点的站点延迟值,确定第i个站点的带宽延迟值;根据第i个站点的当前负载值、第i个站点的负载阈值,确定第i个站点的访问负载值;将第i个站点的热点得分值、第i个站点的带宽延迟值、以及第i个站点的访问负载值相加,确定第i个站点的第三同步分数值。
结合第二方面,在一种可能的实现方式中,处理单元,具体用于确定第i个站点的热点时间区间和第i个站点的热点得分阈值,若第i个站点的当前时间属于第i个站点的热点时间区间,则确定第i个站点的热点得分值为第i个站点的热点得分阈值;若第i个站点的当前时间不属于第i个站点的热点时间区间,则确定第i个站点的热点得分值为第二阈值。
结合第二方面,在一种可能的实现方式中,在第i个站点的网络带宽值大于第i个站点的带宽阈值且第i个站点的站点延迟值大于第i个站点的延迟阈值的情况下,处理单元,还用于确定第i个站点的带宽延迟值为第四差值与第五差值之和;第四差值为第i个站点的网络带宽值与第i个站点的带宽阈值的差值;第五差值为第i个站点的站点延迟值与第i个站点的延迟阈值的差值。
结合第二方面,在一种可能的实现方式中,若第i个站点的当前负载值小于第i个站点的负载阈值,则处理单元,还用于确定第i个站点的访问负载值为第i个站点的负载阈值与第i个站点的当前负载值的差值;若第i个站点的当前负载值大于第i个站点的负载阈值,则处理单元,还用于确定第i个站点的访问负载值为第二阈值。
结合第二方面,在一种可能的实现方式中,站点同步次数包括第i个站点当天的同步次数和站点同步次数阈值;若第i个站点当天的同步次数大于站点同步次数阈值,则处理单元,还用于确定第i个站点的第四同步分数值为第二阈值;若第i个站点当天的同步次数小于站点同步次数阈值,则处理单元,还用于确定第i个站点的第四同步分数值为站点同步次数阈值与第i个站点当天的同步次数的差值。
结合第二方面,在一种可能的实现方式中,处理单元,还用于判断每个站点的总同步分数是否大于站点分数阈值;若大于,则确定第一目标站点;第一目标站点为站点的总同步分数大于站点分数阈值的站点;若每个站点的总同步分数均小于站点分数阈值,则对每个站点的总同步分数排序,确定第二目标站点;第二目标站点为站点的总同步分数排序满足站点排名阈值的站点。
第三方面,本申请提供了一种数据同步装置,该装置包括:处理器和通信接口;通信接口和处理器耦合,处理器用于运行计算机程序或指令,以实现如第一方面和第一方面的任一种可能的实现方式中所描述的数据同步方法。
第四方面,本申请提供了一种计算机可读存储介质,计算机可读存储介质中存储有指令,当指令在终端上运行时,使得终端执行如第一方面和第一方面的任一种可能的实现方式中描述的数据同步方法。
在本申请中,上述数据同步装置的名字对设备或功能模块本身不构成限定,在实际实现中,这些设备或功能模块可以以其他名称出现。只要各个设备或功能模块的功能和本申请类似,属于本申请权利要求及其等同技术的范围之内。
本申请的这些方面或其他方面在以下的描述中会更加简明易懂。
基于上述技术方案,本申请实施例提供的数据同步方法,本申请实施例提供了一种数据同步方法,首先数据同步装置获取每个站点的站点参数,再依次确定每个站点的第一同步分数值、第二同步分数值、第三同步分数值、以及第四同步分数值,进而数据同步装置根据第一同步分数,第二同步分数,第三同步分数,第四同步分数,确定每个站点的总同步分数,从多个维度对站点进行评分;其次数据同步装置确定总同步分数满足预设条件的站点为目标站点;最后数据同步装置同步目标站点的数据。这样,筛选出同步优先级最高的站点进行数据同步,减少无效数据同步的次数,降低服务器压力的同时保证数据同步的准确性。
附图说明
图1为本申请提供的一种数据同步装置的结构示意图;
图2为本申请提供的一种数据同步方法的架构图;
图3为本申请提供的一种数据同步方法的流程图;
图4为本申请提供的另一种数据同步方法的流程图;
图5为本申请提供的另一种数据同步方法的流程图;
图6为本申请提供的另一种数据同步方法的流程图;
图7为本申请提供的另一种数据同步方法的架构图;
图8为本申请提供的一种数据同步装置的结构示意图;
图9为本申请提供的另一种数据同步装置的结构示意图。
具体实施方式
下面结合附图对本申请实施例提供的数据同步方法及装置进行详细地描述。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
本申请的说明书以及附图中的术语“第一”和“第二”等是用于区别不同的对象,或者用于区别对同一对象的不同处理,而不是用于描述对象的特定顺序。
此外,本申请的描述中所提到的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括其他没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
图1为本申请实施例提供的一种业务传输的结构示意图,如图1所示,该业务传输100包括至少一个处理器101,通信线路102,以及至少一个通信接口104,还可以包括存储器103。其中,处理器101,存储器103以及通信接口104三者之间可以通过通信线路102连接。
处理器101可以是一个中央处理器(central processing unit,CPU),也可以是特定集成电路(application specific integrated circuit,ASIC),或者是被配置成实施本申请实施例的一个或多个集成电路,例如:一个或多个数字信号处理器(digital signalprocessor,DSP),或,一个或者多个现场可编程门阵列(field programmable gate array,FPGA)。
通信线路102可以包括一通路,用于在上述组件之间传送信息。
通信接口104,用于与其他设备或通信网络通信,可以使用任何收发器一类的装置,如以太网,无线接入网(radio access network,RAN),无线局域网(wireless localarea networks,WLAN)等。
存储器103可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory,EEPROM)、只读光盘(compact disc read-only memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于包括或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
一种可能的设计中,存储器103可以独立于处理器101存在,即存储器103可以为处理器101外部的存储器,此时,存储器103可以通过通信线路102与处理器101相连接,用于存储执行指令或者应用程序代码,并由处理器101来控制执行,实现本申请下述实施例提供的网络质量确定方法。又一种可能的设计中,存储器103也可以和处理器101集成在一起,即存储器103可以为处理器101的内部存储器,例如,该存储器103为高速缓存,可以用于暂存一些数据和指令信息等。
作为一种可实现方式,处理器101可以包括一个或多个CPU,例如图1中的CPU0和CPU1。作为另一种可实现方式,业务传输100可以包括多个处理器,例如图1中的处理器101和处理器107。作为再一种可实现方式,业务传输100还可以包括输出设备105和输入设备106。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将网络节点的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的***,模块和网络节点的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
随着业务增长,站点数量也在逐步增加,相关技术中为了更好的管理各站点资源和调度站点资源的分配,需要定时同步数据保证数据的准确性。在当前站点数量快速增长的情况下,同步数据工作使得服务器同步云库存的压力越来越大,耗时越来越久。
针对上述问题如图2所示,目前主流的同步策略,首先是通过MESOS资源分布式管理器进行调度站点资源,MESOS资源分布式管理器是由master daemon来管理slave daemon在每个集群节点上的运行,mesos applications(也称为frameworks)在这些slaves上运行的任务,Slave节点均会周期性的汇报自身可用资源给Master,以保证Master时刻掌握最新的资源库存信息。Master使用Resource Offers实现跨应用细粒度资源共享,如cpu、内存、磁盘、网络等。其次是进行定时任务同步,也就是上游业务端定时通过调用API的方式查询下游业务全量资源数据,随后将数据逐个与本地数据进行对比,找出不同的数据源,进而将不同的数据源更新入库。最后是进行消息队列(Message Queue,MQ)同步,上游业务和下游业务均接入对应的MQ,在下游业务端捕捉到数据变更后,将变更消息发送至MQ,上游业务端接收到MQ消息后,将变更内容更新入库,完成整体的数据同步。
而上述目前使用的主流同步策略,存在以下几个弊端:1、MESOS资源分布式管理器需要引入第三方技术栈。搭建MESOS资源分布式管理器,需要专业的MESOS运维人员和开发人员,将额外增加项目成本和工作量,且会导致***架构复杂难以管理。2、MESOS资源管理服务使用过于笨重。因MESOS资源管理服务是一套完整的分布式资源管理调度方案,且部分功能与目前***高度重合;如果替换使用,需要推翻之前的业务代码重新编码新驱动代码,增加额外的开发成本,代码功能测的成本还将会影响线上主流程业务,风险过大且收益较低。3、MESOS资源管理服务在为各资源提供机器或虚拟机编写、以及驱动框架时,均需要专业运维人员和各站点的支持,其运维成本、开发成本、以及站点沟通成本大大增加,且并不是所有的站点都能支持。4、在定时任务同步时,资源管理服务器的压力将随着站点的增多逐步增加,且后续同步数据的时间将越来越慢。5、在进行MQ消息同步时站点端需要接入新的MQ服务,并且需要获取数据变更事件的捕获方案,导致技术复杂度较高。因此,在服务器压力正常的情况下如何保证数据同步的准确性是目前亟待解决的问题。
为解决相关技术中存在的技术问题,本申请实施例提供了一种数据同步方法,首先数据同步装置获取每个站点的站点参数,再依次确定每个站点的第一同步分数值、第二同步分数值、第三同步分数值、以及第四同步分数值,进而数据同步装置根据第一同步分数,第二同步分数,第三同步分数,第四同步分数,确定每个站点的总同步分数,从多个维度对站点进行评分;其次数据同步装置确定总同步分数满足预设条件的站点为目标站点;最后数据同步装置同步目标站点的数据。这样,筛选出同步优先级最高的站点进行数据同步,减少无效数据同步的次数,降低服务器压力的同时保证数据同步的准确性。
本申请实施例提供的数据同步方法可以应用于如图1所示的排队装置中,如图3所示,该数据同步方法具体包括以下步骤301-步骤308。
步骤301、数据同步装置获取每个站点的站点参数。
其中,站点参数包括:剩余资源值,资源访问频率,站点性能参数,以及站点同步次数。
在一种可能实现的方式中,数据同步装置包括站点计分管理器、站点策略器、以及资源管理服务器,站点计分管理器可以通过资源管理服务器获取多个站点的站点参数。
步骤302、数据同步装置根据每个站点的剩余资源值,确定每个站点的第一同步分数值。
在一种可能实现的方式中,步骤302中的数据同步装置可以为站点计分管理器。其中,站点计分管理器包括资源剩余量计分器、资源使用频率计分器、站点热点区间计分器、站点带宽延迟计分器、站点负载计分器、以及站点同步频率计分器。
一种示例,设定站点包括站点A、站点B、站点C、以及站点D,以站点A为例,站点A的第一同步分数值是由资源剩余量计分器根据该站点的剩余资源值计算确定的。
步骤303、数据同步装置根据每个站点的资源访问频率,确定每个站点的第二同步分数值。
其中,每个站点包括多类资源;资源访问频率包括第i个站点前一次的访问时间、第i个站点当前访问时间、多类资源在第i个站点的使用分数值、多类资源在第i个站点的访问次数值、第i个站点前一次的第二同步分数值;第i个站点为多个站点中的一个站点。
作为一种可能实现的方式,上述步骤303的实现过程可以为:第i个站点的第二同步分数值为第一数值与第一差值的乘积;第一数值为第i个站点前一次的第二同步分数值、第一乘积值、第二乘积值、以及第三乘积值之和;第一差值为确定第i个站点当前访问时间与第i个站点前一次的访问时间的差值;第一乘积值为第a个资源在第i个站点的使用分数值与第a个资源在第i个站点的访问次数值的乘积;第二乘积值为第b个资源在第i个站点的使用分数值与第b个资源在第i个站点的访问次数值的乘积;第三乘积值为第c个资源在第i个站点的使用分数值与第c个资源在第i个站点的访问次数值的乘积。
示例性的,资源使用频率计分器计算确定第i个站点的第二同步分数,第i个站点的第二同步分数值满足以下公式1:
V2=(V2’+S1*N1+S2*N2+S3*N3)*(T-T1) 公式1
其中,V2为第i个站点的第二同步分数值;V2’为第i个站点前一次的第二同步分数值;S1为第a个资源在第i个站点的使用分数值;S2为第b个资源在第i个站点的使用分数值;S3为第c个资源在第i个站点的使用分数值;N1为第a个资源在第i个站点的访问次数值;N2为第b个资源在第i个站点的访问次数值;N3为第c个资源在第i个站点的访问次数值;T为第i个站点当前访问时间;T1为第i个站点前一次的访问时间。
步骤304、数据同步装置根据每个站点的站点性能参数,确定每个站点的第三同步分数值。
在一种可能的实现方式中,第三同步分数值包括站点的热点得分值、站点的带宽延迟值、以及站点的访问负载值。
示例性的,站点热点区间计分器根据第i个站点的站点性能参数计算确定第i个站点的热点得分值;站点带宽延迟计分器根据第i个站点的站点性能参数计算确定第i个站点的带宽延迟值;站点负载计分器根据第i个站点的站点性能参数计算确定第i个站点的访问负载值。最后由站点计分管理器将第i个站点的热点得分值、第i个站点的带宽延迟值、以及第i个站点的访问负载值相加,确定第i个站点的第三同步分数值。
步骤305、数据同步装置根据每个站点的站点同步次数,确定每个站点的第四同步分数值。
其中,站点同步次数包括第i个站点当天的同步次数和站点同步次数阈值。
作为一种可能实现的方式,步骤305的实现过程可以为:若第i个站点当天的同步次数大于站点同步次数阈值,则数据同步装置确定第i个站点的第四同步分数值为第二阈值。
若第i个站点当天的同步次数小于站点同步次数阈值,则数据同步装置确定第i个站点的第四同步分数值为站点同步次数阈值与第i个站点当天的同步次数的差值。
一种示例,站点A当天的同步次数为27次大于站点同步次数阈值20次,则站点A的第四同步分数值为第二阈值。值得注意的是第二阈值为0。
另一种示例,若站点A当天的同步次数为15次小于站点同步次数阈值20次,则站点A的第四同步分数值等于站点同步次数阈值20次减去站点A当天的同步次数为15次的差值;也就是站点A的第四同步分数值为5。
步骤306、数据同步装置根据第一同步分数,第二同步分数,第三同步分数,第四同步分数,确定每个站点的总同步分数。
在一种可能实现的方式中,运维人员根据实际情况设置站点不同维度的比分占比,每个站点的总同步分数满足以下公式2:
S=a*V1+ b*V2+ c*V3+ d*V4 公式2
其中,S为第i个站点的总同步分数;a为第i个站点的第一同步分数的占比;b为第i个站点的第二同步分数的占比;c为第i个站点的第三同步分数的占比;d为第i个站点的第四同步分数的占比;V1为第i个站点的第一同步分数;V2为第i个站点的第二同步分数;V3为第i个站点的第三同步分数;V4为第i个站点的第四同步分数。
示例性的,数据同步装置将站点A的第一同步分数,第二同步分数,第三同步分数,第四同步分数相加,确定站点A的总同步分数为67。
数据同步装置将站点B的第一同步分数,第二同步分数,第三同步分数,第四同步分数相加,确定站点B的总同步分数为87。
数据同步装置将站点C的第一同步分数,第二同步分数,第三同步分数,第四同步分数相加,确定站点C的总同步分数为75。
数据同步装置将站点D的第一同步分数,第二同步分数,第三同步分数,第四同步分数相加,确定站点D的总同步分数为54。
步骤307、数据同步装置确定总同步分数满足预设条件的站点为目标站点。
结合步骤306中的示例,数据同步装置分别确定站点A的总同步分数、站点B的总同步分数、站点C的总同步分数、站点D的总同步分数是否满足预设条,若满足则确定为目标站点。
步骤308、数据同步装置同步目标站点的数据。
一种可能实现的方式中,数据同步装置对目标站点的数据进行同步更新。
上述方案至少带来以下有益效果:在本申请中首先数据同步装置获取每个站点的站点参数,再依次确定每个站点的第一同步分数值、第二同步分数值、第三同步分数值、以及第四同步分数值,进而数据同步装置根据第一同步分数,第二同步分数,第三同步分数,第四同步分数,确定每个站点的总同步分数,从多个维度对站点进行评分;其次数据同步装置确定总同步分数满足预设条件的站点为目标站点;最后数据同步装置同步目标站点的数据。这样,筛选出同步优先级最高的站点进行数据同步,减少无效数据同步的次数,降低服务器压力的同时保证数据同步的准确性。
以上,对本申请实施例涉及的数据同步方法进行了详细说明。
结合图3,如图4所示,上述步骤302数据同步装置根据每个站点的剩余资源值,确定每个站点的第一同步分数值。该过程具体包括以下步骤401-步骤404,以下将进行详细说明。
步骤401、数据同步装置确定第i个站点的多类资源中,每类资源的资源剩余值。
其中,每个站点包括多类资源。
一种示例,以站点A为例,站点A中包括有多类资源,多类资源包括但不限于CPU资源、内存资源、以及网络资源。
需要指出的是,数据同步装置中的资源剩余量计分器通过资源管理服务器获取到站点A的CPU资源的资源剩余值为41,内存资源的资源剩余值为82,网络资源的资源剩余值为50。
步骤402、数据同步装置确定每类资源的资源剩余值中小于第一阈值的目标剩余资源值。
在一种可能的实现方式中,数据同步装置确定CPU资源、内存资源、以及网络资源是否小于第一阈值,若其中任一类资源的资源剩余值大于第一阈值,则该类资源不计入后续计算;若其中任一类资源的资源剩余值小于第一阈值,则数据同步装置确定该类资源的资源剩余值为目标剩余资源值。
值得注意的是,数据同步装置中的站点选择策略器中预设有第一阈值,在数据同步装置中的资源剩余量计分器计算每个站点的第一同步分数值时,站点选择策略器将第一阈值上传至资源剩余量计分器中。
结合步骤401中的示例,设定第一阈值为60,数据同步装置判断站点A的CPU资源的资源剩余值41小于第一阈值60,站点A的CPU资源的资源剩余值为目标剩余资源值;数据同步装置判断站点A的内存资源的资源剩余值为82大于第一阈值60,则站点A的内存资源的资源剩余值不计入后续计算;数据同步装置判断站点A的网络资源的资源剩余值50小于第一阈值60,则站点A的网络资源的资源剩余值可以为目标剩余资源值。
步骤403、数据同步装置计算第一阈值与每个目标剩余资源值之间的目标差值。
结合步骤402中的示例,数据同步装置计算确定第一阈值60与站点A的CPU资源的资源剩余值41的差值为19;数据同步装置计算确定第一阈值60与站点A的网络资源的资源剩余值50的差值为10。
步骤404、数据同步装置确定目标差值之和为第一同步分数。
结合步骤403中的示例,数据同步装置计算确定第一同步分数为目标差值19与目标差值10的总和29。
基于上述技术方案,本申请实施例可以确定每个站点的各个资源的剩余情况,对站点的资源剩余情况进行充分的考量,确保后续计算确定站点的同步优先级的准确性。
结合图3,如图5所示,上述步骤304数据同步装置根据每个站点的站点性能参数,确定每个站点的第三同步分数值,具体可以通过一下步骤501-步骤504实现。
步骤501、数据同步装置根据第i个站点的热点时间区间、第i个站点的当前时间、以及第i个站点的热点得分阈值,确定第i个站点的热点得分值。
其中,站点性能参数包括第i个站点的热点时间区间、第i个站点的当前时间、第i个站点的热点得分阈值、第i个站点的网络带宽值、第i个站点的站点延迟值、第i个站点的当前负载值、以及第i个站点的负载阈值;第i个站点为多个站点中的一个站点。
在一种可能的实现方式中,上述步骤501的实现过程可以为:数据同步装置确定第i个站点的热点时间区间和第i个站点的热点得分阈值,若第i个站点的当前时间属于第i个站点的热点时间区间,则数据同步装置确定第i个站点的热点得分值为第i个站点的热点得分阈值。
若第i个站点的当前时间不属于第i个站点的热点时间区间,则数据同步装置确定第i个站点的热点得分值为第二阈值。
一种示例,数据同步装置中的站点热点区间计分器通过资源管理服务器确定站点A的热点时间区间为20点-21点和站点A的当前时间为20点20分,数据同步装置中的站点选择策略器内预设有站点A的热点得分阈值30,数据同步装置判断确定站点A的当前时间为20点20分属于站点A的热点时间区间为20点-21点,则站点A的热点得分值为站点选择策略器内预设有站点A的热点得分阈值30。
另一种示例,若站点A的当前时间为19点,则数据同步装置判断确定站点A的当前时间为19点不属于站点A的热点时间区间为20点-21点,则站点A的热点得分值为第二阈值,其中第二阈值为0。
步骤502、数据同步装置根据第i个站点的网络带宽值、第i个站点的站点延迟值,确定第i个站点的带宽延迟值。
在一种可能的实现方式中,上述步骤502的实现过程可以为:在第i个站点的网络带宽值大于第i个站点的带宽阈值且第i个站点的站点延迟值大于第i个站点的延迟阈值的情况下,数据同步装置确定第i个站点的带宽延迟值为第四差值与第五差值之和;第四差值为第i个站点的网络带宽值与第i个站点的带宽阈值的差值;第五差值为第i个站点的站点延迟值与第i个站点的延迟阈值的差值。
一种示例,数据同步装置中的站点带宽延迟计分器通过资源管理服务器获取到站点A的网络带宽值为40,获取到站点A的站点延迟值为20,数据同步装置中的站点选择策略器内预设有站点A的带宽阈值30,站点A的延迟阈值为10,在数据同步装置中的站点带宽延迟计分器需要计算确定站点A的带宽延迟值时,数据同步装置中的站点选择策略器将带宽阈值和延迟阈值发送至站点带宽延迟计分器。
数据同步装置中的站点带宽延迟计分器判断站点A的网络带宽值40大于站点A的带宽阈值30,站点A的站点延迟值20大于站点A的延迟阈值10,则数据同步装置中的站点带宽延迟计分器计算确定站点A的带宽延迟值为20。
步骤503、数据同步装置根据第i个站点的当前负载值、第i个站点的负载阈值,确定第i个站点的访问负载值。
在一种可能的实现方式中,上述步骤503的实现过程可以为:若第i个站点的当前负载值小于第i个站点的负载阈值,则数据同步装置确定第i个站点的访问负载值为第i个站点的负载阈值与第i个站点的当前负载值的差值。
若第i个站点的当前负载值大于第i个站点的负载阈值,则数据同步装置确定第i个站点的访问负载值为第二阈值。
示例性的,数据同步装置中的站点负载计分器通过资源管理服务器获取到站点A的当前负载值为25,数据同步装置中的站点选择策略器内预设有站点A的负载阈值35,数据同步装置中的站点选择策略器将站点A的负载阈值25发送至数据同步装置中的站点负载计分器。
数据同步装置判断站点A的当前负载值25小于站点A的负载阈值35,则数据同步装置计算确定站点A的访问负载值为10。
另一种示例,若站点A的当前负载值为35,站点A的负载阈值为25,数据同步装置判断站点A的当前负载值35大于站点A的负载阈值25,则数据同步装置计算确定站点A的访问负载值为第二阈值,其中第二阈值为0。
步骤504、数据同步装置将第i个站点的热点得分值、第i个站点的带宽延迟值、以及第i个站点的访问负载值相加,确定第i个站点的第三同步分数值。
基于上述技术方案,本申请实施例通过将站点性能参数划分为三个部分,分别为热点时间区间、带宽延迟、访问负载,更为细致的评判站点的实际情况。
结合图3,如图6所示,上述步骤307数据同步装置确定总同步分数满足预设条件的站点为目标站点,具体可以通过以下步骤601-步骤603实现。
步骤601、数据同步装置判断每个站点的总同步分数是否大于站点分数阈值。
在一种可能实现的方式中,上述步骤601的实现过程可以为:该步骤的数据同步装置可以为站点选择策略器,站点选择策略器从站点计分管理器内获取到每个站点的总同步分数,将每个站点的总同步分数分别与站点分数阈值比较,确定每个站点的总同步分数是否大于站点分数阈值。
结合步骤306中的示例,数据同步装置判断站点A的总同步分数67小于预先设置的站点分数阈值70,站点B的总同步分数87大于预先设置的站点分数阈值70,站点C的总同步分数75大于预先设置的站点分数阈值70,站点D的总同步分数54小于预先设置的站点分数阈值70。
步骤602、若大于,则数据同步装置确定第一目标站点。
其中,第一目标站点为站点的总同步分数大于站点分数阈值的站点。
结合步骤601中的示例,数据同步装置确定站点B和站点C为第一目标站点。
步骤603、若每个站点的总同步分数均小于站点分数阈值,则数据同步装置对每个站点的总同步分数排序,确定第二目标站点。
其中,第二目标站点为站点的总同步分数排序满足站点排名阈值的站点。
一种示例,若站点A、站点B、站点C、以及站点D的总同步分数小于站点分数阈值70,则数据同步装置对站点A、站点B、站点C、以及站点D的总同步分数进行排序,排名靠前2位的站点为第二目标站点。本申请对排名数值不做限定。
基于上述技术方案,本申请实施例中的数据同步装置根据站点各维度的实时数据判断站点是否需要进行库存数据同步,随后调度其站点的同步操作,避免出现无用的同步操作次数,降低服务器的同步数据压力;同时本申请方案实现便携,扩展性良好,将分数计算维度处理器抽象出接口,用户可以自行扩展实现,可以满足大多数热点数据排序。
如图7所示,为本申请的总体设计架构图,数据同步装置700包括站点计分管理器701、站点选择策略器702、资源管理服务器703。站点计分管理器701通过资源管理服务器703获取多个站点的站点参数,并计算每个站点的总同步分数,站点计分管理器701还可将每个站点的总同步分数反馈至站点选择策略器702,由站点选择策略器702进行判断确定目标站点,最后站点选择策略器702将目标站点发送至资源管理服务器703,由资源管理服务器703定时任务同步数据。
可以看出,上述主要从方法的角度对本申请实施例提供的技术方案进行了介绍。为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的模块及算法步骤,本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对数据同步装置进行功能模块或者功能单元的划分,例如,可以对应各个功能划分各个功能模块或者功能单元,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块或者功能单元的形式实现。其中,本申请实施例中对模块或者单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
如图8所示,为本申请实施例提供的一种数据同步装置的结构示意图,该装置包括:处理单元801和获取单元802;获取单元802,用于获取每个站点的站点参数,站点参数包括:剩余资源值,资源访问频率,站点性能参数,以及站点同步次数;处理单元801,用于根据每个站点的剩余资源值,确定每个站点的第一同步分数值;处理单元801,还用于根据每个站点的资源访问频率,确定每个站点的第二同步分数值;处理单元801,还用于根据每个站点的站点性能参数,确定每个站点的第三同步分数值;处理单元801,还用于根据每个站点的站点同步次数,确定每个站点的第四同步分数值;处理单元801,还用于根据第一同步分数,第二同步分数,第三同步分数,第四同步分数,确定每个站点的总同步分数;处理单元801,还用于确定总同步分数满足预设条件的站点为目标站点;处理单元801,还用于同步目标站点的数据。
可选的,每个站点包括多类资源;处理单元801,具体用于确定第i个站点的多类资源中,每类资源的资源剩余值;确定每类资源的资源剩余值中小于第一阈值的目标剩余资源值;计算第一阈值与每个目标剩余资源值之间的目标差值;确定目标差值之和为第一同步分数。
可选的,每个站点包括多类资源;资源访问频率包括第i个站点前一次的访问时间、第i个站点当前访问时间、多类资源在第i个站点的使用分数值、多类资源在第i个站点的访问次数值、第i个站点前一次的第二同步分数值;第i个站点为多个站点中的一个站点;第i个站点的第二同步分数值为第一数值与第一差值的乘积;第一数值为第i个站点前一次的第二同步分数值、第一乘积值、第二乘积值、以及第三乘积值之和;第一差值为确定第i个站点当前访问时间与第i个站点前一次的访问时间的差值;第一乘积值为第a个资源在第i个站点的使用分数值与第a个资源在第i个站点的访问次数值的乘积;第二乘积值为第b个资源在第i个站点的使用分数值与第b个资源在第i个站点的访问次数值的乘积;第三乘积值为第c个资源在第i个站点的使用分数值与第c个资源在第i个站点的访问次数值的乘积。
可选的,站点性能参数包括第i个站点的热点时间区间、第i个站点的当前时间、第i个站点的热点得分阈值、第i个站点的网络带宽值、第i个站点的站点延迟值、第i个站点的当前负载值、以及第i个站点的负载阈值;第i个站点为多个站点中的一个站点;处理单元801,具体用于根据第i个站点的热点时间区间、第i个站点的当前时间、以及第i个站点的热点得分阈值,确定第i个站点的热点得分值;根据第i个站点的网络带宽值、第i个站点的站点延迟值,确定第i个站点的带宽延迟值;根据第i个站点的当前负载值、第i个站点的负载阈值,确定第i个站点的访问负载值;将第i个站点的热点得分值、第i个站点的带宽延迟值、以及第i个站点的访问负载值相加,确定第i个站点的第三同步分数值。
可选的,处理单元801,具体用于确定第i个站点的热点时间区间和第i个站点的热点得分阈值,若第i个站点的当前时间属于第i个站点的热点时间区间,则确定第i个站点的热点得分值为第i个站点的热点得分阈值;若第i个站点的当前时间不属于第i个站点的热点时间区间,则确定第i个站点的热点得分值为第二阈值。
可选的,在第i个站点的网络带宽值大于第i个站点的带宽阈值且第i个站点的站点延迟值大于第i个站点的延迟阈值的情况下,处理单元801,还用于确定第i个站点的带宽延迟值为第四差值与第五差值之和;第四差值为第i个站点的网络带宽值与第i个站点的带宽阈值的差值;第五差值为第i个站点的站点延迟值与第i个站点的延迟阈值的差值。
可选的,若第i个站点的当前负载值小于第i个站点的负载阈值,则处理单元801,还用于确定第i个站点的访问负载值为第i个站点的负载阈值与第i个站点的当前负载值的差值;若第i个站点的当前负载值大于第i个站点的负载阈值,则处理单元801,还用于确定第i个站点的访问负载值为第二阈值。
可选的,站点同步次数包括第i个站点当天的同步次数和站点同步次数阈值;若第i个站点当天的同步次数大于站点同步次数阈值,则处理单元801,还用于确定第i个站点的第四同步分数值为第二阈值;若第i个站点当天的同步次数小于站点同步次数阈值,则处理单元801,还用于确定第i个站点的第四同步分数值为站点同步次数阈值与第i个站点当天的同步次数的差值。
可选的,处理单元801,还用于判断每个站点的总同步分数是否大于站点分数阈值;若大于,则确定第一目标站点;第一目标站点为站点的总同步分数大于站点分数阈值的站点;若每个站点的总同步分数均小于站点分数阈值,则对每个站点的总同步分数排序,确定第二目标站点;第二目标站点为站点的总同步分数排序满足站点排名阈值的站点。
在通过硬件实现时,本申请实施例中的获取单元802可以集成在通信接口上,处理单元801可以集成在处理器上。具体实现方式如图9所示。
图9示出了上述实施例中所涉及的数据同步装置的又一种可能的结构示意图。该数据同步装置包括:处理器902和通信接口903。处理器902用于对数据同步装置的动作进行控制管理,例如,执行上述处理单元801执行的步骤,和/或用于执行本文所描述的技术的其它过程。通信接口903用于支持数据同步装置与其他网络实体的通信,例如,执行上述获取单元802执行的步骤。数据同步装置还可以包括存储器901和总线904,存储器901用于存储数据同步装置的程序代码和数据。
其中,存储器901可以是数据同步装置中的存储器等,该存储器可以包括易失性存储器,例如随机存取存储器;该存储器也可以包括非易失性存储器,例如只读存储器,快闪存储器,硬盘或固态硬盘;该存储器还可以包括上述种类的存储器的组合。
上述处理器902可以是实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。该处理器可以是中央处理器,通用处理器,数字信号处理器,专用集成电路,现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。该处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等。
总线904可以是扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。总线904可以分为地址总线、数据总线、控制总线等。为便于表示,图9中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的***,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本申请实施例提供一种包含指令的计算机程序产品,当该计算机程序产品在计算机上运行时,使得该计算机执行上述方法实施例中的数据同步方法。
本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质中存储有指令,当该指令在计算机上运行时,使得该计算机执行上述方法实施例所示的方法流程中的数据同步方法。
其中,计算机可读存储介质,例如可以是但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random Access Memory,RAM)、只读存储器(Read-Only Memory,ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、寄存器、硬盘、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合、或者本领域熟知的任何其它形式的计算机可读存储介质。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于特定用途集成电路(Application Specific Integrated Circuit,ASIC)中。在本申请实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
由于本发明的实施例中的数据同步装置、计算机可读存储介质、计算机程序产品可以应用于上述方法,因此,其所能获得的技术效果也可参考上述方法实施例,本发明实施例在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的***、设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
以上,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。
Claims (12)
1.一种数据同步方法,其特征在于,所述方法包括:
获取每个站点的站点参数,所述站点参数包括:剩余资源值,资源访问频率,站点性能参数,以及站点同步次数;
根据所述每个站点的剩余资源值,确定所述每个站点的第一同步分数值;
根据所述每个站点的资源访问频率,确定所述每个站点的第二同步分数值;
根据所述每个站点的站点性能参数,确定所述每个站点的第三同步分数值;
根据所述每个站点的站点同步次数,确定所述每个站点的第四同步分数值;
根据所述第一同步分数,所述第二同步分数,所述第三同步分数,所述第四同步分数,确定所述每个站点的总同步分数;
确定总同步分数满足预设条件的站点为目标站点;
同步所述目标站点的数据。
2.根据权利要求1所述的方法,其特征在于,所述每个站点包括多类资源;
所述根据所述每个站点的剩余资源值,确定所述每个站点的第一同步分数值,包括:
确定第i个站点的多类资源中,每类资源的资源剩余值;
确定所述每类资源的资源剩余值中小于第一阈值的目标剩余资源值;
计算所述第一阈值与每个所述目标剩余资源值之间的目标差值;
确定所述目标差值之和为所述第一同步分数。
3.根据权利要求1所述的方法,其特征在于,所述每个站点包括多类资源;所述资源访问频率包括第i个站点前一次的访问时间、第i个站点当前访问时间、多类资源在第i个站点的使用分数值、多类资源在第i个站点的访问次数值、第i个站点前一次的第二同步分数值;所述第i个站点为所述多个站点中的一个站点;
根据所述每个站点的资源访问频率,确定所述每个站点的第二同步分数值,包括:
所述第i个站点的第二同步分数值为第一数值与第一差值的乘积;
所述第一数值为所述第i个站点前一次的第二同步分数值、第一乘积值、第二乘积值、以及第三乘积值之和;
所述第一差值为确定所述第i个站点当前访问时间与所述第i个站点前一次的访问时间的差值;
所述第一乘积值为第a个资源在第i个站点的使用分数值与第a个资源在第i个站点的访问次数值的乘积;
所述第二乘积值为第b个资源在第i个站点的使用分数值与第b个资源在第i个站点的访问次数值的乘积;
所述第三乘积值为第c个资源在第i个站点的使用分数值与第c个资源在第i个站点的访问次数值的乘积。
4.根据权利要求1所述的方法,其特征在于,所述站点性能参数包括第i个站点的热点时间区间、第i个站点的当前时间、第i个站点的热点得分阈值、第i个站点的网络带宽值、第i个站点的站点延迟值、第i个站点的当前负载值、以及第i个站点的负载阈值;所述第i个站点为所述多个站点中的一个站点;
根据所述每个站点的站点性能参数,确定所述每个站点的第三同步分数值,包括:
根据所述第i个站点的热点时间区间、第i个站点的当前时间、以及第i个站点的热点得分阈值,确定第i个站点的热点得分值;
根据第i个站点的网络带宽值、第i个站点的站点延迟值,确定第i个站点的带宽延迟值;
根据第i个站点的当前负载值、第i个站点的负载阈值,确定第i个站点的访问负载值;
将所述第i个站点的热点得分值、所述第i个站点的带宽延迟值、以及所述第i个站点的访问负载值相加,确定第i个站点的第三同步分数值。
5.根据权利要求4所述的方法,其特征在于,所述根据所述第i个站点的热点时间区间、第i个站点的当前时间、以及第i个站点的热点得分阈值,确定第i个站点的热点得分值,包括:
确定所述第i个站点的热点时间区间和第i个站点的热点得分阈值,若第i个站点的当前时间属于所述第i个站点的热点时间区间,则确定第i个站点的热点得分值为所述第i个站点的热点得分阈值;
若所述第i个站点的当前时间不属于所述第i个站点的热点时间区间,则确定所述第i个站点的热点得分值为第二阈值。
6.根据权利要求4所述的方法,其特征在于,所述根据第i个站点的网络带宽值、第i个站点的站点延迟值,确定第i个站点的带宽延迟值,包括:
在所述第i个站点的网络带宽值大于第i个站点的带宽阈值且所述第i个站点的站点延迟值大于第i个站点的延迟阈值的情况下,确定所述第i个站点的带宽延迟值为第四差值与第五差值之和;
所述第四差值为所述第i个站点的网络带宽值与所述第i个站点的带宽阈值的差值;
所述第五差值为所述第i个站点的站点延迟值与所述第i个站点的延迟阈值的差值。
7.根据权利要求4所述的方法,其特征在于,所述根据第i个站点的当前负载值、第i个站点的负载阈值,确定第i个站点的访问负载值,包括:
若所述第i个站点的当前负载值小于第i个站点的负载阈值,则确定所述第i个站点的访问负载值为所述第i个站点的负载阈值与所述第i个站点的当前负载值的差值;
若所述第i个站点的当前负载值大于所述第i个站点的负载阈值,则确定所述第i个站点的访问负载值为第二阈值。
8.根据权利要求7所述的方法,其特征在于,所述站点同步次数包括第i个站点当天的同步次数和站点同步次数阈值;
根据所述每个站点的站点同步次数,确定所述每个站点的第四同步分数值,包括:
若所述第i个站点当天的同步次数大于所述站点同步次数阈值,则确定第i个站点的第四同步分数值为第二阈值;
若所述第i个站点当天的同步次数小于所述站点同步次数阈值,则确定第i个站点的第四同步分数值为所述站点同步次数阈值与所述第i个站点当天的同步次数的差值。
9.根据权利要求1所述的方法,其特征在于,所述确定总同步分数满足预设条件的站点为目标站点,包括:
判断所述每个站点的总同步分数是否大于站点分数阈值;
若大于,则确定第一目标站点;所述第一目标站点为站点的总同步分数大于所述站点分数阈值的站点;
若所述每个站点的总同步分数均小于所述站点分数阈值,则对所述每个站点的总同步分数排序,确定第二目标站点;所述第二目标站点为站点的总同步分数排序满足站点排名阈值的站点。
10.一种数据同步装置,其特征在于,所述装置包括:处理单元和获取单元;
所述获取单元,用于获取每个站点的站点参数,所述站点参数包括:剩余资源值,资源访问频率,站点性能参数,以及站点同步次数;
所述处理单元,用于根据所述每个站点的剩余资源值,确定所述每个站点的第一同步分数值;
所述处理单元,还用于根据所述每个站点的资源访问频率,确定所述每个站点的第二同步分数值;
所述处理单元,还用于根据所述每个站点的站点性能参数,确定所述每个站点的第三同步分数值;
所述处理单元,还用于根据所述每个站点的站点同步次数,确定所述每个站点的第四同步分数值;
所述处理单元,还用于根据所述第一同步分数,所述第二同步分数,所述第三同步分数,所述第四同步分数,确定所述每个站点的总同步分数;
所述处理单元,还用于确定总同步分数满足预设条件的站点为目标站点;
所述处理单元,还用于同步所述目标站点的数据。
11.一种数据同步装置,其特征在于,包括:处理器和通信接口;所述通信接口和所述处理器耦合,所述处理器用于运行计算机程序或指令,以实现如权利要求1-9任一项中所述的数据同步方法。
12.一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,其特征在于,当计算机执行该指令时,该计算机执行上述权利要求1-9任一项中所述的数据同步方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310012865.9A CN116095096B (zh) | 2023-01-05 | 2023-01-05 | 数据同步方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310012865.9A CN116095096B (zh) | 2023-01-05 | 2023-01-05 | 数据同步方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116095096A true CN116095096A (zh) | 2023-05-09 |
CN116095096B CN116095096B (zh) | 2024-05-03 |
Family
ID=86209804
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310012865.9A Active CN116095096B (zh) | 2023-01-05 | 2023-01-05 | 数据同步方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116095096B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018120681A1 (zh) * | 2016-12-30 | 2018-07-05 | 平安科技(深圳)有限公司 | 数据同步方法、装置、***、数据处理服务器和存储介质 |
CN110417838A (zh) * | 2018-04-28 | 2019-11-05 | 华为技术有限公司 | 一种数据同步方法及同步服务设备 |
CN111935320A (zh) * | 2020-09-28 | 2020-11-13 | 腾讯科技(深圳)有限公司 | 一种数据同步的方法、相关装置、设备以及存储介质 |
WO2021168800A1 (zh) * | 2020-02-28 | 2021-09-02 | 深圳市欢太科技有限公司 | 数据同步方法及相关产品 |
CN114553895A (zh) * | 2022-04-24 | 2022-05-27 | 浙江中控技术股份有限公司 | 一种数据同步方法、***、存储介质及电子设备 |
CN114584574A (zh) * | 2022-04-28 | 2022-06-03 | 武汉四通信息服务有限公司 | 数据同步方法、装置、计算机设备及存储介质 |
CN115269715A (zh) * | 2021-04-29 | 2022-11-01 | 华为技术有限公司 | 一种数据同步方法及电子设备 |
-
2023
- 2023-01-05 CN CN202310012865.9A patent/CN116095096B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018120681A1 (zh) * | 2016-12-30 | 2018-07-05 | 平安科技(深圳)有限公司 | 数据同步方法、装置、***、数据处理服务器和存储介质 |
CN110417838A (zh) * | 2018-04-28 | 2019-11-05 | 华为技术有限公司 | 一种数据同步方法及同步服务设备 |
WO2021168800A1 (zh) * | 2020-02-28 | 2021-09-02 | 深圳市欢太科技有限公司 | 数据同步方法及相关产品 |
CN111935320A (zh) * | 2020-09-28 | 2020-11-13 | 腾讯科技(深圳)有限公司 | 一种数据同步的方法、相关装置、设备以及存储介质 |
CN115269715A (zh) * | 2021-04-29 | 2022-11-01 | 华为技术有限公司 | 一种数据同步方法及电子设备 |
CN114553895A (zh) * | 2022-04-24 | 2022-05-27 | 浙江中控技术股份有限公司 | 一种数据同步方法、***、存储介质及电子设备 |
CN114584574A (zh) * | 2022-04-28 | 2022-06-03 | 武汉四通信息服务有限公司 | 数据同步方法、装置、计算机设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
LEE S.H: "Improved synchronization and extended dissipativity analysis for delayed neural networks with the sampled-data control", 《INFORMATION SCIENCES》, 16 April 2022 (2022-04-16) * |
Also Published As
Publication number | Publication date |
---|---|
CN116095096B (zh) | 2024-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107066319B (zh) | 一种面向异构资源的多维调度*** | |
CN108667748B (zh) | 一种控制带宽的方法、装置、设备和存储介质 | |
CN107545338B (zh) | 业务数据处理方法及业务数据处理*** | |
CN109218348B (zh) | 一种区块链中区块的确定方法及节点设备 | |
CN109558065B (zh) | 数据删除方法及分布式存储*** | |
CN111552701B (zh) | 确定分布式集群中数据一致性的方法及分布式数据*** | |
CN109472441B (zh) | 调拨物资的方法、处理装置、设备及存储介质 | |
CN111147395B (zh) | 一种网络资源调整方法及装置 | |
CN111966289A (zh) | 基于Kafka集群的分区优化方法和*** | |
CN111078404B (zh) | 一种计算资源确定方法、装置、电子设备及介质 | |
CN110231915B (zh) | 数据管理方法、***、装置、计算机设备及存储介质 | |
CN112099937A (zh) | 一种资源治理方法和装置 | |
CN112860387A (zh) | 分布式任务调度方法、装置、计算机设备及存储介质 | |
CN111880909A (zh) | 一种基于分布式的发布数据的方法及装置 | |
CN112968945B (zh) | 限流方法、装置、电子设备及存储介质 | |
Gholamipour et al. | Online admission control and resource allocation in network slicing under demand uncertainties | |
CN116095096B (zh) | 数据同步方法、装置及存储介质 | |
CN115562841B (zh) | 一种云视频服务自适应资源调度***和方法 | |
CN111031413A (zh) | 一种业务处理方法及sdn控制器 | |
CN108429704B (zh) | 一种节点资源分配方法及装置 | |
CN114090201A (zh) | 资源调度方法、装置、设备及存储介质 | |
CN114138453A (zh) | 一种适合边缘计算环境的资源优化分配方法与*** | |
CN109274451B (zh) | 一种时间获取方法、装置和设备 | |
CN109525675B (zh) | 北向服务器文件下载方法、装置、计算机设备和存储介质 | |
CN113468442A (zh) | 资源位流量的分发方法、计算设备及计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |