CN115827778A - 一种数据获取方法、装置、电子设备及存储介质 - Google Patents
一种数据获取方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115827778A CN115827778A CN202211461892.6A CN202211461892A CN115827778A CN 115827778 A CN115827778 A CN 115827778A CN 202211461892 A CN202211461892 A CN 202211461892A CN 115827778 A CN115827778 A CN 115827778A
- Authority
- CN
- China
- Prior art keywords
- copy
- data
- service
- data acquisition
- copies
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000004044 response Effects 0.000 claims abstract description 24
- 230000008439 repair process Effects 0.000 claims description 46
- 238000012545 processing Methods 0.000 claims description 19
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 11
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 241000282376 Panthera tigris Species 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种数据获取方法、装置、电子设备及存储介质,涉及计算机技术领域,解决了相关技术中从多个副本中选择一个副本进行读取的过程,会影响业务数据的获取效率的技术问题。该方法包括:响应于终端发送的业务数据获取请求,确定电子设备的业务繁忙程度是否满足预设条件;在该业务繁忙程度满足该预设条件的情况下,读取第一副本中的数据以及第二副本中的数据;在获取到该第一副本中的数据的情况下,向该终端发送业务数据获取响应,该业务数据获取响应包括该第一副本中的数据,该第一副本中的数据的获取时刻在该第二副本中的数据的获取时刻之前。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种数据获取方法、装置、电子设备及存储介质。
背景技术
目前,在分布式存储***中,当用户需要获取某一业务数据时,可以从多个副本中随机选择一个副本进行读取。
但是,上述随机选择一个副本进行读取的过程可能会存在一些异常情况,例如选择的副本中并没有用户想要获取的业务数据,影响了业务数据的获取效率。
发明内容
本发明提供一种数据获取方法、装置、电子设备及存储介质,解决了相关技术中从多个副本中选择一个副本进行读取的过程,会影响业务数据的获取效率的技术问题。
第一方面,本发明提供一种数据获取方法,应用于电子设备,该方法包括:响应于终端发送的业务数据获取请求,确定该电子设备的业务繁忙程度是否满足预设条件,该业务数据获取请求包括目标业务的业务标识;在该业务繁忙程度满足该预设条件的情况下,读取第一副本中的数据以及第二副本中的数据,该第一副本以及该第二副本为多个副本中包括的副本,该多个副本为该目标业务对应的副本;在获取到该第一副本中的数据的情况下,向该终端发送业务数据获取响应,该业务数据获取响应包括该第一副本中的数据,该第一副本中的数据的获取时刻在该第二副本中的数据的获取时刻之前。
可选地,该数据获取方法还包括:在获取到该第二副本中的数据的情况下,确定该第二副本中的数据与该第一副本中的数据是否一致;在该第二副本中的数据与该第一副本中的数据一致的情况下,删除该第二副本以及该第一副本。
可选地,该数据获取方法还包括:在该第二副本中的数据与该第一副本中的数据不一致的情况下,读取第三副本中的数据,该第三副本为该多个副本中除该第一副本以及该第二副本以外的副本;基于该第一副本中的数据、该第二副本中的数据以及该第三副本中的数据,确定副本修复策略;执行该副本修复策略,以使得该第一副本中的数据、该第二副本中的数据以及该第三副本中的数据保持一致。
可选地,上述基于该第一副本中的数据、该第二副本中的数据以及该第三副本中的数据,确定副本修复策略具体包括:确定该第一副本对应的时间戳、该第二副本对应的时间戳以及该第三副本对应的时间戳;在该第一副本对应的时间戳大于该第二副本对应的时间戳以及该第三副本对应的时间戳,并且该第一副本中的数据与该第三副本中的数据不相同的情况下,确定该副本修复策略用于指示基于该第一副本中的数据修复该第二副本中的数据以及该第三副本中的数据。
可选地,该数据获取方法还包括:在该副本修复策略执行失败的情况下,执行副本重建操作,该副本重建操作用于指示为该目标业务建立目标副本,并且将该第一副本中的数据、该第二副本中的数据或者该第三副本中的数据添加至该目标副本。
第二方面,本发明提供一种数据获取装置,包括:确定模块、读取模块以及发送模块;该确定模块,用于响应于终端发送的业务数据获取请求,确定电子设备的业务繁忙程度是否满足预设条件,该业务数据获取请求包括目标业务的业务标识;该读取模块,用于在该业务繁忙程度满足该预设条件的情况下,读取第一副本中的数据以及第二副本中的数据,该第一副本以及该第二副本为多个副本中包括的副本,该多个副本为该目标业务对应的副本;该发送模块,用于在获取到该第一副本中的数据的情况下,向该终端发送业务数据获取响应,该业务数据获取响应包括该第一副本中的数据,该第一副本中的数据的获取时刻在该第二副本中的数据的获取时刻之前。
可选地,该数据获取装置还包括删除模块;该确定模块,还用于在获取到该第二副本中的数据的情况下,确定该第二副本中的数据与该第一副本中的数据是否一致;该删除模块,用于在该第二副本中的数据与该第一副本中的数据一致的情况下,删除该第二副本以及该第一副本。
可选地,该数据获取装置还包括处理模块;该读取模块,还用于在该第二副本中的数据与该第一副本中的数据不一致的情况下,读取第三副本中的数据,该第三副本为该多个副本中除该第一副本以及该第二副本以外的副本;该确定模块,还用于基于该第一副本中的数据、该第二副本中的数据以及该第三副本中的数据,确定副本修复策略;该处理模块,用于执行该副本修复策略,以使得该第一副本中的数据、该第二副本中的数据以及该第三副本中的数据保持一致。
可选地,该确定模块,具体用于确定该第一副本对应的时间戳、该第二副本对应的时间戳以及该第三副本对应的时间戳;该确定模块,具体还用于在该第一副本对应的时间戳大于该第二副本对应的时间戳以及该第三副本对应的时间戳,并且该第一副本中的数据与该第三副本中的数据不相同的情况下,确定该副本修复策略用于指示基于该第一副本中的数据修复该第二副本中的数据以及该第三副本中的数据。
可选地,该处理模块,还用于在该副本修复策略执行失败的情况下,执行副本重建操作,该副本重建操作用于指示为该目标业务建立目标副本,并且将该第一副本中的数据、该第二副本中的数据或者该第三副本中的数据添加至该目标副本。
第三方面,本发明提供一种电子设备,包括:处理器和被配置为存储处理器可执行指令的存储器;其中,处理器被配置为执行所述指令,以实现上述第一方面中任一种可选地数据获取方法。
第四方面,本发明提供一种计算机可读存储介质,计算机可读存储介质上存储有指令,当该计算机可读存储介质中的指令由电子设备执行时,使得该电子设备能够执行上述第一方面中任一种可选地数据获取方法。
本发明提供的数据获取方法、装置、电子设备及存储介质,响应于终端发送的业务数据获取请求,电子设备可以确定电子设备的业务繁忙程度是否满足预设条件。在电子设备的业务繁忙程度满足预设条件的情况下,说明电子设备的处理压力较小,此时电子设备可以读取第一副本中的数据以及第二副本中的数据。由于第一副本中的数据的获取时刻在第二副本中的数据的获取时刻之前,即电子设备优先获取到了第一副本中的数据。因此在虎丘到该第一副本中的数据的情况下,电子设备可以向终端发送业务数据获取响应,该业务数据获取响应包括该第一副本中的数据。本发明中,由于多个副本为目标业务对应的副本,电子设备读取多个副本中的一个或多个副本(例如第一副本)中的数据,即为读取目标业务数据,进而可以保证终端能够获取到相应的业务数据,提升数据获取的有效性。另外,电子设备可以向终端发送(或返回)优先获取到某一个副本(例如第一副本)中的数据,能够方便、快捷地将目标业务数据发送至终端,提升了数据获取的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例提供的一种数据获取方法的流程示意图;
图2为本发明实施例提供的另一种数据获取方法的流程示意图;
图3为本发明实施例提供的另一种数据获取方法的流程示意图;
图4为本发明实施例提供的另一种数据获取方法的流程示意图;
图5为本发明实施例提供的另一种数据获取方法的流程示意图;
图6为本发明实施例提供的一种数据获取装置的结构示意图;
图7为本发明实施例提供的另一种数据获取装置的结构示意图。
具体实施方式
下面将结合附图对本发明实施例提供的数据获取方法、装置、电子设备及存储介质进行详细的描述。
本申请的说明书以及附图中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述对象的特定顺序,例如,第一副本和第二副本等是用于区别不同的副本,而不是用于副本的特定顺序。
此外,本申请的描述中所提到的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括其他没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
需要说明的是,本发明实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本申请中所述“和/或”,包括用两种方法中的任意一种或者同时使用两种方法。
在本申请的描述中,除非另有说明,“多个”的含义是指两个或两个以上。
基于背景技术中所描述,由于相关技术中,从多个副本中随机选择一个副本进行读取的过程可能会存在一些异常情况,例如选择的副本中并没有用户想要获取的业务数据,影响了业务数据的获取效率。基于此,本发明实施例提供一种数据获取方法、装置、电子设备及存储介质,由于多个副本为目标业务对应的副本,电子设备读取多个副本中的一个或多个副本(例如第一副本)中的数据,即为读取目标业务数据,进而可以保证终端能够获取到相应的业务数据,提升数据获取的有效性。另外,电子设备可以向终端发送(或返回)优先获取到某一个副本(例如第一副本)中的数据,能够方便、快捷地将目标业务数据发送至终端,提升了数据获取的效率。
示例性的,执行本发明实施例提供的数据获取方法的电子设备可以是手机、平板电脑、桌面型、膝上型、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobilepersonal computer,UMPC)、上网本,以及蜂窝电话、个人数字助理(personal digitalassistant,PDA)、增强现实(augmented reality,AR)\虚拟现实(virtual reality,VR)设备,本发明实施例对电子设备的具体形态不作特殊限制。其可以与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互。
可选地,该电子设备可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(content deliverynetwork,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
如图1所示,本发明实施例提供的数据获取方法可以包括S101-S103。
S101、响应于终端发送的业务数据获取请求,电子设备确定电子设备的业务繁忙程度是否满足预设条件。
其中,该业务数据获取请求包括目标业务的业务标识,该业务数据获取请求用于请求获取该目标业务的业务数据(以下称为目标业务数据)。
应理解,电子设备的业务繁忙程度可以表征该电子设备的处理压力。在电子设备的业务繁忙程度满足预设条件的情况下,说明电子设备的处理压力较小;相反,即在电子设备的业务繁忙程度不满足预设条件的情况下,说明该电子设备的处理压力较大。
在一种可选的实现方式中,当电子设备存储的数据为大文件(例如50兆字节(Mbit)的文件)时,电子设备可以基于电子设备的吞吐量确定该电子设备的业务繁忙程度,此时上述预设条件可以为吞吐量阈值(例如20兆字节每秒(Mbit/S))。具体的,当电子设备的吞吐量小于或等于吞吐量阈值时,电子设备可以确定该电子设备的业务繁忙程度满足预设条件。
在另一种可选的实现方式中,当电子设备存储的数据为小文件(例如4千字节(kbit)的文件)时,电子设备可以基于电子设备的每秒进行读写操作的次数(input/outputoperations per second,IOPS)确定该电子设备的业务繁忙程度,此时上述预设条件可以为IOPS阈值。具体的,当电子设备的IOPS小于或等于IOPS阈值时,电子设备可以确定该电子设备的业务繁忙程度满足预设条件。
S102、在电子设备的业务繁忙程度满足预设条件的情况下,电子设备读取第一副本中的数据以及第二副本中的数据。
其中,该第一副本以及该第二副本为多个副本中包括的副本,该多个副本为该目标业务对应的副本。
结合上述实施例的描述,应理解,在电子设备的业务繁忙程度满足预设条件的情况下,说明电子设备的处理压力较小,此时电子设备可以读取第一副本中的数据以及第二副本中的数据。
可以理解的是,电子设备在获取到目标业务的业务标识之后,可以基于该业务标识确定并获取该目标业务对应的副本,即上述多个副本。然后,电子设备可以从该多个副本中选择两个副本(例如第一副本和第二副本),或者可以理解为选择一个副本对,执行读取操作。即为读取该第一副本中的数据以及该第二副本中的数据。
本发明实施例中,由于多个副本为目标业务对应的副本,电子设备读取多个副本中的一个或多个副本(例如第一副本)中的数据,即为读取上述目标业务数据。
S103、在获取到第一副本中的数据的情况下,电子设备向终端发送业务数据获取响应。
其中,该业务数据获取响应包括第一副本中的数据,该第一副本中的数据的获取时刻在第二副本中的数据的获取时刻之前。
应理解,由于第一副本中的数据的获取时刻在第二副本中的数据的获取时刻之前,即电子设备先获取到了第一副本中的数据后获取到了第二副本中的数据。
本发明实施例中,电子设备可以向终端发送(或返回)优先获取到某一个副本(例如第一副本)中的数据,能够方便、快捷地将目标业务数据发送至终端,提升了数据获取的效率。
在一种可选的实现方式中,若第二副本中的数据的获取时刻在第一副本中的数据的获取时刻之前,则在获取到第二副本中的数据的情况下,电子设备也可以向终端发送该业务数据获取响应,此时该业务数据获取响应中包括的是该第二副本中的数据。
上述实施例提供的技术方案至少能够带来以下有益效果:由S101-S103可知:响应于终端发送的业务数据获取请求,电子设备可以确定电子设备的业务繁忙程度是否满足预设条件。在电子设备的业务繁忙程度满足预设条件的情况下,说明电子设备的处理压力较小,此时电子设备可以读取第一副本中的数据以及第二副本中的数据。由于第一副本中的数据的获取时刻在第二副本中的数据的获取时刻之前,即电子设备优先获取到了第一副本中的数据。因此在虎丘到该第一副本中的数据的情况下,电子设备可以向终端发送业务数据获取响应,该业务数据获取响应包括该第一副本中的数据。本发明实施例中,由于多个副本为目标业务对应的副本,电子设备读取多个副本中的一个或多个副本(例如第一副本)中的数据,即为读取目标业务数据,进而可以保证终端能够获取到相应的业务数据,提升数据获取的有效性。另外,电子设备可以向终端发送(或返回)优先获取到某一个副本(例如第一副本)中的数据,能够方便、快捷地将目标业务数据发送至终端,提升了数据获取的效率。
结合图1,如图2所示,本发明实施例提供的数据获取方法还可以包括S104-S105。
S104、在获取到第二副本中的数据的情况下,电子设备确定第二副本中的数据与第一副本中的数据是否一致。
结合上述实施例的描述,应理解,该第二副本中的数据的获取时刻在第一副本中的数据的获取时刻之后。在获取到第二副本中的数据的情况下,说明电子设备已经获取到了第二副本中的数据以及该第一副本中的数据。此时电子设备可以对第一副本以及第二副本进行一致性校验,具体为确定(或校验)这两个副本中包括的数据是否一致。
S105、在第二副本中的数据与第一副本中的数据一致的情况下,电子设备删除第二副本以及第一副本。
具体的,电子设备删除第二副本以及第二副本包括删除(或释放)第二副本中的数据以及该第一副本中的数据。
应理解,电子设备删除第二副本以及第一副本还可以包括删除(或释放)第二副本中的数据的存储空间(或内存空间)以及第一副本中的数据的存储空间。
需要说明的是,电子设备读取某一个副本(例如第一副本)中的数据可以理解为一个输入/输出(Input/Output,IO)生命周期的开始,电子设备删除该第一副本可以理解为该IO生命周期的结束。
本发明实施例中,电子设备确定第二副本中的数据与第一副本中的数据是否一致,能够保证电子设备在下一次读取及获取副本中的数据时的真实性和正确性。同时,在进行一致性校验之后删除第二副本以及第一副本,能够重复利用副本中的数据以及数据的存储空间,提升资源利用率。
结合图2,如图3所示,本发明实施例提供的数据获取方法还可以包括S106-S108。
S106、在第二副本中的数据与第一副本中的数据不一致的情况下,电子设备读取第三副本中的数据。
其中,该第三副本为上述多个副本中除该第一副本以及该第二副本以外的副本。
S107、电子设备基于第一副本中的数据、第二副本中的数据以及第三副本中的数据,确定副本修复策略。
应理解,该副本修复策略用于指示修复第一副本中的数据、第二副本中的数据以及第三副本中的数据中的一个或多个。
S108、电子设备执行副本修复策略,以使得第一副本中的数据、第二副本中的数据以及第三副本中的数据保持一致。
本发明实施例中,电子设备执行副本修复策略,可以对第一副本中的数据、第二副本中的数据以及第三副本中的数据中的一个或多个进行数据修复,以保证第一副本中的数据、第二副本中的数据以及第三副本中的数据的一致性。进而当电子设备再次读取及获取副本中的数据时,能够保证数据的正确性,以使得终端可以获取到准确度较高的业务数据。
可选地,在电子设备执行副本修复策略之后,该电子设备可以删除(或释放)该第一副本、该第二副本以及该第三副本。
结合图3,如图4所示,在本发明实施例的一种实现方式中,上述电子设备基于第一副本中的数据、第二副本中的数据以及第三副本中的数据,确定副本修复策略,具体可以包括S1071-S1072。
S1071、电子设备确定第一副本对应的时间戳、第二副本对应的时间戳以及第三副本对应的时间戳。
本发明实施例中,一个副本对应的时间戳可以理解为该副本中的数据的最后更新时刻。当该副本对应的时间戳较大时,说明该副本中的数据的最后更新时刻与当前时刻的差值较小,即该副本中的数据为最新的业务数据。
S1072、在第一副本对应的时间戳大于第二副本对应的时间戳以及第三副本对应的时间戳,并且第一副本中的数据与第三副本中的数据不相同的情况下,电子设备确定副本修复策略用于指示基于第一副本中的数据修复第二副本中的数据以及第三副本中的数据。
结合上述实施例的描述,应理解,第一副本对应的时间戳大于第二副本对应的时间戳以及第三副本对应的时间戳,说明相较于第二副本以及第三副本而言,该第一副本中的数据为最新的目标业务数据。
本发明实施例中,电子设备可以指示基于最新的目标业务数据修复其他副本(例如第二副本和第三副本)中的数据。
应理解,电子设备基于一个副本(例如第一副本)中的数据修复另一个副本(例如第二副本)中的数据可以为电子设备将第二副本中的数据更新为第一副本中的数据。即上述电子设备执行副本修复策略具体可以为电子设备将第二副本中的数据更新为第一副本中的数据并且将第三副本中的数据更新为第一副本中的数据。
可选地,在第一副本对应的时间戳大于第二副本对应的时间戳以及第三副本对应的时间戳,并且第一副本中的数据与第三副本中的数据相同的情况下,说明电子设备无需对第三副本中的数据进行修复。此时电子设备可以确定上述副本修复策略用于指示基于第一副本中的数据修复第二副本中的数据。
在本发明实施例的一种实现方式中,上述电子设备基于第一副本中的数据、第二副本中的数据以及第三副本中的数据,确定副本修复策略,具体还可以包括步骤A-步骤B。
步骤A、电子设备确定第一副本中的数据与第三副本中的数据是否一致。
步骤B、在第一副本中的数据与第三副本中的数据一致的情况下,电子设备确定副本修复策略用于指示基于第一副本中的数据修复第二副本中的数据。
应理解,在第一副本中的数据与第三副本中的数据一致的情况下,说明在上述三个副本(即包括第一副本、第二副本以及第三副本)中存在多数的副本数据一致的情况,此时电子设备可以基于第一副本中的数据(或第三副本中的数据)修复第二副本中的数据。
可选地,在第一副本中的数据与第三副本中的数据不一致的情况下,电子设备还可以确定第二副本中的数据与第三副本中的数据是否一致。在第二副本中的数据与第三副本中的数据一致的情况下,电子设备可以确定副本修复策略用于指示基于第二副本中的数据(或第三副本中的数据)修复第一副本中的数据。
结合图3,如图5所示,本发明实施例提供的数据获取方法还包括S109。
S109、在副本修复策略执行失败的情况下,电子设备执行副本重建操作。
其中,该副本重建操作用于指示为上述目标业务建立目标副本,并且将第一副本中的数据、第二副本中的数据或者第三副本中的数据添加至目标副本。
本发明实施例中,该副本重建操作也可以理解为异步踢盘重建操作。
具体的,电子设备可以基于Crush算法选出一个位置,并在该位置上重建一个副本(即建立目标副本)。由于重建的副本(即目标副本)中是没有数据的,因此电子设备可以将上述三个副本中任一副本中的数据添加至该目标副本。能够保证数据一致性校验以及数据修复的稳定进行,进而提升数据获取的有效性。
可选地,在副本修复策略执行成功的情况下,电子设备可以删除(或释放)该第一副本、该第二副本以及该第三副本。
在采用对应各个功能划分各个功能模块的情况下,图6示出了上述实施例中所涉及的数据获取装置的一种可能的结构示意图,如图6所示,数据获取装置10可以包括:确定模块101、读取模块102以及发送模块103。
确定模块101,用于响应于终端发送的业务数据获取请求,确定电子设备的业务繁忙程度是否满足预设条件,该业务数据获取请求包括目标业务的业务标识。
读取模块102,用于在该业务繁忙程度满足该预设条件的情况下,读取第一副本中的数据以及第二副本中的数据,该第一副本以及该第二副本为多个副本中包括的副本,该多个副本为该目标业务对应的副本。
发送模块103,用于在获取到该第一副本中的数据的情况下,向该终端发送业务数据获取响应,该业务数据获取响应包括该第一副本中的数据,该第一副本中的数据的获取时刻在该第二副本中的数据的获取时刻之前。
可选地,该数据获取装置10还包括删除模块104。
确定模块101,还用于在获取到该第二副本中的数据的情况下,确定该第二副本中的数据与该第一副本中的数据是否一致。
删除模块104,用于在该第二副本中的数据与该第一副本中的数据一致的情况下,删除该第二副本以及该第一副本。
可选地,该数据获取装置10还包括处理模块105。
读取模块102,还用于在该第二副本中的数据与该第一副本中的数据不一致的情况下,读取第三副本中的数据,该第三副本为该多个副本中除该第一副本以及该第二副本以外的副本。
确定模块101,还用于基于该第一副本中的数据、该第二副本中的数据以及该第三副本中的数据,确定副本修复策略。
处理模块105,用于执行该副本修复策略,以使得该第一副本中的数据、该第二副本中的数据以及该第三副本中的数据保持一致。
可选地,确定模块101,具体用于确定该第一副本对应的时间戳、该第二副本对应的时间戳以及该第三副本对应的时间戳。
确定模块101,具体还用于在该第一副本对应的时间戳大于该第二副本对应的时间戳以及该第三副本对应的时间戳,并且该第一副本中的数据与该第三副本中的数据不相同的情况下,确定该副本修复策略用于指示基于该第一副本中的数据修复该第二副本中的数据以及该第三副本中的数据。
可选地,处理模块105,还用于在该副本修复策略执行失败的情况下,执行副本重建操作,该副本重建操作用于指示为该目标业务建立目标副本,并且将该第一副本中的数据、该第二副本中的数据或者该第三副本中的数据添加至该目标副本。
在采用集成的单元的情况下,图7示出了上述实施例中所涉及的数据获取装置的一种可能的结构示意图。如图7所示,数据获取装置20可以包括:处理模块201和通信模块202。处理模块201可以用于对数据获取装置20的动作进行控制管理。通信模块202可以用于支持数据获取装置20与其他实体的通信。可选地,如图7所示,该数据获取装置20还可以包括存储模块203,用于存储数据获取装置20的程序代码和数据。
其中,处理模块201可以是处理器或控制器。通信模块202可以是收发器、收发电路或通信接口等。存储模块203可以是存储器。
其中,当处理模块201为处理器,通信模块202为收发器,存储模块203为存储器时,处理器、收发器和存储器可以通过总线连接。总线可以是外设部件互连标准(peripheralcomponent interconnect,PCI)总线或扩展工业标准结构(extended industry standardarchitecture,EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。
应理解,在本发明的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时,可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户终端线(Digital Subscriber Line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据获取设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带),光介质(例如,DVD)、或者半导体介质(例如固态硬盘(Solid State Disk,SSD))等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (12)
1.一种数据获取方法,其特征在于,应用于电子设备,所述方法包括:
响应于终端发送的业务数据获取请求,确定所述电子设备的业务繁忙程度是否满足预设条件,所述业务数据获取请求包括目标业务的业务标识;
在所述业务繁忙程度满足所述预设条件的情况下,读取第一副本中的数据以及第二副本中的数据,所述第一副本以及所述第二副本为多个副本中包括的副本,所述多个副本为所述目标业务对应的副本;
在获取到所述第一副本中的数据的情况下,向所述终端发送业务数据获取响应,所述业务数据获取响应包括所述第一副本中的数据,所述第一副本中的数据的获取时刻在所述第二副本中的数据的获取时刻之前。
2.根据权利要求1所述的数据获取方法,其特征在于,所述方法还包括:
在获取到所述第二副本中的数据的情况下,确定所述第二副本中的数据与所述第一副本中的数据是否一致;
在所述第二副本中的数据与所述第一副本中的数据一致的情况下,删除所述第二副本以及所述第一副本。
3.根据权利要求2所述的数据获取方法,其特征在于,所述方法还包括:
在所述第二副本中的数据与所述第一副本中的数据不一致的情况下,读取第三副本中的数据,所述第三副本为所述多个副本中除所述第一副本以及所述第二副本以外的副本;
基于所述第一副本中的数据、所述第二副本中的数据以及所述第三副本中的数据,确定副本修复策略;
执行所述副本修复策略,以使得所述第一副本中的数据、所述第二副本中的数据以及所述第三副本中的数据保持一致。
4.根据权利要求3所述的数据获取方法,其特征在于,所述基于所述第一副本中的数据、所述第二副本中的数据以及所述第三副本中的数据,确定副本修复策略,包括:
确定所述第一副本对应的时间戳、所述第二副本对应的时间戳以及所述第三副本对应的时间戳;
在所述第一副本对应的时间戳大于所述第二副本对应的时间戳以及所述第三副本对应的时间戳,并且所述第一副本中的数据与所述第三副本中的数据不相同的情况下,确定所述副本修复策略用于指示基于所述第一副本中的数据修复所述第二副本中的数据以及所述第三副本中的数据。
5.根据权利要求3或4所述的数据获取方法,其特征在于,所述方法还包括:
在所述副本修复策略执行失败的情况下,执行副本重建操作,所述副本重建操作用于指示为所述目标业务建立目标副本,并且将所述第一副本中的数据、所述第二副本中的数据或者所述第三副本中的数据添加至所述目标副本。
6.一种数据获取装置,其特征在于,包括:确定模块、读取模块以及发送模块;
所述确定模块,用于响应于终端发送的业务数据获取请求,确定电子设备的业务繁忙程度是否满足预设条件,所述业务数据获取请求包括目标业务的业务标识;
所述读取模块,用于在所述业务繁忙程度满足所述预设条件的情况下,读取第一副本中的数据以及第二副本中的数据,所述第一副本以及所述第二副本为多个副本中包括的副本,所述多个副本为所述目标业务对应的副本;
所述发送模块,用于在获取到所述第一副本中的数据的情况下,向所述终端发送业务数据获取响应,所述业务数据获取响应包括所述第一副本中的数据,所述第一副本中的数据的获取时刻在所述第二副本中的数据的获取时刻之前。
7.根据权利要求6所述的数据获取装置,其特征在于,所述数据获取装置还包括删除模块;
所述确定模块,还用于在获取到所述第二副本中的数据的情况下,确定所述第二副本中的数据与所述第一副本中的数据是否一致;
所述删除模块,用于在所述第二副本中的数据与所述第一副本中的数据一致的情况下,删除所述第二副本以及所述第一副本。
8.根据权利要求7所述的数据获取装置,其特征在于,所述数据获取装置还包括处理模块;
所述读取模块,还用于在所述第二副本中的数据与所述第一副本中的数据不一致的情况下,读取第三副本中的数据,所述第三副本为所述多个副本中除所述第一副本以及所述第二副本以外的副本;
所述确定模块,还用于基于所述第一副本中的数据、所述第二副本中的数据以及所述第三副本中的数据,确定副本修复策略;
所述处理模块,用于执行所述副本修复策略,以使得所述第一副本中的数据、所述第二副本中的数据以及所述第三副本中的数据保持一致。
9.根据权利要求8所述的数据获取装置,其特征在于,
所述确定模块,具体用于确定所述第一副本对应的时间戳、所述第二副本对应的时间戳以及所述第三副本对应的时间戳;
所述确定模块,具体还用于在所述第一副本对应的时间戳大于所述第二副本对应的时间戳以及所述第三副本对应的时间戳,并且所述第一副本中的数据与所述第三副本中的数据不相同的情况下,确定所述副本修复策略用于指示基于所述第一副本中的数据修复所述第二副本中的数据以及所述第三副本中的数据。
10.根据权利要求8或9所述的数据获取装置,其特征在于,
所述处理模块,还用于在所述副本修复策略执行失败的情况下,执行副本重建操作,所述副本重建操作用于指示为所述目标业务建立目标副本,并且将所述第一副本中的数据、所述第二副本中的数据或者所述第三副本中的数据添加至所述目标副本。
11.一种电子设备,其特征在于,所述电子设备包括:
处理器;
被配置为存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1-5中任一项所述的数据获取方法。
12.一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,其特征在于,当所述计算机可读存储介质中的指令由电子设备执行时,使得所述电子设备能够执行如权利要求1-5中任一项所述的数据获取方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211461892.6A CN115827778A (zh) | 2022-11-17 | 2022-11-17 | 一种数据获取方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211461892.6A CN115827778A (zh) | 2022-11-17 | 2022-11-17 | 一种数据获取方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115827778A true CN115827778A (zh) | 2023-03-21 |
Family
ID=85529960
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211461892.6A Pending CN115827778A (zh) | 2022-11-17 | 2022-11-17 | 一种数据获取方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115827778A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116305218A (zh) * | 2023-05-17 | 2023-06-23 | 国网浙江省电力有限公司物资分公司 | 一种数据链路追踪及数据更新方法、装置及数据管理*** |
-
2022
- 2022-11-17 CN CN202211461892.6A patent/CN115827778A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116305218A (zh) * | 2023-05-17 | 2023-06-23 | 国网浙江省电力有限公司物资分公司 | 一种数据链路追踪及数据更新方法、装置及数据管理*** |
CN116305218B (zh) * | 2023-05-17 | 2023-08-11 | 国网浙江省电力有限公司物资分公司 | 一种数据链路追踪及数据更新方法、装置及数据管理*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108959407B (zh) | 数据的强一致性写入方法及终端设备 | |
CN109586969A (zh) | 内容分发网络容灾方法、装置、计算机设备及存储介质 | |
CN111104448A (zh) | 大数据量Excel文件导出方法、装置、计算机设备及存储介质 | |
CN113961510B (zh) | 一种文件处理方法、装置、设备及存储介质 | |
CN113282580A (zh) | 用于执行定时任务的方法、存储介质及服务器 | |
CN115827778A (zh) | 一种数据获取方法、装置、电子设备及存储介质 | |
CN112395259A (zh) | 一种文件的操作***、操作方法、计算机设备和介质 | |
CN113641640B (zh) | 用于流式计算***的数据处理方法、装置、设备和介质 | |
CN117667879A (zh) | 数据访问方法、装置、存储介质及电子设备 | |
CN113419901A (zh) | 数据灾备方法、装置及服务器 | |
CN112131478A (zh) | 交易检测方法及装置 | |
KR101419275B1 (ko) | 클라우드 스토리지 기반의 데이터 동기화 및 서비스 제공 장치와 방법 | |
CN115525462A (zh) | 一种日志存储方法、装置、电子设备及存储介质 | |
CN108959405B (zh) | 数据的强一致性读取方法及终端设备 | |
CN109656936A (zh) | 数据同步方法、装置、计算机设备和存储介质 | |
CN115510036A (zh) | 数据迁移方法、装置、设备以及存储介质 | |
CN111538520B (zh) | 用于超融合集群的更新方法及装置、终端和存储介质 | |
CN114064100A (zh) | 配置信息处理方法、***和装置 | |
CN113110846A (zh) | 一种环境变量的获取方法及装置 | |
CN115757638A (zh) | 一种数据获取方法、装置、电子设备及存储介质 | |
CN117370295A (zh) | 一种文件拷贝方法、装置、服务器及存储介质 | |
US20230161664A1 (en) | Method of responding to operation, electronic device, and storage medium | |
CN115396277B (zh) | 登录态的管理方法、装置、设备及存储介质 | |
CN115686378A (zh) | 一种数据存储方法、装置、电子设备及存储介质 | |
US20240195908A1 (en) | Maintaining service availability |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |