CN114238518A - 数据处理方法、装置、设备及存储介质 - Google Patents
数据处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN114238518A CN114238518A CN202111583625.1A CN202111583625A CN114238518A CN 114238518 A CN114238518 A CN 114238518A CN 202111583625 A CN202111583625 A CN 202111583625A CN 114238518 A CN114238518 A CN 114238518A
- Authority
- CN
- China
- Prior art keywords
- metadata
- cluster
- target
- invalidation message
- computing cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 46
- 230000008859 change Effects 0.000 claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 27
- 230000004044 response Effects 0.000 claims abstract description 22
- 238000012508 change request Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 abstract description 21
- 238000000034 method Methods 0.000 abstract description 16
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- VQLYBLABXAHUDN-UHFFFAOYSA-N bis(4-fluorophenyl)-methyl-(1,2,4-triazol-1-ylmethyl)silane;methyl n-(1h-benzimidazol-2-yl)carbamate Chemical compound C1=CC=C2NC(NC(=O)OC)=NC2=C1.C=1C=C(F)C=CC=1[Si](C=1C=CC(F)=CC=1)(C)CN1C=NC=N1 VQLYBLABXAHUDN-UHFFFAOYSA-N 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种数据处理方法、装置、设备及存储介质，应用于计算与存储分离的分布式数据库***，分布式数据库***包括元数据集群和计算集群，计算集群中缓存来自元数据集群的元数据。在元数据集群一侧，该方法包括：响应于元数据集群中目标元数据的变更，生成目标失效消息，目标失效消息指示计算集群缓存的目标元数据失效；根据计算集群对应的失效消息订阅范围，向计算集群发送目标失效消息，失效消息订阅范围为计算集群对元数据集群中的元数据变更进行监听的范围。从而，通过计算集群缓存元数据的方式，提高元数据服务效率，同时确保计算集群中缓存的元数据与元数据集群中元数据的一致性。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种数据处理方法、装置、设备及存储介质。
背景技术
随着大数据计算的发展，计算与存储分离已经成为分布式数据库发展的主流方向。将计算与存储分离，一方面能够提高计算资源扩展的灵活性，另一方面不同计算服务可以共享存储数据，减少了数据冗余，解决了数据孤岛所带来的各种问题。
计算与存储分离也存在不足之处：在计算与存储分离的方案中，元数据存储在元数据集群，计算层需要通过网络向元数据集群请求元数据，受网络带宽、网络延迟等因素的影响，元数据的远程存取效率明显低于传统的本地存储元数据的模式，进而导致的数据库运行效率的下降。一种解决该问题的方式是利用Lustre中的子树锁机制，优化锁权限和冲突访问，当有少数文件访问发生冲突时，只撤回当前目录下冲突的文件的元数据缓存，而不用将整个目录下所有文件的元数据都撤回，开销较小，提升了元数据的访问效率。然而，在数据库场景中经常需要在短时间内对同一张表、同一份数据进行反复多次读取，若采用上述方式则会产生大量的上锁、撤回操作，开销急剧上升，高并发场景尤为明显，降低了元数据的服务效率。
元数据集群在分布式存储上的应用比较广泛，但在基于计算与存储分离的分布式数据库上，特别是在高并发和高负载场景中，元数据集群的应用案例匮乏。因此，随着计算集群的不断增加以及并发的不断升高，元数据的变更日益增多，如何解决元数据集群的服务效率不高的问题，成了提升整个分布式数据库效率的关键技术瓶颈之一。
发明内容
本申请提供一种数据处理方法、装置、设备及存储介质，用以解决计算与存储分离的分布式数据库中元数据集群的服务效率不高的问题。
第一方面，本申请提供一种数据处理方法，应用于计算与存储分离的分布式数据库***，所述分布式数据库***包括元数据集群和计算集群，所述计算集群中缓存来自所述元数据集群的元数据；
在所述元数据集群一侧，所述数据处理方法包括：
响应于所述元数据集群中目标元数据的变更，生成目标失效消息，所述目标失效消息指示所述计算集群缓存的所述目标元数据失效；
根据所述计算集群对应的失效消息订阅范围，向所述计算集群发送所述目标失效消息，所述失效消息订阅范围为所述计算集群对所述元数据集群中的元数据变更进行监听的范围。
在一种可行的实现方式中，所述元数据集群上部署有用于管理元数据变更的元数据服务，所述响应于所述元数据集群中元数据的变更，生成目标失效消息，包括：
在所述元数据服务响应于所述计算集群的元数据变更请求对所述目标元数据进行变更的情况下，生成所述目标失效消息。
在一种可行的实现方式中，所述元数据集群上还部署有用于对元数据的失效消息进行管理的失效消息服务，所述在所述元数据服务响应于所述计算集群的元数据变更请求对所述目标元数据进行变更的情况下，生成所述目标失效消息，包括：
在所述元数据服务响应于所述计算集群的元数据变更请求对所述目标元数据进行变更的情况下，通过所述元数据服务将所述目标元数据的变更信息传递至所述失效消息服务；
在所述失效消息服务中，根据所述目标元数据的变更信息，在失效消息队列中添加所述目标失效消息。
在一种可行的实现方式中，所述失效消息队列包含所述失效消息服务在时间周期内接收到的失效消息，所述根据所述计算集群对应的失效消息订阅范围，向所述计算集群发送所述目标失效消息，包括：
基于所述失效消息订阅范围，通过所述失效消息服务，按照所述时间周期向所述计算集群发送所述目标失效消息。
在一种可行的实现方式中，所述根据所述计算集群对应的失效消息订阅范围，向所述计算集群发送所述目标失效消息，包括：
根据所述失效消息订阅范围，在所述计算集群中确定缓存有所述目标元数据的目标计算集群；
向所述目标计算集群发送所述目标失效消息。
在一种可行的实现方式中，所述目标失效消息中包含所述目标元数据的标识，所述失效消息范围包含所述计算集群所缓存的元数据的标识，所述根据所述失效消息订阅范围，在所述计算集群中确定缓存有所述目标元数据的目标计算集群，包括：
在所述失效消息订阅范围中确定包含所述目标元数据的标识的目标范围；
确定所述目标计算集群为所述目标范围对应的计算集群。
在一种可行的实现方式中，所述根据所述计算集群对应的失效消息订阅范围，向所述计算集群发送所述目标失效消息，包括：
响应于来自目标计算集群的失效消息获取请求，根据所述目标计算集群对应的失效消息订阅范围，向所述目标计算集群发送所述目标失效消息。
第二方面，本申请提供一种数据处理方法，应用于计算与存储分离的分布式数据库***，所述分布式数据库***包括元数据集群和计算集群，所述计算集群中缓存来自所述元数据集群的元数据；
在所述计算集群一侧，所述数据处理方法包括：
接收来自所述元数据集群的目标失效消息；
根据所述目标失效消息，更新所述计算集群缓存的目标元数据；
其中，所述目标失效消息指示所述计算集群缓存的所述目标元数据失效。
在一种可行的实现方式中，所述计算集群包括管理节点和多个计算节点，所述接收来自所述元数据集群的目标失效消息，包括：
通过所述管理节点接收所述目标失效消息；
通过所述管理节点将所述目标失效消息转发给所述多个计算节点。
在一种可行的实现方式中，还包括：
响应于接收到的终端的元数据访问请求，确定待访问元数据是否为所述计算集群缓存的元数据；
若所述待访问元数据为所述计算集群缓存的元数据，则从所述计算集群的缓存中读取所述待访问元数据；
若所述待访问元数据不为所述计算集群缓存的元数据，则向所述元数据集群请求获取所述待访问元数据。
在一种可行的实现方式中，所述接收来自所述元数据集群的目标失效消息之前，还包括：
根据所述计算集群的元数据缓存范围，确定所述计算集群对应的失效消息订阅范围，并向所述元数据集群发送失效消息订阅请求；
其中，所述失效消息订阅请求包括所述失效消息订阅范围。
第三方面，本申请提供一种数据处理装置，应用于计算与存储分离的分布式数据库***，所述分布式数据库***包括元数据集群和计算集群，所述计算集群中缓存来自所述元数据集群的元数据；
在所述元数据集群一侧，所述数据处理装置包括：
生成模块，用于响应于所述元数据集群中目标元数据的变更，生成目标失效消息，所述目标失效消息指示所述计算集群缓存的所述目标元数据失效；
发送模块，用于根据所述计算集群对应的失效消息订阅范围，向所述计算集群发送所述目标失效消息，所述失效消息订阅范围为所述计算集群对所述元数据集群中的元数据变更进行监听的范围。
第四方面，本申请提供一种数据处理装置，应用于计算与存储分离的分布式数据库***，所述分布式数据库***包括元数据集群和计算集群，所述计算集群中缓存来自所述元数据集群的元数据；
在所述计算集群一侧，所述数据处理装置包括：
接收模块，用于接收来自所述元数据集群的目标失效消息；
更新模块，用于根据所述目标失效消息，更新所述计算集群缓存的目标元数据；
其中，所述目标失效消息指示所述计算集群缓存的所述目标元数据失效。
第五方面，本申请提供一种电子设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上述第一方面或第一方面中任一可行的实现方式所述的数据处理方法，或者，使得所述至少一个处理器执行如上述第二方面或第二方面中任一可行的实现方式所述的数据处理方法。
第六方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上述第一方面或第一方面中任一可行的实现方式所述的数据处理方法，或者，所述计算机执行指令被处理器执行时用于实现如上述第二方面或第二方面中任一可行的实现方式所述的数据处理方法。
第七方面，本申请提供一种计算机程序产品，所述计算机程序被处理器执行时实现如上述第一方面或第一方面中任一可行的实现方式所述的数据处理方法，或者，所述计算机程序被处理器执行时实现如上述第二方面或第二方面中任一可行的实现方式所述的数据处理方法。
本申请提供的数据处理方法、装置、设备及存储介质，应用于计算与存储分离的分布式数据库***，在分布式数据***中，包括元数据集群和计算集群，计算集群中缓存有来自元数据集群的元数据。在元数据集群一侧，元数据集群中的元数据发生变更时，生成用于指示发生变更的元数据在计算集群的缓存中失效的失效消息，根据计算集群对应的失效消息订阅范围，向计算集群发送失效消息，以便计算集群及时对发生变更的元数据进行更新。
从而，利用元数据缓存、失效消息生成、失效消息订阅、生效消息发送等方式，在保障计算机缓存的元数据与元数据集群上相应的元数据一致的前提下，提高元数据集群的服务效率，提高了数据库的运行效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1为本申请实施例提供的应用场景示意图；
图2为本申请一实施例提供的数据处理方法的流程示意图；
图3为本申请另一实施例提供的数据处理方法的流程示意图；
图4为本申请另一实施例提供的数据处理方法的流程示例图；
图5为本申请一实施例提供的分布式数据库***的结构示意图；
图6为本申请一实施例提供的数据处理装置的结构示意图；
图7为本申请另一实施例提供的数据处理装置的结构示意图；
图8为本申请一实施例提供的一种电子设备的结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
首先，对本申请所涉及的名词进行解释：
元数据(Metadata，又称为中介数据)：是指用于描述数据的数据，比如用于描述数据属性的信息。
元数据集群(又称为元数据服务器集群)：在计算与存储分离的分布式数据库***中，元数据集群提供统一元数据的访问入口，计算集群上的元数据都是通过元数据集群获取的。具体的，元数据集群作为存储层，向作为计算层的计算集群提供元数据服务，例如元数据的读取、存储、变更等服务。
计算集群：包括多个计算节点，在计算与存储分离的分布式数据库***中，计算集群作为计算层，用于执行相应的运算任务。
接着，对本申请涉及的应用场景进行描述。
本申请提供的数据处理方法，可以适用于图1所示的应用场景。如图1所示，应用场景包括计算与存储分离的分布式数据库***，在分布式数据库***中包括存储层和计算层。其中，存储层中包括元数据集群110，用于存储元数据，提供元数据服务，计算层包括计算集群120，计算集群包括多个计算节点，用于执行相应的运算任务。
在计算与存储分离的分布式数据库***中，计算层需要通过网络向存储层请求元数据，受网络带宽、网络延迟等因素影响，元数据服务的效率下降、数据库运行效率也下降，该缺点在高并发、高负载场景尤为明显。
为解决上述问题，发明人提出通过在计算集群中缓存元数据，来提升元数据的访问效率。同时，考虑到随着计算集群的不断增加、并发率的不断升高以及元数据的变更日益增多，在计算集群中缓存元数据的方式中，针对如何保障计算集群缓存的元数据与元数据集群中相应元数据的一致性，发明人提出通过在元数据集群中针对发生变更的元数据生成相应的失效消息，通过失效消息，告知计算集群其缓存的元数据因在元数据集群一侧发生变更而失效，计算集群基于失效消息，及时更新缓存的元数据。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
示例性的，本申请中各方法实施例应用于计算与存储分离的分布式数据库***，在该分布式数据***中包括计算集群和元数据集群，计算集群中缓存来自元数据集群的元数据。其中，可选的，计算集群可以根据元数据使用频率缓存自身常用的元数据，既能够提高计算集群读取元数据的效率，又能够避免元数据占用计算集群过多的存储空间。
参考图2，图2为本申请一实施例提供的数据处理方法的流程示意图。如图2所示，数据处理方法包括：
S201、响应于元数据集群中目标元数据的变更，元数据集群生成目标失效消息，目标失效消息指示计算集群缓存的目标元数据失效。
其中，目标元数据为元数据集群中发生变更的元数据，目标失效消息为目标元数据对应的失效消息，针对不同的元数据可生成不同的失效消息。
其中，目标元数据的变更可包括如下至少一种：目标元数据被删除、目标元数据被修改。
本实施例中，在元数据集群中目标元数据发生变更的情况下，如果计算集群中缓存有目标元数据，计算集群中的目标元数据与元数据集群中变更后的目标元数据不一致，所以计算集群缓存的目标元数据已经失去作用。因此，可在元数据集群中，针对发生变更的目标元数据，生成目标失效消息。
S202、根据计算集群对应的失效消息订阅范围，元数据集群向计算集群发送目标失效消息。
其中，计算集群对应的失效消息订阅范围为计算集群对元数据集群中的元数据变更进行监听(或关注)的范围，即计算集群需要监听计算集群中哪些元数据的变更，也可以理解为计算集群订阅了哪些元数据的失效消息。
其中，在计算与存储分离的分布式数据库***中，元数据集群可为多个计算集群提供元数据服务，不同计算集群所执行的运算任务不同，所需要的元数据也可能不同。考虑到每个计算集群所需要元数据一般比较固定，通常缓存相对固定范围内的元数据，计算集群接收并处理所有元数据的失效消息是无意义且浪费计算资源的。所以，通过计算集群对应的失效信息订阅范围，使得每个计算集群可以订阅自身常用的元数据的失效消息，减少元数据集群的负载，同时也较少计算集群需要接收和处理的失效消息的数量。
本实施例中，在生成目标失效消息后，针对各计算集群，可基于计算集群对应的失效消息订阅范围，确定计算集群是否订阅目标元数据的失效消息，即是否订阅目标失效消息。如果计算集群订阅了目标失效消息，则将目标失效消息发送给计算集群，否则，不将目标失效消息发送给计算集群。相较于将目标失效消息发送给所有计算集群的方式，本实施例中基于计算集群对应的失效消息订阅范围向计算集群发送目标消息的方式，能够降低元数据集群的信息发送量，降低元数据集群的负载，提高元数据集群的效率。
S203、根据目标失效消息，计算集群更新缓存的目标元数据。
本实施例中，计算集群在接收到目标失效消息后，可得知自身缓存的目标元数据已失效，可向元数据集群中请求获取变更后的目标元数据，对计算集群中缓存的目标元数据进行更新，以保障计算集群缓存的目标元数据和元数据集群中的目标元数据的一致。
本申请实施例中，在计算与存储分离的分布式数据库***中，计算集群缓存来自元数据集群的元数据，元数据集群在元数据发生变更的情况下，生成指示计算集群缓存的元数据因变更而失效的失效消息，根据计算集群对应的失效消息订阅范围，向计算集群发送失效消息。从而，通过计算集群缓存元数据的方式，避免计算集群频繁远程读取元数据，提高了元数据服务效率，同时，通过监控元数据的变更，及时提醒相应计算集群缓存的元数据失效，确保了计算集群缓存的元数据与元数据集群中的元数据的一致。
在一些实施例中，失效消息中可包括发生变更的元数据的标识，即目标失效消息中可包括目标元数据的标识。从而，便于计算集群根据失效消息中的元数据标识在缓存的元数据中确定失效的目标元数据。
其中，不同元数据的标识不同。
可选的，元数据的标识包括元数据的ID和/或元数据的存储地址等。
在一些实施例中，失效消息订阅范围可包括元数据的标识范围。
其中，元数据的标识范围可体现为一个或多个元数据的标识，也可以体现为元数据标识的取值范围。例如，计算集群对应的失效消息订阅范围包括元数据的标识a1、a2，表示计算集群关注标识为a1、a2的元数据的变更；又如，计算集群对应的失效消息订阅范围包括元数据标识的取值范围a1～a3，表示计算集群关注标识位于a1～a3这一范围内的元数据的变更。
本实施例中，在根据计算集群对应的失效消息订阅范围，元数据集群向计算集群发送目标失效消息的过程中，针对各计算集群，可确定目标元数据的标识是否位于计算集群对应的失效消息订阅范围，若是，则确定计算集群订阅了目标失效消息，将目标失效消息发送给计算集群，否则确定计算集群未订阅目标失效消息，不将目标失效消息发送给计算集群。
在一些实施例中，可在元数据集群中部署一个或多个服务，用于负责元数据集群中元数据的变更和/或失效消息的管理。
在元数据集群中部署一个或多个服务，包括如下至少一种实现方式：
一种可能的实现方式中，元数据集群上部署有元数据服务，元数据服务用于管理元数据集群中元数据的变更。在元数据集群上部署有元数据服务的情况下，元数据集群可在元数据服务响应于计算集群的元数据变更请求对目标元数据进行变更的情况下，生成目标失效消息。
其中，元数据变更请求用于请求对目标元数据进行变更。
本实现方式中，元数据集群可通过元数据服务接收来自计算集群的元数据变更请求，在元数据服务中，响应于该元数据变更请求，对元数据集群中的目标元数据进行变更，之后生成记录目标元数据发生变更的目标失效消息。
可选的，除元数据的变更外，元数据服务还可以负责元数据集群中元数据的查找，为计算集群提供了元数据“增、删、改、查”的统一服务。
又一种可能的实现方式中，除元数据服务之外，元数据集群上还部署有失效消息服务，失效消息服务用于对元数据的失效消息进行管理。其中，对元数据的失效消息进行管理，包括对元数据的失效消息进行整理和发送。因此，元数据服务可将目标失效消息传递至失效消息服务，由失效消息服务将目标失效消息转发给订阅了目标失效消息的计算集群。
参考图3，图3为本申请另一实施例提供的数据处理方法的流程示意图。如图3所示，在元数据集群上部署有元数据服务和失效消息服务的情况下，本实施例提供的数据处理方法包括：
S301、元数据集群在元数据服务响应于计算集群的元数据变更请求对目标元数据进行变更的情况下，通过元数据服务将目标元数据的变更信息传递至失效消息服务。
本实施例中，元数据集群通过元数据服务接收计算集群的元数据变更请求，元数据服务可响应于元数据变更请求对元数据集群中存储的目标元数据进行变更。在元数据集群中存储的目标元数据变更后，元数据服务可根据目标元数据的标识生成相应的目标失效消息，通过将目标失效消息发给失效消息服务的方式，将目标元数据的变更信息传递给失效消息服务。
其中，目标失效消息包括目标元数据的标识。
S302、元数据集群在失效消息服务中，根据目标元数据的变更信息，在失效消息队列中添加目标失效消息。
本实施例中，在失效消息服务中，对来自元数据服务的失效消息进行整理，得到失效消息队列，失效消息队列中可包括一个或多个失效消息。在失效消息服务中，在得到来自元数据服务的目标失效消息后，基于目标失效消息得知目标元数据发生变更，根据目标元数据发生变更的时间，或者根据接收到目标失效消息的时间，将目标失效消息添加至失效消息队列中。
在一些实施例中，失效消息队列包含失效消息服务在时间周期内接收到的失效消息。例如，时间周期为1秒，此时，失效消息队列包括失效消息服务在最近1秒内接收到的失效消息。其中，时间周期又可称为单位时间窗口，失效消息服务对单位时间窗口内发生接收到的失效消息进行登记，也即失效消息服务对单位时间窗口内元数据的变更信息进行登记，得到失效消息队列。
S303、元数据集群在失效消息服务中，根据计算集群对应的失效消息订阅范围，向计算集群发送目标失效消息。
本实施例中，元数据集群在失效消息服务中，根据计算集群对应的失效消息订阅范围，将失效消息队列中的失效消息发送订阅了该失效消息的计算集群，其中，包括将目标失效消息发送给订阅了目标失效消息的计算集群。
在一种可能的实现方式中，基于失效消息队列包含失效消息服务在时间周期内接收到的失效消息，S303包括：基于计算集群对应的失效消息订阅范围，通过失效消息服务，按照时间周期向计算集群发送目标失效消息。
本实现方式中，元数据集群中的失效消息服务，根据计算集群对应的失效消息范围，确定订阅了失效消息队列中的目标失效消息的计算集群，按照时间周期，将目标失效消息发送至该计算集群。以时间周期为1秒为例，每隔1秒，失效消息队列将失效消息队列中的所有失效消息发送给相应的计算集群。从而，既确保了计算集群及时接收到失效消息，又避免了失效消息服务中失效消息数量过多而给元数据集群带来较大负载。
S304、根据目标失效消息，计算集群更新缓存的目标元数据。
其中，S304的实现原理和技术效果可参照前述实施例，不再赘述。
本申请实施例中，在元数据集群上扩展了两个主体服务：元数据服务和失效消息服务。在元数据集群中，通过元数据服务对元数据集群中目标元数据的变更进行监控和记录，生成相应的目标失效消息，将目标失效消息传递至失效消息服务，在失效消息服务中通过消息队列的方式管理目标失效消息，将目标失效消息发送至相应的计算集群。从而，通过计算集群缓存元数据的方式提高元数据集群服务效率，同时，通过在元数据集群上扩展相应的服务，有效确保计算集群缓存的元数据与元数据集群中的元数据一致。
由于采用计算与存储分离的分布式架构，元数据集群服务的计算集群规模远大于传统分布式数据库，所承载的元数据量以及访问负载也远大于传统数据库的元数据服务。随着数据库规模的增加，为所有计算节点发送失效消息将会给元数据集群的网络带来很大的负载，容易降低元数据集群的服务效率。因此，在一些实施例中，计算集群包括管理节点和多个计算节点，在管理节点上部署失效消息转发服务，由计算集群中的管理节点接收来自元数据节点的目标失效消息并转发给该计算集群中的计算节点，从而，一方面利用失效消息的方式保持计算集群本地缓存元数据和元数据集群上元数据的一致；另一方面，利用失效消息订阅、失效消息转发等方式，减少元数据集群的负载。这样，即使元数据集群的规模增大，元数据集群也能够高效地为计算集群提供元数据服务，保障整个数据库***的服务效率。
在一些实施例中，计算集群对应的失效消息订阅范围为计算机集群的元数据缓存范围，其中，计算集群的元数据缓存范围是指计算集群缓存的元数据的范围，具体可包括计算集群缓存的元数据的标识。
基于计算集群对应的失效消息订阅范围为计算机集群的元数据缓存范围，可选的，在计算集群一侧，根据计算集群的元数据缓存范围，确定计算集群对应的失效消息订阅范围，并向元数据集群发送失效消息订阅请求。其中，计算集群发送的失效消息订阅请求包括计算集群对应的失效消息订阅范围。
本可选方式中，计算集群确定自身对应的失效消息订阅范围为自身的元数据缓存范围，通过向元数据集群发送失效消息订阅请求，将自身对应的失效消息订阅范围告知元数据集群。元数据集群在接收到失效消息订阅请求后，从失效消息订阅请求中获取计算集群对应的失效消息订阅范围并保存。
基于计算集群对应的失效消息订阅范围为计算机集群的元数据缓存范围，可选的，在元数据集群一侧，根据计算集群对应的失效消息订阅范围，向计算集群发送目标失效消息，包括：元数据集群根据计算集群对应的失效消息订阅范围，在计算集群中确定缓存有目标元数据的目标计算集群；元数据集群向目标计算集群发送目标失效消息。
本可选方式中，计算集群对应的失效消息订阅范围中可包含计算集群缓存的元数据的标识，目标失效消息中可包括目标元数据的标识，因此，可在一个或多个计算集群对应的失效消息订阅范围中，确定包含目标元数据的标识的目标范围，确定目标计算集群为目标范围对应的计算集群。换个角度描述，可针对各计算集群，确定计算集群对应的失效消息订阅范围中是否包括目标元数据的标识，若是，则确定计算集群为缓存有目标元数据的目标计算集群，否则，确定计算集群未缓存目标元数据。如此，确定一个或多个目标计算集群，将目标失效消息发送至目标计算集群。
其中，在元数据集群上部署有失效消息服务的情况下，可由失效消息服务执行上述确定目标计算集群的操作。
在一些实施例中，除了前述实施例提供的元数据集群按照时间周期向计算集群发送目标失效消息的方式，计算集群也可以主动向元数据集群请求目标失效消息：响应于来自目标计算集群的失效消息获取请求，元数据集群根据目标计算集群对应的失效消息订阅范围，向目标计算集群发送目标失效消息。其中，失效消息获取请求用于请求获取目标失效消息。
可选的，计算集群可周期性地向计算集群请求目标失效消息。
可选的，计算集群可在接收到终端对元数据的访问请求且确定元数据为自身缓存的元数据的情况下，向元数据集群请求待访问元数据的失效消息。从而，在终端访问元数据时，确保元数据的准确性。
参考图4，图4为本申请另一实施例提供的数据处理方法的流程示意图。如图4所示，本实施例提供的数据处理方法包括：
S401、计算集群响应于接收到的终端的元数据访问请求，确定待访问元数据是否为计算集群缓存的元数据。
本实施例中，计算集群可从终端的元数据访问请求中获取待访问元数据的标识，基于待访问元数据的标识，在自身缓存的元数据中，查找是否存在待访问元数据。如果存在，则确定待访问元数据为计算集群缓存的元数据，执行S402，否则确定待访问元数据不为计算集群缓存的元数据，执行S403。
可选的，元数据访问请求的请求类型可为结构化查询语言(Structured QueryLanguage，SQL)请求。
S402、若待访问元数据为计算集群缓存的元数据，则计算集群从缓存的元数据中读取待访问元数据。
本实施例中，在待访问元数据为计算集群缓存的元数据时，可直接从计算集群缓存的元数据中读取待访问元数据。
可选的，若在读取待访问元数据之前，计算集群接收到待访问元数据的失效消息，则计算集群先在缓存的元数据中更新待访问元数据，再读取待访问元数据，以确保待访问元数据的准确性。
可选的，在读取待访问元数据之前，计算集群可向元数据集群请求待访问元数据的失效消息。如果接收到元数据集群返回的失效消息，则计算集群先在缓存的元数据中更新待访问元数据，再读取待访问元数据。如果在预设时长内未接收到元数据返回的失效消息，则从计算集群缓存的元数据中读取待访问元数据。从而，确保待访问元数据的准确性。
S403、若待访问元数据不为计算集群缓存的元数据，则计算集群向元数据集群请求获取待访问元数据。
本实施例中，在待访问元数据不为计算集群缓存的元数据时，需从元数据集群中请求待访问元数据。
本申请实施例中，在计算集群缓存一部分元数据的前提下，计算集群接收到元数据访问请求时，通过区分待访问的元数据是否为自身缓存的元数据而采用不同的读取措施。可见，通过计算集群缓存元数据，有效地提高了元数据读取效率，提高了分布式数据量的运行效率。
参考图5，图5为本申请一实施例提供的分布式数据库***的结构示意图，该分布式数据库***中计算与存储分离。如图5所示，分布式数据库***包括：元数据集群501和计算集群502。其中，计算集群502中包括多个计算节点(图5中以两个计算节点为例)，计算节点中包括元数据缓存，元数据缓存中包括多个元数据。
本实施例中，响应于元数据集群501中目标元数据的变更，生成目标失效消息，由元数据集群501将目标失效消息发送至计算集群502，以便计算集群502及时更新缓存中的目标元数据。从而，在通过计算集群缓存元数据的方式提高元数据服务效率的同时，确保计算集群中缓存的元数据与元数据集群中的元数据的一致性。具体过程可参照前述实施例。
在一些实施例中，元数据集群501上部署元数据服务，元数据服务用于管理元数据集群501中元数据的变更。具体的，元数据服务可响应于来自计算集群502的元数据变更请求对目标元数据进行变更，并在目标元数据发生变更的情况下，生成目标失效消息。
在一些实施例中，元数据集群501上还部署有用于对元数据的失效消息进行管理的失效消息服务。元数据服务可将目标元数据的变更信息传递至失效信息服务，由失效信息服务基于元数据的变更信息在失效消息队列中添加目标失效消息，再根据计算集群502对应的失效消息订阅范围，将目标失效消息发送至计算集群502。
在一些实施例中，计算集群502中包括管理节点，管理节点上部署有失效消息转发服务。元数据集群501可将目标失效消息发送至计算集群502中的管理节点，管理节点基于消息转发服务，将目标失效消息转发给计算集群502中的各个计算节点，从而减少元数据集群501的负担。
值得说明的，上述实施例提供的分布式数据库***，可用于执行上述任一实施例提供的数据处理方法中的各步骤，具体实现方式和技术效果类似，这里不再赘述。
下述为本申请装置实施例，可以用于执行本申请对应的方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请对应的方法实施例。
图6为本申请实施例提供的一种数据处理装置的结构示意图，其中，数据处理装置应用于计算与存储分离的分布式数据库***，分布式数据库***包括元数据集群和计算集群，计算集群中缓存来自元数据集群的元数据。如图6所示，在元数据集群一侧，本实施例提供的数据处理装置600，包括：
生成模块601，用于响应于元数据集群中目标元数据的变更，生成目标失效消息，目标失效消息指示计算集群缓存的目标元数据失效；
发送模块602，用于根据计算集群对应的失效消息订阅范围，向计算集群发送目标失效消息，失效消息订阅范围为计算集群对元数据集群中的元数据变更进行监听的范围。
在一种可行的实现方式中，元数据集群上部署有用于管理元数据变更的元数据服务，生成模块601具体用于：在元数据服务响应于计算集群的元数据变更请求对目标元数据进行变更的情况下，生成目标失效消息。
在一种可行的实现方式中，元数据集群上还部署有用于对元数据的失效消息进行管理的失效消息服务，生成模块601具体用于：在元数据服务响应于计算集群的元数据变更请求对目标元数据进行变更的情况下，通过元数据服务将目标元数据的变更信息传递至失效消息服务；在失效消息服务中，根据目标元数据的变更信息，在失效消息队列中添加目标失效消息。
在一种可行的实现方式中，失效消息队列包含失效消息服务在时间周期内接收到的失效消息，发送模块602具体用于：基于失效消息订阅范围，通过失效消息服务，按照时间周期向计算集群发送目标失效消息。
在一种可行的实现方式中，发送模块602具体用于：根据失效消息订阅范围，在计算集群中确定缓存有目标元数据的目标计算集群；向目标计算集群发送目标失效消息。
在一种可行的实现方式中，目标失效消息中包含目标元数据的标识，失效消息范围包含计算集群所缓存的元数据的标识，发送模块602具体用于：在失效消息订阅范围中确定包含目标元数据的标识的目标范围；确定目标计算集群为目标范围对应的计算集群。
在一种可行的实现方式中，发送模块602具体用于：响应于来自目标计算集群的失效消息获取请求，根据目标计算集群对应的失效消息订阅范围，向目标计算集群发送目标失效消息。
图7为本申请实施例提供的一种数据处理装置的结构示意图，其中，数据处理装置应用于计算与存储分离的分布式数据库***，分布式数据库***包括元数据集群和计算集群，计算集群中缓存来自元数据集群的元数据。如图7所示，在计算集群一侧，本实施例提供的数据处理装置700，包括：
接收模块701，用于接收来自元数据集群的目标失效消息；
更新模块702，用于根据目标失效消息，更新计算集群缓存的目标元数据；其中，目标失效消息指示计算集群缓存的目标元数据失效。
在一种可行的实现方式中，计算集群包括管理节点和多个计算节点，接收模块701具体用于：通过管理节点接收目标失效消息；通过管理节点将目标失效消息转发给多个计算节点。
在一种可行的实现方式中，数据处理装置700还包括访问单元703，用于：响应于接收到的终端的元数据访问请求，确定待访问元数据是否为计算集群缓存的元数据；若待访问元数据为计算集群缓存的元数据，则从计算集群的缓存中读取待访问元数据；若待访问元数据不为计算集群缓存的元数据，则向元数据集群请求获取待访问元数据。
在一种可行的实现方式中，数据处理装置700还包括订阅单元704，用于：根据计算集群的元数据缓存范围，确定计算集群对应的失效消息订阅范围，并向元数据集群发送失效消息订阅请求；其中，失效消息订阅请求包括失效消息订阅范围。
本申请所提供的上述各装置实施例仅仅是示意性的，其中的模块划分仅仅是一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个模块可以结合或者可以集成到另一个***。各个模块相互之间的耦合可以是通过一些接口实现，这些接口通常是电性通信接口，但是也不排除可能是机械接口或其它的形式接口。因此，作为分离部件说明的模块可以是或者也可以不是物理上分开的，既可以位于一个地方，也可以分布到同一个或不同设备的不同位置上。
图8为本申请实施例提供的一种电子设备的结构示意图。如图8所示，该电子设备800可以包括：至少一个处理器801和存储器802。图8示出的是以一个处理器为例的电子设备。
存储器802，用于存放处理器801的程序。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。
存储器802可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
处理器801配置为用于执行存储器802存储的计算机程序，以实现以上各方法实施例中数据处理方法中的各步骤。
其中，处理器801可能是一个中央处理器(central processing unit，简称为CPU)，或者是特定集成电路(application specific integrated circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
可选地，存储器802既可以是独立的，也可以跟处理器801集成在一起。当存储器802是独立于处理器801之外的器件时，电子设备800，还可以包括：总线803，用于连接处理器801以及存储器802。总线可以是工业标准体系结构(industry standard architecture，简称为ISA)总线、外部设备互连(peripheral component，PCI)总线或扩展工业标准体系结构(extended industry standard architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器802和处理器801集成在一块芯片上实现，则存储器802和处理器801可以通过内部接口完成通信。
本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random accessmemory，RAM)、磁盘或者光盘等各种可以存储程序代码的介质，具体的，该计算机可读存储介质中存储有计算机程序，当电子设备的至少一个处理器执行该计算机程序时，电子设备执行上述的各种实施方式提供的数据处理方法的各个步骤。
本申请实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在可读存储介质中。电子设备的至少一个处理器可以从可读存储介质读取该计算机程序，至少一个处理器执行该计算机程序使得电子设备实施上述的各种实施方式提供的数据处理方法的各个步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。
Claims (16)
1.一种数据处理方法，其特征在于，应用于计算与存储分离的分布式数据库***，所述分布式数据库***包括元数据集群和计算集群，所述计算集群中缓存来自所述元数据集群的元数据；
在所述元数据集群一侧，所述数据处理方法包括：
响应于所述元数据集群中目标元数据的变更，生成目标失效消息，所述目标失效消息指示所述计算集群缓存的所述目标元数据失效；
根据所述计算集群对应的失效消息订阅范围，向所述计算集群发送所述目标失效消息，所述失效消息订阅范围为所述计算集群对所述元数据集群中的元数据变更进行监听的范围。
2.根据权利要求1所述的数据处理方法，其特征在于，所述元数据集群上部署有用于管理元数据变更的元数据服务，所述响应于所述元数据集群中元数据的变更，生成目标失效消息，包括：
在所述元数据服务响应于所述计算集群的元数据变更请求对所述目标元数据进行变更的情况下，生成所述目标失效消息。
3.根据权利要求2所述的数据处理方法，其特征在于，所述元数据集群上还部署有用于对元数据的失效消息进行管理的失效消息服务，所述在所述元数据服务响应于所述计算集群的元数据变更请求对所述目标元数据进行变更的情况下，生成所述目标失效消息，包括：
在所述元数据服务响应于所述计算集群的元数据变更请求对所述目标元数据进行变更的情况下，通过所述元数据服务将所述目标元数据的变更信息传递至所述失效消息服务；
在所述失效消息服务中，根据所述目标元数据的变更信息，在失效消息队列中添加所述目标失效消息。
4.根据权利要求3所述的数据处理方法，其特征在于，所述失效消息队列包含所述失效消息服务在时间周期内接收到的失效消息，所述根据所述计算集群对应的失效消息订阅范围，向所述计算集群发送所述目标失效消息，包括：
基于所述失效消息订阅范围，通过所述失效消息服务，按照所述时间周期向所述计算集群发送所述目标失效消息。
5.根据权利要求1至4任一项所述的数据处理方法，其特征在于，所述根据所述计算集群对应的失效消息订阅范围，向所述计算集群发送所述目标失效消息，包括：
根据所述失效消息订阅范围，在所述计算集群中确定缓存有所述目标元数据的目标计算集群；
向所述目标计算集群发送所述目标失效消息。
6.根据权利要求5所述的数据处理方法，其特征在于，所述目标失效消息中包含所述目标元数据的标识，所述失效消息范围包含所述计算集群所缓存的元数据的标识，所述根据所述失效消息订阅范围，在所述计算集群中确定缓存有所述目标元数据的目标计算集群，包括：
在所述失效消息订阅范围中确定包含所述目标元数据的标识的目标范围；
确定所述目标计算集群为所述目标范围对应的计算集群。
7.根据权利要求1至3任一项所述的数据处理方法，其特征在于，所述根据所述计算集群对应的失效消息订阅范围，向所述计算集群发送所述目标失效消息，包括：
响应于来自目标计算集群的失效消息获取请求，根据所述目标计算集群对应的失效消息订阅范围，向所述目标计算集群发送所述目标失效消息。
8.一种数据处理方法，其特征在于，应用于计算与存储分离的分布式数据库***，所述分布式数据库***包括元数据集群和计算集群，所述计算集群中缓存来自所述元数据集群的元数据；
在所述计算集群一侧，所述数据处理方法包括：
接收来自所述元数据集群的目标失效消息；
根据所述目标失效消息，更新所述计算集群缓存的目标元数据；
其中，所述目标失效消息指示所述计算集群缓存的所述目标元数据失效。
9.根据权利要求8所述的数据处理方法，其特征在于，所述计算集群包括管理节点和多个计算节点，所述接收来自所述元数据集群的目标失效消息，包括：
通过所述管理节点接收所述目标失效消息；
通过所述管理节点将所述目标失效消息转发给所述多个计算节点。
10.根据权利要求8所述的数据处理方法，其特征在于，还包括：
响应于接收到的终端的元数据访问请求，确定待访问元数据是否为所述计算集群缓存的元数据；
若所述待访问元数据为所述计算集群缓存的元数据，则从所述计算集群的缓存中读取所述待访问元数据；
若所述待访问元数据不为所述计算集群缓存的元数据，则向所述元数据集群请求获取所述待访问元数据。
11.根据权利要求8至10任一项所述的数据处理方法，其特征在于，所述接收来自所述元数据集群的目标失效消息之前，还包括：
根据所述计算集群的元数据缓存范围，确定所述计算集群对应的失效消息订阅范围，并向所述元数据集群发送失效消息订阅请求；
其中，所述失效消息订阅请求包括所述失效消息订阅范围。
12.一种数据处理装置，其特征在于，应用于计算与存储分离的分布式数据库***，所述分布式数据库***包括元数据集群和计算集群，所述计算集群中缓存来自所述元数据集群的元数据；
在所述元数据集群一侧，所述数据处理装置包括：
生成模块，用于响应于所述元数据集群中目标元数据的变更，生成目标失效消息，所述目标失效消息指示所述计算集群缓存的所述目标元数据失效；
发送模块，用于根据所述计算集群对应的失效消息订阅范围，向所述计算集群发送所述目标失效消息，所述失效消息订阅范围为所述计算集群对所述元数据集群中的元数据变更进行监听的范围。
13.一种数据处理装置，其特征在于，应用于计算与存储分离的分布式数据库***，所述分布式数据库***包括元数据集群和计算集群，所述计算集群中缓存来自所述元数据集群的元数据；
在所述计算集群一侧，所述数据处理装置包括：
接收模块，用于接收来自所述元数据集群的目标失效消息；
更新模块，用于根据所述目标失效消息，更新所述计算集群缓存的目标元数据；
其中，所述目标失效消息指示所述计算集群缓存的所述目标元数据失效。
14.一种电子设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至11任一项所述的数据处理方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至11任一项所述的数据处理方法。
16.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如权利要求1至11任一项所述的数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111583625.1A CN114238518A (zh) | 2021-12-22 | 2021-12-22 | 数据处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111583625.1A CN114238518A (zh) | 2021-12-22 | 2021-12-22 | 数据处理方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114238518A true CN114238518A (zh) | 2022-03-25 |
Family
ID=80761572
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111583625.1A Pending CN114238518A (zh) | 2021-12-22 | 2021-12-22 | 数据处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114238518A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117390078A (zh) * | 2023-12-13 | 2024-01-12 | 中国对外经济贸易信托有限公司 | 数据处理方法、装置、存储介质和计算机设备 |
| WO2024087736A1 (zh) * | 2022-10-25 | 2024-05-02 | 华为云计算技术有限公司 | 数据处理方法、数据处理引擎、计算设备及存储介质 |
| WO2024109051A1 (zh) * | 2022-11-21 | 2024-05-30 | 华为云计算技术有限公司 | 基于数据仓库***的数据处理方法和数据仓库*** |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110296422A1 (en) * | 2010-05-27 | 2011-12-01 | International Business Machines Corporation | Switch-Aware Parallel File System |
| CN111104548A (zh) * | 2019-12-18 | 2020-05-05 | 腾讯科技（深圳）有限公司 | 一种数据反馈方法、***及存储介质 |
| CN111651464A (zh) * | 2020-04-15 | 2020-09-11 | 北京皮尔布莱尼软件有限公司 | 数据处理方法、***及计算设备 |
| CN112015750A (zh) * | 2020-11-02 | 2020-12-01 | 长沙树根互联技术有限公司 | 数据处理方法和*** |
| CN112039979A (zh) * | 2020-08-27 | 2020-12-04 | 中国平安财产保险股份有限公司 | 分布式数据缓存管理方法、装置、设备及存储介质 |
| CN112948178A (zh) * | 2021-02-24 | 2021-06-11 | 北京金山云网络技术有限公司 | 一种数据处理方法、装置、***、设备及介质 |
| US20210360065A1 (en) * | 2020-05-14 | 2021-11-18 | Hangzhou Juicedata Technology Limited | Distributed Metadata Management Method for Distributed File System |
-
2021
- 2021-12-22 CN CN202111583625.1A patent/CN114238518A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110296422A1 (en) * | 2010-05-27 | 2011-12-01 | International Business Machines Corporation | Switch-Aware Parallel File System |
| CN111104548A (zh) * | 2019-12-18 | 2020-05-05 | 腾讯科技（深圳）有限公司 | 一种数据反馈方法、***及存储介质 |
| CN111651464A (zh) * | 2020-04-15 | 2020-09-11 | 北京皮尔布莱尼软件有限公司 | 数据处理方法、***及计算设备 |
| US20210360065A1 (en) * | 2020-05-14 | 2021-11-18 | Hangzhou Juicedata Technology Limited | Distributed Metadata Management Method for Distributed File System |
| CN112039979A (zh) * | 2020-08-27 | 2020-12-04 | 中国平安财产保险股份有限公司 | 分布式数据缓存管理方法、装置、设备及存储介质 |
| CN112015750A (zh) * | 2020-11-02 | 2020-12-01 | 长沙树根互联技术有限公司 | 数据处理方法和*** |
| CN112948178A (zh) * | 2021-02-24 | 2021-06-11 | 北京金山云网络技术有限公司 | 一种数据处理方法、装置、***、设备及介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024087736A1 (zh) * | 2022-10-25 | 2024-05-02 | 华为云计算技术有限公司 | 数据处理方法、数据处理引擎、计算设备及存储介质 |
| WO2024109051A1 (zh) * | 2022-11-21 | 2024-05-30 | 华为云计算技术有限公司 | 基于数据仓库***的数据处理方法和数据仓库*** |
| CN117390078A (zh) * | 2023-12-13 | 2024-01-12 | 中国对外经济贸易信托有限公司 | 数据处理方法、装置、存储介质和计算机设备 |
| CN117390078B (zh) * | 2023-12-13 | 2024-02-09 | 中国对外经济贸易信托有限公司 | 数据处理方法、装置、存储介质和计算机设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109783438B (zh) | 基于librados的分布式NFS***及其构建方法 | |
| CN114238518A (zh) | 数据处理方法、装置、设备及存储介质 | |
| CN107018042B (zh) | 用于在线服务***的追踪方法及追踪*** | |
| CN114827145B (zh) | 服务器集群***、元数据的访问方法及装置 | |
| CN104935654A (zh) | 一种服务器集群***中的缓存方法、写入点客户端和读客户端 | |
| CN112199427A (zh) | 一种数据处理方法和*** | |
| CN103607424A (zh) | 一种服务器连接方法及服务器*** | |
| CN113094430B (zh) | 一种数据处理方法、装置、设备以及存储介质 | |
| CN114064414A (zh) | 一种高可用的集群状态监控方法及*** | |
| CN113010549A (zh) | 基于异地多活***的数据处理方法、相关设备及存储介质 | |
| CN112015595B (zh) | 主从数据库的切换方法、计算设备及存储介质 | |
| CN113111036A (zh) | 一种基于hdfs的小文件处理方法、装置、介质及电子设备 | |
| CN114900449B (zh) | 一种资源信息管理方法、***及装置 | |
| CN114629883B (zh) | 服务请求的处理方法、装置、电子设备及存储介质 | |
| CN101483668A (zh) | 热点数据的网络存储和访问方法、设备及*** | |
| US20110153958A1 (en) | Network load reducing method and node structure for multiprocessor system with distributed memory | |
| CN112711606A (zh) | 数据库访问方法、装置、计算机设备和存储介质 | |
| CN115964444B (zh) | 一种云原生分布式多租户数据库实现方法及*** | |
| KR20170107061A (ko) | 멀티 코어 시스템에서 데이터 방문자 디렉토리에 액세스하는 방법 및 장치 | |
| CN112995723A (zh) | 一种epg数据管理方法、服务器及可读存储介质 | |
| CN111367921A (zh) | 数据对象的刷新方法及装置 | |
| WO2019161908A1 (en) | Dynamic determination of consistency levels for distributed database transactions | |
| CN113783921A (zh) | 创建缓存组件的方法和装置 | |
| CN111399753A (zh) | 写入图片的方法和装置 | |
| CN116991333B (zh) | 分布式数据存储方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |