CN104361030A - 一种具有任务分发功能的分布式缓存架构及缓存方法 - Google Patents

一种具有任务分发功能的分布式缓存架构及缓存方法 Download PDF

Info

Publication number
CN104361030A
CN104361030A CN201410578562.4A CN201410578562A CN104361030A CN 104361030 A CN104361030 A CN 104361030A CN 201410578562 A CN201410578562 A CN 201410578562A CN 104361030 A CN104361030 A CN 104361030A
Authority
CN
China
Prior art keywords
data
distributed
module
cache
caching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410578562.4A
Other languages
English (en)
Inventor
王茜
葛新
李安颖
史晨昱
梁小江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Following International Information Ltd Co
Original Assignee
Xi'an Following International Information Ltd Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Following International Information Ltd Co filed Critical Xi'an Following International Information Ltd Co
Priority to CN201410578562.4A priority Critical patent/CN104361030A/zh
Publication of CN104361030A publication Critical patent/CN104361030A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Memory System Of A Hierarchy Structure (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种具有任务分发功能的分布式缓存架构，包括分布式任务调度***、关系型数据库Mysql以及redis分布式缓存***。本发明一种具有任务分发功能的动态分布式缓存架构，解决了传统数据库无法应对大数据量的处理和访问的情况。本发明公开的另一种采用上述分布式缓存架构的缓存方法，对于需要计算的场景能够做到自动的任务分发和容错，保证处理过程的可靠性。

Description

一种具有任务分发功能的分布式缓存架构及缓存方法
技术领域
本发明属于大数据处理技术领域，涉及一种具有任务分发功能的分布式缓存架构方法。
背景技术
随着各种非结构数据越来越多，在数据存储和处理方面对于数据库的性能要求越来越高，读写操作量的需求也不断增加，传统关系型数据库在应对海量数据处理中显得吃力。如，关系型数据库在少量数据存储，高速访问，海量数据存储，分布式***支持，数据一致性保证，方便的集群节点添加或删除等方面无法做到得心应手。
针对以上问题，典型的应用架构中有使用到mamcache这种内存对象缓存***，然而，随着业务量的不断增加和访问量的持续增长，会遇到许多问题：
(1)数据库需要不断的进行拆库拆表，mamcache也需要不断扩容，而扩容和维护工作要占据大量的开发时间。
(2)memcache与数据库的数据存在一致性问题。
(3)memcache数据的命中率低或者宕机的话，大量访问需要直接穿透到数据库，这对于诸如mysql这类数据库将无法支撑大量的直接访问。
(4)跨机房cache同步问题。
而且，对于变化率非常快的数据而言，如果选择静态缓存方式(Memcached/File system等)展示数据，可能在缓存的存取上会有很大的开销，并不能很好的满足需要。
具有任务分发功能的分布式缓存出于如下考虑，首先是缓存本身的水平线性扩展问题，其次是缓存大并发下的本身的性能问题，再次是避免缓存的单点故障问题(多副本和副本一致性)。分布式缓存的核心技术包括对内存本身的管理、内存的分配、管理和回收机制。其次是分布式管理和分布式算法，最后是缓存键值管理和路由。分布式缓存***具有诸多优点：
1)高性能:当传统数据库面临大规模数据访问时,磁盘I/O往往成为性能瓶颈,从而导致过高的响应延迟.分布式缓存将高速内存作为数据对象的存储介质,数据以key/value形式存储,理想情况下可以获得DRAM级的读写性能；
2)动态扩展性:支持弹性扩展,通过动态增加或减少节点应对变化的数据访问负载,提供可预测的性能与扩展性；同时,最大限度地提高资源利用率；
3)高可用性:可用性包含数据可用性与服务可用性两方面.基于冗余机制实现高可用性,无单点失效(single point of failure),支持故障的自动发现,透明地实施故障切换,不会因服务器故障而导致缓存服务中断或数据丢失.动态扩展时自动均衡数据分区,同时保障缓存服务持续可用；
4)易用性:提供单一的数据与管理视图；API接口简单,且与拓扑结构无关；动态扩展或失效恢复时无需人工配置；自动选取备份节点；多数缓存***提供了图形化的管理控制台,便于统一维护；
5)分布式代码执行(distributed code execution):将任务代码转移到各数据节点并行执行,客户端聚合返回结果,从而有效避免了缓存数据的移动与传输.
发明内容
本发明的目的是提供一种具有任务分发功能的分布式缓存架构，解决了传统数据库无法应对大数据量的处理和访问的情况。
本发明的另一目的是提供一种具有任务分发功能的分布式缓存方法，对于需要计算的场景能够做到自动的任务分发和容错，保证处理过程的可靠性。
本发明所采用的一种技术方案是，一种具有任务分发功能的分布式缓存架构，包括关系型数据库Mysql、redis分布式缓存***以及与客户端通过网络连接的分布式任务调度***。
本发明一种技术方案的特点还在于，
redis分布式缓存***包括依次连接的缓存管理模块、分布式缓存模块、数据分布模块、替换算法模块、缓存同步模块、缓存通信模块、可靠***模块。
本发明所采用的另一种技术方案是，一种具有任务分发功能的分布式缓存方法，采用一种具有任务分发功能的分布式缓存架构，其结构为：包括关系型数据库Mysql、redis分布式缓存***以及与客户端通过网络连接的分布式任务调度***；
其中，redis分布式缓存***包括依次连接的缓存管理模块、分布式缓存模块、数据分布模块、替换算法模块、缓存同步模块、缓存通信模块、可靠***模块。
采用上述分布式缓存***的缓存方法，具体按照以下步骤实施：
步骤1，当用户有数据查询需求时，***调用一致性哈希算法找到节点，并调用通信模块读取数据；
步骤2，如果通信模块找到数据，则将数据返回给用户；如果通信模块没有找到数据，则用户直接访问数据库进行数据读取，并执行步骤3；
步骤3，数据库将数据写入缓存主节点；
步骤4，数据库将缓存主节点中的数据和缓存从节点中的数据同步。
本发明另一种技术方案的特点还在于，
步骤4具体按照以下步骤实施：
步骤4.1，用户向数据库中写入一条数据；
步骤4.2，数据库的触发器启动，并启用Mysql udf；
步骤4.3，启用gearman udf，并启动Gearman-worker；
步骤4.4，更新redis分布式缓存***中的数据。
本发明的有益效果是，
1)高效率：对于变化频率快的数据而言，采用redis这种动态内存缓存技术可以极大地减少在缓存存取上的***开销；而且采用这种读写效率高的分布式缓存能够减轻关系型数据库Mysql的压力，代替其中由于读写频率较高而产生锁的部分。
2)实现了异步计算：可以将比较耗时的计算分配到分布式计算机集群处理，减少了站点服务器的压力和处理延迟现象。
3)高性能:当传统数据库面临大规模数据访问时，磁盘I/O往往成为性能瓶颈,从而导致过高的响应延迟，分布式缓存将高速内存作为数据对象的存储介质，数据以key/value形式存储,理想情况下可以获得DRAM级的读写性能；
4)动态扩展性:支持弹性扩展,通过动态增加或减少节点应对变化的数据访问负载，提供可预测的性能与扩展性，同时,最大限度地提高资源利用率；
3)高可用性:可用性包含数据可用性与服务可用性两方面，基于冗余机制实现高可用性，无单点失效(single point of failure)，支持故障的自动发现，透明地实施故障切换,不会因服务器故障而导致缓存服务中断或数据丢失，动态扩展时自动均衡数据分区，同时保障缓存服务持续可用；
4)易用性:提供单一的数据与管理视图；API接口简单，且与拓扑结构无关；动态扩展或失效恢复时无需人工配置；自动选取备份节点；多数缓存***提供了图形化的管理控制台，便于统一维护。
附图说明
图1是本发明一种具有任务分发功能的分布式缓存架构的结构示意图；
图2是用本发明中分布式任务调度***的结构示意图；
图3是本发明具有任务分发功能的分布式缓存方法中数据查询的流程示意图；
图4是本发明中数据库数据与缓存同步的方法的流程示意图。
图中，1.分布式任务调度***，2.关系型数据库Mysql，3.redis分布式缓存***，4.缓存管理模块，5.分布式缓存模块，6.数据分布模块，7.替换算法模块，8.缓存同步模块，9.缓存通信模块，10.可靠***模块。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种具有任务分发功能的分布式缓存架构，如图1所示，包括关系型数据库Mysql2、redis分布式缓存***3以及与客户端通过网络连接的分布式任务调度***1；
如图2所示，redis分布式缓存***3包括依次连接的缓存管理模块4、分布式缓存模块5、数据分布模块6、替换算法模块7、缓存同步模块8、缓存通信模块9、可靠***模块10。
本发明的缓存结构的工作原理为，首先启动分布式任务分发***的服务器端；其次，用户编写好处理具体任务处理模块作为具体任务处理端，并启动；然后，由用户根据需求编写具体的调度***客户端，并启动；最后，任务分发***的服务器端接收客户端的请求并将其需要处理的业务分发给实际适合处理该业务的工作节点进行处理，处理完成后将结果经服务器端返回到客户端。
本发明中的分布式缓存结构中各个模块的作用如下：
数据分布模块6包括基于复制的数据分布模式和基于分区的数据分布模式。其中基于复制的数据分布模式适合于在数据读操作多于数据写操作应用场合；而基于分区的数据分布则更适合于写操作频繁的场合。
缓存同步模块8主要用于解决当原始数据库中的数据或者某台缓存服务器中的数据发生变化以后同步更新其他服务器中的缓存数据。
替换算法模块7，由于缓存服务器的硬件资源有限，因此当缓存的数据超过***的内存大小时，就要选择缓存中的某一部分数据进行替换，为了提高缓存的命中率，需要使用合理的缓存替换算法来保证缓存中的数据具有较高的命中率。
缓存通信模块9，分布式缓存中各个缓存服务器是通过相互合作共同为上层应用提供缓存服务的，而各个缓存服务器需要通过通信协议来实现其服务器和客户端之间，以及各个缓存服务器之间的实时通信，使其协同工作，保障缓存***的实时性和可靠性。
可靠***模块10，如果在内存快照被持久化到磁盘之前，缓存所在的服务器出现宕机，那么这些没有写入到磁盘的已修改数据都将丢失。为了保证数据的高可靠性，分布式缓存提供了一种数据持久化机制来保证数据的可靠性。
本发明的分布式缓存架构通过将redis分布式缓存***和gearman相结合的方式，不仅可以实现对数据的缓存，而且能够实现对数据的持久化，对于需要计算的场景能够做到自动的任务分发和容错，保证处理过程的可靠性。
本发明另一种具有任务分发功能的分布式缓存方法，如图3所示，采用上述分布式缓存***的缓存方法，具体按照以下步骤实施：
步骤1，当用户有数据查询需求时，***调用一致性哈希算法找到节点，并调用通信模块读取数据；
步骤2，如果缓存通信模块9找到数据，则将数据返回给用户；如果缓存通信模块9没有找到数据，则用户直接访问数据库进行数据读取，并执行步骤3；
步骤3，数据库将数据写入缓存主节点；
步骤4，数据库将缓存主节点中的数据和缓存从节点中的数据同步。
如图4所示，步骤4具体按照以下步骤实施：
步骤4.1，用户向数据库中写入一条数据；
步骤4.2，数据库的触发器启动，并启用Mysql udf；
步骤4.3，启用gearman udf，并启动Gearman-worker；
步骤4.4，更新redis分布式缓存***中的数据。

Claims (4)

1.一种具有任务分发功能的分布式缓存架构，其特征在于，包括关系型数据库Mysql(2)、redis分布式缓存***(3)以及与客户端通过网络连接的分布式任务调度***(1)。 
2.根据权利要求1所述的一种具有任务分发功能的分布式缓存架构，其特征在于，所述的redis分布式缓存***(3)包括依次连接的缓存管理模块(4)、分布式缓存模块(5)、数据分布模块(6)、替换算法模块(7)、缓存同步模块(8)、缓存通信模块(9)、可靠***模块(10)。 
3.一种具有任务分发功能的分布式缓存方法，其特征在于，采用一种具有任务分发功能的分布式缓存架构，其结构为：包括关系型数据库Mysql(2)、redis分布式缓存***(3)以及与客户端通过网络连接的分布式任务调度***(1)； 
其中，所述的redis分布式缓存***(3)包括依次连接的缓存管理模块(4)、分布式缓存模块(5)、数据分布模块(6)、替换算法模块(7)、缓存同步模块(8)、缓存通信模块(9)、可靠***模块(10)。 
采用上述分布式缓存***的缓存方法，具体按照以下步骤实施： 
步骤1，当用户有数据查询需求时，***调用一致性哈希算法找到节点，并调用通信模块读取数据； 
步骤2，如果缓存通信模块(9)找到数据，则将数据返回给用户；如果缓存通信模块(9)没有找到数据，则用户直接访问数据库进行数据读取，并执行步骤3； 
步骤3，数据库将数据写入缓存主节点； 
步骤4，数据库将缓存主节点中的数据和缓存从节点中的数据同步。 
4.根据权利要求2所述的一种具有任务分发功能的分布式缓存方法，其特征在于，所述步骤4具体按照以下步骤实施： 
步骤4.1，用户向数据库中写入一条数据； 
步骤4.2，数据库的触发器启动，并启用Mysql udf； 
步骤4.3，启用gearman udf，并启动Gearman-worker； 
步骤4.4，更新redis分布式缓存***中的数据。 
CN201410578562.4A 2014-10-24 2014-10-24 一种具有任务分发功能的分布式缓存架构及缓存方法 Pending CN104361030A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410578562.4A CN104361030A (zh) 2014-10-24 2014-10-24 一种具有任务分发功能的分布式缓存架构及缓存方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410578562.4A CN104361030A (zh) 2014-10-24 2014-10-24 一种具有任务分发功能的分布式缓存架构及缓存方法

Publications (1)

Publication Number Publication Date
CN104361030A true CN104361030A (zh) 2015-02-18

Family

ID=52528292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410578562.4A Pending CN104361030A (zh) 2014-10-24 2014-10-24 一种具有任务分发功能的分布式缓存架构及缓存方法

Country Status (1)

Country Link
CN (1) CN104361030A (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105426451A (zh) * 2015-11-11 2016-03-23 深圳市华讯方舟科技有限公司 一种基于键值对的数据处理方法及***
CN105511805A (zh) * 2015-11-26 2016-04-20 深圳市中博科创信息技术有限公司 集群文件***的数据处理方法和装置
WO2016187771A1 (zh) * 2015-05-25 2016-12-01 武克易 基于用户行为分析的云电视数据获取方法及***
CN106528833A (zh) * 2016-11-14 2017-03-22 天津南大通用数据技术股份有限公司 一种mpp数据库数据动态重分布的方法及装置
CN107145570A (zh) * 2017-05-05 2017-09-08 上海携程商务有限公司 基于数据库服务架构维护服务器的方法及***
CN107346307A (zh) * 2016-05-04 2017-11-14 北京京东尚科信息技术有限公司 分布式缓存***及方法
CN107968804A (zh) * 2016-10-20 2018-04-27 创盛视联数码科技（北京）有限公司 分布式缓存调度***及方法
CN108076078A (zh) * 2016-11-09 2018-05-25 北京金山云网络技术有限公司 一种云主机创建方法、装置及云服务***
CN108093010A (zh) * 2016-11-23 2018-05-29 成都阜特科技股份有限公司 一种工业实时数据***及其数据处理方法
CN108108310A (zh) * 2016-11-24 2018-06-01 腾讯科技（深圳）有限公司 一种数据处理方法、装置及服务器
CN108182213A (zh) * 2017-12-20 2018-06-19 福建新大陆软件工程有限公司 一种基于分布式***的数据处理优化装置及方法
CN108540510A (zh) * 2017-03-02 2018-09-14 北京金山云网络技术有限公司 一种云主机创建方法、装置及云服务***
CN108804234A (zh) * 2017-04-28 2018-11-13 腾讯科技（深圳）有限公司 数据存储***及其操作方法
CN109739516A (zh) * 2018-12-29 2019-05-10 深圳供电局有限公司 一种云缓存的运行方法及***
CN109923533A (zh) * 2016-11-10 2019-06-21 华为技术有限公司 在数据库中将计算与存储分离以改善弹性
CN110333944A (zh) * 2019-04-19 2019-10-15 中国联合网络通信集团有限公司 话单数据业务处理方法及设备
CN110502539A (zh) * 2019-07-17 2019-11-26 苏宁云计算有限公司 一种olap动态缓存方法及装置
CN111159144A (zh) * 2019-11-27 2020-05-15 北京中交兴路信息科技有限公司 一种缓存***和方法
CN112307060A (zh) * 2019-08-01 2021-02-02 北京京东振世信息技术有限公司 拣货任务处理的方法和装置
CN113127521A (zh) * 2021-05-19 2021-07-16 福建天晴在线互动科技有限公司 一种分布式***下的全量缓存方案及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6792436B1 (en) * 2000-02-11 2004-09-14 Persistence Software, Inc. Method for synchronizing multiple software caches in a memory
CN103150304A (zh) * 2011-12-06 2013-06-12 郑红云 云数据库***
CN103177027A (zh) * 2011-12-23 2013-06-26 北京新媒传信科技有限公司 获取动态Feed索引的方法和***
CN103473267A (zh) * 2013-08-09 2013-12-25 深圳市中科新业信息科技发展有限公司 数据存储查询方法及***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6792436B1 (en) * 2000-02-11 2004-09-14 Persistence Software, Inc. Method for synchronizing multiple software caches in a memory
CN103150304A (zh) * 2011-12-06 2013-06-12 郑红云 云数据库***
CN103177027A (zh) * 2011-12-23 2013-06-26 北京新媒传信科技有限公司 获取动态Feed索引的方法和***
CN103473267A (zh) * 2013-08-09 2013-12-25 深圳市中科新业信息科技发展有限公司 数据存储查询方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
严志敏: "TOF基础服务高性能缓存***的设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016187771A1 (zh) * 2015-05-25 2016-12-01 武克易 基于用户行为分析的云电视数据获取方法及***
CN105426451A (zh) * 2015-11-11 2016-03-23 深圳市华讯方舟科技有限公司 一种基于键值对的数据处理方法及***
CN105511805A (zh) * 2015-11-26 2016-04-20 深圳市中博科创信息技术有限公司 集群文件***的数据处理方法和装置
CN105511805B (zh) * 2015-11-26 2019-03-19 深圳市中博科创信息技术有限公司 集群文件***的数据处理方法和装置
CN107346307A (zh) * 2016-05-04 2017-11-14 北京京东尚科信息技术有限公司 分布式缓存***及方法
CN107968804A (zh) * 2016-10-20 2018-04-27 创盛视联数码科技（北京）有限公司 分布式缓存调度***及方法
CN108076078A (zh) * 2016-11-09 2018-05-25 北京金山云网络技术有限公司 一种云主机创建方法、装置及云服务***
CN109923533A (zh) * 2016-11-10 2019-06-21 华为技术有限公司 在数据库中将计算与存储分离以改善弹性
CN106528833A (zh) * 2016-11-14 2017-03-22 天津南大通用数据技术股份有限公司 一种mpp数据库数据动态重分布的方法及装置
CN108093010A (zh) * 2016-11-23 2018-05-29 成都阜特科技股份有限公司 一种工业实时数据***及其数据处理方法
CN108108310A (zh) * 2016-11-24 2018-06-01 腾讯科技（深圳）有限公司 一种数据处理方法、装置及服务器
CN108540510A (zh) * 2017-03-02 2018-09-14 北京金山云网络技术有限公司 一种云主机创建方法、装置及云服务***
CN108540510B (zh) * 2017-03-02 2021-11-05 北京金山云网络技术有限公司 一种云主机创建方法、装置及云服务***
CN108804234A (zh) * 2017-04-28 2018-11-13 腾讯科技（深圳）有限公司 数据存储***及其操作方法
CN107145570B (zh) * 2017-05-05 2020-09-22 上海携程商务有限公司 基于数据库服务架构维护服务器的方法及***
CN107145570A (zh) * 2017-05-05 2017-09-08 上海携程商务有限公司 基于数据库服务架构维护服务器的方法及***
CN108182213A (zh) * 2017-12-20 2018-06-19 福建新大陆软件工程有限公司 一种基于分布式***的数据处理优化装置及方法
CN109739516A (zh) * 2018-12-29 2019-05-10 深圳供电局有限公司 一种云缓存的运行方法及***
CN110333944A (zh) * 2019-04-19 2019-10-15 中国联合网络通信集团有限公司 话单数据业务处理方法及设备
CN110502539A (zh) * 2019-07-17 2019-11-26 苏宁云计算有限公司 一种olap动态缓存方法及装置
CN112307060A (zh) * 2019-08-01 2021-02-02 北京京东振世信息技术有限公司 拣货任务处理的方法和装置
CN112307060B (zh) * 2019-08-01 2024-04-23 北京京东振世信息技术有限公司 拣货任务处理的方法和装置
CN111159144A (zh) * 2019-11-27 2020-05-15 北京中交兴路信息科技有限公司 一种缓存***和方法
CN111159144B (zh) * 2019-11-27 2023-09-08 北京中交兴路信息科技有限公司 一种缓存***和方法
CN113127521A (zh) * 2021-05-19 2021-07-16 福建天晴在线互动科技有限公司 一种分布式***下的全量缓存方案及***

Similar Documents

Publication Publication Date Title
CN104361030A (zh) 一种具有任务分发功能的分布式缓存架构及缓存方法
US11042311B2 (en) Cluster system with calculation and storage converged
CN103312791B (zh) 物联网异构数据存储方法及***
CN103116661B (zh) 一种数据库的数据处理方法
CN105095317B (zh) 分布式数据库服务管理***
CN104735110B (zh) 元数据管理方法和***
JP6086463B2 (ja) ピアツーピアデータ複製用の方法、デバイス、およびシステム、ならびにマスタノード切替え用の方法、デバイス、およびシステム
CN105493474B (zh) 用于支持用于同步分布式数据网格中的数据的分区级别日志的***及方法
CN102521038A (zh) 基于分布式文件***的虚拟机迁移方法和装置
CN104580437A (zh) 一种云存储客户端及其高效数据访问方法
CN103150304A (zh) 云数据库***
CN109344122B (zh) 一种基于文件预创策略的分布式元数据管理方法及***
CN103595799A (zh) 一种实现分布式共享数据库的方法
CN109933312A (zh) 一种有效降低容器化关系型数据库i/o消耗的方法
WO2013131443A1 (zh) 存储数据的方法及装置
CN103795801A (zh) 一种基于实时应用集群的元数据集群设计方法
CN105468297A (zh) 一种云存储***内主从设备数据快速同步的方法
US10152493B1 (en) Dynamic ephemeral point-in-time snapshots for consistent reads to HDFS clients
CN110262754A (zh) 一种面向NVMe和RDMA的分布式存储***及轻量级同步通信方法
CN110807039A (zh) 一种云计算环境下数据一致性维护***及方法
CN110083306A (zh) 一种分布式对象存储***及存储方法
WO2014135011A1 (zh) 数据库***以及数据同步方法
CN104281673A (zh) 一种数据库的缓存构建***及对应的构建方法
CN102523105B (zh) 一种数据存储的故障恢复方法及其适用的数据分布架构
CN105302817B (zh) 分布式文件***管理方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150218

RJ01 Rejection of invention patent application after publication