CN107241444B - 一种分布式缓存数据管理***、方法及装置 - Google Patents
一种分布式缓存数据管理***、方法及装置 Download PDFInfo
- Publication number
- CN107241444B CN107241444B CN201710637356.XA CN201710637356A CN107241444B CN 107241444 B CN107241444 B CN 107241444B CN 201710637356 A CN201710637356 A CN 201710637356A CN 107241444 B CN107241444 B CN 107241444B
- Authority
- CN
- China
- Prior art keywords
- data
- client
- read
- performance nonvolatile
- buffer pool
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000013523 data management Methods 0.000 title claims abstract description 22
- 230000015654 memory Effects 0.000 claims abstract description 154
- 238000007726 management method Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 2
- 230000002159 abnormal effect Effects 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Memory System Of A Hierarchy Structure (AREA)
Abstract
本发明公开了一种分布式缓存数据管理***、方法及装置,管理***包括:后端存储器和高速资源缓冲池,该高速资源缓冲池由多个高性能非易失存储器通过集群方式组成,每一个所述高性能非易失存储器对应一个客户端,并作为该客户端的读写高速缓冲存储器,当客户端写入数据时,客户端将待写入数据直接写入高速资源缓冲池中对应的高性能非易失存储器,当客户端需要读取数据时,客户端可以看到高速资源缓冲池中的缓存数据,当确定所需数据在高速资源缓冲池时,直接从高速资源缓冲池读取数据,因此,本发明不仅减小了整个IO栈路径,加快数据访问速度,同时还保证了数据的安全访问以及不同客户端同时对后端存储器进行操作时,数据的一致性。
Description
技术领域
本发明涉及分布式存储技术领域,更具体的说,涉及一种分布式缓存数据管理***、方法及装置。
背景技术
互联网行业的发展,促进了数据存储的几何倍增长,使得数据存储量越来越大,如何提高数据访问效率成为了互联网发展关键。目前,业界为提高数据访问效率,常用的一个方法是:当客户端需要访问后端存储器中的数据时,开启缓存,从缓存中去访问数据,从而减少整个IO栈路径,加快数据访问速度。具体过程为:当开启缓存后,缓存中的数据通常会放进内存中,这样,就相当于直接从内存中读写数据,从而可以提高数据访问速度。尤其是缓存数据变化不频繁的业务场景,数据访问速度会提高很多。
然而,上述方案在提高数据访问速度的同时还存在一定的风险。当客户端从内存读取缓存数据时,如果客户端出现异常情况,如主机断电、服务器宕机、网络瘫痪等,内存中的缓存数据就会丢失,即使客户端恢复正常后,内存中的缓存数据也不会恢复。为保证数据的安全访问,现有又提供了另一种数据访问方案,如图1所示,采用高性能非易失存储器代替内存,作为读写高速缓冲存储器,一个高性能非易失存储器对应一个客户端,每一个高性能非易失存储器都是对外不可见的,如客户端A智能看到高性能非易失存储器A,客户端B智能看到高性能非易失存储器B。当客户端A需要将数据块A写入后端存储器的分布式存储资源池的块存储中时,客户端A首先需要将数据块A缓存在高性能非易失存储器A,然后再通过高性能非易失存储器A写入块存储。当数据块A还未写入块存储,而是缓存在高性能非易失存储器A中时,若客户端B认为客户端A已经将数据块A写入块存储,客户端B就会通过高性能非易失存储器B从块存储中开始执行读取数据块A的操作,一种情况是在块存储中未查找到数据块A,另一种情况是查找到数据块A,但该数据块A并不是最新的数据块。这两种情况,都会导致客户端A写入的数据和客户端B读取的数据不一致。
基于传统方案存在的种种问题,大多数企业厂商采用牺牲存储性能为代价,不开启缓存,直接从客户端到服务器端进行数据访问,这样虽然能够保证数据的安全访问,但是数据访问效率大大降低。
发明内容
有鉴于此,本发明公开一种分布式缓存数据管理***、方法及装置,以实现在减小整个IO栈路径,加快数据访问速度的同时,保证数据的安全访问以及不同客户端同时对后端存储器进行操作时,数据的一致性。
一种分布式缓存数据管理***,应用于服务器端,包括:
高速资源缓冲池,所述高速资源缓冲池由多个高性能非易失存储器通过集群方式组成,每一个所述高性能非易失存储器对应一个客户端,并作为该客户端的读写高速缓冲存储器;
以及,与所述高速资源缓冲池连接的后端存储器;
所述高速资源缓冲池,用于在客户端写入数据时,接收待写入数据,并将所述待写入数据直接写入与该客户端对应的高性能非易失存储器中;
所述高速资源缓冲池,还用于在客户端读取数据时,接收数据读取指令,根据所述数据读取指令,从各个高性能非易失存储器中查找是否缓存有所述读写指令中携带的待读取数据,如果是,则读取查找到的待读取数据;如果否,则继续从所述后端服务器读取所述待读取数据。
优选的,所述后端存储器包括:多个机械硬盘。
优选的,所述高性能非易失存储器用于存放距离当前时间预设时间段内访问频率最高的数据。
一种分布式缓存数据管理方法,应用于高速资源缓冲池,所述高速资源缓冲池由多个高性能非易失存储器通过集群方式组成,每一个所述高性能非易失存储器对应一个客户端,并作为该客户端的读写高速缓冲存储器;
所述方法包括:
在客户端写入数据时,接收待写入数据,并将所述待写入数据直接写入与该客户端对应的高性能非易失存储器中;
在客户端读取数据时,接收数据读取指令;
根据所述数据读取指令,从各个高性能非易失存储器中查找是否缓存有所述读写指令中携带的待读取数据;
如果是,则读取查找到的待读取数据;
如果否,则继续从所述后端服务器读取所述待读取数据。
一种分布式缓存数据管理装置,应用于高速资源缓冲池,所述高速资源缓冲池由多个高性能非易失存储器通过集群方式组成,每一个所述高性能非易失存储器对应一个客户端,并作为该客户端的读写高速缓冲存储器;
所述装置包括:
写入单元,用于在客户端写入数据时,接收待写入数据,并将所述待写入数据直接写入与该客户端对应的高性能非易失存储器中;
接收单元,用于在客户端读取数据时,接收数据读取指令;
查找单元,用于根据所述数据读取指令,从各个高性能非易失存储器中查找是否缓存有所述读写指令中携带的待读取数据;
第一读取单元,用于在所述查找单元查找到所述待读取数据时,读取所述待读取数据;
第二读取单元,用于在所述查找单元未查找到所述待读取数据时,继续从所述后端服务器读取所述待读取数据。
从上述的技术方案可知,本发明公开了一种分布式缓存数据管理***、方法及装置,管理***包括:后端存储器和高速资源缓冲池,该高速资源缓冲池由多个高性能非易失存储器通过集群方式组成,每一个所述高性能非易失存储器对应一个客户端,并作为该客户端的读写高速缓冲存储器,当客户端写入数据时,客户端将待写入数据直接写入高速资源缓冲池中对应的高性能非易失存储器,当客户端需要读取数据时,客户端首先会在高速资源缓冲池读取,当高速资源缓冲池未缓存待读取数据时,再从后端服务器读取。由于本发明将各个客户端对应的高性能非易失存储器进行了集群,从而使得各个高性能非易失存储器之间能够资源共享,客户端可以看到所有的被缓存的数据,这样,客户端通过在高速资源缓冲池首先读取待读取数据,即可确定所需读取数据是否缓存在高速资源缓冲池,且仅在确定高速资源缓冲池没有缓存待读取数据时,再从后端服务器读取。因此,本发明不仅减小了整个IO栈路径,加快数据访问速度,同时还保证了数据的安全访问以及不同客户端同时对后端存储器进行操作时,数据的一致性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据公开的附图获得其他的附图。
图1为传统的cache数据处理框架图;
图2为本发明实施例公开的一种分布式缓存数据管理***的框架图;
图3为本发明实施例公开的一种高速资源缓冲池和后端服务器的信令交互图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例公开了一种分布式缓存数据管理***、方法及装置,以实现在减小整个IO栈路径,加快数据访问速度的同时,保证数据的安全访问以及不同客户端同时对后端存储器进行操作时,数据的一致性。
参见图2,本发明一实施例公开的一种分布式缓存数据管理***的框架图,该***应用于服务器端,该***包括:高速资源缓冲池11以及与高速资源缓冲池11连接的后端存储器12;
其中:
高速资源缓冲池11由多个高性能非易失存储器111通过集群方式组成,每一个高性能非易失存储器111对应一个客户端10,并作为该客户端10的读写高速缓冲存储器(Cache)。
具体的,高性能非易失存储器111是一种能够在环境出现异常情况,如主机断电、服务器宕机、网络瘫痪时,保证数据不丢失的一种存储器。
本发明中,采用高性能非易失存储器111作为客户端10的读写Cache,当客户端10需要访问后端存储器12中的数据时,开启缓存,缓存中的数据被放入高性能非易失存储器111中,这时,客户端10就可以直接从相对应的高性能非易失存储器111中读写数据,从而减少整个IO栈路径,提高数据访问速度。当高性能非易失存储器111所处的环境出现异常情况时,高性能非易失存储器111中的缓存数据会暂时保存在高性能非易失存储器111上,当环境恢复正常后,客户端10再继续从高性能非易失存储器111读取数据,相比内存而言,高性能非易失存储器111大大提高了数据访问的安全性。
需要说明的是,一个客户端10对应一个高性能非易失存储器111。
集群通信***是一种用于集团调度指挥通信的移动通信***,主要应用在专业移动通信领域。该***具有的可用信道可为***的全体用户共用,具有自动选择信道功能,它是共享资源、分担费用、共用信道设备及服务的多用途、高效能的无线调度通信***。
本实施例中,通过将多个高性能非易失存储器111采用集群方式,来实现对不同客户端10的高性能非易失存储器111的统一管理,形成统一的分布式缓存,由于这些高性能非易失存储器111不再独立于自己主机的缓存,因此使得各个客户端10可以在高速资源缓冲池11看到所有被缓存的数据。
所述高速资源缓冲池11,用于在客户端10写入数据时,接收待写入数据,并将所述待写入数据直接写入与该客户端10对应的高性能非易失存储器111中。
具体的,本发明采用writeback机制,当客户端10需要写入数据时,客户端10将待写入数据直接写入高速资源缓冲池11中对应的高性能非易失存储器111中,也即,客户端10将待写入数据直接写入分布式缓存后,即返回。
高速资源缓冲池11,还用于在客户端10读取数据时,接收数据读取指令,根据所述数据读取指令,从各个高性能非易失存储器111中查找是否缓存有所述读写指令中携带的待读取数据,如果是,则读取查找到的待读取数据;如果否,则继续从所述后端服务器12读取所述待读取数据。
具体的,当客户端10需要读取数据时,客户端10首先会在高速资源缓冲池11读取,由于将各个客户端10对应的高性能非易失存储器111进行了集群,从而使得各个高性能非易失存储器111之间能够资源共享,客户端10可以看到所有的被缓存的数据,这样,客户端通过在高速资源缓冲池首先读取待读取数据,即可确定所需读取数据是否缓存在高速资源缓冲池10,当高速资源缓冲池11未缓存待读取数据时,再从后端服务器12中读取。因此,当不同客户端10同时对后端存储器12进行操作时,可以保证数据的一致性,有效避免了传统方案中,因客户端A的数据没有存储到后端服务器12,客户端B就从后端服务器12进行读取操作造成的数据不一致的问题。
综上,本发明公开的分布式缓存数据管理***,因在分布式存储上采用高性能非易失存储器111作为客户端10的读写Cache,保证了环境异常时,缓存数据可以暂时保存在高性能非易失存储器111上,当环境恢复正常后,客户端10再继续从高性能非易失存储器111读取数据,相比内存而言,高性能非易失存储器111大大提高了数据访问的安全性。
本发明采用的分布式缓存,通过把不同客户端10的高性能非易失存储器111集群同一管理,形成同一的高速资源缓冲池,使得不同客户端10同时对后端存储器12进行操作时,可以保证数据的一致性,有效避免传统方案中,因客户端A的数据没有存储到后端服务器12,客户端B就从后端服务器12进行读取操作造成的数据不一致的问题。
本发明采用writeback机制,当客户端10写入数据时,直接将数据写入分布式缓存,即返回;当客户端10读取数据时,若发现所需读取数据位于分布式缓存(也即高速资源缓冲池11)中,就直接从分布式缓存中进行读取,从而有效减短了整个IO栈的路径,提高了整体性能。
需要说明的是,上述实施例中,高速资源缓冲池11中的高性能非易失存储器111主要用于存放距离当前时间预设时间段内访问频率最高的数据,也即热数据。
较优的,后端存储器12包括:多个机械硬盘。
在实际应用中,后端存储器12一般由大容量的机械硬盘组成,将这些机械硬盘统一起来建立资源池,从资源池中划分不同大小的卷,可应用于各种不同的场景。比如,将资源池划分为10T、100T大小不一的卷,在交警项目中,在100T的大小空间存放视频,在10T的空间存放图片。
与上述***实施例相对应,本发明还公开了一种分布式缓存数据管理方法,该方法应用于高速资源缓冲池11,所述高速资源缓冲池11由多个高性能非易失存储器111通过集群方式组成,每一个所述高性能非易失存储器111对应一个客户端10,并作为该客户端10的读写高速缓冲存储器。
其中,高速资源缓冲池11和后端服务器12的信令交互过程参见图3。
如图3所示,信令交互过程包括:
步骤S101、在客户端10写入数据时,接收待写入数据,并将所述待写入数据直接写入与该客户端10对应的高性能非易失存储器111中;
具体的,本发明采用writeback机制,当客户端10需要写入数据时,客户端10将待写入数据直接写入高速资源缓冲池11中对应的高性能非易失存储器111中,也即,客户端10将待写入数据直接写入分布式缓存后,即返回。
步骤S102、在客户端10读取数据时,接收数据读取指令;
步骤S103、根据所述数据读取指令,从各个高性能非易失存储器111中查找是否缓存有所述读写指令中携带的待读取数据;
步骤S104、如果是,则读取查找到的待读取数据;
步骤S105、如果否,则继续从所述后端服务器12读取所述待读取数据。
具体的,当客户端10需要读取数据时,客户端10首先会在高速资源缓冲池11读取,由于将各个客户端10对应的高性能非易失存储器111进行了集群,从而使得各个高性能非易失存储器111之间能够资源共享,客户端10可以看到所有的被缓存的数据,这样,客户端通过在高速资源缓冲池首先读取待读取数据,即可确定所需读取数据是否缓存在高速资源缓冲池10,当高速资源缓冲池11未缓存待读取数据时,再从后端服务器12中读取。因此,当不同客户端10同时对后端存储器12进行操作时,可以保证数据的一致性,有效避免了传统方案中,因客户端A的数据没有存储到后端服务器12,客户端B就从后端服务器12进行读取操作造成的数据不一致的问题。
本发明中,采用高性能非易失存储器111作为客户端10的读写Cache,当客户端10需要访问后端存储器12中的数据时,开启缓存,缓存中的数据被放入高性能非易失存储器111中,这时,客户端10就可以直接从相对应的高性能非易失存储器111中读写数据,从而减少整个IO栈路径,提高数据访问速度。当高性能非易失存储器111所处的环境出现异常情况时,高性能非易失存储器111中的缓存数据会暂时保存在高性能非易失存储器111上,当环境恢复正常后,客户端10再继续从高性能非易失存储器111读取数据,相比内存而言,高性能非易失存储器111大大提高了数据访问的安全性。
本实施例中,通过将多个高性能非易失存储器111采用集群方式,来实现对不同客户端10的高性能非易失存储器111的统一管理,形成统一的分布式缓存,由于这些高性能非易失存储器111不再独立于自己主机的缓存,因此使得各个客户端10可以在高速资源缓冲池11看到所有被缓存的数据。
综上,本发明公开的分布式缓存数据管理方法,因在分布式存储上采用高性能非易失存储器111作为客户端10的读写Cache,保证了环境异常时,缓存数据可以暂时保存在高性能非易失存储器111上,当环境恢复正常后,客户端10再继续从高性能非易失存储器111读取数据,相比内存而言,高性能非易失存储器111大大提高了数据访问的安全性。
本发明采用的分布式缓存,通过把不同客户端10的高性能非易失存储器111集群同一管理,形成同一的高速资源缓冲池,使得不同客户端10同时对后端存储器12进行操作时,可以保证数据的一致性,有效避免传统方案中,因客户端A的数据没有存储到后端服务器12,客户端B就从后端服务器12进行读取操作造成的数据不一致的问题。
本发明采用writeback机制,当客户端10写入数据时,直接将数据写入分布式缓存,即返回;当客户端10读取数据时,若发现所需读取数据位于分布式缓存(也即高速资源缓冲池11)中,就直接从分布式缓存中进行读取,从而有效减短了整个IO栈的路径,提高了整体性能。
本发明还公开一种分布式缓存数据管理装置,该装置应用于高速资源缓冲池11,所述高速资源缓冲池11由多个高性能非易失存储器111通过集群方式组成,每一个所述高性能非易失存储器111对应一个客户端10,并作为该客户端10的读写高速缓冲存储器。
该装置包括:
写入单元,用于在客户端10写入数据时,接收待写入数据,并将所述待写入数据直接写入与该客户端10对应的高性能非易失存储器111中;
具体的,本发明采用writeback机制,当客户端10需要写入数据时,客户端10将待写入数据直接写入高速资源缓冲池11中对应的高性能非易失存储器111中,也即,客户端10将待写入数据直接写入分布式缓存后,即返回。
接收单元,用于在客户端10读取数据时,接收数据读取指令;
查找单元,用于根据所述数据读取指令,从各个高性能非易失存储器111中查找是否缓存有所述读写指令中携带的待读取数据;
第一读取单元,用于在所述查找单元查找到所述待读取数据时,读取所述待读取数据;
第二读取单元,用于在所述查找单元未查找到所述待读取数据时,继续从所述后端服务器12读取所述待读取数据。
具体的,当客户端10需要读取数据时,客户端10首先会在高速资源缓冲池11读取,由于将各个客户端10对应的高性能非易失存储器111进行了集群,从而使得各个高性能非易失存储器111之间能够资源共享,客户端10可以看到所有的被缓存的数据,这样,客户端通过在高速资源缓冲池首先读取待读取数据,即可确定所需读取数据是否缓存在高速资源缓冲池10,当高速资源缓冲池11未缓存待读取数据时,再从后端服务器12中读取。因此,当不同客户端10同时对后端存储器12进行操作时,可以保证数据的一致性,有效避免了传统方案中,因客户端A的数据没有存储到后端服务器12,客户端B就从后端服务器12进行读取操作造成的数据不一致的问题。
综上,本发明公开的分布式缓存数据管理装置,因在分布式存储上采用高性能非易失存储器111作为客户端10的读写Cache,保证了环境异常时,缓存数据可以暂时保存在高性能非易失存储器111上,当环境恢复正常后,客户端10再继续从高性能非易失存储器111读取数据,相比内存而言,高性能非易失存储器111大大提高了数据访问的安全性。
本发明采用的分布式缓存,通过把不同客户端10的高性能非易失存储器111集群同一管理,形成同一的高速资源缓冲池,使得不同客户端10同时对后端存储器12进行操作时,可以保证数据的一致性,有效避免传统方案中,因客户端A的数据没有存储到后端服务器12,客户端B就从后端服务器12进行读取操作造成的数据不一致的问题。
本发明采用writeback机制,当客户端10写入数据时,直接将数据写入分布式缓存,即返回;当客户端10读取数据时,若发现所需读取数据位于分布式缓存(也即高速资源缓冲池11)中,就直接从分布式缓存中进行读取,从而有效减短了整个IO栈的路径,提高了整体性能。
需要说明的是,装置实施例中,各组成部分的工作原理请参见方法实施例和***实施例对应部分,此处不再赘述。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (5)
1.一种分布式缓存数据管理***,其特征在于,应用于服务器端,包括:
高速资源缓冲池,所述高速资源缓冲池由多个高性能非易失存储器通过集群方式组成,实现对不同客户端的高性能非易失存储器的统一管理,形成统一的分布式缓存,多个高性能非易失存储器不再独立于自己主机的缓存,各个客户端在高速资源缓冲池看到所有被缓存的数据,当不同客户端同时对后端存储器进行操作时,保证数据的一致性,每一个所述高性能非易失存储器对应一个客户端,并作为该客户端的读写高速缓冲存储器;
以及,与所述高速资源缓冲池连接的后端存储器;
所述高速资源缓冲池,用于在客户端写入数据时,接收待写入数据,并将所述待写入数据直接写入与该客户端对应的高性能非易失存储器中;
所述高速资源缓冲池,还用于在客户端读取数据时,接收数据读取指令,根据所述数据读取指令,从各个高性能非易失存储器中查找是否缓存有所述读写指令中携带的待读取数据,如果是,则读取查找到的待读取数据;如果否,则继续从所述后端服务器读取所述待读取数据。
2.根据权利要求1所述的分布式缓存数据管理***,其特征在于,所述后端存储器包括:多个机械硬盘。
3.根据权利要求1所述的分布式缓存数据管理***,其特征在于,所述高性能非易失存储器用于存放距离当前时间预设时间段内访问频率最高的数据。
4.一种分布式缓存数据管理方法,其特征在于,应用于高速资源缓冲池,所述高速资源缓冲池由多个高性能非易失存储器通过集群方式组成,实现对不同客户端的高性能非易失存储器的统一管理,形成统一的分布式缓存,多个高性能非易失存储器不再独立于自己主机的缓存,各个客户端在高速资源缓冲池看到所有被缓存的数据,当不同客户端同时对后端存储器进行操作时,保证数据的一致性,每一个所述高性能非易失存储器对应一个客户端,并作为该客户端的读写高速缓冲存储器;
所述方法包括:
在客户端写入数据时,接收待写入数据,并将所述待写入数据直接写入与该客户端对应的高性能非易失存储器中;
在客户端读取数据时,接收数据读取指令;
根据所述数据读取指令,从各个高性能非易失存储器中查找是否缓存有所述读写指令中携带的待读取数据;
如果是,则读取查找到的待读取数据;
如果否,则继续从所述后端服务器读取所述待读取数据。
5.一种分布式缓存数据管理装置,其特征在于,应用于高速资源缓冲池,所述高速资源缓冲池由多个高性能非易失存储器通过集群方式组成,实现对不同客户端的高性能非易失存储器的统一管理,形成统一的分布式缓存,多个高性能非易失存储器不再独立于自己主机的缓存,各个客户端在高速资源缓冲池看到所有被缓存的数据,当不同客户端同时对后端存储器进行操作时,保证数据的一致性,每一个所述高性能非易失存储器对应一个客户端,并作为该客户端的读写高速缓冲存储器;
所述装置包括:
写入单元,用于在客户端写入数据时,接收待写入数据,并将所述待写入数据直接写入与该客户端对应的高性能非易失存储器中;
接收单元,用于在客户端读取数据时,接收数据读取指令;
查找单元,用于根据所述数据读取指令,从各个高性能非易失存储器中查找是否缓存有所述读写指令中携带的待读取数据;
第一读取单元,用于在所述查找单元查找到所述待读取数据时,读取所述待读取数据;
第二读取单元,用于在所述查找单元未查找到所述待读取数据时,继续从所述后端服务器读取所述待读取数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710637356.XA CN107241444B (zh) | 2017-07-31 | 2017-07-31 | 一种分布式缓存数据管理***、方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710637356.XA CN107241444B (zh) | 2017-07-31 | 2017-07-31 | 一种分布式缓存数据管理***、方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107241444A CN107241444A (zh) | 2017-10-10 |
CN107241444B true CN107241444B (zh) | 2020-07-07 |
Family
ID=59989468
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710637356.XA Active CN107241444B (zh) | 2017-07-31 | 2017-07-31 | 一种分布式缓存数据管理***、方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107241444B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108549584B (zh) * | 2018-01-25 | 2020-11-27 | 北京奇艺世纪科技有限公司 | 一种服务端灰度降级方法和装置 |
CN109726191B (zh) * | 2018-12-12 | 2021-02-02 | 中国联合网络通信集团有限公司 | 一种跨集群数据的处理方法和***、存储介质 |
CN112328513B (zh) * | 2020-10-14 | 2024-02-02 | 合肥芯碁微电子装备股份有限公司 | 扫描式曝光***及其数据缓存及调度方法和装置 |
CN112214178B (zh) * | 2020-11-13 | 2022-08-19 | 新华三大数据技术有限公司 | 一种存储***、数据读取方法及数据写入方法 |
CN112764690A (zh) * | 2021-02-03 | 2021-05-07 | 北京同有飞骥科技股份有限公司 | 分布式存储*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101739220A (zh) * | 2009-02-25 | 2010-06-16 | 浪潮电子信息产业股份有限公司 | 一种多控制器存储阵列的设计方法 |
CN102262512A (zh) * | 2011-07-21 | 2011-11-30 | 浪潮(北京)电子信息产业有限公司 | 一种实现磁盘阵列缓存分区管理的***、装置及方法 |
CN105657057A (zh) * | 2012-12-31 | 2016-06-08 | 华为技术有限公司 | 一种计算存储融合的集群*** |
CN106406764A (zh) * | 2016-09-21 | 2017-02-15 | 郑州云海信息技术有限公司 | 一种分布式san块存储的高效能数据访问***及方法 |
-
2017
- 2017-07-31 CN CN201710637356.XA patent/CN107241444B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101739220A (zh) * | 2009-02-25 | 2010-06-16 | 浪潮电子信息产业股份有限公司 | 一种多控制器存储阵列的设计方法 |
CN102262512A (zh) * | 2011-07-21 | 2011-11-30 | 浪潮(北京)电子信息产业有限公司 | 一种实现磁盘阵列缓存分区管理的***、装置及方法 |
CN105657057A (zh) * | 2012-12-31 | 2016-06-08 | 华为技术有限公司 | 一种计算存储融合的集群*** |
CN106406764A (zh) * | 2016-09-21 | 2017-02-15 | 郑州云海信息技术有限公司 | 一种分布式san块存储的高效能数据访问***及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107241444A (zh) | 2017-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107241444B (zh) | 一种分布式缓存数据管理***、方法及装置 | |
CN103294710B (zh) | 一种数据存取方法和装置 | |
CN101763437B (zh) | 高速缓冲存储实现方法及装置 | |
US10331641B2 (en) | Hash database configuration method and apparatus | |
CN106874348B (zh) | 文件存储和索引方法、装置及读取文件的方法 | |
EP2757461B1 (en) | Storage control device, data archival storage system and data access method | |
CN102148870B (zh) | 一种云存储***及其实现方法 | |
US10649905B2 (en) | Method and apparatus for storing data | |
CN102077183B (zh) | 可移动存储设备上的外部文件***元数据的维护 | |
CN112632069B (zh) | 哈希表数据存储管理方法、装置、介质和电子设备 | |
CN108089825B (zh) | 一种基于分布式集群的存储*** | |
WO2019062572A1 (zh) | 一种数据处理方法、装置及*** | |
CN101763433B (zh) | 一种数据存储***及方法 | |
US8296270B2 (en) | Adaptive logging apparatus and method | |
CN101673271A (zh) | 分布式文件***及其文件分片方法 | |
CN107423425B (zh) | 一种对k/v格式的数据快速存储和查询方法 | |
CN104965835A (zh) | 一种分布式文件***的文件读写方法及装置 | |
US20080201549A1 (en) | System and Method for Improving Data Caching | |
JP2018526740A (ja) | モバイル端末のためのデータ記憶方法及び装置 | |
CN112579650A (zh) | 基于Redis缓存的数据处理方法及*** | |
CN105207993A (zh) | 一种cdn中数据的访问、调度方法和*** | |
CN117407159A (zh) | 内存空间的管理方法及装置、设备、存储介质 | |
CN116541553A (zh) | 一种视频调度方法、装置、设备及可读存储介质 | |
CN111930684A (zh) | 基于hdfs的小文件处理方法、装置、设备及存储介质 | |
CN113190523B (zh) | 一种基于多客户端协同的分布式文件***、方法和客户端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |