CN111708958B - 一种多键值缓存存储方法、装置及*** - Google Patents

一种多键值缓存存储方法、装置及*** Download PDF

Info

Publication number
CN111708958B
CN111708958B CN202010540125.9A CN202010540125A CN111708958B CN 111708958 B CN111708958 B CN 111708958B CN 202010540125 A CN202010540125 A CN 202010540125A CN 111708958 B CN111708958 B CN 111708958B
Authority
CN
China
Prior art keywords
cache
key
data
key value
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010540125.9A
Other languages
English (en)
Other versions
CN111708958A (zh
Inventor
杜文城
李志兴
何阳
吴能斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202010540125.9A priority Critical patent/CN111708958B/zh
Publication of CN111708958A publication Critical patent/CN111708958A/zh
Application granted granted Critical
Publication of CN111708958B publication Critical patent/CN111708958B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/957Browsing optimisation, e.g. caching or content distillation
    • G06F16/9574Browsing optimisation, e.g. caching or content distillation of access to content, e.g. by caching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种多键值缓存存储方法、装置及***,包括:应用***以及与应用***通信连接的缓存数据库,应用***中包括多键值场景配置模块,用于为应用程序指定的待缓存数据按不同场景配置不同的键值,生成缓存对象,并将缓存对象发送至缓存数据库进行存储。本申请通过对现有的缓存键值索引的方式进行重新设计,采用一个待缓存数据按不同的场景匹配多个键值的存储方式,大大降低了缓存的存储空间要求,同时,也不会影响缓存的性能,既能够提高***的响应速度,又可以节省缓存的存储空间,提升缓存的使用效能。

Description

一种多键值缓存存储方法、装置及***
技术领域
本申请属于缓存存储技术领域,具体地讲,涉及一种多键值缓存存储方法、装置及***。
背景技术
当前随着互联网技术及应用的快速发展,为了提升应用***的响应速度,缓存技术已经被广泛的应用。
但目前现有的缓存技术,使用KV存储方式,通常都只考虑了访问的性能,却忽视了存储空间的限制,在部分场景下,缓存存储空间会成为很重要的考虑因素,如本地缓存(使用应用***自身内存,空间会比较有限)、为节约成本精简缓存设备等。
例如,现有的缓存使用表示为C<Key,Res>的存储单元,Key为键值,也就是索引;Res为缓存数据,可以为单个元素,也可以是元素的集合。假设某类数据的缓存中有键值1、键值2对应的一个元素1、元素2的两个存储单元表示为C1<K1,R1>、C2<K2,R2>,又有键值3对应的元素集合包含元素1、元素2的一个存储单元表示为C3<K3,<R1,R2>>,那么在这三组缓存单元中,R1、R2在缓存中是冗余存储的。首先,冗余存储消耗了多余的存储空间;另外,对缓存的刷新也造成许多额外的工作,假设R1有变化,需要同时去刷新C1和C3中的R1。如果该缓存数据的访问键值有多种不同的组合,就会造成存储空间成倍增长,甚至组合***。
发明内容
本申请提供了一种多键值缓存存储方法、装置及***,以至少解决现有的缓存对象结构容易造成冗余存储进而消耗多余的存储空间为缓存刷新增加了工作量。
根据本申请的一个方面,提供了一种多键值缓存存储***,包括:应用***以及与应用***通信连接的缓存数据库,应用***中包括多键值场景配置模块,用于为应用程序指定的待缓存数据按不同场景配置不同的键值,生成缓存对象,并将缓存对象发送至缓存数据库进行存储。
在一实施例中,缓存数据库中包括缓存存储模块;
缓存存储模块中包括:
场景配置读取装置,用于读取多键值场景配置模块中的场景配置;以及
缓存存储接口装置,用于接收应用***发出的缓存指令,根据获取的场景配置存储缓存对象。
在一实施例中,缓存数据库中还包括缓存检索模块,用于接收缓存检索指令并根据读取的场景配置执行检索操作。
在一实施例中,缓存数据库中还包括:
缓存消除模块,用于清除缓存数据库中的缓存以及对缓存的数据与匹配的键值进行销毁;
缓存管理模块,用于对缓存的生命周期进行管理。
根据本申请的另一个方面,还提供了一种多键值缓存存储方法,包括:
判断待缓存数据对应的缓存对象是否已存在,缓存对象包括:数据及与该数据对应的一个或多个键值;
根据判断结果采用对应的方式将待缓存数据进行缓存。
在一具体实施例中,根据判断结果采用对应的方式将待缓存数据进行缓存,包括:
若待缓存数据对应的缓存对象不存在,为待缓存数据匹配一个或多个键值以构建缓存对象;
将缓存对象发送至缓存数据库进行存储。
根据本申请的另一个方面,还提供了一种多键值缓存存储装置,包括:
判断模块,用于判断待缓存数据对应的缓存对象是否已存在,缓存对象包括:数据及与该数据对应的一个或多个键值;
缓存模块,用于根据判断结果采用对应的方式将待缓存数据进行缓存。
在一实施例中,缓存模块包括:
缓存对象判断模块,用于当待缓存数据对应的缓存对象不存在,为待缓存数据匹配一个或多个键值以构建缓存对象;
存储模块,用于将缓存对象发送至缓存数据库进行存储。
本申请通过对现有的缓存键值索引的方式进行重新设计,采用一个待缓存数据按不同的场景匹配多个键值的存储方式,大大降低了缓存的存储空间要求,同时,也不会影响缓存的性能,既能够提高***的响应速度,又可以节省缓存的存储空间,提升缓存的使用效能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为现有技术中缓存数据的键值树状图。
图2为本申请中缓存数据的键值树状图。
图3为本申请提供的一种多键值缓存存储***结构图。
图4为本申请实施例中应用***内部结构图。
图5为本申请实施例中缓存数据库的内部结构图。
图6为本申请实施例中缓存存储模块内部结构图。
图7为本申请实施例中缓存检索模块内部结构图。
图8为本申请实施例中缓存检索树状关系图。
图9为本申请实施例中缓存消除树状关系图。
图10为本申请实施例中缓存消除后的树状关系图。
图11为本申请提供的一种多键值缓存存储方法的流程图。
图12为本申请实施例中根据判断结果采用对应的方式进行缓存流程图。
图13为本申请提供的一种多键值缓存存储装置的结构框图。
图14为本申请实施例中缓存模块结构框图。
图15为本申请实施例中一种电子设备的具体实施方式。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
现有的缓存技术采用KV存储方式(Key-Value键值存储),通常都只考虑了访问的性能却忽视了存储空间的限制,如图1所示,为现有的缓存模式,一个键值对应着一种场景,一种场景中包含一个或多个缓存数据,如果该缓存数据的访问键值有多重不同的组合,就会造成存储空间成倍增长甚至组合***。
基于上述问题,本申请提供了一种新的缓存模式,即一个缓存数据按不同的场景对应多个键值。如果采用现有的缓存模式,缓存对象(存储单元)可以表示为C1<K1,R1>、C2<K2,R2>、C3<K3,<R1,R2>>,其中,K(Key)为键值,也就是索引,不同的键值对应着不同的场景,R(Res)为缓存资源(数据),缓存数据可以为单个元素,也可以是元素的集合,那么,采用本申请提供的缓存模式,针对同样的缓存数据R1和R2,缓存对象则变为C1<K1:K3,R1>、C2<K2:K3,R2>。通过上述例子可知,相比于现有的缓存模式,本申请提供的缓存模式可以节省1个存储单元,当缓存数据与场景较多的情况下(如图2所示),本申请提供的缓存模式可以节省大量的存储单元。
基于上述缓存模式,本申请对现有的缓存存储***进行了改进,如图3所示,包括:应用***以及与应用***通信连接的缓存数据库,特别地,应用***中包括一多键值场景配置模块,用于为应用程序指定的待缓存数据按不同场景配置不同的键值,生成缓存对象,并将缓存对象发送至缓存数据库进行存储。
在一具体实施例中,如图3所示,整个缓存存储***主要包含了应用***1和缓存数据库2。应用***1主要提供缓存操作指令处理、缓存场景配置、缓存存储接口、缓存检索接口、缓存消除接口、连接交互模块的功能,可以作为中间件提供给应用程序使用。缓存数据库2主要提供缓存存储、缓存检索、缓存消除以及缓存管理的功能的实现,为应用***1提供多键值缓存的技术实现。缓存数据库2可以为应用***1自身的本地缓存也可以为远程的缓存服务器。
在一具体实施例中,如图4所示,应用***内部包括了缓存操作指令处理模块11、缓存存储模块12、缓存检索模块13、缓存消除模块14、连接交互模块16以及本申请新增的核心改进点——场景配置模块15;缓存操作指令处理模块11负责接收应用***1中的应用程序发送的缓存操作指令,如存储、检索、消除等,并检查指令合法性,同时负责缓存操作结果的输出;缓存存储模块12负责连接缓存数据库2进行缓存的存储和刷新,并为应用程序提供缓存存储的接口和视图;缓存检索模块13,负责连接缓存数据库进行缓存的检索,并为应用程序提供缓存检索的接口和视图;缓存消除模块14,负责连接缓存数据库***进行缓存的消除,并为应用程序提供缓存消除的接口和视图;连接交互模块16,负责应用***与缓存数据库***的连接以及数据交互管理;场景配置模块15,负责为应用程序提供缓存多键值设置的场景配置,也就是可以根据应用程序指定的需要缓存的资源,进行不同场景键值的配置;其中,资源(数据)记为R,R通常由不同的要素(或者称为字段)构成,记为:[ra,rb,rc,rd,re,rf,rg,...],其中ra,rb,rc,rd,re,rf,rg,代指组成数据R的不同元素,表达式表示如下:
R=[ra,rb,rc,rd,re,rf,rg...]
多键值场景的配置记为MKCNF(Multiple Key Configuration),比如对于资源R,场景配置表达式如下:
MKCNF={R,KU[ra,rb,rc]:KB[rb,rc]:KC[rc]}
以上表达式表示,对于资源R,配置三种场景的键值,分别为键值KU,由要素[ra,rb,rc]组成;键值KB,由要素[rb,rc]组成;键值KC,由要素[rc]组成;并且约定,第一个键值KU为唯一键值,与R必须一一对应;
缓存***中的缓存对象表示为:
C<KU:KB:KC,R'>
在具体的实现实例中,R’可以为目标资源R,也可以是主键值的集合,通过键值传递链最终引用到目标资源R。
在一实施例中,缓存数据库中包括缓存存储模块。
缓存存储模块中包括:
场景配置读取装置,用于读取多键值场景配置模块中的场景配置;以及
缓存存储接口装置,用于接收应用***发出的缓存指令,根据获取的场景配置存储缓存对象。
在一具体实施例中,如图5所示,为缓存数据库的结构框图,包括:缓存存储模块21,负责缓存存储和刷新的具体实现和缓存数据结构的建立。如图6所示,在缓存存储模块21中,包括场景配置读取装置111、缓存存储接口装置112、缓存刷新接口装置113;该模块为应用程序提供与普通缓存***统一的存储操作视图,使应用程序尽量不受缓存***变动的影响,比如存储操作记为PUT,则应用程序存储操作依然使用PUT(K,R)的方式,其中K为唯一键,R为资源。
场景配置读取装置111负责读应用***1中取场景配置模块15中的配置并解析,提供给缓存存储操作针对多键值的处理;缓存存储接口装置112负责接收缓存存储指令,并根据场景配置执行PUT存储操作;假设有实例化的资源R1、R2、R3需要进行缓存存储,按R的表达式表示为:
R1=[ra1,rb1,rc1,rd1,re1,rf1,rg1,...]
R2=[ra2,rb1,rc1,rd2,re2,rf2,rg2,...]
R3=[ra2,rb2,rc1,rd3,re3,rf3,rg3,...]
四个资源主键值不同,但其他场景键值有部分相同,如R1的KA键值[rb1,rc1]与R2相同;
对于传统的缓存***,应用程序需要对于R1需要做如下存储操作:
也就是说在***存储中,R1冗余存储了3次,往往资源占用空间较大,会造成存储空间的浪费,而键值占用空间一般较小;
本申请提供的缓存***,对于应用程序,只需要进行操作,而存储模块读取场景配置后,对R1自动依次完成如下存储操作:
存储操作完成后,资源在***中的缓存对象表示为如下,其中S为引用的键值集合:
我们称C<KU,R>为缓存(资源)主对象,其他为缓存键值对象;
同理,R2、R3依次存储操作及缓存对象表示如下:
经由本申请改进后的缓存存储***经过上述存储操作后生成6个缓存对象并形成键值树,与改进前的缓存存储***对比图如图1和图2所示。
缓存刷新接口装置113用于当资源R对应的缓存对象已存在并且有变化时对缓存对象进行刷新。当资源R1有变化需要更新时,只需要刷新主对象C1即可,而不需要去刷新C2和C3;
也就是只需要执行而不需要像传统缓存***还必须进行的操作。
在一实施例中,缓存数据库中还包括缓存检索模块,用于接收缓存检索指令并根据读取的场景配置执行检索操作。
在一实施例中,缓存数据库中还包括:
缓存消除模块,用于清除缓存数据库中的缓存以及对缓存的数据与匹配的键值进行销毁;
缓存管理模块,用于对缓存的生命周期进行管理。
在一具体实施例中,缓存数据库2中还包括缓存检索模块22负责缓存检索的具体实现及对缓存数据结构的操作;缓存消除模块23负责缓存消除的具体实现及对缓存数据结构的销毁;缓存管理模块24负责对缓存的生命周期进行管理;连接交互模块25负责缓存数据库***与应用***的连接以及数据交互管理;
如图7所示,缓存检索模块22中包括:场景配置读取装置121、缓存检索接口装置122;该模块为应用程序提供与普通缓存***统一的检索操作视图,使应用程序尽量不受缓存***变动的影响,比如检索操作记为GET,则应用程序存储操作依然使用GET(K)的方式,其中K为键值。场景配置读取装置121,负责读取场景配置模块15中的配置并解析,提供给缓存检索操作针对多键值的处理;
缓存检索接口装置122,负责接收缓存检索指令,并执行GET检索操作;在一具体实施例中,假如应用程序需要检索C1,也就是R1,则发送指令检索模块执行以下检索操作:
假如应用程序需要检索C3,也就是同时检索R1、R2、R3,则发送指令检索模块执行以下检索操作:
以上检索结果为键值集合检索模块继续依次执行以下检索操作:
最终合并结果得到S<R1,R2,R3>>输出给应用程序,完成检索,树状关系如图8所示。
缓存消除模块23中包括:场景配置读取装置、缓存存储接口装置;该模块为应用程序提供与普通缓存***统一的消除操作视图,使应用程序尽量不受缓存***变动的影响,比如消除操作记为DEL,则应用程序存储操作依然使用DEL(K)的方式,其中K为键值。场景配置读取装置,负责读取场景配置模块15中的配置并解析,提供给缓存消除操作针对多键值的处理;缓存存储接口装置,负责接收缓存检索指令,并执行DEL消除操作;假如应用程序需要消除C1,也就是R1,则发送指令按照如树状图9所示,消除会同时影响C1、C2、C3,缓存消除模块23首先读取场景配置,然后自动依次执行以下操作:
先消除键值对象集合中关联的唯一键值,最后消除主对象,消除操作后受影响的C1、C2、C3对象结果如下:
C1<NULL>
NULL表示已消除对象为空,完成消除,最终缓存中对象树状关系图如图10所示。
针对上述缓存存储***,本申请还提供了一种缓存存储方法,如图11所示,包括:
S1101:判断待缓存数据对应的缓存对象是否已存在,缓存对象包括:数据及与该数据对应的一个或多个键值。
在一具体实施例中,接收应用程序的存储指令PUT(KU,R),并检查指令合法性,读取待缓存资源(数据)R对应的多键值缓存场景配置,检查R对应的缓存对象C<KU,R>是否已存在。
S1102:根据判断结果采用对应的方式将待缓存数据进行缓存。
在一具体实施例中,根据判断结果采用对应的方式将待缓存数据进行缓存,如图12所示,包括:
S1201:若待缓存数据对应的缓存对象不存在,为待缓存数据匹配一个或多个键值以构建缓存对象。
如果C<KU,R>不存在,则根据多键值场景配置建立缓存对象,缓存对象中包括待缓存的数据以及一个或多个键值对象。
S1202:将缓存对象发送至缓存数据库进行存储。
本申请还提供了一种缓存检索逻辑程序,包括:
S211:接收应用程序存储指令GET(K),并检查指令合法性;
S212:执行GET(K),从缓存数据库获取结果;
S213:检查返回结果是否为键值集合;
S214:如果返回结果为键值集合,遍历键值集合,对于每一个键值,重复步骤S212的操作;
S215:如果返回结果不是键值集合,则获取缓存主对象,并加入检索结果;
S216:合并检索结果;
S217:返回缓存检索操作结果,输出资源的结果集,以便应用程序进行下一步处理。
本申请还提供了而一种缓存消除逻辑流程,详细步骤如下:
S311:接收应用程序存储指令DEL(KU),并检查指令合法性;
S312:读取资源R对应的多键值缓存场景配置;
S313:检查资源R的场景配置中是否存在非唯一键;
S314:如果存在非唯一键,按照非唯一键,遍历键值对象集合,消除键值对象集合中的唯一键值;
S315:如果不存在非唯一键或者在完成非唯一键的消除操作后,执行消除资源R的缓存主对象;
S316:对最终的缓存对象以及键值对象进行数据存储处理;
S317:返回缓存存储操作结果,成功还是失败,以便应用程序进行下一步处理。
基于同一发明构思,本申请实施例还提供了一种多键值缓存存储装置,可以用于实现上述实施例中所描述的方法,如下面实施例所述。由于该多键值缓存存储装置解决问题的原理与多键值缓存存储方法相似,因此多键值缓存存储装置的实施可以参见多键值缓存存储方法的实施,重复之处不再赘述。以下所使用的,术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的***较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
如图13所示,本申请提供了一种多键值缓存存储装置,包括:
判断模块1201,用于判断待缓存数据对应的缓存对象是否已存在,缓存对象包括:数据及与该数据对应的一个或多个键值;
缓存模块1202,用于根据判断结果采用对应的方式将待缓存数据进行缓存。
在一实施例中,如图14所示,缓存模块1202包括:
缓存对象判断模块1301,用于当待缓存数据对应的缓存对象不存在,为待缓存数据匹配一个或多个键值以构建缓存对象;
存储模块1302,用于将缓存对象发送至缓存数据库进行存储。
本申请通过对现有的缓存键值索引的方式进行重新设计,采用一个待缓存数据按不同的场景匹配多个键值的存储方式,大大降低了缓存的存储空间要求,同时,也不会影响缓存的性能,既能够提高***的响应速度,又可以节省缓存的存储空间,提升缓存的使用效能。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
本申请的实施例还提供能够实现上述实施例中的方法中全部步骤的一种电子设备的具体实施方式,参见图15,所述电子设备具体包括如下内容:
处理器(processor)1401、内存1402、通信接口(Communications Interface)1403、总线1404和非易失性存储器1405;
其中,所述处理器1401、内存1402、通信接口1403通过所述总线1404完成相互间的通信;
所述处理器1401用于调用所述内存1402和非易失性存储器1405中的计算机程序,所述处理器执行所述计算机程序时实现上述实施例中的方法中的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:
S1101:判断待缓存数据对应的缓存对象是否已存在,缓存对象包括:数据及与该数据对应的一个或多个键值。
S1102:根据判断结果采用对应的方式将待缓存数据进行缓存。
本申请的实施例还提供能够实现上述实施例中的方法中全部步骤的一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中的方法的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:
S1101:判断待缓存数据对应的缓存对象是否已存在,缓存对象包括:数据及与该数据对应的一个或多个键值。
S1102:根据判断结果采用对应的方式将待缓存数据进行缓存。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于硬件+程序类实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。虽然本说明书实施例提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的装置或终端产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境,甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下,并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本说明书实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现,也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
本领域技术人员应明白,本说明书的实施例可提供为方法、***或计算机程序产品。因此,本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于***实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书实施例的至少一个实施例或示例中。
在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。以上所述仅为本说明书实施例的实施例而已,并不用于限制本说明书实施例。对于本领域技术人员来说,本说明书实施例可以有各种更改和变化。凡在本说明书实施例的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书实施例的权利要求范围之内。

Claims (10)

1.一种多键值缓存存储***,其特征在于,包括:应用***以及与所述应用***通信连接的缓存数据库,所述应用***中包括多键值场景配置模块,用于为应用程序指定的一个待缓存数据按不同场景配置不同的键值,生成缓存对象,并将所述缓存对象发送至所述缓存数据库进行存储;
其中,多键值场景配置表达式如下:
MKCNF={R,KU[ra,rb,rc]:KB[rb,rc]:KC[rc]}
式中,R表示目标资源,KU表示第一种场景的健值,由要素[ra,rb,rc]组成,KB表示第二种场景的健值,由要素[rb,rc]组成,KC表示第三种场景的健值,由要素[rc]组成,第一个键值KU为唯一键值,与R一一对应;
其中,缓存对象表示为:
C<KU:KB:KC,R'>
式中,R’表示目标资源R或主键值的集合,通过键值传递链最终引用到目标资源R。
2.根据权利要求1所述的多键值缓存存储***,其特征在于,所述缓存数据库中包括缓存存储模块;
所述缓存存储模块中包括:
场景配置读取装置,用于读取所述多键值场景配置模块中的场景配置;以及
缓存存储接口装置,用于接收应用***发出的缓存指令,根据获取的场景配置存储所述缓存对象。
3.根据权利要求1所述的多键值缓存存储***,其特征在于,所述缓存数据库中还包括缓存检索模块,用于接收缓存检索指令并根据读取的场景配置执行检索操作。
4.根据权利要求1所述的多键值缓存存储***,其特征在于,所述缓存数据库中还包括:
所述缓存消除模块,用于清除所述缓存数据库中的缓存以及对缓存的数据与匹配的键值进行销毁;
所述缓存管理模块,用于对所述缓存的生命周期进行管理。
5.一种多键值缓存存储方法,其特征在于,包括:
判断待缓存数据对应的缓存对象是否已存在,所述缓存对象包括:数据及与该数据对应的一个或多个键值;
根据判断结果采用对应的方式将待缓存数据进行缓存;
其中,多键值场景配置表达式如下:
MKCNF={R,KU[ra,rb,rc]:KB[rb,rc]:KC[rc]}
式中,R表示目标资源,KU表示第一种场景的健值,由要素[ra,rb,rc]组成,KB表示第二种场景的健值,由要素[rb,rc]组成,KC表示第三种场景的健值,由要素[rc]组成,第一个键值KU为唯一键值,与R一一对应;
其中,缓存对象表示为:
C<KU:KB:KC,R'>
式中,R’表示目标资源R或主键值的集合,通过键值传递链最终引用到目标资源R。
6.根据权利要求5所述的多键值缓存存储方法,其特征在于,所述根据判断结果采用对应的方式将待缓存数据进行缓存,包括:
若待缓存数据对应的缓存对象不存在,为所述待缓存数据按不同的场景配置不同的键值以构建缓存对象;
将所述缓存对象发送至缓存数据库进行存储。
7.一种多键值缓存存储装置,设置在多键值缓存存储***中的应用***内,其特征在于,包括:
判断模块,用于判断待缓存数据对应的缓存对象是否已存在,所述缓存对象包括:数据及与该数据对应的一个或多个键值;
缓存模块,用于根据判断结果采用对应的方式将待缓存数据进行缓存;
其中,多键值场景配置表达式如下:
MKCNF={R,KU[ra,rb,rc]:KB[rb,rc]:KC[rc]}
式中,R表示目标资源,KU表示第一种场景的健值,由要素[ra,rb,rc]组成,KB表示第二种场景的健值,由要素[rb,rc]组成,KC表示第三种场景的健值,由要素[rc]组成,第一个键值KU为唯一键值,与R一一对应;
其中,缓存对象表示为:
C<KU:KB:KC,R'>
式中,R’表示目标资源R或主键值的集合,通过键值传递链最终引用到目标资源R。
8.根据权利要求7所述的多键值缓存存储装置,其特征在于,所述缓存模块包括:
缓存对象判断模块,用于当待缓存数据对应的缓存对象不存在,为所述待缓存数据按不同的场景配置不同的键值以构建缓存对象;
存储模块,用于将所述缓存对象发送至缓存数据库进行存储。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求5和6中任意一项所述多键值缓存存储方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求5和6中任一项所述多键值缓存存储方法。
CN202010540125.9A 2020-06-12 2020-06-12 一种多键值缓存存储方法、装置及*** Active CN111708958B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010540125.9A CN111708958B (zh) 2020-06-12 2020-06-12 一种多键值缓存存储方法、装置及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010540125.9A CN111708958B (zh) 2020-06-12 2020-06-12 一种多键值缓存存储方法、装置及***

Publications (2)

Publication Number Publication Date
CN111708958A CN111708958A (zh) 2020-09-25
CN111708958B true CN111708958B (zh) 2024-04-12

Family

ID=72540562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010540125.9A Active CN111708958B (zh) 2020-06-12 2020-06-12 一种多键值缓存存储方法、装置及***

Country Status (1)

Country Link
CN (1) CN111708958B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109446225A (zh) * 2018-09-26 2019-03-08 平安科技(深圳)有限公司 数据缓存方法、装置、计算机设备及存储介质
CN110737682A (zh) * 2019-10-17 2020-01-31 贝壳技术有限公司 一种缓存操作方法、装置、存储介质和电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10114908B2 (en) * 2012-11-13 2018-10-30 International Business Machines Corporation Hybrid table implementation by using buffer pool as permanent in-memory storage for memory-resident data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109446225A (zh) * 2018-09-26 2019-03-08 平安科技(深圳)有限公司 数据缓存方法、装置、计算机设备及存储介质
CN110737682A (zh) * 2019-10-17 2020-01-31 贝壳技术有限公司 一种缓存操作方法、装置、存储介质和电子设备

Also Published As

Publication number Publication date
CN111708958A (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
CN107391653B (zh) 一种分布式NewSQL数据库***及图片数据储存方法
Abramova et al. NoSQL databases: MongoDB vs cassandra
CN104699718B (zh) 用于快速引入业务数据的方法和装置
US20160335304A1 (en) Data partitioning and ordering
US9990391B1 (en) Transactional messages in journal-based storage systems
US9542408B2 (en) Method and process for enabling distributing cache data sources for query processing and distributed disk caching of large data and analysis requests
US10108658B1 (en) Deferred assignments in journal-based storage systems
US9971822B1 (en) Replicated state management using journal-based registers
CN103782295A (zh) 分布式数据管理***中的查询说明计划
CN111258978A (zh) 一种数据存储的方法
CN112084270A (zh) 一种数据血缘处理方法、装置、存储介质及设备
CN106569896A (zh) 一种数据分发及并行处理方法和***
CN106326398A (zh) 数据一致性对比的方法及装置
CN108140022B (zh) 数据查询方法和数据库***
US10599614B1 (en) Intersection-based dynamic blocking
CN115114370B (zh) 主从数据库的同步方法、装置、电子设备和存储介质
CN103870571A (zh) 多维联机分析处理***中的立方体重构方法和装置
CN111708958B (zh) 一种多键值缓存存储方法、装置及***
CN108920110A (zh) 一种基于内存计算模式的并行处理大数据存储***及方法
WO2016175880A1 (en) Merging incoming data in a database
Liu et al. Leaky buffer: A novel abstraction for relieving memory pressure from cluster data processing frameworks
US9659061B2 (en) Method for efficient aggregation of numerous data using sparse bit sets
CN115576947A (zh) 一种数据管理方法、装置、组合库、电子设备及存储介质
CN115963987A (zh) 分布式存储方法、装置、设备及计算机可读存储介质
CN107590199A (zh) 一种面向内存的多线程数据库设计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant