CN105447167B - 分布式***中节点缓存数据的处理方法及装置 - Google Patents

分布式***中节点缓存数据的处理方法及装置 Download PDF

Info

Publication number
CN105447167B
CN105447167B CN201510883615.8A CN201510883615A CN105447167B CN 105447167 B CN105447167 B CN 105447167B CN 201510883615 A CN201510883615 A CN 201510883615A CN 105447167 B CN105447167 B CN 105447167B
Authority
CN
China
Prior art keywords
data
data key
node
key
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510883615.8A
Other languages
English (en)
Other versions
CN105447167A (zh
Inventor
许瑞亮
陈宗志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Qizhi Software Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd, Qizhi Software Beijing Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201510883615.8A priority Critical patent/CN105447167B/zh
Publication of CN105447167A publication Critical patent/CN105447167A/zh
Application granted granted Critical
Publication of CN105447167B publication Critical patent/CN105447167B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471Distributed queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24552Database cache management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种分布式***中节点缓存数据的处理方法及装置,其中方法包括:读取节点的至少一条缓存数据,缓存数据具有数据键值对的形式;针对每一条缓存数据,提取出对应的数据键,并将数据键进行持久化存储;当节点重启时,将数据键加载到节点的缓存中。本方案极大地缩减了对缓存数据进行持久化存储所需的时间,减少了对***磁盘资源的占用,提高了加载速度。

Description

分布式***中节点缓存数据的处理方法及装置
技术领域
本发明涉及互联网技术领域,具体涉及一种分布式***中节点缓存数据的处理方法及装置。
背景技术
缓存是数据交换的缓冲区,当***需要读取数据库的某条数据时,会首先从缓存中查找该条数据,如果在缓存中查找到了这条数据,则直接执行,如果在缓存中没有查找到这条数据,则再从数据库中查找。由于借助缓存的操作速度比从数据库中查找要快得多,因此缓存可以帮助***快速地运行,减少***的延时。
然而当节点重启时,若缓存没有经过持久化存储,缓存就会丢失,而缓存的丢失会导致***在一段时间内运行速度较慢,给用户带来不良的体验感。因此,在现有技术中为了避免缓存丢失,一般是将缓存数据进行持久化存储,然而当缓存数据的数据量较大时,缓存数据的持久化存储不仅将花费大量的时间,还会占用大量的***磁盘资源。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的分布式***中节点缓存数据的处理方法及装置,极大地缩减了对缓存数据进行持久化存储所需的时间,减少了对***磁盘资源的占用,提高了加载速度。
根据本发明的一个方面,提供了一种分布式***中节点缓存数据的处理方法,该方法包括:
读取节点的至少一条缓存数据,缓存数据具有数据键值对的形式;
针对每一条缓存数据,提取出对应的数据键,并将数据键进行持久化存储;
当节点重启时,将数据键加载到节点的缓存中。
根据本发明的另一方面,提供了一种分布式***中节点缓存数据的处理装置,该装置包括:
读取模块,适于读取节点的至少一条缓存数据,缓存数据具有数据键值对的形式;
提取模块,适于针对每一条缓存数据,提取出对应的数据键;
存储模块,适于将提取模块提取出的数据键进行持久化存储;
第一加载模块,适于当节点重启时,将数据键加载到节点的缓存中。
根据本发明提供的技术方案,读取节点的至少一条缓存数据,其中,缓存数据具有数据键值对的形式,然后针对每一条缓存数据,提取出对应的数据键,并将数据键进行持久化存储,最后当节点重启时,将数据键加载到节点的缓存中。本发明提供的技术方案仅对缓存数据中的数据键进行了持久化存储,从而极大地缩减了对缓存数据进行持久化存储所需的时间,减少了对***磁盘资源的占用,另外,根据本发明提供的技术方案,在节点重启时,仅将数据键加载到节点的缓存中,提高了加载速度,优化了分布式***中节点缓存数据的处理方式。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例的分布式***中节点缓存数据的处理方法的流程示意图;
图2示出了根据本发明另一个实施例的分布式***中节点缓存数据的处理方法的流程示意图;
图3示出了根据本发明一个实施例的分布式***中节点缓存数据的处理装置的功能结构示意图;
图4示出了根据本发明另一个实施例的分布式***中节点缓存数据的处理装置的功能结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的分布式***中节点缓存数据的处理方法的流程示意图,如图1所示,该方法包括如下步骤:
步骤S100,读取节点的至少一条缓存数据,缓存数据具有数据键值对的形式。
在步骤S100中,读取节点的至少一条缓存数据,其中,缓存数据具有数据键值对的形式,即缓存数据具有key-value的形式,其中,key为数据键,value为数据值,并且数据值可为多种形式的数据,通过数据键值对的形式可方便地对缓存数据进行管理。
步骤S101,针对每一条缓存数据,提取出对应的数据键,并将数据键进行持久化存储。
在步骤S100读取了节点的至少一条缓存数据之后,执行步骤S101,针对每一条缓存数据,提取出对应的数据键,并将数据键进行持久化存储,也就是说,在步骤S101中,仅提取出缓存数据中对应的数据键,并没有提取出对应的数据值,并且仅将数据键进行持久化存储。由于在大多数情况下,数据键的长度一般比较短,而数据值的长度却比较长,如果将数据键与数据值都进行持久化存储,不仅将花费大量的时间,而且还会占用大量的***磁盘资源,因此与数据键与数据值都进行持久化存储相比,仅对数据键进行持久化存储极大地缩减了进行持久化存储所需的时间和对***磁盘资源的占用。
步骤S102,当节点重启时,将数据键加载到节点的缓存中。
当节点重启时,执行步骤S102,将经持久化存储的数据键加载到节点的缓存中,由于只需将数据键加载到节点的缓存中,无需同时将数据值加载到节点的缓存中,从而提高了加载速度。
根据本实施例提供的分布式***中节点缓存数据的处理方法,读取节点的至少一条缓存数据,其中,缓存数据具有数据键值对的形式,然后针对每一条缓存数据,提取出对应的数据键,并将数据键进行持久化存储,最后当节点重启时,将数据键加载到节点的缓存中。本发明提供的技术方案仅对缓存数据中的数据键进行了持久化存储,从而极大地缩减了对缓存数据进行持久化存储所需的时间,减少了对***磁盘资源的占用,另外,根据本发明提供的技术方案,在节点重启时,仅将数据键加载到节点的缓存中,提高了加载速度,优化了分布式***中节点缓存数据的处理方式。
图2示出了根据本发明另一个实施例的分布式***中节点缓存数据的处理方法的流程示意图,如图2所示,该方法包括如下步骤:
步骤S200,读取节点的至少一条缓存数据,缓存数据具有数据键值对的形式。
其中,缓存数据具有数据键值对的形式,通过数据键值对的形式可方便地对缓存数据进行管理。
步骤S201,针对每一条缓存数据,提取出对应的数据键以及数据键的过期时间戳,并为数据键设置用于标识无数据值的标志位,将数据键与标志位组合为数据键值对。
由于在步骤S201中仅提取出缓存数据中对应的数据键,并没有提取出对应的数据值,因此,数据键对应的数据值为空,为了便于区分这些数据键,在步骤S201中还为数据键设置用于标识无数据值的标志位,然后将数据键与标志位组合为数据键值对。
另外,由于可对缓存数据设置过期时间,因此,在步骤S201中还提取了数据键的过期时间戳。
步骤S202,将数据键值对以及数据键的过期时间戳进行持久化存储。
在步骤S201执行完成之后,步骤S202将数据键值对以及数据键的过期时间戳进行持久化存储。由于数据键值对是由数据键与标志位组合成的,因此将由数据键与标志位组合成的数据键值对进行持久化存储,与数据键与数据值都进行持久化存储相比,缩减了进行持久化存储所需的时间。另外,为了便于在后续步骤中,根据数据键的过期时间戳,对数据键是否过期进行判断,在步骤S202中还需对数据键的过期时间戳进行持久化存储。
步骤S203,当节点重启时,将数据键值对加载到节点的缓存中。
当节点重启时,步骤S203将由数据键与标志位组合成的数据键值对加载到节点的缓存中,由于无需将数据值加载到节点的缓存中,从而提高了加载速度。
步骤S204,当节点重启时,根据数据键的过期时间戳,判断数据键是否已过期;若是,则执行步骤S205;若否,则执行步骤S206。
当节点重启时,步骤S204根据数据键的过期时间戳,判断数据键是否已过期;若判断出数据键已过期,则执行步骤S205,删除该数据键;若判断出数据键未过期,则执行步骤S206。
步骤S205,删除数据键。
若经步骤S204判断出数据键已过期,则删除已过期的数据键。
步骤S206,接收其它节点发送的数据键值对的更新消息。
在节点重启之后,如果有其它节点发送数据键值对的更新消息,那么执行步骤S206,接收其它节点发送的数据键值对的更新消息。
步骤S207,根据更新消息,将节点的缓存中相应的数据键值对更新为其它节点发送的数据键值对。
在步骤S207中,根据步骤S206所接收的更新消息,将节点的缓存中相应的数据键值对更新为其它节点发送的数据键值对。
例如,在步骤S206中,接收了其它节点发送的关于数据键值对1的更新消息,并且根据更新消息可知,数据键值对1中的数据值更新为数据值1,那么在步骤S207中,将节点的缓存中相应的数据键值对1更新为其它节点发送的数据键值对1。假设,节点的缓存中相应的数据键值对1并没有被更新过,那么该数据键值对1中具有标志位,那么在步骤S207中,将节点的缓存中相应的数据键值对1中的标志位更新为其它节点发送的数据键值对1中的数据值1。
另外,该方法还可包括:若接收到针对节点的缓存数据的访问请求,则根据所访问的数据键查找其它节点的缓存中存储的数据键对应的数据值,将数据值加载到节点的缓存中,并响应访问请求返回数据值的步骤。具体地,可通过步骤S208至步骤S210进行实现。
步骤S208,若接收到针对节点的缓存数据的访问请求,判断节点的缓存中加载的所访问的数据键值对是否包含标志位;若是,则执行步骤S209;若否,则执行步骤S210。
由于在接收到针对节点的缓存数据的访问请求时,节点的缓存中加载的所访问的数据键值对可能并没有被更新过,因此,在步骤S208中,需要对节点的缓存中加载的所访问的数据键值对是否包含标志位进行判断。如果判断出所访问的数据键值对包含标志位,则执行步骤S209;如果判断出所访问的数据键值对不包含标志位,则执行步骤S210。
步骤S209,根据所访问的数据键查找其它节点的缓存中存储的数据键对应的数据值,并将为数据键设置的标志位替换为数据值。
若经步骤S208判断出所访问的数据键值对包含标志位,则代表所访问的数据键值对中无数据值,则需要执行步骤S209,根据所访问的数据键查找其它节点的缓存中存储的数据键对应的数据值,将为数据键设置的标志位替换为数据值,从而使该数据键值对中具有相应的数据值。在步骤S209执行完成后,接着执行步骤S210。
步骤S210,响应访问请求返回数据键值对包含的数据值。
若经步骤S208判断出所访问的数据键值对不包含标志位,则代表所访问的数据键值对中具有相应的数据值,则可直接执行步骤S210,响应访问请求返回数据键值对包含的数据值。或者,在步骤S209将为数据键设置的标志位替换为数据值之后,使数据键值对中具有相应的数据值,则接着步骤S210,响应访问请求返回该数据值。
根据本实施例提供的分布式***中节点缓存数据的处理方法,针对每一条缓存数据,不仅提取出对应的数据键,还提取出数据键的过期时间戳,以便当节点重启时,根据数据键的过期时间戳,删除已过期的数据键;为了便于区分,为数据键设置用于标识无数据值的标志位,将数据键与标志位组合为数据键值对,然后当节点重启时,将数据键值对加载到节点的缓存中,并且根据其它节点发送的数据键值对的更新消息,将节点的缓存中相应的数据键值对更新为其它节点发送的数据键值对。
另外,根据本发明提供的技术方案,在接收到针对节点的缓存数据的访问请求后,只有在判断出所访问的数据键值对包含标志位时,才根据所访问的数据键查找其它节点的缓存中存储的数据键对应的数据值,将为数据键设置的标志位替换为数据值,并响应访问请求返回数据值;在判断出所访问的数据键值对不包含标志位时,则直接响应访问请求返回数据键值对包含的数据值。根据本发明提供的技术方案不仅保证了在节点重启时,缓存数据不丢失,还极大地缩减了对缓存数据进行持久化存储所需的时间,减少了对***磁盘资源的占用,提高了在节点重启时缓存数据的加载速度,并且只有在判断出所访问的数据键值对包含标志位时,才需要根据所访问的数据键查找其它节点的缓存中存储的数据键对应的数据值,从而提高了响应速度,进一步优化了分布式***中节点缓存数据的处理方式。
图3示出了根据本发明一个实施例的分布式***中节点缓存数据的处理装置的功能结构示意图,如图3所示,该装置包括:读取模块301、提取模块302、存储模块303和第一加载模块304。
读取模块301适于:读取节点的至少一条缓存数据,缓存数据具有数据键值对的形式。
读取模块301读取节点的至少一条缓存数据,其中,缓存数据具有数据键值对的形式,即缓存数据具有key-value的形式,其中,key为数据键,value为数据值,并且数据值可为多种形式的数据,通过数据键值对的形式可方便地对缓存数据进行管理。
提取模块302适于:针对每一条缓存数据,提取出对应的数据键。
在读取模块301读取了节点的至少一条缓存数据之后,触发提取模块302,针对每一条缓存数据,提取出对应的数据键,也就是说,在提取模块302仅提取出缓存数据中对应的数据键,并没有提取出对应的数据值。
存储模块303适于:将提取模块301提取出的数据键进行持久化存储。
由于提取模块302仅提取出缓存数据中对应的数据键,并没有提取出对应的数据值,并且在大多数情况下,数据键的长度一般比较短,而数据值的长度却比较长,如果将数据键与数据值都进行持久化存储,不仅将花费大量的时间,而且还会占用大量的***磁盘资源,因此与数据键与数据值都进行持久化存储相比,存储模块303仅对数据键进行持久化存储,极大地缩减了进行持久化存储所需的时间,并减少了***磁盘资源的占用。
第一加载模块304适于:当节点重启时,将数据键加载到节点的缓存中。
当节点重启时,触发第一加载模块304,将经存储模块303持久化存储的数据键加载到节点的缓存中,由于第一加载模块304只需将数据键加载到节点的缓存中,无需同时将数据值加载到节点的缓存中,从而提高了加载速度。
根据本实施例提供的分布式***中节点缓存数据的处理装置,读取模块读取节点的至少一条缓存数据,其中,缓存数据具有数据键值对的形式,然后提取模块针对每一条缓存数据,提取出对应的数据键,存储模块将数据键进行持久化存储,最后当节点重启时,第一加载模块将数据键加载到节点的缓存中。本发明提供的技术方案仅对缓存数据中的数据键进行了持久化存储,从而极大地缩减了对缓存数据进行持久化存储所需的时间,减少了对***磁盘资源的占用,另外,根据本发明提供的技术方案,在节点重启时,仅将数据键加载到节点的缓存中,提高了加载速度,优化了分布式***中节点缓存数据的处理方式。
图4示出了根据本发明另一个实施例的分布式***中节点缓存数据的处理装置的功能结构示意图,如图4所示,该装置包括:读取模块401、提取模块402、存储模块403、第一加载模块404、访问模块405、第二加载模块406和响应模块407。
读取模块401适于:读取节点的至少一条缓存数据,缓存数据具有数据键值对的形式。
提取模块402适于:针对每一条缓存数据,提取出对应的数据键。
在读取模块401读取了节点的至少一条缓存数据之后,触发提取模块402,针对每一条缓存数据,提取出对应的数据键,并没有提取出对应的数据值。
存储模块403适于:将数据键进行持久化存储。
在提取模块402针对每一条缓存数据,提取出对应的数据键之后,触发存储模块403,将所提取出的数据键进行持久化存储。
第一加载模块404适于:当节点重启时,将数据键加载到节点的缓存中。
当节点重启时,触发第一加载模块404,将存储模块403所持久化存储的数据键加载到节点的缓存中。
访问模块405适于:接收针对节点的缓存数据的访问请求。
第二加载模块406适于:若访问模块405接收到针对节点的缓存数据的访问请求,则根据所访问的数据键查找其它节点的缓存中存储的数据键对应的数据值,将数据值加载到节点的缓存中。
响应模块407适于:响应访问请求返回数据值。
在第二加载模块406将数据值加载到节点的缓存中之后,触发响应模块407,响应访问请求返回数据值。
由于提取模块402仅提取出缓存数据中对应的数据键,并没有提取出对应的数据值,因此,数据键对应的数据值为空,为了便于区分这些数据键,该装置还包括:设置模块408,适于为数据键设置用于标识无数据值的标志位,将数据键与标志位组合为数据键值对。
在为数据键设置用于标识无数据值的标志位的情况下,存储模块403进一步适于:将数据键值对进行持久化存储;第一加载模块404进一步适于:当节点重启时,将数据键值对加载到节点的缓存中。
在节点重启之后,有可能其它节点会发送数据键值对的更新消息,所以该装置还可进一步包括:更新模块409,适于接收其它节点发送的数据键值对的更新消息,根据更新消息,将节点的缓存中相应的数据键值对更新为其它节点发送的数据键值对。
由于在接收到针对节点的缓存数据的访问请求时,节点的缓存中加载的所访问的数据键值对可能并没有被更新过,因此该装置还包括:第一判断模块410,适于若访问模块405接收到针对节点的缓存数据的访问请求,判断节点的缓存中加载的所访问的数据键值对是否包含标志位。
此时,第二加载模块406进一步适于:若第一判断模块410判断出所访问的数据键值对包含标志位,根据所访问的数据键查找其它节点的缓存中存储的数据键对应的数据值,并将为数据键设置的标志位替换为数据值。在第二加载模块406将为数据键设置的标志位替换为数据值之后,触发响应模块407,响应访问请求返回数据值。
响应模块407进一步适于:若第一判断模块410判断出所访问的数据键值对不包含标志位,响应访问请求返回数据键值对包含的数据值。
另外,由于可对缓存数据设置过期时间,因此,该装置中的提取模块402进一步适于:从缓存数据中提取出数据键的过期时间戳;存储模块403进一步适于:将数据键的过期时间戳进行持久化存储。
为了根据数据键的过期时间戳对数据键是否过期进行判断,并对已过期的数据键进行处理,该装置还包括:第二判断模块411和删除模块412。
其中,第二判断模块411适于:当节点重启时,根据数据键的过期时间戳,判断数据键是否已过期。若第二判断模块411判断出数据键已过期,则触发删除模块412,删除数据键。
根据本实施例提供的分布式***中节点缓存数据的处理装置,针对每一条缓存数据,提取模块不仅提取出对应的数据键,还提取出数据键的过期时间戳,以便当节点重启时,第二判断模块根据数据键的过期时间戳,判断数据键是否已过期;为了便于区分,设置模块为数据键设置用于标识无数据值的标志位,将数据键与标志位组合为数据键值对,然后当节点重启时,第一加载模块将数据键值对加载到节点的缓存中,并且更新模块根据其它节点发送的数据键值对的更新消息,将节点的缓存中相应的数据键值对更新为其它节点发送的数据键值对。
另外,根据本发明提供的技术方案,在访问模块接收到针对节点的缓存数据的访问请求后,只有在第一判断模块判断出所访问的数据键值对包含标志位时,才根据所访问的数据键查找其它节点的缓存中存储的数据键对应的数据值,将为数据键设置的标志位替换为数据值,并响应访问请求返回数据值;在第一判断模块判断出所访问的数据键值对不包含标志位时,则直接触发响应模块。根据本发明提供的技术方案不仅保证了在节点重启时,缓存数据不丢失,还极大地缩减了对缓存数据进行持久化存储所需的时间,减少了对***磁盘资源的占用,提高了在节点重启时缓存数据的加载速度,并且只有在判断出所访问的数据键值对包含标志位时,才需要根据所访问的数据键查找其它节点的缓存中存储的数据键对应的数据值,从而提高了响应速度,进一步优化了分布式***中节点缓存数据的处理方式。
在此提供的算法和显示不与任何特定计算机、虚拟***或者其它设备固有相关。各种通用***也可以与基于在此的示教一起使用。根据上面的描述,构造这类***所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本发明公开了:
A1、一种分布式***中节点缓存数据的处理方法,所述方法包括:
读取节点的至少一条缓存数据,所述缓存数据具有数据键值对的形式;
针对每一条缓存数据,提取出对应的数据键,并将所述数据键进行持久化存储;
当所述节点重启时,将所述数据键加载到节点的缓存中。
A2、根据A1所述的方法,其中,当所述节点重启并将所述数据键加载到节点的缓存之后,所述方法还包括:
若接收到针对节点的缓存数据的访问请求,则根据所访问的数据键查找其它节点的缓存中存储的所述数据键对应的数据值,将所述数据值加载到节点的缓存中,并响应所述访问请求返回所述数据值。
A3、根据A1或A2所述的方法,其中,针对每一条缓存数据,提取出对应的数据键,并将所述数据键进行持久化存储的步骤进一步包括:
为所述数据键设置用于标识无数据值的标志位,将所述数据键与标志位组合为数据键值对;
将数据键值对进行持久化存储。
A4、根据A3所述的方法,其中,当所述节点重启时,将所述数据键加载到节点的缓存中的步骤进一步包括:
当所述节点重启时,将所述数据键值对加载到节点的缓存中。
A5、根据A3或A4所述的方法,其中,当所述节点重启并将所述数据键加载到节点的缓存之后,所述方法还包括:
若接收到针对节点的缓存数据的访问请求,判断所述节点的缓存中加载的所访问的数据键值对是否包含所述标志位;
若判断出所访问的数据键值对包含所述标志位,则根据所访问的数据键查找其它节点的缓存中存储的所述数据键对应的数据值,并将为所述数据键设置的标志位替换为所述数据值;
若判断出所访问的数据键值对不包含所述标志位,则响应所述访问请求返回所述数据键值对包含的数据值。
A6、根据A1-A5任一项所述的方法,其中,针对每一条缓存数据,提取出对应的数据键,并将所述数据键进行持久化存储的步骤进一步包括:
从所述缓存数据中提取出数据键以及所述数据键的过期时间戳,并将所述数据键以及所述数据键的过期时间戳进行持久化存储。
A7、根据A6所述的方法,其中,当所述节点重启时,所述方法还包括:根据所述数据键的过期时间戳,判断所述数据键是否已过期;若是,则删除所述数据键;
若判断出所述数据键未过期且接收到针对节点的缓存数据的访问请求,则根据所访问的数据键查找其它节点的缓存中存储的所述数据键对应的数据值。
A8、根据A1-A7任一项所述的方法,其中,所述方法还包括:
接收其它节点发送的数据键值对的更新消息;
根据所述更新消息,将所述节点的缓存中相应的数据键值对更新为所述其它节点发送的数据键值对。
B9、一种分布式***中节点缓存数据的处理装置,所述装置包括:
读取模块,适于读取节点的至少一条缓存数据,所述缓存数据具有数据键值对的形式;
提取模块,适于针对每一条缓存数据,提取出对应的数据键;
存储模块,适于将所述提取模块提取出的所述数据键进行持久化存储;
第一加载模块,适于当所述节点重启时,将所述数据键加载到节点的缓存中。
B10、根据B9所述的装置,其中,所述装置还包括:
访问模块,适于接收针对节点的缓存数据的访问请求;
第二加载模块,适于若所述访问模块接收到针对节点的缓存数据的访问请求,则根据所访问的数据键查找其它节点的缓存中存储的所述数据键对应的数据值,将所述数据值加载到节点的缓存中;
响应模块,适于响应所述访问请求返回所述数据值。
B11、根据B10所述的装置,其中,所述装置还包括:设置模块,适于为所述数据键设置用于标识无数据值的标志位,将所述数据键与标志位组合为数据键值对;
所述存储模块进一步适于:将数据键值对进行持久化存储。
B12、根据B11所述的装置,其中,所述第一加载模块进一步适于:当所述节点重启时,将所述数据键值对加载到节点的缓存中。
B13、根据B11或B12所述的装置,其中,所述装置还包括:第一判断模块,适于若所述访问模块接收到针对节点的缓存数据的访问请求,判断所述节点的缓存中加载的所访问的数据键值对是否包含所述标志位;
所述第二加载模块进一步适于:若所述第一判断模块判断出所访问的数据键值对包含所述标志位,根据所访问的数据键查找其它节点的缓存中存储的所述数据键对应的数据值,并将为所述数据键设置的标志位替换为所述数据值;
所述响应模块进一步适于:若所述第一判断模块判断出所访问的数据键值对不包含所述标志位,响应所述访问请求返回所述数据键值对包含的数据值。
B14、根据B10-B13任一项所述的装置,其中,所述提取模块进一步适于:从所述缓存数据中提取出数据键以及所述数据键的过期时间戳;
所述存储模块进一步适于:将所述数据键以及所述数据键的过期时间戳进行持久化存储。
B15、根据B14所述的装置,其中,所述装置包括:第二判断模块和删除模块;
所述第二判断模块,适于当所述节点重启时,根据所述数据键的过期时间戳,判断所述数据键是否已过期;若所述第二判断模块判断出所述数据键已过期,则触发所述删除模块;
所述删除模块,适于删除所述数据键。
B16、根据B9-B15任一项所述的装置,其中,所述装置还包括:更新模块,适于接收其它节点发送的数据键值对的更新消息,根据所述更新消息,将所述节点的缓存中相应的数据键值对更新为所述其它节点发送的数据键值对。

Claims (14)

1.一种分布式***中节点缓存数据的处理方法,所述方法包括:
读取节点的至少一条缓存数据,所述缓存数据具有数据键值对的形式;
针对每一条缓存数据,提取出对应的数据键,并将所述数据键进行持久化存储;
当所述节点重启时,将所述数据键加载到节点的缓存中;
其中,所述针对每一条缓存数据,提取出对应的数据键,并将所述数据键进行持久化存储的步骤进一步包括:为所述数据键设置用于标识无数据值的标志位,将所述数据键与标志位组合为数据键值对;将数据键值对进行持久化存储。
2.根据权利要求1所述的方法,其中,当所述节点重启并将所述数据键加载到节点的缓存之后,所述方法还包括:
若接收到针对节点的缓存数据的访问请求,则根据所访问的数据键查找其它节点的缓存中存储的所述数据键对应的数据值,将所述数据值加载到节点的缓存中,并响应所述访问请求返回所述数据值。
3.根据权利要求1所述的方法,其中,当所述节点重启时,将所述数据键加载到节点的缓存中的步骤进一步包括:
当所述节点重启时,将所述数据键值对加载到节点的缓存中。
4.根据权利要求1所述的方法,其中,当所述节点重启并将所述数据键加载到节点的缓存之后,所述方法还包括:
若接收到针对节点的缓存数据的访问请求,判断所述节点的缓存中加载的所访问的数据键值对是否包含所述标志位;
若判断出所访问的数据键值对包含所述标志位,则根据所访问的数据键查找其它节点的缓存中存储的所述数据键对应的数据值,并将为所述数据键设置的标志位替换为所述数据值;
若判断出所访问的数据键值对不包含所述标志位,则响应所述访问请求返回所述数据键值对包含的数据值。
5.根据权利要求1-4任一项所述的方法,其中,针对每一条缓存数据,提取出对应的数据键,并将所述数据键进行持久化存储的步骤进一步包括:
从所述缓存数据中提取出数据键以及所述数据键的过期时间戳,并将所述数据键以及所述数据键的过期时间戳进行持久化存储。
6.根据权利要求5所述的方法,其中,当所述节点重启时,所述方法还包括:根据所述数据键的过期时间戳,判断所述数据键是否已过期;若是,则删除所述数据键;
若判断出所述数据键未过期且接收到针对节点的缓存数据的访问请求,则根据所访问的数据键查找其它节点的缓存中存储的所述数据键对应的数据值。
7.根据权利要求1-4任一项所述的方法,其中,所述方法还包括:
接收其它节点发送的数据键值对的更新消息;
根据所述更新消息,将所述节点的缓存中相应的数据键值对更新为所述其它节点发送的数据键值对。
8.一种分布式***中节点缓存数据的处理装置,所述装置包括:
读取模块,适于读取节点的至少一条缓存数据,所述缓存数据具有数据键值对的形式;
提取模块,适于针对每一条缓存数据,提取出对应的数据键;
存储模块,适于将所述提取模块提取出的所述数据键进行持久化存储;
第一加载模块,适于当所述节点重启时,将所述数据键加载到节点的缓存中;
所述装置还包括:设置模块,适于为所述数据键设置用于标识无数据值的标志位,将所述数据键与标志位组合为数据键值对;
所述存储模块进一步适于:将数据键值对进行持久化存储。
9.根据权利要求8所述的装置,其中,所述装置还包括:
访问模块,适于接收针对节点的缓存数据的访问请求;
第二加载模块,适于若所述访问模块接收到针对节点的缓存数据的访问请求,则根据所访问的数据键查找其它节点的缓存中存储的所述数据键对应的数据值,将所述数据值加载到节点的缓存中;
响应模块,适于响应所述访问请求返回所述数据值。
10.根据权利要求8所述的装置,其中,所述第一加载模块进一步适于:当所述节点重启时,将所述数据键值对加载到节点的缓存中。
11.根据权利要求9所述的装置,其中,所述装置还包括:第一判断模块,适于若所述访问模块接收到针对节点的缓存数据的访问请求,判断所述节点的缓存中加载的所访问的数据键值对是否包含所述标志位;
所述第二加载模块进一步适于:若所述第一判断模块判断出所访问的数据键值对包含所述标志位,根据所访问的数据键查找其它节点的缓存中存储的所述数据键对应的数据值,并将为所述数据键设置的标志位替换为所述数据值;
所述响应模块进一步适于:若所述第一判断模块判断出所访问的数据键值对不包含所述标志位,响应所述访问请求返回所述数据键值对包含的数据值。
12.根据权利要求8-11任一项所述的装置,其中,所述提取模块进一步适于:从所述缓存数据中提取出数据键以及所述数据键的过期时间戳;
所述存储模块进一步适于:将所述数据键以及所述数据键的过期时间戳进行持久化存储。
13.根据权利要求12所述的装置,其中,所述装置包括:第二判断模块和删除模块;
所述第二判断模块,适于当所述节点重启时,根据所述数据键的过期时间戳,判断所述数据键是否已过期;若所述第二判断模块判断出所述数据键已过期,则触发所述删除模块;
所述删除模块,适于删除所述数据键。
14.根据权利要求8-11任一项所述的装置,其中,所述装置还包括:更新模块,适于接收其它节点发送的数据键值对的更新消息,根据所述更新消息,将所述节点的缓存中相应的数据键值对更新为所述其它节点发送的数据键值对。
CN201510883615.8A 2015-12-04 2015-12-04 分布式***中节点缓存数据的处理方法及装置 Active CN105447167B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510883615.8A CN105447167B (zh) 2015-12-04 2015-12-04 分布式***中节点缓存数据的处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510883615.8A CN105447167B (zh) 2015-12-04 2015-12-04 分布式***中节点缓存数据的处理方法及装置

Publications (2)

Publication Number Publication Date
CN105447167A CN105447167A (zh) 2016-03-30
CN105447167B true CN105447167B (zh) 2019-03-01

Family

ID=55557343

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510883615.8A Active CN105447167B (zh) 2015-12-04 2015-12-04 分布式***中节点缓存数据的处理方法及装置

Country Status (1)

Country Link
CN (1) CN105447167B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106021468B (zh) * 2016-05-17 2019-11-19 上海携程商务有限公司 分布式缓存和本地缓存的更新方法和***
CN107844386B (zh) * 2016-09-19 2020-11-27 北京金山云网络技术有限公司 一种数据备份、恢复方法及装置
CN106790562A (zh) * 2016-12-26 2017-05-31 中国建设银行股份有限公司 一种分布式缓存***、方法及装置
CN108628817B (zh) * 2017-03-15 2022-07-26 腾讯科技(深圳)有限公司 一种数据处理方法及装置
CN110334092A (zh) * 2019-06-14 2019-10-15 福建天泉教育科技有限公司 分布式id生成方法、存储介质
CN111177196B (zh) * 2019-12-25 2023-12-19 海尔优家智能科技(北京)有限公司 时间窗聚合计算方法及装置
CN113626377A (zh) * 2020-05-06 2021-11-09 杭州海康微影传感科技有限公司 裸数据存储控制方法、装置及设备、存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102117338A (zh) * 2011-04-02 2011-07-06 天脉聚源(北京)传媒科技有限公司 一种数据库缓存的方法
CN102902730A (zh) * 2012-09-10 2013-01-30 新浪网技术(中国)有限公司 基于数据缓存的读数据方法及装置
CN103870393A (zh) * 2013-07-09 2014-06-18 携程计算机技术(上海)有限公司 缓存管理方法及***
CN104572920A (zh) * 2014-12-27 2015-04-29 北京奇虎科技有限公司 一种数据整理方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8914457B2 (en) * 2009-10-06 2014-12-16 Red Hat, Inc. Caching of nodes in cache cluster

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102117338A (zh) * 2011-04-02 2011-07-06 天脉聚源(北京)传媒科技有限公司 一种数据库缓存的方法
CN102902730A (zh) * 2012-09-10 2013-01-30 新浪网技术(中国)有限公司 基于数据缓存的读数据方法及装置
CN103870393A (zh) * 2013-07-09 2014-06-18 携程计算机技术(上海)有限公司 缓存管理方法及***
CN104572920A (zh) * 2014-12-27 2015-04-29 北京奇虎科技有限公司 一种数据整理方法和装置

Also Published As

Publication number Publication date
CN105447167A (zh) 2016-03-30

Similar Documents

Publication Publication Date Title
CN105447167B (zh) 分布式***中节点缓存数据的处理方法及装置
CN109597818A (zh) 数据更新方法、装置、存储介质和设备
CN107943718B (zh) 一种清理缓存文件的方法和装置
CN105205182B (zh) 多机房部署***及跨机房的业务数据处理方法
CN104462194A (zh) 一种业务数据的处理方法、装置及服务器
CN108228799B (zh) 对象索引信息的存储方法及装置
CN107807797A (zh) 数据写入的方法、装置及服务器
CN106227769B (zh) 数据存储方法及装置
CN106599247B (zh) LSM-tree结构中数据文件的合并方法及装置
CN104899077A (zh) 基于容器技术的进程信息获取方法及装置
CN106919628A (zh) 一种图数据的处理方法和装置
CN105574151B (zh) 图像存储方法和设备
CN108769157A (zh) 消息弹窗的展示方法、装置、计算设备及计算机存储介质
CN109992469A (zh) 一种合并日志的方法及装置
CN108154024A (zh) 一种数据检索方法、装置及电子设备
CN107368563A (zh) 数据库数据的删除方法及装置、电子设备、存储介质
CN103077186A (zh) 一种断层数据处理装置和方法
CN103761240A (zh) 数据库访问方法和装置
CN105159545A (zh) 一种测试用智能终端上的弹框处理方法和装置
CN109190367A (zh) 利用沙箱运行应用程序安装包的方法及装置
CN105389394A (zh) 基于多个数据库集群的数据请求处理方法及装置
CN102945343A (zh) 一种用于枚举***进程的方法及装置
CN103020214B (zh) 访问网站历史记录信息处理方法和设备
CN103336671A (zh) 从网络中获取数据的方法和设备
CN105208105B (zh) 索引更新方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220722

Address after: Room 801, 8th floor, No. 104, floors 1-19, building 2, yard 6, Jiuxianqiao Road, Chaoyang District, Beijing 100015

Patentee after: BEIJING QIHOO TECHNOLOGY Co.,Ltd.

Address before: 100088 room 112, block D, 28 new street, new street, Xicheng District, Beijing (Desheng Park)

Patentee before: BEIJING QIHOO TECHNOLOGY Co.,Ltd.

Patentee before: Qizhi software (Beijing) Co.,Ltd.