CN109101580A - 一种基于Redis的热点数据缓存方法和装置 - Google Patents

Abstract

本发明提供了一种基于Redis的热点数据缓存方法：获取来自客户端的数据查询请求；在Redis缓存中查询是否存在所述数据查询请求的数据记录；若存在，则所述数据记录的权值自动增加，同时将所述数据记录的值返回给客户端；反之不存在，则查询数据库中是否存在所述数据记录；若数据库中存在，则将数据库中的所述数据记录复制到Redis缓存中，同时将所述数据记录的权值设为Redis缓存中所有数据记录权值的平均值；反之不存在，则在Redis缓存中新增一条数据记录，此时所述数据记录的值则设置为空值。如果Redis缓存超出最大值，会删掉权值最小的数据记录。通过本方法，既可以使Redis缓存中的数据都是高命中率数据，有效的提高了热点数据的查询速度，还可减少缓存空间的占用。

Description

一种基于Redis的热点数据缓存方法和装置

技术领域

本发明涉及数据安全领域，尤其是涉及一种基于Redis的热点数据缓存方法和装置。

背景技术

在分布式和微服务架构的***中采用缓存机制可大大提高***处理的效能及***本身的数据吞吐规模，可以解决高并发请求以及大量数据的处理。所述缓存机制是通过将数据库中的数据加载到内存或者处理访问速度较快的存储介质中，并把这类数据长时间地保存，以减少数据库被访问的次数，进而减少数据库在大量的读取动作中I/O被长期占用造成的性能损耗。缓存机制虽能提供高效的查询速度和请求响应，但仍存在以下两个问题：①缓存中无法存储大量的数据，随着需求数据的不断变动，如果缓存中没有，就会去访问数据库查询，容易导致缓存穿透问题，甚至发生缓存雪崩；②存储在缓存中的数据并非全都是***当前需要的数据，导致命中率低。

Redis （Remote Dictionary Server，远程数据服务）是一款内存高速缓存数据库，该软件使用C语言编写，数据模型为key-value，由于Redis可支持丰富的数据类型，如String、List、Hash、Set、Sorted Set等，因此被广泛应用。目前现有技术中，在Redis（缓存层）中设置空值，避免与后端数据库频繁的交互，利用“缓存+过期时间”的策略，避免太多空值占用缓存空间，来加速接口的访问速度，减少后端负载，同时保证功能的更新。利用该方法虽然可以有效的避免上述中的穿透问题，但是还是很难保证缓存层中的数据就是当前请求的急需数据，也就是依然很难保证高的命中率。

本发明提出了一种基于Redis的热点数据缓存方法和装置，一方面对Redis缓存中的数据权重排序，可以使缓存中的数据都是高命中率数据，有效的提高了热点数据的查询速度，另一方面当新数据写入缓存中且缓存超标时，通过删除权重最小的数据，同时将此新数据权重值加权到所有权重的中间值，还可以减少缓存空间的占用。

发明内容

为了解决上述技术问题，本发明通过空键值对存储以及消息队列进行数据同步，避免与数据库进行频繁交互，以及对Redis缓存中的数据权重排序，删除权重最小的数据。一方面可以使缓存中的数据都是高命中率数据，有效的提高了热点数据的查询速度，另一方面还可以减少缓存空间的占用。

本发明提供了一种基于Redis的热点数据缓存方法，所述方法包括以下步骤：

获取来自客户端的数据查询请求；

在Redis缓存中查询是否存在所述数据查询请求的数据记录；所述数据记录的数据结构为<标识，权值，值>，所述标识具有唯一性，所述数据查询请求基于所述标识进行；

若Redis缓存中存在所述数据记录，则所述数据记录的权值自动增加，同时将所述数据记录的值返回给客户端；反之，

若Redis缓存中不存在所述数据记录，则查询数据库中是否存在所述数据记录；

若存在，则将数据库中的所述数据记录复制到Redis缓存中，同时将所述数据记录的权值设为Redis缓存中所有数据记录权值的平均值；

若不存在，则在Redis缓存中新增一条数据记录，所述数据记录的标识设为所述数据查询请求中的所述标识，所述数据记录的权值设为Redis缓存中所有数据记录权值的平均值，所述数据记录的值则设置为空值。

进一步地，所述缓存方法还包括：

需设置Redis缓存可存储数据记录的最大值。

进一步地，在将数据库中的所述数据记录复制到Redis缓存前，或在Redis缓存中新增一条数据记录之前，还包括：

检查Redis缓存中的数据记录是否达到最大值，若达到，则删除Redis缓存中权值最小的数据记录。

进一步地，所述方法还包括：

当Redis缓存中数据记录的值为空值时，需将所述数据记录写入消息队列，并通知消息队列异步处理，使Redis缓存与所述数据库保持同步。

进一步地，还包括：可设置所述数据记录的权值自动增加的幅度。

另外，本发明嗨提供了一种基于Redis的热点数据缓存装置，所述装置包括：

获取模块，用于获取来自客户端的数据查询请求；

查询模块，用于查询Redis缓存和数据库中是否存在所述数据查询请求的数据记录；所述数据记录的数据结构为<标识，权值，值>，所述标识具有唯一性，所述查询基于所述标识进行；

计算模块，用于当查询到Redis缓存中存在所述数据记录时，自动增加所述数据记录的权值；以及用于当Redis缓存中不存在所述数据记录，而去查询数据库时，计算Redis缓存中所有数据记录权值的平均值；

写入模块，用于当Redis缓存中不存在所述数据记录而数据库中存在时，将数据库中的所述数据记录复制到Redis缓存中；以及当数据库中不存在，在Redis缓存中新增一条数据记录。

进一步地，所述装置还包括设置模块，用于设置Redis缓存可存储数据记录的最大值。

进一步地，所述装置还包括检查模块，

用于将数据库中的所述数据记录复制到Redis缓存前，或在Redis缓存中新增一条数据记录前，检查Redis缓存中的数据记录是否达到最大值，若达到，则删除Redis缓存中权值最小的数据记录。

进一步地，所述写入模块还包括，

用于当Redis缓存中数据记录的值为空值时，需将所述数据记录写入消息队列，并通知消息队列异步处理，使Redis缓存与所述数据库保持同步。

进一步地，所述设置模块还包括用于设置所述数据的权值自动增加的幅度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种基于Redis的热点数据缓存方法流程图；

图2为本发明实施例一提供的一种基于Redis的热点数据缓存方法流程图；

图3为本发明实施例二提供的一种基于Redis的热点数据缓存方法流程图；

图4为本发明提供的一种基于Redis的热点数据缓存装置结构图；

图5为本发明提供的另一种基于Redis的热点数据缓存装置结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，需要指出的是，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种基于Redis的热点数据缓存方法，如图1所示，所述方法包括以下步骤：

步骤S11，获取来自客户端的数据查询请求；

步骤S12，在Redis缓存中查询是否存在所述数据查询请求的数据记录；所述数据记录的数据结构为<标识，权值，值>，所述标识具有唯一性，所述数据查询请求基于所述标识进行；

若存在，则进入步骤S13，反之，若Redis中不存在所述查询请求的数据记录，则进入步骤S14；

步骤S13，所述数据记录的权值自动增加，同时将所述数据记录的值返回给客户端；

步骤S14，查询数据库中是否存在所述数据记录；若数据库中存在所述数据记录，则进入步骤S15，反之，若数据库中不存在，则进入步骤S16；

步骤S15，将数据库中的所述数据记录复制到Redis缓存中，同时将所述数据记录的权值设为Redis缓存中所有数据记录权值的平均值；

步骤S16，在Redis缓存中新增一条数据记录，所述数据记录的标识设为所述数据查询请求中的所述标识，所述数据记录的权值设为Redis缓存中所有数据记录权值的平均值，所述数据记录的值则设置为空值。

上述步骤中，所述标识指的是一个数据ID，例如，用户的账号，账号是唯一的，查询时需要根据用户账号查询，此时就可以将账号为唯一标识，即主键key；

所述权值，指的是所述数据的权重值，一个标识对应一个权值，代表着数据的重要度，也就是数据被查询访问的频率，权值越大代表着此数据被查询访问的次数越多；

所述值，为该数据记录的具体内容，例如，一个账号（唯一标识），对应着的值可以有电话、邮箱、部门等信息，所述值对应的可以是单独的一个信息，也可以是多个信息，将这些信息转化为一个字符串（json）就是所对应的值。

在上述步骤S13中，所述数据记录的权值自动增加，指的是随着查询Redis缓存中存在的数据记录而自动增加，增加的幅度是可以设置的。

另外，当Redis缓存中存在所述数据记录时，还包括查询所述数据记录对应的值是否为空。所述步骤S13还包括如下步骤，如图2所示：

步骤S131，若Redis缓存中存在所述数据记录，包括查询所述数据记录的值是否为空；若所述值不为空，则进入步骤S132，反之所述值为空，则进入步骤S133；

步骤S132，将将所对应的值返回给客户端；

步骤S133，则将所述数据记录写入消息队列，空值返回给客户端；

上述中所对应的值为空，指的是查询Redis缓存中没有所述数据记录对应的值，此时其所对应的数据存储结构为<标识，权重，“”>。例如，在Redis中，有一条数据记录的数据存储结构为<“zhishichanquan”,100, ””>，那么在查询含有标识“zhishichanquan”的数据时，Redis缓存中该数据记录的权值将会自动增加，可以是101，也可以是101.5，或者其他100以上，具体增加幅度是可以设置的，权值增加幅度并不限于本发明所举的例子；由于该数据记录中的值是空的，所以将会返回给客户端空值，即数据不存在或者没有该用户查询的数据。

步骤S134，通知消息队列异步处理，使得Redis缓存与数据库数据同步。

在步骤S134中，消息队列在目前生产环境中使用较多的有ActiveMQ、RabbitMQ、ZeroMQ、Kafka、MetaMQ、RocketMQ等。消息队列将会轮询队列中的空值数据记录，访问数据库，使得Redis缓存与数据库数据同步。在访问数据库时，会出现下面两种情况：

（1）如果数据库中出现了所述数据记录，如数据库中有“zhishichanquan”所对应的值，如“核心技术发展中心部门，***公司”，此时消息队列将会把“核心技术发展中心部门，***公司”同步到Redis缓存中，即Redis缓存中的数据记录将会更新为<“zhishichanquan”,100,” {“userdeparment”: “核心技术发展中心部门”, “usercompany”: “***公司”}>，下次客户端再次查询“zhishichanquan”时，则会将“核心技术发展中心部门，***公司”发送给客户端，并且权值从原来的100将根据设置的增加幅度自动增加，如设置的增加幅度是1，则此时Redis缓存中的该数据记录的数据存储结构则变成<“zhishichanquan”,101,” {"userDepart": "核心技术发展中心部门"}>；

（2）如果在客户端再次查询含有“zhishichanquan”标识的数据，而数据库中仍没有该数据记录，此时返回给客户端空值，Redis缓存中所述数据记录的权值根据设置的增加幅度自动增加，如设置的增加幅度是100，则此时Redis缓存中该数据记录的数据存储结构则变为<“zhishichanquan”,200, ””>，将此空值数据记录写入消息队列，通知消息队列异步处理，使得Redis缓存与数据库数据同步。

通过消息队列轮询空值数据记录，将数据库中数据同步到Redis缓存中，客户端下次再访问时则不需要访问数据库，可以避免与数据库的频繁交互，即使出现上述（2）这种情况，也仍是将空值数据记录放入消息队列中，通过消息队列一条条查询数据库，解决了缓存数据穿透问题，同时在一定程度上将数据查询与数据同步进行了解耦。

此外，在上述步骤S14中，查询数据库中是否存在所述数据记录，若数据库中不存在所述数据记录，具体包括如下步骤，如图3所示：

步骤S141，若数据库中不存在所述数据记录；

步骤S142，在Redis缓存中新增一条数据记录，所述数据记录的标识设为所述数据查询请求中的所述标识，所述数据记录的权值设为Redis缓存中所有数据记录权值的平均值，所述数据记录的值则设置为空值，并检查Redis缓存中的数据量是否达到最大值；

若达到最大值，则进入步骤S143，反之，则进入步骤S144；

步骤S143，删除Redis缓存中权值最小的数据记录，并在Redis缓存中新增所述数据记录；

步骤S144，直接在Redis缓存中新增所述数据记录；

步骤S145，将将所述数据记录写入消息队列，空值返回给客户端；

步骤S146，通知消息队列异步处理，使得Redis缓存与数据库数据同步。

在上述步骤S142中，当数据库中不存在所述数据记录，在Redis缓存中新增一条数据记录。例如，客户端数据查询请求的标识是“zhishichanquan001”，而数据库中没有此标识的数据记录，则会将此标识对应的值设置为空值，计算此时Redis 缓存中所有数据记录权值的平均值100，并将这条新的数据记录<”zhishichanquan001”,100,””>写入Redis缓存中，并将此空值数据记录写入消息队列，通知消息队列异步处理，使得Redis缓存与数据库数据同步，同样的，如果数据库中出现了此标识对应的值，则消息队列将此数据同步到Redis缓存中。

在新的数据记录写入到Redis缓存前，还会判断Redis缓存的存储量是否够大，会不会达到Redis中存储量的最大值。例如，设置Redis缓存中允许最大的存储数据量为1万条，当发送1万个不同的数据查询请求，Redis缓存中将存储1万条数据记录，如果下次查询Redis缓存中不存在的数据时，此时需要往Redis缓存中写入一条新的数据记录，但是Redis缓存中存储数据量已经到达上限，所以需要获取Redis缓存中权值最小的数据记录，删除权值最小的数据记录，再将所述新数据记录新增到Redis缓存中。

图4为本发明提供的一种基于Redis的热点数据缓存装置结构图，如图4所示，所述缓存装置包括：

获取模块11，用于获取客户端的数据查询请求；

查询模块12，用于查询Redis缓存和数据库中是否存在所述数据查询请求的数据记录；所述数据记录的数据结构为<标识，权值，值>，所述标识具有唯一性，所述查询基于所述标识进行；

计算模块13，用于当查询到Redis缓存中存在所述数据记录时，自动增加所述数据记录的权值；以及用于当Redis缓存中不存在所述数据记录，而去查询数据库时，计算Redis缓存中所有数据记录权值的平均值；

写入模块14，用于当Redis缓存中不存在所述数据记录而数据库中存在时，将数据库中的所述数据记录复制到Redis缓存中；以及当数据库中不存在，在Redis缓存中新增一条数据记录。

上述写入模块14还包括，用于当Redis缓存中数据记录的值为空值时，需将所述数据记录写入消息队列，并通知消息队列异步处理，使Redis缓存与所述数据库保持同步。

另外，所述缓存装置还包括其他模块，如图5所示， 所述装置还包括：

设置模块16，用于设置Redis缓存可存储数据量的最大值；

检查模块17，用于将数据库中的所述数据记录复制到Redis缓存前，或在Redis缓存中新增一条数据记录前，检查Redis缓存中的数据记录是否达到最大值，若达到，则删除Redis缓存中权值最小的数据记录。

所述设置模块16，还可以用于设置所述数据记录的权值自动增加的幅度。增加幅度可以是1，可以是0.5，1.5等。即当Redis缓存中存在所述查询的数据时，Redis缓存中该数据记录的权值将根据设置的增加幅度值自动增加。

通过本发明的方法和装置，一方面，对Redis缓存中数据记录进行权重排序，可以使缓存中的数据都是高命中率数据，有效的提高了热点数据的查询速度；另一方面，当Redis缓存中没有所查询的数据记录时，在Redis缓存中写入新的数据记录，此时若超出Redis缓存所设置的最大存储量时，可以通过删除权值最小的数据记录，同时将此新数据记录的权值加权到Redis缓存中所有数据记录权值的平均值，还可以减少缓存空间的占用。

Claims (10)

1.一种基于Redis的热点数据缓存方法，其特征在于，所述方法包括以下步骤：

获取来自客户端的数据查询请求；

在Redis缓存中查询是否存在所述数据查询请求的数据记录；所述数据记录的数据结构为<标识，权值，值>，所述标识具有唯一性，所述数据查询请求基于所述标识进行；

若Redis缓存中存在所述数据记录，则所述数据记录的权值自动增加，同时将所述数据记录的值返回给客户端；反之，

若Redis缓存中不存在所述数据记录，则查询数据库中是否存在所述数据记录；

若存在，则将数据库中的所述数据记录复制到Redis缓存中，同时将所述数据记录的权值设为Redis缓存中所有数据记录权值的平均值；

若不存在，则在Redis缓存中新增一条数据记录，所述数据记录的标识设为所述数据查询请求中的所述标识，所述数据记录的权值设为Redis缓存中所有数据记录权值的平均值，所述数据记录的值则设置为空值。

2.如权利要求1所述的热点数据缓存方法，其特征在于，还包括：

需设置Redis缓存可存储数据记录的最大值。

3.如权利要求1所述的热点数据缓存方法，其特征在于，在将数据库中的所述数据记录复制到Redis缓存前，或在Redis缓存中新增一条数据记录之前，还包括：

检查Redis缓存中的数据记录是否达到最大值，若达到，则删除Redis缓存中权值最小的数据记录。

4.如权利要求1所述的热点数据缓存方法，其特征在于，还包括：

当Redis缓存中数据记录的值为空值时，需将所述数据记录写入消息队列，并通知消息队列异步处理，使Redis缓存与所述数据库保持同步。

5.如权利要求2所述的热点数据缓存方法，其特征在于，还包括：可设置所述数据记录的权值自动增加的幅度。

6.一种基于Redis的热点数据缓存装置，其特征在于，所述装置包括：

获取模块，用于获取来自客户端的数据查询请求；

查询模块，用于查询Redis缓存和数据库中是否存在所述数据查询请求的数据记录；所述数据记录的数据结构为<标识，权值，值>，所述标识具有唯一性，所述查询基于所述标识进行；

计算模块，用于当查询到Redis缓存中存在所述数据记录时，自动增加所述数据记录的权值；以及用于当Redis缓存中不存在所述数据记录，而去查询数据库时，计算Redis缓存中所有数据记录权值的平均值；

写入模块，用于当Redis缓存中不存在所述数据记录，而数据库中存在时，将数据库中的所述数据记录复制到Redis缓存中；以及当数据库中不存在，在Redis缓存中新增一条数据记录。

7.如权利要求6所述的热点数据缓存装置，其特征还在于，所述装置还包括设置模块，

用于设置Redis缓存可存储数据记录的最大值。

8.如权利要求6所述的热点数据缓存装置，其特征还在于，所述装置还包括检查模块，

用于将数据库中的所述数据记录复制到Redis缓存前，或在Redis缓存中新增一条数据记录前，检查Redis缓存中的数据记录是否达到最大值，若达到，则删除Redis缓存中权值最小的数据记录。

9.如权利要求6所述的热点数据缓存装置，其特征还在于，所述写入模块还包括，

用于当Redis缓存中数据记录的值为空值时，需将所述数据记录写入消息队列，并通知消息队列异步处理，使Redis缓存与所述数据库保持同步。

10.如权利要求7所述的热点数据缓存装置，其特征还在于，所述设置模块还包括，

用于设置所述数据的权值自动增加的幅度。