CN109710639A - 一种基于双缓存机制的检索方法、装置及存储介质 - Google Patents

Abstract

本发明提供了一种基于双缓存机制的检索方法、装置及存储介质，该方法包括：一级缓存检索步骤，在第一级缓存中根据查询请求进行查询，如果命中数据，则返回该命中数据，如果未命中数据，则进行二级缓存检索；二级缓存检索步骤，在第二级缓存中根据查询请求进行查询，如果命中数据，则返回该命中数据并将该命中数据写入到第一级缓存，如果未命中数据，则进行数据库检索；数据库检索步骤，在数据库中根据查询请求进行查询，如果命中数据，则返回该命中数据并将该命中数据写入到第一级缓存和第二级缓存。本发明使用redis作为二级缓存，防止使用ehcache的一级的缓存淘汰，导致请求直接穿透到数据库，也能保证不会因为服务重启产生的缓存雪崩，提高了用户体验。

Description

一种基于双缓存机制的检索方法、装置及存储介质

技术领域

本发明涉及数据库处理技术领域，特别是一种基于双缓存机制的检索方法、装置及存储介质。

背景技术

随着互联网的普及，内容信息越来越复杂，用户数和访问量越来越大，我们的应用需要支撑更多的并发量，同时我们的应用服务器和数据库服务器所做的计算也越来越多。但是，我们的服务器资源是有限的，且技术变革是缓慢的，数据库每秒能接受的请求次数也是有限的。如何利用有限的资源提供尽可能大的吞吐量，其中一个有效的办法就是引入缓存，每个计算、查询都可以从缓存中直接命中并返回，从而减少计算量，有效提升响应速度，让有限的资源服务更多的人。

现有技术中，缓存的分类有多种，而且有不同介质的区别。在目前的应用缓存架构中，比较常见的分为local cache(本地缓存)和remote cache(分布式缓存)。

本地缓存的缺点也是和应用程序耦合，多个应用程序无法直接共享内存，各应用和集群节点都要维护自己的单独缓存，对内存也是一种浪费。

分布式缓存的缺陷在于：目前web应用层面，大量数据被缓存在本地缓存(内存)中，导致启动慢(启动加载缓存)、内存占用高，且多个服务重启容易造成缓存雪崩，导致大量请求直接穿透到数据库。

缓存雪崩是指：由于原有缓存失效，新缓存未到期间(例如：设置缓存时采用了相同的过期时间，在同一时刻出现大面积的缓存过期)，所有原本应该访问缓存的请求都去查询数据库了，而对数据库CPU和内存造成巨大压力，严重的会造成数据库宕机，从而形成一系列连锁反应，造成整个***崩溃。

发明内容

本发明针对上述现有技术中的缺陷，提出了如下技术方案。

一种基于双缓存机制的检索方法，该方法包括：

一级缓存检索步骤，在第一级缓存中根据查询请求进行查询，如果命中数据，则返回该命中数据，如果未命中数据，则进行二级缓存检索；

二级缓存检索步骤，在第二级缓存中根据查询请求进行查询，如果命中数据，则返回该命中数据并将该命中数据写入到第一级缓存，如果未命中数据，则进行数据库检索；

数据库检索步骤，在数据库中根据查询请求进行查询，如果命中数据，则返回该命中数据并将该命中数据写入到第一级缓存和第二级缓存。

更进一步地，所述数据库为Mysql数据库、SQL server数据库、Oracle数据库、DB2数据库或Sybase数据库。

更进一步地，所述方法还包括：接收步骤，接收用户输入的查询请求；其中，接收步骤在一级缓存检索步骤之前执行。

更进一步地，所述方法还包括：数据库更新步骤，基于用户对数据库的修改请求对数据库进行更新操作。

更进一步地，所述对数据库进行更新操作包括：根据所述修改请求启动一个数据库修改事务，然后对所述修改请求进行解析获得需要修改的数据对象进行修改数据库的相应位置，再清除第二级缓存和第一级缓存，结束所述数据库修改事务，并返回结果。

更进一步地，所述第一级缓存为ehcache缓存，所述第二级缓存为redis。

本发明还提出了一种基于双缓存机制的检索装置，该装置包括：

一级缓存检索单元，用于在第一级缓存中根据查询请求进行查询，如果命中数据，则返回该命中数据，如果未命中数据，则进行二级缓存检索；

二级缓存检索单元，用于在第二级缓存中根据查询请求进行查询，如果命中数据，则返回该命中数据并将该命中数据写入到第一级缓存，如果未命中数据，则进行数据库检索；

数据库检索单元，用于在数据库中根据查询请求进行查询，如果命中数据，则返回该命中数据并将该命中数据写入到第一级缓存和第二级缓存。

更进一步地，所述数据库为Mysql数据库、SQL server数据库、Oracle数据库、DB2数据库或Sybase数据库。

更进一步地，所述装置还包括：接收单元，接收用户输入的查询请求；其中，接收单元的操作在一级缓存检索单元的操作之前执行。

更进一步地，所述装置还包括：数据库更新单元，用于基于用户对数据库的修改请求对数据库进行更新操作。

更进一步地，所述对数据库进行更新操作包括：根据所述修改请求启动一个数据库修改事务，然后对所述修改请求进行解析获得需要修改的数据对象进行修改数据库的相应位置，再清除第二级缓存和第一级缓存，结束所述数据库修改事务，并返回结果。

更进一步地，所述第一级缓存为ehcache缓存，所述第二级缓存为redis。

本发明还提出了一种计算机可读存储介质，所述存储介质上存储有计算机程序代码，当所述计算机程序代码被计算机执行时执行上述之任一的方法。

本发明的技术效果为：本发明通过设置了第一级缓存、第二级缓存，使得在数据库检索时先进行一级缓存的检索，如未命中目标再进行二级缓存的检索，并使用ehcache作为一级缓存，存储常用数据，既能保证缓存的高效性也能减少远程缓存的网络通信，使用redis作为二级缓存，防止ehcache的缓存淘汰，导致请求直接穿透到数据库，也能保证不会因为服务重启(利用AOF或RDB)缓存雪崩，导致大量请求直接穿透到数据库，提高了用户体验。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。

图1是根据本发明的实施例的一种基于双缓存机制的检索方法的流程图。

图2是根据本发明的实施例的一种基于双缓存机制的检索装置的结构图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了本发明的一种基于双缓存机制的检索方法，该方法包括：

一级缓存检索步骤S101，在第一级缓存中根据查询请求进行查询，如果命中数据，则返回该命中数据，如果未命中数据，则进行二级缓存检索。

二级缓存检索步骤S102，在第二级缓存中根据查询请求进行查询，如果命中数据，则返回该命中数据并将该命中数据写入到第一级缓存，如果未命中数据，则进行数据库检索。

数据库检索步骤S103，在数据库中根据查询请求进行查询，如果命中数据，则返回该命中数据并将该命中数据写入到第一级缓存和第二级缓存。

在一个实施例中，本发明的方法适应于主流的数据库，比如：Mysql数据库、SQLserver数据库、Oracle数据库、DB2数据库或Sybase数据库。

在一个实施例中，本发明的方法还包括：接收步骤S100，接收用户输入的查询请求；其中，接收步骤在一级缓存检索步骤之前执行。比如可以通过界面接收用户输入的查询请求，用户可以通过键盘输入查询请求，也可以复制一个查询请求，或者使用一个文件作为查询请求，如图片，查询请求包括需要查询的内容，如关键词等等。

在一个实施例中，所述第一级缓存为ehcache缓存，所述第二级缓存为redis。ehcache是一种广泛使用的开源Java分布式缓存。主要面向通用缓存，Java EE和轻量级容器。它具有内存和磁盘存储，缓存加载器，缓存扩展，缓存异常处理程序，一个gzip缓存servlet过滤器，支持REST和SOAP api等特点。其主要特点为：快速、简单、多种缓存策略、缓存数据有两级：内存和磁盘，因此无需担心容量问题、缓存数据会在虚拟机重启的过程中写入磁盘、可以通过RMI、可***API等方式进行分布式缓存、具有缓存和缓存管理器的侦听接口、支持多缓存管理器实例，以及一个实例的多个缓存区域、提供Hibernate的缓存实现。

redis是一个key-value存储***。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)和zset(有序集合)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持各种不同方式的排序。与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。

Redis是一个高性能的key-value数据库。redis的出现，很大程度补偿了memcached这类keyvalue存储的不足，在部分场合可以对关系数据库起到很好的补充作用。它提供了Python，Ruby，Erlang，PHP客户端，使用很方便。

本发明中的方法是将ehcache和redis缓存结合起来，提高数据的查询性能，即使用ehcache作为一级缓存，存储常用数据，既能保证缓存的高效性也能减少远程缓存的网络通信，使用redis作为二级缓存，防止ehcache的缓存淘汰，导致请求直接穿透到数据库，也能保证不会因为服务重启(利用AOF或RDB)缓存雪崩，导致大量请求直接穿透到数据库，提高了用户体验，这是本发明的重要的发明点之一。

在一个实施例中，所述方法还包括：数据库更新步骤S104，基于用户对数据库的修改请求对数据库进行更新操作。其中，所述对数据库进行更新操作包括：根据所述修改请求启动一个数据库修改事务，然后对所述修改请求进行解析获得需要修改的数据对象进行修改数据库的相应位置，再清除第二级缓存和第一级缓存，结束所述数据库修改事务，并返回结果。以mysql数据库为例，缓存的清除要放在事务中，mysql事务的默认隔离级别是可重复读。如果缓存放在事务外进行清除，缓存清除失败，会造成脏读。这是本发明的另一个重要发明点。

本发明的方法防止查询请求直接穿透到数据库进行查询操作，也能保证不会因为服务重启(利用AOF或RDB)的缓存雪崩，导致大量请求直接穿透到数据库，提高了用户体验。

进一步参考图2，作为对上述图1所示方法的实现，本申请提供了种基于双缓存机制的检索装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可以包含于各种电子设备中。

图2示出了本发明的一种基于双缓存机制的检索装置，该装置包括：

一级缓存检索单元201，用于在第一级缓存中根据查询请求进行查询，如果命中数据，则返回该命中数据，如果未命中数据，则进行二级缓存检索。

二级缓存检索单元202，用于在第二级缓存中根据查询请求进行查询，如果命中数据，则返回该命中数据并将该命中数据写入到第一级缓存，如果未命中数据，则进行数据库检索。

数据库检索单元203，用于在数据库中根据查询请求进行查询，如果命中数据，则返回该命中数据并将该命中数据写入到第一级缓存和第二级缓存。

在一个实施例中，本发明的装置适应于主流的数据库，比如：Mysql数据库、SQLserver数据库、Oracle数据库、DB2数据库或Sybase数据库。

在一个实施例中，本发明的装置还包括：接收单元200，接收用户输入的查询请求；其中，接收单元的操作在一级缓存检索单元的操作之前执行。比如可以通过界面接收用户输入的查询请求，用户可以通过键盘输入查询请求，也可以复制一个查询请求，或者使用一个文件作为查询请求，如图片，查询请求包括需要查询的内容，如关键词等等。

在一个实施例中，所述第一级缓存为ehcache缓存，所述第二级缓存为redis。ehcache是一种广泛使用的开源Java分布式缓存。主要面向通用缓存，Java EE和轻量级容器。它具有内存和磁盘存储，缓存加载器，缓存扩展，缓存异常处理程序，一个gzip缓存servlet过滤器，支持REST和SOAP api等特点。其主要特点为：快速、简单、多种缓存策略、缓存数据有两级：内存和磁盘，因此无需担心容量问题、缓存数据会在虚拟机重启的过程中写入磁盘、可以通过RMI、可***API等方式进行分布式缓存、具有缓存和缓存管理器的侦听接口、支持多缓存管理器实例，以及一个实例的多个缓存区域、提供Hibernate的缓存实现。

redis是一个key-value存储***。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)和zset(有序集合)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持各种不同方式的排序。与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。

Redis是一个高性能的key-value数据库。redis的出现，很大程度补偿了memcached这类keyvalue存储的不足，在部分场合可以对关系数据库起到很好的补充作用。它提供了Python，Ruby，Erlang，PHP客户端，使用很方便。

本发明中的装置是将ehcache和redis缓存结合起来，提高数据的查询性能，即使用ehcache作为一级缓存，存储常用数据，既能保证缓存的高效性也能减少远程缓存的网络通信，使用redis作为二级缓存，防止ehcache的缓存淘汰，导致请求直接穿透到数据库，也能保证不会因为服务重启(利用AOF或RDB)缓存雪崩，导致大量请求直接穿透到数据库，提高了用户体验，这是本发明的重要的发明点之一。

在一个实施例中，所述装置还包括：数据库更新单元204，用于基于用户对数据库的修改请求对数据库进行更新操作。其中，所述对数据库进行更新操作包括：根据所述修改请求启动一个数据库修改事务，然后对所述修改请求进行解析获得需要修改的数据对象进行修改数据库的相应位置，再清除第二级缓存和第一级缓存，结束所述数据库修改事务，并返回结果。以mysql数据库为例，缓存的清除要放在事务中，mysql事务的默认隔离级别是可重复读。如果缓存放在事务外进行清除，缓存清除失败，会造成脏读。这是本发明的另一个重要发明点。

本发明的装置防止查询请求直接穿透到数据库进行查询操作，也能保证不会因为服务重启(利用AOF或RDB)的缓存雪崩，导致大量请求直接穿透到数据库，提高了用户体验。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

最后所应说明的是：以上实施例仅以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应当理解：依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。

Claims (13)

1.一种基于双缓存机制的检索方法，其特征在于，该方法包括：

一级缓存检索步骤，在第一级缓存中根据查询请求进行查询，如果命中数据，则返回该命中数据，如果未命中数据，则进行二级缓存检索；

二级缓存检索步骤，在第二级缓存中根据查询请求进行查询，如果命中数据，则返回该命中数据并将该命中数据写入到第一级缓存，如果未命中数据，则进行数据库检索；

数据库检索步骤，在数据库中根据查询请求进行查询，如果命中数据，则返回该命中数据并将该命中数据写入到第一级缓存和第二级缓存。

2.根据权利要求1所述的方法，其特征在于，所述数据库为Mysql数据库、SQL server数据库、Oracle数据库、DB2数据库或Sybase数据库。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收步骤，接收用户输入的查询请求；

其中，接收步骤在一级缓存检索步骤之前执行。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

数据库更新步骤，基于用户对数据库的修改请求对数据库进行更新操作。

5.根据权利要求4所述的方法，其特征在于，所述对数据库进行更新操作包括：根据所述修改请求启动一个数据库修改事务，然后对所述修改请求进行解析获得需要修改的数据对象进行修改数据库的相应位置，再清除第二级缓存和第一级缓存，结束所述数据库修改事务，并返回结果。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述第一级缓存为ehcache缓存，所述第二级缓存为redis。

7.一种基于双缓存机制的检索装置，其特征在于，该装置包括：

一级缓存检索单元，用于在第一级缓存中根据查询请求进行查询，如果命中数据，则返回该命中数据，如果未命中数据，则进行二级缓存检索；

二级缓存检索单元，用于在第二级缓存中根据查询请求进行查询，如果命中数据，则返回该命中数据并将该命中数据写入到第一级缓存，如果未命中数据，则进行数据库检索；

数据库检索单元，用于在数据库中根据查询请求进行查询，如果命中数据，则返回该命中数据并将该命中数据写入到第一级缓存和第二级缓存。

8.根据权利要求7所述的装置，其特征在于，所述数据库为Mysql数据库、SQL server数据库、Oracle数据库、DB2数据库或Sybase数据库。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

接收单元，接收用户输入的查询请求；

其中，接收单元的操作在一级缓存检索单元的操作之前执行。

10.根据权利要求7所述的装置，其特征在于，所述装置还包括：

数据库更新单元，用于基于用户对数据库的修改请求对数据库进行更新操作。

11.根据权利要求10所述的装置，其特征在于，所述对数据库进行更新操作包括：根据所述修改请求启动一个数据库修改事务，然后对所述修改请求进行解析获得需要修改的数据对象进行修改数据库的相应位置，再清除第二级缓存和第一级缓存，结束所述数据库修改事务，并返回结果。

12.根据权利要求7-11任一项所述的装置，其特征在于，所述第一级缓存为ehcache缓存，所述第二级缓存为redis。

13.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序代码，当所述计算机程序代码被计算机执行时执行权利要求1-6之任一的方法。