CN103116634A - 支持高并发缓存任务队列的***及其异步批量操作方法 - Google Patents

Abstract

本发明提供一种支持高并发缓存任务队列的***及其异步批量操作方法。一种支持高并发缓存任务队列的***包括移动终端，所述移动终端包含第一远程访问模块；服务器端，所述服务器端包含缓存、阻塞队列、数据库和第二远程访问模块；其中所述缓存具有黑名单，用以存储被删除的数据，所述黑名单使用过期时间值，所述移动终端通过第一远程访问模块访问服务器端，所述服务器端通过第二远程访问模块与移动终端通信。该***提高了效率和响应速度，并消除了异步方式发生错误的可能。

Description

支持高并发缓存任务队列的***及其异步批量操作方法

技术领域

本发明涉及一种移动互联网服务端高速共享存储，具体来说，涉及一种支持高并发缓存任务队列的***及其异步批量操作方法。

背景技术

目前移动终端的导航软件越来越受到各个车主的喜爱，信息的快速共享将成为其中的功能之一。而快速的共享存储功能是该软件中要解决的重要问题。国内有一个发明名称为 “移动终端共享存储空间的方法及其***”、专利申请号为“200510031056.4”的专利在共享存储技术方面做了一些改进。该发明专利公开了一种移动终端共享存储空间的方法及其***，使得移动终端可在网络侧申请共享文件空间，供自身或其它移动终端访问。其中移动终端向网络侧服务器申请共享存储空间，如申请有效则网络侧服务器为其分配共享存储空间并生成或从该移动终端获得认证信息，该移动终端或其它移动终端通过该认证信息登录到网络侧服务器后，可对该共享存储空间进行读写。共享存储空间可以预先设定存续时间，超过该存续时间后由网络侧服务器自动释放该空间；也可以不设定存续时间，在申请该空间的移动终端提出释放请求时释放该共享存储空间。

但是此种方式存在的问题是：对于数据量不大的情况下，高并发的请求的处理效率不高。

对于高并发的请求，一般服务器会用到缓存、消息队列和批量操作，这种情况下在处理外部存储操作的请求时，服务器端会对每个添加请求用一个线程处理，首先将数据存储在缓存中，然后将该请求加入队列中，在异步后台线程中将队列中的数据取出批量加入到数据库中；在查询时都以同步的方式操作缓存（即先从缓存中取，如果缓存中不存在，则到数据库中取，然后把取到的数据存入缓存）。这种方式的查询利于处理高并发的查询操作，而对于增加、修改、删除操作使用缓存的方式操作会带来数据操作效率低的问题。但是用异步方式处理增加、修改、删除等操作，尤其是删除，要特别注意，会带来数据的不一致的问题。

处理不当时，请求操作的次序会影响处理结果。例如先增加几条记录，再把所增加的几条记录都删除了，然后马上查询一下，那么***会先把加入的记录放到缓存，异步队列的线程会往数据库中加入数据；然后再把缓存的数据给删了，由于是异步操作，数据还没来得及从数据库中删除；这时候去查询时，首先数据不在缓存中，程序会到数据库中查找，由于数据库的数据还没删除，所以就查出结果了。这样结果是错的，当然这种错误发生的概率比较小，但还是会出现的。

发明内容

本发明要解决的技术问题在于，针对传统存取方法效率不高的问题，以及异步方式可能发生错误的不足，提供一种异步批量操作的方法。

为实现上述目的，本发明提出了一种支持高并发缓存任务队列的***，其特征在于，所述***包括：移动终端，所述移动终端包含第一远程访问模块；服务器端，所述服务器端包含缓存、阻塞队列、数据库和第二远程访问模块；其中所述缓存具有黑名单，用以存储被删除的数据，所述黑名单使用过期时间值，所述移动终端通过第一远程访问模块访问服务器端，所述服务器端通过第二远程访问模块与移动终端通信。

根据本发明的实施例，其中所述过期时间值表示到了指定的间隔时间，将被删除的数据从缓存中移除，或者在处理完异步队列的操作后把相应黑名单从缓存中删除。

根据本发明的实施例，其中在服务器端，使用缓存把数据存储在内存中，所述缓存采用过时失效的方式，把移动终端请求的数据放到阻塞队列中，一组相关操作的同类数据使用同一个阻塞队列，不同的请求类型使用一个类型字段区分开来，并一起存入阻塞队列，所述阻塞队列每次从头部取出数据，或者向尾部添加数据，把不相关类型的数据存入不同的阻塞队列中；每一个阻塞队列使用一个线程在后台进行定时处理，所述阻塞队列在启动时读入上次未处理完的持久化的数据，在所述***关闭时将队列未处理完的数据持久化到硬盘。

为实现上述目的，一种用于实现异步批量操作的方法，所述方法包括如下步骤：

在服务器端把数据存储在缓存中，所述缓存采用过时失效的方式；

把移动终端请求的数据放到请求队列中，一组相关操作的同类数据使用同一个请求队列，不同的请求类型使用一个类型字段区分开来，并一起存入请求队列，所述请求队列每次从头部取出数据、向尾部添加数据，把不相关类型的数据存入不同的请求队列中；

使用一个线程在后台对每一个请求队列进行定时处理，所述请求队列在启动时读入上次未处理完的持久化的数据，在***关闭时将队列未处理完的数据持久化到硬盘；

当处理异步批量删除操作时，将被删除数据的标识存入黑名单，所述黑名单在缓存中使用过期时间值。

根据本发明的实施例，其中所述过期时间值表示到了指定的间隔时间，将被删除数据从缓存中移除，或者在处理完异步队列的操作后把相应黑名单从缓存中删除。

根据本发明的实施例，其中每个队列具有指定的最长长度、最长间隔处理时间、轮询一次请求队列的时间间隔、每次请求的最大数据量和进行批量请求处理的请求数量值。

根据本发明的实施例，所述方法还包括用于实现批量查询操作的以下步骤：

解析请求参数以判断请求类型和请求参数的合法性；

根据查询参数搜索缓存，查看数据是否在删除的黑名单缓存中，如果在黑名单中则不在结果中列出查询结果；如果不在黑名单中，则从缓存中批量取出该操作的数据；如果缓存中没有该操作的数据，则从数据库中批量取出数据，并将其加入到缓存中；

将取出的数据返回给移动终端。

根据本发明的实施例，所述方法还包括用于实现异步批量删除操作的以下步骤：

将请求数据的标识加入到黑名单中；

在缓存中把相应的请求数据删除；

把请求数据和请求类型存入请求队列后返回；

待相应的队列处理线程以轮询的方式从请求队列中取出请求，从数据库中删除相应的请求数据。

根据本发明的实施例，所述方法还包括用于实现异步批量修改操作的以下步骤：

查看请求数据是否在删除的黑名单缓存中，如果在黑名单中则不执行修改操作；如果不在黑名单中，则从缓存中查找相关数据并修改，并将修改后的数据保存入缓存中；

把该请求类型和请求数据添加到请求队列尾部返回；

由队列处理线程异步地把请求从请求队列头部取出，并将请求数据批量修改到数据库中。

根据本发明的实施例，所述方法还包括用于实现异步批量添加操作的以下步骤：

检查请求数据是否合法，如果不合法则返回参数非法；否则继续；

调用缓存服务，将请求的数据批量添加到缓存；

将请求类型和请求数据批量加入到请求队列的尾部后返回；

由队列处理线程把请求队列头部的请求数据取出，批量添加到数据库中。

本发明的有益效果为：提高了效率和响应速度，并消除了异步方式发生错误的可能。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1为根据本发明一实施例的支持高并发缓存任务队列的***100示意图；

图2为根据本发明一实施例的异步批量操作方法流程示意图200；

图3为根据本发明一实施例的批量查询操作方法流程示意图300；

图4为根据本发明一实施例的异步批量删除操作方法流程示意图400；

图5为根据本发明一实施例的异步批量修改操作方法流程示意图500；

图6为根据本发明一实施例的异步批量添加操作方法流程示意图600。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明进一步详细说明：

图1为根据本发明一实施例的支持高并发缓存任务队列的***100示意图。如图1所示，所述***100包括：移动终端101，所述移动终端101包含第一远程访问模块30；服务器端102，所述服务器端102包含缓存10，阻塞队列20、数据库40和第二远程访问模块50；其中所述缓存10具有黑名单11，用以存储被删除的数据，所述黑名单11使用过期时间值，所述移动终端101通过第一远程访问模块30访问服务器端102，所述服务器端通过第二远程访问模块50与移动终端101通信。

在一个实施例中，过期时间值表示到了指定的间隔时间，将被删除的数据从缓存10中移除，或者在处理完异步队列的操作后把相应黑名单11从缓存中删除。

在***100运行时，在服务器端101，使用缓存10存储数据，所述缓存10采用过时失效的方式（即在经过一定时间后，让缓存失效），把移动终端101请求的数据放到阻塞队列20中，一组相关操作的同类数据使用同一个请求队列（即，阻塞队列20），不同的请求类型使用一个类型字段区分开来，并一起存入请求队列，所述请求队列每次从头部取出数据，或者向尾部添加数据，把不相关类型的数据存入不同的请求队列中，其中，一组相关操作例如是指对同一个表的批量添加、批量修改、批量删除、批量查询操作，一组相关操作涉及的数据为同类数据，这里只是对一组相关操作进行例示，其含义并不局限于此，例如也可指对有外键关联的表的批量操作或者数据库操作中的其他相关操作等等。在服务器端102，每一个请求队列使用一个线程在后台进行定时处理，所述请求队列在启动时读入上次未处理完的持久化的数据，在***100关闭时将队列未处理完的数据持久化到硬盘。

图2为根据本发明一实施例的用于支持高并发缓存任务队列的***的异步批量操作方法流程示意图200。所述异步队列批量操作包括：异步批量添加操作、异步批量删除操作、异步批量修改操作和批量查询操作，所述方法包括：步骤201，在服务器端，使用缓存把数据存储在内存中，所述缓存采用过时失效的方式；把移动终端请求的数据放到阻塞队列中，一组相关操作的同类数据使用同一个请求队列（即，阻塞队列），不同的请求类型使用一个类型字段区分开来，并一起存入请求队列，所述请求队列每次从头部取出数据，或者向尾部添加数据，把不相关类型的数据存入不同的请求队列中，其中，一组相关操作例如是指对同一个表的批量添加、批量修改、批量删除、批量查询操作，一组相关操作涉及的数据为同类数据，这里只是对一组相关操作进行例示，其含义并不局限于此，例如也可指对有外键关联的表的批量操作或者数据库操作中的其他相关操作等等；每一个请求队列使用一个线程在后台进行定时处理，所述请求队列在启动时读入上次未处理完的持久化的数据，在***关闭时将队列未处理完的数据持久化到硬盘；步骤202，当处理异步批量删除的操作时，将被删除数据的标识存入黑名单，所述黑名单在缓存中使用过期时间值。

在一个实施例中，每个队列具有指定的最长长度（即队列中最多有多少条请求）、最长间隔处理时间（就是说如果请求条数不够，最长间隔多长时间批量处理一次队列请求）、轮询一次请求队列的时间间隔、每次请求的最大数据量和进行批量请求处理的请求数量值（即达到最多有多少待处理的请求数量时进行批量请求处理）。

图3为根据本发明一实施例的批量查询操作方法流程示意图300。如图3所示，所述批量查询操作包括如下步骤：步骤301，解析请求参数以判断请求类型和请求参数的合法性。步骤302，根据查询参数搜索缓存，查看数据是否在黑名单中，如果在黑名单中，则进入步骤303；如果不在黑名单中，则进入步骤304，其中，本领域技术人员可以理解的是，请求参数可以是请求时传递过来的已经序列化的一串带格式的加密过的数据，需要进行一定处理后才能使用；查询参数可以是对请求参数做过处理后用于查询参数，例如解析、类型转换和/或数据验证后的数据。步骤303，不在结果中列出查询结果，并结束所述查询操作。步骤304，从缓存中批量取出该操作的数据；如果缓存中没有该操作的数据，则从数据库中批量取出数据，并将其加入到缓存中；步骤305，将取出的数据返回给移动终端，并结束所述查询操作。

在一个实施例中，查询请求在请求队列中没有记录，不需要队列处理线程做任何处理。

图4为根据本发明一实施例的异步批量删除操作方法流程示意图400。如图4所示，所述异步批量删除操作包括如下步骤：步骤401，将请求数据的标识加入到黑名单中；步骤402，在缓存中把相应的请求数据删除；步骤403，把请求的数据和请求类型存入请求队列后返回；步骤404，待相应的队列处理线程以轮询的方式从请求队列中取出请求，从数据库中删除相应的请求数据。

在一个实施例中，对于待删除数据的黑名单缓存中的数据，可以在每次队列中相应删除请求处理完成后将其清除，也可以使用缓存过期来删除掉。

图5为根据本发明一实施例的异步批量修改操作方法流程示意图500。如图5所示，所述异步批量修改操作包括如下步骤：步骤501，查看请求数据是否在黑名单中，如果在黑名单中则进入步骤502；如不在黑名单中则进入步骤503。步骤502，不执行修改操作，并结束所述修改操作。步骤503，从缓存中查找相关数据并修改，并将修改后的数据保存入缓存中。步骤504，把该请求类型和请求数据添加到请求队列尾部，返回；步骤505，由队列处理线程异步地把请求从请求队列头部取出，并将请求数据批量修改到数据库中后结束所述修改操作。

图6为根据本发明一实施例的异步批量添加操作方法流程示意图600。如图6所示，所述异步批量添加操作包括如下步骤：步骤601，检查请求数据是否合法，如果不合法则进入步骤602，如果合法则进入步骤603。步骤602返回参数非法并结束所述添加操作。步骤603，调用缓存服务，将请求的数据批量添加到缓存；步骤604，将请求类型和请求数据批量加入到请求队列的尾部；步骤605，由队列处理线程把队列头部的请求数据取出，批量添加到数据库中后结束所述添加操作。

本发明通过将不同的操作使用相同的阻塞队列来异步操作，解决了不同队列线程处理相关数据的不同操作时，执行顺序不确定而导致的问题；通过使用黑名单来缓存被删除的数据的键，将黑名单的数据存储在分布式内存缓存中，在查询前判断被查的数据是否在黑名单的缓存中，解决了服务器处理相关数据时，异步删除操作后的客户得到的数据不一致问题；同时使用缓存、异步队列和批量处理的方式，解决了数据高并发时的***性能问题。基于该技术研发出来的各类产品，对国内导航产品以通过兴趣点信息作为行驶指引的服务器端操作进行了变革，为辅助以实时路况信息进行导航的产品发布和概念推广起到了积极作用，衍生而出的产品更加具有用户的认知度。因此，本发明提出的上述支持高并发缓存任务队列的***和异步批量操作方法，提高了效率和响应速度，并消除了异步方式发生错误的可能。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。***权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。 

Claims (10)

1.一种支持高并发缓存任务队列的***，其特征在于，所述***包括：

移动终端，所述移动终端包含第一远程访问模块；

服务器端，所述服务器端包含缓存、阻塞队列、数据库和第二远程访问模块；其中

所述缓存具有黑名单，用以存储被删除的数据，所述黑名单使用过期时间值，所述移动终端通过第一远程访问模块访问服务器端，所述服务器端通过第二远程访问模块与移动终端通信。

2.如权利要求1所述的***，其特征在于，其中

在服务器端，使用缓存存储数据，所述缓存采用过时失效的方式，把移动终端请求的数据放到阻塞队列中，一组相关操作的同类数据使用同一个阻塞队列，不同的请求类型使用一个类型字段区分开来，并一起存入阻塞队列，所述阻塞队列每次从头部取出数据，或者向尾部添加数据，把不相关类型的数据存入不同的阻塞队列中；

每一个阻塞队列使用一个线程在后台进行定时处理，所述阻塞队列在启动时读入上次未处理完的持久化的数据，在所述***关闭时将队列未处理完的数据持久化到硬盘。

3.如权利要求1所述的***，其特征在于，所述过期时间值表示到了指定的间隔时间，将被删除的数据从缓存中移除，或者在处理完异步队列的操作后把相应黑名单从缓存中删除。

4.一种用于实现异步批量操作的方法，其特征在于，所述方法包括如下步骤：

在服务器端把数据存储在缓存中，所述缓存采用过时失效的方式；

把移动终端请求的数据放到请求队列中，一组相关操作的同类数据使用同一个请求队列，不同的请求类型使用一个类型字段区分开来，并一起存入请求队列，所述请求队列每次从头部取出数据、向尾部添加数据，把不相关类型的数据存入不同的请求队列中；

在后台对每一个请求队列使用一个线程进行定时处理，所述请求队列在启动时读入上次未处理完的持久化的数据，在***关闭时将队列未处理完的数据持久化到硬盘；

当处理异步批量删除操作时，将被删除数据的标识存入黑名单，所述黑名单在缓存中使用过期时间值。

5.如权利要求4所述的方法，其特征在于，所述过期时间值表示到了指定的间隔时间，将被删除数据从缓存中移除，或者在处理完异步队列的操作后把相应黑名单从缓存中删除。

6.如权利要求4所述的方法，其特征在于，每个队列具有指定的最长长度、最长间隔处理时间、轮询一次请求队列的时间间隔、每次请求的最大数据量和进行批量请求处理的请求数量值。

7.如权利要求4所述的方法，其特征在于，所述方法还包括用于实现批量查询操作的以下步骤：

解析请求参数以判断请求类型和请求参数的合法性；

根据查询参数搜索缓存，查看数据是否在删除的黑名单缓存中，如果在黑名单中则不在结果中列出查询结果；如果不在黑名单中，则从缓存中批量取出该操作的数据；如果缓存中没有该操作的数据，则从数据库中批量取出数据，并将其加入到缓存中；

将取出的数据返回给移动终端。

8.如权利要求4所述的方法，其特征在于，所述方法还包括用于实现异步批量删除操作的以下步骤：

将请求数据的标识加入到黑名单中；

在缓存中把相应的请求数据删除；

把请求数据和请求类型存入请求队列后返回；

待相应的队列处理线程以轮询的方式从请求队列中取出请求，从数据库中删除相应的请求数据。

9.如权利要求4所述的方法，其特征在于，所述方法还包括用于实现异步批量修改操作的以下步骤：

查看请求数据是否在删除的黑名单缓存中，如果在黑名单中则不执行修改操作；如果不在黑名单中，则从缓存中查找相关数据并修改，并将修改后的数据保存入缓存中；

把该请求类型和请求数据添加到请求队列尾部后返回；

由队列处理线程异步地把请求从请求队列头部取出，并将请求数据批量修改到数据库中。

10.如权利要求4所述的方法，其特征在于，所述方法还包括用于实现异步批量添加操作的以下步骤：

检查请求数据是否合法，如果不合法则返回参数非法；否则继续；

调用缓存服务，将请求的数据批量添加到缓存；

将请求类型和请求数据批量加入到请求队列的尾部后返回；

由队列处理线程把请求队列头部的请求数据取出，批量添加到数据库中。

Images