CN112351096B - 一种大数据场景下消息处理的方法及终端 - Google Patents

Abstract

本发明提供了一种大数据场景下消息处理的方法及终端，在redis集群的每个redis节点上构建Nginx、lua与redis组成的代理，代理可执行lua脚本；将代理与自身所在的redis节点及其余redis节点所对应的代理之间都建立长连接；通过lua脚本及所述长连接，将单个redis节点接收的数据在redis集群中进行集合运算；本发明通过在redis集群的每个redis节点上构建代理，使得每个redis节点都能通过代理与redis集群中的其余redis节点建立长连接进行数据传递，并且保证了每个redis节点的独立性，使得批量运算还可以执行，并且能够在redis集群中进行分布式计算。

Description

一种大数据场景下消息处理的方法及终端

技术领域

本发明涉及大数据处理领域，尤其涉及一种大数据场景下消息处理的方法及终端。

背景技术

随着公司的项目日益增多，规模日益增大，大部分项目都需要用到redis缓存服务器进行数据的缓存。

现有技术中各项目都实现了自身通过redis进行消息处理的功能，但是对于某些特定业务功能，比如PUSH或者其他需要在缓存中进行快速交并差计算的功能实现的并不是很好；造成这种现象的主要原因为redis集群的实现方式，在redis官方集群方式提出之前，使用其他软件提供的redis伪集群方式并无相关的交并差计算功能；之后，redis官方提供的sentinal模式的集群模式为现在redis通用的集群方式即cluster redis方式。

因cluster redis为官方提供的集群方式，使用cluster redis方式进行redis集群在扩容时，集群内部的slot可以自动重新分组(16000个slot均分在不同的集群节点上)；但其基本不支持集合运算。(只有当所计算的key均在同一节点上才可支持集群计算)；并且其不支持pipeline进行批量数据写入，在处理大量数据时的效率较慢；(pipeline只支持非集群单节点方式，与使用cluster redis进行集群产生冲突)因此，采用cluster redis方式，使得数据不支持缓存数据的集合计算，同时，无批量写入功能，吞吐较差。

发明内容

本发明所要解决的技术问题是：提供一种大数据场景下消息处理的方法及终端，实现在redis集群中进行集合计算。

为了解决上述技术问题，本发明采用的一种技术方案为：

一种大数据场景下消息处理的方法，包括步骤：

S1、在redis集群的每个redis节点上构建Nginx、lua与redis组成的代理，所述代理可执行lua脚本；

S2、将所述代理与自身所在的所述redis节点及其余所述redis节点所对应的所述代理之间都建立长连接；

S3、通过所述lua脚本及所述长连接，将单个所述redis节点接收的数据在redis集群中进行集合运算。

为了解决上述技术问题，本发明采用的另一种技术方案为：

一种大数据场景下消息处理的终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

S1、在redis集群的每个redis节点上构建Nginx、lua与redis组成的代理，所述代理可执行lua脚本；

S2、将所述代理与自身所在的所述redis节点及其余所述redis节点所对应的所述代理之间都建立长连接；

S3、通过所述lua脚本及所述长连接，将单个所述redis节点接收的数据在redis集群中进行集合运算。

本发明的有益效果在于：通过在单个redis集群的每个redis节点上构建代理，代理由Nginx、lua与redis组成每个redis节点都能通过代理与redis集群中的其余redis节点建立长连接进行数据传递，通过代理连接各个redis节点，实现将单个redis节点所接收的数据在redis集群中进行集合运算，解决了现有技术中redis集群式布局不能进行集合运算的问题，将集合运算分摊到多个redis节点中进行，适合大数据场景下的数据处理，能够显著提高进行集合运算的效率。

附图说明

图1为本发明实施例的一种大数据场景下消息处理的方法的步骤流程图；

图2为本发明实施例的一种大数据场景下消息处理的终端的结构示意图；

图3为本发明实施例的一种Nginx+lua+redis的代理连接示意图；

标号说明：

1、一种大数据场景下消息处理的终端；2、处理器；3、存储器。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

请参照图1，一种大数据场景下消息处理的方法，包括步骤：

S1、在redis集群的每个redis节点上构建Nginx、lua与redis组成的代理，所述代理可执行lua脚本；

S2、将所述代理与自身所在的所述redis节点及其余所述redis节点所对应的所述代理之间都建立长连接；

S3、通过所述lua脚本及所述长连接，将单个所述redis节点接收的数据在redis集群中进行集合运算。

从上述描述可知，本发明的有益效果在于：通过在单个redis集群的每个redis节点上构建代理，代理由Nginx、lua与redis组成每个redis节点都能通过代理与redis集群中的其余redis节点建立长连接进行数据传递，通过代理连接各个redis节点，而不是直接使用官方的集群模式构建redis集群，不影响单个redis的独立性，实现将单个redis节点所接收的数据在redis集群中进行集合运算，解决了现有技术中redis集群式布局不能进行集合运算的问题，将集合运算分摊到多个redis节点中进行，适合大数据场景下的数据处理，能够显著提高进行集合运算的效率。

进一步的，还包括：

通过所述lua脚本在单个第一redis节点上批量执行redis命令；

通过所述长连接将所述redis命令发送到其他redis节点上进行批量执行。

由上述描述可知，通过lua脚本，能够在单个redis上实现批量执行redis命令，通过代理还可将redis命令发送到其他redis节点上进行执行，实现了redis集群中的redis命令批量处理，并且增加了执行redis命令的灵活性。

进一步的，所述S1之前还包括：

构建redis集群，所述redis集群为分布式redis集群；

根据一致性哈希算法定位所述redis集群中每一所述redis节点的位置。

由上述描述可知，在构建redis集群时，通过一致性哈希算法定位每一redis节点的位置，在进行数据存取时，一致性哈希算法一定程度上实现了数据在各个节点上的较平均的分布，且为每个redis分配了唯一标识，方便了各个redis节点之间的通信。

进一步的，所述S3中所述将单个所述redis节点接收的数据在redis集群中进行集合运算具体为：

S31、将所述redis集群中的所述redis节点进行分层，为每一所述redis节点分配层级；

S32、根据所述层级对所述redis节点进行排序，最末一层级只包括一个redis节点，同一层级的所述redis节点可并行进行集合运算；

S33、根据所述层级在每一层逐一进行集合运算获取运算结果，直至最末一层级；

S34、输出所述运算结果。

由上述描述可知，将各个redis节点根据具体的业务需要进行分层，同一层中的节点能够同步执行计算，将大数据量的处理进行分摊，加快了数据处理的速度，最末节点为单个，汇总其余节点处理之后的数据进行补漏，尤其适合于大数据量的集合运算，实现了在redis集群中进行进行集合运算。

进一步的，所述通过所述lua脚本在单个第一redis节点上批量执行redis命令具体为：

通过所述lua脚本在单个第一redis节点上运行pipeline以批量执行所述redis命令。

由上述描述可知，通过lua执行lua脚本，通过对lua脚本内容的改变实现在单个节点上运行pipeline，最终实现对redis命令的批量执行。

请参照图2，一种大数据场景下消息处理的终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

S1、在redis集群的每个redis节点上构建Nginx、lua与redis组成的代理，所述代理可执行lua脚本；

S2、将所述代理与自身所在的所述redis节点及其余所述redis节点所对应的所述代理之间都建立长连接；

S3、通过所述lua脚本及所述长连接，将单个所述redis节点接收的数据在redis集群中进行集合运算。

本发明的有益效果在于：通过在单个redis集群的每个redis节点上构建代理，代理由Nginx、lua与redis组成每个redis节点都能通过代理与redis集群中的其余redis节点建立长连接进行数据传递，通过代理连接各个redis节点，而不是直接使用官方的集群模式构建redis集群，不影响单个redis的独立性，实现将单个redis节点所接收的数据在redis集群中进行集合运算，解决了现有技术中redis集群式布局不能进行集合运算的问题，将集合运算分摊到多个redis节点中进行，适合大数据场景下的数据处理，能够显著提高进行集合运算的效率。

进一步的，还包括：

通过所述lua脚本在单个第一redis节点上批量执行redis命令；

通过所述长连接将所述redis命令发送到其他redis节点上进行批量执行。

由上述描述可知，通过lua脚本，能够在单个redis上实现批量执行redis命令，通过代理还可将redis命令发送到其他redis节点上进行执行，实现了redis集群中的redis命令批量处理，并且增加了执行redis命令的灵活性。

进一步的，所述S1之前还包括：

构建redis集群，所述redis集群为分布式redis集群；

根据一致性哈希算法定位所述redis集群中每一所述redis节点的位置。

由上述描述可知，在构建redis集群时，通过一致性哈希算法定位每一redis节点的位置，在进行数据存取时，一致性哈希算法一定程度上实现了数据在各个节点上的较平均的分布，且为每个redis分配了唯一标识，方便了各个redis节点之间的通信。

进一步的，所述S3中所述将单个所述redis节点接收的数据在redis集群中进行集合运算具体为：

S31、将所述redis集群中的所述redis节点进行分层，为每一所述redis节点分配层级；

S32、根据所述层级对所述redis节点进行排序，最末一层级只包括一个redis节点，同一层级的所述redis节点可并行进行集合运算；

S33、根据所述层级在每一层逐一进行集合运算获取运算结果，直至最末一层级；

S34、输出所述运算结果。

由上述描述可知，将各个redis节点根据具体的业务需要进行分层，同一层中的节点能够同步执行计算，将大数据量的处理进行分摊，加快了数据处理的速度，最末节点为单个，汇总其余节点处理之后的数据进行补漏，尤其适合于大数据量的集合运算，实现了在redis集群中进行进行集合运算。

进一步的，所述通过所述lua脚本在单个第一redis节点上批量执行redis命令具体为：

通过所述lua脚本在单个第一redis节点上运行pipeline以批量执行所述redis命令。

由上述描述可知，通过lua执行lua脚本，通过对lua脚本内容的改变实现在单个节点上运行pipeline，最终实现对redis命令的批量执行。

请参照图1，本发明的实施例一为：

一种大数据场景下消息处理的方法，包括步骤：

S1、构建redis集群，所述redis集群为分布式redis集群；根据一致性哈希算法定位所述redis集群中每一所述redis节点的位置；

在一种可选的实施方式中，客户端与redis集群的连接方式可为与redis集群中的一个或数个redis节点进行连接或与每隔一redis节点进行连接；即客户端与redis集群中redis节点的具体连接方式为可配置；

S2、在redis集群的每个redis节点上构建Nginx、lua与redis组成的代理，所述代理可执行lua脚本；

不限于S2步骤中：Nginx可用于集成lua脚本并进行请求的分流，将请求分流到不同redis节点的Nginx上以减少本节点的流量，避免形成热区；通过所述lua脚本可以在单个第一redis节点上批量执行redis命令，具体为：通过所述lua脚本在单个第一redis节点上运行pipeline以批量执行所述redis命令；并且，通过所述长连接可以将所述redis命令发送到其他redis节点上进行批量执行，具体的，通过一致性哈希算法进行迁移；

其中，lua的协程实现任务调度和唤醒；

S3、将所述代理与自身所在的所述redis节点及其余所述redis节点所对应的所述代理之间都建立长连接；

S4、通过所述lua脚本及所述长连接，将单个所述redis节点接收的数据在redis集群中进行集合运算；请参照图3，客户端发送数据计算命令后，各个redis节点从数据库或其他数据源中获取与数据计算命令相关的数据信息，由代理进行逻辑控制，之后调用本redis节点的pipeline进行数据写入及批量执行命令的工作生成计算结果，代理根据计算结果判断是否需要移交至其余节点进行交并差(集合的交集、并集及差集)操作，若是，则将计算结果返回并结束任务；否则，将计算结果返回并根据一致性哈希算法移交剩余数据。

请参照图3，本发明的实施例二为：

一种大数据场景下消息处理的方法，其与实施例一的不同之处在于：

上述S3中将单个所述redis节点接收的数据在redis集群中进行集合运算具体为：

S31、将所述redis集群中的所述redis节点进行分层，为每一所述redis节点分配层级；

S32、根据所述层级对所述redis节点进行排序，最末一层级只包括一个redis节点，同一层级的所述redis节点可并行进行集合运算；

S33、根据所述层级在每一层逐一进行集合运算获取运算结果，直至最末一层级；

S34、输出所述运算结果；

如以下场景：在消息推送***中存在按照标签来进行消息推送的功能，该功能需要查询出多个标签的数据集合，并进行集合运算；比如一消息的推送目标为同时满足A标签及B标签的用户，则需要查询出同时存在A标签及B标签的用户集合，针对该集合进行消息推送，此时，就需要能够快速计算出A,B标签的用户数量，即需要快速计算几百万的两个集合的交集。

假设此计算架构中存在7个单点redis组成的redis集群，其中节点a,b,c为第一层级计算节点，节点d,e,f为第二层级计算节点，节点g为第三层级计算节点，则在redis集群中的具体计算过程为：

1.客户端预先分页查询出拥有A标签的用户数量为120W(即120W个的userId的A集合)，拥有B标签的用户数量为120W(即120W个的userId的B集合)，之后根据其中的userId进行3的取模，最终会将A集合划分为a1、b1及c1三个小集合，将B集合划分为a2、b2及c3三个小集合；之后向第一层级的各个计算节点发出计算命令，此时，第一层级中节点a将处理a1集合及a2集合的数据，具体的，通过pipeline的方式将a1集合及a2集合的数据快速加载至redis中；以此类推，节点b将处理b1集合及b2集合的数据，节点c将处理c1集合及c2集合的数据。

2.节点a进行a1集合及a2集合的交集运算，假设原先40W的集合数据交集后，将会计算出15W的交集结果数据，此时，程序直接将这15W的交集结果数据写入最终的result-redis(result-redis表示用来记录最终A集合及B集合的交集结果)，另外25W未有交集的结果数据，将按照其中的userId进行3的取模重新生成新的三个小集合，并最终通过pipeline命令将三个小集合分别发送至节点d、e及f中。同理，节点b及c也是进行类似的处理。

3.在节点d、e及f中进行的步骤与步骤2进行的交集计算类似，分别发送已交集的结果至result-redis中，并发送最终未有交集的结果数据至节点g中。

4.最终所有未有交集的数据都将在节点g中进行处理，节点g将最终的交集结果数据发送至result-redis中，则此时，result-redis中的结果则为最终A集合及B集合交集的结果，节点g中的剩余数据则为A集合及B集合交集之外的数据。

5.同理，其他并集，差集也是采用类似的计算过程，通过此种多层级多节点计算过程，可以有效的分解大数据量的交并差集运算，提高处理效率；

在该场景下，lua的协程实现任务调度和唤醒的具体表现为：假设计算集合A及集合B的交集为一个任务，每个redis代理节点处理各个子集合的交集操作为一个子任务，则通过lua编程语言获取lua脚本来实现整个的任务的流程，将整个任务拆分成不同的子任务，由不同的redis代理节点来进行每个子任务的处理，最终每个子任务的处理结果汇总成最终结果，返回给客户端。

请参照图2，本发明的实施例三为：

一种大数据场景下消息处理的终端1，包括处理器2、存储器3及存储在存储器3上并可在所述处理器2上运行的计算机程序，所述处理器2执行所述计算机程序时实现实施例一或实施例二中的各个步骤。

综上所述，本发明提供了一种大数据场景下消息处理的方法及终端，通过在单个redis节点上构建由Nginx、lua及redis组成的代理，通过代理之间建立长连接实现redis集群的构建，保持了各个redis节点的独立性，使得单个节点中能够运行pipeline及进行集合运算，同时通过不同redis节点的代理之间的长连接，能够在整个redis集群中实现集合运算；并且，通过一致性哈希算法确定redis集群中各个redis节点的位置，一redis节点能够将未计算完成的计算命令迁移到其余redis节点中进行完成，提高了redis的数据处理能力及数据处理的灵活度，实现了批量处理redis命令及在redis集群中进行集合运算的统一。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种大数据场景下消息处理的方法，其特征在于，包括步骤：

S1、在redis集群的每个redis节点上构建Nginx、lua与redis组成的代理，所述代理可执行lua脚本；

S2、将所述代理与自身所在的所述redis节点及其余所述redis节点所对应的所述代理之间都建立长连接；

S3、通过所述lua脚本及所述长连接，将单个所述redis节点接收的数据在redis集群中进行集合运算；

所述S3中所述将单个所述redis节点接收的数据在redis集群中进行集合运算具体为：

S31、将所述redis集群中的所述redis节点进行分层，为每一所述redis节点分配层级；

S32、根据所述层级对所述redis节点进行排序，最末一层级只包括一个redis节点，同一层级的所述redis节点可并行进行集合运算；

S33、根据所述层级在每一层逐一进行集合运算获取运算结果，直至最末一层级；

S34、输出所述运算结果。

2.根据权利要求1所述的一种大数据场景下消息处理的方法，其特征在于，还包括：

通过所述lua脚本在单个第一redis节点上批量执行redis命令；

通过所述长连接将所述redis命令发送到其他redis节点上进行批量执行。

3.根据权利要求1所述的一种大数据场景下消息处理的方法，其特征在于，所述S1之前还包括：

构建redis集群，所述redis集群为分布式redis集群；

根据一致性哈希算法定位所述redis集群中每一所述redis节点的位置。

4.根据权利要求2所述的一种大数据场景下消息处理的方法，其特征在于，所述通过所述lua脚本在单个第一redis节点上批量执行redis命令具体为：

通过所述lua脚本在单个第一redis节点上运行pipeline以批量执行所述redis命令。

5.一种大数据场景下消息处理的终端，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：

S1、在redis集群的每个redis节点上构建Nginx、lua与redis组成的代理，所述代理可执行lua脚本；

S2、将所述代理与自身所在的所述redis节点及其余所述redis节点所对应的所述代理之间都建立长连接；

S3、通过所述lua脚本及所述长连接，将单个所述redis节点接收的数据在redis集群中进行集合运算；

所述S3中所述将单个所述redis节点接收的数据在redis集群中进行集合运算具体为：

S31、将所述redis集群中的所述redis节点进行分层，为每一所述redis节点分配层级；

S32、根据所述层级对所述redis节点进行排序，最末一层级只包括一个redis节点，同一层级的所述redis节点可并行进行集合运算；

S33、根据所述层级在每一层逐一进行集合运算获取运算结果，直至最末一层级；

S34、输出所述运算结果。

6.根据权利要求5所述的一种大数据场景下消息处理的终端，其特征在于，还包括：

通过所述lua脚本在单个第一redis节点上批量执行redis命令；

通过所述长连接将所述redis命令发送到其他redis节点上进行批量执行。

7.根据权利要求5所述的一种大数据场景下消息处理的终端，其特征在于，所述S1之前还包括：

构建redis集群，所述redis集群为分布式redis集群；

根据一致性哈希算法定位所述redis集群中每一所述redis节点的位置。

8.根据权利要求6所述的一种大数据场景下消息处理的终端，其特征在于，所述通过所述lua脚本在单个第一redis节点上批量执行redis命令具体为：

通过所述lua脚本在单个第一redis节点上运行pipeline以批量执行所述redis命令。

Images