一种Redis通用代理的实现方法
技术领域
本申请涉及数据库领域,具体的,涉及一种Redis通用代理的实现方法。
背景技术
Redis是一款开源的、高性能的键-值存储(key-value store)***。Redis的所有键值都存储在内存中,具有很高的单机读写性能。与其他缓存服务器如memcached对比,Redis提供了更加丰富的数据结构。Redis的Value不仅包括字符串(strings)类型,同时它还包括哈希(hashes)、列表(lists)、集合(sets)和 有序集合(sorted sets)等数据类型。从Redis2.8.9开始还引入了HyperLogLogs数据结构(一种基于概率的计数估算算法)。另外Redis还支持发布/订阅功能,支持lua脚本,以及数据的持久化操作。Redis支持的持久化方式有两种:快照方式(snapshot)以及AOF(追加式操作记录)。
Redis是一个单机***,各个Redis实例之间不会相互通信(主从模式除外)。操作Redis时,需要按照Redis协议规范与Redis服务器进行通信。Redis服务器采用异步网络模型方式,具有很高的性能,能处理大并发的客户端请求。Redis本身自带了一个客户端Hiredis。
在现有技术中,Redis存在如下问题:在一个Redis集群中通常包含多个Redis实例,Redis自带的客户端Hiredis无法提供不同的key与集群中实例的对应关系。并且,Redis从2.8版本开始提供了sentinel功能,当Redis配置了主从模式时,通过sentinel可以进行主从切换,现有的Redis客户端在主从切换之后,无法发现新的主。
Redis的命令无法跨越多个Redis实例,比如Redis的一端lua脚本可能操作多个key,现有的Redis客户端无法保证多个key在同一个Redis实例上。并且,现有的Redis客户端在主从切换之后,无法发现新的主。
发明内容
本发明的目的在于提出一种Redis通用代理的实现方法,能够对key在集群中的分布进行管理,进一步的,能够对主从切换后,对新的主进行通信。
为达此目的,本发明采用以下技术方案:
一种Redis通用代理的实现方法,包括如下步骤:
Redis通用代理时,首先要实现初始化,包括如下步骤1- 3:
步骤1:配置Redis实例组,各个组内的实例采用一致性哈希进行分布;
步骤2:客户端调用Redis通用代理接口,生成一个全局句柄,之后通过该全局句柄执行相应的Redis命令;
步骤3:生成全局句柄时,Redis通用代理会对组内的各个实例生成一个一致性哈希环。
优选地,当需要调用Redis通用代理时,执行如下的步骤4-10:
步骤4: 客户端调用Redis通用代理的接口执行相应的Redis命令,调用接口时传入步骤2中生成的所述全局句柄,以及组名;
步骤5:根据命令参数生成相应的Redis协议格式的报文;
步骤6:按照key中的哈希值,选择哈希环中的Redis实例;
步骤7:Redis通用代理查看连接池中是否有可用的到选定Redis实例的TCP长连接,如果有则使用所述TCP长连接;
步骤8:在TCP长连接上发送Redis命令;
步骤9:收到Redis响应报文后,执行Redis协议解释流程;
步骤10:客户端得到响应命令的返回值。
优选地,在步骤6中,先判断配置文件是否指定了key的前缀分割符,如果是则按key的前缀部分生成hash值,选择hash环中的Redis实例,否则按照完整key生成的hash值,选择hash环中的Redis实例。
进一步优选地,在步骤4中,调用接口时还指定Redis实例名,则在步骤6中,首先判断是否指定Redis实例名,如果是,则直接进入到步骤7,否则,进一步判断配置文件是否指定了key的前缀分割符,如果是则按key的前缀部分生成hash值,选择hash环中的Redis实例,否则按照完整key生成的hash值,选择hash环中的Redis实例。
优选地,Redis进行主从切换时,包括如下步骤101-105:
步骤101:配置Redis实例的主从关系;
步骤102:配置Redis Sentinel监控Redis主实例;
步骤103:当与现在的主实例连接丢失时或无法建立连接时 ,Redis通用代理定期给给从实例发送info命令;
步骤104:在故障发生时,sentinel将某个从实例选为新的主实例;
步骤105:在sentinel完成切换后, Redis通用代理从步骤103中的所述info命令返回的信息中学习到新的主实例,从而连接新的主实例。
优选地,在步骤1中,设置各个实例的权重。并且,在步骤1中,缺省情况时,各个实例的权重相同。
优选地,在步骤7中,如果没有可用的到选定Redis实例的TCP长连接,则建立新的到该Redis实例的TCP长连接,然后执行步骤8。
当结束使用Redis通用代理时,执行步骤11:
步骤11:在程序退出时,释放步骤2得到的所述全局句柄。
因此,在使用Redis通用代理,包括了三个部分,步骤1-3的进程初始化,在进程启动阶段完成;步骤11只需要在进程结束时调用,而每次使用Redis通用代理时,只需要使用步骤4-10。
本发明的Redis通用代理通过一致性hash方式管理key在集群中的分布。并且,本发明的Redis通用代理可以配合sentinel功能,在代理端实现主从切换,在发生故障切换时通过info命令主动探测新的主,主从切换完成后,会与新的主进行通信。并且,Redis通用代理可以配置key的前缀分隔符,只按照前缀部分进行一致性hash。
附图说明
图1 是根据本发明的具体实施例的Redis通用代理的实现方法的流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
参见图1,示出了根据本发明的具体实施例的Redis通用代理的实现方法的流程图。
Redis通用代理时,首先要实现运行的初始化,包括如下步骤1-步骤3:
步骤1:配置Redis实例组。配置文件采用json方式,各个组内的实例采用一致性哈希进行分布。
优选地,并可以设置各个实例的权重,缺省情况时,各个实例的权重相同。
步骤2:客户端调用Redis通用代理接口,生成一个全局句柄,之后通过该全局句柄执行相应的Redis命令。
步骤3:生成全局句柄时,Redis通用代理会对组内的各个实例生成一个一致性哈希环。
其中步骤1-3仅仅为进程的初始化,在进程启动阶段完成。
当需要调用Redis通用代理时,执行如下的步骤4-10:
步骤4: 客户端调用Redis通用代理的接口执行相应的Redis命令。调用接口时传入步骤2中生成的所述全局句柄,以及组名;
步骤5:根据命令参数生成相应的Redis协议格式的报文;
步骤6:按照key中的哈希值,选择哈希环中的Redis实例;
步骤7:Redis通用代理查看连接池中是否有可用的到选定Redis实例的TCP长连接,如果有则使用所述TCP长连接;
步骤8:在TCP长连接上发送Redis命令;
步骤9:收到Redis响应报文后,执行Redis协议解释流程。
步骤10:客户端得到响应命令的返回值。
优选地,在步骤7中,如果没有可用的到选定Redis实例的TCP长连接,则建立新的到该Redis实例的TCP长连接,然后执行步骤8。
优选地,在步骤6中,先判断配置文件是否指定了key的前缀分割符,如果是则按key的前缀部分生成hash值,选择hash环中的Redis实例,否则按照完整key生成的hash值,选择hash环中的Redis实例。这样,能够保证前缀相同的部分散列到同一个Redis实例。
进一步优选地,在步骤4中,调用接口时还指定Redis实例名,则在步骤6中,首先判断是否指定Redis实例名,如果是,则直接进入到步骤7,否则,进一步判断配置文件是否指定了key的前缀分割符,如果是则按key的前缀部分生成hash值,选择hash环中的Redis实例,否则按照完整key生成的hash值,选择hash环中的Redis实例。
当结束使用Redis通用代理时,执行步骤11:
步骤11:在程序退出时,释放步骤2得到的所述全局句柄。
因此,在使用Redis通用代理,包括了三个部分,步骤1-3的进程初始化,在进程启动阶段完成;步骤11只需要在进程结束时调用,而每次使用Redis通用代理时,只需要使用步骤4-10。
进一步的,在使用过程中,可能会出现一个主实例,一个或多个从实例,正常情况Redis代理都是连接主实例,但是主实例出现故障时,***会进行切换,把其中某一个从实例升级为主实例,Redis通用代理连接新的主实例,完成主从切换,故障可能在上面的调用过程中发生。
因此,本发明还提供了一种Redis主从切换流程,包括如下步骤101-105:
步骤101:配置Redis实例的主从关系;
步骤102:配置Redis Sentinel监控Redis主实例;
步骤103:当与现在的主实例连接丢失时或无法建立连接时 ,Redis通用代理定期给给从实例发送info命令;
步骤104:在故障发生时,sentinel将某个从实例选为新的主实例;
步骤105:在sentinel完成切换后, Redis通用代理从步骤103中的所述info命令返回的信息中学习到新的主实例,从而连接新的主实例。至此切换完成。
上述的主从切换,可以发生在使用Redis代理的通信过程。
综上,本发明具有如下优点:
1.Redis通用代理可以通过一致性hash方式管理key在集群中的分布,并且可以保证各个实例之间分布的均匀性。如果指定了实例的权重,则各个实例按照权重的比例分配key。
2.Redis通用代理可以配合sentinel功能,在代理端实现主从切换,在发生故障切换时通过info命令主动探测新的主,主从切换完成后,会与新的主进行通信。保证服务的高可用性。虽然Redis提供了快照和AOF方式用于持久化,便于故障恢复。但是这两种方式对性能有影响,而且恢复时间也比主从切换要长。
3.Redis通用代理可以配置key的前缀分隔符,只按照前缀部分进行一致性hash,可以保证某一类的key值散列到同一个Redis实例中,便于lua脚本等需要多个key的运算。
显然,本领域技术人员应该明白,上述的本发明的各单元或各步骤可以用通用的计算装置来实现,它们可以集中在单个计算装置上,可选地,他们可以用计算机装置可执行的程序代码来实现,从而可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件的结合。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施方式仅限于此,对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单的推演或替换,都应当视为属于本发明由所提交的权利要求书确定保护范围。