CN113407493B - 运行方法、数据读写方法、装置、电子设备和介质 - Google Patents
运行方法、数据读写方法、装置、电子设备和介质 Download PDFInfo
- Publication number
- CN113407493B CN113407493B CN202110677770.XA CN202110677770A CN113407493B CN 113407493 B CN113407493 B CN 113407493B CN 202110677770 A CN202110677770 A CN 202110677770A CN 113407493 B CN113407493 B CN 113407493B
- Authority
- CN
- China
- Prior art keywords
- node
- slot
- agent
- waiting
- nodes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 230000004044 response Effects 0.000 claims abstract description 56
- 230000008859 change Effects 0.000 claims abstract description 16
- 238000012544 monitoring process Methods 0.000 claims abstract description 10
- 238000013507 mapping Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 6
- 230000002085 persistent effect Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 2
- 239000003795 chemical substances by application Substances 0.000 description 165
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 241001101988 Proxys Species 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
- G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
- G06F16/183—Provision of network file services by network file servers, e.g. by using NFS, CIFS
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开的实施例公开了运行方法、数据读写方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括:响应于监听到预先创建的多个槽位节点的子节点发生变化,获取预先创建的等待代理节点下包括的各个子节点的编号;响应于确定当前等待缓存代理对应的子节点的编号在各个子节点的编号中的排序位置满足预设条件,确定多个槽位节点中是否存在空槽位节点;响应于存在空槽位节点,在空槽位节点下创建子节点,将当前等待缓存代理的服务地址写入空槽位节点。该实施方式实现了多个等待缓存代理的有序加入。
Description
技术领域
本公开的实施例涉及计算机技术领域,具体涉及运行方法、数据读写方法、装置、电子设备和计算机可读介质。
背景技术
分布式存储***通常支持多个客户端访问。当客户端访问时,需要首先获取元数据。而为了保证多个客户端之间数据一致性,每个客户端都不能在本地缓存元数据。因此,每个客户端在每次数据读写之前都需要从分布式存储***获取元数据,导致分布式存储***服务过载,请求时间变长,数据读写的时延增加。
发明内容
本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。本公开的一些实施例提出了运行方法、数据读写方法、装置、电子设备和计算机可读介质,来解决以上背景技术部分提到的技术问题中的一项或多项。
第一方面,本公开的一些实施例提供了一种用于等待缓存代理的运行方法,方法包括:响应于监听到预先创建的多个槽位节点的子节点发生变化,获取预先创建的等待代理节点下包括的各个子节点的编号,其中,等待代理节点下的每个子节点与多个等待缓存代理中的一个等待缓存代理对应,槽位节点的子节点对应一个运行缓存代理;响应于确定当前等待缓存代理对应的子节点的编号在各个子节点的编号中的排序位置满足预设条件,确定多个槽位节点中是否存在空槽位节点;响应于存在空槽位节点,在空槽位节点下创建子节点,将当前等待缓存代理的服务地址写入空槽位节点。
第二方面,本公开的一些实施例提供了一种用于客户端的数据读写方法,包括:根据读写参数,确定待读写数据对应的槽位节点编号;根据槽位节点编号以及预先建立的映射,确定槽位节点编号对应的运行缓存代理的服务地址,其中,映射用于表征槽位节点的节点编号与服务地址的对应关系;向服务地址发送元数据获取请求,以获取元数据;根据所获取到的元数据进行待读写数据的读写。
第三方面,本公开的一些实施例提供了一种用于等待缓存代理的运行装置,装置包括:获取单元,被配置成响应于监听到预先创建的多个槽位节点的子节点发生变化,获取预先创建的等待代理节点下包括的各个子节点的编号,其中,等待代理节点下的每个子节点与多个等待缓存代理中的一个等待缓存代理对应,槽位节点的子节点对应一个运行缓存代理;确定单元,被配置成响应于确定当前等待缓存代理对应的子节点的编号在各个子节点的编号中的排序位置满足预设条件,确定多个槽位节点中是否存在空槽位节点;创建单元,被配置成响应于存在空槽位节点,在空槽位节点下创建子节点,将当前等待缓存代理的服务地址写入空槽位节点。
第四方面,本公开的一些实施例提供了一种用于客户端的数据获取装置,包括:节点编号确定单元,被配置成根据读写参数,确定待读写数据对应的槽位节点编号;服务地址确定单元,被配置成根据槽位节点编号以及预先建立的映射,确定槽位节点编号对应的运行缓存代理的服务地址,其中,映射用于表征槽位节点的节点编号与服务地址的对应关系;发送单元,被配置成向服务地址发送元数据获取请求,以获取元数据;读写单元,被配置成根据所获取到的元数据进行待读写数据的读写。
第五方面,本公开的一些实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现上述第一方面或第二方面任一实现方式所描述的方法。
第六方面,本公开的一些实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,程序被处理器执行时实现上述第一方面或第二方面任一实现方式所描述的方法。
本公开的上述各个实施例具有如下有益效果:可以实现多个等待缓存代理的有序加入,避免多个等待缓存代理的无序竞争。此外,当某些运行缓存代理发生故障时,该运行缓存代理对应的子节点就会消失,通过本公开提供的运行方法,可以监听到这个变化,并可以自动在该空槽位下创建子节点,以及将某个等待缓存代理的服务地址写入该空槽位节点,从而可以代替原来的故障代理,对外提供代理服务,避免由于单个代理故障造成***可用性降低。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,元件和元素不一定按照比例绘制。
图1是本公开的一些实施例可以应用于其中的示例性***的架构图;
图2是根据本公开的用于等待缓存代理的运行方法的一些实施例的流程图;
图3是根据本公开的用于等待缓存代理的运行方法的另一些实施例的流程图;
图4是根据本公开的用于客户端的数据读写方法的一些实施例的流程图;
图5是根据本公开的用于等待缓存代理的运行装置的一些实施例的结构示意图;
图6是根据本公开的用于客户端的数据读写装置的一些实施例的结构示意图;
图7是适于用来实现本公开的一些实施例的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例。相反,提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
下面将参考附图并结合实施例来详细说明本公开。
图1示出了可以应用本公开的一些实施例的运行方法或数据读写方法的示例性***架构100。
如图1所示,***架构100可以包括终端设备客户端101(例如客户端1、2、3)、运行缓存代理103(例如运行缓存代理1、2、3)、等待缓存代理104、分布式存储***105。其中,多个运行缓存代理103作为一个整体,为多个相对独立的客户端提供一致的元数据。运行缓存代理103中缓存有从分布式存储***105中获取的元数据102,从而可以缓解后端的分布式存储***105的请求压力。客户端101在获取到元数据102后,可以根据元数据102,对分布式存储***105进行数据的读写。
实践中,当某个运行缓存代理(例如运行缓存代理1)发生故障,可以由等待缓存代理104代替其提供代理服务,从而实现对于故障代理的自动切换,避免造成整体***的可用性降低。
客户端101、运行缓存代理103、等待缓存代理104、分布式存储***105可以是硬件,也可以是软件。当其为硬件时,可以是各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当其为软件时,可以安装在上述所列举的电子设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块,也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是,本公开的实施例所提供的运行方法可以由等待缓存代理104来执行。相应地,运行装置可以设置于等待缓存代理104中。本公开的实施例所提供的数据读写方法可以由客户端101来执行。相应地,数据读写装置可以设置于客户端101中。
应该理解,图1中的客户端、运行缓存代理、等待缓存代理的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
继续参考图2,示出了根据本公开的用于等待缓存代理的运行方法的一些实施例的流程200。该用于等待缓存代理的运行方法,包括以下步骤:
步骤201,响应于监听到预先创建的多个槽位节点的子节点发生变化,获取预先创建的等待代理节点下包括的各个子节点的编号,其中,等待代理节点下的每个子节点与多个等待缓存代理中的一个等待缓存代理对应,每个槽位节点的子节点对应一个运行缓存代理。
在一些实施例中,可以利用一些开源的分布式协调服务(例如Zookeeper)来实现本公开的运行方法。其中,Zookeeper通过树形结构来存储数据,它由一系列被称为ZNode的数据节点组成。在此基础上,作为示例,可以预先在Zookeeper中创建多个槽位(slot)节点和等待代理节点。其中,槽位节点可以作为运行缓存代理的容器,当槽位节点下有运行缓存代理时,那么该槽位节点就存在一个子节点,这个子节点与运行缓存代理对应。等待代理节点(waiting proxys)用于管理多个等待缓存代理对应。等待代理节点下可以有多个子节点。每个子节点与多个等待缓存代理中的一个等待缓存代理对应。每个子节点有唯一编号。其中,每个子节点的编号可以是指定的,也可以是自动生成的。可选的,可以利用Zookeeper为每个子节点添加有序编号。
在一些实施例中,槽位节点的子节点对应一个运行缓存代理。运行缓存代理可以是运行中的缓存代理。可选的,运行缓存代理用于缓存从分布式存储***中读取的元数据,以及响应于接收到客户端发送的元数据请求,从本地缓存或分布式存储***查找元数据以及返回客户端。在这些实现方式中,通过多个运行缓存代理实现元数据的有效缓存,减轻分布式存储***服务压力。
在一些实施例中,各个等待缓存代理可以通过监听槽位节点下的子节点变化(ChildrenChange)事件,以得到多个槽位节点的子节点发生变化情况。具体来说,当某个运行缓存代理发生故障,该运行缓存代理对应的子节点也就被自动删除了。此时,各个等待缓存代理都会监听到槽位节点下的子节点发生变化。
响应于监听到预先创建的多个槽位节点中的任一槽位节点的子节点发生变化,运行方法的执行主体(每个等待代理节点)可以获取预先创建的等待代理节点下包括的各个子节点的编号。
在一些实施例的一些可选的实现方式中,各个子节点的编号是通过以下步骤生成的:响应于目标等待缓存代理启动,在等待代理节点下创建目标等待缓存代理对应的子节点,以及为子节点生成编号。其中,目标等待缓存代理可以是多个等待缓存代理中的任一等待缓存代理。在这些实现方式中,可以通过开源的分布式协调服务,例如Zookeeper,来自动为子节点生成唯一编号,不需要人工干预。
在一些实施例的一些可选的实现方式中,多个槽位节点是通过以下步骤创建的:确定预先创建的槽位数目节点中存储中的槽位数目;创建上述槽位数目个槽位节点,槽位节点为持久节点。
步骤202,响应于确定当前等待缓存代理的编号在各个子节点的编号中的排序位置满足预设条件,确定多个槽位节点中是否存在空槽位节点。
在一些实施例中,上述执行主体可以确定当前等待缓存代理对应的子节点的编号在各个子节点的编号中的排序位置是否满足预设条件。其中,多个等待缓存代理中每次只有一个等待缓存代理能够满足预设条件。作为示例,预设条件可以是:排序位置为队首或者队尾。其中,响应于确定当前等待缓存代理的编号在各个子节点的编号中的排序位置满足预设条件,也可以是响应于确定当前等待缓存代理的编号为各个子节点的编号中的最小编号。
在此基础上,响应于确定当前等待缓存代理的编号在各个子节点的编号中的排序位置满足预设条件,上述执行主体可以遍历多个槽位节点,以确定多个槽位节点中是否存在空槽位节点。其中,空槽位节点可以是没有子节点的槽位节点。
在一些实施例的一些可选的实现方式中,响应于确定当前等待缓存代理的编号在各个子节点的编号中的排序位置不满足预设条件,可以进入等待状态。由此,每个只有一个等待缓存代理满足预设条件,而其余的进入等待状态。进入等待状态的等待缓存代理不再执行后续步骤,从而保证各个等待缓存代理的有序运行。
步骤203,响应于存在空槽位节点,在空槽位节点下创建子节点,将当前等待缓存代理的服务地址写入空槽位节点。
在一些实施例中,响应于存在空槽位节点,上述执行主体可以在空槽位节点下创建子节点,以及将上述当前等待缓存代理(即,满足预设条件的等待缓存代理)的服务地址写入空槽位节点。此时,这个缓存代理变为运行缓存代理,从而可以代替故障缓存代理对外提供服务,实现故障缓存代理的自动切换。
在一些实施例的一些可选的实现方式中,响应于不存在空槽位节点,可以进入等待状态。可以理解,由于在空槽位节点下创建子节点也会导致空槽位节点的子节点发生变化,因此会触发再次执行本公开的运行方法。但是,由于在没有缓存代理故障的情况下,一般不会出现空槽位节点,因此,对于由于创建子节点所触发的运行,会进入等待,从而在实现自动切换故障代理缓存的同时,避免非必要的代理缓存切换。
在一些实施例的一些可选的实现方式中,响应于存在空槽位节点,在空槽位节点下创建子节点,将等待缓存代理的服务地址写入空槽位节点,包括:响应于存在空槽位节点,在空槽位节点下创建子节点,将等待缓存代理的服务地址写入空槽位节点,以及将代理节点下缓存代理对应的子节点删除。在这些可选的实现方式中,还可以将代理节点下缓存代理对应的子节点删除。从而可以在后续再次执行上述运行方法时,避免使用已经运行的缓存代理作为替换故障缓存代理,从而避免引起冲突。
在一些实施例中,通过本公开提供的运行方法,通过对排序位置设置条件,可以实现多个等待缓存代理的有序加入,避免多个等待缓存代理的无序竞争。此外,当某些运行缓存代理发生故障时,该运行缓存代理对应的子节点就会消失,通过本公开提供的运行方法,可以监听到这个变化,并可以自动在该空槽位下创建子节点,以及将某个等待缓存代理的服务地址写入该空槽位节点,从而可以代替原来的故障代理,对外提供代理服务,避免由于单个代理故障造成***可用性降低。
进一步参考图3,其示出了用于等待缓存代理的运行方法的另一些实施例的流程300。该用于等待缓存代理的运行方法的流程300,包括以下步骤:
步骤301,响应于监听到预先创建的多个槽位节点或等待代理节点下的子节点发生变化,获取预先创建的等待代理节点下包括的各个子节点的编号。
在一些实施例中,运行方法的执行主体可以同时监听两类节点:多个槽位节点和等待代理节点。响应于监听到任一类节点下的子节点变化,都可以获取预先创建的等待代理节点下包括的各个子节点的编号。
实践中,在程序刚启动时,首先需要创建多个等待缓存代理。由此,等待代理节点下的子节点会发生变化。在此基础上,通过监听等待代理节点的子节点变化,触发后续步骤,可以有序的将各个等待代理节点分配至各个槽位节点(启动时为空)。从而实现程序启动时的多个等待代理缓存的有序分配。
步骤302,响应于确定当前等待缓存代理对应的子节点的编号在各个子节点的编号中的排序位置满足预设条件,确定多个槽位节点中是否存在空槽位节点。
步骤303,响应于存在空槽位节点,在空槽位节点下创建子节点,将当前等待缓存代理的服务地址写入空槽位节点。
在一些实施例中,步骤301-303的具体实现及其所带来的技术效果可以参考图2那些实施例,在此不再赘述。
步骤304,响应于接收到客户端发送的元数据请求,元数据请求中包括数据块编号,解析数据块编号,得到槽位节点编号。
在一些实施例中,响应于接收到客户端发送的元数据请求,运行缓存代理可以解析数据块编号,得到槽位节点编号。其中,作为示例,可以利用哈希算法,确定数据块编号对应的哈希值,将得到的哈希值确定为槽位节点编号。
步骤305,确定槽位节点编号与运行缓存代理对应的子节点所属的槽位节点的编号是否匹配。
在一些实施例中,如果槽位节点编号与运行缓存代理对应的子节点所属的槽位节点的编号相同,可以认为两者匹配;若不同,可以认为不匹配。
步骤306,响应于匹配,查询本地缓存中是否存在元数据请求对应的元数据。
可选的,响应于不匹配,运行缓存代理可以拒绝服务。
步骤307,响应于存在,将查询到的元数据返回客户端。
步骤308,响应于不存在,向分布式存储***请求元数据,以及将分布式存储***返回的元数据返回客户端。
根据需要,运行缓存代理可以对分布式存储***返回的元数据进行缓存。
从图3中可以看出,与图2对应的一些实施例的描述相比,图3对应的一些实施例中的运行方法的流程300增加了等待缓存代理变为运行缓存代理后,对外提供代理服务的具体流程。在此过程中,通过解析数据块编号得到槽位节点编号,从而保证了数据块的快速准确定位。此外,通过槽位节点编号匹配,可以保证各个客户端查询到的数据的一致性。也就是说,多个运行缓存代理作为一个整体,为多个相对独立的客户端提供一致的元数据。
继续参考图4,示出了根据本公开的用于客户端的数据读写方法的一些实施例的流程400。该用于客户端的数据读写方法,包括以下步骤:
步骤401,根据读写参数,确定待读写数据对应的槽位节点编号。
在一些实施例中,数据读写方法的执行主体(例如图1中的客户端)可以根据读写参数,确定待读写数据对应的槽位节点编号。作为示例,读写参数包括偏移量(可以用于确定数据的位置)和数据大小。在此基础上,可以通过数据的位置和数据大小,得到数据块编号。然后,通过哈希算法计算数据块编号对应的槽位节点编号。
步骤402,根据槽位节点编号以及预先建立的映射,确定槽位节点编号对应的运行缓存代理的服务地址,其中,映射用于表征槽位节点的节点编号与服务地址的对应关系。
作为示例,预先建立的映射可以是对应关系表。从而,上述执行主体可以在对应关系表中查询槽位节点编号对应的服务地址。服务地址可以包括IP(互联网协议)地址和/或端口号等。
在一些实施例的一些可选的实现方式中,映射是通过以下步骤建立的:获取预先创建的槽位节点的个数,槽位节点的子节点对应一个运行缓存代理;遍历各个槽位节点,对于每个槽位节点,执行以下处理步骤:获取槽位节点下子节点对应的运行缓存代理的服务地址;将槽位节点的节点编号和服务地址关联存储。
步骤403,向服务地址发送元数据获取请求,以获取元数据。
在一些实施例中,运行缓存代理接收到元数据获取请求后,可以按照从本地缓存或分布式存储***查找元数据以及返回客户端。元数据请求中包括数据块编号。
步骤404,根据所获取到的元数据进行待读写数据的读写。
在一些实施例中,上述执行主体可以根据元数据,从分布式存储***进行待读写数据的读写。
在一些实施例中,客户端可以通过数据读写方法实现数据的读写。在此过程中,客户端可以首先根据读写参数确定槽位节点编号。在此基础上,通过槽位节点编号确定服务地址,从而实现元数据的准确定位,进而元数据实现数据读写。其中,由于等待缓存代理的运行方法可以避免由于单个代理故障造成***可用性降低,也就是说,可以稳定的为客户端返回元数据。实践中,元数据用于描述数据相关信息,客户端可以根据元数据进行数据的读写。因此,客户端可以进行稳定的数据读写,避免由于单个代理故障影响数据的读写。
进一步参考图5,作为对上述各图所示方法的实现,本公开提供了一种用于等待缓存代理的运行装置的一些实施例,这些装置实施例与图2所示的那些方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图5所示,一些实施例的用于等待缓存代理的运行装置500包括:获取单元501、确定单元502和创建单元503。其中,获取单元501被配置成响应于监听到预先创建的多个槽位节点的子节点发生变化,获取预先创建的等待代理节点下包括的各个子节点的编号,其中,所述等待代理节点下的每个子节点与多个等待缓存代理中的一个等待缓存代理对应,所述槽位节点的子节点对应一个运行缓存代理。确定单元502被配置成响应于确定当前等待缓存代理对应的子节点的编号在所述各个子节点的编号中的排序位置满足预设条件,确定所述多个槽位节点中是否存在空槽位节点。创建单元503被配置成响应于存在空槽位节点,在所述空槽位节点下创建子节点,将所述当前等待缓存代理的服务地址写入所述空槽位节点。
在一些实施例的可选实现方式中,创建单元503进一步被配置成:响应于存在空槽位节点,在空槽位节点下创建子节点,将等待缓存代理的服务地址写入空槽位节点,以及将代理节点下缓存代理对应的子节点删除。
在一些实施例的可选实现方式中,运行缓存代理用于缓存从分布式存储***中读取的元数据,以及响应于接收到客户端发送的元数据请求,从本地缓存或分布式存储***查找元数据以及返回客户端。
在一些实施例的可选实现方式中,装置500还包括:解析单元、匹配单元、查询单元、返回单元和请求单元。其中,解析单元被配置成响应于接收到客户端发送的元数据请求,元数据请求中包括数据块编号,解析数据块编号,得到槽位节点编号。匹配单元被配置成确定槽位节点编号与运行缓存代理对应的子节点所属的槽位节点的编号是否匹配。查询单元被配置成响应于匹配,查询本地缓存中是否存在元数据请求对应的元数据。返回单元被配置成响应于存在,将查询到的元数据返回客户端。请求单元被配置成响应于不存在,向分布式存储***请求元数据,以及将分布式存储***返回的元数据返回客户端。
在一些实施例的可选实现方式中,各个子节点的编号是通过以下步骤生成的:响应于目标等待缓存代理启动,在等待代理节点下创建目标等待缓存代理对应的子节点,以及为子节点生成编号。
在一些实施例的可选实现方式中,多个槽位节点是通过以下步骤创建的:确定预先创建的槽位数目节点中存储中的槽位数目;创建槽位数目个槽位节点,槽位节点为持久节点。
在一些实施例的可选实现方式中,确定单元502进一步被配置成响应于确定当前等待缓存代理的编号为各个子节点的编号中的最小编号,确定多个槽位节点中是否存在空槽位节点。
可以理解的是,该装置500中记载的诸单元与参考图2描述的方法中的各个步骤相对应。由此,上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置500及其中包含的单元,在此不再赘述。
继续参考图6,作为对上述各图所示方法的实现,本公开提供了一种用于客户端的数据获取装置的一些实施例,这些装置实施例与图4所示的那些方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图6所示,一些实施例的用于客户端的数据获取装置600包括:节点编号确定单元601、服务地址确定单元602、发送单元603和读写单元604。其中,节点编号确定单元601被配置成根据读写参数,确定待读写数据对应的槽位节点编号。服务地址确定单元602,被配置成根据所述槽位节点编号以及预先建立的映射,确定所述槽位节点编号对应的运行缓存代理的服务地址,其中,所述映射用于表征槽位节点的节点编号与服务地址的对应关系。发送单元603被配置成向所述服务地址发送元数据获取请求,以获取元数据。读写单元604被配置成根据所获取到的元数据进行所述待读写数据的读写。
在一些实施例的可选实现方式中,映射是通过以下步骤建立的:获取预先创建的槽位节点的个数,槽位节点的子节点对应一个运行缓存代理;遍历各个槽位节点,对于每个槽位节点,执行以下处理步骤:获取槽位节点下子节点对应的运行缓存代理的服务地址;将槽位节点的节点编号和服务地址关联存储。
可以理解的是,该装置600中记载的诸单元与参考图4描述的方法中的各个步骤相对应。由此,上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置600及其中包含的单元,在此不再赘述。
下面参考图7,其示出了适于用来实现本公开的一些实施例的电子设备(例如图1中的缓存代理或客户端)700的结构示意图。图7示出的电子设备仅仅是一个示例,不应对本公开的实施例的功能和使用范围带来任何限制。
如图7所示,电子设备700可以包括处理装置(例如中央处理器、图形处理器等)701,其可以根据存储在只读存储器(ROM)702中的程序或者从存储装置708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中,还存储有电子设备700操作所需的各种程序和数据。处理装置701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
通常,以下装置可以连接至I/O接口705:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置706;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置707;包括例如磁带、硬盘等的存储装置708;以及通信装置709。通信装置709可以允许电子设备700与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的电子设备700,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图7中示出的每个方框可以代表一个装置,也可以根据需要代表多个装置。
特别地,根据本公开的一些实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的一些实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的一些实施例中,该计算机程序可以通过通信装置709从网络上被下载和安装,或者从存储装置708被安装,或者从ROM 702被安装。在该计算机程序被处理装置701执行时,执行本公开的一些实施例的方法中限定的上述功能。
需要说明的是,本公开的一些实施例中记载的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的一些实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开的一些实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:应于监听到预先创建的多个槽位节点的子节点发生变化,获取预先创建的等待代理节点下包括的各个子节点的编号,其中,等待代理节点下的每个子节点与多个等待缓存代理中的一个等待缓存代理对应,槽位节点的子节点对应一个运行缓存代理;响应于确定当前等待缓存代理对应的子节点的编号在各个子节点的编号中的排序位置满足预设条件,确定多个槽位节点中是否存在空槽位节点;响应于存在空槽位节点,在空槽位节点下创建子节点,将当前等待缓存代理的服务地址写入空槽位节点;或者
根据读写参数,确定待读写数据对应的槽位节点编号;根据槽位节点编号以及预先建立的映射,确定槽位节点编号对应的运行缓存代理的服务地址,其中,映射用于表征槽位节点的节点编号与服务地址的对应关系;向服务地址发送元数据获取请求,以获取元数据;根据所获取到的元数据进行待读写数据的读写。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的一些实施例的操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开的一些实施例中的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括获取单元、确定单元和创建单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,获取单元还可以被描述为“获取预先创建的等待代理节点下包括的各个子节点的编号的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上***(SOC)、复杂可编程逻辑设备(CPLD)等等。
以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开的实施例中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (13)
1.一种用于等待缓存代理的运行方法,所述方法包括:
响应于监听到预先创建的多个槽位节点的子节点发生变化,获取预先创建的等待代理节点下包括的各个子节点的编号,其中,所述等待代理节点下的每个子节点与多个等待缓存代理中的一个等待缓存代理对应,所述槽位节点的子节点对应一个运行缓存代理,所述子节点发生变化为当某个运行缓存代理发生故障,该运行缓存代理对应的子节点被自动删除,其中,所述运行缓存代理用于缓存从分布式存储***中读取的元数据,以及响应于接收到客户端发送的元数据请求,从本地缓存或所述分布式存储***查找元数据以及返回所述客户端;
响应于确定当前等待缓存代理对应的子节点的编号在所述各个子节点的编号中的排序位置满足预设条件,确定所述多个槽位节点中是否存在空槽位节点,所述多个等待缓存代理中每次只有一个等待缓存代理满足预设条件;
响应于存在空槽位节点,在所述空槽位节点下创建子节点,将所述当前等待缓存代理的服务地址写入所述空槽位节点。
2.根据权利要求1所述的方法,其中,所述响应于存在空槽位节点,在所述空槽位节点下创建子节点,将所述等待缓存代理的服务地址写入所述空槽位节点,包括:
响应于存在空槽位节点,在所述空槽位节点下创建子节点,将所述等待缓存代理的服务地址写入所述空槽位节点,以及将所述等待代理节点下所述等待缓存代理对应的子节点删除。
3.根据权利要求2所述的方法,其中,所述方法还包括:
响应于接收到客户端发送的元数据请求,所述元数据请求中包括数据块编号,解析所述数据块编号,得到槽位节点编号;
确定所述槽位节点编号与所述运行缓存代理对应的子节点所属的槽位节点的编号是否匹配;
响应于匹配,查询本地缓存中是否存在所述元数据请求对应的元数据;
响应于存在,将查询到的元数据返回所述客户端;
响应于不存在,向所述分布式存储***请求所述元数据,以及将所述分布式存储***返回的元数据返回所述客户端。
4.根据权利要求1所述的方法,其中,各个子节点的编号是通过以下步骤生成的:
响应于目标等待缓存代理启动,在所述等待代理节点下创建所述目标等待缓存代理对应的子节点,以及为所述子节点生成编号。
5.根据权利要求1所述的方法,其中,所述多个槽位节点是通过以下步骤创建的:
确定预先创建的槽位数目节点中存储中的槽位数目;
创建所述槽位数目个槽位节点,所述槽位节点为持久节点。
6.根据权利要求1所述的方法,其中,所述响应于确定当前等待缓存代理的编号在所述各个子节点的编号中的排序位置满足预设条件,确定所述多个槽位节点中是否存在空槽位节点,包括:
响应于确定当前等待缓存代理的编号为所述各个子节点的编号中的最小编号,确定所述多个槽位节点中是否存在空槽位节点。
7.根据权利要求1所述的方法,其中,所述响应于监听到预先创建的多个槽位节点的子节点发生变化,获取预先创建的等待代理节点下包括的各个子节点的编号,包括:
响应于监听到预先创建的多个槽位节点或所述等待代理节点下的子节点发生变化,获取预先创建的等待代理节点下包括的各个子节点的编号。
8.一种根据权利要求1所述的运行方法的用于客户端的数据读写方法,包括:
根据读写参数,确定待读写数据对应的槽位节点编号;
根据所述槽位节点编号以及预先建立的映射,确定所述槽位节点编号对应的运行缓存代理的服务地址,其中,所述映射用于表征槽位节点的节点编号与服务地址的对应关系;
向所述服务地址发送元数据获取请求,所述元数据请求中包括数据块编号,以获取元数据;
根据所获取到的元数据进行所述待读写数据的读写。
9.根据权利要求8所述的方法,其中,所述映射是通过以下步骤建立的:
获取预先创建的槽位节点的个数,所述槽位节点的子节点对应一个运行缓存代理;
遍历各个槽位节点,对于每个槽位节点,执行以下处理步骤:
获取所述槽位节点下子节点对应的运行缓存代理的服务地址;
将所述槽位节点的节点编号和所述服务地址的关联存储。
10.一种用于等待缓存代理的运行装置,包括:
获取单元,被配置成响应于监听到预先创建的多个槽位节点的子节点发生变化,获取预先创建的等待代理节点下包括的各个子节点的编号,其中,所述等待代理节点下的每个子节点与多个等待缓存代理中的一个等待缓存代理对应,所述槽位节点的子节点对应一个运行缓存代理,所述子节点发生变化为当某个运行缓存代理发生故障,该运行缓存代理对应的子节点被自动删除,其中,所述运行缓存代理用于缓存从分布式存储***中读取的元数据,以及响应于接收到客户端发送的元数据请求,从本地缓存或所述分布式存储***查找元数据以及返回所述客户端;
确定单元,被配置成响应于确定当前等待缓存代理对应的子节点的编号在所述各个子节点的编号中的排序位置满足预设条件,确定所述多个槽位节点中是否存在空槽位节点,多个等待缓存代理中每次只有一个等待缓存代理满足预设条件;
创建单元,被配置成响应于存在空槽位节点,在所述空槽位节点下创建子节点,将所述当前等待缓存代理的服务地址写入所述空槽位节点。
11.一种根据权利要求10所述的运行装置的用于客户端的数据读写装置,包括:
节点编号确定单元,被配置成根据读写参数,确定待读写数据对应的槽位节点编号;
服务地址确定单元,被配置成根据所述槽位节点编号以及预先建立的映射,确定所述槽位节点编号对应的运行缓存代理的服务地址,其中,所述映射用于表征槽位节点的节点编号与服务地址的对应关系;
发送单元,被配置成向所述服务地址发送元数据获取请求,以获取元数据;
读写单元,被配置成根据所获取到的元数据进行所述待读写数据的读写。
12.一种电子设备,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7或者8-9中任一所述的方法。
13.一种计算机可读介质,其上存储有计算机程序,其中,所述程序被处理器执行时实现如权利要求1-7或者8-9中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110677770.XA CN113407493B (zh) | 2021-06-18 | 2021-06-18 | 运行方法、数据读写方法、装置、电子设备和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110677770.XA CN113407493B (zh) | 2021-06-18 | 2021-06-18 | 运行方法、数据读写方法、装置、电子设备和介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113407493A CN113407493A (zh) | 2021-09-17 |
CN113407493B true CN113407493B (zh) | 2024-06-28 |
Family
ID=77681437
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110677770.XA Active CN113407493B (zh) | 2021-06-18 | 2021-06-18 | 运行方法、数据读写方法、装置、电子设备和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113407493B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017165827A1 (en) * | 2016-03-25 | 2017-09-28 | Amazon Technologies, Inc. | Low latency distributed storage service |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100512526C (zh) * | 2004-11-26 | 2009-07-08 | ***通信集团公司 | 一种对终端请求进行代理重定向的方法及*** |
US8671157B2 (en) * | 2011-08-25 | 2014-03-11 | Blue Coat Systems, Inc. | System and method for optimizing name-resolution overhead in a caching network intermediary device |
CN102385633B (zh) * | 2011-12-13 | 2014-03-19 | 方正国际软件有限公司 | 虚拟存储目录的文件管理*** |
CN103544270B (zh) * | 2013-10-18 | 2016-11-23 | 南京大学镇江高新技术研究院 | 面向数据中心的通用化网络编码容错存储平台及工作方法 |
CN105933391B (zh) * | 2016-04-11 | 2019-06-21 | 聚好看科技股份有限公司 | 一种节点扩容方法、装置及*** |
CN106209447B (zh) * | 2016-07-07 | 2019-11-15 | 深圳市创梦天地科技有限公司 | 分布式缓存的故障处理方法及装置 |
-
2021
- 2021-06-18 CN CN202110677770.XA patent/CN113407493B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017165827A1 (en) * | 2016-03-25 | 2017-09-28 | Amazon Technologies, Inc. | Low latency distributed storage service |
Also Published As
Publication number | Publication date |
---|---|
CN113407493A (zh) | 2021-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108712332B (zh) | 一种通信方法、***和装置 | |
US10657108B2 (en) | Parallel I/O read processing for use in clustered file systems having cache storage | |
US10656972B2 (en) | Managing idempotent operations while interacting with a system of record | |
US8880634B2 (en) | Cache sharing among branch proxy servers via a master proxy server at a data center | |
CN110837423A (zh) | 一种自动导引运输车数据采集的方法和装置 | |
WO2024124789A1 (zh) | 文件处理方法、装置、服务器及介质 | |
CN113364887B (zh) | 一种基于ftp的文件下载方法、代理服务器和*** | |
CN113468445B (zh) | 请求处理方法、装置、电子设备和计算机可读介质 | |
CN114489622A (zh) | 静态资源管理方法、Node.js应用、电子设备和存储介质 | |
CN111309366B (zh) | 一种管理注册核心的方法、装置、介质和电子设备 | |
CN113079098A (zh) | 路由更新的方法、装置、设备和计算机可读介质 | |
KR102665749B1 (ko) | 클라우드 저하 모드에서 지속적인 디바이스 동작 안정성을 보장하기 위한 방법 및 장치 | |
CN113407493B (zh) | 运行方法、数据读写方法、装置、电子设备和介质 | |
CN110247847B (zh) | 节点之间回源选路的方法和装置 | |
CN111031126A (zh) | 集群缓存共享方法、***、设备及存储介质 | |
CN111698109A (zh) | 监控日志的方法和装置 | |
CN114785770A (zh) | 镜像层文件发送方法、装置、电子设备和计算机可读介质 | |
CN113051244B (zh) | 数据访问方法和装置、数据获取方法和装置 | |
CN112491601B (zh) | 流量拓扑生成方法、装置、存储介质及电子设备 | |
CN113778780B (zh) | 应用稳定性的确定方法、装置、电子设备和存储介质 | |
CN112799863B (zh) | 用于输出信息的方法和装置 | |
CN114115941A (zh) | 资源发送方法、页面渲染方法、装置、电子设备和介质 | |
CN113407504B (zh) | 一种数据处理方法、用户空间文件***以及存储介质 | |
CN113726885B (zh) | 一种流量配额的调整方法和装置 | |
US11663058B1 (en) | Preemptive filtering of events of an event bus with a deterministic filter |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |