CN107092437A - 数据写入、读取方法及装置、云存储*** - Google Patents
数据写入、读取方法及装置、云存储*** Download PDFInfo
- Publication number
- CN107092437A CN107092437A CN201610088973.4A CN201610088973A CN107092437A CN 107092437 A CN107092437 A CN 107092437A CN 201610088973 A CN201610088973 A CN 201610088973A CN 107092437 A CN107092437 A CN 107092437A
- Authority
- CN
- China
- Prior art keywords
- storage server
- management node
- data
- index
- resource pool
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
- G06F3/0617—Improving the reliability of storage systems in relation to availability
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1415—Saving, restoring, recovering or retrying at system level
- G06F11/142—Reconfiguring to eliminate the error
- G06F11/1425—Reconfiguring to eliminate the error by reconfiguration of node membership
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3034—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a storage system, e.g. DASD based or network based
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
- G06F3/0605—Improving or facilitating administration, e.g. storage management by facilitating the interaction with a user or administrator
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
- G06F3/0635—Configuration or reconfiguration of storage systems by changing the path, e.g. traffic rerouting, path reconfiguration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
- H04L67/1044—Group management mechanisms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供了一种数据写入、读取方法及装置、云存储***,所述数据写入方法包括:接入节点接收数据写入请求;当无法获取到可用管理节点时,识别所述数据写入请求中包含的域标识信息,并根据所述域标识信息,查询预先保存的索引,其中,所述索引包含资源池与域标识信息的对应关系;识别与所述域标识信息匹配的目标资源池,其中,每个资源池中包含至少一个存储服务器;从所述目标资源池中包含的至少一个存储服务器中,确定其中一个存储服务器为目标存储服务器,并将待写入数据写入所述目标存储服务器。本实施方式能够保证在全部管理节点出现故障或管理节点集群网络异常时,云存储***仍能正常运行,且不需要增加额外的成本。
Description
技术领域
本发明涉及数据处理技术领域,特别是涉及一种数据写入、读取方法及装置、云存储***。
背景技术
云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念,是一种新兴的网络存储技术,是指通过集群应用、网络技术或分布式文件***等功能,将网络中各种不同类型的大量存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个***。
云存储***是一个主从架构的分布式***,主节点也就是管理节点在整个***的正常运行中起到至关重要的作用。管理节点一旦出现故障,整个***的所有业务都不能正常进行。例如,当云存储***中的接入节点接收到一个数据写入请求时,接入节点需要将该数据写入请求发送给管理节点,以使管理节点为该数据写入请求分配对应的存储服务器。
然而,当管理节点出现故障时,管理节点将不会对接入节点发送的数据处理请求作出响应,因此,该数据处理将会失败。
以图1所示的视频云存储***的架构为例对无法获取到可用管理节点时相应处理流程进行说明,当无法获取到可用视频云存储管理节点(CVM,CloudVideo Manage)130时,视频云存储管理节点130将不会对视频云存储接入节点(CVA,Cloud Video Access)120发送的数据处理请求作出响应,因此,视频云存储接入节点120将不会收到视频云存储管理节点130为该数据处理请求分配的视频云存储存储服务器(CVS,Cloud Video Storage)140,该数据处理将会失败。对于与上述视频云存储***相似的其他云存储***也同样存在上述问题。
因此,云存储***在实际运用中,遇到管理节点出现故障导致云存储***无法提供服务时,可能会造成数据的丢失或者数据无法读取,给用户造成重大损失。
现有技术中,为了保证云存储***的稳定,主要方法是增加管理节点的数量,并通过HA(High Available,高可用性集群)或者集群技术保证部分管理节点故障时由正常的管理节点接管继续提供服务,或者添加备用管理节点来代替故障管理节点提供服务。但是,增加管理节点或者添加备用管理节点会增加项目成本,而且,增加管理节点或者添加备用管理节点也只能保证部分管理节点故障时云存储***正常运行,而无法保证所有的管理节点都出现故障或管理节点集群网络异常的情况下云存储***正常运行。
发明内容
本发明实施例的目的在于提供一种数据写入、读取方法及装置、云存储***,以在全部管理节点出现故障或管理节点集群网络异常时,云存储***仍能正常运行,且不需要增加额外的成本。具体技术方案如下:
第一方面,本发明实施例提供了一种基于云存储***的数据写入方法,所述云存储***至少包括:接入节点、至少一个管理节点以及至少一个存储服务器,所述方法包括:
所述接入节点接收数据写入请求;
当无法获取到可用管理节点时,识别所述数据写入请求中包含的域标识信息,并根据所述域标识信息,查询预先保存的索引,其中,所述索引包含资源池与域标识信息的对应关系;
识别与所述域标识信息匹配的目标资源池,其中,每个资源池中包含至少一个存储服务器;
从所述目标资源池中包含的至少一个存储服务器中,确定其中一个存储服务器为目标存储服务器,并将待写入数据写入所述目标存储服务器。
进一步地,所述确定其中一个存储服务器为目标存储服务器,包括:
获取每个存储服务器的当前负载量;
识别当前负载量最小的存储服务器,将其作为目标存储服务器。
进一步地,所述无法获取到可用管理节点包括:每个管理节点均出现故障或管理节点集群网络异常。
进一步地,构建所述索引的过程包括:
向每个管理节点发送获取每个资源池与域标识信息的对应关系的请求,并接收所述每个管理节点发送的每个资源池与域标识信息的对应关系;
在索引中保存所述每个资源池与域标识信息的对应关系。
进一步地,所述方法还包括:
按照设定的时间间隔,更新所述索引中保存的每个资源池与域标识信息的对应关系。
第二方面,本发明实施例提供了一种基于云存储***的数据读取方法,所述云存储***至少包括:至少一个管理节点以及至少一个存储服务器,应用于查询平台,所述方法包括:
接收数据读取请求;
当无法获取到可用管理节点时,查询预先保存的索引,其中,所述索引包含每个存储服务器及其IP地址的对应关系;
根据所述每个存储服务器的IP地址,向所述每个存储服务器发送获取数据的属性信息的请求,并接收对应的所述每个存储服务器返回的其自身保存的数据的属性信息;
根据接收的所述每个存储服务器发送的其自身保存的数据的属性信息,以及所述数据读取请求中包含的待读取数据的属性信息,确定至少一个目标存储服务器,并从每个目标存储服务器中读取相应的数据。
进一步地,所述索引中还包括每个存储服务器是否在线的状态信息,所述根据所述每个存储服务器的IP地址,向所述每个存储服务器发送获取数据的属性信息的请求,包括:
根据每个存储服务器的状态信息,识别处于在线状态的存储服务器;
根据处于在线状态的存储服务器的IP地址,向对应的每个处于在线状态的存储服务器发送获取数据的属性信息的请求。
进一步地,所述无法获取到可用管理节点包括:每个管理节点均出现故障或管理节点集群网络异常。
进一步地,构建所述索引的过程包括:
向每个管理节点发送获取每个存储服务器和IP地址的对应关系的请求,并接收所述每个管理节点发送的每个存储服务器和IP地址的对应关系;
在索引中保存所述每个存储服务器和IP地址的对应关系。
进一步地,所述方法还包括:
按照设定的时间间隔,更新所述索引中保存的每个存储服务器和IP地址的对应关系。
第三方面,本发明实施例提供了一种基于云存储***的数据写入装置,所述云存储***至少包括:接入节点、至少一个管理节点以及至少一个存储服务器,应用于所述接入节点,所述装置包括:
接收模块,用于接收数据写入请求;
处理模块,用于当无法获取到可用管理节点时,识别所述数据写入请求中包含的域标识信息,并根据所述域标识信息,查询预先保存的索引,其中,所述索引包含资源池与域标识信息的对应关系;
识别模块,用于识别与所述域标识信息匹配的目标资源池,其中,每个资源池中包含至少一个存储服务器;
写入模块,用于从所述目标资源池中包含的至少一个存储服务器中,确定其中一个存储服务器为目标存储服务器,并将待写入数据写入所述目标存储服务器。
进一步地,所述写入模块,具体用于:
获取每个存储服务器的当前负载量;
识别当前负载量最小的存储服务器,将其作为目标存储服务器。
进一步地,所述无法获取到可用管理节点包括:每个管理节点均出现故障或管理节点集群网络异常。
进一步地,所述装置还包括:
执行模块,用于向每个管理节点发送获取每个资源池与域标识信息的对应关系的请求,并接收所述每个管理节点发送的每个资源池与域标识信息的对应关系;
保存模块,用于在索引中保存所述每个资源池与域标识信息的对应关系。
进一步地,所述装置还包括:
更新模块,用于按照设定的时间间隔,更新所述索引中保存的每个资源池与域标识信息的对应关系。
第四方面,本发明实施例提供了一种基于云存储***的数据读取装置,所述云存储***至少包括:至少一个管理节点以及至少一个存储服务器,应用于查询平台,所述装置包括:
接收模块,用于接收数据读取请求;
查询模块,用于当无法获取到可用管理节点时,查询预先保存的索引,其中,所述索引包含每个存储服务器及其IP地址的对应关系;
处理模块,用于根据所述每个存储服务器的IP地址,向所述每个存储服务器发送获取数据的属性信息的请求,并接收对应的所述每个存储服务器返回的其自身保存的数据的属性信息;
读取模块,用于根据接收的所述每个存储服务器发送的其自身保存的数据的属性信息,以及所述数据读取请求中包含的待读取数据的属性信息,确定至少一个目标存储服务器,并从每个目标存储服务器中读取相应的数据。
进一步地,所述索引中还包括每个存储服务器是否在线的状态信息,所述处理模块,包括:
识别子模块,用于根据每个存储服务器的状态信息,识别处于在线状态的存储服务器;
处理子模块,用于根据处于在线状态的存储服务器的IP地址,向对应的每个处于在线状态的存储服务器发送获取数据的属性信息的请求。
进一步地,所述无法获取到可用管理节点包括:每个管理节点均出现故障或管理节点集群网络异常。
进一步地,所述装置还包括:
执行模块,用于向每个管理节点发送获取每个存储服务器和IP地址的对应关系的请求,并接收所述每个管理节点发送的每个存储服务器和IP地址的对应关系;
保存模块,用于在索引中保存所述每个存储服务器和IP地址的对应关系。
进一步地,所述装置还包括:
更新模块,用于按照设定的时间间隔,更新所述索引中保存的每个存储服务器和IP地址的对应关系。
第五方面,本发明实施例提供了一种云存储***,所述云存储***包括如上述第三方面所述的设置在接入节点中的装置,以及至少一个存储服务器。
本发明实施例提供了一种数据写入、读取方法及装置、云存储***,所述数据写入方法包括:所述接入节点接收数据写入请求;当无法获取到可用管理节点时,识别所述数据写入请求中包含的域标识信息,并根据所述域标识信息,查询预先保存的索引,其中,所述索引包含资源池与域标识信息的对应关系;识别与所述域标识信息匹配的目标资源池,其中,每个资源池中包含至少一个存储服务器;从所述目标资源池中包含的至少一个存储服务器中,确定其中一个存储服务器为目标存储服务器,并将待写入数据写入所述目标存储服务器。本发明实施例能够保证在全部管理节点出现故障或管理节点集群网络异常时,云存储***仍能正常运行,且不需要增加额外的成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为无法获取到管理节点时云存储***无法提供服务的示意图;
图2为正常情况下云存储***处理数据请求的示意性流程;
图3为本实施例提供的基于云存储***的数据写入方法;
图4为本实施例提供的一种构建索引的方法;
图5为本实施例提供的基于云存储***的数据读取方法;
图6为本实施例提供的另一种构建索引的方法;
图7为本实施例提供的基于云存储***的数据写入装置;
图8为本实施例提供的基于云存储***的数据读取装置。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
图3为本实施例提供的基于云存储***的数据写入方法,可以包括如下步骤:
步骤301,接入节点接收数据写入请求。
一般情况下,云存储***至少可以包括:接入节点、至少一个管理节点以及至少一个存储服务器。接入节点可以用来接收数据写入请求,并将数据写入请求发送给管理节点,以使得管理节点为该数据写入请求分配对应的存储服务器。接入节点可以进一步地根据管理节点为该数据写入请求分配的存储服务器,对该数据写入请求中相应的数据进行处理。
在本实施例中,云存储***进行数据写入时,可以首先由接入节点接收数据写入请求,并对相应的数据进行写入。
以图2所示的视频云存储***的架构为例进行说明,对正常情况下云存储***处理数据请求的过程作简单介绍。如图2所示,电子设备110可以向视频云存储接入节点(CVA)120发送数据处理请求,当接入节点120接收到一个数据处理请求时,接入节点120需要将该数据处理请求发送给管理节点(CVM)130,以使管理节点130为该数据处理请求分配对应的存储服务器(CVS)140。管理节点130为该数据处理请求分配对应的存储服务器140后,可以将分配结果反馈给接入节点120,接入节点120可以基于分配的存储服务器140,进行相应的数据处理,例如数据读写操作。
步骤302,当无法获取到可用管理节点时,识别所述数据写入请求中包含的域标识信息,并根据所述域标识信息,查询预先保存的索引,其中,所述索引包含资源池与域标识信息的对应关系。
在云存储***中,通常可以包含多个存储服务器,为了便于对多个存储服务器进行管理,可以建立资源池,其中,每个资源池可以包括至少一个存储服务器。每个资源池可以有对应的域标识信息。
当接入节点接收到数据写入请求时,数据写入请求中通常会包含域标识信息,即待写入数据将要写入的存储服务器所在的资源池的域标识信息,以使得接入节点可以基于该域标识信息,为数据写入请求分配对应的存储服务器。
正常情况下,接入节点接收到数据写入请求时,可以将数据写入请求发送给管理节点,以使得管理节点为该数据写入请求分配对应的存储服务器。然而,当无法获取到可用管理节点时,接入节点将不能通过管理节点获得为该数据写入请求分配的存储服务器。
因此,在本实施例中,可以预先保存包含资源池与域标识信息的对应关系的索引。当接收到数据写入请求且无法获取到可用管理节点时,接入节点可以根据识别数据写入请求中的域标识信息,并根据该域标识信息,查询预先保存的包含资源池与域标识信息的对应关系的索引,以识别与该域标识信息匹配的目标资源池。
步骤303,识别与所述域标识信息匹配的目标资源池,其中,每个资源池中包含至少一个存储服务器。
在本发明实施例中,接入节点识别出数据写入请求中包含的域标识信息后,可以查找索引中保存的每个资源池与域标识信息的对应关系,以识别出与数据写入请求中包含的域标识信息对应的资源池,并将识别到的资源池作为目标资源池,以基于目标资源池,对该数据写入请求进行处理。
步骤304,从所述目标资源池中包含的至少一个存储服务器中,确定其中一个存储服务器为目标存储服务器,并将待写入数据写入所述目标存储服务器。
当识别出与数据写入请求中包含的域标识信息对应的目标资源池后,接入节点可以进一步地从目标资源池中包含的至少一个存储服务器中,确定其中一个存储服务器为目标存储服务器,以将待写入数据写入该目标存储服务器。
例如,可以在目标资源池中包含的至少一个存储服务器中,选择其中任一个存储服务器作为目标存储服务器。
可选地或附加地,为了保证每个存储服务器的负载均衡,在选择目标资源池中的目标存储服务器时,可以首先获取每个存储服务器的当前负载量,然后在各存储服务器中,识别当前负载量最小的存储服务器,将其作为目标存储服务器。
例如,当云存储***为视频云存储***时,在该视频云存储***中可以存储大量的视频数据。具体地,视频采集***可以将其采集的实时视频数据写入视频云存储***中。
为了便于对视频云存储***中的视频数据进行管理,同一视频采集***采集的视频数据保存到视频云存储***的固定的存储服务器中,该固定的存储服务器构成一个资源池,该资源池对应一个域标识信息。并配置读写操作时,访问该固定的存储服务器的视频处理设备的地址信息。
当接入节点接收到视频写入请求且无法获取到可用管理节点时,可以首先识别视频写入请求中包含的域标识信息,然后根据该域标识信息,以及索引中保存的资源池与域标识信息的对应关系,识别与该域标识信息匹配的目标资源池,最后,可以从目标资源池中包含的至少一个存储服务器的信息中,确定其中一个存储服务器为目标存储服务器,并将视频数据写入该目标存储服务器。
优选地,为了保证每个存储服务器的负载均衡,在选择用于存储视频数据的目标存储服务器时,可以首先获取每个存储服务器的当前负载量,然后识别当前负载量最小的存储服务器,将其作为目标存储服务器。
在一种实现方式中,在选择目标存储服务器时,接入节点可以向目标资源池中的每个存储服务器发出获取其当前负载量的请求,并根据各存储服务器返回的响应消息获取每个存储服务器的当前负载量。然后,可以将当前负载量最小的存储服务器作为目标存储服务器。
在另一种实现方式中,接入节点在构建索引的过程中,可以在该索引中保存每个存储服务器对应的负载量。在选择目标存储服务器时,接入节点可以查询索引中保存的目标资源池中的每个存储服务器的负载量,并选择负载量最小的存储服务器作为目标存储服务器。并且,可选地,接入节点将待写入数据写入目标存储服务器后,可以更新索引中保存的该目标存储服务器对应的负载量。
本发明实施例提供的方法,通过预先保存包含资源池与域标识信息的对应关系的索引,在接收到数据写入请求并且无法获取到可用管理节点时,可以识别所述数据写入请求中包含的域标识信息,然后根据所述域标识信息,以及所述索引中保存的资源池与域标识信息的对应关系,识别与所述域标识信息匹配的目标资源池,最后从所述目标资源池中包含的至少一个存储服务器中,确定其中一个存储服务器为目标存储服务器,以将数据写入该目标存储服务器,能够保证在全部管理节点出现故障或管理节点集群网络异常时,云存储***仍能正常写入数据,不会造成数据丢失。
基于本发明的上述实施例,图4为本实施例提供的一种构建索引的方法,可以包括如下步骤:
步骤401,向每个管理节点发送获取每个资源池与域标识信息的对应关系的请求,并接收所述每个管理节点发送的每个资源池与域标识信息的对应关系。
在云存储***中,管理节点在整个***的正常运行中起到至关重要的作用。当接收到数据写入请求时,管理节点需要基于各存储服务器的属性信息,为数据写入请求分配存储服务器,以写入相应的数据。当无法获取到管理节点时,由于无法获得各存储服务器的属性信息,因此,无法为数据写入请求分配对应的存储服务器,数据写入可能会失败。
因此,在本实施例中,为了保证在无法获取到可用管理节点时云存储***仍能提供正常服务,可以预先构建包含每个资源池与域标识信息的对应关系的索引,以在无法获取到可用管理节点时仍能获得各存储服务器的属性信息,进一步地,基于各存储服务器的属性信息,为数据写入请求分配相应的存储服务器,确保云存储***正常运行。
具体地,接入节点可以向每个管理节点发送获取每个资源池与域标识信息的对应关系的请求,并接收每个管理节点发送的每个资源池与域标识信息的对应关系。
步骤402,在索引中保存所述每个资源池与域标识信息的对应关系。
获取到每个资源池与域标识信息的对应关系后,可以在索引中保存每个资源池与域标识信息的对应关系,以在接收到数据写入请求且无法获取到管理节点时,根据索引中保存的每个资源池与域标识信息的对应关系,确定与数据写入请求对应的目标资源池,并基于目标资源池,对数据写入请求进行处理。
可选地,由于每个资源池与域标识信息的对应关系可能会变化,因此,为了保证索引中保存的各资源池与域标识信息的对应关系的正确性,可以按照设定的时间间隔(如2小时、12小时、24小时等),进行上述步骤401和步骤402,实现对所述索引中保存的每个资源池与域标识信息的对应关系的更新。
本实施例提供的方法,预先构建包含每个资源池与域标识信息的对应关系的索引,在接收到数据写入请求并且无法获取到可用管理节点时,可以根据该索引确定数据写入请求对应的至少一个目标资源池,并基于目标资源池确定目标存储服务器,以对相应的数据进行写入,保证了在全部管理节点出现故障或管理节点集群网络异常时,云存储***仍能正常运行。
图5为本实施例提供的基于云存储***的数据读取方法,应用于查询平台,可以包括如下步骤:
步骤501,接收数据读取请求。
在本实施例中,查询平台进行数据读取时,可以首先接收数据读取请求,并对相应的数据进行读取。
步骤502,当无法获取到可用管理节点时,查询预先保存的索引,其中,所述索引包含每个存储服务器及其IP地址的对应关系。
正常情况下,查询平台接收到数据读取请求时,可以将数据读取请求发送给管理节点,以使得管理节点为该数据读取请求分配对应的存储服务器。然而,当无法获取到可用管理节点时,查询平台将不能通过管理节点获得为该数据读取请求分配的存储服务器。
因此,在本实施例中,可以预先保存包含每个存储服务器及其IP地址的对应关系的索引。当接收到数据读取请求且无法获取到可用管理节点时,查询平台可以查询该索引,以获得各存储服务器的IP地址。
步骤503,根据所述每个存储服务器的IP地址,向所述每个存储服务器发送获取数据的属性信息的请求,并接收对应的所述每个存储服务器返回的其自身保存的数据的属性信息。
当查询平台获得每个存储服务器的IP地址后,可以根据每个存储服务器的IP地址,向每个存储服务器发送获取数据的属性信息的请求,并接收对应的每个存储服务器返回的其自身保存的数据的属性信息。
上述数据的属性信息例如可以包括每个存储服务器中保存的数据的关键词,如当存储服务器中保存的数据为道路实时监控视频时,上述属性信息可以为路段信息、时间信息等。
查询平台可以接收对应的每个存储服务器发送的自身保存的数据的属性信息,以基于该属性信息,确定待读取数据所在的存储服务器,并从相应的存储服务器中读取相应的数据。
可以理解,在云存储***的多个存储服务器中,针对每个存储服务器,其都可能会出现故障,因此该存储服务器可能出现离线状态。这种情况下,当查询平台向该存储服务器发送获取其保存的数据的属性信息时,该存储服务器可能不会返回响应消息。因此,当存在处于离线状态的存储服务器时,查询平台向每个存储服务器发送获取其保存的数据的属性信息可能会造成资源浪费。
因此,可选地,在本发明实施例中,可以在查询平台的索引中保存每个存储服务器是否在线的状态信息。这种情况下,查询平台可以首先根据每个存储服务器的状态信息,识别处于在线状态的存储服务器,然后根据处于在线状态的存储服务器的IP地址,向对应的每个处于在线状态的存储服务器发送获取数据的属性信息的请求。
通过在索引中保存每个存储服务器的状态信息,并根据各存储服务器的状态信息,只向处于在线状态的存储服务器发送获取数据的属性信息的请求,能够节省网络资源。
步骤504,根据接收的所述每个存储服务器发送的其自身保存的数据的属性信息,以及所述数据读取请求中包含的待读取数据的属性信息,确定至少一个目标存储服务器,并从每个目标存储服务器中读取相应的数据。
查询平台接收到每个存储服务器发送的其自身保存的数据的属性信息后,可以根据每个存储服务器自身保存的数据的属性信息,以及数据读取请求中包含的待读取数据的属性信息,确定至少一个目标存储服务器。
查询平台接收到的数据读取请求中通常会包含待读取数据的属性信息,因此,查询平台接收到每个存储服务器自身保存的数据的属性信息后,可以识别与数据读取请求中包含的待读取数据的属性信息对应的存储服务器,并将识别到的存储服务器作为目标存储服务器,以从目标存储服务器中读取相应的数据。
例如,当云存储***为视频云存储***时,在该视频云存储***中可以存储大量的视频数据,用户可以从该视频云存储***中读取其想要的视频数据。具体地,当视频云存储***中存储有交通监控视频数据时,用户可以读取对应时间段或对应路段的相应的视频数据。
当查询平台接收到视频处理设备通过平台发送的数据读取请求时,该数据读取请求中携带待读取的视频数据的属性信息,该属性例如可以为时间段信息和/或路段信息等。查询平台中设置有与平台交互的接口,可以通过该接口接收平台发送的数据读取请求。
查询平台接收到数据读取请求且无法获取到可用管理节点时,查询预先保存的索引,其中,索引包含每个存储服务器及其IP地址的对应关系,例如读取9:00-10:00的视频数据。然后,查询平台可以根据预先构建的索引,确定该IP地址对应的每个存储服务器,并向每个存储服务器发送获取视频数据的属性信息的请求,并接收对应的每个存储服务器返回的其自身保存的该对应时间的视频片段。最后,查询平台可以根据接收的每个存储服务器返回的其自身保存的视频片段,以及视频数据读取请求中包含的待读取视频数据的属性信息,确定至少一个目标存储服务器。并将该目标存储服务器的信息发送给查询平台,查询平台访问对应的目标存储服务器,从目标存储服务器中读取对应时间段的视频数据。
本实施例提供的方法,通过预先保存包含每个存储服务器及其IP地址的对应关系的索引,在接收到数据读取请求并且无法获取到可用管理节点时,可以查询预先保存的索引,获得每个存储服务器的IP地址,然后根据每个存储服务器的IP地址,向每个存储服务器发送获取自身保存的数据的属性信息的请求,并接收所述对应的每个存储服务器发送的自身保存的数据的属性信息,最后根据接收的每个存储服务器发送的自身保存的数据的属性信息,以及数据读取请求中包含的待读取数据的属性信息,确定至少一个目标存储服务器,以从目标存储服务器中读取相应的数据,能够保证在全部管理节点出现故障或管理节点集群网络异常时,云存储***仍能正常提供数据读取服务。
基于本发明的上述实施例,图6为本实施例提供的另一种构建索引的方法,可以包括如下步骤:
步骤601,向每个管理节点发送获取每个存储服务器和IP地址的对应关系的请求,并接收所述每个管理节点发送的每个存储服务器和IP地址的对应关系。
在云存储***中,管理节点在整个***的正常运行中起到至关重要的作用。当接收到数据读取请求时,管理节点需要基于各存储服务器的属性信息,为数据读取请求分配存储服务器,以进行相应的数据读取。当无法获取到管理节点时,由于无法获得各存储服务器的属性信息,因此,无法为数据读取请求分配对应的存储服务器,数据读取可能会失败。
因此,在本实施例中,为了保证在无法获取到可用管理节点时云存储***仍能提供正常服务,查询平台可以预先构建包含每个存储服务器和IP地址的对应关系的索引,以在无法获取到可用管理节点时仍能获得各存储服务器的属性信息,进一步地,基于各存储服务器的属性信息,为数据读取请求分配相应的存储服务器,确保云存储***正常运行。
具体地,查询平台可以向每个管理节点发送获取每个存储服务器和IP地址的对应关系的请求,并接收每个管理节点发送的每个存储服务器和IP地址的对应关系。
步骤602,在索引中保存所述每个存储服务器和IP地址的对应关系。
获取到每个存储服务器和IP地址的对应关系后,查询平台可以在索引中保存每个存储服务器和IP地址的对应关系,以在接收到数据读取请求且无法获取到管理节点时,根据索引中保存的每个存储服务器和IP地址的对应关系,向每个存储服务器发送获取数据的属性信息的请求,并根据每个存储服务器返回的响应消息,确定与数据读取请求对应的目标存储服务器,并基于目标存储服务器,读取相应的数据。
可选地,由于每个存储服务器和IP地址的对应关系可能会变化,因此,为了保证索引中保存的每个存储服务器和IP地址的对应关系的正确性,查询平台可以按照设定的时间间隔(如2小时、12小时、24小时等),进行上述步骤601和步骤602,实现对所述索引中保存的每个存储服务器和IP地址的对应关系的更新。
本实施例提供的方法,预先构建包含每个存储服务器和IP地址的对应关系的索引,在接收到数据读取请求并且无法获取到可用管理节点时,根据该索引确定数据读取请求对应的至少一个目标存储服务器,并基于目标存储服务器,读取相应的数据,保证了在全部管理节点出现故障或管理节点集群网络异常时,云存储***仍能正常运行。
图7为本实施例提供的基于云存储***的数据写入装置,可以包括:
接收模块710,用于接收数据写入请求;
处理模块720,用于当无法获取到可用管理节点时,识别所述数据写入请求中包含的域标识信息,并根据所述域标识信息,查询预先保存的索引,其中,所述索引包含资源池与域标识信息的对应关系;
识别模块730,用于识别与所述域标识信息匹配的目标资源池,其中,每个资源池中包含至少一个存储服务器;
写入模块740,用于从所述目标资源池中包含的至少一个存储服务器中,确定其中一个存储服务器为目标存储服务器,并将所述数据写入请求中包含的数据写入所述目标存储服务器。
本实施例提供的装置,通过预先保存包含资源池与域标识信息的对应关系的索引,在接收到数据写入请求并且无法获取到可用管理节点时,可以识别所述数据写入请求中包含的域标识信息,然后根据所述域标识信息,以及所述索引中保存的资源池与域标识信息的对应关系,识别与所述域标识信息匹配的目标资源池,最后从所述目标资源池中包含的至少一个存储服务器中,确定其中一个存储服务器为目标存储服务器,以将数据写入该目标存储服务器,能够保证在全部管理节点出现故障或管理节点集群网络异常时,云存储***仍能正常写入数据,不会造成数据丢失。
进一步地,所述写入模块740,具体用于:
获取每个存储服务器的当前负载量;
识别当前负载量最小的存储服务器,将其作为目标存储服务器。
进一步地,所述无法获取到可用管理节点包括:每个管理节点均出现故障或管理节点集群网络异常。
进一步地,所述装置还包括:
执行模块(图中未示出),用于向每个管理节点发送获取每个资源池与域标识信息的对应关系的请求,并接收所述每个管理节点发送的每个资源池与域标识信息的对应关系;
保存模块(图中未示出),用于在索引中保存所述每个资源池与域标识信息的对应关系。
进一步地,所述装置还包括:
更新模块(图中未示出),用于按照设定的时间间隔,更新所述索引中保存的每个资源池与域标识信息的对应关系。
通过预先构建包含每个资源池与域标识信息的对应关系的索引,在接收到数据写入请求并且无法获取到可用管理节点时,可以根据该索引确定数据写入请求对应的至少一个目标资源池,并基于目标资源池确定目标存储服务器,以对相应的数据进行写入,保证了在全部管理节点出现故障或管理节点集群网络异常时,云存储***仍能正常运行。
图8为本实施例提供的基于云存储***的数据读取装置,应用于查询平台,可以包括:
接收模块810,用于接收数据读取请求;
查询模块820,用于当无法获取到可用管理节点时,查询预先保存的索引,其中,所述索引包含每个存储服务器及其IP地址的对应关系;
处理模块830,用于根据所述每个存储服务器的IP地址,向所述每个存储服务器发送获取数据的属性信息的请求,并接收对应的所述每个存储服务器返回的其自身保存的数据的属性信息;
读取模块840,用于根据接收的所述每个存储服务器发送的其自身保存的数据的属性信息,以及所述数据读取请求中包含的待读取数据的属性信息,确定至少一个目标存储服务器,并从每个目标存储服务器中读取相应的数据。
本实施例提供的装置,通过预先保存包含每个存储服务器及其IP地址的对应关系的索引,在接收到数据读取请求并且无法获取到可用管理节点时,可以查询预先保存的索引,获得每个存储服务器的IP地址,然后根据每个存储服务器的IP地址,向每个存储服务器发送获取自身保存的数据的属性信息的请求,并接收所述对应的每个存储服务器发送的自身保存的数据的属性信息,最后根据接收的每个存储服务器发送的自身保存的数据的属性信息,以及数据读取请求中包含的待读取数据的属性信息,确定至少一个目标存储服务器,以从目标存储服务器中读取相应的数据,能够保证在全部管理节点出现故障或管理节点集群网络异常时,云存储***仍能正常提供数据读取服务。
进一步地,所述索引中还包括每个存储服务器是否在线的状态信息,所述处理模块830,包括:
识别子模块(图中未示出),用于根据每个存储服务器的状态信息,识别处于在线状态的存储服务器;
处理子模块(图中未示出),用于根据处于在线状态的存储服务器的IP地址,向对应的每个处于在线状态的存储服务器发送获取数据的属性信息的请求。
进一步地,所述无法获取到可用管理节点包括:每个管理节点均出现故障或管理节点集群网络异常。
进一步地,所述装置还包括:
执行模块(图中未示出),用于向每个管理节点发送获取每个存储服务器和IP地址的对应关系的请求,并接收所述每个管理节点发送的每个存储服务器和IP地址的对应关系;
保存模块(图中未示出),用于在索引中保存所述每个存储服务器和IP地址的对应关系。
进一步地,所述装置还包括:
更新模块(图中未示出),用于按照设定的时间间隔,更新所述索引中保存的每个存储服务器和IP地址的对应关系。
通过预先构建包含每个存储服务器和IP地址的对应关系的索引,在接收到数据读取请求并且无法获取到可用管理节点时,根据该索引确定数据读取请求对应的至少一个目标存储服务器,并基于目标存储服务器,读取相应的数据,保证了在全部管理节点出现故障或管理节点集群网络异常时,云存储***仍能正常运行。
另一方面,本发明实施例还提供了一种云存储***,所述云存储***可以包括:如图7所示实施例提供的设置在接入节点中的装置,以及至少一个存储服务器。
本实施例提供的云存储***,能够保证在全部管理节点出现故障或管理节点集群网络异常时,云存储***仍能正常运行,且不需要增加额外的成本。
对于***/装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于***实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (21)
1.一种基于云存储***的数据写入方法,所述云存储***至少包括:接入节点、至少一个管理节点以及至少一个存储服务器,其特征在于,所述方法包括:
所述接入节点接收数据写入请求;
当无法获取到可用管理节点时,识别所述数据写入请求中包含的域标识信息,并根据所述域标识信息,查询预先保存的索引,其中,所述索引包含资源池与域标识信息的对应关系;
识别与所述域标识信息匹配的目标资源池,其中,每个资源池中包含至少一个存储服务器;
从所述目标资源池中包含的至少一个存储服务器中,确定其中一个存储服务器为目标存储服务器,并将待写入数据写入所述目标存储服务器。
2.根据权利要求1所述的方法,其特征在于,所述确定其中一个存储服务器为目标存储服务器,包括:
获取每个存储服务器的当前负载量;
识别当前负载量最小的存储服务器,将其作为目标存储服务器。
3.根据权利要求1所述的方法,其特征在于,所述无法获取到可用管理节点包括:每个管理节点均出现故障或管理节点集群网络异常。
4.根据权利要求1-3任一所述的方法,其特征在于,构建所述索引的过程包括:
向每个管理节点发送获取每个资源池与域标识信息的对应关系的请求,并接收所述每个管理节点发送的每个资源池与域标识信息的对应关系;
在索引中保存所述每个资源池与域标识信息的对应关系。
5.根据权利要求4所述的方法,其特征在于,还包括:
按照设定的时间间隔,更新所述索引中保存的每个资源池与域标识信息的对应关系。
6.一种基于云存储***的数据读取方法,所述云存储***至少包括:至少一个管理节点以及至少一个存储服务器,其特征在于,应用于查询平台,所述方法包括:
接收数据读取请求;
当无法获取到可用管理节点时,查询预先保存的索引,其中,所述索引包含每个存储服务器及其IP地址的对应关系;
根据所述每个存储服务器的IP地址,向所述每个存储服务器发送获取数据的属性信息的请求,并接收对应的所述每个存储服务器返回的其自身保存的数据的属性信息;
根据接收的所述每个存储服务器发送的其自身保存的数据的属性信息,以及所述数据读取请求中包含的待读取数据的属性信息,确定至少一个目标存储服务器,并从每个目标存储服务器中读取相应的数据。
7.根据权利要求6所述的方法,其特征在于,所述索引中还包括每个存储服务器是否在线的状态信息,所述根据所述每个存储服务器的IP地址,向所述每个存储服务器发送获取数据的属性信息的请求,包括:
根据每个存储服务器的状态信息,识别处于在线状态的存储服务器;
根据处于在线状态的存储服务器的IP地址,向对应的每个处于在线状态的存储服务器发送获取数据的属性信息的请求。
8.根据权利要求6所述的方法,其特征在于,所述无法获取到可用管理节点包括:每个管理节点均出现故障或管理节点集群网络异常。
9.根据权利要求6-8任一所述的方法,其特征在于,构建所述索引的过程包括:
向每个管理节点发送获取每个存储服务器和IP地址的对应关系的请求,并接收所述每个管理节点发送的每个存储服务器和IP地址的对应关系;
在索引中保存所述每个存储服务器和IP地址的对应关系。
10.根据权利要求6-8任一所述的方法,其特征在于,所述方法还包括:
按照设定的时间间隔,更新所述索引中保存的每个存储服务器和IP地址的对应关系。
11.一种基于云存储***的数据写入装置,所述云存储***至少包括:接入节点、至少一个管理节点以及至少一个存储服务器,其特征在于,应用于所述接入节点,所述装置包括:
接收模块,用于接收数据写入请求;
处理模块,用于当无法获取到可用管理节点时,识别所述数据写入请求中包含的域标识信息,并根据所述域标识信息,查询预先保存的索引,其中,所述索引包含资源池与域标识信息的对应关系;
识别模块,用于识别与所述域标识信息匹配的目标资源池,其中,每个资源池中包含至少一个存储服务器;
写入模块,用于从所述目标资源池中包含的至少一个存储服务器中,确定其中一个存储服务器为目标存储服务器,并将待写入数据写入所述目标存储服务器。
12.根据权利要求11所述的装置,其特征在于,所述写入模块,具体用于:
获取每个存储服务器的当前负载量;
识别当前负载量最小的存储服务器,将其作为目标存储服务器。
13.根据权利要求11所述的装置,其特征在于,所述无法获取到可用管理节点包括:每个管理节点均出现故障或管理节点集群网络异常。
14.根据权利要求11-13任一所述的装置,其特征在于,还包括:
执行模块,用于向每个管理节点发送获取每个资源池与域标识信息的对应关系的请求,并接收所述每个管理节点发送的每个资源池与域标识信息的对应关系;
保存模块,用于在索引中保存所述每个资源池与域标识信息的对应关系。
15.根据权利要求14所述的装置,其特征在于,还包括:
更新模块,用于按照设定的时间间隔,更新所述索引中保存的每个资源池与域标识信息的对应关系。
16.一种基于云存储***的数据读取装置,所述云存储***至少包括:至少一个管理节点以及至少一个存储服务器,其特征在于,应用于查询平台,所述装置包括:
接收模块,用于接收数据读取请求;
查询模块,用于当无法获取到可用管理节点时,查询预先保存的索引,其中,所述索引包含每个存储服务器及其IP地址的对应关系;
处理模块,用于根据所述每个存储服务器的IP地址,向所述每个存储服务器发送获取数据的属性信息的请求,并接收对应的所述每个存储服务器返回的其自身保存的数据的属性信息;
读取模块,用于根据接收的所述每个存储服务器发送的其自身保存的数据的属性信息,以及所述数据读取请求中包含的待读取数据的属性信息,确定至少一个目标存储服务器,并从每个目标存储服务器中读取相应的数据。
17.根据权利要求16所述的装置,其特征在于,所述索引中还包括每个存储服务器是否在线的状态信息,所述处理模块,包括:
识别子模块,用于根据每个存储服务器的状态信息,识别处于在线状态的存储服务器;
处理子模块,用于根据处于在线状态的存储服务器的IP地址,向对应的每个处于在线状态的存储服务器发送获取数据的属性信息的请求。
18.根据权利要求16所述的装置,其特征在于,所述无法获取到可用管理节点包括:每个管理节点均出现故障或管理节点集群网络异常。
19.根据权利要求16-18任一所述的装置,其特征在于,所述装置还包括:
执行模块,用于向每个管理节点发送获取每个存储服务器和IP地址的对应关系的请求,并接收所述每个管理节点发送的每个存储服务器和IP地址的对应关系;
保存模块,用于在索引中保存所述每个存储服务器和IP地址的对应关系。
20.根据权利要求16-18任一所述的装置,其特征在于,所述装置还包括:
更新模块,用于按照设定的时间间隔,更新所述索引中保存的每个存储服务器和IP地址的对应关系。
21.一种云存储***,其特征在于,所述云存储***包括如权利要求11-15任一项所述的设置在接入节点中的装置,以及至少一个存储服务器。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610088973.4A CN107092437B (zh) | 2016-02-17 | 2016-02-17 | 数据写入、读取方法及装置、云存储*** |
PCT/CN2016/105094 WO2017140131A1 (zh) | 2016-02-17 | 2016-11-08 | 数据写入、读取方法及装置、云存储*** |
US15/999,307 US11586673B2 (en) | 2016-02-17 | 2016-11-08 | Data writing and reading method and apparatus, and cloud storage system |
EP16890357.3A EP3418877B1 (en) | 2016-02-17 | 2016-11-08 | Data writing and reading method and apparatus, and cloud storage system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610088973.4A CN107092437B (zh) | 2016-02-17 | 2016-02-17 | 数据写入、读取方法及装置、云存储*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107092437A true CN107092437A (zh) | 2017-08-25 |
CN107092437B CN107092437B (zh) | 2019-11-22 |
Family
ID=59624949
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610088973.4A Active CN107092437B (zh) | 2016-02-17 | 2016-02-17 | 数据写入、读取方法及装置、云存储*** |
Country Status (4)
Country | Link |
---|---|
US (1) | US11586673B2 (zh) |
EP (1) | EP3418877B1 (zh) |
CN (1) | CN107092437B (zh) |
WO (1) | WO2017140131A1 (zh) |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107885803A (zh) * | 2017-10-31 | 2018-04-06 | 中国地质大学(武汉) | 一种大数据写入、读取速度耦合的方法、设备及存储设备 |
CN109492419A (zh) * | 2018-11-27 | 2019-03-19 | 众安信息技术服务有限公司 | 用于获取区块链中的数据的方法、装置及存储介质 |
CN109587191A (zh) * | 2017-09-29 | 2019-04-05 | 杭州海康威视***技术有限公司 | 跨云域的数据传输方法、互联云中心、云域及互联云*** |
CN109597567A (zh) * | 2017-09-30 | 2019-04-09 | 网宿科技股份有限公司 | 一种数据处理方法和装置 |
CN109992531A (zh) * | 2019-04-15 | 2019-07-09 | 成都四方伟业软件股份有限公司 | 数据存储方法及装置 |
CN110069210A (zh) * | 2018-01-23 | 2019-07-30 | 杭州海康威视***技术有限公司 | 一种存储***、存储资源的分配方法及装置 |
CN110139166A (zh) * | 2018-02-08 | 2019-08-16 | 杭州海康威视***技术有限公司 | 一种视频数据传输方法、装置、***及电子设备 |
WO2019214694A1 (zh) * | 2018-05-09 | 2019-11-14 | 杭州海康威视***技术有限公司 | 存储数据的方法、读取数据的方法、装置及*** |
CN110502333A (zh) * | 2018-05-16 | 2019-11-26 | 杭州海康威视***技术有限公司 | 一种访问请求的处理方法和云存储*** |
CN110531934A (zh) * | 2019-08-23 | 2019-12-03 | 北京浪潮数据技术有限公司 | 基于分布式***的数据存储方法和装置 |
CN110765125A (zh) * | 2018-07-25 | 2020-02-07 | 杭州海康威视数字技术股份有限公司 | 一种存储数据的方法及装置 |
CN111221468A (zh) * | 2018-11-26 | 2020-06-02 | 杭州海康威视***技术有限公司 | 存储块数据删除方法、装置、电子设备及云存储*** |
CN111352725A (zh) * | 2018-12-24 | 2020-06-30 | 杭州海康威视***技术有限公司 | 存储负载均衡的方法和装置 |
CN111367905A (zh) * | 2018-12-26 | 2020-07-03 | 杭州海康威视***技术有限公司 | 对象数据存储、数据索引构建方法、装置及接入服务器 |
CN111404978A (zh) * | 2019-09-06 | 2020-07-10 | 杭州海康威视***技术有限公司 | 一种数据存储方法及云存储*** |
CN111404980A (zh) * | 2019-09-29 | 2020-07-10 | 杭州海康威视***技术有限公司 | 一种数据存储方法及一种对象存储*** |
CN111913658A (zh) * | 2020-07-13 | 2020-11-10 | 华中科技大学 | 一种提升云对象存储***中负载性能的方法及*** |
CN112000850A (zh) * | 2020-08-26 | 2020-11-27 | 杭州海康威视***技术有限公司 | 进行数据处理的方法、装置、***及设备 |
CN112214466A (zh) * | 2019-07-12 | 2021-01-12 | 海能达通信股份有限公司 | 分布式集群***及数据写入方法、电子设备、存储装置 |
CN113010376A (zh) * | 2021-03-01 | 2021-06-22 | 北京聚云科技有限公司 | 一种对存储训练数据的云存储***的监测方法及装置 |
CN114077639A (zh) * | 2020-08-20 | 2022-02-22 | 北京字节跳动网络技术有限公司 | 数据写入方法、装置、电子设备和存储介质 |
CN114928621A (zh) * | 2022-02-15 | 2022-08-19 | 杭州瑞网广通信息技术有限公司 | 一种云存储***的数据写入方法以及装置 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112351051A (zh) * | 2019-08-06 | 2021-02-09 | 中兴通讯股份有限公司 | 云服务处理方法、装置、云服务器、***及存储介质 |
CN112543213B (zh) * | 2019-09-23 | 2022-06-03 | 杭州海康威视数字技术股份有限公司 | 一种数据处理方法及装置 |
CN111198662B (zh) * | 2020-01-03 | 2023-07-14 | 腾讯云计算(长沙)有限责任公司 | 一种数据存储方法、装置和计算机可读存储介质 |
CN111258978B (zh) * | 2020-01-17 | 2024-04-19 | 广东小天才科技有限公司 | 一种数据存储的方法 |
CN115517009B (zh) * | 2020-05-19 | 2023-10-13 | 深圳市欢太科技有限公司 | 集群管理方法、集群管理装置、存储介质与电子设备 |
CN113806593A (zh) * | 2020-06-17 | 2021-12-17 | 新疆金风科技股份有限公司 | 风电场的通信异常检测方法、装置以及场站控制器 |
CN113923095B (zh) * | 2021-09-30 | 2024-06-14 | 郑州浪潮数据技术有限公司 | 一种集群消息转发方法、***及存储介质 |
CN114697353B (zh) * | 2022-05-27 | 2022-09-06 | 邹平市供电有限公司 | 一种分布式存储集群电网数据存储控制方法 |
CN115242807B (zh) * | 2022-06-30 | 2024-07-05 | 深圳震有科技股份有限公司 | 一种5g通信***中的数据存取方法及相关设备 |
CN115905219B (zh) * | 2022-11-04 | 2023-09-19 | 上海威固信息技术股份有限公司 | 多通道数据存云库用的数据存储驱动***及其传输方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101827121A (zh) * | 2010-03-12 | 2010-09-08 | 成都市华为赛门铁克科技有限公司 | 在raid中创建文件的方法、服务端和*** |
CN102035865A (zh) * | 2009-09-30 | 2011-04-27 | 阿里巴巴集团控股有限公司 | 数据存储及数据寻址方法、***和设备 |
CN102594852A (zh) * | 2011-01-04 | 2012-07-18 | ***通信集团公司 | 数据访问方法、节点及*** |
CN102694860A (zh) * | 2012-05-25 | 2012-09-26 | 北京邦诺存储科技有限公司 | 一种云存储的数据处理方法、设备及*** |
CN102714615A (zh) * | 2010-11-29 | 2012-10-03 | 华为技术有限公司 | 节点故障处理方法、***及相关设备 |
US20140181116A1 (en) * | 2011-10-11 | 2014-06-26 | Tianjin Sursen Investment Co., Ltd. | Method and device of cloud storage |
CN103942112A (zh) * | 2013-01-22 | 2014-07-23 | 深圳市腾讯计算机***有限公司 | 磁盘容错方法、装置及*** |
CN104679611A (zh) * | 2015-03-05 | 2015-06-03 | 浙江宇视科技有限公司 | 数据资源复制方法以及装置 |
US20150379292A1 (en) * | 2014-06-30 | 2015-12-31 | Paul Lewis | Systems and methods for jurisdiction independent data storage in a multi-vendor cloud environment |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102137014B (zh) * | 2011-03-11 | 2013-12-04 | 华为技术有限公司 | 资源管理方法、***和资源管理器 |
US8804740B2 (en) * | 2012-06-15 | 2014-08-12 | Citrix Systems, Inc. | Systems and methods for reassembly of packets distributed across a cluster |
CN104331330B (zh) | 2014-10-27 | 2018-05-01 | 华为技术有限公司 | 资源池生成方法以及装置 |
CN104901903B (zh) | 2015-04-07 | 2019-05-07 | 北京邮电大学 | 软件定义网络多域资源处理方法及*** |
-
2016
- 2016-02-17 CN CN201610088973.4A patent/CN107092437B/zh active Active
- 2016-11-08 EP EP16890357.3A patent/EP3418877B1/en active Active
- 2016-11-08 US US15/999,307 patent/US11586673B2/en active Active
- 2016-11-08 WO PCT/CN2016/105094 patent/WO2017140131A1/zh active Application Filing
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102035865A (zh) * | 2009-09-30 | 2011-04-27 | 阿里巴巴集团控股有限公司 | 数据存储及数据寻址方法、***和设备 |
CN101827121A (zh) * | 2010-03-12 | 2010-09-08 | 成都市华为赛门铁克科技有限公司 | 在raid中创建文件的方法、服务端和*** |
CN102714615A (zh) * | 2010-11-29 | 2012-10-03 | 华为技术有限公司 | 节点故障处理方法、***及相关设备 |
CN102594852A (zh) * | 2011-01-04 | 2012-07-18 | ***通信集团公司 | 数据访问方法、节点及*** |
US20140181116A1 (en) * | 2011-10-11 | 2014-06-26 | Tianjin Sursen Investment Co., Ltd. | Method and device of cloud storage |
CN102694860A (zh) * | 2012-05-25 | 2012-09-26 | 北京邦诺存储科技有限公司 | 一种云存储的数据处理方法、设备及*** |
CN103942112A (zh) * | 2013-01-22 | 2014-07-23 | 深圳市腾讯计算机***有限公司 | 磁盘容错方法、装置及*** |
US20150379292A1 (en) * | 2014-06-30 | 2015-12-31 | Paul Lewis | Systems and methods for jurisdiction independent data storage in a multi-vendor cloud environment |
CN104679611A (zh) * | 2015-03-05 | 2015-06-03 | 浙江宇视科技有限公司 | 数据资源复制方法以及装置 |
Cited By (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109587191A (zh) * | 2017-09-29 | 2019-04-05 | 杭州海康威视***技术有限公司 | 跨云域的数据传输方法、互联云中心、云域及互联云*** |
CN109587191B (zh) * | 2017-09-29 | 2022-04-05 | 杭州海康威视***技术有限公司 | 跨云域的数据传输方法、互联云中心、云域及互联云*** |
CN109597567A (zh) * | 2017-09-30 | 2019-04-09 | 网宿科技股份有限公司 | 一种数据处理方法和装置 |
CN109597567B (zh) * | 2017-09-30 | 2022-03-08 | 网宿科技股份有限公司 | 一种数据处理方法和装置 |
CN107885803A (zh) * | 2017-10-31 | 2018-04-06 | 中国地质大学(武汉) | 一种大数据写入、读取速度耦合的方法、设备及存储设备 |
CN107885803B (zh) * | 2017-10-31 | 2020-05-01 | 中国地质大学(武汉) | 一种大数据写入、读取速度耦合的方法、设备及存储设备 |
US11403009B2 (en) | 2018-01-23 | 2022-08-02 | Hangzhou Hikivision System Technology Co., Ltd. | Storage system, and method and apparatus for allocating storage resources |
CN110069210A (zh) * | 2018-01-23 | 2019-07-30 | 杭州海康威视***技术有限公司 | 一种存储***、存储资源的分配方法及装置 |
CN110139166A (zh) * | 2018-02-08 | 2019-08-16 | 杭州海康威视***技术有限公司 | 一种视频数据传输方法、装置、***及电子设备 |
CN110139166B (zh) * | 2018-02-08 | 2021-07-09 | 杭州海康威视***技术有限公司 | 一种视频数据传输方法、装置、***及电子设备 |
WO2019214694A1 (zh) * | 2018-05-09 | 2019-11-14 | 杭州海康威视***技术有限公司 | 存储数据的方法、读取数据的方法、装置及*** |
CN110502333A (zh) * | 2018-05-16 | 2019-11-26 | 杭州海康威视***技术有限公司 | 一种访问请求的处理方法和云存储*** |
CN110765125B (zh) * | 2018-07-25 | 2022-09-20 | 杭州海康威视数字技术股份有限公司 | 一种存储数据的方法及装置 |
CN110765125A (zh) * | 2018-07-25 | 2020-02-07 | 杭州海康威视数字技术股份有限公司 | 一种存储数据的方法及装置 |
CN111221468B (zh) * | 2018-11-26 | 2023-10-13 | 杭州海康威视***技术有限公司 | 存储块数据删除方法、装置、电子设备及云存储*** |
CN111221468A (zh) * | 2018-11-26 | 2020-06-02 | 杭州海康威视***技术有限公司 | 存储块数据删除方法、装置、电子设备及云存储*** |
CN109492419A (zh) * | 2018-11-27 | 2019-03-19 | 众安信息技术服务有限公司 | 用于获取区块链中的数据的方法、装置及存储介质 |
CN111352725A (zh) * | 2018-12-24 | 2020-06-30 | 杭州海康威视***技术有限公司 | 存储负载均衡的方法和装置 |
CN111352725B (zh) * | 2018-12-24 | 2023-08-18 | 杭州海康威视***技术有限公司 | 存储负载均衡的方法和装置 |
CN111367905A (zh) * | 2018-12-26 | 2020-07-03 | 杭州海康威视***技术有限公司 | 对象数据存储、数据索引构建方法、装置及接入服务器 |
CN111367905B (zh) * | 2018-12-26 | 2023-10-10 | 杭州海康威视***技术有限公司 | 对象数据存储、数据索引构建方法、装置及接入服务器 |
CN109992531A (zh) * | 2019-04-15 | 2019-07-09 | 成都四方伟业软件股份有限公司 | 数据存储方法及装置 |
CN109992531B (zh) * | 2019-04-15 | 2020-11-10 | 成都四方伟业软件股份有限公司 | 数据存储方法及装置 |
CN112214466A (zh) * | 2019-07-12 | 2021-01-12 | 海能达通信股份有限公司 | 分布式集群***及数据写入方法、电子设备、存储装置 |
CN112214466B (zh) * | 2019-07-12 | 2024-05-14 | 海能达通信股份有限公司 | 分布式集群***及数据写入方法、电子设备、存储装置 |
CN110531934A (zh) * | 2019-08-23 | 2019-12-03 | 北京浪潮数据技术有限公司 | 基于分布式***的数据存储方法和装置 |
CN111404978A (zh) * | 2019-09-06 | 2020-07-10 | 杭州海康威视***技术有限公司 | 一种数据存储方法及云存储*** |
CN111404980B (zh) * | 2019-09-29 | 2023-04-18 | 杭州海康威视***技术有限公司 | 一种数据存储方法及一种对象存储*** |
CN111404980A (zh) * | 2019-09-29 | 2020-07-10 | 杭州海康威视***技术有限公司 | 一种数据存储方法及一种对象存储*** |
CN111913658A (zh) * | 2020-07-13 | 2020-11-10 | 华中科技大学 | 一种提升云对象存储***中负载性能的方法及*** |
CN114077639A (zh) * | 2020-08-20 | 2022-02-22 | 北京字节跳动网络技术有限公司 | 数据写入方法、装置、电子设备和存储介质 |
CN112000850B (zh) * | 2020-08-26 | 2024-02-20 | 杭州海康威视***技术有限公司 | 进行数据处理的方法、装置、***及设备 |
CN112000850A (zh) * | 2020-08-26 | 2020-11-27 | 杭州海康威视***技术有限公司 | 进行数据处理的方法、装置、***及设备 |
CN113010376B (zh) * | 2021-03-01 | 2023-07-21 | 北京聚云科技有限公司 | 一种对存储训练数据的云存储***的监测方法及装置 |
CN113010376A (zh) * | 2021-03-01 | 2021-06-22 | 北京聚云科技有限公司 | 一种对存储训练数据的云存储***的监测方法及装置 |
CN114928621A (zh) * | 2022-02-15 | 2022-08-19 | 杭州瑞网广通信息技术有限公司 | 一种云存储***的数据写入方法以及装置 |
Also Published As
Publication number | Publication date |
---|---|
EP3418877A1 (en) | 2018-12-26 |
EP3418877B1 (en) | 2023-04-05 |
CN107092437B (zh) | 2019-11-22 |
EP3418877A4 (en) | 2019-03-13 |
US20190042659A1 (en) | 2019-02-07 |
US11586673B2 (en) | 2023-02-21 |
WO2017140131A1 (zh) | 2017-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107092437A (zh) | 数据写入、读取方法及装置、云存储*** | |
KR100974149B1 (ko) | 네임스페이스에 대한 정보 유지 방법, 시스템 및 컴퓨터 판독가능 저장 매체 | |
US20150378721A1 (en) | Methods for managing applications using semantic modeling and tagging and devices thereof | |
CN105897946A (zh) | 一种访问地址的获取方法及*** | |
CN106708622A (zh) | 集群资源处理方法和***、资源处理集群 | |
CN106850710A (zh) | 一种数据云存储***、客户终端、存储服务器及应用方法 | |
CN105095313B (zh) | 一种数据访问方法和设备 | |
CN101557427A (zh) | 提供分流信息、实现客户端分流的方法、***及服务器 | |
CN108833197A (zh) | 一种基于云的主动探测方法和探测平台 | |
CN103338243A (zh) | Web节点的缓存数据更新方法和*** | |
CN108614976A (zh) | 权限配置方法、装置及存储介质 | |
CN105869057A (zh) | 评论存储设备、评论读取、评论写入方法及装置 | |
CN107590033A (zh) | 一种创建docker容器的方法、装置和*** | |
CN104104582B (zh) | 一种数据存储路径管理方法、客户端及服务器 | |
CN109445902A (zh) | 一种数据操作方法和*** | |
CN109391487A (zh) | 一种配置更新方法和*** | |
CN111698326B (zh) | 用于确定云服务资源的成本归属的方法和装置 | |
CN108154024A (zh) | 一种数据检索方法、装置及电子设备 | |
CN106952085A (zh) | 一种数据存储与业务处理的方法及装置 | |
CN107357557A (zh) | 一种信息更新方法及装置 | |
CN110245014B (zh) | 数据处理方法和装置 | |
CN113220573A (zh) | 用于微服务架构的测试方法、装置和电子设备 | |
CN107276857A (zh) | 一种监测流量的方法及装置 | |
CN116032614A (zh) | 容器网络微隔离方法、装置、设备和介质 | |
CN115686811A (zh) | 进程管理方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |