CN106383668A - 一种信息存储方法、存储管理设备及客户端 - Google Patents
一种信息存储方法、存储管理设备及客户端 Download PDFInfo
- Publication number
- CN106383668A CN106383668A CN201610830142.XA CN201610830142A CN106383668A CN 106383668 A CN106383668 A CN 106383668A CN 201610830142 A CN201610830142 A CN 201610830142A CN 106383668 A CN106383668 A CN 106383668A
- Authority
- CN
- China
- Prior art keywords
- storage
- storage device
- information
- client
- management apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0643—Management of files
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种信息存储方法、存储管理设备及客户端,存储管理设备能够与客户端及多个存储设备通信。所述方法包括:客户端向存储管理设备发送信息存储请求;存储管理设备响应所述信息存储请求,根据预设规则选取一存储设备作为客户端的目标存储设备,并将目标存储设备的信息发送给客户端;客户端与目标存储设备建立传输连接,并监测所述传输连接保持的时长,当所述传输连接保持的时长达到第一预设时长时,释放所述传输连接,重新向存储管理设备发送新的信息存储请求。所述信息存储方法可应用于所述存储管理设备及客户端。通过上述设计,能够将客户端中的待存储信息按时间均匀分布于各存储设备,从而实现各存储设备的负载均衡。
Description
技术领域
本发明涉及分布式存储技术领域,具体而言,涉及一种信息存储方法、存储管理设备及客户端。
背景技术
在分布式文件***中,负载均衡是提高***性能的关键技术之一,能够保证***的稳定性和服务质量,因而必须保证各客户端的待存储信息能均匀分布在所有的存储设备上。现有的分布式文件***大多采用集中式收流存储的方式实现,即每个客户端直接将待存储信息发送到数据分发设备,再由该数据分发设备统一将信息均匀地分配到不同的存储设备。
然而,采用上述存储方法对数据分发设备的依赖性较强,当数据分发设备出现问题时,所有客户端的信息都将无法存储。并且,随着待存储信息量的增加,同一个数据分发设备可能连接有几千个客户端,在这种情况下,对数据分发设备的性能要求较高,数据分发设备的性能好坏将直接影响整个分布式文件***的性能好坏。
发明内容
有鉴于此,本发明的目的在于提供一种信息存储方法、存储管理设备及客户端,以解决现有的分布式文件***对数据分发设备的依赖性较强的问题。
本发明较佳实施例提供了一种信息存储方法,应用于存储管理设备,所述存储管理设备能够与客户端及多个存储设备通信,所述方法包括:
接收所述客户端每间隔第一预设时长发送的信息存储请求;
针对每个信息存储请求,分别根据预设规则选取一存储设备作为所述客户端的目标存储设备;
将所述目标存储设备的信息发送至所述客户端,以使所述客户端与所述目标存储设备建立传输连接。
本发明另一较佳实施例提供了一种信息存储方法,应用于客户端,所述客户端能够与存储管理设备及多个存储设备通信,所述方法包括:
向所述存储管理设备发送信息存储请求;
接收所述存储管理设备发送的目标存储设备的信息,并与所述目标存储设备建立传输连接;
监测所述传输连接保持的时长,在所述传输连接保持的时长达到第一预设时长时释放所述传输连接,并重新向所述存储管理设备发送新的信息存储请求。
本发明另一较佳实施例提供了一种存储管理设备,所述存储管理设备能够与客户端及多个存储设备通信,所述存储管理设备包括存储请求接收模块、存储目标选取模块和目标信息发送模块;
所述存储请求接收模块,用于接收所述客户端每间隔第一预设时长发送的信息存储请求;
所述存储目标选取模块,用于针对每个信息存储请求,分别根据预设规则选取一存储设备作为所述客户端的目标存储设备;以及
所述目标信息发送模块,用于将所述目标存储设备的信息发送至所述客户端,以使所述客户端与所述目标存储设备建立传输连接。
本发明另一较佳实施例提供了一种客户端,所述客户端能够与存储管理设备及多个存储设备通信,所述客户端包括存储请求发送模块、传输连接建立模块和传输连接监测模块;
所述存储请求发送模块,用于向所述存储管理设备发送信息存储请求;
所述传输连接建立模块,用于接收所述存储管理设备发送的目标存储设备的信息,并与所述目标存储设备建立传输连接;以及
所述传输连接监测模块,用于监测所述传输连接保持的时长,在所述传输连接保持的时长达到第一预设时长时释放所述传输连接,并重新向所述存储管理设备发送新的信息存储请求。
与现有技术相比,本发明实施例提供的信息存储方法、存储管理设备及客户端,客户端每间隔第一预设时长向存储管理设备申请目标存储设备,存储管理设备按照预设规则将新的目标存储设备分配给客户端,以使客户端直接将待存储信息发送到目标存储设备进行存储。存储管理设备的管理与分配能够保证客户端中的待存储信息按时间均匀分布于各存储设备,避免了现有技术中采用数据分发设备接收所有客户端的信息再统一分发这一存储方式所带来的一系列问题。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种分布式文件***的方框示意图。
图2为本发明实施例提供的一种存储管理设备的方框示意图。
图3为本发明实施例提供的一种信息存储方法的一种流程示意图。
图4为图3中步骤S102的子步骤示意图。
图5为本发明实施例提供的信息存储方法的又一种流程示意图。
图6为本发明实施例提供的另一种信息存储方法的流程示意图。
图7为图6中步骤S301的子步骤示意图。
图8为本发明实施例提供的一种存储管理设备的功能模块框图。
图9为本发明实施例提供的一种存储目标选取模块的子模块连接框图。
图10为本发明实施例提供的一种客户端的功能模块框图。
图11为本发明实施例提供的一种存储请求发送模块的子模块连接框图。
图标:100-分布式文件***;110-存储管理设备;111-存储器;112-存储控制器;113-处理器;114-外设接口;115-输入输出单元;116-通信单元;1101-存储请求接收模块;1102-存储目标选取模块;201-信息记录查询子模块;202-第一选取子模块;203-第二选取子模块;1103-目标信息发送模块;1104-任务数接收模块;1105-上报监测模块;120-客户端;121-存储请求发送模块;1211-身份获取子模块;1212-查找子模块;1213-请求发送子模块;122-传输连接建立模块;123-传输连接监测模块;130-存储设备;200-网络。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
请参阅图1,是本发明实施例提供的一种分布式文件***100的方框示意图。所述分布式文件***100包括存储管理设备110、客户端120及多个存储设备130。所述客户端120和多个存储设备130分别与所述存储管理设备110通过网络200通信连接,所述客户端120和多个存储设备130能够通过网络200建立传输连接,以进行数据通信或交互。
其中,根据实际需求,所述客户端120可以是一个信息采集设备,也可以包括交换服务器以及与所述交换服务器通信连接的多个信息采集设备。
所述存储管理设备110和存储设备130可以为服务器、计算机、终端等具有存储和信息处理能力的设备。
如图2所示,是本发明实施例提供的一种存储管理设备110的方框示意图。所述存储管理设备110包括存储器111、存储控制器112、处理器113、外设接口114、输入输出单元115以及通信单元116。
所述存储器111、存储控制器112、处理器113、外设接口114、输入输出单元115及通信单元116各元件相互之间直接或间接电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
其中,所述存储器111可以是,但不限于,随机存取存储器(Random AccessMemory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(ProgrammableRead-Only Memory,PROM),可擦除只读存储器(Erasable Programmable Read-OnlyMemory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory,EEPROM)等。
所述存储器111可用于存储软件程序及模块,处理器113在接收到执行指令后,执行存储在存储器111中的软件程序及模块,从而执行相应的功能应用及信息处理。
所述处理器113可以是一种集成电路芯片,具有信息处理能力。所述处理器113可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等。还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器113也可以是任何常规的处理器等。
所述外设接口114用于将各种输入/输出装置耦合至处理器113以及存储器111。在一些实施例中,外设接口114、处理器113及存储控制器112可以在单个芯片中实现,在其他一些实施例中,他们可以分别由独立的芯片实现。
所述通信单元116用于通过网络200建立存储管理设备110与外部通信终端之间的通信连接,此处所述的外部通信终端包括本发明实施例中的客户端120和存储设备130。
可以理解,图2所示的结构仅为示意,存储管理设备110还可包括比图2中所示更多或者更少的组件,或者具有与图2所示不同的配置。图2中所示的各组件可以采用硬件、软件或其组合实现。
需要说明的是,所述存储设备130、客户端120及本发明实施例中公开的其他服务器和终端中的各组件的具体结构和连接方式与所述存储管理设备110中对应的各组件的结构和连接方式相同。例如,所述客户端120中存储有相应的软件程序及模块,执行所述软件程序及模块即可实现相应的功能应用。所述存储设备130中存储有相应的软件程序及模块,执行所述软件程序及模块即可实现相应的功能应用。
请参阅图3,是本发明实施例提供的信息存储方法的流程示意图,所述信息存储方法可应用于图1中所示的存储管理设备110。下面将对图3所示的具体流程和步骤进行详细阐述。
步骤S101:接收客户端120每间隔第一预设时长发送的信息存储请求。
所述客户端120每间隔第一预设时长向所述存储管理设备110发送信息存储请求,可选地,所述信息存储请求中携带有所述客户端120的身份信息。所述第一预设时长可以根据实际情况灵活设置,本实施例对此不作限制。例如,所述第一预设时长可以为5分钟。
步骤S102:针对每个信息存储请求,分别根据预设规则选取一存储设备130作为所述客户端120的目标存储设备。
所述存储管理设备110在每次接收到所述客户端120发送的信息存储请求时,响应该信息存储请求,并按照预设规则为所述客户端120分配新的目标存储设备。
可选地,所述预设规则可以为多种,例如:所述存储管理设备110查询各存储设备130的当前任务数,并选取当前任务数最少的存储设备130作为所述客户端120的目标存储设备。其中,所述各存储设备130的任务数为与各存储设备130传输连接的客户端120的数量。实施时,所述存储管理设备110在接收到所述信息存储请求后,查询当前与各存储设备130传输连接的客户端120的数量。又例如:所述存储管理设备110查询各存储设备130的剩余存储空间,并选取剩余存储空间最多的存储设备130作为所述客户端120的目标存储设备。
当所述预设规则为存储管理设备110查询各存储设备130的当前任务数,并选取当前任务数最少的存储设备130作为所述客户端120的目标存储设备时,可选地,所述存储管理设备110可以通过依次访问各存储设备130的方式来查询各存储设备130的当前任务数,也可通过接收各存储设备130定时上报的当前任务数并进行存储,在需要时查询自身存储的各存储设备130的当前任务数的方式来进行查询。需要说明的是,各存储设备130上报当前任务数的周期小于所述第一预设时长。
步骤S103:将所述目标存储设备的信息发送至所述客户端120,以使所述客户端120与所述目标存储设备建立传输连接。
所述存储管理设备110将所述目标存储设备的信息发送至所述客户端120,所述客户端120在接收到所述目标存储设备的信息后,与所述目标存储设备建立传输连接。
可选地,为了更好地实现负载均衡,以及防止数据丢失,在每次重新为所述客户端120分配目标存储设备时,需要剔除掉已经与该客户端120建立过传输连接的存储设备130。在每次为客户端120分配目标存储设备时,存储管理设备110可以将所述目标存储设备的信息与所述客户端120关联后进行存储,也即,存储管理设备110中存储有每个所述第一预设时长内与所述客户端120建立传输连接的存储设备130的信息记录。
如图4所示,步骤S102中,所述根据预设规则选取一存储设备130作为所述客户端120的目标存储设备的步骤,可以包括步骤S201、步骤S202和步骤S203三个子步骤。
步骤S201:根据所述信息记录查询是否存在未与所述客户端120建立过传输连接的存储设备130。若不存在,则所述存储管理设备110执行步骤S202,若存在,则所述存储管理设备110执行步骤S203。
步骤S202:删除所述存储管理设备110中的每个所述第一预设时长内与所述客户端120建立传输连接的存储设备130的信息记录,并将当前任务数最少的存储设备130作为所述客户端120的目标存储设备。
步骤S203:将未与所述客户端120建立过传输连接的各存储设备130中当前任务数最少的存储设备130作为所述客户端120的目标存储设备。
在每次为客户端120选取目标存储设备时,需要优先在未与该客户端120建立过传输连接的存储设备130中选择当前任务数最少的存储设备130作为该客户端120的目标存储设备。当所有存储设备130都与该客户端120建立过传输连接后,再删除掉存储管理设备110中该客户端120的目标存储设备的信息记录,重新查询所有存储设备130的当前任务数,并重新开始记录该客户端120的目标存储设备的信息记录。
可选地,在所述信息存储方法的实施过程中,各存储设备130可以定时向存储管理设备110上报当前任务数,以使所述存储管理设备110能够在需要时在自身存储内容中进行查询,而不必轮询各存储设备130。
如图5所示,可选地,所述信息存储方法还可以包括步骤S104、步骤S105和步骤S106三个步骤,详细描述如下。
步骤S104:接收各存储设备130每间隔第二预设时长发送的当前任务数。
通过各存储设备130每间隔第二预设时长向所述存储管理设备110上报当前任务数,可以节省所述存储管理设备110查询各存储设备130的当前任务数的时间,即便是所述存储管理设备110异常重启,也能保证存储管理设备110中各存储设备130的当前任务数的同步。需要说明的是,所述第二预设时长小于所述第一预设时长,例如,所述第一预设时长为5分钟,所述第二预设时长可以为30秒。
步骤S105:对各存储设备130发送的当前任务数进行记录,并判断是否存在第三预设时长未发送当前任务数的存储设备130。
步骤S106:在存在第三预设时长未发送当前任务数的存储设备130时,判定该存储设备130宕机,并删除所述存储管理设备110中记录的该存储设备130的信息。
所述存储管理设备110对各存储设备130发送的当前任务数进行记录,以使所述存储管理设备110能够在需要时进行查询。所述存储管理设备110通过是否存在第三预设时长未发送当前任务数的存储设备130来判定是否有存储设备130宕机。当所述存储管理设备110第三预设时长未接收到某一个存储设备130上报的当前任务数时,则判定该存储设备130宕机,并删除所述存储管理设备110中记录的该存储设备130的信息,以使所述存储管理设备110内存储的信息与各存储设备130的实际情况同步。在将该存储设备130的信息删除之后,存储管理设备110为客户端120重新分配存储设备130时,不再对该存储设备130进行查询。
其中,所述第三预设时长大于所述第二预设时长,可选地,所述第三预设时长可以为所述第二预设时长的整数倍。例如,当所述第二预设时长为15秒时,所述第三预设时长可以为30秒。
在本发明实施例提供的信息存储方法中,只需保证各存储设备130足够存储各客户端120在留存期内产生的信息即可。因此,为了节约存储空间,各存储设备130的容量可按照如下方式进行分配:每个客户端120在所述预设留存期内存在一最大信息采集量,选取所有最大信息采集量中的最大值,并将该最大值与所述客户端120的个数的乘积作为所有所述存储设备130的存储容量之和。
所述预设留存期即为用户想要各存储设备130中的信息保留的时间,可根据实际情况进行调整。例如,所述预设留存期可以为30天。
由于所述信息存储方法是按照任务数进行均匀分配,而非按照存储量进行均匀分配,为避免在未到达留存期时,某些存储容量较小的存储设备130存满造成数据丢失,同时为了更好地实现负载均衡,本发明实施例中各存储设备130的容量可以相等。
按照上述容量配置方式,当任意一台存储设备130存满时,则可以认为存储设备130中的信息存储时间达到了所述预设留存期。
可选地,在上述配置下,为了防止各存储设备130存满造成数据丢失,可以设置一监控服务器,所述监控服务器每间隔第四预设时长删除每个所述存储设备130中当前时刻之前的一个预设留存期前的存储内容。
实施时,各存储设备130可以在存储各客户端120发送过来的信息时记录存储时间,并形成文件目录,所述文件目录包括所有信息的存储时间。所述监控服务器每间隔第四预设时长扫描一次该文件目录,并将该扫描时刻倒退一个预设留存期之前的存储内容删除,以避免各存储设备130存满。需要说明的是,所述第四预设时长小于所述留存期。例如,所述预设留存期可以为30天,所述第四预设时长可以为一天。
各存储设备130的容量按照所述预设留存期进行分配,且各存储设备130的存储容量相等时,相当于将一个所述预设留存期内各客户端120所采集的信息量之和按照时间均分到各存储设备130。
假设总共有N台所述存储设备130,则在每台存储设备130都正常运行的情况下,每台存储设备130分配到的信息量为1/N的所述预设留存期内各客户端120所采集的信息量之和。
然而,在实际应用过程中,可能出现单台存储设备130不能使用的情况。当单台存储设备130宕机时,该存储设备130所分配到的信息量则无法存储,也即各存储设备130中存储的信息能够保留的时间减少了1/N。因此,在尚未到达所述预设留存期时,就会出现某些存储设备130存满的情况,且这种情况无法检测到。
由于本实施例提供的信息存储方法按照各存储设备130的当前任务数为各客户端120分配目标存储设备,而所述各存储设备130的当前任务数指的是与各存储设备130传输连接的客户端120的数量,因而可能出现某些客户端120继续选择已经存储满的存储设备130进行信息存储,从而造成数据丢失。
为了解决上述问题,可选地,所述信息存储方法还可以包括以下步骤:每个存储设备130在存满时向所述监控服务器发送报警信号。
当监控服务器接收到报警信号时即可对用户进行提醒,以使用户能够查看是否存在宕机的存储设备130,当存在存储设备130宕机时,可以根据宕机的存储设备130的数量手动删除各存储设备130中的部分内容,以免数据丢失。
如图6所示,是本发明另一实施例提供的一种信息存储方法,应用于客户端120,所述客户端120能够与存储管理设备110及多个存储设备130通信。下面将对图6所示的具体流程和步骤进行详细描述。
步骤S301:向存储管理设备110发送信息存储请求。
根据实际需求,所述客户端120可以是一个信息采集设备,用于采集图像信息、参数信息等。本实施例中,以采集图像信息为例,所述信息采集设备可以为相机、摄像机等,用于采集经过交通卡口的车辆的图像信息。
实施时,可以在所述客户端120中预存一任务控制块,所述任务控制块中设置有定时器。所述定时器在每计时满第一预设时长时,向所述存储管理设备110发送信息存储请求,以使所述存储管理设备110根据所述信息存储请求为所述客户端120分配存储设备130。
步骤S302:接收所述存储管理设备110发送的目标存储设备的信息,并与所述目标存储设备建立传输连接。
可选地,每个所述第一预设时长内所述客户端120都需要与一个存储设备130建立传输连接,不管在该预设时长内所述客户端120是否有采集到信息。通过上述设计,能够保证客户端120采集到的信息按照时间均匀分布于各存储设备130。
步骤S303:监测所述传输连接保持的时长,在所述传输连接保持的时长达到第一预设时长时释放所述传输连接,并重新向所述存储管理设备110发送新的信息存储请求。
实施时,所述客户端120可以通过所述定时器监测所述传输连接保持的时长。所述定时器可以从所述客户端120向所述存储管理设备110发送请求的时刻开始计时,也可以从所述客户端120与所述目标存储设备建立传输连接的时刻开始计时,由于两个时刻之间的时间差为毫秒级,具体从哪一个时刻开始计时对本方案的实现没有影响,本实施例对此不作限制。
当所述定时器计时满第一预设时长时,所述客户端120释放所述传输连接,并重新向所述存储管理设备110发送新的信息存储请求,所述定时器重新开始计时。
也即,所述客户端120每间隔第一预设时长需要向所述存储管理设备110发送一次信息存储请求,以使所述存储管理设备110根据各存储设备130的当前任务数重新为所述客户端120分配目标存储设备,从而使得所述客户端120的待存储信息能够按时间均匀分布于各存储设备130中。
根据实际需求,可选地,所述客户端120可以包括交换服务器以及与所述交换服务器通信连接的多个所述信息采集设备。
在上述情况下,如图7所示,所述步骤S301可以包括步骤S401、步骤S402及步骤S403三个子步骤。
步骤S401:交换服务器获取信息采集设备的身份信息。
步骤S402:交换服务器根据所述身份信息查找出与所述身份信息对应的任务控制块。
实施时,多个所述信息采集设备将采集到的信息发送到所述交换服务器进行存储,所述信息中携带有各信息采集设备的身份信息。所述交换服务器中存储有多个任务控制块,以及各任务控制块与各信息采集设备的身份信息的对应关系,所述对应关系可以哈希表的形式进行存储。
其中,每一个任务控制块对应一个信息采集设备,所述交换服务器每一次接收到信息采集设备发送来的信息时,需要查询与该信息采集设备的身份信息对应的任务控制块。若无法查找到与该信息采集设备的身份信息对应的任务控制块,则新建一个任务控制块与该身份信息对应。可选地,所述身份信息可以是所述信息采集设备的编码信息。
根据实际需求,实施时,所述客户端120可以为多个,多个所述客户端120通过网络200与存储管理设备110通信连接。
其中,当所述客户端120为一个信息采集设备时,所述分布式文件***100包括存储管理设备110、多个存储设备130和多个信息采集设备。当所述客户端120包括交换服务器和与所述交换服务器通信连接的多个所述信息采集设备时,所述分布式文件***100包括存储管理设备110、多个存储设备130、多个交换服务器以及多个信息采集设备,所述多个信息采集设备被划分为多组,每组信息采集设备与一个所述交换服务器通信连接。
步骤S403:查找出的所述任务控制块向所述存储管理设备110发送信息存储请求。
通过上述设计,能够将所述客户端120采集到的信息按照任务数即按照时间均匀分配到每个存储设备130上进行存储,从而更好地实现负载均衡。
请参阅图8,是本发明实施例提供的一种存储管理设备110的功能模块框图,所述存储管理设备110能够与客户端120及多个存储设备130通信。
其中,所述存储管理设备110包括存储请求接收模块1101、存储目标选取模块1102和目标信息发送模块1103。
所述存储请求接收模块1101用于接收所述客户端120每间隔第一预设时长发送的信息存储请求。关于所述存储请求接收模块1101的详细描述具体可参考对图3中所示的步骤S101的描述,也即,步骤S101可由所述存储请求接收模块1101来执行。
所述存储目标选取模块1102用于针对每个信息存储请求,分别根据预设规则选取一存储设备130作为所述客户端120的目标存储设备。关于所述存储目标选取模块1102的详细描述具体可参考对图3中所示的步骤S102的描述,也即,步骤S102可由所述存储目标选取模块1102来执行。
所述目标信息发送模块1103用于将所述目标存储设备的信息发送至所述客户端120,以使所述客户端120与所述目标存储设备建立传输连接。关于所述目标信息发送模块1103的详细描述具体可参考对图3中所示的步骤S103的描述,也即,步骤S103可由所述目标信息发送模块1103来执行。
可选地,所述存储管理设备110还可以包括任务数接收模块1104和上报监测模块1105。
所述任务数接收模块1104用于接收各存储设备130每间隔第二预设时长发送的当前任务数。关于所述任务数接收模块1104的详细描述具体可参考对图5中所示的步骤S104的描述,也即,步骤S104可由所述任务数接收模块1104来执行。
所述上报监测模块1105用于对各存储设备130发送的当前任务数进行记录,判断是否存在第三预设时长未发送当前任务数的存储设备130,在存在第三预设时长未发送当前任务数的存储设备130时,判定该存储设备130宕机,并删除所述存储管理设备110中记录的该存储设备130的信息。其中,所述第三预设时长大于所述第二预设时长。
关于所述上报监测模块1105的详细描述具体可参考对图5所示的步骤S105和步骤S106两个步骤的描述,也即,步骤S105和步骤S106可由所述上报监测模块1105来执行。
可选地,所述存储管理设备110中存储有每个所述第一预设时长内与所述客户端120建立传输连接的存储设备130的信息记录。如图9所示,所述存储目标选取模块1102包括信息记录查询子模块201、第一选取子模块202和第二选取子模块203。
所述信息记录查询子模块201用于根据所述信息记录查询是否存在未与所述客户端120建立过传输连接的存储设备130。关于所述信息记录查询子模块201的详细描述具体可参考对图4中所示的步骤S201的描述,也即,步骤S201可由所述信息记录查询子模块201来执行。
所述第一选取子模块202用于在不存在未与所述客户端120建立过传输连接的存储设备130时,删除所述存储管理设备110中的每个所述第一预设时长内与所述客户端120建立传输连接的存储设备130的信息记录,并将当前任务数最少的存储设备130作为所述客户端120的目标存储设备。关于所述第一选取子模块202的详细描述具体可参考对图4中所示的步骤S202的描述,也即,步骤S202可由所述第一选取子模块202来执行。
所述第二选取子模块203用于在存在未与所述客户端120建立过传输连接的存储设备130时,将未与所述客户端120建立过传输连接的各存储设备130中当前任务数最少的存储设备130作为所述客户端120的目标存储设备。关于所述第二选取子模块203的详细描述具体可参考对图4中所示的步骤S203的描述,也即,步骤S203可由所述第二选取子模块203来执行。
请参阅图10,是本发明另一实施例提供的客户端120的功能模块框图,所述客户端120能够与存储管理设备110及多个存储设备130通信,所述客户端120包括存储请求发送模块121、传输连接建立模块122和传输连接监测模块123。
所述存储请求发送模块121用于向所述存储管理设备110发送信息存储请求。关于所述存储请求发送模块121的详细描述具体可参考对图6所示的步骤S301的描述,也即,步骤S301可由所述存储请求发送模块121来执行。
所述传输连接建立模块122用于接收所述存储管理设备110发送的目标存储设备的信息,并与所述目标存储设备建立传输连接。关于所述传输连接建立模块122的详细描述具体可参考对图6中所示的步骤S302的描述,也即,步骤S302可由所述传输连接建立模块122来执行。
所述传输连接监测模块123用于监测所述传输连接保持的时长,在所述传输连接保持的时长达到第一预设时长时释放所述传输连接,并重新向所述存储管理设备110发送新的信息存储请求。关于所述传输连接监测模块123的详细描述具体可参考对图6中所示的步骤S303的描述,也即,步骤S303可由所述传输连接监测模块123来执行。
可选地,所述客户端120可以包括交换服务器和与所述交换服务器通信的多个信息采集设备,所述交换服务器包括多个任务控制块。此时,如图11所示,所述存储请求模块可以包括存储于所述交换服务器的身份获取子模块1211、查找子模块1212以及请求发送子模块1213。
所述身份获取子模块1211用于获取信息采集设备的身份信息。关于所述身份获取子模块1211的详细描述具体可参考对图7中所示的步骤S401的描述,也即,步骤S401可由所述身份获取子模块1211来执行。
所述查找子模块1212用于根据所述身份信息查找出与所述身份信息对应的任务控制块,其中,所述交换服务器中预存有所述多个任务控制块与所述多个信息采集设备的身份信息的对应关系。关于所述查找子模块1212的详细描述具体可参考对图7中所示的步骤S402的描述,也即步骤S402可由所述查找子模块1212来执行。
所述请求发送子模块1213用于控制查找出的所述任务控制块向所述存储管理设备110发送信息存储请求。关于所述请求发送子模块1213的详细描述具体可参考对图7中所示的步骤S403的描述,也即,步骤S403可由所述请求发送子模块1213来执行。
综上所述,本发明实施例提供的信息存储方法、存储管理设备110及客户端120按照预设规则为客户端120分配目标存储设备,使得各客户端120中的待存储信息能够按时间均匀分布于各存储设备130中,避免了现有技术对数据分发设备依赖性较大的问题。
在本发明实施例所提供的几个实施例中,应该理解到,所揭露的***和方法,也可以通过其它的方式实现。以上所描述的***和方法实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,电子设备,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种信息存储方法,应用于存储管理设备,其特征在于,所述存储管理设备能够与客户端及多个存储设备通信,所述方法包括:
接收所述客户端每间隔第一预设时长发送的信息存储请求;
针对每个信息存储请求,分别根据预设规则选取一存储设备作为所述客户端的目标存储设备;以及
将所述目标存储设备的信息发送至所述客户端,以使所述客户端与所述目标存储设备建立传输连接。
2.根据权利要求1所述的信息存储方法,其特征在于,所述存储管理设备中存储有每个所述第一预设时长内与所述客户端建立传输连接的存储设备的信息记录;
所述根据预设规则选取一存储设备作为所述客户端的目标存储设备的步骤,包括:
根据所述信息记录查询是否存在未与所述客户端建立过传输连接的存储设备;
在不存在未与所述客户端建立过传输连接的存储设备时,删除所述存储管理设备中的每个所述第一预设时长内与所述客户端建立传输连接的存储设备的信息记录,并将当前任务数最少的存储设备作为所述客户端的目标存储设备;以及
在存在未与所述客户端建立过传输连接的存储设备时,将未与所述客户端建立过传输连接的各存储设备中当前任务数最少的存储设备作为所述客户端的目标存储设备。
3.根据权利要求1所述的信息存储方法,其特征在于,所述方法还包括:
接收各存储设备每间隔第二预设时长发送的当前任务数;
对各存储设备发送的当前任务数进行记录,判断是否存在第三预设时长未发送当前任务数的存储设备,在存在第三预设时长未发送当前任务数的存储设备时,判定该存储设备宕机,并删除所述存储管理设备中记录的该存储设备的信息,所述第三预设时长大于所述第二预设时长。
4.一种信息存储方法,应用于客户端,其特征在于,所述客户端能够与存储管理设备及多个存储设备通信,所述方法包括:
向所述存储管理设备发送信息存储请求;
接收所述存储管理设备发送的目标存储设备的信息,并与所述目标存储设备建立传输连接;
监测所述传输连接保持的时长,在所述传输连接保持的时长达到第一预设时长时释放所述传输连接,并重新向所述存储管理设备发送新的信息存储请求。
5.根据权利要求4所述的信息存储方法,其特征在于,所述客户端包括交换服务器和与所述交换服务器通信的多个信息采集设备,所述交换服务器包括多个任务控制块;
所述向所述存储管理设备发送信息存储请求的步骤包括:
所述交换服务器获取信息采集设备的身份信息;
所述交换服务器根据所述身份信息查找出与所述身份信息对应的任务控制块,其中,所述交换服务器中预存有所述多个任务控制块与所述多个信息采集设备的身份信息的对应关系;以及
查找出的所述任务控制块向所述存储管理设备发送信息存储请求。
6.一种存储管理设备,其特征在于,所述存储管理设备能够与客户端及多个存储设备通信,所述存储管理设备包括存储请求接收模块、存储目标选取模块和目标信息发送模块;
所述存储请求接收模块,用于接收所述客户端每间隔第一预设时长发送的信息存储请求;
所述存储目标选取模块,用于针对每个信息存储请求,分别根据预设规则选取一存储设备作为所述客户端的目标存储设备;以及
所述目标信息发送模块,用于将所述目标存储设备的信息发送至所述客户端,以使所述客户端与所述目标存储设备建立传输连接。
7.根据权利要求6所述的存储管理设备,其特征在于,所述存储管理设备中存储有每个所述第一预设时长内与所述客户端建立传输连接的存储设备的信息记录,所述存储目标选取模块包括信息记录查询子模块、第一选取子模块和第二选取子模块;
所述信息记录查询子模块,用于根据所述信息记录查询是否存在未与所述客户端建立过传输连接的存储设备;
所述第一选取子模块,用于在不存在未与所述客户端建立过传输连接的存储设备时,删除所述存储管理设备中的每个所述第一预设时长内与所述客户端建立传输连接的存储设备的信息记录,并将当前任务数最少的存储设备作为所述客户端的目标存储设备;以及
所述第二选取子模块,用于在存在未与所述客户端建立过传输连接的存储设备时,将未与所述客户端建立过传输连接的各存储设备中当前任务数最少的存储设备作为所述客户端的目标存储设备。
8.根据权利要求6所述的存储管理设备,其特征在于,所述存储管理设备还包括任务数接收模块和上报监测模块;
所述任务数接收模块,用于接收各存储设备每间隔第二预设时长发送的当前任务数;以及
所述上报监测模块,用于对各存储设备发送的当前任务数进行记录,判断是否存在第三预设时长未发送当前任务数的存储设备,在存在第三预设时长未发送当前任务数的存储设备时,判定该存储设备宕机,并删除所述存储管理设备中记录的该存储设备的信息,所述第三预设时长大于所述第二预设时长。
9.一种客户端,其特征在于,所述客户端能够与存储管理设备及多个存储设备通信,所述客户端包括存储请求发送模块、传输连接建立模块和传输连接监测模块;
所述存储请求发送模块,用于向所述存储管理设备发送信息存储请求;
所述传输连接建立模块,用于接收所述存储管理设备发送的目标存储设备的信息,并与所述目标存储设备建立传输连接;以及
所述传输连接监测模块,用于监测所述传输连接保持的时长,在所述传输连接保持的时长达到第一预设时长时释放所述传输连接,并重新向所述存储管理设备发送新的信息存储请求。
10.根据权利要求9所述的客户端,其特征在于,所述客户端包括交换服务器和与所述交换服务器通信的多个信息采集设备,所述交换服务器包括多个任务控制块;
所述存储请求发送模块包括身份获取子模块、查找子模块和请求发送子模块;
所述身份获取子模块,用于获取信息采集设备的身份信息;
所述查找子模块,用于根据所述身份信息查找出与所述身份信息对应的任务控制块,其中,所述交换服务器中预存有所述多个任务控制块与所述多个信息采集设备的身份信息的对应关系;
所述请求发送子模块,用于控制查找出的所述任务控制块向所述存储管理设备发送信息存储请求。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610830142.XA CN106383668B (zh) | 2016-09-18 | 2016-09-18 | 一种信息存储方法、存储管理设备及客户端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610830142.XA CN106383668B (zh) | 2016-09-18 | 2016-09-18 | 一种信息存储方法、存储管理设备及客户端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106383668A true CN106383668A (zh) | 2017-02-08 |
CN106383668B CN106383668B (zh) | 2020-06-19 |
Family
ID=57936559
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610830142.XA Active CN106383668B (zh) | 2016-09-18 | 2016-09-18 | 一种信息存储方法、存储管理设备及客户端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106383668B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110519310A (zh) * | 2018-05-21 | 2019-11-29 | 浙江宇视科技有限公司 | 一种存储任务分配方法及装置 |
CN111193804A (zh) * | 2020-01-02 | 2020-05-22 | 深圳市网心科技有限公司 | 分布式存储方法及装置、网络节点及存储介质 |
CN111600395A (zh) * | 2020-07-23 | 2020-08-28 | 南京万形电气有限公司 | 低压配网拓扑识别方法及*** |
CN112235809A (zh) * | 2020-08-14 | 2021-01-15 | 赛特斯信息科技股份有限公司 | 5g基站间通信方法和通信装置 |
CN112241239A (zh) * | 2019-07-18 | 2021-01-19 | 浙江宇视科技有限公司 | 存储任务管控方法、存储任务管控装置和存储设备 |
CN115938013A (zh) * | 2023-03-14 | 2023-04-07 | 禾多科技(北京)有限公司 | 用于监控数据的方法、装置、设备和计算机可读介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102207891A (zh) * | 2011-06-10 | 2011-10-05 | 浙江大学 | 对数据划分分布式环境实现动态划分和负载均衡的方法 |
CN102262680A (zh) * | 2011-08-18 | 2011-11-30 | 北京新媒传信科技有限公司 | 一种基于海量数据存取需求的分布式数据库代理*** |
CN105450679A (zh) * | 2014-08-06 | 2016-03-30 | 杭州海康威视***技术有限公司 | 进行数据云存储的方法及*** |
-
2016
- 2016-09-18 CN CN201610830142.XA patent/CN106383668B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102207891A (zh) * | 2011-06-10 | 2011-10-05 | 浙江大学 | 对数据划分分布式环境实现动态划分和负载均衡的方法 |
CN102262680A (zh) * | 2011-08-18 | 2011-11-30 | 北京新媒传信科技有限公司 | 一种基于海量数据存取需求的分布式数据库代理*** |
CN105450679A (zh) * | 2014-08-06 | 2016-03-30 | 杭州海康威视***技术有限公司 | 进行数据云存储的方法及*** |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110519310A (zh) * | 2018-05-21 | 2019-11-29 | 浙江宇视科技有限公司 | 一种存储任务分配方法及装置 |
CN110519310B (zh) * | 2018-05-21 | 2021-12-28 | 浙江宇视科技有限公司 | 一种存储任务分配方法及装置 |
CN112241239A (zh) * | 2019-07-18 | 2021-01-19 | 浙江宇视科技有限公司 | 存储任务管控方法、存储任务管控装置和存储设备 |
CN112241239B (zh) * | 2019-07-18 | 2023-03-14 | 浙江宇视科技有限公司 | 存储任务管控方法、存储任务管控装置和存储设备 |
CN111193804A (zh) * | 2020-01-02 | 2020-05-22 | 深圳市网心科技有限公司 | 分布式存储方法及装置、网络节点及存储介质 |
CN111193804B (zh) * | 2020-01-02 | 2022-09-09 | 深圳市网心科技有限公司 | 分布式存储方法及装置、网络节点及存储介质 |
CN111600395A (zh) * | 2020-07-23 | 2020-08-28 | 南京万形电气有限公司 | 低压配网拓扑识别方法及*** |
CN112235809A (zh) * | 2020-08-14 | 2021-01-15 | 赛特斯信息科技股份有限公司 | 5g基站间通信方法和通信装置 |
CN115938013A (zh) * | 2023-03-14 | 2023-04-07 | 禾多科技(北京)有限公司 | 用于监控数据的方法、装置、设备和计算机可读介质 |
Also Published As
Publication number | Publication date |
---|---|
CN106383668B (zh) | 2020-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106383668A (zh) | 一种信息存储方法、存储管理设备及客户端 | |
US8606897B2 (en) | Systems and methods for exporting usage history data as input to a management platform of a target cloud-based network | |
US9306868B2 (en) | Cross-cloud computing resource usage tracking | |
CN108874562A (zh) | 分布式高并发消息队列推送*** | |
CN108683720B (zh) | 一种容器集群服务配置方法及装置 | |
US9262498B2 (en) | Generating optimized host placement of data payload in cloud-based storage network | |
CN110300134A (zh) | 云存储资源池的存储空间调整方法、装置及云存储*** | |
CN103152393A (zh) | 一种云计算的计费方法和计费*** | |
CN101610173A (zh) | 一种对多网元进行数据配置的方法和网管服务器 | |
CN109840188A (zh) | 一种日志的获取方法及其终端 | |
CN102354296A (zh) | 一种可扩展监控资源的监控***和方法 | |
CN107967175A (zh) | 一种基于多目标优化的资源调度***及方法 | |
CN109388671A (zh) | 数据处理方法、装置、设备及存储介质 | |
CN102694873A (zh) | 一种地址池分配***及方法 | |
CN101778131A (zh) | 数据同步*** | |
CN115426361A (zh) | 分布式客户端打包方法、装置、主服务器及存储介质 | |
CN101789963A (zh) | 数据同步*** | |
CN105847055A (zh) | 一种服务器分组管理方法和装置 | |
US6625266B1 (en) | Event pre-processing for composing a report | |
CN112953740A (zh) | 路由信息的监控方法及装置 | |
WO2010000323A1 (en) | Management of performance data | |
CN101083561A (zh) | xDSL用户连接参数汇总上报网管的方法 | |
CN101227330B (zh) | 一种历史性能数据采集方法和*** | |
CN110515693A (zh) | 一种基于机架感知的虚拟机横向扩展的方法和*** | |
CN109542841A (zh) | 集群中创建数据快照的方法及终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20221111 Address after: 15 / F, Zhongchuang Plaza, 385 Hangtian Middle Road, national civil aerospace industrial base, Xi'an City, Shaanxi Province 710100 Patentee after: Xi'an Yu vision Mdt InfoTech Ltd. Address before: 310000 1-11 / F, South Block, building 10, No. 88, Jiangling Road, Xixing street, Binjiang District, Hangzhou City, Zhejiang Province Patentee before: ZHEJIANG UNIVIEW TECHNOLOGIES Co.,Ltd. |
|
TR01 | Transfer of patent right |