CN105511805A - 集群文件***的数据处理方法和装置 - Google Patents

集群文件***的数据处理方法和装置 Download PDF

Info

Publication number
CN105511805A
CN105511805A CN201510847053.1A CN201510847053A CN105511805A CN 105511805 A CN105511805 A CN 105511805A CN 201510847053 A CN201510847053 A CN 201510847053A CN 105511805 A CN105511805 A CN 105511805A
Authority
CN
China
Prior art keywords
memory node
read
file system
data
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510847053.1A
Other languages
English (en)
Other versions
CN105511805B (zh
Inventor
张勤
李璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING TOYOU FEIJI ELECTRONICS Co.,Ltd.
Original Assignee
SHENZHEN ZHONGBO KECHUANG INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN ZHONGBO KECHUANG INFORMATION TECHNOLOGY Co Ltd filed Critical SHENZHEN ZHONGBO KECHUANG INFORMATION TECHNOLOGY Co Ltd
Priority to CN201510847053.1A priority Critical patent/CN105511805B/zh
Publication of CN105511805A publication Critical patent/CN105511805A/zh
Priority to PCT/CN2016/105219 priority patent/WO2017088664A1/zh
Application granted granted Critical
Publication of CN105511805B publication Critical patent/CN105511805B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0605—Improving or facilitating administration, e.g. storage management by facilitating the interaction with a user or administrator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)

Abstract

本发明公开了一种集群文件***的数据处理装置，所述集群文件***的数据处理装置包括：数据处理模块，用于在存储节点接收到文件读取或写入请求时，根据所述读取请求以及所述缓存区中的请求信息读取存储区中的数据，或者根据所述写入请求以及所述缓存区中的请求信息向存储区中写入数据；存储模块，用于将所述读取或写入请求中的请求信息存入缓存区；同步模块，用于将所述请求信息同步至集群文件***中的从存储节点。本发明还提出一种集群文件***的数据处理方法。本发明中在主存储节点故障后，从存储节点可根据其缓存区内的服务请求信息，无间断的接管客户端的读取或写入进程，保证集群文件***服务的稳定性。

Description

集群文件***的数据处理方法和装置
技术领域
本发明涉及数据处理技术领域，尤其涉及一种集群文件***的数据处理方法和装置。
背景技术
近年来，集群文件***已经成为计算机技术发展的新趋势。集群文件***通过将多个单一独立的主机有机的结合串联成一个***性的整体，并依托存储区域网络，对外提供一个大容量文件***的共享存储应用，如CIFS。实现了存储区域网络内的多并发用户操作和大数据传输。
虽然如此，集群节点的增加同时也增加了节点宕机或服务故障的可能性。比如，当客户机在向集群中读写一个较大文件时，如果受理该读写请求的服务节点故障，即使服务能及时切换到其他节点，由于其他节点的内存中并没有数据缓存，那么客户机的读写操作还是会中断。
发明内容
本发明的主要目的在于提供一种集群文件***的数据处理方法和装置，旨在解决由于集群服务节点故障，使客户端读写操作中断的技术问题。
为实现上述目的，本发明提供的一种集群文件***的数据处理装置，所述集群文件***的数据处理装置包括：
存储模块，用于在存储节点接收到文件读取或写入请求，且所述存储模块所在的存储节点为主存储节点时，将所述读取或写入请求中的请求信息存入其缓存区；
同步模块，用于将所述请求信息同步至集群文件***中的从存储节点；
数据处理模块，用于根据所述读取请求以及所述缓存区中的请求信息读取其存储区中的数据，或者根据所述写入请求以及所述缓存区中的请求信息向其存储区中写入数据。
可选地，所述集群文件***的数据处理装置包括：
检测模块，用于接收服务请求时，检测所述服务请求的类型；
判断模块，用于判断所述服务请求是否为读取或写入请求；
响应模块，用于若所述服务请求不是读取或写入请求，则响应所述服务请求。
可选地，所述集群文件***的数据处理装置还包括：
确定模块，用于在接收到文件读取或写入请求时，确定所述读取或写入请求对应的数据是否需要验证；
获取模块，用于在所述读取或写入请求对应的数据需要验证时，获取用户输入的验证信息；
所述数据处理模块，还用于在所述验证信息与预存的验证信息匹配时，根据所述读取请求以及所述缓存区中的请求信息读取其存储区中的数据，或者根据所述写入请求以及所述缓存区中的请求信息向其存储区中写入数据。
可选地，所述集群文件***的数据处理装置还包括：
所述检测模块，还用于检测链路连接状态和运行状态；
切换模块，用于在检测到链路连接故障或运行故障时，在处于正常工作状态的从存储节点中选取主存储节点，将选取的所述从存储节点的地址标记为主存储节点地址；
更新模块，用于将标记的所述主存储节点地址发送至控制节点以及选取的所述从存储节点，其中，所述控制节点采用接收到的所述主存储节点地址更新保存的所述主存储节点地址，且选取的所述存储节点接收到所述主存储节点地址时，将工作状态切换为主存储节点状态。
可选地，所述检测模块包括：
链路检测单元，用于定时向所述控制节点发送第一检测数据包以及接收所述控制节点基于所述检测数据包反馈的第二响应数据包；
读写检测单元，用于在预设时间间隔内接收到所述响应数据包时，判断读取以及写入是否正常；
判定单元，用于在读取以及写入正常时，判定运行正常，在读取以及写入异常时，判定运行故障，以及在预设时间间隔内未接收到所述响应数据包时，判定所述链路连接故障。
本发明进一步提供一种集群文件***的数据处理方法，所述集群文件***的数据处理方法包括：
在存储节点接收到文件读取或写入请求，且所述存储节点为主存储节点时，所述存储节点根据所述读取请求以及所述缓存区中的请求信息读取其存储区中的数据，或者根据所述写入请求以及所述缓存区中的请求信息向其存储区中写入数据；
所述存储节点将所述读取或写入请求中的请求信息存入其缓存区；
所述存储节点将所述请求信息同步至集群文件***中的从存储节点。
可选地，所述存储节点将所述读取或写入请求中的请求信息存入其缓存区的步骤之前还包括：
在所述存储节点接收服务请求时，检测所述服务请求的类型；
判断所述服务请求是否为读取或写入请求；
若所述服务请求为读取或写入请求，则执行所述将所述读取或写入服务请求中的请求信息存入其缓存区的步骤；
所述判断所述服务请求是否为读取或写入请求的步骤之后，所述集群文件***的数据处理方法还包括：
若所述服务请求不是读取或写入请求，则响应所述服务请求。
可选地，所述存储节点根据所述读取请求以及所述缓存区中的请求信息读取其存储区中的数据，或者根据所述写入请求以及所述缓存区中的请求信息向其存储区中写入数据的步骤之前，所述集群文件***的数据处理方法还包括步骤：
所述存储节点确定所述读取或写入请求对应的数据是否需要验证；
在所述读取或写入请求对应的数据需要验证时，所述存储节点获取用户输入的验证信息；
在所述验证信息与预存的验证信息匹配时，执行所述存储节点根据所述读取请求以及所述缓存区中的请求信息读取其存储区中的数据，或者根据所述写入请求以及所述缓存区中的请求信息向其存储区中写入数据的步骤。
可选地，所述集群文件***的数据处理方法还包括：
在所述存储节点为主存储节点时，所述存储节点检测其链路连接状态和所述存储节点的运行状态；
在所述获取存储节点实时检测到其链路连接故障或所述存储节点运行故障时，所述存储节点在处于正常工作状态的从存储节点中选取主存储节点，将选取的所述从存储节点的地址标记为主存储节点地址；
将标记的所述主节点地址发送至控制节点以及选取的所述从存储节点，其中，所述控制节点采用接收到的所述主节点地址更新保存的所述主节点地址，且选取的所述存储节点接收到所述主节点地址时，将工作状态切换为主存储节点状态。
可选地，所述存储节点检测其链路连接状态和所述存储节点的运行状态的步骤包括：
所述存储节点定时向所述控制节点发送第一检测数据包；
接收所述控制节点基于所述检测数据包反馈的第二响应数据包：
在预设时间间隔内接收到所述响应数据包时，判断所述存储节点的读取以及写入是否正常；
在所述存储节点的读取以及写入正常时，判定所述存储节点运行正常，在所述存储节点的读取以及写入异常时，判定所述存储节点运行故障；
在预设时间间隔内未接收到所述响应数据包时，判定所述存储节点的链路连接故障。
本发明提出的集群文件***的数据处理方法和装置，在存储节点接收到文件读取或写入请求，且所述存储节点为主存储节点时，所述存储节点根据所述读取请求以及所述缓存区中的请求信息读取其存储区中的数据，或者根据所述写入请求以及所述缓存区中的请求信息向其存储区中写入数据，所述存储节点将所述读取或写入请求中的请求信息存入其缓存区，所述存储节点将所述请求信息同步至集群文件***中的从存储节点，在主存储节点故障后，从存储节点可根据其缓存区内的服务请求信息无间断的接管客户端的读取或写入进程，保证集群文件***服务的稳定性。
附图说明
图1为本发明集群文件***的数据处理装置第一实施例的功能模块示意图；
图2为本发明集群文件***的数据处理装置处理读写外其他服务时的功能模块示意图；
图3为本发明集群文件***的数据处理装置第二实施例的功能模块示意图；
图4为图3中检测模块的细化功能模块示意图；
图5为本发明集群文件***的数据处理装置第三实施例的功能模块示意图；
图6为本发明集群文件***的数据处理方法第一实施例的流程示意图；
图7为本发明集群文件***的数据处理方法处理数据读写外其他服务时的流程示意图；
图8为本发明集群文件***的数据处理方法第二实施例的流程示意图；
图9为图8中主存储节点检测链路连接状态和运行状态的细化流程示意图；
图10为本发明集群文件***的数据处理方法第三实施例的流程示意图。
本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种集群文件***的数据处理装置。
参照图1，图1为本发明集群文件***的数据处理装置第一实施例的功能模块示意图。
需要强调的是，对本领域的技术人员来说，图1所示功能模块图仅仅是一个较佳实施例的示例图，本领域的技术人员围绕图1所示的集群文件***的数据处理装置的功能模块，可轻易进行新的功能模块的补充；各功能模块的名称是自定义名称，仅用于辅助理解环境监测装置的各个程序功能块，不用于限定本发明的技术方案，本发明技术方案的核心是，各自定义名称的功能模块所要达成的功能。
在本实施例中，所述集群文件***的数据处理装置包括：
数据处理模块10，用于在存储节点接收到文件读取或写入请求时，根据所述读取请求以及所述缓存区中的请求信息读取存储区中的数据，或者根据所述写入请求以及所述缓存区中的请求信息向存储区中写入数据；
存储模块20，用于将所述读取或写入请求中的请求信息存入其缓存区；
存储模块20可在初次启动时获取控制节点上的配置参数，进行初始化操作，在各个存储节点创建所述缓存区，可以理解的是，所述配置参数可由用户自行设置，也可在服务器制造时由厂家录入，且所述配置参数可在任何时间进行修改，并由控制节点转发至所有存储节点。
在本实施例中，所述配置参数包括：
工作组名称，用于定义集群文件***的工作组名称；
服务器名称，用于定义集群文件***各个存储节点的名称；
最大连接数，用于定义最多允许同时访问集群文件***的客户机数量；
统一存储路径，用于定义集群文件***的根目录，即通过任一节点地址都能访问到同一目录地址或文件；
冗余网络接口，用于定义集群文件***的各个存储节点用做冗余的网络接口，即网卡；
冗余网络地址，用于定义集群文件***的各个存储节点用做冗余网络接口的网络地址(即该网卡对应的IP)，可以设置多个；
冗余主机地址，用于定义集群文件***面向客户端提供访问的公共网络地址，仅可设置一个；
数据缓存区大小，用于定义集群文件***各个存储节点上用于存放缓存数据的内存大小。
例如用户可以设置存储节点的缓存区占用20GB的存储空间，所述缓存区占用的存储空间不得超过存储节点服务器的内存最大存储空间。
同步模块30，用于将所述请求信息同步至集群文件***中的从存储节点.
在本实施例中，控制节点在***启动初始化时，会向被设置为主存储节点的服务器发送消息，控制所述主存储节点启动程序，而其他存储节点不会启动服务程序，只能接收并存储主存储节点同步的读取或写入请求的请求信息，只有主存储节点在接收到数据读取或写入请求时，将所述读取或写入请求同步至集群文件***中的所有从存储节点，从存储节点仅仅将接收到的所述读取或写入请求的请求信息存入其缓存区，而不进行其他任何操作。
在主存储节点接收到客户端的数据读取或写入请求后，会将所述请求的请求信息：如客户端数据读取或写入的进程号、所述进程的I/O偏移量，同步至所有从存储节点。
参照图2，存储节点可在接收到服务请求时，确定服务请求的类型，根据服务器请求的类型进行相应的处理，即所述集群文件***的数据处理装置还包括：
检测模块40，用于接收服务请求时，检测所述服务请求的类型，判断所述服务请求是否为读取或写入请求；
响应模块50，用于若所述服务请求不是读取或写入请求，则响应所述服务请求；
所述数据处理模块10，还用于若所述服务请求是读取或写入请求，则根据所述读取请求以及所述缓存区中的请求信息读取存储区中的数据，或者根据所述写入请求以及所述缓存区中的请求信息向存储区中写入数据。
在主存储节点接收到服务请求后，检测模块40会检测所述请求调用的服务类型，在所述请求调用数据读取或写入服务时，同步模块30才将所述请求的请求信息发送至主存储节点网络接口，再由主存储节点的网络接口发送至从控制节点获取到的节点地址对应的从存储节点，并由从存储节点的存储模块10将接收到同步请求存入其缓存区内。
可以理解的是，主存储节点不仅仅会接收到数据读取或写入请求，也有可能会接收到其他类型的服务请求，如配置参数修改请求，此时响应模块50会响应所述服务请求直接响应所述请求，如对所述请求对应的参数进行相应的修改，但该存储模块20不会将服务请求存储至其缓存区内，且同步模块20不会将服务请求同步至所有从存储节点。
可以理解的是，在本实施例中，由于***升级或维护等原因，所述主存储节点可能无法继续为客户端提供数据读取或写入服务时，主存储节点会选择一处于正常工作状态的从存储节点，将被选取的从存储节点切换为主存储节点，接管客户端的数据读取或写入进程。
本实施例提出的集群文件***的数据处理装置，主存储节点在接收到数据操作请求后，将所述请求的信息同步至所有从存储节点，在需要切换存储节点时，任一处于正常工作状态的从存储节点均可接管客户端的数据操作进程，为客户端提供无间断的数据操作服务，提高集群文件***的可用性。
进一步地，在主存储节点为客户端提供服务时，有可能发生故障，则主存储节点需定时检测其链路连接状态和服务程序运行状态，以便及时发现故障，并作出相应处理，则基于第一实施例提出本发明集群文件***的数据处理装置第二实施例，参照图3，所述集群文件***的数据处理装置还包括：
所述检测模块40，还用于检测其链路连接状态和运行状态；
参照图4，所述检测模块40包括：
链路检测单元41，用于定时向所述控制节点发送第一检测数据包；
接收所述控制节点基于所述检测数据包反馈的第二响应数据包：
读写检测单元42，用于在预设时间间隔内接收到所述响应数据包时，判断读取以及写入是否正常；
判定单元43，用于在读取以及写入正常时，判定运行正常，在读取以及写入异常时，判定运行故障，以及在预设时间间隔内未接收到所述响应数据包时，判定链路连接故障。
在本实施例中，在检测模块40检测到所述主存储节点出现故障，无法继续为客户端提供数据读取或写入服务时，主存储节点会选择一处于正常工作状态的从存储节点，将被选取的从存储节点切换为主存储节点，接管客户端的数据读取或写入进程。
切换模块60，用于检测到链路连接故障或运行故障时，在处于正常工作状态的从存储节点中选取主存储节点，将选取的所述从存储节点的地址标记为主存储节点地址；
更新模块70，用于将标记的所述主节点地址发送至控制节点以及选取的所述从存储节点，其中，所述控制节点采用接收到的所述主节点地址更新保存的所述主节点地址，且选取的所述存储节点接收到所述主节点地址时，将工作状态切换为主存储节点状态。
在需要切换存储节点时，切换模块60会选取一处于正常工作状态的从存储节点，将所述被选取的从服务节点的地址标记为新的主存储节点的地址，更新模块70将其地址发送至控制节点，控制节点将会把之后的客户端请求转发至新的主存储节点，所述被选取的从存储节点会切换为主存储节点工作状态，新的主存储节点可以读取其缓存区内的数据读取或写入进程信息，直接接管相应的进程，不会使客户端的数据操作进程中断。
可以理解的是，从存储节点的性能可能大致相同，也可能性能差异较大，所以在主存储节点进行切换时，若所有从存储节点性能相差无几，则切换模块60可以随机选取一处于正常工作状态的从存储节点作为主存储节点，若所有从存储节点的性能差异较大，则可按照从存储节点的性能高低顺序选择一处于正常工作状态的性能较高的节点作为新的主存储节点。
本实施例提出的集群文件***的数据处理装置，定时检测主存储节点的链路连接状态和服务程序运行状态，及时发现主存储节点的故障，进而切换主存储节点，为客户端提供无间断的数据读写服务，确保集群文件***数据处理服务的稳定性。
进一步地，为提高集群文件***的安全性，基于第一或第二实施例本发明还提出集群文件***的数据处理装置的第三实施例，参照图5，所述集群文件***的数据处理装置还包括：
确定模块80，用于在接收到文件读取或写入请求时，确定所述读取或写入请求对应的数据是否需要验证；
在本实施例中，主存储节点接收到文件读取或写入请求时，会检测所述被请求访问的文件的访问级别，若所述文件为共享文件，即可以被所有用户访问时，则不需要对用户的身份权限进行验证，若所述文件为私有文件，即所述文件仅仅可以被有许可权限的用户访问，则需要对用户的身份权限进行验证，确定所述文件是否可被发出访问请求的客户端访问。
获取模块90，用于在所述读取或写入请求对应的数据需要验证时，获取用户输入的验证信息；
在客户端请求访问的文件为私有文件，即需要验证时，主存储节点需要获取用户输入的信息，对用户的权限进行验证。此时，用户可能已进行登录操作，主存储节点只需要对控制节点转发的信息进行遍历，抓取带有用户名和密码关键字或句柄的数据，进而获取用户输入的信息，对用户的权限进行验证；若此时用户尚未登录，主存储节点会向控制节点发送消息，通知控制节点向客户端发送提醒或者控制客户端弹出登录界面，在用户输入验证信息后，由控制节点将所述用户输入的验证信息转发至主存储节点进行验证。
所述数据处理模块10，还用于在所述验证信息与预存的验证信息匹配时，根据所述读取请求以及所述缓存区中的请求信息读取其存储区中的数据，或者根据所述写入请求以及所述缓存区中的请求信息向其存储区中写入数据。
本实施例提出的所述集群文件***的数据处理装置，在接收到数据操作请求后，会获取所述数据的操作权限，若所述数据需要权限验证，则获取用户输入的验证信息，在用户输入的验证信息与预存的验证信息匹配时，才执行相应的数据操作，提高集群文件***数据的安全性。
本发明进一步提供一种集群文件***的数据处理方法。
参照图6，所述集群文件***的数据处理方法包括：
步骤S10，在存储节点接收到文件读取或写入请求时，所述存储节点根据所述读取请求以及所述缓存区中的请求信息读取其存储区中的数据，或者根据所述写入请求以及所述缓存区中的请求信息向其存储区中写入数据；
步骤S20，所述存储节点将所述读取或写入请求中的请求信息存入其缓存区；
存储节点可在初次启动时获取控制节点上的配置参数，进行初始化操作，在存储节点创建所述缓存区，可以理解的是，所述配置参数可由用户自行设置，也可在服务器制造时由厂家录入。
在本实施例中，所述配置参数包括：
工作组名称，用于定义集群文件***的工作组名称；
服务器名称，用于定义集群文件***各个存储节点的名称；
最大连接数，用于定义最多允许同时访问集群文件***的客户机数量；
统一存储路径，用于定义集群文件***的根目录，即通过任一节点地址都能访问到同一目录地址或文件；
冗余网络接口，用于定义集群文件***的各个存储节点用做冗余的网络接口，即网卡；
冗余网络地址，用于定义集群文件***的各个存储节点用做冗余网络接口的网络地址(即该网卡对应的IP)，可以设置多个；
冗余主机地址，用于定义集群文件***面向客户端提供访问的公共网络地址，仅可设置一个；
数据缓存区大小，用于定义集群文件***各个存储节点上用于存放缓存数据的内存大小。
例如用户可以设置存储节点的缓存区占用20GB的存储空间，所述缓存区占用的存储空间不得超过存储节点服务器的内存最大存储空间。
在本实施例中，控制节点在***启动初始化时，会向被设置为主存储节点的服务器发送消息，控制所述主存储节点启动程序，而其他存储节点不会启动服务程序，只能接收并存储主存储节点同步的读取或写入请求的请求信息，只有主存储节点在接收到数据读取或写入请求时，将所述读取或写入请求同步至集群文件***中的所有从存储节点，从存储节点仅仅将接收到的所述读取或写入请求的请求信息存入其缓存区，而不进行其他任何操作。
在主存储节点接收到客户端的数据读取或写入请求后，会将所述请求的请求信息：如客户端数据读取或写入的进程号、所述进程的I/O偏移量，同步至所有从存储节点。
步骤S30，所述存储节点将所述请求信息同步至集群文件***中的从存储节点。
主存储节点在接收到数据读取或写入请求后，会响应所述请求，根据所述请求信息，为客户端提供数据读取或写入服务。
可以理解的是，主存储节点不仅仅会接收到数据读取或写入请求，也有可能会接收到其他类型的服务请求，如配置参数修改请求，此时直接响应所述请求，如对所述请求对应的参数进行相应的修改，但不会将服务请求存储至其缓存区内，且不会将服务请求同步至所有从存储节点。
参照图7，存储节点可在接收到服务请求时，确定服务请求的类型，根据服务器请求的类型进行相应的处理，即所述集群文件***的数据处理方法还包括：
步骤S40，在所述存储节点接收服务请求时，检测所述服务请求的类型；
步骤S50，判断所述服务请求是否为读取或写入请求；
若所述服务请求为读取或写入请求，则执行所述存储节点根据所述读取请求以及所述缓存区中的请求信息读取其存储区中的数据，或者根据所述写入请求以及所述缓存区中的请求信息向其存储区中写入数据的步骤；
所述步骤S50之后，所述集群文件***的数据处理方法还包括：
步骤S60，若所述服务请求不是读取或写入请求，则响应所述服务请求。
在主存储节点接收到服务请求后，会检测所述请求调用的服务类型，在所述请求调用数据读取或写入服务时，才将所述请求的请求信息发送至主存储节点网络接口，再由主存储节点的网络接口发送至从控制节点获取到的节点地址对应的从存储节点，并由从存储节点将接收到同步请求存入其缓存区内。
可以理解的是，在本实施例中，由于***升级或维护等原因，所述主存储节点可能无法继续为客户端提供数据读取或写入服务时，主存储节点会选择一处于正常工作状态的从存储节点，将被选取的从存储节点切换为主存储节点，接管客户端的数据读取或写入进程。
本实施例提出的集群文件***的数据处理方法，主存储节点在接收到数据操作请求后，将所述请求的信息同步至所有从存储节点，在需要切换存储节点时，任一处于正常工作状态的从存储节点均可接管客户端的数据操作进程，为客户端提供无间断的数据操作服务，提高集群文件***的可用性。
进一步地，在主存储节点为客户端提供服务时，有可能发生故障，则主存储节点需定时检测其链路连接状态和服务程序运行状态，以便及时发现故障，并作出相应处理，则基于第一实施例提出本发明集群文件***的数据处理方法第二实施例，在本实施例中，参照图8，所述集群文件***的数据处理方法还包括：
步骤S70，在所述存储节点为主存储节点时，所述存储节点检测其链路连接状态和所述存储节点的运行状态；
参照图9，所述存储节点检测其链路连接状态和所述存储节点的运行状态的步骤包括：
步骤S71，所述存储节点定时向所述控制节点发送第一检测数据包；
步骤S72，接收所述控制节点基于所述检测数据包反馈的第二响应数据包：
步骤S73，在预设时间间隔内接收到所述响应数据包时，判断所述存储节点的读取以及写入是否正常；
步骤S74，在所述存储节点的读取以及写入正常时，判定所述存储节点运行正常；
步骤S75，在所述存储节点的读取以及写入异常时，判定所述存储节点运行故障；
步骤S76，在预设时间间隔内未接收到所述响应数据包时，判定所述存储节点的链路连接故障。
在本实施例中，主存储节点检测到其出现故障，无法继续为客户端提供数据读取或写入服务时，主存储节点会选择一处于正常工作状态的从存储节点，将被选取的从存储节点切换为主存储节点，接管客户端的数据读取或写入进程。
步骤S80，在所述获取存储节点实时检测到其链路连接故障或所述存储节点运行故障时，所述存储节点在处于正常工作状态的从存储节点中选取主存储节点，将选取的所述从存储节点的地址标记为主存储节点地址；
步骤S90，将标记的所述主节点地址发送至控制节点以及选取的所述从存储节点，其中，所述控制节点采用接收到的所述主节点地址更新保存的所述主节点地址，且选取的所述存储节点接收到所述主节点地址时，将工作状态切换为主存储节点状态。
在需要切换存储节点时，选取一处于正常工作状态的从存储节点，将所述被选取的从服务节点的地址标记为新的主存储节点的地址，将其地址发送至控制节点，控制节点将会把之后的客户端请求转发至新的主存储节点，所述被选取的从存储节点会切换为主存储节点工作状态，新的主存储节点可以读取其缓存区内的数据读取或写入进程信息，直接接管相应的进程，不会使客户端的数据操作进程中断。
可以理解的是，从存储节点的性能可能大致相同，也可能性能差异较大，所以在主存储节点进行切换时，若所有从存储节点性能相差无几，则可以随机选取一处于正常工作状态的从存储节点作为主存储节点，若所有从存储节点的性能差异较大，则可按照从存储节点的性能高低顺序选择一处于正常工作状态的性能较高的节点作为新的主存储节点。
本实施例提出的集群文件***的数据处理方法，定时检测主存储节点的链路连接状态和服务程序运行状态，及时发现主存储节点的故障，进而切换主存储节点，为客户端提供无间断的数据读写服务，确保集群文件***数据处理服务的稳定性。
进一步地，为提高集群文件***的安全性性，基于第一或第二实施例本发明还提出集群文件***的数据处理方法的第三实施例，参照图10，所述步骤S10之前，所述集群文件***的数据处理方法还包括步骤：
步骤S100，所述存储节点确定所述读取或写入请求对应的数据是否需要验证；
在本实施例中，主存储节点接收到文件读取或写入请求时，会检测所述被请求访问的文件的访问级别，若所述文件为共享文件，即可以被所有用户访问时，则不需要对用户的身份权限进行验证，若所述文件为私有文件，即所述文件仅仅可以被有许可权限的用户访问，则需要对用户的身份权限进行验证，确定所述文件是否可被发出访问请求的客户端访问。
步骤S110，在所述读取或写入请求对应的数据需要验证时，所述存储节点获取用户输入的验证信息；
在客户端请求访问的文件为私有文件，即需要验证时，主存储节点需要获取用户输入的信息，对用户的权限进行验证。此时，用户可能已进行登录操作，主存储节点只需要对控制节点转发的信息进行遍历，抓取带有用户名和密码关键字或句柄的数据，进而获取用户输入的验证信息，对用户的权限进行验证；若此时用户尚未登录，主存储节点会向控制节点发送消息，通知控制节点向客户端发送权限验证提醒或者控制客户端弹出登录界面，在用户输入验证信息后，由控制节点将所述用户输入的验证信息转发至主存储节点进行验证。
步骤S120，判断所述验证信息与预存的验证信息是否匹配；
在所述验证信息与预存的验证信息匹配时，执行所述存储节点根据所述读取请求以及所述缓存区中的请求信息读取其存储区中的数据，或者根据所述写入请求以及所述缓存区中的请求信息向其存储区中写入数据的步骤，即步骤S10。
本实施例提出的集群文件***的数据处理方法，在接收到数据操作请求后，会获取所述数据的操作权限，若所述数据需要权限验证，则获取用户输入的验证信息，在用户输入的验证信息与预存的验证信息匹配时，才执行相应的数据操作，提高集群文件***数据的安全性。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，云端服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种集群文件***的数据处理装置，其特征在于，所述集群文件***的数据处理装置包括：
数据处理模块，用于在存储节点接收到文件读取或写入请求时，根据所述读取请求以及所述缓存区中的请求信息读取存储区中的数据，或者根据所述写入请求以及所述缓存区中的请求信息向存储区中写入数据
存储模块，用于将所述读取或写入请求中的请求信息存入缓存区；
同步模块，用于将所述请求信息同步至集群文件***中的从存储节点。
2.如权利要求1所述的集群文件***的数据处理装置，其特征在于，所述集群文件***的数据处理装置还包括：
检测模块，用于接收服务请求时，检测所述服务请求的类型，判断所述服务请求是否为读取或写入请求；
响应模块，用于若所述服务请求不是读取或写入请求，则响应所述服务请求；
所述数据处理模块，还用于若所述服务请求是读取或写入请求，则根据所述读取请求以及所述缓存区中的请求信息读取存储区中的数据，或者根据所述写入请求以及所述缓存区中的请求信息向存储区中写入数据。
3.如权利要求1所述的集群文件***的数据处理装置，其特征在于，所述集群文件***的数据处理装置还包括：
确定模块，用于在接收到文件读取或写入请求时，确定所述读取或写入请求对应的数据是否需要验证；
获取模块，用于在所述读取或写入请求对应的数据需要验证时，获取用户输入的验证信息；
所述数据处理模块，还用于在所述验证信息与预存的验证信息匹配时，根据所述读取请求以及所述缓存区中的请求信息读取存储区中的数据，或者根据所述写入请求以及所述缓存区中的请求信息向存储区中写入数据。
4.如权利要求2所述的集群文件***的数据处理装置，其特征在于，所述集群文件***的数据处理装置还包括：
所述检测模块，还用于检测链路连接状态和运行状态；
切换模块，用于在检测到链路连接故障或运行故障时，在处于正常工作状态的从存储节点中选取主存储节点，将选取的所述从存储节点的地址标记为主存储节点地址；
更新模块，用于将标记的所述主存储节点地址发送至控制节点以及选取的所述从存储节点，其中，所述控制节点采用接收到的所述主存储节点地址更新保存的所述主存储节点地址，且选取的所述存储节点接收到所述主存储节点地址时，将工作状态切换为主存储节点状态。
5.如权利要求4所述的集群文件***的数据处理装置，其特征在于，所述检测模块包括：
链路检测单元，用于定时向所述控制节点发送第一检测数据包以及接收所述控制节点基于所述检测数据包反馈的第二响应数据包；
读写检测单元，用于在预设时间间隔内接收到所述响应数据包时，判断读取以及写入是否正常；
判定单元，用于在读取以及写入正常时，判定运行正常，在读取以及写入异常时，判定运行故障，以及在预设时间间隔内未接收到所述响应数据包时，判定链路连接故障。
6.一种集群文件***的数据处理方法，其特征在于，所述集群文件***的数据处理方法包括：
在存储节点接收到文件读取或写入请求时，所述存储节点根据所述读取请求以及所述缓存区中的请求信息读取其存储区中的数据，或者根据所述写入请求以及所述缓存区中的请求信息向其存储区中写入数据；
所述存储节点将所述读取或写入请求中的请求信息存入其缓存区；
所述存储节点将所述请求信息同步至集群文件***中的从存储节点。
7.如权利要求6所述的集群文件***的数据处理方法，其特征在于，所述存储节点根据所述读取请求以及所述缓存区中的请求信息读取其存储区中的数据，或者根据所述写入请求以及所述缓存区中的请求信息向其存储区中写入数据的步骤之前还包括：
在所述存储节点接收服务请求时，检测所述服务请求的类型；
判断所述服务请求是否为读取或写入请求；
若所述服务请求为读取或写入请求，则执行所述存储节点根据所述读取请求以及所述缓存区中的请求信息读取其存储区中的数据，或者根据所述写入请求以及所述缓存区中的请求信息向其存储区中写入数据的步骤；
所述判断所述服务请求是否为读取或写入请求的步骤之后，所述集群文件***的数据处理方法还包括：
若所述服务请求不是读取或写入请求，则响应所述服务请求。
8.如权利要求6所述的集群文件***的数据处理的方法，其特征在于，所述存储节点根据所述读取请求以及所述缓存区中的请求信息读取其存储区中的数据，或者根据所述写入请求以及所述缓存区中的请求信息向其存储区中写入数据的步骤之前，所述集群文件***的数据处理方法还包括步骤：
在存储节点接收到文件读取或写入请求时，所述存储节点确定所述读取或写入请求对应的数据是否需要验证；
在所述读取或写入请求对应的数据需要验证时，所述存储节点获取用户输入的验证信息；
在所述验证信息与预存的验证信息匹配时，执行所述存储节点根据所述读取请求以及所述缓存区中的请求信息读取其存储区中的数据，或者根据所述写入请求以及所述缓存区中的请求信息向其存储区中写入数据的步骤。
9.如权利要求6所述的集群文件***的数据处理方法，其特征在于，所述集群文件***的数据处理方法还包括：
在所述存储节点为主存储节点时，所述存储节点检测其链路连接状态和所述存储节点的运行状态；
在所述获取存储节点实时检测到其链路连接故障或所述存储节点运行故障时，所述存储节点在处于正常工作状态的从存储节点中选取主存储节点，将选取的所述从存储节点的地址标记为主存储节点地址；
将标记的所述主存储节点地址发送至控制节点以及选取的所述从存储节点，其中，所述控制节点采用接收到的所述主存储节点地址更新保存的所述主存储节点地址，且选取的所述存储节点接收到所述主存储节点地址时，将工作状态切换为主存储节点状态。
10.如权利要求9所述的集群文件***的数据处理的方法，其特征在于，所述存储节点检测其链路连接状态和所述存储节点的运行状态的步骤包括：
所述存储节点定时向所述控制节点发送第一检测数据包；
接收所述控制节点基于所述检测数据包反馈的第二响应数据包：
在预设时间间隔内接收到所述响应数据包时，判断所述存储节点的读取以及写入是否正常；
在所述存储节点的读取以及写入正常时，判定所述存储节点运行正常，在所述存储节点的读取以及写入异常时，判定所述存储节点运行故障；
在预设时间间隔内未接收到所述响应数据包时，判定所述存储节点的链路连接故障。
CN201510847053.1A 2015-11-26 2015-11-26 集群文件***的数据处理方法和装置 Active CN105511805B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510847053.1A CN105511805B (zh) 2015-11-26 2015-11-26 集群文件***的数据处理方法和装置
PCT/CN2016/105219 WO2017088664A1 (zh) 2015-11-26 2016-11-09 集群文件***的数据处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510847053.1A CN105511805B (zh) 2015-11-26 2015-11-26 集群文件***的数据处理方法和装置

Publications (2)

Publication Number Publication Date
CN105511805A true CN105511805A (zh) 2016-04-20
CN105511805B CN105511805B (zh) 2019-03-19

Family

ID=55719825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510847053.1A Active CN105511805B (zh) 2015-11-26 2015-11-26 集群文件***的数据处理方法和装置

Country Status (2)

Country Link
CN (1) CN105511805B (zh)
WO (1) WO2017088664A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106254103A (zh) * 2016-07-28 2016-12-21 北京中电普华信息技术有限公司 一种rtmp集群***可动态配置方法及装置
CN106598762A (zh) * 2016-12-29 2017-04-26 上海理想信息产业（集团）有限公司 一种消息同步方法及***
WO2017088664A1 (zh) * 2015-11-26 2017-06-01 深圳市中博科创信息技术有限公司 集群文件***的数据处理方法和装置
CN107168649A (zh) * 2017-05-05 2017-09-15 南京城市职业学院 一种分布式存储***中数据分布的方法及装置
CN107707620A (zh) * 2017-08-30 2018-02-16 华为技术有限公司 处理io请求的方法及装置
CN108023772A (zh) * 2017-12-07 2018-05-11 海能达通信股份有限公司 一种异常节点修复方法、装置及相关设备
CN108512753A (zh) * 2017-02-28 2018-09-07 华为技术有限公司 一种集群文件***中消息传输的方法及装置
CN108829720A (zh) * 2018-05-07 2018-11-16 麒麟合盛网络技术股份有限公司 数据处理方法及装置
CN109213507A (zh) * 2018-08-27 2019-01-15 郑州云海信息技术有限公司 一种升级方法及服务器
CN109543204A (zh) * 2017-09-22 2019-03-29 南京理工大学 人体静电作用下半导体器件电热一体化分析方法
CN110099084A (zh) * 2018-01-31 2019-08-06 北京易真学思教育科技有限公司 一种保证存储服务可用性的方法、***及计算机可读介质
CN110474981A (zh) * 2019-08-13 2019-11-19 中科天御(苏州)科技有限公司 一种软件定义动态安全存储方法及装置
CN110868323A (zh) * 2019-11-15 2020-03-06 浪潮电子信息产业股份有限公司 一种带宽控制方法、装置、设备及介质
CN111371865A (zh) * 2020-02-26 2020-07-03 上海达梦数据库有限公司 一种客户端连接关系调整方法、***及节点
CN113051349A (zh) * 2021-04-02 2021-06-29 广东美电贝尔科技集团股份有限公司 一种执勤***数据同步方法
CN113259092A (zh) * 2021-04-04 2021-08-13 余绍祥 一种文档分布式加密***
CN116644039A (zh) * 2023-05-25 2023-08-25 安徽继远软件有限公司 一种基于大数据的在线能力运营日志自动采集分析的方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107704201B (zh) * 2017-09-11 2020-07-31 厦门集微科技有限公司 数据存储处理方法及装置
CN110716692B (zh) * 2018-07-13 2022-11-25 浙江宇视科技有限公司 读取性能提升方法、装置、存储节点及数据读取方法
CN109508317B (zh) * 2018-10-31 2023-06-09 陕西合友网络科技有限公司 一种大容量数据和服务管理***
CN109587221A (zh) * 2018-11-09 2019-04-05 平安科技（深圳）有限公司 大数据集群管理方法、装置、存储介质和计算机设备
CN110674095B (zh) * 2019-09-27 2022-06-10 浪潮电子信息产业股份有限公司 一种ctdb集群扩展方法、装置、设备及可读存储介质
CN111314129B (zh) * 2020-02-13 2023-05-12 上海凯岸信息科技有限公司 一种基于文件式存储服务高可用架构
CN112468330B (zh) * 2020-11-13 2022-12-06 苏州浪潮智能科技有限公司 一种故障节点的设置方法、***、设备以及介质
CN112395165A (zh) * 2020-11-27 2021-02-23 中电科技（北京）有限公司 获取服务器的资源利用率的方法、设备和服务器
CN112671905B (zh) * 2020-12-23 2023-04-28 广州三七互娱科技有限公司 服务调度方法、装置及***
CN112737962B (zh) * 2020-12-24 2023-06-02 平安科技（深圳）有限公司 存储服务请求的处理方法、装置、计算机设备及存储介质
CN112988905B (zh) * 2021-04-27 2021-08-10 北京沃丰时代数据科技有限公司 用于集群部署的节点内存同步方法及装置
CN113590040B (zh) * 2021-07-29 2024-03-19 郑州阿帕斯数云信息科技有限公司 数据处理方法、装置、设备和存储介质
CN116266152A (zh) * 2021-12-16 2023-06-20 中移(苏州)软件技术有限公司 一种信息处理方法及装置、存储介质
CN114189547B (zh) * 2022-02-14 2022-05-03 北京安盟信息技术股份有限公司 一种集群下ssl隧道快速切换方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4643543B2 (ja) * 2006-11-10 2011-03-02 株式会社東芝 キャッシュ一貫性保証機能を有するストレージクラスタシステム
CN103207841A (zh) * 2013-03-06 2013-07-17 青岛海信传媒网络技术有限公司 基于键值对缓存的数据读写方法及装置
CN103207894A (zh) * 2013-03-14 2013-07-17 深圳市知正科技有限公司 一种多路实时视频数据存储***及其进行缓存控制的方法
CN103634269A (zh) * 2012-08-21 2014-03-12 ***股份有限公司 单点登录***及方法
US20140244584A1 (en) * 2013-02-26 2014-08-28 Facebook, Inc. System and method for implementing cache consistent regional clusters
US8875146B2 (en) * 2011-08-01 2014-10-28 Honeywell International Inc. Systems and methods for bounding processing times on multiple processing units
CN104361030A (zh) * 2014-10-24 2015-02-18 西安未来国际信息股份有限公司 一种具有任务分发功能的分布式缓存架构及缓存方法
CN104580432A (zh) * 2014-12-23 2015-04-29 上海帝联信息科技股份有限公司 memcached***及内存缓存数据提供、维护和集群维护方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110055494A1 (en) * 2009-08-25 2011-03-03 Yahoo! Inc. Method for distributed direct object access storage
CN102035862B (zh) * 2009-09-30 2013-11-06 国际商业机器公司 Svc集群中配置节点的故障移交方法和***
US8751641B2 (en) * 2011-09-15 2014-06-10 International Business Machines Corporation Optimizing clustered network attached storage (NAS) usage
CN105511805B (zh) * 2015-11-26 2019-03-19 深圳市中博科创信息技术有限公司 集群文件***的数据处理方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4643543B2 (ja) * 2006-11-10 2011-03-02 株式会社東芝 キャッシュ一貫性保証機能を有するストレージクラスタシステム
US8875146B2 (en) * 2011-08-01 2014-10-28 Honeywell International Inc. Systems and methods for bounding processing times on multiple processing units
CN103634269A (zh) * 2012-08-21 2014-03-12 ***股份有限公司 单点登录***及方法
US20140244584A1 (en) * 2013-02-26 2014-08-28 Facebook, Inc. System and method for implementing cache consistent regional clusters
CN103207841A (zh) * 2013-03-06 2013-07-17 青岛海信传媒网络技术有限公司 基于键值对缓存的数据读写方法及装置
CN103207894A (zh) * 2013-03-14 2013-07-17 深圳市知正科技有限公司 一种多路实时视频数据存储***及其进行缓存控制的方法
CN104361030A (zh) * 2014-10-24 2015-02-18 西安未来国际信息股份有限公司 一种具有任务分发功能的分布式缓存架构及缓存方法
CN104580432A (zh) * 2014-12-23 2015-04-29 上海帝联信息科技股份有限公司 memcached***及内存缓存数据提供、维护和集群维护方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴昌松: "ISCSI双控制器存储***缓存设计与实现", 《万方数据》 *
王光辉: "RAID***的多控制器技术研究", 《万方数据》 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017088664A1 (zh) * 2015-11-26 2017-06-01 深圳市中博科创信息技术有限公司 集群文件***的数据处理方法和装置
CN106254103B (zh) * 2016-07-28 2019-08-16 北京国电通网络技术有限公司 一种rtmp集群***可动态配置方法及装置
CN106254103A (zh) * 2016-07-28 2016-12-21 北京中电普华信息技术有限公司 一种rtmp集群***可动态配置方法及装置
CN106598762A (zh) * 2016-12-29 2017-04-26 上海理想信息产业（集团）有限公司 一种消息同步方法及***
CN106598762B (zh) * 2016-12-29 2020-04-17 上海理想信息产业（集团）有限公司 一种消息同步方法
US11184435B2 (en) 2017-02-28 2021-11-23 Huawei Technologies Co., Ltd. Message transmission method and apparatus in cluster file system
CN108512753A (zh) * 2017-02-28 2018-09-07 华为技术有限公司 一种集群文件***中消息传输的方法及装置
CN107168649A (zh) * 2017-05-05 2017-09-15 南京城市职业学院 一种分布式存储***中数据分布的方法及装置
CN107168649B (zh) * 2017-05-05 2019-12-17 南京城市职业学院 一种分布式存储***中数据分布的方法及装置
CN107707620A (zh) * 2017-08-30 2018-02-16 华为技术有限公司 处理io请求的方法及装置
CN109543204B (zh) * 2017-09-22 2022-09-13 南京理工大学 人体静电作用下半导体器件电热一体化分析方法
CN109543204A (zh) * 2017-09-22 2019-03-29 南京理工大学 人体静电作用下半导体器件电热一体化分析方法
CN108023772A (zh) * 2017-12-07 2018-05-11 海能达通信股份有限公司 一种异常节点修复方法、装置及相关设备
CN108023772B (zh) * 2017-12-07 2021-02-26 海能达通信股份有限公司 一种异常节点修复方法、装置及相关设备
CN110099084B (zh) * 2018-01-31 2021-06-15 北京易真学思教育科技有限公司 一种保证存储服务可用性的方法、***及计算机可读介质
CN110099084A (zh) * 2018-01-31 2019-08-06 北京易真学思教育科技有限公司 一种保证存储服务可用性的方法、***及计算机可读介质
CN108829720A (zh) * 2018-05-07 2018-11-16 麒麟合盛网络技术股份有限公司 数据处理方法及装置
CN109213507A (zh) * 2018-08-27 2019-01-15 郑州云海信息技术有限公司 一种升级方法及服务器
CN110474981A (zh) * 2019-08-13 2019-11-19 中科天御(苏州)科技有限公司 一种软件定义动态安全存储方法及装置
CN110868323A (zh) * 2019-11-15 2020-03-06 浪潮电子信息产业股份有限公司 一种带宽控制方法、装置、设备及介质
CN110868323B (zh) * 2019-11-15 2022-07-22 浪潮电子信息产业股份有限公司 一种带宽控制方法、装置、设备及介质
CN111371865A (zh) * 2020-02-26 2020-07-03 上海达梦数据库有限公司 一种客户端连接关系调整方法、***及节点
CN111371865B (zh) * 2020-02-26 2023-02-24 上海达梦数据库有限公司 一种客户端连接关系调整方法、***及节点
CN113051349A (zh) * 2021-04-02 2021-06-29 广东美电贝尔科技集团股份有限公司 一种执勤***数据同步方法
CN113259092A (zh) * 2021-04-04 2021-08-13 余绍祥 一种文档分布式加密***
CN116644039A (zh) * 2023-05-25 2023-08-25 安徽继远软件有限公司 一种基于大数据的在线能力运营日志自动采集分析的方法
CN116644039B (zh) * 2023-05-25 2023-12-19 安徽继远软件有限公司 一种基于大数据的在线能力运营日志自动采集分析的方法

Also Published As

Publication number Publication date
CN105511805B (zh) 2019-03-19
WO2017088664A1 (zh) 2017-06-01

Similar Documents

Publication Publication Date Title
CN105511805A (zh) 集群文件***的数据处理方法和装置
CN102426594B (zh) 对数据库进行操作的方法和***
US9639437B2 (en) Techniques to manage non-disruptive SAN availability in a partitioned cluster
CN110224871A (zh) 一种Redis集群的高可用方法及装置
CN105468295B (zh) 一种实现对象存储的安全防护访问方法及***
JP2002063063A (ja) ストレージエリア・ネットワーク管理システム
CN103207841A (zh) 基于键值对缓存的数据读写方法及装置
CN113783765B (zh) 一种实现云内网和云外网互通的方法、***、设备和介质
CN105430016A (zh) 一种网络接入认证方法及***
CN105262633A (zh) 一种应用级容灾方法及应用级容灾***
EP3648405B1 (en) System and method to create a highly available quorum for clustered solutions
JP2013187707A (ja) ホスト提供システム及び通信制御方法
CN107357800A (zh) 一种数据库高可用零丢失解决方法
CN106790563A (zh) 分布式存储***和方法
CN112121413A (zh) 功能服务的响应方法、***、装置、终端及介质
CN112202853A (zh) 数据同步方法、***、计算机设备和存储介质
CN104517067B (zh) 访问数据的方法、装置及***
CN110535947B (zh) 一种存储设备集群配置节点切换方法、装置及设备
WO2020233001A1 (zh) 双控构架分布式存储***、数据读取方法、装置和存储介质
CN112199176B (zh) 一种业务处理方法、装置及相关设备
CN112202727B (zh) 一种服务端验证用户管理方法、***、终端及存储介质
CN109408487A (zh) 一种nas文件***下文件处理***及方法
US8918670B2 (en) Active link verification for failover operations in a storage network
CN112073499A (zh) 一种多机型云物理服务器的动态服务方法
EP3884648B1 (en) Geo-replicated iot hub

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200918

Address after: 100089 Floor 1-4, No. 2 Building, No. 9 Courtyard, Dijin Road, Haidian District, Beijing

Patentee after: BEIJING TOYOU FEIJI ELECTRONICS Co.,Ltd.

Address before: 518000 Guangdong city of Shenzhen province Nanshan District South Road Fiyta Technology Building Room 1402

Patentee before: SHENZHEN ZHONGBO KECHUANG INFORMATION Co.,Ltd.

TR01 Transfer of patent right