CN106648970A - 文件备份方法和分布式文件*** - Google Patents
文件备份方法和分布式文件*** Download PDFInfo
- Publication number
- CN106648970A CN106648970A CN201610974296.6A CN201610974296A CN106648970A CN 106648970 A CN106648970 A CN 106648970A CN 201610974296 A CN201610974296 A CN 201610974296A CN 106648970 A CN106648970 A CN 106648970A
- Authority
- CN
- China
- Prior art keywords
- file
- node
- distributed
- backup
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1464—Management of the backup or restore process for networked environments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种文件备份的方法和分布式文件***,该方法采用设置于业务设备上的分布式文件***先进行自动分级探测,获取按照探测效率由高至低划分等级的分布式节点构成的分级模式,当分布式文件***进行备份文件的存储时,将该备份文件同步存储于位于一级分布式节点处的业务设备中;在本发明中采用分级模式进行文件备份,能够确保在执行文件备份过程中的可靠性和响应效率,且整个自动同步备份文件的过程,未配置多余的物理设备,也不会导致节点设备以及电信级设备的成本增加。
Description
技术领域
本发明涉及无线通信技术领域,更具体的说,涉及一种文件备份方法和分布式文件***。
背景技术
在现有的电信级设备中,为避免关键性文件损坏或丢失时影响整个电信级设备的使用,针对该电信级设备的节点设备对关键性文件的存储,需要做到既能防止被破坏也能满足极高可靠性的特点。
目前,主要采用四种方式对电信级设备中的关键性文件进行存储,其一,对关键性文件在本地进行加密存储,同时基于OS(Operating System,操作***)的权限进行控制,这种方式一旦密码被破解,基本无安全性和可靠性;其二,人为定期将关键性文件导出至网管等外部设备进行备份,这种方式通过人为定期干预,实时性较差,同时外部存储的关键性文件也需要进行管理,可靠性不稳定;其三,使用各个节点设备中的APP(Application,计算机应用程序)自行对关键性文件进行备份,例如,先在本地存储关键性文件,再同步给冗余设备,一旦本地文件丢失之后,APP自行从冗余设备获取备份的关键文件,这种方式由APP自行进行存储和获取的操作,流程过于复杂,容易出现问题,从而导致可靠性差;其四,在电信级设备的各个节点设备上配置多个物理设备,如冗余的磁阵/RAID(Redundant Arrays ofIndependent Disks,廉价冗余磁盘阵列)等,这种方式虽然提高了可靠性,但是增加了整个电信级设备的成本。
由上述可知,现有技术的电信级设备在文件备份方面存在可靠性差,或为保证可靠性导致设备成本过高的问题。
发明内容
有鉴于此,本发明提供一种文件备份方法和分布式文件***,目的在于解决现有技术***级设备在文件备份方面可靠性差,或为保证可靠性导致设备成本过高的问题。
为解决上述技术问题,本发明采用了如下技术方案:
本发明的第一方面提供了一种文件备份方法,适用于分布式文件***,该分布式文件***设置于电信级设备的各个节点设备中的业务设备上,包括以下步骤:
获取待存储的备份文件;
将备份文件自动同步至一级分布式节点进行存储,该一级分布式节点处包括本地的业务设备启动时,自动对设置有分布式文件***的周边业务设备进行分级探测,所确定的所述周边业务设备。
在本发明公开的文件备份方法中,采用设置于业务设备上的分布式文件***预先构建的分级模式,将备份文件自动同步至分级的分布式节点进行储存,确保了执行文件备份过程中的可靠性和响应效率,且未在业务设备上增加其他硬件,也不会导致节点设备以及电信级设备的成本增加。
在本发明第一方面提供的第一种实现方式中,还包括:
确定一级分布式节点完成存储后,通知经由分级探测确定的其他级别的分布式节点,从一级分布式节点上同步该备份文件,进行存储。
基于上述文件备份方法的第一种实现方式,在一级分布式节点存储完成后,再逐层进行备份,能够进一步的确保执行文件备份过程中的可靠性。
在本发明第一方面提供的第二种实现方式中,该分级探测包括:
当所述业务设备启动时,以所述业务设备为中心节点,对设置有分布式文件***的周边业务设备进行探测;
基于探测效率,将等级最高的所述周边业务设备作为一级分布式节点,其余所述周边业务设备按照所述探测效率依次划分为低级别分布式节点;
其中,所述探测效率由网络状态,探测文件读写速率和存储空间中的一个或多个确定,所述探测效率和所述周边业务设备的等级成正比。
基于上述文件备份方法的第二种实现方式中的自动分级探测,获取按照可靠性和响应效率平滑演进的进行文件备份的分级模式,能够确保在执行文件备份过程中的可靠性和响应效率。
在本发明第一方面提供的第三种实现方式中,在获取待存储的备份文件之后,还包括:
确定备份文件的级别;
若备份文件的级别为低级别文件,将备份文件在本地的业务设备进行二次存储,同时自动同步备份文件至一级分布式节点进行存储;
若备份文件的级别为高级别文件,直接执行将备份文件自动同步至一级分布式节点进行存储这一步骤;
其中,备份文件的级别,与备份文件损坏或丢失对该业务设备的安全所产生的影响成正比。
基于上述文件备份方法的第三种实现方式,根据备份文件级别的不同,采用不同的方式进行备份,使不同文件的备份更具有针对性,进一步提高了不同文件进行备份的可靠性和安全性。
在本发明第一方面提供的第四种实现方式中,还包括:
定期对本地节点,所述一级分布式节点以及所述低级别分布式节点进行检测;
当所述本地节点出现异常时,判断所述备份文件一致的所述一级分布式节点和所述低级别分布式节点的总数是否不小于阈值;
若所述备份文件一致的所述一级分布式节点和所述低级别分布式节点的总数不小于阈值,从所述一级分布式节点上获取所述备份文件对所述本地节点上的文件进行恢复;
或者,若所述备份文件是一致的所述一级分布式节点和所述低级别分布式节点的总数不小于阈值,当对所述本地节点进行相应操作时,直接从所述一级分布式节点上获取对应所述操作的所述备份文件;
当所述一级分布式节点或所述低级别分布式节点出现异常时,筛选其他分布式节点替换出现异常的一级分布式节点或所述低级别分布式节点。
基于上述文件备份方法的第四种实现方式,在某一节点文件损坏或丢失时,基于备份于其他节点处的备份文件,执行相应的读取或恢复操作,该过程无须依赖业务设备上的APP,即可实现损坏或丢失文件的自动恢复。
本发明的第二方面提供了一种分布式文件***,该分布式文件***设置于电信级设备的各个节点设备中的业务设备上,包括:
获取单元,用于获取待存储的备份文件;
一级备份单元,用于将备份文件自动同步至一级分布式节点进行存储,该一级分布式节点处包括本地的业务设备启动时,自动对设置有分布式文件***的周边业务设备进行分级探测所确定的周边业务设备。
在本发明第二方面提供的第一种实现方式中,还包括:
多级备份单元,用于确定一级分布式节点完成存储后,通知经由分级探测确定的其他级别的分布式节点,从一级分布式节点上同步所述备份文件,进行存储。
在本发明第二方面提供的第二种实现方式中,该分级探测单元包括:
探测模块,用于以业务设备为中心节点,对设置有分布式文件***的周边业务设备进行探测;
分级模块,用于基于探测效率,将等级最高的周边业务设备作为一级分布式节点,其余周边业务设备按照探测效率依次划分为低级别分布式节点;其中,探测效率由网络状态,探测文件读写速率和存储空间中的一个或多个确定,该探测效率和周边业务设备的等级成正比。
在本发明第二方面提供的第三种实现方式中,还包括:
级别确认单元,用于确定备份文件的级别,若备份文件的级别为低级别文件,执行本地备份单元;若备份文件的级别为高级别文件,执行一级备份单元;该备份文件的级别,与备份文件损坏或丢失对业务设备的安全所产生的影响成正比
本地备份单元,用于将备份文件在本地的业务设备进行二次存储,同时自动同步述备份文件至一级分布式节点进行存储。
在本发明第二方面提供的第二种实现方式中,还包括:
定期检测单元,用于定期对本地节点,一级分布式节点以及低级别分布式节点进行检测,该本地节点为本地的业务设备;当本地节点出现异常时,执行判断单元,当一级分布式节点或低级别分布式节点出现异常时,执行替换单元;
判断单元,判断备份文件一致的一级分布式节点和低级别分布式节点的总数是否不小于阈值,若备份文件一致的一级分布式节点和低级别分布式节点的总数不小于阈值,执行恢复单元,或者远程获取单元;
恢复单元,用于从一级分布式节点上获取备份文件对本地节点上的文件进行恢复;
远程获取单元,用于当对本地节点进行相应操作时,直接从一级分布式节点上获取对应操作的备份文件;
替换单元,用于筛选其他分布式节点替换出现异常的一级分布式节点或低级别分布式节点。
本发明提供的文件备份的方法和分布式文件***,采用设置于业务设备上的分布式文件***先进行自动分级探测,获取按照探测效率由高至低划分等级的分布式节点构成的分级模式,当分布式文件***进行备份文件的存储时,将该备份文件同步存储于位于一级分布式节点处的业务设备中;在本发明中采用分级模式进行文件备份,能够确保在执行文件备份过程中的可靠性和响应效率,且整个自动同步备份文件的过程,未配置多余的物理设备,也不会导致节点设备以及电信级设备的成本增加。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的分级探测方向示意图;
图2为本发明实施例一公开的一种文件备份方法的流程示意图;
图3为本发明实施例一公开的另一种文件备份方法的流程示意图;
图4为本发明实施例二公开的应用上述文件备份方法的场景示意图;
图5为本发明实施例二公开的各级分布式节点的分布图;
图6为本发明实施例三公开的一种分布式文件***的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
由背景技术可知,针对电信级设备中关键性文件的存储,现有技术所采用的本地加密存储、人为定期导出和APP(Application,计算机应用程序)自行备份的方式进行文件存储,在文件存储的过程中存在可靠性差的问题;而采用在电信级设备的节点设备上配置多个物理设备用于文件存储,虽然提高了文件存储的可靠性,但是也增加了电信级设备的成本。
因此,本发明实施例提供了一种文件备份的技术方案,该技术方案应用于电信级设备,这里的电信级设备指集群设备,包含设置于同一城市或不同城市的节点设备,该节点设备通常可以认为是某一地设置的数据中心;本发明实施例预先在该电信级设备的各个节点设备的多个业务设备上设置分布式文件***,该分布式文件***由嵌入式的多个单板或云化的多个VM(Virtual files,虚拟化的文件)构成;
当业务设备启动时,将自身作为本地节点,基于整个电信级设备的各个节点设备中的业务设备,将其他设置有分布式文件***的业务设备作为用于备份的分布式节点,基于传输效率等因素自动确定各个分布式节点的优先级,各个分布式节点为本地节点的远端备份节点,然后,在该节点设备基于分布式文件***提供的API接口(,接口操作文件)执行相应的文件创建或写入时,分布式文件***将创建或写入的文件根据文件级别进行相应的备份操作。
上述分布式节点的等级划分基于整个电信级设备而言,如图1所示出的分级探测方向示意图,当业务设备启动时,以该业务设备为中心节点A,将周边设置有分布式文件***的业务设备作为分布式节点B,基于网络状态,速率和存储空间进行分级探测,将结果最佳的业务设备作为本业务设备的一级分布式节点,其余依次作为二级分布式节点、三级分布式节点等;同一个级别的分布式节点可以依据需求选择多个,因此每一个级别的划分可以综合考虑;
若在分级探测之后,有节点退出,则可以直接退出;若有新节点加入,则可以自动从该新节点的周边节点同步相应的备份文件;
通常情况下,划分至一级分布式节点,或者划分至三级分布式节点均可满足当前的业务设备对文件备份的需求;当然,也可以更多;本发明实施例对此并不进行限定;
实施例一
如图2所示,为本发明实施例一公开的一种文件备份方法的流程示意图;本实施例通过在电信级设备的各个节点设备的业务设备上,预先设置分布式文件***,并在各个业务设备启动后,将自身为中心,自动以自身作为本地节点,以电信级设备的各个节点设备中设置有分布式文件***的业务设备作为分布式节点,进行备份等级的划分;该分布式文件***提供API接口,业务设备通过API接口执行创建或写入文件时,该分布式文件***根据文件级别执行相应的备份;
在该节点设备中,文件备份方法主要包括如下步骤:
S101:分布式文件***确定当前通过API接口创建或写入文件的级别,若为高级别文件,则针对一级分布式节点进行备份的过程为S102~S103;若为低级别文件,则针对一级分布式节点进行备份的过程为S104~S106;
在S101中,创建或写入文件的级别,与其损坏或丢失对业务设备的安全所产生的影响成正比,影响越大,级别越高;高级别文件包括高机密文件、高敏感度文件和高可靠性文件;低级别文件包括:一般敏感度文件、一般可靠度文件和普通文件;
另外,也可以通过分布式文件***确定的场景对文件的级别进行划分,一般情况下,高安全场景下创建或写入的文件为高级别文件,普通安全场景下创建或写入的文件为低级别文件;
针对高级别文件的备份:
S102:分布式文件***自动同步该创建或写入的文件至一级分布式节点进行备份存储;
高级别文件的备份需要高安全场景,因此,在S102中,直接开启VW模式,即本地无文件模式;具体为:将本地节点进行创建或写入的高级别文件直接备份至一级分布式节点内,使本地节点上不存在该高级别文件,而每次使用该高级别文件时,则分布式文件***直接进行远程访问,获取该高级别文件;当本地节点受到非法侵入或破坏时,因本地实际并没有文件,因此不会造成大的损失;
这里的一级分布式节点一般选择没有开放用户端口的业务设备;如现有的大型集群设备,一般具有两个主控节点,也就是中心节点,其余的为非主控节点,也就是周边节点,一般从该非主控节点探测各级分布式节点;该非主控节点则一般不开放用户端口,不能进行外部网络的访问,只可以与中心节点进行网络交互,安全性更高;
S103:分布式文件***在一级分布式节点备份完成后,向节点设备反馈备份成功信息;
在S103中,一旦创建或写入文件的过程结束,则认为在一级分布式节点上的备份也完成,则分布式文件***则生成备份成功消息,提示该业务设备远端存储节点的备份成功;
针对低级别文件的备份:
S104;分布式文件***将通过API接口创建或写入的文件在本地节点进行备份;
在S104中,本地节点指该分布式文件***所设置的业务设备,在该业务设备中的APP使用分布式文件***提供的API接口创建或写入文件时,预先设置于该业务设备中的分布式文件***,在API创建或写入文件的同时,在本地节点中进行备份;
也就是说,在本业务设备中,除去本身创建或写入文件直接写入文件目录之外,该分布式文件***同时将该文件写入本地节点的另一个文件目录或存储目录上,且该备份并不需要依赖网络;
S105:分布式文件***自动同步该创建或写入的文件至一级分布式节点进行备份存储;
在S105中,该一级分布式节点为本业务设备启动时,自动对周边设置有分布式文件***的业务设备进行分级探测得到的;
低级别文件在普通安全场景下即可执行备份,因此,执行该S105在一级分布式节点上进行备份的过程为:将该创建或写入的文件进行加密,然后利用分布式文件***提供的API的写接口,将该创建或写入的文件写入一级分布式节点,进行存储;
需要说明的是,可以在执行S104在本地节点进行备份的同时执行S105,两者没有明显的先后执行顺序;
S106:分布式文件***获取该一级分布式节点上的同步备份的文件,并与本地节点上的文件进行比较,若文件一致,则生成备份成功消息反馈给业务设备;
为了确保远端备份,即一级分布式节点上的同步备份是否成功,则执行S106,分布式文件***利用API的读接口,从该一级分布式节点中获取备份的创建或写入的文件,然后与当前创建或写入的文件进行对比,若一级分布式节点上备份的文件与当前创建或写入的文件一致,则确定在一级分布式节点上的同步备份成功;
需要说明的是,对于普通安全模式下备份方式,所获取到的一级分布式节点上备份的文件,还可以与在本地节点进行备份的文件进行对比;
针对上述高级别文件和低级别文件在一级分布式节点上完成备份后,基于需求,若是还划分了其他级别的分布式节点进行备份,则继续执行下述步骤;
S107:分布式文件***通知其他级别的分布式节点,从该一级分布式节点同步该创建或写入的文件,进行备份;
在S107中,分布式文件***在一级分布式节点备份成功之后,向二级分布式节点和三级分布式节点发送同步消息,由二级分布式节点和三级分布式节点获取该文件进行存储,完成备份;
其中,二级分布式节点和三级分布式节点可以采用异步备份,即二级分布式节点从一级分布式节点获取该文件进行存储之后,三级分布式节点再从二级分布式节点获取该文件进行存储,完成异步备份;也可以采用同步备份的方式,即,二级分布式节点和三级分布式节点同时从一级分布式节点上获取该文件进行存储,完成同步备份;
本发明实施例不需要增加任何硬件,而是采用设置于业务设备上的分布式文件先进行自动分级探测,获取按照可靠性和响应效率平滑演进的进行文件备份的分级模式,确保在执行文件备份过程中的可靠性和响应效率,且该等级的多寡还可以由节点设备基于需求进行选择;然后,根据文件级别的高低选择不同的方式进行文件备份,如,对高级别文件采用VW模式备份的方式,对低级别文件采用本地节点和分布式节点上均进行备份的方式;而整个自动同步备份文件的过程不依赖节点设备上的APP;由此可知,本发明实施例通过设置于业务设备上的分布式文件***进行逐层分级模式的文件备份,不仅确保了文件备份的可靠性,还不会导致节点设备以及电信级设备的成本增加。
在本发明实施例中,基于上述采用不同的方式对高级别文件和低级别文件进行备份后,如图3所示,对执行备份的本地节点和各个分布式节点进行定期的核查,在发现异常时,基于备份的文件执行读取或恢复操作,该过程不需要业务设备上的APP进行处理,由文件分布式***自行执行,具体过程包括如下步骤:
S201:分布式文件***定期对本地节点和各个分布式节点进行检测,当检测到本地节点出现异常,执行S202和S203,当分布式节点出现异常,执行S204;
S202:若出现异常的为本地节点,对各级别节点上备份的文件进行比对,若不小于阈值的节点上的备份文件一致,则执行S203;
在执行S202中,该阈值的取值范围不低于执行备份的节点个数的50%;
在对各级别节点上的备份文件进行比对时,可以采用全局校验的方式,即将全部执行备份的本地节点和/或分布式节点上的备份文件进行比对,判断具有相同文件的节点个数是否不小于阈值;
也可以采用优选的,针对本地节点和部分分布式节点进行校验;例如,在普通安全场景下,可以仅对本地节点和一级分布式节点上的备份文件进行比对,判断具有相同文件的节点个数是否不小于阈值;在高安全场景下,对一级分布式节点上的备份文件进行比对,判断具有相同文件的节点个数是否不小于阈值;
在执行S202的过程中,若不小于阈值的节点上的备份文件一致,则认为备份的文件基本无误;
S203:针对低级别文件,分布式文件***从一级分布式节点上获取备份文件对本地节点上的文件进行恢复;针对高级别文件,分布式文件则在从一级分布式节点上获取备份文件执行相应操作;
在S203中,在普通安全情况下,若本地节点的文件出现问题,该分布式文件直接从一级分布式节点上获取备份文件,对本地节点上的文件进行恢复;
但是,对于高安全级别的文件,若是损坏,可以不进行恢复,而是在需要使用的时候,由分布式文件***直接从一级分布式节点上获取即可,通过这样的方式,可以避免高安全级别或高敏感度的文件,在本地节点受到非法侵入或破坏时,被非法获取;
S204:当某一级别分布式节点出现异常时,分布式文件***筛选其他分布式节点替换该出现异常的分布式节点;
在S204中,出现异常的情况包括:响应速度变慢,或出现故障;一般采用动态调整等级的方式对该出现异常的分布式节点进行处理;
针对响应速度变慢的分布式节点,筛选其他分布式节点替换该出现异常的分布式节点的方式有两种:
其一,分布式文件***将该响应速度变慢的分布式节点进行降级,将原来的低级别的分布式节点进行升级;
其二,分布式文件***将该响应速度变慢的分布式节点直接剔除,对其他低级别的分布式节点进行整体升级;
针对出现故障的分布式节点,则直接剔除,对其他低级别的分布式节点进行整体升级;
本发明实施例,业务设备中的分布式文件***基于上述进行文件备份的本地节点和分布式节点进行定期的核查,若本地节点出现异常,则基于上述操作对本地文件进行恢复,若分布式节点出现异常,则动态调整分布式节点的等级,整个自动修复的过程都不需要依赖节点设备中的APP;当然,若在文件丢失后,APP可以主动触发分布式文件***执行上述恢复文件的操作。
基于上述设置于节点设备中的分布式文件***进行文件备份的操作过程中,进一步的,本发明实施例公开的分布式文件***具有认证机制,针对该业务设备的APP进行权限认证,只有认证通过的APP才可以主动触发该分布式文件***执行相应的文件备份相关的操作;
若分布式文件***通过权限认证,确认当前登入该业务设备的用户为高级用户或管理员时,则可以执行上述本发明实施例公开的文件备份方法,以及对各个分布式节点的管理;若确认当前登入该业务设备的用户为普通用户时,则该分布式文件***限制该普通用户创建文件,读文件或写文件时,能够进行文件备份的分布式节点的级别;以及,限制执行对本地文件的删除,如,只有创建文件的用户可以删除该文件。
实施例二
基于上述本发明实施例一公开的一种文件备份方法,在本实施例基于具体应用场景进行详细说明;
如图4所示,该电信级设备由2个节点设备组成,1个节点设备设置在北京(图4中用“北京DC/机框1”表示),1个节点设备设置在杭州(图4中用“杭州DC/机框1”表示);
DC,一般指不同地域的数据中心,如北京DC,机框1则指在一个DC里的逻辑机框1;也可以认为DC是全局编址的;
如图4所示,在该D1节点设备中,部分业务设备(11、12、13)上设置有由多个嵌入式单板或云化的VW构成的分布式文件***,其余为普通的业务设备14;同样的,在该D2节点设备中,部分业务设备(21、22、23)上设置有由多个嵌入式的单板或云化的VW构成的分布式文件***,其余为部分的业务设备24;
假设,如图5所示,以业务设备11为本地节点,当业务设备11启动时,业务设备11中的分布式文件***,分级探测周边设置有分布式文件***的业务设备,按照探测文件读写速度的大小,将读写速度最快的业务设备12和业务设备13作为本业务设备11的一级分布式节点,业务设备21和业务设备22作为二级分布式节点、业务设备23作为三级分布式节点;
另外,该分布式文件***在业务设备11的本地划分另一存储区域作为0.5级的本地双区备份;
业务设备11中的APP使用分布式文件***提供的API接口进行创建,读/写,以及删除文件;
基于上述图5示出的分级模式,当业务设备11中的APP使用分布式文件***提供的API接口在该业务设备11中写入低级别文件时,执行上述本发明实施例一公开的文件备份方法,具体过程为:
S301,业务设备11上的分布式文件***将通过API接口创建或写入的低级别文件在该业务设备11的另一个存储目录中进行备份;
S302:业务设备11上的分布式文件***自动同步该低级别文件至业务设备12和业务设备13进行备份存储;
S303:业务设备11上的分布式文件***获取该业务设备12和/或业务设备13上同步备份的文件,并与业务设备11上的低级别文件进行比较,若文件一致,则生成备份成功消息反馈给业务设备11;
在S303中,至少获取一个一级分布式节点上备份的低级别文件进行比较即可;
S304:业务设备11上的分布式文件***通知业务设备21、业务设备22和业务设备23,从该业务设备12上同步该低级别文件进行备份;
S305:业务设备11上的分布式文件***定期对业务设备11、业务设备12、业务设备13、业务设备21、业务设备22和业务设备23进行检测,当检测到业务设备11出现异常;
S306:对业务设备12、业务设备13、业务设备21、业务设备22和业务设备23上备份的文件进行比对,若3个以上的业务设备上的备份文件一致,则业务设备11上的分布式文件***从业务设备12或业务设备13上获取备份文件对业务设备11上的文件进行恢复;
本发明该实施例基于具体的应用场景,采用设置于业务设备11上的分布式文件先进行自动分级探测,获取按照可靠性和响应效率平滑演进的进行文件备份的分级模式,能够确保在执行文件备份过程中的可靠性和响应效率,且未在业务设备上增加其他硬件,因此在确保文件备份的可靠性的基础上,还确保不会导致节点设备以及电信级设备的成本增加。
实施例三
基于上述本发明实施例一和实施例二公开的一种文件备份方法,本发明实施例三还对应公开了执行上述文件备份方法的分布式文件***;该分布式文件***可以采用嵌入式的多个单板或多个云化的VW构成,该分布式文件***100如图6所示,主要包括:获取单元101、一级备份单元102和多级备份单元103;
获取单元101,用于获取待存储的备份文件;
一级备份单元102,用于将备份文件自动同步至一级分布式节点进行存储;
多级备份单元103,用于确定一级分布式节点完成存储后,通知经由分级探测确定的其他级别的分布式节点,从一级分布式节点上同步该备份文件,进行存储。
在一级备份单元102中的一级分布式节点处包括本地的业务设备启动时,自动对设置有所述分布式文件***的周边业务设备进行分级探测,所确定的所述周边业务设备;
该分级探测单元包括:
探测模块,用于以业务设备为中心节点,对设置有分布式文件***的周边业务设备进行探测;
分级模块,用于基于探测效率,将等级最高的业务设备作为一级分布式节点,其余业务设备按照探测效率依次划分为低级别分布式节点;
在本发明实施例公开的该分布式文件***中,还可以根据所创建或写入的文件的级别,或者是当前由分布式文件***所确定的高安全场景和普通安全场景,执行不同的备份单元,具体包括:
级别确认单元,用于确定备份文件的级别,若备份文件的级别为低级别文件,执行本地备份单元;若备份文件的级别为高级别文件,执行一级备份单元102;
本地备份单元,用于将所述备份文件在本地的业务设备进行二次存储,同时自动同步备份文件至一级分布式节点进行存储。
在本发明实施例公开的该分布式文件***中,还包括对各个节点执行定期检测和处理异常节点的单元,如:
定期检测单元,用于定期对本地节点,一级分布式节点以及低级别分布式节点进行检测,本地节点为本地的业务设备;当本地节点出现异常时,执行判断单元,当一级分布式节点或所述低级别分布式节点出现异常时,执行替换单元;
判断单元,判断备份文件一致的一级分布式节点和低级别分布式节点的总数是否不小于阈值,若备份文件一致的一级分布式节点和低级别分布式节点的总数不小于阈值,则根据当前的场景需求,在普通安全场景下执行恢复单元,在高安全场景下执行远程获取单元;
恢复单元,用于从一级分布式节点上获取备份文件对本地节点上的文件进行恢复;
远程获取单元,用于当对本地节点进行相应操作时,直接从一级分布式节点上获取对应操作的备份文件;
替换单元,用于筛选其他分布式节点替换出现异常的一级分布式节点或所述低级别分布式节点。
本发明实施例公开的该分布式文件***,还包括用于对创建、读写和删除备份文件的用户进行权限认证的权限认证单元。
以上本发明实施例公开的执行文件备份的各个模块和单元所涉及到的具体操作,可以参见上述本发明实施例公开的文件备份方法中的相应部分,这里也不再进行赘述。
综上所述,本发明实施例不需要增加任何硬件,而是采用设置于业务设备上的分布式文件先进行自动分级探测,获取按照可靠性和响应效率平滑演进的进行文件备份的分级模式,确保在执行文件备份过程中的可靠性和响应效率,且该等级的多寡还可以由节点设备基于需求进行选择;然后,根据文件级别的高低选择不同的方式进行文件备份,而整个自动同步备份文件的过程不依赖节点设备上的APP;由此可知,本发明实施例通过设置于业务设备上的分布式文件***进行逐层分级模式的文件备份,不仅确保了文件备份的可靠性,还不会导致节点设备以及电信级设备的成本增加。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种文件备份方法,其特征在于,适用于分布式文件***,所述分布式文件***设置于电信级设备的各个节点设备中的业务设备上,包括:
获取待存储的备份文件;
将所述备份文件自动同步至一级分布式节点进行存储,所述一级分布式节点处包括本地的业务设备启动时,自动对设置有所述分布式文件***的周边业务设备进行分级探测,所确定的所述周边业务设备。
2.根据权利要求1所述的方法,其特征在于,还包括:
确定所述一级分布式节点完成存储后,通知经由所述分级探测确定的其他级别的分布式节点,从所述一级分布式节点上同步所述备份文件,进行存储。
3.根据权利要求1或2所述的方法,其特征在于,所述分级探测包括:
当所述业务设备启动时,以所述业务设备为中心节点,对设置有分布式文件***的周边业务设备进行探测;
基于探测效率,将等级最高的所述周边业务设备作为一级分布式节点,其余所述周边业务设备按照所述探测效率依次划分为低级别分布式节点;
其中,所述探测效率由网络状态,探测文件读写速率和存储空间中的一个或多个确定,所述探测效率和所述周边业务设备的等级成正比。
4.根据权利要求1所述的方法,其特征在于,获取待存储的备份文件之后,还包括:
确定所述备份文件的级别;
若所述备份文件的级别为低级别文件,将所述备份文件在本地的业务设备进行二次存储,同时自动同步所述备份文件至一级分布式节点进行存储;
若所述备份文件的级别为高级别文件,直接执行将所述备份文件自动同步至一级分布式节点进行存储这一步骤;
其中,所述备份文件的级别,与所述备份文件损坏或丢失对所述业务设备的安全所产生的影响成正比。
5.根据权利要求1所述的方法,其特征在于,还包括:
定期对本地节点,所述一级分布式节点以及所述低级别分布式节点进行检测;
当所述本地节点出现异常时,判断所述备份文件一致的所述一级分布式节点和所述低级别分布式节点的总数是否不小于阈值;
若所述备份文件一致的所述一级分布式节点和所述低级别分布式节点的总数不小于阈值,从所述一级分布式节点上获取所述备份文件对所述本地节点上的文件进行恢复;
或者,若所述备份文件是一致的所述一级分布式节点和所述低级别分布式节点的总数不小于阈值,当对所述本地节点进行相应操作时,直接从所述一级分布式节点上获取对应所述操作的所述备份文件;
当所述一级分布式节点或所述低级别分布式节点出现异常时,筛选其他分布式节点替换出现异常的一级分布式节点或所述低级别分布式节点。
6.一种分布式文件***,其特征在于,所述分布式文件***设置于电信级设备的各个节点设备中的业务设备上,包括:
获取单元,用于获取待存储的备份文件;
一级备份单元,用于将所述备份文件自动同步至一级分布式节点进行存储,所述一级分布式节点处包括本地的业务设备启动时,自动对设置有所述分布式文件***的周边业务设备进行分级探测,所确定的所述周边业务设备。
7.根据权利要求6所述的分布式文件***,其特征在于,还包括:
多级备份单元,用于确定所述一级分布式节点完成存储后,通知经由所述分级探测确定的其他级别的分布式节点,从所述一级分布式节点上同步所述备份文件,进行存储。
8.根据权利要求6或7所述的分布式文件***,其特征在于,所述分级探测单元包括:
探测模块,用于以所述业务设备为中心节点,对设置有分布式文件***的周边业务设备进行探测;
分级模块,用于基于探测效率,将等级最高的所述周边业务设备作为一级分布式节点,其余所述周边业务设备按照所述探测效率依次划分为低级别分布式节点;其中,所述探测效率由网络状态,探测文件读写速率和存储空间中的一个或多个确定,所述探测效率和所述周边业务设备的等级成正比。
9.根据权利要求6所述的分布式文件***,其特征在于,还包括:
级别确认单元,用于确定所述备份文件的级别,若所述备份文件的级别为低级别文件,执行本地备份单元;若所述备份文件的级别为高级别文件,执行所述一级备份单元;所述备份文件的级别,与所述备份文件损坏或丢失对所述业务设备的安全所产生的影响成正比
所述本地备份单元,用于将所述备份文件在本地的业务设备进行二次存储,同时自动同步所述备份文件至一级分布式节点进行存储。
10.根据权利要求6所述的分布式文件***,其特征在于,还包括:
定期检测单元,用于定期对所述本地节点,所述一级分布式节点以及所述低级别分布式节点进行检测,所述本地节点为本地的业务设备;当所述本地节点出现异常时,执行判断单元,当所述一级分布式节点或所述低级别分布式节点出现异常时,执行替换单元;
所述判断单元,判断所述备份文件一致的所述一级分布式节点和所述低级别分布式节点的总数是否不小于阈值,若所述备份文件一致的所述一级分布式节点和所述低级别分布式节点的总数不小于阈值,执行恢复单元,或者远程获取单元;
所述恢复单元,用于从所述一级分布式节点上获取所述备份文件对所述本地节点上的文件进行恢复;
所述远程获取单元,用于当对所述本地节点进行相应操作时,直接从所述一级分布式节点上获取对应所述操作的所述备份文件;
所述替换单元,用于筛选其他分布式节点替换出现异常的一级分布式节点或所述低级别分布式节点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610974296.6A CN106648970A (zh) | 2016-11-04 | 2016-11-04 | 文件备份方法和分布式文件*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610974296.6A CN106648970A (zh) | 2016-11-04 | 2016-11-04 | 文件备份方法和分布式文件*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106648970A true CN106648970A (zh) | 2017-05-10 |
Family
ID=58820847
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610974296.6A Pending CN106648970A (zh) | 2016-11-04 | 2016-11-04 | 文件备份方法和分布式文件*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106648970A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108415794A (zh) * | 2018-01-30 | 2018-08-17 | 河南职业技术学院 | 文件备份方法及文件备份装置 |
CN110493027A (zh) * | 2018-09-27 | 2019-11-22 | 北京白山耘科技有限公司 | 一种分布式数据管理***及管理方法 |
WO2020063424A1 (zh) * | 2018-09-27 | 2020-04-02 | 北京白山耘科技有限公司 | 分布式数据***及分布式数据同步方法、计算机存储介质和计算机设备 |
CN111083199A (zh) * | 2019-11-23 | 2020-04-28 | 上海畅星软件有限公司 | 基于高并发、高可用性、服务可扩展的平台处理架构 |
CN111866178A (zh) * | 2020-08-04 | 2020-10-30 | 蝉鸣科技(西安)有限公司 | 一种分布式ftp/ftps文件传输方法、装置及计算机存储介质 |
CN112256490A (zh) * | 2020-11-17 | 2021-01-22 | 珠海大横琴科技发展有限公司 | 一种数据处理的方法和装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102025756A (zh) * | 2009-09-09 | 2011-04-20 | 中兴通讯股份有限公司 | 分布式***及其数据同步方法 |
CN104142871A (zh) * | 2013-05-10 | 2014-11-12 | 中国电信股份有限公司 | 用于数据备份的方法、装置和分布式文件*** |
CN104410683A (zh) * | 2014-11-21 | 2015-03-11 | 四川神琥科技有限公司 | 一种数据备份方法 |
CN105120003A (zh) * | 2015-09-10 | 2015-12-02 | 浪潮(北京)电子信息产业有限公司 | 一种实现云环境下数据备份的方法 |
-
2016
- 2016-11-04 CN CN201610974296.6A patent/CN106648970A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102025756A (zh) * | 2009-09-09 | 2011-04-20 | 中兴通讯股份有限公司 | 分布式***及其数据同步方法 |
CN104142871A (zh) * | 2013-05-10 | 2014-11-12 | 中国电信股份有限公司 | 用于数据备份的方法、装置和分布式文件*** |
CN104410683A (zh) * | 2014-11-21 | 2015-03-11 | 四川神琥科技有限公司 | 一种数据备份方法 |
CN105120003A (zh) * | 2015-09-10 | 2015-12-02 | 浪潮(北京)电子信息产业有限公司 | 一种实现云环境下数据备份的方法 |
Non-Patent Citations (1)
Title |
---|
MICROSOFT著: "《操作***的安装、配置和管理 Windows XP专业版的安装、配置和管理》", 31 July 2003 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108415794A (zh) * | 2018-01-30 | 2018-08-17 | 河南职业技术学院 | 文件备份方法及文件备份装置 |
CN110493027A (zh) * | 2018-09-27 | 2019-11-22 | 北京白山耘科技有限公司 | 一种分布式数据管理***及管理方法 |
WO2020063650A1 (zh) * | 2018-09-27 | 2020-04-02 | 北京白山耘科技有限公司 | 一种分布式数据管理***及管理方法、计算机存储介质和计算机设备 |
WO2020063424A1 (zh) * | 2018-09-27 | 2020-04-02 | 北京白山耘科技有限公司 | 分布式数据***及分布式数据同步方法、计算机存储介质和计算机设备 |
CN111083199A (zh) * | 2019-11-23 | 2020-04-28 | 上海畅星软件有限公司 | 基于高并发、高可用性、服务可扩展的平台处理架构 |
CN111866178A (zh) * | 2020-08-04 | 2020-10-30 | 蝉鸣科技(西安)有限公司 | 一种分布式ftp/ftps文件传输方法、装置及计算机存储介质 |
CN112256490A (zh) * | 2020-11-17 | 2021-01-22 | 珠海大横琴科技发展有限公司 | 一种数据处理的方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106648970A (zh) | 文件备份方法和分布式文件*** | |
CN101334825B (zh) | 应用程序管理和运行***及方法 | |
KR101547719B1 (ko) | 데이터 센터들에 걸쳐 데이터 서버들내 데이터 무결정의 유지 | |
CN103019614B (zh) | 分布式存储***管理装置及方法 | |
CN103064763B (zh) | 一种数据备份方法及相关设备、*** | |
CN111031096A (zh) | 一种基于拟态防御的分布式存储***构建方法 | |
CN104166606A (zh) | 文件备份方法和主存储设备 | |
CN104182184A (zh) | 一种分布式块存储克隆方法 | |
CN102317910A (zh) | 虚拟化数据备份方法、虚拟化数据重组方法、装置及*** | |
CN106708653B (zh) | 一种基于纠删码与多副本的混合税务大数据安全保护方法 | |
CN100449501C (zh) | 计算机网络数据恢复的方法 | |
CN105426427A (zh) | 基于raid 0 存储的mpp 数据库集群副本实现方法 | |
CN103049400A (zh) | 一种磁盘重构方法及其装置 | |
CN110784331B (zh) | 一种共识流程恢复方法及相关节点 | |
CN106850315B (zh) | 一种自动化容灾*** | |
CN102170460A (zh) | 一种集群存储***及其数据存储方法 | |
CN110807064A (zh) | Rac分布式数据库集群***中的数据恢复装置 | |
CN105022678A (zh) | 虚拟机数据备份的方法和装置 | |
CN103064759A (zh) | 数据修复的方法及装置 | |
CN105404565A (zh) | 一种双活数据保护方法和装置 | |
KR20080050276A (ko) | 객체 기반 분산 공유 시스템 및 그의 방법 | |
CN107729182B (zh) | 数据存储和访问的方法及装置 | |
CN113051428B (zh) | 一种摄像机前端存储备份的方法及装置 | |
CN102520880B (zh) | 一种***raid管理模块设计方法 | |
CN104407806A (zh) | 独立磁盘冗余阵列组硬盘信息的修改方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170510 |