CN1567238A - 基于Internet的文件镜像方法 - Google Patents

基于Internet的文件镜像方法 Download PDF

Info

Publication number
CN1567238A
CN1567238A CN 03135150 CN03135150A CN1567238A CN 1567238 A CN1567238 A CN 1567238A CN 03135150 CN03135150 CN 03135150 CN 03135150 A CN03135150 A CN 03135150A CN 1567238 A CN1567238 A CN 1567238A
Authority
CN
China
Prior art keywords
file
formation
mirror
record
internet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 03135150
Other languages
English (en)
Other versions
CN1234074C (zh
Inventor
李涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu century summit Technology Co., Ltd.
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN 03135150 priority Critical patent/CN1234074C/zh
Publication of CN1567238A publication Critical patent/CN1567238A/zh
Application granted granted Critical
Publication of CN1234074C publication Critical patent/CN1234074C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出一种基于Internet的文件镜像方法，属于数据备份与灾难恢复领域。其特征在于在对本地服务器的文件进行写操作时，记录下文件名、文件路径、文件偏移以及写入数据，然后通过Internet发送到远程镜像服务器，在远程镜像服务器上对相应的文件进行同样的写操作，达到镜像的目的。由于在本地服务器上设置了记录文件变化的队列，本方法能够在一定程度上容忍Internet网络的带宽限制、速度变化、网络中断等不利因素，在网络状况良好的情况下还能获得良好的实时性。本发明可广泛应用于基于Internet的远距离异地数据备份与灾难恢复，建设成本极低，具有广阔的应用前景。

Description

基于Internet的文件镜像方法
技术领域
本发明提出了一种基于Internet的文件镜像方法，属于数据备份与灾难恢复领域，在两台通过Internet连接的计算机上实现文件的同步。
背景技术
在容灾***中，镜像技术是基础，是整个容灾***成败的关键。目前比较成熟的镜像技术有磁盘阵列技术，存储区域网络，网络直接存储等。这些技术各有其优缺点，但距离都受到严格限制。存储区域网络的镜像距离最大，通常在10千米以内，最大不超过100千米。其他的几种技术仅适合于本地存储，不适于远距离异地镜像***的建立。这些技术价格昂贵，应用范围较窄，使用不够方便，维护费用高。
中国专利公开号为CN1179219A的申请案可实现文件的异地备份，但时间间隔长，实时性不高。中国专利公开号为CN1371058A的申请案是针对一个特定应用的文件同步方法，当客户端向服务器写数据时，同时向镜像服务器写同样的数据使主服务器与镜像服务器同步，需要在每个客户端上安装底层备份驱动程序，应用的范围、距离都有很大的限制。
本发明是一个通用的文件镜像方法，不需要在客户端作任何配置，应用范围和镜像距离不受限制(只要能够接入Internet就行)，支持多种操作***，对网络的带宽以及网络的稳定性要求低。可支持用户在Internet上以极小的成本构建自己的文件镜像***，具有广阔的应用前景。
发明内容
定义1：文件列表L，用来登记需要镜像的文件，L中的每个元素包含以下两个部分：
1)文件名：字符串，需监视的文件的名称。
2)文件路径：字符串，需监视的文件所在的路径。
定义2：文件变化队列Q，是一个先进先出队列，用来记录哪些文件产生了写操作。队列Q的每个元素包含以下四个部分：
1)文件名：字符串，指明产生写操作的文件。
2)文件路径：字符串，指明产生写操作的文件的路径。
3)偏移量：整数，文件写指针的位置。
4)写入数据：二进制串，表示写入文件的内容。
为了提高效率，队列Q设计为两级：一级队列Q1和二级队列Q2。由于磁盘的读写速度和RAM的读写速度相差几个数量级。因此，Q1放在RAM中，Q2放在磁盘上。Q1的尾端与Q2的首端相连从而在逻辑上形成一个队列Q。取记录时总是在Q的首端进行，***记录时总是在Q的尾端进行。
在取记录时，如果队列Q的头指针已经指向Q2，则先将Q2中的部分记录移动到Q1，同时修改Q的头指针和尾指针(类似于操作***的缺页中断处理方法)，然后再从Q的首端取出记录。
队列Q的大小可以灵活设定。Q越大，能够记录文件的变化越多，用本发明设计的***就能够更好地容忍Internet的带宽限制、速度变化、网络中断等不利因素。实际使用中，Q的大小可以根据内存的容量，磁盘的容量，文件的使用情况，网络的连接速度，容许网络中断的最大时间等来确定。一般情况下建议Q1为128M，Q2为1G。
在进行镜像之前，首先保证本地服务器需要镜像的文件和远程镜像服务器相应的文件完全相同。
以下结合附图详细说明本发明的具体方法。
图1是本发明工作原理图。
本发明在实现上分为本地和远程两个部分，本地部分包括文件监视模块FMON、本地镜像模块LMM以及两个数据结构，列表L和队列Q；远程部分只包括远程镜像模块RMM。
文件监视模块FMON监听操作***的写操作，如果***作的文件F在列表L中，则把F的文件名、文件路径、偏移量、写入数据等封装成一个记录R***到队列Q中。本地镜像模块LMM不断地从Q中取出记录R，发送到远程镜像服务器，远程镜像模块RMM根据收到的记录R对相应的文件进行写操作完成文件的镜像工作。
在程序运行前，首先要清空队列Q，并把需要镜像的文件登记到列表L中。
图2是文件监视模块FMON的流程图
文件监视模块FMON在本地服务器上监听操作***对某个文件F进行的操作W，如果W是一个写操作并且F在列表L中，则将W记录到队列Q中。具体步骤如下：
①监听到操作***对某个文件F进行了W操作
②判断操作W是否是写操作，如果不是转到①。
③判断文件F是否在列表L中，如果不在转到①。
④判断队列Q是否已满，如果已满转到⑩。
⑤把操作W封装成记录R。
⑥获得队列Q的读写权。
⑦把记录R***到队列Q的尾端。
⑧释放队列Q的读写权。
⑨结束。
⑩报错。
图3是本地镜像模块LMM的流程图
本地镜像模块LMM从队列Q的首端取出记录R，然后发送到远程镜像服务器完成同步。
具体步骤如下：
①判断队列Q是否为空，如果为空转到①。
②获得队列Q的读写权。
③从队列Q的首端取出一条记录R。
④释放队列Q的读写权。
⑤把记录R封装成镜像请求T。
⑥把请求T发送到远程镜像服务器进行镜像。
⑦等待远程镜像服务器的完成标志。
⑧判断是否超时，如果超时转到⑥。
⑨获得队列Q的读写权。
⑩从队列Q中删除记录R。
释放队列Q的读写权。
转到①。
图4远程镜像模块RMM的流程图
远程文件同步模块监听文件同步请求，当一个同步请求到来时，在镜像服务器上对相应的文件进行同样的操作，具体步骤如下：
①监听到文件镜像请求T。
②从T中解析出记录R。
③根据记录R的内容对相应的文件进行写操作。
④向本地镜像模块发送完成标志。
⑤转到①。

Claims (5)

1.一种基于Internet的文件镜像方法，其特征包括以下步骤：记录文件变化的队列的结构；文件监视模块的运行步骤；本地镜像模块的运行步骤；远程镜像模块的运行步骤。
2.权利要求1所述的基于Internet的文件镜像方法，其特征在于记录文件变化的队列Q的结构包括以下内容：
队列Q设计为两级：一级队列Q1和二级队列Q2；
Q1的尾端与Q2的首端相连从而在逻辑上形成一个队列Q；
Q的每个元素包括文件名、文件路径、偏移量、写入数据四个部分。
3.权利要求1所述的基于Internet的文件镜像方法，其特征在于文件监视模块的运行步骤包括以下步骤：
①监听操作***对某个文件F进行写操作的步骤；
②判断F在列表L(由需要镜像的文件组成)中的步骤；
③把F的文件名、文件路径、偏移量、写入数据组成一个记录R，***到一个队列Q的步骤；
④返回①，继续监听操作***的下一个写操作的步骤。
4.权利要求1所述的基于Internet的文件镜像方法，其特征在于本地镜像模块的运行步骤包括以下步骤：
只要队列Q中有记录，就一直进行以下步骤：
①从队列Q中取出一条记录R的步骤；
②把记录R封装成镜像请求T的步骤；
③把请求T发送到远程备份服务器的步骤；
④从队列Q中删除记录R的步骤；
5.权利要求1所述的基于Internet的文件镜像方法，其特征在于远程镜像模块的运行步骤包括以下步骤：
①监听文件镜像请求的步骤；
②当一个镜像请求到来时，解析出记录R的步骤；
③根据记录R的内容对相应的文件进行写操作的步骤；
④向本地镜像模块发送完成标志的步骤；
⑤返回①，继续监听下一个文件镜像请求的步骤。
CN 03135150 2003-06-09 2003-06-09 基于Internet的文件镜像方法 Expired - Fee Related CN1234074C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 03135150 CN1234074C (zh) 2003-06-09 2003-06-09 基于Internet的文件镜像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 03135150 CN1234074C (zh) 2003-06-09 2003-06-09 基于Internet的文件镜像方法

Publications (2)

Publication Number Publication Date
CN1567238A true CN1567238A (zh) 2005-01-19
CN1234074C CN1234074C (zh) 2005-12-28

Family

ID=34470201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 03135150 Expired - Fee Related CN1234074C (zh) 2003-06-09 2003-06-09 基于Internet的文件镜像方法

Country Status (1)

Country Link
CN (1) CN1234074C (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101414915B (zh) * 2007-10-19 2011-02-16 英业达股份有限公司 远程复制的发送请求处理***及其方法
CN101984634A (zh) * 2010-11-22 2011-03-09 北京酷我科技有限公司 一种适应资源同步机制的服务器端自动转向方法及***
CN101989084B (zh) * 2009-07-29 2012-05-23 中国铝业股份有限公司 热电站及配套***的数据发布***
CN101410822B (zh) * 2006-03-30 2012-07-04 Nhn公司 服务器镜像方法及***
CN111506587A (zh) * 2020-03-31 2020-08-07 紫光云技术有限公司 一种基于Redis的异地双活方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100405312C (zh) * 2006-03-10 2008-07-23 四川大学 异地数据备份中的差错控制方法
CN100385407C (zh) * 2006-03-10 2008-04-30 四川大学 网络信息***异地数据镜像方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101410822B (zh) * 2006-03-30 2012-07-04 Nhn公司 服务器镜像方法及***
CN101414915B (zh) * 2007-10-19 2011-02-16 英业达股份有限公司 远程复制的发送请求处理***及其方法
CN101989084B (zh) * 2009-07-29 2012-05-23 中国铝业股份有限公司 热电站及配套***的数据发布***
CN101984634A (zh) * 2010-11-22 2011-03-09 北京酷我科技有限公司 一种适应资源同步机制的服务器端自动转向方法及***
CN101984634B (zh) * 2010-11-22 2013-06-26 北京酷我科技有限公司 一种适应资源同步机制的服务器端自动转向方法及***
CN111506587A (zh) * 2020-03-31 2020-08-07 紫光云技术有限公司 一种基于Redis的异地双活方法

Also Published As

Publication number Publication date
CN1234074C (zh) 2005-12-28

Similar Documents

Publication Publication Date Title
CN100345143C (zh) 数据处理方法和装置
CA2652111C (en) Apparatus and method for forming a homogenous transaction data store from heterogeneous sources
CN101079034A (zh) 消除文件存储***中冗余文件的***及方法
CN113626431A (zh) 一种基于lsm树的延迟垃圾回收的键值分离存储方法及***
CN1858710A (zh) 数据同步的方法和***
CN1286288C (zh) 一种内存数据库主备同步的方法
CN102779138A (zh) 实时数据的硬盘存取方法
CN100347705C (zh) 一种合并文件的方法
CN1859505A (zh) 话单查询***及查询方法
CN1234074C (zh) 基于Internet的文件镜像方法
CN1633080A (zh) 在网络管理***中实现日志的方法
CN1851691A (zh) 数据库备份数据的压缩和检索方法
US8880478B2 (en) Scan-free archiving
CN112131214A (zh) 数据写入、数据查询的方法、***、设备和存储介质
CN101034416A (zh) 一种利用文件分配表进行文件寻道的方法及***架构
CN117473021A (zh) 一种基于cdc方式的达梦数据库增量同步实现方法
CN100342374C (zh) 一种数据存储方法及装置
CN1889459A (zh) 安全管理中心***中的日志格式化单元及方法
CN1351299A (zh) 一种访问数据库的方法及装置
CN101056204A (zh) 一种统计单板可靠性指标的方法和***
CN112650453A (zh) 一种用于存储、查询交通数据的方法和***
CN1975717A (zh) 搜索***索引切换的方法及搜索***
CN109800233A (zh) 一种大数据融合搜索方法
CN1808433A (zh) 一种快速安全的实时数据库访问方法
CN115408200A (zh) 多存储引擎的数据备份方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: SICHUAN GREAT TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: SICHUAN UNIVERSITY

Effective date: 20100513

COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 610065 NO.24, SOUTH 1ST SECTION, 1ST RING ROAD, CHENGDU CITY, SICHUAN PROVINCE TO: 610041 2/F, COMPLEX BUILDING (FACING THE STREET), CHENGDU KEHUA MIDDLE ROAD PRIMARY SCHOOL, NO.2, CHANGSHOU ROAD, WUHOU DISTRICT, CHENGDU CITY

TR01 Transfer of patent right

Effective date of registration: 20100513

Address after: 610041, Wuhou District, Changshou Road, Chengdu No. 2 Chengdu KELONG Road Primary School Street building two floor

Patentee after: Sichuan Gerite Technology Co., Ltd.

Address before: 610065 Sichuan, Chengdu, South Ring Road, No. 1, No. 24

Patentee before: Sichuan University

ASS Succession or assignment of patent right

Owner name: CHENGDU GLOBAL CAPSHEAF TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: SICHUAN GREAT TECHNOLOGY CO., LTD.

Effective date: 20130401

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20130401

Address after: 610000 C-411 Asia Pacific Plaza, KELONG North Road, Sichuan, Chengdu

Patentee after: Chengdu century summit Technology Co., Ltd.

Address before: 610000, Sichuan, Wuhou District, Changshou Road, Chengdu No. 2 Chengdu KELONG Road Primary School Street building two floor

Patentee before: Sichuan Gerite Technology Co., Ltd.

DD01 Delivery of document by public notice

Addressee: Wang Zhengtao

Document name: Notification of Passing Examination on Formalities

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20051228

Termination date: 20180609