CN103761156A - 一种针对文件***的在线修复方法 - Google Patents
一种针对文件***的在线修复方法 Download PDFInfo
- Publication number
- CN103761156A CN103761156A CN201310676083.1A CN201310676083A CN103761156A CN 103761156 A CN103761156 A CN 103761156A CN 201310676083 A CN201310676083 A CN 201310676083A CN 103761156 A CN103761156 A CN 103761156A
- Authority
- CN
- China
- Prior art keywords
- repair
- file system
- storage volume
- data
- manager
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及针对文件***的在线修复方法，属于计算机存储技术领域。对文件***所关联的存储卷进行损坏扫描，进行实时错误修正，同时保持存储卷在线，保持文件***仍能响应IO请求。扫描过程中，对遇到的错误分类，并采用相应的修复方案。在修复过程中，对具体错误估算修复时间，给出修复进度。若修复失败，则清除这部分数据。在存储卷上方建manager装置，将存储卷的最后一部分存储空间作为logger装置，并由manager装置负责管理和维护。在修正错误期间manager装置会对文件***下发的IO请求进行拦截和处理。针对存储卷损坏处的读写请求进行处理。本发明使得在修复存储卷错误期间，文件***仍能正常响应IO请求。
Description
技术领域
本发明涉及一种针对文件***的在线修复方法，属于计算机存储技术领域。
背景技术
文件***是一种对存储设备上的数据和元数据进行组织和管理的机制，会响应不同应用程序的IO请求。管理文件***很重要的一方面是要维护文件***的一致性。但是，当出现意外情况时，比如意想不到的电源故障或者某次IO的失败，可能会导致元数据和数据的损坏，即文件***处于不一致的状态。此时若不及时修复则会导致后续的IO请求不能得到有效的响应。
针对这种文件***损坏的情况，现在的一种做法时在重新开机时对文件***做一致性检查，或者根据日志记录元数据或者数据的变动情况，修复损坏的文件***。但这种做法会延长开机启动时间，在修复期间用户一直处于等待状态，从而增加由于业务中断造成的损失。另一种改进做法是针对存储卷上出现的错误进行实时修复，但在修复过程中仍然会将文件***挂起，不能响应IO请求。
发明内容
本发明提供一种文件***的在线修复方法，保证在对存储卷实时修复的过程中文件***仍能正常响应IO请求，解决现有技术在修复期间会停止访问存储卷或挂起文件***的问题，具体技术方案为：
步骤一、在后台对文件***所关联的存储卷进行扫描，当发现错误时，根据该错误的类型选择相应的方案进行实时修复。根据以往修复该类型错误的经验估算修复时间，实时显示修复的进度。若修复失败，则清除该区域的数据，后续针对该区域数据的访问将会出现错误提示。
步骤二、在每个存储卷的上方构建一个manager装置。manager装置对其关联的存储卷负责，会对正在修复区域的位置信息进行记录和维护；在对存储卷上的错误进行实时修复时，manager装置会对文件***下发的IO请求进行拦截；
步骤三、处理仍处于实时修复状态的存储区域的读请求或写请求；若为读请求，则执行步骤四，若为写请求，执行步骤五；
步骤四、manager装置给予延缓，同时，manager装置会设定一时间，若修复时间超过该设定时间，则返回读错误。
步骤五、重导向到logger装置。logger装置是存储卷的最后一部分连续存储区域，并由manager负责管理，其大小也由manager设定。logger装置用来临时存储manager重导向过来的数据，并记录元数据将要做的改变。
步骤六、当错误修复完成后，若修复成功，manager装置会根据自己维护的位置信息，负责将logger内的数据导回到已完成修复的存储区域，并根据记录更新元数据，若修复失败，则直接删除logger内的数据，同时返回写错误。若在修复过程中logger已被重导向的数据写满，则会返回写错误，但在修复完成后，manager仍会负责将logger内的数据导回。已修复完成的存储区域重新处于正常使用状态，logger装置将准备接受新的重导向数据。
有益效果
本发明实现了一种在修复存储卷错误期间，文件***仍能正常响应IO请求的方法。由于manager装置的重定向操作，文件***看到的仍是一个正常可用的存储卷，从而保证了业务的连续性。保证在错误修复完成后，修复期间写入的数据能够重新导回，因而不会造成数据的丢失。另外，本发明保证了修复是在线进行，区别于目前的只在***启动时修复，可以有效减少开机启动时间。
附图说明
图1为本发明的设计原理图
具体实施方式
技术方案设计原理如图1所示，以一次在修复文件file1期间应用程序对file1的IO请求为例。
根据步骤一，在后台对存储卷上扫描到的文件file1的inode错误进行实时修复。关联该文件的inode记录的存储实际数据的区块的数目是错误的，后台进程会对错误的区块数进行修正，同时会根据以往修复该类型错误的经验估算修复时间并显示修复进度。
根据步骤二，在修复期间manager装置会拦截文件***下发的针对文件file1的读请求和写请求。
根据步骤三，处理对处于实时修复状态的文件file1的读请求或写请求：若为读请求，则执行步骤四，若为写请求，执行步骤五；
根据步骤四，若为读请求，manager会设定一个5秒的时间大小，若在该时间内修复仍未完成，则返回读错误；若在该时间完成，则读文件；
根据步骤五，若是写请求，除了写入新数据，元数据信息也会做相应改变，即修改文件file1的inode信息，记录文件大小会扩大；调整空闲空间映射，为新数据分配空间。manager会将这些元数据将要做的改变信息和实际数据重导向到logger装置内。
根据步骤六，待修复结束后，若修复成功，manager装置会根据logger中的记录更新与文件file1相关的元数据并将数据导回，若修复失败，则直接删除logger中的数据，同时向应用程序返回写错误。若在修复期间logger装置被写满，则返回写错误，但在修复成功完成后manager装置仍会负责更新相应元数据并将数据导回到文件file1。
Claims (1)
1.一种针对文件***的在线修复方法，其特征在于：
步骤一、在后台对文件***所关联的存储卷进行扫描，当发现错误时，根据该错误的类型选择相应的方案进行实时修复；根据以往修复该类型错误的经验估算修复时间，实时显示修复的进度；若修复失败，则清除该区域的数据，后续针对该区域数据的访问将会出现错误提示；
步骤二、在每个存储卷的上方构建一个manager装置，manager装置对其关联的存储卷负责，会对正在修复区域的位置信息进行记录和维护；在对存储卷上的错误进行实时修复时，manager装置会对文件***下发的IO请求进行拦截；
步骤三、处理仍处于实时修复状态的存储区域的读请求或写请求；若为读请求，则执行步骤四，若为写请求，执行步骤五；
步骤四、manager装置给予延缓，同时，manager装置会设定一个时间，若修复时间超过该设定时间，则返回读错误；
步骤五、重导向到logger装置，logger装置是存储卷的最后一部分连续存储区域，并由manager负责管理，其大小也由manager设定，logger装置用来临时存储manager重导向过来的数据，并记录元数据将要做的改变；
步骤六、当错误修复完成后，若修复成功，manager装置会根据自己维护的位置信息，负责将logger内的数据导回到已完成修复的存储区域，并根据记录更新元数据，若修复失败，则直接删除logger内的数据，同时返回写错误；若在修复过程中logger已被重导向的数据写满，则会返回写错误，但在修复完成后，manager仍会负责将logger内的数据导回；已修复完成的存储区域重新处于正常使用状态，logger装置将准备接受新的重导向数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310676083.1A CN103761156B (zh) | 2013-12-13 | 2013-12-13 | 一种针对文件***的在线修复方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310676083.1A CN103761156B (zh) | 2013-12-13 | 2013-12-13 | 一种针对文件***的在线修复方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103761156A true CN103761156A (zh) | 2014-04-30 |
| CN103761156B CN103761156B (zh) | 2016-09-21 |
Family
ID=50528399
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310676083.1A Active CN103761156B (zh) | 2013-12-13 | 2013-12-13 | 一种针对文件***的在线修复方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103761156B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108959374A (zh) * | 2018-05-24 | 2018-12-07 | 北京三快在线科技有限公司 | 数据存储方法、装置及电子设备 |
| CN112069503A (zh) * | 2020-08-05 | 2020-12-11 | 长沙市到家悠享网络科技有限公司 | 任务管理方法、设备及存储介质 |
| CN112286571A (zh) * | 2020-09-25 | 2021-01-29 | 长沙市到家悠享网络科技有限公司 | 漏洞修复方法、装置及存储介质 |
| CN112580037A (zh) * | 2019-09-30 | 2021-03-30 | 奇安信安全技术(珠海)有限公司 | 病毒文件数据的修复方法、装置及设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1694098B (zh) * | 2004-04-30 | 2011-02-23 | 微软公司 | 实时文件***修复 |
| US20110153561A1 (en) * | 2009-12-21 | 2011-06-23 | International Business Machines Corporation | Multi-phase file system restore with selective on-demand data availability |
| CN102831025A (zh) * | 2012-08-06 | 2012-12-19 | 厦门市美亚柏科信息股份有限公司 | 一种fat32文件***的dbr数据修复方法 |
-
2013
- 2013-12-13 CN CN201310676083.1A patent/CN103761156B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1694098B (zh) * | 2004-04-30 | 2011-02-23 | 微软公司 | 实时文件***修复 |
| US20110153561A1 (en) * | 2009-12-21 | 2011-06-23 | International Business Machines Corporation | Multi-phase file system restore with selective on-demand data availability |
| CN102831025A (zh) * | 2012-08-06 | 2012-12-19 | 厦门市美亚柏科信息股份有限公司 | 一种fat32文件***的dbr数据修复方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108959374A (zh) * | 2018-05-24 | 2018-12-07 | 北京三快在线科技有限公司 | 数据存储方法、装置及电子设备 |
| CN108959374B (zh) * | 2018-05-24 | 2020-12-29 | 北京三快在线科技有限公司 | 数据存储方法、装置及电子设备 |
| CN112580037A (zh) * | 2019-09-30 | 2021-03-30 | 奇安信安全技术(珠海)有限公司 | 病毒文件数据的修复方法、装置及设备 |
| CN112580037B (zh) * | 2019-09-30 | 2023-12-12 | 奇安信安全技术(珠海)有限公司 | 病毒文件数据的修复方法、装置及设备 |
| CN112069503A (zh) * | 2020-08-05 | 2020-12-11 | 长沙市到家悠享网络科技有限公司 | 任务管理方法、设备及存储介质 |
| CN112286571A (zh) * | 2020-09-25 | 2021-01-29 | 长沙市到家悠享网络科技有限公司 | 漏洞修复方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103761156B (zh) | 2016-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9501231B2 (en) | Storage system and storage control method | |
| CN102033786B (zh) | 一种对象存储***中修复副本一致性的方法 | |
| EP3206128B1 (en) | Data storage method, data storage apparatus, and storage device | |
| US9996557B2 (en) | Database storage system based on optical disk and method using the system | |
| CN105659204A (zh) | 用于进行带有注释的原子写入操作的方法和装置 | |
| CN103577121A (zh) | 一种基于nand flash的高可靠线性文件存取方法 | |
| CN107315659B (zh) | 一种元数据的冗余备份方法及装置 | |
| TW201324130A (zh) | 複數個磁碟陣列系統之資料儲存方法及資料儲存系統 | |
| CN102368222A (zh) | 一种多副本存储***在线修复的方法 | |
| CN104516471A (zh) | 一种管理存储器***的电源的方法和装置 | |
| EP3147797B1 (en) | Data management method, node and system for database cluster | |
| US11868625B2 (en) | Alert tracking in storage | |
| CN104166605A (zh) | 基于增量数据文件的数据备份方法及*** | |
| CN105224891A (zh) | 磁盘光盘融合数据安全存储方法、***及装置 | |
| CN103761156A (zh) | 一种针对文件***的在线修复方法 | |
| CN107870731A (zh) | 独立盘冗余阵列***的管理方法和电子设备 | |
| CN102024021A (zh) | 一种逻辑文件***元数据的日志方法 | |
| CN107608624A (zh) | 一种提升固态硬盘性能的方法 | |
| US9483200B2 (en) | System and method for optical cold storage wherein plurality of first and second chunks are encoded and placed on different optical disks | |
| KR100981064B1 (ko) | 저널링 파일 시스템을 이용한 소프트웨어 레이드에서의 일관성 유지방법 | |
| CN104156327A (zh) | 一种分布式文件***中写回模式下对象掉电识别方法 | |
| WO2024077863A1 (zh) | 一种全闪存储***的恢复方法及相关装置 | |
| CN109960474A (zh) | 基于自动精简配置的数据更新方法、装置、设备及介质 | |
| CN105242985B (zh) | 数据修复方法及装置 | |
| US9665310B2 (en) | Storage control apparatus, storage control system, and control method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20140430 Assignee: CHINA TECHNOLOGY EXCHANGE Co.,Ltd. Assignor: BEIJING TOYOU FEIJI ELECTRONICS Co.,Ltd. Contract record no.: X2023110000037 Denomination of invention: An online repair method for file systems Granted publication date: 20160921 License type: Exclusive License Record date: 20230317 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: An online repair method for file systems Effective date of registration: 20230323 Granted publication date: 20160921 Pledgee: CHINA TECHNOLOGY EXCHANGE Co.,Ltd. Pledgor: BEIJING TOYOU FEIJI ELECTRONICS Co.,Ltd. Registration number: Y2023110000114 |