CN111007992B - 一种磁盘数据存储表示方法、***、存储介质 - Google Patents
一种磁盘数据存储表示方法、***、存储介质 Download PDFInfo
- Publication number
- CN111007992B CN111007992B CN202010149119.0A CN202010149119A CN111007992B CN 111007992 B CN111007992 B CN 111007992B CN 202010149119 A CN202010149119 A CN 202010149119A CN 111007992 B CN111007992 B CN 111007992B
- Authority
- CN
- China
- Prior art keywords
- data
- bad
- area
- cell
- disk
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000013500 data storage Methods 0.000 title claims abstract description 30
- 238000011084 recovery Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0644—Management of space entities, e.g. partitions, extents, pools
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/064—Management of blocks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
- G06F3/0616—Improving the reliability of storage systems in relation to life time, e.g. increasing Mean Time Between Failures [MTBF]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
- G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/062—Securing storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0673—Single storage device
- G06F3/0674—Disk device
- G06F3/0676—Magnetic disk device
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
本发明涉及一种磁盘数据存储表示方法、***、存储介质,所述方法包括:S1:将磁盘分成数据大小相同的多个小区,每个小区固定大小,然后将磁盘做标记,每隔N个数据区设置校验块P(m);S2:确定磁盘存储算法;S3:正常读取数据;遇到坏区的时候,检测坏区是否跨越小区;若坏道不跨越小区,则通过S2所确定的存储算法恢复坏区数据;若坏道跨越小区,则判断坏区跨越的程度,确定是否可以恢复,对于可以恢复的,通过S2的算法进行恢复,对于不可恢复的,判断为不可恢复区,不进行恢复。本发明可将数据区分块处理,并添加冗余块,当存储设备因为损坏而出现错误的时候,可以根据冗余块恢复坏道数据。再使用传统方法避开坏道。
Description
技术领域
本发明涉及数据存储领域,更具体地,涉及一种磁盘数据存储表示方法、***、存储介质。
背景技术
在现实生活中,数据的重要性与价值往往大于存储数据的磁盘介质的本身,于是人们想方设法的保证数据的安全性。在存储设备中,往往会出现坏区或坏道。而针对坏道的处理方法往往是在出现坏道的时候,将坏道避开使用。所以,当存储设备出现坏道或坏区的时候,坏道区的数据永久丢失了,无法恢复。
发明内容
本发明为克服上述现有技术所述的当存储设备出现坏道或坏区的时候,坏道区的数据丢失而无法恢复的缺陷,提供一种磁盘数据存储表示方法、***、存储介质。
所述方法包括以下步骤:
S1:将磁盘分成数据大小相同的多个小区,每个小区固定大小,然后将磁盘做标记,每隔N个数据区设置一个冗余区,即校验块P(m);其中N为正整数;
S2:确定磁盘存储算法;
S3:正常读取数据;遇到坏区的时候,检测坏区是否跨越小区;如果坏道不跨越小区,则通过S2所确定的存储算法恢复坏区数据;如果坏道跨越小区,则判断坏区跨越的程度,确定是否可以恢复,对于可以恢复的,通过S2所确定的算法进行恢复,对于不可恢复的,判断为不可恢复区,不进行恢复。
优选地,S1中校验块P(m)的每数字位对应满足:
优选地,S2中磁盘存储算法的确定过程为:判断大区A里面k号小区是否有坏道,若有坏道则通过大区A和k号小区之间的异或运算重新计算出来。
优选地,S2中磁盘存储算法的计算公式为:
其中,m为坏的数据位。
优选地,S3中判断坏区跨越的程度,确定是否可以恢复的具体操作为:
如果2L>BR>L,则会丢失坏区头部数据,即坏区开始起BR-L的数据,而无法挽回;同样也会丢失坏区尾部数据,即丢失坏区结束倒数BR-L的数据;
如果BR≥2L,则不可恢复。
本发明所述用于磁盘数据存储表示方法的***,包括存储器和处理器,所述存储器中包括所述磁盘数据存储表示方法的程序,所述处理器对存储器进行操作,实现磁盘数据存储表示方法。
本发明所述可读磁盘数据存储表示方法的计算机存储介质,包括磁盘数据存储表示方法的程序;所述计算机介质被处理器执行时实现所述磁盘数据存储表示方法。
与现有技术相比,本发明技术方案的有益效果是:本发明可将数据区分块处理,并添加冗余块,当存储设备因为损坏而出现错误的时候,可以根据冗余块恢复坏道数据。再使用传统方法避开坏道。
附图说明
图1为一种磁盘数据存储表示方法流程图。
图2为磁盘分成数据大小相同的多个小区示意图。
图3为坏区是否可恢复示意图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;
对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1:
本实施例提供一种磁盘数据存储表示方法。如图1所示,所述方法包括以下步骤:
S1:将磁盘分成数据大小相同的多个小区。每个小区固定大小,本实施例取4MB,然后将磁盘做如图2所示标记,每隔N个数据区设置一个冗余区P。
S2:确定磁盘存储算法;
冗余区的每数字位(bit)对应满足:
表示成:
这种数据表示算法的空间利用率很高,利用率为 ( N - 1 ) / N。
如果A大区里面k号小区有坏道,m为坏的数据位,
则通过 它们之间的异或运算重新计算出来,如以下公式:
表示成:
由上述公式可知,任意一个数据块的丢失,都是可恢复的。
S3:正常读取数据;遇到坏区的时候,监测数据坏区是否跨小区。如图3所示:
如果不跨小区,则通过公式(2)恢复坏区数据;通过传统方法避开磁盘坏区。
如果坏道跨小区,则要看跨的程度,如果坏区大小小于每个小区大小,则可通过公式(2)照常恢复。
设坏道大小为BR,小区大小为L,若BR≤L,则公式(2)起作用,
如果2L>BR>L,则会丢失坏区头部起(BR-L)的数据而无法挽回,同样也会丢失坏区尾部数据(BR-L),
若BR≤L,则可通过公式(2)恢复所有数据;若2L>BR>L,则如图3中黑色部分(BR-L)不可恢复,其他部分可以通过公式(2)恢复。
实施例2:
本实施例提供一种用于磁盘数据存储表示方法的***,所述***包括存储器和处理器,所述存储器中包括实施例1所述磁盘数据存储表示方法的程序,所述处理器对存储器进行操作,实现磁盘数据存储表示方法。
实施例3:
本实施例提供一种可读磁盘数据存储表示方法的计算机存储介质,所述计算机存储介质中包括实施例1所述的磁盘数据存储表示方法的程序;所述计算机介质被处理器执行时实现所述的磁盘数据存储表示方法。
附图中描述位置关系的用语仅用于示例性说明,不能理解为对本专利的限制;
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (7)
1.一种磁盘数据存储表示方法,其特征在于,所述方法包括以下步骤:
S1:将磁盘分成数据大小相同的多个小区,每个小区固定大小,然后将磁盘做标记,每隔N个数据区设置一个冗余区,即校验块P(m);
S2:确定磁盘存储算法;
S3:正常读取数据;遇到坏区的时候,检测坏区是否跨越小区;如果坏区不跨越小区,则通过S2所确定的存储算法恢复坏区数据;如果坏区跨越小区,则判断坏区跨越的程度,确定是否可以恢复,对于可以恢复的,通过S2所确定的算法进行恢复,对于不可恢复的,判断为不可恢复区,不进行恢复;
S3中判断坏区跨越的程度,确定是否可以恢复的具体操作为:
其中,为在名为A大区里面第k个小区中的第m位的已损坏待恢复数据位的值;m
为小区中数据位的位置,即第m个数据位;为在名为A的大区里面第i号小区中的第m
个数据位的值;i为正常数据位所在的小区在大区中的位置,即第i个小组;k为待恢复数据
位所在的小区在大区中的位置,即第k个小区;m为小区中数据位的位置,即第m个数据位;n
为大区中数据小区的总个数,Z代表整数;l为小区中数据位总个数;
如果2L>BR>L,则会丢失坏区头部数据,即坏区开始起BR-L的数据,而无法挽回;同样也会丢失坏区尾部数据,即丢失坏区结束倒数BR-L的数据;
如果BR≥2L,则不可恢复。
4.根据权利要求3所述的磁盘数据存储表示方法,其特征在于,S2中磁盘存储算法的确定过程为:判断大区A里面k号小区是否有坏区,若有坏区则通过大区A和k号小区之间的异或运算重新计算出来。
6.一种用于磁盘数据存储表示方法的***,其特征在于,所述***包括存储器和处理器,所述存储器中包括权利要求1-5任一项所述磁盘数据存储表示方法的程序,所述处理器对存储器进行操作,实现磁盘数据存储表示方法。
7.一种可读磁盘数据存储表示方法的计算机存储介质,其特征在于,所述计算机存储介质中包括权利要求1-5任一项所述的磁盘数据存储表示方法的程序;所述计算机存储介质被处理器执行时实现权利要求1-5任一项所述的磁盘数据存储表示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010149119.0A CN111007992B (zh) | 2020-03-04 | 2020-03-04 | 一种磁盘数据存储表示方法、***、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010149119.0A CN111007992B (zh) | 2020-03-04 | 2020-03-04 | 一种磁盘数据存储表示方法、***、存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111007992A CN111007992A (zh) | 2020-04-14 |
CN111007992B true CN111007992B (zh) | 2020-08-04 |
Family
ID=70121008
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010149119.0A Active CN111007992B (zh) | 2020-03-04 | 2020-03-04 | 一种磁盘数据存储表示方法、***、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111007992B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101527142A (zh) * | 2009-04-17 | 2009-09-09 | 杭州华三通信技术有限公司 | 一种磁盘冗余阵列中数据的读写方法和设备 |
CN101840366A (zh) * | 2010-05-13 | 2010-09-22 | 上海交通大学 | 环链式n+1位奇偶校验码的存储方法 |
CN102043689A (zh) * | 2010-12-28 | 2011-05-04 | 武汉固捷联讯科技有限公司 | 一种用于固态存储设备的容错设计方法 |
CN103513942A (zh) * | 2013-10-21 | 2014-01-15 | 华为技术有限公司 | 独立冗余磁盘阵列的重构方法及装置 |
CN103559102A (zh) * | 2013-10-22 | 2014-02-05 | 北京航空航天大学 | 数据冗余处理方法、装置和分布式存储*** |
CN104318960A (zh) * | 2014-09-15 | 2015-01-28 | 华为数字技术(成都)有限公司 | 一种硬盘坏道的修复方法及装置 |
CN104765693A (zh) * | 2014-01-06 | 2015-07-08 | 国际商业机器公司 | 一种用于存储数据的方法、装置和*** |
CN107204196A (zh) * | 2016-03-17 | 2017-09-26 | 株式会社东芝 | 磁盘装置、数据处理装置及数据记录方法 |
CN108536548A (zh) * | 2018-04-10 | 2018-09-14 | 网宿科技股份有限公司 | 一种磁盘坏道的处理方法、装置及计算机存储介质 |
CN109308238A (zh) * | 2018-12-03 | 2019-02-05 | 郑州云海信息技术有限公司 | 一种存储***磁盘阵列坏盘调节的方法、装置及设备 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5348300B2 (ja) * | 2012-09-07 | 2013-11-20 | 富士通株式会社 | データ管理プログラム、およびマルチノードストレージシステム |
CN106537352B (zh) * | 2014-06-17 | 2020-03-10 | 慧与发展有限责任合伙企业 | 分布式存储数据恢复 |
CN104866239B (zh) * | 2015-05-26 | 2018-09-14 | 浙江宇视科技有限公司 | 一种高可用性的视频存储方法 |
US10289321B1 (en) * | 2017-05-05 | 2019-05-14 | Amazon Technologies, Inc. | Bad block table recovery in a solid state drives |
US10936441B2 (en) * | 2017-12-15 | 2021-03-02 | Microsoft Technology Licensing, Llc | Write-ahead style logging in a persistent memory device |
US10672497B2 (en) * | 2018-04-03 | 2020-06-02 | SK Hynix Inc. | Memory system and method for bad block management |
CN110413208B (zh) * | 2018-04-28 | 2023-05-30 | 伊姆西Ip控股有限责任公司 | 用于管理存储***的方法、设备和计算机程序产品 |
-
2020
- 2020-03-04 CN CN202010149119.0A patent/CN111007992B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101527142A (zh) * | 2009-04-17 | 2009-09-09 | 杭州华三通信技术有限公司 | 一种磁盘冗余阵列中数据的读写方法和设备 |
CN101840366A (zh) * | 2010-05-13 | 2010-09-22 | 上海交通大学 | 环链式n+1位奇偶校验码的存储方法 |
CN102043689A (zh) * | 2010-12-28 | 2011-05-04 | 武汉固捷联讯科技有限公司 | 一种用于固态存储设备的容错设计方法 |
CN103513942A (zh) * | 2013-10-21 | 2014-01-15 | 华为技术有限公司 | 独立冗余磁盘阵列的重构方法及装置 |
CN103559102A (zh) * | 2013-10-22 | 2014-02-05 | 北京航空航天大学 | 数据冗余处理方法、装置和分布式存储*** |
CN104765693A (zh) * | 2014-01-06 | 2015-07-08 | 国际商业机器公司 | 一种用于存储数据的方法、装置和*** |
CN104318960A (zh) * | 2014-09-15 | 2015-01-28 | 华为数字技术(成都)有限公司 | 一种硬盘坏道的修复方法及装置 |
CN107204196A (zh) * | 2016-03-17 | 2017-09-26 | 株式会社东芝 | 磁盘装置、数据处理装置及数据记录方法 |
CN108536548A (zh) * | 2018-04-10 | 2018-09-14 | 网宿科技股份有限公司 | 一种磁盘坏道的处理方法、装置及计算机存储介质 |
CN109308238A (zh) * | 2018-12-03 | 2019-02-05 | 郑州云海信息技术有限公司 | 一种存储***磁盘阵列坏盘调节的方法、装置及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111007992A (zh) | 2020-04-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8108750B2 (en) | Raid 3+3 | |
US8321762B2 (en) | Method for creating an error correction coding scheme | |
CN108170555A (zh) | 一种数据恢复方法及设备 | |
US20140372838A1 (en) | Bad disk block self-detection method and apparatus, and computer storage medium | |
JPS60163138A (ja) | エラ−訂正方式 | |
CN108228382B (zh) | 一种针对evenodd码单盘故障的数据恢复方法 | |
US8762823B2 (en) | Method for performing data shaping, and associated memory device and controller thereof | |
CN101192834A (zh) | 纠错装置和纠错方法 | |
CN108829358B (zh) | 固态硬盘的坏块管理方法以及固态硬盘 | |
CN106874140B (zh) | 数据存储方法及装置 | |
US10860423B2 (en) | Method and apparatus for performing dynamic recovery management regarding redundant array of independent disks | |
CN112596674B (zh) | 一种用于固态硬盘主控缓存数据双重保护的方法及*** | |
CN102135925A (zh) | 用于检测错误检查和纠正内存的方法和装置 | |
CN112000512B (zh) | 一种数据修复方法及相关装置 | |
US5467361A (en) | Method and system for separate data and media maintenance within direct access storage devices | |
CN111007992B (zh) | 一种磁盘数据存储表示方法、***、存储介质 | |
JP6524126B2 (ja) | メモリ制御装置及びメモリ制御方法 | |
US20220091936A1 (en) | Systems and methods for encoding metadata | |
CN107977285A (zh) | 一种纠删码存储机制的数据修改方法、装置及介质 | |
WO2021027271A1 (zh) | 坏块信息保护方法、装置、计算机设备及存储介质 | |
CN111026332B (zh) | Ssd坏块信息保护的方法、装置、计算机设备及存储介质 | |
JPH11143787A (ja) | 記録再生装置 | |
CN108572882B (zh) | 一种数据存储的方法及存储设备 | |
CN116521433A (zh) | 一种数据保护方法、***、设备和存储介质 | |
Iliadis | Effect of lazy rebuild on reliability of erasure-coded storage systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |