CN102263818B - 一种文件数据存放和读取的方法和装置 - Google Patents
一种文件数据存放和读取的方法和装置 Download PDFInfo
- Publication number
- CN102263818B CN102263818B CN 201110189501 CN201110189501A CN102263818B CN 102263818 B CN102263818 B CN 102263818B CN 201110189501 CN201110189501 CN 201110189501 CN 201110189501 A CN201110189501 A CN 201110189501A CN 102263818 B CN102263818 B CN 102263818B
- Authority
- CN
- China
- Prior art keywords
- data
- storage medium
- hard disk
- response time
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000003860 storage Methods 0.000 claims abstract description 200
- 230000004044 response Effects 0.000 claims abstract description 110
- 230000005540 biological transmission Effects 0.000 claims description 39
- 238000004364 calculation method Methods 0.000 claims description 11
- 239000012141 concentrate Substances 0.000 claims description 8
- 239000000203 mixture Substances 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 7
- 238000012546 transfer Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000000151 deposition Methods 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种文件数据存放和读取的方法，包括步骤：将存储介质按照响应延迟时间由短到长进行排列，依次计算相邻两种存储介质的差值时间；依次计算在所述差值时间内满带宽所能传输的数据量，将计算结果设定为对应的当前存储介质的每次写入数据量上限值并保存；出现写数据请求时，根据每种存储介质的每次写入数据量上限值将要存入的文件中的数据依次存入到存储介质；出现读数据请求时，向存有所需文件数据的存储介质同时发送或集中发送读取命令。本发明还公开了一种文件数据存放和读取的装置，包括预先设置模块、写入模块和读取模块，本发明提供的方法和装置能够在无需增加成本的前提下，大幅提升存储***的输入输出性能。
Description
技术领域
本发明涉及数据存储技术领域，特别是涉及一种文件数据存放和读取的方法和装置。
背景技术
存储***是指计算机中由存放程序和数据的各种存储设备、控制部件及管理信息
调度的设备(硬件)和算法(软件)所组成的***。从应用的角度讲，一个存储系应当尽力做到以最快的响应速度来应对用户的读写请求。因此数据的读写速度对于衡量一个存储***性能而言，就显得非常有意义。而硬盘等非挥发存放介质，作为一种广泛应用的存储设备，对存储***的读写数据速度这一性能有较大影响。
目前，数据的非挥发存放介质主要有SATA(Serial Advanced TechnologyAttachment，串行高级技术附件)硬盘、SAS(SerialAttached SCSI，串行连接SCSI)硬盘和SSD(Solid State Disk，固态硬盘)硬盘等。SATA硬盘的转速目前为7200转/分钟，磁头的寻道时间平均为8到12个毫秒，内部数据传输速度平均为110MB/秒。而SAS硬盘的转速在10000转/分钟到15000转/分钟，磁头的寻道时间平均为2到4毫秒，内部传输速度与SATA硬盘相当。而SSD硬盘由于采用半导体技术，不存在磁头的寻道时间，因而读写速度可以达到很高，读写延迟仅仅是数十微秒。
各类硬盘由于自身的性能特点，对用户发出的命令的响应快慢不同，磁头寻道时间越短、内部数据传输越快、转速越高则延迟时间越短，响应得越快。SSD硬盘在读写响应这一性能指标上优于SAS硬盘和SATA硬盘，SAS硬盘优于SATA硬盘。
传统的以光纤通道为基础的SAN(StorageAreaNetwork，存储区域网)存储***中，数据的读写是通过机柜内部的SAN控制服务器代为进行，多部应用服务器共享SAN控制服务器与硬盘阵列间的读写带宽。由于应用服务器不直接与硬盘阵列打交道，因此无法根据应用服务器对数据读写的带宽来决定文件的分层存放方法。
针对此类传统的SAN存储***，存储厂商采用的数据分层存储技术是基于文件的“冷”和“热”程度的。所谓“热”的文件即为访问频率较高的文件，“冷”的文件即为访问频率较低的文件。目前的存储***中主流的做法是将“热”的文件迁移到读写较快的存储介质上，如SSD硬盘，“冷”的文件被迁移到读写较慢的存储介质上，如SATA硬盘。通过这种持续的迁移，使得常用文件在被读取时，能够获得优先的响应。从而提高用户的性能体验。
在实际当中，文件种类多样，访问情况纷繁芜杂，很难找到一个较为合理的访问频率来划分文件的“热”与“冷”，而且，此种方式虽然能够明显提高***对“热”的文件的响应速度，但是对于“冷”的文件，依然存在响应的延迟时间较长的问题。而“冷”文件虽然单个文件的访问频率不高，但是由于响应时间短的硬盘价格比较高且容量较小，企业由于成本考虑，被定义为“冷”文件的文件数目往往是大量的。因此采用现有的这种存储方式，任意时刻能够获得这种较快的读写请求速度的文件数目是非常有限的。
发明内容
本发明的目的在于提供一种文件数据存放和读取的方法和装置，解决了现有技术中的数据分层方法只能够提升很有限数目文件的读写响应速度的问题，使得存储介质配置相同的条件下，有更多的文件获得读写响应速度的提升，从而大幅提升存储***的整体输入输出性能。
为实现本发明目的而提供的一种文件数据存放和读取方法，包括步骤：A.将存储***中现有的不同种类的存储介质按照响应延迟时间由短到长进行排列，依次计算当前种类存储介质的响应延迟时间与下一类存储介质的响应延迟时间的差值时间；B.依次计算在所述差值时间内满带宽所能传输的数据量，将计算结果设定为对应的当前存储介质的每次写入数据量上限值并保存，排在末位的存储介质无每次写入数据量上限值；C.出现写数据请求时，根据每种存储介质的每次写入数据量上限值将要存入的文件中的数据依次存入到存储介质；D.出现读数据请求时，向存有所需文件数据的存储介质同时发送或集中发送读取命令。
存储介质的响应延迟时间为从存储介质收到读写命令后到发出所需数据的延迟时间的长短。
其中，所述步骤B包括：B1.设定应用服务器面向存储介质的读写数据带宽值；B2.计算在所述差值时间内，数据带宽满带宽传输时所能传输的数据量；B3.将计算结果设定为对应的当前存储介质的每次写入数据量上限值并保存。
其中，所述步骤C包括：C1.出现写数据请求时，判断将要存入的文件的数据量是否大于排在首位的存储介质每次写入数据量上限值，是，则执行步骤C2，否，则执行步骤C3；C2.根据每种存储介质每次写入数据量上限值，将要存入的文件的数据依次存入到两种或两种以上的存储介质；C3.判断需要存入的文件的被读取频率是否高于预设频率，是，则将该文件存入到排在首位的存储介质，否，则存入到其他存储介质。
其中,当所述存储介质包括SSD硬盘、SAS硬盘和SATA硬盘时，则所述步骤A包括：A1.将三种硬盘按照响应延迟时间由短到长进行排列，排列结果为SSD硬盘、SAS硬盘、SATA硬盘；A2.计算所述SSD硬盘的响应延迟时间与所述SAS硬盘的响应延迟时间的差值时间；计算所述SAS硬盘的响应延迟时间与所述SATA硬盘的响应延迟时间的差值时间。
其中，所述步骤B包括：B1.设定应用服务器面向三种硬盘组成的存储阵列的读写数据带宽值；B2.计算在所述SSD硬盘的响应延迟时间与所述SAS硬盘的响应延迟时间的差值时间内满带宽所能传输的数据量；计算在所述SAS硬盘的响应延迟时间与所述SATA硬盘的响应延迟时间的差值时间内满带宽所能传输的数据量；B3.将在所述SSD硬盘的响应延迟时间与所述SAS硬盘的响应延迟时间的差值时间内满带宽所能传输的数据量设定为SSD硬盘的每次写入数据量上限值；将在所述SAS硬盘的响应延迟时间与所述SATA硬盘的响应延迟时间的差值时间内满带宽所能传输的数据量设定为SAS硬盘的每次写入数据量上限值，SATA硬盘无每次写入数据量上限值。
其中，所述步骤C包括：C1.出现写数据请求时，判断将要存入的文件的数据量是否大于SSD硬盘的每次写入数据量上限值，是，则执行步骤C2，否，则执行步骤C3；C2.将要存入的文件中与SSD硬盘的每次写入数据量上限值等量的数据存入到SSD硬盘；将文件中剩余的数据存入到SAS硬盘；若文件数据还有剩余，则将文件中的剩余数据存入到SATA硬盘；C3.判断需要存入的文件的被读取频率是否高于预设频率，是，则将该文件存入到SSD硬盘，否，则存入到SAS硬盘或SATA硬盘。
本发明还提供一种文件数据存放和读取装置，包括：预先设置模块，位于控制服务器上，用于将存储***中现有的不同种类的存储介质按照响应延迟时间由短到长进行排列，依次计算当前种类存储介质的响应延迟时间与下一类存储介质的响应延迟时间的差值时间；依次计算在所述差值时间内满带宽所能传输的数据量，将计算结果设定为对应的当前存储介质的每次写入数据量上限值并保存；写入模块，位于应用服务器上，用于出现写数据请求时，根据每种存储介质的每次写入数据量上限值将要存入的文件中的数据依次存入到存储介质；读取模块，位于应用服务器上，用于出现读数据请求时，向存有所需文件数据的存储介质同时发送或集中发送读取命令。
存储介质的响应延迟时间为从存储介质收到读写命令后到发出所需数据的延迟时间的长短。
其中，所述预先设置模块包括：差值时间获取模块，用于将存储***中现有的不同种类的存储介质按照响应延迟时间由短到长进行排列，依次计算当前种类存储介质的响应延迟时间与下一类存储介质的响应延迟时间的差值时间；设定带宽模块，用于设定应用服务器面向存储介质的读写数据带宽值；计算模块，用于计算在所述差值时间内满带宽所能传输的数据量；存储模块，用于将计算结果设定为对应的当前存储介质的每次写入数据量上限值并保存。
本发明的有益效果是：本发明描述的一种文件数据读写方法和装置，通过将一个文件的数据分段存放到不同的存储介质中，使得应用服务器在向几种不同的存储介质同时发出读写请求后，在其他存储介质进行寻道和内部数据传输等工作的时间内，响应速度最快的存储介质率先将所需数据发出，而后响应速度次快的存储介质也已经准备好要发出的数据，以此类推，此种存放方式能够为应用服务器的读取请求提供即刻的、满带宽的数据响应。
附图说明
图1为本发明提供的一种文件数据存放和读取方法的流程图；
图2为能够应用本发明提供的一种文件数据存放和读取方法的存储***的结构图；
图3为本发明提供的一种文件数据存放和读取方法的一种可实施方式的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明的一种文件数据存放和读取的方法和装置进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
由于在读写硬盘时，制约性能的因素主要是磁头的寻道时间和硬盘内部的数据传输速度。因此，本发明的宗旨是在服务器写数据时，能够根据各种存储介质的响应延迟时间和读写速度差异，结合应用服务器与硬盘阵列间的读写带宽，计算出在各种存储介质上应当存放的数据大小并进行相应的条带化处理，以便在读取时能够通过不同存储介质的接力服务，为应用服务器的读取请求提供即刻的、满带宽的数据响应。这种计算和数据分段存放所必需的地址分配过程在存储***内部的IPSAN控制服务器上进行。
本发明提供的一种文件数据读写方法，如图1所示，包括如下步骤：
A.将存储***中现有的不同种类的存储介质按照响应延迟时间由短到长进行排列，依次计算当前种类存储介质的响应延迟时间与下一类存储介质的响应延迟时间的差值时间。
存储介质的响应延迟时间即为从存储介质收到读写命令后到发出所需数据的延迟时间的长短，延迟时间越长，则响应速度越慢。硬盘的响应延迟时间主要取决于磁头的寻道时间和硬盘内部的数据传输速度。
排序后，按照排序定义各类存储介质为第一存储介质、第二存储介质、第三存储介质……
计算当前种类存储介质的响应延迟时间与下一类存储介质的响应延迟时间的差值时间，也就是首先计算第一存储介质与第二存储介质的响应延迟时间的时间差，得到第一差值时间；然后计算第二存储介质与第三存储介质的响应时间差，得到第二差值时间；再计算第三存储介质与第四存储介质的时间差……当不存在第四存储介质时,则不计算。
B.依次计算在所述差值时间内满带宽所能传输的数据量，将计算结果设定为对应的当前存储介质的每次写入数据量上限值并保存，排在末位的存储介质无每次写入数据量上限值。
带宽是计算数据量的必要参数，应在IPSAN控制服务器上预先设置各个应用服务器面向存储介质的端口带宽。
计算在第一差值时间内，带宽固定时能够传送的数据量，定义该数据量为第一数据量，第一数据量＝带宽*第一差值时间；再计算第二数据量，第二数据量＝带宽*第二差值时间……在实际应用当中，还应考虑有效数据传输效率的问题，此时，第一数据量＝第一差值时间*带宽*有效数据传输效率，第二数据量＝第二差值时间*带宽*有效数据传输效率，依此类推，可计算出其他差值时间内的数据量，不再赘述。
在IPSAN控制服务器上，将计算所得的各数据量记为对应的存储介质的每次写入数据量上限值，并将其保存为静态数据，作为将数据存储到不同的存储介质时的写入数据量的一个限定标准。所谓上限值，即每次写入到该种存储介质的数据量不能多于此上限值。
C.出现写数据请求时，根据每种存储介质的每次写入数据量上限值将要存入的文件中的数据依次存入到存储介质。
由于每种存储介质都设定了相应的每次写入数据量上限值，因此将文件存入到不同的存储介质的过程中，也就将数据拆分成了多个数据段。例如，若有一个文件的数据量大于第一存储介质的每次写入数据量(第一数据量)上限值而小于第一存储介质和第二存储介质的每次写入数据量上限值之和，则在写入的过程中，将该文件中的前面与第一存储介质的每次写入数据量上限值等量的数据存入到第一存储介质，剩余的数据量写入第二存储介质，这样文件就被分成了两个数据段来存储。若某文件的数据量较大，大于第一存储介质和第二存储介质的每次写入数据量上限值之和，则将该文件剩余的数据量存入到第三存储介质，这样，文件就被分成了三个数据段来存储。若存储***中仅有三种存储介质，则第三存储介质不设定每次写入数据量上限值。
在实际应用当中，为了充分利用应用服务器数据读写带宽，同一文件存放于同种存储介质中的数据可以经条带化存放于不同的存储单元，如假设应用服务器的数据读写带宽为10Gbps，而第一存储介质为SSD硬盘，其通过网络连接的带宽为1Gbps，经计算第一数据量为4.3MB，则某一文件的前4.3MB的数据可以经过条带化存放在10或更多块SSD硬盘上(10个或更多个1Gbps的带宽合并达到10Gbps以上的带宽)，在传输数据时，这些SSD硬盘同时传送数据，使得应用服务器读写带宽能够被充分占据和利用。
D.出现读数据请求时，向存有所需文件数据的存储介质同时发送或集中发送读取命令。
出现读数据请求时，应保证各类存储介质以及各类存储介质中各个存储单元是同时收到读取命令的。但是，在实际应用中，由于应用服务器无法做到同时发送多条读取命令，只能逐条地、集中地发送读取命令，也就是各个读取命令接连发送，但相邻的两个命令会间隔一个机器周期的时间。由于此机器周期非常短暂，可忽略不计，读取命令几乎同时到达各类存储介质。
在各类存储介质几乎同时收到读写命令的前提下，由于第一存储介质的响应速度最快，则经过第一存储介质的响应延迟时间，第一存储介质将所需的文件当中第一数据量的数据发出，经过第一差值时间后，第一数据量的数据传输完毕。此时，距各类存储介质几乎同时接到读写命令的时刻，经过的时间长度为第一存储介质的响应延迟时间和第一差值时间之和，而第一存储介质的响应延迟时间与第一差值时间之和即为第二存储介质的响应延迟时间，也就是说从接到读写命令的时刻算起，经过了第二存储介质的响应延迟时间，此时，第二存储介质已经将所需要文件的第二数据量的数据准备好并发送给应用服务器。当第二数据量的数据被传送完毕时，则第三存储介质的响应延迟时间到，第三存储介质将第三数据量的数据发出，以此类推，直到将文件中的数据全部发出。
因此，从发出对某个文件的数据的读或写的命令后，仅经过第一存储介质的响应延迟时间，所需要的数据就会满带宽、连续的发出，若第一存储介质的性能足够优越，则第一存储介质的响应延迟时间可忽略不计，即应用服务器可以在发出读写命令后即刻获得满带宽、连续的数据。
参见图2，图2为能够应用本发明的一种存储***的示意图。该***的应用服务器与存储介质阵列之间是通过以太网交换机直接通讯的，是点对点的互联结构，具有固定的带宽。
在这样一个***架构上，存储***内部的存储介质可以有SSD硬盘、SAS硬盘和SATA硬盘。将本发明的技术方案应用于此存储***，则存储介质限定为SATA硬盘、SAS硬盘和SSD硬盘，如图3所示，本发明的技术方案包括：
A1.将SATA硬盘、SAS硬盘和SSD硬盘按照响应延迟时间由短到长进行排列。
SSD硬盘由于采用半导体技术，不存在磁头的寻道时间，读写速度可以达到很高，读写延迟仅仅是数十微秒，而SAS硬盘的转速在10000转/分钟到15000转/分钟，磁头的寻道时间平均为2到4毫秒，内部传输速度与SATA硬盘相当。SATA硬盘得磁头的寻道时间平均为8到12个毫秒左右，内部数据传输速度平均为110MB/秒。因此SSD硬盘应排在最先，SAS硬盘其次，排列的结果是：SSD硬盘，SAS硬盘，SATA硬盘。
A2.计算所述SSD硬盘的响应延迟时间与所述SAS硬盘的响应延迟时间的第一差值时间；计算所述SAS硬盘的响应延迟时间与所述SATA硬盘的响应延迟时间的第二差值时间。
假设SAS硬盘的响应延迟时间为4ms(毫秒)，SATA的响应延迟时间为12ms，SSD硬盘的响应延迟时间忽略不计，则第一差值时间＝4ms-0ms＝4ms，第二差值时间＝12ms-4ms＝8ms。
B1.设定应用服务器面向三种硬盘组成的存储阵列的读写数据带宽值。
B2.计算在所述SSD硬盘的响应延迟时间与所述SAS硬盘的响应延迟时间的差值时间内满带宽所能传输的数据量；计算在所述SAS硬盘的响应延迟时间与所述SATA硬盘的响应延迟时间的差值时间内满带宽所能传输的数据量。
计算第一差值时间4ms内满带宽所能够传输的数据量，该数据量为第一数据量，第一数据量＝4ms*带宽。在实际应用当中，还应考虑有效数据传输效率的问题，此时第一数据量＝4ms*带宽*有效数据传输效率。计算第二差值时间8ms内满带宽所能够传输的数据量，该数据量为第二数据量，第二数据量＝8ms*带宽*有效数据传输效率。
B3.将在所述SSD硬盘的响应延迟时间与所述SAS硬盘的响应延迟时间的差值时间内满带宽所能传输的数据量设定为SSD硬盘的每次写入数据量上限值；将在所述SAS硬盘的响应延迟时间与所述SATA硬盘的响应延迟时间的差值时间内满带宽所能传输的数据量设定为SAS硬盘的每次写入数据量上限值，SATA硬盘无每次写入数据量上限值。
上述步骤A1-B3是为数据的存入和读取所作的准备工作，应用服务器端口带宽以及各类存储介质的响应延迟时间等参数，可通过***的管理软件在***初始化时设定。计算出各类硬盘每次存入的数据量上限值之后，IPSAN控制服务器就可根据该数据量值将文件分段存放于不同的硬盘。
C1.出现写数据请求时，判断将要存入的文件的数据量是否大于SSD硬盘的每次写入数据量上限值，是，则执行步骤C2，否，则执行步骤C3；
C2.将要存入的文件中与SSD硬盘的每次写入数据量上限值等量的数据存入到SSD硬盘；将文件中剩余的数据存入到SAS硬盘；若文件数据还有剩余，则将文件中的剩余数据存入到SATA硬盘。
C3.判断需要存入的文件的被读取频率是否高于预设频率，是，则将该文件存入到SSD硬盘，否，则存入到SAS硬盘和/或SATA硬盘。
出现写数据请求时，会有一些小文件需要存入，IPSAN控制服务器首先将要存入的文件的大小与第一数据量比较，当要存入的文件的数据量小于或等于第一数据量时，则按照小文件的实际应用场景，将小文件存放到适宜的存储介质中。作为一种可实施方式，可将小文件按照被访问的频率高低来规定小文件的存放位置，被访问频率高的则存放于响应快的存储介质中，被访问频率低的小文件则存放于响应慢的存储介质中。
对于数据量大于第一数据量的文件，则将文件中第一数据量的数据存入第一存储介质，将文件中剩余的数据当中的第二数据量的数据存入第二存储介质，以此类推。若不存在第四存储介质，则将文件中的剩余数据存入第三存储介质。
D.出现读数据请求时，向存有所需文件数据的存储介质同时发送或集中发送读取命令。
假设应用服务器与硬盘阵列间的读写带宽是1Gbps，有效数据传输效率是88％，则在SAS硬盘寻道和内部数据传输结束的时间(约4ms)内，将可以传递约430KB的数据。而在SATA硬盘寻道和内部数据传输结束的时间(约12ms)内，将可以传输约1.26MB的数据。把该文件的前430KB的数据存放在响应速度最快的SSD硬盘中，而后续的数据830KB(即4ms到12ms之间应当传输的数据)存放在SAS硬盘中，该文件的其余数据存放在SATA硬盘上。
数据存好后，当应用服务器通过连接存储***的以太网口下达数据的读取命令，该命令被存储***内部的IPSAN控制服务器解读，并通过安装在服务器上的虚拟化引擎将读写数据的请求映射成物理硬盘上真实的LBA(Logical Block Address，逻辑块地址)，然后将这些映射后的地址返回给应用服务器，应用服务器则根据这些具体的地址，将读取命令以集中一次性发往三种硬盘。
SAS硬盘和SATA硬盘在接收命令后，立即进行磁头寻道。由于SSD硬盘出色的数据响应速度，它会最先提供数据。当SSD硬盘将其数据(430KB)传完后，SAS硬盘已经准备好存放在它上面的830KB，并立即传输。当SAS硬盘组传完数据后，SATA硬盘也已经准备好剩余的数据，继续数据的传输。
这样，应用服务器端获得的体验是：当它要读取一个文件的数据时，命令一经发出经过约数十微秒的延迟，就可以以满带宽连续获得想要的数据。这样就有效避免了因SAS和SATA硬盘磁头寻道时间造成的传输等待时间，大大提高了存储***的性能。
本发明还提供了一种文件数据读写装置，包括预先设置模块，位于控制服务器上，用于将存储***中现有的不同种类的存储介质按照响应延迟时间由短到长进行排列，依次计算当前种类存储介质的响应延迟时间与下一类存储介质的响应延迟时间的差值时间；依次计算在所述差值时间内满带宽所能传输的数据量，将计算结果设定为对应的当前存储介质的每次写入数据量上限值并保存；写入模块，位于应用服务器上，用于出现写数据请求时，根据每种存储介质的每次写入数据量上限值将要存入的文件中的数据依次存入到存储介质；读取模块，位于应用服务器上，用于出现读数据请求时，向存有所需文件数据的存储介质同时发送或集中发送读取命令。
作为一种可实施方式，所述预先设置模块包括：差值时间获取模块，用于将存储***中现有的不同种类的存储介质按照响应延迟时间由短到长进行排列，依次计算当前种类存储介质的响应延迟时间与下一类存储介质的响应延迟时间的差值时间；设定带宽模块，用于设定应用服务器面向存储介质的读写数据带宽值；计算模块，用于计算在所述差值时间内满带宽所能传输的数据量；存储模块，用于将计算结果设定为对应的当前存储介质的每次写入数据量上限值并保存。
本发明提供的一种文件数据存放和读取的方法和装置，在***中各种存储介质的配置比例相同，即与现有的存储***的成本相当的前提下，有更多的文件获得读写响应速度的提升，从而大幅提升存储***的整体输入输出性能。
最后应当说明的是，很显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型。
Claims (8)
1.一种文件数据存放和读取方法，其特征在于，包括步骤：
A.将存储***中现有的不同种类的存储介质按照响应延迟时间由短到长进行排列，依次计算当前种类存储介质的响应延迟时间与下一类存储介质的响应延迟时间的差值时间；
B.依次计算在所述差值时间内满带宽所能传输的数据量，将计算结果设定为对应的当前存储介质的每次写入数据量上限值并保存，排在末位的存储介质无每次写入数据量上限值；
C.出现写数据请求时，根据每种存储介质的每次写入数据量上限值将要存入的文件中的数据依次存入到存储介质；
D.出现读数据请求时，向存有所需文件数据的存储介质同时发送或集中发送读取命令；
存储介质的响应延迟时间为从存储介质收到读写命令后到发出所需数据的延迟时间的长短。
2.根据权利要求1所述方法，其特征在于，所述步骤B包括：
B1.设定应用服务器面向存储介质的读写数据带宽值；
B2.计算在所述差值时间内，数据带宽满带宽传输时所能传输的数据量；
B3.将计算结果设定为对应的当前存储介质的每次写入数据量上限值并保存。
3.根据权利要求1所述的方法，其特征在于，所述步骤C包括：
C1.出现写数据请求时，判断将要存入的文件的数据量是否大于排在首位的存储介质每次写入数据量上限值，是，则执行步骤C2，否，则执行步骤C3；
C2.根据每种存储介质的每次写入数据量上限值，将要存入的文件的数据依次存入到两种或两种以上的存储介质；
C3.判断需要存入的文件的被读取频率是否高于预设频率，是，则将该文件存入到排在首位的存储介质，否，则存入到其他存储介质。
4.根据权利要求1所述的方法，其特征在于，当所述存储介质包括SSD硬盘、SAS硬盘和SATA硬盘时，则所述步骤A包括：
A1.将三种硬盘按照响应延迟时间由短到长进行排列，排列结果为SSD硬盘、SAS硬盘、SATA硬盘；
A2.计算所述SSD硬盘的响应延迟时间与所述SAS硬盘的响应延迟时间的差值时间；计算所述SAS硬盘的响应延迟时间与所述SATA硬盘的响应延迟时间的差值时间。
5.根据权利要求4所述的方法，其特征在于，所述步骤B包括：
B1.设定应用服务器面向三种硬盘组成的存储阵列的读写数据带宽值；
B2.计算在所述SSD硬盘的响应延迟时间与所述SAS硬盘的响应延迟时间的差值时间内满带宽所能传输的数据量；计算在所述SAS硬盘的响应延迟时间与所述SATA硬盘的响应延迟时间的差值时间内满带宽所能传输的数据量；
B3.将在所述SSD硬盘的响应延迟时间与所述SAS硬盘的响应延迟时间的差值时间内满带宽所能传输的数据量设定为SSD硬盘的每次写入数据量上限值；将在所述SAS硬盘的响应延迟时间与所述SATA硬盘的响应延迟时间的差值时间内满带宽所能传输的数据量设定为SAS硬盘的每次写入数据量上限值，SATA硬盘无每次写入数据量上限值。
6.根据权利要求4所述的方法，其特征在于，所述步骤C包括：
C1.出现写数据请求时，判断将要存入的文件的数据量是否大于SSD硬盘的每次写入数据量上限值，是，则执行步骤C2，否，则执行步骤C3；
C2.将要存入的文件中与SSD硬盘的每次写入数据量上限值等量的数据存入到SSD硬盘；将文件中剩余的数据存入到SAS硬盘；若文件数据还有剩余，则将文件中的剩余数据存入到SATA硬盘；
C3.判断需要存入的文件的被读取频率是否高于预设频率，是，则将该文件存入到SSD硬盘，否，则存入到SAS硬盘和/或SATA硬盘。
7.一种文件数据存放和读取装置，其特征在于，包括：
预先设置模块，位于控制服务器上，用于将存储***中现有的不同种类的存储介质按照响应延迟时间由短到长进行排列，依次计算当前种类存储介质的响应延迟时间与下一类存储介质的响应延迟时间的差值时间；依次计算在所述差值时间内满带宽所能传输的数据量，将计算结果设定为对应的当前存储介质的每次写入数据量上限值并保存；
写入模块，位于应用服务器上，用于出现写数据请求时，根据每种存储介质的每次写入数据量上限值将要存入的文件中的数据依次存入到存储介质；
读取模块，位于应用服务器上，用于出现读数据请求时，向存有所需文件数据的存储介质同时发送或集中发送读取命令；
存储介质的响应延迟时间为从存储介质收到读写命令后到发出所需数据的延迟时间的长短。
8.根据权利要求7所述的装置，其特征在于，所述预先设置模块包括：
差值时间获取模块，用于将存储***中现有的不同种类的存储介质按照响应延迟时间由短到长进行排列，依次计算当前种类存储介质的响应延迟时间与下一类存储介质的响应延迟时间的差值时间；
设定带宽模块，用于设定应用服务器面向存储介质的读写数据带宽值；
计算模块，用于计算在所述差值时间内满带宽所能传输的数据量；
存储模块，用于将计算结果设定为对应的当前存储介质的每次写入数据量上限值并保存。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201110189501 CN102263818B (zh) | 2011-07-07 | 2011-07-07 | 一种文件数据存放和读取的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201110189501 CN102263818B (zh) | 2011-07-07 | 2011-07-07 | 一种文件数据存放和读取的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102263818A CN102263818A (zh) | 2011-11-30 |
| CN102263818B true CN102263818B (zh) | 2013-06-05 |
Family
ID=45010266
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 201110189501 Active CN102263818B (zh) | 2011-07-07 | 2011-07-07 | 一种文件数据存放和读取的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102263818B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103106050A (zh) * | 2013-02-22 | 2013-05-15 | 浪潮电子信息产业股份有限公司 | 一种实现存储***数据分层存储复制的方法 |
| CN103605623A (zh) * | 2013-10-31 | 2014-02-26 | 北京智谷睿拓技术服务有限公司 | 存储设备的读写控制方法和读写控制设备 |
| CN105843819B (zh) * | 2015-01-15 | 2020-07-10 | ***通信集团河南有限公司 | 一种数据导出方法及装置 |
| CN111399748B (zh) * | 2019-01-02 | 2023-09-05 | ***通信有限公司研究院 | 一种数据放置方法、装置和计算机可读存储介质 |
| CN111641709B (zh) * | 2020-05-29 | 2022-12-27 | 苏州浪潮智能科技有限公司 | 一种分布式***的带宽控制方法、***、设备以及介质 |
| CN112331253B (zh) * | 2020-10-30 | 2023-12-08 | 深圳市宏旺微电子有限公司 | 一种芯片的测试方法、终端和存储介质 |
| CN115934002B (zh) * | 2023-03-08 | 2023-08-04 | 阿里巴巴（中国）有限公司 | 固态硬盘的访问方法、固态硬盘、存储***及云服务器 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6993624B2 (en) * | 2002-10-31 | 2006-01-31 | Hitachi Global Storage Technologies Netherlands B.V. | Method and apparatus for selecting enqueued data access operations for execution in a disk drive data storage device |
| CN1674538A (zh) * | 2004-03-25 | 2005-09-28 | 联想(北京)有限公司 | 一种基于局域网的网络存储***及其读写数据方法 |
| JP4413184B2 (ja) * | 2005-11-28 | 2010-02-10 | 富士通株式会社 | データストレージシステム及びデータストレージ制御装置 |
| CN101118477A (zh) * | 2007-08-24 | 2008-02-06 | 成都索贝数码科技股份有限公司 | 一种提高磁盘数据访问效率的方法 |
-
2011
- 2011-07-07 CN CN 201110189501 patent/CN102263818B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN102263818A (zh) | 2011-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102263818B (zh) | 一种文件数据存放和读取的方法和装置 | |
| US7949847B2 (en) | Storage extent allocation method for thin provisioning storage | |
| CN102023813B (zh) | 在动态页重新分配存储***中的应用和层配置管理 | |
| US8756392B2 (en) | Storage control apparatus and storage system comprising multiple storage control apparatuses | |
| CN111722786B (zh) | 基于NVMe设备的存储*** | |
| US8284627B2 (en) | Reducing energy consumption and optimizing workload and performance in multi-tier storage systems using extent-level dynamic tiering | |
| US20180260135A1 (en) | Integrated heterogeneous solid state storage drive | |
| US11748037B2 (en) | Physical disk and virtual disk mapping in storage systems | |
| JP5363595B2 (ja) | 仮想ボリューム内のデータの再配置を行うストレージシステム及び方法 | |
| US20130318196A1 (en) | Storage system and storage control method for using storage area based on secondary storage as cache area | |
| CN101566927B (zh) | 存储***和存储控制器以及数据缓存方法 | |
| CN102123176B (zh) | 一种网络存储***空间分配管理方法及装置 | |
| US9311207B1 (en) | Data storage system optimizations in a multi-tiered environment | |
| CN107092442A (zh) | 存储***资源分配方法及装置 | |
| CN103049216B (zh) | 固态硬盘及其数据处理方法、*** | |
| US9747040B1 (en) | Method and system for machine learning for write command selection based on technology feedback | |
| US20140122797A1 (en) | Method and structures for performing a migration of a logical volume with a serial attached scsi expander | |
| CN103617003A (zh) | 一种云存储环境存储资源组织实现方法和架构 | |
| CN109375868B (zh) | 一种数据存储方法、调度装置、***、设备及存储介质 | |
| US9069471B2 (en) | Passing hint of page allocation of thin provisioning with multiple virtual volumes fit to parallel data access | |
| CN101997919B (zh) | 一种存储资源的管理方法及管理装置 | |
| CN103827837A (zh) | 访问固态硬盘空间的方法、装置及*** | |
| CN105204787B (zh) | 一种pcie ssd阵列的数据读方法、***及读写方法 | |
| US11768628B2 (en) | Information processing apparatus | |
| US8943280B2 (en) | Method and apparatus to move page between tiers |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20170821 Address after: 100192, A01, room 10, block 8, science and technology wealth center, A, clear road, Haidian District, Beijing Patentee after: BEIJING TEAMSUN SOFTWARE TECHNOLOGY Co.,Ltd. Address before: 100192, Beijing, Haidian District School Road 8 (Science and technology wealth center) A block, 10 floor, South District Co-patentee before: BEIJING TEAMSUN TECHNOLOGY Co.,Ltd. Patentee before: Beijing Fortunet Information Technology Co.,Ltd. |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20111130 Assignee: CHINA TECHNOLOGY EXCHANGE Co.,Ltd. Assignor: BEIJING TEAMSUN SOFTWARE TECHNOLOGY Co.,Ltd. Contract record no.: X2021980013200 Denomination of invention: A method and device for storing and reading file data Granted publication date: 20130605 License type: Exclusive License Record date: 20211124 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A method and device for storing and reading file data Effective date of registration: 20211125 Granted publication date: 20130605 Pledgee: CHINA TECHNOLOGY EXCHANGE Co.,Ltd. Pledgor: BEIJING TEAMSUN SOFTWARE TECHNOLOGY Co.,Ltd. Registration number: Y2021110000072 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20230129 Granted publication date: 20130605 Pledgee: CHINA TECHNOLOGY EXCHANGE Co.,Ltd. Pledgor: BEIJING TEAMSUN SOFTWARE TECHNOLOGY Co.,Ltd. Registration number: Y2021110000072 |
|
| EC01 | Cancellation of recordation of patent licensing contract | ||
| EC01 | Cancellation of recordation of patent licensing contract |
Assignee: CHINA TECHNOLOGY EXCHANGE Co.,Ltd. Assignor: BEIJING TEAMSUN SOFTWARE TECHNOLOGY Co.,Ltd. Contract record no.: X2021980013200 Date of cancellation: 20230321 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20111130 Assignee: CHINA TECHNOLOGY EXCHANGE Co.,Ltd. Assignor: BEIJING TEAMSUN SOFTWARE TECHNOLOGY Co.,Ltd. Contract record no.: X2023110000047 Denomination of invention: A method and device for storing and reading file data Granted publication date: 20130605 License type: Exclusive License Record date: 20230323 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A method and device for storing and reading file data Effective date of registration: 20230327 Granted publication date: 20130605 Pledgee: CHINA TECHNOLOGY EXCHANGE Co.,Ltd. Pledgor: BEIJING TEAMSUN SOFTWARE TECHNOLOGY Co.,Ltd. Registration number: Y2023110000128 |