CN114327260A - 一种数据读取方法、***、服务器及存储介质 - Google Patents
一种数据读取方法、***、服务器及存储介质 Download PDFInfo
- Publication number
- CN114327260A CN114327260A CN202111447677.6A CN202111447677A CN114327260A CN 114327260 A CN114327260 A CN 114327260A CN 202111447677 A CN202111447677 A CN 202111447677A CN 114327260 A CN114327260 A CN 114327260A
- Authority
- CN
- China
- Prior art keywords
- data
- hard disk
- buffer module
- module
- reading
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003860 storage Methods 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000003139 buffering effect Effects 0.000 claims abstract description 26
- 239000007787 solid Substances 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000013500 data storage Methods 0.000 description 11
- 238000007726 management method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
本申请公开了一种数据读取方法,应用于服务器,所述服务器的存储卡连接第一硬盘背板,第二硬盘背板级联所述第一硬盘背板,所述第一硬盘背板设置有数据缓冲模块,所述数据读取方法包括:检测所述第二硬盘背板中的常用数据,并将所述常用数据存储至所述数据缓冲模块;接收对所述第二硬盘背板发起的数据读取指令,则判断待读取的数据是否存储在所述数据缓冲模块内;若是,则从所述数据缓冲模块内读取所述数据读取指令对应的数据;若否,则从所述第二硬盘背板内读取所述数据读取指令对应的数据。本申请能够在不增加存储卡的前提下提高硬盘背板的读写性能。本申请还公开了一种数据读取方法、***、服务器及存储介质,具有以上有益效果。
Description
技术领域
本申请涉及数据处理技术领域,特别涉及一种数据读取方法、***、服务器及存储介质。
背景技术
随着大数据和云时代的到来,以及科学技术的不断发展,社会各领域对服务器,特别是存储服务器的需求越来越多,这主要是因为存储服务器具有高数据存储能力,以及高速的数据吞吐能力。在实际应用中,为了让服务器具有高速的数据吞吐能力,通常要求存储服务器在支持更多的硬盘数量和更好的硬盘读写性能。
服务器的读写性能受限于存储卡和硬盘背板设计限制,为了实现高存储和高硬盘读写性能同时兼备,相关技术中通常使不同硬盘背板需要单独接不同存储卡,存储卡造价高昂,也会增加服务器整体结构的复杂度。
因此,如何在不增加存储卡的前提下提高硬盘背板的读写性能是本领域技术人员目前需要解决的技术问题。
发明内容
本申请的目的是提供一种数据读取方法、***、一种存储介质及一种服务器,能够在不增加存储卡的前提下提高硬盘背板的读写性能。
为解决上述技术问题,本申请提供一种数据读取方法,应用于服务器,所述服务器的存储卡连接第一硬盘背板,第二硬盘背板级联所述第一硬盘背板,所述第一硬盘背板设置有数据缓冲模块,所述数据读取方法包括:
检测所述第二硬盘背板中的常用数据,并将所述常用数据存储至所述数据缓冲模块;
接收对所述第二硬盘背板发起的数据读取指令,则判断待读取的数据是否存储在所述数据缓冲模块内;
若是,则从所述数据缓冲模块内读取所述数据读取指令对应的数据;
若否,则从所述第二硬盘背板内读取所述数据读取指令对应的数据。
可选的,还包括:
确定需要向所述第二硬盘背板中写入的目标数据,并将所述目标数据写入所述数据缓冲模块,以便所述数据缓冲模块的存储管理芯片将所述目标数据写入所述第二硬盘背板。
可选的,在将所述常用数据存储至所述数据缓冲模块之前,还包括:
根据所述第二硬盘背板包括的硬盘数量和所述数据缓冲模块的读写速度确定所述数据缓冲模块的总存储空间。
可选的,在将所述常用数据存储至所述数据缓冲模块之后,还包括:
若检测到所述第二硬盘背板中新的常用数据,则判断所述数据缓冲模块的剩余存储空间是否大于或等于所述新的常用数据的数据大小;
若是,则将所述新的常用数据存储至所述数据缓冲模块;
若否,则删除所述数据缓冲模块中存储时间最早的N个常用数据,以使数据缓冲模块的剩余存储空间大于或等于所述新的常用数据的数据大小,并将所述新的常用数据存储至所述数据缓冲模块。
可选的,检测所述第二硬盘背板中的常用数据,包括:
按照所述第二硬盘背板中每一数据的使用次数和使用时间进行加权计算,得到每一数据的常用程度得分;
将常用程度得分大于预设值的数据设置为所述第二硬盘背板中的常用数据。
可选的,所述数据缓冲模块为通过外接方式或内嵌方式与所述第一硬盘背板连接的固态硬盘。
本申请还提供了一种数据读取***,应用于服务器,所述服务器的存储卡连接第一硬盘背板,第二硬盘背板级联所述第一硬盘背板,所述第一硬盘背板设置有数据缓冲模块,所述数据读取***包括:
缓冲存储模块,用于检测所述第二硬盘背板中的常用数据,并将所述常用数据存储至所述数据缓冲模块;
判断模块,用于接收对所述第二硬盘背板发起的数据读取指令,则判断待读取的数据是否存储在所述数据缓冲模块内;
读取模块,用于若待读取的数据存储在所述数据缓冲模块内,则从所述数据缓冲模块内读取所述数据读取指令对应的数据;还用于若待读取的数据未存储在所述数据缓冲模块内,则从所述第二硬盘背板内读取所述数据读取指令对应的数据。
本申请还提供了一种存储介质,其上存储有计算机程序,所述计算机程序执行时实现上述数据读取方法执行的步骤。
本申请还提供了一种服务器,包括处理器、存储卡、第一硬盘背板和第二硬盘背板,所述存储卡连接所述第一硬盘背板,所述第二硬盘背板级联所述第一硬盘背板,所述第一硬盘背板设置有数据缓冲模块,所述存储器运行计算机程序时实现上述数据读取方法的步骤。
可选的,所述数据缓冲模块为通过外接方式或内嵌方式与所述第一硬盘背板连接的固态硬盘。
本申请提供了一种数据读取方法,应用于服务器,所述服务器的存储卡连接第一硬盘背板,第二硬盘背板级联所述第一硬盘背板,所述第一硬盘背板设置有数据缓冲模块,所述数据读取方法包括:检测所述第二硬盘背板中的常用数据,并将所述常用数据存储至所述数据缓冲模块;接收对所述第二硬盘背板发起的数据读取指令,则判断待读取的数据是否存储在所述数据缓冲模块内;若是,则从所述数据缓冲模块内读取所述数据读取指令对应的数据;若否,则从所述第二硬盘背板内读取所述数据读取指令对应的数据。
本申请中第一硬盘背板连接服务器的存储卡,第二硬盘背板级联第一硬盘背板,第一硬盘背板设置有数据缓冲模块。在检测到第二硬盘背板中的常用数据之后,本申请将第二硬盘背板中的常用数据存储至第一硬盘背板,以便在需要从第二硬盘背板中读取数据时由第一硬盘背板的数据缓冲模块直接向服务器的存储卡提供相应的数据。通过上述方式能够降低第二硬盘背板向存储卡传输数据的链路长度,避免第二硬盘背板与存储卡交互过程中产生的性能损耗,进而可以在不增加存储卡的前提下提高硬盘背板的读写性能。本申请同时还提供了一种数据读取***、一种存储介质和一种服务器,具有上述有益效果,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例,下面将对实施例中所需要使用的附图做简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例所提供的一种数据读取方法的流程图;
图2为本申请实施例所提供的一种多硬盘存储服务器存储连接方式示意图;
图3为本申请实施例所提供的另一种多硬盘存储服务器存储连接方式示意图;
图4为本申请实施例所提供的一种新的多硬盘存储服务器存储连接方式示意图;
图5为本申请实施例所提供的一种硬盘背板级联原理示意图;
图6为本申请实施例所提供的一种数据读取***的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
下面请参见图1,图1为本申请实施例所提供的一种数据读取方法的流程图。
具体步骤可以包括:
S101:检测所述第二硬盘背板中的常用数据,并将所述常用数据存储至所述数据缓冲模块;
其中,本实施例可以应用于服务器,所述服务器的存储卡连接第一硬盘背板,第二硬盘背板级联所述第一硬盘背板,所述第一硬盘背板设置有数据缓冲模块。具体的,第一硬盘背板通过SAS线连接存储卡,第二硬盘背板通过SAS线与第一硬盘背板级联。
作为一种可行的实施方式,上述所述数据缓冲模块为通过外接方式或内嵌方式与所述第一硬盘背板连接的固态硬盘。
S102:接收对所述第二硬盘背板发起的数据读取指令;
其中,上述数据读取指令可以为服务器的上层应用下发的指令,在接收到数据读取指令后可以判断该指令是读取第一硬盘背板中数据的指令,还是读取第二硬盘背板中数据的指令。若接收到对第一硬盘背板的数据读取指令,则可以直接从第一硬盘背板中读取相应的数据。若接收到对第二硬盘背板的数据读取指令,则可以根据需要读取的数据所在的位置确定数据读取方式。
S103:判断待读取的数据是否存储在数据缓冲模块内;若是,则进入S104;若否,则进入S105;
其中,本步骤建立在已经接收到上层应用对第二硬盘背板发起的数据读取指令的基础上,本实施例可以根据数据读取指令确定待读取的数据的标识。数据缓冲模块中可以记录每一存储的常用数据的标识表,本实施例可以依据该标识表判断待读取的数据是否存储在所述数据缓冲模块内。
S104:从所述数据缓冲模块内读取所述数据读取指令对应的数据;
其中,本步骤建立在待读取的数据存储在所述数据缓冲模块内的基础上,本实施例可以从数据缓冲模块内读取所述数据读取指令对应的数据,此时无需从第二硬盘背板中读取数据。通过上述方式能够缩短从第二硬盘背板中读取数据的链路长度,间接提高了第二硬盘背板的读写性能。
S105:从所述第二硬盘背板内读取所述数据读取指令对应的数据。
其中,本步骤建立在待读取的数据存储不女在所述数据缓冲模块内的基础上,此时可以直接从第二硬盘背板内读取所述数据读取指令对应的数据。
本实施例中第一硬盘背板连接服务器的存储卡,第二硬盘背板级联第一硬盘背板,第一硬盘背板设置有数据缓冲模块。在检测到第二硬盘背板中的常用数据之后,本实施例将第二硬盘背板中的常用数据存储至第一硬盘背板,以便在需要从第二硬盘背板中读取数据时由第一硬盘背板的数据缓冲模块直接向服务器的存储卡提供相应的数据。通过上述方式能够降低第二硬盘背板向存储卡传输数据的链路长度,避免第二硬盘背板与存储卡交互过程中产生的性能损耗,进而可以在不增加存储卡的前提下提高硬盘背板的读写性能。
作为对于图1对应实施例的进一步介绍,在可以在上述实施例的基础上提供一种新的数据写入方法,具体过程如下:确定需要向所述第二硬盘背板中写入的目标数据,并将所述目标数据写入所述数据缓冲模块,以便所述数据缓冲模块的存储管理芯片将所述目标数据写入所述第二硬盘背板。通过上述方式可以提高第二硬盘背板的数据写入速率。
作为对于图1对应实施例的进一步介绍,本实施例可以在将所述常用数据存储至所述数据缓冲模块之前,根据所述第二硬盘背板包括的硬盘数量和所述数据缓冲模块的读写速度确定所述数据缓冲模块的总存储空间,以便基于总存储空间的大小选取对应的数据缓冲模块。
以12口硬盘背板接机械硬盘为例,实际测试硬盘背板B上每块硬盘性能降低约30M/s左右,累计第二硬盘背板上面12块硬盘降低约360M/s左右的速度,“数据存储”模块大小在360M以上可满足要求。当前数据缓冲模块的读写速度约450M/s以上,完全可满足缓冲需求。若将第一硬盘背板的“数据缓冲模块”设计成一个外接方式,可直接将存储空间大于360M的SSD硬盘作为数据缓冲模块与第一硬盘背板连接。若将第一硬盘背板的“数据缓冲模块”设计成内嵌模式,可将存储空间大于360M的SSD硬盘作为数据缓冲模块植入到第一硬盘背板。
作为对于图1对应实施例的进一步介绍,在将所述常用数据存储至所述数据缓冲模块之后,还可以判断是否检测到第二硬盘背板中出现新的常用数据,若检测到所述第二硬盘背板中新的常用数据,则判断所述数据缓冲模块的剩余存储空间是否大于或等于所述新的常用数据的数据大小;若是,则将所述新的常用数据存储至所述数据缓冲模块;若否,则删除所述数据缓冲模块中存储时间最早的N个常用数据,以使数据缓冲模块的剩余存储空间大于或等于所述新的常用数据的数据大小,并将所述新的常用数据存储至所述数据缓冲模块。
进一步的,本实施例可以通过以下方式检测所述第二硬盘背板中的常用数据:按照所述第二硬盘背板中每一数据的使用次数和使用时间进行加权计算,得到每一数据的常用程度得分;将常用程度得分大于预设值的数据设置为所述第二硬盘背板中的常用数据。上述使用时间可以包括数据的使用时长、以及最近一次使用该数据距离当前时刻的时长。
下面通过在实际应用中的实施例说明上述实施例描述的流程。以8i存储卡为例,此类存储卡有两个接口Port0和Port1,每个接口都可以有数据传输能力。
请参见图2,图2为本申请实施例所提供的一种多硬盘存储服务器存储连接方式示意图。在图2所示的方案中,每一张硬盘背板均连接一张专属的存储卡,这种方案硬盘背板与存储卡直接通过2根SAS线连接port0和port1,各硬盘背板上硬盘读写性能不会受到影响,同时各硬盘都可以被获取,存储容量也不受影响。但是存储卡数量增加了。如图2所示机器有2个硬盘背板(12口硬盘背板A和12口硬盘背板B)时就需要使用2张存储卡(存储卡1和存储卡2),每张存储卡造价昂贵,成本大量增加,同时多一张存储卡会多占用一个PCIE槽位,影响服务器的可扩配性,一般不容易被客户接受。
请参见图3,图3为本申请实施例所提供的另一种多硬盘存储服务器存储连接方式示意图。在图3所示的方案中,服务器设置有PCIE 8i存储卡,硬盘背板B级联硬盘背板A,然后再通过硬盘背板A接存储卡的两个接口port0和port1,该方案可以使存储卡数量降低了,从而节省服务器成本,同时也空出一张存储卡占用的PCIE槽位,可以在此PCIE槽位上接其他装置,提供了服务器的可扩展性;但是这种方式导致硬盘背板B的链路加长,且与硬盘背板A共用一个通道,势必会影响硬盘背板B上的硬盘性能。
图2和图3所示的现有两种技术方案,一个方案会增加存储卡数量,增加服务器成本,影响服务器PCIE槽位的可扩配性;另一个方案会降低级联硬盘背板的硬盘性能。因此现有技术无法解决如何在不增加存储卡的前提下提高硬盘背板的读写性能这一问题。
下面分析硬盘背板B上硬盘性能降低的原因:(1)背板B级联背板A后链路加长,相对来讲存储卡与硬盘背板B的数据传输时间要比背板A稍微长一点点,会影响一部分性能。(2)硬盘背板B级联背板A后共用硬盘背板A的SAS线与存储卡建立数据传输,当服务器大量调用硬盘背板A和硬盘背板B的数据时,由于第一点原因,存储卡与背板B的数据传输要稍晚于硬盘背板A,这样就导致硬盘背板A的数据传输量更大,又因为SAS线缆的传输量和存储卡的处理能力是一定的,所以硬盘背板B上的数据受SAS线缆传输阻塞和存储卡处理能力限制的影响,其数据读写性能必然受到影响。
为了减少对硬盘背板B的性能影响,可以考虑优化一下硬盘背板设计,在硬盘背板A和硬盘背板B上建立一个性能缓冲区,增加一个“数据缓冲模块”。请参见图4,图4为本申请实施例所提供的一种新的多硬盘存储服务器存储连接方式示意图,硬盘背板B级联硬盘背板A以后,硬盘背板A通过两根SAS线接到存储卡两个接口port0和port1上。硬盘背板A上设置有数据缓冲模块,用于存储硬盘背板B的读写数据,降低了级联硬盘背板对硬盘背板B的性能影响。上述数据缓冲模块类似水流中的水渠中转模块一样,比如同样大小的水渠B的水通过水渠A流向一块农田,受限于水渠B的渠道加长,相同时间内农田获取到水渠A的水量比水渠B的水量相对会多一些,显得水渠B的流量不如水渠A流量快,但是如果将水渠B的水量提前存放一些在水渠A那里,那么可以相对增加农田获得水渠B的水量,这个提前存放水渠B的水量的地方就是类似本方案中提到的数据缓冲模块。
以读取硬盘背板B上的硬盘数据为例,针对硬盘背板A的数据缓冲模块详细设计和工作原理介绍如下:
数据的存储都是按照数字方式记录的,假设客户的文本数据存在数据1模块里面,客户的图片数据存在数据3模块里面,硬盘本身会自动建立数据存储和调取机制,当客户使用文本数据时,服务器存储卡会通过背板去访问硬盘,硬盘会调用数据1的数据传送到背板—>SAS线—>存储卡—>客户。
硬盘背板通过SAS线与存储卡建立通信,根据各厂家背板和存储卡的工作原理,存储卡、背板和硬盘之间会建立一种特殊的ID识别关系,此种关系是存储卡进行分配的。请参见图5,图5为本申请实施例所提供的一种硬盘背板级联原理示意图,如图5所示,以12口背板为例,存储卡会给12口背板每个硬盘单独分配一个DID号码用来区分硬盘位置,当用户打开硬盘背板上物理硬盘位置0的硬盘数据时,存储卡会直接访问DID0,进而识别到硬盘位置0,获取其数据。12口硬盘背板A的硬盘物理地址为0~11,存储卡工作分配的标识为DID0~DID11,数据缓冲模块包括存储管理芯片和数据存储,数据缓冲模块的标识为DID12。数据缓冲模块与12口硬盘背板B通过SAS级联,12口硬盘背板B的硬盘物理地址为0~11,存储卡工作分配的标识为DID0~DID11。背板B上硬盘0包括数据1(文本)、数据2、数据3(图片)和数据4。
按照如上存储卡、背板和硬盘的工作关系,在硬盘背板A上可以将“数据缓冲模块”设计成其他硬盘的链路方式,让背板单独预留一个DID值给“数据缓冲模块”,这样存储卡也会分配一个DID号码给“数据缓冲模块”,这样存储卡在读取硬盘背板A上的“数据缓冲模块”里面的数据时会和读取硬盘背板A上其他硬盘一样快速高效。
本实施例可以将硬盘背板B的数据提前输出并存放到硬盘背板A的数据缓冲模块中,就可以提高存储卡对硬盘背板B的数据访问速度。其实现方式如下:将数据缓冲模块分为“存储管理”和“数据存储”两大部分,在硬盘背板A上增加一个简单的存储管理芯片用于“存储管理”,单独控制级联接口级联的硬盘背板B,获取其常用数据内容并将这部分数据内容存放到“数据存储”模块中等待调用,其他非常用数据可按照原本存储卡控制硬盘背板A和级联硬盘背板B的方式调用。
本实施例中的常用数据指客户经常访问或者使用很频繁的数据,如图5所示,比如客户首次开机先打开了一个文本文档,此文本文档存在数据1里面,那么数据1的文本文档就是常用数据,这时会被背板上的数据缓冲模块中“存储管理”模块优先识别,并存放到数据存储模块中;此时客户在打开一个图片,此图片存在数据3里面,那么数据3也会被存放到“数据存储”模块中,依次根据数据访问顺序进行数据存储。当数据存储模块存满了数据后,再次新开文本或者图片等数据时,数据存储模块就会自动存储新的数据并覆盖之前很早存储的数据,这样就能保证客户访问的硬盘背板B的常用数据都能提前存在硬盘背板A的“数据缓冲模块”里面。
以上介绍了提高读取硬盘背板B的效率,本实施例还可以把需要写入硬盘背板B的数据写入到硬盘背板A的数据缓冲模块中,然后在通过“存储管理”模块进行数据分配写入到硬盘背板B上,进而解决硬盘背板B的数据读写速率低的问题。
本实施例实现了单张PCIE存储卡控制多硬盘背板的方案,减少了存储卡数量,大大降低了服务器成本,同时存储卡减少会释放PCIE槽位,使服务器具有更好的PCIE设备扩展性。本实施例实现了在背板级联模式下,各硬盘背板上的硬盘仍然具有更高的数据处理能力。
请参见图6,图6为本申请实施例所提供的一种数据读取***的结构示意图,应用于服务器,所述服务器的存储卡连接第一硬盘背板,第二硬盘背板级联所述第一硬盘背板,所述第一硬盘背板设置有数据缓冲模块,所述数据读取***包括:
缓冲存储模块601,用于检测所述第二硬盘背板中的常用数据,并将所述常用数据存储至所述数据缓冲模块;
判断模块602,用于接收对所述第二硬盘背板发起的数据读取指令,则判断待读取的数据是否存储在所述数据缓冲模块内;
读取模块603,用于若待读取的数据存储在所述数据缓冲模块内,则从所述数据缓冲模块内读取所述数据读取指令对应的数据;还用于若待读取的数据未存储在所述数据缓冲模块内,则从所述第二硬盘背板内读取所述数据读取指令对应的数据。
本实施例中第一硬盘背板连接服务器的存储卡,第二硬盘背板级联第一硬盘背板,第一硬盘背板设置有数据缓冲模块。在检测到第二硬盘背板中的常用数据之后,本实施例将第二硬盘背板中的常用数据存储至第一硬盘背板,以便在需要从第二硬盘背板中读取数据时由第一硬盘背板的数据缓冲模块直接向服务器的存储卡提供相应的数据。通过上述方式能够降低第二硬盘背板向存储卡传输数据的链路长度,避免第二硬盘背板与存储卡交互过程中产生的性能损耗,进而可以在不增加存储卡的前提下提高硬盘背板的读写性能。
进一步的,还包括:
写数据模块,用于确定需要向所述第二硬盘背板中写入的目标数据,并将所述目标数据写入所述数据缓冲模块,以便所述数据缓冲模块的存储管理芯片将所述目标数据写入所述第二硬盘背板。
进一步的,还包括:
总存储空间确定模块,用于在将所述常用数据存储至所述数据缓冲模块之前,根据所述第二硬盘背板包括的硬盘数量和所述数据缓冲模块的读写速度确定所述数据缓冲模块的总存储空间。
进一步的,还包括:
空间管理模块,用于在将所述常用数据存储至所述数据缓冲模块之后,若检测到所述第二硬盘背板中新的常用数据,则判断所述数据缓冲模块的剩余存储空间是否大于或等于所述新的常用数据的数据大小;若是,则将所述新的常用数据存储至所述数据缓冲模块;若否,则删除所述数据缓冲模块中存储时间最早的N个常用数据,以使数据缓冲模块的剩余存储空间大于或等于所述新的常用数据的数据大小,并将所述新的常用数据存储至所述数据缓冲模块。
进一步的,缓冲存储模块601用于按照所述第二硬盘背板中每一数据的使用次数和使用时间进行加权计算,得到每一数据的常用程度得分;还用于将常用程度得分大于预设值的数据设置为所述第二硬盘背板中的常用数据。
进一步的,所述数据缓冲模块为通过外接方式或内嵌方式与所述第一硬盘背板连接的固态硬盘。
由于***部分的实施例与方法部分的实施例相互对应,因此***部分的实施例请参见方法部分的实施例的描述,这里暂不赘述。
本申请还提供了一种存储介质,其上存有计算机程序,该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请还提供了一种服务器,包括处理器、存储卡、第一硬盘背板和第二硬盘背板,所述存储卡连接所述第一硬盘背板,所述第二硬盘背板级联所述第一硬盘背板,所述第一硬盘背板设置有数据缓冲模块,所述存储器运行计算机程序时实现上述数据读取方法的步骤。当然所述服务器还可以包括各种网络接口,电源等组件。
可选的,所述数据缓冲模块为通过外接方式或内嵌方式与所述第一硬盘背板连接的固态硬盘。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种数据读取方法,其特征在于,应用于服务器,所述服务器的存储卡连接第一硬盘背板,第二硬盘背板级联所述第一硬盘背板,所述第一硬盘背板设置有数据缓冲模块,所述数据读取方法包括:
检测所述第二硬盘背板中的常用数据,并将所述常用数据存储至所述数据缓冲模块;
接收对所述第二硬盘背板发起的数据读取指令,则判断待读取的数据是否存储在所述数据缓冲模块内;
若是,则从所述数据缓冲模块内读取所述数据读取指令对应的数据;
若否,则从所述第二硬盘背板内读取所述数据读取指令对应的数据。
2.根据权利要求1所述数据读取方法,其特征在于,还包括:
确定需要向所述第二硬盘背板中写入的目标数据,并将所述目标数据写入所述数据缓冲模块,以便所述数据缓冲模块的存储管理芯片将所述目标数据写入所述第二硬盘背板。
3.根据权利要求1所述数据读取方法,其特征在于,在将所述常用数据存储至所述数据缓冲模块之前,还包括:
根据所述第二硬盘背板包括的硬盘数量和所述数据缓冲模块的读写速度确定所述数据缓冲模块的总存储空间。
4.根据权利要求1所述数据读取方法,其特征在于,在将所述常用数据存储至所述数据缓冲模块之后,还包括:
若检测到所述第二硬盘背板中新的常用数据,则判断所述数据缓冲模块的剩余存储空间是否大于或等于所述新的常用数据的数据大小;
若是,则将所述新的常用数据存储至所述数据缓冲模块;
若否,则删除所述数据缓冲模块中存储时间最早的N个常用数据,以使数据缓冲模块的剩余存储空间大于或等于所述新的常用数据的数据大小,并将所述新的常用数据存储至所述数据缓冲模块。
5.根据权利要求1所述数据读取方法,其特征在于,检测所述第二硬盘背板中的常用数据,包括:
按照所述第二硬盘背板中每一数据的使用次数和使用时间进行加权计算,得到每一数据的常用程度得分;
将常用程度得分大于预设值的数据设置为所述第二硬盘背板中的常用数据。
6.根据权利要求1所述数据读取方法,其特征在于,所述数据缓冲模块为通过外接方式或内嵌方式与所述第一硬盘背板连接的固态硬盘。
7.一种数据读取***,其特征在于,应用于服务器,所述服务器的存储卡连接第一硬盘背板,第二硬盘背板级联所述第一硬盘背板,所述第一硬盘背板设置有数据缓冲模块,所述数据读取***包括:
缓冲存储模块,用于检测所述第二硬盘背板中的常用数据,并将所述常用数据存储至所述数据缓冲模块;
判断模块,用于接收对所述第二硬盘背板发起的数据读取指令,则判断待读取的数据是否存储在所述数据缓冲模块内;
读取模块,用于若待读取的数据存储在所述数据缓冲模块内,则从所述数据缓冲模块内读取所述数据读取指令对应的数据;还用于若待读取的数据未存储在所述数据缓冲模块内,则从所述第二硬盘背板内读取所述数据读取指令对应的数据。
8.一种服务器,其特征在于,包括处理器、存储卡、第一硬盘背板和第二硬盘背板,所述存储卡连接所述第一硬盘背板,所述第二硬盘背板级联所述第一硬盘背板,所述第一硬盘背板设置有数据缓冲模块,所述存储器运行计算机程序时实现如权利要求1至6任一项所述数据读取方法的步骤。
9.根据权利要求8所述服务器,其特征在于,所述数据缓冲模块为通过外接方式或内嵌方式与所述第一硬盘背板连接的固态硬盘。
10.一种存储介质,其特征在于,所述存储介质中存储有计算机可执行指令,所述计算机可执行指令被处理器加载并执行时,实现如权利要求1至6任一项所述数据读取方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111447677.6A CN114327260B (zh) | 2021-11-30 | 2021-11-30 | 一种数据读取方法、***、服务器及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111447677.6A CN114327260B (zh) | 2021-11-30 | 2021-11-30 | 一种数据读取方法、***、服务器及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114327260A true CN114327260A (zh) | 2022-04-12 |
CN114327260B CN114327260B (zh) | 2023-08-25 |
Family
ID=81049060
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111447677.6A Active CN114327260B (zh) | 2021-11-30 | 2021-11-30 | 一种数据读取方法、***、服务器及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114327260B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140006687A1 (en) * | 2012-06-30 | 2014-01-02 | Huawei Technologies Co., Ltd. | Data Cache Apparatus, Data Storage System and Method |
CN104267912A (zh) * | 2014-09-19 | 2015-01-07 | 北京联创信安科技有限公司 | 一种nas加速方法及*** |
CN108845768A (zh) * | 2018-06-19 | 2018-11-20 | 郑州云海信息技术有限公司 | 一种数据存储方法、装置、设备及存储介质 |
CN108875046A (zh) * | 2018-06-28 | 2018-11-23 | 郑州云海信息技术有限公司 | 一种存储***访问方法、装置及电子设备 |
CN111538461A (zh) * | 2020-04-21 | 2020-08-14 | 招商局金融科技有限公司 | 基于固态硬盘缓存的数据读写方法、装置及存储介质 |
CN112269534A (zh) * | 2020-10-16 | 2021-01-26 | 苏州浪潮智能科技有限公司 | 一种数据读取方法、装置、设备及计算机可读存储介质 |
-
2021
- 2021-11-30 CN CN202111447677.6A patent/CN114327260B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140006687A1 (en) * | 2012-06-30 | 2014-01-02 | Huawei Technologies Co., Ltd. | Data Cache Apparatus, Data Storage System and Method |
CN104267912A (zh) * | 2014-09-19 | 2015-01-07 | 北京联创信安科技有限公司 | 一种nas加速方法及*** |
CN108845768A (zh) * | 2018-06-19 | 2018-11-20 | 郑州云海信息技术有限公司 | 一种数据存储方法、装置、设备及存储介质 |
CN108875046A (zh) * | 2018-06-28 | 2018-11-23 | 郑州云海信息技术有限公司 | 一种存储***访问方法、装置及电子设备 |
CN111538461A (zh) * | 2020-04-21 | 2020-08-14 | 招商局金融科技有限公司 | 基于固态硬盘缓存的数据读写方法、装置及存储介质 |
CN112269534A (zh) * | 2020-10-16 | 2021-01-26 | 苏州浪潮智能科技有限公司 | 一种数据读取方法、装置、设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114327260B (zh) | 2023-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102362464B (zh) | 内存访问监测方法和装置 | |
CN104657366B (zh) | 海量日志写入数据库的方法、装置和日志容灾*** | |
CN107291399B (zh) | 一种基于spdk的后端存储方法、装置及*** | |
US20240086332A1 (en) | Data processing method and system, device, and medium | |
CN103324466A (zh) | 一种数据相关性序列化io的并行处理方法 | |
CN112954244A (zh) | 监控录像的存储实现方法、装置、设备及存储介质 | |
CN103336670A (zh) | 一种基于数据温度对数据块自动进行分布的方法和装置 | |
CN110851318A (zh) | 一种服务器管理***下的串口日志收集方法、***及设备 | |
CN108920095B (zh) | 一种基于crush的数据存储优化方法和装置 | |
US8656120B2 (en) | Device, method and computer-readable medium relocating remote procedure call data in heterogeneous multiprocessor system on chip | |
CN114003528A (zh) | Ocp转接卡、转接***及转接方法 | |
KR101103619B1 (ko) | 멀티 포트 메모리 및 그 억세스 제어 방법 | |
CN104883394A (zh) | 一种均衡服务器负载的方法和*** | |
CN114327260A (zh) | 一种数据读取方法、***、服务器及存储介质 | |
CN117012266A (zh) | 基于emmc的性能测试方法、装置及其存储介质 | |
WO2023235040A1 (en) | File system improvements for zoned storage device operations | |
CN104750547B (zh) | 虚拟机的输入输出io请求处理方法及装置 | |
CN114327862B (zh) | 一种内存分配方法、装置、电子设备及存储介质 | |
CN104765704A (zh) | 一种移动通讯装置及电子设备 | |
CN112463213B (zh) | 更新、读取统计值的方法和装置 | |
CN115061958A (zh) | 一种硬盘识别方法、识别***、存储介质和计算机设备 | |
CN114783472A (zh) | 一种基于存储设备的数据处理***、方法及装置 | |
CN111984197B (zh) | 计算机缓存分配方法 | |
CN103064926A (zh) | 数据处理方法和装置 | |
CN107870736B (zh) | 支持大于4gb非线性闪存的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |