CN103150427A - 一种基于ssd硬盘缓存加速与备份的raid设计方法 - Google Patents

一种基于ssd硬盘缓存加速与备份的raid设计方法 Download PDF

Info

Publication number
CN103150427A
CN103150427A CN2013100533270A CN201310053327A CN103150427A CN 103150427 A CN103150427 A CN 103150427A CN 2013100533270 A CN2013100533270 A CN 2013100533270A CN 201310053327 A CN201310053327 A CN 201310053327A CN 103150427 A CN103150427 A CN 103150427A
Authority
CN
China
Prior art keywords
data
hard disk
ssd
interface
pcie
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2013100533270A
Other languages
English (en)
Inventor
刘涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN2013100533270A priority Critical patent/CN103150427A/zh
Publication of CN103150427A publication Critical patent/CN103150427A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明提供一种基于SSD硬盘缓存加速与备份的RAID设计方法，其具体过程为：服务器处理器通过PCIE接口获取数据，该数据是指运算与处理后的数据；搭建处理器数据传送PCIE接口与SSD硬盘之间的传输路径；对PCIE传送的数据进行解码与转换；将经过步骤三处理的数据暂存于SSD硬盘；将SSD硬盘中的数据转存入外部存储；当***出现断电时，重新转存，并给出提示。该一种基于SSD硬盘缓存加速与备份的RAID设计方法和现有技术相比，保证了服务器数据的实时性、可靠性、稳定性，实现数据的稳定有效数据存储与加速，提升了服务器性能。

Description

一种基于SSD硬盘缓存加速与备份的RAID设计方法
技术领域
本发明涉及计算机通信技术领域，具体的说是一种来解决当前在大批量数据传输过程中，数据的缓存基本依赖于RAID卡的DRAM方式，保证了服务器数据的实时性、可靠性、稳定性，实现数据的稳定有效数据存储与加速，提升了服务器性能的RAID设计方法。
背景技术
当今的服务器处理器速度越来越高，高运算性能的处理器应用越来越广泛，在完成高运算性能的同时，更多情况下需要对处理器运算与网络传输后的数据进行数据存储，尤其当前单一文件的数据量逐渐增大，需要保持完成大量的数据通道链接传输，才可完成单一文件的存储与传送，尽管多年来服务器处理性能和网络带宽不断提高，但传送数据的主要方法却始终没有改变。今天，服务器处理器承担着处理负载、访问内存和处理每个数据或数据包的协议计算等全部重担，在这种情况下，引入独立的数据缓存加速与备份设计，对于大容量数据的传输与存储具有重要的意义。
当前对大容量数据的传输与存储基本依赖于raid卡控制器的缓存，由于当前raid卡的缓存容量有限，最大也仅为512MB，这相对对于当前上百GB的数据量来说，其缓存容量仍偏小，若传输过程中突然断电，数据无法保持完整性；同时由于raid卡的缓存价格偏高，缓存布线设计复杂，设计稳定性控制严格，这种raid卡缓存方式无法实现低成本大容量的应用；另一方面，由于raid卡缓存为DRAM方式，即掉电数据丢失，为保持缓存中数据，需要外加昂贵的锂电池模块，完成限定时间的数据保持，当电量不足时，数据很可能发生变化，对于数据的稳定性有一定影响。随着对服务器数据存储与加速可靠性要求不断增加，为了保证服务器数据稳定传输，在大批量数据传输过程中，稳定有效数据存储与加速尤为重要，并成为决定服务器性能关键要素之一。
针对当前大批量数据传输过程中遇到的上述问题，需要一种结合SSD存储速度、稳定性等关键因素的RAID设计方法。
发明内容
本发明的技术任务是解决现有技术的不足，提供一种基于SSD硬盘缓存加速与备份的RAID设计方法。
本发明的技术方案是按以下方式实现的，该一种基于SSD硬盘缓存加速与备份的RAID设计方法，其具体过程为：
步骤一、服务器处理器通过PCIE接口获取数据，该数据是指运算与处理后的数据；
步骤二、搭建处理器数据传送PCIE接口与SSD硬盘之间的传输路径；
步骤三、对PCIE传送的数据进行解码与转换；
步骤四、将经过步骤三处理的数据暂存于SSD硬盘；
步骤五、将SSD硬盘中的数据转存入外部存储；
步骤六、当***出现断电时，重新转存，并给出提示。
所述步骤二中的传输路径搭建是指在PCIE接口与硬盘存储***间设置缓存接口，将SSD硬盘接于该缓存接口。
所述缓存接口采用高速FPGA实现，即PCIE接口与硬盘存储***接口均接于高速FPGA上，SSD硬盘缓存接口也由该FPGA提供，SSD硬盘缓存接口为标准的SATA接口。
所述步骤三中的数据解码是指对PCIE传送的数据进行串行数据解码，数据转换是指转换成SAS协议格式数据流。
所述数据解码与转换采用高速FPGA来实现：FPGA完成PCIE传送数据的解码，识别出数据信息，暂存于高速FPGA的缓存中；同时将该识别出的数据信息转变为SAS协议格式数据流，高速FPGA将转变后的SAS协议格式数据流传输到SSD硬盘缓存接口，实现数据的高速缓存。
所述步骤五中的SSD中存入外部存储的数据为大容量数据，该数据依次提取后写入外部的硬盘存储***，其中SSD采用先进先出原则，形成数据存储队列，新数据不断压入队列，老数据不断转存到外部的硬盘存储***。
本发明与现有技术相比所产生的有益效果是：
本发明的一种基于SSD硬盘缓存加速与备份的RAID设计方法保证服务器数据稳定传输，保证了服务器数据的实时性、可靠性，实现数据的稳定有效数据存储与加速，提升了服务器性能，节省了传输路径的成本。
附图说明
附图1是本发明的设计流程示意图。
具体实施方式
下面结合附图对本发明的一种基于SSD硬盘缓存加速与备份的RAID设计方法作以下详细说明。
本发明是以数据缓存调度理论支撑点，来解决当前在大批量数据传输过程中，数据的缓存基本依赖于RAID卡的DRAM方式，这种方式无法保证保证服务器数据稳定传输。如附图1所示，现提供一种基于SSD硬盘缓存加速与备份的RAID设计方法，其具体过程为：
步骤一、服务器处理器通过PCIE接口获取数据，该数据是指运算与处理后的数据；
步骤二、搭建处理器数据传送PCIE接口与SSD硬盘之间的传输路径；
步骤三、对PCIE传送的数据进行解码与转换；
步骤四、将经过步骤三处理的数据暂存于SSD硬盘；
步骤五、将SSD硬盘中的数据转存入外部存储；
步骤六、当***出现断电时，重新转存，并给出提示。
所述步骤二中的传输路径搭建是指在PCIE接口与硬盘存储***间设置缓存接口，将SSD硬盘接于该缓存接口。
所述缓存接口采用高速FPGA实现，即PCIE接口与硬盘存储***接口均接于高速FPGA上，SSD硬盘缓存接口也由该FPGA提供，SSD硬盘缓存接口为标准的SATA接口。可外接目前常用的SSD硬盘，提高兼容适用性；SSD硬盘缓存容量根据不同的应用场合可自由搭配选择，当传输数据量偏大时，可选择容量大的SSD硬盘。
所述步骤三中的数据解码是指对PCIE传送的数据进行串行数据解码，数据转换是指转换成SAS协议格式数据流。
所述数据解码与转换采用高速FPGA来实现：FPGA完成PCIE传送数据的解码，识别出数据信息，暂存于高速FPGA的缓存中；同时将该识别出的数据信息转变为SAS协议格式数据流，高速FPGA将转变后的SAS协议格式数据流传输到SSD硬盘缓存接口，实现数据的高速缓存，这样极大提高了处理器效率及数据的传输速率，减小了数据的处理等待时间。
所述步骤五中的SSD中存入外部存储的数据为大容量数据，该数据依次提取后写入外部的硬盘存储***，其中SSD采用先进先出原则，形成数据存储队列，新数据不断压入队列，老数据不断转存到外部的硬盘存储***。当***突然掉电时SSD中存储大容量数据，由于SSD的非易失、保持特性，能够长时间保存数据，无需外部电池支持。断掉恢复中，将SSD中的数据重新写入外部的硬盘存储***。
根据数据传输实时性的要求，高速FPGA芯片不断接受服务器处理器发送过来的数据，由于外部的存储***传输速度存在瓶颈，高速FPGA芯片将数据流导入SSD硬盘缓存中，由高速FPGA控制SSD中的缓存数据转存到外部的存储***，当数量较大时，在SSD中开辟的缓存空间就大些，以增加大容量数据的完整性，当数量较小时，在SSD中开辟的缓存空间就小些，以减小SSD的寻址时间，实际可选取在SSD中开辟的缓存空间应大于最大传输数据的容量的1.5-2倍，使传输效率达到最优。
经过上面详细的实施，我们可以很方便的进行***下数据的高速传输，不仅达到了数据传输的实时性要求，而且节省了传输路径的成本，提高了数据传输效率与准确性，提高了服务器存储***的可靠性与稳定性。

Claims (6)

1.一种基于SSD硬盘缓存加速与备份的RAID设计方法，其特征在于：其具体过程为：
步骤一、服务器处理器通过PCIE接口获取数据，该数据是指运算与处理后的数据；
步骤二、搭建处理器数据传送PCIE接口与SSD硬盘之间的传输路径；
步骤三、对PCIE传送的数据进行解码与转换；
步骤四、将经过步骤三处理的数据暂存于SSD硬盘；
步骤五、将SSD硬盘中的数据转存入外部存储；
步骤六、当***出现断电时，重新转存，并给出提示。
2.根据权利要求1所述的一种基于SSD硬盘缓存加速与备份的RAID设计方法，其特征在于：所述步骤二中的传输路径搭建是指在PCIE接口与硬盘存储***间设置缓存接口，将SSD硬盘接于该缓存接口。
3.根据权利要求2所述的一种基于SSD硬盘缓存加速与备份的RAID设计方法，其特征在于：所述缓存接口采用高速FPGA实现，即PCIE接口与硬盘存储***接口均接于高速FPGA上，SSD硬盘缓存接口也由该FPGA提供，SSD硬盘缓存接口为标准的SATA接口。
4.根据权利要求1所述的一种基于SSD硬盘缓存加速与备份的RAID设计方法，其特征在于：所述步骤三中的数据解码是指对PCIE传送的数据进行串行数据解码，数据转换是指转换成SAS协议格式数据流。
5.根据权利要求4所述的一种基于SSD硬盘缓存加速与备份的RAID设计方法，其特征在于：所述数据解码与转换采用高速FPGA来实现：FPGA完成PCIE传送数据的解码，识别出数据信息，暂存于高速FPGA的缓存中；同时将该识别出的数据信息转变为SAS协议格式数据流，高速FPGA将转变后的SAS协议格式数据流传输到SSD硬盘缓存接口，实现数据的高速缓存。
6.根据权利要求1所述的一种基于SSD硬盘缓存加速与备份的RAID设计方法，其特征在于：所述步骤五中的SSD中存入外部存储的数据为大容量数据，该数据依次提取后写入外部的硬盘存储***，其中SSD采用先进先出原则，形成数据存储队列，新数据不断压入队列，老数据不断转存到外部的硬盘存储***。
CN2013100533270A 2013-02-19 2013-02-19 一种基于ssd硬盘缓存加速与备份的raid设计方法 Pending CN103150427A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2013100533270A CN103150427A (zh) 2013-02-19 2013-02-19 一种基于ssd硬盘缓存加速与备份的raid设计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2013100533270A CN103150427A (zh) 2013-02-19 2013-02-19 一种基于ssd硬盘缓存加速与备份的raid设计方法

Publications (1)

Publication Number Publication Date
CN103150427A true CN103150427A (zh) 2013-06-12

Family

ID=48548503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2013100533270A Pending CN103150427A (zh) 2013-02-19 2013-02-19 一种基于ssd硬盘缓存加速与备份的raid设计方法

Country Status (1)

Country Link
CN (1) CN103150427A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440212A (zh) * 2013-08-23 2013-12-11 浪潮电子信息产业股份有限公司 一种基于sparc架构服务器的磁盘阵列实现方法
WO2015197027A1 (zh) * 2014-06-27 2015-12-30 华为技术有限公司 一种访问NVMe存储设备的方法和NVMe存储设备
US10095445B2 (en) 2016-03-29 2018-10-09 Western Digital Technologies, Inc. Systems and methods for offloading processing from a host to storage processing units using an interconnect network
CN109491934A (zh) * 2018-09-28 2019-03-19 方信息科技（上海）有限公司 一种集成计算功能的存储管理***控制方法
CN109933547A (zh) * 2019-01-29 2019-06-25 山东华芯半导体有限公司 一种ssd主控中的raid被动加速装置和加速方法
CN110377426A (zh) * 2019-07-19 2019-10-25 苏州浪潮智能科技有限公司 一种数据传输方法、***及相关组件
CN110622145A (zh) * 2017-05-15 2019-12-27 莫列斯有限公司 可重新配置的服务器以及具有可重新配置的服务器的服务器机架
CN113238991A (zh) * 2021-07-12 2021-08-10 湖南博匠信息科技有限公司 一种基于fpga实现硬raid卡功能的方法
CN113419977A (zh) * 2021-05-28 2021-09-21 济南浪潮数据技术有限公司 一种服务器中pcie设备管理***和服务器

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101149664A (zh) * 2007-10-26 2008-03-26 华为技术有限公司 固态硬盘及处理其管理数据的方法
CN101398745A (zh) * 2007-09-29 2009-04-01 群联电子股份有限公司 并行数据存取架构的固态盘存储***与固态盘控制器
US20100030546A1 (en) * 2008-07-29 2010-02-04 Freescale Semiconductor, Inc. Gui-facilitated simulation and verification for vehicle electrical/electronic architecture design
CN101833989A (zh) * 2010-05-27 2010-09-15 华为技术有限公司 多接口固态硬盘及其处理方法和***
CN101833424A (zh) * 2010-03-26 2010-09-15 中国科学院光电技术研究所 基于fpga的高速存储与传输装置
CN102012791A (zh) * 2010-10-15 2011-04-13 中国人民解放军国防科学技术大学 基于Flash的数据存储PCIE板卡
CN102662608A (zh) * 2012-03-30 2012-09-12 华为技术有限公司 一种降低读延时的方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101398745A (zh) * 2007-09-29 2009-04-01 群联电子股份有限公司 并行数据存取架构的固态盘存储***与固态盘控制器
CN101149664A (zh) * 2007-10-26 2008-03-26 华为技术有限公司 固态硬盘及处理其管理数据的方法
US20100030546A1 (en) * 2008-07-29 2010-02-04 Freescale Semiconductor, Inc. Gui-facilitated simulation and verification for vehicle electrical/electronic architecture design
CN101833424A (zh) * 2010-03-26 2010-09-15 中国科学院光电技术研究所 基于fpga的高速存储与传输装置
CN101833989A (zh) * 2010-05-27 2010-09-15 华为技术有限公司 多接口固态硬盘及其处理方法和***
CN102012791A (zh) * 2010-10-15 2011-04-13 中国人民解放军国防科学技术大学 基于Flash的数据存储PCIE板卡
CN102662608A (zh) * 2012-03-30 2012-09-12 华为技术有限公司 一种降低读延时的方法及装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440212A (zh) * 2013-08-23 2013-12-11 浪潮电子信息产业股份有限公司 一种基于sparc架构服务器的磁盘阵列实现方法
WO2015197027A1 (zh) * 2014-06-27 2015-12-30 华为技术有限公司 一种访问NVMe存储设备的方法和NVMe存储设备
US10095445B2 (en) 2016-03-29 2018-10-09 Western Digital Technologies, Inc. Systems and methods for offloading processing from a host to storage processing units using an interconnect network
US10725709B2 (en) 2016-03-29 2020-07-28 Western Digital Technologies, Inc. Systems and methods for offloading processing from a host to storage processing units using an interconnect network
US11907152B2 (en) 2017-05-15 2024-02-20 Molex, Llc Reconfigurable server and server rack with same
CN110622145B (zh) * 2017-05-15 2023-06-13 莫列斯有限公司 可重新配置的服务器以及服务器机架
CN110622145A (zh) * 2017-05-15 2019-12-27 莫列斯有限公司 可重新配置的服务器以及具有可重新配置的服务器的服务器机架
CN109491934A (zh) * 2018-09-28 2019-03-19 方信息科技（上海）有限公司 一种集成计算功能的存储管理***控制方法
CN109933547B (zh) * 2019-01-29 2023-03-10 山东华芯半导体有限公司 一种ssd主控中的raid被动加速装置和加速方法
CN109933547A (zh) * 2019-01-29 2019-06-25 山东华芯半导体有限公司 一种ssd主控中的raid被动加速装置和加速方法
CN110377426B (zh) * 2019-07-19 2021-09-17 苏州浪潮智能科技有限公司 一种数据传输方法、***及相关组件
CN110377426A (zh) * 2019-07-19 2019-10-25 苏州浪潮智能科技有限公司 一种数据传输方法、***及相关组件
CN113419977A (zh) * 2021-05-28 2021-09-21 济南浪潮数据技术有限公司 一种服务器中pcie设备管理***和服务器
CN113419977B (zh) * 2021-05-28 2023-03-21 济南浪潮数据技术有限公司 一种服务器中pcie设备管理***和服务器
CN113238991B (zh) * 2021-07-12 2021-11-05 湖南博匠信息科技有限公司 一种基于fpga实现硬raid卡功能的方法
CN113238991A (zh) * 2021-07-12 2021-08-10 湖南博匠信息科技有限公司 一种基于fpga实现硬raid卡功能的方法

Similar Documents

Publication Publication Date Title
CN103150427A (zh) 一种基于ssd硬盘缓存加速与备份的raid设计方法
CN108062285B (zh) 一种访问NVMe存储设备的方法和NVMe存储设备
US10001944B2 (en) Systems and methods for data organization in storage systems using large erasure codes
CN108351813B (zh) 用于在非易失性存储器快速（NVMe）控制器的不同网络地址上使能个别的NVMe输入/输出（IO）队列的方法和装置
US8677035B2 (en) Data storage system with primary and secondary compression engines
CN103885909A (zh) 基于原生PCIe接口的SSD控制器及其控制方法
CN102982122A (zh) 一种适用于海量存储***的重复数据删除方法
CN112214166A (zh) 用于传输数据处理请求的方法和装置
CN107422989B (zh) 一种Server SAN***多副本读取方法及存储***
CN103209119A (zh) 一种低功耗嵌入式云智能网关
CN109375868B (zh) 一种数据存储方法、调度装置、***、设备及存储介质
CN104915153A (zh) 一种基于scst的双控缓存同步设计方法
US9552227B2 (en) System and method for context-aware adaptive computing
US10911063B2 (en) Adaptive speculative decoding
CN104615565A (zh) 一种传输速率达到12Gb的SAS卡装置
CN103984569A (zh) 一种hba卡加速方法
CN114415959B (zh) 一种sata磁盘动态加速访问方法和装置
CN103970690A (zh) 一种基于通道绑定的高性能高容错存储设计方法和装置
CN103516812A (zh) 一种加速云存储内部数据传输的方法
CN107852370B (zh) 用于可扩展网络缓冲器管理的***和方法
CN101610477B (zh) 多媒体消息业务的处理***和方法
US20210389906A1 (en) System and Method for Smart User Polling
CN104202259B (zh) 一种服务器动态资源重构的sas传输性能加速方法
CN204650521U (zh) 一种tb级数据库存储***
CN103744613A (zh) 降低i/o写延时的***与方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130612

WD01 Invention patent application deemed withdrawn after publication