CN105159607A - 一种基于离散存储的高速写入的方法 - Google Patents

一种基于离散存储的高速写入的方法 Download PDF

Info

Publication number
CN105159607A
CN105159607A CN201510543144.6A CN201510543144A CN105159607A CN 105159607 A CN105159607 A CN 105159607A CN 201510543144 A CN201510543144 A CN 201510543144A CN 105159607 A CN105159607 A CN 105159607A
Authority
CN
China
Prior art keywords
data
write
burst
information
fragment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510543144.6A
Other languages
English (en)
Inventor
何营
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Beijing Electronic Information Industry Co Ltd
Original Assignee
Inspur Beijing Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Beijing Electronic Information Industry Co Ltd filed Critical Inspur Beijing Electronic Information Industry Co Ltd
Priority to CN201510543144.6A priority Critical patent/CN105159607A/zh
Publication of CN105159607A publication Critical patent/CN105159607A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于离散存储的高速写入的方法，其特征在于在实际写入数据时，数据进行分片，每一个分片内容直接增加到存储中，所有的分片信息写入到非易失的内存中；在覆盖写入时，对数据分进行后将分片内容离散的递增到数据盘上，把实际的分片信息存入到非易失内存中；在写入完毕并且分片信息存储完毕后，删除老的分片。

Description

一种基于离散存储的高速写入的方法
技术领域
本发明涉及到存储软件领域，具体涉及一种基于离散存储的高速写入的方法。
背景技术
在存储软件领域，使用日志盘加数据盘的存储方法是一种比较常见的方法，当数据写入时会优先写入日志盘，当数据在日志盘中写入完成后再写入到数据盘中。这种方式的缺点在于日志盘与数据盘写入数据各一次，硬盘性能损耗50％以上。甚至有些数据存储方法是把描述数据文件信息的元数据存储到数据盘硬盘上，在进行元数据操作时实际是在操作硬盘，对于硬盘来说损耗很大。
发明内容
为了解决上述技术问题，本发明提供了一种基于离散存储的高速写入的方法，操作单元对写入内容进行分片；将分片后的数据传送给分片数据存储单元进行写入操作，将对实际的写入请求完全转化为增加写入的操作；将分片信息传送给分片管理及元数据管理单元，所述单元进行分片信息的更新。
进一步的，所述数据分片的每一个分片数据直接写入到分片数据存储中。
进一步的，所述数据分片的所有分片信息和元数据信息存入到NVDIMM(非易失内存)中。
进一步的，在覆盖写入时，对数据进行分片；
进一步的，所述数据分片的分片后的分片数据离散的递增到分片数据存储中；
进一步的，在写入完毕并且分片信息存储完毕后，删除老的分片。
进一步的，在有读取任务时，操作单元会根据读取内容从分片管理机元数据管理组件中获取数据的分片情况，
进一步的，在有读取任务时，操作单元根据分片情况从分片数据存储组件中实际读取到数据。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1为根据本发明一实施例的***框架示意图；
图2为根据本发明一实施例的写入流程图；
图3为根据本发明一实施例的读取流程图。
具体实施方式
本发明作为一种基于离散存储的高速读写的方法，该方法是通过将数据直接写入到硬盘来提升数据写入速度，可以不损耗硬盘性能；提升元数据的操作性能；提升整体存储的性能，降低硬件成本。
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
如图1所示，本发明所涉及的数据读写***架构包括三个组件，分别有操作单元、分片管理及元数据管理单元、分片数据存储单元。
操作单元：对写入任务和读取任务的统一调度，对写入操作及读取操作进行统一处理；当进行写入任务时，操作单元将待写入数据分片，并产生分片信息和元数据信息，并将分片信息和元数据信息传送给分片管理及元数据管理单元，将分片数据传送给分片数据存储单元；当进行读取任务时，操作单元根据读取数据的信息去分片管理及元数据管理单元获取待读取数据的分片信息和元数据信息，然后根据上述信息去分片数据存储单元读取分片数据。
分片管理及元数据管理单元：管理所有的分片信息及元数据信息，分片信息和元数据信息存储到NVDIMM中，NVDIMM能够在完全断电的时候依然保存完整内存数据。本发明所述的数据读写***通过NVDIMM的访问速度快和断电不丢失的特性保证访问性能及可靠性。
分片数据存储单元：存储了所有的实际分片数据，这些分片数据存储到实际硬盘上，写入数据时按照递增写入的方式。
如图2所示，当有写入请求时，操作单元对写入内容进行分片，将分片后的数据传送给分片数据存储单元进行写入操作，将对实际的写入请求完全转化为增加写入的操作，提升硬盘写入性能；并将分片信息传送给分片管理及元数据管理单元，所述单元进行分片信息的更新，写入到NVDIMM(非易失内存)，同时进行元数据信息的更新。在写入完毕并且分片信息存储完毕后，删除老的分片。在覆盖写入时，对数据进行分片。
如图3所示，当有读取任务时，操作单元会根据读取内容从分片管理机元数据管理组件中获取数据的分片情况，根据分片情况从分片数据存储组件中实际读取到数据。
综上就是基于离散存储的高速写入的方法。
虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种基于离散存储的高速写入的方法，其特征在于，包括：
操作单元对写入内容进行分片；
将分片后的数据传送给分片数据存储单元进行写入操作，将对实际的写入请求完全转化为增加写入的操作；
将分片信息传送给分片管理及元数据管理单元，所述单元进行分片信息的更新。
2.根据权利要求1所述的方法，其特征在于，所述数据分片的每一个分片数据直接写入到分片数据存储中。
3.根据权利要求1所述的方法，其特征在于，所述数据分片的所有分片信息和元数据信息存入到NVDIMM(非易失内存)中。
4.根据权利要求1所述的方法，其特征在于，所述数据写入的方法，在覆盖写入时，对数据进行分片。
5.根据权利要求1所述的方法，其特征在于，所述数据分片的分片后的分片数据离散的递增到分片数据存储中。
6.根据权利要求1所述的方法，其特征在于，所述数据写入的方法，在写入完毕并且分片信息存储完毕后，删除老的分片。
7.根据权利要求1所述的方法，其特征在于，在有读取任务时，操作单元会根据读取内容从分片管理机元数据管理组件中获取数据的分片情况。
8.根据权利要求7所述的方法，其特征在于，在有读取任务时，操作单元根据分片情况从分片数据存储组件中实际读取到数据。
9.一种基于离散存储的高速读写的***，其特征在于，包括：
操作单元，用于对写入任务和读取任务的统一调度，对写入操作及读取操作进行统一处理；
分片管理及元数据管理单元，用于管理所有的分片信息及元数据信息；
分片数据存储单元，用于存储所有的实际分片数据，这些分片数据存储到实际硬盘上，写入数据时按照递增写入的方式。
10.根据权利要求9所述的高速读写的***，其特征在于，
对于所述处理单元，当进行写入任务时，操作单元将待写入数据分片，并产生分片信息和元数据信息，并将分片信息和元数据信息传送给分片管理及元数据管理单元，将分片数据传送给分片数据存储单元；当进行读取任务时，操作单元根据读取数据的信息去分片管理及元数据管理单元获取待读取数据的分片信息和元数据信息，然后根据上述信息去分片数据存储单元读取分片数据。
CN201510543144.6A 2015-08-28 2015-08-28 一种基于离散存储的高速写入的方法 Pending CN105159607A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510543144.6A CN105159607A (zh) 2015-08-28 2015-08-28 一种基于离散存储的高速写入的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510543144.6A CN105159607A (zh) 2015-08-28 2015-08-28 一种基于离散存储的高速写入的方法

Publications (1)

Publication Number Publication Date
CN105159607A true CN105159607A (zh) 2015-12-16

Family

ID=54800481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510543144.6A Pending CN105159607A (zh) 2015-08-28 2015-08-28 一种基于离散存储的高速写入的方法

Country Status (1)

Country Link
CN (1) CN105159607A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018081960A1 (zh) * 2016-11-02 2018-05-11 华为技术有限公司 管理文件的方法、文件***和服务器***
CN110018897A (zh) * 2018-01-09 2019-07-16 阿里巴巴集团控股有限公司 数据处理方法、装置及计算设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673271A (zh) * 2008-09-09 2010-03-17 青岛海信传媒网络技术有限公司 分布式文件***及其文件分片方法
CN103699494A (zh) * 2013-12-06 2014-04-02 北京奇虎科技有限公司 一种数据存储方法、数据存储设备和分布式存储***
CN104503708A (zh) * 2014-12-29 2015-04-08 成都致云科技有限公司 数据散列存储的方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673271A (zh) * 2008-09-09 2010-03-17 青岛海信传媒网络技术有限公司 分布式文件***及其文件分片方法
CN103699494A (zh) * 2013-12-06 2014-04-02 北京奇虎科技有限公司 一种数据存储方法、数据存储设备和分布式存储***
CN104503708A (zh) * 2014-12-29 2015-04-08 成都致云科技有限公司 数据散列存储的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PHILLIP G.SCHEIN等著: "《Exchange 2000.NET Server技术内幕》", 31 July 2002, 北京：中国水利水电出版社 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018081960A1 (zh) * 2016-11-02 2018-05-11 华为技术有限公司 管理文件的方法、文件***和服务器***
CN110018897A (zh) * 2018-01-09 2019-07-16 阿里巴巴集团控股有限公司 数据处理方法、装置及计算设备
US11354050B2 (en) 2018-01-09 2022-06-07 Alibaba Group Holding Limited Data processing method, apparatus, and computing device

Similar Documents

Publication Publication Date Title
US11226747B2 (en) System and method for copy on write on an SSD
US8225029B2 (en) Data storage processing method, data searching method and devices thereof
US10649897B2 (en) Access request processing method and apparatus, and computer device
KR102002830B1 (ko) 세그먼트 클리닝 장치 및 방법
US8516182B2 (en) Controller and memory system for managing data
US8914579B2 (en) Access device, information recording device, controller, and information recording system
US20190155549A1 (en) File system and file storage method based on large-capacity optical disc library
CN106326229B (zh) 一种嵌入式***的文件存储方法和装置
US9684664B2 (en) Elimination of fragmentation of files in storage medium by utilizing head movement time
KR20150104434A (ko) 플래시 메모리에서 사용하는 로그 구조 파일시스템의 메타데이터 저장 방법
CN104268088A (zh) 车载dvr硬盘数据存储方法
CN105094695A (zh) 一种存储方法和***
CN107203330B (zh) 一种面向读写数据流的闪存数据分布方法
US10606746B2 (en) Access request processing method and apparatus, and computer system
CN105260139B (zh) 一种磁盘管理方法以及***
CN103092849A (zh) 文件***簇管理方法
CN116257460B (zh) 基于固态硬盘的Trim命令处理方法及固态硬盘
CN105389268A (zh) 资料储存***及其运作方法
CN105159607A (zh) 一种基于离散存储的高速写入的方法
CN103257928B (zh) 闪存设备数据管理方法和***
CN111026678B (zh) 基于固态硬盘的缓存设计方法、装置及计算机设备
CN105095418A (zh) 一种处理写请求的方法和装置
JP6215631B2 (ja) コンピュータシステム及びそのデータ管理方法
US20150331620A1 (en) Method of securely erasing a non-volatile semiconductor mass memory, computer system, and computer program product
CN105589912A (zh) 一种利用mram处理频写文件的方法及存储结构

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20151216