CN107193693A - 一种基于存储***的在线数据存储优化方法 - Google Patents

Abstract

本发明公开了基于存储***的在线数据存储优化方法,包括以下步骤：1)原始数据下发到存储的缓存中，通过存储镜像复制功能存放到NVRAM中；镜像完成后，存储向主机反馈信息；2)存储***通过LZ4压缩算法形成数据优化后的不同长度的数据块；3)将多个数据块逻辑上合并为数据组；4)将数据组顺序写入最终存储介质中；5)将存储介质中数据块M以及同组所有数据块，通过读取操作存至***内存中；6)将数据块及同组所有数据块，解除数据存储优化，更新数据块进中的数据；再次将更新后的数据块以及同组数据块通过LZ4压缩算法进行数据存储优化操作；7)从逻辑上合并进入新的数据组，按照顺序写入最终的存储介质中及步骤4)中创建的卷中。

Description

一种基于存储***的在线数据存储优化方法

技术领域

本发明涉及数据信息处理技术领域，尤其涉及一种基于存储***的在线数据存储优化方法。

背景技术

随着数字化的多媒体信息尤其是数字视频、音频信号的数据量特别庞大，对于数据量的不断海量。如果不对其进行有效的数据存储优化处理就难以得到实际的应用。因此，数据存储优化技术已成为当今数字通信、广播、存储和多媒体娱乐中的一项关键的共性技术。各大领域对与存储空间优化技术要求越来越高。在对空间优化技术要求高的同时也要保证数据存储性能。

发明内容

本发明的目的就是为解决现有技术存在的上述问题，提供一种基于存储***的在线数据存储优化方法；本发明通过有效的在线数据存储优化，可以降低磁盘介质进行重复数据删除时的存储消耗，从而提高磁盘使用率，且不影响存储性能。对用户来讲，节省了存储空间，从而降低了投入成本。本发明解决技术问题的技术方案为：

一种基于存储***的在线数据存储优化方法,包括以下步骤：

1)原始数据通过主机下发到存储的缓存中，保存在缓存中的原始数据信息通过存储镜像复制功能，存放到两个存储控制器的NVRAM中，以确保数据的一致性；当镜像完成后，存储向主机反馈信息，表明写入操作已完成；

2)存储***对原始数据进行在线数据存储分析优化，所述在线数据存储分析优化采用LZ4压缩算法，通过LZ4压缩算法形成多个数据优化后的不同长度的数据块；

3)将不同长度的多个数据块逻辑上合并为数据组；

4)最后将数据组顺序写入最终存储介质中；

5)将存储介质中数据块M以及同组所有数据块，通过读取操作存至***内存中；

6)将数据块及同组所有数据块，解除数据存储优化，更新数据块进中的数据；再次将更新后的数据块以及同组数据块通过LZ4压缩算法进行数据存储优化操作；

7)从逻辑上合并进入新的数据组，按照顺序写入最终的存储介质中及步骤4)中创建的卷中。

所述步骤4)的最终存储介质为SSD或者磁盘。

所述最终存储介质的管理包括以下内容：

1)要在存储上创建新卷；

2)配置卷基本信息：填写卷名、卷的描述信息、卷性能策略、确认应用类型、加密功能配置、访问控制策略(无限制访问和限制访问两种)、CHAP名字以及允许多个initiator访问的配置信息；

3)配置卷的尺寸信息：卷的大小、卷所在的卷组、重删功能配置、卷空间配置的百分比数即预留的空间大小的配置信息；

4)配置卷保护策略信息：暂不不做快照备份策略、加入已有的一致性组、创建一个新的卷组、将卷单独进行保护，只需选择其中一个保护策略；

5)通过以上操作新卷创建完成，数据组按照顺序写入存储介质中；优化后的数据能够降低存储介质进行重复数据删除时的存储消耗，从而提高磁盘使用率。

本发明的有益效果：

1.本发明的方法采用有后备电源的镜像NVRAM(非易失缓存)做写缓存掉电安全保护，数据同时写入普通内存和NVRAM，并在两个控制器的NVRAM之间做镜像复制，镜像完成后就向主机回复写入操作完成，然后存储***对在内存中的数据进行优化处理，在线数据存储优化技术的基础是变长数据块布局，在线数据存储优化技术选用的LZ4压缩算法，实现了快速和资源成本低的效果，因此对控制器的CPU、内存等资源占用很少，数据存储优化的效果好，***整体基本不受影响，不需要考虑在线数据优化处理对性能的影响。通过实施示例中步骤3、6有效的在线数据存储优化，可以降低存储介质进行重复数据删除时的存储消耗，从而提高磁盘使用率，对用户来讲，节省了存储空间，从而降低了投入成本。

2.本发明中使用的NVRAM益处：在断电之后，所存储的数据不丢失，提高了数据的安全性；NVRAM是在DRAM和存储介质之间建立的一个新存储层级，性能优异、可靠性超高；NVRAM里有一个专门移动数据的处理器，会代替CPU把数据移动到NVRAM里，从而降低CPU资源的占用率。

3.本发明的方法最终存储的介质，如SDD或者磁盘，不仅可以通过管理进行基本的配置，而且还可以根据不同应用，选择相关的配置信息，能够多元化的满足用户的不同需求，为用户提供量身定制的数据存储优化方法。

4.本发明除虚拟化桌面VDI环境外，数据存储优化在更多的应用环境中效率优于重复数据删除，有效的在线数据存储优化，可以降低磁盘介质进行重复数据删除时的存储消耗，从而提高磁盘使用率。

附图说明

图1为发明的数据存储优化流程图。

具体实施方式

为了更好地理解本发明，下面结合附图来详细解释本发明的实施方式。

参考图1，一种基于存储***的在线数据存储优化方法,包括以下步骤：1)原始数据通过主机下发到存储的缓存中，保存在缓存中的原始数据信息通过存储镜像复制功能，存放到两个存储控制器的NVRAM中，以确保数据的一致性；当镜像完成后，存储向主机反馈信息，表明写入操作已完成；

2)存储***对原始数据进行在线数据存储分析优化，所述在线数据存储分析优化采用LZ4压缩算法，通过LZ4压缩算法形成多个数据优化后的不同长度的数据块。LZ4压缩算法对以快速和资源开销小为目标的压缩算法，因此对控制器的CPU、内存等资源占用很少，对性能也是微小的影响，最多3％的性能影响；

3)将不同长度的多个数据块逻辑上合并为数据组，即数据条带；

4)最后将数据组顺序写入最终存储介质中。

5)将存储介质中数据块M以及同组所有数据块，通过读取操作存至***内存中；

6)将数据块M及同组所有数据块，解除数据存储优化，更新数据块M进中的数据；再次将更新后的数据块M’以及同组数据块进行数据存储优化操作，同步骤(2)中采用了LZ4压缩算法的数据存储优化技术。可以降低存储介质进行重复数据删除时的存储消耗，从而提高磁盘使用率，节省了存储空间降低了成本；

7)从逻辑上合并进入新的数据组，即数据条带。按照顺序写入最终的存储介质中及步骤4)中创建的卷中。

所述步骤4)的最终存储介质为SSD或者磁盘。

所述最终存储介质的管理包括以下内容：

1)要在存储上创建新卷；

2)配置卷基本信息：填写卷名、卷的描述信息、卷性能策略、确认应用类型、加密功能配置、访问控制策略(无限制访问和限制访问两种)、CHAP名字以及允许多个initiator访问的配置信息；

3)配置卷的尺寸信息：卷的大小、卷所在的卷组、重删功能配置、卷空间配置的百分比数即预留的空间大小的配置信息；

4)配置卷保护策略信息：暂不不做快照备份策略、加入已有的一致性组、创建一个新的卷组、将卷单独进行保护，只需选择其中一个保护策略；

5)通过以上操作新卷创建完成，数据组按照顺序写入存储介质中；优化后的数据能够降低存储介质进行重复数据删除时的存储消耗，从而提高磁盘使用率。

上述虽然结合附图对发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (3)

1.一种基于存储***的在线数据存储优化方法,其特征是，包括以下步骤：

1)原始数据通过主机下发到存储的缓存中，保存在缓存中的原始数据信息通过存储镜像复制功能，存放到两个存储控制器的NVRAM中，以确保数据的一致性；当镜像完成后，存储向主机反馈信息，表明写入操作已完成；

2)存储***对原始数据进行在线数据存储分析优化，所述在线数据存储分析优化采用LZ4压缩算法，通过LZ4压缩算法形成多个数据优化后的不同长度的数据块；

3)将不同长度的多个数据块逻辑上合并为数据组；

4)最后将数据组顺序写入最终存储介质中；

5)将存储介质中数据块M以及同组所有数据块，通过读取操作存至***内存中；

6)将数据块及同组所有数据块，解除数据存储优化，更新数据块进中的数据；再次将更新后的数据块以及同组数据块通过LZ4压缩算法进行数据存储优化操作；

7)从逻辑上合并进入新的数据组，按照顺序写入最终的存储介质中及步骤4)中创建的卷中。

2.如权利要求1所述的一种基于存储***的在线数据存储优化方法,其特征是，所述步骤4)的最终存储介质为SSD或者磁盘。

3.如权利要求1所述的一种基于存储***的在线数据存储优化方法,其特征是，所述最终存储介质的管理包括以下内容：

1)要在存储上创建新卷；

2)配置卷基本信息：填写卷名、卷的描述信息、卷性能策略、确认应用类型、加密功能配置、访问控制策略(无限制访问和限制访问两种)、CHAP名字以及允许多个initiator访问的配置信息；

3)配置卷的尺寸信息：卷的大小、卷所在的卷组、重删功能配置、卷空间配置的百分比数即预留的空间大小的配置信息；

4)配置卷保护策略信息：暂不不做快照备份策略、加入已有的一致性组、创建一个新的卷组、将卷单独进行保护，只需选择其中一个保护策略；

5)通过以上操作新卷创建完成，数据组按照顺序写入存储介质中；优化后的数据能够降低存储介质进行重复数据删除时的存储消耗，从而提高磁盘使用率。