CN106877877A - 一种在线数据压缩在存储中的集成方法及*** - Google Patents
一种在线数据压缩在存储中的集成方法及*** Download PDFInfo
- Publication number
- CN106877877A CN106877877A CN201710112767.7A CN201710112767A CN106877877A CN 106877877 A CN106877877 A CN 106877877A CN 201710112767 A CN201710112767 A CN 201710112767A CN 106877877 A CN106877877 A CN 106877877A
- Authority
- CN
- China
- Prior art keywords
- data
- compression
- module
- upper strata
- data block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007906 compression Methods 0.000 claims abstract description 190
- 230000006835 compression Effects 0.000 claims abstract description 189
- 241001269238 Data Species 0.000 claims abstract description 8
- 238000004321 preservation Methods 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000013144 data compression Methods 0.000 description 9
- 230000001934 delay Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0608—Saving storage space on storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0656—Data buffering arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0673—Single storage device
- G06F3/0674—Disk device
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Memory System Of A Hierarchy Structure (AREA)
Abstract
本发明提供一种在线数据压缩在存储中的集成方法及***,将IO数据写入上层缓存中;压缩模块根据预设的压缩量将上层缓存中多个IO数据进行组合压缩,形成组合压缩IO数据块;压缩模块针对组合压缩IO数据块中的每个IO数据对应生成一元数据,元数据用于记录压缩前后的每个IO数据处于磁盘中的位置;压缩模块将组合压缩IO数据块以及与该组合压缩IO数据块内部IO数据相对应的元数据下发给下层缓存;下层缓存保存组合压缩IO数据块和元数据;下层缓存将保存的组合压缩IO数据块和元数据保存到后端磁盘。数据经过压缩后才会下发到后端磁盘,这样利用较少的磁盘空间存储较大的数据,提高磁盘的空间利用率和整个存储***的性能。
Description
技术领域
本发明涉及数据存储领域,尤其涉及一种在线数据压缩在存储中的集成方法及***。
背景技术
当今社会数据量暴增,这个对整个IT的结构造成了严重的冲击,尤其是磁盘容量的需求越来越大,这无疑增加了企业的成本。为了降低数据的存储量,通常采用将数据压缩后进行储存,而传统的压缩一般是非实时压缩,传统压缩首先是将数据存储到后端磁盘,然后在存储***空闲的时候,从后端磁盘将数据读取出来进行压缩,压缩完毕后将压缩的IO存储到磁盘,这样数据压缩无法预估数据的压缩率,需要再次从磁盘读取出来进行压缩,压缩数据是非实时生效的。
发明内容
为了克服上述现有技术中的不足,本发明提供一种在线数据压缩在存储中的集成方法,方法包括:
将IO数据写入上层缓存中;
压缩模块根据预设的压缩量将上层缓存中多个IO数据进行组合压缩,形成组合压缩IO数据块;
压缩模块针对组合压缩IO数据块中的每个IO数据对应生成一元数据,元数据用于记录压缩前后的每个IO数据处于磁盘中的位置;
压缩模块将组合压缩IO数据块以及与该组合压缩IO数据块内部IO数据相对应的元数据下发给下层缓存;
下层缓存保存组合压缩IO数据块和元数据;
下层缓存将保存的组合压缩IO数据块和元数据保存到后端磁盘。
优选地,主机接口层接收读IO数据请求,并在上层缓存中读取IO数据;
若在上层缓存中读取到所述IO数据,则将IO数据返回给主机接口层。
优选地,若在上层缓存中未读取到所述IO数据,则将IO数据读请求发送至压缩模块,在压缩模块中读取IO数据;
若在压缩模块中读取到所述IO数据,则将IO数据返回给上层缓存,继而返回至主机接口层。
优选地,若在压缩模块中未读取到所述IO数据,则将IO数据读请求发送至下层缓存,在下层缓存读取所述IO数据的元数据,根据元数据信息查找到对应的组合压缩IO数据块内的IO数据;
若在下层缓存中读取到所述IO数据,则将IO数据所在的组合压缩IO数据块返回至压缩模块,压缩模块对所述组合压缩IO数据块进行解压,恢复IO数据;
将IO数据返回给上层缓存,继而返回至主机接口层。
优选地,若在下层缓存中未读取到所述IO数据,则在后端磁盘读取所述IO数据的元数据,根据元数据信息查找到对应的组合压缩IO数据块内的IO数据;
若在后端磁盘中读取到所述IO数据,则将IO数据所在的组合压缩IO数据块返回至压缩模块,压缩模块对所述组合压缩IO数据块进行解压,恢复IO数据;
将IO数据返回给上层缓存,继而返回至主机接口层。
优选地,预设的压缩量的获取方式包括:
在上层缓存随机抽取N个IO数据块,N为非零的自然数,对抽取的IO数据块进行组合压缩,组合压缩后计算出N个IO数据块的平均MD5值,将该值作为预设的压缩量。
一种在线数据压缩在存储中的集成***,包括:上层缓存模块,压缩模块,下层缓存模块,后端磁盘;
上层缓存模块用于供IO数据写入;
压缩模块用于根据预设的压缩量将上层缓存模块中多个IO数据进行组合压缩,形成组合压缩IO数据块;压缩模块针对组合压缩IO数据块中的每个IO数据对应生成一元数据,元数据用于记录压缩前后的每个IO数据处于磁盘中的位置;压缩模块将组合压缩IO数据块以及与该组合压缩IO数据块内部IO数据相对应的元数据下发给下层缓存模块;
下层缓存模块用于保存组合压缩IO数据块和元数据,并将保存的组合压缩IO数据块和元数据保存到后端磁盘。
优选地,还包括:上层缓存IO数据处理模块,压缩模块IO数据处理模块,下层缓存IO数据处理模块;
上层缓存IO数据处理模块用于根据主机接口层接收读IO数据请求,上层缓存IO数据处理模块在上层缓存模块中读取IO数据,若在上层缓存中读取到所述IO数据,则将IO数据返回给主机接口层;
压缩模块IO数据处理模块用于若在上层缓存模块中未读取到所述IO数据,上层缓存IO数据处理模块将IO数据读请求发送至压缩模块,压缩模块IO数据处理模块在压缩模块中读取IO数据;若在压缩模块中读取到所述IO数据,则将IO数据返回给上层缓存,继而返回至主机接口层;
下层缓存IO数据处理模块用于若在压缩模块中未读取到所述IO数据,则将IO数据读请求发送至下层缓存模块,下层缓存IO数据处理模块在下层缓存模块读取所述IO数据的元数据,根据元数据信息查找到对应的组合压缩IO数据块内的IO数据;
若在下层缓存模块中读取到所述IO数据,则将IO数据所在的组合压缩IO数据块返回至压缩模块,压缩模块对所述组合压缩IO数据块进行解压,恢复IO数据;将IO数据返回给上层缓存模块,继而返回至主机接口层。
优选地,还包括:后端磁盘数据处理模块;
后端磁盘数据处理模块用于若在下层缓存模块中未读取到所述IO数据,则在后端磁盘读取所述IO数据的元数据,根据元数据信息查找到对应的组合压缩IO数据块内的IO数据;若在后端磁盘中读取到所述IO数据,则将IO数据所在的组合压缩IO数据块返回至压缩模块,压缩模块对所述组合压缩IO数据块进行解压,恢复IO数据;将IO数据返回给上层缓存模块,继而返回至主机接口层。
优选地,还包括:预设的压缩量设置模块;
预设的压缩量设置模块用于在上层缓存模块随机抽取N个IO数据块,N为非零的自然数,对抽取的IO数据块进行组合压缩,组合压缩后计算出N个IO数据块的平均MD5值,将该值作为预设的压缩量。
从以上技术方案可以看出,本发明具有以下优点:
在线数据压缩在存储中的集成方法涉及了压缩模块,存储从前端接收IO数据进行压缩,压缩后下发到缓存,然后由缓存刷写到后端磁盘。与传统的压缩相比,在线数据压缩可以预估数据的压缩率,因为IO数据在下发磁盘之前已经完成压缩;在线压缩还节约了磁盘空间,不需要再次从磁盘读取出来进行压缩;压缩数据是实时生效的,并且对IO数据的性能不产生影响。
附图说明
为了更清楚地说明本发明的技术方案,下面将对描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为在线数据压缩在存储中的集成方法的整体流程图;
图2为IO数据的读取方式流程图;
图3为IO数据的另一读取方式流程图;
图4为IO数据的另一读取方式流程图;
图5为在线数据压缩在存储中的集成***整体示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将运用具体的实施例及附图,对本发明保护的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本专利中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本专利保护的范围。
本实施例提供一种在线数据压缩在存储中的集成方法,如图1所示,方法包括:
S1:将IO数据写入上层缓存中;
S2:压缩模块根据预设的压缩量将上层缓存中多个IO数据进行组合压缩,形成组合压缩IO数据块;
S3:压缩模块针对组合压缩IO数据块中的每个IO数据对应生成一元数据,元数据用于记录压缩前后的每个IO数据处于磁盘中的位置;
S4:压缩模块将组合压缩IO数据块以及与该组合压缩IO数据块内部IO数据相对应的元数据下发给下层缓存;
S5:下层缓存保存组合压缩IO数据块和元数据;
S6:下层缓存将保存的组合压缩IO数据块和元数据保存到后端磁盘。
数据经过压缩后才会下发到后端磁盘,这样利用较少的磁盘空间存储较大的数据,提高磁盘的空间利用率和整个存储***的性能,将压缩功能集成到传统存储中。本实施例中采用实时压缩方法,数据在存储到后端磁盘之前已经完成了对数据的压缩,而且在线实时压缩不会影响IO数据的性能。
在压缩过程中虽然压缩本身耗掉了一部分资源并且增加了延迟,但是在IO写磁盘过程时节约了时间,整体实测结果表明压缩性能并没有下降。
其中,预设的压缩量的获取方式包括:在上层缓存随机抽取N个IO数据块,N为非零的自然数,对抽取的IO数据块进行组合压缩,组合压缩后计算出N个IO数据块的平均MD5值,将该值作为预设的压缩量。
例如:在上层缓存随机抽取三个IO数据块进行压缩,每个IO数据块压缩后均为4K,压缩完毕后计算出这三个IO数据块的平均MD5值,将该值作为预设的压缩量。
压缩模块根据预设的压缩量将上层缓存中多个IO数据进行组合压缩,当压缩值跟预设的压缩量相等时,此大小为组合压缩IO数据块的大小。
本实施例中,如图2所示, IO数据的读取方式为:
S11:主机接口层接收读IO数据请求,并在上层缓存中读取IO数据;
S12:若在上层缓存中读取到所述IO数据,则将IO数据返回给主机接口层。
本实施例中,如图3所示, IO数据的读取方式为:
S21:主机接口层接收读IO数据请求,并在上层缓存中读取IO数据;
S22:若在上层缓存中未读取到所述IO数据,则将IO数据读请求发送至压缩模块,在压缩模块中读取IO数据;
S23:若在压缩模块中读取到所述IO数据,则将IO数据返回给上层缓存,继而返回至主机接口层。
本实施例中,如图4所示, IO数据的读取方式为:
S31:主机接口层接收读IO数据请求,并在上层缓存中读取IO数据;
S32:若在上层缓存中未读取到所述IO数据,则将IO数据读请求发送至压缩模块,在压缩模块中读取IO数据;
S33:若在压缩模块中未读取到所述IO数据,则将IO数据读请求发送至下层缓存,在下层缓存读取所述IO数据的元数据,根据元数据信息查找到对应的组合压缩IO数据块内的IO数据;
S34:若在下层缓存中读取到所述IO数据,则将IO数据所在的组合压缩IO数据块返回至压缩模块,压缩模块对所述组合压缩IO数据块进行解压,恢复IO数据;
S35:将IO数据返回给上层缓存,继而返回至主机接口层。
进一步的,若在下层缓存中未读取到所述IO数据,则在后端磁盘读取所述IO数据的元数据,根据元数据信息查找到对应的组合压缩IO数据块内的IO数据;
若在后端磁盘中读取到所述IO数据,则将IO数据所在的组合压缩IO数据块返回至压缩模块,压缩模块对所述组合压缩IO数据块进行解压,恢复IO数据;
将IO数据返回给上层缓存,继而返回至主机接口层。
本发明还提供一种在线数据压缩在存储中的集成***,如图5所示,包括:上层缓存模块1,压缩模块2,下层缓存模块3,后端磁盘4;
上层缓存模块1用于供IO数据写入;
压缩模块2用于根据预设的压缩量将上层缓存模块1中多个IO数据进行组合压缩,形成组合压缩IO数据块;压缩模块2针对组合压缩IO数据块中的每个IO数据对应生成一元数据,元数据用于记录压缩前后的每个IO数据处于磁盘中的位置;压缩模块2将组合压缩IO数据块以及与该组合压缩IO数据块内部IO数据相对应的元数据下发给下层缓存模块3;下层缓存模块3用于保存组合压缩IO数据块和元数据,并将保存的组合压缩IO数据块和元数据保存到后端磁盘4。
本实施例中,还包括:上层缓存IO数据处理模块,压缩模块IO数据处理模块,下层缓存IO数据处理模块;
上层缓存IO数据处理模块用于根据主机接口层接收读IO数据请求,上层缓存IO数据处理模块在上层缓存模块中读取IO数据,若在上层缓存中读取到所述IO数据,则将IO数据返回给主机接口层;
压缩模块IO数据处理模块用于若在上层缓存模块中未读取到所述IO数据,上层缓存IO数据处理模块将IO数据读请求发送至压缩模块,压缩模块IO数据处理模块在压缩模块中读取IO数据;若在压缩模块中读取到所述IO数据,则将IO数据返回给上层缓存,继而返回至主机接口层;
下层缓存IO数据处理模块用于若在压缩模块中未读取到所述IO数据,则将IO数据读请求发送至下层缓存模块,下层缓存IO数据处理模块在下层缓存模块读取所述IO数据的元数据,根据元数据信息查找到对应的组合压缩IO数据块内的IO数据;
若在下层缓存模块中读取到所述IO数据,则将IO数据所在的组合压缩IO数据块返回至压缩模块,压缩模块对所述组合压缩IO数据块进行解压,恢复IO数据;将IO数据返回给上层缓存模块,继而返回至主机接口层。
集成***还包括:后端磁盘数据处理模块;后端磁盘数据处理模块用于若在下层缓存模块中未读取到所述IO数据,则在后端磁盘读取所述IO数据的元数据,根据元数据信息查找到对应的组合压缩IO数据块内的IO数据;若在后端磁盘中读取到所述IO数据,则将IO数据所在的组合压缩IO数据块返回至压缩模块,压缩模块对所述组合压缩IO数据块进行解压,恢复IO数据;将IO数据返回给上层缓存模块,继而返回至主机接口层。
集成***还包括:预设的压缩量设置模块;预设的压缩量设置模块用于在上层缓存模块随机抽取N个IO数据块,N为非零的自然数,对抽取的IO数据块进行组合压缩,组合压缩后计算出N个IO数据块的平均MD5值,将该值作为预设的压缩量。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参考即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种在线数据压缩在存储中的集成方法,其特征在于,方法包括:
将IO数据写入上层缓存中;
压缩模块根据预设的压缩量将上层缓存中多个IO数据进行组合压缩,形成组合压缩IO数据块;
压缩模块针对组合压缩IO数据块中的每个IO数据对应生成一元数据,元数据用于记录压缩前后的每个IO数据处于磁盘中的位置;
压缩模块将组合压缩IO数据块以及与该组合压缩IO数据块内部IO数据相对应的元数据下发给下层缓存;
下层缓存保存组合压缩IO数据块和元数据;
下层缓存将保存的组合压缩IO数据块和元数据保存到后端磁盘。
2.根据权利要求1所述的在线数据压缩在存储中的集成方法,其特征在于,
主机接口层接收读IO数据请求,并在上层缓存中读取IO数据;
若在上层缓存中读取到所述IO数据,则将IO数据返回给主机接口层。
3.根据权利要求2所述的在线数据压缩在存储中的集成方法,其特征在于,
若在上层缓存中未读取到所述IO数据,则将IO数据读请求发送至压缩模块,在压缩模块中读取IO数据;
若在压缩模块中读取到所述IO数据,则将IO数据返回给上层缓存,继而返回至主机接口层。
4.根据权利要求3所述的在线数据压缩在存储中的集成方法,其特征在于,
若在压缩模块中未读取到所述IO数据,则将IO数据读请求发送至下层缓存,在下层缓存读取所述IO数据的元数据,根据元数据信息查找到对应的组合压缩IO数据块内的IO数据;
若在下层缓存中读取到所述IO数据,则将IO数据所在的组合压缩IO数据块返回至压缩模块,压缩模块对所述组合压缩IO数据块进行解压,恢复IO数据;
将IO数据返回给上层缓存,继而返回至主机接口层。
5.根据权利要求4所述的在线数据压缩在存储中的集成方法,其特征在于,
若在下层缓存中未读取到所述IO数据,则在后端磁盘读取所述IO数据的元数据,根据元数据信息查找到对应的组合压缩IO数据块内的IO数据;
若在后端磁盘中读取到所述IO数据,则将IO数据所在的组合压缩IO数据块返回至压缩模块,压缩模块对所述组合压缩IO数据块进行解压,恢复IO数据;
将IO数据返回给上层缓存,继而返回至主机接口层。
6.根据权利要求1所述的在线数据压缩在存储中的集成方法,其特征在于,
预设的压缩量的获取方式包括:
在上层缓存随机抽取N个IO数据块,N为非零的自然数,对抽取的IO数据块进行组合压缩,组合压缩后计算出N个IO数据块的平均MD5值,将该值作为预设的压缩量。
7.一种在线数据压缩在存储中的集成***,其特征在于,包括:上层缓存模块,压缩模块,下层缓存模块,后端磁盘;
上层缓存模块用于供IO数据写入;
压缩模块用于根据预设的压缩量将上层缓存模块中多个IO数据进行组合压缩,形成组合压缩IO数据块;压缩模块针对组合压缩IO数据块中的每个IO数据对应生成一元数据,元数据用于记录压缩前后的每个IO数据处于磁盘中的位置;压缩模块将组合压缩IO数据块以及与该组合压缩IO数据块内部IO数据相对应的元数据下发给下层缓存模块;
下层缓存模块用于保存组合压缩IO数据块和元数据,并将保存的组合压缩IO数据块和元数据保存到后端磁盘。
8.根据权利要求7所述的在线数据压缩在存储中的集成***,其特征在于,
还包括:上层缓存IO数据处理模块,压缩模块IO数据处理模块,下层缓存IO数据处理模块;
上层缓存IO数据处理模块用于根据主机接口层接收读IO数据请求,上层缓存IO数据处理模块在上层缓存模块中读取IO数据,若在上层缓存中读取到所述IO数据,则将IO数据返回给主机接口层;
压缩模块IO数据处理模块用于若在上层缓存模块中未读取到所述IO数据,上层缓存IO数据处理模块将IO数据读请求发送至压缩模块,压缩模块IO数据处理模块在压缩模块中读取IO数据;若在压缩模块中读取到所述IO数据,则将IO数据返回给上层缓存,继而返回至主机接口层;
下层缓存IO数据处理模块用于若在压缩模块中未读取到所述IO数据,则将IO数据读请求发送至下层缓存模块,下层缓存IO数据处理模块在下层缓存模块读取所述IO数据的元数据,根据元数据信息查找到对应的组合压缩IO数据块内的IO数据;
若在下层缓存模块中读取到所述IO数据,则将IO数据所在的组合压缩IO数据块返回至压缩模块,压缩模块对所述组合压缩IO数据块进行解压,恢复IO数据;将IO数据返回给上层缓存模块,继而返回至主机接口层。
9.根据权利要求7所述的在线数据压缩在存储中的集成***,其特征在于,
还包括:后端磁盘数据处理模块;
后端磁盘数据处理模块用于若在下层缓存模块中未读取到所述IO数据,则在后端磁盘读取所述IO数据的元数据,根据元数据信息查找到对应的组合压缩IO数据块内的IO数据;若在后端磁盘中读取到所述IO数据,则将IO数据所在的组合压缩IO数据块返回至压缩模块,压缩模块对所述组合压缩IO数据块进行解压,恢复IO数据;将IO数据返回给上层缓存模块,继而返回至主机接口层。
10.根据权利要求7所述的在线数据压缩在存储中的集成***,其特征在于,
还包括:预设的压缩量设置模块;
预设的压缩量设置模块用于在上层缓存模块随机抽取N个IO数据块,N为非零的自然数,对抽取的IO数据块进行组合压缩,组合压缩后计算出N个IO数据块的平均MD5值,将该值作为预设的压缩量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710112767.7A CN106877877B (zh) | 2017-02-28 | 2017-02-28 | 一种在线数据压缩在存储中的集成方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710112767.7A CN106877877B (zh) | 2017-02-28 | 2017-02-28 | 一种在线数据压缩在存储中的集成方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106877877A true CN106877877A (zh) | 2017-06-20 |
CN106877877B CN106877877B (zh) | 2020-11-27 |
Family
ID=59168105
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710112767.7A Active CN106877877B (zh) | 2017-02-28 | 2017-02-28 | 一种在线数据压缩在存储中的集成方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106877877B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107910046A (zh) * | 2017-11-24 | 2018-04-13 | 郑州云海信息技术有限公司 | 一种医学图像实时压缩***及方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1612252A (zh) * | 2003-10-31 | 2005-05-04 | 浙江中控技术股份有限公司 | 实时数据在线压缩与解压缩方法 |
US20130145059A1 (en) * | 2009-07-23 | 2013-06-06 | Stec, Inc. | Data storage system with primary and secondary compression engines |
CN103685589A (zh) * | 2012-09-07 | 2014-03-26 | 中国科学院计算机网络信息中心 | 基于二进制编码的dns数据压缩、解压缩方法及*** |
CN103744627A (zh) * | 2014-01-26 | 2014-04-23 | 武汉英泰斯特电子技术有限公司 | 对实时采集的数据压缩存储的方法及*** |
US20160371037A1 (en) * | 2013-03-15 | 2016-12-22 | Western Digital Technologies, Inc. | Compression and formatting of data for data storage systems |
CN106406766A (zh) * | 2016-09-23 | 2017-02-15 | 郑州云海信息技术有限公司 | 一种数据存储方法及装置 |
-
2017
- 2017-02-28 CN CN201710112767.7A patent/CN106877877B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1612252A (zh) * | 2003-10-31 | 2005-05-04 | 浙江中控技术股份有限公司 | 实时数据在线压缩与解压缩方法 |
US20130145059A1 (en) * | 2009-07-23 | 2013-06-06 | Stec, Inc. | Data storage system with primary and secondary compression engines |
CN103685589A (zh) * | 2012-09-07 | 2014-03-26 | 中国科学院计算机网络信息中心 | 基于二进制编码的dns数据压缩、解压缩方法及*** |
US20160371037A1 (en) * | 2013-03-15 | 2016-12-22 | Western Digital Technologies, Inc. | Compression and formatting of data for data storage systems |
CN103744627A (zh) * | 2014-01-26 | 2014-04-23 | 武汉英泰斯特电子技术有限公司 | 对实时采集的数据压缩存储的方法及*** |
CN106406766A (zh) * | 2016-09-23 | 2017-02-15 | 郑州云海信息技术有限公司 | 一种数据存储方法及装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107910046A (zh) * | 2017-11-24 | 2018-04-13 | 郑州云海信息技术有限公司 | 一种医学图像实时压缩***及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106877877B (zh) | 2020-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105005617B (zh) | 一种时间序列数据的存储方法及装置 | |
US20120166400A1 (en) | Techniques for processing operations on column partitions in a database | |
CN107506447A (zh) | 一种基于本地文件***的小文件读写方法及*** | |
CN101430657B (zh) | 一种连续数据保护方法 | |
CN102147768B (zh) | 存储器、固态缓存***及缓存数据处理方法 | |
CN108540556B (zh) | 一种基于高速缓存的精细化Session集群共享***及方法 | |
CN106776759A (zh) | 分布式文件***的小文件预读方法及*** | |
WO2007049109A3 (en) | Method and system for compression of logical data objects for storage | |
CN106649891A (zh) | 一种分布式数据存储方法和*** | |
CN106569750A (zh) | 一种数据压缩方法及装置 | |
CN108089825B (zh) | 一种基于分布式集群的存储*** | |
CN110908608A (zh) | 一种存储空间节省方法及*** | |
CN105573682A (zh) | 一种san存储***及其数据读写方法 | |
CN107168651A (zh) | 一种小文件聚合存储处理方法 | |
CN104239231B (zh) | 一种加速二级缓存预热的方法及装置 | |
CN106877877A (zh) | 一种在线数据压缩在存储中的集成方法及*** | |
CN109739696A (zh) | 一种双控存储阵列固态硬盘缓存加速方法 | |
CN104281517B (zh) | 一种基于日志方式的存储空间管理方法和装置 | |
CN106776361A (zh) | 一种面向大规模非易失性存储介质的缓存方法和*** | |
CN103617008A (zh) | 车载视频监控终端的双sd卡多媒体文件存储***及方法 | |
US20130205071A1 (en) | Compressed cache storage acceleration | |
GB2604266A (en) | Compression techniques for pixel write data | |
CN113031858A (zh) | 一种基于多双活存储的数据处理方法、***及介质 | |
CN105824820A (zh) | 一种媒体文件的缓存方法和装置 | |
CN107562829A (zh) | 数据访问方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20201105 Address after: 215100 No. 1 Guanpu Road, Guoxiang Street, Wuzhong Economic Development Zone, Suzhou City, Jiangsu Province Applicant after: SUZHOU LANGCHAO INTELLIGENT TECHNOLOGY Co.,Ltd. Address before: 450000 Henan province Zheng Dong New District of Zhengzhou City Xinyi Road No. 278 16 floor room 1601 Applicant before: ZHENGZHOU YUNHAI INFORMATION TECHNOLOGY Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |