CN106959826A - 一种数据存储***及方法 - Google Patents

一种数据存储***及方法 Download PDF

Info

Publication number
CN106959826A
CN106959826A CN201710192800.1A CN201710192800A CN106959826A CN 106959826 A CN106959826 A CN 106959826A CN 201710192800 A CN201710192800 A CN 201710192800A CN 106959826 A CN106959826 A CN 106959826A
Authority
CN
China
Prior art keywords
data
hard disk
type
storage hard
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710192800.1A
Other languages
English (en)
Inventor
马腾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201710192800.1A priority Critical patent/CN106959826A/zh
Publication of CN106959826A publication Critical patent/CN106959826A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614Improving the reliability of storage systems
    • G06F3/0619Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种数据存储***及方法,其中处理器可根据数据的使用热度确定数据的类型,如当数据的使用热度位于第一类型存储硬盘对应的使用热度范围内时,确定数据为第一类型数据,并由第一类型存储硬盘存储;当数据的使用热度位于第二类型存储硬盘对应的使用热度范围内时,确定数据为第二类型数据,并由第二类型存储硬盘存储;当数据的使用热度位于第三类型存储硬盘对应的使用热度范围内时,确定数据为第三类型数据,并由第三类型存储硬盘存储,实现根据数据的使用热度对数据的分类存储。并且可增加三类型存储硬盘或者随时替换第三类型存储硬盘来存储更多的数据,这样在不降低数据粒度的情况下可以提高数据的存储量,降低数据的丢失概率。

Description

一种数据存储***及方法
技术领域
本发明属于数据处理技术领域,更具体的说,尤其涉及一种数据存储***及方法。
背景技术
根据IDC(互联网数据中心)过去五年的研究发现,全球数据量大约每两年翻一番;2010年全球数据量跨入ZB(十万亿亿字节)时代,预计到2020年全球数据量将达到令人恐怖的35ZB,如此庞大的数据量给数据存储***带来了极大的挑战。
目前数据存储***对海量数据的存储采用分布式存储方式,如数据存储***包括多台服务器,每台服务器分别存储海量数据中的部分数据,以此实现海量数据的分布式存储,但是随着数据量的增长,多台服务器也无法承受日益增长的数据量,为此数据存储***中的每台服务器可以采用如下方式来存储数据:
一种方式:降低采样频率,比如原始的采样频率为1秒/次,即每间隔一秒采集数据,这样服务器会每间隔一秒采集到新的数据,而若将采样频率降低为1分/次,这样服务器就会每间隔一分钟采集到新的数据;另一种方式:通过降低存储数据的粒度的方式来存储数据。但是这两种方式均为实现对海量数据的分类存储,并且这两种方式会导致部分数据丢失。
发明内容
有鉴于此,本发明的目的在于提供一种数据存储***及方法,用于实现根据数据的使用热度来分类存储数据,并且在不降低存储数据的数据粒度的情况下,提高数据的存储量,以降低数据的丢失概率。技术方案如下:
本发明提供一种数据存储***,所述***包括:处理器、至少一个第一类型存储硬盘、至少一个第二类型存储硬盘和至少一个第三类型存储硬盘;
所述处理器,用于获取数据的使用热度,当所述数据的使用热度位于第一类型存储硬盘对应的使用热度范围内时,确定所述数据为第一类型数据;当所述数据的使用热度位于第二类型存储硬盘对应的使用热度范围内时,确定所述数据为第二类型数据;当所述数据的使用热度位于第三类型存储硬盘对应的使用热度范围内时,确定所述数据为第三类型数据;
所述第一类型存储硬盘用于存储第一类型数据;所述第二类型存储硬盘用于存储第二类型数据,所述第三类型存储硬盘用于存储第三类型数据;
其中,所述第一类型数据的使用热度大于所述第二类型数据的使用热度,所述第二类型数据的使用热度大于所述第三类型数据的使用热度。
优选的,所述第一类型存储硬盘的读写速度优于所述第二类型存储硬盘和所述第三类型存储硬盘的读写速度。
优选的,所述处理器,用于获取所述第一类型存储硬盘中存储的第一类型数据,当所述第一类型存储硬盘中存储的第一类型数据的使用热度降至小于第一预设使用热度,将所述降至小于第一预设使用热度的第一类型数据确定为所述第二类型数据,并将所确定的第二类型数据转移到所述第二类型存储硬盘中存储。
优选的,所述处理器,用于获取所述第二类型存储硬盘存储的第二类型数据,当所述第二类型存储硬盘存储的第二类型数据的使用热度降至小于第二预设使用热度,将所述降至小于第二预设使用热度的第二类型数据确定为所述第三类型数据,并将所确定的第三类型数据转移到所述第三类型存储硬盘中存储。
优选的,所述处理器,用于对所述第二类型数据进行聚合,得到数据粒度高于所述第二类型数据的数据粒度的聚合数据,并将所述聚合数据确定为所述第一类型数据,将所述聚合数据转移到所述第一类型存储硬盘中存储。
优选的,所述处理器,用于记录所述第三类型存储硬盘的存储信息。
优选的,所述处理器,用于获取数据查询信息,根据所述数据查询信息查询所述第一类型存储硬盘中是否存储有与所述数据查询信息相匹配的数据,若不存储有与所述数据查询信息相匹配的数据,则查询所述第二类型存储硬盘和所述第三类型存储硬盘中至少一种类型存储硬盘中是否存储有与所述数据查询信息相匹配的数据,若存储有与所述数据查询信息相匹配的数据,则将与所述数据查询信息相匹配的数据转移至所述第一类型存储硬盘中。
优选的,所述处理器,用于在所述第三类型存储硬盘的已用空间达到预设空间时,输出提示信息,所述提示信息用于提示更换所述第三类型存储硬盘。
本发明还提供一种数据存储方法,所述方法包括:
获取数据的使用热度;
当所述数据的使用热度位于第一类型存储硬盘对应的使用热度范围内时,确定所述数据为第一类型数据,并将所述数据存储至所述第一类型存储硬盘中;
当所述数据的使用热度位于第二类型存储硬盘对应的使用热度范围内时,确定所述数据为第二类型数据,并将所述数据存储至所述第二类型存储硬盘中;
当所述数据的使用热度位于第三类型存储硬盘对应的使用热度范围内时,确定所述数据为第三类型数据,并将所述数据存储至所述第三类型存储硬盘中;
其中,所述第一类型数据的使用热度大于所述第二类型数据的使用热度,所述第二类型数据的使用热度大于所述第三类型数据的使用热度。
优选的,所述方法还包括:获取所述第一类型存储硬盘中存储的数据的使用热度;
当所述第一类型存储硬盘中存储的数据的使用热度降至小于第一预设使用热度时,将所述降至小于第一预设使用热度的数据确定为所述第二类型数据,并将所确定的第二类型数据转移到所述第二类型存储硬盘中存储;
和/或
所述方法还包括:获取所述第二类型存储硬盘中存储的数据的使用热度;
当所述第二类型存储硬盘中存储的数据的使用热度降至小于第二预设使用热度时,将所述降至小于第二预设使用热度的数据确定为所述第三类型数据,并将所确定的第三类型数据转移到所述第三类型存储硬盘中存储;
和/或
所述方法还包括:对所述第二类型存储硬盘中存储的数据进行聚合,得到数据粒度高于所述第二类型数据的数据粒度的聚合数据,并将所述聚合数据确定为所述第一类型数据,将所述聚合数据转移到所述第一类型存储硬盘中存储。
与现有技术相比,本发明提供的上述技术方案具有如下优点:
借由上述技术方案,数据存储***包括:处理器、至少一个第一类型存储硬盘、至少一个第二类型存储硬盘和至少一个第三类型存储硬盘,这样处理器可以根据数据的使用热度确定数据的类型,如当数据的使用热度位于第一类型存储硬盘对应的使用热度范围内时,确定数据为第一类型数据,并由第一类型存储硬盘来存储第一类型数据;当数据的使用热度位于第二类型存储硬盘对应的使用热度范围内时,确定数据为第二类型数据,并由第二类型存储硬盘来存储第二类型数据;当数据的使用热度位于第三类型存储硬盘对应的使用热度范围内时,确定数据为第三类型数据,并由第三类型存储硬盘来存储第三类型数据,实现根据数据的使用热度对数据的分类存储。并且在实际应用中,第三类型数据的数据量会逐渐增多,为此可以增加存储第三类型数据的第三类型存储硬盘或者随时替换第三类型存储硬盘来存储更多的数据,这样在不降低数据粒度的情况下可以提高数据的存储量,降低数据的丢失概率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的数据存储***的示意图;
图2是本发明实施例提供的数据存储方法的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,其示出了本发明实施例提供的数据存储***的示意图,用于实现根据数据的使用热度来分类存储数据,并且在不降低存储数据的数据粒度的情况下,提高数据的存储量,以降低数据的丢失概率。所述数据存储***包括:处理器11、至少一个第一类型存储硬盘12、至少一个第二类型存储硬盘13和至少一个第三类型存储硬盘14,在图1中以包括一个第一类型存储硬盘12、一个第二类型存储硬盘和一个第三类型存储硬盘为例进行说明。
处理器11,用于获取数据的使用热度,当数据的使用热度位于第一类型存储硬盘12对应的使用热度范围内时,确定数据为第一类型数据;当数据的使用热度位于第二类型存储硬盘13对应的使用热度范围内时,确定数据为第二类型数据;当数据的使用热度位于第三类型存储硬盘14对应的使用热度范围内时,确定数据为第三类型数据。第一类型存储硬盘12用于存储第一类型数据;第二类型存储硬盘13用于存储第二类型数据;第三类型存储硬盘14用于存储第三类型数据
其中使用热度至少用于指示数据的使用频率,对于使用频率高于其他数据的使用频率的数据来说,其使用热度高于其他数据的使用热度。在本发明实施例中,第一类型数据的使用热度大于第二类型数据的使用热度,第二类型数据的使用热度大于第三类型数据的使用热度,因此第一类型数据的使用频率高于第二类型数据的使用频率,第二类型数据的使用频率高于第三类型的使用频率。
如在数据存储领域中,会持续获取到待存储的数据,例如传感器实时采集到的各项数据,这些各项数据是传感器采集到的最新的待存储的数据,而最新的待存储的数据的使用频率会高于其他已获取到的数据的使用频率,因此这些最新的待存储的数据会大于其他已获取到的数据的使用热度,进而处理器11直接认定这些数据的使用热度会位于第一类型存储硬盘12对应的使用热度范围内,将其确定为第一类型数据。
对于其他已获取的数据来说,处理器11可以不间断或周期性获取这些数据的使用热度,当这些数据的使用热度位于第二类型存储硬盘13对应的使用热度范围内时,则会将其确定为第二类型数据,若位于第三类型存储硬盘14对应的使用热度范围内时,则会将其确定为第三类型数据。
在本发明实施例中,第一类型存储硬盘12对应的使用热度范围、第二类型存储硬盘13对应的使用热度范围和第三类型存储硬盘14的使用热度范围是为了确定数据所属类型的判断标准,在实际应用中可以根据数据的使用需求来设置这三个存储硬盘各自对应的使用热度范围。
比如第一类型存储硬盘12对应的使用热度范围为[A,B],第二类型存储硬盘13对应的使用热度范围为[C,D],第三类型存储硬盘14对应的使用热度范围为[E,F],其中[]中的第一个数值为最小使用热度,第二个数值为最大使用热度,为使第一类型数据的使用热度大于第二类型数据的使用热度,第二类型数据的使用热度大于第三类型数据的使用热度,则第一类型存储硬盘12对应的使用热度范围中的最小使用热度A大于第二类型存储硬盘13对应的使用热度范围中的最大使用热度D,第二类型存储硬盘13对应的使用热度范围中的最小使用热度C大于第三类型存储硬盘14对应的使用热度范围中的最大使用热度F。
但是这种使用热度范围的设置方式会无法涵盖所有使用热度,且设置方式过于复杂,为此本发明实施例还可以提供一种使用热度范围的设置方式,如设置两个用于划分上述三个类型存储硬盘的使用热度范围的预设使用热度,如第一预设使用热度和第二预设使用热度,则第一类型存储硬盘12对应的的使用热度范围大于等于第一预设使用热度,第二类型存储硬盘13对应的使用热度范围为(第一预设使用热度,第二预设使用热度],则第三类型存储硬盘14对应的使用热度范围为小于第二预设使用热度。对于第一预设使用热度和第二预设使用热度的取值可以根据实际应用而定,如若第一类型存储硬盘12和第二类型存储硬盘13的存储空间较大,则可以相对应的提高第一预设使用热度和第二预设使用热度的取值,并加大第一预设使用热度和第二预设使用热度之间的取值差。
并且在数据存储领域中,会有大量数据持续流入数据存储***中,这就要求数据存储***具备高吞吐量的功能,为此本发明实施例中,第一类型存储硬盘12的读写速度优于第二类型存储硬盘13和第三类型存储硬盘14的读写速度,以承受持续不断的大量数据的流入。
例如第一类型存储硬盘12可以采用SSD(Solid-State Disk,固态硬盘),以通过SDD的读写速度快的性能来满足高吞吐量的要求,第二类型存储硬盘13可以采用HDD(HardDisk Drive,硬盘驱动器),第三类型存储硬盘14可以采用HDD,或者第三类型存储硬盘可以采用其他读写速度低于SSD但存储空间大或者具备热插拔功能的硬盘。
而第三类型存储硬盘14之所以选取具备热插拔功能的硬盘是因为:随着数据的持续获取和流入,数据存储***中部分数据的使用热度会逐渐减低,从而导致第三类型数据的数据量也逐渐增加,为了不降低数据的数据粒度就需要大量的存储空间来存储不断降为第三类型数据的数据,这就需要较多的第三类型存储硬盘来存储第三类型数据,所以需要第三类型存储硬盘14具备热插拔功能,在任一第三类型存储硬盘14的存储空间不足的情况下,可以通过热插拔的方式将其替换掉,在数据存储***中加入新的第三类型存储硬盘。
相对应的处理器11可以用于在第三类型存储硬盘14的已用空间达到预设空间时,输出提示信息,所述提示信息用于提示更换第三类型存储硬盘14。其中预设空间可以根据实际应用而定,如在第三类型存储硬盘14的已用空间达到全部存储空间的95%时输出提示信息。
在第三类型存储硬盘14具备热插拔功能的情况下,处理器11需要记录第三类型存储硬盘的存储信息,如记录第三类型数据所属的第三类型存储硬盘14的编号(即记录第三类型数据存储在哪个第三类型存储硬盘中)、存储的第三类型数据所属文件名或者所属表名、存储的第三类型数据的起止时间戳等等,以便于通过存储信息获知各个第三类型存储硬盘中存储的数据的信息。当需要从第三类型存储硬盘14中查询数据时,则需要根据存储信息来确定所查询的数据位于哪个第三类型存储硬盘14中,然后将所确定的第三类型存储硬盘14接入到数据存储***中,从其上获取查询的数据。而对于第一类型存储硬盘12和第二类型存储硬盘13来说,可以直接从这两种类型存储硬盘中查询数据进行分析。
在本发明实施例的一个应用场景中,上述第一类型存储硬盘12和第二类型存储硬盘13可以位于服务器集群中,如数据存储***包括第一服务器集群合第二服务器集群,每个第一类型存储硬盘12安装在第一服务器集群中的至少一个服务器中,每个第二类型存储硬盘13安装在第三服务器集群中的至少一个服务器中,而对于第三类型存储硬盘14来说,其可以安装在数据存储***的备份服务器中,以通过热插拔的方式来更换。
借由上述技术方案,数据存储***包括处理器11、至少一个第一类型存储硬盘12、至少一个第二类型存储硬盘13和至少一个第三类型存储硬盘14,这样处理器11可以根据数据的使用热度确定数据的类型,如当数据的使用热度位于第一类型存储硬盘12对应的使用热度范围内时,确定数据为第一类型数据,并由第一类型存储硬盘12来存储第一类型数据;当数据的使用热度位于第二类型存储硬盘13对应的使用热度范围内时,确定数据为第二类型数据,并由第二类型存储硬盘13来存储第二类型数据;当数据的使用热度位于第三类型存储硬盘14对应的使用热度范围内时,确定数据为第三类型数据,并由第三类型存储硬盘14来存储第三类型数据,实现根据数据的使用热度对数据的分类存储。并且在实际应用中,第三类型数据的数据量会逐渐增多,为此可以增加存储第三类型数据的第三类型存储硬盘14或者随时替换第三类型存储硬盘14来存储更多的数据,这样在不降低数据粒度的情况下可以提高数据的存储量,降低数据的丢失概率。
在本发明实施例中,处理器11还需要对第一类型存储硬盘12和第二类型存储硬盘13中存储的数据进行管理,如周期性或不定期地获取第一类型存储硬盘12和第二类型存储硬盘13中存储的数据的使用热度,根据使用热度对数据进行处理。其中处理器11对存储的数据进行管理的方式包括但不限于下述方式:
一种方式:处理器11获取第一类型存储硬盘12中存储的第一类型数据,当第一类型存储硬盘12中存储的第一类型数据的使用热度降至小于第一预设使用热度,将降至小于第一预设使用热度的第一类型数据确定为第二类型数据,并将所确定的第二类型数据转移到第二类型存储硬盘13中存储。
另一种方式:处理器11获取第二类型存储硬盘13存储的第二类型数据,当第二类型存储硬盘13存储的第二类型数据的使用热度降至小于第二预设使用热度,将降至小于第二预设使用热度的第二类型数据确定为第三类型数据,并将所确定的第三类型数据转移到第三类型存储硬盘14中存储。
通过上述两种方式,实现对第一类型存储硬盘12和第二类型存储硬盘13中存储数据的更新,且通过这种方式可以为再次流入到数据存储***的数据提供存储空间。
再一种方式:处理器对第二类型数据进行聚合,得到数据粒度高于第二类型数据的数据粒度的聚合数据,并将聚合数据确定为第一类型数据,将聚合数据转移到第一类型存储硬盘12中存储。如处理器11可以对第二类型存储硬盘12中存储的同一个目标对象的第二类型数据进行聚合,以第二类型数据为天气数据为例,处理器11可以对同一个城市(如北京)的天气数据进行聚合,将每小时采集到的天气数据聚合为每天的天气数据,这样可以节省存储的数据量,且在将聚合数据转移到第一类型存储硬盘12后可以提高对聚合数据的查询速度。
当然处理器11还可以对不同目标对象的第二类型数据进行聚合,如处理器11中存储有指示环境情况的各种类型数据,如温度数据、湿度数据、污染指数数据和风速数据等等,处理器11可以将这些数据进行聚合,得到一个表明环境情况的数据,如通过对这些数据聚合得到环境优良或者环境差的数据(如聚合数据可以是环境优良或环境差)。
此外,处理器11还可以提供数据查询功能,这样通过处理器11可以查询数据存储***存储的数据,如处理器11获取数据查询信息,根据数据查询信息查询第一类型存储硬盘12中是否存储有与数据查询信息相匹配的数据,若不存储有与数据查询信息相匹配的数据,则查询第二类型存储硬盘13和第三类型存储硬盘14中至少一种存储硬盘中是否存储有与数据查询信息相匹配的数据,若存储有与数据查询信息相匹配的数据,则将与数据查询信息相匹配的数据转移至第一类型存储硬盘12中。
具体的,处理器11根据数据查询信息查询第一类型存储硬盘12中是否存储有与数据查询信息相匹配的数据,若不存储有与数据查询信息相匹配的数据,则查询第二类型存储硬盘13是否存储有与数据查询信息相匹配的数据,若存储有则停止数据查询过程,并将与数据查询信息相匹配的数据转移至第一类型存储硬盘12中,若第二类型存储硬盘13中也未存储有与数据查询信息相匹配的数据,则查询第三类型存储硬盘14是否存储有与数据查询信息相匹配的数据。
在查询第三类型存储硬盘14是否存储有与数据查询信息相匹配的数据时,根据数据查询信息从处理器11记录的第三类型存储硬盘14的存储信息中,确定存储有与数据查询信息相匹配的数据的第三类型存储硬盘14,然后从该第三类型存储硬盘14中获取与数据查询信息相匹配的数据,并转移到第一类型存储硬盘11中。
与上述***实施例相对应,本发明实施例还提供一种数据存储方法,其流程图如图2所示,可以包括以下步骤:
101:获取数据的使用热度。
102:当数据的使用热度位于第一类型存储硬盘对应的使用热度范围内时,确定数据为第一类型数据,并将数据存储至第一类型存储硬盘中。
103:当数据的使用热度位于第二类型存储硬盘对应的使用热度范围内时,确定数据为第二类型数据,并将数据存储至第二类型存储硬盘中。
104:当数据的使用热度位于第三类型存储硬盘对应的使用热度范围内时,确定数据为第三类型数据,并将数据存储至第三类型存储硬盘中。
其中第一类型数据的使用热度大于第二类型数据的使用热度,第二类型数据的使用热度大于第三类型数据的使用热度,实现根据数据的使用热度对数据的分类存储。并且在实际应用中,第三类型数据的数据量会逐渐增多,为此可以增加存储第三类型数据的第三类型存储硬盘或者随时替换第三类型存储硬盘来存储更多的数据,这样在不降低数据粒度的情况下可以提高数据的存储量,降低数据的丢失概率。
此外本发明实施例提供的数据存储方法还可以对数据进行管理,其方式包括但不限于下述方式:
一种方式:获取第一类型存储硬盘中存储的数据的使用热度;当第一类型存储硬盘中存储的数据的使用热度降至小于第一预设使用热度时,将降至小于第一预设使用热度的数据确定为第二类型数据,并将所确定的第二类型数据转移到第二类型存储硬盘中存储。
另一种方式:获取第二类型存储硬盘中存储的数据的使用热度;当第二类型存储硬盘中存储的数据的使用热度降至小于第二预设使用热度时,将降至小于第二预设使用热度的数据确定为第三类型数据,并将所确定的第三类型数据转移到第三类型存储硬盘中存储。
再一种方式:对第二类型存储硬盘中存储的数据进行聚合,得到数据粒度高于第二类型数据的数据粒度的聚合数据,并将聚合数据确定为第一类型数据,将聚合数据转移到第一类型存储硬盘中存储。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于方法类实施例而言,由于其与***实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种数据存储***,其特征在于,所述***包括:处理器、至少一个第一类型存储硬盘、至少一个第二类型存储硬盘和至少一个第三类型存储硬盘;
所述处理器,用于获取数据的使用热度,当所述数据的使用热度位于第一类型存储硬盘对应的使用热度范围内时,确定所述数据为第一类型数据;当所述数据的使用热度位于第二类型存储硬盘对应的使用热度范围内时,确定所述数据为第二类型数据;当所述数据的使用热度位于第三类型存储硬盘对应的使用热度范围内时,确定所述数据为第三类型数据;
所述第一类型存储硬盘用于存储第一类型数据;所述第二类型存储硬盘用于存储第二类型数据,所述第三类型存储硬盘用于存储第三类型数据;
其中,所述第一类型数据的使用热度大于所述第二类型数据的使用热度,所述第二类型数据的使用热度大于所述第三类型数据的使用热度。
2.根据权利要求1所述的***,其特征在于,所述第一类型存储硬盘的读写速度优于所述第二类型存储硬盘和所述第三类型存储硬盘的读写速度。
3.根据权利要求1所述的***,其特征在于,所述处理器,用于获取所述第一类型存储硬盘中存储的第一类型数据,当所述第一类型存储硬盘中存储的第一类型数据的使用热度降至小于第一预设使用热度,将所述降至小于第一预设使用热度的第一类型数据确定为所述第二类型数据,并将所确定的第二类型数据转移到所述第二类型存储硬盘中存储。
4.根据权利要求1所述的***,其特征在于,所述处理器,用于获取所述第二类型存储硬盘存储的第二类型数据,当所述第二类型存储硬盘存储的第二类型数据的使用热度降至小于第二预设使用热度,将所述降至小于第二预设使用热度的第二类型数据确定为所述第三类型数据,并将所确定的第三类型数据转移到所述第三类型存储硬盘中存储。
5.根据权利要求1所述的***,其特征在于,所述处理器,用于对所述第二类型数据进行聚合,得到数据粒度高于所述第二类型数据的数据粒度的聚合数据,并将所述聚合数据确定为所述第一类型数据,将所述聚合数据转移到所述第一类型存储硬盘中存储。
6.根据权利要求1所述的***,其特征在于,所述处理器,用于记录所述第三类型存储硬盘的存储信息。
7.根据权利要求6所述的***,其特征在于,所述处理器,用于获取数据查询信息,根据所述数据查询信息查询所述第一类型存储硬盘中是否存储有与所述数据查询信息相匹配的数据,若不存储有与所述数据查询信息相匹配的数据,则查询所述第二类型存储硬盘和所述第三类型存储硬盘中至少一种类型存储硬盘中是否存储有与所述数据查询信息相匹配的数据,若存储有与所述数据查询信息相匹配的数据,则将与所述数据查询信息相匹配的数据转移至所述第一类型存储硬盘中。
8.根据权利要求6所述的***,其特征在于,所述处理器,用于在所述第三类型存储硬盘的已用空间达到预设空间时,输出提示信息,所述提示信息用于提示更换所述第三类型存储硬盘。
9.一种数据存储方法,其特征在于,所述方法包括:
获取数据的使用热度;
当所述数据的使用热度位于第一类型存储硬盘对应的使用热度范围内时,确定所述数据为第一类型数据,并将所述数据存储至所述第一类型存储硬盘中;
当所述数据的使用热度位于第二类型存储硬盘对应的使用热度范围内时,确定所述数据为第二类型数据,并将所述数据存储至所述第二类型存储硬盘中;
当所述数据的使用热度位于第三类型存储硬盘对应的使用热度范围内时,确定所述数据为第三类型数据,并将所述数据存储至所述第三类型存储硬盘中;
其中,所述第一类型数据的使用热度大于所述第二类型数据的使用热度,所述第二类型数据的使用热度大于所述第三类型数据的使用热度。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:获取所述第一类型存储硬盘中存储的数据的使用热度;
当所述第一类型存储硬盘中存储的数据的使用热度降至小于第一预设使用热度时,将所述降至小于第一预设使用热度的数据确定为所述第二类型数据,并将所确定的第二类型数据转移到所述第二类型存储硬盘中存储;
和/或
所述方法还包括:获取所述第二类型存储硬盘中存储的数据的使用热度;
当所述第二类型存储硬盘中存储的数据的使用热度降至小于第二预设使用热度时,将所述降至小于第二预设使用热度的数据确定为所述第三类型数据,并将所确定的第三类型数据转移到所述第三类型存储硬盘中存储;
和/或
所述方法还包括:对所述第二类型存储硬盘中存储的数据进行聚合,得到数据粒度高于所述第二类型数据的数据粒度的聚合数据,并将所述聚合数据确定为所述第一类型数据,将所述聚合数据转移到所述第一类型存储硬盘中存储。
CN201710192800.1A 2017-03-28 2017-03-28 一种数据存储***及方法 Pending CN106959826A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710192800.1A CN106959826A (zh) 2017-03-28 2017-03-28 一种数据存储***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710192800.1A CN106959826A (zh) 2017-03-28 2017-03-28 一种数据存储***及方法

Publications (1)

Publication Number Publication Date
CN106959826A true CN106959826A (zh) 2017-07-18

Family

ID=59471058

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710192800.1A Pending CN106959826A (zh) 2017-03-28 2017-03-28 一种数据存储***及方法

Country Status (1)

Country Link
CN (1) CN106959826A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506146A (zh) * 2017-08-29 2017-12-22 郑州云海信息技术有限公司 一种数据存储***
CN107688443A (zh) * 2017-09-18 2018-02-13 郑州云海信息技术有限公司 一种数据存储的方法、***及相关装置
CN109739340A (zh) * 2017-08-15 2019-05-10 金钱猫科技股份有限公司 一种节能省电的数据处理方法及终端
TWI694700B (zh) * 2018-08-01 2020-05-21 香港商阿里巴巴集團服務有限公司 資料處理方法和裝置、用戶端
TWI697223B (zh) * 2018-08-01 2020-06-21 香港商阿里巴巴集團服務有限公司 資料處理方法
CN112882646A (zh) * 2019-11-29 2021-06-01 北京金山云网络技术有限公司 一种资源缓存方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156738A (zh) * 2011-04-13 2011-08-17 成都市华为赛门铁克科技有限公司 数据块处理方法、数据块存储设备及***
CN103914516A (zh) * 2014-02-25 2014-07-09 深圳市中博科创信息技术有限公司 一种存储***分层管理的方法与***
CN105138476A (zh) * 2015-08-26 2015-12-09 广东创我科技发展有限公司 一种基于hadoop异构存储的数据存储方法及***
CN106156331A (zh) * 2016-07-06 2016-11-23 益佳科技(北京)有限责任公司 冷热温数据服务器***及其处理方法
US20170024147A1 (en) * 2015-07-21 2017-01-26 Fujitsu Limited Storage control device and hierarchized storage control method
CN106406766A (zh) * 2016-09-23 2017-02-15 郑州云海信息技术有限公司 一种数据存储方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156738A (zh) * 2011-04-13 2011-08-17 成都市华为赛门铁克科技有限公司 数据块处理方法、数据块存储设备及***
CN103914516A (zh) * 2014-02-25 2014-07-09 深圳市中博科创信息技术有限公司 一种存储***分层管理的方法与***
US20170024147A1 (en) * 2015-07-21 2017-01-26 Fujitsu Limited Storage control device and hierarchized storage control method
CN105138476A (zh) * 2015-08-26 2015-12-09 广东创我科技发展有限公司 一种基于hadoop异构存储的数据存储方法及***
CN106156331A (zh) * 2016-07-06 2016-11-23 益佳科技(北京)有限责任公司 冷热温数据服务器***及其处理方法
CN106406766A (zh) * 2016-09-23 2017-02-15 郑州云海信息技术有限公司 一种数据存储方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
俞朝晖等: "《计算机网络技术实用宝典 第2版》", 31 July 2014, 中国铁道出版社 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109739340A (zh) * 2017-08-15 2019-05-10 金钱猫科技股份有限公司 一种节能省电的数据处理方法及终端
CN107506146A (zh) * 2017-08-29 2017-12-22 郑州云海信息技术有限公司 一种数据存储***
CN107688443A (zh) * 2017-09-18 2018-02-13 郑州云海信息技术有限公司 一种数据存储的方法、***及相关装置
TWI694700B (zh) * 2018-08-01 2020-05-21 香港商阿里巴巴集團服務有限公司 資料處理方法和裝置、用戶端
TWI697223B (zh) * 2018-08-01 2020-06-21 香港商阿里巴巴集團服務有限公司 資料處理方法
US11233878B2 (en) 2018-08-01 2022-01-25 Advanced New Technologies Co., Ltd. Data processing method, apparatus, and client device
CN112882646A (zh) * 2019-11-29 2021-06-01 北京金山云网络技术有限公司 一种资源缓存方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN106959826A (zh) 一种数据存储***及方法
CN104346357B (zh) 一种嵌入式终端的文件存取方法及***
CN105138476B (zh) 一种基于hadoop异构存储的数据存储方法及***
CN102663090B (zh) 元数据查询方法和装置
CN101459557B (zh) 一种安全日志集中存储方法及装置
CN102364474B (zh) 用于机群文件***的元数据存储***和管理方法
CN102930060B (zh) 一种数据库快速索引的方法及装置
CN103049514B (zh) 一种基于分层聚类的均衡图像聚类方法
CN101667205B (zh) 一种面向快速回放的实时测点数据存储方法
CN111367469B (zh) 一种分层存储数据迁移方法和***
CN102129472B (zh) 面向语义搜索引擎的高效混合存储结构的构建方法
CN106648446A (zh) 一种用于时序数据的存储方法、装置及电子设备
CN102184211A (zh) 文件***和检索、写入、修改或删除文件的方法与装置
CN103402067B (zh) 一种基于文件价值评级的录像覆盖方法
CN103488709A (zh) 一种索引建立方法及***、检索方法及***
Ma et al. KSQ: Top-k similarity query on uncertain trajectories
CN101963982A (zh) 基于位置敏感哈希的删冗存储***元数据管理方法
CN110858210B (zh) 数据查询方法及装置
CN103186668A (zh) 基于键值数据库的数据处理方法与装置以及数据存储***
CN103198150A (zh) 一种大数据索引方法及***
CN106933511A (zh) 考虑负载均衡与磁盘效率的空间数据存储组织方法及***
CN108205562A (zh) 地理信息***的定位数据存储、检索方法及其装置
CN102024019A (zh) 一种分布式文件***中基于后缀树的目录组织方法
CN102253985A (zh) 一种文件***数据的管理方法及***
CN107301249A (zh) 一种文件访问信息记录方法、***及分布式集群***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170718

RJ01 Rejection of invention patent application after publication