CN110727406B - 一种数据存储调度方法及装置 - Google Patents
一种数据存储调度方法及装置 Download PDFInfo
- Publication number
- CN110727406B CN110727406B CN201910965867.3A CN201910965867A CN110727406B CN 110727406 B CN110727406 B CN 110727406B CN 201910965867 A CN201910965867 A CN 201910965867A CN 110727406 B CN110727406 B CN 110727406B
- Authority
- CN
- China
- Prior art keywords
- data
- storage
- preset
- stored
- scheduling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013500 data storage Methods 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000012544 monitoring process Methods 0.000 claims abstract description 30
- 238000012546 transfer Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 238000013524 data verification Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 abstract description 4
- 230000006399 behavior Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
- G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种数据存储调度方法及装置，包括：首先实时监测存储介质中存储数据的属性，其中，所述存储数据的属性包括存储时间和数据类型，以根据预设数据分类逻辑和存储数据的存储时间和数据类型，重新确定存储数据的数据类型，然后根据预设存储调度逻辑和重新确定的数据类型，确定存储数据的调度策略，其中，所述调度策略包括存储数据对应的存储介质，最后根据所述调度策略对所述存储数据进行存储调度。通过实时监测数据的属性变化，对数据进行调度存储，提高数据的流动性，保证实时性高的数据存储至高性能高速存储介质中，实时性不高的数据可以存储至存取速度不高的存储介质中，解决***存储存在存储器容量大、速度快和成本低三者之间的矛盾问题。
Description
技术领域
本发明涉及通信技术领域，具体涉及一种数据存储调度方法及装置。
背景技术
数据存储是数据流在加工过程中产生的临时文件或加工过程中需要查找的信息。数据以某种格式记录在计算机的存储设备上，计算机的存储设备从体系结构上看可以分为内存储器和外存储器，内存储器(即内存)直接与计算机的CPU相连，处于数据存储顶层。它的存取速度要求能与CPU相匹配，通常由半导体存储器芯片组成，由于成本高，容量通常不太大。而对于大量数据的保存通常要使用外存储器，外存储器又可以分成几个层次，第一层与内存储器相连接，其包括联机存储器(或称在线存储器)，如硬磁盘机、磁盘阵列等；再下一层是后援存储器(或称近线存储器)，它由存取速度比硬盘更慢的光盘机、光盘库、磁带库等设备组成；最底层是脱机存储器(或称离线存储器)，由磁带机和磁带库等组成仓库，它的存取速度比较慢，仅是数量级，由于存储介质可脱机保存，可以更换，因此容量几乎是无限大。对于普通的个人计算机用户，使用硬盘、软件和光盘等存储介质来进行数据存储就已经够用了，但对于商业用户和一些网络***来说，磁带机、磁带库和光盘库则是必不可少的数据存储与备份设备，现在还有正在飞速发展的存储网络，能提供更为方便的数据保存方式。
在一个监控***中，有众多的被监控的设备对象，其中一个被监控的设备对象又有很多个监控指标，所有的监控指标都需要满足定时采集分析，在对所有的监控数据进行处理就会涉及到数据存储，数据存储在普通硬盘上，在高并发访问数据时，其读写速度就会受到硬盘限制，在使用固态存储盘或内存代替传统机械硬盘时可以提升数据读写效率，但在海量数据规模的情况下，高性能存储介质会带来非常巨大的硬件成本，而目前也没有一个关于数据存储转移的方案，对于时效性不高的数据一直占据在高性能存储介质会影响数据读取存储的成本，***数据存储调度存在存储器容量大、速度快和成本低三者之间的矛盾问题。以数据中心为例，数据中心的规模越大，所要实时监控的对象种类和数量就越多，如何设计一个海量数据下的高效的存储调度机制是运维领域里的一个重要技术方向和难题。
发明内容
本发明主要解决的技术问题是如何解决***存储存在存储器容量大、速度快和成本低三者之间的矛盾问题。
根据第一方面，一种实施例中提供一种数据存储调度方法，包括：
实时监测存储介质中存储数据的属性；其中，所述存储数据的属性包括存储时间和数据类型；
根据预设数据分类逻辑和所述存储数据的属性，重新确定所述存储数据的数据类型；
根据预设存储调度逻辑和重新确定的数据类型，确定所述存储数据的调度策略；其中，所述调度策略包括存储数据对应的存储介质；
根据所述调度策略对所述存储数据进行存储调度。
在其中一种可能实现方式中，所述根据预设数据分类逻辑和所述存储数据的属性，重新确定所述存储数据类型包括：
根据所述存储设备获取对应所述存储数据的数据类型；
获取所述数据类型对应的预设数据分类逻辑；
根据所述预设数据分类逻辑和所述存储数据的存储时间，重新确定所述存储数据类型。
在其中一种可能实现方式中，所述获取所述存储数据的数据类型包括：
根据所述存储数据的行为时间计算数据热度值；
检测到数据热度值在预设第一时间范围内，将该数据归类为热数据存储至对应的存储介质中；
检测到数据热度值在预设第二时间范围内，将该数据归类为暖数据存储至对应的存储介质中；
检测到数据热度值在预设第三时间范围内，将该数据归类为冷数据存储至对应的存储介质中；其中，所述预设第一时间范围、所述预设第二时间范围及所述预设第三时间范围的时间维度逐渐增大。
在其中一种可能实现方式中，所述获取所述数据类型对应的预设数据分类逻辑包括：
在所述数据类型为热数据时，其对应的预设数据分类逻辑包括预设第四时间范围；
在所述数据类型为暖数据时，其对应的预设数据分类逻辑包括预设第五时间范围；
在所述数据类型为冷数据时，其对应的预设数据分类逻辑包括预设第六时间范围；其中，所述第一时间范围、所述第二时间范围及所述第三时间范围的时间维度不同。
在其中一种可能实现方式中，所述根据预设数据分类逻辑和所述存储数据的属性，重新确定所述存储数据的数据类型包括：
在所述热数据的存储时间在所述第四时间范围内时，确定所述热数据为暖数据或待删除数据；
在所述暖数据的存储时间在所述第五时间范围内时，确定所述暖数据为冷数据或待删除数据；
在所述冷数据的存储时间在所述第六时间范围内时，确定所述冷数据为待删除数据或待压缩存档数据。
在其中一种可能实现方式中，所述存储数据的属性包括还包括数据业务类型；
则根据数据业务类型划分所述预设第四时间范围、所述预设第五时间范围及所述预设第六时间范围。
在其中一种可能实现方式中，所述根据预设存储调度逻辑和所述存储数据的类型，输出所述存储数据的调度策略包括：
在重新确定所述热数据为暖数据时，根据预设存储调度逻辑输出所述热数据的调度策略为转至暖数据存储介质；
在重新确定所述热数据为待删除数据时，根据预设存储调度逻辑输出所述热数据的调度策略为待删除；
在重新确定所述暖数据为冷数据时，根据预设存储调度逻辑输出所述暖数据的调度策略为转至冷数据存储介质；
在重新确定所述暖数据为待删除数据时，根据预设存储调度逻辑输出所述暖数据的调度策略为待删除；
在重新确定所述冷数据为待删除数据时，根据预设存储调度逻辑输出所述冷数据的调度策略为待删除；
在重新确定所述冷数据为待压缩存档数据时，根据预设存储调度逻辑输出所述冷数据的调度策略为待压缩存档。
在其中一种可能实现方式中，所述根据所述调度策略对所述存储数据进行存储调度包括：
响应数据存储请求，接收所述调度策略中的转移存储策略；
根据转移存储策略对所述待存储数据进行转移存储，实现热数据存储至顶层存储介质中、暖数据存储至中层存储介质中和/或冷数据存储至底层存储介质中；其中，所述顶层存储介质、中层存储介质及底层存储介质各不相同，且数据存取速度依次递减。
在其中一种可能实现方式中，所述根据所述调度策略对所述存储数据进行存储调度还包括：
在将数据进行转移存储前和/或转移存储后进行数据校验，以保证数据的完整性。
根据第二方面，一种实施例中提供一种数据存储调度装置，包括：
监测模块，用于实时监测存储介质中存储数据的属性；其中，所述存储数据的属性包括存储时间和数据类型；
类型确定模块，用于根据预设数据分类逻辑和所述存储数据的属性，重新确定所述存储数据的数据类型；
结果输出模块，用于根据预设存储调度逻辑和重新确定的数据类型，确定所述存储数据的调度策略；其中，所述调度策略包括存储数据对应的存储介质；
处理模块，用于根据所述调度策略对所述存储数据进行存储调度。
依据上述实施例的数据存储调度方法及装置，首先实时监测存储介质中存储数据的属性，其中，所述存储数据的属性包括存储时间和数据类型，以根据预设数据分类逻辑和存储数据的存储时间和数据类型，重新确定存储数据的数据类型，然后根据预设存储调度逻辑和重新确定的数据类型，确定存储数据的调度策略，其中，所述调度策略包括存储数据对应的存储介质，最后根据所述调度策略对所述存储数据进行存储调度。通过实时监测数据的属性变化，根据数据的存储时间以及其对应的数据类型，对数据进行调度存储，提高数据的流动性，保证实时性高的数据存储至高性能高速存储介质中，实时性不高的数据可以存储至存取速度不高的存储介质中，解决***存储存在存储器容量大、速度快和成本低三者之间的矛盾问题。
附图说明
图1为本发明实施例提供的一种数据存储调度方法流程示意图；
图2为本发明实施例提供的一种数据类型确定方法流程示意图；
图3为本发明实施例提供的一种确定存储介质方法流程示意图；
图4为本发明实施例提供的另一种数据存储调度方法流程示意图；
图5为本发明实施例提供的一种获取预设数据分类逻辑方法流程示意图；
图6为本发明实施例提供的一种重新确定数据类型方法流程示意图；
图7为本发明实施例提供的一种确定存储数据的调度策略方法流程示意图；
图8为本发明实施例提供的一种存储调度方法流程示意图；
图9为本发明实施例提供的一种数据存储调度装置结构示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。
在本发明实施例中，发明人基于现有的***存储存在存储器容量大、速度快和成本低三者之间的矛盾问题，提出了一种数据存储调度方案，首先通过对数据属性的实时监测来实现对数据的监控与管理，根据监控结果对数据进行一定的调度，提高数据的流动性，通过提高数据的流动性来避免“过时”的数据对高性能存储介质的占用，保证数据存取的速度以及存储的成本，再根据数据类型不同存储至不同的存储介质中，以达到***存储的存储器容量大、速度快和成本低三者之间的平衡。
实施例一
请参考图1，本发明实施例提供的一种数据存储调度方法，包括步骤S10至步骤S40，下面具体说明。
步骤S10：实时监测存储介质中存储数据的属性；其中，所述存储数据的属性包括存储时间和数据类型。
在本发明实施例中，在步骤S10对存储介质中的存储数据进行监测，以获取存储数据的状态，包括当前存储介质存储数据的数据类型，以及存储数据存储至该存储介质的存储时间，还包括该存储数据的业务类型，然后根据获取得到的存储数据状态进行下面步骤操作。
需要说明的是，存储介质包括顶层存储介质、中层存储介质及底层存储介质以及相应的存储软件中间件，则顶层存储介质包括顶层存储设备和顶层存储软件中间件，顶层存储设备是高速数据产品，可以包括内存等。顶层存储软件中间件包括Redis、E1asticSearch、Influxdb等。顶层存储介质存储的数据为数据量大，实时性高。中层存储介质包括中层存储设备和中层存储软件中间件，中层存储设备可以是内存+SSD，或高速硬盘或其它高速存储设备。中层存储软件中间件包括时序数据库，如influxdb、elastic search等。底层存储介质包括底层存储设备及底层存储软件中间件，底层存储设备包括普通的硬盘、或传统的机械硬盘+HDFS等。底层存储软件中间件包括用Hadoop大数据存储技术的中间件。顶层存储介质、中层存储介质及底层存储介质的存取数据的速度是依次递减的，底层存储介质中存储的数据位实时性不高，如历史的监控数据，主要是用作数据分析以及历史数据的统计查询。但是底层存储介质中的底层存储设备基于其底层存储软件中间件的配合管理，使底层存储介质还具有多备份，可靠性高、分布式存储，存储吞吐量大等性能。
在本发明实施例中，热数据存储至顶层存储介质中，暖数据存储至中层存储介质中和/存储至顶层存储介质中，冷数据存储至底层存储介质中。则在对顶层存储介质访问时，其内存储的存储数据被定义为热数据，基于本申请的发明思路，即使存储至顶层存储介质的存储数据也不会一直都是热数据的，其根据预设数据分类逻辑重新定义数据类型，根据重新定义的数据类型，其有可能被定义为暖数据、冷数据或待删除数据。相应的暖数据及冷数据的数据类型均有可能被重新定义，本发明对此不作具体限定。
在本发明实施例中，顶层存储介质中的热数据至少包括两个来源，一个是从关系数据库中取出的，放到内存数据库的数据，另外一个来源于实时上报数据。对于从关系数据库中取出的数据，可以定时从关系数据库取最新的数据，刷新内存数据库中的数据；对于实时上报的数据，则根据业务场景，始终存入最新上报的监控数据，将超过一天以内数据直接删除。中层存储介质中的暖数据至少包括实时上报的数据，其还可以存储至顶层存储介质中。
在本发明实施例中，底层存储介质中存储的数据主要用于数据分析，统计等工作，随着时间的增长，数据量会持续增长，由此带来存储介质的增多，并伴随相应的人力物力的维护支撑消耗，因此需要从业务需求及存储成本上综合进行考虑，相应的定期执行以下操作：一对超长时间的数据定时压缩存储，如5年以上的数据，定时取出压缩存档，然后将原数据删除，达到在不损失数据前提下，节省存储空间。二、分析业务数据，只保留当前及可能会用到的字段，其它意义不大，或很少用到的字段可以删除，这样减少数据存储空间。考虑到中小规模的项目的数据量有限，在以上实施方案中，可以将暖数据和冷数据共享同一个存储介质，但为提高***响应效率，需要按数据时间和数据库或表的大小，进行分库分表。本发明对此不作具体限定。
步骤S20：根据预设数据分类逻辑和所述存储数据的属性，重新确定所述存储数据的数据类型。
在本发明实施例中，参见图2，步骤S20包括步骤S21、步骤S22及步骤S23，下面具体说明。
步骤S21：根据所述存储设备获取对应所述存储数据的数据类型。
在本发明实施例中，参见图3，根据步骤S201至步骤S204确定各个存储数据存储至对应的存储介质，下面具体说明。
步骤S201：根据所述存储数据的行为时间计算数据热度值。
需要说明的是，所述存储数据的行为时间包括存储数据的***作过的时间，示例性地，在所述存储数据有进行过增加内容，或删除内容，或修改内容，或是被访问等操作，则从所述存储数据***作过截止到当前时刻的时间为其对应的行为时间。示例性地，对于数据中心，是从其采集上报的监控或告警数据至当前时刻的时间。
步骤S202：检测到数据热度值在预设第一时间范围内，将该数据归类为热数据存储至对应的存储介质中。
步骤S203：检测到数据热度值在预设第二时间范围内，将该数据归类为暖数据存储至对应的存储介质中。
步骤S204：检测到数据热度值在预设第三时间范围内，将该数据归类为冷数据存储至对应的存储介质中，其中，所述预设第一时间范围、所述预设第二时间范围及所述预设第三时间范围的时间维度逐渐增大。
参见图4，对于当前时刻采集到的实时数据，可以根据其行为时间将其归类至暖数据集群或是热数据集群中，根据该实时数据的的行为时间计算出其对应的热度值为第一时间范围内时，将其***热数据集群，热数据集群其对应的就是顶层存储介质，即将该数据归类为热数据存储至对应的存储介质中。根据该实时数据的的行为时间计算出其对应的热度值为第二时间范围内时，将其***暖数据集群，暖数据集群其对应的就是中层存储介质，即将该数据归类为暖数据存储至对应的存储介质中。在根据该实时数据的的行为时间计算出其对应的热度值为第三时间范围内时，将其***冷数据集群，冷数据集群其对应的就是底层存储介质，即将该数据归类为冷数据存储至对应的存储介质中，本发明对此不作具体限定。
在本发明实施例中，所述存储数据的属性还包括数据业务类型，则可以根据数据业务类型划分所述预设第一时间范围、所述预设第二时间范围及所述预设第三时间范围。以实时上报的设备的性能数据为例，将24小时以内行为时间的数据确定为热数据，将大于1天，小于或等于14天行为时间数据确定为暖数据，将大于14天以上行为时间的数据确定为冷数据。此部分时间划分的界限，可以依实际业务的不同，灵活配置。在当前采集到的实时数据为AI预设数据时，其设置的所述预设第一时间范围、所述预设第二时间范围及所述预设第三时间范围可与监控数据的所述预设第一时间范围、所述预设第二时间范围及所述预设第三时间范围不同。
需要说明的是，上述步骤S202至步骤S204，其执行顺序不受限定，在当前存储数据数据热度值在预设第一时间范围内，就将该数据归类为热数据存储至对应的存储介质中，在当前存储数据数据热度值在预设第二时间范围内，就将该数据归类为暖数据存储至对应的存储介质中，在当前存储数据数据热度值在预设第三时间范围内，就将该数据归类为冷数据存储至对应的存储介质中。
步骤S22：获取所述数据类型对应的预设数据分类逻辑。
在本发明实施例中，参见图5，步骤S22包括步骤S221至步骤S223，下面具体说明。
步骤S221：在所述数据类型为热数据时，其对应的预设数据分类逻辑包括预设第四时间范围。
步骤S222：在所述数据类型为暖数据时，其对应的预设数据分类逻辑包括预设第五时间范围。
步骤S223：在所述数据类型为冷数据时，其对应的预设数据分类逻辑包括预设第六时间范围；其中，所述第一时间范围、所述第二时间范围及所述第三时间范围的时间维度不同。
在其中一种可能实现方式中，所述存储数据的属性包括还包括数据业务类型，则根据数据业务类型划分所述预设第四时间范围、所述预设第五时间范围及所述预设第六时间范围。即对于不同的数据类型，其划分的预设第四时间范围、预设第五时间范围和/或第六时间范围可以不同。示例性地，对于监控数据来说，在其为暖数据时，其对应的第六时间范围可以为14天，而对同为暖数据的AI预测数据来说，其对应的第六时间范围可能就是7天，本发明对此不作具体限定。
在本发明实施例中，所述存储数据的属性包括数据业务类型，存储数据同时具有业务属性和时间属性等维度，不同的业务数据，根据业务实际，有可能有相应的冷，暖，热三种时间维度的数据，以监控业务来说，上报的遥测数据(动环监控中，指实时上报的监控对象的测点数据)，依时间展开，就有热数据、暖数据及冷数据三种数据。实时上报的数据，是需要存在暖数据对应的存储介质当中，部分暖数据为方便处理可以放到热数据对应的存储介质当中，在根据上述的预设数据分类逻辑进行分类后，可以选择将暖数据转储到冷数据中持久存储，再在根据上述的预设数据分类逻辑进行分类后，冷数据对应存储介质中的存储数据可以选择压缩归档。对于监控***的配置管理模块，可能只有部分数据会经常用到，这部分数据可以放到热数据对应的存储介质中。而对于AI预测模块，可以将其模型计算的结果同时放到热数据和暖数据对应的存储介质当中，经过一段时间后，将热数据删除，将暖数据会转储到冷数据对应存储介质中。
步骤S23：根据所述预设数据分类逻辑和所述存储数据的存储时间，重新确定所述存储数据类型。
在本发明实施例中，参见图6，所述步骤S23包括步骤S231至步骤S233，下面具体说明。
步骤S231：在所述热数据的存储时间在所述第四时间范围内时，确定所述热数据为暖数据或待删除数据。
步骤S232：在所述暖数据的存储时间在所述第五时间范围内时，确定所述暖数据为冷数据或待删除数据。
步骤S233：在所述冷数据的存储时间在所述第六时间范围内时，确定所述冷数据为待删除数据或待压缩存档数据。
在本发明实施例中，是根据数据在各个存储介质中存储的时间进行调度，还可以根据存储介质的存储容量进行调度，参见图4，对于暖数据集群中的存储数据，可以根据设置一个定时任务，定时将存储时间在所述第五时间范围的存储数据确定为冷数据，或定时任务定时将暖数据存储介质中的容量进行转存，在暖数据存储介质中的存储容量大于预设阈值时，将暖数据存储介质中的存储数据确定为冷数据，可以结合存储时间，在暖数据存储介质中的存储容量大于预设阈值时，将存储时间最长的暖数据确定为冷数据。可以根据数据业务类型，确定在所述暖数据的存储时间在所述第五时间范围内时，确定暖数据的类型，例如，对于数据类型为暖数据的监控数据来说，在其存储时间在所述第五时间范围内时，确定其为冷数据，而对于数据类型为暖数据的AI预测数据来说，在其存储时间在所述第五时间范围内时，确定其为待删除数据。
步骤S30：根据预设存储调度逻辑和重新确定的数据类型，确定所述存储数据的调度策略；其中，所述调度策略包括存储数据对应的存储介质。
在本发明实施例中，参见图7，所述步骤S30包括步骤S31至步骤S36，下面具体说明。
步骤S31：在重新确定所述热数据为暖数据时，根据预设存储调度逻辑输出所述热数据的调度策略为转至暖数据存储介质。
步骤S32：在重新确定所述热数据为待删除数据时，根据预设存储调度逻辑输出所述热数据的调度策略为待删除。
步骤S33：在重新确定所述暖数据为冷数据时，根据预设存储调度逻辑输出所述暖数据的调度策略为转至冷数据存储介质。
步骤S34：在重新确定所述暖数据为待删除数据时，根据预设存储调度逻辑输出所述暖数据的调度策略为待删除。
步骤S35：在重新确定所述冷数据为待删除数据时，根据预设存储调度逻辑输出所述冷数据的调度策略为待删除。
步骤S36：在重新确定所述冷数据为待压缩存档数据时，根据预设存储调度逻辑输出所述冷数据的调度策略为待压缩存档。
步骤S40：根据所述调度策略对所述存储数据进行存储调度。
参见图8，在其中一种可能实现方式中，步骤S40包括步骤S41至步骤S42，下面具体说明。
步骤S41：响应数据存储请求，接收所述调度策略中的转移存储策略。
步骤S42：根据转移存储策略对所述待存储数据进行转移存储，实现热数据存储至顶层存储介质中、暖数据存储至中层存储介质中和/或冷数据存储至底层存储介质中；其中，所述顶层存储介质、中层存储介质及底层存储介质各不相同，且数据存取速度依次递减。
在其中一种可能实现方式中，还包括：在将数据进行转移存储前和/或转移存储后进行数据校验，以保证数据的完整性。为保证数据在迁移操作的可靠性，需要在操作前及操作后，对数据的完整性可靠性等从业务及数据本身进行自动化或人工测试，同时辅助文件完整性的校验比对等操作，如文件的MD5的校验等方法。
参见图4，对于热数据集群来说，其内的数据操作包括***确定为热数据的最新数据，还包括将“过时”的旧数据删除。对于暖数据集群来说，其内的数据可以通过一个定时任务定时完成超时数据转存和/或定将超过容量阈值的数据转存，在存储时间超过14天的存储数据进行校验数据之后转存至冷数据集群中，在中层存储介质数据存储容量超过80％时，将中层存储介质中的数据进行校验转存至冷数据集群中，在将中层存储介质中的数据转存至冷数据中后，可以将相应的暖数据进行删除，相应的，在顶层存储介质中的热数据转存之后，将相应的热数据进行删除。又或者将存储时间超过14天的是暖数据直接进行删除。在冷数据集群中的冷数据的存储时间超过3年时，将冷数据集群中的冷数据进行压缩归档。
实时上述实施例具有如下特点：
首先实时监测存储介质中存储数据的属性，其中，所述存储数据的属性包括存储时间和数据类型，以根据预设数据分类逻辑和存储数据的存储时间和数据类型，重新确定存储数据的数据类型，然后根据预设存储调度逻辑和重新确定的数据类型，确定存储数据的调度策略，其中，所述调度策略包括存储数据对应的存储介质，最后根据所述调度策略对所述存储数据进行存储调度。通过实时监测数据的属性变化，根据数据的存储时间以及其对应的数据类型，对数据进行调度存储，提高数据的流动性，保证实时性高的数据存储至高性能高速存储介质中，实时性不高的数据可以存储至存取速度不高的存储介质中，解决***存储存在存储器容量大、速度快和成本低三者之间的矛盾问题。
实施例二
请参考图9，一种数据存储调度装置，包括：
监测模块21，用于实时监测存储介质中存储数据的属性；其中，所述存储数据的属性包括存储时间和数据类型。
类型确定模块22，用于根据预设数据分类逻辑和所述存储数据的属性，重新确定所述存储数据的数据类型。
结果输出模块23，用于根据预设存储调度逻辑和重新确定的数据类型，确定所述存储数据的调度策略；其中，所述调度策略包括存储数据对应的存储介质。
处理模块24，用于根据所述调度策略对所述存储数据进行存储调度。
实施本发明实施例具有如下特点：
首先实时监测存储介质中存储数据的属性，其中，所述存储数据的属性包括存储时间和数据类型，以根据预设数据分类逻辑和存储数据的存储时间和数据类型，重新确定存储数据的数据类型，然后根据预设存储调度逻辑和重新确定的数据类型，确定存储数据的调度策略，其中，所述调度策略包括存储数据对应的存储介质，最后根据所述调度策略对所述存储数据进行存储调度。通过实时监测数据的属性变化，根据数据的存储时间以及其对应的数据类型，对数据进行调度存储，提高数据的流动性，保证实时性高的数据存储至高性能高速存储介质中，实时性不高的数据可以存储至存取速度不高的存储介质中，解决***存储存在存储器容量大、速度快和成本低三者之间的矛盾问题。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储设备中，存储设备可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储设备中，通过下载或复制保存到本地设备的存储器中，或对本地设备的***进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，这些均属于本发明的保护之内。
Claims (9)
1.一种数据存储调度方法，其特征在于，包括：
实时监测存储介质中存储数据的属性；其中，所述存储数据的属性包括存储时间、数据类型和数据业务类型，所述数据业务类型至少包括监控数据和AI预测数据；所述数据类型根据所述存储数据的数据热度值确定，所述数据热度值根据所述存储数据的行为时间确定，所述数据类型包括热数据、暖数据和冷数据，所述热数据的所述数据热度值在预设第一时间范围内，所述暖数据的所述数据热度值在预设第二时间范围内，所述冷数据的所述数据热度值在预设第三时间范围内，不同所述数据类型的所述存储数据被存储至不同的存储设备中；根据所述数据业务类型进行预设数据分类逻辑的划分，所述预设数据分类逻辑包括预设第四时间范围、预设第五时间范围和预设第六时间范围，所述预设第四时间范围对应所述热数据的存储时间，所述预设第五时间范围对应所述暖数据的存储时间，所述预设第六时间范围对应所述冷数据的存储时间；对于同一种所述数据类型但所述数据业务类型不同的所述存储数据，其对应的所述预设数据分类逻辑不同；
根据所述存储数据的所述数据类型和所述数据业务类型，获取对应的预设数据分类逻辑；
根据所述预设数据分类逻辑和所述存储数据的存储时间，重新确定所述存储数据的数据类型；
根据预设存储调度逻辑和重新确定的数据类型，确定所述存储数据的调度策略；其中，所述调度策略包括存储数据对应的存储介质；
根据所述调度策略对所述存储数据进行存储调度。
2.如权利要求1所述的方法，其特征在于，所述预设第一时间范围、所述预设第二时间范围及所述预设第三时间范围的时间维度逐渐增大。
3.如权利要求2所述的方法，其特征在于，对于不同的所述数据类型的所述存储数据，其所述预设第四时间范围、所述预设第五时间范围和所述预设第六时间范围不同。
4.如权利要求3所述的方法，其特征在于，所述根据所述预设数据分类逻辑和所述存储数据的存储时间，重新确定所述存储数据的数据类型包括：
在所述热数据的存储时间在所述预设第四时间范围内时，确定所述热数据为暖数据或待删除数据；
在所述暖数据的存储时间在所述预设第五时间范围内时，确定所述暖数据为冷数据或待删除数据；
在所述冷数据的存储时间在所述预设第六时间范围内时，确定所述冷数据为待删除数据或待压缩存档数据。
5.如权利要求3或4所述的方法，其特征在于，还包括：根据所述数据业务类型划分所述预设第一时间范围、所述预设第二时间范围和所述预设第三时间范围。
6.如权利要求4所述的方法，其特征在于，所述根据预设存储调度逻辑和所述存储数据的类型，输出所述存储数据的调度策略包括：
在重新确定所述热数据为暖数据时，根据预设存储调度逻辑输出所述热数据的调度策略为转至暖数据存储介质；
在重新确定所述热数据为待删除数据时，根据预设存储调度逻辑输出所述热数据的调度策略为待删除；
在重新确定所述暖数据为冷数据时，根据预设存储调度逻辑输出所述暖数据的调度策略为转至冷数据存储介质；
在重新确定所述暖数据为待删除数据时，根据预设存储调度逻辑输出所述暖数据的调度策略为待删除；
在重新确定所述冷数据为待删除数据时，根据预设存储调度逻辑输出所述冷数据的调度策略为待删除；
在重新确定所述冷数据为待压缩存档数据时，根据预设存储调度逻辑输出所述冷数据的调度策略为待压缩存档。
7.如权利要求6所述的方法，其特征在于，所述根据所述调度策略对所述存储数据进行存储调度包括：
响应数据存储请求，接收所述调度策略中的转移存储策略；
根据转移存储策略对待存储数据进行转移存储，实现热数据存储至顶层存储介质中、暖数据存储至中层存储介质中和/或冷数据存储至底层存储介质中；其中，所述顶层存储介质、中层存储介质及底层存储介质各不相同，且数据存取速度依次递减。
8.如权利要求7所述的方法，其特征在于，所述根据所述调度策略对所述存储数据进行存储调度还包括：
在将数据进行转移存储前和/或转移存储后进行数据校验，以保证数据的完整性。
9.一种数据存储调度装置，其特征在于，包括：
监测模块，用于实时监测存储介质中存储数据的属性；其中，所述存储数据的属性包括存储时间、数据类型和数据业务类型，所述数据业务类型至少包括监控数据和AI预测数据；所述数据类型根据所述存储数据的数据热度值确定，所述数据热度值根据所述存储数据的行为时间确定，所述数据类型包括热数据、暖数据和冷数据，所述热数据的所述数据热度值在预设第一时间范围内，所述暖数据的所述数据热度值在预设第二时间范围内，所述冷数据的所述数据热度值在预设第三时间范围内，不同所述数据类型的所述存储数据被存储至不同的存储设备中；根据所述数据业务类型进行预设数据分类逻辑的划分，所述预设数据分类逻辑包括预设第四时间范围、预设第五时间范围和预设第六时间范围，所述预设第四时间范围对应所述热数据的存储时间，所述预设第五时间范围对应所述暖数据的存储时间，所述预设第六时间范围对应所述冷数据的存储时间；对于同一种所述数据类型但所述数据业务类型不同的所述存储数据，其对应的所述预设数据分类逻辑不同；
类型确定模块，用于根据所述存储数据的所述数据类型和所述数据业务类型获取对应的预设数据分类逻辑，以及根据预设数据分类逻辑和所述存储数据的所述存储时间，重新确定所述存储数据的数据类型；
结果输出模块，用于根据预设存储调度逻辑和重新确定的数据类型，确定所述存储数据的调度策略；其中，所述调度策略包括存储数据对应的存储介质；
处理模块，用于根据所述调度策略对所述存储数据进行存储调度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910965867.3A CN110727406B (zh) | 2019-10-10 | 2019-10-10 | 一种数据存储调度方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910965867.3A CN110727406B (zh) | 2019-10-10 | 2019-10-10 | 一种数据存储调度方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110727406A CN110727406A (zh) | 2020-01-24 |
| CN110727406B true CN110727406B (zh) | 2024-05-17 |
Family
ID=69220977
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910965867.3A Active CN110727406B (zh) | 2019-10-10 | 2019-10-10 | 一种数据存储调度方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110727406B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114528326A (zh) * | 2020-10-30 | 2022-05-24 | 华为技术有限公司 | 一种数据管理方法及装置 |
| CN112711386B (zh) * | 2021-01-18 | 2021-07-16 | 深圳市龙信信息技术有限公司 | 存储装置的存储容量检测方法、设备及可读存储介质 |
| CN112732726B (zh) * | 2021-04-02 | 2022-04-29 | 云和恩墨(北京)信息技术有限公司 | 数据处理方法及装置、处理器、计算机存储介质 |
| CN113900597A (zh) * | 2021-11-30 | 2022-01-07 | 深圳市安信达存储技术有限公司 | 一种数据存储方法、***、设备及存储介质 |
| CN114201119B (zh) * | 2022-02-17 | 2022-05-13 | 天津市天河计算机技术有限公司 | 一种超级计算机作业数据分层存储***及方法 |
| CN115134239A (zh) * | 2022-08-31 | 2022-09-30 | 广州市千钧网络科技有限公司 | 一种客户端配置方法、***、电子设备和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106528002A (zh) * | 2016-12-06 | 2017-03-22 | 郑州云海信息技术有限公司 | 一种基于时间的存储调度方法 |
| CN107193500A (zh) * | 2017-05-26 | 2017-09-22 | 郑州云海信息技术有限公司 | 一种分布式文件***分层存储方法及*** |
| CN108563730A (zh) * | 2018-04-04 | 2018-09-21 | 北京蓝杞数据科技有限公司天津分公司 | 一种冷热数据自动切换方法、装置、电子设备及存储介质 |
| KR20190061426A (ko) * | 2017-11-28 | 2019-06-05 | 성균관대학교산학협력단 | 플래시 메모리 시스템 및 그 제어 방법 |
| CN109919193A (zh) * | 2019-01-31 | 2019-06-21 | 中国科学院上海光学精密机械研究所 | 一种大数据的智能分级方法、***及终端 |
| CN110134723A (zh) * | 2019-05-22 | 2019-08-16 | 网易（杭州）网络有限公司 | 一种存储数据的方法和数据库 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2506164A (en) * | 2012-09-24 | 2014-03-26 | Ibm | Increased database performance via migration of data to faster storage |
| US10572863B2 (en) * | 2015-01-30 | 2020-02-25 | Splunk Inc. | Systems and methods for managing allocation of machine data storage |
| KR20160111583A (ko) * | 2015-03-16 | 2016-09-27 | 삼성전자주식회사 | 호스트 및 복수의 저장 장치를 포함하는 메모리 시스템 및 그것의 데이터 이송 방법 |
-
2019
- 2019-10-10 CN CN201910965867.3A patent/CN110727406B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106528002A (zh) * | 2016-12-06 | 2017-03-22 | 郑州云海信息技术有限公司 | 一种基于时间的存储调度方法 |
| CN107193500A (zh) * | 2017-05-26 | 2017-09-22 | 郑州云海信息技术有限公司 | 一种分布式文件***分层存储方法及*** |
| KR20190061426A (ko) * | 2017-11-28 | 2019-06-05 | 성균관대학교산학협력단 | 플래시 메모리 시스템 및 그 제어 방법 |
| CN108563730A (zh) * | 2018-04-04 | 2018-09-21 | 北京蓝杞数据科技有限公司天津分公司 | 一种冷热数据自动切换方法、装置、电子设备及存储介质 |
| CN109919193A (zh) * | 2019-01-31 | 2019-06-21 | 中国科学院上海光学精密机械研究所 | 一种大数据的智能分级方法、***及终端 |
| CN110134723A (zh) * | 2019-05-22 | 2019-08-16 | 网易（杭州）网络有限公司 | 一种存储数据的方法和数据库 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110727406A (zh) | 2020-01-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110727406B (zh) | 一种数据存储调度方法及装置 | |
| CN104040481B (zh) | 用于融合、存储和检索增量式备份数据的方法和*** | |
| US7574435B2 (en) | Hierarchical storage management of metadata | |
| US11151030B1 (en) | Method for prediction of the duration of garbage collection for backup storage systems | |
| US9185188B1 (en) | Method and system for determining optimal time period for data movement from source storage to target storage | |
| US10061834B1 (en) | Incremental out-of-place updates for datasets in data stores | |
| US20130018855A1 (en) | Data deduplication | |
| US20170123711A1 (en) | Deduplicating data for a data storage system using similarity determinations | |
| US10976942B2 (en) | Versioning a configuration of data storage equipment | |
| US20100174878A1 (en) | Systems and Methods for Monitoring Archive Storage Condition and Preventing the Loss of Archived Data | |
| CN104462389A (zh) | 基于分级存储的分布式文件***实现方法 | |
| CN103605585A (zh) | 一种基于数据发现的智能备份方法 | |
| US11422721B2 (en) | Data storage scheme switching in a distributed data storage system | |
| US11223528B2 (en) | Management of cloud-based shared content using predictive cost modeling | |
| US10095738B1 (en) | Dynamic assignment of logical partitions according to query predicate evaluations | |
| CN109947730A (zh) | 元数据恢复方法、装置、分布式文件***及可读存储介质 | |
| CN113553325A (zh) | 一种对象存储***中聚合对象的同步方法和*** | |
| US11436193B2 (en) | System and method for managing data using an enumerator | |
| CN112650453A (zh) | 一种用于存储、查询交通数据的方法和*** | |
| CN114153395B (zh) | 一种对象存储数据生命周期管理方法、装置及设备 | |
| EP3550451A1 (en) | Data storage and maintenance method and device, and computer storage medium | |
| CN115437997A (zh) | 一种用于数据生命周期的智能识别优化*** | |
| US10540329B2 (en) | Dynamic data protection and distribution responsive to external information sources | |
| US9898485B2 (en) | Dynamic context-based data protection and distribution | |
| Iwata et al. | A simulation result of replicating data with another layout for reducing media exchange of cold storage |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |