CN116204138B - 一种基于分层存储的高效存储***及方法 - Google Patents
一种基于分层存储的高效存储***及方法 Download PDFInfo
- Publication number
- CN116204138B CN116204138B CN202310494361.5A CN202310494361A CN116204138B CN 116204138 B CN116204138 B CN 116204138B CN 202310494361 A CN202310494361 A CN 202310494361A CN 116204138 B CN116204138 B CN 116204138B
- Authority
- CN
- China
- Prior art keywords
- data
- temperature
- module
- cold
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000013508 migration Methods 0.000 claims abstract description 17
- 230000005012 migration Effects 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 17
- 238000002372 labelling Methods 0.000 claims description 15
- 238000004781 supercooling Methods 0.000 claims description 14
- 238000013075 data extraction Methods 0.000 claims description 10
- 230000014509 gene expression Effects 0.000 claims description 10
- 230000005855 radiation Effects 0.000 claims description 10
- 238000001816 cooling Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 6
- 230000000630 rising effect Effects 0.000 claims description 3
- 238000013500 data storage Methods 0.000 abstract description 7
- 230000005540 biological transmission Effects 0.000 abstract description 5
- 238000012545 processing Methods 0.000 abstract description 4
- 238000007726 management method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005293 physical law Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0647—Migration mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据存储技术领域,提供了一种基于分层存储的高效存储***及方法,所述***包括冷热数据分类模块;数据迁移模块;终端存储模块;云端存储模块和/或边缘存储模块;其中,所述冷热数据分类模块确定数据的温度,并根据数据的温度将数据划分为热数据和冷数据;其中,所述数据迁移模块将数据中的热数据迁移至云端存储模块和/或边缘存储模块,将数据中的冷数据迁移至终端存储模块。本发明通过将数据划分为热数据和冷数据,再将数据存储到云边缘端数据库中的最佳位置,帮助云边缘端时间序列数据库避免三方存储全部数据所带来的存储开销,并大大降低协同查询处理时各方之间的数据传输开销。
Description
技术领域
本发明涉及数据存储技术领域,尤其是一种基于分层存储的高效存储***及方法。
背景技术
数据存储需求持续呈指数增长,对高效存储***的需求变得越来越重要。这种趋势不仅是由于大数据、云计算、物联网(IoT)及人工智能的兴起所带来的,还因为企业存储和分析数据的方式也在发生变化。随着企业收集和存储海量数据的需要变得越来越普遍,所需的存储容量、数据访问速度和成本效益也变得越来越重要。比如,在人工智能算法中,海量训练数据将占用大量的存储空间,而快速读取和访问这些数据对于算法的效果至关重要。此外,对于实时数据处理和分析的需求不断增加,导致需要能够快速访问和处理数据的高性能存储***,这既包括中央数据中心,也包括边缘端的设备。
随着云边缘计算的发展,有许多更小的、分布式的数据中心被部署在边缘设备上,数据被存储在本地节点上,这就需要高效的存储管理和分层数据存储策略。例如,时间序列数据库常常用于处理IoT中传感器产生的数据,而这些数据的存储容量是非常巨大的。因此,实现基于边缘设备的时序数据存储,必须考虑分层数据存储的策略,不仅需要根据数据的频率和重要性进行不同的分层,而且还需要实现快速的数据检索和过滤,以及高效的数据存储管理。
现有分层存储策略不适宜用以边缘设备,因为现有技术只能描绘数据之间的相对温度,并不能反映数据的冷热程度,因此在频繁的调度过程中会出现误调度情况。
发明内容
为解决上述现有技术问题,本发明提供一种基于分层存储的高效存储***,包括:
冷热数据分类模块;
数据迁移模块;
终端存储模块;
云端存储模块和/或边缘存储模块;
其中,所述冷热数据分类模块确定数据的温度,并根据数据的温度将数据划分为热数据和冷数据;
其中,所述数据迁移模块将数据中的热数据迁移至云端存储模块和/或边缘存储模块,将数据中的冷数据迁移至终端存储模块。
可选的,所述冷热数据分类模块,包括:
温度确定单元;
其中,所述温度确定单元获取数据的温度衰减项和温度升高项,并根据所述温度衰减项和所述温度升高项建立温度模型,利用所述温度模型确定数据的温度。
可选的,所述温度衰减项的表达式,具体为:
可选的,所述温度升高项的表达式,具体为:
可选的,所述温度模型的表达式,具体为:
其中,为数据在/>时的温度,/>为数据的衰减温度,/>为数据的升高温度,/>为离散函数,以访问时间为节点其值可为1或者0,当数据访问时值为1,当数据没有访问时值为0,在一个时间段里访问/>次,其值为/>。
可选的,所述***还包括:
工作负载预测模块;
其中,所述工作负载预测模块根据数据的温度,确定数据在目标时间段的预测温度;
可选的,所述工作负载预测模块,包括:
训练数据提取单元;
标注数据提取单元;
温度预测单元;
其中,所述训练数据获取单元提取按时间序列存储的样本时间段的数据,获得训练数据;
其中,所述标注数据获取单元提取样本时间段的数据的温度,利用所述温度对数据进行标注,获得标注数据;
其中,所述温度预测单元建立温度预测模型,利用训练数据和标注数据对温度预测模型进行训练,获得目标时间段的数据的预测温度。
可选的,所述冷热数据分类模块根据数据的预测温度将数据划分为热数据和冷数据。
可选的,所述***还包括:数据摘要创建模块;所述数据摘要创建模块,包括:
过冷数据确定单元;
数据摘要创建单元;
其中,所述过冷数据确定单元根据冷数据的温度,确定冷数据中过冷数据;
其中,所述数据摘要创建模块在过冷数据迁移至终端存储模块时,为所述过冷数据创建数据摘要。
为解决上述现有技术问题,本发明还提供一种基于分层存储的高效存储方法,用于如前所述的基于分层存储的高效存储***,所述方法包括:
S1:冷热数据分类模块确定数据的温度,并根据数据的温度将数据划分为热数据和冷数据;
S2:数据迁移模块将数据中的热数据迁移至云端存储模块和/或边缘存储模块,将数据中的冷数据迁移至终端存储模块。
本发明的有益效果体现在提供了一种基于分层存储的高效存储***及方法,所述***包括冷热数据分类模块;数据迁移模块;终端存储模块;云端存储模块和/或边缘存储模块;其中,所述冷热数据分类模块确定数据的温度,并根据数据的温度将数据划分为热数据和冷数据;其中,所述数据迁移模块将数据中的热数据迁移至云端存储模块和/或边缘存储模块,将数据中的冷数据迁移至终端存储模块。本发明通过将数据划分为热数据和冷数据,再将数据存储到云边缘端数据库中的最佳位置,帮助云边缘端时间序列数据库避免三方存储全部数据所带来的存储开销,并大大降低协同查询处理时各方之间的数据传输开销。
附图说明
图1为本发明所提供的一种基于分层存储的高效存储***的结构示意图。
图2为本发明所提供的一种基于分层存储的高效存储方法的流程示意图。
附图标记:
10-冷热数据分类模块;20-数据迁移模块;30-终端存储模块;40-云端存储模块;50-边缘存储模块。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本实施例提供一种基于分层存储的高效存储***,参照图1,图1为本实施例基于分层存储的高效存储***的结构示意图。
本实施例中,一种基于分层存储的高效存储***包括:冷热数据分类模块10;数据迁移模块20;终端存储模块30;云端存储模块40和/或边缘存储模块50。
需要说明的是,所述冷热数据分类模块10确定数据的温度,并根据数据的温度将数据划分为热数据和冷数据;所述数据迁移模块20将数据中的热数据迁移至云端存储模块40和/或边缘存储模块50,将数据中的冷数据迁移至终端存储模块30。
其中,冷热数据分类模块10用于建立温度模型,确定数据的温度,并将数据划分为冷数据和热数据。数据迁移模块20用于实现数据在不同存储设备之间的迁移。云端存储模块40、边缘存储模块50和终端存储模块30为不同类型的存储设备,在云边缘计算体系中,云端设备和边缘设备用于实现计算,因此,云端存储模块40和边缘存储模块50通常存储频繁调用的用于计算的热数据,终端设备通常作为功能性设备,因此,终端存储模块30通常存储很少调用的用于非计算的冷数据。
由此,本实施例通过将数据划分为冷数据和热数据,将冷数据存储至终端存储模块30,将热数据存储至云端存储模块40和/或边缘存储模块50,在最大限度减少终端设备的存储空间的同时,能够减少传输数据的大小,实现云边缘计算的数据快速调用。
在优选的实施例中,所述冷热数据分类模块10,包括:温度确定单元。
需要说明的是,在现有技术中,冷热数据划分通常采用的是基于数据之间的相对温度,即,通过统计单位时间内的访问量或频率来进行冷热数据分类。例如:在检测到数据A访问频率为10000次,数据B访问频率为1000次,则认为数据A是热数据。
然而,这样基于相对温度的冷热数据判断方式没有描绘访问时间间隔对冷数据判断的影响,将会对冷热数据的划分产生误差影响。例如:数据B虽然单位时间内的访问频率是1000次,但访问间隔很短,在第一个单位时间内访问1000次,在第二单位时间内访问1000次,中间无间隔;数据A虽然单位时间内的访问频率是10000次,但访问间隔更长,在第一个单位时间内访问10000次,间隔一个单位时间,在第三个单位时间内访问10000次。若只从访问频率的角度进行衡量,数据A更高,但从整体时间上看,数据B在每个单位时间都被访问,因此,仅考虑访问频率的冷热数据分类,可能造成分类不准确。
由此,本实施例提供一种基于绝对温度的冷热数据判断方法,即,温度确定单元获取数据的温度衰减项和温度升高项,并根据所述温度衰减项和所述温度升高项建立温度模型,将数据温度与原始数据封装在一起,利用所述温度模型确定数据的温度。
其中,温度确定单元通过获取数据存储时对应的时间序列,引入数据访问的及时性和频率指标,即数据写入时间和/或数据被访问的频率,利用时间序列生成的时间戳表征上述特征。具体而言,本实施例采用牛顿冷却定律获得温度衰减项。
其中,温度确定单元通过获取数据存储时对应的时间序列,以此表征访问间隔和数据温度之间的关系。具体而言,本实施例采用热辐射定律获得温度升高项。
在优选的实施例中,所述温度衰减项的表达式,具体为:
需要说明的是,牛顿冷却定律如下:
此时,需要对温度衰减进行建模:
通过上述建模得到了针对冷热数据的牛顿冷却定律模型,即温度衰减项。
在优选的实施例中,所述温度升高项的表达式,具体为:
需要说明的是,本实施例使用热辐射定律来描述访问间隔和数据温度之间的关系,单面积热辐方程如下:
数据实际升高的温度为:
通过上述建模得到了针对冷热数据的热辐射定律模型,即温度升高项。
在优选的实施例中,数据温度的计算包括了数据温度的衰减和升高两个部分。由此,获得所述温度模型的表达式,具体为:
其中,为数据在/>时的温度,/>为数据的衰减温度,/>为数据的升高温度,/>为离散函数,以访问时间为节点其值可为1或者0,当数据访问时值为1,当数据没有访问时值为0,在一个时间段里访问/>次,其值为/>。
在本实施例中,通过计算数据在时间内的温度结合阈值以对数据冷热进行划分,引入牛顿冷却定律与热辐射定律,获得温度衰减项和温度升高项,考虑数据的热度会随着时间的逝去按照物理定律进行消减,考虑数据访问间隔和温度之间的关系,通过计算数据的绝对温度进行判断,有别于传统相对温度判断带来的弊端影响,将低频率低间隔访问的情况纳入数据温度判断的考虑因素,提高冷热数据分类的准确性。
在优选的实施例中,所述***还包括:工作负载预测模块。
需要说明的是,所述工作负载预测模块根据数据的温度,确定数据在目标时间段的预测温度。
在实际应用中,大多数时间序列数据都是按时段批量访问的。如果能够预测未来时间内数据被访问的概率,并捕捉到未来时期数据的温度上升和下降,就可以提高时间序列数据库分层存储调度的效率。
在本实施例中,利用数据存储时的时间序列生成的时间戳,提取对应的训练数据和标注数据,以此实现对未来时间数据温度的预测。
更进一步的,所述工作负载预测模块,包括:训练数据提取单元、标注数据提取单元和温度预测单元。
需要说明的是,所述训练数据获取单元提取按时间序列存储的样本时间段的数据,获得训练数据;所述标注数据获取单元提取样本时间段的数据的温度,利用所述温度对数据进行标注,获得标注数据;所述温度预测单元建立温度预测模型,利用训练数据和标注数据对温度预测模型进行训练,获得目标时间段的数据的预测温度。
在本实施例中,通过训练数据提取单元和标注数据提取单元分别提取按时间序列存储的样本时间段的数据以及数据对应的温度。
具体而言,训练数据提取和标注数据提取的表达式:
在此之后,对预测模型进行训练,预测结果为数据的温度。在一个优选的实施例中,预测模型采用LSTM模型。
由此,所述冷热数据分类模块10还可根据数据的预测温度将数据划分为热数据和冷数据,使用机器学习或深度学习技术预测未来时间序列数据的温度变化以辅助数据冷热划分即数据调度,将未来时间的热数据提前迁移至云端存储设备和/或边缘存储设备,提高***数据调用的效率与准确性。
其中,冷热数据分类模块10将数据划分为热数据和冷数据后,数据迁移模块20在边缘设备和运设备中以分层的方式预先存储热数据,减少传输数据的大小。将冷数据存储在终端设备上。同时,工作负载预测模块可以帮助******下一个时间段的数据温度。如果温度过高,数据将提前预热到边缘和云设备。如果温度降低,证明它在未来被访问的可能性很低,那么数据仍存储在终端设备上。
在优选的实施例中,所述***还包括:数据摘要创建模块;所述数据摘要创建模块,包括:过冷数据确定单元和数据摘要创建单元。
需要说明的是,所述过冷数据确定单元根据冷数据的温度,确定冷数据中过冷数据;所述数据摘要创建模块在过冷数据迁移至终端存储模块30时,为所述过冷数据创建数据摘要。
本实施例中,根据冷数据的温度确定过冷数据,可通过设立过冷阈值实现过冷数据的判断,在此之后,为过冷数据创建数据摘要,可最大限度减少终端设备的存储空间。
本发明提出了一种基于分层存储的高效存储***,利用基于工作负载预测的调度算法对云边缘端时间序列数据库进行分层存储管理。可以帮助云边缘端时间序列数据库避免三方存储全部数据所带来的存储开销,并大大降低协同查询处理时各方之间的数据传输开销。
本实施例还提供一种基于分层存储的高效存储方法,参照图2,图2为本实施例基于分层存储的高效存储方法的流程示意图。
本实施例中,一种基于分层存储的高效存储方法,用于如前述实施例提出的一种基于分层存储的高效存储***,该方法,包括:
S1:冷热数据分类模块确定数据的温度,并根据数据的温度将数据划分为热数据和冷数据;
S2:数据迁移模块将数据中的热数据迁移至云端存储模块和/或边缘存储模块,将数据中的冷数据迁移至终端存储模块。
本申请服务器访问管理方法的具体实施方式与上述服务器访问管理***各实施例基本相同,在此不再赘述。
在本发明的实施例的描述中,需要理解的是,术语“上”、“下”、“前”、“后”、“左”、“右”、“坚直”、“水平”、“中心”、“顶”、“底”、“顶部”、“底部”、“内”、“外”、“内侧”、“外侧”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。其中,“里侧”是指内部或围起来的区域或空间。“***”是指某特定部件或特定区域的周围的区域。
在本发明的实施例的描述中,术语“第一”、“第二”、“第三”、“第四”仅用以描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”、“第三”、“第四”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
在本发明的实施例的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“组装”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
在本发明的实施例的描述中,具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
在本发明的实施例的描述中,需要理解的是,“-”和“~”表示的是两个数值之同的范围,并且该范围包括端点。例如:“A-B”表示大于或等于A,且小于或等于B的范围。“A~B”表示大于或等于A,且小于或等于B的范围。
在本发明的实施例的描述中,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (6)
1.一种基于分层存储的高效存储***,其特征在于,包括:
冷热数据分类模块;
数据迁移模块;
终端存储模块;
云端存储模块和/或边缘存储模块;
其中,所述冷热数据分类模块确定数据的温度,并根据数据的温度将数据划分为热数据和冷数据;
其中,所述冷热数据分类模块,包括:
温度确定单元;
其中,所述温度确定单元获取数据的温度衰减项和温度升高项,并根据所述温度衰减项和所述温度升高项建立温度模型,利用所述温度模型确定数据的温度;
所述温度衰减项的表达式,具体为:
所述温度升高项的表达式,具体为:
所述温度模型的表达式,具体为:
其中,为数据在/>时的温度,/>为数据的衰减温度,/>为数据的升高温度,/>为离散函数,以访问时间为节点其值为 1 或者 0,当数据访问时值为 1,当数据没有访问时值为 0,在一个时间段里访问/>次,其值为/>;
其中,所述数据迁移模块将数据中的热数据迁移至云端存储模块和/或边缘存储模块,将数据中的冷数据迁移至终端存储模块。
2.根据权利要求 1 所述的基于分层存储的高效存储***,其特征在于,所述***还包括:
工作负载预测模块;
其中,所述工作负载预测模块根据数据的温度,确定数据在目标时间段的预测温度。
3.根据权利要求 2 所述的基于分层存储的高效存储***,其特征在于,所述工作负载预测模块,包括:
训练数据提取单元;
标注数据提取单元;
温度预测单元;
其中,所述训练数据获取单元提取按时间序列存储的样本时间段的数据,获得训练数据;
其中,所述标注数据获取单元提取样本时间段的数据的温度,利用所述温度对数据进行标注,获得标注数据;其中,所述温度预测单元建立温度预测模型,利用训练数据和标注数据对温度预测模型进行训练,获得目标时间段的数据的预测温度。
4.根据权利要求 3 所述的基于分层存储的高效存储***,其特征在于,所述冷热数据分类模块根据数据的预测温度将数据划分为热数据和冷数据。
5.根据权利要求 1 所述的基于分层存储的高效存储***,其特征在于,所述***还包括:数据摘要创建模块;所述数据摘要创建模块,包括:
过冷数据确定单元;
数据摘要创建单元;
其中,所述过冷数据确定单元根据冷数据的温度,确定冷数据中过冷数据;
其中,所述数据摘要创建模块在过冷数据迁移至终端存储模块时,为所述过冷数据创建数据摘要。
6.一种基于分层存储的高效存储方法,其特征在于,用于如权利要求 1-5 任意一项所述的基于分层存储的高效存储***,所述方法包括:
S1:冷热数据分类模块确定数据的温度,并根据数据的温度将数据划分为热数据和冷数据;
S2:数据迁移模块将数据中的热数据迁移至云端存储模块和/或边缘存储模块,将数据中的冷数据迁移至终端存储模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310494361.5A CN116204138B (zh) | 2023-05-05 | 2023-05-05 | 一种基于分层存储的高效存储***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310494361.5A CN116204138B (zh) | 2023-05-05 | 2023-05-05 | 一种基于分层存储的高效存储***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116204138A CN116204138A (zh) | 2023-06-02 |
CN116204138B true CN116204138B (zh) | 2023-07-07 |
Family
ID=86513353
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310494361.5A Active CN116204138B (zh) | 2023-05-05 | 2023-05-05 | 一种基于分层存储的高效存储***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116204138B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117076523B (zh) * | 2023-10-13 | 2024-02-09 | 华能资本服务有限公司 | 一种用于本地的数据时序存储方法 |
CN117273131B (zh) * | 2023-11-22 | 2024-02-13 | 四川三合力通科技发展集团有限公司 | 一种跨节点数据关系发现***及方法 |
CN118018882B (zh) * | 2024-04-09 | 2024-06-18 | 苏州元澄科技股份有限公司 | 一种物联网数据的采集与存储方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111124295A (zh) * | 2019-12-11 | 2020-05-08 | 成都信息工程大学 | 一种基于三元影响因子的农业数据存储处理***及方法 |
CN112948398A (zh) * | 2021-04-29 | 2021-06-11 | 电子科技大学 | 一种面向冷热数据的分级存储***及方法 |
WO2022089218A1 (zh) * | 2020-10-28 | 2022-05-05 | 苏州奇流信息科技有限公司 | 机器学习模型的训练方法、训练装置、预测*** |
CN114817425A (zh) * | 2022-06-28 | 2022-07-29 | 成都交大大数据科技有限公司 | 一种冷热数据分类的方法、装置、设备及可读存储介质 |
-
2023
- 2023-05-05 CN CN202310494361.5A patent/CN116204138B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111124295A (zh) * | 2019-12-11 | 2020-05-08 | 成都信息工程大学 | 一种基于三元影响因子的农业数据存储处理***及方法 |
WO2022089218A1 (zh) * | 2020-10-28 | 2022-05-05 | 苏州奇流信息科技有限公司 | 机器学习模型的训练方法、训练装置、预测*** |
CN112948398A (zh) * | 2021-04-29 | 2021-06-11 | 电子科技大学 | 一种面向冷热数据的分级存储***及方法 |
CN114817425A (zh) * | 2022-06-28 | 2022-07-29 | 成都交大大数据科技有限公司 | 一种冷热数据分类的方法、装置、设备及可读存储介质 |
Non-Patent Citations (2)
Title |
---|
基于分布式构建HLS协议流媒体文件三层文件存储管理***;杜鹏;;信息与电脑(理论版)(第07期);64-66 * |
负载感知的基于对象存储的分布式混合存储***;杜振伟;《中国优秀硕士学位论文全文数据库 信息科技辑》(第2019 年 第08期期);I137-32 * |
Also Published As
Publication number | Publication date |
---|---|
CN116204138A (zh) | 2023-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116204138B (zh) | 一种基于分层存储的高效存储***及方法 | |
CN106339331B (zh) | 一种基于用户活跃度的数据缓存层置换算法 | |
CN106528608B (zh) | 一种云架构下的电网gis数据冷热存储方法和*** | |
CN111586091A (zh) | 一种实现算力组配的边缘计算网关*** | |
CN104573130A (zh) | 基于群体计算的实体解析方法及装置 | |
CN102169491B (zh) | 一种多数据集中重复记录动态检测方法 | |
Azri et al. | Dendrogram clustering for 3D data analytics in smart city | |
CN106605222A (zh) | 有指导的数据探索 | |
CN115996249A (zh) | 一种基于分级的数据传输方法及装置 | |
CN107992358A (zh) | 一种适用于核外图处理***的异步io执行方法及*** | |
CN116450620B (zh) | 面向多源多域时空基准数据的数据库设计方法及*** | |
CN116680090B (zh) | 一种基于大数据的边缘计算网络管理方法及平台 | |
CN104794237A (zh) | 网页信息处理方法及装置 | |
CN111737461B (zh) | 文本的处理方法、装置、电子设备及计算机可读存储介质 | |
CN107741968A (zh) | 一种文件检索的方法、***、装置及计算机可读存储介质 | |
CN117009518A (zh) | 融合基本属性和文本内容的相似事件判断方法及其应用 | |
CN115658682A (zh) | 数据存储方法、装置、计算机存储介质及计算机程序产品 | |
WO2021232442A1 (zh) | 基于动态网格哈希索引的密度聚类方法及装置 | |
Liu et al. | Design of information security access system in the power grid based on improved Bayesian algorithm | |
CN110597849B (zh) | 数据查询方法及装置 | |
Ishikawa et al. | A data model for integrating data management and data mining in social big data | |
CN106557469B (zh) | 一种处理数据仓库中数据的方法及装置 | |
Hershberger et al. | Adaptive sampling for geometric problems over data streams | |
CN117094396B (zh) | 知识抽取方法、装置、计算机设备及存储介质 | |
CN115809249B (zh) | 一种基于专有化数据集的数据湖管理方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |