CN116204138B - 一种基于分层存储的高效存储***及方法 - Google Patents

一种基于分层存储的高效存储***及方法 Download PDF

Info

Publication number
CN116204138B
CN116204138B CN202310494361.5A CN202310494361A CN116204138B CN 116204138 B CN116204138 B CN 116204138B CN 202310494361 A CN202310494361 A CN 202310494361A CN 116204138 B CN116204138 B CN 116204138B
Authority
CN
China
Prior art keywords
data
temperature
module
cold
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310494361.5A
Other languages
English (en)
Other versions
CN116204138A (zh
Inventor
代幻成
杨晓华
杨尧
张蔚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Sanlitong Technology Co ltd
Original Assignee
Chengdu Sanlitong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Sanlitong Technology Co ltd filed Critical Chengdu Sanlitong Technology Co ltd
Priority to CN202310494361.5A priority Critical patent/CN116204138B/zh
Publication of CN116204138A publication Critical patent/CN116204138A/zh
Application granted granted Critical
Publication of CN116204138B publication Critical patent/CN116204138B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及数据存储技术领域，提供了一种基于分层存储的高效存储***及方法，所述***包括冷热数据分类模块；数据迁移模块；终端存储模块；云端存储模块和/或边缘存储模块；其中，所述冷热数据分类模块确定数据的温度，并根据数据的温度将数据划分为热数据和冷数据；其中，所述数据迁移模块将数据中的热数据迁移至云端存储模块和/或边缘存储模块，将数据中的冷数据迁移至终端存储模块。本发明通过将数据划分为热数据和冷数据，再将数据存储到云边缘端数据库中的最佳位置，帮助云边缘端时间序列数据库避免三方存储全部数据所带来的存储开销，并大大降低协同查询处理时各方之间的数据传输开销。

Description

一种基于分层存储的高效存储***及方法
技术领域
本发明涉及数据存储技术领域，尤其是一种基于分层存储的高效存储***及方法。
背景技术
数据存储需求持续呈指数增长，对高效存储***的需求变得越来越重要。这种趋势不仅是由于大数据、云计算、物联网(IoT)及人工智能的兴起所带来的，还因为企业存储和分析数据的方式也在发生变化。随着企业收集和存储海量数据的需要变得越来越普遍，所需的存储容量、数据访问速度和成本效益也变得越来越重要。比如，在人工智能算法中，海量训练数据将占用大量的存储空间，而快速读取和访问这些数据对于算法的效果至关重要。此外，对于实时数据处理和分析的需求不断增加，导致需要能够快速访问和处理数据的高性能存储***，这既包括中央数据中心，也包括边缘端的设备。
随着云边缘计算的发展，有许多更小的、分布式的数据中心被部署在边缘设备上，数据被存储在本地节点上，这就需要高效的存储管理和分层数据存储策略。例如，时间序列数据库常常用于处理IoT中传感器产生的数据，而这些数据的存储容量是非常巨大的。因此，实现基于边缘设备的时序数据存储，必须考虑分层数据存储的策略，不仅需要根据数据的频率和重要性进行不同的分层，而且还需要实现快速的数据检索和过滤，以及高效的数据存储管理。
现有分层存储策略不适宜用以边缘设备，因为现有技术只能描绘数据之间的相对温度，并不能反映数据的冷热程度，因此在频繁的调度过程中会出现误调度情况。
发明内容
为解决上述现有技术问题，本发明提供一种基于分层存储的高效存储***，包括：
冷热数据分类模块；
数据迁移模块；
终端存储模块；
云端存储模块和/或边缘存储模块；
其中，所述冷热数据分类模块确定数据的温度，并根据数据的温度将数据划分为热数据和冷数据；
其中，所述数据迁移模块将数据中的热数据迁移至云端存储模块和/或边缘存储模块，将数据中的冷数据迁移至终端存储模块。
可选的，所述冷热数据分类模块，包括：
温度确定单元；
其中，所述温度确定单元获取数据的温度衰减项和温度升高项，并根据所述温度衰减项和所述温度升高项建立温度模型，利用所述温度模型确定数据的温度。
可选的，所述温度衰减项的表达式，具体为：
Figure SMS_1
其中，
Figure SMS_2
为数据在/>
Figure SMS_3
时的衰减温度，/>
Figure SMS_4
为数据在/>
Figure SMS_5
时的温度，/>
Figure SMS_6
为自定义的冷却速率。
可选的，所述温度升高项的表达式，具体为：
Figure SMS_7
Figure SMS_8
Figure SMS_9
其中，
Figure SMS_12
为数据的升高温度，/>
Figure SMS_15
为引入的热源温度，/>
Figure SMS_18
为数据量密度，/>
Figure SMS_11
为中间变量，/>
Figure SMS_14
为热辐射系数，/>
Figure SMS_17
为访问间隔，/>
Figure SMS_19
为访问后/>
Figure SMS_10
能触及到的数据，/>
Figure SMS_13
为自定义的比热容，/>
Figure SMS_16
为数据长度。
可选的，所述温度模型的表达式，具体为：
Figure SMS_20
其中，
Figure SMS_21
为数据在/>
Figure SMS_22
时的温度，/>
Figure SMS_23
为数据的衰减温度，/>
Figure SMS_24
为数据的升高温度，/>
Figure SMS_25
为离散函数，以访问时间为节点其值可为1或者0，当数据访问时值为1，当数据没有访问时值为0，在一个时间段里访问/>
Figure SMS_26
次，其值为/>
Figure SMS_27
。
可选的，所述***还包括：
工作负载预测模块；
其中，所述工作负载预测模块根据数据的温度，确定数据在目标时间段的预测温度；
可选的，所述工作负载预测模块，包括：
训练数据提取单元；
标注数据提取单元；
温度预测单元；
其中，所述训练数据获取单元提取按时间序列存储的样本时间段的数据，获得训练数据；
其中，所述标注数据获取单元提取样本时间段的数据的温度，利用所述温度对数据进行标注，获得标注数据；
其中，所述温度预测单元建立温度预测模型，利用训练数据和标注数据对温度预测模型进行训练，获得目标时间段的数据的预测温度。
可选的，所述冷热数据分类模块根据数据的预测温度将数据划分为热数据和冷数据。
可选的，所述***还包括：数据摘要创建模块；所述数据摘要创建模块，包括：
过冷数据确定单元；
数据摘要创建单元；
其中，所述过冷数据确定单元根据冷数据的温度，确定冷数据中过冷数据；
其中，所述数据摘要创建模块在过冷数据迁移至终端存储模块时，为所述过冷数据创建数据摘要。
为解决上述现有技术问题，本发明还提供一种基于分层存储的高效存储方法，用于如前所述的基于分层存储的高效存储***，所述方法包括：
S1：冷热数据分类模块确定数据的温度，并根据数据的温度将数据划分为热数据和冷数据；
S2：数据迁移模块将数据中的热数据迁移至云端存储模块和/或边缘存储模块，将数据中的冷数据迁移至终端存储模块。
本发明的有益效果体现在提供了一种基于分层存储的高效存储***及方法，所述***包括冷热数据分类模块；数据迁移模块；终端存储模块；云端存储模块和/或边缘存储模块；其中，所述冷热数据分类模块确定数据的温度，并根据数据的温度将数据划分为热数据和冷数据；其中，所述数据迁移模块将数据中的热数据迁移至云端存储模块和/或边缘存储模块，将数据中的冷数据迁移至终端存储模块。本发明通过将数据划分为热数据和冷数据，再将数据存储到云边缘端数据库中的最佳位置，帮助云边缘端时间序列数据库避免三方存储全部数据所带来的存储开销，并大大降低协同查询处理时各方之间的数据传输开销。
附图说明
图1为本发明所提供的一种基于分层存储的高效存储***的结构示意图。
图2为本发明所提供的一种基于分层存储的高效存储方法的流程示意图。
附图标记：
10-冷热数据分类模块；20-数据迁移模块；30-终端存储模块；40-云端存储模块；50-边缘存储模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本实施例提供一种基于分层存储的高效存储***，参照图1，图1为本实施例基于分层存储的高效存储***的结构示意图。
本实施例中，一种基于分层存储的高效存储***包括：冷热数据分类模块10；数据迁移模块20；终端存储模块30；云端存储模块40和/或边缘存储模块50。
需要说明的是，所述冷热数据分类模块10确定数据的温度，并根据数据的温度将数据划分为热数据和冷数据；所述数据迁移模块20将数据中的热数据迁移至云端存储模块40和/或边缘存储模块50，将数据中的冷数据迁移至终端存储模块30。
其中，冷热数据分类模块10用于建立温度模型，确定数据的温度，并将数据划分为冷数据和热数据。数据迁移模块20用于实现数据在不同存储设备之间的迁移。云端存储模块40、边缘存储模块50和终端存储模块30为不同类型的存储设备，在云边缘计算体系中，云端设备和边缘设备用于实现计算，因此，云端存储模块40和边缘存储模块50通常存储频繁调用的用于计算的热数据，终端设备通常作为功能性设备，因此，终端存储模块30通常存储很少调用的用于非计算的冷数据。
由此，本实施例通过将数据划分为冷数据和热数据，将冷数据存储至终端存储模块30，将热数据存储至云端存储模块40和/或边缘存储模块50，在最大限度减少终端设备的存储空间的同时，能够减少传输数据的大小，实现云边缘计算的数据快速调用。
在优选的实施例中，所述冷热数据分类模块10，包括：温度确定单元。
需要说明的是，在现有技术中，冷热数据划分通常采用的是基于数据之间的相对温度，即，通过统计单位时间内的访问量或频率来进行冷热数据分类。例如：在检测到数据A访问频率为10000次，数据B访问频率为1000次，则认为数据A是热数据。
然而，这样基于相对温度的冷热数据判断方式没有描绘访问时间间隔对冷数据判断的影响，将会对冷热数据的划分产生误差影响。例如：数据B虽然单位时间内的访问频率是1000次，但访问间隔很短，在第一个单位时间内访问1000次，在第二单位时间内访问1000次，中间无间隔；数据A虽然单位时间内的访问频率是10000次，但访问间隔更长，在第一个单位时间内访问10000次，间隔一个单位时间，在第三个单位时间内访问10000次。若只从访问频率的角度进行衡量，数据A更高，但从整体时间上看，数据B在每个单位时间都被访问，因此，仅考虑访问频率的冷热数据分类，可能造成分类不准确。
由此，本实施例提供一种基于绝对温度的冷热数据判断方法，即，温度确定单元获取数据的温度衰减项和温度升高项，并根据所述温度衰减项和所述温度升高项建立温度模型，将数据温度与原始数据封装在一起，利用所述温度模型确定数据的温度。
其中，温度确定单元通过获取数据存储时对应的时间序列，引入数据访问的及时性和频率指标，即数据写入时间和/或数据被访问的频率，利用时间序列生成的时间戳表征上述特征。具体而言，本实施例采用牛顿冷却定律获得温度衰减项。
其中，温度确定单元通过获取数据存储时对应的时间序列，以此表征访问间隔和数据温度之间的关系。具体而言，本实施例采用热辐射定律获得温度升高项。
在优选的实施例中，所述温度衰减项的表达式，具体为：
Figure SMS_28
其中，
Figure SMS_29
为数据在/>
Figure SMS_30
时的衰减温度，/>
Figure SMS_31
为数据在/>
Figure SMS_32
时的温度，/>
Figure SMS_33
为自定义的冷却速率。
需要说明的是，牛顿冷却定律如下：
Figure SMS_34
其中，
Figure SMS_35
为参考温度，/>
Figure SMS_36
是数据当前的温度，/>
Figure SMS_37
是温度变化率和温差的比值系数。做微分求解可以得到：
Figure SMS_38
此时，需要对温度衰减进行建模：
Figure SMS_39
通过上述建模得到了针对冷热数据的牛顿冷却定律模型，即温度衰减项。
在优选的实施例中，所述温度升高项的表达式，具体为：
Figure SMS_40
Figure SMS_41
Figure SMS_42
其中，
Figure SMS_44
为数据的升高温度，/>
Figure SMS_47
为引入的热源温度，/>
Figure SMS_51
为数据量密度，/>
Figure SMS_45
为中间变量，/>
Figure SMS_48
为热辐射系数，/>
Figure SMS_50
为访问间隔，/>
Figure SMS_52
为访问后/>
Figure SMS_43
能触及到的数据，/>
Figure SMS_46
为自定义的比热容，/>
Figure SMS_49
为数据长度。
需要说明的是，本实施例使用热辐射定律来描述访问间隔和数据温度之间的关系，单面积热辐方程如下：
Figure SMS_53
其中，
Figure SMS_54
为访问后/>
Figure SMS_55
能触及到的数据，/>
Figure SMS_56
为引入的热源温度，/>
Figure SMS_57
为访问间隔，/>
Figure SMS_58
为辐射系数，那么热辐射传递的过程为：
Figure SMS_59
数据实际升高的温度为：
Figure SMS_60
其中，
Figure SMS_61
为数据量，/>
Figure SMS_62
为访问次数，/>
Figure SMS_63
为当前时间，/>
Figure SMS_64
为热辐射传递率，/>
Figure SMS_65
为自定义的比热容，/>
Figure SMS_66
为数据长度，/>
Figure SMS_67
为数据量密度。由此，获得：
Figure SMS_68
其中，
Figure SMS_69
，/>
Figure SMS_70
，/>
Figure SMS_71
表示了以距离为变量数据实际升高温度。
通过上述建模得到了针对冷热数据的热辐射定律模型，即温度升高项。
在优选的实施例中，数据温度的计算包括了数据温度的衰减和升高两个部分。由此，获得所述温度模型的表达式，具体为：
Figure SMS_72
其中，
Figure SMS_73
为数据在/>
Figure SMS_74
时的温度，/>
Figure SMS_75
为数据的衰减温度，/>
Figure SMS_76
为数据的升高温度，/>
Figure SMS_77
为离散函数，以访问时间为节点其值可为1或者0，当数据访问时值为1，当数据没有访问时值为0，在一个时间段里访问/>
Figure SMS_78
次，其值为/>
Figure SMS_79
。
在本实施例中，通过计算数据在
Figure SMS_80
时间内的温度结合阈值以对数据冷热进行划分，引入牛顿冷却定律与热辐射定律，获得温度衰减项和温度升高项，考虑数据的热度会随着时间的逝去按照物理定律进行消减，考虑数据访问间隔和温度之间的关系，通过计算数据的绝对温度进行判断，有别于传统相对温度判断带来的弊端影响，将低频率低间隔访问的情况纳入数据温度判断的考虑因素，提高冷热数据分类的准确性。
在优选的实施例中，所述***还包括：工作负载预测模块。
需要说明的是，所述工作负载预测模块根据数据的温度，确定数据在目标时间段的预测温度。
在实际应用中，大多数时间序列数据都是按时段批量访问的。如果能够预测未来时间内数据被访问的概率，并捕捉到未来时期数据的温度上升和下降，就可以提高时间序列数据库分层存储调度的效率。
在本实施例中，利用数据存储时的时间序列生成的时间戳，提取对应的训练数据和标注数据，以此实现对未来时间数据温度的预测。
更进一步的，所述工作负载预测模块，包括：训练数据提取单元、标注数据提取单元和温度预测单元。
需要说明的是，所述训练数据获取单元提取按时间序列存储的样本时间段的数据，获得训练数据；所述标注数据获取单元提取样本时间段的数据的温度，利用所述温度对数据进行标注，获得标注数据；所述温度预测单元建立温度预测模型，利用训练数据和标注数据对温度预测模型进行训练，获得目标时间段的数据的预测温度。
在本实施例中，通过训练数据提取单元和标注数据提取单元分别提取按时间序列存储的样本时间段的数据以及数据对应的温度。
具体而言，训练数据提取和标注数据提取的表达式：
Figure SMS_81
Figure SMS_82
作为标注数据，/>
Figure SMS_83
作为训练数据。
在此之后，对预测模型进行训练，预测结果为数据的温度。在一个优选的实施例中，预测模型采用LSTM模型。
由此，所述冷热数据分类模块10还可根据数据的预测温度将数据划分为热数据和冷数据，使用机器学习或深度学习技术预测未来时间序列数据的温度变化以辅助数据冷热划分即数据调度，将未来时间的热数据提前迁移至云端存储设备和/或边缘存储设备，提高***数据调用的效率与准确性。
其中，冷热数据分类模块10将数据划分为热数据和冷数据后，数据迁移模块20在边缘设备和运设备中以分层的方式预先存储热数据，减少传输数据的大小。将冷数据存储在终端设备上。同时，工作负载预测模块可以帮助******下一个时间段的数据温度。如果温度过高，数据将提前预热到边缘和云设备。如果温度降低，证明它在未来被访问的可能性很低，那么数据仍存储在终端设备上。
在优选的实施例中，所述***还包括：数据摘要创建模块；所述数据摘要创建模块，包括：过冷数据确定单元和数据摘要创建单元。
需要说明的是，所述过冷数据确定单元根据冷数据的温度，确定冷数据中过冷数据；所述数据摘要创建模块在过冷数据迁移至终端存储模块30时，为所述过冷数据创建数据摘要。
本实施例中，根据冷数据的温度确定过冷数据，可通过设立过冷阈值实现过冷数据的判断，在此之后，为过冷数据创建数据摘要，可最大限度减少终端设备的存储空间。
本发明提出了一种基于分层存储的高效存储***，利用基于工作负载预测的调度算法对云边缘端时间序列数据库进行分层存储管理。可以帮助云边缘端时间序列数据库避免三方存储全部数据所带来的存储开销，并大大降低协同查询处理时各方之间的数据传输开销。
本实施例还提供一种基于分层存储的高效存储方法，参照图2，图2为本实施例基于分层存储的高效存储方法的流程示意图。
本实施例中，一种基于分层存储的高效存储方法，用于如前述实施例提出的一种基于分层存储的高效存储***，该方法，包括：
S1：冷热数据分类模块确定数据的温度，并根据数据的温度将数据划分为热数据和冷数据；
S2：数据迁移模块将数据中的热数据迁移至云端存储模块和/或边缘存储模块，将数据中的冷数据迁移至终端存储模块。
本申请服务器访问管理方法的具体实施方式与上述服务器访问管理***各实施例基本相同，在此不再赘述。
在本发明的实施例的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“坚直”、“水平”、“中心”、“顶”、“底”、“顶部”、“底部”、“内”、“外”、“内侧”、“外侧”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。其中，“里侧”是指内部或围起来的区域或空间。“***”是指某特定部件或特定区域的周围的区域。
在本发明的实施例的描述中，术语“第一”、“第二”、“第三”、“第四”仅用以描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”、“第四”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“组装”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
在本发明的实施例的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
在本发明的实施例的描述中，需要理解的是，“-”和“~”表示的是两个数值之同的范围，并且该范围包括端点。例如:“A-B”表示大于或等于A，且小于或等于B的范围。“A~B”表示大于或等于A，且小于或等于B的范围。
在本发明的实施例的描述中，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种基于分层存储的高效存储***，其特征在于，包括：
冷热数据分类模块；
数据迁移模块；
终端存储模块；
云端存储模块和/或边缘存储模块；
其中，所述冷热数据分类模块确定数据的温度，并根据数据的温度将数据划分为热数据和冷数据；
其中，所述冷热数据分类模块，包括：
温度确定单元；
其中，所述温度确定单元获取数据的温度衰减项和温度升高项，并根据所述温度衰减项和所述温度升高项建立温度模型，利用所述温度模型确定数据的温度；
所述温度衰减项的表达式，具体为：
Figure QLYQS_1
，
其中，
Figure QLYQS_2
为数据在/>
Figure QLYQS_3
时的衰减温度，/>
Figure QLYQS_4
为数据在/>
Figure QLYQS_5
时的温度，/>
Figure QLYQS_6
为自定义的冷却速率；
所述温度升高项的表达式，具体为：
Figure QLYQS_7
，
其中，
Figure QLYQS_10
为数据的升高温度，/>
Figure QLYQS_11
为引入的热源温度，/>
Figure QLYQS_15
为数据量密度，/>
Figure QLYQS_8
为中间变量，/>
Figure QLYQS_13
为热辐射系数，/>
Figure QLYQS_16
为访问间隔，/>
Figure QLYQS_17
为访问后/>
Figure QLYQS_9
能触及到的数据，/>
Figure QLYQS_12
为自定义的比热容，/>
Figure QLYQS_14
为数据长度；
所述温度模型的表达式，具体为：
Figure QLYQS_18
，
其中，
Figure QLYQS_19
为数据在/>
Figure QLYQS_20
时的温度，/>
Figure QLYQS_21
为数据的衰减温度，/>
Figure QLYQS_22
为数据的升高温度，/>
Figure QLYQS_23
为离散函数，以访问时间为节点其值为 1 或者 0，当数据访问时值为 1，当数据没有访问时值为 0，在一个时间段里访问/>
Figure QLYQS_24
次，其值为/>
Figure QLYQS_25
；
其中，所述数据迁移模块将数据中的热数据迁移至云端存储模块和/或边缘存储模块，将数据中的冷数据迁移至终端存储模块。
2.根据权利要求 1 所述的基于分层存储的高效存储***，其特征在于，所述***还包括：
工作负载预测模块；
其中，所述工作负载预测模块根据数据的温度，确定数据在目标时间段的预测温度。
3.根据权利要求 2 所述的基于分层存储的高效存储***，其特征在于，所述工作负载预测模块，包括：
训练数据提取单元；
标注数据提取单元；
温度预测单元；
其中，所述训练数据获取单元提取按时间序列存储的样本时间段的数据，获得训练数据；
其中，所述标注数据获取单元提取样本时间段的数据的温度，利用所述温度对数据进行标注，获得标注数据；其中，所述温度预测单元建立温度预测模型，利用训练数据和标注数据对温度预测模型进行训练，获得目标时间段的数据的预测温度。
4.根据权利要求 3 所述的基于分层存储的高效存储***，其特征在于，所述冷热数据分类模块根据数据的预测温度将数据划分为热数据和冷数据。
5.根据权利要求 1 所述的基于分层存储的高效存储***，其特征在于，所述***还包括：数据摘要创建模块；所述数据摘要创建模块，包括：
过冷数据确定单元；
数据摘要创建单元；
其中，所述过冷数据确定单元根据冷数据的温度，确定冷数据中过冷数据；
其中，所述数据摘要创建模块在过冷数据迁移至终端存储模块时，为所述过冷数据创建数据摘要。
6.一种基于分层存储的高效存储方法，其特征在于，用于如权利要求 1-5 任意一项所述的基于分层存储的高效存储***，所述方法包括：
S1：冷热数据分类模块确定数据的温度，并根据数据的温度将数据划分为热数据和冷数据；
S2：数据迁移模块将数据中的热数据迁移至云端存储模块和/或边缘存储模块，将数据中的冷数据迁移至终端存储模块。
CN202310494361.5A 2023-05-05 2023-05-05 一种基于分层存储的高效存储***及方法 Active CN116204138B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310494361.5A CN116204138B (zh) 2023-05-05 2023-05-05 一种基于分层存储的高效存储***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310494361.5A CN116204138B (zh) 2023-05-05 2023-05-05 一种基于分层存储的高效存储***及方法

Publications (2)

Publication Number Publication Date
CN116204138A CN116204138A (zh) 2023-06-02
CN116204138B true CN116204138B (zh) 2023-07-07

Family

ID=86513353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310494361.5A Active CN116204138B (zh) 2023-05-05 2023-05-05 一种基于分层存储的高效存储***及方法

Country Status (1)

Country Link
CN (1) CN116204138B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117076523B (zh) * 2023-10-13 2024-02-09 华能资本服务有限公司 一种用于本地的数据时序存储方法
CN117273131B (zh) * 2023-11-22 2024-02-13 四川三合力通科技发展集团有限公司 一种跨节点数据关系发现***及方法
CN118018882B (zh) * 2024-04-09 2024-06-18 苏州元澄科技股份有限公司 一种物联网数据的采集与存储方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111124295A (zh) * 2019-12-11 2020-05-08 成都信息工程大学 一种基于三元影响因子的农业数据存储处理***及方法
CN112948398A (zh) * 2021-04-29 2021-06-11 电子科技大学 一种面向冷热数据的分级存储***及方法
WO2022089218A1 (zh) * 2020-10-28 2022-05-05 苏州奇流信息科技有限公司 机器学习模型的训练方法、训练装置、预测***
CN114817425A (zh) * 2022-06-28 2022-07-29 成都交大大数据科技有限公司 一种冷热数据分类的方法、装置、设备及可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111124295A (zh) * 2019-12-11 2020-05-08 成都信息工程大学 一种基于三元影响因子的农业数据存储处理***及方法
WO2022089218A1 (zh) * 2020-10-28 2022-05-05 苏州奇流信息科技有限公司 机器学习模型的训练方法、训练装置、预测***
CN112948398A (zh) * 2021-04-29 2021-06-11 电子科技大学 一种面向冷热数据的分级存储***及方法
CN114817425A (zh) * 2022-06-28 2022-07-29 成都交大大数据科技有限公司 一种冷热数据分类的方法、装置、设备及可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于分布式构建HLS协议流媒体文件三层文件存储管理***;杜鹏;;信息与电脑(理论版)(第07期);64-66 *
负载感知的基于对象存储的分布式混合存储***;杜振伟;《中国优秀硕士学位论文全文数据库 信息科技辑》(第2019 年 第08期期);I137-32 *

Also Published As

Publication number Publication date
CN116204138A (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
CN116204138B (zh) 一种基于分层存储的高效存储***及方法
CN106339331B (zh) 一种基于用户活跃度的数据缓存层置换算法
CN106528608B (zh) 一种云架构下的电网gis数据冷热存储方法和***
CN111586091A (zh) 一种实现算力组配的边缘计算网关***
CN104573130A (zh) 基于群体计算的实体解析方法及装置
CN102169491B (zh) 一种多数据集中重复记录动态检测方法
Azri et al. Dendrogram clustering for 3D data analytics in smart city
CN106605222A (zh) 有指导的数据探索
CN115996249A (zh) 一种基于分级的数据传输方法及装置
CN107992358A (zh) 一种适用于核外图处理***的异步io执行方法及***
CN116450620B (zh) 面向多源多域时空基准数据的数据库设计方法及***
CN116680090B (zh) 一种基于大数据的边缘计算网络管理方法及平台
CN104794237A (zh) 网页信息处理方法及装置
CN111737461B (zh) 文本的处理方法、装置、电子设备及计算机可读存储介质
CN107741968A (zh) 一种文件检索的方法、***、装置及计算机可读存储介质
CN117009518A (zh) 融合基本属性和文本内容的相似事件判断方法及其应用
CN115658682A (zh) 数据存储方法、装置、计算机存储介质及计算机程序产品
WO2021232442A1 (zh) 基于动态网格哈希索引的密度聚类方法及装置
Liu et al. Design of information security access system in the power grid based on improved Bayesian algorithm
CN110597849B (zh) 数据查询方法及装置
Ishikawa et al. A data model for integrating data management and data mining in social big data
CN106557469B (zh) 一种处理数据仓库中数据的方法及装置
Hershberger et al. Adaptive sampling for geometric problems over data streams
CN117094396B (zh) 知识抽取方法、装置、计算机设备及存储介质
CN115809249B (zh) 一种基于专有化数据集的数据湖管理方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant