CN116303233A - 一种数据存储的管理方法、装置、设备和计算机存储介质 - Google Patents
一种数据存储的管理方法、装置、设备和计算机存储介质 Download PDFInfo
- Publication number
- CN116303233A CN116303233A CN202211631551.9A CN202211631551A CN116303233A CN 116303233 A CN116303233 A CN 116303233A CN 202211631551 A CN202211631551 A CN 202211631551A CN 116303233 A CN116303233 A CN 116303233A
- Authority
- CN
- China
- Prior art keywords
- storage
- data
- access
- data object
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013500 data storage Methods 0.000 title claims abstract description 46
- 238000007726 management method Methods 0.000 title claims abstract description 21
- 230000004044 response Effects 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 24
- 238000000034 method Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
- G06F16/113—Details of archiving
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
- G06F16/134—Distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种数据存储的管理方法、装置、设备和计算机存储介质，所述数据存储的管理方法包括：利用数据访问接口获取多个数据对象的访问信息，所述访问信息包括访问引擎、访问时间、访问次数、响应时间和访问频率中的至少一种；利用所述访问信息对所述数据对象的数据表进行更新，所述数据表用于存储所述数据对象和所述数据对象的访问信息；利用所述数据表获取所述数据对象的存储策略；利用所述存储策略对所述数据对象的存储类型进行调整，其数据对象的访问信息通过数据访问接口获得，而通过数据访问接口获得的数据对象的访问信息具有较高的准确性，可以提高所述数据对象存储类型调整的准确性。
Description
技术领域
本发明涉及数据处理技术领域，特别是涉及一种数据存储的管理方法、装置、设备和计算机存储介质。
背景技术
随着信息技术的不断发展，数据呈现指数型增长，为了对数据进行有效存储，目前主要采用HDFS(Hadoop Distributed File System，简称HDFS)的分布式文件***或AWS的S3、阿里云的OSS、或者华为云的OBS等云厂商的文件存储***对数据进行分类存储；而且，对数据进行分类存储时，往往将数据划分为热数据和冷数据，其中：热数据往往是访问频次较高的数据，冷数据为访问频次较低的数据。
当对数据类型进行调整时，往往通过人工迁移的方式实现数据类型的冷热调整，其不能实时对数据的冷热进行调整；而且，目前往往通过数据的历史访问时间和访问次数对数据的冷热进行调整，容易导致对数据类型的判断出现错误，进而影响数据的冷热调整。
发明内容
基于此，本发明的目的在于，提供一种数据存储的管理方法、装置、设备和计算机存储介质，其可以根据数据对象的实时访问信息对数据对象的存储类型进行调整。
本发明所采用的技术方案内容具体如下：
一种数据存储的管理方法，包括：
S1：利用数据访问接口获取多个数据对象的访问信息，所述访问信息包括访问引擎、访问时间、访问次数、响应时间和访问频率中的至少一种；
S2：利用所述访问信息对所述数据对象的数据表进行更新，所述数据表用于存储所述数据对象和所述数据对象的访问信息；
S3：利用所述数据表确定所述数据对象的存储策略；
S4：利用所述存储策略对所述数据对象的存储类型进行调整。
进一步地，步骤S3包括：
S31：利用所述数据对象的访问信息确定所述数据对象的当前数据类型，且所述当前数据类型为热数据、低频数据和归档数据中的一种；
S32：利用所述数据对象的当前数据类型确定所述数据对象的存储策略。
进一步地，所述存储策略包括存储操作；
步骤S32中，利用所述数据对象的当前数据类型确定所述数据对象的存储策略为：当所述数据对象的当前数据类型为热数据时，所述存储操作为转为热数据访问存储；当所述数据对象的当前数据类型为低频数据时，所述存储操作为转为低频访问存储；当所述数据对象的数据类型为归档数据时，所述存储操作为转为归档存储。
进一步地，当所述存储操作为转为热数据访问存储时，步骤S4包括：
S411：获取所述数据对象的数据表的名称；
S421：利用所述数据表的名称获得所述数据对象的存储路径；
S431：获取所述数据对象的当前存储类型，所述当前存储类型包括热数据存储、低频访问存储和归档存储中的一种；
S441：利用hdfs的存储策略调整函数将所述存储路径对应的存储策略调整为热数据访问存储；
S451：利用hdfs的移动函数将所述数据对象的当前存储类型调整为热数据存储。
进一步地，当所述存储操作为转为低频访问存储时，步骤S4包括：
S412：获取所述数据对象的数据表的名称；
S422：利用所述数据表的名称获得所述数据对象的存储路径；
S432：获取所述数据对象的当前存储类型，所述当前存储类型包括热数据存储、低频访问存储和归档存储中的一种；
S442：利用hdfs的存储策略调整函数将所述存储路径对应的存储策略调整为低频访问存储；
S452：利用hdfs的移动函数将所述数据对象的当前存储类型调整为低频访问存储。
进一步地，当所述存储操作为转为归档存储时，步骤S4包括：
S413：获取所述数据对象的数据表的名称；
S423：利用所述数据表的名称获得所述数据对象的存储路径；
S433：获取所述数据对象的当前存储类型，所述当前存储类型包括热数据存储、低频访问存储和归档存储中的一种；
S443：利用hdfs的存储策略调整函数将所述存储路径对应的存储策略调整为归档存储；
S453：利用hdfs的移动函数将所述数据对象的当前存储类型调整为归档存储。
进一步地，所述存储策略还包括存储条件，所述存储条件用于判定是否执行所述存储操作；所述存储条件包括检测时间/或和所述存储操作的执行条件；当所述检测时间和/或所述执行条件满足执行阈值时，所述执行操作被执行。
本发明还提供了一种数据存储的管理装置，包括：
获取模块，用于利用数据访问接口获取多个数据对象的访问信息，所述访问信息包括访问引擎、访问时间、访问次数、响应时间和访问频率中的至少一种；
更新模块，用于利用所述访问信息对所述数据对象的数据表进行更新，所述数据表用于存储所述数据对象和所述数据对象的访问信息；
策略确定模块，用于利用所述数据表获取所述数据对象的存储策略；
调整模块，用于利用所述存储策略对所述数据对象的存储类型进行调整。
本发明还提供了一种数据存储的管理设备，包括：
处理器；
存储器，用于存储由所述处理器执行的计算机程序；
其中，所述处理器执行所述计算机程序时实现本发明所述的数据存储的管理方法。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现本发明所述的数据存储的管理方法。
与现有技术相比，本发明的有益效果在于：
本发明公开的数据存储的管理方法，其数据对象的访问信息通过数据访问接口获得，而通过数据访问接口获得的数据对象的访问信息具有较高的准确性，可以提高所述数据对象存储类型调整的准确性。
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
图1为本发明一实施例中数据存储的管理方法的流程图；
图2为本发明一实施例中数据存储的管理方法的结构示意图；
其中，各附图的附图标记为：
1、获取模块；2、更新模块；3、策略确定模块；31、第一确定单元；32、第二确定单元；4、调整模块；41、第一获取单元；42、第二获取单元；43、第三获取单元；44、第一调整单元；45、第二调整单元。
具体实施方式
应当明确，所描述的实施例仅仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请实施例保护的范围。
在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
应当理解的是，本申请实施例并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请实施例的范围仅由所附的权利要求来限制。
参照图1，本实施例提供了一种据存储的管理方法，包括：
S1：利用数据访问接口获取多个数据对象的访问信息，所述访问信息包括访问引擎、访问时间、访问次数、响应时间和访问频率中的至少一种。
在本实施例中，所述访问信息通过所述数据访问接口获得，其可以确保所述访问信息具有较高的准确性，从而通过所述访问信息可以更为准确地确定对所述数据对象的当前数据类型，进而提高所述数据对象的存储类型的调整的准确性和合理性。
在本实施例中，所述数据访问接口为所述数据对象的存储平台对外提供的数据访问接口，其以restfull的接口形式提供http的对外数据调用接口，且所述存储平台内部以jdbc方式调用所述存储平台上的不同计算引擎。
S2：利用所述访问信息对所述数据对象的数据表进行更新，所述数据表用于存储所述数据对象和所述数据对象的访问信息。
在本实施例中，对数据表进行更新主要是对所述数据访问接口传输的调用请求、所述数据对象的访问引擎、访问时间、访问次数、响应时间和访问频率中的至少一种。
S3：利用所述数据表确定所述数据对象的存储策略。
在本实施例中，首先利用所述数据对象的访问信息确定所述数据对象的当前数据类型，且所述当前数据类型为热数据、低频数据和归档数据中的一种；然后，利用所述数据对象的当前数据类型确定所述数据对象的存储策略。
在本实施例中，所述存储策略包括存储操作；当所述数据对象的当前数据类型为热数据时，所述存储操作为转为热数据访问存储；当所述数据对象的当前数据类型为低频数据时，所述存储操作为转为低频访问存储；当所述数据对象的数据类型为归档数据时，所述存储操作为转为归档存储。
S4：利用所述存储策略对所述数据对象的存储类型进行调整。
在本实施例中，当所述存储操作为转为热数据访问存储时，步骤S4包括：
S411：获取所述数据对象的数据表的名称；
S421：利用所述数据表的名称获得所述数据对象的存储路径；
S431：获取所述数据对象的当前存储类型，所述当前存储类型包括热数据存储、低频访问存储和归档存储中的一种；
S441：利用hdfs的存储策略调整函数将所述存储路径对应的存储策略调整为热数据访问存储；
S451：利用hdfs的移动函数将所述数据对象的当前存储类型调整为热数据存储。
在本实施例中，当所述存储操作为转为低频访问存储时，步骤S4包括：
S412：获取所述数据对象的数据表的名称；
S422：利用所述数据表的名称获得所述数据对象的存储路径；
S432：获取所述数据对象的当前存储类型，所述当前存储类型包括热数据存储、低频访问存储和归档存储中的一种；
S442：利用hdfs的存储策略调整函数将所述存储路径对应的存储策略调整为低频访问存储；
S452：利用hdfs的移动函数将所述数据对象的当前存储类型调整为低频访问存储。
在本实施例中，当所述存储操作为转为归档存储时，步骤S4包括：
S413：获取所述数据对象的数据表的名称；
S423：利用所述数据表的名称获得所述数据对象的存储路径；
S433：获取所述数据对象的当前存储类型，所述当前存储类型包括热数据存储、低频访问存储和归档存储中的一种；
S443：利用hdfs的存储策略调整函数将所述存储路径对应的存储策略调整为归档存储；
S453：利用hdfs的移动函数将所述数据对象的当前存储类型调整为归档存储。
目前，所述数据对象的存储类型主要包括内存镜像文件存储(简称为：RAM_DISK)、固态硬盘存储(简称为：SSD)、普通磁盘存储(简称为：DISK)和其他存储(简称为：ARCHIVE)，其中：(1)其他存储是指没有特指那种存储类型，主要指的是计算能力弱而存储密度比较高的介质，其主要用于解决数据容量扩增的问题，一般用于归档存储；(2)普通磁盘为数据对象的默认存储类型。
另外，HDFS支持Lazy_Persist、All_SSD、One_SSD、Hot、Warm和Cold等6种存储策略，默认策略为Hot，其中：(1)Lazy_Persist为：1份数据的存储类型为RAM_DISK，其他副本数据的存储类型为DISK；(2)All_SSD为：全部数据的存储类型为SSD；(3)One_SSD为：一份数据的存储类型为SSD，其他副本数据的存储类型为DISK；(4)Hot为：全部数据的存储类型为DISK；(5)Warm为：一份数据的存储类型为DISK，其他数据的存储类型为ARCHIVE；(6)Cold为：全部数据的存储类型为ARCHIVE。
而且，RAM_DISK、SSD、DISK和ARCHIVE四种存储类型的速度由快变慢，单位存储成本由高到低，因此，基于云存储的应用，在本实施例中，所述存储类型包括热数据存储、低频访问存储和归档存储中。
在本实施例中，其根据所述数据对象的当前数据类型选择不同的存储操作，实现了根据所述数据对象的当前数据类型选择不同的存储操作，无需人工干预即可实现所述数据对象存储类型的调整；而且，由于所述数据对象的当前数据类型是根据所述数据访问接口获得的数据访问信息确定，其通过提高对所述数据对象的访问信息的准确性可以提高所述数据对象调整的合理性和准确性。
为了能够定时对所述数据对象的存储类型进行调整，所述存储策略还包括存储条件，所述存储条件用于判定是否执行所述存储操作；所述存储条件包括检测时间/或和所述存储操作的执行条件；当所述检测时间和/或所述执行条件满足执行阈值时，所述执行操作被执行。
具体在本实施例中，可以设置检查时间和检测时间间隔，当满足到达检查时间和检查时间间隔时，判断所述存储操作的执行条件是否满足执行阈值，且当所述执行操作的执行条件满足执行阈值时，所述执行操作被执行。
本实施例公开的数据存储的管理方法，其通过在存储策略中设置所述存储条件，可以对所述数据对象的存储类型进行定时存储，实现了所述数据对象的存储类型的定时调整。
基于本实施例提供的数据存储的管理方法，参照图2，本实施例还提供了一种数据存储的管理装置，包括：
获取模块1，用于利用数据访问接口获取多个数据对象的访问信息，所述访问信息包括访问引擎、访问时间、访问次数、响应时间和访问频率中的至少一种。
更新模块2，用于利用所述访问信息对所述数据对象的数据表进行更新，所述数据表用于存储所述数据对象和所述数据对象的访问信息；
策略获取模块3，用于利用所述数据表获取所述数据对象的存储策略；
调整模块4，用于利用所述存储策略对所述数据对象的存储类型进行调整。
在本实施例中，所述策略获取模块3包括第一确定单元31和第二确定单元32，其中：(1)所述第一确定单元31利用所述数据对象的访问信息确定所述数据对象的当前数据类型，且所述当前数据类型为热数据、低频数据和归档数据中的一种；(2)所述第二确定单元32利用所述数据对象的当前数据类型确定所述数据对象的存储策略。
在本实施例中，所述存储策略包括存储操作；当所述数据对象的当前数据类型为热数据时，所述存储操作为转为热数据访问存储；当所述数据对象的当前数据类型为低频数据时，所述存储操作为转为低频访问存储；当所述数据对象的数据类型为归档数据时，所述存储操作为转为归档存储。
在本实施例中，所述调整模块4包括第一获取单元41、第二获取单元42、第三获取单元43、第一调整单元44和第二调整单元45，其中：(1)所述第一获取单元41用于获取所述数据对象的数据表的名称；(2)所述第二获取单元42利用所述数据表的名称获得所述数据对象的存储路径；(3)所述第三获取单元43用于获取所述数据对象的当前存储类型，所述当前存储类型包括热数据存储、低频访问存储和归档存储中的一种；(4)当所述存储操作为转为热数据访问存储时，所述第一调整单元44利用hdfs的存储策略调整函数将所述存储路径对应的存储策略调整为热数据访问存储；当所述存储操作为转为低频访问存储时，所述第一调整单元44利用hdfs的存储策略调整函数将所述存储路径对应的存储策略调整为低频访问存储；当所述存储操作为转为归档存储时，所述第一调整单元44利用hdfs的存储策略调整函数将所述存储路径对应的存储策略调整为归档存储；(5)当所述存储操作为转为热数据访问存储时，第二调整单元45利用hdfs的移动函数将所述数据对象的当前存储类型调整为热数据访问存储；当所述存储操作为转为低频访问存储时，第二调整单元45利用hdfs的移动函数将所述数据对象的当前存储类型调整为低频访问存储；当所述存储操作为转为归档存储时，第二调整单元45利用hdfs的移动函数将所述数据对象的当前存储类型调整为归档存储。
基于本实施例提供的数据存储的管理方法，本实施例还提供了数据存储的管理设备，所述数据存储的管理设备可以是服务器、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)等终端设备，其包括：
处理器；
存储器，用于存储由所述处理器执行的计算机程序；
其中，所述处理器执行所述计算机程序时实现本实施例所述的数据存储的管理方法。
基于本实施例提供的数据存储的管理方法，本实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现本实施例所述的数据存储的管理方法。
本申请可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
以上所述实施例仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，则本发明也意图包含这些改动和变形。
Claims (10)
1.一种数据存储的管理方法，其特征在于，包括：
S1：利用数据访问接口获取多个数据对象的访问信息，所述访问信息包括访问引擎、访问时间、访问次数、响应时间和访问频率中的至少一种；
S2：利用所述访问信息对所述数据对象的数据表进行更新，所述数据表用于存储所述数据对象和所述数据对象的访问信息；
S3：利用所述数据表确定所述数据对象的存储策略；
S4：利用所述存储策略对所述数据对象的存储类型进行调整。
2.根据权利要求1所述的数据存储的管理方法，其特征在于，步骤S3包括：
S31：利用所述数据对象的访问信息确定所述数据对象的当前数据类型，且所述当前数据类型为热数据、低频数据和归档数据中的一种；
S32：利用所述数据对象的当前数据类型确定所述数据对象的存储策略。
3.根据权利要求2所述的数据存储的管理方法，其特征在于，所述存储策略包括存储操作；
步骤S32中，利用所述数据对象的当前数据类型确定所述数据对象的存储策略为：当所述数据对象的当前数据类型为热数据时，所述存储操作为转为热数据访问存储；当所述数据对象的当前数据类型为低频数据时，所述存储操作为转为低频访问存储；当所述数据对象的数据类型为归档数据时，所述存储操作为转为归档存储。
4.根据权利要求3所述的数据存储的管理方法，其特征在于，当所述存储操作为转为热数据访问存储时，步骤S4包括：
S411：获取所述数据对象的数据表的名称；
S421：利用所述数据表的名称获得所述数据对象的存储路径；
S431：获取所述数据对象的当前存储类型，所述当前存储类型包括热数据存储、低频访问存储和归档存储中的一种；
S441：利用hdfs的存储策略调整函数将所述存储路径对应的存储策略调整为热数据访问存储；
S451：利用hdfs的移动函数将所述数据对象的当前存储类型调整为热数据存储。
5.根据权利要求3所述的数据存储的管理方法，其特征在于，当所述存储操作为转为低频访问存储时，步骤S4包括：
S412：获取所述数据对象的数据表的名称；
S422：利用所述数据表的名称获得所述数据对象的存储路径；
S432：获取所述数据对象的当前存储类型，所述当前存储类型包括热数据存储、低频访问存储和归档存储中的一种；
S442：利用hdfs的存储策略调整函数将所述存储路径对应的存储策略调整为低频访问存储；
S452：利用hdfs的移动函数将所述数据对象的当前存储类型调整为低频访问存储。
6.根据权利要求3所述的数据存储的管理方法，其特征在于，当所述存储操作为转为归档存储时，步骤S4包括：
S413：获取所述数据对象的数据表的名称；
S423：利用所述数据表的名称获得所述数据对象的存储路径；
S433：获取所述数据对象的当前存储类型，所述当前存储类型包括热数据存储、低频访问存储和归档存储中的一种；
S443：利用hdfs的存储策略调整函数将所述存储路径对应的存储策略调整为归档存储；
S453：利用hdfs的移动函数将所述数据对象的当前存储类型调整为归档存储。
7.根据权利要求3-6任一项所述的数据存储的管理方法，其特征在于，所述存储策略还包括存储条件，所述存储条件用于判定是否执行所述存储操作；所述存储条件包括检测时间/或和所述存储操作的执行条件；当所述检测时间和/或所述执行条件满足执行阈值时，所述执行操作被执行。
8.一种数据存储的管理装置，其特征在于，包括：
获取模块，用于利用数据访问接口获取多个数据对象的访问信息，所述访问信息包括访问引擎、访问时间、访问次数、响应时间和访问频率中的至少一种；
更新模块，用于利用所述访问信息对所述数据对象的数据表进行更新，所述数据表用于存储所述数据对象和所述数据对象的访问信息；
策略确定模块，用于利用所述数据表获取所述数据对象的存储策略；
调整模块，用于利用所述存储策略对所述数据对象的存储类型进行调整。
9.一种数据存储的管理设备，其特征在于，包括：
处理器；
存储器，用于存储由所述处理器执行的计算机程序；
其中，所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述的数据存储的管理方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被执行时实现权利要求1-7中任一项所述的数据存储的管理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211631551.9A CN116303233A (zh) | 2022-12-19 | 2022-12-19 | 一种数据存储的管理方法、装置、设备和计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211631551.9A CN116303233A (zh) | 2022-12-19 | 2022-12-19 | 一种数据存储的管理方法、装置、设备和计算机存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116303233A true CN116303233A (zh) | 2023-06-23 |
Family
ID=86831167
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211631551.9A Pending CN116303233A (zh) | 2022-12-19 | 2022-12-19 | 一种数据存储的管理方法、装置、设备和计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116303233A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107807796A (zh) * | 2017-11-17 | 2018-03-16 | 北京联想超融合科技有限公司 | 一种基于超融合存储***的数据分层方法、终端及*** |
| CN108667916A (zh) * | 2018-04-24 | 2018-10-16 | 百度在线网络技术（北京）有限公司 | 一种Web应用的数据访问方法及*** |
| CN109274639A (zh) * | 2018-07-03 | 2019-01-25 | 阿里巴巴集团控股有限公司 | 开放平台异常数据访问的识别方法和装置 |
| CN111831222A (zh) * | 2020-06-15 | 2020-10-27 | 新浪网技术(中国)有限公司 | 一种分布式对象存储方法及*** |
| CN114064684A (zh) * | 2021-10-13 | 2022-02-18 | 中国电子科技集团公司第十五研究所 | 一种异构数据源的统一访问方法 |
| WO2022257615A1 (zh) * | 2021-06-09 | 2022-12-15 | 北京沃东天骏信息技术有限公司 | 一种信息处理方法及装置、存储介质 |
-
2022
- 2022-12-19 CN CN202211631551.9A patent/CN116303233A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107807796A (zh) * | 2017-11-17 | 2018-03-16 | 北京联想超融合科技有限公司 | 一种基于超融合存储***的数据分层方法、终端及*** |
| CN108667916A (zh) * | 2018-04-24 | 2018-10-16 | 百度在线网络技术（北京）有限公司 | 一种Web应用的数据访问方法及*** |
| CN109274639A (zh) * | 2018-07-03 | 2019-01-25 | 阿里巴巴集团控股有限公司 | 开放平台异常数据访问的识别方法和装置 |
| CN111831222A (zh) * | 2020-06-15 | 2020-10-27 | 新浪网技术(中国)有限公司 | 一种分布式对象存储方法及*** |
| WO2022257615A1 (zh) * | 2021-06-09 | 2022-12-15 | 北京沃东天骏信息技术有限公司 | 一种信息处理方法及装置、存储介质 |
| CN114064684A (zh) * | 2021-10-13 | 2022-02-18 | 中国电子科技集团公司第十五研究所 | 一种异构数据源的统一访问方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102228748B1 (ko) | 하이브리드 스토리지 시스템에서의 데이터 저장 제어 기법 | |
| US10439937B2 (en) | Service addressing in distributed environment | |
| EP3944556A1 (en) | Block data access method and apparatus, and block data storage method and apparatus | |
| EP3779693A1 (en) | Data processing method and apparatus, and client | |
| CN109343793B (zh) | 数据迁移方法及装置 | |
| CN108959510B (zh) | 一种分布式数据库的分区级连接方法和装置 | |
| US11003367B2 (en) | Data storage, reading, and cleansing method and device, and cloud storage system | |
| US11057465B2 (en) | Time-based data placement in a distributed storage system | |
| CN112783848B (zh) | 一种数据同步方法、装置及电子设备 | |
| CN110737717A (zh) | 一种数据库迁移方法及装置 | |
| CN113794696B (zh) | 一种基于因果模型的网络安全信息处理方法和*** | |
| EP3822763A1 (en) | Data reading method, device, system, and distributed system | |
| US9965491B2 (en) | Method and device for recording system log | |
| CN116303233A (zh) | 一种数据存储的管理方法、装置、设备和计算机存储介质 | |
| CN108536759B (zh) | 一种样本回放数据存取方法及装置 | |
| CN112559118A (zh) | 应用数据迁移方法、装置、电子设备及存储介质 | |
| CN109101514A (zh) | 数据导入方法及装置 | |
| CN106909472B (zh) | 一种分布式文件***的输入/输出负载调整方法及装置 | |
| EP3859549B1 (en) | Database migration method, apparatus, and device, and computer readable medium | |
| EP3779691B1 (en) | Data processing method and apparatus | |
| CN109144740B (zh) | 一种分布式锁实现方法和装置 | |
| CN110020288A (zh) | 一种页面刷新方法及装置 | |
| CN110968552B (zh) | 应用信息的存储方法及装置 | |
| CN105095511A (zh) | 一种基于分布式***的文件处理方法、装置及*** | |
| CN105117470B (zh) | 数据存储方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |