CN111858470A - 一种时间窗口迁移策略 - Google Patents

一种时间窗口迁移策略 Download PDF

Info

Publication number
CN111858470A
CN111858470A CN202010722780.6A CN202010722780A CN111858470A CN 111858470 A CN111858470 A CN 111858470A CN 202010722780 A CN202010722780 A CN 202010722780A CN 111858470 A CN111858470 A CN 111858470A
Authority
CN
China
Prior art keywords
time window
migration
file
access
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010722780.6A
Other languages
English (en)
Inventor
陈宏宇
刘魁
魏培阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Cheng Xin High Tech Information Technology Co ltd
Chengdu University of Information Technology
Original Assignee
Chengdu Cheng Xin High Tech Information Technology Co ltd
Chengdu University of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Cheng Xin High Tech Information Technology Co ltd, Chengdu University of Information Technology filed Critical Chengdu Cheng Xin High Tech Information Technology Co ltd
Priority to CN202010722780.6A priority Critical patent/CN111858470A/zh
Publication of CN111858470A publication Critical patent/CN111858470A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/119—Details of migration of file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G06F16/137—Hash-based
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162—Delete operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种时间窗口迁移策略，应用于分布式文件存储***，包括如下步骤：使用哈希表的方式将数据的文件信息记录在内存中；当时间窗口滑动则删除过期数据；依次解析访问日志内容；使用哈希函数将文件句柄作为键，访问时间的集合作为值，依次将访问时间***到集合中；判断时间窗口内的访问次数超过设定的阈值，若是则进行文件的升级迁移；判断集合中最远一次访问时间是否超过时间窗口大小，若是则覆盖记录；判断集合中最近一次访问时间是否超过时间窗口大小，若是则删除记录；当内存使用率超过设定的阈值，则遍历哈希表，检查并删除过期记录。时间窗口迁移策略执行一小段时间内的数据访问监控，为分布式文件存储***的存储方法提供有效帮助。

Description

一种时间窗口迁移策略
技术领域
本发明涉及数据迁移策略，尤其涉及一种时间窗口迁移策略，属于移动通信技术领域。
背景技术
随着电子网络时代的兴起，在日常的工作生活中需要用到越来越多的数据存储。而随着时间的增加，会出现数据源硬件老化、数据源存储空间不足、数据源需要更新换代等问题的出现。因此，需要进行数据迁移以保证数据的完整性。根据IDC的调查报告显示，在目前的数据中80%的数据都是非结构化的数据，相较于结构化数据，非结构化数据的增长速度远远高于结构化数据的增长速度。对于激增的非结构化数据，上层应用提出了更高的存储和访问性能要求：高性能、低成本以及高可扩展。进一步地，分析文件访问的局部性和不同存储设备的特性后，构建一种多层级的数据分级存储***成为一种可行的解决方案，使用高性能设备存储频繁访问的热数据以保证性能，使用价格低廉的大容量存储设备存储不常访问的冷数据以节约成本。
分级存储***中迁移策略是数据分级的关键，数据迁移策略将直接决定存储***中数据的存储和访问性能。现有的分级存储方案中，大多数仅根据全局的、历史的访问情况以判断文件的冷热程度，缺乏更加实时性的文件访问监控和分析，从而导致文件的迁移不及时，针对突发性频繁访问的文件无法及时进行迁移。
发明内容
为了解决文件的迁移不及时的问题，本发明提供了一种时间窗口迁移策略。
本发明的所采用的技术方案如下：
一种时间窗口迁移策略，应用于分布式文件存储***，包括如下步骤：
S21：使用哈希表的方式将数据的文件信息记录在内存中；
S22：当时间窗口滑动则删除过期数据；
S23：更新数据后，依据时间窗口内的迁移策略进行分析和决策，判断文件当前是否存储在适合的存储层级，若不是，则将文件加入迁移队列。
所述时间窗口迁移策略步骤S23还包括如下子步骤：
S231：依次解析访问日志内容；
S232：使用哈希函数将文件句柄作为键，访问时间的集合作为值，依次将访问时间***到集合中；
S233：判断时间窗口内的访问次数超过设定的阈值，若是，则进行文件的升级迁移；
S234：判断集合中最远一次访问时间是否超过时间窗口大小，若是，则覆盖记录；
S235：判断集合中最近一次访问时间是否超过时间窗口大小，若是，则删除记录；
S236：当内存使用率超过设定的阈值，则遍历哈希表，检查并删除过期记录。
所述时间窗口迁移策略S23后还包括如下步骤：
S31：获取迁移完成后的各性能***数据；
S32：分析和调整时间窗口大小或时间窗口内的迁移策略参数。
当***收到迁移检查信号时，将迁移队列中的文件进行相应的升级或降级迁移。
本发明达到的有益效果：
本发明提供一种时间窗口迁移策略，IO请求发生时，将请求发起者、请求的文件类型、操作类型、访问的文件内容大小等信息将异步写入到访问日志中，当日志持久化后，触发时间窗口迁移策略的执行，然后执行实时迁移策略步骤一致的分析及调控操作。执行一小段时间内的数据访问监控，为分布式文件存储***的存储方法提供了有效帮助。
附图说明
结合附图，从本发明的优选实施例的以下描述和权利要求可以获得本发明的其它特征和优点。在不超出本发明的范围的情况下，在这种情况下可以按任何期望的方式将图中所示的不同实施例的单独特征加以组合。在所述附图中：
图1为本发明中策略执行具体流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例：
如图1所示，***中的迁移策略是基于IO请求制定的，在实际的***运行中，IO请求发生时，将请求发起者、请求的文件类型、操作类型、访问的文件内容大小等信息将异步写入到访问日志中，当日志持久化后，触发时间窗口迁移策略的执行，然后执行实时迁移策略步骤一致的分析及调控操作。时间窗口迁移策略只针对在时间窗口内的文件访问信息进行分析，且增加了操作类型的分析，***为每种操作类型设定权值，权值大小依次为：读取或下载整个文件、读取或下载文件某一部分内容，其中根据文件读取或下载某部分文件的权值随着内容大小不同而不同，在文件决策时，除了访问次数和访问间隔，还会根据文件的权值进行判断该文件是否需要迁移。
在本实施例中，一种时间窗口迁移策略，应用于分布式文件存储***，包括如下步骤：
S21：使用哈希表的方式将数据的文件信息记录在内存中；
S22：当时间窗口滑动则删除过期数据；
S23：更新数据后，依据时间窗口内的迁移策略进行分析和决策，判断文件当前是否存储在适合的存储层级，若不是，则将文件加入迁移队列。
所述时间窗口迁移策略步骤S23还包括如下子步骤：
S231：依次解析访问日志内容；
S232：使用哈希函数将文件句柄作为键，访问时间的集合作为值，依次将访问时间***到集合中；
S233：判断时间窗口内的访问次数超过设定的阈值，若是，则进行文件的升级迁移；
S234：判断集合中最远一次访问时间是否超过时间窗口大小，若是，则覆盖记录；
S235：判断集合中最近一次访问时间是否超过时间窗口大小，若是，则删除记录；
S236：当内存使用率超过设定的阈值，则遍历哈希表，检查并删除过期记录。
所述时间窗口迁移策略S23后还包括如下步骤：
S31：获取迁移完成后的各性能***数据；
S32：分析和调整时间窗口大小或时间窗口内的迁移策略参数。
当***收到迁移检查信号时，将迁移队列中的文件进行相应的升级或降级迁移。
本发明实例以分布式文件存储***为背景，提出了时间窗口迁移策略，本发明通过具体的实施步骤，给出了优化方法实施的具体案例并分析其改善效果，尽管以上发明实施案例已经示出和描述了本发明的实施例，可以理解的是上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (4)

1.一种时间窗口迁移策略，应用于分布式文件存储***，其特征在于，包括如下步骤：
S21：使用哈希表的方式将数据的文件信息记录在内存中；
S22：当时间窗口滑动则删除过期数据；
S23：更新数据后，依据时间窗口内的迁移策略进行分析和决策，判断文件当前是否存储在适合的存储层级，若不是，则将文件加入迁移队列。
2.根据权利要求1所述的一种时间窗口迁移策略，其特征在于，所述时间窗口迁移策略步骤S23还包括如下子步骤：
S231：依次解析访问日志内容；
S232：使用哈希函数将文件句柄作为键，访问时间的集合作为值，依次将访问时间***到集合中；
S233：判断时间窗口内的访问次数超过设定的阈值，若是，则进行文件的升级迁移；
S234：判断集合中最远一次访问时间是否超过时间窗口大小，若是，则覆盖记录；
S235：判断集合中最近一次访问时间是否超过时间窗口大小，若是，则删除记录；
S236：当内存使用率超过设定的阈值，则遍历哈希表，检查并删除过期记录。
3.根据权利要求1所述的一种时间窗口迁移策略，其特征在于，所述时间窗口迁移策略S23后还包括如下步骤：
S31：获取迁移完成后的各性能***数据；
S32：分析和调整时间窗口大小或时间窗口内的迁移策略参数。
4.根据权利要求1所述的一种时间窗口迁移策略，其特征在于，当***收到迁移检查信号时，将迁移队列中的文件进行相应的升级或降级迁移。
CN202010722780.6A 2020-07-24 2020-07-24 一种时间窗口迁移策略 Pending CN111858470A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010722780.6A CN111858470A (zh) 2020-07-24 2020-07-24 一种时间窗口迁移策略

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010722780.6A CN111858470A (zh) 2020-07-24 2020-07-24 一种时间窗口迁移策略

Publications (1)

Publication Number Publication Date
CN111858470A true CN111858470A (zh) 2020-10-30

Family

ID=72950174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010722780.6A Pending CN111858470A (zh) 2020-07-24 2020-07-24 一种时间窗口迁移策略

Country Status (1)

Country Link
CN (1) CN111858470A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117901122A (zh) * 2024-03-19 2024-04-19 成都信息工程大学 基于Logistic-Tent混沌映射Levenberg Marquardt的机器人定位方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844269A (zh) * 2017-10-17 2018-03-27 华中科技大学 一种基于一致性哈希的分层混合存储***及方法
CN107992512A (zh) * 2017-10-20 2018-05-04 中国建设银行股份有限公司上海市分行 一种数据迁移的方法、***及计算机可读存储介质
CN109710184A (zh) * 2018-12-19 2019-05-03 中国人民解放军国防科技大学 瓦记录磁盘感知的分层式混合存储方法及***
CN110377449A (zh) * 2019-07-19 2019-10-25 苏州浪潮智能科技有限公司 一种磁盘故障预测方法、装置及电子设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844269A (zh) * 2017-10-17 2018-03-27 华中科技大学 一种基于一致性哈希的分层混合存储***及方法
CN107992512A (zh) * 2017-10-20 2018-05-04 中国建设银行股份有限公司上海市分行 一种数据迁移的方法、***及计算机可读存储介质
CN109710184A (zh) * 2018-12-19 2019-05-03 中国人民解放军国防科技大学 瓦记录磁盘感知的分层式混合存储方法及***
CN110377449A (zh) * 2019-07-19 2019-10-25 苏州浪潮智能科技有限公司 一种磁盘故障预测方法、装置及电子设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117901122A (zh) * 2024-03-19 2024-04-19 成都信息工程大学 基于Logistic-Tent混沌映射Levenberg Marquardt的机器人定位方法及***
CN117901122B (zh) * 2024-03-19 2024-05-17 成都信息工程大学 基于Logistic-Tent混沌映射Levenberg Marquardt的机器人定位方法及***

Similar Documents

Publication Publication Date Title
CN107844269B (zh) 一种基于一致性哈希的分层混合存储***
US7711916B2 (en) Storing information on storage devices having different performance capabilities with a storage system
CN106775446B (zh) 基于固态硬盘加速的分布式文件***小文件访问方法
CN111949629B (zh) 一种面向边缘云的文件存储方法及终端
EP2735978A1 (en) Storage system and management method used for metadata of cluster file system
US20090254594A1 (en) Techniques to enhance database performance
US20090094433A1 (en) Solid State Drive Optimizer
CN104281533A (zh) 一种存储数据的方法及装置
CN103246696A (zh) 高并发数据库的访问方法及应用于多服务器***的方法
CN111858471A (zh) 一种实时迁移策略
WO2023051713A1 (en) Systems, methods, devices, and media for data processing
CN111352589B (zh) 一种分布式存储的方法、装置、设备及可读介质
CN111858470A (zh) 一种时间窗口迁移策略
CN112051968A (zh) 基于Kafka的分布式数据流分级缓存自动迁移算法
CN111858469A (zh) 一种基于时间滑动窗口的自适应分级存储的方法
WO2021258360A1 (zh) 一种车载数据存储方法及***
CN112463073A (zh) 一种对象存储分布式配额方法、***、设备和存储介质
WO2023165543A1 (zh) 共享缓存的管理方法、装置及存储介质
CN115328859A (zh) 一种元数据访问方法、装置、设备及介质
CN113190523B (zh) 一种基于多客户端协同的分布式文件***、方法和客户端
CN113535711B (zh) 一种基于LSM-Tree的分层索引数据管理方法及***
CN112596682A (zh) 一种区块链用存储装置及存储方法
CN112632027A (zh) 一种日志数据存储方法及装置
CN111858823B (zh) 基于HBase的瓦片数据存储和建立索引的方法、读取方法和存取装置
CN115904263B (zh) 一种数据迁移方法、***、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination