CN109669636A - 一种分布式智能存储*** - Google Patents

一种分布式智能存储*** Download PDF

Info

Publication number
CN109669636A
CN109669636A CN201811565567.8A CN201811565567A CN109669636A CN 109669636 A CN109669636 A CN 109669636A CN 201811565567 A CN201811565567 A CN 201811565567A CN 109669636 A CN109669636 A CN 109669636A
Authority
CN
China
Prior art keywords
file
value
module
storage
access
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811565567.8A
Other languages
English (en)
Other versions
CN109669636B (zh
Inventor
邹玉华
蔡丽萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Lingluo Technology Co., Ltd
Original Assignee
Guangzhou Qintai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Qintai Information Technology Co Ltd filed Critical Guangzhou Qintai Information Technology Co Ltd
Priority to CN201811565567.8A priority Critical patent/CN109669636B/zh
Publication of CN109669636A publication Critical patent/CN109669636A/zh
Application granted granted Critical
Publication of CN109669636B publication Critical patent/CN109669636B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种分布式智能存储***，用于解决如何对文件进行初始分配，如何计算文件访问的活跃值和不活跃值以及如何对访问活跃的文件进行迁移，以便于对其进行备份的问题，包括分布存储设备、数据采集模块、处理器、计算模块、分配模块、数据迁移模块、迁移值计算模块、统计模块、访问终端、备份模块和删除模块；本发明通过迁移值计算模块计算独立存储设备Aj内存储文件的迁移值，利用公式获取得到文件Ci的不活跃值Li；利用公式获取得到文件Ci的活跃值Qi；通过迁移值的大小，将文件存储在对应的独立存储设备Aj内；便于对访问活跃值大的文件进行备份，对访问不活跃的文件进行定期删除，确保存储***的合理存储性。

Description

一种分布式智能存储***
技术领域
本发明涉及分布式存储技术领域，尤其涉及一种分布式智能存储***。
背景技术
随着信息化的深入开展，各行各业的业务***所产生的数据越来越多，由于传统的集中式存储方案，将所有的数据均存储在数据中心主机上，若数据中心主机出故障，则整个***无法存储和提取数据，即集中式存储方案相较于分布式数据存储，数据稳定性较低，故而分布式存储应运而生。
分布式存储***，是将数据分散存储在多***立的设备上。传统的网络存储***采用集中的存储服务器存放所有数据，存储服务器成为***性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储***采用可扩展的***结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了***的可靠性、可用性和存取效率，还易于扩展。
在专利为“CN106843750A一种分布式存储***”公开了“当用户通过客户端向主控制器发出数据访问指令时，主控制器根据数据访问指令查找对应的所述存储日志，之后通过所述存储日志关联所述存储监控器内的所述链接，以调取存储在与所述链接对应的某一存储设备n内的存储数据，若该对应的存储设备n正常运转，则返回调取结果，若该对应的存储设备n出现故障，***默认跳转至编号为n+1的存储设备上调取存储设备n的备份数据，以此类推”；存在问题为：无法区分重要数据，对重要数据进行备份，达到资源利用的最大化。
因此，需要设计一款分布式智能存储***，可以对重要数据进行备份，达到资源利用的最大化。
发明内容
本发明的目的在于提供一种分布式智能存储***。
本发明所要解决的技术问题为：
(1)如何对文件进行初始分配，从而分配到对应的独立存储设备上存储；
(2)如何计算文件访问的活跃值和不活跃值；
(3)如何对访问活跃的文件进行迁移，以便于对其进行备份。
本发明的目的可以通过以下技术方案实现：一种分布式智能存储***，包括分布存储设备、数据采集模块、处理器、计算模块、分配模块、数据迁移模块、迁移值计算模块、统计模块、访问终端、备份模块和删除模块；
所述分布存储设备包括若干个独立存储设备；独立存储设备用于单独存储文件；
所述数据采集模块用于采集和接收待存储文件；待存储文件包括文件及对应字节大小和预存期限；所述数据采集模块将采集和接收的待存储文件发送至处理器；处理器接收数据采集模块发送的收待存储文件并将其发送至计算模块；所述计算模块接收处理器发送的待存储文件并进行计算，具体计算步骤如下：
步骤一：设定文件为Ci，i……n；对应的字节大小为Bi，i……n；对应的预存期限记为Di，i……n；
步骤二：对Bi和Di进行设定比例系数固定值；设定Bi的比例系数固定值为J1：设定Di的比例系数固定值为J2；
步骤三：利用公式Gi＝Bi*J1+Di*J2获取得到初始基础值Gi；
所述计算模块将待存储文件和初始基础值发送至分配模块；所述分配模块接收计算模块发送的待存储文件和初始基础值并进行分配，具体分配过程如下：
a：设定独立存储设备为Aj，j……n；Aj对应的存储门限为(kj，kj+1]；且k1<k2<……<kj；其中，存储门限是用于设置分布存储设备的条件；依照存储门限对独立存储设备为A进行门限划分；A1<A2<……<Aj；
b：初始基础值Gi与存储门限(kj，kj+1]进行对比；当初始基础值符合存储门限(kj，kj+1]，待存储文件将存储在独立存储设备Aj内；具体表现为初始基础值G1在(k4，k5]范围内，则对应的C1存储在独立存储设备A4内；
所述统计模块用于采集文件的访问频率和访问间隔；所述统计模块将采集文件的访问频率和访问间隔信息发送至迁移值计算模块；所述迁移值计算模块接收统计模块发送的文件的访问频率和访问间隔信息并进行计算，具体计算步骤如下：
S1：设定文件Ci的访问频率为Pi，i＝1……n；访问间隔记为Fim，m＝1……n；其中，Fi1表示为文件Ci从存储日期开始计算至第一次访问的时间结束，若无第一次访问，则从存储日期开始计算至***当前日期结束；Fi2表示文件Ci第一次访问的时间开始至第二次访问时间结束，若无第二次访问，则从第一次访问的时间开始计算至***当前日期结束；
S2：设定间隔对比值为Hm；间隔对比值Hm的时间范围为(am-1，am]，且a1<a2<……am；间隔对比值Hm对应的不活跃系数记为Nm；m＝1……n；且N1<N2<……<Nm；
S3：访问间隔Fim与间隔对比值Hm进行匹配，具体表现为，当Fi1∈(a2，a3]；则Fi1的不活跃系数N3；
S4：利用公式获取得到文件Ci的不活跃值Li；访问间隔Fim越大，表示访问的时间间隔越长，即不活跃值也越大；
S5：利用公式获取得到文件Ci的活跃值Qi，其中，u为干扰因子，取值为1.00329；
S6：对文件Ci的不活跃值Li和活跃值Qi进行预设固定值；设定不活跃值Li的预设固定值为e1；活跃值Qi的预设固定值为e2；
S7：利用公式Yi＝Gi+Qi*e1-Li*e2获取得到文件Ci的迁移值Yi；访问次数越大，活跃度大，迁移值越大；
所述迁移值计算模块将迁移值发送至数据迁移模块；所述数据迁移模块接收迁移值计算模块进行处理和迁移，具体处理和迁移过程如下：
a：将迁移值Yi与Aj对应的存储门限为(kj，kj+1]进行对比；
b：具体表现为，当文件C5的初始存储在A5内，当文件C5的迁移值Y5∈(k6，k7]内，则将文件C5迁移到A6内存储；当文件C5的初始存储在A5内，当文件C5的迁移值Y5∈(k4，k5]内，则将文件C5迁移到A4内存储；
所述删除模块用于对独立存储设备内部的文件进行定期清除，具体清除步骤如下：
步骤一：将独立存储设备进行分类，具体表现为，将A1到Ab标记为定期清除独立存储设备；将Ab到Aj标记为备份独立存储设备；且b＝j/2；
步骤二：对定期清除独立存储设备A1到Ab内存储的文件Ci进行清理日期计算；
步骤三：设定文件Ci存储在独立存储设备A1到Ab的日期为Ti；文件Ci的基础存储期限w1；设定***当前日期为Ri；
步骤四：利用公式ti＝w1+Yi*z获取得到清理期限值ti，其中，z为时间比例系数固定值；
步骤五：当Ti+ti＝Ri；则清除独立存储设备A1到Ab内的对应文件Ci。
优选的，所述备份模块用于对独立存储设备Ab到Aj内的存储文件Ci进行备份，具体备份步骤如下：
S1：设定备份标准值为UB；
S2：利用公式Ui＝w2+Yi*v获取得到独立存储设备Ab到Aj内的存储文件Ci备份值Ui；其中，w2为备份基础预设值；v为备份比例系数预设值；
S3：将独立存储设备Ab到Aj内的存储文件Ci备份值Ui与备份标准值UB进行对比；具体表现为，当Ui>UB；则对独立存储设备Ab到Aj内的存储文件Ci进行备份；当Ui<UB，则对独立存储设备Ab到Aj内的存储文件Ci不备份。
优选的，所述访问终端与处理器通信连接，访问终端通过处理器访问分布存储设备内存储的文件。
本发明的有益效果：
(1)本发明通过计算模块对待存储文件进行初始值计算，利用公式Gi＝Bi*J1+Di*J2获取得到初始基础值Gi；初始基础值Gi与存储门限(kj，kj+1]进行对比；当初始基础值符合存储门限(kj，kj+1]，待存储文件将存储在独立存储设备Aj内；将待存储文件合理的存放在对应的独立存储设备Aj内；
(2)本发明通过迁移值计算模块计算独立存储设备Aj内存储文件的迁移值，利用公式获取得到文件Ci的不活跃值Li；访问间隔Fim越大，表示访问的时间间隔越长，即不活跃值也越大；利用公式获取得到文件Ci的活跃值Qi；通过迁移值的大小，将文件存储在对应的独立存储设备Aj内；便于对访问活跃值大的文件进行备份，对访问不活跃的文件进行定期删除，确保存储***的合理存储性；
(3)本发明删除模块用于对独立存储设备内部的文件进行定期清除，利用公式ti＝w1+Yi*z获取得到清理期限值ti；当Ti+ti＝Ri；则清除独立存储设备A1到Ab内的对应文件Ci；备份模块用于对独立存储设备Ab到Aj内的存储文件Ci进行备份；利用公式Ui＝w2+Yi*v获取得到独立存储设备Ab到Aj内的存储文件Ci备份值Ui；当Ui>UB；则对独立存储设备Ab到Aj内的存储文件Ci进行备份；当Ui<UB，则对独立存储设备Ab到Aj内的存储文件Ci不备份。
附图说明
下面结合附图对本发明作进一步的说明。
图1是本发明一种分布式智能存储***的原理框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1所示，本发明为一种分布式智能存储***，包括分布存储设备、数据采集模块、处理器、计算模块、分配模块、数据迁移模块、迁移值计算模块、统计模块、访问终端、备份模块和删除模块；
分布存储设备包括若干个独立存储设备；独立存储设备用于单独存储文件；
数据采集模块用于采集和接收待存储文件；待存储文件包括文件及对应字节大小和预存期限；数据采集模块将采集和接收的待存储文件发送至处理器；处理器接收数据采集模块发送的收待存储文件并将其发送至计算模块；计算模块接收处理器发送的待存储文件并进行计算，具体计算步骤如下：
步骤一：设定文件为Ci，i……n；对应的字节大小为Bi，i……n；对应的预存期限记为Di，i……n；
步骤二：对Bi和Di进行设定比例系数固定值；设定Bi的比例系数固定值为J1：设定Di的比例系数固定值为J2；
步骤三：利用公式Gi＝Bi*J1+Di*J2获取得到初始基础值Gi；
计算模块将待存储文件和初始基础值发送至分配模块；分配模块接收计算模块发送的待存储文件和初始基础值并进行分配，具体分配过程如下：
a：设定独立存储设备为Aj，j……n；Aj对应的存储门限为(kj，kj+1]；且k1<k2<……<kj；其中，存储门限是用于设置分布存储设备的条件；依照存储门限对独立存储设备为A进行门限划分；A1<A2<……<Aj；
b：初始基础值Gi与存储门限(kj，kj+1]进行对比；当初始基础值符合存储门限(kj，kj+1]，待存储文件将存储在独立存储设备Aj内；具体表现为初始基础值G1在(k4，k5]范围内，则对应的C1存储在独立存储设备A4内；
统计模块用于采集文件的访问频率和访问间隔；统计模块将采集文件的访问频率和访问间隔信息发送至迁移值计算模块；迁移值计算模块接收统计模块发送的文件的访问频率和访问间隔信息并进行计算，具体计算步骤如下：
S1：设定文件Ci的访问频率为Pi，i＝1……n；访问间隔记为Fim，m＝1……n；其中，Fi1表示为文件Ci从存储日期开始计算至第一次访问的时间结束，若无第一次访问，则从存储日期开始计算至***当前日期结束；Fi2表示文件Ci第一次访问的时间开始至第二次访问时间结束，若无第二次访问，则从第一次访问的时间开始计算至***当前日期结束；
S2：设定间隔对比值为Hm；间隔对比值Hm的时间范围为(am-1，am]，且a1<a2<……am；间隔对比值Hm对应的不活跃系数记为Nm；m＝1……n；且N1<N2<……<Nm；
S3：访问间隔Fim与间隔对比值Hm进行匹配，具体表现为，当Fi1∈(a2，a3]；则Fi1的不活跃系数N3；
S4：利用公式获取得到文件Ci的不活跃值Li；访问间隔Fim越大，表示访问的时间间隔越长，即不活跃值也越大；
S5：利用公式获取得到文件Ci的活跃值Qi，其中，u为干扰因子，取值为1.00329；根据访问文件的次数，从而得到文件的活跃值；访问文件的次数越大，则文件的活跃值Qi也越大；
S6：对文件Ci的不活跃值Li和活跃值Qi进行预设固定值；设定不活跃值Li的预设固定值为e1；活跃值Qi的预设固定值为e2；
S7：利用公式Yi＝Gi+Qi*e1-Li*e2获取得到文件Ci的迁移值Yi；访问次数越大，活跃度大，迁移值越大；
迁移值计算模块将迁移值发送至数据迁移模块；数据迁移模块接收迁移值计算模块进行处理和迁移，具体处理和迁移过程如下：
a：将迁移值Yi与Aj对应的存储门限为(kj，kj+1]进行对比；
b：具体表现为，当文件C5的初始存储在A5内，当文件C5的迁移值Y5∈(k6，k7]内，则将文件C5迁移到A6内存储；当文件C5的初始存储在A5内，当文件C5的迁移值Y5∈(k4，k5]内，则将文件C5迁移到A4内存储；
删除模块用于对独立存储设备内部的文件进行定期清除，具体清除步骤如下：
步骤一：将独立存储设备进行分类，具体表现为，将A1到Ab标记为定期清除独立存储设备；将Ab到Aj标记为备份独立存储设备；且b＝j/2；
步骤二：对定期清除独立存储设备A1到Ab内存储的文件Ci进行清理日期计算；
步骤三：设定文件Ci存储在独立存储设备A1到Ab的日期为Ti；文件Ci的基础存储期限w1；设定***当前日期为Ri；
步骤四：利用公式ti＝w1+Yi*z获取得到清理期限值ti，其中，z为时间比例系数固定值；
步骤五：当Ti+ti＝Ri；则清除独立存储设备A1到Ab内的对应文件Ci。
备份模块用于对独立存储设备Ab到Aj内的存储文件Ci进行备份，具体备份步骤如下：
S1：设定备份标准值为UB；
S2：利用公式Ui＝w2+Yi*v获取得到独立存储设备Ab到Aj内的存储文件Ci备份值Ui；其中，w2为备份基础预设值；v为备份比例系数预设值；
S3：将独立存储设备Ab到Aj内的存储文件Ci备份值Ui与备份标准值UB进行对比；具体表现为，当Ui>UB；则对独立存储设备Ab到Aj内的存储文件Ci进行备份；当Ui<UB，则对独立存储设备Ab到Aj内的存储文件Ci不备份。
访问终端与处理器通信连接，访问终端通过处理器访问分布存储设备内存储的文件。
本发明的有益效果：
(1)本发明通过计算模块对待存储文件进行初始值计算，利用公式Gi＝Bi*J1+Di*J2获取得到初始基础值Gi；初始基础值Gi与存储门限(kj，kj+1]进行对比；当初始基础值符合存储门限(kj，kj+1]，待存储文件将存储在独立存储设备Aj内；将待存储文件合理的存放在对应的独立存储设备Aj内；
(2)本发明通过迁移值计算模块计算独立存储设备Aj内存储文件的迁移值，利用公式获取得到文件Ci的不活跃值Li；访问间隔Fim越大，表示访问的时间间隔越长，即不活跃值也越大；利用公式获取得到文件Ci的活跃值Qi；通过迁移值的大小，将文件存储在对应的独立存储设备Aj内；便于对访问活跃值大的文件进行备份，对访问不活跃的文件进行定期删除，确保存储***的合理存储性；
(3)本发明删除模块用于对独立存储设备内部的文件进行定期清除，利用公式ti＝w1+Yi*z获取得到清理期限值ti；当Ti+ti＝Ri；则清除独立存储设备A1到Ab内的对应文件Ci；备份模块用于对独立存储设备Ab到Aj内的存储文件Ci进行备份；利用公式Ui＝w2+Yi*v获取得到独立存储设备Ab到Aj内的存储文件Ci备份值Ui；当Ui>UB；则对独立存储设备Ab到Aj内的存储文件Ci进行备份；当Ui<UB，则对独立存储设备Ab到Aj内的存储文件Ci不备份。
以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (3)

1.一种分布式智能存储***，其特征在于，包括分布存储设备、数据采集模块、处理器、计算模块、分配模块、数据迁移模块、迁移值计算模块、统计模块、访问终端、备份模块和删除模块；
所述分布存储设备包括若干个独立存储设备；独立存储设备用于单独存储文件；
所述数据采集模块用于采集和接收待存储文件；待存储文件包括文件及对应字节大小和预存期限；所述数据采集模块将采集和接收的待存储文件发送至处理器；处理器接收数据采集模块发送的收待存储文件并将其发送至计算模块；所述计算模块接收处理器发送的待存储文件并进行计算，具体计算步骤如下：
步骤一：设定文件为Ci，i……n；对应的字节大小为Bi，i……n；对应的预存期限记为Di，i……n；
步骤二：对Bi和Di进行设定比例系数固定值；设定Bi的比例系数固定值为J1：设定Di的比例系数固定值为J2；
步骤三：利用公式Gi＝Bi*J1+Di*J2获取得到初始基础值Gi；
所述计算模块将待存储文件和初始基础值发送至分配模块；所述分配模块接收计算模块发送的待存储文件和初始基础值并进行分配，具体分配过程如下：
a：设定独立存储设备为Aj，j……n；Aj对应的存储门限为(kj，kj+1]；且k1<k2<……<kj；其中，存储门限是用于设置分布存储设备的条件；依照存储门限对独立存储设备为A进行门限划分；A1<A2<……<Aj；
b：初始基础值Gi与存储门限(kj，kj+1]进行对比；当初始基础值符合存储门限(kj，kj+1]，待存储文件将存储在独立存储设备Aj内；具体表现为初始基础值G1在(k4，k5]范围内，则对应的C1存储在独立存储设备A4内；
所述统计模块用于采集文件的访问频率和访问间隔；所述统计模块将采集文件的访问频率和访问间隔信息发送至迁移值计算模块；所述迁移值计算模块接收统计模块发送的文件的访问频率和访问间隔信息并进行计算，具体计算步骤如下：
S1：设定文件Ci的访问频率为Pi，i＝1……n；访问间隔记为Fim，m＝1……n；其中，Fi1表示为文件Ci从存储日期开始计算至第一次访问的时间结束，若无第一次访问，则从存储日期开始计算至***当前日期结束；Fi2表示文件Ci第一次访问的时间开始至第二次访问时间结束，若无第二次访问，则从第一次访问的时间开始计算至***当前日期结束；
S2：设定间隔对比值为Hm；间隔对比值Hm的时间范围为(am-1，am]，且a1<a2<……am；间隔对比值Hm对应的不活跃系数记为Nm；m＝1……n；且N1<N2<……<Nm；
S3：访问间隔Fim与间隔对比值Hm进行匹配，具体表现为，当Fi1∈(a2，a3]；则Fi1的不活跃系数N3；
S4：利用公式获取得到文件Ci的不活跃值Li；访问间隔Fim越大，表示访问的时间间隔越长，即不活跃值也越大；
S5：利用公式获取得到文件Ci的活跃值Qi，其中，u为干扰因子，取值为1.00329；
S6：对文件Ci的不活跃值Li和活跃值Qi进行预设固定值；设定不活跃值Li的预设固定值为e1；活跃值Qi的预设固定值为e2；
S7：利用公式Yi＝Gi+Qi*e1-Li*e2获取得到文件Ci的迁移值Yi；访问次数越大，活跃度大，迁移值越大；
所述迁移值计算模块将迁移值发送至数据迁移模块；所述数据迁移模块接收迁移值计算模块进行处理和迁移，具体处理和迁移过程如下：
a：将迁移值Yi与Aj对应的存储门限为(kj，kj+1]进行对比；
b：具体表现为，当文件C5的初始存储在A5内，当文件C5的迁移值Y5∈(k6，k7]内，则将文件C5迁移到A6内存储；当文件C5的初始存储在A5内，当文件C5的迁移值Y5∈(k4，k5]内，则将文件C5迁移到A4内存储；
所述删除模块用于对独立存储设备内部的文件进行定期清除，具体清除步骤如下：
步骤一：将独立存储设备进行分类，具体表现为，将A1到Ab标记为定期清除独立存储设备；将Ab到Aj标记为备份独立存储设备；且b＝j/2；
步骤二：对定期清除独立存储设备A1到Ab内存储的文件Ci进行清理日期计算；
步骤三：设定文件Ci存储在独立存储设备A1到Ab的日期为Ti；文件Ci的基础存储期限w1；设定***当前日期为Ri；
步骤四：利用公式ti＝w1+Yi*z获取得到清理期限值ti，其中，z为时间比例系数固定值；
步骤五：当Ti+ti＝Ri；则清除独立存储设备A1到Ab内的对应文件Ci。
2.根据权利要求1所述的一种分布式智能存储***，其特征在于，所述备份模块用于对独立存储设备Ab到Aj内的存储文件Ci进行备份，具体备份步骤如下：
S1：设定备份标准值为UB；
S2：利用公式Ui＝w2+Yi*v获取得到独立存储设备Ab到Aj内的存储文件Ci备份值Ui；其中，w2为备份基础预设值；v为备份比例系数预设值；
S3：将独立存储设备Ab到Aj内的存储文件Ci备份值Ui与备份标准值UB进行对比；具体表现为，当Ui>UB；则对独立存储设备Ab到Aj内的存储文件Ci进行备份；当Ui<UB，则对独立存储设备Ab到Aj内的存储文件Ci不备份。
3.根据权利要求1所述的一种分布式智能存储***，其特征在于，所述访问终端与处理器通信连接，访问终端通过处理器访问分布存储设备内存储的文件。
CN201811565567.8A 2018-12-20 2018-12-20 一种分布式智能存储*** Active CN109669636B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811565567.8A CN109669636B (zh) 2018-12-20 2018-12-20 一种分布式智能存储***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811565567.8A CN109669636B (zh) 2018-12-20 2018-12-20 一种分布式智能存储***

Publications (2)

Publication Number Publication Date
CN109669636A true CN109669636A (zh) 2019-04-23
CN109669636B CN109669636B (zh) 2020-04-21

Family

ID=66144226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811565567.8A Active CN109669636B (zh) 2018-12-20 2018-12-20 一种分布式智能存储***

Country Status (1)

Country Link
CN (1) CN109669636B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110308873A (zh) * 2019-06-24 2019-10-08 浙江大华技术股份有限公司 一种数据存储方法、装置、设备及介质
CN113094001A (zh) * 2021-05-11 2021-07-09 浙江争游网络科技有限公司 一种基于云平台的软件代码管理***
CN113590303A (zh) * 2021-04-27 2021-11-02 阜阳市星启链数据科技有限公司 一种云计算用并发式数据处理***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102136003A (zh) * 2011-03-25 2011-07-27 上海交通大学 大规模分布式存储***
CN102841931A (zh) * 2012-08-03 2012-12-26 中兴通讯股份有限公司 分布式文件***的存储方法及装置
CN103530388A (zh) * 2013-10-22 2014-01-22 浪潮电子信息产业股份有限公司 一种云存储***中提升性能的数据处理方法
CN103701916A (zh) * 2013-12-31 2014-04-02 赛凡信息科技（厦门）有限公司 分布式存储***的动态负载均衡方法
US20140297973A1 (en) * 2013-03-28 2014-10-02 Fujitsu Limited Storage system and information processing apparatus
US20170060472A1 (en) * 2015-08-31 2017-03-02 Linkedin Corporation Transparent hybrid data storage
CN106933511A (zh) * 2017-02-27 2017-07-07 武汉大学 考虑负载均衡与磁盘效率的空间数据存储组织方法及***
CN107844269A (zh) * 2017-10-17 2018-03-27 华中科技大学 一种基于一致性哈希的分层混合存储***及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102136003A (zh) * 2011-03-25 2011-07-27 上海交通大学 大规模分布式存储***
CN102841931A (zh) * 2012-08-03 2012-12-26 中兴通讯股份有限公司 分布式文件***的存储方法及装置
US20140297973A1 (en) * 2013-03-28 2014-10-02 Fujitsu Limited Storage system and information processing apparatus
CN103530388A (zh) * 2013-10-22 2014-01-22 浪潮电子信息产业股份有限公司 一种云存储***中提升性能的数据处理方法
CN103701916A (zh) * 2013-12-31 2014-04-02 赛凡信息科技（厦门）有限公司 分布式存储***的动态负载均衡方法
US20170060472A1 (en) * 2015-08-31 2017-03-02 Linkedin Corporation Transparent hybrid data storage
CN106933511A (zh) * 2017-02-27 2017-07-07 武汉大学 考虑负载均衡与磁盘效率的空间数据存储组织方法及***
CN107844269A (zh) * 2017-10-17 2018-03-27 华中科技大学 一种基于一致性哈希的分层混合存储***及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHINGO SHIMANO 等: "An Autonomous Configuration Scheme of Storage Tiers for Distributed File System", 《2017 18TH IEEE/ACIS INTERNATIONAL CONFERENCE ON SOFTWARE ENGINEERING, ARTIFICIAL INTELLIGENCE, NETWORKING AND PARALLEL/DISTRIBUTED COMPUTING (SNPD)》 *
蒋平川 等: "视频访问负载的分级存储及迁移算法研究", 《计算机工程与设计》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110308873A (zh) * 2019-06-24 2019-10-08 浙江大华技术股份有限公司 一种数据存储方法、装置、设备及介质
CN113590303A (zh) * 2021-04-27 2021-11-02 阜阳市星启链数据科技有限公司 一种云计算用并发式数据处理***
CN113094001A (zh) * 2021-05-11 2021-07-09 浙江争游网络科技有限公司 一种基于云平台的软件代码管理***

Also Published As

Publication number Publication date
CN109669636B (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
US10534542B2 (en) Dynamic core allocation for consistent performance in a non-preemptive scheduling environment
CN105426245B (zh) 包括分散的部件的动态地组成的计算节点
EP3796150B1 (en) Storage volume creation method and apparatus, server, and storage medium
CN101957863B (zh) 数据并行处理方法、装置及***
CN109669636A (zh) 一种分布式智能存储***
CN111124277A (zh) 一种深度学习数据集缓存方法、***、终端及存储介质
US20150215656A1 (en) Content management apparatus and method, and storage medium
CN108469988A (zh) 一种基于异构Hadoop集群的任务调度方法
CN109309631A (zh) 一种基于通用网络文件***写入数据的方法及装置
CN103561101A (zh) 一种网络文件***
JP2013513174A (ja) 仮想マシンのストレージスペースおよび物理ホストを管理するための方法およびシステム
WO2004063928A1 (ja) データベース負荷軽減システムおよび負荷軽減プログラム
US10387051B2 (en) Acquisition of IOPS and MBPS limits independently at a scheduler in a scheduler hierarchy
CN107343021A (zh) 国网云中应用的一种基于大数据的日志管理***
CN101673289A (zh) 分布式文件存储构架的构建方法和装置
CN102541984A (zh) 一种分布式文件***客户端的文件***
JP2011197852A (ja) 仮想計算機システムの管理プログラム，管理装置及び管理方法
EP3384384A1 (en) Methods and devices for acquiring data using virtual machine and host machine
CN110661824B (zh) 分布式集群中服务器的流量调控方法及存储介质
US11232010B2 (en) Performance monitoring for storage system with core thread comprising internal and external schedulers
CN111580951B (zh) 一种任务分配方法及资源管理平台
CN111225003B (zh) 一种nfs节点配置方法和装置
Xu et al. Building a high-performance key–value cache as an energy-efficient appliance
CN103248636A (zh) 离线下载的***及方法
CN101783814A (zh) 海量存储***的元数据存储方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200325

Address after: 608f, Xuyuan building, 5003 Longgang Avenue (Longgang section), Nanlian community, Longgang street, Longgang District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen Lingluo Technology Co., Ltd

Address before: 510145 Room 1612, 38 Zhoumen North Road, Liwan District, Guangzhou City, Guangdong Province

Applicant before: GUANGZHOU QINTAI INFORMATION TECHNOLOGY Co.,Ltd.

Applicant before: Cai Liping

GR01 Patent grant
GR01 Patent grant