CN114546259A - 一种基于收益的多级存储*** - Google Patents

一种基于收益的多级存储*** Download PDF

Info

Publication number
CN114546259A
CN114546259A CN202111632251.8A CN202111632251A CN114546259A CN 114546259 A CN114546259 A CN 114546259A CN 202111632251 A CN202111632251 A CN 202111632251A CN 114546259 A CN114546259 A CN 114546259A
Authority
CN
China
Prior art keywords
storage
data
service
cost
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111632251.8A
Other languages
English (en)
Inventor
尹春光
应宇晖
吴晓兵
张璐波
闻一波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianyi Electronic Commerce Co Ltd
Original Assignee
Tianyi Electronic Commerce Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianyi Electronic Commerce Co Ltd filed Critical Tianyi Electronic Commerce Co Ltd
Priority to CN202111632251.8A priority Critical patent/CN114546259A/zh
Publication of CN114546259A publication Critical patent/CN114546259A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06312—Adjustment or analysis of established resource schedule, e.g. resource or task levelling, or dynamic rescheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06313—Resource planning in a project environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Human Computer Interaction (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于收益的多级存储***，包括以下组件和实现方法：数据服务收益控制器，数据服务收益控制器主要负责收集不同组织中反馈的收益因子存储到元数据服务中；元数据服务，元数据服务主要负责集群数据块元数据存储，数据服务收益计算，以及根据收益多少动态进行调度数据块的存储迁移。本发明将从新的角度来从新定义数据服务收益设计存储***，通过对数据服务创造的收益和存储成本分级动态动态控制，从而达到降低企业数据存储成本的目的。

Description

一种基于收益的多级存储***
技术领域
本发明涉及支付，金融领域，特别涉及一种基于收益的多级存储***。
背景技术
大数据时代已经到来，随着时间增加和用户增长企业存储的整体数据量在不断增加，数据量已经达到PB级别，企业的数据存储成本不断攀升。所有的企业都在探索挖掘数据价值，实现降低成本，增加数据带来的价值。本发明从一种新的角度来实现数据的有效存储。不同数据是有不同价值，单位存储的不同存储器存在价格高低，本***主要介绍存储***收益模型和基于该模型的多级动态存储***，来实现收益最大化，以及自动动态调整存储器来实现节省企业数据存储成本。
发明内容
本发明要解决的技术问题是克服现有技术的缺陷，提供一种基于收益的多级存储***，单位存储的不同存储器介质是有成本不同的，本***主要介绍储***收益模型和基于该模型的多级动态存储***，通过数据服务收益与存储成本动态控制，来实现收益最大化，以及自动动态调整存储器来实现节省企业数据存储成本。
本发明提供了如下的技术方案：
本发明提供一种基于收益的多级存储***，包括以下组件和实现方法：
一、数据服务收益控制器
数据服务收益控制器主要负责收集不同组织中反馈的收益因子存储到元数据服务中；
二、元数据服务
元数据服务主要负责集群数据块元数据存储，数据服务收益计算，以及根据收益多少动态进行调度数据块的存储迁移；
元数据存储：
元数据的数据格式：(block_id,node_id,value,size)；
元数据信息同步流程如图2所示；
数据服务收益计算,计算公式:数据服务收益-***成本＝收益
数据服务收益：
(1)数据块通过一组应用数据标签tag[],包含了业务属性和权重；
(2)数据块的时间维度time(创建日期距今时间)；
(3)数据块的初始价值β；
(4)数据块的基础属性base_tag[]；
(5)矫正系数α；
通过价值计算函数dataV＝(tag[]+base_tag[]+β)*α/(time)来得出该数据服务收益＝dataV+dataV1+dataV2+..+dataVn，会存储到元数据服务中；
***成本：
(1)***的服务软硬件固定成本，包含存储和其他软硬件成本；
(2)Cost成本；
(3)存储时间t；
(4)单位存储成本C；
(5)存储大小b；
(6)硬件服务周期s
存储成本＝b*t*C/s；
三、存储节点
存储节点是本***中的数据存储节点，存储节点中的内部设计是采用了包含不同单位成本的存储设备，包含了0-N级，每一个级别的存储都有自己的单位存储成本C(元/GB)，数据块会按照价值对应存储到对应的存储级别，内部结构如图3所示；
在数据节点与元数据服务定期同步数据块元数据的时候，会得到该数据服务收益值，进行在节点内部进行根据数据服务收益和各级存储的成本进行对比，确定该数据块的存储级别区间，并进行直接的迁移到对应的存储级别，后续的数据的读写都会从该数据块的最新的数据存储上进行读写；
数据存储节点内部迁移流程举例：
(1)如图4的蓝色数据块的存储级别从1级存储价值降低后存储到3级；
(2)如图4的红色数据块的存储级别从2级存储价值提升后存储升到1级；
基于动态的数据服务收益来影响数据的存储级别，实现了按照收益分级存储***。
与现有技术相比，本发明的有益效果如下：
以HDFS为代表的分布式存储，适合一次写入多次读出的场景，但是它对于数据本身无区别存储，对核心数据和边缘数据无区别对待，给企业存储成本带来的严重负担。事实上，数据在不同组织中交换是创造收益体现，存储介质不同成本不同，本发明将从新的角度来从新定义数据服务收益设计存储***，通过对数据服务创造的收益和存储成本分级动态动态控制，从而达到降低企业数据存储成本的目的。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明的整体架构图；
图2是本发明的元数据信息同步流程图；
图3是本发明的多级存储器内部结构图；
图4是本发明的数据存储节点内部迁移流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。其中附图中相同的标号全部指的是相同的部件。
实施例1
如图1-4，本发明提供一种基于收益的多级存储***，包括以下组件和实现方法：
一、数据服务收益控制器
数据服务收益控制器主要负责收集不同组织中反馈的收益因子存储到元数据服务中；
二、元数据服务
元数据服务主要负责集群数据块元数据存储，数据服务收益计算，以及根据收益多少动态进行调度数据块的存储迁移；
元数据存储：
元数据的数据格式：(block_id,node_id,value,size)；
元数据信息同步流程如图2所示；
数据服务收益计算,计算公式:数据服务收益-***成本＝收益
数据服务收益：
(1)数据块通过一组应用数据标签tag[],包含了业务属性和权重；
(2)数据块的时间维度time(创建日期距今时间)；
(3)数据块的初始价值β；
(4)数据块的基础属性base_tag[]；
(5)矫正系数α；
通过价值计算函数dataV＝(tag[]+base_tag[]+β)*α/(time)来得出该数据服务收益＝dataV+dataV1+dataV2+..+dataVn，会存储到元数据服务中；
***成本：
(1)***的服务软硬件固定成本，包含存储和其他软硬件成本；
(2)Cost成本；
(3)存储时间t；
(4)单位存储成本C；
(5)存储大小b；
(6)硬件服务周期s
存储成本＝b*t*C/s；
三、存储节点
存储节点是本***中的数据存储节点，存储节点中的内部设计是采用了包含不同单位成本的存储设备，包含了0-N级，每一个级别的存储都有自己的单位存储成本C(元/GB)，数据块会按照价值对应存储到对应的存储级别，内部结构如图3所示；
在数据节点与元数据服务定期同步数据块元数据的时候，会得到该数据服务收益值，进行在节点内部进行根据数据服务收益和各级存储的成本进行对比，确定该数据块的存储级别区间，并进行直接的迁移到对应的存储级别，后续的数据的读写都会从该数据块的最新的数据存储上进行读写；
数据存储节点内部迁移流程举例：
(1)如图4的蓝色数据块的存储级别从1级存储价值降低后存储到3级；
(2)如图4的红色数据块的存储级别从2级存储价值提升后存储升到1级；
基于动态的数据服务收益来影响数据的存储级别，实现了按照收益分级存储***。
如图1所示，本专利发明一种基于收益的多级存储***。
如图1所示，组件包括：数据服务收益控制器，元数据服务，存储装置
1、启动存储***中的所有组件；
2、接受使用方反馈数据服务的要求；
3、提供数据服务***给业务方使用；
存储***实时动态进行数据服务收益统计与存储级别调整。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于收益的多级存储***，其特征在于，包括以下组件和实现方法：
一、数据服务收益控制器
数据服务收益控制器主要负责收集不同组织中反馈的收益因子存储到元数据服务中；
二、元数据服务
元数据服务主要负责集群数据块元数据存储，数据服务收益计算，以及根据收益多少动态进行调度数据块的存储迁移；
元数据存储：
元数据的数据格式：(block_id,node_id,value,size)；
数据服务收益计算,计算公式:数据服务收益-***成本＝收益
数据服务收益：
(1)数据块通过一组应用数据标签tag[],包含了业务属性和权重；
(2)数据块的时间维度time(创建日期距今时间)；
(3)数据块的初始价值β；
(4)数据块的基础属性base_tag[]；
(5)矫正系数α；
通过价值计算函数dataV＝(tag[]+base_tag[]+β)*α/(time)来得出该数据服务收益＝dataV+dataV1+dataV2+..+dataVn，会存储到元数据服务中；
***成本：
(1)***的服务软硬件固定成本，包含存储和其他软硬件成本；
(2)Cost成本；
(3)存储时间t；
(4)单位存储成本C；
(5)存储大小b；
(6)硬件服务周期s
存储成本＝b*t*C/s；
三、存储节点
存储节点是本***中的数据存储节点，存储节点中的内部设计是采用了包含不同单位成本的存储设备，包含了0-N级，每一个级别的存储都有自己的单位存储成本C(元/GB)，数据块会按照价值对应存储到对应的存储级别；
在数据节点与元数据服务定期同步数据块元数据的时候，会得到该数据服务收益值，进行在节点内部进行根据数据服务收益和各级存储的成本进行对比，确定该数据块的存储级别区间，并进行直接的迁移到对应的存储级别，后续的数据的读写都会从该数据块的最新的数据存储上进行读写。
CN202111632251.8A 2021-12-28 2021-12-28 一种基于收益的多级存储*** Pending CN114546259A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111632251.8A CN114546259A (zh) 2021-12-28 2021-12-28 一种基于收益的多级存储***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111632251.8A CN114546259A (zh) 2021-12-28 2021-12-28 一种基于收益的多级存储***

Publications (1)

Publication Number Publication Date
CN114546259A true CN114546259A (zh) 2022-05-27

Family

ID=81670501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111632251.8A Pending CN114546259A (zh) 2021-12-28 2021-12-28 一种基于收益的多级存储***

Country Status (1)

Country Link
CN (1) CN114546259A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115098023A (zh) * 2022-06-22 2022-09-23 浙江威固信息技术有限责任公司 一种阵列式存储器及存储器单元控制方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115098023A (zh) * 2022-06-22 2022-09-23 浙江威固信息技术有限责任公司 一种阵列式存储器及存储器单元控制方法
CN115098023B (zh) * 2022-06-22 2023-08-15 浙江威固信息技术有限责任公司 一种阵列式存储器及存储器单元控制方法

Similar Documents

Publication Publication Date Title
US9697571B2 (en) Real-time file system charge-back accounting per management object during a report cycle
CN101436207B (zh) 一种基于日志快照的数据恢复和同步方法
US7613747B1 (en) Tiered database storage and replication
US20080306990A1 (en) System for performing a redistribute transparently in a multi-node system
US20070198555A1 (en) Method, system, and program product for transferring document attributes
CN106708427A (zh) 一种适用于键值对数据的存储方法
CN104781812A (zh) 策略驱动的数据放置和信息生命周期管理
EA002931B1 (ru) Система и способ синхронизации и организации баз данных
CN1836232A (zh) 数据库的自动和动态提供
CN107193985A (zh) 一种记录数据变化历史的拉链表设计方法
CN114546259A (zh) 一种基于收益的多级存储***
CN106445409A (zh) 一种分布式块存储的数据写入方法及装置
CN116737064B (zh) 一种固态硬盘的数据管理方法和***
CN104182302A (zh) 数据库备份方法及装置
US20190227928A1 (en) Cost-based garbage collection scheduling in a distributed storage environment
CN101719131B (zh) 一种报表数据的处理方法、装置和***
CN102122284B (zh) 一种复合文档存储、读写方法和装置
CN102012946A (zh) 一种高效的安全监控视频/图像数据存储方法
CN111163149B (zh) 一种基于区块链的智能合约平台方法
CN107172152B (zh) 一种基于ceph集群cap机制统计配额***及方法
US20090282044A1 (en) Energy Efficient Data Provisioning
CN114253917A (zh) 基于文件访问特性的分布式自适应存储方法及***
CN108268341A (zh) 一种数据迁移、备份及恢复方法及装置
CN102222280A (zh) 信息交互处理***和方法
CN104142943A (zh) 一种数据库扩容方法和一种数据库

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication