CN102999442B - 面向媒体应用的存储***及方法 - Google Patents

面向媒体应用的存储***及方法 Download PDF

Info

Publication number
CN102999442B
CN102999442B CN201210463177.6A CN201210463177A CN102999442B CN 102999442 B CN102999442 B CN 102999442B CN 201210463177 A CN201210463177 A CN 201210463177A CN 102999442 B CN102999442 B CN 102999442B
Authority
CN
China
Prior art keywords
data
file
storage
application
intelligent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210463177.6A
Other languages
English (en)
Other versions
CN102999442A (zh
Inventor
宋小民
李科
王炜
吴春中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Sobey Digital Technology Co Ltd
Original Assignee
Chengdu Sobey Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Sobey Digital Technology Co Ltd filed Critical Chengdu Sobey Digital Technology Co Ltd
Priority to CN201210463177.6A priority Critical patent/CN102999442B/zh
Publication of CN102999442A publication Critical patent/CN102999442A/zh
Application granted granted Critical
Publication of CN102999442B publication Critical patent/CN102999442B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种面向媒体应用的存储***及方法，***包括硬件层、逻辑层和应用层，硬件层包括小存储模块和大存储模块，逻辑层包括通用文件管理模块、负责业务趋势预测的业务智能分析模块和负责管理大存储模块中的硬盘状态的省电智能管理模块，应用层包括通用文件操作接口和业务智能管理接口；基于媒体文件***的指令，判断文件对应的数据块访问频率，再根据文件对应数据块的访问频率对文件进行智能存放管理。本发明物理存储设备根据指令完成数据块的智能调度和处理后，执行存储介质的智能休眠、激活和工作，达成省电环保的功效；上层各种应用对媒体文件***及物理存储设备的访问完全透明，上层应用的各种性能、效率的要求得到安全的保障。

Description

面向媒体应用的存储***及方法
技术领域
本发明涉及一种面向媒体应用的存储***及方法。
背景技术
目前的存储***领域，已经广泛应用了虚拟存储、分级存储、云存储、高性能存储、高容量存储、绿色存储、休眠存储、FC存储、IP存储、集群存储、磁盘阵列、磁带库、光盘库、虚拟带库等存储技术。
随着广电媒体应用的逐步深入和发展，用户对应用访问的冷热数据差异化支持、分级化管理以及节能环保等方面的综合性要求凸显。而现有的各种存储技术在这种综合性要求方面无法很好的应对，存在诸多限制，进而不能满足用户需求和应对更深层次应用的发展。
从文件***来看，现有的存储技术分为两类：（1）一种内置于存储设备中，提供基于IP通道的CIFS/NFS通用文件访问技术，例如：NAS、集群存储、云存储等；（2）另一种是单独的文件***+物理存储设备，例如：Stornext+FC存储，GPFS+FC存储等，文件***对物理存储设备进行格式化处理，由物理存储设备提供FC/IP/Infini-Band/SAS/SCSI的物理访问链路，并由文件***对外提供寻址空间管理和访问许可，对上层应用提供基于NAS头的CIFS/NFS/私有协议的文件访问通路，或者对上层应用提供私有协议的客户端，利用文件***管理服务器的寻址和访问许可，直接通过物理访问链路对存储介质进行读写访问。
这两类存储技术都是通常的存储架构方式，可以满足常规的应用，但是这两类存储技术都没有将文件***和物理存储设备进行深度的结合，特别是没有针对冷热数据进行综合分析、智能数据块调度处理、智能介质调度处理，因而无法达到冷热数据差异化支持、分级化管理和智能绿色节能等方面要求。
从物理存储设备技术来看，目前的各类存储设备在存储介质混用、控制器内部性能优化、绿色节能方面有一定的功能支持，可以满足简单或单纯的物理存储设备需求。但是，针对广播级视音频媒体应用，这些通用的物理存储设备都没有与专用于媒体文件访问的媒体文件***进行深度结合，没有将文件与数据块的关联关系进行智能分类识别并专门为媒体文件***提供透明的文件级接口功能，因此，媒体文件***与物理存储设备无法很好的适配，无法科学、有序并经济地对冷热数据进行智能处理，进而无法很好地达到绿色节能、热数据高性能支持的动态平衡。
发明内容
本发明的目的在于克服现有技术的不足，提供一种面向广播级视音频媒体应用，将物理存储、专用媒体文件***与媒体应用进行深度融合，实现冷热数据差异化支持、分级化管理，对混合的各种存储介质进行统一管理，实现高效、节能环保的面向媒体应用的存储***及方法。
本发明的目的是通过以下技术方案来实现的：面向媒体应用的存储***，它包括硬件层、逻辑层和应用层，硬件层包括小存储模块和大存储模块，逻辑层包括通用文件管理模块、负责业务趋势预测的业务智能分析模块和负责管理大存储模块中的硬盘状态的省电智能管理模块，应用层包括通用文件操作接口和业务智能管理接口。
本发明所述的大存储模块中的硬盘状态包括休眠和运转状态。
面向媒体应用的存储方法，它包括以下步骤：
S1：基于媒体文件***的指令，判断文件对应的数据块访问频率，再根据文件对应数据块的访问频率对文件进行智能存放管理；
S2：存储设备对冷数据所在的存储介质进行低功耗的智能休眠处理，有应用访问时立即激活唤醒该存储介质；
S3：存储设备对热数据所在的存储介质进行访问性能的智能识别，智能地复制热数据；
S4：存储设备完成所有内部数据块的调度、复制、迁移和转换，并向媒体文件***提供文件级的指令、状态反馈等接口。
本发明所述的存储介质包括高速缓冲存储器cache、固态硬盘SSD、FC盘、SAS盘和SATA盘。
本发明所述的智能存放管理的步骤包括以下子步骤：
A：将数据块访问频率低的冷数据存放在容量型存储介质中；
B：将数据块访问频率高的热数据存放在性能型存储介质中。
本发明所述的容量型存储介质包括SATA盘，性能型存储介质包括高速缓冲存储器cache、固态硬盘SSD、FC盘和SAS盘。
本发明的有益效果是：
（1）可以广泛应用于广电媒体单位（含电视台、广播电台）和其他行业（含军队、教育、石油、企业等）广电类业务的多种应用场景，包括但不限于：全台网、网络制播***、新闻制播***、综合制作***、后期制作***、电视剧缩编***、广告串编***、播出***、主干***、总编室***、节目整备***、媒体资产管理***、新闻外场***、外派记者站***、IBC综合业务网络***、公有云及服务平台、私有云及服务平台、云生产、云媒资、云媒体处理、云存储等应用；
（2）物理存储设备根据媒体文件***的指令完成数据块的智能调度和处理后，执行存储介质（各种硬盘，含cache、SSD、FC盘、SAS盘、SATA盘）的智能休眠、激活和工作，达成省电环保的功效；
（3）上层各种应用对媒体文件***及物理存储设备的访问完全透明，上层应用的各种性能、效率的要求得到安全的保障。
（4）高效率利用物理存储设备的内部高速通道（含控制器cache、控制器之间高速通路、FC环路、infini-band通路、SAS通路），不占用存储设备对外的访问通道，且在不影响应用数据访问的基础上，智能实现存储设备内部数据块的复制、迁移和转换；
（5）提供卷级别的简单管理方式，应用管理人员可透明地创建各种应用卷名称、空间，并且可以按需随时扩充性能和容量；
（6）提供应用卷的目录树管理、空间状态、性能状态，并可设置空间阈值、性能阈值或综合阈值，及时以报警信息提示应用管理人员。
附图说明
图1为本发明存储***结构示意框图；
图2为媒体文件***对存储的统一管理***结构示意图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。
如图1所示，面向媒体应用的存储***，它包括硬件层、逻辑层和应用层，硬件层包括高性能小存储模块和低功耗大存储模块，逻辑层包括通用文件管理模块和负责业务趋势预测的业务智能分析模块，业务智能分析模块分析哪些数据将会不再是热点数据，定期淘汰到低功耗的大存储中。以及负责管理大存储模块中的硬盘状态的省电智能管理模块，低功耗大存储模块中的硬盘状态包括休眠和运转状态。应用层包括通用文件操作接口和业务智能管理接口。
面向媒体应用的存储方法，它包括以下步骤：
S1：基于媒体文件***的指令，判断文件对应的数据块访问频率，再根据文件对应数据块的访问频率对文件进行智能存放管理，智能存放于存储介质中，存储介质包括高速缓冲存储器cache、固态硬盘SSD、FC盘、SAS盘和SATA盘；
智能存放管理的步骤包括以下子步骤：
A：将数据块访问频率低的冷数据存放在容量型存储介质中，容量型存储介质包括SATA盘；
B：将数据块访问频率高的热数据存放在性能型存储介质中，性能型存储介质包括高速缓冲存储器cache、固态硬盘SSD、FC盘和SAS盘。
S2：存储设备对冷数据所在的存储介质进行低功耗的智能休眠处理，有应用访问时立即激活唤醒该存储介质；
S3：存储设备对热数据所在的存储介质进行访问性能的智能识别，智能地复制热数据；
S4：存储设备完成所有内部数据块的调度、复制、迁移和转换，并向媒体文件***提供文件级的指令、状态反馈等接口。
如图2所示，FMTDA（DA）表示媒体温度探测算法，FMTPA（PA）表示媒体温度预测算法，FMCA（CA）表示媒体缓存算法，FMTC表示高速媒体传输通道，FMHSM表示媒体分级存储管理器。FMHSM媒体分级存储管理器中包括FMTDA媒体温度探测算法、FMTPA媒体温度预测算法和FMCA媒体缓存算法。存储设备包括一级高速存储（如SAS、SSD等，温度区间为）、二级速存储（如SATA等，温度区间为）和三级速存储（如磁盘库等，温度区间为）。优化媒体文件***算法，支持对物理存储设备进行基于文件及的数据调度和处理；提供卷管理、提供应用相关的可配置参数和设置功能，满足上层各种不同应用的实际需求；高性能和高容量的差异化管理。

Claims (6)

1.面向媒体应用的存储***，其特征在于：它包括硬件层、逻辑层和应用层，硬件层包括小存储模块和大存储模块，逻辑层包括通用文件管理模块、负责业务趋势预测的业务智能分析模块和负责管理大存储模块中的硬盘状态的省电智能管理模块，业务智能分析模块分析哪些数据将不会再是热点数据，将不会再是热点数据的数据定期淘汰到低功耗的大存储模块中，应用层包括通用文件操作接口和业务智能管理接口；
存储设备包括一级高速存储，温度区间为大于等于T1；二级速存储，温度区间为大于等于T2且小于等于T1，其中T2小于T1；三级速存储，温度区间为小于等于T2；
高效率利用物理存储设备的内部高速通道，不占用存储设备对外的访问通道，且在不影响应用数据访问的基础上，智能实现存储设备内部数据块的复制、迁移和转换。
2.根据权利要求1所述的面向媒体应用的存储***，其特征在于：所述的大存储模块中的硬盘状态包括休眠和运转状态。
3.面向媒体应用的存储方法，其特征在于：它包括以下步骤：
S1：基于媒体文件***的指令，判断文件对应的数据块访问频率，业务智能分析模块分析哪些数据将不会再是热点数据，将不会再是热点数据的数据定期淘汰到低功耗的大存储模块中，再根据文件对应数据块的访问频率对文件进行智能存放管理；
S2：存储设备对冷数据所在的存储介质进行低功耗的智能休眠处理，有应用访问时立即激活唤醒该存储介质；
S3：存储设备对热数据所在的存储介质进行访问性能的智能识别，智能地复制热数据；
S4：高效率利用物理存储设备的内部高速通道，不占用存储设备对外的访问通道，且在不影响应用数据访问的基础上，存储设备完成所有内部数据块的调度、复制、迁移和转换，并向媒体文件***提供文件级的指令、状态反馈接口；
存储设备包括一级高速存储，温度区间为大于等于T1；二级速存储，温度区间为大于等于T2且小于等于T1，其中T2小于T1；三级速存储，温度区间为小于等于T2。
4.根据权利要求3所述的面向媒体应用的存储方法，其特征在于：所述的存储介质包括高速缓冲存储器cache、固态硬盘SSD、FC盘、SAS盘和SATA盘。
5.根据权利要求3所述的面向媒体应用的存储方法，其特征在于：所述的智能存放管理的步骤包括以下子步骤：
A：将数据块访问频率低的冷数据存放在容量型存储介质中；
B：将数据块访问频率高的热数据存放在性能型存储介质中。
6.根据权利要求5所述的面向媒体应用的存储方法，其特征在于：所述的容量型存储介质包括SATA盘，性能型存储介质包括高速缓冲存储器cache、固态硬盘SSD、FC盘和SAS盘。
CN201210463177.6A 2012-11-16 2012-11-16 面向媒体应用的存储***及方法 Active CN102999442B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210463177.6A CN102999442B (zh) 2012-11-16 2012-11-16 面向媒体应用的存储***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210463177.6A CN102999442B (zh) 2012-11-16 2012-11-16 面向媒体应用的存储***及方法

Publications (2)

Publication Number Publication Date
CN102999442A CN102999442A (zh) 2013-03-27
CN102999442B true CN102999442B (zh) 2015-12-02

Family

ID=47928032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210463177.6A Active CN102999442B (zh) 2012-11-16 2012-11-16 面向媒体应用的存储***及方法

Country Status (1)

Country Link
CN (1) CN102999442B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714146B (zh) * 2013-12-26 2017-01-04 华为技术有限公司 存储方法及装置
CN103971069B (zh) * 2014-04-24 2016-08-31 杭州华澜微电子股份有限公司 一种具有数据加密功能的混合硬盘控制器
CN104503924B (zh) * 2014-12-16 2018-02-13 华为技术有限公司 一种分层存储***中的区域分配方法及装置
JP6818982B2 (ja) 2015-06-01 2021-01-27 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ ファイルを格納する方法
CN107786586B (zh) * 2016-08-24 2019-11-05 腾讯科技（深圳）有限公司 业务的负载调度方法及装置
CN106649728B (zh) * 2016-12-23 2021-03-23 陈沛宇 影视媒资管理***和方法
CN107728938B (zh) * 2017-09-18 2020-06-16 暨南大学 一种低能耗集群环境下基于频度关联的冷数据放置策略
CN107766178A (zh) * 2017-10-24 2018-03-06 上海金档信息技术有限公司 电子档案存储***、存储方法及修复方法
CN107678927B (zh) * 2017-10-31 2021-01-29 苏州浪潮智能科技有限公司 分配硬盘io方法、装置、设备及计算机可读存储介质
CN112150750A (zh) * 2020-08-25 2020-12-29 航天信德智图（北京）科技有限公司 一种基于边缘计算的森林火警监测***
CN113377287A (zh) * 2021-04-26 2021-09-10 深圳云宣科技有限公司 一种大数据多维智能存储***及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101441507A (zh) * 2008-11-28 2009-05-27 成都市华为赛门铁克科技有限公司 一种用于硬盘设备的节能方法和节能装置
CN101600077A (zh) * 2009-03-02 2009-12-09 深圳南方汉邦数字技术有限公司 一种基于流媒体文件管理的数字硬盘录像机***及其实现方法
CN101794199A (zh) * 2010-03-26 2010-08-04 山东高效能服务器和存储研究院 基于高速磁盘缓存的计算机磁盘性能加速方法
CN101911031A (zh) * 2007-12-28 2010-12-08 英特尔公司 用于快速平台休眠和恢复的***和方法
CN102571916A (zh) * 2011-12-02 2012-07-11 曙光信息产业(北京)有限公司 一种云存储空间的租赁软件的架构与操作方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7158991B2 (en) * 2003-09-30 2007-01-02 Veritas Operating Corporation System and method for maintaining temporal data in data storage
US11232022B2 (en) * 2010-10-29 2022-01-25 Samsung Electronics Co., Ltd. Memory system, data storage device, user device and data management method thereof having a data management information matching determination

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101911031A (zh) * 2007-12-28 2010-12-08 英特尔公司 用于快速平台休眠和恢复的***和方法
CN101441507A (zh) * 2008-11-28 2009-05-27 成都市华为赛门铁克科技有限公司 一种用于硬盘设备的节能方法和节能装置
CN101600077A (zh) * 2009-03-02 2009-12-09 深圳南方汉邦数字技术有限公司 一种基于流媒体文件管理的数字硬盘录像机***及其实现方法
CN101794199A (zh) * 2010-03-26 2010-08-04 山东高效能服务器和存储研究院 基于高速磁盘缓存的计算机磁盘性能加速方法
CN102571916A (zh) * 2011-12-02 2012-07-11 曙光信息产业(北京)有限公司 一种云存储空间的租赁软件的架构与操作方法

Also Published As

Publication number Publication date
CN102999442A (zh) 2013-03-27

Similar Documents

Publication Publication Date Title
CN102999442B (zh) 面向媒体应用的存储***及方法
US11741053B2 (en) Data management system, method, terminal and medium based on hybrid storage
US9939865B2 (en) Selective storage resource powering for data transfer management
US9996557B2 (en) Database storage system based on optical disk and method using the system
CN102136290A (zh) 一种嵌入式实时视频文件存储方法
CN108829341B (zh) 一种基于混合存储***的数据管理方法
CN103226965B (zh) 基于时间位图的音视频数据存取方法
CN105474185B (zh) 基于高速缓存的功率节省
CN104008207B (zh) 基于光盘的数据库的数据外部存储***及数据存储方法
CN107291889A (zh) 一种数据存储方法及***
CN107526544A (zh) 一种分布式存储Ceph集群硬件选型设计方法
CN105100716B (zh) 一种用于网络视频监控的安全存储单元及其***
CN102968422A (zh) 流数据存储控制***及其方法
CN106898368B (zh) 光盘库开关控制装置、方法、设备及光盘式数据中心
CN103164528B (zh) 一种音视频数据的索引建立方法
Bhat Is a data-capacity gap inevitable in big data storage?
WO2023185111A1 (zh) 一种数据文件的快速存取方法及装置
CN103548004B (zh) 在文件***中实现多级存储的方法和装置
CN117435132A (zh) 大数据平台冷热数据自动分层存储方法及智能存储***
CN202276424U (zh) 一种监控集中存储***
CN107402802A (zh) 一种基于虚拟机的视频监控存储***
CN116451898A (zh) 一种物联网综合运营平台
WO2018006577A1 (zh) 基于光盘的数据库双核存储***及利用该***的方法
CN103744980A (zh) 多功能蓝光存储执法记录***
Hormann et al. Data storage energy efficiency in the Zettabyte Era

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20130327

Assignee: CHENGDU CHINAMCLOUD TECHNOLOGY CO.,LTD.

Assignor: Chengdu Sobey Digital Technology Co.,Ltd.

Contract record no.: 2016990000420

Denomination of invention: Media application oriented storage system and method

Granted publication date: 20151202

License type: Common License

Record date: 20161008

LICC Enforcement, change and cancellation of record of contracts on the licence for exploitation of a patent or utility model
EC01 Cancellation of recordation of patent licensing contract

Assignee: CHENGDU CHINAMCLOUD TECHNOLOGY CO.,LTD.

Assignor: Chengdu Sobey Digital Technology Co.,Ltd.

Contract record no.: 2016990000420

Date of cancellation: 20230706

EC01 Cancellation of recordation of patent licensing contract