CN109739438A - 一种大数据云存储*** - Google Patents
一种大数据云存储*** Download PDFInfo
- Publication number
- CN109739438A CN109739438A CN201811604544.3A CN201811604544A CN109739438A CN 109739438 A CN109739438 A CN 109739438A CN 201811604544 A CN201811604544 A CN 201811604544A CN 109739438 A CN109739438 A CN 109739438A
- Authority
- CN
- China
- Prior art keywords
- cloud
- module
- data
- layer
- application layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种大数据云存储***,采用分层结构,整个***从逻辑上分为四层,分别为应用层、平台层、基础架构层与云管理平台,应用层、平台层、基础架构层与云管理平台互相连接,所述应用层包括有客户端,所述平台层包括有云服务开发部署平台、云数据库、云存储、云内容管理模块、云搜索引擎模块、云数据分析模块、分布式计算服务端,所述基础架构层包括有虚拟化平台、网络模块、服务器与存储模块、所述云管理平台包括有云服务门户、认证模块、运营支撑***与业务支撑***。本发明所述的一种大数据云存储***,具有数据信息校对的功能,能删除重复性的数据,具有定期删减功能,作废的数据不会占用空间,带来更好的使用前景。
Description
技术领域
本发明涉及大数据存储领域,特别涉及一种大数据云存储***。
背景技术
存储虚拟化技术是云存储的核心技术,通过存储虚拟化方法,把不同厂商、不同型号、不同通信技术、不同类型的存储设备的互联起来,将***中各种异构的存储设备映射为一个统一的存储资源池,存储虚拟化技术能够对存储资源进行统一分配管理,又可以屏蔽存储实体间的物理位置以及异构特性,实现了资源对用户的透明性,降低了构建、管理和维护资源的成本,从而提升云存储***的资源利用率,随着数据中重复数据的数据量不断增加,会导致重复的数据占用更多的空间,重复数据删除技术一种非常高级的数据缩减技术,可以极大的减少备份数据的数量,通常用于基于磁盘的备份***,通过删除运算,消除冗余的文件、数据块或字节,以保证只有单一的数据存储在***中,其目的是减少存储***中使用的存储容量,增大可用的存储空间,增加网络传输中的有效数据量,然而重复删除运算相当消耗运算资源,对存取能效会造成相当程度冲击,要应用在对存取能效较敏感的网络存储设备上,将会面临许多困难;现有的大数据存储***在使用时存在一定的弊端,不具有数据信息校对的功能,不能删除重复性的数据以减少存储的占用容量,不具有定期删减功能,长期作废的历史数据仍然占用使用空间,在实际使用时带来了一定的影响,为此,我们提出一种大数据云存储***。
发明内容
本发明的主要目的在于提供一种大数据云存储***,可以有效解决背景技术中的问题。
为实现上述目的,本发明采取的技术方案为:
一种大数据云存储***,采用分层结构,整个***从逻辑上分为四层,分别为应用层、平台层、基础架构层与云管理平台,应用层、平台层、基础架构层与云管理平台互相连接,所述应用层包括有客户端,所述平台层包括有云服务开发部署平台、云数据库、云存储、云内容管理模块、云搜索引擎模块、云数据分析模块、分布式计算服务端,所述基础架构层包括有虚拟化平台、网络模块、服务器与存储模块、所述云管理平台包括有云服务门户、认证模块、运营支撑***与业务支撑***。
优选的,所述应用层负责业务逻辑的处理,在互联网构架下,应用层通过引入应用无状态、分布式缓存技术,进一步扩大负载的横向分担能力和业务变化快速响应能力,尽可能减少单点故障。
优选的,所述基础架构层按照数据的分类、读取性能、计算要求进行不同存储技术的划分,并且通过引入分布式缓存技术着重降低关系型数据库的压力,在最大程度保障数据可靠性的前提下降低数据库压力。
优选的,所述由虚拟化平台、网络模块、服务器、存储模块构成基础架构层,通过网络模块与服务器能够访问存储模块内部的数据信息。
与现有技术相比,本发明具有如下有益效果:
本发明中,云数据分析模块能够对云存储中的数据内容进行监测校对,当出现相同的数据信息内容时会删除重复的数据,以节省存储空间,云内容管理模块能够定期对存储的内容进行删除,减少历史作废数据的残留,以留出更多的空间保存新内容,带来更好的使用前景。
附图说明
图1为本发明一种大数据云存储***的整体框图;
图2为本发明一种大数据云存储***的应用层框架图;
图3为本发明一种大数据云存储***的平台层框架图;
图4为本发明一种大数据云存储***的基础架构层框架图;
图5为本发明一种大数据云存储***的云管理平台框架图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,下面结合具体实施方式,进一步阐述本发明。
如图1-5所示,一种大数据云存储***,采用分层结构,整个***从逻辑上分为四层,分别为应用层、平台层、基础架构层与云管理平台,应用层、平台层、基础架构层与云管理平台互相连接,应用层包括有客户端,平台层包括有云服务开发部署平台、云数据库、云存储、云内容管理模块、云搜索引擎模块、云数据分析模块、分布式计算服务端,基础架构层包括有虚拟化平台、网络模块、服务器与存储模块、云管理平台包括有云服务门户、认证模块、运营支撑***与业务支撑***;
应用层负责业务逻辑的处理,在互联网构架下,应用层通过引入应用无状态、分布式缓存技术,进一步扩大负载的横向分担能力和业务变化快速响应能力,尽可能减少单点故障;基础架构层按照数据的分类、读取性能、计算要求进行不同存储技术的划分,并且通过引入分布式缓存技术着重降低关系型数据库的压力,在最大程度保障数据可靠性的前提下降低数据库压力;由虚拟化平台、网络模块、服务器、存储模块构成基础架构层,通过网络模块与服务器能够访问存储模块内部的数据信息。
需要说明的是,本发明为一种大数据云存储***,在使用时,应用层负责业务逻辑的处理,在互联网构架下,应用层通过引入应用无状态、分布式缓存技术,进一步扩大负载的横向分担能力和业务变化快速响应能力,尽可能减少单点故障,处于应用层的终端可利用平台层向后台发起访问,平台层接受搜索指令向后台调取与之相匹配的内容,同时也能够利用云存储进行相关的数据上传保存,云数据分析模块能够对云存储中的数据内容进行监测校对,当出现相同的数据信息内容时会删除重复的数据,以节省存储空间,云内容管理模块能够定期对存储的内容进行删除,减少历史作废数据的残留,以留出更多的空间保存新内容,较为实用。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (4)
1.一种大数据云存储***,其特征是采用分层结构,整个***从逻辑上分为四层,分别为应用层、平台层、基础架构层与云管理平台,应用层、平台层、基础架构层与云管理平台互相连接,所述应用层包括有客户端,所述平台层包括有云服务开发部署平台、云数据库、云存储、云内容管理模块、云搜索引擎模块、云数据分析模块、分布式计算服务端,所述基础架构层包括有虚拟化平台、网络模块、服务器与存储模块、所述云管理平台包括有云服务门户、认证模块、运营支撑***与业务支撑***。
2.根据权利要求1所述的一种大数据云存储***,其特征在于:所述应用层负责业务逻辑的处理,在互联网构架下,应用层通过引入应用无状态、分布式缓存技术,进一步扩大负载的横向分担能力和业务变化快速响应能力,尽可能减少单点故障。
3.根据权利要求1所述的一种大数据云存储***,其特征在于:所述基础架构层按照数据的分类、读取性能、计算要求进行不同存储技术的划分,并且通过引入分布式缓存技术着重降低关系型数据库的压力,在最大程度保障数据可靠性的前提下降低数据库压力。
4.根据权利要求1所述的一种大数据云存储***,其特征在于:所述由虚拟化平台、网络模块、服务器、存储模块构成基础架构层,通过网络模块与服务器能够访问存储模块内部的数据信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811604544.3A CN109739438A (zh) | 2018-12-26 | 2018-12-26 | 一种大数据云存储*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811604544.3A CN109739438A (zh) | 2018-12-26 | 2018-12-26 | 一种大数据云存储*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109739438A true CN109739438A (zh) | 2019-05-10 |
Family
ID=66361339
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811604544.3A Pending CN109739438A (zh) | 2018-12-26 | 2018-12-26 | 一种大数据云存储*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109739438A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111061430A (zh) * | 2019-11-27 | 2020-04-24 | 东南大学 | 一种多云环境下异构i/o细粒度感知的数据放置方法 |
CN114116895A (zh) * | 2021-11-17 | 2022-03-01 | 北京八分量信息科技有限公司 | 一种区块链大数据的云存储*** |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103268457A (zh) * | 2013-05-31 | 2013-08-28 | 重庆大学 | 基于云计算的多层级关系信息管理***及设计方法 |
CN103401917A (zh) * | 2013-07-29 | 2013-11-20 | 华南理工大学 | 一种基于云总线的混合云计算***及其实现方法 |
CN103701931A (zh) * | 2014-01-08 | 2014-04-02 | 东华大学 | 一种基于云平台的远程环境数据管理监控*** |
CN103873583A (zh) * | 2014-03-24 | 2014-06-18 | 北京聚思信息咨询有限公司 | 基于云平台针对互联网用户行为进行分析的方法和*** |
CN103888542A (zh) * | 2014-01-17 | 2014-06-25 | 汉柏科技有限公司 | 云计算资源分配方法及*** |
CN104065685A (zh) * | 2013-03-22 | 2014-09-24 | ***股份有限公司 | 面向云计算环境的分层存储***中的数据迁移方法 |
CN104142847A (zh) * | 2013-05-06 | 2014-11-12 | ***股份有限公司 | 云计算环境下的无状态化虚拟机及其应用 |
US9338218B1 (en) * | 2011-12-21 | 2016-05-10 | Emc Corporation | Distributed platform as a service |
CN106897947A (zh) * | 2017-01-04 | 2017-06-27 | 上海易谷网络科技有限公司 | 一种基于云平台的多租户服务快速部署方法 |
CN108021677A (zh) * | 2017-12-07 | 2018-05-11 | 成都博睿德科技有限公司 | 云计算分布式检索引擎的控制方法 |
-
2018
- 2018-12-26 CN CN201811604544.3A patent/CN109739438A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9338218B1 (en) * | 2011-12-21 | 2016-05-10 | Emc Corporation | Distributed platform as a service |
CN104065685A (zh) * | 2013-03-22 | 2014-09-24 | ***股份有限公司 | 面向云计算环境的分层存储***中的数据迁移方法 |
CN104142847A (zh) * | 2013-05-06 | 2014-11-12 | ***股份有限公司 | 云计算环境下的无状态化虚拟机及其应用 |
CN103268457A (zh) * | 2013-05-31 | 2013-08-28 | 重庆大学 | 基于云计算的多层级关系信息管理***及设计方法 |
CN103401917A (zh) * | 2013-07-29 | 2013-11-20 | 华南理工大学 | 一种基于云总线的混合云计算***及其实现方法 |
CN103701931A (zh) * | 2014-01-08 | 2014-04-02 | 东华大学 | 一种基于云平台的远程环境数据管理监控*** |
CN103888542A (zh) * | 2014-01-17 | 2014-06-25 | 汉柏科技有限公司 | 云计算资源分配方法及*** |
CN103873583A (zh) * | 2014-03-24 | 2014-06-18 | 北京聚思信息咨询有限公司 | 基于云平台针对互联网用户行为进行分析的方法和*** |
CN106897947A (zh) * | 2017-01-04 | 2017-06-27 | 上海易谷网络科技有限公司 | 一种基于云平台的多租户服务快速部署方法 |
CN108021677A (zh) * | 2017-12-07 | 2018-05-11 | 成都博睿德科技有限公司 | 云计算分布式检索引擎的控制方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111061430A (zh) * | 2019-11-27 | 2020-04-24 | 东南大学 | 一种多云环境下异构i/o细粒度感知的数据放置方法 |
CN111061430B (zh) * | 2019-11-27 | 2021-02-19 | 东南大学 | 一种多云环境下异构i/o细粒度感知的数据放置方法 |
CN114116895A (zh) * | 2021-11-17 | 2022-03-01 | 北京八分量信息科技有限公司 | 一种区块链大数据的云存储*** |
CN114116895B (zh) * | 2021-11-17 | 2024-04-12 | 北京八分量信息科技有限公司 | 一种区块链大数据的云存储*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104011717A (zh) | 对数据存储备份的数据选择 | |
CN101866359B (zh) | 一种机群文件***中的小文件存储和访问方法 | |
CN104751359B (zh) | 用于支付清算的***及方法 | |
CN104283960A (zh) | 实现异构网络存储的虚拟化整合及分级管理的*** | |
CN103914399A (zh) | 一种并行计算***中的磁盘缓存方法及装置 | |
CN103139302A (zh) | 考虑负载均衡的实时副本调度方法 | |
CN102982182B (zh) | 一种数据存储规划方法及装置 | |
CN111381928B (zh) | 一种虚拟机迁移方法、云计算管理平台和存储介质 | |
Zhang et al. | Research on hadoop-based enterprise file cloud storage system | |
CN103955510A (zh) | 基于etl云平台上传的海量电力营销数据整合方法 | |
CN106060176A (zh) | 一种基于混合云的云计算应用架构及云计算服务方法 | |
CN105630919A (zh) | 存储方法及*** | |
CN107249121A (zh) | 一种基于云平台的视频监控*** | |
CN105468296B (zh) | 基于虚拟化平台的无共享存储管理方法 | |
CN109783018A (zh) | 一种数据存储的方法及装置 | |
CN109739438A (zh) | 一种大数据云存储*** | |
CN108415962A (zh) | 一种云存储*** | |
CN113806300A (zh) | 数据存储方法、***、装置、设备及存储介质 | |
CN106294842A (zh) | 一种数据交互方法、平台及分布式文件*** | |
CN110377757A (zh) | 一种实时知识图谱构建*** | |
CN110232136A (zh) | 一种基于云计算的大数据处理*** | |
CN101483668A (zh) | 热点数据的网络存储和访问方法、设备及*** | |
CN103152377B (zh) | 一种面向ftp服务的数据访问方法 | |
CN215298210U (zh) | 电力物联网的多级边缘计算*** | |
CN104850548A (zh) | 一种实现大数据平台输入/输出处理的方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190510 |
|
RJ01 | Rejection of invention patent application after publication |