CN112559459B - 一种基于云计算的自适应存储分层***及方法 - Google Patents
一种基于云计算的自适应存储分层***及方法 Download PDFInfo
- Publication number
- CN112559459B CN112559459B CN202011483292.0A CN202011483292A CN112559459B CN 112559459 B CN112559459 B CN 112559459B CN 202011483292 A CN202011483292 A CN 202011483292A CN 112559459 B CN112559459 B CN 112559459B
- Authority
- CN
- China
- Prior art keywords
- storage
- query
- cluster
- management module
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 230000002776 aggregation Effects 0.000 claims abstract description 8
- 238000004220 aggregation Methods 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims description 21
- 230000003044 adaptive effect Effects 0.000 claims description 16
- 230000008602 contraction Effects 0.000 claims description 8
- 239000007787 solid Substances 0.000 claims description 7
- 230000004931 aggregating effect Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000012163 sequencing technique Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 description 7
- 238000007405 data analysis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000006378 damage Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/14—Details of searching files based on file metadata
- G06F16/148—File search processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
- G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/185—Hierarchical storage management [HSM] systems, e.g. file migration or policies thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种基于云计算的自适应存储分层***及方法,包括数据节点管理模块、元数据管理模块、自适应存储分层模块以及预聚合查询路由模块,根据预定义规则对节点容量进行扩展和收缩、对收集的查询命中的模型以及扫描文件路径进行聚合和排序、对文件进行分层加载和预加载。基于本发明,可以构建出一个高效的OLAP查询执行引擎,应对各类报表***的复杂OLAP查询,可以显著提高云上OLAP引擎的执行效率。
Description
技术领域
本发明涉及数据分析技术领域,尤其涉及一种基于云计算的自适应存储分层***及方法。
背景技术
在云计算环境下,大数据架构体系往往是基于存储与计算分离的架构。将存储与计算分离的好处是可以大大提升用户在云上进行大数据处理的性价比,当一个ETL工作流完成后,数据已经完整保存在云存储上,这时候用户可以直接将不用的机器停止或者删除,释放计算资源,减少云成本。同样,存储与计算分离的情况下,可以根据需求对计算资源进行水平扩展或者动态减少而不会影响到存储,在大数据使用并发量较大时,对集群进行水平扩展来应对高并发请求,同时并发下降后动态减少计算节点来降低使用成本。然而这种架构下也存在缺陷,在计算存储分离情况下,往往计算与存储之间通过网络传输,传输的速率依赖带宽,尽管云基础设施供应商都在不断地提升网络硬件设施,但是相对于本地存储,云环境下存储与计算之间因为带宽传输速率受限,通常会成为数据分析的瓶颈。为了加速云存储的访问,我们一方面可以权衡成本尽可能选择较高带宽的机器来缓解网络传输带来的性能损耗;另一方面,可以将热数据尽量缓存在计算集群中,以达到对热数据查询的快速响应。
当前,在云计算环境下能够支持多云的分布式文件缓存***主要有Alluxio。该分布式文件缓存***优点是支持多级存储,同时支持多种公有云,但是其缺点也比较明显。在需要缓存的文件很多时只能进行根据访问情况进行缓存文件置换,且替换算法比较简单,不适宜预计算的场景;不支持弹性伸缩,当我们有更多文件需要缓存时,往往无法自动扩展;另外,在云上基于成本考虑,集群往往会在闲置时停止,在需要时启动,这时候在使用OLAP引擎进行初次查询时,往往会因为无法对模型索引文件动态预热会导致初始一段时间的文件扫描速度很慢。以上是以Alluxio为分布式文件缓存方案所欠缺的。
由于当前OLAP引擎与Alluxio集成方案存在的缺陷,难以支持高并发下的亚秒级查询响应。因此,本发明构思出一种基于云计算的自适应存储分层方案,可以显著提高云上OLAP引擎的执行效率。
发明内容
有鉴于此,本公开提供一种基于云计算的自适应存储分层***及方法,技术方案如下:
一方面,本发明提供了一种基于云计算的自适应存储分层***,包括数据节点管理模块、元数据管理模块、自适应存储分层模块以及预聚合查询路由模块,数据节点管理模块用于收集存储集群运行情况,按照预定义的规则进行水平扩展和收缩,元数据管理模块用于收集OLAP查询引擎的查询命中的模型以及扫描的文件路径,并对这些数据进行聚合和排序,自适应存储分层模块根据元数据管理模块维护的模型命中次数以及文件扫描次数的排行列表来对文件进行分层加载以及预加载,预聚合查询路由模块根据模型以及索引在元数据库中的缓存情况自动切换查询存储地址。
进一步地,所述的数据节点管理模块收集的存储集群运行情况数据包括:存储集群各节点的容量、存储集群各节点已使用容量、存储集群各节点缓存文件及其大小。
进一步地,所述数据节点管理模块的集群包括存储集群和计算集群,存储集群主要用于存储数据,计算集群主要用于提供计算功能,存储集群和计算集群均具备缓存功能。
进一步地,所述的存储集群包括:内存层MEN、固态硬盘层SSD、硬盘层HDD存储。
进一步地,所述的数据节点管理模块的扩展和收缩的规则是:当存储集群内缓存容量小于实际计算集群所需容量的20%时,对存储集群进行水平扩展;当存储集群内数据过期或不再使用时,优化数据节点配置,对存储集群进行收缩。
进一步地,所述的元数据管理模块通过连接到OLAP查询引擎的日志***,从日志文件中分析出查询命中的模型及其扫描的文件信息存储到元数据库,更新当前模型及其扫描文件的次数顺序排行榜。
进一步地,所述的自适应存储分层模块的分层加载策略是:将列表中文件分为非常热、比较热以及热三个层次,对应数据节点上的内存层MEN、固态硬盘层SSD以及硬盘层HDD存储,根据预配置的各层次百分比和集群内的各层存储大小分别将这三层数据加载到缓存中。
进一步地,所述的自适应存储分层模块的预加载策略是:每次集群重启后,将层次为非常热的部分通过命令预加载到内存中。
进一步地,所述的预聚合查询路由模块的自动切换查询存储地址的策略是:当用户查询命中模型后,向元数据管理模块询问当前模型是否在缓存中,若已缓存,则将加载文件请求重定向到缓存,否则,将直接向源数据加载。
另一方面,本发明提供了一种基于云计算的自适应存储分层方法,所述方法应用在上述基于云计算的自适应存储分层***中,包括以下步骤:
步骤1:查询请求通过预聚合查询路由模块提交分布式计算任务;
步骤2:预聚合查询路由模块根据模型以及索引在元数据库中的缓存情况自动切换查询存储地址;
步骤3:元数据管理模块用于收集OLAP查询引擎的查询命中的模型以及扫描的文件路径,并对这些数据进行聚合和排序;
步骤4:自适应存储分层模块根据元数据管理模块维护的模型命中数量以及文件扫描数量排行列表来对文件进行分层加载以及预加载;
步骤5:数据节点管理模块收集存储集群运行情况,按照预定义的规则进行水平扩展和收缩;步骤2、步骤3和步骤4执行过程中均需执行步骤5;
步骤6:元数据管理模块将查询结果与预聚合查询路由模块的查询请求匹配后,提交查询结果。
本发明提供一种基于云计算的自适应存储分层***及方法,提供了OLAP引擎在加载预计算内容时网络传输的性能优化方案,极大降低了对象存储和OLAP引擎之间的网络传输数据量;提供了分布式缓存基于容量的水平扩展和自动收缩,极大的提高了分布式缓存***的吞吐量的和降低了用户的使用成本;提供了分布式缓存***在初始化时的预热方案,结合OLAP查询引擎的特点,极大地提高了查询性能。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本发明提供的一种基于云计算的自适应存储分层***示意图;
图2为本发明提供的一种基于云计算的自适应存储分层方法示意图;
图3为本发明具体实施例的整体方案流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中,术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例,并非用于限定所指示的装置、元件或组成部分必须具有特定方位,或以特定方位进行构造和操作。
并且,上述部分术语除了可以用于表示方位或位置关系以外,还可能用于表示其他含义,例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言,可以根据具体情况理解这些术语在本申请中的具体含义。
另外,术语“多个”的含义应为两个以及两个以上。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
实施例一
本发明实施例一,提供了一种基于云计算的自适应存储分层***,如图1所示,包括数据节点管理模块、元数据管理模块、自适应存储分层模块以及预聚合查询路由模块,数据节点管理模块用于收集存储集群运行情况,按照预定义的规则进行水平扩展和收缩,元数据管理模块用于收集OLAP查询引擎的查询命中的模型以及扫描的文件路径,并对这些数据进行聚合和排序,自适应存储分层模块根据元数据管理模块维护的模型命中次数以及文件扫描数量次数的排行列表来对文件进行分层加载以及预加载,预聚合查询路由模块根据模型以及索引在元数据库中的缓存情况自动切换查询存储地址。
数据节点管理模块收集的存储集群运行情况数据包括:存储集群各节点的容量、存储集群各节点已使用容量、存储集群各节点缓存文件及其大小。
数据节点管理模块的集群包括存储集群和计算集群,存储集群主要用于存储数据,计算集群主要用于提供计算功能,存储集群和计算集群均具备缓存功能。
存储集群包括:内存层MEN、固态硬盘层SSD、硬盘层HDD存储。
数据节点管理模块的扩展和收缩的规则是:当存储集群内缓存容量远小于实际计算集群所需容量时,对存储集群进行水平扩展;当存储集群内数据过期或不再使用时,优化数据节点配置,对存储集群进行收缩。
具体实施时,数据节点管理模块,首先,收集如节点容量、节点已使用容量、节点缓存文件及大小等信息,然后根据预定义的扩展和收缩的规则,当存储集群内缓存容量远小于实际计算集群所需容量时,对存储集群进行水平扩展,当存储集群内数据过期或不再使用时,优化数据节点配置,对存储集群进行收缩,生成一组节点扩展或者收缩计划,最后根据节点扩展或者收缩计划执行实际的创建和销毁节点操作。本发明提供了分布式缓存基于容量的水平扩展和自动收缩,极大的提高了分布式缓存***的吞吐量的和降低了用户的使用成本。
具体实施时,元数据管理模块首先连接到OLAP查询引擎的日志***,然后从日志文件中分析出查询命中的模型及其扫描的文件信息存储到元数据库,之后更新当前模型及其扫描文件的次数顺序排行榜,维持当前OLAP模型命中次数排行列表以及文件扫描次数排行列表,为自适应存储分层模块做准备,提供了OLAP引擎在加载预计算内容时网络传输的性能优化方案,极大降低了对象存储和OLAP引擎之间的网络传输数据量。
自适应存储分层模块的分层加载策略是:将列表中文件分为非常热、比较热以及热三个层次,对应数据节点上的内存层MEN、固态硬盘层SSD以及硬盘层HDD存储,根据预配置的各层次百分比和集群内的各层存储大小分别将这三层数据加载到缓存中。自适应存储分层模块的预加载策略是:每次集群重启后,将层次为非常热的部分通过命令预加载到内存中。本发明提供了分布式缓存***在初始化时的预热方案,结合OLAP查询引擎的特点,极大地提高了查询性能,解决了查询数据量大时存在的性能问题。
进一步地,所述的预聚合查询路由模块的自动切换查询存储地址的策略是:当用户查询命中模型后,向元数据管理模块询问当前模型是否在缓存中,若已缓存,则将加载文件请求重定向到缓存,否则,将直接向源数据加载,支持从不同数据源动态切换加载文件,确保每个查询能够以最快的速度响应。
实施例二
本发明实施例二,提供了一种基于云计算的自适应存储分层方法,所述方法应用在上述基于云计算的自适应存储分层***中,如图2所示,包括以下步骤:
步骤1:查询请求通过预聚合查询路由模块提交分布式计算任务;
步骤2:预聚合查询路由模块根据模型以及索引在元数据库中的缓存情况自动切换查询存储地址;
具体实施时,当用户查询命中模型后,首先向元数据管理模块询问当前模型是否在缓存中,若已缓存,则将加载文件请求重定向到缓存,否则,将直接向源数据加载。
步骤3:元数据管理模块用于收集OLAP查询引擎的查询命中的模型以及扫描的文件路径,并对这些数据进行聚合和排序;
具体实施时,首先,连接到OLAP查询引擎的日志***,然后从其日志文件中分析出查询命中的模型及其扫描的文件信息存储到元数据库中,最后更新当前模型及其扫描文件的次数顺序排行榜。
步骤4:自适应存储分层模块根据元数据管理模块维护的模型命中数量以及文件扫描数量排行列表来对文件进行分层加载以及预加载;
关于分层加载,首先,将列表中文件分为非常热、比较热以及热三个层次,对应数据节点上的内存层MEN、固态硬盘层SSD以及硬盘层HDD存储,然后根据预配置的各层次百分比和集群内的各层存储大小分别将这三层数据加载到缓存中。关于预加载,将在每次集群重启后,将层次为非常热部分通过命令预加载到内存中。
步骤5:数据节点管理模块收集存储集群运行情况,按照预定义的规则进行水平扩展和收缩;步骤2、步骤3和步骤4执行过程中均需执行步骤5;
当存储集群内缓存容量小于实际计算集群所需容量的20%时,对存储集群进行水平扩展,当存储集群内数据过期或不再使用时,优化数据节点配置,对存储集群进行收缩。
步骤6:元数据管理模块将查询结果与预聚合查询路由模块的查询请求匹配后,提交查询结果。
实施例三
本发明的一个具体实施例,提供了一种基于云计算的自适应存储分层***,整体方案流程如图3所示,具体实施时,从客户端提交查询请求,通过预聚合查询路由模块提交分布式计算任务,当用户查询命中模型后,首先向元数据模块询问当前模型是否在缓存中,若已缓存,则将加载文件请求重定向到缓存,分布式执行引擎从分布式文件缓存***获取数据,分布式执行引擎可以从对象存储直接获取数据,否则分布式执行引擎直接从对象存储获取数据,数据节点管理模块收集存储集群运行情况,按照预定义的规则进行水平扩展和收缩进行节点管理,元数据管理模块收集OLAP查询引擎的查询命中的模型以及扫描的文件路径,并对这些数据进行聚合和排序,维持当前OLAP模型命中次数排行列表以及文件扫描次数排行列表,为自适应存储分层模块做准备,自适应存储分层模块根据元数据管理模块维护的模型命中数量以及文件扫描数量排行列表来对文件进行分层加载以及预加载,数据管理模块将查询结果与预聚合查询路由模块的查询请求匹配后,提交查询结果。
本发明的一个具体实施例,测试了现有技术在云计算环境下使用Alluxio作为分布式缓存方案和本发明自适应存储分层方案在常用报表***下的查询性能,对比结果,后者比前者的查询速度普遍快2-5倍。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (4)
1.一种基于云计算的自适应存储分层***,其特征在于,包括数据节点管理模块、元数据管理模块、自适应存储分层模块以及预聚合查询路由模块,数据节点管理模块用于收集存储集群运行情况,按照预定义的规则进行水平扩展和收缩,元数据管理模块用于收集OLAP查询引擎的查询命中的模型以及扫描的文件路径,并对这些数据进行聚合和排序,自适应存储分层模块根据元数据管理模块维护的模型命中次数以及文件扫描次数的排行列表来对文件进行分层加载以及预加载,预聚合查询路由模块根据模型以及索引在元数据库中的缓存情况自动切换查询存储地址;
所述的元数据管理模块通过连接到OLAP查询引擎的日志***,从日志文件中分析出查询命中的模型及其扫描的文件信息存储到元数据库,更新当前模型及其扫描文件的次数顺序排行榜;
所述的预聚合查询路由模块的自动切换查询存储地址的策略是:当用户查询命中模型后,向元数据管理模块询问当前模型是否在缓存中,若已缓存,则将加载文件请求重定向到缓存,否则,将直接向源数据加载;
所述数据节点管理模块的集群包括存储集群和计算集群,存储集群主要用于存储数据,计算集群主要用于提供计算功能,存储集群和计算集群均具备缓存功能;
所述的数据节点管理模块的扩展和收缩的规则是:当存储集群内缓存容量小于实际计算集群所需容量的20%时,对存储集群进行水平扩展;当存储集群内数据过期或不再使用时,优化数据节点配置,对存储集群进行收缩;
所述的自适应存储分层模块的分层加载策略是:将列表中文件分为非常热、比较热以及热三个层次,对应数据节点上的内存层MEN、固态硬盘层SSD以及硬盘层HDD存储,根据预配置的各层次百分比和集群内的各层存储大小分别将这三层数据加载到缓存中;
所述的自适应存储分层模块的预加载策略是:每次集群重启后,将层次为非常热的部分通过命令预加载到内存中。
2.根据权利要求1所述的一种基于云计算的自适应存储分层***,其特征在于,所述的数据节点管理模块收集的存储集群运行情况数据包括:存储集群各节点的容量、存储集群各节点已使用容量、存储集群各节点缓存文件及其大小。
3.根据权利要求1所述的一种基于云计算的自适应存储分层***,其特征在于,所述的存储集群包括:内存层MEN、固态硬盘层SSD、硬盘层HDD存储。
4.一种基于云计算的自适应存储分层方法,其特征在于,所述方法应用在上述权利要求1-3中任一项所述的一种基于云计算的自适应存储分层***中,包括以下步骤:
步骤1:查询请求通过预聚合查询路由模块提交分布式计算任务;
步骤2:预聚合查询路由模块根据模型以及索引在元数据库中的缓存情况自动切换查询存储地址;
步骤3:元数据管理模块用于收集OLAP查询引擎的查询命中的模型以及扫描的文件路径,并对这些数据进行聚合和排序;
步骤4:自适应存储分层模块根据元数据管理模块维护的模型命中数量以及文件扫描数量排行列表来对文件进行分层加载以及预加载;
步骤5:数据节点管理模块收集存储集群运行情况,按照预定义的规则进行水平扩展和收缩;步骤2、步骤3和步骤4执行过程中均需执行步骤5;
步骤6:元数据管理模块将查询结果与预聚合查询路由模块的查询请求匹配后,提交查询结果。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011483292.0A CN112559459B (zh) | 2020-12-15 | 2020-12-15 | 一种基于云计算的自适应存储分层***及方法 |
EP21801818.2A EP4040303A4 (en) | 2020-12-15 | 2021-01-29 | CLOUD-BASED ADAPTIVE STORAGE HIERARCHY SYSTEM AND METHOD |
US17/615,551 US20240028604A1 (en) | 2020-12-15 | 2021-01-29 | Cloud Computing-Based Adaptive Storage Layering System and Method |
PCT/CN2021/074308 WO2022126839A1 (zh) | 2020-12-15 | 2021-01-29 | 一种基于云计算的自适应存储分层***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011483292.0A CN112559459B (zh) | 2020-12-15 | 2020-12-15 | 一种基于云计算的自适应存储分层***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112559459A CN112559459A (zh) | 2021-03-26 |
CN112559459B true CN112559459B (zh) | 2024-02-13 |
Family
ID=75063168
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011483292.0A Active CN112559459B (zh) | 2020-12-15 | 2020-12-15 | 一种基于云计算的自适应存储分层***及方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20240028604A1 (zh) |
EP (1) | EP4040303A4 (zh) |
CN (1) | CN112559459B (zh) |
WO (1) | WO2022126839A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115599790B (zh) * | 2022-11-10 | 2024-03-15 | 星环信息科技(上海)股份有限公司 | 一种数据存储***、数据处理方法、电子设备和存储介质 |
CN116166691B (zh) * | 2023-04-21 | 2023-07-11 | 中国科学院合肥物质科学研究院 | 一种基于数据划分的数据归档***、方法、装置及设备 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101131624A (zh) * | 2007-08-17 | 2008-02-27 | 杭州华三通信技术有限公司 | 存储控制***及其处理节点 |
CN104219088A (zh) * | 2014-08-21 | 2014-12-17 | 南京邮电大学 | 一种基于Hive的网络告警信息OLAP方法 |
CN105577806A (zh) * | 2015-12-30 | 2016-05-11 | Tcl集团股份有限公司 | 一种分布式缓存方法及*** |
CN106470219A (zh) * | 2015-08-17 | 2017-03-01 | 阿里巴巴集团控股有限公司 | 计算机集群的扩容和缩容方法及设备 |
CN107133342A (zh) * | 2017-05-16 | 2017-09-05 | 广州舜飞信息科技有限公司 | 一种IndexR实时数据分析库 |
CN108920616A (zh) * | 2018-06-28 | 2018-11-30 | 郑州云海信息技术有限公司 | 一种元数据访问性能优化方法、***、装置及存储介质 |
CN109344092A (zh) * | 2018-09-11 | 2019-02-15 | 天津易华录信息技术有限公司 | 一种提高冷存储数据读取速度的方法和*** |
CN109947787A (zh) * | 2017-10-30 | 2019-06-28 | 阿里巴巴集团控股有限公司 | 一种数据分层存储、分层查询方法及装置 |
CN110995856A (zh) * | 2019-12-16 | 2020-04-10 | 上海米哈游天命科技有限公司 | 一种服务器扩展的方法、装置、设备及存储介质 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7779304B2 (en) * | 2007-06-15 | 2010-08-17 | International Business Machines Corporation | Diagnosing changes in application behavior based on database usage |
US9418101B2 (en) * | 2012-09-12 | 2016-08-16 | International Business Machines Corporation | Query optimization |
US10585892B2 (en) * | 2014-07-10 | 2020-03-10 | Oracle International Corporation | Hierarchical dimension analysis in multi-dimensional pivot grids |
US11405423B2 (en) * | 2016-03-11 | 2022-08-02 | Netskope, Inc. | Metadata-based data loss prevention (DLP) for cloud resources |
US11055300B2 (en) * | 2016-09-26 | 2021-07-06 | Splunk Inc. | Real-time search techniques |
US10061775B1 (en) * | 2017-06-17 | 2018-08-28 | HGST, Inc. | Scalable and persistent L2 adaptive replacement cache |
US10747723B2 (en) * | 2017-11-16 | 2020-08-18 | Verizon Digital Media Services Inc. | Caching with dynamic and selective compression of content |
US11210009B1 (en) * | 2018-03-15 | 2021-12-28 | Pure Storage, Inc. | Staging data in a cloud-based storage system |
US10812409B2 (en) * | 2018-06-06 | 2020-10-20 | Sap Se | Network multi-tenancy for cloud based enterprise resource planning solutions |
US11157478B2 (en) * | 2018-12-28 | 2021-10-26 | Oracle International Corporation | Technique of comprehensively support autonomous JSON document object (AJD) cloud service |
US10868732B2 (en) * | 2019-04-02 | 2020-12-15 | Sap Se | Cloud resource scaling using programmable-network traffic statistics |
US11514275B2 (en) * | 2019-10-21 | 2022-11-29 | Sap Se | Database instance tuning in a cloud platform |
US11263236B2 (en) * | 2019-11-18 | 2022-03-01 | Sap Se | Real-time cross-system database replication for hybrid-cloud elastic scaling and high-performance data virtualization |
US11790414B2 (en) * | 2020-01-31 | 2023-10-17 | Salesforce, Inc. | Techniques and architectures for customizable modular line item evaluation |
US11392399B2 (en) * | 2020-05-13 | 2022-07-19 | Sap Se | External binary sidecar for cloud containers |
US11500566B2 (en) * | 2020-08-25 | 2022-11-15 | Commvault Systems, Inc. | Cloud-based distributed data storage system using block-level deduplication based on backup frequencies of incoming backup copies |
-
2020
- 2020-12-15 CN CN202011483292.0A patent/CN112559459B/zh active Active
-
2021
- 2021-01-29 US US17/615,551 patent/US20240028604A1/en active Pending
- 2021-01-29 WO PCT/CN2021/074308 patent/WO2022126839A1/zh active Application Filing
- 2021-01-29 EP EP21801818.2A patent/EP4040303A4/en not_active Withdrawn
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101131624A (zh) * | 2007-08-17 | 2008-02-27 | 杭州华三通信技术有限公司 | 存储控制***及其处理节点 |
CN104219088A (zh) * | 2014-08-21 | 2014-12-17 | 南京邮电大学 | 一种基于Hive的网络告警信息OLAP方法 |
CN106470219A (zh) * | 2015-08-17 | 2017-03-01 | 阿里巴巴集团控股有限公司 | 计算机集群的扩容和缩容方法及设备 |
CN105577806A (zh) * | 2015-12-30 | 2016-05-11 | Tcl集团股份有限公司 | 一种分布式缓存方法及*** |
CN107133342A (zh) * | 2017-05-16 | 2017-09-05 | 广州舜飞信息科技有限公司 | 一种IndexR实时数据分析库 |
CN109947787A (zh) * | 2017-10-30 | 2019-06-28 | 阿里巴巴集团控股有限公司 | 一种数据分层存储、分层查询方法及装置 |
CN108920616A (zh) * | 2018-06-28 | 2018-11-30 | 郑州云海信息技术有限公司 | 一种元数据访问性能优化方法、***、装置及存储介质 |
CN109344092A (zh) * | 2018-09-11 | 2019-02-15 | 天津易华录信息技术有限公司 | 一种提高冷存储数据读取速度的方法和*** |
CN110995856A (zh) * | 2019-12-16 | 2020-04-10 | 上海米哈游天命科技有限公司 | 一种服务器扩展的方法、装置、设备及存储介质 |
Non-Patent Citations (5)
Title |
---|
Efficient Updates for OLAP Range Queries on Flash Memory;Mitzi McCarthy 等;The Computer Journal;第54卷(第11期);1773-1789 * |
Google三大云计算技术对海量数据分析流程的技术改进优化研究;卢小宾 等;图书情报工作;第59卷(第03期);6-11 * |
Spark环境下的分布式OLAP查询;崔红波 等;小型微型计算机***;第38卷(第11期);2517-2522 * |
分级存储数据多维分析技术的研究与应用;项玉良 等;计算机与现代化(第12期);113-115 * |
青云QingCloud正式推出Redis缓存集群服务;青云QingCloud;电脑与电信(第12期);11 * |
Also Published As
Publication number | Publication date |
---|---|
EP4040303A1 (en) | 2022-08-10 |
CN112559459A (zh) | 2021-03-26 |
EP4040303A4 (en) | 2023-07-19 |
WO2022126839A1 (zh) | 2022-06-23 |
US20240028604A1 (en) | 2024-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10467245B2 (en) | System and methods for mapping and searching objects in multidimensional space | |
US7146377B2 (en) | Storage system having partitioned migratable metadata | |
US9424274B2 (en) | Management of intermediate data spills during the shuffle phase of a map-reduce job | |
CN103067433B (zh) | 一种分布式存储***的数据迁移方法、设备和*** | |
CN111858097A (zh) | 分布式数据库***、数据库访问方法 | |
KR101928529B1 (ko) | 코드 분산 해쉬테이블 기반의 맵리듀스 시스템 및 방법 | |
CN101354726A (zh) | 一种机群文件***的内存元数据管理方法 | |
CN112559459B (zh) | 一种基于云计算的自适应存储分层***及方法 | |
CN116541427B (zh) | 数据查询方法、装置、设备及存储介质 | |
CN106155934A (zh) | 一种云环境下基于重复数据的缓存方法 | |
CN116595015B (zh) | 数据处理方法、装置、设备及存储介质 | |
JP5371656B2 (ja) | ファイル検索システム | |
CN113672583B (zh) | 基于存储与计算分离的大数据多数据源分析方法及*** | |
CN114338725A (zh) | 一种提升大规模集群渲染上限的分布式存储调度方法 | |
CN112395453A (zh) | 一种自适应分布式遥感影像缓存及检索方法 | |
US10324918B2 (en) | Data-partitioning for processing loosely ordered relations | |
US11853298B2 (en) | Data storage and data retrieval methods and devices | |
US11593368B1 (en) | Maintenance of clustered materialized views on a database system | |
US20230161770A1 (en) | Shard Optimization For Parameter-Based Indices | |
CN118170737A (zh) | 数据处理方法、装置及相关设备 | |
CN116974467A (zh) | 数据缓存处理方法、装置和*** | |
CN117687970A (zh) | 一种元数据检索方法、装置及电子设备和存储介质 | |
CN113311999A (zh) | 基于智慧校园中台的对象存储装置及方法 | |
Eom | Locality-Aware Fair Scheduling in the Distributed Query Processing Framework |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |