CN108920095B - 一种基于crush的数据存储优化方法和装置 - Google Patents

一种基于crush的数据存储优化方法和装置 Download PDF

Info

Publication number
CN108920095B
CN108920095B CN201810573067.2A CN201810573067A CN108920095B CN 108920095 B CN108920095 B CN 108920095B CN 201810573067 A CN201810573067 A CN 201810573067A CN 108920095 B CN108920095 B CN 108920095B
Authority
CN
China
Prior art keywords
data
target data
type
crush
write operation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810573067.2A
Other languages
English (en)
Other versions
CN108920095A (zh
Inventor
陈希
陈俊雄
杨世登
吴志力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Maslong Information Technology Co ltd
Original Assignee
Shenzhen Maslong Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Maslong Information Technology Co ltd filed Critical Shenzhen Maslong Information Technology Co ltd
Priority to CN201810573067.2A priority Critical patent/CN108920095B/zh
Publication of CN108920095A publication Critical patent/CN108920095A/zh
Application granted granted Critical
Publication of CN108920095B publication Critical patent/CN108920095B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种基于CRUSH的数据存储优化方法，包括：根据数据特征对多个目标数据进行分类存储；根据所述目标数据所属的类型，调整CRUSH策略，优化写操作映射关系；根据调整后的CRUSH策略和优化后的写操作映射关系，将多个目标数据存储到相应的磁盘；由此，可以实现更加均衡地分配数据，从而减少client端在存储对象过程中线程频繁切换以及内存拷贝等操作，从而达到优化I/O操作，大大提升了磁盘写入速度的目的。

Description

一种基于CRUSH的数据存储优化方法和装置
技术领域
本发明涉及计算机存储技术领域，尤其涉及一种基于CRUSH的数据存储优化方法和装置。
背景技术
现如今，移动互联网正处于繁荣鼎盛时期，带动了云计算、物联网(IoT)、人工智能(AI)等新兴产业的飞速发展，随之而来的是海量非结构化数据的产生，且在呈***式增长。例如当前人们经常访问的购物网站、视频网站、以及即时通讯工具等，后端存储上保存了海量的视频、图片资源以及用户的访问记录日志等等。传统的技术解决方案通常是多台服务器通过SAN交换网络同时连接FC光纤存储(共享存储型，而非分布式)，然后对外提供服务。采用传统的技术方案存在多个弊端，如硬件成本费用过高；维护管理多个品牌的SAN存储网络存在困难；硬件存储可能存在单点故障；存储I/O存在瓶颈等。因为终端用户的任意操作均涉及到底部存储的I/O操作，当用户数越来越多，并发越来越大时，I/O操作就会成为整个***架构中最大的性能瓶颈。如何提供较廉价的超大容量存储，并且要支持高性能、高可用、且横向动态扩展的分布式存储***是当前亟需解决的问题。
Ceph文件***提供了与POSIX兼容的文件***服务，基于Ceph对象存储集群之上，其内的文件被映射到Ceph存储集群内的对象。客户端可以把此文件***挂载在内核对象或用户空间文件***上。
Ceph本地存储接口为了支持事务，引入了日志(Journal)机制。所有的写入操作都需要先记录日志，再写入本地文件***，然后写PG Log。简单来说就是一份数据都需要写两遍，日志和本地文件***，然而本地文件***如ext3/ext4/xfs默认也是都是写日志的。这就导致在大规模连续I/O操作的情况下，实际磁盘I/O显示很高，但性能却表现一般。因为有一半的I/O是在写日志操作。另外，Ceph在写操作过程中存在IO路径冗长的问题，以osd为例，一个I/O需要经过消息队列、OSDs、FileJournal、本地存储接口多个模块才能完成，每个模块之间都涉及到队列和线程切换，部分模块在对IO进行处理时还要进行内存拷贝，导致整体性能不高。
发明内容
本发明针对现有的基于Ceph分布式存储需频繁记录日志以及crush算法策略导致磁盘I/O利用率较低的缺陷，提供一种基于CRUSH的数据存储优化方法和装置，实现更加均衡地分配数据，从而减少client端在存储对象过程中线程频繁切换以及内存拷贝等操作，从而达到优化I/O操作，大大提升了磁盘写入速度的目的。
一方面，本发明实施例提供一种基于CRUSH的数据存储优化方法，包括以下步骤：
根据数据特征对多个目标数据进行分类存储；
根据所述目标数据所属的类型，调整CRUSH策略；
根据所述目标数据所属的类型，优化写操作映射关系；
根据调整后的CRUSH策略和优化后的写操作映射关系，将多个目标数据存储到相应的磁盘。
在本发明的基于CRUSH的数据存储优化方法中，在根据数据特征对多个目标数据进行分类存储的所述步骤中，如果所述目标数据为对事务有强一致性要求的数据，则将所述目标数据标识为第一类型数据；如果所述目标数据需要记录的日志数据小于预设值，则将所述目标数据标识为第二类型数据；如果所述目标数据不需要写日志，则将所述目标数据标识为第三类型数据。
在本发明的基于CRUSH的数据存储优化方法中，在根据所述目标数据所属的类型，优化写操作映射关系的所述步骤中，如果所述目标数据为第一类型数据，则将写操作记录保存到日志记录中；如果所述目标数据为第二类型数据，则将写操作记录保存到日志延迟写入记录中；如果所述目标数据为第三类型数据，则将写操作记录更新到Object上。
在本发明的基于CRUSH的数据存储优化方法中，在根据所述目标数据所属的类型，调整CRUSH策略的所述步骤中，将同一类型的目标数据放到指定区域，并且根据所述目标数据的用途以和重要等级指定副本集个数以及机架位置。
相应地，本发明还提供一种基于CRUSH的数据存储优化装置，包括：
分类模块，用于根据数据特征对多个目标数据进行分类存储；
调整模块，用于根据所述目标数据所属的类型，调整CRUSH策略；
优化模块，用于根据所述目标数据所属的类型，优化写操作映射关系；
存储模块，用于根据调整后的CRUSH策略和优化后的写操作映射关系，将多个目标数据存储到相应的磁盘。
在本发明的基于CRUSH的数据存储优化装置中，如果所述目标数据为对事务有强一致性要求的数据，则所述分类模块将所述目标数据标识为第一类型数据；如果所述目标数据需要记录的日志数据小于预设值，则所述分类模块将所述目标数据标识为第二类型数据；如果所述目标数据不需要写日志，则所述分类模块将所述目标数据标识为第三类型数据。
在本发明的基于CRUSH的数据存储优化装置中，如果所述目标数据为第一类型数据，则所述优化模块将写操作记录保存到日志记录中；如果所述目标数据为第二类型数据，则所述优化模块将写操作记录保存到日志延迟写入记录中；如果所述目标数据为第三类型数据，则所述优化模块将写操作记录更新到Object上。
在本发明的基于CRUSH的数据存储优化装置中，所述调整模块将同一类型的目标数据放到指定区域，并且根据所述目标数据的用途以和重要等级指定副本集个数以及机架位置。
实施本发明实施例，具有如下有益效果：本发明提供的基于CRUSH的数据存储优化方法根据数据特征对多个目标数据进行分类存储；根据所述目标数据所属的类型，调整CRUSH策略，优化写操作映射关系；根据调整后的CRUSH策略和优化后的写操作映射关系，将多个目标数据存储到相应的磁盘；由此，可以实现更加均衡地分配数据，从而减少client端在存储对象过程中线程频繁切换以及内存拷贝等操作，从而达到优化I/O操作，大大提升了磁盘写入速度的目的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于CRUSH的数据存储优化方法的流程图；
图2是本发明实施例提供的基于CRUSH的数据存储优化装置的原理图；
图3是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的技术人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
以下结合附图和实施例对本发明做进一步的解释说明。
在本发明的基于CRUSH的数据存储优化方法的第一实施例中，根据数据存储特征，将对写日志级别要求较低的数据(例如，无事务、原子性要求或应用日志等非关键性数据)可记录少量日志或关闭日志记录功能；另外，改进Ceph中Crush的算法规则，调整object存放区域，实现更加均衡地分配数据，从而减少client端在存储对象过程中线程频繁切换以及内存拷贝等操作，从而达到优化I/O操作，大大提升了磁盘写入速度。
如图1所示，所述方法包括以下步骤：
步骤S11、根据数据特征对多个目标数据进行分类存储；
步骤S12、根据所述目标数据所属的类型，调整CRUSH策略；
步骤S13、根据所述目标数据所属的类型，优化写操作映射关系；
步骤S14、根据调整后的CRUSH策略和优化后的写操作映射关系，将多个目标数据存储到相应的磁盘。
在步骤S11中，根据Ceph保存一个对象的过程，我们可以先在存储的数据特征上进行标识，将不需要写日志的数据(无事务、原子性要求)可以只记录少量日志或关闭日志记录功能。具体地，如果所述目标数据为对事务有强一致性要求的数据，则将所述目标数据标识为第一类型数据；如果所述目标数据需要记录的日志数据小于预设值，则将所述目标数据标识为第二类型数据；如果所述目标数据不需要写日志，则将所述目标数据标识为第三类型数据。
在步骤S12中，将同一类型的目标数据放到指定区域，并且根据所述目标数据的用途以和重要等级指定副本集个数以及机架位置。通过根据数据类型调整CRUSH策略，可以提供数据分配的均衡性。
在步骤S13中，如果所述目标数据为第一类型数据，则将写操作记录保存到日志记录中；如果所述目标数据为第二类型数据，则将写操作记录保存到日志延迟写入记录中；如果所述目标数据为第三类型数据，则将写操作记录更新到Object上。具体地，对事务有强一致性要求的第一类型数据(例如，交易流水类数据)，按ceph保存对象的默认映射流程File->FileJournal->Object->PG->OSD->Disk完成存储；对只需记录少量日志的数据的第二类型数据(例如，用户某些操作记录等数据)，允许FileJournal写入延迟且不影响返回结果，则按File->Delay write FileJournal->Object->PG->OSD->Disk映射关系完成存储；对不需要写日志的数据(无事务、原子性要求)的第三类型数据(如非关键性应用程序日志)，可关闭日志记录功能，不需要将写操作记录保存到OSD的Journal上，直接按File->Object->PG->OSD->Disk的映射关系完成对象存储。
在步骤S14中，通过上面调整后的CRUSH策略和优化后的写操作映射关系，将目标数据写入与其类型对应的磁盘。
图2为本发明的基于CRUSH的数据存储优化装置的第一实施例的功能框图，如图2所示，在本实施例中，基于CRUSH的数据存储优化装置包括：
分类模块110，用于根据数据特征对多个目标数据进行分类存储；
调整模块120，用于根据所述目标数据所属的类型，调整CRUSH策略；
优化模块130，用于根据所述目标数据所属的类型，优化写操作映射关系；
存储模块140，用于根据调整后的CRUSH策略和优化后的写操作映射关系，将多个目标数据存储到相应的磁盘。
具体地，如果所述目标数据为对事务有强一致性要求的数据，则所述分类模块将所述目标数据标识为第一类型数据；如果所述目标数据需要记录的日志数据小于预设值，则所述分类模块将所述目标数据标识为第二类型数据；如果所述目标数据不需要写日志，则所述分类模块将所述目标数据标识为第三类型数据。
具体地，如果所述目标数据为第一类型数据，则所述优化模块将写操作记录保存到日志记录中；如果所述目标数据为第二类型数据，则所述优化模块将写操作记录保存到日志延迟写入记录中；如果所述目标数据为第三类型数据，则所述优化模块将写操作记录更新到Object上。
具体地，所述调整模块将同一类型的目标数据放到指定区域，并且根据所述目标数据的用途以和重要等级指定副本集个数以及机架位置。
在本发明的基于CRUSH的数据存储优化装置的第一实施例中，根据数据存储特征，将对写日志级别要求较低的数据(例如，无事务、原子性要求或应用日志等非关键性数据)可记录少量日志或关闭日志记录功能；另外，改进Ceph中Crush的算法规则，调整object存放区域，实现更加均衡地分配数据，从而减少client端在存储对象过程中线程频繁切换以及内存拷贝等操作，从而达到优化I/O操作，大大提升了磁盘写入速度。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
参见图3，图3为本发明实施例提供的一种电子设备的结构示意图，所述电子设备300，可以包括：
处理器310、存储器320、通信接口330和总线340；
所述处理器310、所述存储器320和所述通信接口330通过所述总线340连接并完成相互间的通信；
所述存储器320存储可执行程序代码；
所述处理器310通过读取所述存储器320中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行一种网络连接方法；其中，一种网络连接方法，包括以下步骤：
根据数据特征对多个目标数据进行分类存储；
根据所述目标数据所属的类型，调整CRUSH策略；
根据所述目标数据所属的类型，优化写操作映射关系；
根据调整后的CRUSH策略和优化后的写操作映射关系，将多个目标数据存储到相应的磁盘。
可以看出，采用本发明实施例提供的技术方案，可以减少client端在存储对象过程中线程频繁切换以及内存拷贝等操作，从而达到优化I/O操作，大大提升了磁盘写入速度的目的。
本发明实施例还提供了一种存储介质，其中，该存储介质用于存储应用程序，所述应用程序用于在运行时执行本发明实施例所述的一种基于CRUSH的数据存储优化方法。
本发明实施例还提供了一种应用程序，其中，该应用程序用于在运行时执行本发明实施例所述的一种基于CRUSH的数据存储优化方法。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，其中，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (2)

1.一种基于CRUSH的数据存储优化方法，其特征在于，包括以下步骤：
根据数据特征对多个目标数据进行分类存储；
根据所述目标数据所属的类型，调整CRUSH策略；
根据所述目标数据所属的类型，优化写操作映射关系；
根据调整后的CRUSH策略和优化后的写操作映射关系，将多个目标数据存储到相应的磁盘；
在根据数据特征对多个目标数据进行分类存储的步骤中，如果所述目标数据为对事务有强一致性要求的数据，则将所述目标数据标识为第一类型数据；如果所述目标数据需要记录的日志数据小于预设值，则将所述目标数据标识为第二类型数据；如果所述目标数据不需要写日志，则将所述目标数据标识为第三类型数据；
在根据所述目标数据所属的类型，优化写操作映射关系的所述步骤中，如果所述目标数据为第一类型数据，则将写操作记录保存到日志记录中；如果所述目标数据为第二类型数据，则将写操作记录保存到日志延迟写入记录中；如果所述目标数据为第三类型数据，则将写操作记录更新到Object上；
在根据所述目标数据所属的类型，调整CRUSH策略的所述步骤中，将同一类型的目标数据放到指定区域，并且根据所述目标数据的用途以及重要等级指定副本集个数以及机架位置。
2.一种基于CRUSH的数据存储优化装置，其特征在于，包括：
分类模块，用于根据数据特征对多个目标数据进行分类存储；
调整模块，用于根据所述目标数据所属的类型，调整CRUSH策略；
优化模块，用于根据所述目标数据所属的类型，优化写操作映射关系；
存储模块，用于根据调整后的CRUSH策略和优化后的写操作映射关系，将多个目标数据存储到相应的磁盘；
如果所述目标数据为对事务有强一致性要求的数据，则所述分类模块将所述目标数据标识为第一类型数据；如果所述目标数据需要记录的日志数据小于预设值，则所述分类模块将所述目标数据标识为第二类型数据；如果所述目标数据不需要写日志，则所述分类模块将所述目标数据标识为第三类型数据；
如果所述目标数据为第一类型数据，则所述优化模块将写操作记录保存到日志记录中；如果所述目标数据为第二类型数据，则所述优化模块将写操作记录保存到日志延迟写入记录中；如果所述目标数据为第三类型数据，则所述优化模块将写操作记录更新到Object上；
所述调整模块将同一类型的目标数据放到指定区域，并且根据所述目标数据的用途以及重要等级指定副本集个数以及机架位置。
CN201810573067.2A 2018-06-06 2018-06-06 一种基于crush的数据存储优化方法和装置 Active CN108920095B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810573067.2A CN108920095B (zh) 2018-06-06 2018-06-06 一种基于crush的数据存储优化方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810573067.2A CN108920095B (zh) 2018-06-06 2018-06-06 一种基于crush的数据存储优化方法和装置

Publications (2)

Publication Number Publication Date
CN108920095A CN108920095A (zh) 2018-11-30
CN108920095B true CN108920095B (zh) 2021-06-29

Family

ID=64418413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810573067.2A Active CN108920095B (zh) 2018-06-06 2018-06-06 一种基于crush的数据存储优化方法和装置

Country Status (1)

Country Link
CN (1) CN108920095B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110119251B (zh) * 2019-05-14 2023-01-03 北京杰思安全科技有限公司 一种基于磁盘大流量的缓冲控制方法和***
CN112379825B (zh) * 2019-09-24 2021-07-06 北京城建设计发展集团股份有限公司 基于数据特征分池的分布式数据存储方法及装置
CN111026337A (zh) * 2019-12-30 2020-04-17 中科星图股份有限公司 一种基于机器学习和ceph思想的分布式储存方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102938784A (zh) * 2012-11-06 2013-02-20 无锡江南计算技术研究所 应用于分布式存储***中的数据存储方法和***
CN103064761A (zh) * 2012-12-24 2013-04-24 华为技术有限公司 一种数据同步方法、设备和***
CN105468297A (zh) * 2015-11-18 2016-04-06 临沂大学 一种云存储***内主从设备数据快速同步的方法
CN105573679A (zh) * 2015-12-18 2016-05-11 国云科技股份有限公司 一种适用于分布式存储***存储池资源映射规则的方法
CN106033322A (zh) * 2015-03-17 2016-10-19 北京元心科技有限公司 一种数据存储方法及装置
CN106502587A (zh) * 2016-10-19 2017-03-15 华为技术有限公司 磁盘数据管理方法和磁盘控制装置
CN106533967A (zh) * 2016-12-08 2017-03-22 北京中安智达科技有限公司 一种可自定义负载均衡策略的数据传输方法
CN106708427A (zh) * 2016-11-17 2017-05-24 华中科技大学 一种适用于键值对数据的存储方法
CN107203341A (zh) * 2017-05-23 2017-09-26 建荣半导体（深圳）有限公司 基于闪存的数据存储方法、装置以及闪存芯片
CN107453948A (zh) * 2017-07-28 2017-12-08 北京邮电大学 一种网络测量数据的存储方法及***
CN107491529A (zh) * 2017-08-18 2017-12-19 华为技术有限公司 一种快照删除方法及节点
CN107979490A (zh) * 2017-11-17 2018-05-01 北京联想超融合科技有限公司 日志数据的记录方法及服务器集群

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102938784A (zh) * 2012-11-06 2013-02-20 无锡江南计算技术研究所 应用于分布式存储***中的数据存储方法和***
CN103064761A (zh) * 2012-12-24 2013-04-24 华为技术有限公司 一种数据同步方法、设备和***
CN106033322A (zh) * 2015-03-17 2016-10-19 北京元心科技有限公司 一种数据存储方法及装置
CN105468297A (zh) * 2015-11-18 2016-04-06 临沂大学 一种云存储***内主从设备数据快速同步的方法
CN105573679A (zh) * 2015-12-18 2016-05-11 国云科技股份有限公司 一种适用于分布式存储***存储池资源映射规则的方法
CN106502587A (zh) * 2016-10-19 2017-03-15 华为技术有限公司 磁盘数据管理方法和磁盘控制装置
CN106708427A (zh) * 2016-11-17 2017-05-24 华中科技大学 一种适用于键值对数据的存储方法
CN106533967A (zh) * 2016-12-08 2017-03-22 北京中安智达科技有限公司 一种可自定义负载均衡策略的数据传输方法
CN107203341A (zh) * 2017-05-23 2017-09-26 建荣半导体（深圳）有限公司 基于闪存的数据存储方法、装置以及闪存芯片
CN107453948A (zh) * 2017-07-28 2017-12-08 北京邮电大学 一种网络测量数据的存储方法及***
CN107491529A (zh) * 2017-08-18 2017-12-19 华为技术有限公司 一种快照删除方法及节点
CN107979490A (zh) * 2017-11-17 2018-05-01 北京联想超融合科技有限公司 日志数据的记录方法及服务器集群

Also Published As

Publication number Publication date
CN108920095A (zh) 2018-11-30

Similar Documents

Publication Publication Date Title
US20220057940A1 (en) Method and Apparatus for SSD Storage Access
US9971796B2 (en) Object storage using multiple dimensions of object information
US9128765B2 (en) Assigning restored virtual machine based on past application usage of requesting user
US10997127B2 (en) Preventing inefficient recalls in a hierarchical storage management (HSM) system
CN108920095B (zh) 一种基于crush的数据存储优化方法和装置
US10853193B2 (en) Database system recovery using non-volatile system memory
US10356150B1 (en) Automated repartitioning of streaming data
CN103763383A (zh) 一体化云存储***及其存储方法
US10460254B2 (en) System and method for reducing state space in reinforced learning by using decision tree classification
CN104111804A (zh) 一种分布式文件***
CN109714229B (zh) 一种分布式存储***的性能瓶颈定位方法
US11256719B1 (en) Ingestion partition auto-scaling in a time-series database
CN103037004A (zh) 云存储***操作的实现方法和装置
US10956499B2 (en) Efficient property graph storage for streaming/multi-versioning graphs
US11294931B1 (en) Creating replicas from across storage groups of a time series database
US10896007B2 (en) Workload balancing in a distributed storage system
US9456036B2 (en) Switch-based data tiering
US10694002B1 (en) Data compression optimization based on client clusters
US10581668B2 (en) Identifying performance-degrading hardware components in computer storage systems
US20190243807A1 (en) Replication of data in a distributed file system using an arbiter
CN105808451B (zh) 一种数据缓存方法以及相关装置
US11068184B2 (en) Method, device, and computer program product for managing a storage system
US20220365949A1 (en) Association rule mining
US12019894B2 (en) Systems and methods for managing coresident data for containers
US11947568B1 (en) Working set ratio estimations of data items in a sliding time window for dynamically allocating computing resources for the data items

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: 2519 Dongfang Science and Technology Building, No. 16 Keyuan Road, Science and Technology Park Community, Yuehai Street, Nanshan District, Shenzhen, Guangdong Province, 518000

Patentee after: SHENZHEN MASLONG INFORMATION TECHNOLOGY Co.,Ltd.

Address before: 518000 Room 502, building 8, Shenzhen Software Park, Central District, high tech Zone, Shenzhen City, Guangdong Province

Patentee before: SHENZHEN MASLONG INFORMATION TECHNOLOGY Co.,Ltd.