CN114528231A - 一种数据动态存储方法、装置、电子设备及存储介质 - Google Patents

一种数据动态存储方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114528231A
CN114528231A CN202011197039.9A CN202011197039A CN114528231A CN 114528231 A CN114528231 A CN 114528231A CN 202011197039 A CN202011197039 A CN 202011197039A CN 114528231 A CN114528231 A CN 114528231A
Authority
CN
China
Prior art keywords
data
storage medium
storage
stored
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011197039.9A
Other languages
English (en)
Inventor
年彦东
辛波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN202011197039.9A priority Critical patent/CN114528231A/zh
Publication of CN114528231A publication Critical patent/CN114528231A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0888—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches using selective caching, e.g. bypass
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
    • H04L9/0643—Hash functions, e.g. MD5, SHA, HMAC or f9 MAC

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据动态存储方法、装置、电子设备及存储介质。其中，该方法包括：获取数据存储请求，所述数据存储请求中携带待存储数据；确定所述待存储数据对应的属性信息；根据所述属性信息从存储介质集合中确定所述待存储数据对应的目标存储介质，所述存储介质集合包括至少两个不同类型的候选存储介质；将所述待存储数据存储至所述目标存储介质。本申请实施例提供的技术方案，通过在数据存储请求满足预设条件时，确定用于存储待存储数据的目标存储介质，以此提高了各个存储介质的服务效率及命中率。

Description

一种数据动态存储方法、装置、电子设备及存储介质
技术领域
本申请涉及数据存储领域，尤其涉及一种数据动态存储方法、装置、***、电子设备及存储介质。
背景技术
随着互联网的发展，一台典型CDN(Content Delivery Network内容分发网络)的缓存设备一般包括3种存储介质(内存、机械硬盘，固态硬盘)，其中内存和固态硬盘性能强但是容量较小，所以一般用于缓存热点文件和小文件。但是在特殊的时间节点(例如流量高峰期)，在流量模型没有变化的情况下，整体的量级上涨，会导致机械硬盘率先达到瓶颈，固态硬盘和内存并未达到极限，因此三种缓存介质的命中率不会发生太大变化，从而导致三种存储介质的缓存压力都会过大，影响服务质量。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种数据动态存储方法、装置、电子设备及存储介质。
根据本申请实施例的一个方面，提供了一种数据动态存储方法，包括：
获取数据存储请求，所述数据存储请求中携带待存储数据；
确定所述待存储数据对应的属性信息；
根据所述属性信息从存储介质集合中确定所述待存储数据对应的目标存储介质，所述存储介质集合包括至少两个不同类型的候选存储介质；
将所述待存储数据存储至所述目标存储介质。
进一步的，所述存储介质集合中包括至少两个相同类型的候选存储介质，当确定所述待存储数据对应至少两个相同类型的目标存储介质时，所述将所述待存储数据存储至所述目标存储介质，包括：
获取所述待存储数据的数据标识；
根据所述数据标识进行哈希计算得到目标哈希值；
获取与所述目标哈希值对应的目标存储地址；
确定所述目标存储介质对应的存储地址；
将所述待存储数据存储至所述存储地址与所述目标存储地址匹配的目标存储介质。
进一步的，所述属性信息包括以下至少一项：所述待存储数据的时间信息，所述待存储数据的数据类型，所述待存储数据的数据量；
所述根据所述属性信息从存储介质集合中确定所述待存储数据对应的目标存储介质，包括：
当所述属性信息满足预设条件时，从存储介质集合中确定所述待存储数据对应的目标存储介质；
所述属性信息满足预设条件包括以下至少一项：
所述时间信息属于目标时间段；
所述数据类型属于预设数据类型；
所述数据量大于或等于预设数据量。
进一步的，所述根据所述属性信息从存储介质集合中确定所述待存储数据对应的目标存储介质，包括：
获取所述待存储数据对应的随机函数；
根据所述随机函数计算所述待存储数据对应的随机数；
根据所述随机数从存储介质集合中确定所述待存储数据对应的目标存储介质。
进一步的，所述根据所述随机数从存储介质集合中确定所述待存储数据对应的目标存储介质，包括：
确定所述目标时间段内第一候选存储介质单位时间的存储量上限；
根据所述随机数确定所述目标时间段内所述第一候选存储介质在所述单位时间的已存储数据量；
当所述已存储数据量小于所述存储量上限时，确定所述第一候选存储介质为所述目标存储介质；
当所述已存储数据量大于或等于所述存储量上限时，从所述存储介质集合中选择与所述第一候选存储介质对应的第二候选存储介质作为所述目标存储介质，所述第二候选存储介质与所述第一候选存储介质的类型不同。
进一步的，所述确定所述目标时间段内第一候选存储介质单位时间的存储量上限，包括：
获取所述随机数的数量以及存储比例；
根据所述随机数的数量以及所述存储比例计算所述目标时间段内第一候选存储介质单位时间的存储量上限。
进一步的，在确定所述目标时间段内第一候选存储介质单位时间的存储量上限，之前所述方法还包括：
获取历史数据存储记录，所述历史数据存储记录包括多个时间段的历史数据存储量；
将所述历史数据存储量大于或等于预设阈值的时间段作为目标时间段。
进一步的，所述确定所述目标时间段内第一候选存储介质单位时间的存储量上限，包括：
基于所述历史数据存储记录获取所述目标时间段内所述单位时间的目标历史数据存储量；
获取所述第一候选存储介质的存储性能信息；
根据所述目标历史数据存储量以及存储性能信息计算内所述单位时间所述第一候选存储介质对应的存储量上限。
根据本申请实施例的另一方面，还提供了一种数据动态存储装置，包括：
获取模块，用于获取数据存储请求，所述数据存储请求中携带待存储数据；
确定模块，用于确定所述待存储数据对应的属性信息；
处理模块，用于根据所述属性信息从存储介质集合中确定所述待存储数据对应的目标存储介质，所述存储介质集合包括至少两个不同类型的候选存储介质；
存储模块，用于将所述待存储数据存储至所述目标存储介质。
根据本申请实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的步骤。
根据本申请实施例的另一方面，还提供了一种电子装置，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：存储器，用于存放计算机程序；处理器，用于通过运行存储器上所存放的程序来执行上述方法中的步骤。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法中的步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：本申请实施例提供的技术方案，通过在数据存储请求满足预设条件时，确定用于存储待存储数据的目标存储介质，以此提高了各个存储介质的服务效率及命中率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种数据动态存储方法的流程图；
图2为本申请另一实施例提供的一种数据动态存储方法的流程图；
图3为本申请另一实施例提供的一种数据动态存储方法的流程图；
图4为本申请实施例提供的一种数据的动态存储装置的框图；
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个类似的实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
相关技术中，通常由缓冲器管理多种存储介质，如内存、固态硬盘及机械硬盘等。
通常缓冲器用于管理多个第一候选存储介质，以及多个第二候选存储介质，其中第一候选存储介质为机械硬盘，第二候选存储介质为固态硬盘或者内存，本申请实施例以固态硬盘为例进行主要说明。
缓冲器其原始意义是指存取速度比一般随机存取存储器(Random AccessMemory，RAM)更快的一种RAM，一般而言它不像***主记忆体那样使用动态随机存取存储器(Dynamic Random Access Memory，DRAM)，而是使用昂贵但较快速的静态存储器(SRAM)。缓冲器是存在于主存与CPU之间的一级存储器，由静态存储芯片(SRAM)组成，容量比较小但速度比主存高得多，接近于CPU的速度。缓冲器在计算机存储***的层次结构中，是介于中央处理器和主存储器之间的高速小容量存储器，它和主存储器一起构成一级的存储器。缓冲器和主存储器之间信息的调度和传送是由硬件自动进行的。
本申请实施例中可以应用于缓冲器，根据数据存储请求中待存储数据的属性为该待存储数据分配存储介质，以提高各存储介质的服务效率及命中率。
本申请实施例提供了一种数据动态存储方法、装置、电子设备及存储介质。本发明实施例所提供的方法可以应用于任意需要的电子设备，例如，可以为服务器、终端等电子设备，在此不做具体限定，为描述方便，后续简称为电子设备。
根据本申请实施例的一方面，提供了一种数据动态存储方法的方法实施例，图1为本申请实施例提供的一种数据动态存储方法的流程图，如图1所示，该方法包括以下步骤S11至S14：
步骤S11，获取数据存储请求，数据存储请求中携带待存储数据；
本申请实施例中的数据存储请求可以是由客户端生成，当客户端中存在待存储数据时，会生成数据存储请求，并将数据存储请求发送至高速缓冲器(Cache)。
步骤S12，确定数据存储请求对应的属性信息；
在本申请实施例中，在收到数据存储请求后，对数据存储请求携带的待存储数据进行解析确定待存储数据的属性信息。本申请实施例所指的属性信息可以是待存储数据的时间信息，待存储数据的数据类型，待存储数据的数据量等等。
步骤S13，根据属性信息从存储介质集合中确定待存储数据对应的目标存储介质，存储介质集合包括至少两个不同类型的候选存储介质；
在本申请实施例中，当属性信息满足预设条件时，从存储介质集合中确定待存储数据对应的目标存储介质。属性信息满足预设条件包括以下至少一项：时间信息属于目标时间段；数据类型属于预设数据类型；数据量大于或等于预设数据量。可以理解的，目标时间段可以为流量高峰时间段。
步骤S14，将待存储数据存储至目标存储介质。
在本申请实施例中，存储介质集合中包括至少两个相同类型的候选存储介质，当确定待存储数据对应至少两个相同类型的目标存储介质时，将待存储数据存储至目标存储介质，包括以下步骤A1-A5：
步骤A1，获取待存储数据的数据标识；
步骤A2，根据数据标识进行哈希计算得到目标哈希值；
步骤A3，获取与目标哈希值对应的目标存储地址；
步骤A4，确定目标存储介质对应的存储地址；
步骤A5，将待存储数据存储至存储地址与目标存储地址匹配的目标存储介质。
可以理解的，数据标识可以是数据的数据名称等等，或者是数据的代码。哈希算法可以是MD5、SHA-1、SHA256等算法中的一种或组合。采用哈希算法对数据名称进行计算得到目标哈希值，将目标哈希值作为键名，从预设哈希值与存储介质地址的对应关系表中确定目标哈希值对应的目标存储地址。
本申请实施例提供的技术方案，通过在数据存储请求满足预设条件时，确定用于存储待存储数据的目标存储介质，以此了各个存储介质的服务能力，以及提高了各个存储介质的命中率。
在本申请实施例中，从存储介质集合中确定待存储数据对应的目标存储介质，包括以下步骤B1至B3：
步骤B1，获取待存储数据对应的随机函数；
步骤B2，根据随机函数计算待存储数据对应的随机数；
步骤B3，根据随机数从存储介质集合中确定待存储数据对应的目标存储介质。
其中，获取待存储数据对应的随机函数，包括：确定待存储数据对应的存储参数，根据函数生成策略确定存储参数对应的随机函数。
需要说明的是，产生随机数有多种不同的方法。这些方法被称为随机数生成器。随机数的特性是它在产生时后面的那个数与前面的那个数毫无关系。
随机数生成的主要原理是，将提供的存储参数输入至随机函数，通过随机函数输出单个随机数或者多个随机数(即随机数序列)。本申请实施例中，首先获取配置信息，配置信息包括：存储参数以及随机函数，存储参数可以是一个固定的值，也可以是工作人员根据当前存储数据量设置的值。随机函数至少包括以下一项：混合同余函数、迭代取中函数、乘同余函数或者其他线性或非线性函数。
配置信息可以预先存储在服务器中，当需要获取配置信息时，直接从服务器中读取即可，此外，配置信息也可以是由工作人员提供。除此之外，上述配置信息还可以包括随机数个数以及备注信息等其他配置数据，且本示例性实施例中并不以此为限。
在本申请实施例中，上述步骤A3根据随机数从存储介质集合中确定待存储数据对应的目标存储介质，包括以下步骤C1-C4：
步骤C1，确定目标时间段第一候选存储介质单位时间的存储量上限；
在本申请实施例中，单位时间的存储量上限可以由工作人员预先设置随机数的数量以及存储比例确定，例如：随机数的数量为100时，此时可以选择随机数的范围时0-99，可知单位时间的存储量总量为100，然后根据存储量总量以及存储比例为20％，确定第一候选存储介质的存储量上限为20，第二候选存储介质的存储量上限为80。
步骤C2，根据随机数确定目标时间段内第一候选存储介质单位时间的已存储数据量。
在本申请实施例中，根据单位时间内已生成随机数的数量，来确定目标时间段内第一候选存储介质单位时间的已存储数据量，例如，单位时间内已生成随机数的数量为17，此时目标时间段内第一候选存储介质单位时间的已存储数据量为17。
步骤C3，当已存储数据量小于存储量上限时，确定第一候选存储介质作为目标存储介质。
作为一个示例，目标时间段为19:00-20:00，该时间段的单位时间为分钟，确定待存储数据对应的时间信息，以及该单位时间内的已生成随机数的数量，根据已生成随机数的数量确定已存储数据量，例如在时间段19:10-19:11中，已生成随机数的数量为19，即能够得到已存储数据量为19，此时已存储数据量小于存储量上限，所以将第一候选存储介质作为目标存储介质。
步骤C4，当已存储数据量大于或等于存储量上限时，从存储介质集合中选择与第一候选存储介质对应的第二候选存储介质作为目标存储介质，第二候选存储介质与第一候选存储介质的类型不同。
在本申请实施例中，当已存储数据量大于或等于存储量上限时，获取预先存储的第一候选存储介质与第二候选存储介质的对应关系，根据对应关系确定第一候选存储介质对应的第二候选存储介质。
作为一个示例，目标时间段为19:00-20:00，该时间段的单位时间为分钟，确定待存储数据对应的时间信息，以及该单位时间内的已生成随机数的数量，根据已生成随机数的数量确定已存储数据量，例如在时间段19:10-19:11中，已生成随机数的数量为59，即能够得到已存储数据量为59，此时已存储数据量大于存储量上限，所以将第一候选存储介质对应的第二候选存储介质作为目标存储介质。
本申请实施例通过设置存储量上限降低了机械硬盘的存储压力，避免了机械硬盘过载，同时将超过存储量上限的数据存储至内存或者固态硬盘中，保证了单设备的服务质量。
图2为本申请另一实施例提供的一种数据动态存储方法的流程图，如图2所示，本申请实施例还提供了实现步骤S13的过程中：确定目标时间段的方法实施例，该方法可以包括以下步骤：
步骤S21，获取历史数据存储记录，历史数据存储记录包括多个时间段的历史数据存储量；
在本申请实施例中，历史数据存储记录可以按照周期进行记录，历史记录中包括一周内每天的历史数据存储量，其中每天的历史数据存储量又包括当天内各个时间段的数据存储量。
步骤S22，将历史数据存储量大于或等于预设阈值的时间段作为目标时间段。
在本申请实施例中，通过对每天的数据存储量进行分析，确定数据存储量大于或等于预设阈值的时间段，然后统计一周内历史数据存储量大于或等于预设阈值的时间段出现的次数，将大于预设次数的时间段作为目标时间段。例如：一周内19:00-22:00的出现次数为6次，12:00-13:00的出现次数为5次，均大于预设次数4次，则将时间段19:00-22:00以及12:00-13:00作为目标时间段。
图3为本申请另一实施例提供的一种数据动态存储方法的流程图，如图3所示，本申请实施例还提供了实现步骤S13的过程中：确定目标时间段第一候选存储介质单位时间的存储量上限的方法实施例，该方法可以包括以下步骤：
步骤S31，基于历史数据存储记录获取目标时间段的目标历史数据存储量；
步骤S32，获取第一候选存储介质的存储性能信息；
步骤S33，根据目标历史数据存储量以及存储性能信息计算第一候选存储介质对应的存储量上限。
在本申请实施例中，第一候选存储介质是机械硬盘，机械硬盘的存储性能信息可以是机械硬盘的数据吞吐量。根据历史数据存储量以及数据吞吐量确定存储量上限。
作为一个实例，目标时间段19:00-22:00中，第一时间段19:00-20:00的目标历史数据存储量为A，第二时间段20:00-21:00的目标历史数据存储量为B，第三时间段20:00-21:00的目标历史数据存储量为C，然后根据各个时间段的数据存储量以及数据吞吐量计算得到目标存储指标确定存储比例，例如：第一时间段的存储比例为20％，第二时间段的存储比例为25％，第三时间段的存储比例为15％。由于预先设置的存储总量为100，然后根据存储比例确定各个时间段的存储上限，其中第一候选存储介质在第一时间段的存储量上限为20，第二时间段的存储量上限为25，第三时间段的存储量上限为15。
本申请实施例通过设置目标存储指标，当处于流量高峰时间段时，将根据目标存储指标以及当前数据量计算出存储至第二候选存储介质(固态硬盘或内存)的数据量，以此保证了第一候选存储介质(机械硬盘)的服务质量。
图4为本申请实施例提供的一种数据动态存储装置的框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图4所示，数据动态存储装置包括：
获取模块41，用于获取数据存储请求，数据存储请求中携带待存储数据；
确定模块42，用于确定待存储数据对应的属性信息；
处理模块43，用于根据属性信息从存储介质集合中确定待存储数据对应的目标存储介质，存储介质集合包括至少两个不同类型的候选存储介质；
存储模块44，用于将待存储数据存储至目标存储介质。
进一步的，存储介质集合中包括至少两个相同类型的候选存储介质，当确定待存储数据对应至少两个相同类型的目标存储介质时，存储模块44，用于获取待存储数据的数据标识，根据数据标识进行哈希计算得到目标哈希值，获取与目标哈希值对应的目标存储地址，确定目标存储介质对应的存储地址，将待存储数据存储至存储地址与目标存储地址匹配的目标存储介质。
进一步的，属性信息包括以下至少一项：待存储数据的时间信息，待存储数据的数据类型，待存储数据的数据量；
处理模块43，用于当属性信息满足预设条件时，从存储介质集合中确定待存储数据对应的目标存储介质；
属性信息满足预设条件包括以下至少一项：时间信息属于目标时间段；数据类型属于预设数据类型；数据量大于或等于预设数据量。
进一步的，处理模块43，包括：
获取子模块，用于获取待存储数据对应的随机函数；
计算子模块，用于根据随机函数计算待存储数据对应的随机数；
查询子模块，用于根据随机数从存储介质集合中确定待存储数据对应的目标存储介质。
进一步的，查询子模块，包括：
获取单元，用于确定目标时间段内第一候选存储介质单位时间的存储量上限；
分析单元，用于根据随机数确定目标时间段内第一候选存储介质在单位时间的已存储数据量；
处理单元，用于当已存储数据量小于存储量上限时，确定第一候选存储介质为目标存储介质；
处理单元，还用于当已存储数据量大于或等于存储量上限时，从存储介质集合中选择与第一候选存储介质对应的第二候选存储介质作为目标存储介质，第二候选存储介质与第一候选存储介质的类型不同。
进一步的，获取单元，用于获取随机数的范围以及存储比例；根据随机数的范围以及存储比例计算目标时间段内第一候选存储介质单位时间的存储量上限。
进一步的，本申请实施例中的查询子模块中的获取单元，还用于获取历史数据存储记录，历史数据存储记录包括多个时间段的历史数据存储量；将历史数据存储量大于或等于预设阈值的时间段作为目标时间段。
进一步的，获取单元，用于基于历史数据存储记录获取目标时间段内单位时间的目标历史数据存储量；获取第一候选存储介质的存储性能信息；根据目标历史数据存储量以及存储性能信息计算内单位时间第一候选存储介质对应的存储量上限。
本申请实施例还提供一种电子设备，如图5所示，电子设备可以包括：处理器1501、通信接口1502、存储器1503和通信总线1504，其中，处理器1501，通信接口1502，存储器1503通过通信总线1504完成相互间的通信。
存储器1503，用于存放计算机程序；
处理器1501，用于执行存储器1503上所存放的计算机程序时，实现上述实施例的步骤。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的数据动态存储方法。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的数据动态存储方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk)等。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种数据动态存储方法，其特征在于，包括：
获取数据存储请求，所述数据存储请求中携带待存储数据；
确定所述待存储数据对应的属性信息；
根据所述属性信息从存储介质集合中确定所述待存储数据对应的目标存储介质，所述存储介质集合包括至少两个不同类型的候选存储介质；
将所述待存储数据存储至所述目标存储介质。
2.根据权利要求1所述的方法，其特征在于，所述存储介质集合中包括至少两个相同类型的候选存储介质，当确定所述待存储数据对应至少两个相同类型的目标存储介质时，所述将所述待存储数据存储至所述目标存储介质，包括：
获取所述待存储数据的数据标识；
根据所述数据标识进行哈希计算得到目标哈希值；
获取与所述目标哈希值对应的目标存储地址；
确定所述目标存储介质对应的存储地址；
将所述待存储数据存储至所述存储地址与所述目标存储地址匹配的目标存储介质。
3.根据权利要求1所述的方法，其特征在于，所述属性信息包括以下至少一项：所述待存储数据的时间信息，所述待存储数据的数据类型，所述待存储数据的数据量；
所述根据所述属性信息从存储介质集合中确定所述待存储数据对应的目标存储介质，包括：
当所述属性信息满足预设条件时，从存储介质集合中确定所述待存储数据对应的目标存储介质；
所述属性信息满足预设条件包括以下至少一项：
所述时间信息属于目标时间段；
所述数据类型属于预设数据类型；
所述数据量大于或等于预设数据量。
4.根据权利要求3所述的方法，其特征在于，所述根据所述属性信息从存储介质集合中确定所述待存储数据对应的目标存储介质，包括：
获取所述待存储数据对应的随机函数；
根据所述随机函数计算所述待存储数据对应的随机数；
根据所述随机数从存储介质集合中确定所述待存储数据对应的目标存储介质。
5.根据权利要求4所述的方法，其特征在于，所述根据所述随机数从存储介质集合中确定所述待存储数据对应的目标存储介质，包括：
确定所述目标时间段内第一候选存储介质单位时间的存储量上限；
根据所述随机数确定所述目标时间段内所述第一候选存储介质在所述单位时间的已存储数据量；
当所述已存储数据量小于所述存储量上限时，确定所述第一候选存储介质为所述目标存储介质；
当所述已存储数据量大于或等于所述存储量上限时，从所述存储介质集合中选择与所述第一候选存储介质对应的第二候选存储介质作为所述目标存储介质，所述第二候选存储介质与所述第一候选存储介质的类型不同。
6.根据权利要求5所述的方法，其特征在于，所述确定所述目标时间段内第一候选存储介质单位时间的存储量上限，包括：
获取所述随机数的数量以及存储比例；
根据所述随机数的数量以及所述存储比例计算所述目标时间段内第一候选存储介质单位时间的存储量上限。
7.根据权利要求5所述的方法，其特征在于，在确定所述目标时间段内第一候选存储介质单位时间的存储量上限之前，所述方法还包括：
获取历史数据存储记录，所述历史数据存储记录包括多个时间段的历史数据存储量；
将所述历史数据存储量大于或等于预设阈值的时间段作为目标时间段。
8.根据权利要求7所述的方法，其特征在于，所述确定所述目标时间段内第一候选存储介质单位时间的存储量上限，包括：
基于所述历史数据存储记录获取所述目标时间段内所述单位时间的目标历史数据存储量；
获取所述第一候选存储介质的存储性能信息；
根据所述目标历史数据存储量以及存储性能信息计算内所述单位时间所述第一候选存储介质对应的存储量上限。
9.一种数据动态存储装置，其特征在于，包括：
获取模块，用于获取数据存储请求，所述数据存储请求中携带待存储数据；
确定模块，用于确定所述待存储数据对应的属性信息；
处理模块，用于根据所述属性信息从存储介质集合中确定所述待存储数据对应的目标存储介质，所述存储介质集合包括至少两个不同类型的候选存储介质；
存储模块，用于将所述待存储数据存储至所述目标存储介质。
10.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至8中任一项所述的方法步骤。
11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于通过运行存储器上所存放的程序来执行权利要求1-8中任一项所述的方法步骤。
CN202011197039.9A 2020-10-30 2020-10-30 一种数据动态存储方法、装置、电子设备及存储介质 Pending CN114528231A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011197039.9A CN114528231A (zh) 2020-10-30 2020-10-30 一种数据动态存储方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011197039.9A CN114528231A (zh) 2020-10-30 2020-10-30 一种数据动态存储方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114528231A true CN114528231A (zh) 2022-05-24

Family

ID=81618702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011197039.9A Pending CN114528231A (zh) 2020-10-30 2020-10-30 一种数据动态存储方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114528231A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114661249A (zh) * 2022-05-26 2022-06-24 深圳高灯计算机科技有限公司 数据存储方法、装置、计算机设备和存储介质
CN115426322A (zh) * 2022-08-23 2022-12-02 绿盟科技集团股份有限公司 一种虚拟存储的方法及装置
CN117555865A (zh) * 2023-09-20 2024-02-13 中移互联网有限公司 文件存储方法、装置、电子设备及存储介质
CN117762327A (zh) * 2023-11-15 2024-03-26 成都睿众博芯微电子技术有限公司 数据存储方法、装置、设备以及存储介质
CN117555865B (zh) * 2023-09-20 2024-07-26 中移互联网有限公司 文件存储方法、装置、电子设备及存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114661249A (zh) * 2022-05-26 2022-06-24 深圳高灯计算机科技有限公司 数据存储方法、装置、计算机设备和存储介质
CN114661249B (zh) * 2022-05-26 2022-09-27 深圳高灯计算机科技有限公司 数据存储方法、装置、计算机设备和存储介质
CN115426322A (zh) * 2022-08-23 2022-12-02 绿盟科技集团股份有限公司 一种虚拟存储的方法及装置
CN115426322B (zh) * 2022-08-23 2023-09-19 绿盟科技集团股份有限公司 一种虚拟存储的方法及装置
CN117555865A (zh) * 2023-09-20 2024-02-13 中移互联网有限公司 文件存储方法、装置、电子设备及存储介质
CN117555865B (zh) * 2023-09-20 2024-07-26 中移互联网有限公司 文件存储方法、装置、电子设备及存储介质
CN117762327A (zh) * 2023-11-15 2024-03-26 成都睿众博芯微电子技术有限公司 数据存储方法、装置、设备以及存储介质

Similar Documents

Publication Publication Date Title
CN114528231A (zh) 一种数据动态存储方法、装置、电子设备及存储介质
CN107798038B (zh) 数据响应方法及数据响应设备
WO2017016423A1 (zh) 一种实时新增数据更新方法和装置
US20150256479A1 (en) Weighted request rate limiting for resources
US20240126817A1 (en) Graph data query
CN111782692B (zh) 一种频率控制方法及装置
CN106027595A (zh) 用于cdn节点的访问日志处理方法及***
CN111563109B (zh) 基数统计方法、装置、***、设备和计算机可读存储介质
CN108932257A (zh) 多维度数据的查询方法及装置
US20200301944A1 (en) Method and apparatus for storing off-chain data
JP2015530666A (ja) データインデックス化方法及び装置
CN111443899B (zh) 一种元素处理方法、装置、电子设备及存储介质
CN111563199B (zh) 一种数据处理方法及装置
CN109213774B (zh) 数据的存储方法及装置、存储介质、终端
CN111782707A (zh) 一种数据查询方法及***
CN109165096B (zh) web集群的缓存利用***及方法
CN111488377A (zh) 数据查询方法、装置、电子设备及存储介质
US9760836B2 (en) Data typing with probabilistic maps having imbalanced error costs
CN111562884B (zh) 一种数据存储方法、装置及电子设备
CN111382206A (zh) 一种数据存储方法及装置
CN107239542A (zh) 一种数据统计方法、装置、服务器及存储介质
CN114519013A (zh) 一种数据处理方法、装置、电子设备及存储介质
CN111190861B (zh) 热点文件管理方法、服务器及计算机可读存储介质
CN109245943B (zh) 一种故障定位方法及装置
CN110708361A (zh) 数字内容发布用户的等级确定***、方法、装置及服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination