CN106569893A - 流量控制方法及设备 - Google Patents

流量控制方法及设备 Download PDF

Info

Publication number
CN106569893A
CN106569893A CN201510649336.5A CN201510649336A CN106569893A CN 106569893 A CN106569893 A CN 106569893A CN 201510649336 A CN201510649336 A CN 201510649336A CN 106569893 A CN106569893 A CN 106569893A
Authority
CN
China
Prior art keywords
data
write
merges
internal memory
upper limit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510649336.5A
Other languages
English (en)
Other versions
CN106569893B (zh
Inventor
韩坤鹏
杨世泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201510649336.5A priority Critical patent/CN106569893B/zh
Publication of CN106569893A publication Critical patent/CN106569893A/zh
Application granted granted Critical
Publication of CN106569893B publication Critical patent/CN106569893B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/504—Resource capping

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请的目的是提供一种流量控制方法及设备。具体地，获取内存写入数据或者部分合并写入数据的吞吐量，根据所述内存写入数据或者部分合并写入数据的吞吐量确定部分合并或者全量合并的流量上限；根据所述部分合并或全量合并的流量上限对数据的部分合并或全量合并进行流量限制。与现有技术相比，本申请的技术方案通过获取内存写入数据和部分合并写入数据的吞吐量，基于所述吞吐量来估算当前时刻数据文件合并的处理需求，从而实现对数据文件合并处理的流量控制，减少对用户的在线读写请求的影响，避免请求延时变长或出现超时错误。

Description

流量控制方法及设备
技术领域
本申请涉及计算机领域，尤其涉及一种流量控制方法及设备。
背景技术
LSM-Tree(Log Structured Merge Tree，日志结构的合并树)是一种实现高效***数据并提供索引查询的数据结构，适用于写多读少的业务场景。LSM-Tree针对不同的存储设备维护多个数据结构，并通过批量合并的方式进行数据整理。如图6所示，针对内存Memory和磁盘Disk，创建两颗LSM树C0tree和C1tree，树的每个节点是数据块，数据块是有序键值对的集合，并且内部包含索引，针对LSM树的读写都是以数据块为单位进行的。
在基于LSM-Tree架构的分布式数据库***中，用户数据都是首先写入内存LSM树C0中，这样可以极大地提高数据写入速度。当内存的数据量达到阈值时，***需要将多个数据块写入一个新的磁盘文件，并合并到磁盘LSM树C1中，该过程称为部分合并(minor compaction)。如果磁盘文件太多，会严重影响查询速度，***需要将多个磁盘文件合并为一个较大的文件，该过程称为全量合并(major compaction)。
由于用户数据都是直接写入内存，***后台不定期地执行部分合并和全量合并。这两类数据文件合并(minor compaction和major compaction)的处理都是脉冲式地执行，会突然消耗大量的磁盘I/O(Input/Output，输入输出)和网络带宽资源，从而会影响用户的在线读写请求，导致请求延时变长或出现超时错误。
发明内容
本申请的目的是提供一种流量控制方法及设备，以解决现有技术中进行数据文件合并时会影响用户的在线读写请求，导致请求延时变长或出现超时错误的问题。
为实现上述目的，本申请提供了一种流量控制方法，该方法包括：
获取内存写入数据的吞吐量，其中所述内存写入数据为用户请求写入的数据；
根据所述内存写入数据的吞吐量确定部分合并的流量上限；
根据所述部分合并的流量上限对数据的部分合并进行流量限制。
进一步地，获取内存写入数据的吞吐量，包括：
获取最近N个采集周期的内存写入数据的数据量，其中N为正整数；
将所述N个采集周期的内存写入数据的数据量的平均值作为所述内存写入数据的吞吐量。
进一步地，根据所述内存写入数据的吞吐量确定部分合并的流量上限，包括：
获取数据压缩比，其中所述数据压缩比为所述内存写入数据的数据量与所述内存写入数据进行部分合并写入磁盘后的数据量之比；
根据所述内存写入数据的吞吐量、数据压缩比以及预设的第一缩放系数确定部分合并的流量上限。
进一步地，根据所述部分合并的流量上限对数据的部分合并进行流量限制之前，还包括：
获取内存的当前数据量；
若所述内存的当前数据量超过设定阈值，则将预设的加速流量值确定为部分合并的流量上限。
进一步地，该方法还包括：
获取部分合并写入数据的吞吐量，其中所述部分合并写入数据为对内存中的数据进行部分合并后写入磁盘的数据；
根据所述部分合并写入数据的吞吐量确定全量合并的流量上限；
根据所述全量合并的流量上限对数据的全量合并进行流量限制。
此外，本申请还提供了另一种流量控制方法，该方法包括：
获取部分合并写入数据的吞吐量，其中所述部分合并写入数据为内存中的数据进行部分合并时写入磁盘的数据；
根据所述部分合并写入数据的吞吐量确定全量合并的流量上限；
根据所述全量合并的流量上限对数据的全量合并进行流量限制。
进一步地，获取部分合并写入数据的吞吐量，包括：
获取最近N个采集周期的部分合并写入数据的数据量，其中N为正整数；
将所述N个采集周期的部分合并写入数据的数据量的平均值作为部分合并写入数据的吞吐量。
进一步地，根据所述部分合并写入数据的吞吐量确定全量合并的流量上限，包括：
根据所有分区的平均文件数量获取补偿流量；
根据所述部分合并写入数据的吞吐量和补偿流量确定全量合并的流量上限。
进一步地，根据所有分区的平均文件数量获取补偿流量，包括：
根据所述平均文件数量以及预设的基准文件数量、第二缩放系数和上升指数获取补偿流量。
进一步地，根据所述部分合并写入数据的吞吐量和补偿流量确定全量合并的流量上限，包括：
根据所述部分合并写入数据的吞吐量、补偿流量以及预设的第三缩放系数确定全量合并的流量上限。
基于本申请的另一方面，还提供了一种流量控制设备，该设备包括：
采集装置，用于获取内存写入数据的吞吐量，其中所述内存写入数据为用户请求写入的数据；
流量计算装置，用于根据所述内存写入数据的吞吐量确定部分合并的流量上限；
流量控制装置，用于根据所述部分合并的流量上限对数据的部分合并进行流量限制。
进一步地，用于获取最近N个采集周期的内存写入数据的数据量，其中N为正整数；以及将所述N个采集周期的内存写入数据的数据量的平均值作为所述内存写入数据的吞吐量。
进一步地，所述流量计算装置，用于获取数据压缩比，其中所述数据压缩比为所述内存写入数据的数据量与所述内存写入数据进行部分合并写入磁盘后的数据量之比；以及根据所述内存写入数据的吞吐量、数据压缩比以及预设的第一缩放系数确定部分合并的流量上限。
进一步地，所述流量计算装置，还用于在根据所述部分合并的流量上限对数据的部分合并进行流量限制之前，获取内存的当前数据量，若所述内存的当前数据量超过设定阈值，则将预设的加速流量值确定为部分合并的流量上限。
进一步地，所述采集装置，还用于获取部分合并写入数据的吞吐量，其中所述部分合并写入数据为对内存中的数据进行部分合并后写入磁盘的数据；
所述流量计算装置，还用于根据所述部分合并写入数据的吞吐量确定全量合并的流量上限；
所述流量控制装置，还用于根据所述全量合并的流量上限对数据的全量合并进行流量限制。
此外，本申请还提供了另一种流量控制设备，该设备包括：
采集装置，用于获取部分合并写入数据的吞吐量，其中所述部分合并写入数据为内存中的数据进行部分合并时写入磁盘的数据；
流量计算装置，用于根据所述部分合并写入数据的吞吐量确定全量合并的流量上限；
流量控制装置，用于根据所述全量合并的流量上限对数据的全量合并进行流量限制。
进一步地，所述采集装置，用于获取最近N个采集周期的部分合并写入数据的数据量，其中N为正整数；以及将所述N个采集周期的部分合并写入数据的数据量的平均值作为部分合并写入数据的吞吐量。
进一步地，所述流量计算装置，用于根据所有分区的平均文件数量获取补偿流量；以及根据所述部分合并写入数据的吞吐量和补偿流量确定全量合并的流量上限。
进一步地，所述流量计算装置在根据所有分区的平均文件数量获取补偿流量时，用于根据所述平均文件数量以及预设的基准文件数量、第二缩放系数和上升指数获取补偿流量。
进一步地，所述流量计算装置在根据所述部分合并写入数据的吞吐量和补偿流量确定全量合并的流量上限时，用于根据所述部分合并写入数据的吞吐量、补偿流量以及预设的第三缩放系数确定全量合并的流量上限。
与现有技术相比，本申请的技术方案通过获取内存写入数据和部分合并写入数据的吞吐量，基于所述吞吐量来估算当前时刻数据文件合并的处理需求，从而实现对数据文件合并处理的流量控制，减少对用户的在线读写请求的影响，避免请求延时变长或出现超时错误。
此外，在对部分合并的流量进行控制时，考虑了数据压缩和合并的情况，并根据缩放系数留出了微调的空间，同时对于写入量很大的场景，提供了加速模式。在对全量合并的流量进行控制时，考虑了基于平均文件数量的补偿流量，以适用于无写请求但是文件数量较多的场景。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1为本申请实施例提供的一种流量控制方法的流程图；
图2为本申请实施例提供的另一种流量控制方法的流程图；
图3为本申请实施例提供的一种流量控制设备的结构示意图；
图4为本申请实施例提供的另一种流量控制设备的结构示意图；
图5为实际应用中进行流量控制处理流程图；
图6为LSM-Tree的存储结构示意图；
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
图1示出了本申请实施例提供的一种流量控制方法，该方法包括以下步骤：
步骤S101，获取内存写入数据的吞吐量。
步骤S102，根据所述内存写入数据的吞吐量确定部分合并的流量上限。
步骤S103，根据所述部分合并的流量上限对数据的部分合并进行流量限制。
在此，所述内存写入数据为用户请求写入的数据，在基于LSM-Tree构架的分布式数据库***中，用户请求写入的数据都是直接写入到内存中，每台服务器在单独统计内存写入数据时，可以设置一个采集周期，在每个采集点对该采集周期内用户写入到内存中的数据进行统计，计算该采集周期的内存写入数据的数据量。
本领域技术人员应当理解，上述方法的执行主体可以包括但不限于用户设备、网络设备或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于个人计算机、触控终端等实现；所述网络设备包括但不限于如网络主机、单个网络服务器、多个网络服务器集或基于云计算的计算机集合等实现。在此，云由基于云计算(Cloud Computing)的大量主机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟计算机。上述方法通过获取内存写入数据的吞吐量，基于所述吞吐量来估算当前时刻部分合并的处理需求，从而实现对部分合并处理的流量控制，减少对用户的在线读写请求的影响，避免请求延时变长或出现超时错误。
具体地，步骤S101中获取内存写入数据的吞吐量可以采用平均移动算法，定时计算最近有效时间段内(包含多个采集点)内存写入数据的吞吐量，具体包括：首先获取最近N个采集周期的内存写入数据的数据量，其中N为正整数，然后将所述N个采集周期的内存写入数据的数据量的平均值作为所述内存写入数据的吞吐量。具体计算公式如下：
Tuser＝(A(0)+A(1)+...+A(N-1))/N
其中，Tuser为内存写入数据的吞吐量，A(0)、A(1)、...、A(N-1)为最近N个采集周期中每个采集点的统计数值。在实际应用中，N的实际取值与有效时间段的设置有关。一般情况下，所述有效时间段的设置可以根据实际统计需求进行设置。所述有效时间段设置越长，其包含的采集点(采集周期)越多，计算结果越能反映较长一段时间内的内存写入数据的平均水平，不易受到短时间内的大量数据写入或者无数据写入的影响；反之，其包含的采集点越少，计算结果越能反映短时间内的内存写入数据的变化趋势。
考虑到数据压缩和合并的情况，为了避免流量限制影响正常的部分合并处理，步骤S102中根据所述内存写入数据的吞吐量确定部分合并的流量上限，具体包括：获取数据压缩比，然后根据所述内存写入数据的吞吐量、数据压缩比以及预设的第一缩放系数确定部分合并的流量上限。
所述数据压缩比为所述内存写入数据的数据量与所述内存写入数据进行部分合并写入磁盘后的数据量之比，由于写入内存中的数据在被合并为文件写入磁盘时，会删除部分数据，因此得到的文件的数据量会小于最初写入到内存的数据，通过引入数据压缩比，可以得到更加精确的流量上限。类似地，所述数据压缩比也可以采用平均移动算法进行实时统计获取，具体算法可参考步骤S101中获取内存写入数据的吞吐量的算法，此处不再赘述。
此外，通过引入第一缩放系数，进一步为实际场景下部分合并的处理留出了微调的空间，避免因某时间段的数据样本的问题导致平均移动算法统计获取的数据压缩比或内存写入数据的吞吐量过小，而导致动态调整的流量上限过小。具体地，部分合并的流量上限可以根据如下公式确定：
Tminor＝Tuser×m×c
其中，Tminor为部分合并的流量上限，Tuser为内存写入数据的吞吐量，m为数据压缩比，c为第一缩放系数。在实际应用中，所述第一缩放系数的典型取值为：c＝1.4。
在实际应用中，在某一时间段内可能会出现写入数据的用户较少但写入量很大的场景，此时某些服务器的内存中可能会累积较大的数据量。若此时仍然按照前述方法进行流量控制，可能会导致来不及对内存中的数据进行部分合并，造成服务器的内存中的数据溢出。因此，在根据所述部分合并的流量上限对数据的部分合并进行流量限制之前，还包括：获取内存的当前数据量，若所述内存的当前数据量超过设定阈值，则将预设的加速流量值确定为部分合并的流量上限。
其中，所述加速流量值可以通过预设的方式设置为一个较大的固定值，例如一般情况下根据前述方式动态确定的部分合并的流量上限可能在20M左右，而加速流量值可以直接设置为40M左右，或者也可以根据当前的动态确定的部分合并的流量上限来确定，如直接提高至当前流量上限的两倍或者三倍。由此，针对上述用户较少但写入量很大的特殊场景，提供了加速模式，使得流量控制更加灵活。
此外，本申请实施例还提供了另一种流量控制方法，该方法的处理流程如图2所示，包括以下步骤：
步骤S201，获取部分合并写入数据的吞吐量。
步骤S202，根据所述部分合并写入数据的吞吐量确定全量合并的流量上限。
步骤S203，根据所述全量合并的流量上限对数据的全量合并进行流量限制。
在此，所述部分合并写入数据为每个服务器内存中的数据进行部分合并时写入磁盘的文件数据。上述方法通过获取部分合并写入数据的吞吐量，基于所述吞吐量来估算当前时刻全量合并的处理需求，从而实现对全量合并处理的流量控制，减少对用户的在线读写请求的影响，避免请求延时变长或出现超时错误。
类似的，步骤S201中获取部分合并写入数据的吞吐量同样可以采用平均移动算法，定时计算最近有效时间段内(包含多个采集点)部分合并写入数据的吞吐量，具体包括：首先获取最近N个采集周期的部分合并写入数据的数据量，其中N为正整数；然后将所述N个采集周期的部分合并写入数据的数据量的平均值作为部分合并写入数据的吞吐量。具体计算公式如下：
Tbase＝(B(0)+B(1)+...+B(N-1))/N
其中，Tbase为部分合并写入数据的吞吐量，B(0)、B(1)、...、B(N-1)为最近N个采集周期中每个采集点的统计数值。在实际应用中，N的实际取值与有效时间段的设置有关。一般情况下，所述有效时间段的设置可以根据实际统计需求进行设置。所述有效时间段设置越长，其包含的采集点(采集周期)越多，计算结果越能反映较长一段时间内的部分合并写入数据的平均水平，不易受到短时间内的大量数据写入或者无数据写入的影响；反之，其包含的采集点越少，计算结果越能反映短时间内的部分合并写入数据的变化趋势。
在实际应用中，除了部分合并所写入磁盘的文件的数据量之外，服务器中的所有分区的平均文件数量也是影响全量合并的重要因素。当服务器的分区中包含较多的文件时，会影响到读请求的处理速度，增加读请求的延时。此时，就需要加快全量合并的速度(即提高全量合并的流量上限)，减少服务器中的文件数量。特别对于某些特殊情况下的场景，例如一段时间内没有部分合并的文件写入请求，但是服务器中已经存在较多的文件，若仅考虑部分合并所产生的部分合并写入数据的吞吐量，会使得全量合并的流量上限太小，使得服务器的分区的文件数量维持在较多的状态，影响读请求的处理。因此，为了进一步优化控制的流量控制，除了前述提及的部分合并写入数据的吞吐量之外，还需要考虑服务器中所有分区的平均文件数量。具体地，所述步骤S202中根据所述部分合并写入数据的吞吐量确定全量合并的流量上限，包括：根据所有分区的平均文件数量获取补偿流量，并根据所述部分合并写入数据的吞吐量和补偿流量确定全量合并的流量上限。
在此基础上，为了进一步提高流量控制的准确性，在根据所有分区的平均文件数量获取补偿流量时，还可以同时引入预设的基准文件数量、第二缩放系数和上升指数，其中所述基准文件数量为服务器进行部分合并所产生的文件数量与进行全量合并所减少的文件数量达到动态平衡时的值，所述第二缩放系数与前述的第一缩放系数类似，用于为流量的控制留出一定微调的空间，而所述上升指数用于表示平均文件数量对于补偿流量计算的影响程度，一般为根据大量数据统计得出的经验值。在实际应用中，补偿流量可以根据如下公式计算得到：
Tadd＝b×(x-f)d
其中，Tadd为补偿流量，x为平均文件数量，b为第二缩放系数，f为基准文件数量，d为上升指数。在实际应用中，所述第二缩放系数、基准文件数量和上升指数的典型取值为：b＝4.5，f＝2，d＝0.7。
类似的，在基于获取的部分合并写入数据的吞吐量以及补偿流量计算全量合并的流量上限时，同样可以引入缩放系数为流量的控制留出一定微调的空间。具体地，所述根据所述部分合并写入数据的吞吐量和补偿流量确定全量合并的流量上限，包括：根据所述部分合并写入数据的吞吐量、补偿流量以及预设的第三缩放系数确定全量合并的流量上限。实际应用中可以根据如下公式计算得到：
Tmajor＝a×Tbase+Tadd
其中，所述Tmajor为全量合并的流量上限，所述a为第三缩放系数，其典型取值为：a＝1.7。
进一步地，本申请实施例还提供了一种优选的流量控制方法，通过结合图1和图2所示的方法，同时对部分合并以及全量合并的处理过程进行流量的双级控制，实时调整部分合并和全量合并的流量上限，在保证部分合并和全量合并可以正常完成的前提下，更好的降低突发的数据文件合并对于用户在线读写请求的影响，减少读请求的处理延时。
图3示出了本申请实施例提供的一种流量控制设备，该设备包括采集装置310、流量计算装置320、流量控制装置330。具体地，所述采集装置310用于获取内存写入数据的吞吐量。所述流量计算装置320用于根据所述内存写入数据的吞吐量确定部分合并的流量上限。所述流量控制装置330用于根据所述部分合并的流量上限对数据的部分合并进行流量限制。
在此，所述内存写入数据为用户请求写入的数据，在基于LSM-Tree构架的分布式数据库***中，用户请求写入的数据都是直接写入到内存中，每台服务器在单独统计内存写入数据时，可以设置一个采集周期，在每个采集点对该采集周期内用户写入到内存中的数据进行统计，计算该采集周期的内存写入数据的数据量。
本领域技术人员应当理解，所述设备可以包括但不限于用户设备、网络设备或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于个人计算机、触控终端等实现；所述网络设备包括但不限于如网络主机、单个网络服务器、多个网络服务器集或基于云计算的计算机集合等实现。在此，云由基于云计算(Cloud Computing)的大量主机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟计算机。上述设备通过获取内存写入数据的吞吐量，基于所述吞吐量来估算当前时刻部分合并的处理需求，从而实现对部分合并处理的流量控制，减少对用户的在线读写请求的影响，避免请求延时变长或出现超时错误。
所述采集装置310获取内存写入数据的吞吐量时可以采用平均移动算法，定时计算最近有效时间段内(包含多个采集点)内存写入数据的吞吐量。具体地，所述采集装置310用于获取最近N个采集周期的内存写入数据的数据量，其中N为正整数，将所述N个采集周期的内存写入数据的数据量的平均值作为所述内存写入数据的吞吐量。具体计算公式如下：
Tuser＝(A(0)+A(1)+...+A(N-1))/N
其中，Tuser为内存写入数据的吞吐量，A(0)、A(1)、...、A(N-1)为最近N个采集周期中每个采集点的统计数值。在实际应用中，N的实际取值与有效时间段的设置有关。一般情况下，所述有效时间段的设置可以根据实际统计需求进行设置。所述有效时间段设置越长，其包含的采集点(采集周期)越多，计算结果越能反映较长一段时间内的内存写入数据的平均水平，不易受到短时间内的大量数据写入或者无数据写入的影响；反之，其包含的采集点越少，计算结果越能反映短时间内的内存写入数据的变化趋势。
考虑到数据压缩和合并的情况，为了避免流量限制影响正常的部分合并处理，所述流量计算装置320具体用于获取数据压缩比；以及根据所述内存写入数据的吞吐量、数据压缩比以及预设的第一缩放系数确定部分合并的流量上限。
所述数据压缩比为所述内存写入数据的数据量与所述内存写入数据进行部分合并写入磁盘后的数据量之比，由于写入内存中的数据在被合并为文件写入磁盘时，会删除部分数据，因此得到的文件的数据量会小于最初写入到内存的数据，通过引入数据压缩比，可以得到更加精确的流量上限。类似地，所述数据压缩比也可以采用平均移动算法进行实时统计获取，具体算法可参考所述采集装置310中获取内存写入数据的吞吐量的算法，此处不再赘述。
此外，通过引入第一缩放系数，进一步为实际场景下部分合并的处理留出了微调的空间，避免因某时间段的数据样本的问题导致平均移动算法统计获取的数据压缩比或内存写入数据的吞吐量过小，而导致动态调整的流量上限过小。具体地，部分合并的流量上限可以根据如下公式确定：
Tminor＝Tuser×m×c
其中，Tminor为部分合并的流量上限，Tuser为内存写入数据的吞吐量，m为数据压缩比，c为第一缩放系数。在实际应用中，所述第一缩放系数的典型取值为：c＝1.4。
在实际应用中，在某一时间段内可能会出现写入数据的用户较少但写入量很大的场景，此时某些服务器的内存中可能会累积较大的数据量。若此时仍然按照前述方式进行流量控制，可能会导致来不及对内存中的数据进行部分合并，造成服务器的内存中的数据溢出。因此，所述流量计算装置320还用于在根据所述部分合并的流量上限对数据的部分合并进行流量限制之前，获取内存的当前数据量，若所述内存的当前数据量超过设定阈值，则将预设的加速流量值确定为部分合并的流量上限。
其中，所述加速流量值可以通过预设的方式设置为一个较大的固定值，例如一般情况下根据前述方式动态确定的部分合并的流量上限可能在20M左右，而加速流量值可以直接设置为40M左右，或者也可以根据当前的动态确定的部分合并的流量上限来确定，如直接提高至当前流量上限的两倍或者三倍。由此，针对上述用户较少但写入量很大的特殊场景，提供了加速模式，使得流量控制更加灵活。
此外，本申请实施例还提供了另一种流量控制设备，该设备包括采集装置310’、流量计算装置320’、流量控制装置330’。具体地，所述采集装置310’用于获取部分合并写入数据的吞吐量；所述流量计算装置320’用于根据所述部分合并写入数据的吞吐量确定全量合并的流量上限；所述流量控制装置330’用于根据所述全量合并的流量上限对数据的全量合并进行流量限制。
在此，所述部分合并写入数据为每个服务器内存中的数据进行部分合并时写入磁盘的文件数据。上述设备通过获取部分合并写入数据的吞吐量，基于所述吞吐量来估算当前时刻全量合并的处理需求，从而实现对全量合并处理的流量控制，减少对用户的在线读写请求的影响，避免请求延时变长或出现超时错误。
类似的，所述采集装置310’在获取部分合并写入数据的吞吐量时同样可以采用平均移动算法，定时计算最近有效时间段内(包含多个采集点)部分合并写入数据的吞吐量。具体地，所述采集装置310’用于获取最近N个采集周期的部分合并写入数据的数据量，其中N为正整数；以及将所述N个采集周期的部分合并写入数据的数据量的平均值作为部分合并写入数据的吞吐量。具体计算公式如下：
Tbase＝(B(0)+B(1)+...+B(N-1))/N
其中，Tbase为部分合并写入数据的吞吐量，B(0)、B(1)、...、B(N-1)为最近N个采集周期中每个采集点的统计数值。在实际应用中，N的实际取值与有效时间段的设置有关。一般情况下，所述有效时间段的设置可以根据实际统计需求进行设置。所述有效时间段设置越长，其包含的采集点(采集周期)越多，计算结果越能反映较长一段时间内的部分合并写入数据的平均水平，不易受到短时间内的大量数据写入或者无数据写入的影响；反之，其包含的采集点越少，计算结果越能反映短时间内的部分合并写入数据的变化趋势。
在实际应用中，除了部分合并所写入磁盘的文件的数据量之外，服务器中的所有分区的平均文件数量也是影响全量合并的重要因素。当服务器的分区中包含较多的文件时，会影响到读请求的处理速度，增加读请求的延时。此时，就需要加快全量合并的速度(即提高全量合并的流量上限)，减少服务器中的文件数量。特别对于某些特殊情况下的场景，例如一段时间内没有部分合并的文件写入请求，但是服务器中已经存在较多的文件，若仅考虑部分合并所产生的部分合并写入数据的吞吐量，会使得全量合并的流量上限太小，使得服务器的分区的文件数量增加，影响读请求的处理。因此，为了进一步优化控制的流量控制，除了前述提及的部分合并写入数据的吞吐量之外，还需要考虑服务器中所有分区的平均文件数量。具体地，所述流量计算装置320’具体用于根据所有分区的平均文件数量获取补偿流量；以及根据所述部分合并写入数据的吞吐量和补偿流量确定全量合并的流量上限。
在此基础上，为了进一步提高流量控制的准确性，所述流量计算装置320’在根据所有分区的平均文件数量获取补偿流量时，还可以同时引入预设的基准文件数量、第二缩放系数和上升指数，其中所述基准文件数量为服务器进行部分合并所产生的文件数量与进行全量合并所减少的文件数量达到动态平衡时的值，所述第二缩放系数与前述的第一缩放系数类似，用于为流量的控制留出一定微调的空间，而所述上升指数用于表示平均文件数量对于补偿流量计算的影响程度，一般为根据大量数据统计得出的经验值。在实际应用中，补偿流量可以根据如下公式计算得到：
Tadd＝b×(x-f)d
其中，Tadd为补偿流量，x为平均文件数量，b为第二缩放系数，f为基准文件数量，d为上升指数。在实际应用中，所述第二缩放系数、基准文件数量和上升指数的典型取值为：b＝4.5，f＝2，d＝0.7。
类似的，所述流量计算装置320’在基于获取的部分合并写入数据的吞吐量以及补偿流量计算全量合并的流量上限时，同样可以引入缩放系数为流量的控制留出一定微调的空间。具体地，所述根据所述部分合并写入数据的吞吐量和补偿流量确定全量合并的流量上限，包括：根据所述部分合并写入数据的吞吐量、补偿流量以及预设的第三缩放系数确定全量合并的流量上限。实际应用中可以根据如下公式计算得到：
Tmajor＝a×Tbase+Tadd
其中，所述Tmajor为全量合并的流量上限，所述a为第三缩放系数，其典型取值为：a＝1.7。
进一步地，本申请实施例还提供了一种优选的流量控制设备，通过结合图3和图4所示的设备，同时对部分合并以及全量合并的处理过程进行流量的双级控制，实时调整部分合并和全量合并的流量上限，在保证部分合并和全量合并可以正常完成的前提下，更好的降低突发的数据文件合并对于用户在线读写请求的影响，减少读请求的处理延时。具体地，所述采集装置，用于获取内存写入数据的吞吐量以及获取部分合并写入数据的吞吐量；所述流量计算装置，用于根据所述内存写入数据的吞吐量确定部分合并的流量上限，以及根据所述部分合并写入数据的吞吐量确定全量合并的流量上限；所述流量控制装置，用于根据所述部分合并的流量上限对数据的部分合并进行流量限制，以及根据所述全量合并的流量上限对数据的全量合并进行流量限制。
图5为实际应用中进行流量控制处理流程图，该图示出了在实际应用中用户数据在被写入应用上述方法或设备的分布式数据库***后的处理流程，具体如下：
步骤S501，获取用户数据，在此过程中可以统计用户写入的数据量，由此计算服务器内存写入数据的吞吐量。
步骤S502，将所述用户数据写入服务器内存，以数据块的形式作为LSM-Tree中的C0树的节点进行保存，同时可以实时统计内存的数据量。
步骤S503，根据时间信息和部分合并的流量上限对当前时刻的部分合并处理进行流量控制。其中，部分合并的流量上限可以根据统计的用户写入的数据量确定。此外，若实时统计的内存的数据量超过阈值时，可以快速提高部分合并的流量上限，例如采用预设的加速流量值作为部分合并的流量上限。
步骤S504，判断当前时刻部分合并处理的流量是否达到步骤S503中确定的流量上限。若未达到流量上限，则继续执行下一步；若达到了流量上限，则等下至下一时刻重新进行判定，在此过程中，下一时刻的流量上限还会根据该时刻的相关信息重新确定。
步骤S505，进行部分合并，将得到的文件写入服务器磁盘，保存在LSM-Tree中的C1树的节点。同时可以实时统计写入服务器磁盘的文件的数据量以及文件数量。
步骤S506，根据时间信息和全量合并的流量上限对当前时刻的部分合并处理进行流量控制。其中，全量合并的流量上限可以根据统计的写入服务器磁盘的文件的数据量以及文件数量确定。
步骤S507，判断当前时刻全量合并处理的流量是否达到步骤S506中确定的流量上限。若未达到流量上限，则继续执行下一步；若达到了流量上限，则等下至下一时刻重新进行判定，在此过程中，下一时刻的流量上限还会根据该时刻的相关信息重新确定。
步骤S508，进行全量合并，步骤505中写入的文件合并为大文件，对在LSM-Tree中的C1树的节点进行合并。
综上所述，本申请的技术方案通过获取内存写入数据和部分合并写入数据的吞吐量，基于所述吞吐量来估算当前时刻数据文件合并的处理需求，从而实现对数据文件合并处理的流量控制，减少对用户的在线读写请求的影响，避免请求延时变长或出现超时错误。此外，在对部分合并的流量进行控制时，考虑了数据压缩和合并的情况，并根据缩放系数留出了微调的空间，同时对于写入量很大的场景，提供了加速模式。在对全量合并的流量进行控制时，考虑了基于平均文件数量的补偿流量，以适用于无写请求但是文件数量较多的场景。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。

Claims (20)

1.一种流量控制方法，其中，该方法包括：
获取内存写入数据的吞吐量，其中所述内存写入数据为用户请求写入的数据；
根据所述内存写入数据的吞吐量确定部分合并的流量上限；
根据所述部分合并的流量上限对数据的部分合并进行流量限制。
2.根据权利要求1所述的方法，其中，获取内存写入数据的吞吐量，包括：
获取最近N个采集周期的内存写入数据的数据量，其中N为正整数；
将所述N个采集周期的内存写入数据的数据量的平均值作为所述内存写入数据的吞吐量。
3.根据权利要求1或2所述的方法，其中，根据所述内存写入数据的吞吐量确定部分合并的流量上限，包括：
获取数据压缩比，其中所述数据压缩比为所述内存写入数据的数据量与所述内存写入数据进行部分合并写入磁盘后的数据量之比；
根据所述内存写入数据的吞吐量、数据压缩比以及预设的第一缩放系数确定部分合并的流量上限。
4.根据权利要求1至3中任一项所述的方法，其中，根据所述部分合并的流量上限对数据的部分合并进行流量限制之前，还包括：
获取内存的当前数据量；
若所述内存的当前数据量超过设定阈值，则将预设的加速流量值确定为部分合并的流量上限。
5.根据权利要求1至4中任一项所述的方法，其中，该方法还包括：
获取部分合并写入数据的吞吐量，其中所述部分合并写入数据为对内存中的数据进行部分合并后写入磁盘的数据；
根据所述部分合并写入数据的吞吐量确定全量合并的流量上限；
根据所述全量合并的流量上限对数据的全量合并进行流量限制。
6.一种流量控制方法，其中，该方法包括：
获取部分合并写入数据的吞吐量，其中所述部分合并写入数据为内存中的数据进行部分合并时写入磁盘的数据；
根据所述部分合并写入数据的吞吐量确定全量合并的流量上限；
根据所述全量合并的流量上限对数据的全量合并进行流量限制。
7.根据权利要求5或6所述的方法，其中，获取部分合并写入数据的吞吐量，包括：
获取最近N个采集周期的部分合并写入数据的数据量，其中N为正整数；
将所述N个采集周期的部分合并写入数据的数据量的平均值作为部分合并写入数据的吞吐量。
8.根据权利要求5至7中任一项所述的方法，其中，根据所述部分合并写入数据的吞吐量确定全量合并的流量上限，包括：
根据所有分区的平均文件数量获取补偿流量；
根据所述部分合并写入数据的吞吐量和补偿流量确定全量合并的流量上限。
9.根据权利要求8所述的方法，其中，根据所有分区的平均文件数量获取补偿流量，包括：
根据所述平均文件数量以及预设的基准文件数量、第二缩放系数和上升指数获取补偿流量。
10.根据权利要求8或9所述的方法，其中，根据所述部分合并写入数据的吞吐量和补偿流量确定全量合并的流量上限，包括：
根据所述部分合并写入数据的吞吐量、补偿流量以及预设的第三缩放系数确定全量合并的流量上限。
11.一种流量控制设备，其中，该设备包括：
采集装置，用于获取内存写入数据的吞吐量，其中所述内存写入数据为用户请求写入的数据；
流量计算装置，用于根据所述内存写入数据的吞吐量确定部分合并的流量上限；
流量控制装置，用于根据所述部分合并的流量上限对数据的部分合并进行流量限制。
12.根据权利要求11所述的设备，所述采集装置，用于获取最近N个采集周期的内存写入数据的数据量，其中N为正整数；以及将所述N个采集周期的内存写入数据的数据量的平均值作为所述内存写入数据的吞吐量。
13.根据权利要求11或12所述的设备，其中，所述流量计算装置，用于获取数据压缩比，其中所述数据压缩比为所述内存写入数据的数据量与所述内存写入数据进行部分合并写入磁盘后的数据量之比；以及根据所述内存写入数据的吞吐量、数据压缩比以及预设的第一缩放系数确定部分合并的流量上限。
14.根据权利要求11至13中任一项所述的设备，其中，所述流量计算装置，还用于在根据所述部分合并的流量上限对数据的部分合并进行流量限制之前，获取内存的当前数据量，若所述内存的当前数据量超过设定阈值，则将预设的加速流量值确定为部分合并的流量上限。
15.根据权利要求11至14中任一项所述的设备，其中，所述采集装置，还用于获取部分合并写入数据的吞吐量，其中所述部分合并写入数据为对内存中的数据进行部分合并后写入磁盘的数据；
所述流量计算装置，还用于根据所述部分合并写入数据的吞吐量确定全量合并的流量上限；
所述流量控制装置，还用于根据所述全量合并的流量上限对数据的全量合并进行流量限制。
16.一种流量控制设备，其中，该设备包括：
采集装置，用于获取部分合并写入数据的吞吐量，其中所述部分合并写入数据为内存中的数据进行部分合并时写入磁盘的数据；
流量计算装置，用于根据所述部分合并写入数据的吞吐量确定全量合并的流量上限；
流量控制装置，用于根据所述全量合并的流量上限对数据的全量合并进行流量限制。
17.根据权利要求15或16所述的设备，其中，所述采集装置，用于获取最近N个采集周期的部分合并写入数据的数据量，其中N为正整数；以及将所述N个采集周期的部分合并写入数据的数据量的平均值作为部分合并写入数据的吞吐量。
18.根据权利要求15至17中任一项所述的设备，其中，所述流量计算装置，用于根据所有分区的平均文件数量获取补偿流量；以及根据所述部分合并写入数据的吞吐量和补偿流量确定全量合并的流量上限。
19.根据权利要求18所述的设备，其中，所述流量计算装置在根据所有分区的平均文件数量获取补偿流量时，用于根据所述平均文件数量以及预设的基准文件数量、第二缩放系数和上升指数获取补偿流量。
20.根据权利要求18或19所述的设备，其中，所述流量计算装置在根据所述部分合并写入数据的吞吐量和补偿流量确定全量合并的流量上限时，用于根据所述部分合并写入数据的吞吐量、补偿流量以及预设的第三缩放系数确定全量合并的流量上限。
CN201510649336.5A 2015-10-09 2015-10-09 流量控制方法及设备 Active CN106569893B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510649336.5A CN106569893B (zh) 2015-10-09 2015-10-09 流量控制方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510649336.5A CN106569893B (zh) 2015-10-09 2015-10-09 流量控制方法及设备

Publications (2)

Publication Number Publication Date
CN106569893A true CN106569893A (zh) 2017-04-19
CN106569893B CN106569893B (zh) 2021-02-05

Family

ID=58507663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510649336.5A Active CN106569893B (zh) 2015-10-09 2015-10-09 流量控制方法及设备

Country Status (1)

Country Link
CN (1) CN106569893B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117423A (zh) * 2017-06-23 2019-01-01 阿里巴巴集团控股有限公司 数据库***的表格分区配置方法、装置和***
CN112307338A (zh) * 2020-10-30 2021-02-02 中国民航信息网络股份有限公司 运价搜索***的流量控制方法、装置、设备和存储介质
CN113254322A (zh) * 2021-06-07 2021-08-13 恒为科技（上海）股份有限公司 一种Stream***极限吞吐性能评估方法及***
CN113313427A (zh) * 2021-06-29 2021-08-27 中国农业银行股份有限公司 数据需求的分析方法、***及存储介质
WO2021218144A1 (zh) * 2020-04-30 2021-11-04 苏州亿歌网络科技有限公司 数据处理方法、装置、计算机设备及存储介质
WO2023045385A1 (zh) * 2021-09-23 2023-03-30 华为技术有限公司 数据处理方法以及相关设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1783840A (zh) * 2004-12-01 2006-06-07 矽统科技股份有限公司 流量控制单元及其执行方法
US20080301696A1 (en) * 2005-07-25 2008-12-04 Asser Nasreldin Tantawi Controlling workload of a computer system through only external monitoring
CN101459605A (zh) * 2008-12-31 2009-06-17 成都市华为赛门铁克科技有限公司 一种流量控制方法和设备
CN101600174A (zh) * 2009-06-30 2009-12-09 中兴通讯股份有限公司 一种文件处理过程中流量控制方法及设备
CN103379041A (zh) * 2012-04-28 2013-10-30 国际商业机器公司 一种***检测方法和装置以及流量控制方法和设备
US20150120656A1 (en) * 2013-10-28 2015-04-30 Jagannathan Ramnarayanan Compacting data file histories
CN104809237A (zh) * 2015-05-12 2015-07-29 百度在线网络技术（北京）有限公司 LSM-tree索引的优化方法和装置
JP2015162024A (ja) * 2014-02-26 2015-09-07 日本電信電話株式会社 検索木生成・検索装置及び方法及びプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1783840A (zh) * 2004-12-01 2006-06-07 矽统科技股份有限公司 流量控制单元及其执行方法
US20080301696A1 (en) * 2005-07-25 2008-12-04 Asser Nasreldin Tantawi Controlling workload of a computer system through only external monitoring
CN101459605A (zh) * 2008-12-31 2009-06-17 成都市华为赛门铁克科技有限公司 一种流量控制方法和设备
CN101600174A (zh) * 2009-06-30 2009-12-09 中兴通讯股份有限公司 一种文件处理过程中流量控制方法及设备
CN103379041A (zh) * 2012-04-28 2013-10-30 国际商业机器公司 一种***检测方法和装置以及流量控制方法和设备
US20150120656A1 (en) * 2013-10-28 2015-04-30 Jagannathan Ramnarayanan Compacting data file histories
JP2015162024A (ja) * 2014-02-26 2015-09-07 日本電信電話株式会社 検索木生成・検索装置及び方法及びプログラム
CN104809237A (zh) * 2015-05-12 2015-07-29 百度在线网络技术（北京）有限公司 LSM-tree索引的优化方法和装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117423A (zh) * 2017-06-23 2019-01-01 阿里巴巴集团控股有限公司 数据库***的表格分区配置方法、装置和***
WO2021218144A1 (zh) * 2020-04-30 2021-11-04 苏州亿歌网络科技有限公司 数据处理方法、装置、计算机设备及存储介质
CN112307338A (zh) * 2020-10-30 2021-02-02 中国民航信息网络股份有限公司 运价搜索***的流量控制方法、装置、设备和存储介质
CN113254322A (zh) * 2021-06-07 2021-08-13 恒为科技（上海）股份有限公司 一种Stream***极限吞吐性能评估方法及***
CN113313427A (zh) * 2021-06-29 2021-08-27 中国农业银行股份有限公司 数据需求的分析方法、***及存储介质
CN113313427B (zh) * 2021-06-29 2023-11-24 中国农业银行股份有限公司 数据需求的分析方法、***及存储介质
WO2023045385A1 (zh) * 2021-09-23 2023-03-30 华为技术有限公司 数据处理方法以及相关设备

Also Published As

Publication number Publication date
CN106569893B (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
CN106569893A (zh) 流量控制方法及设备
CN109561052B (zh) 网站异常流量的检测方法及装置
WO2017148266A1 (zh) 一种机器学习***的训练方法和训练***
CN110704336B (zh) 一种数据缓存方法及装置
CN106201673B (zh) 一种地震数据处理方法及装置
CN109343793B (zh) 数据迁移方法及装置
CN108984116A (zh) 一种固态硬盘垃圾回收带宽的流控方法及装置
CN111111176B (zh) 游戏中物体lod的管理方法、装置及电子设备
CN113946552A (zh) 数据处理方法及电子装置
CN105468623A (zh) 数据处理方法及装置
CN110851434A (zh) 一种数据存储方法、装置及设备
CN110347497B (zh) 一种将多个存储设备划分设备组的方法及装置
CN109003090A (zh) 风险控制方法和装置
CN104424294A (zh) 一种信息处理方法及装置
CN106502793A (zh) 一种游戏资源的调配方法和设备
CN108536759B (zh) 一种样本回放数据存取方法及装置
CN110046194A (zh) 一种扩展节点关系图的方法、装置和电子设备
CN107977923A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN110148044B (zh) 一种用于记账的缓冲阈值设定方法和装置
CN110019783A (zh) 属性词聚类方法及装置
CN108804640B (zh) 基于最大化iv的数据分组方法、装置、储存介质及设备
CN109345300B (zh) 数据统计方法及装置
CN113297107A (zh) 一种数据处理方法、装置以及电子设备
US10277912B2 (en) Methods and apparatus for storing data related to video decoding
CN103440186A (zh) 测试缓存加速的方法及其***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant