CN113342277B - 数据处理方法及装置 - Google Patents

数据处理方法及装置 Download PDF

Info

Publication number
CN113342277B
CN113342277B CN202110688648.2A CN202110688648A CN113342277B CN 113342277 B CN113342277 B CN 113342277B CN 202110688648 A CN202110688648 A CN 202110688648A CN 113342277 B CN113342277 B CN 113342277B
Authority
CN
China
Prior art keywords
disk space
target service
space utilization
utilization rate
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110688648.2A
Other languages
English (en)
Other versions
CN113342277A (zh
Inventor
蔡尚志
王盛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Bilibili Technology Co Ltd
Original Assignee
Shanghai Bilibili Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Bilibili Technology Co Ltd filed Critical Shanghai Bilibili Technology Co Ltd
Priority to CN202110688648.2A priority Critical patent/CN113342277B/zh
Publication of CN113342277A publication Critical patent/CN113342277A/zh
Application granted granted Critical
Publication of CN113342277B publication Critical patent/CN113342277B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供数据处理方法及装置，其中所述数据处理方法包括：接收目标业务数据获取请求，其中，所述目标业务数据获取请求中包含目标业务标识；在所述服务节点的磁盘空间中不存在与所述目标业务标识对应的目标业务数据的情况下，基于所述目标业务标识确定并获取目标数据源中的目标业务数据；将所述目标业务数据存入所述服务节点的磁盘空间，计算所述服务节点的当前磁盘空间利用率并获取预设磁盘空间利用率，其中，所述预设磁盘空间利用率根据历史业务数据获取请求确定；在所述当前磁盘空间利用率大于所述预设磁盘空间利用率的情况下，根据预设的磁盘空间调整策略调整所述服务节点的磁盘空间。

Description

数据处理方法及装置
技术领域
本申请涉及数据处理技术领域，特别涉及一种数据处理方法。本申请同时涉及一种数据处理装置，一种计算设备，以及一种计算机可读存储介质。
背景技术
CDN服务通常会对访问的数据做缓存，正常缓存流程是对整个文件做分片，而分片带来的是Inode个数增长，同时也带来了内存使用率的增长(Inode对象和相关联对象都需要占用内存)，并且CDN机器上磁盘容量通常是以TB作为单位(55TB，即10个5.5T的磁盘)，而内存是GB作为单位(128GB)，而一个分片通常是2Mb～20Mb，这将导致文件数量大概在288万和2883万个之间，当文件数量不断增加，达到内存使用上限时将会影响服务质量，因此需要将磁盘内存的空间使用量控制在合理范围内。
发明内容
有鉴于此，本申请实施例提供了一种数据处理方法。本申请同时涉及一种数据处理装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的缓存中分片文件数量大，占用内存多导致的影响服务质量的问题。根据本申请实施例的第一方面，提供了一种数据处理方法，包括：
接收目标业务数据获取请求，其中，所述目标业务数据获取请求中包含目标业务标识；
在所述服务节点的磁盘空间中不存在与所述目标业务标识对应的目标业务数据的情况下，基于所述目标业务标识确定并获取目标数据源中的目标业务数据；
将所述目标业务数据存入所述服务节点的磁盘空间，计算所述服务节点的当前磁盘空间利用率并获取预设磁盘空间利用率，其中，所述预设磁盘空间利用率根据历史业务数据获取请求确定；
在所述当前磁盘空间利用率大于所述预设磁盘空间利用率的情况下，根据预设的磁盘空间调整策略调整所述服务节点的磁盘空间。
根据本申请实施例的第二方面，提供了一种数据处理装置，包括：
接收模块，被配置为接收目标业务数据获取请求，其中，所述目标业务数据获取请求中包含目标业务标识；
确定模块，被配置为在所述服务节点的磁盘空间中不存在与所述目标业务标识对应的目标业务数据的情况下，基于所述目标业务标识确定并获取目标数据源中的目标业务数据；
计算模块，被配置为将所述目标业务数据存入所述服务节点的磁盘空间，计算所述服务节点的当前磁盘空间利用率并获取预设磁盘空间利用率，其中，所述预设磁盘空间利用率根据历史业务数据获取请求确定；
调整模块，被配置为在所述当前磁盘空间利用率大于所述预设磁盘空间利用率的情况下，根据预设的磁盘空间调整策略调整所述服务节点的磁盘空间。
根据本申请实施例的第三方面，提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现所述数据处理方法的步骤。
根据本申请实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现所述数据处理方法的步骤。
本申请提供的数据处理方法，通过接收目标业务数据获取请求，其中，所述目标业务数据获取请求中包含目标业务标识；在所述服务节点的磁盘空间中不存在与所述目标业务标识对应的目标业务数据的情况下，基于所述目标业务标识确定并获取目标数据源中的目标业务数据；将所述目标业务数据存入所述服务节点的磁盘空间，计算所述服务节点的当前磁盘空间利用率并获取预设磁盘空间利用率，其中，所述预设磁盘空间利用率根据历史业务数据获取请求确定；在所述当前磁盘空间利用率大于所述预设磁盘空间利用率的情况下，根据预设的磁盘空间调整策略调整所述服务节点的磁盘空间。
本申请一实施例实现了依据缓存命中增长率确定磁盘空间利用率上限值，在当前磁盘空间利用率为最大上限值的情况下淘汰磁盘空间中的文件，从而减小磁盘空间利用率，避免因内存达到使用上限导致的对服务质量的影响。
附图说明
图1是本申请一实施例提供的一种数据处理方法的流程图；
图2是本申请一实施例提供的一种计算当前磁盘空间利用率方法的流程图；
图3是本申请一实施例提供的一种获取预设磁盘空间利用率方法的流程图；
图4是本申请一实施例提供的一种应用于服务节点A接收数据获取请求的数据处理方法的处理流程图；
图5是本申请一实施例提供的一种计算当前磁盘空间利用率方法的流程图；
图6是本申请一实施例提供的一种获取预设磁盘空间利用率方法的流程图；
图7是本申请一实施例提供的一种数据处理装置的结构示意图；
图8是本申请一实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
在本申请一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请一个或多个实施例。在本申请一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本申请一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先，对本申请一个或多个实施例涉及的名词术语进行解释。
CDN：部署在各地的边缘服务器，为用户提供内容服务。
Inode：Linux文件***中每个文件都有1个Inode用于记录文件的索引信息。
SPDK：是由Intel发起，用于使用NVMe SSD作为后端存储的应用软件的加速库。
通过SPDK技术，CDN在进行缓存时可以绕过***的文件***，即不使用Inode，从而避免内存被过多的占用；然而SPDK专业性高，开发和维护成本极高，不易广泛使用。
基于此，在本申请中，提供了一种数据处理方法，本申请同时涉及一种数据处理装置，一种计算设备，以及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。
图1示出了根据本申请一实施例提供的一种数据处理方法的流程图，具体包括以下步骤102-步骤108：
步骤102：接收目标业务数据获取请求，其中，所述目标业务数据获取请求中包含目标业务标识。
目标业务数据获取请求是指由用户或其他服务节点发出的，从所述服务节点获取业务数据的数据获取请求。
目标业务数据获取请求中携带有目标业务标识，依据目标业务标识可在服务节点的业务数据中确定与目标业务标识对应的目标业务数据。
目标业务数据是指与具体业务相关的数据，例如在视频处理业务中，目标业务数据可以是视频；在音频处理业务中，目标业务数据可以是音频；在图片处理业务中，目标业务数据可以是图片等等。
在本申请一具体实施方式中，以接收视频数据获取请求为例，接收视频数据获取请求，在视频数据获取请求中携带有视频标识“视频A”。
步骤104：在所述服务节点的磁盘空间中不存在与所述目标业务标识对应的目标业务数据的情况下，基于所述目标业务标识确定并获取目标数据源中的目标业务数据。
服务节点是指内容分发网络中的节点。内容分发网络(Content DeliveryNetwork，CDN)是在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上，服务内容缓存在节点服务器中，从而使用户可就近取得所需内容，解决Internet网络拥挤的状况，提高用户访问网站的响应速度。
目标数据源是指保存有业务数据原始地址的服务节点，即与目标业务数据对应的所述服务节点的数据源；服务节点存储的数据是由内容分发网络将数据源中数据分发至服务节点的部分数据，即服务节点保存有数据源中的部分数据；在服务节点中不存在业务获取请求所需的业务数据时，可从数据源中获取。
服务节点的磁盘空间是指服务节点存储数据的磁盘空间。
目标业务数据获取请求携带有目标业务标识，根据目标业务标识在服务节点进行查询，若在服务节点存储有目标业务数据获取请求对应的目标业务数据时，从所述服务节点读取目标业务标识对应的目标业务数据；若未在服务节点中查询到与请求对应的业务数据时，根据目标业务标识确定目标业务数据保存的目标数据源，再从目标数据源中获取与目标业务标识对应的目标业务数据。
在本申请一具体实施方式中，以服务节点B中存储有目标业务数据1、目标数据源C中存储有目标业务数据1、目标业务数据2和目标业务数据3为例，确定目标业务标识为“2”，且与目标业务数据2对应。在服务节点B中未读取到与目标业务标识“2”对应的目标业务数据2的情况下，基于目标业务标识“2”确定目标数据源C并从目标数据源C中获取与目标业务标识“2”对应的目标业务数据2。
在本申请另一具体实施例中，在接收目标业务数据获取请求之后，还包括：
在所述服务节点的磁盘空间中存在与所述目标业务标识对应的目标业务数据的情况下，在所述服务节点的磁盘空间中获取与所述目标业务标识对应的目标业务数据。
在实际应用中，如果在所述服务节点中保存有目标业务标识对应的目标业务数据的情况下，即可直接在所述服务节点的磁盘空间中读取所述目标业务数据，并进行后续的操作处理。
例如，服务节点Q中存储有目标业务数据5和目标业务数据6，在目标业务标识为“5”的情况下，在服务节点Q查询到与目标业务标识“5”对应的目标业务数据5，即在服务节点Q的磁盘空间中直接获取与目标业务标识为“5”对应的目标业务数据5。
步骤106：将所述目标业务数据存入所述服务节点的磁盘空间，计算所述服务节点的当前磁盘空间利用率并获取预设磁盘空间利用率，其中，所述预设磁盘空间利用率根据历史业务数据获取请求确定。
从目标数据源获取到目标业务数据后，需要将目标业务数据存入服务节点磁盘空间。当前磁盘空间利用率是指服务节点当前的数据的使用程度。预设磁盘空间利用率是指预设的磁盘空间可使用的上限值。在磁盘空间利用率小于预设的磁盘空间利用率的情况下，可使服务节点达到最优的服务性能。
具体的，将所述目标业务数据存入所述服务节点的磁盘空间，包括S1062至S1066：
S1062、获取预设分片值。
将目标业务数据保存至所述服务节点时，需要对目标业务数据进行分片，预设分片值是指在对数据进行分片时所使用的分片值，通过预设分片值可将目标业务数据分成至少两个与预设分片值一致的业务子数据。例如，预设分片值可以为2Mb，当目标业务数据为7Mb的情况下，可以将目标业务数据分为4个大小为2Mb的数据分片。
S1064、根据所述预设分片值对所述目标业务数据进行分片，获得目标业务子数据。
目标业务子数据是指根据预设分片值将目标业务数据进行分片后得到的数据，用于存储至服务节点，完成向服务节点存入数据的过程。
根据预设分片值对目标业务数据进行分片，获得至少两个业务子数据，将每个业务子数据作为目标业务子数据，依然以目标业务数据P为7Mb，预设分片值为2Mb为例，可以获得4个业务子数据P1、P2、P3和P4，分别将业务子数据P1、P2、P3和P4保存至所述服务节点。
S1066、将所述目标业务子数据存入所述服务节点的磁盘空间。
将根据分片值对目标业务数据进行分片得到的目标业务子数据存入接收请求的服务节点的磁盘空间中。
本申请一具体实施方式中，以将图片数据存入服务节点的磁盘空间为例，获取预设分片值2Mb，根据预设分片值2Mb对图片数据进行分片，获得图片子数据a和图片子数据b，其中，图片子数据a和图片子数据b的文件大小均为预设分片值2Mb；将图片子数据a和图片子数据b存入所述服务节点的磁盘空间。
将所述目标业务数据存入所述服务节点的磁盘空间后，计算所述服务节点的当前磁盘空间利用率，具体的，计算当前磁盘空间利用率的方法如图2所示，图2是本申请一实施例提供的一种计算当前磁盘空间利用率方法的流程图，包括步骤202-步骤206：
步骤202：获取所述服务节点的当前磁盘空间使用容量和磁盘空间总容量。
当前磁盘空间使用容量是指磁盘空间已经使用的空间容量。磁盘空间总容量是指磁盘空间能存储数据的最大容量。例如，当前磁盘使用容量为4.7TB，磁盘空间总容量为5.5TB。
步骤204：计算所述当前磁盘空间使用容量和所述磁盘空间总容量的比值。
用当前磁盘空间使用容量除以磁盘空间总容量，获得当前磁盘空间使用容量与磁盘空间总容量的比值。
步骤206：将所述比值作为所述服务节点的当前磁盘空间利用率。
本申请一具体实施方式中，以计算服务节点G的当前磁盘空间利用率为例，获取当前磁盘空间使用容量4.7TB，磁盘空间总容量5.5TB；用当前磁盘空间使用容量4.7TB除以磁盘空间总容量5.5TB获得服务节点G的当前磁盘空间利用率85％。
在计算当前磁盘空间利用率的同时获取预设磁盘空间利用率，方便后续步骤对其进行处理。预设磁盘空间利用率是指根据历史业务数据获取请求确定的磁盘空间利用率，其中，历史业务数据获取请求是指在预设时间区间内获取的业务数据获取请求的相关信息，例如业务数据获取请求的请求总次数、每个业务数据获取请求是否在所述服务节点中查询到业务数据等等。例如，在过去的1分钟内，共获取到20个业务数据获取请求，其中，15个业务数据请求在所述服务节点查询到对应的业务数据，5个业务数据请求在所述服务节点未获取到对应的业务数据。
具体的，获取预设磁盘空间利用率的方法如图3所示，图3是本申请一实施例提供的一种获取预设磁盘空间利用率方法的流程图，包括步骤302至步骤308：
步骤302：接收当前统计周期内的磁盘空间利用率调整指令。
统计周期是指固定的时间周期，每经过一个统计周期执行一次磁盘空间利用率调整，例如统计周期可以为10秒、20秒或30秒等；每经过一个统计周期可接收一次磁盘空间利用率调整指令，例如，当统计周期是10秒时，即每过10秒接收一次磁盘空间利用率调整调整指令。
磁盘空间利用率调整指令具体是指对所述服务节点的磁盘空间大小进行调整的指令。
在本申请一具体实施方式中，以预设统计周期为10秒为例，即每隔10秒接收一次磁盘空间利用率调整指令。
步骤304：获取当前缓存命中率和上一缓存命中率。
当前缓存命中率是指当前统计周期内的请求命中缓存概率；上一缓存命中率是指上一统计周期内的请求命中缓存概率，所述请求命中缓存概率是指接收的业务数据获取请求命中所述服务节点中存储的业务数据的概率。例如，接收业务数据获取请求的请求总次数为385984092，其中有332443070个业务数据获取请求在所述服务节点中缓存有对应的业务数据，即请求命中缓存次数为332443070，根据请求命中缓存次数和请求总次数，可以确定请求命中缓存概率为86.12％。
请求命中缓存具体是指在所述服务节点中查询到业务数据获取请求对应的业务数据，若在所述服务节点中未查询到业务数据获取请求对应的业务数据的情况下，被称为请求未命中缓存。
在实际应用中，获取当前缓存命中率和上一缓存命中率，具体包括：根据所述历史业务数据获取请求确定所述当前缓存命中率和所述上一缓存命中率。
具体的，历史业务数据获取请求可以从所述服务节点的日志信息中获得，在日志信息中获取历史业务数据获取请求的相关信息，即预设时间区间内的请求命中缓存总次数和请求总次数。
具体计算所述当前缓存命中率和上一缓存命中率的方法包括S3042-S3044：
S3042、获取上一统计周期内业务数据获取请求的请求命中缓存次数和请求总次数，获取当前统计周期内业务数据获取请求的请求命中缓存次数和请求总次数。
S3044、计算上一统计周期内业务数据获取请求的请求命中缓存次数和请求总次数的第一比值，将所述第一比值作为上一缓存命中率；计算当前统计周期内业务数据获取请求的请求命中缓存次数和请求总次数的第二比值，将所述第二比值作为当前缓存命中率。
在本申请一具体实施方式中，以获取服务节点G的当前缓存命中率和上一缓存命中率为例，获取上一统计周期内业务数据获取请求的请求命中缓存次数332443070和业务数据获取请求的请求总次数385984092，用请求命中缓存次数除以请求总次数得到上一缓存命中率86.12％；同理，根据当前统计周期内业务数据获取请求的请求命中缓存次数和请求总次数计算得到当前缓存命中率86.13％。
步骤306：根据所述当前缓存命中率和所述上一缓存命中率确定缓存命中增长率。
缓存命中增长率是指当前统计周期内的当前缓存命中率与上一统计周期内的上一缓存命中率的差值。通过判断缓存命中增长率的幅度设置当前磁盘空间利用率为上限值。
在本申请一具体实施方式中，沿用上例，获取当前缓存命中率86.13％和上一缓存命中率86.12％，用当前缓存命中率减去上一缓存命中率得到缓存命中增长率0.01％。
步骤308：基于所述缓存命中增长率和预设缓存命中增长率区间确定预设磁盘空间利用率。
预设缓存命中增长率区间是指预设的用于判断是否需要对磁盘空间进行调整的缓存命中增长率范围。在缓存命中率趋于平稳，即在预设缓存命中增长区间时内时，计算当前磁盘空间利用率，并将当前磁盘空间利用率作为服务节点的磁盘空间利用率的上限值；在缓存命中率未处于预设缓存命中增长率区间中时，则将初始设置的磁盘空间利用率作为预设磁盘空间利用率。
根据缓存命中增长率和预设缓存命中增长率区间获取预设磁盘空间利用率的方法包括S3082-S3088：
S3082、获取初始磁盘空间利用率。
初始磁盘空间利用率是指在服务节点的服务启动初始化时设置的磁盘空间利用率，可根据服务节点的实际需求进行设定，例如将初始磁盘空间利用率设为85％。
S3084、判断所述缓存命中增长率是否位于所述预设缓存命中增长率区间，若是，则执行S3086，若否，则执行S3088。
S3086、计算当前磁盘空间利用率，并将所述当前磁盘空间利用率作为预设磁盘空间利用率。
S3088、将所述初始磁盘空间利用率作为预设磁盘空间利用率。
预设缓存命中增长率区间中设有最大缓存命中增长率和最小缓存命中率，例如设置缓存命中增长率区间为0％-3％，或0％-10％等。
具体的，在缓存命中率在预设缓存命中增长区间时内时，计算当前磁盘空间利用率并将其作为预设磁盘空间利用率；在缓存命中率未处于预设缓存命中增长率区间中时，则将初始磁盘空间利用率作为预设磁盘空间利用率。
步骤108：在所述当前磁盘空间利用率大于所述预设磁盘空间利用率的情况下，根据预设的磁盘空间调整策略调整所述服务节点的磁盘空间。
通过步骤106获取到预设磁盘空间利用率，将所述预设磁盘空间利用率作为磁盘空间使用的上限值，在超过上限值后需要淘汰磁盘空间中的数据，从而减小磁盘空间利用率、保持服务节点较好的服务质量。
具体的，根据预设的磁盘空间调整策略调整所述服务节点的磁盘空间包括：根据所述预设磁盘空间调整策略淘汰所述服务节点的磁盘空间中的目标业务数据文件。
其中，预设磁盘空间调整策略是指淘汰服务节点磁盘空间中数据的算法，例如FIFO(先进先出)、LRU(最近最少使用)、LRU(最不经常使用)等具备淘汰缓存效果的算法，在此不做限定。
在本申请又一具体实施例中，获取所述目标业务数据之后，还包括：
反馈所述目标业务数据。
即根据目标业务标识在服务节点获取到目标业务数据后，在目标业务数据获取请求为用户发出时，将目标业务数据反馈给用户；在目标业务数据获取请求为其他服务节点发出时，将目标业务数据传输至对应的发出目标业务数据获取请求的服务节点。
本申请的数据处理方法，通过接收目标业务数据获取请求，其中，所述目标业务数据获取请求中包含目标业务标识；在所述服务节点的磁盘空间中不存在与所述目标业务标识对应的目标业务数据的情况下，基于所述目标业务标识确定并获取目标数据源中的目标业务数据；将所述目标业务数据存入所述服务节点的磁盘空间，计算所述服务节点的当前磁盘空间利用率并获取预设磁盘空间利用率，其中，所述预设磁盘空间利用率根据历史业务数据获取请求确定；在所述当前磁盘空间利用率大于所述预设磁盘空间利用率的情况下，根据预设的磁盘空间调整策略调整所述服务节点的磁盘空间。本申请的数据处理方法，依据缓存命中增长率确定磁盘空间利用率上限值，在当前磁盘空间利用率为最大上限值的情况下淘汰磁盘空间中的文件，从而减小磁盘空间利用率，避免因内存达到使用上限导致的对服务质量的影响。
下述结合附图4，以本申请提供的方法在服务节点A接收目标业务数据获取请求的应用为例，对所述数据处理方法进行进一步说明。其中，图4示出了本申请一实施例提供的一种应用于服务节点A接收数据获取请求的数据处理方法的处理流程图，具体包括以下步骤：
步骤402：接收目标业务数据获取请求，其中，所述目标业务数据获取请求中携带目标业务数据标识。
在本申请提供的一具体实施方式中，服务节点A接收用户U发送的获取视频数据X的获取请求，所述获取请求中携带有视频数据X的视频数据标识“x”。
步骤404：判断所述服务节点中是否存在与目标业务标识对应的缓存，若是，则执行步骤406，若否，则执行步骤408。
在本申请提供的一具体实施方式中，沿用上例，根据获取请求中携带的视频数据X的视频数据标识“x”，在服务节点A中进行查询。服务节点A中未存储视频数据X，故在服务节点中查询不到与视频数据X对应的数据，则执行步骤408。
步骤406：从所述服务节点的磁盘中读取目标业务数据。
具体的，依据所述目标业务数据标识查找所述服务节点中与所述目标业务数据标识对应的业务数据并进行读取。
步骤408：从所述数据源中获取目标业务数据。
在所述服务节点中未获取到所述目标业务数据标识对应的业务数据时，则根据目标业务数据标识确定目标数据源，从所述目标数据源中获取目标业务数据。
在本申请提供的一具体实施方式中，沿用上例，根据所述视频数据标识“x”确定视频数据X的数据源为服务节点L，从服务节点L中获取视频数据X。
步骤410：返回目标业务数据。
将获取到的目标业务数据返回至目标业务数据获取请求的发送方，所述发送方可以是用户或其他服务节点。
在本申请提供的一具体实施方式中，沿用上例，将从服务节点L中获取视频数据X返回至用户U。
步骤412：将目标业务数据按预设分片值进行分片，得到目标业务子数据。
获取所述服务节点的预设分片值，根据所述预设分片值将目标业务数据分片得到至少两个目标业务子数据。
在本申请提供的一具体实施方式中，沿用上例，预设分片值为3Mb，将视频数据X按预设分片值3Mb进行分割，得到视频子数据1、视频子数据2和视频子数据3。
步骤414：将目标业务子数据写入服务节点的磁盘。
将每个目标业务子数据写入至所述服务节点的磁盘中。
在本申请提供的一具体实施方式中，沿用上例，将分片得到的视频子数据1、视频子数据2和视频子数据3写入至服务节点A。
步骤416：计算当前磁盘空间利用率。
获取所述服务节点的当前磁盘空间使用容量和磁盘空间总容量，计算所述当前磁盘空间使用容量和所述磁盘空间总容量的比值，作为当前磁盘空间利用率。
具体的，计算当前磁盘空间利用率的方法如图5所示，图5是本申请一实施例提供的一种计算当前磁盘空间利用率方法的流程图，包括步骤502-506：
步骤502：获取当前磁盘使用容量。
步骤504：获取磁盘总容量。
步骤506：当前磁盘使用容量除以磁盘总容量，得到当前磁盘空间利用率。
在本申请提供的一具体实施方式中，沿用上例，获取到服务节点A的当前磁盘空间使用容量4.7TB和磁盘总容量5.5TB，计算服务节点A的当前磁盘空间使用容量和磁盘总容量的比值为85％，即当前磁盘空间利用率为85％。
步骤418：判断当前磁盘空间利用率是否大于预设磁盘空间利用率，若是，则执行步骤420，若否，则结束。
将由步骤416得到当前空间磁盘利用率与预设磁盘空间利用率进行比较，判断当前磁盘空间利用率与预设磁盘空间利用率的大小。
其中，获取预设磁盘空间利用率的方法如图6所示，图6是本申请一实施例提供的一种获取预设磁盘空间利用率方法的流程图，包括步骤602-612：
步骤602：接收当前统计周期内的磁盘空间利用率调整指令。
步骤604：设置初始磁盘空间利用率N，并计算缓存命中增长率。
具体的，获取当前缓存命中率和上一缓存命中率；根据所述当前缓存命中率和所述上一缓存命中率确定缓存命中增长率。
所述当前缓存命中率和上一缓存命中率是根据历史业务数据获取请求确定的。获取服务节点的日志信息，从日志信息中获取历史业务数据请求信息，包括统计周期内目标业务数据获取请求的请求命中缓存次数和请求总次数。
在实际应用中，从所述日志信息中获取上一统计周期内业务数据获取请求的请求命中缓存次数和请求总次数，获取当前统计周期内业务数据获取请求的请求命中缓存次数和请求总次数；
计算上一统计周期内业务数据获取请求的请求命中缓存次数和请求总次数的第一比值，将所述第一比值作为上一缓存命中率；
计算当前统计周期内业务数据获取请求的请求命中缓存次数和请求总次数的第二比值，将所述第二比值作为当前缓存命中率；
根据所述当前缓存命中率和所述上一缓存命中率确定缓存命中增长率。
在本申请一具体实施例中，沿用上例，从服务节点A的日志信息中获取上一统计周期内业务数据获取请求的请求命中缓存次数332443070和请求总次数385984092，用请求命中缓存次数除以请求总次数得到上一缓存命中率86.12％；同理，获取当前统计周期内业务数据获取请求的请求命中缓存次数和请求总次数，用请求命中缓存次数除以请求总次数得到当前缓存命中率86.13％。用当前缓存命中率86.13％减去上一缓存命中率86.12％，得到服务节点A的缓存命中增长率0.01％。
步骤606：判断所述缓存命中增长率是否大于0，若是，则执行步骤608，若否则进入下一统计周期。
在本申请一具体实施例中，沿用上例，判断服务节点A的缓存命中增长率0.01％为大于0。
步骤608：判断所述缓存命中增长率是否小于R，若是，则执行步骤610，若否则进入下一统计周期。
在本申请一具体实施例中，沿用上例，其中R的值为3％，判断服务节点A的缓存命中增长率0.01％小于R，则执行步骤610。
步骤610：计算当前磁盘空间利用率。
即在获取预设磁盘空间利用率的统计周期内的当前磁盘空间利用率，具体的计算步骤可参见步骤302-306，在此不再赘述。
步骤612：将当前磁盘空间利用率赋值给初始磁盘空间利用率N，得到预设磁盘空间利用率。
具体的，将由步骤610得到的当前磁盘空间利用率替换初始磁盘空间利用率，作为预设磁盘空间利用率。
步骤420：基于预设的淘汰策略释放所述服务节点的内存。
基于内存淘汰策略，删除所述服务节点中的文件，从而增加磁盘空间降低利用率。
在本申请一具体实施例中，沿用上例，根据预设的淘汰策略：LRU(最近最少使用)，删除服务节点A的磁盘空间中的数据，降低服务节点A的磁盘空间利用率。
本申请的数据处理方法，通过接收目标业务数据获取请求，其中，所述目标业务数据获取请求中包含目标业务标识；在所述服务节点的磁盘空间中不存在与所述目标业务标识对应的目标业务数据的情况下，基于所述目标业务标识确定并获取目标数据源中的目标业务数据；将所述目标业务数据存入所述服务节点的磁盘空间，计算所述服务节点的当前磁盘空间利用率并获取预设磁盘空间利用率，其中，所述预设磁盘空间利用率根据历史业务数据获取请求确定；在所述当前磁盘空间利用率大于所述预设磁盘空间利用率的情况下，根据预设的磁盘空间调整策略调整所述服务节点的磁盘空间。本申请的数据处理方法，依据缓存命中增长率确定磁盘空间利用率上限值，在当前磁盘空间利用率为最大上限值的情况下淘汰磁盘空间中的文件，从而减小磁盘空间利用率，避免因内存达到使用上限导致的对服务质量的影响。
与上述方法实施例相对应，本申请还提供了数据处理装置实施例，图7示出了本申请一实施例提供的一种数据处理装置的结构示意图。如图7所示，该装置包括：
接收模块702，被配置为接收目标业务数据获取请求，其中，所述目标业务数据获取请求中包含目标业务标识；
确定模块704，被配置为在所述服务节点的磁盘空间中不存在与所述目标业务标识对应的目标业务数据的情况下，基于所述目标业务标识确定并获取目标数据源中的目标业务数据；
计算模块706，被配置为将所述目标业务数据存入所述服务节点的磁盘空间，计算所述服务节点的当前磁盘空间利用率并获取预设磁盘空间利用率，其中，所述预设磁盘空间利用率根据历史业务数据获取请求确定；
调整模块708，被配置为在所述当前磁盘空间利用率大于所述预设磁盘空间利用率的情况下，根据预设的磁盘空间调整策略调整所述服务节点的磁盘空间。
可选的，所述计算模块706，进一步被配置为：
获取预设分片值；
根据所述预设分片值对所述目标业务数据进行分片，获得目标业务子数据；
将所述目标业务子数据存入所述服务节点的磁盘空间。
可选的，所述计算模块706，进一步被配置为：
获取所述服务节点的当前磁盘空间使用容量和磁盘空间总容量；
计算所述当前磁盘空间使用容量和所述磁盘空间总容量的比值；
将所述比值作为所述服务节点的当前磁盘空间利用率。
可选的，所述计算模块706，进一步被配置为：
接收当前统计周期内的磁盘空间利用率调整指令；
获取当前缓存命中率和上一缓存命中率；
根据所述当前缓存命中率和所述上一缓存命中率确定缓存命中增长率；
基于所述缓存命中增长率和预设缓存命中增长率区间确定预设磁盘空间利用率。
可选的，所述计算模块706，进一步被配置为：
根据所述历史业务数据获取请求确定所述当前缓存命中率和所述上一缓存命中率。
可选的，所述计算模块706，进一步被配置为：
获取上一统计周期内业务数据获取请求的请求命中缓存次数和请求总次数，获取当前统计周期内业务数据获取请求的请求命中缓存次数和请求总次数；
计算上一统计周期内业务数据获取请求的请求命中缓存次数和请求总次数的第一比值，将所述第一比值作为上一缓存命中率；
计算当前统计周期内业务数据获取请求的请求命中缓存次数和请求总次数的第二比值，将所述第二比值作为当前缓存命中率。
可选的，所述计算模块706，进一步被配置为：
获取初始磁盘空间利用率；
判断所述缓存命中增长率是否位于所述预设缓存命中增长率区间；
若是，则计算当前磁盘空间利用率，并将所述当前磁盘空间利用率作为预设磁盘空间利用率；
若否，则将所述初始磁盘空间利用率作为预设磁盘空间利用率。
可选的，所述装置还包括：
淘汰模块，被配置为根据所述预设磁盘空间调整策略淘汰所述服务节点的磁盘空间中的目标业务数据文件。
可选的，所述装置还包括：
获取模块，被配置为在所述服务节点的磁盘空间中存在与所述目标业务标识对应的目标业务数据的情况下，在所述服务节点的磁盘空间中获取与所述目标业务标识对应的目标业务数据。
可选的，所述装置还包括：
反馈模块，被配置为反馈所述目标业务数据。
上述为本实施例的一种数据处理装置的示意性方案。需要说明的是，该数据处理装置的技术方案与上述的数据处理方法的技术方案属于同一构思，数据处理装置的技术方案未详细描述的细节内容，均可以参见上述数据处理方法的技术方案的描述。
图8示出了根据本申请一实施例提供的一种计算设备的结构框图。该计算设备800的部件包括但不限于存储器810和处理器820。处理器820与存储器810通过总线830相连接，数据库850用于保存数据。
计算设备800还包括接入设备840，接入设备840使得计算设备800能够经由一个或多个网络860通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备840可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。
在本申请的一个实施例中，计算设备800的上述部件以及图8中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图8所示的计算设备结构框图仅仅是出于示例的目的，而不是对本申请范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备800可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备800还可以是移动式或静止式的服务器。
其中，处理器820执行所述指令时实现所述的数据处理方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的数据处理方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述数据处理方法的技术方案的描述。
本申请一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现如前所述数据处理方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的数据处理方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述数据处理方法的技术方案的描述。
上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本申请的内容，可作很多的修改和变化。本申请选取并具体描述这些实施例，是为了更好地解释本申请的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。

Claims (13)

1.一种数据处理方法，其特征在于，应用于服务节点，包括：
接收目标业务数据获取请求，其中，所述目标业务数据获取请求中包含目标业务标识；
在所述服务节点的磁盘空间中不存在与所述目标业务标识对应的目标业务数据的情况下，基于所述目标业务标识确定并获取目标数据源中的目标业务数据，其中，所述目标数据源是指保存有业务数据原始地址的服务节点；
将所述目标业务数据存入所述服务节点的磁盘空间，计算所述服务节点的当前磁盘空间利用率并获取预设磁盘空间利用率，其中，所述预设磁盘空间利用率根据历史业务数据获取请求确定；
在所述当前磁盘空间利用率大于所述预设磁盘空间利用率的情况下，根据预设的磁盘空间调整策略调整所述服务节点的磁盘空间。
2.如权利要求1所述的数据处理方法，其特征在于，将所述目标业务数据存入所述服务节点的磁盘空间，包括：
获取预设分片值；
根据所述预设分片值对所述目标业务数据进行分片，获得目标业务子数据；
将所述目标业务子数据存入所述服务节点的磁盘空间。
3.如权利要求1所述的数据处理方法，其特征在于，计算所述服务节点的当前磁盘空间利用率，包括：
获取所述服务节点的当前磁盘空间使用容量和磁盘空间总容量；
计算所述当前磁盘空间使用容量和所述磁盘空间总容量的比值；
将所述比值作为所述服务节点的当前磁盘空间利用率。
4.如权利要求1所述的数据处理方法，其特征在于，获取预设磁盘空间利用率，包括：
接收当前统计周期内的磁盘空间利用率调整指令；
获取当前缓存命中率和上一缓存命中率；
根据所述当前缓存命中率和所述上一缓存命中率确定缓存命中增长率；
基于所述缓存命中增长率和预设缓存命中增长率区间确定预设磁盘空间利用率。
5.如权利要求4所述的数据处理方法，其特征在于，获取当前缓存命中率和上一缓存命中率，包括：
根据所述历史业务数据获取请求确定所述当前缓存命中率和所述上一缓存命中率。
6.如权利要求5所述的数据处理方法，其特征在于，根据所述历史业务数据获取请求确定所述当前缓存命中率和所述上一缓存命中率，包括：
获取上一统计周期内业务数据获取请求的请求命中缓存次数和请求总次数，获取当前统计周期内业务数据获取请求的请求命中缓存次数和请求总次数；
计算上一统计周期内业务数据获取请求的请求命中缓存次数和请求总次数的第一比值，将所述第一比值作为上一缓存命中率；
计算当前统计周期内业务数据获取请求的请求命中缓存次数和请求总次数的第二比值，将所述第二比值作为当前缓存命中率。
7.如权利要求4所述的数据处理方法，其特征在于，基于所述缓存命中增长率和预设缓存命中增长率区间确定预设磁盘空间利用率，包括：
获取初始磁盘空间利用率；
判断所述缓存命中增长率是否位于所述预设缓存命中增长率区间；
若是，则计算当前磁盘空间利用率，并将所述当前磁盘空间利用率作为预设磁盘空间利用率；
若否，则将所述初始磁盘空间利用率作为预设磁盘空间利用率。
8.如权利要求1所述的数据处理方法，其特征在于，在所述当前磁盘空间利用率大于所述预设磁盘空间利用率的情况下，根据预设的磁盘空间调整策略调整所述服务节点的磁盘空间，包括：
根据所述预设磁盘空间调整策略淘汰所述服务节点的磁盘空间中的目标业务数据文件。
9.如权利要求1-8任意一项所述的数据处理方法，其特征在于，接收目标业务数据获取请求之后，还包括：
在所述服务节点的磁盘空间中存在与所述目标业务标识对应的目标业务数据的情况下，在所述服务节点的磁盘空间中获取与所述目标业务标识对应的目标业务数据。
10.如权利要求1-8任意一项所述的数据处理方法，其特征在于，获取所述目标业务数据之后，还包括：
反馈所述目标业务数据。
11.一种数据处理装置，其特征在于，包括：
接收模块，被配置为接收目标业务数据获取请求，其中，所述目标业务数据获取请求中包含目标业务标识；
确定模块，被配置为在服务节点的磁盘空间中不存在与所述目标业务标识对应的目标业务数据的情况下，基于所述目标业务标识确定并获取目标数据源中的目标业务数据，其中，所述目标数据源是指保存有业务数据原始地址的服务节点；
计算模块，被配置为将所述目标业务数据存入所述服务节点的磁盘空间，计算所述服务节点的当前磁盘空间利用率并获取预设磁盘空间利用率，其中，所述预设磁盘空间利用率根据历史业务数据获取请求确定；
调整模块，被配置为在所述当前磁盘空间利用率大于所述预设磁盘空间利用率的情况下，根据预设的磁盘空间调整策略调整所述服务节点的磁盘空间。
12.一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，其特征在于，所述处理器执行所述指令时实现权利要求1-10任意一项所述方法。
13.一种计算机可读存储介质，其存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1-10任意一项所述方法。
CN202110688648.2A 2021-06-21 2021-06-21 数据处理方法及装置 Active CN113342277B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110688648.2A CN113342277B (zh) 2021-06-21 2021-06-21 数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110688648.2A CN113342277B (zh) 2021-06-21 2021-06-21 数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN113342277A CN113342277A (zh) 2021-09-03
CN113342277B true CN113342277B (zh) 2022-11-08

Family

ID=77478685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110688648.2A Active CN113342277B (zh) 2021-06-21 2021-06-21 数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN113342277B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112486074A (zh) * 2020-12-03 2021-03-12 上海哔哩哔哩科技有限公司 数据处理***、方法及装置
CN114416485A (zh) * 2022-01-20 2022-04-29 上海幻电信息科技有限公司 数据处理方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106294206B (zh) * 2015-05-21 2022-04-29 广州华多网络科技有限公司 一种缓存数据处理方法以及装置
CN105915585A (zh) * 2016-03-31 2016-08-31 乐视控股（北京）有限公司 用于节点群组的缓存机制确定方法及***
WO2018027749A1 (zh) * 2016-08-11 2018-02-15 王志远 根据时间阈值自动压缩文件的方法和压缩***
CN110764708A (zh) * 2019-10-25 2020-02-07 北京浪潮数据技术有限公司 一种数据读取方法、装置、设备及存储介质
CN112083893A (zh) * 2020-09-25 2020-12-15 酒泉钢铁(集团)有限责任公司 一种基于Linux的磁盘空间优化方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112486074A (zh) * 2020-12-03 2021-03-12 上海哔哩哔哩科技有限公司 数据处理***、方法及装置
CN114416485A (zh) * 2022-01-20 2022-04-29 上海幻电信息科技有限公司 数据处理方法及装置

Also Published As

Publication number Publication date
CN113342277A (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
CN108055302B (zh) 一种图片缓存处理方法、***和服务器
CN104915319B (zh) 高速缓存信息的***及方法
US7251649B2 (en) Method for prioritizing content
CN108429777B (zh) 一种基于缓存的数据更新方法及服务器
CN106933868B (zh) 一种调整数据分片分布的方法及数据服务器
CN107197359B (zh) 视频文件缓存方法及装置
CN101510219A (zh) 文件数据访问方法、装置以及***
CN110727727B (zh) 一种数据库的统计方法及装置
CN111597213B (zh) 一种缓存方法、软件服务器及存储介质
WO2022057379A1 (zh) 数据存储调整方法、装置及计算机设备
CN105867846A (zh) 一种数据处理方法、服务器及***
CN107786668B (zh) 一种基于cdn网络的权重缓存网站方法
CN113342277B (zh) 数据处理方法及装置
CN109992209B (zh) 数据处理方法、装置及分布式存储***
CN114327302B (zh) 处理对象存储访问的方法、装置及***
WO2013097076A1 (zh) 一种缓存管理方法及设备
JP7392168B2 (ja) Ｃｄｎにおけるｕｒｌリフレッシュ方法、装置、機器及びｃｄｎノード
CN114385596A (zh) 数据处理方法及装置
KR102235622B1 (ko) IoT 환경에서의 협력 에지 캐싱 방법 및 그를 위한 장치
CN113296692B (zh) 数据读取方法及装置
CN113382078B (zh) 数据处理方法及装置
WO2017049488A1 (zh) 一种缓存管理方法和装置
CN109582233A (zh) 一种数据的缓存方法和装置
CN105530303A (zh) 一种网络缓存线性替换方法
CN112559574B (zh) 数据处理方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant