CN114153581A - 数据处理方法、装置、计算机设备和存储介质 - Google Patents

数据处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN114153581A
CN114153581A CN202111433575.9A CN202111433575A CN114153581A CN 114153581 A CN114153581 A CN 114153581A CN 202111433575 A CN202111433575 A CN 202111433575A CN 114153581 A CN114153581 A CN 114153581A
Authority
CN
China
Prior art keywords
target
task
data
priority
reading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111433575.9A
Other languages
English (en)
Inventor
林炎鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yunfan Acceleration Technology Co ltd
Beijing Kingsoft Cloud Network Technology Co Ltd
Original Assignee
Shenzhen Yunfan Acceleration Technology Co ltd
Beijing Kingsoft Cloud Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yunfan Acceleration Technology Co ltd, Beijing Kingsoft Cloud Network Technology Co Ltd filed Critical Shenzhen Yunfan Acceleration Technology Co ltd
Priority to CN202111433575.9A priority Critical patent/CN114153581A/zh
Publication of CN114153581A publication Critical patent/CN114153581A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请涉及一种数据处理方法、装置、计算机设备和存储介质。所述方法包括：目标节点获取目标终端的目标任务，所述目标任务为基于所述目标终端的数据请求生成的数据任务，所述数据请求携带有用于指示数据服务质量要求的数据标签；在目标节点的资源使用率大于或等于预设阈值的情况下，根据数据标签确定目标任务的处理优先级，得到目标优先级，并将目标任务保存至任务队列中，在处理优先级大于目标优先级的数据任务都执行完成的情况下，执行目标任务，以此方式按照不同的数据服务质量要求对目标节点接收到的数据任务进行分级，在边缘节点的资源使用率超标的情况下，可及时响应优先级较高的重要业务的数据请求。

Description

数据处理方法、装置、计算机设备和存储介质
技术领域
本申请涉及云计算技术领域，尤其涉及一种数据处理方法、装置、计算机设备和存储介质。
背景技术
CDN(Content Delivery Network，内容分发网络)是构建在现有网络基础之上的智能虚拟网络，依靠部署在各地的边缘服务器(即边缘节点)，通过中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取所需内容，降低网络拥塞，提高用户访问响应速度和命中率。
因为不同业务类型的客户对于数据服务质量的要求不一，一般情况下视频业务要求的服务质量大于下载类业务要求的服务质量，短视频业务要求的服务质量大于长视频业务要求的服务质量。但在边缘节点的资源使用率即将超标或已超标的情况下，会出现紧急的数据请求得不到及时的响应的情况，导致重要业务的服务质量变差。
发明内容
为了解决上述技术问题，本申请提供了一种数据处理方法、装置、计算机设备和存储介质。
第一方面，本申请提供了一种数据处理方法，应用于边缘节点，包括：
获取目标终端的目标任务，其中，所述目标任务用于为所述目标终端提供目标节点内存储的目标数据，所述目标任务为基于所述目标终端的数据请求生成的数据任务，所述数据请求携带有用于指示数据服务质量要求的数据标签；
在所述目标节点的资源使用率大于或等于预设阈值的情况下，根据所述数据标签确定所述目标任务对应的目标优先级，其中，所述目标优先级为所述目标任务的处理优先级；
将所述目标任务保存至任务队列；
在所述任务队列中处理优先级大于所述目标优先级的数据任务执行完成的情况下，执行所述目标任务。
第二方面，本申请提供了一种数据处理装置，包括：
任务获取模块，用于获取目标终端的目标任务，其中，所述目标任务用于为所述目标终端提供目标节点内存储的目标数据，所述目标任务为基于所述目标终端的数据请求生成的数据任务，所述数据请求携带有用于指示数据服务质量要求的数据标签；
优先级确定模块，用于在所述目标节点的资源使用率大于或等于预设阈值的情况下，根据所述数据标签确定所述目标任务对应的目标优先级，其中，所述目标优先级为所述目标任务的处理优先级；
任务保存模块，用于将所述目标任务保存至任务队列；
任务执行模块，用于在所述任务队列中处理优先级大于所述目标优先级的数据任务执行完成的情况下，执行所述目标任务。
第三方面，本申请提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取目标终端的目标任务，其中，所述目标任务用于为所述目标终端提供目标节点内存储的目标数据，所述目标任务为基于所述目标终端的数据请求生成的数据任务，所述数据请求携带有用于指示数据服务质量要求的数据标签；
在所述目标节点的资源使用率大于或等于预设阈值的情况下，根据所述数据标签确定所述目标任务对应的目标优先级，其中，所述目标优先级为所述目标任务的处理优先级；
将所述目标任务保存至任务队列；
在所述任务队列中处理优先级大于所述目标优先级的数据任务执行完成的情况下，执行所述目标任务。
第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取目标终端的目标任务，其中，所述目标任务用于为所述目标终端提供目标节点内存储的目标数据，所述目标任务为基于所述目标终端的数据请求生成的数据任务，所述数据请求携带有用于指示数据服务质量要求的数据标签；
在所述目标节点的资源使用率大于或等于预设阈值的情况下，根据所述数据标签确定所述目标任务对应的目标优先级，其中，所述目标优先级为所述目标任务的处理优先级；
将所述目标任务保存至任务队列；
在所述任务队列中处理优先级大于所述目标优先级的数据任务执行完成的情况下，执行所述目标任务。
基于上述数据处理方法，目标节点获取目标终端的目标任务，其中，目标节点用于指示任意一个边缘节点，目标任务用于为所述目标终端提供目标节点内存储的目标数据，所述目标任务为基于所述目标终端的数据请求生成的数据任务，所述数据请求携带有用于指示数据服务质量要求的数据标签；在目标节点的资源使用率大于或等于预设阈值的情况下，根据数据标签确定目标任务的处理优先级，得到目标优先级，并将目标任务保存至任务队列中，任务队列中的数据任务都是按照处理优先级的排序依次执行，优先处理优先级高的数据任务，在处理优先级大于目标优先级的数据任务都执行完成的情况下，执行目标任务，以此方式按照不同的数据服务质量要求对目标节点接收到的数据任务进行分级，在边缘节点的资源使用率超标的情况下，可及时响应优先级较高的重要业务的数据请求。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中数据处理方法的应用环境图；
图2为一个实施例中数据处理方法的流程示意图；
图3为一个实施例中数据处理装置的结构框图；
图4为一个实施例中计算机设备的内部结构图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为一个实施例中数据处理方法的应用环境图。参照图1，该数据处理方法应用于数据处理***。该数据处理***包括终端110、边缘节点120和调度中心130。终端110和边缘节点120、调度中心130通过网络连接。终端110具体可以是台式终端或移动终端，移动终端具体可以为手机、平板电脑、笔记本电脑等中的至少一种。边缘节点120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。边缘节点120具体可以为CDN节点或家庭节点，家庭节点为普通用户家庭利用闲置带宽提供下载服务的路由器或机顶盒等。CDN节点为内容分发网络中的节点，其中CDN节点是指距离最终用户接入具有较少中间环节的网络节点，对最终接入用户有较好的响应能力和连接速度，CDN节点可作为缓存服务器提供数据服务。
调度中心130在接收到终端110的数据请求后，根据数据请求所请求的目标数据为其匹配存储有目标数据的边缘节点120，将匹配的边缘节点120的访问地址返回至终端110，终端110根据访问地址向存储有目标数据的边缘节点120发送数据请求，边缘节点120根据数据请求为终端110提供目标数据的数据服务。
在一个实施例中，参照图2，提供了一种数据处理方法。本实施例主要以该方法应用于上述图1中的边缘节点来举例说明，该数据处理方法具体包括如下步骤：
步骤S210，获取目标终端的目标任务。
在本实施例中，目标任务用于为所述目标终端提供目标节点内存储的目标数据，目标节点为任意一个边缘节点，目标任务为基于目标终端的数据请求生成的数据任务，即目标节点在接收到数据请求的情况下生成对应的数据任务，数据请求携带有用于指示数据服务质量要求的数据标签，数据标签具体包括应用标签和业务标签，应用标签用于指示目标终端中发起数据请求的应用插件，例如，应用标签可以用于指示腾讯视频、芒果TV或快手直播等应用插件，应用标签具体为所指示的应用插件的唯一标识，如应用标识字符串。
步骤S220，在所述目标节点的资源使用率大于或等于预设阈值的情况下，根据所述数据标签确定所述目标任务对应的目标优先级。
在本实施例中，目标优先级为所述目标任务的处理优先级，目标节点的资源使用率大于或等于预设阈值，表示目标节点的访问量较大，无法及时响应所有数据请求，只能按照重要程度和紧急程度来选择需要及时响应部分数据请求，即在该情况下确定目标任务以及其他未执行的数据任务的处理优先级，处理优先级越高表示数据任务的重要程度和紧急程度越高，处理优先级高的待执行任务将被优先处理。
步骤S230，将所述目标任务保存至任务队列。
在本实施例中，任务队列用于保存目标节点未响应的所有数据请求对应的数据任务，且在任务队列中各个数据任务按照处理优先级降序排列，按照目标优先级位于任务队列中的顺序对应保存目标任务。
步骤S240，在所述任务队列中处理优先级大于所述目标优先级的数据任务执行完成的情况下，执行所述目标任务。
在本实施例中，目标节点按照处理优先级的降序顺序依次处理任务队列中的数据任务，在任务队列中处理优先级大于目标优先级的数据任务执行完成的情况下，才会执行目标任务，以此方式实现在边缘节点的资源使用率超标的情况下，也可及时响应优先级较高的重要业务的数据请求。
在一个实施例中，所述在所述目标节点的资源使用率大于或等于预设阈值的情况下，根据所述数据标签确定所述目标任务对应的目标优先级，包括：在所述目标节点的磁盘读取率大于或等于读取阈值的情况下，根据所述数据标签确定数据读取任务对应的目标读取优先级。
具体地，资源使用率包括所述磁盘读取率，磁盘读取率用于指示目标节点的磁盘读取性能，预设阈值包括所述读取阈值，目标优先级包括目标读取优先级，目标任务包括所述数据读取任务，读取阈值用于指示磁盘进行数据读取的上限，磁盘读取率大于或等于读取阈值表示磁盘读取性能达到数据读取上限，即目标节点接收到的数据请求较多，磁盘处于读不过来的情况，则根据数据标签确定数据读取任务的目标读取优先级，以此方式区分多个待读取的数据任务的优先级，便于目标节点后续选择优先级较高的数据任务进行读取。
在一个实施例中，根据所述数据标签确定数据读取任务对应的目标读取优先级之后，所述将所述目标任务保存至任务队列，包括：将所述数据读取任务保存至读取任务队列中；所述在所述任务队列中处理优先级大于所述目标优先级的数据任务执行完成的情况下，执行所述目标任务，包括：在所述读取任务队列中读取优先级大于所述目标读取优先级的数据任务执行完成的情况下，执行所述数据读取任务。
具体地，任务队列包括读取任务队列，读取任务队列用于保存所有目标节点的磁盘待读取的数据任务，按照读取优先级的降序顺序将数据读取任务保存至读取任务队列中，读取任务队列中各个待读取的数据任务依照读取优先级降序排列，目标节点优先执行读取任务队列中读取优先级高的待读取的数据任务，直至读取任务队列中读取优先级大于目标优先级的数据任务执行完成后，才执行目标终端对应的数据读取任务，以此方式实现边缘节点优先读取重要程度和紧急程度较高的数据任务。
在一个实施例中，所述在所述目标节点的资源使用率大于或等于预设阈值的情况下，根据所述数据标签确定所述数据任务对应的目标优先级，包括：在所述目标节点的带宽使用率大于或等于带宽阈值的情况下，根据所述数据标签确定数据发送任务对应的目标发送优先级。
具体地，资源使用率还包括带宽使用率，预设阈值包括带宽阈值，目标优先级包括目标发送优先级，数据任务包括数据发送任务。带宽使用率大于或等于带宽阈值，表示边缘节点的可使用带宽越小，即边缘节点的待发送数据较多，但带宽不够，边缘节点处于发不过来的状态，则需要将待发送数据进行优先级区分，即根据数据标签确定数据发送任务对应的目标发送优先级，以此方式确定各个数据任务对应的发送优先级，便于边缘节点可优先发送优先级较高的数据任务对应的待发送数据，以实现优先响应重要程度和紧急程度较高的数据请求。
在一个实施例中，根据所述数据标签确定数据发送任务对应的目标发送优先级之后，所述方法还包括：获取与所述数据发送任务对应的目标数据；所述将所述目标任务保存至任务队列，包括：将所述数据发送任务对应的目标数据保存至发送任务队列，其中，所述任务队列包括发送任务队列；所述在所述任务队列中处理优先级大于所述目标优先级的数据任务执行完成的情况下，执行所述目标任务，包括：在所述发送任务队列中发送优先级大于所述目标发送优先级的数据任务执行完成的情况下，发送所述目标数据至所述目标终端。
具体地，目标节点执行数据读取任务后，在本地查找目标终端的数据请求所需的目标数据，数据发送任务用于将数据请求所需的目标数据发送至目标终端，但由于目标节点的带宽使用率较高，则需要将数据发送任务对应的目标数据保存至发送任务队列中等待发送，发送任务队列包括所有待发送的数据，各个待发送的数据按照发送优先级降序排列，目标节点按照发送优先级依次发送待发送的数据，在发送任务队列中发送优先级大于目标发送优先级的数据任务执行完成，也就是发送任务队列中发送优先级大于目标发送优先级的待发送的数据已成功发送至对应的终端，才发送目标数据至目标终端，以此实现在边缘节点出现带宽使用率达到瓶颈时，优先发送重要程度和紧急程度较高的数据请求对应的数据，从而保证重要业务的数据服务质量不会由于边缘节点的资源使用率变高而变差。
在一个实施例中，所述数据标签包括应用标签、业务标签和首包标签，所述根据所述数据标签确定所述目标任务对应的目标优先级，包括：确定与所述应用标签对应的第一数值，；确定与所述业务标签对应的第二数值；确定与所述首包标签对应的第三数值；将所述第一数值、所述第二数值和所述第三数值进行加权求和，得到第四数值，其中，所述第四数值用于指示所述目标任务对应的目标优先级，所述目标任务为基于所述目标终端的数据请求中首包数据或非首包数据生成的数据任务。
具体地，第一数值用于指示所述应用标签对应的客户要求等级，边缘节点本地提前存储有优先级匹配规则，具体包括针对不同应用标签的服务质量要求的优先级数值、针对不同业务标签的服务质量要求的优先级数值、以及针对不同数据类型的服务质量要求的优先级数值，应用标签用于指示应用端客户，例如，芒果TV、腾讯视频、王者荣耀等应用端客户，不同的应用端客户对于数据服务质量要求也不同，例如，应用标签为芒果TV，在边缘节点本地查找芒果TV对应的优先级数值，查找到第一数值为30，第一数值位于第一数值区间内，假设第一数值区间为0-30，则确定芒果TV对于服务质量要求较高。
第二数值用于指示业务标签对应的业务要求等级，业务标签用于指示数据请求的业务类型，业务类型具体包括长视频业务、短视频业务、文件下载业务、游戏业务等，基于上述举例继续说明，应用标签为芒果TV，业务标签为长视频业务，在边缘节点本地查找长视频业务对应的优先级数值，查找到第二数值为20，第二数值位于第二数值区间内，假设第二数值区间为0-40，则确定芒果TV的长视频业务对于服务质量要求一般。
第三数值用于指示所述目标终端的数据请求中首包数据或非首包数据对应的服务要求等级，数据请求包括首包数据和非首包数据，目标任务包括第一任务和第二任务，边缘节点在接收到数据请求的情况下，根据数据请求中的首包数据生成对应的第一任务，根据数据请求中的非首包数据生成对应的第二任务，首包标签包括首包标识和非首包标识，首包标识用于指示第一任务是基于数据请求中的首包数据生成的，非首包标识用于指示第二任务是基于数据请求中的非首包数据生成的，第三数值位于第三数值区间内，第三数值区间可根据实际情况设定为任意数值区间，在本实施例中假设第三数值区间为0-10，在首包标签为首包标识的情况下，在边缘节点本地查找首包标识对应的优先级数值，查找到第三数值为10；在首包标签为非首包标识的情况下，查找到第三数值为0，第一任务的处理优先级大于第二任务的处理优先级。
各个标签对应的权重可根据实际情况进行自定义，示例性的，第一数值为30，第二数值为20，第三数值为10，各个标签对应的权重为1，将所述第一数值、所述第二数值和所述第三数值进行加权求和，即第四数值为30+20+10＝60，该数值用于指示第一任务对应的目标优先级。
在一个实施例中，所述执行所述目标任务之后，所述方法还包括：在所述目标任务作为所述任务队列中的队头任务执行完成的情况下，对所述任务队列中各个数据任务对应的处理优先级增加预设等级。
具体地，队头任务是指位于任务队列中首位的数据任务，预设等级用于指示任意正整数的等级数值，在队头任务执行完成的情况下，对任务队列中所有数据任务的处理优先级增加预设等级，即对各个数据任务对应的优先级数值增加相同的等级数值，例如，预设等级为10，在任务队列中每执行完成一个队头任务，都对任务队列中剩余数据任务的处理优先级对应的数值加上10，以此方式累加任务队列中剩余数据任务的处理优先级对应的数值，即迭代提升数据任务的处理优先级，避免优先级数值较低的数据任务长期无法被处理。
在一个实施例中，数据处理方法的流程如图2所示。应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图3所示，提供了一种数据处理装置，包括：
任务获取模块310，用于获取目标终端的目标任务，其中，所述目标任务用于为所述目标终端提供目标节点内存储的目标数据，所述目标任务为基于所述目标终端的数据请求生成的数据任务，所述数据请求携带有用于指示数据服务质量要求的数据标签；
优先级确定模块320，用于在所述目标节点的资源使用率大于或等于预设阈值的情况下，根据所述数据标签确定所述目标任务对应的目标优先级，其中，所述目标优先级为所述目标任务的处理优先级；
任务保存模块330，用于将所述目标任务保存至任务队列；
任务执行模块340，用于在所述任务队列中处理优先级大于所述目标优先级的数据任务执行完成的情况下，执行所述目标任务。
在一个实施例中，所述在所述目标节点的资源使用率大于或等于预设阈值的情况下，优先级确定模块320还用于：
在所述目标节点的磁盘读取率大于或等于读取阈值的情况下，根据所述数据标签确定数据读取任务对应的目标读取优先级，其中，所述资源使用率包括所述磁盘读取率，所述预设阈值包括所述读取阈值，所述目标优先级包括目标读取优先级，所述目标任务包括所述数据读取任务。
在一个实施例中，根据所述数据标签确定数据读取任务对应的目标读取优先级之后，所述任务保存模块330还用于：
将所述数据读取任务保存至读取任务队列中，其中，所述任务队列包括所述读取任务队列；
所述任务执行模块340还用于：
在所述读取任务队列中读取优先级大于所述目标读取优先级的数据任务执行完成的情况下，执行所述数据读取任务。
在一个实施例中，所述优先级确定模块320还用于：
在所述目标节点的带宽使用率大于或等于带宽阈值的情况下，根据所述数据标签确定数据发送任务对应的目标发送优先级，其中，所述资源使用率包括所述带宽使用率，所述预设阈值包括所述带宽阈值，所述目标优先级包括所述目标发送优先级，所述数据任务包括所述数据发送任务。
在一个实施例中，根据所述数据标签确定数据发送任务对应的目标发送优先级之后，所述装置还包括数据获取模块，用于：
获取与所述数据发送任务对应的目标数据；
所述任务保存模块330还用于：将所述数据发送任务对应的目标数据保存至发送任务队列，其中，所述任务队列包括发送任务队列；
所述任务执行模块340还用于：在所述发送任务队列中发送优先级大于所述目标发送优先级的数据任务执行完成的情况下，发送所述目标数据至所述目标终端。
在一个实施例中，所述数据标签包括应用标签、业务标签和首包标签，所述优先级确定模块320还用于：
确定与所述应用标签对应的第一数值，其中，所述第一数值用于指示所述应用标签对应的客户要求等级；
确定与所述业务标签对应的第二数值，其中，所述第二数值用于指示所述业务标签对应的业务要求等级；
确定与所述首包标签对应的第三数值，其中，所述第三数值用于指示所述目标终端的数据请求中首包数据或非首包数据对应的服务要求等级；
将所述第一数值、所述第二数值和所述第三数值进行加权求和，得到第四数值，其中，所述第四数值用于指示所述目标任务对应的目标优先级，所述目标任务为基于所述目标终端的数据请求中首包数据或非首包数据生成的数据任务。
在一个实施例中，所述执行所述目标任务之后，所述优先级确定模块320还用于：
在所述目标任务作为所述任务队列中的队头任务执行完成的情况下，对所述任务队列中各个数据任务对应的处理优先级增加预设等级。
如图4所示，计算机设备具体可以是图1中的边缘节点120。如图4所示，该计算机设备包括该计算机设备包括通过***总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作***，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现数据处理方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行数据处理方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的数据处理装置可以实现为一种计算机程序的形式，计算机程序可在如图4所示的计算机设备上运行。计算机设备的存储器中可存储组成该数据处理装置的各个程序模块，比如，图3所示的任务获取模块310、优先级确定模块320、任务保存模块330和任务执行模块340。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的数据处理方法中的步骤。
图4所示的计算机设备可以通过如图3所示的数据处理装置中的任务获取模块310执行获取目标终端的目标任务，其中，所述目标任务用于为所述目标终端提供目标节点内存储的目标数据，所述目标任务为基于所述目标终端的数据请求生成的数据任务，所述数据请求携带有用于指示数据服务质量要求的数据标签。计算机设备可通过优先级确定模块320执行在所述目标节点的资源使用率大于或等于预设阈值的情况下，根据所述数据标签确定所述目标任务对应的目标优先级，其中，所述目标优先级为所述目标任务的处理优先级。计算机设备可通过任务保存模块330执行将所述目标任务保存至任务队列。计算机设备可通过任务执行模块340执行在所述任务队列中处理优先级大于所述目标优先级的数据任务执行完成的情况下，执行所述目标任务。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一项实施例所述的方法。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一项实施例所述的方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指示相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍速率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据处理方法，其特征在于，应用于边缘节点，所述方法包括：
获取目标终端的目标任务，其中，所述目标任务用于为所述目标终端提供目标节点内存储的目标数据，所述目标任务为基于所述目标终端的数据请求生成的数据任务，所述数据请求携带有用于指示数据服务质量要求的数据标签；
在所述目标节点的资源使用率大于或等于预设阈值的情况下，根据所述数据标签确定所述目标任务对应的目标优先级，其中，所述目标优先级为所述目标任务的处理优先级；
将所述目标任务保存至任务队列；
在所述任务队列中处理优先级大于所述目标优先级的数据任务执行完成的情况下，执行所述目标任务。
2.根据权利要求1所述的方法，其特征在于，所述在所述目标节点的资源使用率大于或等于预设阈值的情况下，根据所述数据标签确定所述目标任务对应的目标优先级，包括：
在所述目标节点的磁盘读取率大于或等于读取阈值的情况下，根据所述数据标签确定数据读取任务对应的目标读取优先级，其中，所述资源使用率包括所述磁盘读取率，所述预设阈值包括所述读取阈值，所述目标优先级包括目标读取优先级，所述目标任务包括所述数据读取任务。
3.根据权利要求2所述的方法，其特征在于，根据所述数据标签确定数据读取任务对应的目标读取优先级之后，所述将所述目标任务保存至任务队列，包括：
将所述数据读取任务保存至读取任务队列中，其中，所述任务队列包括所述读取任务队列；
所述在所述任务队列中处理优先级大于所述目标优先级的数据任务执行完成的情况下，执行所述目标任务，包括：
在所述读取任务队列中读取优先级大于所述目标读取优先级的数据任务执行完成的情况下，执行所述数据读取任务。
4.根据权利要求1所述的方法，其特征在于，所述在所述目标节点的资源使用率大于或等于预设阈值的情况下，根据所述数据标签确定所述数据任务对应的目标优先级，包括：
在所述目标节点的带宽使用率大于或等于带宽阈值的情况下，根据所述数据标签确定数据发送任务对应的目标发送优先级，其中，所述资源使用率包括所述带宽使用率，所述预设阈值包括所述带宽阈值，所述目标优先级包括所述目标发送优先级，所述数据任务包括所述数据发送任务。
5.根据权利要求4所述的方法，其特征在于，根据所述数据标签确定数据发送任务对应的目标发送优先级之后，所述方法还包括：
获取与所述数据发送任务对应的目标数据；
所述将所述目标任务保存至任务队列，包括：将所述数据发送任务对应的目标数据保存至发送任务队列，其中，所述任务队列包括发送任务队列；
所述在所述任务队列中处理优先级大于所述目标优先级的数据任务执行完成的情况下，执行所述目标任务，包括：在所述发送任务队列中发送优先级大于所述目标发送优先级的数据任务执行完成的情况下，发送所述目标数据至所述目标终端。
6.根据权利要求1所述的方法，其特征在于，所述数据标签包括应用标签、业务标签和首包标签，所述根据所述数据标签确定所述目标任务对应的目标优先级，包括：
确定与所述应用标签对应的第一数值，其中，所述第一数值用于指示所述应用标签对应的客户要求等级；
确定与所述业务标签对应的第二数值，其中，所述第二数值用于指示所述业务标签对应的业务要求等级；
确定与所述首包标签对应的第三数值，其中，所述第三数值用于指示所述目标终端的数据请求中首包数据或非首包数据对应的服务要求等级；
将所述第一数值、所述第二数值和所述第三数值进行加权求和，得到第四数值，其中，所述第四数值用于指示所述目标任务对应的目标优先级，所述目标任务为基于所述目标终端的数据请求中首包数据或非首包数据生成的数据任务。
7.根据权利要求1所述的方法，其特征在于，所述执行所述目标任务之后，所述方法还包括：
在所述目标任务作为所述任务队列中的队头任务执行完成的情况下，对所述任务队列中各个数据任务对应的处理优先级增加预设等级。
8.一种数据处理装置，其特征在于，所述装置包括：
任务获取模块，用于获取目标终端的目标任务，其中，所述目标任务用于为所述目标终端提供目标节点内存储的目标数据，所述目标任务为基于所述目标终端的数据请求生成的数据任务，所述数据请求携带有用于指示数据服务质量要求的数据标签；
优先级确定模块，用于在所述目标节点的资源使用率大于或等于预设阈值的情况下，根据所述数据标签确定所述目标任务对应的目标优先级，其中，所述目标优先级为所述目标任务的处理优先级；
任务保存模块，用于将所述目标任务保存至任务队列；
任务执行模块，用于在所述任务队列中处理优先级大于所述目标优先级的数据任务执行完成的情况下，执行所述目标任务。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
CN202111433575.9A 2021-11-29 2021-11-29 数据处理方法、装置、计算机设备和存储介质 Pending CN114153581A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111433575.9A CN114153581A (zh) 2021-11-29 2021-11-29 数据处理方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111433575.9A CN114153581A (zh) 2021-11-29 2021-11-29 数据处理方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN114153581A true CN114153581A (zh) 2022-03-08

Family

ID=80454400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111433575.9A Pending CN114153581A (zh) 2021-11-29 2021-11-29 数据处理方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN114153581A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116225639A (zh) * 2022-12-13 2023-06-06 深圳市迈科龙电子有限公司 任务分配方法、装置、电子设备及可读存储介质
WO2023226716A1 (zh) * 2022-05-24 2023-11-30 华为技术有限公司 数据包发送方法、转发节点、发送端及存储介质
CN117651075A (zh) * 2024-01-25 2024-03-05 腾讯科技（深圳）有限公司 任务消息传输方法、装置、计算机设备及计算机可读存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023226716A1 (zh) * 2022-05-24 2023-11-30 华为技术有限公司 数据包发送方法、转发节点、发送端及存储介质
CN116225639A (zh) * 2022-12-13 2023-06-06 深圳市迈科龙电子有限公司 任务分配方法、装置、电子设备及可读存储介质
CN116225639B (zh) * 2022-12-13 2023-10-27 深圳市迈科龙电子有限公司 任务分配方法、装置、电子设备及可读存储介质
CN117651075A (zh) * 2024-01-25 2024-03-05 腾讯科技（深圳）有限公司 任务消息传输方法、装置、计算机设备及计算机可读存储介质
CN117651075B (zh) * 2024-01-25 2024-04-19 腾讯科技（深圳）有限公司 任务消息传输方法、装置、计算机设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN114153581A (zh) 数据处理方法、装置、计算机设备和存储介质
CN109688222B (zh) 共享计算资源的调度方法、共享计算***、服务器及存储介质
US20180027061A1 (en) Method and apparatus for elastically scaling virtual machine cluster
CN107451853B (zh) 一种红包实时派发的方法、装置、***及存储介质
CN107948004B (zh) 一种视频cdn调取优化方法及装置
CN110830564A (zh) Cdn调度方法、装置、***及计算机可读存储介质
CN112256417B (zh) 一种数据请求处理方法、装置及计算机可读存储介质
CN111897550B (zh) 镜像预加载方法、设备及存储介质
CN113630457B (zh) 任务调度方法、装置、计算机设备和存储介质
WO2023116219A1 (zh) Cdn节点分配方法、装置、电子设备、介质及程序产品
CN108282668B (zh) 一种视频的获取方法及***
CN113886069A (zh) 一种资源分配方法、装置、电子设备及存储介质
CN111193792A (zh) 一种消息传输方法、装置、电子设备和存储介质
CN110392119B (zh) 一种数据传输方法及基站
CN114003337A (zh) 访问请求的分配方法及装置
CN107045452B (zh) 虚拟机调度方法和装置
CN114077483A (zh) 数据资源调度方法、服务器、***及存储介质
CN113612841B (zh) 任务调度方法、装置、计算机设备和存储介质
CN108616576B (zh) 一种调度应用服务器的方法和装置
CN114885024B (zh) 应用实例的路由方法、装置、设备及介质
US20230161634A1 (en) Mapping an application signature to designated cloud resources
CN112616143B (zh) 一种分配通信号码的方法、装置、电子设备及存储介质
CN113626188A (zh) 任务推送方法、装置、计算机设备和存储介质
CN112491939B (zh) 多媒体资源调度方法及***
CN110401708B (zh) 基于服务器负载状态的会话处理***及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination