CN117575654B - 数据加工作业的调度方法及装置 - Google Patents

数据加工作业的调度方法及装置 Download PDF

Info

Publication number
CN117575654B
CN117575654B CN202311595234.0A CN202311595234A CN117575654B CN 117575654 B CN117575654 B CN 117575654B CN 202311595234 A CN202311595234 A CN 202311595234A CN 117575654 B CN117575654 B CN 117575654B
Authority
CN
China
Prior art keywords
data processing
reference ratio
target data
job
processing job
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311595234.0A
Other languages
English (en)
Other versions
CN117575654A (zh
Inventor
王佺伦
许志远
原国锐
许玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shuyi Technology Beijing Co ltd Wuhan Branch
Shuyi Technology Beijing Co ltd
Original Assignee
Shuyi Technology Beijing Co ltd Wuhan Branch
Shuyi Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shuyi Technology Beijing Co ltd Wuhan Branch, Shuyi Technology Beijing Co ltd filed Critical Shuyi Technology Beijing Co ltd Wuhan Branch
Priority to CN202311595234.0A priority Critical patent/CN117575654B/zh
Publication of CN117575654A publication Critical patent/CN117575654A/zh
Application granted granted Critical
Publication of CN117575654B publication Critical patent/CN117575654B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0206—Price or cost determination based on market factors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06312—Adjustment or analysis of established resource schedule, e.g. resource or task levelling, or dynamic rescheduling
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Educational Administration (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种数据加工作业的调度方法及装置，涉及大数据处理技术领域，其中方法包括：基于目标数据加工作业的历史参考比率，和/或，除目标数据加工作业之外的其它数据加工作业的最新参考比率，确定目标数据加工作业的当前参考比率；基于目标数据加工作业的当前参考比率，确定目标数据加工作业的耗时估值；基于耗时估值，确定目标数据加工作业的调度方案；其中，目标数据加工作业的当前参考比率用于表征目标数据加工作业在当前作业中的当前参考成本和有效耗时之间的比值，当前参考成本基于目标数据加工作业的作业处理逻辑和待处理数据的数据特征确定。本发明实现了数据加工作业的执行成本的实时和客观评估。

Description

数据加工作业的调度方法及装置
技术领域
本发明属于大数据处理技术领域，更具体地，涉及一种数据加工作业的调度方法及装置。
背景技术
在大数据处理过程中，对数据加工作业的执行成本及其变化进行及时的评估，可以为数据加工作业的调度管理提供可靠的参考，及时发现资源过度消耗的风险。
在当前对数据加工作业的执行成本及其变化进行评估的方案中，多依赖于用户经验判断数据加工作业的执行成本，主观性强且实时性要求难以达到。因此，急需提供一种可靠且实时性高的数据加工作业的执行成本的评估方案，为数据加工作业的调度管理建立基础。
发明内容
针对相关技术存在的上述缺陷，本发明的目的在于提供一种可靠且实时性高的数据加工作业的执行成本的评估方案，为数据加工作业的调度管理建立基础，旨在解决数据加工作业的执行成本的评估方案主要依靠用户经验导致的数据可靠性和实时性低的问题。
为实现上述目的，本发明提供了一种数据加工作业的调度方法及装置。
第一方面，本发明提供一种数据加工作业的调度方法，包括：
基于目标数据加工作业的历史参考比率，和/或，除目标数据加工作业之外的其它数据加工作业的最新参考比率，确定所述目标数据加工作业的当前参考比率；
基于所述目标数据加工作业的当前参考比率，确定所述目标数据加工作业的耗时估值；
基于所述耗时估值，确定所述目标数据加工作业的调度方案；
其中，所述目标数据加工作业的当前参考比率用于表征所述目标数据加工作业在当前作业中的当前参考成本和有效耗时之间的比值，所述当前参考成本基于所述目标数据加工作业的作业处理逻辑和待处理数据的数据特征确定。
在一些实施例中，所述确定所述目标数据加工作业的当前参考比率，包括：
基于所述目标数据加工作业在当前作业中的有效耗时和所述当前参考成本，确定所述目标数据加工作业的当前参考比率初始值；
基于所述当前参考比率初始值、所述历史参考比率和预设的第一权重，确定所述目标数据加工作业的当前参考比率。
在一些实施例中，所述历史参考比率为所述目标数据加工作业在最近n次作业的历史参考比率，或者，所述历史参考比率为所述目标数据加工作业在第一预设时间段内作业的历史参考比率。
在一些实施例中，在所述历史参考比率为所述目标数据加工作业在最近n次作业的历史参考比率的情况下，所述确定所述目标数据加工作业的当前参考比率，满足如下计算公式：
其中，R0表示所述目标数据加工作业的当前参考比率，Rthis表示所述当前参考比率初始值，Rk表示所述目标数据加工作业在最近第k次作业的历史参考比率，a表示所述第一权重。
在一些实施例中，所述确定所述目标数据加工作业的当前参考比率，包括：
基于除目标数据加工作业之外的其它数据加工作业的最新参考比率和预设的第二权重，确定当前全局参考比率；
确定所述当前全局参考比率为所述目标数据加工作业的当前参考比率。
在一些实施例中，所述其它数据加工作业为最近进行过作业执行的m个不同的数据加工作业，或者，所述其它数据加工作业为在第二预设时间段内进行过作业执行的不同的数据加工作业。
在一些实施例中，所述确定所述当前全局参考比率为所述目标数据加工作业的当前参考比率，包括：
在所述目标数据加工作业为第一次进行作业执行或作业执行次数未超过预设数量的情况下，确定所述当前全局参考比率为所述目标数据加工作业的当前参考比率；或者，
在基于目标数据加工作业的历史参考比率确定的所述目标数据加工作业的当前参考比率与所述历史参考比率之间的比值满足预设条件的情况下，确定所述当前全局参考比率为所述目标数据加工作业的当前参考比率。
在一些实施例中，所述基于所述耗时估值，确定所述目标数据加工作业的调度方案，包括：
基于所述耗时估值和预设的耗时阈值集合中的耗时阈值的大小关系，确定所述目标数据加工作业的调度方案；
其中，所述耗时阈值集合中的耗时阈值用于表征作业执行的耗时程度。
在一些实施例中，所述耗时阈值集合为所述目标数据加工作业对应的目标耗时阈值集合，或者，所述耗时阈值集合为至少两个数据加工作业对应的全局耗时阈值集合。
第二方面，本发明提供一种数据加工作业的调度装置，包括：
第一确定模块，用于基于目标数据加工作业的历史参考比率，和/或，除目标数据加工作业之外的其它数据加工作业的最新参考比率，确定所述目标数据加工作业的当前参考比率；
第二确定模块，用于基于所述目标数据加工作业的当前参考比率，确定所述目标数据加工作业的耗时估值；
第三确定模块，用于基于所述耗时估值，确定所述目标数据加工作业的调度方案；
其中，所述目标数据加工作业的当前参考比率用于表征所述目标数据加工作业在当前作业中的当前参考成本和有效耗时之间的比值，所述当前参考成本基于所述目标数据加工作业的作业处理逻辑和待处理数据的数据特征确定。
第三方面，本发明提供一种电子设备，包括：至少一个存储器，用于存储程序；至少一个处理器，用于执行存储器存储的程序，当存储器存储的程序被执行时，处理器用于执行第一方面或第一方面的任一种可能的实现方式所描述的方法。
第四方面，本发明提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，当计算机程序在处理器上运行时，使得处理器执行第一方面或第一方面的任一种可能的实现方式所描述的方法。
第五方面，本发明提供一种计算机程序产品，当计算机程序产品在处理器上运行时，使得处理器执行第一方面或第一方面的任一种可能的实现方式所描述的方法。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：
设定参考比率用于表征数据加工作业在作业中的参考成本和有效耗时之间的比值，参考成本基于作业处理逻辑和待处理数据的数据特征确定；通过目标数据加工作业的历史参考比率和/或除目标数据加工作业之外的其它数据加工作业的最新参考比率确定目标数据加工作业的当前参考比率，基于当前参考比率确定目标数据加工作业的耗时估值，实现了数据加工作业的执行成本的实时和客观评估方案，基于耗时估值进行目标数据加工作业的调度方案，为数据加工作业的调度管理提供了可靠的数据参考。
附图说明
图1是本发明实施例提供的数据加工作业的调度方法的流程示意图之一；
图2是本发明实施例提供的数据加工作业的调度方法的流程示意图之二；
图3是本发明实施例提供的数据加工作业的调度装置的结构示意图；
图4是本发明实施例提供的电子设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本文中术语“和/或”，是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本文中符号“/”表示关联对象是或者的关系，例如A/B表示A或者B。
本文中的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述对象的特定顺序。例如，第一响应消息和第二响应消息等是用于区别不同的响应消息，而不是用于描述响应消息的特定顺序。
在本发明实施例中，“基于A确定B”表示确定B时要考虑A这个因素。并不限于“只基于A就可以确定出B”，还应包括：“基于A和C确定B”、“基于A、C和E确定B”、基于“A确定C，基于C进一步确定B”等。另外还可以包括将A作为确定B的条件，例如，“当A满足第一条件时，使用第一方法确定B”；再例如，“当A满足第二条件时，确定B”等；再例如，“当A满足第三条件时，基于第一参数确定B”等。当然也可以是将A作为确定B的因素的条件，例如，“当A满足第一条件时，使用第一方法确定C，并进一步基于C确定B”等。
在本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
图1是本发明实施例提供的数据加工作业的调度方法的流程示意图之一，如图1所示，该方法至少包括以下步骤：
步骤(Step)101、基于目标数据加工作业的历史参考比率，和/或，除目标数据加工作业之外的其它数据加工作业的最新参考比率，确定目标数据加工作业的当前参考比率；
步骤(Step)102、基于目标数据加工作业的当前参考比率，确定目标数据加工作业的耗时估值；
步骤(Step)103、基于耗时估值，确定目标数据加工作业的调度方案；
其中，目标数据加工作业的当前参考比率用于表征目标数据加工作业在当前作业中的当前参考成本和有效耗时之间的比值，当前参考成本基于目标数据加工作业的作业处理逻辑和待处理数据的数据特征确定。
具体地，本发明实施例中设定数据加工作业的参考成本，参考成本基于数据加工作业的作业处理逻辑和待处理数据的数据特征确定，是对作业的执行成本的估算值，无单位。影响参考成本的估算的因素主要包括数据加工作业的作业处理逻辑和待处理数据的数据特征确定。对于指定的数据加工作业而言，作业处理逻辑一般是预先设定好的，轻易不会进行变更。待处理数据的数据特征，具体可以是指数据量和数据分布特征。参考成本具有时效性，随时间变化，因此可以随着作业的执行进行实时评估，或者，通过设定定时器等进行间歇性评估。
基于数据加工作业的作业处理逻辑和待处理数据的数据特征确定参考成本，例如，基于数据库引擎结构化查询语言(Structured Query Language,SQL)执行计划提供的成本信息，进行汇总得到参考成本。
进一步地，本发明实施例中设定数据加工作业的参考比率，用于表征数据加工作业在作业中的参考成本和有效耗时之间的比值。其中，有效耗时是指数据加工作业在执行过程中，除一些必要且预先设定好的程序准备时间之外的实际耗时。基于历史数据和专家经验来看，认为数据加工作业的参考比率对于固定的作业处理逻辑和相同数量级的目标数据来说是相对稳定的。
具体来说，在目标数据加工作业每一次作业执行结束后，借助目标数据加工作业的历史参考比率，和/或，除目标数据加工作业之外的其它数据加工作业的最新参考比率，确定目标数据加工作业的当前参考比率。参考比例的计算是随着作业的执行次数不断进行的，实时性高。
确定出目标数据加工作业的当前参考比率之后，利用当前参考比率确定目标数据加工作业的耗时估值，然后利用耗时估值确定目标数据加工作业的调度方案。利用耗时估值确定目标数据加工作业的调度方案，例如，当耗时估值超出一定期望时，***自动进行报警，提醒用户注意该数据加工作业的作业执行成本异常，避免资源消耗冲击风险；再例如，基于耗时估值对作业处理逻辑进行调整；再例如，基于耗时估值的历史值，发现数据量调整对作业执行成本的影响；再例如，根据组织机构的业务特点和业务需求等，基于各个数据加工作业的耗时估值进行整体的规划调度。
本发明实施例提供的数据加工作业的调度方法，设定参考比率用于表征数据加工作业在作业中的参考成本和有效耗时之间的比值，参考成本基于作业处理逻辑和待处理数据的数据特征确定；通过目标数据加工作业的历史参考比率和/或除目标数据加工作业之外的其它数据加工作业的最新参考比率确定目标数据加工作业的当前参考比率，基于当前参考比率确定目标数据加工作业的耗时估值，实现了数据加工作业的执行成本的实时和客观评估方案，基于耗时估值进行目标数据加工作业的调度方案，为数据加工作业的调度管理提供了可靠的数据参考。
在一些实施例中，步骤101中确定目标数据加工作业的当前参考比率，具体包括：
基于目标数据加工作业在当前作业中的有效耗时和当前参考成本，确定目标数据加工作业的当前参考比率初始值；
基于当前参考比率初始值、历史参考比率和预设的第一权重，确定目标数据加工作业的当前参考比率。
具体地，针对同一数据加工作业，与执行成本相关的历史数据对于未来的有效耗时的预估有着重要的使用价值。利用目标数据加工作业的历史参考比率，确定当前参考比率。
在目标数据加工作业成功调度执行后，可以实时获取到当前作业中的有效耗时。参考成本也可以随着数据加工作业的推进进行实时性地评估或者间歇性地评估。结合目标数据加工作业在当前作业中的有效耗时Tthis和最近评估的当前参考成本Clast，可以得到目标数据加工作业的当前参考比率初始值Rthis。具体满足如下计算公式：
Rthis＝Clast/Ttthis
得到目标数据加工作业的当前参考比率初始值Rthis之后，结合目标数据加工作业的历史参考比率和预先设定的第一权重，计算目标数据加工作业的当前参考比率。
进一步地，目标数据加工作业的当前参考比率初始值Rthis之后，影响当前参考比率的数据可靠性的因素还有历史参考比率和第一权重。
对于历史参考比率的选择，在一些实施例中，历史参考比率为目标数据加工作业在最近n次作业的历史参考比率，或者，历史参考比率为目标数据加工作业在第一预设时间段内作业的历史参考比率。
具体地，可以选定与当前作业最相近的n次历史作业对应的历史参考比率，计算当前参考比率。或者，可以选定当前作业执行之前第一时间段内的多次作业对应的历史参考比率，计算当前参考比率。具体的选定方案以及n的取值或第一时间段的取值，可以根据实际执行过程中的业务需求进行设定或者调整。其中，n为正整数。
对于第一权重的设定，在一些实施例中，第一权重a为大于0且小于1的常数。第一权重设置的目的在于给各个历史参考比率进行赋权计算。本发明认为与当前作业越相近的作业的历史数据对当前参考比率的计算越有参考价值，赋权计算的原则是与当前作业越相近的作业对应的历史参考比率的权重越高。
在一些实施例中，如果选定历史参考比率为目标数据加工作业在最近n次作业的历史参考比率，则一种可能的确定目标数据加工作业的当前参考比率的方式满足如下计算公式：
其中，R0表示目标数据加工作业的当前参考比率，Rthis表示当前参考比率初始值，Rk表示目标数据加工作业在最近第k次作业的历史参考比率，a表示第一权重。
可以想到的是，如果选定历史参考比率为目标数据加工作业在第一预设时间段内作业的历史参考比率，同样可以利用上述公式计算当前参考比率。但n的取值可能在每一次计算时都会发生变化，可能增加***的计算复杂度。
本发明实施例提供的数据加工作业的调度方法，通过计算目标数据加工作业的当前参考比率初始值，以及选定历史参考比率和第一权重，来计算目标数据加工作业的当前参考比率，进一步明确了数据加工作业的执行成本的实时和客观评估方案。
在一些实施例中，步骤101中确定目标数据加工作业的当前参考比率，具体包括：
基于除目标数据加工作业之外的其它数据加工作业的最新参考比率和预设的第二权重，确定当前全局参考比率；
确定当前全局参考比率为目标数据加工作业的当前参考比率。
具体地，除针对指定数据加工作业的参考比率外，在实际业务调度过程中，往往是多个数据加工作业同步或协作执行的，因此本发明考虑利用不同数据加工作业的全局参考比率来计算目标数据加工作业的当前参考比率。
基于除目标数据加工作业之外的其它数据加工作业的最新参考比率和预设的第二权重，确定当前全局参考比率；确定当前全局参考比率为目标数据加工作业的当前参考比率。在该过程中，涉及到其它数据加工作业的选择和第二权重的设定。
对于其它数据加工作业的选择，在一些实施例中，其它数据加工作业为最近进行过作业执行的m个不同的数据加工作业，或者，其它数据加工作业为在第二预设时间段内进行过作业执行的不同的数据加工作业。
具体地，可以选定最近执行过的m个不同的数据加工作业的最新参考比率，计算当前全局参考比率。或者，可以选定当前作业执行之前第二时间段内进行过作业执行的不同的数据加工作业。其中，m为正整数。
可选地，m和前文中n的设定彼此独立，可以相同，也可以不同。可选地，第二时间段和前文中第一时间段的设定彼此独立，可以相同，也可以不同。其它数据加工作业具体的选定方案以及m的取值或者第二时间段的取值，可以根据实际执行过程中的业务需求进行设定或者调整。
对于第二权重的设定，在一些实施例中，第二权重b为大于0且小于1的常数。第二权重设置的目的在于给各个不同的其它数据加工作业的最新参考比率进行赋权计算。本发明认为与目标数据加工作业的执行时间越相近的数据加工作业，与目标数据加工作业之间的关联度越高，即赋权计算的原则是与执行时间与目标数据加工作业当前作业的执行时间越近的数据加工作业对应的最新参考比率的权重越高。
同样地，全局参考比率也是随着时间变化的，不断进行更新。在一定的时间段内，如果有新增执行的数据加工作业，或者，某数据加工作业的参考比率发生了更新，都可以同步更新全局参考比率。
可选地，全局参考比率满足如下计算公式：
其中，Rg表示全局参考比率，Rnew表示新增数据加工作业的最新参考比率或参考比率发生变更的已有数据加工作业的最新参考比率，Rj表示第j个数据加工作业的最新参考比率，m表示参考比率还未变更的其它数据加工作业的总数，b表示第二权重。其中，N为正整数。
本发明实施例提供的数据加工作业的调度方法，利用除目标数据加工作业的之外的其它数据加工作业的最新参考比率，以及设定的第二权重，计算当前全局参考比率，以当前全局参考比率作为目标数据加工作业的当前参考比率，进一步明确了数据加工作业的执行成本的实时和客观评估方案。
在一些实施例中，确定当前全局参考比率为目标数据加工作业的当前参考比率，包括：
在目标数据加工作业为第一次进行作业执行或作业执行次数未超过预设数量的情况下，确定当前全局参考比率为目标数据加工作业的当前参考比率；或者，
在基于目标数据加工作业的历史参考比率确定的目标数据加工作业的当前参考比率与历史参考比率之间的比值满足预设条件的情况下，确定当前全局参考比率为目标数据加工作业的当前参考比率。
具体地，以当前全局参考比率作为目标数据加工作业的当前参考比率，可以适用于一定的场景。
例如，目标数据加工作业为首次执行时，并无历史数据的记录，则可以以当前全局参考比率作为目标数据加工作业的当前参考比率。
例如，目标数据加工作业的执行次数较少，例如小于等于选定的历史参考比例的数量n时，认为历史数据的样本量较少，利用历史参考比率计算出的当前参考比率具有较大的误差或偶然性，则考虑以当前全局参考比率为目标数据加工作业的当前参考比率。
再例如，基于历史经验可以知道，对于固定的作业处理逻辑和数量级的待处理数据而言，参考比率应当是相对稳定的，那么当某一次利用历史参考比率计算出的当前参考比率出现了明显异常，例如与历史参考比率之间的比值满足预设条件的情况，具体例如与任一/全部/指定数量个历史参考比率之间的比值大于第一门限值或者小于第二门限值，则认为该值为异常值，应当舍弃，则使用当前全局参考比率作为目标数据加工作业的当前参考比率。
在一些实施例中，步骤101中确定目标数据加工作业的当前参考比率，具体包括：
基于目标数据加工作业的历史参考比率，确定第一参考比率；
基于除目标数据加工作业之外的其它数据加工作业的最新参考比率，确定第二参考比率；
基于第一参考比率和第二参考比率，确定目标数据加工作业的当前参考比率。
可选地，基于第一参考比率和第二参考比率，确定目标数据加工作业的当前参考比率，具体包括：
对第一参考比率和第二参考比率进行加权处理，确定目标数据加工作业的当前参考比率。
在一些实施例中，步骤103中基于耗时估值，确定目标数据加工作业的调度方案，具体包括：
基于耗时估值和预设的耗时阈值集合中的耗时阈值的大小关系，确定目标数据加工作业的调度方案；
其中，耗时阈值集合中的耗时阈值用于表征作业执行的耗时程度。
具体地，获取到目标数据加工作业的耗时估值之后，利用预设的耗时阈值对作业执行的耗时程度进行判定，确定目标数据加工作业的调度方案。
耗时阈值用于表征作业执行的耗时程度，不同的耗时阈值用于表征不同程度的耗时。一般可以设定至少两个耗时阈值，构成耗时阈值集合。例如，设定2个耗时阈值，一个为较高阈值，一个为过高阈值，当大于该较高阈值但未大于该过高阈值时，表明作业耗时较长，资源消耗风险较高；当大于该过高阈值时，表明作业耗时过高，资源消耗风险过高。可选地，通过不同耗时程度的耗时阈值的设定，可以设置不同级别的报警通知。
在一些实施例中，耗时阈值集合为目标数据加工作业对应的目标耗时阈值集合，或者，耗时阈值集合为至少两个数据加工作业对应的全局耗时阈值集合。
具体地，考虑不同的数据加工作业，设定了针对目标数据加工作业的目标耗时阈值集合，以及针对业务调度的整体的全局耗时阈值集合。
可选地，针对单个数据加工作业，指定目标耗时阈值集合；当未指定时，或者，根据业务实际需求进行调整，选定全局耗时阈值集合。
在一些实施例中，步骤102中基于目标数据加工作业的当前参考比率，确定目标数据加工作业的耗时估值，具体包括：
基于当前参考比率和更新的参考成本，确定耗时估值。
具体地，在确定出目标数据加工作业的当前参考比率之后，参考成本可能发生了评估更新，利用更新的参考成本和当前参考比率，计算耗时估值。
下面以一个具体的示例对本发明提供的技术方案进一步进行说明。
图2是本发明实施例提供的数据加工作业的调度方法的流程示意图之二，如图2所示，该方法至少包括以下步骤：
情况1：当作业成功调度执行之后，获得本次作业执行的有效耗时Tthis，结合作业的当前参考成本Clast，计算当前参考比率初始值Rthis。综合该作业的历史参考比率{R1，R2，...，Rn}和第一权重a，计算当前参考比率R0。可选地，综合其它作业的最新参考比率{Rt1，Rt2，...，Rtm}和第二权重b，计算当前全局参考比率Rg。
情况2：当用户主动触发评估作业成本或***自动评估作业成本时，调用作业参考成本计算模块，获得更新的参考成本Cthis，除以参考比率R0或Rg，得到作业的当前耗时估值，根据该作业的耗时阈值集合，判断作业当前的执行成本是否较高，给予用户反馈或发送预计通知。
在某大数据治理平台项目中，基于项目的业务特征，预先设定以下参数：
全局耗时阈值集合的初始值：较高阈值＝600秒和过高阈值＝6000秒；
全局参考比率的初始值：100万/秒；
历史参考比率个数n：9；
第一权重a：0.5；
其它数据加工作业个数m：9；
第二权重b：0.95。
第一数据加工作业TA开发后，在上线前对该作业的执行成本进行评估：
调用作业参考成本模块，得到该作业当前的估算成本，例如为50万。该示例中，作业参考成本模块的实现方式为统计该作业所有SQL语句的估算成本，每个SQL语句的估算成本等于目标数据库引擎的执行计划提供的成本值。主流数据库引擎如MySQL、Oracle、PostgreSQL、DB2等都具有这个能力
该作业尚未被执行过，参考比率R0为空，因此使用全局参考比率(100万/秒)，计算得到该作业的当前估算耗时为0.5秒。该作业没有指定耗时阈值，因此使用全局耗时阈值，之前估算的耗时0.5秒远远低于全局较高阈值600秒，提示用户没有资源成本风险。
第一数据加工作业TA发布上线，成功调度执行，得到有效耗时为5秒。计算当前参考比率，之前最近的估算成本为50万，得到Rthis＝10万/秒；该作业没有历史参考比率，因此汇总得到当前参考比率R0＝10万/秒；更新全局参考比率，当前值为100万/秒，既有的作业参考比率只有一个10万/秒，从而得到新的全局参考比率为
第一数据加工作业TA上线后，***自动执行成本评估。调用作业参考成本模块，得到该作业的估算成本为60万，比之前有提升，应该是数据量变化导致。基于R0＝10万/秒，计算得到该作业的当前估算耗时为6秒。该作业没有指定耗时阈值，因此使用全局耗时阈值，判定作业执行成本较低。
第一数据加工作业TA再次调度后，根据得到的有效耗时，再次更新作业参考比率，例如得到Rthis＝12万/秒，从而新的 继而更新全局参考比率为/>
一段时间后，用户确定对于第一数据加工作业TA的执行预期为10秒左右，不应该超过60秒，更新其耗时阈值集合，之后再对第一数据加工作业TA进行执行成本评估时，将指定阈值判断执行成本是否过高。
第二个数据加工作业TB开发后，在上线前对该作业的执行成本进行评估，将使用新的全局参考比率估算作业的执行耗时。第二数据加工作业TB调度执行后，计算得到该作业的参考比率，进而再次更新全局参考比率，这时全局参考比率将综合TA、TB两个作业的参考比率值进行汇总计算。
随着上线作业的增多，持续的执行，全局参考比率将趋向一个合理的水平，它未必非常稳定，但对于新创建的作业来说，首次评估的执行时间将更可靠。
每个作业随着持续的调度执行，参考比率将越来越稳定，当执行的目标数据量发生比较大的变化时，用户主动评估以及***自动评估都能够提前或及时发现资源消耗过大的风险；当作业的处理逻辑发生变化后，在有限几次执行后，其作业参考比率也将自动稳定在一个新的水平。
图3是本发明实施例提供的数据加工作业的调度装置的结构示意图，如图3所示，该装置至少包括：
第一确定模块301，用于基于目标数据加工作业的历史参考比率，和/或，除目标数据加工作业之外的其它数据加工作业的最新参考比率，确定目标数据加工作业的当前参考比率；
第二确定模块302，用于基于目标数据加工作业的当前参考比率，确定目标数据加工作业的耗时估值；
第三确定模块303，用于基于耗时估值，确定目标数据加工作业的调度方案；
其中，目标数据加工作业的当前参考比率用于表征目标数据加工作业在当前作业中的当前参考成本和有效耗时之间的比值，当前参考成本基于目标数据加工作业的作业处理逻辑和待处理数据的数据特征确定。
在一些实施例中，第一确定模块301包括：
第一确定单元，用于基于目标数据加工作业在当前作业中的有效耗时和当前参考成本，确定目标数据加工作业的当前参考比率初始值；
第二确定单元，用于基于当前参考比率初始值、历史参考比率和预设的第一权重，确定目标数据加工作业的当前参考比率。
在一些实施例中，历史参考比率为目标数据加工作业在最近n次作业的历史参考比率，或者，历史参考比率为目标数据加工作业在第一预设时间段内作业的历史参考比率。
在一些实施例中，在历史参考比率为目标数据加工作业在最近n次作业的历史参考比率的情况下，确定目标数据加工作业的当前参考比率，满足如下计算公式：
其中，R0表示目标数据加工作业的当前参考比率，Rthis表示当前参考比率初始值，Rk表示目标数据加工作业在最近第k次作业的历史参考比率，a表示第一权重。
在一些实施例中，第一确定模块301包括：
第三确定单元，用于基于除目标数据加工作业之外的其它数据加工作业的最新参考比率和预设的第二权重，确定当前全局参考比率；
第四确定单元，用于确定当前全局参考比率为目标数据加工作业的当前参考比率。
在一些实施例中，其它数据加工作业为最近进行过作业执行的m个不同的数据加工作业，或者，其它数据加工作业为在第二预设时间段内进行过作业执行的不同的数据加工作业。
在一些实施例中，第四确定单元具体用于：
在目标数据加工作业为第一次进行作业执行或作业执行次数未超过预设数量的情况下，确定当前全局参考比率为目标数据加工作业的当前参考比率；或者，
在基于目标数据加工作业的历史参考比率确定的目标数据加工作业的当前参考比率与历史参考比率之间的比值满足预设条件的情况下，确定当前全局参考比率为目标数据加工作业的当前参考比率。
在一些实施例中，第三确定模块303包括：
第五确定单元，用于基于耗时估值和预设的耗时阈值集合中的耗时阈值的大小关系，确定目标数据加工作业的调度方案；
其中，耗时阈值集合中的耗时阈值用于表征作业执行的耗时程度。
在一些实施例中，耗时阈值集合为目标数据加工作业对应的目标耗时阈值集合，或者，耗时阈值集合为至少两个数据加工作业对应的全局耗时阈值集合。
可以理解的是，上述各个单元/模块的详细功能实现可参见前述方法实施例中的介绍，在此不做赘述。
应当理解的是，上述装置用于执行上述实施例中的方法，装置中相应的程序模块，其实现原理和技术效果与上述方法中的描述类似，该装置的工作过程可参考上述方法中的对应过程，此处不再赘述。
基于上述实施例中的方法，本发明实施例提供了一种电子设备。该设备可以包括：至少一个用于存储程序的存储器和至少一个用于执行存储器存储的程序的处理器。其中，当存储器存储的程序被执行时，处理器用于执行上述实施例中所描述的方法。
图4是本发明实施例提供的电子设备的结构示意图，如图4所示，该电子设备可以包括：处理器(processor)401、通信接口(Communications Interface)420、存储器(memory)403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信。处理器401可以调用存储器403中的软件指令，以执行上述实施例中所描述的方法。
基于上述实施例中的方法，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，当计算机程序在处理器上运行时，使得处理器执行上述实施例中的方法。
基于上述实施例中的方法，本发明实施例提供了一种计算机程序产品，当计算机程序产品在处理器上运行时，使得处理器执行上述实施例中的方法。
可以理解的是，本发明实施例中的处理器可以是中央处理单元(CentralProcessing Unit,CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、晶体管逻辑器件，硬件部件或者其任意组合。通用处理器可以是微处理器，也可以是任何常规的处理器。
本发明实施例中的方法步骤可以通过硬件的方式来实现，也可以由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(Random Access Memory,RAM)、闪存、只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者通过计算机可读存储介质进行传输。计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(Solid State Disk,SSD))等。
可以理解的是，在本发明实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本发明的实施例的范围。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种数据加工作业的调度方法，其特征在于，包括：
基于目标数据加工作业的历史参考比率，和/或，除目标数据加工作业之外的其它数据加工作业的最新参考比率，确定所述目标数据加工作业的当前参考比率；
基于所述目标数据加工作业的当前参考比率，确定所述目标数据加工作业的耗时估值；
基于所述耗时估值，确定所述目标数据加工作业的调度方案；
其中，所述目标数据加工作业的当前参考比率用于表征所述目标数据加工作业在当前作业中的当前参考成本和有效耗时之间的比值，所述当前参考成本基于所述目标数据加工作业的作业处理逻辑和待处理数据的数据特征确定；
其中，所述确定所述目标数据加工作业的当前参考比率，包括：
基于所述目标数据加工作业在当前作业中的有效耗时和所述当前参考成本，确定所述目标数据加工作业的当前参考比率初始值；
基于所述当前参考比率初始值、所述历史参考比率和预设的第一权重，确定所述目标数据加工作业的当前参考比率；所述历史参考比率为所述目标数据加工作业在最近n次作业的历史参考比率，或者，所述历史参考比率为所述目标数据加工作业在第一预设时间段内作业的历史参考比率；
或者，所述确定所述目标数据加工作业的当前参考比率，包括：
基于除目标数据加工作业之外的其它数据加工作业的最新参考比率和预设的第二权重，确定当前全局参考比率；所述其它数据加工作业为最近进行过作业执行的m个不同的数据加工作业，或者，所述其它数据加工作业为在第二预设时间段内进行过作业执行的不同的数据加工作业；
确定所述当前全局参考比率为所述目标数据加工作业的当前参考比率。
2.根据权利要求1所述的数据加工作业的调度方法，其特征在于，在所述历史参考比率为所述目标数据加工作业在最近n次作业的历史参考比率的情况下，所述确定所述目标数据加工作业的当前参考比率，满足如下计算公式：
其中，表示所述目标数据加工作业的当前参考比率，/>表示所述当前参考比率初始值，/>表示所述目标数据加工作业在最近第k次作业的历史参考比率，/>表示所述第一权重。
3.根据权利要求1所述的数据加工作业的调度方法，其特征在于，所述确定所述当前全局参考比率为所述目标数据加工作业的当前参考比率，包括：
在所述目标数据加工作业为第一次进行作业执行或作业执行次数未超过预设数量的情况下，确定所述当前全局参考比率为所述目标数据加工作业的当前参考比率；或者，
在基于目标数据加工作业的历史参考比率确定的所述目标数据加工作业的当前参考比率与所述历史参考比率之间的比值满足预设条件的情况下，确定所述当前全局参考比率为所述目标数据加工作业的当前参考比率。
4.根据权利要求1所述的数据加工作业的调度方法，其特征在于，所述基于所述耗时估值，确定所述目标数据加工作业的调度方案，包括：
基于所述耗时估值和预设的耗时阈值集合中的耗时阈值的大小关系，确定所述目标数据加工作业的调度方案；
其中，所述耗时阈值集合中的耗时阈值用于表征作业执行的耗时程度。
5.根据权利要求4所述的数据加工作业的调度方法，其特征在于，所述耗时阈值集合为所述目标数据加工作业对应的目标耗时阈值集合，或者，所述耗时阈值集合为至少两个数据加工作业对应的全局耗时阈值集合。
6.一种数据加工作业的调度装置，其特征在于，包括：
第一确定模块，用于基于目标数据加工作业的历史参考比率，和/或，除目标数据加工作业之外的其它数据加工作业的最新参考比率，确定所述目标数据加工作业的当前参考比率；
第二确定模块，用于基于所述目标数据加工作业的当前参考比率，确定所述目标数据加工作业的耗时估值；
第三确定模块，用于基于所述耗时估值，确定所述目标数据加工作业的调度方案；
其中，所述目标数据加工作业的当前参考比率用于表征所述目标数据加工作业在当前作业中的当前参考成本和有效耗时之间的比值，所述当前参考成本基于所述目标数据加工作业的作业处理逻辑和待处理数据的数据特征确定；
其中，所述第一确定模块包括：
第一确定单元，用于基于所述目标数据加工作业在当前作业中的有效耗时和所述当前参考成本，确定所述目标数据加工作业的当前参考比率初始值；
第二确定单元，用于基于所述当前参考比率初始值、所述历史参考比率和预设的第一权重，确定所述目标数据加工作业的当前参考比率；所述历史参考比率为所述目标数据加工作业在最近n次作业的历史参考比率，或者，所述历史参考比率为所述目标数据加工作业在第一预设时间段内作业的历史参考比率；
或者，所述第一确定模块包括：
第三确定单元，用于基于除目标数据加工作业之外的其它数据加工作业的最新参考比率和预设的第二权重，确定当前全局参考比率；所述其它数据加工作业为最近进行过作业执行的m个不同的数据加工作业，或者，所述其它数据加工作业为在第二预设时间段内进行过作业执行的不同的数据加工作业；
第四确定单元，用于确定所述当前全局参考比率为所述目标数据加工作业的当前参考比率。
CN202311595234.0A 2023-11-27 2023-11-27 数据加工作业的调度方法及装置 Active CN117575654B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311595234.0A CN117575654B (zh) 2023-11-27 2023-11-27 数据加工作业的调度方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311595234.0A CN117575654B (zh) 2023-11-27 2023-11-27 数据加工作业的调度方法及装置

Publications (2)

Publication Number Publication Date
CN117575654A CN117575654A (zh) 2024-02-20
CN117575654B true CN117575654B (zh) 2024-05-14

Family

ID=89885965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311595234.0A Active CN117575654B (zh) 2023-11-27 2023-11-27 数据加工作业的调度方法及装置

Country Status (1)

Country Link
CN (1) CN117575654B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108241675A (zh) * 2016-12-26 2018-07-03 北京国双科技有限公司 数据处理方法及装置
CN109409700A (zh) * 2018-10-10 2019-03-01 网宿科技股份有限公司 一种配置数据确认方法、业务监测方法及装置
CN110297701A (zh) * 2019-05-16 2019-10-01 平安科技（深圳）有限公司 数据处理作业调度方法、装置、计算机设备及存储介质
CN110599148A (zh) * 2019-09-16 2019-12-20 广州虎牙科技有限公司 集群数据处理方法、装置、计算机集群及可读存储介质
CN110602103A (zh) * 2019-09-17 2019-12-20 中国联合网络通信集团有限公司 电子锁协议转换优化方法及电子锁协议转换优化器
CN112492651A (zh) * 2020-11-23 2021-03-12 中国联合网络通信集团有限公司 资源调度方案优化方法及装置
KR102244705B1 (ko) * 2020-07-06 2021-04-27 주식회사 크라우드웍스 학습데이터 생성을 위한 크라우드소싱 기반 유사 프로젝트의 작업 단가 역전 조정을 통한 작업자 유입 조절 방법
CN112817713A (zh) * 2021-01-27 2021-05-18 广州虎牙科技有限公司 作业调度方法、装置和电子设备
CN113204770A (zh) * 2021-04-16 2021-08-03 宁波图灵奇点智能科技有限公司 一种数据保护***以及方法、计算机设备和存储介质
CN115081760A (zh) * 2022-08-22 2022-09-20 中科航迈数控软件(深圳)有限公司 一种加工资源管理优化方法、装置、终端及存储介质
WO2023273502A1 (zh) * 2021-06-30 2023-01-05 华为技术有限公司 作业处理的方法、装置、计算机设备以及存储介质
CN115878590A (zh) * 2022-11-16 2023-03-31 平安银行股份有限公司 一种数据产出时效处理方法、装置、存储介质及设备
CN116501468A (zh) * 2023-04-21 2023-07-28 中银金融科技有限公司 批量作业处理方法、装置及电子设备
CN116755890A (zh) * 2023-08-16 2023-09-15 国网浙江省电力有限公司 基于大数据平台的多场景业务数据协同处置方法及***
WO2023197810A1 (zh) * 2022-04-15 2023-10-19 北京字节跳动网络技术有限公司 预加载方法、装置、电子设备及介质

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108241675A (zh) * 2016-12-26 2018-07-03 北京国双科技有限公司 数据处理方法及装置
CN109409700A (zh) * 2018-10-10 2019-03-01 网宿科技股份有限公司 一种配置数据确认方法、业务监测方法及装置
CN110297701A (zh) * 2019-05-16 2019-10-01 平安科技（深圳）有限公司 数据处理作业调度方法、装置、计算机设备及存储介质
CN110599148A (zh) * 2019-09-16 2019-12-20 广州虎牙科技有限公司 集群数据处理方法、装置、计算机集群及可读存储介质
CN110602103A (zh) * 2019-09-17 2019-12-20 中国联合网络通信集团有限公司 电子锁协议转换优化方法及电子锁协议转换优化器
KR102244705B1 (ko) * 2020-07-06 2021-04-27 주식회사 크라우드웍스 학습데이터 생성을 위한 크라우드소싱 기반 유사 프로젝트의 작업 단가 역전 조정을 통한 작업자 유입 조절 방법
CN112492651A (zh) * 2020-11-23 2021-03-12 中国联合网络通信集团有限公司 资源调度方案优化方法及装置
CN112817713A (zh) * 2021-01-27 2021-05-18 广州虎牙科技有限公司 作业调度方法、装置和电子设备
CN113204770A (zh) * 2021-04-16 2021-08-03 宁波图灵奇点智能科技有限公司 一种数据保护***以及方法、计算机设备和存储介质
WO2023273502A1 (zh) * 2021-06-30 2023-01-05 华为技术有限公司 作业处理的方法、装置、计算机设备以及存储介质
WO2023197810A1 (zh) * 2022-04-15 2023-10-19 北京字节跳动网络技术有限公司 预加载方法、装置、电子设备及介质
CN115081760A (zh) * 2022-08-22 2022-09-20 中科航迈数控软件(深圳)有限公司 一种加工资源管理优化方法、装置、终端及存储介质
CN115878590A (zh) * 2022-11-16 2023-03-31 平安银行股份有限公司 一种数据产出时效处理方法、装置、存储介质及设备
CN116501468A (zh) * 2023-04-21 2023-07-28 中银金融科技有限公司 批量作业处理方法、装置及电子设备
CN116755890A (zh) * 2023-08-16 2023-09-15 国网浙江省电力有限公司 基于大数据平台的多场景业务数据协同处置方法及***

Also Published As

Publication number Publication date
CN117575654A (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
CN106549772A (zh) 资源预测方法、***和容量管理装置
CN111143102A (zh) 异常数据检测方法、装置、存储介质及电子设备
CN111611517A (zh) 指标监控方法、装置、电子设备及存储介质
CN112685153A (zh) 微服务调度方法、装置以及电子设备
CN110532156B (zh) 一种容量预测方法及装置
Wang et al. GeoCol: A geo-distributed cloud storage system with low cost and latency using reinforcement learning
CN116739742A (zh) 信贷风控模型的监控方法、装置、设备及存储介质
CN115437793A (zh) ***资源配置预测方法、装置、设备及存储介质
CN116860789A (zh) 一种数据分布优化方法及分布式数据库***
CN115689752A (zh) 风控规则的调整方法、装置、设备及存储介质
CN117350640A (zh) 一种项目进度管理方法与***
CN113485833B (zh) 资源预测方法和装置
CN112669091B (zh) 数据处理方法、装置及存储介质
CN117575654B (zh) 数据加工作业的调度方法及装置
CN115756812A (zh) 一种资源调整方法及装置、存储介质
CN117331668A (zh) 一种作业调度方法、装置、设备及存储介质
Prado et al. On providing quality of service in grid computing through multi-objective swarm-based knowledge acquisition in fuzzy schedulers
CN112800089B (zh) 一种中间数据存储级别调整方法、存储介质及计算机设备
CN113342561A (zh) 任务诊断方法及***
CN111277445B (zh) 一种评估在线节点服务器性能的方法及装置
CN117076141B (zh) 一种高适用性离线数据处理任务发布方法及***
WO2024055139A1 (en) Autonomous quota management for shared resources
CN117690277A (zh) 阈值确定方法、装置、设备及存储介质
CN115526592A (zh) 一种工时确定方法、装置、设备及存储介质
CN112148491A (zh) 数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant