CN113495923A - 用于分布式数据库执行器的调度管理方法及*** - Google Patents
用于分布式数据库执行器的调度管理方法及*** Download PDFInfo
- Publication number
- CN113495923A CN113495923A CN202110178456.7A CN202110178456A CN113495923A CN 113495923 A CN113495923 A CN 113495923A CN 202110178456 A CN202110178456 A CN 202110178456A CN 113495923 A CN113495923 A CN 113495923A
- Authority
- CN
- China
- Prior art keywords
- operator
- query task
- scheduling
- executed
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 47
- 230000008569 process Effects 0.000 claims abstract description 20
- 238000013507 mapping Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 230000009286 beneficial effect Effects 0.000 description 8
- 230000004622 sleep time Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/211—Schema design and management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种用于分布式数据库执行器的调度管理方法及***，涉及数据库技术领域，能够基于查询任务动态调整算子的调度策略，提高***资源的利用率。该方法包括：接收查询任务，通过管理器启动调度器调度查询任务执行时所需的算子；获取执行查询任务时的每个算子在当前调度时的处理耗时和/或处理数据量，并从管理器中动态匹配出算子在下次调度时的调度策略；在算子被下次调度时基于调度策略动态调整执行进程，并重新匹配对应算子在下次调度时的调度策略，直至查询任务执行完毕为止。该***应用有上述方案所提的方法。
Description
技术领域
本发明涉及数据库技术领域，尤其涉及一种用于分布式数据库执行器的调度管理方法及***。
背景技术
在OLAP领域为了解决大数据量的问题，基于MPP的分布式数据库逐渐普及，比如ClickHouse、Presto、Imapla等。为了更多的利用其多核心的性能，一种利用有向无环图生成执行计划，并用调度器调度各个算子的执行引擎技术的应用也越来越广泛。目前主要的开源实现中，该类型执行引擎的原生调度器都采用的是公平调度器。而在MPP分布式数据库中，由于不同算子执行的效率不一样，往往出现不同算子执行的效率并不相同，公平调度器并不能动态的调整不同算子的调度频率。而在实际应用中，往往不同用户、不同场景需要共用一个计算集群，若采用公平调度的方式不能优先执行高优先级的任务。例如，在当前有大查询任务正在执行时，此时若新进了查询任务，哪怕其重要程度更高，也只能等待大查询任务执行完毕后，才能执行新进的查询任务，显然，这样降低了***资源的利用率。
发明内容
本发明的目的在于提供一种用于分布式数据库执行器的调度管理方法及***，能够基于查询任务动态调整算子的调度策略，提高***资源的利用率。
为了实现上述目的，本发明的第一方面提供一种用于分布式数据库执行器的调度管理方法，包括：
接收查询任务，通过管理器启动调度器调度所述查询任务执行时所需的算子；
获取执行所述查询任务时的每个所述算子在当前调度时的处理耗时和/或处理数据量，并从管理器中动态匹配出所述算子在下次调度时的调度策略；
在所述算子被下次调度时基于所述调度策略动态调整执行进程，并重新匹配对应所述算子在下次调度时的调度策略，直至所述查询任务执行完毕为止。
优选地，还包括：
若所述查询任务未执行完毕又接收了新查询任务时，比较所述查询任务和所述新查询任务的优先级；
当所述查询任务的优先级高于所述新查询任务时，则降低所述新查询任务执行时算子的处理速度；
当所述查询任务的优先级低于所述新查询任务时，则降低所述查询任务执行时算子的处理速度。
较佳地，降低所述查询任务或者所述新查询任务执行时算子的处理速度的方法包括：
计算所述查询任务与所述新查询任务的优先级差，并基于所述优先级差换算降速倍率；
根据所述降速倍率降低任务执行时相应算子的处理速度。
较佳地，比较所述查询任务和所述新查询任务的优先级的方法包括：
识别所述查询任务和/或所述新查询任务中携带的用户信息；
基于所述用户信息从映射表中匹配出对应的优先级，所述映射表包括一一对应的用户信息与优先级。
优选地，所述调度策略包括：
当前调度中所述算子的处理耗时超过时间阈值，则增加所述算子下次调度时的频率；和/或，
当前调度中所述算子的处理数据量超过数据阈值，则增加所述算子下次调度时的频率。
较佳地，增加所述算子下次调度时的频率的方法包括：
所述算子每次被调度时，若超时则计算处理耗时与时间阈值的时间差值，根据所述算子上次调度与当前调度时间差值的第一净差值，动态调整所述算子下次调度时的频率；和/或，
所述算子每次被调度时，若处理数据量超过数据阈值时则计算两者的数据量差值，根据所述算子上次调度与当前调度数据量差值的第二净差值，动态调整所述算子下次调度时的频率。
进一步地，基于第一净差值和/或第二净差值动态调整所述算子下次调度时的频率的方法包括：
当最近两次产生的第一净差值和/或第二净差值逐渐增大，则在当前调度频率的基础上进一步加快所述算子下次调度时的频率，反之进一步降低所述算子下次调度时的频率。
与现有技术相比，本发明提供的用于分布式数据库执行器的调度管理方法具有以下有益效果：
本发明提供的用于分布式数据库执行器的调度管理方法中，通过在原生的执行器中增加了一个管理器，用于动态调整算子的调度调度策略。具体方案如下：在接收到查询任务时，通过管理器启动一个调度器调度此次查询任务执行时所需的算子，然后通过调度器增加算子每次被调度时的执行信息统计，如GPU处理耗时、GPU处理数据量等，动态跟踪每个算子每次被调度时消耗的***资源，然后根据查询任务执行过程中的每个算子每次被调度时消耗的***资源，从管理器中匹配出对应算子在下次调度时的调度策略，以便相应算子被下次调度时能够基于调度策略动态调整执行进程。
可见，相比较于现有技术采用的公平调度(按照顺序调度)的原生调度器而言，本发明提供的针对算子动态调度方案能够提升***资源的利用率。
本发明的第二方面提供一种用于分布式数据库执行器的调度管理***，应用于上述技术方案所述的用于分布式数据库执行器的调度管理方法中，所述***包括：
接收单元，用于接收查询任务，通过管理器启动调度器调度所述查询任务执行时所需的算子；
处理单元，用于获取执行所述查询任务时的每个所述算子在被当前调度时的处理耗时和/或处理数据量，并从管理器中动态匹配出所述算子在下次调度时的调度策略；
调整单元，用于在所述算子被下次调度时基于所述调度策略动态调整执行进程，并重新匹配对应所述算子在下次调度时的调度策略，直至所述查询任务执行完毕为止。
优选地，还包括：
比较单元，用于在所述查询任务未执行完毕又接收了新查询任务时，比较所述查询任务和所述新查询任务的优先级；
当所述查询任务的优先级高于所述新查询任务时，则降低所述新查询任务执行时算子的处理速度；
当所述查询任务的优先级低于所述新查询任务时，则降低所述查询任务执行时算子的处理速度。
与现有技术相比，本发明提供的用于分布式数据库执行器的调度管理***的有益效果与上述技术方案提供的用于分布式数据库执行器的调度管理方法的有益效果相同，在此不做赘述。
本发明的第三方面提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述用于分布式数据库执行器的调度管理方法的步骤。
与现有技术相比，本发明提供的计算机可读存储介质的有益效果与上述技术方案提供的用于分布式数据库执行器的调度管理方法的有益效果相同，在此不做赘述。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例中用于分布式数据库执行器的调度管理方法的流程示意图；
图2为本发明实施例中分布式数据库执行器的架构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，均属于本发明保护的范围。
实施例一
请参阅图1和图2，本实施例提供一种用于分布式数据库执行器的调度管理方法，包括：
接收查询任务，通过管理器启动调度器调度查询任务执行时所需的算子；获取执行查询任务时的每个算子在当前调度时的处理耗时和/或处理数据量，并从管理器中动态匹配出算子在下次调度时的调度策略；在算子被下次调度时基于调度策略动态调整执行进程，并重新匹配对应算子在下次调度时的调度策略，直至查询任务执行完毕为止。
本实施例提供的用于分布式数据库执行器的调度管理方法中，通过在原生的执行器中增加了一个管理器，用于动态调整算子的调度策略。具体方案如下：在接收到查询任务时，通过管理器启动一个调度器调度此次查询任务执行时所需的算子，然后通过调度器增加算子每次被调度时的执行信息统计，如GPU处理耗时、GPU处理数据量等，动态跟踪每个算子每次被调度时消耗的***资源，然后根据查询任务执行过程中的每个算子每次被调度时消耗的***资源，从管理器中匹配出对应算子在下次调度时的调度策略，以便相应算子被下次调度时能够基于调度策略动态调整执行进程。
可见，相比较于现有技术采用的公平调度(按照顺序调度)的原生调度器而言，本实施例提供的针对算子动态调度方案能够提升***资源的利用率。
上述实施例中，还包括：若查询任务未执行完毕又接收了新查询任务时，比较查询任务和新查询任务的优先级；当查询任务的优先级高于新查询任务时，则降低新查询任务执行时算子的处理速度；当查询任务的优先级低于新查询任务时，则降低查询任务执行时算子的处理速度。
具体实施时，本实施例给出了算子调度的两种调度策略，具体如下：
第一种为执行器当前仅执行有一条查询任务时，针对处理耗时长和/或处理数据量大的算子，此时的调度策略为增加该算子的调度频次，以加快该算子的处理速度，避免该算子出现任务堆积的情况。具体的实现方式是在task列表里面增加该算子的调度计划。例如，一个查询任务需调度三个算子：Scan、Join和Filter，执行器会轮流调度执行这三个算子，在执行时，如果Join没有计算完全部数据前，Filter是无法承接计算任务的，也即Join没有计算完全部数据前Filter每次被调度起来是没有任何数据可以计算的，在这种情况下，管理器会通过每个算子统计的执行信息发现Filter每次调度的处理耗时短和/或处理数据量少，此时会逐步降低Filter下次调度的频次，该情况下调度的顺序会变成Scan→Join→Scan→Join→Scan→Join→Filter，其中Filter仍然会被调度，只是会降低频次，如果发现Filter计算的数据量开始增大，而Join没有数据执行了，则说明Join和Scan都被计算完了，此时可以结束Scan和Join的调度，执行调度会变成Filter→Filter→Filter→…→Filter这样的模式，相比较于现有技术采用的公平调度方案而言，也即Scan→Join→Filter…Scan→Join→Filter，通过算子调度策略的动态调整，会显著增加每个算子的调度效率，进而提升***资源的利用率。
第二种为执行器当前执行有两条或两条以上的查询任务时，针对优先级低的查询任务增加其算子的休眠时间，把腾出的***资源供优先级高的查询任务调度，也即通过管理器增加调度时间控制，每个算子被调度前增加一个休眠的时间，比如休眠50ms和0ms，优先级低的查询任务执行的休眠时间为50ms，优先级高的查询任务执行的休眠时间为0ms，这个可以动态调整，每次调整对当前算子执行后的下一个调度生效。该功能用于查询任务的限流操作，同时，调度器也支持暂停和重启的操作，在接收到暂停请求时该算子在当前调度执行完成后，暂停下次的调度，直到接收到重启请求，重新开始调度该算子。
上述实施例中，降低查询任务或者新查询任务执行时算子的处理速度的方法包括：
计算查询任务与新查询任务的优先级差，并基于优先级差换算降速倍率；根据降速倍率降低任务执行时相应算子的处理速度。
具体实施时，每个查询任务都对应有对应的优先级级别，如优先级级别从低到高分为1-5级，举例说明，查询任务的优先级对应为1，新查询任务的优先级对应为3，那么查询任务与新查询任务的优先级差为2，如果默认优先级差为1对应降低1倍处理速度，那么优先级差为2就该降低查询任务2倍的处理速度。也即对查询任务的算子执行休眠操作，如果降级减速1倍，则休眠1倍时间，如果降级减速2倍，则休眠2倍时间，根据优先级差针对相应算子执行对等时间倍数的休眠操作。
上述实施例中，比较查询任务和新查询任务的优先级的方法包括：
识别查询任务和/或新查询任务中携带的用户信息；基于用户信息从映射表中匹配出对应的优先级，映射表包括一一对应的用户信息与优先级。
上述实施例中，调度策略包括：
当前调度中算子的处理耗时超过时间阈值，则增加算子下次调度时的频率；和/或，当前调度中算子的处理数据量超过数据阈值，则增加算子下次调度时的频率。
上述实施例中，增加算子下次调度时的频率的方法包括：
算子每次被调度时，若超时则计算处理耗时与时间阈值的时间差值，根据算子上次调度与当前调度时间差值的第一净差值，动态调整算子下次调度时的频率；和/或，算子每次被调度时，若处理数据量超过数据阈值时则计算两者的数据量差值，根据算子上次调度与当前调度数据量差值的第二净差值，动态调整算子下次调度时的频率。
上述实施例中，基于第一净差值和/或第二净差值动态调整算子下次调度时的频率的方法包括：
当最近两次产生的第一净差值和/或第二净差值逐渐增大，则在当前调度频率的基础上进一步加快算子下次调度时的频率，反之进一步降低算子下次调度时的频率。
具体实施时，为了进一步增加算子调度频率的自动调节能力，还需实时根据第一净差值和/或第二净差值的变化趋势对应调节算子下次调度时的频率，例如当前时间为t(t＞2)，t-2与t-1的第一净差值为m，t-1与t的第一净差值为n，且n大于m，那么说明算子的数据计算量在逐步增加，此时算子下次调度时(t+1)的频率应当相对于当前时间更快，这样能够进一步增加算子的执行效率。同理，通过第二净差值动态调整算子的调度频率与上述相同，本实施对此不做赘述。当然，在实际操作过程中除了单独考虑第一净差值或者第二净差值外，还可以将第一净差值和第二净差值结合起来综合考虑算子的下次调度频率，通过模型训练使得***资源的利用率能够达到最佳。
可以理解的是，通过在执行器中新增管理器。管理器通过调度器提供的接口来管理当前所有查询任务的调度器，同时管理器还提供了调度策略的管理，优先级的管理等。具体实现通过管理器保存了每个查询任务对应的用户信息，通过可配置的调度策略来针对不同的查询任务进行调度控制。可以根据不同的需求配置不同的策略，比如当有高优先级的查询任务时，可以配置降低低优先级查询任务的调度频率或者暂停低优先级查询任务的执行，直到高优先级任务执行完毕。管理器还提供了管理接口，用于满足人工介入的实时控制的需求。管理接口提供了当前所有在执行查询任务的信息，包括对应执行的用户信息，以及当前是否被降级的信息等。
综上，本实施例方案优化了分布式OLAP数据库算子的调度效率，适用于所有使用DAG(有向无环图)类似执行方式的数据库。给类似ClickHouse这种基于DAG的执行设计了一个新的管理器，提供了针对查询任务执行的优先级控制以及限流控制功能。对用户来说具有无感知和高可用性的特点，增加了查询任务的***资源利用率，同时提供了在***繁忙时可以通过调整调度策略的控制方式，在确保所有任务不被强制取消的情况下，能给高优先级任务让步的功能。与现有技术相比，利用动态调整的调度策略，可以让批处理任务和响应时间要求比较高的任务在同一集群中完成，并可以优先给高响应要求的查询任务优先提供***资源。
实施例二
本实施例提供一种用于分布式数据库执行器的调度管理***，包括：
接收单元，用于接收查询任务，通过管理器启动调度器调度所述查询任务执行时所需的算子；
处理单元，用于获取执行所述查询任务时的每个所述算子在被当前调度时的处理耗时和/或处理数据量，并从管理器中动态匹配出所述算子在下次调度时的调度策略；
调整单元，用于在所述算子被下次调度时基于所述调度策略动态调整执行进程，并重新匹配对应所述算子在下次调度时的调度策略，直至所述查询任务执行完毕为止。
优选地，还包括：
比较单元，用于在所述查询任务未执行完毕又接收了新查询任务时，比较所述查询任务和所述新查询任务的优先级；
当所述查询任务的优先级高于所述新查询任务时，则降低所述新查询任务执行时算子的处理速度；
当所述查询任务的优先级低于所述新查询任务时，则降低所述查询任务执行时算子的处理速度。
与现有技术相比，本发明实施例提供的用于分布式数据库执行器的调度管理***的有益效果与上述实施例一提供的用于分布式数据库执行器的调度管理方法的有益效果相同，在此不做赘述。
实施例三
本实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述用于分布式数据库执行器的调度管理方法的步骤。
与现有技术相比，本实施例提供的计算机可读存储介质的有益效果与上述技术方案提供的用于分布式数据库执行器的调度管理方法的有益效果相同，在此不做赘述。
本领域普通技术人员可以理解，实现上述发明方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，上述程序可以存储于计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种用于分布式数据库执行器的调度管理方法，其特征在于，包括：
接收查询任务，通过管理器启动调度器调度所述查询任务执行时所需的算子；
获取执行所述查询任务时的每个所述算子在当前调度时的处理耗时和/或处理数据量，并从管理器中动态匹配出所述算子在下次调度时的调度策略；
在所述算子被下次调度时基于所述调度策略动态调整执行进程，并重新匹配对应所述算子在下次调度时的调度策略，直至所述查询任务执行完毕为止。
2.根据权利要求1所述的方法，其特征在于，还包括：
若所述查询任务未执行完毕又接收了新查询任务时，比较所述查询任务和所述新查询任务的优先级；
当所述查询任务的优先级高于所述新查询任务时，则降低所述新查询任务执行时算子的处理速度；
当所述查询任务的优先级低于所述新查询任务时，则降低所述查询任务执行时算子的处理速度。
3.根据权利要求2所述的方法，其特征在于，降低所述查询任务或者所述新查询任务执行时算子的处理速度的方法包括：
计算所述查询任务与所述新查询任务的优先级差，并基于所述优先级差换算降速倍率；
根据所述降速倍率降低任务执行时相应算子的处理速度。
4.根据权利要求2所述的方法，其特征在于，比较所述查询任务和所述新查询任务的优先级的方法包括：
识别所述查询任务和/或所述新查询任务中携带的用户信息；
基于所述用户信息从映射表中匹配出对应的优先级，所述映射表包括一一对应的用户信息与优先级。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述调度策略包括：
当前调度中所述算子的处理耗时超过时间阈值，则增加所述算子下次调度时的频率；和/或，
当前调度中所述算子的处理数据量超过数据阈值，则增加所述算子下次调度时的频率。
6.根据权利要求5所述的方法，其特征在于，增加所述算子下次调度时的频率的方法包括：
所述算子每次被调度时，若超时则计算处理耗时与时间阈值的时间差值，根据所述算子上次调度与当前调度时间差值的第一净差值，动态调整所述算子下次调度时的频率；和/或，
所述算子每次被调度时，若处理数据量超过数据阈值时则计算两者的数据量差值，根据所述算子上次调度与当前调度数据量差值的第二净差值，动态调整所述算子下次调度时的频率。
7.根据权利要求6所述的方法，其特征在于，基于第一净差值和/或第二净差值动态调整所述算子下次调度时的频率的方法包括：
当最近两次产生的第一净差值和/或第二净差值逐渐增大，则在当前调度频率的基础上进一步加快所述算子下次调度时的频率，反之进一步降低所述算子下次调度时的频率。
8.一种用于分布式数据库执行器的调度管理***，其特征在于，包括：
接收单元，用于接收查询任务，通过管理器启动调度器调度所述查询任务执行时所需的算子；
处理单元，用于获取执行所述查询任务时的每个所述算子在被当前调度时的处理耗时和/或处理数据量，并从管理器中动态匹配出所述算子在下次调度时的调度策略；
调整单元，用于在所述算子被下次调度时基于所述调度策略动态调整执行进程，并重新匹配对应所述算子在下次调度时的调度策略，直至所述查询任务执行完毕为止。
9.根据权利要求8所述的***，其特征在于，还包括：
比较单元，用于在所述查询任务未执行完毕又接收了新查询任务时，比较所述查询任务和所述新查询任务的优先级；
当所述查询任务的优先级高于所述新查询任务时，则降低所述新查询任务执行时算子的处理速度；
当所述查询任务的优先级低于所述新查询任务时，则降低所述查询任务执行时算子的处理速度。
10.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，计算机程序被处理器运行时执行上述权利要求1至7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110178456.7A CN113495923A (zh) | 2021-02-09 | 2021-02-09 | 用于分布式数据库执行器的调度管理方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110178456.7A CN113495923A (zh) | 2021-02-09 | 2021-02-09 | 用于分布式数据库执行器的调度管理方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113495923A true CN113495923A (zh) | 2021-10-12 |
Family
ID=77994987
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110178456.7A Pending CN113495923A (zh) | 2021-02-09 | 2021-02-09 | 用于分布式数据库执行器的调度管理方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113495923A (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070208694A1 (en) * | 2002-11-14 | 2007-09-06 | Seisint, Inc. | Query scheduling in a parallel-processing database system |
| EP2166450A1 (en) * | 2008-09-23 | 2010-03-24 | Robert Bosch Gmbh | A method to dynamically change the frequency of execution of functions within tasks in an ECU |
| CN102831011A (zh) * | 2012-08-10 | 2012-12-19 | 上海交通大学 | 一种基于众核***的任务调度方法及装置 |
| EP2595057A2 (en) * | 2011-11-16 | 2013-05-22 | Bull HN Information Systems Inc. | Modified backfill scheduler and a method employing frequency control to reduce peak cluster power requirements |
| CN103412794A (zh) * | 2013-08-08 | 2013-11-27 | 南京邮电大学 | 一种面向流计算的动态调度分配方法 |
| CN104391918A (zh) * | 2014-11-19 | 2015-03-04 | 天津南大通用数据技术股份有限公司 | 基于对等部署的分布式数据库查询优先级管理的实现方法 |
| CN107145216A (zh) * | 2017-05-05 | 2017-09-08 | 北京景行锐创软件有限公司 | 一种调度方法 |
| CN108595254A (zh) * | 2018-03-09 | 2018-09-28 | 北京永洪商智科技有限公司 | 一种查询调度方法 |
| CN109446441A (zh) * | 2018-09-26 | 2019-03-08 | 北京邮电大学 | 一种通用的网络社区可信分布式采集存储*** |
| CN110442594A (zh) * | 2019-07-18 | 2019-11-12 | 华东师范大学 | 一种面向Spark SQL聚集算子的动态执行方法 |
| CN112041832A (zh) * | 2018-04-13 | 2020-12-04 | 微软技术许可有限责任公司 | 分析作业服务中的计算重用 |
| CN112114960A (zh) * | 2020-08-06 | 2020-12-22 | 河南大学 | 一种适应互联网场景的遥感影像并行集群处理的调度策略 |
| CN112115160A (zh) * | 2020-08-14 | 2020-12-22 | 苏宁云计算有限公司 | 一种查询请求的调度方法、装置及计算机*** |
| CN112214326A (zh) * | 2020-10-22 | 2021-01-12 | 南京博芯电子技术有限公司 | 一种面向稀疏递归神经网络的均衡运算加速方法与*** |
-
2021
- 2021-02-09 CN CN202110178456.7A patent/CN113495923A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070208694A1 (en) * | 2002-11-14 | 2007-09-06 | Seisint, Inc. | Query scheduling in a parallel-processing database system |
| EP2166450A1 (en) * | 2008-09-23 | 2010-03-24 | Robert Bosch Gmbh | A method to dynamically change the frequency of execution of functions within tasks in an ECU |
| EP2595057A2 (en) * | 2011-11-16 | 2013-05-22 | Bull HN Information Systems Inc. | Modified backfill scheduler and a method employing frequency control to reduce peak cluster power requirements |
| CN102831011A (zh) * | 2012-08-10 | 2012-12-19 | 上海交通大学 | 一种基于众核***的任务调度方法及装置 |
| CN103412794A (zh) * | 2013-08-08 | 2013-11-27 | 南京邮电大学 | 一种面向流计算的动态调度分配方法 |
| CN104391918A (zh) * | 2014-11-19 | 2015-03-04 | 天津南大通用数据技术股份有限公司 | 基于对等部署的分布式数据库查询优先级管理的实现方法 |
| CN107145216A (zh) * | 2017-05-05 | 2017-09-08 | 北京景行锐创软件有限公司 | 一种调度方法 |
| CN108595254A (zh) * | 2018-03-09 | 2018-09-28 | 北京永洪商智科技有限公司 | 一种查询调度方法 |
| CN112041832A (zh) * | 2018-04-13 | 2020-12-04 | 微软技术许可有限责任公司 | 分析作业服务中的计算重用 |
| CN109446441A (zh) * | 2018-09-26 | 2019-03-08 | 北京邮电大学 | 一种通用的网络社区可信分布式采集存储*** |
| CN110442594A (zh) * | 2019-07-18 | 2019-11-12 | 华东师范大学 | 一种面向Spark SQL聚集算子的动态执行方法 |
| CN112114960A (zh) * | 2020-08-06 | 2020-12-22 | 河南大学 | 一种适应互联网场景的遥感影像并行集群处理的调度策略 |
| CN112115160A (zh) * | 2020-08-14 | 2020-12-22 | 苏宁云计算有限公司 | 一种查询请求的调度方法、装置及计算机*** |
| CN112214326A (zh) * | 2020-10-22 | 2021-01-12 | 南京博芯电子技术有限公司 | 一种面向稀疏递归神经网络的均衡运算加速方法与*** |
Non-Patent Citations (4)
| Title |
|---|
| HANDOKO 等: "ynamic Query Scheduling for Online Integration of Semistructured Data", 2015 IEEE 39TH ANNUAL COMPUTER SOFTWARE AND APPLICATIONS CONFERENCE, 24 September 2015 (2015-09-24), pages 375 - 380 * |
| 刘爱珍 等: "一种考虑Agent截止期限的CPU时间片分配算法", 计算机应用, vol. 28, no. 03, 1 March 2008 (2008-03-01), pages 695 - 698 * |
| 邓华锋: "分布式数据流处理的算子调度与负载平衡研究", 中国博士学位论文全文数据库 信息科技辑, no. 05, 15 May 2009 (2009-05-15), pages 138 - 35 * |
| 陈盛荣 等: "分布式环境下ETL***的优化策略研究", 现代计算机(专业版), no. 23, 15 August 2016 (2016-08-15), pages 39 - 42 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109783218B (zh) | 一种基于Kubernetes容器集群的与时间相关联的容器调度方法 | |
| WO2021233261A1 (zh) | 一种多任务动态资源调度方法 | |
| EP3920490B1 (en) | Adaptive resource allocation method and apparatus | |
| CN108154317B (zh) | 多云环境下基于实例自适应分配整合的工作流组调度方法 | |
| CN112988362B (zh) | 一种任务处理方法、装置、电子设备及存储介质 | |
| CN113051054B (zh) | 调度人工智能平台资源的方法、设备和计算机可读存储介质 | |
| CN115794337B (zh) | 资源调度方法、装置、云平台、设备及存储介质 | |
| EP3756093B1 (en) | Dynamic processor power management | |
| CN110795238A (zh) | 负载计算方法、装置、存储介质及电子设备 | |
| CN111143045A (zh) | 智能家居操作***的任务调度方法及装置、存储介质 | |
| CN108762899B (zh) | 一种云任务重调度方法和装置 | |
| CN107908464A (zh) | 一种考虑可靠性的云计算工作流节能调度方法 | |
| CN110928666B (zh) | 一种Spark环境中基于内存优化任务并行度的方法和*** | |
| CN116991585A (zh) | 一种ai算力自动调度方法、装置及介质 | |
| US20220291959A1 (en) | Activity scheduling method, system, terminal and storage medium based on high response ratio | |
| CN111199316A (zh) | 一种基于执行时间评估的云雾协同计算电网调度方法 | |
| CN112181661B (zh) | 一种任务调度方法 | |
| CN113495923A (zh) | 用于分布式数据库执行器的调度管理方法及*** | |
| CN111125097B (zh) | 报表调度方法及装置 | |
| Islam et al. | Towards provision of quality of service guarantees in job scheduling | |
| CN114035926A (zh) | 应用线程调度方法、装置、存储介质及电子设备 | |
| CN111402353B (zh) | 一种基于自适应虚拟化绘制流水线的云-端绘制计算方法 | |
| CN112598112B (zh) | 一种基于图神经网络的资源调度方法 | |
| CN113961323A (zh) | 一种面向混合云的安全感知任务调度方法和*** | |
| CN109379605B (zh) | 基于弹幕顺序的弹幕分发方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |