CN102096603B - MapReduce***中的作业分解控制方法及设备 - Google Patents

MapReduce***中的作业分解控制方法及设备 Download PDF

Info

Publication number
CN102096603B
CN102096603B CN 200910242672 CN200910242672A CN102096603B CN 102096603 B CN102096603 B CN 102096603B CN 200910242672 CN200910242672 CN 200910242672 CN 200910242672 A CN200910242672 A CN 200910242672A CN 102096603 B CN102096603 B CN 102096603B
Authority
CN
China
Prior art keywords
setting
module
resource
utilization rate
threshold value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN 200910242672
Other languages
English (en)
Other versions
CN102096603A (zh
Inventor
孙宏伟
郭磊涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN 200910242672 priority Critical patent/CN102096603B/zh
Publication of CN102096603A publication Critical patent/CN102096603A/zh
Application granted granted Critical
Publication of CN102096603B publication Critical patent/CN102096603B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种MapReduce***中的作业分解控制方法及调度节点设备，用以提升MapReduce***的可靠性。MapReduce***中的作业分解控制方法，包括：调度节点监控本节点的资源使用信息；在作业分解执行状态下，当资源使用信息满足设定的作业分解暂停条件时，暂停从作业缓存队列中提取作业进行分解，所述作业缓存队列中缓存客户端提交的未分解的作业；在作业分解暂停状态下，当资源使用信息满足设定的作业分解重启动条件时，重新启动从作业缓存队列中提取作业进行分解。

Description

MapReduce***中的作业分解控制方法及设备
技术领域
本发明涉及通信领域的数据处理技术，尤其涉及一种MapReduce***中的作业分解方法及设备。
背景技术
MapReduce（映射化简）是一种分布式的用于处理大规模数据集的并行编程***，通过定义相应的映射（Map）和化简（Reduce）函数即可实现分布式数据处理的功能。MapReduce***包括调度节点（JobTracker）和若干任务执行节点（TaskTracker），其网络架构如图1所示，其中：客户端（Client）用于将用户布置的并行处理作业（Job）提交至调度节点；调度节点自动将客户端提交的作业分解为多个具有相同处理功能（但输入数据可能不同）的Map任务和多个具有相同处理功能（但处理的数据可能不同）的Reduce任务，其中，Map任务的输出数据作为Reduce任务的输入数据，并将任务调度给任务执行节点；任务执行节点向调度节点请求任务并执行请求到的任务，任务执行节点在任务执行之后向调度节点上报状态信息。
MapReduce***（本申请文件中简称MR***）的工作流程如下：客户端将用户布置的作业提交给MR***，MR***中的调度节点（JobTracker）将作业分解为待执行的任务；任务执行节点（TaskTracker）具有一定的任务执行能力，体现为可执行任务数，当TaskTracker没有达到其任务执行能力时，即当前执行的任务数低于可执行任务数，TaskTracker会向JobTracker请求任务，JobTracker从分解出的任务中调度一个任务给TaskTracker执行。
现有技术中，当MR***中的JobTracker接收到客户端提交的作业时，会立即将作业分解为待执行的任务，并将待执行的任务缓存在内存中，每个待执行的任务均会占用一定的内存容量。
MR***的任务执行能力由TaskTracker总数和每个TaskTracker的任务执行能力确定，按照现有MR***中的作业分解方法，JobTracker接收到客户端提交的作业时会立即将作业分解为待执行的任务，如果JobTracker在短时间内接收到大量的作业，将对大量的作业进行分解并在内存中缓存大量的待执行任务，有可能导致JobTracker的内存溢出等问题而宕机，从而影响MR***的可靠性。
发明内容
本发明提供一种MapReduce***中的作业分解控制方法及设备，用以提升MapReduce***的可靠性。
本发明提供的MapReduce***中的作业分解控制方法，包括：
调度节点监控本节点的资源使用信息；
在作业分解执行状态下，当资源使用信息满足设定的作业分解暂停条件时，暂停从作业缓存队列中提取作业进行分解，所述作业缓存队列中缓存客户端提交的未分解的作业；
在作业分解暂停状态下，当资源使用信息满足设定的作业分解重启动条件时，重新启动从作业缓存队列中提取作业进行分解。
基于同一技术构思，本发明提供的MapReduce***中的作业分解控制设备，包括监控模块、控制模块、存储模块和分解模块，其中：
所述监控模块，用于监控本设备节点的资源使用信息；
所述控制模块，用于在作业分解执行状态下，当资源使用信息满足设定的作业分解暂停条件时，暂停所述分解模块的运行；在作业分解暂停状态下，当资源使用信息满足设定的作业分解重启动条件时，重新启动所述分解模块的运行；
所述存储模块，用于存储作业缓存队列，所述作业缓存队列中缓存客户端提交的未分解的作业；
所述分解模块，用于从存储模块存储的作业缓存队列中提取作业进行分解。
本发明提供的MapReduce***中的作业分解控制方法及调度节点设备，预先设定基于资源使用信息的作业分解暂停条件和作业分解重启动条件，调度节点将客户端提交的作业缓存在作业缓存队列中，并对资源使用信息进行监控，在作业分解执行状态下满足作业分解暂停条件时，暂停对作业的分解，在作业分解暂停状态下满足作业分解重启动条件时，重新启动对作业的分解。根据资源使用信息控制对作业的分解，能够有效避免调度节点的内存溢出问题，提升MapReduce***的可靠性。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
图1为现有技术中MapReduce***的网络架构示意图；
图2为本发明实施例提供的MapReduce***中的作业分解控制方法流程图；
图3为本发明实施例提供的一种较佳的作业分解控制处理流程图；
图4为本发明实施例提供的MapReduce***中的调度节点设备框图。
具体实施方式
本发明实施例旨在提供一种MapReduce***中的作业分解控制方法，引入延迟作业分解机制，预先设定基于资源使用信息的作业分解暂停条件和作业分解重启动条件，JobTracker将客户端提交的作业缓存在作业缓存队列中，并对资源使用信息进行监控，在作业分解执行状态下满足作业分解暂停条件时，暂停对作业的分解，在作业分解暂停状态下满足作业分解重启动条件时，重新启动对作业的分解，从而提升MapReduce***的可靠性。
以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明，并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
如图2所示，本发明实施例提供的MapReduce***中的作业分解控制方法，包括如下步骤：
S201、调度节点监控本节点的资源使用信息；
S202、在作业分解执行状态下，当资源使用信息满足设定的作业分解暂停条件时，暂停从作业缓存队列中提取作业进行分解，所述作业缓存队列中缓存客户端提交的未分解的作业；
具体实施中，作业缓存队列中缓存的作业可以按照优先级排序，相同优先级的作业按照提交时间排序，调度节点每次从作业缓存队列中提取未分解的作业时，均从作业缓存队列的头部提取，保证高优先级的作业被优先分解，从而被调度运行。当然，也可以不考虑作业的优先级，作业缓存队列中缓存的作业按照作业提交时间排序即可。
S203、在作业分解暂停状态下，当资源使用信息满足设定的作业分解重启动条件时，重新启动从作业缓存队列中提取作业进行分解。
较佳的，为了有效解决JobTracker的内存溢出问题，所述的资源使用信息可以为内存使用率，在这种情况下，资源使用信息满足设定的作业分解暂停条件是指内存使用率超过设定的第一使用率阈值，资源使用信息满足设定的作业分解重启动条件是指内存使用率低于设定的第二使用率阈值，其中，第一使用率阈值高于第二使用率阈值。具体实施中，第一使用率阈值和第二使用率阈值可以根据经验灵活设定，取值范围在0值1之间，例如第一使用率阈值设定为90%，第二使用率阈值设定为70%。
所述的资源使用信息也可以为内存中的待执行任务数，在这种情况下，资源使用信息满足设定的作业分解暂停条件是指待执行任务数超过设定的第一数量阈值，资源使用信息满足设定的作业分解重启动条件是指待执行任务数低于设定的第二数量阈值，其中，第一数量阈值高于第二数量阈值。具体实施中，第一数量阈值高于第二数量阈值可以根据MapReduce***中TaskTracker总数和每个TaskTracker的任务执行能力灵活设定，例如第一数量阈值设定为2T，第二数量阈值设定为T，T表示MapReduce***的业务处理能力，T可以通过如下公式确定
Figure GDA00002199815700051
其中N表示MapReduce***中的TaskTracker总数，Wi表示第i个TaskTracker的任务执行能力即执行任务数。
所述的资源使用信息也可以同时包括内存使用率和内存中的待执行任务数，在这种情况下，资源使用信息满足设定的作业分解暂停条件是指内存使用率超过设定的第一使用率阈值或者待执行任务数超过设定的第一数量阈值，资源使用信息满足设定的作业分解重启动条件是指内存使用率低于设定的第二使用率阈值并且待执行任务数低于设定的第二数量阈值，其中，第一使用率阈值高于第二使用率阈值，第一数量阈值高于第二数量阈值。
所述的资源使用信息还可以为已使用内存容量、CPU使用率等其它信息，具体实施请参见内存使用率、内存中的待执行任务数等相关信息的实施，不再一一赘述。
下面详细介绍作业分解控制处理流程，其中以资源使用信息同时包括内存使用率和内存中的待执行任务数为例进行说明，如图3所示，具体包括如下步骤：
S300、MR***启动；
S301、JobTracker启动作业分解；
S302、JobTracker查询作业缓存队列中是否缓存有未分解的作业，如果是，执行S303，如果否，执行S305；
S303、JobTracker从作业缓存队列的头部提取作业进行分解；
S304、JobTracker监控自身的内存使用率，判断内存使用率是否超过设定的第一使用率阈值，如果是，执行S307，如果否，执行S306；
S305、JobTracker休眠（Sleep）一段时间以等待客户端提交作业，并返回执行S302；
S306、JobTracker监控内存中的待执行任务数，判断待执行任务数是否超过设定的第一数量阈值，如果是，执行S307，如果否，返回执行S302；
S307、JobTracker暂停作业分解；
S308、JobTracker休眠（Sleep）一段时间；
具体实施中，可以预先为JobTracker设定固定的休眠时间长度，或者由特定事件唤醒JobTracker，所述特定事件例如TaskTracker请求任务、JobTracker接收到客户端提交的作业等；
S309、JobTracker监控本节点的内存使用率，判断内存使用率是否低于设定的第二使用率阈值，如果是，执行S310，如果否，返回执行S308；
S310、JobTracker监控内存中的待执行任务数，判断待执行任务数是否低于设定的第二数量阈值，如果是，执行S311，如果否，返回执行S308；
S311、JobTracker重新启动作业分解，并返回执行S302。
基于同一技术构思，本发明实施例提供了一种MapReduce***中的调度节点设备，如图4所示，包括存储模块41、监控模块42、控制模块43和分解模块44，其中：
存储模块41，用于存储作业缓存队列，所述作业缓存队列中缓存客户端提交的未分解的作业；
监控模块42，用于监控调度节点设备的资源使用信息；
控制模块43，用于在作业分解执行状态下，当资源使用信息满足设定的作业分解暂停条件时，暂停分解模块44的运行；在作业分解暂停状态下，当资源使用信息满足设定的作业分解重启动条件时，重新启动分解模块44的运行；
分解模块44，用于从作业缓存队列中提取作业进行分解。
具体实施中，调度节点设备中的监控模块42可以包括第一监控子模块421，其中：
第一监控子模块421，用于监控内存使用率；以及
控制模块43，具体用于在作业分解执行状态下，当内存使用率超过设定的第一使用率阈值时，暂停分解模块44的运行；在作业分解暂停状态下，当内存使用率低于设定的第二使用率阈值时，重新启动分解模块44的运行，所述第一使用率阈值高于第二使用率阈值。
具体实施中，调度节点设备中的监控模块42还可以包括第二监控子模块422，其中：
第二监控子模块422，用于统计内存中的待执行任务数；以及
控制模块43，具体用于在作业分解执行状态下，当待执行任务数超过设定的第一数量阈值时，暂停分解模块44的运行；在作业分解暂停状态下，当待执行任务数低于设定的第二数量阈值时，重新启动分解模块44的运行，所述第一使用率阈值高于第二使用率阈值。
具体实施中，调度节点设备中的监控模块42也可以同时包括第一监控子模块421和第二监控子模块422，其中：
第一监控子模块421，用于监控内存使用率；
第二监控子模块422，用于统计内存中的待执行任务数；以及
控制模块43，具体用于在作业分解执行状态下，当内存使用率超过设定的第一使用率阈值或者待执行任务数超过设定的第一数量阈值时，暂停分解模块44的运行；在作业分解暂停状态下，当内存使用率低于设定的第二使用率阈值并且待执行任务数低于设定的第二数量阈值时，重新启动分解模块44的运行，所述第一使用率阈值高于第二使用率阈值，所述第一数量阈值高于第二数量阈值。
较佳的，该调度节点设备还可以包括：
排序模块45，用于将作业缓存队列中缓存的作业按照优先级排序，相同优先级的作业按照提交时间排序；以及
分解模块44，具体用于从作业缓存队列的头部提取作业进行分解。
需要说明的是，以上调度节点设备的模块划分方式仅是各种可能的模块划分方式中的一种，本领域技术人员应该能够理解，只要使调度节点设备具备上述功能，其是否划分为不同的模块或者如何划分模块，都不会对本发明的保护范围构成限制。
本发明实施例提供的MapReduce***中的作业分解控制方法及调度节点设备，预先设定基于资源使用信息的作业分解暂停条件和作业分解重启动条件，调度节点将客户端提交的作业缓存在作业缓存队列中，并对资源使用信息进行监控，在作业分解执行状态下满足作业分解暂停条件时，暂停对作业的分解，在作业分解暂停状态下满足作业分解重启动条件时，重新启动对作业的分解。根据资源使用信息控制对作业的分解，提升MapReduce***的可靠性；
进一步，本发明实施例提供的MapReduce***中的作业分解控制方法及调度节点设备，通过监控内存使用率、内存中的待执行任务数等与内存相关的信息，能够有效避免调度节点的内存溢出问题，从而提升MapReduce***的可靠性。
本领域的技术人员应明白，本发明的实施例可提供为方法、设备、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种映射化简MapReduce***中的作业分解控制方法，其特征在于，包括：
调度节点监控本节点的资源使用信息；
在作业分解执行状态下，当资源使用信息满足设定的作业分解暂停条件时，暂停从作业缓存队列中提取作业进行分解，所述作业缓存队列中缓存客户端提交的未分解的作业；
在作业分解暂停状态下，当资源使用信息满足设定的作业分解重启动条件时，重新启动从作业缓存队列中提取作业进行分解。
2.如权利要求1所述的方法，其特征在于，所述资源使用信息包括内存使用率，以及所述资源使用信息满足设定的作业分解暂停条件是指内存使用率超过设定的第一使用率阈值，所述资源使用信息满足设定的作业分解重启动条件是指内存使用率低于设定的第二使用率阈值，所述第一使用率阈值高于第二使用率阈值。
3.如权利要求1所述的方法，其特征在于，所述资源使用信息包括内存中的待执行任务数，以及所述资源使用信息满足设定的作业分解暂停条件是指待执行任务数超过设定的第一数量阈值，所述资源使用信息满足设定的作业分解重启动条件是指待执行任务数低于设定的第二数量阈值，所述第一数量阈值高于第二数量阈值。
4.如权利要求1所述的方法，其特征在于，所述资源使用信息包括内存使用率和内存中的待执行任务数，以及所述资源使用信息满足设定的作业分解暂停条件是指内存使用率超过设定的第一使用率阈值或者待执行任务数超过设定的第一数量阈值，所述资源使用信息满足设定的作业分解重启动条件是指内存使用率低于设定的第二使用率阈值并且待执行任务数低于设定的第二数量阈值，所述第一使用率阈值高于第二使用率阈值，所述第一数量阈值高于第二数量阈值。
5.如权利要求1至4任一所述的方法，其特征在于，所述作业缓存队列中缓存的作业按照优先级排序，相同优先级的作业按照提交时间排序，以及所述调度节点从作业缓存队列的头部提取作业进行分解。
6.一种映射化简MapReduce***中的作业分解控制设备，其特征在于，包括监控模块、控制模块、存储模块和分解模块，其中：
所述监控模块，用于监控本设备节点的资源使用信息；
所述控制模块，用于在作业分解执行状态下，当资源使用信息满足设定的作业分解暂停条件时，暂停所述分解模块的运行；在作业分解暂停状态下，当资源使用信息满足设定的作业分解重启动条件时，重新启动所述分解模块的运行；
所述存储模块，用于存储作业缓存队列，所述作业缓存队列中缓存客户端提交的未分解的作业；
所述分解模块，用于从存储模块存储的作业缓存队列中提取作业进行分解。
7.如权利要求6所述的MapReduce***中的作业分解控制设备，其特征在于，所述监控模块包括第一监控子模块，其中：
所述第一监控子模块，用于监控内存使用率；以及
所述控制模块，具体用于在作业分解执行状态下，当内存使用率超过设定的第一使用率阈值时，暂停所述分解模块的运行；在作业分解暂停状态下，当内存使用率低于设定的第二使用率阈值时，重新启动所述分解模块的运行，所述第一使用率阈值高于第二使用率阈值。
8.如权利要求6所述的MapReduce***中的作业分解控制设备，其特征在于，所述监控模块包括第二监控子模块，其中：
所述第二监控子模块，用于统计内存中的待执行任务数；以及
所述控制模块，具体用于在作业分解执行状态下，当待执行任务数超过设定的第一数量阈值时，暂停所述分解模块的运行；在作业分解暂停状态下，当待执行任务数低于设定的第二数量阈值时，重新启动所述分解模块的运行，所述第一数量阈值高于第二数量阈值。
9.如权利要求6所述的MapReduce***中的作业分解控制设备，其特征在于，所述监控模块包括第一监控子模块和第二监控子模块，其中：
所述第一监控子模块，用于监控内存使用率；
所述第二监控子模块，用于统计内存中的待执行任务数；以及
所述控制模块，具体用于在作业分解执行状态下，当内存使用率超过设定的第一使用率阈值或者待执行任务数超过设定的第一数量阈值时，暂停所述分解模块的运行；在作业分解暂停状态下，当内存使用率低于设定的第二使用率阈值并且待执行任务数低于设定的第二数量阈值时，重新启动所述分解模块的运行，所述第一使用率阈值高于第二使用率阈值，所述第一数量阈值高于第二数量阈值。
10.如权利要求6至9任一所述的MapReduce***中的作业分解控制设备，其特征在于，还包括：
排序模块，用于将作业缓存队列中缓存的作业按照优先级排序，相同优先级的作业按照提交时间排序；以及，
所述分解模块，具体用于从存储模块存储的作业缓存队列的头部提取作业进行分解。
CN 200910242672 2009-12-14 2009-12-14 MapReduce***中的作业分解控制方法及设备 Expired - Fee Related CN102096603B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 200910242672 CN102096603B (zh) 2009-12-14 2009-12-14 MapReduce***中的作业分解控制方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 200910242672 CN102096603B (zh) 2009-12-14 2009-12-14 MapReduce***中的作业分解控制方法及设备

Publications (2)

Publication Number Publication Date
CN102096603A CN102096603A (zh) 2011-06-15
CN102096603B true CN102096603B (zh) 2013-01-02

Family

ID=44129710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200910242672 Expired - Fee Related CN102096603B (zh) 2009-12-14 2009-12-14 MapReduce***中的作业分解控制方法及设备

Country Status (1)

Country Link
CN (1) CN102096603B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10083066B2 (en) 2013-05-31 2018-09-25 International Business Machines Corporation Processing data by using simultaneous multithreading

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102426609B (zh) * 2011-12-28 2013-02-13 厦门市美亚柏科信息股份有限公司 一种基于MapReduce编程架构的索引生成方法和装置
CN103294534B (zh) * 2012-11-01 2017-02-08 北京安天电子设备有限公司 一种分布式***的任务管理***及方法
CN103064728A (zh) * 2012-12-13 2013-04-24 河南工业大学 一种MapReduce任务的容错调度方法
CN103218263B (zh) * 2013-03-12 2016-03-23 北京航空航天大学 MapReduce参数的动态确定方法及装置
CN104346380B (zh) * 2013-07-31 2018-03-09 华为技术有限公司 基于MapReduce模型的数据排序方法和***
CN105335219A (zh) * 2014-07-08 2016-02-17 阿里巴巴集团控股有限公司 一种基于分布式的任务调度方法及***
CN104731645A (zh) * 2015-03-19 2015-06-24 蔡树彬 一种任务调度方法和装置及数据下载方法和装置
CN105429733B (zh) * 2015-11-27 2019-01-01 北京奇虎科技有限公司 一种信息调度发送方法和装置
CN107295045A (zh) * 2016-03-31 2017-10-24 阿里巴巴集团控股有限公司 一种消息处理方法及装置
CN109960973B (zh) * 2017-12-22 2021-06-15 Oppo广东移动通信有限公司 照片的调整方法、装置、存储介质及电子设备
CN108984297A (zh) * 2018-06-28 2018-12-11 中国建设银行股份有限公司 任务执行方法及装置
US11907693B2 (en) 2022-04-29 2024-02-20 Zhejiang Lab Job decomposition processing method for distributed computing
CN114579183B (zh) * 2022-04-29 2022-10-18 之江实验室 一种用于分布式计算的作业分解处理方法
CN114579286A (zh) * 2022-05-05 2022-06-03 支付宝(杭州)信息技术有限公司 任务调度***、方法、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1150208A2 (en) * 2000-04-26 2001-10-31 Texas Instruments Incorporated Multiprocessor object control
CN101403983A (zh) * 2008-11-25 2009-04-08 北京航空航天大学 基于虚拟机的多核处理器的资源监控方法及***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1150208A2 (en) * 2000-04-26 2001-10-31 Texas Instruments Incorporated Multiprocessor object control
CN101403983A (zh) * 2008-11-25 2009-04-08 北京航空航天大学 基于虚拟机的多核处理器的资源监控方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开2007-4595A 2007.01.11

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10083066B2 (en) 2013-05-31 2018-09-25 International Business Machines Corporation Processing data by using simultaneous multithreading

Also Published As

Publication number Publication date
CN102096603A (zh) 2011-06-15

Similar Documents

Publication Publication Date Title
CN102096603B (zh) MapReduce***中的作业分解控制方法及设备
KR101686010B1 (ko) 실시간 멀티코어 시스템의 동기화 스케쥴링 장치 및 방법
US9858115B2 (en) Task scheduling method for dispatching tasks based on computing power of different processor cores in heterogeneous multi-core processor system and related non-transitory computer readable medium
US8458712B2 (en) System and method for multi-level preemption scheduling in high performance processing
Herman et al. RTOS support for multicore mixed-criticality systems
US20160210174A1 (en) Hybrid Scheduler and Power Manager
EP2503733B1 (en) Data collecting method, data collecting apparatus and network management device
US20150121387A1 (en) Task scheduling method for dispatching tasks based on computing power of different processor cores in heterogeneous multi-core system and related non-transitory computer readable medium
JPH11353196A (ja) タイム・スケジュ―ルされたプロセス管理用ガバナ
CN106776395B (zh) 一种共享集群的任务调度方法及装置
TWI503742B (zh) 多核心處理器系統及其排程方法
WO2018018611A1 (zh) 一种任务处理方法以及网卡
CN108958789B (zh) 一种并行流式计算方法、电子设备、存储介质及***
CN107818012B (zh) 一种数据处理方法、装置及电子设备
CN117999541A (zh) 基于资源消耗的动态策略调整
Liu et al. Towards low-latency I/O services for mixed workloads using ultra-low latency SSDs
CN112363812B (zh) 基于任务分类的数据库连接队列管理方法及存储介质
CN115756143B (zh) 数据包处理的节能方法、装置、计算机设备和存储介质
CN109426563B (zh) 一种进程管理方法及装置
KR101271211B1 (ko) 다중 쓰레드의 비동기 입출력 처리 장치 및 그 방법
RU2450330C2 (ru) Аппаратно-реализуемый способ выполнения программ
CN115981893A (zh) 消息队列任务处理方法、装置、服务器及存储介质
CN117093335A (zh) 分布式存储***的任务调度方法及装置
JP2008225641A (ja) コンピュータシステム、割り込み制御方法及びプログラム
KR101725408B1 (ko) 실시간 운영체제의 태스크 스케줄링 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130102

Termination date: 20211214