CN103744734B - 一种任务作业处理方法、装置及*** - Google Patents
一种任务作业处理方法、装置及*** Download PDFInfo
- Publication number
- CN103744734B CN103744734B CN201310723002.9A CN201310723002A CN103744734B CN 103744734 B CN103744734 B CN 103744734B CN 201310723002 A CN201310723002 A CN 201310723002A CN 103744734 B CN103744734 B CN 103744734B
- Authority
- CN
- China
- Prior art keywords
- task
- cluster
- mission operations
- type
- task type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明适用云检测技术领域,提供了一种任务作业处理方法、装置及***,包括:在云检测***中提交任务作业;检测所述任务作业的任务类型,所述的任务类型包括集群任务类型和跨集群任务类型;若所述任务类型为集群任务类型,则由所述云检测***中预置的集群调度器处理所述任务类型为集群任务类型的任务作业;若所述任务类型为跨集群任务时,则由所述云检测***中预置的跨集群调度器处理所述任务类型为跨集群任务类型的任务作业;其中,所述集群任务类型是由一个集群进行处理任务作业的类型,所述跨集群任务类型是由至少两个集群进行处理任务作业的类型。本发明避免了***容易出现崩溃的情况,提高了***的稳定性和处理任务的高效性。
Description
技术领域
本发明属于云检测技术领域,尤其涉及一种任务作业处理方法、装置及***。
背景技术
云检测平台自动化检测调度***为云检验检测公共服务平台的基础构成部分,涵盖检测资源调度管理、自动化检测两大核心功能,为云检验检测平台的主体构成部分以及检测服务承载体。***在平台中起到承上启下之作用。一方面,***作为检测工具的接入口,起到承接检测工具的增添、配置以及自动运行的支撑作用,同时直接面向用户提供检测服务。另一方面,***直接面向数据中心的物理硬件和虚拟化设备,承担了检测资源(虚拟机、物理机)构建所需的资源申请、释放、配置等工作。
当前主流的云测试平台都偏向于一种类型的测试,通常,集群任务调度***,将任务调度和控制集中在一个节点上,当节点规模增大时,该***的负载呈几何指数上升,不利于***的稳定性。
以当前流行的任务调度***quartz为例,任务调度和控制位于一个集群的节点上,当集群规模比较大时,调度和控制压力大增,容易出现体统崩溃。
发明内容
本发明实施例的目的在于提供一种任务作业处理方法、装置及***,旨在解决云测试平台中集群任务调度***,将任务调度和控制集中在一个集群的节点上的问题。
本发明实施例是这样实现的,一种任务作业处理方法,包括:、
在云检测***中提交任务作业;
检测所述任务作业的任务类型,所述的任务类型包括集群任务类型和跨集群任务类型;
若所述任务类型为集群任务类型,则由所述云检测***中预置的集群调度器处理所述任务类型为集群任务类型的任务作业;
若所述任务类型为跨集群任务时,则由所述云检测***中预置的跨集群调度器处理所述任务类型为跨集群任务类型的任务作业;
其中,所述集群任务类型是由一个集群进行处理任务作业的类型,所述跨集群任务类型是由至少两个集群进行处理任务作业的类型。
本发明实施例的另一目的在于提供一种任务作业处理装置,包括:
提交单元,用于在云检测***中提交任务作业;
第一检测单元,用于检测所述任务作业的任务类型,所述的任务类型包括集群任务类型和跨集群任务类型;
第一处理单元,用于若所述任务类型为集群任务类型,则由所述云检测***中预置的集群调度器处理所述任务类型为集群任务类型的任务作业;
第二处理单元,用于若所述任务类型为跨集群任务时,则由所述云检测***中预置的跨集群调度器处理所述任务类型为跨集群任务类型的任务作业;
其中,所述集群任务类型是由一个集群进行处理任务作业的类型,所述跨集群任务类型是由至少两个集群进行处理任务作业的类型。
本发明实施例的另一目的在于提供一种任务作业处理装置,其包括上述任务作业处理装置。
在本实施例中,由跨集群调度器调度和控制跨集群任务类型的任务作业,集群调度器调度和控制集群任务类型的任务作业,从而将任务调度和控制分散在各个集群的节点上,通过多个集群分散调度和控制压力,避免了***容易出现崩溃的情况,提高了***的稳定性和处理任务的高效性。
附图说明
图1是本发明实施例提供的任务作业处理方法的实现流程图;
图2是本发明实施例提供的分层结构的***结构简图;
图3是本发明实施例提供的xLape的***结构简图;
图4是本发明实施例提供的TSM模块的***结构简图;
图5是本实施例提供的检测作业提交执行流程图;
图6是本实施例提供的作业状态维护更新机制的实施流程图;
图7是本实施例提供的检测虚拟资源的实施流程图;
图8是本发明实施例提供的一种任务作业处理装置的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
图1是本发明实施例提供的一种任务作业处理方法的实现流程图,详述如下:
在步骤S101中,在云检测***中提交任务作业;
采用统一的任务提交接口,可以用xml文件对任务信息进行描述
在步骤S102中,检测所述任务作业的任务类型,所述的任务类型包括集群任务类型和跨集群任务类型;
其中,跨集群调度器和集群调度器在云检测***中形成分层结构,可将任务分开,将任务调度和控制分散在各个集群的节点上,当集群规模比较大时,可通过多个集群分散调度和控制压力。
参考图3
,图2是本发明实施例提供的分层结构的***结构简图。
在步骤S103中,若所述任务类型为集群任务类型,则由所述云检测***中预置的集群调度器处理所述任务类型为集群任务类型的任务作业;
若任务类型为集群任务类型,则由云检测***中预置的集群调度器处理所任务类型为集群任务类型的任务作业,将任务作业下发至一个集群里的节点进行处理。
集群是由两台或两台以上的节点机构成的计算节点集合。
其中,节点包括虚拟机和物理机。
在步骤S104中,若所述任务类型为跨集群任务时,则由所述云检测***中预置的跨集群调度器处理所述任务类型为跨集群任务类型的任务作业;
其中,所述集群任务类型是由一个集群进行处理任务作业的类型,所述跨集群任务类型是由至少两个集群进行处理任务作业的类型。
若任务类型为跨集群任务时,由云检测***中预置的跨集群调度器处理任务类型为跨集群任务类型的任务作业,将跨集群任务类型的任务作业发送至多个集群中,让多个集群进行处理任务作业。
处理完毕后,生成测试结果,并对测试结果进行分析,生成结果展示,返回至客户端。
其中,结果展示的方多包括但不限于柱状图、曲线图、饼图中任意一种的展示方式。
在本实施例中,由跨集群调度器调度和控制跨集群任务类型的任务作业,集群调度器调度和控制集群任务类型的任务作业,从而将任务调度和控制分散在各个集群的节点上,通过多个集群分散调度和控制压力,避免了容易出现体统崩溃的情况,提高了***的稳定性和处理任务的高效性。
作为本发明的一个优选实施例,所述在云检测***中提交任务作业,包括:
根据提交的时间,对提交的任务作进行排队,生成作业队列;
查询云检测***的负荷值,检测所述负荷值是否低于预先设定的负荷阈值;
若是,在所述作业队列中提取作业提交执行。
在本实施例中,根据提交的时间,对提交的任务作进行排队,生成作业队列,采用消息队列服务器对消息队列收集的数据进行处理。
若负荷值低于预先设定的阈值,在作业队列中提取作业提交执行。
若负荷值不低于预先设定的阈值,不在作业队列中提取作业提交执行。
在本实施例中,避免在***负荷过重继续提交检测任务,出现拥堵和过长等待时间的情况,保证了***的稳定性。
作为本发明的一个优选实施例,所述处理所述任务类型为跨集群任务类型的任务作业,包括:
获取所述任务作业的资源需求,所述资源需求包括集群中节点的数量、集群中节点的内存以及集群中节点的cpu参数之一或组合;
根据所述任务作业的资源需求,处理所述任务类型为跨集群任务类型的任务作业。
在本实施例中,获取任务作业的资源需求,根据作业执行的资源需求,通过快速匹配算法在集群中寻找满足要求的机器,通过机器处理任务类型为跨集群任务类型的任务作业,完成作业文件的部署和执行。
在本实施例中,避免了不满足要求的机器,对任务进行处理,出现拥堵和过长等待时间的情况,节省了时间,保证了处理任务的高效性。
作为本发明的一个优选实施例,在检测所述任务作业的任务类型之后,还包括:
检测作业管理器在中间件上注册任务作业的ID号以及集群中的节点,同时对所述节点注册相应的更新监听函数;
当检测到任务的运行状态发生改变时,自动回调所述更新监听函数,对所述任务作业的状态更新,以使当作业状态变为完成时,所述检测作业管理器在所述中间件上删除所述节点。
在本实施例中,当检测到任务的运行状态发生改变时,通过自动回调更新监听函数,将所有节点中任务状态数据发送至分布式数据库,任务状态数据为包括任务的运行状态的数据,当分布式数据库接收到任务状态数据后,将任务状态数据返回至查询任务的界面上,完成更新,以使得用户可以实时看到任务的处理进度,同时检测作业管理器在中间件上删除节点,完成节点执行状态的更新。
作为本发明的一个优选实施例,其特征在于,还包括:
建立云检测***;
所述云检测***的框架如下,负责虚拟资源管理的第一模块、负责检测工具和对象部署运行的第二模块、负责各模块集成和检测服务调度的检测服务管理模块、以及检测服务用户界面的测试模块。
第一模块(xVem)是一个提供了混合虚拟机管理支撑的虚拟资源管理平台,可分别融合并支撑异构的虚拟机管理工具(如OpenNebulae、Euclyptus、OpenStack)以及虚拟机类型(如Xen、KVM、VmWare等)。利用xVem作为检测资源的获取来源,并实现对检测虚拟机的管理。其中,xVem提供虚拟机操作API,并以WEB Service的形式开放给用户。
第二模块(xLape)是一个轻量级、可扩展的自动化集群任务调度和执行***。使用者可以通过命令行工具和作业描述文件向xLape提交需要在集群上运行的作业。其中,xLape可以自动完成作业可执行文件和数据文件的传输、执行节点的查询匹配、作业的自动分配执行等一系列动作。
参考图3,图3是本发明实施例提供的xLape的***结构简图。
xLape可以通过以XML格式描述的作业提交文件接受客户的作业控制请求,如作业提交、删除、停止等。xLape Scheduler作为xLape***的核心调度器,首先将作业放置于分级队列中,按公平等策略等候处理。当轮候到某个作业进行处理是,xLape根据作业执行的资源需求描述,通过快速匹配算法在集群中寻找满足要求的机器进行作业文件的部署和执行。
当xLape中相应的检测任务完成后,将采用事件监听/回调机制通知TSM***。基于***的松耦合设计考虑,此回调机制将基于第三方一致性消息中间件ZooKeeper来实现,而非同时对xLape和TSM改造实现此机制。完成消息通知过程在TSM模块设计中详细描述。
检测服务管理模块(TSM模块)是检测调度***的主要核心模块,承担了外部子***的功能集成、用户接口呈现等工作,从而实现检测调度***的主要功能。
TSM模块包括下列核心构件:
●资源管理器:与xVem***对接,负责维护、操控用于检测的虚拟机源;
●检测任务管理器:与xLape***对接,负责维护、操控检测作业;
●检测套件管理器:用于存储、维护检测工具以及检测对象的配置信息、文件存储等;
参考图4,图4是本发明实施例提供的TSM模块的***结构简图。
测试模块一方面向用户展示可用的检测工具和检测对象、提供检测的参数配置、展示用户已提交的检测请求列表和进行状态。另一方面,需要向管理员展示可用的虚拟机资源,并接受管理员的VM申请和撤销相关操作。
检测任务管理器(Test Task Manager)负责接收服务界面发送的检测作业请求,并缓存在作业队列中,提供查询和作业执行提取功能。
检测任务管理器中的作业执行器从作业队列中按照给定规则提取检测作业的描述文件,利用xLape的相应接口进行提交,从而启动检测任务。当xLape中的检测任务执行状态发生变化时,将通知检测任务管理器进行作业状态的更新。资源管理器(ResourceManager)负责接收管理员从服务界面发送的虚拟机申请、撤销和查询指令,同时通过xVem的开放API完成相应的操作功能。测试套件管理器(Test Suits Manager)保存了***当前可用的检测工具以及检测目标的具体信息,包括运行检测所需的参数、环境配置、可执行文件和数据文件的存放地址等。测试套件管理器为用户在服务界面的操作和检测项目的选择提供相应的数据,同时可以根据用户在服务界面的操作生成检测调度***内部的检测作业专用描述文件,从而为检测作业的提交执行提供基础。
参考图5,图5是本实施例提供的检测作业提交执行流程图。
一方面,检测作业管理器启动预处理进行,接收用户服务界面的检测请求,进行预处理生成标准的作业描述。若用户提交的为离线人工检测,则将此作业放置于离线作业队列中等候人工处理。若为自动在线检测则放置于在线作业队列中。另一方面,检测作业管理器维护一在线作业处理线程(进程)。此线程循环扫描在线作业队列,如果存在等候处理的作业,则进一步查询xLape***的负荷情况。若xLape***的负荷低于预先设定的阈值,则从在线作业队列中提取一作业提交执行,否则继续周期性睡眠等待。采用此机制可避免在xLape***负荷过重的情况下继续提交检测任务,造成拥堵和过长等待时间。
参考图6,图6是本实施例提供的作业状态维护更新机制的实施流程图。
检测作业状态更新维护流程指检测作业提交xLape启动执行后,其检测作业管理器中的状态转变更新及维护流程。在采用了分布式一致性中间件zookeeper(以下简称zk)后,可以实现事件触发式的作业状态更新方式,从而避免轮询带来的开销。此流程可简述如下:在提交作业成功后,检测作业管理器将在zk上注册带有检测任务ID号与初始信息的节点,同时为此节点注册相应的更新监听函数。当检测任务的运行状态发生改变的时候,xLape***主动更新zk上相应任务的状态信息。zk***将自动回调对应任务中检测作业管理器所注册的监听函数,从而实现检测作业管理器中的作业状态更新。当作业状态变为完成时,检测作业管理器将从zk上删除相应的任务节点。
参考图7,图7是本实施例提供的检测虚拟资源的实施流程图。
检测服务的虚拟机类型按用途可分为两类,一类用于离线检测,一类用于在线自动化检测。对于离线和在线检测的虚拟机都分别在xVem***中配置好相应的模板和镜像。特别地,由于自动化检测虚拟机的目的在于承载xLape***的运行,因此在线自动化检测的虚拟机镜像中提前嵌入xLape的集群任务执行agent,以便于在此类虚拟机启动后,即可动态扩展xLape***规模。当管理员在服务界面对检测虚拟机进行创建、释放、重启、查询等操作时,所选定的相关参数被传送到检测资源管理器。资源管理器从而调用xVem的相应接口完成操作,并根据操作的返回信息更新所维护的VM Pool信息。
参照图8,图8是本发明实施例提供的一种任务作业处理装置的结构框图,为了便于说明,仅示出了与本实施例相关的部分。
该任务作业处理装置,包括:
提交单元81,用于在云检测***中提交任务作业;
第一检测单元82,用于检测所述任务作业的任务类型,所述的任务类型包括集群任务类型和跨集群任务类型;
第一处理单元83,用于若所述任务类型为集群任务类型,则由所述云检测***中预置的集群调度器处理所述任务类型为集群任务类型的任务作业;
第二处理单元84,用于若所述任务类型为跨集群任务时,则由所述云检测***中预置的跨集群调度器处理所述任务类型为跨集群任务类型的任务作业;
其中,所述集群任务类型是由一个集群进行处理任务作业的类型,所述跨集群任务类型是由至少两个集群进行处理任务作业的类型。
进一步地,在该任务作业处理装置中,所述提交单元81,包括:
排队子单元,用于对提交的任务作业,根据提交的时间进行排队,生成作业队列;
检测子单元,用于查询云检测***的负荷值,检测所述负荷值是否低于预先设定的负荷阈值;
提取子单元,用于若是,在所述作业队列中提取作业提交执行。
进一步地,在该任务作业处理装置中,所述第二处理单元84包括:
获取子单元,用于获取所述任务作业的资源需求,所述资源需求包括集群中节点的数量、集群中节点的内存以及集群中节点的cpu参数之一或组合;
处理子单元,用于根据所述任务作业的资源需求,处理所述任务类型为跨集群任务类型的任务作业。
进一步地,在该任务作业处理装置中,还包括:
第二检测单元,用于检测作业管理器在中间件上注册任务作业的ID号以及集群中的节点,同时对所述节点注册相应的更新监听函数;
更新单元,用于当检测到任务的运行状态发生改变时,自动回调所述更新监听函数,对所述任务作业的状态更新,以使当作业状态变为完成时,所述检测作业管理器在所述中间件上删除所述节点。
一种云检测***,包括上述任务作业处理装置。
本发明实施例提供的装置可以应用在前述对应的方法实施例中,详情参见上述实施例的描述,在此不再赘述。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在可读取的存储介质中,如计算机的软盘,硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种任务作业处理方法,其特征在于,包括:
在云检测***中提交任务作业;
检测所述任务作业的任务类型,所述的任务类型包括集群任务类型和跨集群任务类型;
若所述任务类型为集群任务类型,则由所述云检测***中预置的集群调度器处理所述任务类型为集群任务类型的任务作业;
若所述任务类型为跨集群任务时,则由所述云检测***中预置的跨集群调度器处理所述任务类型为跨集群任务类型的任务作业;
其中,所述集群任务类型是由一个集群进行处理任务作业的类型,所述跨集群任务类型是由至少两个集群进行处理任务作业的类型;
其中,若任务类型为跨集群任务时,由云检测***中预置的跨集群调度器处理任务类型为跨集群任务类型的任务作业,将跨集群任务类型的任务作业发送至多个集群中,让多个集群进行处理任务作业;
检测任务管理器中的作业执行器从作业队列中按照给定规则提取检测作业的描述文件,利用xLape的相应接口进行提交,从而启动检测任务,当xLape中的检测任务执行状态发生变化时,将通知检测任务管理器进行作业状态的更新,资源管理器(Resource Manager)负责接收管理员从服务界面发送的虚拟机申请、撤销和查询指令,同时通过第一模块xVem的开放API完成相应的操作功能;
第一模块(xVem)是一个提供了混合虚拟机管理支撑的虚拟资源管理平台;
第二模块(xLape)是一个轻量级、可扩展的自动化集群任务调度和执行***。
2.根据权利要求1所述的方法,其特征在于,所述在云检测***中提交任务作业,包括:
对提交的任务作业,根据提交的时间进行排队,生成作业队列;
查询云检测***的负荷值,检测所述负荷值是否低于预先设定的负荷阈值;
若是,在所述作业队列中提取作业提交执行。
3.根据权利要求1所述的方法,其特征在于,所述处理所述任务类型为跨集群任务类型的任务作业,包括:
获取所述任务作业的资源需求,所述资源需求包括集群中节点的数量、集群中节点的内存以及集群中节点的cpu参数之一或组合;
根据所述任务作业的资源需求,处理所述任务类型为跨集群任务类型的任务作业。
4.根据权利要求1所述的方法,还包括:
检测作业管理器在中间件上注册任务作业的ID号以及集群中的节点,同时对所述节点注册相应的更新监听函数;
当检测到任务的运行状态发生改变时,自动回调所述更新监听函数,对所述任务作业的状态更新,以使当作业状态变为完成时,所述检测作业管理器在所述中间件上删除所述节点。
5.根据权利要求3所述的方法,其特征在于,还包括:
建立云检测***;
所述云检测***的框架包括第一模块、第二模块、检测服务管理模块、测试模块,其中,所述第一模块用于管理虚拟资源、所述第二模块用于检测工具和对象部署运行、所述检测服务管理模块用于集成各模块以及用于检测服务调度、所述测试模块检测服务用户界面。
6.一种任务作业处理装置,其特征在于,包括:
提交单元,用于在云检测***中提交任务作业;
第一检测单元,用于检测所述任务作业的任务类型,所述的任务类型包括集群任务类型和跨集群任务类型;
第一处理单元,用于若所述任务类型为集群任务类型,则由所述云检测***中预置的集群调度器处理所述任务类型为集群任务类型的任务作业;
第二处理单元,用于若所述任务类型为跨集群任务时,则由所述云检测***中预置的跨集群调度器处理所述任务类型为跨集群任务类型的任务作业;
其中,所述集群任务类型是由一个集群进行处理任务作业的类型,所述跨集群任务类型是由至少两个集群进行处理任务作业的类型;
其中,若任务类型为跨集群任务时,由云检测***中预置的跨集群调度器处理任务类型为跨集群任务类型的任务作业,将跨集群任务类型的任务作业发送至多个集群中,让多个集群进行处理任务作业;
检测任务管理器(Test Task Manager)负责接收服务界面发送的检测作业请求,并缓存在作业队列中,提供查询和作业执行提取功能;
检测任务管理器中的作业执行器从作业队列中按照给定规则提取检测作业的描述文件,利用xLape的相应接口进行提交,从而启动检测任务,当xLape中的检测任务执行状态发生变化时,将通知检测任务管理器进行作业状态的更新,资源管理器(Resource Manager)负责接收管理员从服务界面发送的虚拟机申请、撤销和查询指令,同时通过第一模块xVem的开放API完成相应的操作功能;
第一模块(xVem)是一个提供了混合虚拟机管理支撑的虚拟资源管理平台;
第二模块(xLape)是一个轻量级、可扩展的自动化集群任务调度和执行***。
7.根据权利要求6所述的任务作业处理装置,其特征在于,所述提交单元,包括:
排队子单元,用于对提交的任务作业,根据提交的时间进行排队,生成作业队列;
检测子单元,用于查询云检测***的负荷值,检测所述负荷值是否低于预先设定的负荷阈值;
提取子单元,用于若是,在所述作业队列中提取作业提交执行。
8.根据权利要求6所述的任务作业处理装置,其特征在于,所述第二处理单元包括:
获取子单元,用于获取所述任务作业的资源需求,所述资源需求包括集群中节点的数量、集群中节点的内存以及集群中节点的cpu参数之一或组合;
处理子单元,用于根据所述任务作业的资源需求,处理所述任务类型为跨集群任务类型的任务作业。
9.根据权利要求8所述的任务作业处理装置,其特征在于,还包括:
第二检测单元,用于检测作业管理器在中间件上注册任务作业的ID号以及集群中的节点,同时对所述节点注册相应的更新监听函数;
更新单元,用于当检测到任务的运行状态发生改变时,自动回调所述更新监听函数,对所述任务作业的状态更新,以使当作业状态变为完成时,所述检测作业管理器在所述中间件上删除所述节点。
10.一种云检测***,其特征在于,包括权利要求6至9任意一项任务作业处理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310723002.9A CN103744734B (zh) | 2013-12-24 | 2013-12-24 | 一种任务作业处理方法、装置及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310723002.9A CN103744734B (zh) | 2013-12-24 | 2013-12-24 | 一种任务作业处理方法、装置及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103744734A CN103744734A (zh) | 2014-04-23 |
CN103744734B true CN103744734B (zh) | 2017-09-26 |
Family
ID=50501754
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310723002.9A Active CN103744734B (zh) | 2013-12-24 | 2013-12-24 | 一种任务作业处理方法、装置及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103744734B (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104156505B (zh) * | 2014-07-22 | 2017-12-15 | 中国科学院信息工程研究所 | 一种基于用户行为分析的Hadoop集群作业调度方法及装置 |
CN105791354A (zh) * | 2014-12-23 | 2016-07-20 | 中兴通讯股份有限公司 | 作业调度方法和云调度服务器 |
CN106156939B (zh) * | 2015-04-27 | 2021-02-09 | 上海宝信软件股份有限公司 | 基于作业流的分布式调度***及应用方法 |
CN105700958B (zh) * | 2016-01-07 | 2019-05-03 | 北京京东尚科信息技术有限公司 | 一种任务自动拆分以及子任务并行执行的方法及其*** |
CN106301929A (zh) * | 2016-08-23 | 2017-01-04 | 成都卡莱博尔信息技术股份有限公司 | 一种基于轻量级虚拟化技术的云管理平台 |
CN108234566B (zh) * | 2016-12-21 | 2021-04-23 | 阿里巴巴集团控股有限公司 | 一种集群的数据处理方法及装置 |
CN106933664B (zh) * | 2017-03-09 | 2020-06-30 | 北京搜狐新媒体信息技术有限公司 | 一种Hadoop集群的资源调度方法及装置 |
CN108920259B (zh) | 2018-03-30 | 2022-06-24 | 华为云计算技术有限公司 | 深度学习作业调度方法、***和相关设备 |
CN110764882B (zh) * | 2018-07-25 | 2024-07-16 | 北京京东尚科信息技术有限公司 | 分布式管理方法、分布式管理***及装置 |
CN109558789A (zh) * | 2018-10-09 | 2019-04-02 | 珠海亿联德源信息技术有限公司 | 一种基于分布式计算的生物特征快速识别*** |
CN109582451A (zh) * | 2018-11-21 | 2019-04-05 | 金色熊猫有限公司 | 任务调度方法、***、设备以及可读介质 |
CN111143075B (zh) * | 2019-12-30 | 2023-09-05 | 航天宏图信息技术股份有限公司 | 海洋卫星数据定标检验方法、装置、电子设备及存储介质 |
CN112948075B (zh) * | 2021-02-04 | 2024-02-27 | 北京淇瑀信息科技有限公司 | 任务拥堵处理方法、装置和电子设备 |
CN113220431B (zh) * | 2021-04-29 | 2023-11-03 | 西安易联趣网络科技有限责任公司 | 跨云的分布式数据任务调度方法、设备及存储介质 |
US11954525B1 (en) | 2022-09-21 | 2024-04-09 | Zhejiang Lab | Method and apparatus of executing collaborative job for spark faced to multiple K8s clusters |
CN115242877B (zh) * | 2022-09-21 | 2023-01-24 | 之江实验室 | 面向多K8s集群的Spark协同计算、作业方法及装置 |
CN117950816A (zh) * | 2022-10-28 | 2024-04-30 | 华为技术有限公司 | 作业调度方法、装置和芯片 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101599026A (zh) * | 2009-07-09 | 2009-12-09 | 浪潮电子信息产业股份有限公司 | 一种具有弹性架构的集群作业调度*** |
CN101645022A (zh) * | 2009-08-28 | 2010-02-10 | 曙光信息产业(北京)有限公司 | 用于多个集群的作业调度管理***及方法 |
CN103092698A (zh) * | 2012-12-24 | 2013-05-08 | 中国科学院深圳先进技术研究院 | 云计算应用自动部署***及方法 |
CN103207814A (zh) * | 2012-12-27 | 2013-07-17 | 北京仿真中心 | 一种去中心化的跨集群资源管理与任务调度***与调度方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8108656B2 (en) * | 2002-08-29 | 2012-01-31 | Qst Holdings, Llc | Task definition for specifying resource requirements |
-
2013
- 2013-12-24 CN CN201310723002.9A patent/CN103744734B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101599026A (zh) * | 2009-07-09 | 2009-12-09 | 浪潮电子信息产业股份有限公司 | 一种具有弹性架构的集群作业调度*** |
CN101645022A (zh) * | 2009-08-28 | 2010-02-10 | 曙光信息产业(北京)有限公司 | 用于多个集群的作业调度管理***及方法 |
CN103092698A (zh) * | 2012-12-24 | 2013-05-08 | 中国科学院深圳先进技术研究院 | 云计算应用自动部署***及方法 |
CN103207814A (zh) * | 2012-12-27 | 2013-07-17 | 北京仿真中心 | 一种去中心化的跨集群资源管理与任务调度***与调度方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103744734A (zh) | 2014-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103744734B (zh) | 一种任务作业处理方法、装置及*** | |
US11310286B2 (en) | Mechanism for providing external access to a secured networked virtualization environment | |
CN109582433B (zh) | 一种资源调度方法、装置、云计算***及存储介质 | |
US8584127B2 (en) | Storage medium storing job management program, information processing apparatus, and job management method | |
CN106919445B (zh) | 一种在集群中并行调度容器的方法和装置 | |
US10146599B2 (en) | System and method for a generic actor system container application | |
CN103425472B (zh) | 基于云计算的软件测试环境动态生成***及其实现方法 | |
US9396039B1 (en) | Scalable load testing using a queue | |
CN107534571A (zh) | 管理虚拟网络功能 | |
KR20140101358A (ko) | 상태 보존형 애플리케이션의 가용성 증가 기법 | |
KR20060069464A (ko) | 컴퓨팅 환경에서 요청 실행의 관리 방법과 그 시스템 및컴퓨터 프로그램 제품 | |
EP3356939B1 (en) | Accurate generation of multiple dimensions of computer load | |
CN107168779A (zh) | 一种任务管理方法及*** | |
CN111240806B (zh) | 一种分布式容器镜像构建调度方法 | |
CN116954873B (zh) | 异构计算***及其算力节点选择方法、装置、设备、介质 | |
CN117999541A (zh) | 基于资源消耗的动态策略调整 | |
US9325576B2 (en) | Dynamic server to server configuration and initialization | |
CN112559143A (zh) | 任务调度方法、***及计算设备 | |
TWI414947B (zh) | 在包含多個處理節點之計算系統上載入一程式之方法、電腦可讀媒體及平行計算系統 | |
JP2009151467A (ja) | 配信印刷システム | |
KR20170031131A (ko) | 가상 스트림 및 처리 에이전트를 이용한 스트림 기반 이벤트 처리 기법 | |
US8788601B2 (en) | Rapid notification system | |
CN112256287A (zh) | 一种应用部署方法及装置 | |
JP2007072768A (ja) | サーバ、ジョブスケジューリング方法、プログラム、記録媒体 | |
Horchidan et al. | Evaluating model serving strategies over streaming data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |