CN107807815B - 分布式处理任务的方法和装置 - Google Patents

分布式处理任务的方法和装置 Download PDF

Info

Publication number
CN107807815B
CN107807815B CN201710976299.8A CN201710976299A CN107807815B CN 107807815 B CN107807815 B CN 107807815B CN 201710976299 A CN201710976299 A CN 201710976299A CN 107807815 B CN107807815 B CN 107807815B
Authority
CN
China
Prior art keywords
task
compiling
executed
deploying
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710976299.8A
Other languages
English (en)
Other versions
CN107807815A (zh
Inventor
王峰
刘海锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201710976299.8A priority Critical patent/CN107807815B/zh
Publication of CN107807815A publication Critical patent/CN107807815A/zh
Application granted granted Critical
Publication of CN107807815B publication Critical patent/CN107807815B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/40—Transformation of program code
    • G06F8/41—Compilation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multi Processors (AREA)
  • Stored Programmes (AREA)

Abstract

本发明提供一种分布式处理任务的方法和装置，其中，该方法包括：接收待执行任务的任务请求；根据所述任务请求，选择执行所述待执行任务的任务编译部署节点，并将所述待执行任务发送至所述任务编译部署节点进行执行。本发明实施例提供的分布式处理任务的方法和装置，通过建立包含最大并发数量的任务编译部署节点的任务编译部署节点集合处理多个任务请求并且能够根据处理的任务数量实时创建任务编译部署节点以满足对大规模请求任务的处理需求，有效解决了单个任务编译部署节点的面对处理大规模任务时的瓶颈问题。

Description

分布式处理任务的方法和装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种分布式处理任务的方法和装置。
背景技术
持续集成工具可以用于监控持续重复的工作，包括：持续的软件版本发布/测试项目以及监控外部调用执行的工作。持续集成工具中各任务编译部署节点可以用来实现大规模的部署编译任务的处理。在持续集成工具构建的分布式任务编译部署***中，任务编译部署节点在处理大规模部署编译任务时容易陷入性能瓶颈或者单个任务编译部署节点上任务压力过大的问题。
以Jenkins为例，Jenkins是基于Java开发的一种持续集成工具。Jenkins的分布式构建的整套环境需要一个中心服务器(Jenkins Master节点)和若干测试机器(Slave节点)组成，其中，Jenkins Master节点负责任务的调度以及元数据和调度结果的保存，JenkinsSlave节点负责任务的具体执行，并将结果返回给Jenkins Master节点，从而能够让同一套代码或项目在不同的环境中编译、部署等。
关于Jenkins的架构，在现有技术中存在以下三种形式：
(一)Jenkins单机模式
如图1所示，该模式是指部署的Jenkins服务器不仅是Jenkins Master节点也是Jenkins Slave节点，Jenkins服务器在接收到构建或者部署请求时就会在本机执行这些任务。
(二)结合单个Jenkins Master和静态多个Jenkins Slave模式
如图2所示，该模式是指部署一个Jenkins Master节点和多个Jenkins Slave节点，这些Jenkins Slave节点是事先创建好，并注册到Jenkins Master节点上供JenkinsMaster调度使用。当Jenkins Master收到请求时，会选择Jenkins Slave，并将任务调度到Jenkins Slave上执行，执行完成后，任务的元数据和结果保存在Jenkins Master上。
(三)结合单个Jenkins Master和动态多个Jenkins Slave模式
如图3所示，该模式是指部署一个Jenkins Master节点和多个动态Jenkins Slave节点，Jenkins Slave节点是执行任务的时候创建的，并动态的注册到Jenkins Master节点上供Jenkins Master调度使用。当Jenkins Master收到请求时，会通过K8s插件创建合适的Jenkins Slave节点，并将任务调度到Jenkins Slave节点上执行，执行完成后，JenkinsSlave节点会被销毁，任务的元数据和结果保存在Jenkins Master上。
然而，现有技术中存在以下缺点：
(1)关于Jenkins单机模式
由于Jenkins单机模式只适合处理小规模的任务，因此当任务数量增加时，所有的待处理任务将在一台机器上执行，由此增加了机器负载，最终导致服务器崩溃。
(2)关于结合单个Master和静态多个Jenkins Slave模式
虽然，静态Slave模式可以避免前述单机模式中的大量任务在同一台机器执行的问题，但是Slave节点的个数仍然是确定的，而且每次增加Slave节点都需要手动注册，因此操作非常麻烦，并且当任务超过一定规模时，Master节点上的压力会非常大。
(3)关于集合单个Master和动态多个Jenkins Slave模式
虽然动态创建Jenkins Slave模式可以省去手动注册的麻烦，并且Jenkins Slave节点无需始终存在，只需在有任务请求时才需要，但是这种方式仍然无法解决处理大规模任务的问题，即当任务规模超出处理能力时(例如，超过10000)，此时单个Jenkins Master的性能会非常差，从而直接导致Jenkins Master节点无法工作。
发明内容
有鉴于此，本发明实施例提供一种分布式处理任务的方法和装置，以解决现有技术中单个任务编译部署节点面对处理大规模任务时的瓶颈问题。
为实现上述目的，根据本发明实施例的一个方面，提供了一种分布式处理任务的方法，该方法包括：
接收待执行任务的任务请求；
根据所述任务请求，选择执行所述待执行任务的任务编译部署节点，并将所述待执行任务发送至所述任务编译部署节点进行执行。
可选地，该方法还包括：在接收待执行任务的任务请求之前，创建预设数量的任务编译部署节点，其中，所述预设数量是指不小于所述待执行任务的最大并发数的数量。
可选地，在创建预设数量的任务编译部署节点的步骤中，包括：通过集群管理***创建包含预设数量的所述任务编译部署节点的任务编译部署节点集合。
可选地，该方法还包括：在创建所述预设数量的任务编译部署节点之后，将所述任务编译部署节点的信息保存至数据库中，其中，所述信息包括以下至少一项内容：每个任务编译部署节点的服务器的IP地址、运行状态、已经执行完成任务的任务数量，其中所述运行状态包括空闲状态和工作状态。
可选地，根据所述任务请求，选择执行所述待执行任务的任务编译部署节点，并将所述待执行任务发送至所述任务编译部署节点进行执行包括：
在接收到待执行任务为编译任务的任务请求之后，将所述编译任务的任务请求信息保存至所述数据库中，并根据所述编译任务的任务请求从所述数据库中选择符合预设条件的任务编译部署节点，然后将所述编译任务的任务请求发送至所述符合预设条件的任务编译部署节点进行执行。
可选地，根据所述任务请求，选择执行所述待执行任务的任务编译部署节点，并将所述待执行任务发送至所述任务编译部署节点进行执行还包括：
在接收到待执行任务为编译任务的任务请求之前，根据接收到的创建任务的任务请求，将所述创建任务的任务请求信息保存至所述数据库中。
可选地，根据所述编译任务的任务请求从所述数据库中选择符合预设条件的任务编译部署节点包括：
获取所述数据库中保存的运行状态为空闲状态的任务编译部署节点的列表，并从所述列表中选择已经执行完成任务的任务数量最少的任务编译部署节点；以及
如果所述数据库中没有运行状态为空闲状态的任务编译部署节点，则通过所述集群管理***创建一个新的任务编译部署节点作为执行所述编译任务的任务编译部署节点。
可选地，该方法还包括：在选择执行所述待执行任务的任务编译部署节点之后，将所述任务编译部署节点的运行状态设置为工作状态；以及
在所述待执行任务执行完毕之后，保存所述待执行任务的结果信息，并将所述任务编译部署节点的运行状态设置为空闲状态。
本发明实施例的一个方面，提供了一种分布式处理任务的装置，该装置包括：
接收模块，用于接收待执行任务的任务请求；
执行模块，用于根据所述任务请求，选择执行所述待执行任务的任务编译部署节点，并将所述待执行任务发送至所述任务编译部署节点进行执行。
可选地，该装置还包括：创建模块，用于在接收待执行任务的任务请求之前，创建预设数量的任务编译部署节点，其中，所述预设数量是指不小于所述待执行任务的最大并发数的数量。
可选地，所述创建模块还用于：通过集群管理***创建包含预设数量的所述任务编译部署节点的任务编译部署节集合。
可选地，该装置还包括：存储模块，用于在创建所述预设数量的任务编译部署节点之后，将所述任务编译部署节点的信息保存至数据库中，其中，所述信息包括以下至少一项内容：每个所述任务编译部署节点的服务器的IP地址、运行状态、已经执行完成任务的任务数量，其中所述运行状态包括空闲状态和工作状态。
可选地，所述执行模块还用于：将所述编译任务的任务请求信息保存至所述数据库中，并根据所述编译任务的任务请求从所述数据库中选择符合预设条件的任务编译部署节点，然后将所述编译任务的任务请求发送至所述符合预设条件的任务编译部署节点进行执行。
可选地，所述执行模块还用于：在接收到待执行任务为编译任务的任务请求之前，根据接收到的创建任务的任务请求，将所述创建任务的任务请求信息保存至所述数据库中。
可选地，所述执行模块还用于：获取所述数据库中保存的运行状态为空闲状态的任务编译部署节点的列表，并从所述列表中选择已经执行完成任务的任务数量最少的任务编译部署节点；以及
如果所述数据库中没有运行状态为空闲状态的任务编译部署节点，则通过所述集群管理***创建一个新的任务编译部署节点作为执行所述编译任务的任务编译部署节点。
可选地，该装置还包括：设置模块，用于在选择执行所述待执行任务的任务编译部署节点之后，将所述任务编译部署节点的运行状态设置为工作状态；以及在所述待执行任务执行完毕之后，保存所述待执行任务的结果信息，并将所述任务编译部署节点的运行状态设置为空闲状态。
本发明实施例还提供一种分布式处理任务的终端设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例的分布式处理任务的方法。
本发明实施例还提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如本发明实施例的分布式处理任务的方法。
本发明实施例提供的分布式处理任务的方法和装置，能够解决了单个任务编译部署节点的面对处理大规模任务时的瓶颈问题；通过创建包含最大并发数量的任务编译部署节点的任务编译部署节点集合，从而能够使得该分布式***能够具有多个任务编译部署节点以便于处理多个任务请求；通过将创建的任务编译部署节点的信息保存至数据库中，从而能够处理根据待执行任务的处理需求便于选择任务编译部署节点执行待处理任务；通过根据所述编译任务的任务请求从数据库中选择符合预设条件的任务编译部署节点，然后将编译任务的任务请求发送至符合预设条件的任务编译部署节点进行执行，从而能够选择满足条件的任务编译部署节点执行相应的待执行任务；通过将任务编译部署节点的信息保存至数据库中，从而实现对任务编译部署节点信息的数据持久化，以便后续处理时可以方便的获取数据和/或随时查看数据；通过获取数据库中保存的运行状态为空闲状态的任务编译部署节点的列表，并从列表中选择已经执行完成任务的任务数量最少的任务编译部署节点；以及如果数据库中没有运行状态为空闲状态的任务编译部署节点，则通过集群管理***创建一个新的任务编译部署节点作为执行所述编译任务的任务编译部署节点，从而能够选择出满足预设条件的任务编译部署节点执行待处理任务。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是现有技术中关于Jenkins的架构中的Jenkins单机模式的示意图；
图2是现有技术中关于Jenkins的架构中的结合单个Master和静态多个Slave模式的示意图；
图3是现有技术中关于Jenkins的架构中的结合单个Master和动态多个Slave模式的示意图；
图4是根据本发明实施例的分布式处理任务的方法的主要流程的示意图；
图5是根据本发明实施例的分布式处理任务的装置的主要模块的示意图；
图6是适于用来实现本发明实施例的终端设备的计算机***的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
在本文中，需要理解的是，所涉及的术语中：
Jenkins：是一个开源软件项目，是基于Java开发的一种持续集成工具，用于监控持续重复的工作，旨在提供一个开放易用的软件平台，使软件的持续集成变成可能。
Kubernetes：简称为k8s，是自动化容器操作的开源平台，是一种用于实现容器化应用集群管理的***，这些操作包括部署，调度和节点集群间扩展。Kubernetes不仅仅支持Docker，还支持Rocket，这是另一种容器技术。
MySQL：是一个关系型数据库管理***，由瑞典MySQL AB公司开发，目前属于Oracle旗下产品。MySQL是最流行的关系型数据库管理***之一，在WEB应用方面，MySQL是最好的RDBMS(Relational Database Management System，关系数据库管理***)应用软件。
示例性方法
如图4所示，提供了一种分布式处理任务的方法，该方法包括：
步骤S401：接收待执行任务的任务请求；
步骤S402：根据所述任务请求，选择执行所述待执行任务的任务编译部署节点Jenkins Master，并将所述待执行任务发送至所述任务编译部署节点进行执行。本发明实施例中，任务编译部署节点可以但不限于是Jenkins持续集成工具中的Jenkins Master。以下以Jenkins Master为例，进行任务编译部署节点的创建和任务处理的说明。
可选地，该方法还包括：在接收待执行任务的任务请求之前，创建预设数量的Jenkins Master，其中，所述预设数量是指不小于所述待执行任务的最大并发数的数量。
可选地，在创建预设数量的Jenkins Master的步骤中，包括：
通过Kubernetes***创建包含预设数量的所述Jenkins Master的JenkinsMaster集合。
可选地，该方法还包括：在创建所述预设数量的Jenkins Master之后，将所述Jenkins Master的信息保存至数据库中，其中，所述信息包括以下至少一项内容：每个Jenkins Master的服务器的IP地址、运行状态、已经执行完成任务的任务数量，其中所述运行状态包括空闲状态和工作状态。
可选地，根据所述任务请求，选择执行所述待执行任务的Jenkins Master，并将所述待执行任务发送至所述Jenkins Master进行执行包括：在接收到待执行任务为编译任务的任务请求之后，将所述编译任务的任务请求信息保存至所述数据库中，并根据所述编译任务的任务请求从所述数据库中选择符合预设条件的Jenkins Master，然后将所述编译任务的任务请求发送至所述符合预设条件的Jenkins Master进行执行。
可选地，根据所述任务请求，选择执行所述待执行任务的Jenkins Master，并将所述待执行任务发送至所述Jenkins Master进行执行还包括：
在接收到待执行任务为编译任务的任务请求之前，根据接收到的创建任务的任务请求，将所述创建任务的任务请求信息保存至所述数据库中。
可选地，根据所述编译任务的任务请求从所述数据库中选择符合预设条件的Jenkins Master包括：
获取所述数据库中保存的运行状态为空闲状态的Jenkins Master的列表，并从所述列表中选择已经执行完成任务的任务数量最少的Jenkins Master；以及
如果所述数据库中没有运行状态为空闲状态的Jenkins Master，则通过所述Kubernetes***创建一个新的Jenkins Master作为执行所述编译任务的Jenkins Master。
可选地，该方法还包括：在选择执行所述待执行任务的Jenkins Master之后，将所述Jenkins Master的运行状态设置为工作状态；以及
在所述待执行任务执行完毕之后，保存所述待执行任务的结果信息，并将所述Jenkins Master的运行状态设置为空闲状态。
实施例
下面结合一个具体实施例对本发明进行具体描述，然而值得注意的是该具体实施例仅是为了更好地描述本发明，并不构成对本发明的不当限定。
首先，根据任务的处理需求，通过Kubernetes***创建包含预设数量的JenkinsMaster的Jenkins Master集合(Jenkins Master Pool)，将该Jenkins Master集合中的每个Jenkins Master的信息保存到Mysql数据库的Server表中，其中，Server表中记录的信息至少包括：每个Master的服务器的IP地址、该Master的状态是否为空闲以及该Master已经执行完成任务的个数中的一个或多个。
然后，在应用程序接口(API)接收到任务请求之后，判断该任务请求的请求类型。
如果该任务请求为“创建任务”的任务请求，则向Mysql数据库中的Job表中***一条记录。具体来说，由于原生的Jenkins会将任务通过文本的方式保存在本地，因此只有本地的Jenkins才会查询并获取这个任务，而在本发明实施例中***记录的目的在于将这条任务信息保存至数据库，以便于将来对该任务进行编译的时候可以从该数据库中获取该任务，再从Jenkins Master集合(Jenkins Master Pool)中选择一台Jenkins Master执行该任务；
如果该任务请求为“编译任务”的请求时，首先向Mysql数据库中的Build表***一条构建的记录。具体来说，将构建记录保存到Mysql数据库的目的在于为了方便用户以后查看这些记录，即使当时执行这条构建记录的Jenkins Master被销毁了，我们依然可以从Mysql数据库中查看这条记录。然后，再从Server表中选择一个满足预设条件的Master来处理该任务。具体来说，该预设条件如下：
第一，从Server表中筛选出空闲的Master列表；
第二，针对空闲的Jenkins Master列表中，按照已经执行完成任务的个数排序，从中选择已经执行完成任务的个数最小的Jenkins Master作为满足预设条件的JenkinsMaster；
第三，如果Server表中没有空闲的Jenkins Master，则通过Kubernetes***动态创建一个新的Jenkins Master，将该新的Jenkins Master来处理该任务，并在Server表中***这条新的Jenkins Master记录。
也就是说，当接收的所述任务请求包含所述待执行任务的任务数量大于所述预设数量时，则通过所述Kubernetes***在所述Jenkins Master集合中继续创建所述任务数量与所述预设数量之差数量的所述Jenkins Master。
最后，待找到满足预设条件的Jenkins Master之后，将Server表中该Master记录信息中的状态设置为“工作状态”，并待该任务执行完毕之后，将该任务的结果信息保存到Build表中，再将该Jenkins Master的状态设置为“空闲状态”，以供后续使用。
通过本发明实施例提供的分布式处理任务的方法能够将大规模的任务由单个Jenkins Master节点前置到数据库中，然后将这些任务均匀的调度到各个Jenkins Master节点上，将单个Jenkins Master节点处理大规模任务的形式转换为多个Jenkins Master节点同时处理小规模的任务，有效解决了单个Jenkins Master节点处理多任务时遇到的瓶颈问题。
此外，在执行“编译”或“部署”任务时，该分布式***只需要处理接收到的相应请求即可，无需应对和判断提出待处理任务的来源，从而将待处理任务和Jenkins服务解耦。
如图5所示，是根据本发明实施例的分布式处理任务的装置的主要模块的示意图；其中，该装置包括：
接收模块501，用于接收待执行任务的任务请求；
执行模块502，用于根据所述任务请求，选择执行所述待执行任务的JenkinsMaster，并将所述待执行任务发送至所述Jenkins Master进行执行。
可选地，该装置还包括：创建模块，用于在接收待执行任务的任务请求之前，创建预设数量的Jenkins Master，其中，所述预设数量是指不小于所述待执行任务的最大并发数的数量。
可选地，所述创建模块还用于：通过Kubernetes***创建包含预设数量的所述Jenkins Master的Jenkins Master集合。
可选地，该装置还包括：存储模块，用于在创建所述预设数量的Jenkins Master之后，将所述Jenkins Master的信息保存至数据库中，其中，所述信息包括以下至少一项内容：每个所述Jenkins Master的服务器的IP地址、运行状态、已经执行完成任务的任务数量，其中所述运行状态包括空闲状态和工作状态。
可选地，所述执行模块还用于：将所述编译任务的任务请求信息保存至所述数据库中，并根据所述编译任务的任务请求从所述数据库中选择符合预设条件的JenkinsMaster，然后将所述编译任务的任务请求发送至所述符合预设条件的Jenkins Master进行执行。
可选地，所述执行模块还用于：在接收到待执行任务为编译任务的任务请求之前，根据接收到的创建任务的任务请求，将所述创建任务的任务请求信息保存至所述数据库中。
可选地，所述执行模块还用于：获取所述数据库中保存的运行状态为空闲状态的Jenkins Master的列表，并从所述列表中选择已经执行完成任务的任务数量最少的Jenkins Master；以及
如果所述数据库中没有运行状态为空闲状态的Jenkins Master，则通过所述Kubernetes***创建一个新的Jenkins Master作为执行所述编译任务的Jenkins Master。
可选地，该装置还包括：设置模块，用于在选择执行所述待执行任务的JenkinsMaster之后，将所述Jenkins Master的运行状态设置为工作状态；以及在所述待执行任务执行完毕之后，保存所述待执行任务的结果信息，并将所述Jenkins Master的运行状态设置为空闲状态。
由于本发明提供的分布式处理任务的装置是上述方法对应的装置，故不在此赘述。
下面参考图6，其示出了适于用来实现本发明实施例的终端设备的计算机***600的结构示意图。图6示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，计算机***600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有***600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本发明的***中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括接收模块501、执行模块502。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：
步骤S401：接收待执行任务的任务请求；
步骤S402：根据所述任务请求，选择执行待执行任务的Jenkins Master，并将待执行任务发送至Jenkins Master进行执行。
本发明实施例提供的分布式处理任务的方法和装置，能够解决了单个任务编译部署节点的面对处理大规模任务时的瓶颈问题；通过创建包含最大并发数量的任务编译部署节点的任务编译部署节点集合，从而能够使得该分布式***能够具有多个任务编译部署节点以便于处理多个任务请求；通过将创建的任务编译部署节点的信息保存至数据库中，从而能够处理根据待执行任务的处理需求便于选择任务编译部署节点执行待处理任务；通过根据所述编译任务的任务请求从数据库中选择符合预设条件的任务编译部署节点，然后将编译任务的任务请求发送至符合预设条件的任务编译部署节点进行执行，从而能够选择满足条件的任务编译部署节点执行相应的待执行任务；通过将任务编译部署节点的信息保存至数据库中，从而实现对任务编译部署节点信息的数据持久化，以便后续处理时可以方便的获取数据和/或随时查看数据；通过获取数据库中保存的运行状态为空闲状态的任务编译部署节点的列表，并从列表中选择已经执行完成任务的任务数量最少的任务编译部署节点；以及如果数据库中没有运行状态为空闲状态的任务编译部署节点，则通过集群管理***创建一个新的任务编译部署节点作为执行所述编译任务的任务编译部署节点，从而能够选择出满足预设条件的任务编译部署节点执行待处理任务。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (16)

1.一种分布式处理任务的方法，其特征在于，包括：
接收待执行任务的任务请求；
根据所述任务请求，选择执行所述待执行任务的任务编译部署节点，并将所述待执行任务发送至所述任务编译部署节点进行执行；
根据所述任务请求，选择执行所述待执行任务的任务编译部署节点，并将所述待执行任务发送至所述任务编译部署节点进行执行包括：在接收到待执行任务为编译任务的任务请求之后，将所述编译任务的任务请求信息保存至数据库中，并根据所述编译任务的任务请求从所述数据库中选择符合预设条件的任务编译部署节点，然后将所述编译任务的任务请求发送至所述符合预设条件的任务编译部署节点进行执行。
2.根据权利要求1所述的方法，其特征在于，还包括：
在接收待执行任务的任务请求之前，创建预设数量的任务编译部署节点，其中，所述预设数量是指不小于所述待执行任务的最大并发数的数量。
3.根据权利要求2所述的方法，其特征在于，在创建预设数量的任务编译部署节点的步骤中，包括：
通过集群管理***创建包含预设数量的任务编译部署节点的任务编译部署节点集合。
4.根据权利要求3所述的方法，其特征在于，还包括：
在创建所述预设数量的任务编译部署节点之后，将所述任务编译部署节点的信息保存至数据库中，其中，所述信息包括以下至少一项内容：每个任务编译部署节点的服务器的IP地址、运行状态、已经执行完成任务的任务数量，其中所述运行状态包括空闲状态和工作状态。
5.根据权利要求1所述的方法，其特征在于，根据所述任务请求，选择执行所述待执行任务的任务编译部署节点，并将所述待执行任务发送至所述任务编译部署节点进行执行还包括：
在接收到待执行任务为编译任务的任务请求之前，根据接收到的创建任务的任务请求，将所述创建任务的任务请求信息保存至所述数据库中。
6. 根据权利要求1中所述的方法，其特征在于，根据所述编译任务的任务请求从所述数据库中选择符合预设条件的任务编译部署节点包括：
获取所述数据库中保存的运行状态为空闲状态的任务编译部署节点的列表，并从所述列表中选择已经执行完成任务的任务数量最少的任务编译部署节点；以及
如果所述数据库中没有运行状态为空闲状态的任务编译部署节点，则通过Kubernetes***创建新的任务编译部署节点作为执行所述编译任务的任务编译部署节点。
7. 根据权利要求1~6中任一项所述的方法，其特征在于，还包括：
在选择执行所述待执行任务的任务编译部署节点之后，将所述任务编译部署节点的运行状态设置为工作状态；以及
在所述待执行任务执行完毕之后，保存所述待执行任务的结果信息，并将所述任务编译部署节点的运行状态设置为空闲状态。
8.一种分布式处理任务的装置，其特征在于，包括：
接收模块，用于接收待执行任务的任务请求；
执行模块，用于根据所述任务请求，选择执行所述待执行任务的任务编译部署节点，并将所述待执行任务发送至所述任务编译部署节点进行执行；
所述执行模块还用于：将编译任务的任务请求信息保存至数据库中，并根据所述编译任务的任务请求从所述数据库中选择符合预设条件的任务编译部署节点，然后将所述编译任务的任务请求发送至所述符合预设条件的任务编译部署节点进行执行。
9.根据权利要求8所述的装置，其特征在于，还包括：
创建模块，用于在接收待执行任务的任务请求之前，创建预设数量的任务编译部署节点，其中，所述预设数量是指不小于所述待执行任务的最大并发数的数量。
10.根据权利要求9所述的装置，其特征在于，所述创建模块还用于：
通过集群管理***创建包含预设数量的任务编译部署节点的任务编译部署节点集合。
11.根据权利要求10所述的装置，其特征在于，还包括：
存储模块，用于在创建所述预设数量的任务编译部署节点之后，将所述任务编译部署节点的信息保存至数据库中，其中，所述信息包括以下至少一项内容：每个所述任务编译部署节点的服务器的IP地址、运行状态、已经执行完成任务的任务数量，其中所述运行状态包括空闲状态和工作状态。
12.根据权利要求8中所述的装置，其特征在于，所述执行模块还用于：
在接收到待执行任务为编译任务的任务请求之前，根据接收到的创建任务的任务请求，将所述创建任务的任务请求信息保存至所述数据库中。
13. 根据权利要求10中所述的装置，其特征在于，所述执行模块还用于：
获取所述数据库中保存的运行状态为空闲状态的任务编译部署节点的列表，并从所述列表中选择已经执行完成任务的任务数量最少的任务编译部署节点；以及
如果所述数据库中没有运行状态为空闲状态的任务编译部署节点，则通过所述集群管理***创建新的任务编译部署节点作为执行所述编译任务的任务编译部署节点。
14. 根据权利要求8~13中任一项所述的装置，其特征在于，还包括：
设置模块，用于在选择执行所述待执行任务的任务编译部署节点之后，将所述任务编译部署节点的运行状态设置为工作状态；以及
在所述待执行任务执行完毕之后，保存所述待执行任务的结果信息，并将所述任务编译部署节点的运行状态设置为空闲状态。
15.一种分布式处理任务的终端设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
16.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN201710976299.8A 2017-10-19 2017-10-19 分布式处理任务的方法和装置 Active CN107807815B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710976299.8A CN107807815B (zh) 2017-10-19 2017-10-19 分布式处理任务的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710976299.8A CN107807815B (zh) 2017-10-19 2017-10-19 分布式处理任务的方法和装置

Publications (2)

Publication Number Publication Date
CN107807815A CN107807815A (zh) 2018-03-16
CN107807815B true CN107807815B (zh) 2020-11-24

Family

ID=61592812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710976299.8A Active CN107807815B (zh) 2017-10-19 2017-10-19 分布式处理任务的方法和装置

Country Status (1)

Country Link
CN (1) CN107807815B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108681777B (zh) * 2018-05-07 2021-07-20 北京京东尚科信息技术有限公司 一种基于分布式***的机器学习程序运行的方法和装置
CN109032784A (zh) * 2018-08-07 2018-12-18 郑州云海信息技术有限公司 一种多任务并行构建方法及装置
CN109388405A (zh) * 2018-10-25 2019-02-26 北京大米未来科技有限公司 一种任务处理方法、装置、电子设备及介质
CN109947452A (zh) * 2019-03-26 2019-06-28 南京联创信息科技有限公司 一种Kubernetes容器平台应用更新方法
CN112019581B (zh) * 2019-05-30 2022-02-25 华为技术有限公司 一种调度任务处理实体的方法及装置
CN111736810A (zh) * 2020-08-18 2020-10-02 四川新网银行股份有限公司 基于jenkins实时任务动态创建docker容器节点执行任务的方法
CN112183053A (zh) * 2020-10-10 2021-01-05 湖南快乐阳光互动娱乐传媒有限公司 一种数据处理方法及装置
CN112559022A (zh) * 2020-12-16 2021-03-26 同盾控股有限公司 Jenkins高可用的***及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104079630A (zh) * 2014-06-09 2014-10-01 中国建设银行股份有限公司 一种业务服务端负载均衡方法、客户端、服务端以及***
CN105760459A (zh) * 2016-02-04 2016-07-13 四川嘉宝资产管理集团股份有限公司 一种分布式数据处理***及方法
CN106909451A (zh) * 2017-02-28 2017-06-30 郑州云海信息技术有限公司 一种分布式任务调度***及方法
CN107026762A (zh) * 2017-05-24 2017-08-08 郑州云海信息技术有限公司 一种基于分布式集群的容灾***及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8621446B2 (en) * 2010-04-29 2013-12-31 International Business Machines Corporation Compiling software for a hierarchical distributed processing system
CN104794095B (zh) * 2014-01-16 2018-09-07 华为技术有限公司 分布式计算处理方法及装置
US10169100B2 (en) * 2016-03-31 2019-01-01 International Business Machines Corporation Software-defined storage cluster unified frontend

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104079630A (zh) * 2014-06-09 2014-10-01 中国建设银行股份有限公司 一种业务服务端负载均衡方法、客户端、服务端以及***
CN105760459A (zh) * 2016-02-04 2016-07-13 四川嘉宝资产管理集团股份有限公司 一种分布式数据处理***及方法
CN106909451A (zh) * 2017-02-28 2017-06-30 郑州云海信息技术有限公司 一种分布式任务调度***及方法
CN107026762A (zh) * 2017-05-24 2017-08-08 郑州云海信息技术有限公司 一种基于分布式集群的容灾***及方法

Also Published As

Publication number Publication date
CN107807815A (zh) 2018-03-16

Similar Documents

Publication Publication Date Title
CN107807815B (zh) 分布式处理任务的方法和装置
CN109933522B (zh) 一种自动化用例的测试方法、测试***及存储介质
CN107729139B (zh) 一种并发获取资源的方法和装置
JP2019523462A (ja) マルチタスクスケジューリング方法、システム、アプリケーションサーバ及びコンピュータの読み取り可能な記憶媒体
CN107608901B (zh) 基于Jmeter的测试方法及装置、存储介质、电子设备
CN107479984B (zh) 基于消息的分布式空间数据处理***
CN111475564A (zh) 一种流式数据处理方法、***、计算机设备及存储介质
CN111507674B (zh) 任务信息处理方法、装置及***
CN116302708A (zh) 基于负载均衡的数据备份方法、装置、设备及存储介质
CN110888639A (zh) 一种业务代码编译打包方法和装置
WO2019117767A1 (en) Method, function manager and arrangement for handling function calls
CN111435329A (zh) 一种自动化测试方法和装置
CN109117199B (zh) 分布式程序的配置管理方法和装置
CN111240998B (zh) 测试用例处理方法和装置
CN113377342B (zh) 一种项目构建方法、装置、电子设备及存储介质
CN111767126A (zh) 分布式批量处理的***和方法
CN111444148A (zh) 基于MapReduce的数据传输方法和装置
US9059992B2 (en) Distributed mobile enterprise application platform
CN111488268A (zh) 自动化测试的调度方法和调度装置
CN112035439B (zh) 数据迁移方法及装置、计算机设备及计算机可读存储介质
CN111262727B (zh) 服务的扩容方法、装置、设备及存储介质
CN112882708A (zh) 列表界面的实现方法及装置、电子设备、存储介质
CN112559001A (zh) 更新应用的方法和装置
CN113626007B (zh) 连接器模型的应用方法、装置及服务器
CN113050979B (zh) 安装操作***的装机配置方法及装置，安装方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant