CN112130976A - 一种基于rest的多引擎大数据任务管理方法 - Google Patents
一种基于rest的多引擎大数据任务管理方法 Download PDFInfo
- Publication number
- CN112130976A CN112130976A CN202010997851.3A CN202010997851A CN112130976A CN 112130976 A CN112130976 A CN 112130976A CN 202010997851 A CN202010997851 A CN 202010997851A CN 112130976 A CN112130976 A CN 112130976A
- Authority
- CN
- China
- Prior art keywords
- task
- rest
- engine
- execution
- big data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title claims abstract description 34
- 238000002955 isolation Methods 0.000 claims abstract description 7
- 238000004364 calculation method Methods 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims description 8
- 230000001360 synchronised effect Effects 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000000034 method Methods 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000008878 coupling Effects 0.000 abstract description 4
- 238000010168 coupling process Methods 0.000 abstract description 4
- 238000005859 coupling reaction Methods 0.000 abstract description 4
- 238000012423 maintenance Methods 0.000 description 3
- 239000012141 concentrate Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于REST的多引擎大数据任务管理方法，包括以下步骤：S1、通过任务管理界面，对任务生命周期进行管理；S2、接受REST请求，发送到统一作业执行器；S3、通过元数据管理器，存储即将运行任务的相关信息；S4、请求资源管理器，按照租户类型申请运行资源；S5、通过任务执行调度器，将任务添加至任务队列；S6、通过计算引擎管理器，启动不同的引擎执行作业；S7、通过执行结果处理器，返回结果集。本发明通过REST的方式屏蔽掉中间的调用细节，降低***的耦合度，避免了底层计算引擎变更对业务的影响；且支持用户级别的资源隔离和任务调度，避免任务抢占导致消耗资源较大的作业运行时，其他作业无法执行的情况。
Description
技术领域
本发明涉及计算机技术领域，特别涉及一种基于REST的多引擎大数据任务管理方法。
背景技术
在大数据时代，随着数据格式越来越多、数据量越来越大，针对不同的业务需求，开发人员通常需要引入多种开源组件才能实现，比如Spark、Flink等大数据计算引擎。但因此带来了如下问题：其一，随着技术更新不断加快，开发人员学习成本越来越高；其二，由于代码耦合度太高，当引入新组件或底层引擎发生变更时，会影响到业务***的正常使用，维护成本高。
目前开源的REST(即表述性状态传递)管理大数据引擎方案在企业级应用中，仍有较多不足。比如Apache Livy只支持Spark，只能查看日志；而Apache Zeppelin虽然支持多引擎，但是不支持日志、任务状态的查询；两者均不支持租户级别的任务管理、资源隔离、任务调度。
发明内容
为解决上述问题，本发明提供了一种基于REST的多引擎大数据任务管理方法。
本发明采用以下技术方案：
一种基于REST的多引擎大数据任务管理方法，包括以下步骤：
S1、通过任务管理界面，对任务生命周期进行管理；
S2、接受REST请求，发送到统一作业执行器；
S3、通过元数据管理器，存储即将运行任务的相关信息；
S4、请求资源管理器，按照租户类型申请运行资源；
S5、通过任务执行调度器，将任务添加至任务队列；
S6、通过计算引擎管理器，启动不同的引擎执行作业；
S7、通过执行结果处理器，返回结果集。
进一步地，所述步骤S1具体为：通过可视化的后台管理界面，调用REST API接口，进行资源使用情况展示、任务执行日志查询、任务状态查询、任务执行进度查询以及停止任务，实现对不同计算引擎的任务生命周期管理。
进一步地，所述步骤S2具体为：通过对外开放REST API接口，接收业务***提交的请求，并发送到统一的所述作业执行器。
进一步地，所述步骤S3具体为：接收到任务执行的相关请求后，解析任务信息，将任务执行的关键信息存储到所述元数据管理器中，以便作业执行时查询使用。
进一步地，所述步骤S4具体为：所述资源管理器监控服务器的CPU、内存、磁盘IO的使用情况，对不同类型的租户进行资源隔离，保证每个租户拥有独立的资源，各自运行的任务互不影响，若租户可运行的资源不足时，则触发邮件告警，并将任务标记为等待状态。
进一步地，所述步骤S5具体为：当所述任务执行调度器分配到可执行的资源后，将任务添加至执行队列中，标记任务为执行状态，并且监控任务的执行时间，若任务执行时间超过3小时，则自动停止任务，释放资源，对于执行失败的任务进行3次重试，对于重试失败的任务，记录错误堆栈，以便排查问题。
进一步地，所述步骤S6具体为：所述计算引擎管理器，通过封装统一的接口实现对Spark、TiSpark和Flink大数据计算引擎的支持，通过读取任务列表，查询所述元数据管理器得到当前任务的详细信息，启动元数据信息中指定的计算引擎，将执行任务过程中的资源占用情况上报所述资源管理器并锁定该部分资源，同时上报引擎执行的日志、状态或进度信息到所述任务管理界面。
进一步地，所述步骤S7具体为：所述计算引擎管理器执行完任务后，会返回相应的结果集到所述执行结果处理器，所述执行结果处理器对外提供同步和异步两种方式的REST调用接口，其中，同步接口用于联机事务处理，异步接口用于联机分析处理。
采用上述技术方案后，本发明与背景技术相比，具有如下优点：
1、针对多种不同的大数据计算引擎，通过REST的方式屏蔽掉中间的调用细节，可以对各种不同的大数据进行生命周期管理，支持Spark、TiSpark、Flink计算引擎，让业务开发人员更专注于业务开发实现，降低***的耦合度，即使底层计算引擎变更也不影响业务；
2、支持租户级别的资源隔离和任务调度，可以避免任务抢占导致消耗资源较大的作业运行时，其他作业无法执行的情况；
3、任务执行调度器保障任务有序执行，避免出现任务卡死的情况；
4、通过可视化任务管理界面的方式，可以让运维人员快速了解***资源的消耗情况、任务执行情况，快速定位错误日志。
附图说明
图1为本发明流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例
如图1所示，一种基于REST的多引擎大数据任务管理方法，包括以下步骤：
S1、通过任务管理界面，对任务生命周期进行管理；
S2、接受REST请求，发送到统一作业执行器；
S3、通过元数据管理器，存储即将运行任务的相关信息；
S4、请求资源管理器，按照租户类型申请运行资源；
S5、通过任务执行调度器，将任务添加至任务队列；
S6、通过计算引擎管理器，启动不同的引擎执行作业；
S7、通过执行结果处理器，返回结果集。
所述步骤S1具体为：通过可视化的后台管理界面，调用REST API接口，进行资源使用情况展示、任务执行日志查询、任务状态查询、任务执行进度查询以及停止任务，实现对不同计算引擎的任务生命周期管理。
所述步骤S2具体为：通过对外开放REST API接口，接收业务***提交的请求，并发送到统一的所述作业执行器。
所述步骤S3具体为：接收到任务执行的相关请求后，解析任务信息，将任务执行的关键信息存储到所述元数据管理器中，比如：存储引擎的连接地址、统一的上下文信息等，以便作业执行时查询使用。
所述步骤S4具体为：所述资源管理器监控服务器的CPU、内存、磁盘IO的使用情况，对不同类型的租户进行资源隔离，保证每个租户拥有独立的资源，各自运行的任务互不影响，若租户可运行的资源不足时，则触发邮件告警，并将任务标记为等待状态。
所述步骤S5具体为：当所述任务执行调度器分配到可执行的资源后，将任务添加至执行队列中，标记任务为执行状态，并且监控任务的执行时间，若任务执行时间超过3小时，则自动停止任务，释放资源，对于执行失败的任务进行3次重试，对于重试失败的任务，记录错误堆栈，以便排查问题。
所述步骤S6具体为：所述计算引擎管理器，通过封装统一的接口实现对Spark、TiSpark和Flink大数据计算引擎的支持，通过读取任务列表，查询所述元数据管理器得到当前任务的详细信息，启动元数据信息中指定的计算引擎，将执行任务过程中的资源占用情况上报所述资源管理器并锁定该部分资源，同时上报引擎执行的日志、状态或进度信息到所述任务管理界面。
所述步骤S7具体为：所述计算引擎管理器执行完任务后，会返回相应的结果集到所述执行结果处理器，所述执行结果处理器对外提供同步和异步两种方式的REST调用接口，其中，同步接口用于联机事务处理，异步接口用于联机分析处理。
同步接口可快速响应低延迟的任务，如数据预览、图表展示等；而异步接口用于分析处理，如数据接入、数据加工等。
本实施例针对多种不同的大数据计算引擎，通过REST的方式屏蔽掉中间的调用细节，可以对各种不同的大数据进行生命周期管理，支持Spark、TiSpark、Flink计算引擎，让业务开发人员更专注于业务开发实现，降低***的耦合度，即使底层计算引擎变更也不影响业务；通过租户级别的资源隔离，可以避免任务抢占导致消耗资源较大的作业运行时，其他作业无法执行的情况；任务执行调度器保障任务有序执行，避免出现任务卡死的情况；通过可视化任务管理界面的方式，可以让运维人员快速了解***资源的消耗情况、任务执行情况，快速定位错误日志。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (8)
1.一种基于REST的多引擎大数据任务管理方法，其特征在于：包括以下步骤：
S1、通过任务管理界面，对任务生命周期进行管理；
S2、接受REST请求，发送到统一作业执行器；
S3、通过元数据管理器，存储即将运行任务的相关信息；
S4、请求资源管理器，按照租户类型申请运行资源；
S5、通过任务执行调度器，将任务添加至任务队列；
S6、通过计算引擎管理器，启动不同的引擎执行作业；
S7、通过执行结果处理器，返回结果集。
2.如权利要求1所述的一种基于REST的多引擎大数据任务管理方法，其特征在于：所述步骤S1具体为：通过可视化的后台管理界面，调用REST API接口，进行资源使用情况展示、任务执行日志查询、任务状态查询、任务执行进度查询以及停止任务，实现对不同计算引擎的任务生命周期管理。
3.如权利要求1所述的一种基于REST的多引擎大数据任务管理方法，其特征在于：所述步骤S2具体为：通过对外开放REST API接口，接收业务***提交的请求，并发送到统一的所述作业执行器。
4.如权利要求1所述的一种基于REST的多引擎大数据任务管理方法，其特征在于：所述步骤S3具体为：接收到任务执行的相关请求后，解析任务信息，将任务执行的关键信息存储到所述元数据管理器中，以便作业执行时查询使用。
5.如权利要求1所述的一种基于REST的多引擎大数据任务管理方法，其特征在于：所述步骤S4具体为：所述资源管理器监控服务器的CPU、内存、磁盘IO的使用情况，对不同类型的租户进行资源隔离，保证每个租户拥有独立的资源，各自运行的任务互不影响，若租户可运行的资源不足时，则触发邮件告警，并将任务标记为等待状态。
6.如权利要求1所述的一种基于REST的多引擎大数据任务管理方法，其特征在于：所述步骤S5具体为：当所述任务执行调度器分配到可执行的资源后，将任务添加至执行队列中，标记任务为执行状态，并且监控任务的执行时间，若任务执行时间超过3小时，则自动停止任务，释放资源，对于执行失败的任务进行3次重试，对于重试失败的任务，记录错误堆栈，以便排查问题。
7.如权利要求1所述的一种基于REST的多引擎大数据任务管理方法，其特征在于：所述步骤S6具体为：所述计算引擎管理器，通过封装统一的接口实现对Spark、TiSpark和Flink大数据计算引擎的支持，通过读取任务列表，查询所述元数据管理器得到当前任务的详细信息，启动元数据信息中指定的计算引擎，将执行任务过程中的资源占用情况上报所述资源管理器并锁定该部分资源，同时上报引擎执行的日志、状态或进度信息到所述任务管理界面。
8.如权利要求1所述的一种基于REST的多引擎大数据任务管理方法，其特征在于：所述步骤S7具体为：所述计算引擎管理器执行完任务后，会返回相应的结果集到所述执行结果处理器，所述执行结果处理器对外提供同步和异步两种方式的REST调用接口，其中，同步接口用于联机事务处理，异步接口用于联机分析处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010997851.3A CN112130976A (zh) | 2020-09-21 | 2020-09-21 | 一种基于rest的多引擎大数据任务管理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010997851.3A CN112130976A (zh) | 2020-09-21 | 2020-09-21 | 一种基于rest的多引擎大数据任务管理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112130976A true CN112130976A (zh) | 2020-12-25 |
Family
ID=73841886
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010997851.3A Pending CN112130976A (zh) | 2020-09-21 | 2020-09-21 | 一种基于rest的多引擎大数据任务管理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112130976A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113553067A (zh) * | 2021-07-28 | 2021-10-26 | 厦门南讯股份有限公司 | 一种基于rest的多框架机器学习模型部署预测方法 |
| CN113885945A (zh) * | 2021-08-30 | 2022-01-04 | 山东云海国创云计算装备产业创新中心有限公司 | 一种计算加速方法、设备以及介质 |
| CN114816583A (zh) * | 2022-05-31 | 2022-07-29 | 以萨技术股份有限公司 | 基于Flink的数据自动化处理方法、装置和电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104954453A (zh) * | 2015-06-02 | 2015-09-30 | 浙江工业大学 | 基于云计算的数据挖掘rest服务平台 |
| CN107861804A (zh) * | 2017-10-31 | 2018-03-30 | 用友金融信息技术股份有限公司 | 大数据计算方法、计算***、计算机设备及可读存储介质 |
| CN109614241A (zh) * | 2018-12-17 | 2019-04-12 | 杭州玳数科技有限公司 | 基于Yarn队列实现多集群多租户资源隔离的方法及*** |
| CN110069335A (zh) * | 2019-05-07 | 2019-07-30 | 江苏满运软件科技有限公司 | 任务处理***、方法、计算机设备和存储介质 |
| US20200073987A1 (en) * | 2018-09-04 | 2020-03-05 | Salesforce.Com, Inc. | Technologies for runtime selection of query execution engines |
-
2020
- 2020-09-21 CN CN202010997851.3A patent/CN112130976A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104954453A (zh) * | 2015-06-02 | 2015-09-30 | 浙江工业大学 | 基于云计算的数据挖掘rest服务平台 |
| CN107861804A (zh) * | 2017-10-31 | 2018-03-30 | 用友金融信息技术股份有限公司 | 大数据计算方法、计算***、计算机设备及可读存储介质 |
| US20200073987A1 (en) * | 2018-09-04 | 2020-03-05 | Salesforce.Com, Inc. | Technologies for runtime selection of query execution engines |
| CN109614241A (zh) * | 2018-12-17 | 2019-04-12 | 杭州玳数科技有限公司 | 基于Yarn队列实现多集群多租户资源隔离的方法及*** |
| CN110069335A (zh) * | 2019-05-07 | 2019-07-30 | 江苏满运软件科技有限公司 | 任务处理***、方法、计算机设备和存储介质 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113553067A (zh) * | 2021-07-28 | 2021-10-26 | 厦门南讯股份有限公司 | 一种基于rest的多框架机器学习模型部署预测方法 |
| CN113885945A (zh) * | 2021-08-30 | 2022-01-04 | 山东云海国创云计算装备产业创新中心有限公司 | 一种计算加速方法、设备以及介质 |
| CN113885945B (zh) * | 2021-08-30 | 2023-05-16 | 山东云海国创云计算装备产业创新中心有限公司 | 一种计算加速方法、设备以及介质 |
| CN114816583A (zh) * | 2022-05-31 | 2022-07-29 | 以萨技术股份有限公司 | 基于Flink的数据自动化处理方法、装置和电子设备 |
| CN114816583B (zh) * | 2022-05-31 | 2024-03-19 | 以萨技术股份有限公司 | 基于Flink的数据自动化处理方法、装置和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10505832B2 (en) | Resource coordinate system for data centers | |
| CN112130976A (zh) | 一种基于rest的多引擎大数据任务管理方法 | |
| CN102902589B (zh) | 一种集群mic作业的管理及调度方法 | |
| US20140196057A1 (en) | Managing Job Execution | |
| EP2507704B1 (en) | Lock resolution for distributed durable instances | |
| US11366713B2 (en) | System and method for automatically identifying and resolving computing errors | |
| US9275201B2 (en) | Execution-based license discovery and optimization | |
| US9514176B2 (en) | Database update notification method | |
| CN112256414A (zh) | 一种连接多种计算存储引擎的方法及*** | |
| US12014216B2 (en) | Method for platform-based scheduling of job flow | |
| CN110494849B (zh) | 用于确定跨平台应用迁移的成功的***和方法 | |
| US20070169045A1 (en) | Component tagging | |
| CN112114983B (zh) | 一种基于共享内存的通信方法、装置和设备 | |
| CN110764962A (zh) | 日志处理方法和装置 | |
| US7882508B1 (en) | Tracing information flow using a signature | |
| JP2009181495A (ja) | ジョブ処理システムおよびジョブ管理方法 | |
| WO2023016485A1 (zh) | 用于获取函数调用信息的方法、装置、电子设备和介质 | |
| JP5884566B2 (ja) | バッチ処理システム、進捗状況確認装置、進捗状況確認方法、及びプログラム | |
| CN117093335A (zh) | 分布式存储***的任务调度方法及装置 | |
| CN115499493A (zh) | 异步事务处理方法、装置、存储介质及计算机设备 | |
| US8650548B2 (en) | Method to derive software use and software data object use characteristics by analyzing attributes of related files | |
| CN113419835A (zh) | 作业调度方法、装置、设备及介质 | |
| GB2614012A (en) | Tag-driven scheduling of computing resources for function execution | |
| JP2009181494A (ja) | ジョブ処理システムおよびジョブ情報取得方法 | |
| Wang et al. | Research on license management for CAE software resources shared across multiple slurm clusters |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Chen Biyong Inventor after: Fang Min Inventor after: Hu Jinbo Inventor before: Chen Biyong Inventor before: Fang Min Inventor before: Chen Huijie |