CN102012840A - 一种数据的批量调度方法和*** - Google Patents
一种数据的批量调度方法和*** Download PDFInfo
- Publication number
- CN102012840A CN102012840A CN2010106025269A CN201010602526A CN102012840A CN 102012840 A CN102012840 A CN 102012840A CN 2010106025269 A CN2010106025269 A CN 2010106025269A CN 201010602526 A CN201010602526 A CN 201010602526A CN 102012840 A CN102012840 A CN 102012840A
- Authority
- CN
- China
- Prior art keywords
- intermediate server
- data
- corresponding task
- control end
- described intermediate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 80
- 238000012544 monitoring process Methods 0.000 claims description 51
- 238000010276 construction Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 208000019901 Anxiety disease Diseases 0.000 description 2
- 230000036506 anxiety Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000012467 final product Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012797 qualification Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009440 infrastructure construction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种数据处理的批量调度方法和***，其中，所述方法包括：总控端获取待处理的批量任务数据，并生成相应的任务调度指令；总控端将所述任务调度指令及相应任务数据发送至中间服务器，由所述中间服务器保存所有任务调度指令；由应用集群中的各个应用端访问所述中间服务器，获取相应的任务调度指令，执行相应任务数据的处理。通过本发明，能够将批量处理的数据分摊至多个应用端，从而大大提高批量数据处理的效率。
Description
技术领域
本发明涉及数据处理技术领域，更具体地说，涉及一种数据处理的批量调度方法和***。
背景技术
批量作业(或批量程序)一般是指放在后台运行并且不需要与用户进行交互的、大数据量的批处理程序。而批量调度就是将这一系列批量作业按预先定义好的执行顺序组织好，交给硬件资源去运行，并管理整个作业运行过程的总称。
在很多大中型企业，尤其是金融、电信等领域的信息***当中，都存在大量的复杂的自动化批量处理业务需求。显著增多的多样性的任务已代替了早先的批量作业，并且作业的规模与复杂性仍在持续的上扬。面对企业信息化的飞速发展的需要，批量***亟需在性能、开发框架统一化、运维监控等方面提供新的技术解决方案。
目前主要的批量***较多的采用了大机模式，所有的批量作业部署在一台机器上，在调度上具备简单的先后顺序，如果要调整执行顺序，需要修改代码。部分批量***为了提高效率，将数据库服务器、文件服务器与批量***分离部署；也有的引入了多线程技术，即在单台计算能力突出的主机上(大型机)，通过同时开辟大量的线程，使顺序执行的作业并发执行，在主机的CPU、I/O能力允许的范围下，也可有效地提高批量运行效率。
对于传统的主机类批量***，大都存在如下问题和缺点：
1.多数***仍以主机模式运行为主，***扩展性差。难以对时间成本、硬件成本进行灵活的控制，无法解决时间瓶颈与资源利用率低两个互相制约的问题；
2.缺少统一的基础框架，不同项目之间的批量***独立构建，使本就复杂的批量***基础设施建设出现了严重的重复劳动现象，同时项目间的批量作业几乎不具备互通性，需要设计开发新的功能模块来完成；
3.运维困难，单个运维人员只能胜任一个批量***的运维工作，每新增一个***，往往需要重新学习，时间和人力成本过高；
也有少数***在自己的集群服务器中部署批量***，这种处理方式仍然存在明显的缺陷：
当大机的资源不足以满足某一个或者众多批量***的需求时，整个部署模型不具备扩展能力，只有花费大量的资金购买能力更强的物理设备，或者花费更多的人力将一部分批量作业转移到其他设备上，此种转移的做法在面对数据依赖度高的***时也是无能为力；
在具体项目中即使自实现了集群模式的批量***，该***往往不具备框架性质的通用性，且开发成本很高。一旦有跨***的作业需要交互，就要开发新的程序，规模稍大，就等于要新开发一个***。这所带来的风险和成本，都是无法计量的。
发明内容
有鉴于此，本发明实施例提供一种数据处理的批量调度方法和***，以提高数据处理批量运行的效率。
本发明实施例提供一种数据处理的批量调度方法，所述方法包括：
总控端获取待处理的批量任务数据，并生成相应的任务调度指令；
总控端将所述任务调度指令及相应任务数据发送至中间服务器，由所述中间服务器保存所有任务调度指令；
由应用集群中的各个应用端访问所述中间服务器，获取相应的任务调度指令，执行相应任务数据的处理。
优选的，所述方法还包括：
当所述应用端完成相应任务数据的处理之后，所述应用端继续访问所述中间服务器，获取其它任务调度指令，执行相应任务数据的处理。
向所述中间服务器反馈结果信息；
由所述中间服务器将所述结果信息上传至总控端，由总控端进行实时记录。
优选的，当所述应用端完成相应任务数据的处理之后，还包括：
向所述中间服务器反馈结果信息；
由所述中间服务器将所述结果信息上传至总控端，由总控端进行实时记录。
优选的，所述方法还包括：
由监控端发起任务监控请求，并将所述任务监控请求发送至所述中间服务器，由所述中间服务器将所述任务监控请求转发至所述主控端；
由所述主控端根据所述任务监控请求，控制所述中间服务器向所述监控端反馈相应的任务状态信息。
优选的，所述中间服务器为消息服务器、轮询数据库服务器或分发文件服务器中的任一种实现形式。
一种数据处理的批量调度***，所述***包括：总控端、中间服务器以及应用集群；其中，
所述总控端，用于获取待处理的批量任务数据，并生成相应的任务调度指令，将所述任务调度指令及相应任务数据发送至所述中间服务器；
所述中间服务器，用于保存所有任务调度指令；
所述应用集群，用于由应用集群中的各个应用端访问所述中间服务器，获取相应的任务调度指令，执行相应任务数据的处理。
优选的，所述应用端在完成相应任务数据的处理之后，向所述中间服务器反馈结果信息；
则所述中间服务器将所述结果信息上传至总控端，由总控端进行实时记录。
优选的，当所述应用端完成相应任务数据的处理之后，继续访问所述中间服务器，获取其它任务调度指令，执行相应任务数据的处理。
优选的，所述***还包括：
监控端，用于发起任务监控请求，并将所述任务监控请求发送至所述中间服务器，由所述中间服务器将所述任务监控请求转发至所述主控端；
则所述主控端根据所述任务监控请求，控制所述中间服务器向所述监控端反馈相应的任务状态信息。
优选的，所述中间服务器为消息服务器、轮询数据库服务器或分发文件服务器中的任一种实现形式。
同现有技术相比，本发明实施例提供了一种实现数据处理的批量调度框架，以集群方式部署各应用端，设置主控端，通过消息服务实现主控端和各应用端之间任务数据以及任务调度指令的传递，从而将批量处理的数据分摊至多个应用端，能够大大提高批量数据处理的效率；此外，通过总控端与应用端的分离实现硬件资源的灵活部署和扩展，从而以硬件的动态扩展换取更高的批量执行效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的一种数据处理的批量调度方法步骤示意图；
图2为本发明实施例二提供的另一种数据处理的批量调度方法步骤示意图；
图3为本发明实施例三提供的又一种数据处理的批量调度方法步骤示意图；
图4为本发明实施例四提供的网络部署示意图；
图5是本发明实施例五提供的一种数据处理的批量调度***结构示意图；
图6是本发明实施例六提供的另一种数据处理的批量调度***结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种数据处理的批量调度方法及***，提高数据处理批量运行的效率。为了便于对本发明实施例技术方案的充分理解，使得本发明的目的、技术方案及优点更加清楚明白，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。
实施例一
本发明实施例提供了一种数据处理的批量调度方法，如图1所示，为该方法的步骤流程，该方法可以包括以下步骤：
步骤101、总控端获取待处理的批量任务数据，并生成相应的任务调度指令；
步骤102、总控端将所述任务调度指令及相应任务数据发送至中间服务器，由所述中间服务器保存所有任务调度指令；
步骤103、由应用集群中的各个应用端访问所述中间服务器，获取相应的任务调度指令，执行相应任务数据的处理。
现有技术中的数据批量处理的实现方式主要是基于主机模式，即所有的批量作业在一台性能优秀的主机或者大型机上运行。而本发明提供的数据处理的批量调度方法相对于现有技术主要是基于集群模式，将作业分发和作业执行从物理上分开，使作业执行设备可以动态扩展。
总控端是核心调度框架(Center Schedule Framework，简称“CSF”)的简称，是数据批量处理的控制者和发起者，用于完成所有待处理的批量任务数据的执行调度，例如：调度图形配置以及节点任务的拆解、组装、分配等。
应用端即应用调度框架(Application schedule Framework，简称“ASF”)。它既可以接收SF端的运行命令。是节点任务或者异步任务的接收和执行者。
本发明在总控端与应用端之间部署中间服务器，用于两端之间的作业信息传递。通过设置中间服务器，将现有主机模式中主机的功能分别转移至总控端与应用端。
其中，总控端可以从调度模型库中获取批量任务数据的处理顺序，并依此分发任务作业，生成相应的任务调度指令。这里，调度模型库中保存了批量任务数据在执行时的顺序信息，该调度模型库可以在生成批量任务数据的过程中随之生成。如果当前的任务在执行作业时需要被拆分成若干子任务时，则任务调度指令通常与子任务之间呈现一一对应的关系，即拆分出一项子任务，则对应该子任务产生一条任务调度指令。总控端将所生成的任务调度指令发送至中间服务器，由中间服务器保存所有任务调度指令，中间服务器不会将所接收的任务调度指令输出至与其连接的应用集群。在中间服务器中，所有任务调度指令可以形成批量运行图。
本发明实施例中的应用侧是集群模式，其包含了多个应用端，各个应用端则负责访问所述中间服务器，获取相应的任务调度指令，执行相应任务数据的处理。这里需要说明的是，应用端从中间服务器获取相应的任务调度指令及相应任务数据其实是一种主动请求获取的方式，并非由中间服务器主动下发、应用端被动获取执行的方式。
由此，当中间服务器中存储有任务调度指令及相应任务数据时，应用端便会主动请求获取，从而根据任务调度指令执行相应任务数据的处理。当有多个应用端访问所述中间服务器时，则该多个应用端能够同时开启对任务数据的处理。
由此可见，本发明实施例提供了一种实现数据处理的批量调度框架，以集群方式部署各应用端，设置主控端，通过消息服务实现主控端和各应用端之间任务数据以及任务调度指令的传递，从而将批量处理的数据分摊至多个应用端，能够大大提高批量数据处理的效率；此外，通过总控端与应用端的分离实现硬件资源的灵活部署和扩展，从而以硬件的动态扩展换取更高的批量执行效率。
实施例二
由于应用集群的各个应用端采取主动请求获取任务调度指令执行相应任务数据的实现方式，因此，为了进一步提高批量数据处理的效率，在本发明的另一个实施例中，如图2所示，所述方法可以包括以下步骤：
步骤201、总控端获取待处理的批量任务数据，并生成相应的任务调度指令；
步骤202、总控端将所述任务调度指令及相应任务数据发送至中间服务器，由所述中间服务器保存所有任务调度指令；
步骤203、由应用集群中的各个应用端访问所述中间服务器，获取相应的任务调度指令，执行相应任务数据的处理；
步骤204、当所述应用端完成相应任务数据的处理之后，所述应用端继续访问所述中间服务器，获取其它任务调度指令，执行相应任务数据的处理。
本发明实施例中，步骤201～203的执行内容与前述实施例中相同，同前述实施例所不同的是，增加了步骤204的内容。
步骤204中，当所述应用端完成相应任务数据的处理之后，所述应用端继续访问所述中间服务器，获取其它任务调度指令，执行相应任务数据的处理。
通常，应用集群中的每个应用端互不影响，各自根据自身的运行状况执行作业的任务。通过设置，使得各应用端在完成相应任务数据的处理之后，继续访问所述中间服务器，获取其它任务调度指令，执行相应任务数据的处理，因此，剩余资源高的应用端能够多取任务作业，资源紧张的应用端则可以停止新的任务作业的获取，这使得应用集群可以一直保持最高饱和度的并发，不会出现有的应用端任务过重，而有的应用端被闲置这种性能瓶颈状况，更好地提高了批量数据处理的效率。
实施例三
为了便于主控端对所有批量任务的掌控，在本发明的另一个实施例中，如图3所示的步骤303和304，在上述实施例中步骤203和204中，当所述应用端完成相应任务数据的处理之后，向所述中间服务器反馈结果信息；由所述中间服务器将所述结果信息上传至总控端，由总控端进行实时记录。
本发明实施例中，由各应用端在完成相应的任务数据处理之后，均向所述中间服务器反馈结果信息。这里的结果信息可以包括应用端执行相应任务的结果，可以包括：任务的正确执行反馈获知任务的错误执行反馈，本发明实施例对反馈结果信息的具体内容并不做具体限定，本领域技术人员可以根据实际应用场景进行具体设置。
通过各应用端在完成相应的任务数据处理之后向所述中间服务器的反馈结果信息，主控端能够获取应用端对批量数据处理的状况，便于主控端对批量数据的调度控制。
实施例四
现有技术中，基于主机模式的数据批量处理过程中，主机对于批量数据处理的监控能力通常较差，一般只能通过日志中的文本分析，掌握批量运行情况，无法进行可视化实时监控，因此，难于对出现错误的批量作业直接进行定位。
为了避免本发明技术方案出现上述缺陷，在该实施例中，增加监控端，该监控端连接中间服务器。例如：设置连接中间服务器的调度监控控制台(Schedule Monitor Console，简称“SMC”)，该调度监控控制台即成为整个调度***的监控者，针对整个调度环境进行可视化运行状态的监控。该实施例中的网络部署图如图4所示。
在具体实现监控的过程中，可以由监控端发起任务监控请求，并将所述任务监控请求发送至所述中间服务器，由所述中间服务器将所述任务监控请求转发至所述主控端；当主控端接收到该任务监控请求之后，在允许的情况下，由所述主控端根据所述任务监控请求，控制所述中间服务器向所述监控端反馈相应的任务状态信息。这样，监控端便能够实现对主控端批准的任务进行监控。
监控端不是批量任务调度的必须配置，只在需要监控时即插即用即可。
当监控端需要实现监控时，根据当前从中间服务器获取到的批量运行图，将监控请求发往中间服务器的任务发送队列，由所述中间服务器将所述任务监控请求转发至主控端，主控端实时接收监控请求，控制所述中间服务器向所述监控端反馈相应的任务状态信息，将相应的任务数据交给监控端进行监听。对于已经处于监听状态的监控请求会被中间服务器丢弃。
在监控过程中，一旦监控端捕获到相应任务的运行状态发生变化，便立即将状态变更信息发往中间服务器。如果监控请求类型是“单次请求”，则在监控端对任务当前执行状态变化反馈完毕后，由主控端将该监控请求删除；如果是“连续性监控”则继续监听任务状态的变化。
监控端获取到状态变更信息后，就可以完成监控页面的在此渲染，达到实时监听的效果。
当监控端离开当前监控对象时，则监控端向中间服务器发送取消监控请求，总控端接收到该取消监控请求，直接将之前的监控请求删除即可。
上述各实施例中，所述中间服务器为消息服务器、轮询数据库服务器或分发文件服务器中的任一种实现形式。
此外，调度模型库可以有各种数据定制和保存方式，例如：带schema的xml文件、序列化文件等。还可以开发一个web***，或者图形应用***来完成可视化调度模型库的定制。对于监控端可以根据实际需要设置为C/S()的开发模式。而对于总控端和消息服务器本身也可采用集群模式来部署。
通过上述实施例可见，本发明以集群方式部署，通过消息服务传送信息，通过总控端与应用端的分离实现硬件资源的灵活部署和扩展，以硬件的动态扩展换取更高的批量执行效率，同时让框架内的各个应用端在近饱和状态下运行，以此解决时间瓶颈和资源闲置同时存在的尴尬情况；此外，提供统一的开发框架和部署模式，框架屏蔽了大量底层技术，加快了新***的构建速度，免去了重新进行开发的痛苦和风险，且跨***的作业之间可以直接集成，无需再开发新的模块；降低运维成本，减轻运维人员负担，不同项目均在统一框架下开发部署，使运维人员只学习一套运维方法即可胜任所有采用本发明研发的批量***，大大降低了学习成本和人力成本；另外，该框架还提供一个基于浏览器的监控端，支持可以进行完全实时的可视化监控，便于问题作业的定位，支持在跨项目进行统一监控，还可以对运行中的作业进行重跑、跳过等人为干预能力，极大的提高了开发人员的工作效率。
实施例五
相应上述数据处理的批量调度方法实施例，本发明实施例还提供了一种数据处理的批量调度***，如图5所示，所述***包括：总控端501、中间服务器502以及应用集群503；其中，
所述总控端501，用于获取待处理的批量任务数据，并生成相应的任务调度指令，将所述任务调度指令及相应任务数据发送至所述中间服务器502；
所述中间服务器502，用于保存所有任务调度指令；
所述应用集群503，用于由应用集群503中的各个应用端504访问所述中间服务器502，获取相应的任务调度指令，执行相应任务数据的处理。
本发明在总控端与应用端之间部署中间服务器，用于两端之间的作业信息传递。通过设置中间服务器，将现有主机模式中主机的功能分别转移至总控端与应用端。
本发明实施例中的应用侧是集群模式，其包含了多个应用端，各个应用端则负责访问所述中间服务器，获取相应的任务调度指令，执行相应任务数据的处理。这里需要说明的是，应用端从中间服务器获取相应的任务调度指令及相应任务数据其实是一种主动请求获取的方式，并非由中间服务器主动下发、应用端被动获取执行的方式。
由此，当中间服务器中存储有任务调度指令及相应任务数据时，应用端便会主动请求获取，从而根据任务调度指令执行相应任务数据的处理。当有多个应用端访问所述中间服务器时，则该多个应用端能够同时开启对任务数据的处理。
由此可见，本发明实施例提供了一种实现数据处理的批量调度框架，以集群方式部署各应用端，设置主控端，通过消息服务实现主控端和各应用端之间任务数据以及任务调度指令的传递，从而将批量处理的数据分摊至多个应用端，能够大大提高批量数据处理的效率；此外，通过总控端与应用端的分离实现硬件资源的灵活部署和扩展，从而以硬件的动态扩展换取更高的批量执行效率。
上述***中，当所述应用端完成相应任务数据的处理之后，所述应用端继续访问所述中间服务器，获取其它任务调度指令，执行相应任务数据的处理。
通常，应用集群中的每个应用端互不影响，各自根据自身的运行状况执行作业的任务。通过设置，使得各应用端在完成相应任务数据的处理之后，继续访问所述中间服务器，获取其它任务调度指令，执行相应任务数据的处理，因此，剩余资源高的应用端能够多取任务作业，资源紧张的应用端则可以停止新的任务作业的获取，这使得应用集群可以一直保持最高饱和度的并发，不会出现有的应用端任务过重，而有的应用端被闲置这种性能瓶颈状况，更好地提高了批量数据处理的效率。
当所述应用端完成相应任务数据的处理之后，向所述中间服务器反馈结果信息；由所述中间服务器将所述结果信息上传至总控端，由总控端进行实时记录。
本发明***实施例中，由各应用端在完成相应的任务数据处理之后，均向所述中间服务器反馈结果信息。这里的结果信息可以包括应用端执行相应任务的结果，可以包括：任务的正确执行反馈获知任务的错误执行反馈，本发明实施例对反馈结果信息的具体内容并不做具体限定，本领域技术人员可以根据实际应用场景进行具体设置。
通过各应用端在完成相应的任务数据处理之后向所述中间服务器的反馈结果信息，主控端能够获取应用端对批量数据处理的状况，便于主控端对批量数据的调度控制。
实施例六
现有技术中，基于主机模式的数据批量处理过程中，主机对于批量数据处理的监控能力通常较差，一般只能通过日志中的文本分析，掌握批量运行情况，无法进行可视化实时监控，因此，难于对出现错误的批量作业直接进行定位。
为了避免本发明技术方案出现上述缺陷，在该***实施例中，如图6所示，增加监控端505，该监控端连接中间服务器502。
在具体实现监控的过程中，可以由监控端发起任务监控请求，并将所述任务监控请求发送至所述中间服务器，由所述中间服务器将所述任务监控请求转发至所述主控端；当主控端接收到该任务监控请求之后，在允许的情况下，由所述主控端根据所述任务监控请求，控制所述中间服务器向所述监控端反馈相应的任务状态信息。这样，监控端便能够实现对主控端批准的任务进行监控。
以上所描述的***实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明实施例的精神或范围的情况下，在其它实施例中实现。因此，本发明实施例将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种数据处理的批量调度方法，其特征在于，所述方法包括：
总控端获取待处理的批量任务数据，并生成相应的任务调度指令；
总控端将所述任务调度指令及相应任务数据发送至中间服务器，由所述中间服务器保存所有任务调度指令；
由应用集群中的各个应用端访问所述中间服务器，获取相应的任务调度指令，执行相应任务数据的处理。
2.根据权利要求1所述的数据处理的批量调度方法，其特征在于，所述方法还包括：
当所述应用端完成相应任务数据的处理之后，所述应用端继续访问所述中间服务器，获取其它任务调度指令，执行相应任务数据的处理。
向所述中间服务器反馈结果信息；
由所述中间服务器将所述结果信息上传至总控端，由总控端进行实时记录。
3.根据权利要求2所述的数据处理的批量调度方法，其特征在于，当所述应用端完成相应任务数据的处理之后，还包括：
向所述中间服务器反馈结果信息；
由所述中间服务器将所述结果信息上传至总控端，由总控端进行实时记录。
4.根据权利要求1所述的数据处理的批量调度方法，其特征在于，所述方法还包括：
由监控端发起任务监控请求，并将所述任务监控请求发送至所述中间服务器，由所述中间服务器将所述任务监控请求转发至所述主控端；
由所述主控端根据所述任务监控请求，控制所述中间服务器向所述监控端反馈相应的任务状态信息。
5.根据权利要求1～4中任一项所述的数据处理的批量调度方法，其特征在于，所述中间服务器为消息服务器、轮询数据库服务器或分发文件服务器中的任一种实现形式。
6.一种数据处理的批量调度***，其特征在于，所述***包括：总控端、中间服务器以及应用集群；其中，
所述总控端，用于获取待处理的批量任务数据，并生成相应的任务调度指令，将所述任务调度指令及相应任务数据发送至所述中间服务器；
所述中间服务器，用于保存所有任务调度指令；
所述应用集群，用于由应用集群中的各个应用端访问所述中间服务器，获取相应的任务调度指令，执行相应任务数据的处理。
7.根据权利要求6所述的数据处理的批量调度***，其特征在于，所述应用端在完成相应任务数据的处理之后，向所述中间服务器反馈结果信息；
则所述中间服务器将所述结果信息上传至总控端，由总控端进行实时记录。
8.根据权利要求7所述的数据处理的批量调度***，其特征在于，当所述应用端完成相应任务数据的处理之后，继续访问所述中间服务器，获取其它任务调度指令，执行相应任务数据的处理。
9.根据权利要求6所述的数据处理的批量调度***，其特征在于，所述***还包括：
监控端，用于发起任务监控请求，并将所述任务监控请求发送至所述中间服务器，由所述中间服务器将所述任务监控请求转发至所述主控端；
则所述主控端根据所述任务监控请求，控制所述中间服务器向所述监控端反馈相应的任务状态信息。
10.根据权利要求6～9中任一项所述的数据处理的批量调度***，其特征在于，所述中间服务器为消息服务器、轮询数据库服务器或分发文件服务器中的任一种实现形式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010106025269A CN102012840A (zh) | 2010-12-23 | 2010-12-23 | 一种数据的批量调度方法和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010106025269A CN102012840A (zh) | 2010-12-23 | 2010-12-23 | 一种数据的批量调度方法和*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102012840A true CN102012840A (zh) | 2011-04-13 |
Family
ID=43843016
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2010106025269A Pending CN102012840A (zh) | 2010-12-23 | 2010-12-23 | 一种数据的批量调度方法和*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102012840A (zh) |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102226890A (zh) * | 2011-06-10 | 2011-10-26 | 中国工商银行股份有限公司 | 一种主机批量作业数据监控方法及装置 |
| CN102495838A (zh) * | 2011-11-03 | 2012-06-13 | 成都市华为赛门铁克科技有限公司 | 数据处理方法及装置 |
| CN102523124A (zh) * | 2011-12-26 | 2012-06-27 | 北京蓝汛通信技术有限责任公司 | 一种cdn网络中批量处理大量主机的方法及装置 |
| CN103150218A (zh) * | 2013-03-28 | 2013-06-12 | 广州供电局有限公司 | 资源调度服务器、智能终端及其调度方法 |
| CN103186418A (zh) * | 2011-12-30 | 2013-07-03 | 北大方正集团有限公司 | 一种任务分发方法及*** |
| CN103197960A (zh) * | 2013-04-12 | 2013-07-10 | 中国银行股份有限公司 | 用于批量作业***的调度方法及*** |
| CN103336720A (zh) * | 2013-06-17 | 2013-10-02 | 湖南大学 | 一种基于slurm的具有数据依赖关系的作业执行方法 |
| CN103853719A (zh) * | 2012-11-28 | 2014-06-11 | 成都勤智数码科技股份有限公司 | 易扩展海量数据采集*** |
| CN103853713A (zh) * | 2012-11-28 | 2014-06-11 | 成都勤智数码科技股份有限公司 | 海量数据高效入库方法 |
| CN104793994A (zh) * | 2015-04-27 | 2015-07-22 | 中国农业银行股份有限公司 | 批量作业处理方法、装置及*** |
| CN107563942A (zh) * | 2016-06-30 | 2018-01-09 | 阿里巴巴集团控股有限公司 | 一种物流数据批量处理方法、物流处理***以及处理装置 |
| CN108924214A (zh) * | 2018-06-27 | 2018-11-30 | 中国建设银行股份有限公司 | 一种计算集群的负载均衡方法、装置及*** |
| CN109491779A (zh) * | 2018-11-23 | 2019-03-19 | 南京云帐房网络科技有限公司 | 一种批量报税方法和装置 |
| CN109582451A (zh) * | 2018-11-21 | 2019-04-05 | 金色熊猫有限公司 | 任务调度方法、***、设备以及可读介质 |
| CN104991821B (zh) * | 2015-06-29 | 2019-12-06 | 北京奇虎科技有限公司 | 批量处理监控任务的方法及装置 |
| CN110704210A (zh) * | 2019-09-20 | 2020-01-17 | 天翼电子商务有限公司 | 脚本任务调用方法、***、介质及装置 |
| CN111010313A (zh) * | 2019-12-05 | 2020-04-14 | 深圳联想懂的通信有限公司 | 一种批量处理的状态监控方法、服务器及存储介质 |
| CN111414198A (zh) * | 2020-03-18 | 2020-07-14 | 北京字节跳动网络技术有限公司 | 一种请求处理方法及装置 |
| CN111679920A (zh) * | 2020-06-08 | 2020-09-18 | 中国银行股份有限公司 | 批量权益数据处理方法及装置 |
| CN112328408A (zh) * | 2020-10-21 | 2021-02-05 | 中国建设银行股份有限公司 | 数据处理方法、装置、***、设备及存储介质 |
| CN112579320A (zh) * | 2020-12-16 | 2021-03-30 | 中国建设银行股份有限公司 | 一种开放***与zos***之间的通信方法及装置 |
| CN113485815A (zh) * | 2021-07-27 | 2021-10-08 | 中国银行股份有限公司 | 作业批量处理***、方法、装置、存储介质及电子设备 |
| CN114048033A (zh) * | 2021-11-15 | 2022-02-15 | 中国平安财产保险股份有限公司 | 跑批任务的负载均衡方法、装置及计算机设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1874576A (zh) * | 2005-04-28 | 2006-12-06 | 索尼爱立信移动通信日本株式会社 | 软件更新***与软件更新管理设备 |
| CN101114937A (zh) * | 2007-08-02 | 2008-01-30 | 上海交通大学 | 电力计算网格应用*** |
| CN101291337A (zh) * | 2008-05-30 | 2008-10-22 | 同济大学 | 一种网格资源管理***及管理方法 |
| CN101808121A (zh) * | 2010-02-24 | 2010-08-18 | 深圳市五巨科技有限公司 | 一种移动终端服务器日志写入数据库的方法和装置 |
-
2010
- 2010-12-23 CN CN2010106025269A patent/CN102012840A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1874576A (zh) * | 2005-04-28 | 2006-12-06 | 索尼爱立信移动通信日本株式会社 | 软件更新***与软件更新管理设备 |
| CN101114937A (zh) * | 2007-08-02 | 2008-01-30 | 上海交通大学 | 电力计算网格应用*** |
| CN101291337A (zh) * | 2008-05-30 | 2008-10-22 | 同济大学 | 一种网格资源管理***及管理方法 |
| CN101808121A (zh) * | 2010-02-24 | 2010-08-18 | 深圳市五巨科技有限公司 | 一种移动终端服务器日志写入数据库的方法和装置 |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102226890A (zh) * | 2011-06-10 | 2011-10-26 | 中国工商银行股份有限公司 | 一种主机批量作业数据监控方法及装置 |
| CN102495838A (zh) * | 2011-11-03 | 2012-06-13 | 成都市华为赛门铁克科技有限公司 | 数据处理方法及装置 |
| CN102495838B (zh) * | 2011-11-03 | 2014-09-17 | 华为数字技术（成都）有限公司 | 数据处理方法及装置 |
| CN102523124B (zh) * | 2011-12-26 | 2014-09-10 | 北京蓝汛通信技术有限责任公司 | 一种cdn网络中批量处理大量主机的方法及装置 |
| CN102523124A (zh) * | 2011-12-26 | 2012-06-27 | 北京蓝汛通信技术有限责任公司 | 一种cdn网络中批量处理大量主机的方法及装置 |
| CN103186418A (zh) * | 2011-12-30 | 2013-07-03 | 北大方正集团有限公司 | 一种任务分发方法及*** |
| CN103853713B (zh) * | 2012-11-28 | 2018-04-24 | 勤智数码科技股份有限公司 | 海量数据高效入库方法 |
| CN103853713A (zh) * | 2012-11-28 | 2014-06-11 | 成都勤智数码科技股份有限公司 | 海量数据高效入库方法 |
| CN103853719A (zh) * | 2012-11-28 | 2014-06-11 | 成都勤智数码科技股份有限公司 | 易扩展海量数据采集*** |
| CN103853719B (zh) * | 2012-11-28 | 2018-05-22 | 勤智数码科技股份有限公司 | 易扩展海量数据采集*** |
| CN103150218A (zh) * | 2013-03-28 | 2013-06-12 | 广州供电局有限公司 | 资源调度服务器、智能终端及其调度方法 |
| CN103197960A (zh) * | 2013-04-12 | 2013-07-10 | 中国银行股份有限公司 | 用于批量作业***的调度方法及*** |
| CN103197960B (zh) * | 2013-04-12 | 2016-06-22 | 中国银行股份有限公司 | 用于批量作业***的调度方法及*** |
| CN103336720A (zh) * | 2013-06-17 | 2013-10-02 | 湖南大学 | 一种基于slurm的具有数据依赖关系的作业执行方法 |
| CN104793994A (zh) * | 2015-04-27 | 2015-07-22 | 中国农业银行股份有限公司 | 批量作业处理方法、装置及*** |
| CN104991821B (zh) * | 2015-06-29 | 2019-12-06 | 北京奇虎科技有限公司 | 批量处理监控任务的方法及装置 |
| CN107563942A (zh) * | 2016-06-30 | 2018-01-09 | 阿里巴巴集团控股有限公司 | 一种物流数据批量处理方法、物流处理***以及处理装置 |
| CN107563942B (zh) * | 2016-06-30 | 2021-06-18 | 菜鸟智能物流控股有限公司 | 一种物流数据批量处理方法、物流处理***以及处理装置 |
| CN108924214A (zh) * | 2018-06-27 | 2018-11-30 | 中国建设银行股份有限公司 | 一种计算集群的负载均衡方法、装置及*** |
| CN109582451A (zh) * | 2018-11-21 | 2019-04-05 | 金色熊猫有限公司 | 任务调度方法、***、设备以及可读介质 |
| CN109491779A (zh) * | 2018-11-23 | 2019-03-19 | 南京云帐房网络科技有限公司 | 一种批量报税方法和装置 |
| CN110704210A (zh) * | 2019-09-20 | 2020-01-17 | 天翼电子商务有限公司 | 脚本任务调用方法、***、介质及装置 |
| CN110704210B (zh) * | 2019-09-20 | 2023-10-10 | 天翼电子商务有限公司 | 脚本任务调用方法、***、介质及装置 |
| CN111010313A (zh) * | 2019-12-05 | 2020-04-14 | 深圳联想懂的通信有限公司 | 一种批量处理的状态监控方法、服务器及存储介质 |
| CN111010313B (zh) * | 2019-12-05 | 2021-03-19 | 深圳联想懂的通信有限公司 | 一种批量处理的状态监控方法、服务器及存储介质 |
| CN111414198A (zh) * | 2020-03-18 | 2020-07-14 | 北京字节跳动网络技术有限公司 | 一种请求处理方法及装置 |
| CN111679920A (zh) * | 2020-06-08 | 2020-09-18 | 中国银行股份有限公司 | 批量权益数据处理方法及装置 |
| CN112328408A (zh) * | 2020-10-21 | 2021-02-05 | 中国建设银行股份有限公司 | 数据处理方法、装置、***、设备及存储介质 |
| CN112579320A (zh) * | 2020-12-16 | 2021-03-30 | 中国建设银行股份有限公司 | 一种开放***与zos***之间的通信方法及装置 |
| CN113485815A (zh) * | 2021-07-27 | 2021-10-08 | 中国银行股份有限公司 | 作业批量处理***、方法、装置、存储介质及电子设备 |
| CN114048033A (zh) * | 2021-11-15 | 2022-02-15 | 中国平安财产保险股份有限公司 | 跑批任务的负载均衡方法、装置及计算机设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102012840A (zh) | 一种数据的批量调度方法和*** | |
| Bui et al. | Work queue+ python: A framework for scalable scientific ensemble applications | |
| CN103279390B (zh) | 一种面向小作业优化的并行处理*** | |
| CN103092698B (zh) | 云计算应用自动部署***及方法 | |
| CN105095327A (zh) | 一种分布式etl***及调度方法 | |
| CN107729139A (zh) | 一种并发获取资源的方法和装置 | |
| CN103279385A (zh) | 一种云计算环境中集群任务调度方法及*** | |
| CN104112049B (zh) | 基于P2P构架的MapReduce任务跨数据中心调度***及方法 | |
| CN101652750A (zh) | 数据处理装置、分散处理***、数据处理方法及数据处理程序 | |
| CN102508639A (zh) | 一种基于卫星遥感数据特征的分布式并行处理方法 | |
| CN112579267A (zh) | 一种去中心化大数据作业流调度方法及装置 | |
| De et al. | Task management in the new ATLAS production system | |
| CN105096181A (zh) | 一种大数据的电商交易方法及电商交易*** | |
| CN108984496A (zh) | 生成报表的方法和装置 | |
| CN107807854A (zh) | 一种自动调度节点机的方法及渲染任务处理方法 | |
| CN113010598A (zh) | 面向遥感大数据处理的动态自适应分布式协同工作流*** | |
| CN101356503B (zh) | 数据处理***和数据处理方法 | |
| CN103678488A (zh) | 分布式大批量动态任务引擎及采用其处理数据的方法 | |
| Liu et al. | KubFBS: A fine‐grained and balance‐aware scheduling system for deep learning tasks based on kubernetes | |
| CN107528871A (zh) | 存储***中的数据分析 | |
| CN109271238A (zh) | 支持多种编程语言的任务调度装置和方法 | |
| CN107766137A (zh) | 一种任务处理方法和装置 | |
| CN115794355B (zh) | 任务处理方法、装置、终端设备及存储介质 | |
| CN102299820A (zh) | 一种盟员节点装置及hla***构架的实现方法 | |
| CN103777593A (zh) | 一种产品自动化操控生产***及其实现方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20110413 |